JPH01273114A - 移動車の画像処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、外界を認識するための画像入力手段を備えた
自動車やロボット等の移動車の画像処理装置に関する。

（従来の技術） 例えば特開昭ｆｉｔ−２４０３０７号公報には、所定地
点に設置された画像入力手段たるカメラによって移動車
を撮像し、該カメラに入力された画像を処理して移動車
の位置や方向を算出し、その算出結果によって移動車の
走行を制御するようにした技術が開示されている。

また、上記の場合と異なり、画像入力手段を移動車に設
置し、該画像入力手段によって移動車の外界（実走行環
境）を撮像し、該画像入力手段に入力された画像を移動
車の走行に利用する、例えばその画像を処理して外界の
状態を認識し、その認識結果に基づいて移動車の走行を
制御することも従来考えられている。

ところで、上記の如く移動車に画像入力手段を設置する
にあたっては、該画像入力手段を車室内に設置する場合
と車室外に設置する場合とが考えられる。そして、もし
車室外に設置する場合には、雨天候時画像入力手段を保
護しかつ外界認識に支障のない画像を入力する目的から
、例えば画像入力手段の前方に雨滴除去用のスクリーン
と該スクリーンに付着した雨滴を払拭するワイパ等の払
拭手段を設けることが考えられる。また、車室内に設置
した場合にはフロントガラスおよびフロントガラス用ワ
イパが上記画像入力手段に対する雨滴除去用スクリーン
および該スクリーンに付着した雨滴の払拭手段として機
能する。

（発明が解決しようとする課題） しかしながら、上記の如く画像入力手段の前に払拭手段
を配設すると、雨天の払拭手段作動時にその作動してい
る払拭手段の像が前方の外界画像にオーバラップして画
像人力手段に人力され、従って該画像入力手段に入力さ
れた画像に基づく外界認識が困難になるという問題が生
じる。

本発明の目的は、上記事情に鑑み、上記払拭手段の存在
にも拘らず十分正確にかつ容易に外界認識を行なわせる
ことのできる移動車の画像処理装置を提供することにあ
る。

（課題を解決するための手段） 本発明に係る移動車の画像処理装置は、上記目的を達成
するため、 外界認識のための画像入力手段と、該画像入力手段の前
に設けられ払拭作動中に該画像入力手段の視野中に入る
払拭手段とを備えた移動車の画像処理装置であって、 上記払拭手段の作動時に上記画像入力手段に入力された
画像から該払拭手段の像がキャンセルされた画像を取り
出す画像取出手段を備え、該払拭手段の作動時には該画
像取出手段によって取り出された払拭手段の像がキャン
セルされた画像に基づいて外界認識を行なわせるように
構成されていることを特徴とする。

上記払拭手段がキャンセルされた画像とは、要は払拭手
段が実質的に含まれていない画像という意味であり、そ
の様な画像の取り出しは、例えば所定のサンプリング間
隔で取り込まれた複数枚の画像のそれぞれから払拭手段
を含まない画像部分を抽出し、それらを合成することに
よって払拭手段を含まない画像を取り出すようにしても
良く、また所定のサンプリング間隔で取り込まれた画像
から払拭手段を含まない画像例えば払拭手段がターニン
グポイントに位置して画像入力手段の視野中に実質的に
入っていない時の画像を取り出すようにしても良く、あ
るいはさらに他の方法で取り出すようにしても良い。

（作　　用） 上記構成の画像処理装置においては、払拭手段の作動時
に画像入力手段に入力された画像から払拭手段の像がキ
ャンセルされた画像を取り出す画像取出手段が設けられ
、払拭手段の作動時にはこの画像取出手段によって取り
出された払拭手段を含まない画像に基づいて外界認識を
行なわせる様に構成されているので、この払拭手段の像
が画像中に含まれることに起因する外界認識の困難性や
誤認識という問題を解消することができる。

（実　施　例） 以下、図面を参照しながら本発明の実施例について詳細
に説明する。

第１図は本発明に係る移動車の画像処理装置の一例の概
略を示すブロック図であり、該画像処理装置は画像入力
手段２によって入力された画像から払拭手段４の作動タ
イミングに同期させて該払拭手段４の像がキャンセルさ
れた画像を取り出す画像取出手段６を備えて成り、払拭
手段４の作動時には画像取出手段６によって取り出され
た画像、即ち払拭手段４の像を含まない画像が外界認識
のために供される。

次に第２図〜第４図を参照しながら本発明の一実施例に
ついてより詳細に説明する。

この実施例は本発明に係る装置を自動操縦が行なわれる
自動車の画像処理装置に適用して成るものであり、また
、払拭手段の像をキャンセルするのみでなくさらに画像
入力手段２の前に配設されたスクリーンに付着する雨滴
の問題も解消し得るように構成されたものである。

前述の様に、画像人力手段の前に雨滴除去用のスクリー
ンと払拭手段とを設け、該スクリーンに付着する雨滴を
払拭手段で払拭して視界の確保を図る場合においても、
例えば激しい雨の時には一回払拭して次に払拭するまで
の間に非常に多くの雨滴がスクリーンに付着し、従って
例え払拭手段を備えていても雨滴を多く含んだ画像が画
像入力手段に入力されることとなり、外界認識に支障が
生じるという問題がある。よって、雨天候時における画
像に基づく外界認識においては、画像中に払拭手段の像
が含まれるという問題と共に画像中に多くの雨滴の像が
含まれるという問題も解決することが望ましく、以下に
説明する実施例は単に払拭手段の像の問題のみでなく雨
滴の像の問題をも解決し得るものである。

第２図は本実施例を備えた自動車の概略斜視図であり、
本実施例においては画像入力手段２としてＣＣＤを用い
たイメージセンサが使用され、該イメージセンサ２は車
室内に配設される。この場合において自動車８のフロン
トガラスはイメージセンサ２の前に配設された雨滴除去
用のスクリーン１０として、また基端部を中心に往復回
動する一般の自動車に用いられているワイパは該スクリ
ーンの雨滴除去用払拭手段４として機能している。

このイメージセンサ２は自動車の走行方向前方の外界情
報を画像として入力可能に配設されていれば良く、例え
ば第２図に示す如くフロントグリル部分にガラスから成
るスクリーン１ｏを配設すると共に該スクリーン１０用
のワイパ４を設け、スクリーン１０の後側にイメージセ
ンサ２を配設しても良い。

なお、いずれの場合にもイメージセンサ２の視界中にワ
イパ４の払拭領域が含まれていることが必要であり、そ
の結果ワイパ４の作動時には当然ワイパ４がイメージセ
ンサ２の視野中に入るものである。

第３図は本実施例のブロック図であり、図示の如く、イ
メージセンサ２に入力された画像は所定のサンプリング
間隔毎にフレームメモリ１２に書き込まれる。そして、
ワイパ４が作動していない通常時にはフレームメモリ１
２に書き込まれた上記画像はバッファメモリ１８を介し
て外界認識用画像処理手段２０に入力されてそこで外界
認識が行なわれる。該外界認識用画像処理手段２０によ
る外界の認識は、該処理手段２０においてイメージセン
サ２から入力された画像を各種画像処理アルゴリズムに
よって処理して走行路を示すエツジ・領域等を抽出する
ことによって行なわれる。

上記抽出されたエツジ・領域等の情報はローカルマツプ
生成手段２２に入力され、そこで上記エツジ・領域等の
情報に基づいてローカルマツプ、即ち自動車のごく近傍
の外界の状態がどうなっているかを示すマツプが作成さ
れる。このローカルマツプ情報は最適経路生成手段２４
に入力され、そこで上記ローカルマツプ情報および予め
入力されている目的地等の、情報を基に目的地に向かう
最適経路が決定され、さらにその最適経路を走行するた
めの走行方向および走行速度が決定される。これらの走
行方向および走行速度に関する情報はコントローラ２６
に入力され、該コントローラ２６によって自動車のステ
アリングおよび速度が上記走行方向および走行速度情報
に基づいて制御される。

雨天候であってワイパ４の作動時には、イメージセンサ
２に入力された画像から画像取出手段６によってワイパ
４の像がキャンセルされた画像を取り出し、その画像が
外界認識用処理手段２ｏに入力され、該処理手段２０で
はそのワイパ４の像がキャンセルされた画像に基づいて
前述の場合と同様に走行路のエツジ争領域等が抽出され
、ローカルマツプ生成手段１２でローカルマツプが生成
され、最適経路生成手段２４で走行方向および速度が決
定され、コントローラ２６によって自動車のステアリン
グおよび速度制御が行なわれる。

上記画像取出手段６においては、ワイパ４が一掃引する
間例えば第３図中２点鎖線で示す左側ターニングポイン
ト４ａ位置から右側ターニングポイント４ｂ位置まで回
動する間に所定のサンプリング間隔で複数回画像の取り
込みが行なわれ、各画像の取り込みに際しては各取り込
み時におけるワイパ掃引直後の雨滴があまり付着してい
ない所定の有効エリアの画像部分のみを取り込んでフレ
ームメモリ１２に書き込み、−掃引後この様にして逐次
フレームメモリ１２に書き込まれた複数個の有効エリア
の画像部分をバッファメモリ１８で合成して１枚の全体
画像を作成する、つまりワイパ４を含まないと共に雨滴
もあまり含まない画像を取り出す。

この画像取り出しについて画像取出手段６の作動手順を
示すフローチャートである第４図を併せて参照しながら
さらに詳しく説明する。

令弟３図においてワイパ４が左側ターニングポイント４
ａ位置から出発して矢印Ａ方向に掃引しているものとす
る。まず、ワイパ４の位置検出が行なわれる（第４図Ｓ
ｌ）。この位置検出はワイパ４の駆動モータ２８に接続
された位置検出センサ３０を介して行なわれ、その位置
情報は演算処理部ＩＢに入力される。この演算処理部１
６にはワイパ速度情報や雨量情報等が入力され、該演算
処理部１Ｂはこれらの情報に基づいてその時点で最適と
考えられる有効エリア（雨滴の付着程度が外界認識に実
質的に支障を来たさない程度である領域）の太きさ（本
実施例ではこの有効エリアの大きさはワイパ４の回動角
度で表わされる）を決定する。そして、その有効エリア
の角度がθである場合、画像入力手段２の視野３２は第
３図に示す如く角度θ毎の有効エリアａ、　　ｂ、・・
・・・・、ｉ−１，ｉ、・・・に区分されることになる
。

続いて、フレームメモリ１２に対するアドレスセットが
行なわれるが（第４図３２）。このアドレスセットはフ
レームメモリ１２に書き込むべき有効エリアの画像部分
のアドレスをセットするものであり、上記演算処理部１
８において上記決定された有効エリアの大きさと上記入
力されたワイパ４の位置情報等に基づいて行なわれる。

具体的には、ワイパ４が角度θだけ回動した時点で角度
０〜θまでの有効エリアａに対応する画像アドレスがセ
ットされる。

このアドレスセットにより、上記ワイパ４が上記有効エ
リアａを掃引した時点、即ち角度θだけ回動した時点に
上記演算処理部１８からセットされた有効エリアａに対
応する画像アドレスがフレームメモリ１２に出力され、
該フレームメモリ１２の上記有効エリアａに対応する画
像アドレス部分であるセグメントａに該有効エリアａの
画像部分の書き込みが行なわれる。（第４図３３）。

続いてワイパの一掃引が完了したか否かが判断され（第
４図８４）、完了していない場合にはＳｌに戻り、上記
有効エリアａの画像部分の書き込みと同様にしてワイパ
４が有効エリアｂも掃引した時点、即ち角度２θだけ回
動した時点で有効エリアｂの画像部分がフレームメモリ
１２のセグメントｂに書き込まれる。以下、同様にして
ワイパ４の動きに同期して順次各有効エリアの画像部分
がフレームメモリの対応するセグメントに書き込まれる
。

そして、ワイパ４の一掃引が完了した後、即ちワイパ４
が右側ターニングポイント４ｂに位置した後上記フレー
ムメモリ１２に書き込まれた画像が読み出され、バッフ
ァメモリ１４にて一枚の画像に合成される。この画像の
読み出し、合成は第４図における５５〜Ｓ８で行なわれ
る。つまり、まず演算処理部１Ｂにおいてフレームメモ
リ１２に対するセグメント８部分のアドレスがセットさ
れ（第４図８５）、このアドレスをフレームメモリ１２
に出力して該フレームメモリ１２からセグメントａの画
像を読み出しく第４図８６）、続いてそのセグメントａ
の画像を書き込むべきバッファメモリ１８におけるアド
レスを同じく演算処理部１６においてセットしく第４図
８７）、そのアドレスをバッファメモリ１８に出力して
そのアドレス部分に上記読み出したセグメントａの画像
を書き込む。そして、この１セグメント毎の画像の読み
出しを順次繰り返し、全セグメントの画像の読み出しが
完了した時点（第４図Ｓ８）でバッファメモリ１８内に
一枚の画像が合成される。

この様にしてバッファメモリ１８内で合成された画像は
、ワイパ掃引直後の雨滴が払拭されてまだあまり付着し
ていないエリアの画像部分を寄せ集めて成るものである
ので、ワイパの像がキャンセルされているのみでなく雨
滴の像も十分に少ないものである。

上記実施例は、雨が比較的多く、従って掃引してもすぐ
に雨滴が多く付着する場合に好適に適用し得るものであ
るが、雨が比較的少なく、従って一回掃引をすると、そ
の掃引終了後においてもまだ外界認識に支障を来たす程
は雨滴が付着しない場合には、例えばワイパがターニン
グポイント４ａ。

４ｂに位置した時点の画像を取り出すように画像読取手
段６を構成しても良い。この場合には、例えば位置セン
サ３０から入力されるワイパ位置情報に基づいて演算処
理部１６からワイパ４がターニングポイント４ａおよび
４ｂに位置している時にフレームメモリ１２に書き込み
信号を出力し、該フレームメモリ１２においてはこの書
き込み信号を受けてイメージセンサ２から出力された画
像の書き込みが行なわれ、このフレームメモリ１２に書
き込まれた画像がバッファメモリ１８を介して外界認識
用画像処理手段２０に向けて出力される。

かかる構成の画像取出手段６によっても、少雨時であれ
ばワイパがキャンセルされた画像であってかつ雨滴付着
の少ない画像を取り出すことができる。

本発明に係る画像処理装置は、払拭手段の作動時に該払
拭手段の像を実質的に含まない画像を取り出す画像取り
出し手段を備えて成るものであれば良く、その様な画像
の取り出し方法は特に限定されるものではない。

また、その様な画像を取り出すにあたっては、必要に応
じて上記実施例の如く払拭手段の像を実質的に含まない
だけでなくさらに雨滴をもあまり含まない画像を取り出
すようにすれば、払拭手段の像に起因する不都合のみで
なく雨滴の像に起因する不都合をも解決できるので好都
合である。

本発明における上記画像入力手段から入力された画像は
外界認識のために利用されるものであれば良く、その利
用態様は特に限定されるものではない。つまり、上記実
施例は画像から外界を認識して自動操縦を行なうもので
あったが、例えば前方に障害物を検出した場合にのみ制
約に操舵や制動を行なう部分的自動操縦を行なうもので
あったりあるいはその場合にワーニング（警報）を行な
うものであっても良く、さらには画像を必要に応じて適
宜処理して移動車に塔載したＣＲＴ等に表示して運転者
等に外界を認識させるものであっても良い。

（発明の効果） 本発明に係る移動者の画像処理装置は、上記の如く、払
拭手段の作動時には画像入力手段に入力された画像から
該払拭手段の像がキャンセルされた画像を取り出す画像
取出手段を備え、該画像取出手段から取り出された払拭
手段の像がキャンセルされた画像に基づいて外界認識を
行なわせるように構成されているので、払拭手段作動中
に該払拭手段が画像入力手段の視野中に入っても該払拭
手段の像に起因する外界認識の困難性や該認識という問
題は生じず、十分正確にかつ容易に外界を認識させるこ
とができ、例えばその外界認識によって自動操縦を行な
う場合には支障なく自動操縦走行を可能ならしめること
ができる。

【図面の簡単な説明】

第１図は本発明の一例の概要を示すブロック図、第２図
は本発明の一実施例を備えた自動車の一例を示す斜視図
、 ける作動手順を示すフローチャートである。 ２・・・画像入力手段 ４・・・払拭手段 ６・・・画像取出手段 第１図 第２図 第３図

Claims (1)

1. 【特許請求の範囲】 外界認識のための画像入力手段と、該画像入力手段の前
   に設けられ払拭作動中に該画像入力手段の視野中に入る
   払拭手段とを備えた移動車の画像処理装置であって、 上記払拭手段の作動時に上記画像入力手段に入力された
   画像から該払拭手段の像がキャンセルされた画像を取り
   出す画像取出手段を備え、該払拭手段の作動時には該画
   像取出手段によって取り出された払拭手段の像がキャン
   セルされた画像に基づいて外界認識を行なわせるように
   構成されていることを特徴とする移動車の画像処理装置
   。