JPH01274213A - 移動車の画像処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、外界を認識するだめの画像入力手段を備えた
自動車やロボット等の移動車の画像処理装置に関する。

（従来の技術） 例えば特開昭ｆ３１−２４０３０７号公報には、所定地
点に設置された画像入力手段たるカメラによって移動車
を撮像し、該カメラに入力された画像を処理して移動車
の位置や方向を算出し、その算出結果によって移動車の
走行を制御するようにした技術が開示されている。

また、上記の場合と異なり、画像入力手段を移動車に設
置し、この画像入力手段によって移動車の外界（実走行
環境）を撮像し、該画像入力手段に入力された画像を移
動車の走行に利用する、例えばその画像を処理して外界
の状態を認識し、その認識結果に基づいて移動車の走行
を制御する技術も従来から考えられている。

（発明が解決しようとする課題） ところで、上記の如く画像入力手段によって外界の画像
を入力する場合、例えば熱による空気の対流に起因する
空気のゆらぎあるいは雨つぶ等によってその画像が歪む
場合がある。

例えば、自動車の車室内に走行方向前方の外界を撮像す
べく画像入力手段が配設されている場合、該画像入力手
段の前方に位置するエンジンボンネットの温度上昇によ
る該ボンネット上方の空気のゆらぎや車室内の空調装置
のデフロスト用吹出口からフロントガラスに向けて吹き
出される温風等によって画像入力手段に入力される画像
が歪むことがある。

その様な場合、歪んだ画像をそのまま入力して例えば外
界認識用画像処理手段によって画像処理して外界認識を
行なおうとすると、画像が歪んでいることによって外界
の状態例えば前方に位置する物体の位置や形状等を正確
に求めることができない等の種々の問題が発生する。

本発明の目的は、上記事情に鑑み、画像の歪を補正して
より正確な外界認識を行なわせることのできる移動車の
画像処理装置を提供することにある。

（課題を解決するための手段） 本発明に係る移動車の画像処理装置は、上記目的を達成
するために、 外界認識のための画像入力手段を備えた移動車の画像処
理装置であって、 上記画像入力手段の前方に位置せしめられる標準パター
ンと、上記画像入力手段に入力された画像中の標準パタ
ーンの歪を検出する歪検出手段と、検出された［７１パ
ターンの歪に基づいて画像入力手段に入力された画像の
歪補正を行なう歪補正手段とを備えて成ることを特徴と
する。

上記標準パターンは画像に写し込まれたその画像中にお
ける標準パターンの変形もしくは変位によって画像の歪
を検出することができるものであればどの様なものでも
良く、例えば格子状のパターンが好適に使用される。

上記標準パターンは種々の方法で実現できる。

例えば格子状の標準パターンの場合、それは格子であっ
ても良いしフロントガラスに投影される格子状の図形で
あっても良い。

また、上記標準パターンは常時画像入力手段の前に位置
して画像に写し込まれるものであっても良いが、望まし
くは必要時だけ画像入力手段の視野中に位置する様に構
成されているのが良い。

（作　　用） 上記の如く画像入力手段の前に標準パターンを位置させ
て該パターンを画像中に写し込めば、画像入力手段と標
準パターンとの間に空気のゆらぎ等の画像の歪の原因が
存在する場合それによって＋ｔｒｓパターンも歪む。従
って、その画像中に写し込まれた標準パターンの歪（標
準パターンの歪のない状態からの変形や変位）に基づい
て上記原因による画像の歪を検出することができ、その
検出された歪に基づいて画像の歪補正を行なえば歪のな
い画像を得ることができる。

（実　施　例） 以下、図面を参照しながら本発明の実施例について詳細
に説明する。

第１図は本発明の概略を示すブロック図であり、本発明
に係る画像処理装置は、画像入力手段２の前方に位置せ
しめられる例えば格子状の標準パターン４と、画像中に
写し込まれた標準パターン４の歪を検出する歪検出手段
６と、該歪検出手段６から出力される歪情報に基づいて
画像を歪補正する歪補正手段８とを備えて成る。

第２図は本発明に係る画像処理装置の一実施例を示すブ
ロック図である。なお、図において２重線は制御信号系
路を、実線（外界認識用画像処理手段以降を除く）は歪
検出時における処理系路を、破線は歪補正時における処
理系路を示す。

本実施例は、本発明を自動操縦が行なわれる自動車の画
像処理装置に適用したものであり、画像入力手段２とし
てＣＣＤを用いたイメージセンサを使石し、標準パター
ン４として格子状のものを使用して成るものである。

かかるイメージセンサ２と標準パターン４とは第３図に
示す態様で自動車１０に設けられている。

即ちイメージセンサ２は車室内のフロントガラス１２近
傍においてルーフ部分に取り付けられ、走行方向前方の
外界情報を画像として入力可能になされており、画像入
力手段２の前方に位置せしめられるｐＱパターンである
格子４は自動車１０のフロントガラス１２の前に上下動
して車体から出没可能に設けられている。

第４図は上記格子４が位置する車体部分の断面図であり
、図示の如く格子４はフロントガラス１２の前部に上下
動可能に設けられ、下降時は車体内に格納されると共に
上昇時はイメージセンサ２の視野内に位置して画像のほ
ぼ全域にわたって写り込む。格子４は車体前後方向後側
から見た第５図に示す様にその側縁にラック部４ａを有
し、該ラック部４ａに噛合するピニオン１４ａを介して
モータ１４ｂにより上下動せしめられ、該モータ１４ｂ
は計算機１６からの信号に基づいてモータコントローラ
１８により作動せしめられる。なお、この格子４は例え
ば第３図中破線で示されているように自動車の前端部に
設けられていても良い。

上記標準パターン４は、第６図に示す様にフロントガラ
ス１２に投影される格子状の図形であっても良い。この
場合にはプロジェクタ２０によってフロントガラス１２
上のイメージセンサ２の視野中に格子状の図形が投影さ
れ、該投影は計算機１６からの信号に基づいてプロジェ
クタコントローラ２２によりオン・オフ制御される。

上記イメージセンサ２に入力された画像（画像信号）は
、本実施例のブロック図である第２図に示す様に、−旦
フレームメモリ２６に書き込まれ、該フレームメモリ２
Ｂから外界認識用画像処理手段２８に入力される。該処
理手段２８においては、フレームメモリ２６から入力さ
れた画像信号が各種画像処理アルゴリズムによって処理
され、走行路を示すエツジ・領域等の抽出が行なわれる
。

上記抽出されたエツジ・領域等の情報はローカルマツプ
生成手段３０に入力され、そこで上記エツジ・領域等の
情報に基づいてローカルマツプ、即ち自動車のごく近傍
の外界の状態がどうなっているかを示すマツプが作成さ
れる。このローカルマツプ情報は最適経路生成手段３２
に入力され、そこで上記ローカルマツプ情報および予め
入力されている目的地等の情報を基に目的地に向かう最
適経路が決定され、さらにその最適経路を走行するため
の走行方向および走行速度が決定される。これらの走行
方向および走行速度に関する情報はコントローラ３４に
入力され、該コントローラ３４によって自動車のステア
リングおよび速度が上記走行方向および走行速度情報に
基づいて制御される。

本実施例においては、歪の検出は所定時間間隔で行なわ
れ、歪が所定の許容範囲内であればフレームメモリ２Ｂ
に書き込まれた画像は歪補正されることなくそのままの
状態で上記画像処理手段２８に入力され、歪が所定の許
容範囲より大であれば次回の歪検出まではその歪を除去
する歪補正、即ちフレームメモリ２６におけるその歪が
ない状態の画像への書き換えが行なわれ、この歪補正さ
れた画像が上記画像処理手段２８に入力される。

以下、この歪検出および歪補正について、その手順を示
すフローチャートである第７図に基づき、上記第２図を
参照しながら説明する。

上記歪検出は、本実施例においては第２図に示す標準パ
ターン４、フレームメモリ２６、アドレスジェネレータ
３６、基準信号発生手段４０、比較手段３８、歪テーブ
ル４２によって構成される歪検出手段によって図中実線
で示す歪検出処理系路により行なわれる。

まず、第７図の８１において標準パターン４が写し込ま
れた画像が比較手段３８に入力される。この標準パター
ン４が写し込まれた画像の入力は、本処理装置全体を制
御する計算機１６によって所定の時間間隔で標準パター
ン４をイメージセンサ２の視野中に位置せしめ、即ち前
述の第４図に示す標準パターンの場合は格子を上昇させ
、第６図に示す標準パターンの場合は格子状の図形を投
影し、この標準パターン４が写し込まれた画像をフレー
ムメモリ２Ｂに書き込み、このフレームメモリ２６に書
き込まれた画像をアドレスジェネレータ３６から出力さ
れたアドレスに従ってフレームメモリ２６から読み出し
て比較手段３８に入力させることによって行なわれる。

次いで、Ｓ２において上記入力された画像中の標準パタ
ーンと基準信号との比較が比較手段３８により行なわれ
る。ここで基準信号とは画像に歪がないときの標準パタ
ーンがあるべき座標（アドレス）を示す信号であり、基
準信号発生手段４０から比較手段３８に入力され、該比
較手段３８においてはこの基準信号と上記入力された画
像の標準パターンとが比較され該標準パターンの歪（基
準信号に対するズレ量）が算出される。

次に、Ｓ３において比較手段３８により上記標準パター
ンの歪が所定の許容範囲内であるか否か、例えば最大歪
が所定の許容範囲内であるか否かが判断される。

そして、歪が所定の許容範囲より大である場合にはＳ４
において歪テーブルが作成される。歪テーブルの作成は
、比較手段３８において上記算出された標準パターンの
歪から全画素の歪を算出し、それを歪テーブル４２に書
き込むことによって行なわれる。

上記歪算出および歪テーブルの作成について、その手順
を示すフローチャートである第８図に基づき、第９図お
よび第１０図を参照しながらさらに詳しく説明する。第
９図は画像中に写し込まれた歪んだ標準パターン（実線
）４と歪んでいない標準パターンである基準信号（破線
）を示し、第１Ｏ図は第９図中のＡ部分を拡大して示す
図である。

歪算出は、比較手段３８において該比較手段３８にフレ
ームメモリ２６から入力された画像を順次走査して第９
図中に実線で示されている標準パターン４の線を見つけ
、線が見つかったらその線を追跡してＸ方向とＸ方向の
線が交差している交差点を次々に検出する、例えば一番
上の線の左から右へ、続いて２番目の線の左から右へと
追跡して順次交差点を検出し、各交差点を検出する毎に
その交差点の歪を算出し、これを全交差点が終了するま
で行なうことによってなされる。

これを第９図中に示す交差点Ｐｌｊについて説明すると
、まず第８図の８８において歪検出が全交差点について
終了したか否かが判断され、未だ終了していない場合Ｓ
９に進み、Ｓ９において引き続き画像が走査され、標準
パータン４の線が追跡されて交差点Ｐ１ｊが検出され、
そのＰｌｊの座標（ｘｉｊ　’　、　ｙｌｊ　’　）が
算出される。次に、ＳＩＯにおいてその交差点Ｐｌｊの
歪、即ちＰｌｊの座標（ＸＩｊ　’　、　ｙｉｊ　’　
）とＰｌｊに対応する基準信号上の交差点Ｓｌｊの座標
（ｘｌｊ　、　ｙｉｊ　）との差（Δｘｌｊ　。

Δｙｌｊ　）が算出される。この禄にしてＰｌｊの歪が
算出されたらＳ８に戻り、再び全交差点が終了したか否
かが判断され、終了していない場合には再びＳ９．Ｓ１
０に進んで次の交差点の歪が算出され、これをくり返す
ことによって全交差点の歪が算出される。

上記の如くして全交差点の歪算出が終了したらＳｌｌに
進み、該ＳＩＬにおいて各交差点の歪（△ｘｉｊ、Δｙ
ｉｊ　）を用いて適当な補間式に基づき各交差点間の各
画素の歪を計算して補間を行ないながら画像中の全画素
の歪が計算され、アドレスジェネレータ３６から入力さ
れるアドレスに従って全画素の歪が歪テーブル４２に書
き込まれることによって歪テーブルが作成される。なお
、この歪テーブルの作成は第７図のＳ４と同一であり、
第８図には示されていないが第７図の８３に示されてい
る様に、全交差点の歪算出が終了した時点で歪が許容範
囲内か否かを判断し、許容範囲より大であった時のみ実
行される。

続いて、上記第７図における歪検出後の手順即ちＳ３、
Ｓ４より後の手順について説明する。

まず、第７図８３において歪が許容範囲内であると判断
されたときは、Ｓ５においてイメージセンサ２から出力
された画像がフレームメモリ２６に書き込まれ、このフ
レームメモリ２８に書き込まれた画像は何ら歪補正され
ることなくそのままの状態で外界認識用画像処理手段２
８に入力され、Ｓ６において該画像処理手段２８で外界
認識用の画像処理が行なわれる。

一方、第７図８３において歪が許容範囲より大であると
判断されたときは、Ｓ４において前述の如く歪テーブル
４２が作成され、この歪テーブル４２に基づいて歪補正
が行なわれる。この歪補正は第２図におけるフレームメ
モリ２６、アドレスジエネレータ３６、歪テーブル４２
および補正アドレスジェネレータ４４から成る歪補正手
段によって図中破線で示される歪補正処理系路により以
下の様にして行なわれる。

まず、第７図８７においてアドレスジェネレータ３６か
ら入力されるアドレスに従って歪テーブル４２から歪を
読み出してそれを補正アドレスジェネレータ４４に入力
させ、該補正アドレスジェネレータ４４において入力さ
れた歪量に基づき歪を補正した補正アドレスを発生させ
る。続いてＳ５に進み、そこでイメージセンサ２から出
力されてフレームメモリ２６に書き込まれた画像を上記
補正アドレスに従って歪のない状態の画像に書き換える
歪補正が行なわれる。この歪補正された画像はフレーム
メモリ２６から外界認識用画像処理手段２８に入力され
、前述の如＜Ｓ６において該画像処理手段２８で画像処
理されて外界認識が行なわれる。

なお、上記第７図の８２〜Ｓ４においては、例えばボン
ネットの温度上昇や空調の温風吹出による画像の歪は画
像の下部の方が上部よりも大きいと考えられるので、標
準パターンの歪算出を下方から行ない、標準パターンの
下部所定範囲の歪算出が終了した時点でその歪が許容範
囲内にあるか否かを判断し、許容範囲内であれば上部の
歪算出は省略してＳ５へ進み、許容範囲より大である時
のみ上部も歪算出して画像全体の歪テーブルを作成すべ
くＳ４へ進むようにしても良い。

上記歪検出は、歪が大きいと考えられる状況の下におい
ては短い時間間隔で、歪が小さいと考えられる状況の下
においては長い時間間隔で行なえば良く、基本的には全
要因を検出してそれに基づいて適宜歪検出時間間隔を決
定すれば良い。

例えば、歪が主としてボンネットの温度上昇によって生
じる状況においては、低速走行時例えば１０ｋｍ／ｈ以
下でボンネット温度が高い時に大きな歪が生じるので、
第２図に示す様に車速とボンネット温度と共に前回検出
した歪量を計算機１６に入力し、それらに基づいて計算
機１６で歪検出時間間隔を決定し、その時間間隔で標準
パターンを画像入力手段２の視野中に位置させて歪検出
を行なえば良い。勿論、この場合車速は低速である程、
ボンネット温度は高温である程、また前回の歪量は大で
ある程歪検出時間間隔を短く設定することになる。

第１０図は標準パターン４を出して画像入力手段２の視
野中に位置させて（第４図の場合は上昇、第６図は場合
は投影）歪検出を行なう場合の本実施例における手順を
示すフローチャートである。

まず、Ｓ１２において入力された車速、ボンネット温度
および前回の歪量に基づき計算機１６により標準パター
ン４を画像処理０回つき１回出すことが決定される。続
いて、Ｓ１３においてｎ−１をｎとし、Ｓ１４において
そのｎが零であるか否かが判断される。そして、ｎが零
の場合はＳ１９において標準パターン４を出し、Ｓ２０
においてフレームメモリ２６に標準パターン４を含む画
像を入力させ、５２＋において標準パターン４を格納し
、８１６において上記Ｓ２０でフレームメモリ２６に入
力された画像の歪補正が行なわれる。この補正は、上記
Ｓ２０でフレームメモリ２６に入力された画像中の標準
パターンの歪を算出し、前述の如くその歪が許容範囲よ
り大であった場合にのみ前述の方法で行なわれる。上記
Ｓ２０において入力された画像もしくはその補正画像は
Ｓ１７において外界認識用画像処理手段２８で画像処理
され、該画像処理によって外界の認識が行なわれる。こ
の画像処理後８１ｇにおいてｎが零であるか否かが判断
され、ｎが零でない場合にはＳ１３に戻り、ｎが零であ
る場合にはＳ１２に戻る。

一方、上記Ｓ１４においてｎが零でないと判断された場
合には、Ｓ１５においてフレームメモリ２６に画像が入
力され、その画像は前回のｎが零のときの歪検出におけ
る歪が許容範囲内であった場合には補正されることなく
Ｓ１７において画像処理に供され、許容範囲より大であ
った場合にはＳｌＢにおいてその前回の歪検出時に作成
された歪テーブルに基づいて歪補正が行なわれ、この歪
補正された画像が３１７において画像処理に供される。

本発明は、上記実施例に限定されるものではなく、その
要旨を越えない範囲において種々の変更態様を取ること
ができる。

また、本発明における上記画像入力手段から出力された
画像は外界認識のために利用されるものであれば良く、
その利用態様は特に限定されるものではない。つまり、
上記実施例で画像から外界を認識して自動操縦を行なう
ものであったが、例えば前方に障害物を検出した場合に
のみ強制的に操舵や制動を行なう部分的自動操縦を行な
うものであったりあるいはその場合にワーニング（警報
）を行なうものであっても良く、さらには画像を必要に
応じて適宜処理して移動車に搭載したＣＲＴ等に表示し
て運転者等に外界を認識させるものであっても良い。

（発明の効果） 本発明に係る移動車の画像処理装置においては標準パタ
ーンを備え、該標準パターンを画像中に写し込んでその
画像中に写し込まれた標準パターンの歪を歪検出手段に
より検出し、その標準パターンの歪に基づいて画像を歪
補正手段により補正し得る様に構成されており、上記標
準パターンの歪は該標章パターンが画像中にどの様に写
し込まれるかを予め調べておくことにより容易に求める
ことができ、かつ標準パターンは画像中に写し込まれて
いるのでその歪は画像の歪と一致し、従って上記本発明
に係る画像処理装置によれば容易かつ正確に画像の歪検
出を行なうことができると共にそれにより正確な歪補正
を行なうことができ、よって正確に歪補正された歪のな
い画像を外界認識に洪することができる。

【図面の簡単な説明】

第１図は本発明の概要を示すブロック図、第２図は本発
明の実施例を示すブロック図、第３図は第２図に示す実
施例における画像入力手段と標準パターンを備えた自動
車の斜視図、第４図は第３図に示す自動車の車体前後方
向に延びる垂直面で切断した断面図、 第５図は第４図に示す標準パターンを車体後方から見た
図、 第６図は他の標準パターンを備えた自動車の第４図と同
様の断面図、 第７図は歪検出および歪補正の手順の一列を示すフロー
チャート、 第８図は第７図における歪検出手順を詳しく示すフロー
チャート、 第９図は画像に入力された歪んだ標準パターンと基準信
号とを示す図、 第１Ｏ図は第９図のＡ部を詳細に示す図、第１１図は標
準パターンの出没制御手順を示すフローチャートである
。 ２・・・画像入力手段 ４・・・標準パターン ６・・・歪検出手段 ８・・・歪補正手段 第１図 第２図 第４図 第１１図

Claims (1)

1. 【特許請求の範囲】 外界認識のための画像入力手段を備えた移動車の画像処
   理装置であって、 上記画像入力手段の前方に位置せしめられる標準パター
   ンと、上記画像入力手段に入力された画像中の標準パタ
   ーンの歪を検出する歪検出手段と、検出された標準パタ
   ーンの歪に基づいて画像入力手段に入力された画像の歪
   補正を行なう歪補正手段とを備えて成ることを特徴とす
   る移動車の画像処理装置。