JPH01274213A - 移動車の画像処理装置 - Google Patents

移動車の画像処理装置

Info

Publication number
JPH01274213A
JPH01274213A JP63103189A JP10318988A JPH01274213A JP H01274213 A JPH01274213 A JP H01274213A JP 63103189 A JP63103189 A JP 63103189A JP 10318988 A JP10318988 A JP 10318988A JP H01274213 A JPH01274213 A JP H01274213A
Authority
JP
Japan
Prior art keywords
distortion
image
standard pattern
correction
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP63103189A
Other languages
English (en)
Inventor
Shoichi Maruya
丸屋 祥一
Tomoshi Morita
守田 知史
Hiroyuki Takahashi
弘行 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Priority to JP63103189A priority Critical patent/JPH01274213A/ja
Publication of JPH01274213A publication Critical patent/JPH01274213A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 (産業上の利用分野) 本発明は、外界を認識するだめの画像入力手段を備えた
自動車やロボット等の移動車の画像処理装置に関する。
(従来の技術) 例えば特開昭f31−240307号公報には、所定地
点に設置された画像入力手段たるカメラによって移動車
を撮像し、該カメラに入力された画像を処理して移動車
の位置や方向を算出し、その算出結果によって移動車の
走行を制御するようにした技術が開示されている。
また、上記の場合と異なり、画像入力手段を移動車に設
置し、この画像入力手段によって移動車の外界(実走行
環境)を撮像し、該画像入力手段に入力された画像を移
動車の走行に利用する、例えばその画像を処理して外界
の状態を認識し、その認識結果に基づいて移動車の走行
を制御する技術も従来から考えられている。
(発明が解決しようとする課題) ところで、上記の如く画像入力手段によって外界の画像
を入力する場合、例えば熱による空気の対流に起因する
空気のゆらぎあるいは雨つぶ等によってその画像が歪む
場合がある。
例えば、自動車の車室内に走行方向前方の外界を撮像す
べく画像入力手段が配設されている場合、該画像入力手
段の前方に位置するエンジンボンネットの温度上昇によ
る該ボンネット上方の空気のゆらぎや車室内の空調装置
のデフロスト用吹出口からフロントガラスに向けて吹き
出される温風等によって画像入力手段に入力される画像
が歪むことがある。
その様な場合、歪んだ画像をそのまま入力して例えば外
界認識用画像処理手段によって画像処理して外界認識を
行なおうとすると、画像が歪んでいることによって外界
の状態例えば前方に位置する物体の位置や形状等を正確
に求めることができない等の種々の問題が発生する。
本発明の目的は、上記事情に鑑み、画像の歪を補正して
より正確な外界認識を行なわせることのできる移動車の
画像処理装置を提供することにある。
(課題を解決するための手段) 本発明に係る移動車の画像処理装置は、上記目的を達成
するために、 外界認識のための画像入力手段を備えた移動車の画像処
理装置であって、 上記画像入力手段の前方に位置せしめられる標準パター
ンと、上記画像入力手段に入力された画像中の標準パタ
ーンの歪を検出する歪検出手段と、検出された[71パ
ターンの歪に基づいて画像入力手段に入力された画像の
歪補正を行なう歪補正手段とを備えて成ることを特徴と
する。
上記標準パターンは画像に写し込まれたその画像中にお
ける標準パターンの変形もしくは変位によって画像の歪
を検出することができるものであればどの様なものでも
良く、例えば格子状のパターンが好適に使用される。
上記標準パターンは種々の方法で実現できる。
例えば格子状の標準パターンの場合、それは格子であっ
ても良いしフロントガラスに投影される格子状の図形で
あっても良い。
また、上記標準パターンは常時画像入力手段の前に位置
して画像に写し込まれるものであっても良いが、望まし
くは必要時だけ画像入力手段の視野中に位置する様に構
成されているのが良い。
(作  用) 上記の如く画像入力手段の前に標準パターンを位置させ
て該パターンを画像中に写し込めば、画像入力手段と標
準パターンとの間に空気のゆらぎ等の画像の歪の原因が
存在する場合それによって+trsパターンも歪む。従
って、その画像中に写し込まれた標準パターンの歪(標
準パターンの歪のない状態からの変形や変位)に基づい
て上記原因による画像の歪を検出することができ、その
検出された歪に基づいて画像の歪補正を行なえば歪のな
い画像を得ることができる。
(実 施 例) 以下、図面を参照しながら本発明の実施例について詳細
に説明する。
第1図は本発明の概略を示すブロック図であり、本発明
に係る画像処理装置は、画像入力手段2の前方に位置せ
しめられる例えば格子状の標準パターン4と、画像中に
写し込まれた標準パターン4の歪を検出する歪検出手段
6と、該歪検出手段6から出力される歪情報に基づいて
画像を歪補正する歪補正手段8とを備えて成る。
第2図は本発明に係る画像処理装置の一実施例を示すブ
ロック図である。なお、図において2重線は制御信号系
路を、実線(外界認識用画像処理手段以降を除く)は歪
検出時における処理系路を、破線は歪補正時における処
理系路を示す。
本実施例は、本発明を自動操縦が行なわれる自動車の画
像処理装置に適用したものであり、画像入力手段2とし
てCCDを用いたイメージセンサを使石し、標準パター
ン4として格子状のものを使用して成るものである。
かかるイメージセンサ2と標準パターン4とは第3図に
示す態様で自動車10に設けられている。
即ちイメージセンサ2は車室内のフロントガラス12近
傍においてルーフ部分に取り付けられ、走行方向前方の
外界情報を画像として入力可能になされており、画像入
力手段2の前方に位置せしめられるpQパターンである
格子4は自動車10のフロントガラス12の前に上下動
して車体から出没可能に設けられている。
第4図は上記格子4が位置する車体部分の断面図であり
、図示の如く格子4はフロントガラス12の前部に上下
動可能に設けられ、下降時は車体内に格納されると共に
上昇時はイメージセンサ2の視野内に位置して画像のほ
ぼ全域にわたって写り込む。格子4は車体前後方向後側
から見た第5図に示す様にその側縁にラック部4aを有
し、該ラック部4aに噛合するピニオン14aを介して
モータ14bにより上下動せしめられ、該モータ14b
は計算機16からの信号に基づいてモータコントローラ
18により作動せしめられる。なお、この格子4は例え
ば第3図中破線で示されているように自動車の前端部に
設けられていても良い。
上記標準パターン4は、第6図に示す様にフロントガラ
ス12に投影される格子状の図形であっても良い。この
場合にはプロジェクタ20によってフロントガラス12
上のイメージセンサ2の視野中に格子状の図形が投影さ
れ、該投影は計算機16からの信号に基づいてプロジェ
クタコントローラ22によりオン・オフ制御される。
上記イメージセンサ2に入力された画像(画像信号)は
、本実施例のブロック図である第2図に示す様に、−旦
フレームメモリ26に書き込まれ、該フレームメモリ2
Bから外界認識用画像処理手段28に入力される。該処
理手段28においては、フレームメモリ26から入力さ
れた画像信号が各種画像処理アルゴリズムによって処理
され、走行路を示すエツジ・領域等の抽出が行なわれる
上記抽出されたエツジ・領域等の情報はローカルマツプ
生成手段30に入力され、そこで上記エツジ・領域等の
情報に基づいてローカルマツプ、即ち自動車のごく近傍
の外界の状態がどうなっているかを示すマツプが作成さ
れる。このローカルマツプ情報は最適経路生成手段32
に入力され、そこで上記ローカルマツプ情報および予め
入力されている目的地等の情報を基に目的地に向かう最
適経路が決定され、さらにその最適経路を走行するため
の走行方向および走行速度が決定される。これらの走行
方向および走行速度に関する情報はコントローラ34に
入力され、該コントローラ34によって自動車のステア
リングおよび速度が上記走行方向および走行速度情報に
基づいて制御される。
本実施例においては、歪の検出は所定時間間隔で行なわ
れ、歪が所定の許容範囲内であればフレームメモリ2B
に書き込まれた画像は歪補正されることなくそのままの
状態で上記画像処理手段28に入力され、歪が所定の許
容範囲より大であれば次回の歪検出まではその歪を除去
する歪補正、即ちフレームメモリ26におけるその歪が
ない状態の画像への書き換えが行なわれ、この歪補正さ
れた画像が上記画像処理手段28に入力される。
以下、この歪検出および歪補正について、その手順を示
すフローチャートである第7図に基づき、上記第2図を
参照しながら説明する。
上記歪検出は、本実施例においては第2図に示す標準パ
ターン4、フレームメモリ26、アドレスジェネレータ
36、基準信号発生手段40、比較手段38、歪テーブ
ル42によって構成される歪検出手段によって図中実線
で示す歪検出処理系路により行なわれる。
まず、第7図の81において標準パターン4が写し込ま
れた画像が比較手段38に入力される。この標準パター
ン4が写し込まれた画像の入力は、本処理装置全体を制
御する計算機16によって所定の時間間隔で標準パター
ン4をイメージセンサ2の視野中に位置せしめ、即ち前
述の第4図に示す標準パターンの場合は格子を上昇させ
、第6図に示す標準パターンの場合は格子状の図形を投
影し、この標準パターン4が写し込まれた画像をフレー
ムメモリ2Bに書き込み、このフレームメモリ26に書
き込まれた画像をアドレスジェネレータ36から出力さ
れたアドレスに従ってフレームメモリ26から読み出し
て比較手段38に入力させることによって行なわれる。
次いで、S2において上記入力された画像中の標準パタ
ーンと基準信号との比較が比較手段38により行なわれ
る。ここで基準信号とは画像に歪がないときの標準パタ
ーンがあるべき座標(アドレス)を示す信号であり、基
準信号発生手段40から比較手段38に入力され、該比
較手段38においてはこの基準信号と上記入力された画
像の標準パターンとが比較され該標準パターンの歪(基
準信号に対するズレ量)が算出される。
次に、S3において比較手段38により上記標準パター
ンの歪が所定の許容範囲内であるか否か、例えば最大歪
が所定の許容範囲内であるか否かが判断される。
そして、歪が所定の許容範囲より大である場合にはS4
において歪テーブルが作成される。歪テーブルの作成は
、比較手段38において上記算出された標準パターンの
歪から全画素の歪を算出し、それを歪テーブル42に書
き込むことによって行なわれる。
上記歪算出および歪テーブルの作成について、その手順
を示すフローチャートである第8図に基づき、第9図お
よび第10図を参照しながらさらに詳しく説明する。第
9図は画像中に写し込まれた歪んだ標準パターン(実線
)4と歪んでいない標準パターンである基準信号(破線
)を示し、第1O図は第9図中のA部分を拡大して示す
図である。
歪算出は、比較手段38において該比較手段38にフレ
ームメモリ26から入力された画像を順次走査して第9
図中に実線で示されている標準パターン4の線を見つけ
、線が見つかったらその線を追跡してX方向とX方向の
線が交差している交差点を次々に検出する、例えば一番
上の線の左から右へ、続いて2番目の線の左から右へと
追跡して順次交差点を検出し、各交差点を検出する毎に
その交差点の歪を算出し、これを全交差点が終了するま
で行なうことによってなされる。
これを第9図中に示す交差点Pljについて説明すると
、まず第8図の88において歪検出が全交差点について
終了したか否かが判断され、未だ終了していない場合S
9に進み、S9において引き続き画像が走査され、標準
パータン4の線が追跡されて交差点P1jが検出され、
そのPljの座標(xij ’ 、 ylj ’ )が
算出される。次に、SIOにおいてその交差点Pljの
歪、即ちPljの座標(XIj ’ 、 yij ’ 
)とPljに対応する基準信号上の交差点Sljの座標
(xlj 、 yij )との差(Δxlj 。
Δylj )が算出される。この禄にしてPljの歪が
算出されたらS8に戻り、再び全交差点が終了したか否
かが判断され、終了していない場合には再びS9.S1
0に進んで次の交差点の歪が算出され、これをくり返す
ことによって全交差点の歪が算出される。
上記の如くして全交差点の歪算出が終了したらSllに
進み、該SILにおいて各交差点の歪(△xij、Δy
ij )を用いて適当な補間式に基づき各交差点間の各
画素の歪を計算して補間を行ないながら画像中の全画素
の歪が計算され、アドレスジェネレータ36から入力さ
れるアドレスに従って全画素の歪が歪テーブル42に書
き込まれることによって歪テーブルが作成される。なお
、この歪テーブルの作成は第7図のS4と同一であり、
第8図には示されていないが第7図の83に示されてい
る様に、全交差点の歪算出が終了した時点で歪が許容範
囲内か否かを判断し、許容範囲より大であった時のみ実
行される。
続いて、上記第7図における歪検出後の手順即ちS3、
S4より後の手順について説明する。
まず、第7図83において歪が許容範囲内であると判断
されたときは、S5においてイメージセンサ2から出力
された画像がフレームメモリ26に書き込まれ、このフ
レームメモリ28に書き込まれた画像は何ら歪補正され
ることなくそのままの状態で外界認識用画像処理手段2
8に入力され、S6において該画像処理手段28で外界
認識用の画像処理が行なわれる。
一方、第7図83において歪が許容範囲より大であると
判断されたときは、S4において前述の如く歪テーブル
42が作成され、この歪テーブル42に基づいて歪補正
が行なわれる。この歪補正は第2図におけるフレームメ
モリ26、アドレスジエネレータ36、歪テーブル42
および補正アドレスジェネレータ44から成る歪補正手
段によって図中破線で示される歪補正処理系路により以
下の様にして行なわれる。
まず、第7図87においてアドレスジェネレータ36か
ら入力されるアドレスに従って歪テーブル42から歪を
読み出してそれを補正アドレスジェネレータ44に入力
させ、該補正アドレスジェネレータ44において入力さ
れた歪量に基づき歪を補正した補正アドレスを発生させ
る。続いてS5に進み、そこでイメージセンサ2から出
力されてフレームメモリ26に書き込まれた画像を上記
補正アドレスに従って歪のない状態の画像に書き換える
歪補正が行なわれる。この歪補正された画像はフレーム
メモリ26から外界認識用画像処理手段28に入力され
、前述の如<S6において該画像処理手段28で画像処
理されて外界認識が行なわれる。
なお、上記第7図の82〜S4においては、例えばボン
ネットの温度上昇や空調の温風吹出による画像の歪は画
像の下部の方が上部よりも大きいと考えられるので、標
準パターンの歪算出を下方から行ない、標準パターンの
下部所定範囲の歪算出が終了した時点でその歪が許容範
囲内にあるか否かを判断し、許容範囲内であれば上部の
歪算出は省略してS5へ進み、許容範囲より大である時
のみ上部も歪算出して画像全体の歪テーブルを作成すべ
くS4へ進むようにしても良い。
上記歪検出は、歪が大きいと考えられる状況の下におい
ては短い時間間隔で、歪が小さいと考えられる状況の下
においては長い時間間隔で行なえば良く、基本的には全
要因を検出してそれに基づいて適宜歪検出時間間隔を決
定すれば良い。
例えば、歪が主としてボンネットの温度上昇によって生
じる状況においては、低速走行時例えば10km/h以
下でボンネット温度が高い時に大きな歪が生じるので、
第2図に示す様に車速とボンネット温度と共に前回検出
した歪量を計算機16に入力し、それらに基づいて計算
機16で歪検出時間間隔を決定し、その時間間隔で標準
パターンを画像入力手段2の視野中に位置させて歪検出
を行なえば良い。勿論、この場合車速は低速である程、
ボンネット温度は高温である程、また前回の歪量は大で
ある程歪検出時間間隔を短く設定することになる。
第10図は標準パターン4を出して画像入力手段2の視
野中に位置させて(第4図の場合は上昇、第6図は場合
は投影)歪検出を行なう場合の本実施例における手順を
示すフローチャートである。
まず、S12において入力された車速、ボンネット温度
および前回の歪量に基づき計算機16により標準パター
ン4を画像処理0回つき1回出すことが決定される。続
いて、S13においてn−1をnとし、S14において
そのnが零であるか否かが判断される。そして、nが零
の場合はS19において標準パターン4を出し、S20
においてフレームメモリ26に標準パターン4を含む画
像を入力させ、52+において標準パターン4を格納し
、816において上記S20でフレームメモリ26に入
力された画像の歪補正が行なわれる。この補正は、上記
S20でフレームメモリ26に入力された画像中の標準
パターンの歪を算出し、前述の如くその歪が許容範囲よ
り大であった場合にのみ前述の方法で行なわれる。上記
S20において入力された画像もしくはその補正画像は
S17において外界認識用画像処理手段28で画像処理
され、該画像処理によって外界の認識が行なわれる。こ
の画像処理後81gにおいてnが零であるか否かが判断
され、nが零でない場合にはS13に戻り、nが零であ
る場合にはS12に戻る。
一方、上記S14においてnが零でないと判断された場
合には、S15においてフレームメモリ26に画像が入
力され、その画像は前回のnが零のときの歪検出におけ
る歪が許容範囲内であった場合には補正されることなく
S17において画像処理に供され、許容範囲より大であ
った場合にはSlBにおいてその前回の歪検出時に作成
された歪テーブルに基づいて歪補正が行なわれ、この歪
補正された画像が317において画像処理に供される。
本発明は、上記実施例に限定されるものではなく、その
要旨を越えない範囲において種々の変更態様を取ること
ができる。
また、本発明における上記画像入力手段から出力された
画像は外界認識のために利用されるものであれば良く、
その利用態様は特に限定されるものではない。つまり、
上記実施例で画像から外界を認識して自動操縦を行なう
ものであったが、例えば前方に障害物を検出した場合に
のみ強制的に操舵や制動を行なう部分的自動操縦を行な
うものであったりあるいはその場合にワーニング(警報
)を行なうものであっても良く、さらには画像を必要に
応じて適宜処理して移動車に搭載したCRT等に表示し
て運転者等に外界を認識させるものであっても良い。
(発明の効果) 本発明に係る移動車の画像処理装置においては標準パタ
ーンを備え、該標準パターンを画像中に写し込んでその
画像中に写し込まれた標準パターンの歪を歪検出手段に
より検出し、その標準パターンの歪に基づいて画像を歪
補正手段により補正し得る様に構成されており、上記標
準パターンの歪は該標章パターンが画像中にどの様に写
し込まれるかを予め調べておくことにより容易に求める
ことができ、かつ標準パターンは画像中に写し込まれて
いるのでその歪は画像の歪と一致し、従って上記本発明
に係る画像処理装置によれば容易かつ正確に画像の歪検
出を行なうことができると共にそれにより正確な歪補正
を行なうことができ、よって正確に歪補正された歪のな
い画像を外界認識に洪することができる。
【図面の簡単な説明】
第1図は本発明の概要を示すブロック図、第2図は本発
明の実施例を示すブロック図、第3図は第2図に示す実
施例における画像入力手段と標準パターンを備えた自動
車の斜視図、第4図は第3図に示す自動車の車体前後方
向に延びる垂直面で切断した断面図、 第5図は第4図に示す標準パターンを車体後方から見た
図、 第6図は他の標準パターンを備えた自動車の第4図と同
様の断面図、 第7図は歪検出および歪補正の手順の一列を示すフロー
チャート、 第8図は第7図における歪検出手順を詳しく示すフロー
チャート、 第9図は画像に入力された歪んだ標準パターンと基準信
号とを示す図、 第1O図は第9図のA部を詳細に示す図、第11図は標
準パターンの出没制御手順を示すフローチャートである
。 2・・・画像入力手段 4・・・標準パターン 6・・・歪検出手段 8・・・歪補正手段 第1図 第2図 第4図 第11図

Claims (1)

  1. 【特許請求の範囲】 外界認識のための画像入力手段を備えた移動車の画像処
    理装置であって、 上記画像入力手段の前方に位置せしめられる標準パター
    ンと、上記画像入力手段に入力された画像中の標準パタ
    ーンの歪を検出する歪検出手段と、検出された標準パタ
    ーンの歪に基づいて画像入力手段に入力された画像の歪
    補正を行なう歪補正手段とを備えて成ることを特徴とす
    る移動車の画像処理装置。
JP63103189A 1988-04-26 1988-04-26 移動車の画像処理装置 Pending JPH01274213A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP63103189A JPH01274213A (ja) 1988-04-26 1988-04-26 移動車の画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP63103189A JPH01274213A (ja) 1988-04-26 1988-04-26 移動車の画像処理装置

Publications (1)

Publication Number Publication Date
JPH01274213A true JPH01274213A (ja) 1989-11-02

Family

ID=14347573

Family Applications (1)

Application Number Title Priority Date Filing Date
JP63103189A Pending JPH01274213A (ja) 1988-04-26 1988-04-26 移動車の画像処理装置

Country Status (1)

Country Link
JP (1) JPH01274213A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005515565A (ja) * 2002-01-17 2005-05-26 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 画像センサシステムにおける視界妨害物の識別方法および識別装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005515565A (ja) * 2002-01-17 2005-05-26 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 画像センサシステムにおける視界妨害物の識別方法および識別装置
US7609857B2 (en) 2002-01-17 2009-10-27 Robert Bosch Gmbh Method and device for recognizing obstruction of view in image sensor systems

Similar Documents

Publication Publication Date Title
JP3898709B2 (ja) 車両用走行区分線認識装置
JP3862015B2 (ja) 車載用レーダ装置
JP3722487B1 (ja) 車両用走行区分線認識装置
JP3897305B2 (ja) 車両周辺監視装置、車両周辺監視方法、制御プログラムおよび可読記録媒体
CN112793509B (zh) 一种盲区监测方法、设备、介质
US10896336B2 (en) Parking compartment recognition apparatus
EP3070675A1 (en) Image processor for correcting deviation of a coordinate in a photographed image at appropriate timing
JP3722486B1 (ja) 車両用走行区分線認識装置
WO2014027478A1 (ja) 道路環境認識装置
JP3993259B2 (ja) 画像処理装置
JP2007088601A (ja) 物体検出装置
JPH06215134A (ja) 車上認識対象画像デ−タの前処理方法
JPH01273113A (ja) 移動車の画像処理装置
JP2006012191A (ja) 車両用走行区分線認識装置
JP3157958B2 (ja) 先行車両認識方法
JPH01274213A (ja) 移動車の画像処理装置
JP2862199B2 (ja) 車両認識装置
JPH07114689A (ja) 車両登録番号認識方法
JP3722485B1 (ja) 車両用走行区分線認識装置
JPH06215291A (ja) 車両前方の物体の距離検出方法
JPH09243326A (ja) 道路白線認識装置
JPH0757200A (ja) 走路認識装置および走路認識方法
JP2001092979A (ja) 不適切画像検出方法
JP3365168B2 (ja) 後方白線認識装置
JPH07114688A (ja) 車両登録番号認識方法