JP4397573B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP4397573B2 JP4397573B2 JP2002289690A JP2002289690A JP4397573B2 JP 4397573 B2 JP4397573 B2 JP 4397573B2 JP 2002289690 A JP2002289690 A JP 2002289690A JP 2002289690 A JP2002289690 A JP 2002289690A JP 4397573 B2 JP4397573 B2 JP 4397573B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- correction
- camera
- coordinates
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、カメラにより撮影された画像を補正する画像処理装置に関する。
【０００２】
【従来の技術】
従来、２台のカメラ（ステレオカメラ）により撮影された１対の対象物画像を利用して、該対象物までの距離を求める３次元計測技術がある。このステレオカメラの画像補正装置は、レンズ歪みや焦点距離誤差による位置ずれ補正を行うために、予め、正格子パターンのような特定の補正量計測用撮像パターンを、ステレオカメラの両カメラで同時に撮影し、それぞれのカメラの撮影画像について、画素毎の座標補正量を計算する。そして、この結果を座標補正テーブルとして保持すると共に、画像メモリに格納されたデータを該座標補正テーブルの補正量により画素毎に補正することで、正確な画像データを取得する。なお、この時、レンズ歪みや焦点距離誤差による位置ずれ補正は垂直方向のみ行われる（例えば、特許文献１参照。）。
【０００３】
【特許文献１】
特開平１１−３２５８８９号公報
【０００４】
【発明が解決しようとする課題】
ところで、レンズ歪みや焦点距離誤差による対象物投影座標誤差は、画像面内の全領域に対して生じ、レンズ歪みに対しては画像が非線形に歪み、焦点距離誤差に対しては画像が拡大または縮小する。
しかし、従来の技術では、レンズ歪みや焦点距離誤差による位置ずれ補正を行うものの、補正は垂直方向に対してのみ行われるため、水平方向と垂直方向の両方向に発生する対象物投影座標誤差に対して、水平方向の位置ずれ誤差により誤った視差が算出されるので、ステレオカメラによる対象物測距を正確に行うことができないという問題があった。
また、従来の技術では、座標補正を行なうための演算回路や座標補正値を記憶するためのメモリが必要となるため、装置の大幅なコストアップが発生するという問題があった。
【０００５】
本発明は、上記課題に鑑みてなされたもので、画像の水平方向と垂直方向の両方向に発生する対象物投影座標誤差を容易に補正することができる画像処理装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、請求項１の発明に係る画像処理装置は、移動体の前部に平行に取り付けられ、車幅方向に対してほぼ対称な位置に配置された２つのカメラにより前記移動体と対象物との距離を測距する画像処理装置において、前記２つのカメラのうち一方の基準となる第１のカメラのレンズ特性に対応する一方向に対して、レンズ中心を基準とする座標補正のための第１の近似式を設定し、該第１の近似式に基づいて前記第１のカメラにより捉えた画像から抽出した基準対象物の投影座標を補正する第１の補正手段（例えば実施の形態のステップＳ０、Ｓ１２、Ｓ１５、Ｓ１７）と、前記２つのカメラのうち他方の第２のカメラにより捉えられる前記基準対象物に対応する対応対象物を相関演算により抽出する対応対象物抽出手段と、前記第２のカメラのレンズ特性に対応する一方向に対して、レンズ中心を基準とする座標補正のための第２の近似式を設定し、該第２の近似式に基づいて前記対応対象物の投影座標を補正する第２の補正手段と、前記第１の補正手段により補正された基準対象物の座標と、前記第２の補正手段により補正された対応対象物の座標とから視差を求め、前記移動体と対象物との距離を測距する測距手段とを備えたことを特徴とする。
以上の構成を備えた画像処理装置は、補正手段が、カメラのレンズ特性に対応する一方向に設定された近似式を用いて、カメラで捉えた対象物のレンズ全方向における投影座標補正を行うことができる。
【０００７】
請求項２の発明に係る画像処理装置は、請求項１に記載の画像処理装置において、前記第１、第２の近似式の係数を記憶する記憶手段（例えば実施の形態のパラメータ用メモリ１ａ）を備え、前記第１、第２の補正手段が、それぞれの記憶された係数による近似式に基づいて前記第１、第２のカメラにより捉えた前記基準対象物および前記対応対象物の投影座標を補正することを特徴とする。
以上の構成を備えた画像処理装置は、記憶手段に記憶される近似式の係数を変更することで容易に補正手段の補正特性を変更し、カメラで捉えた対象物の投影座標補正を的確に実行することができる。
【０００８】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
図１は、本発明の一実施の形態の画像処理装置の構成を示すブロック図である。
図１において、符号１は、本実施の形態の画像処理装置を制御するＣＰＵ（中央演算装置）を備えた車載の画像処理ユニットであって、遠赤外線を検出可能な２つの赤外線カメラ２Ｒ、２Ｌと当該車両のヨーレートを検出するヨーレートセンサ３、更に、当該車両の走行速度（車速）を検出する車速センサ４とブレーキの操作を検出するためのブレーキセンサ５が接続される。これにより、画像処理ユニット１は、車両の周辺の赤外線画像と車両の走行状態を示す信号とから、車両前方の歩行者や動物等を検出し、衝突の可能性が高いと判断したときに警報を発する。
【０００９】
また、画像処理ユニット１には、音声で警報を発するためのスピーカ６と、検出された対象物と自車両との衝突する危険性が高いと判定された場合のみ、赤外線カメラ２Ｒ、２Ｌにより撮影された画像を強調表示された対象物画像と共に表示し、衝突の危険性が高い対象物を車両の運転者に認識させるための、例えば自車両の走行状態を数字で表すメータと一体化されたメータ一体Ｄｉｓｐｌａｙや自車両のコンソールに設置されるＮＡＶＩＤｉｓｐｌａｙ、更にフロントウィンドウの運転者の前方視界を妨げない位置に情報を表示するＨＵＤ（Head Up Display ）７ａ等を含む画像表示装置７が接続されている。
【００１０】
また、画像処理ユニット１は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（中央演算装置）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ６の駆動信号、画像表示装置７の表示信号などを出力する出力回路を備えており、赤外線カメラ２Ｒ、２Ｌ及びヨーレートセンサ３、車速センサ４、ブレーキセンサ５の各出力信号は、ディジタル信号に変換されてＣＰＵに入力されるように構成されている。
【００１１】
更に、画像処理ユニット１は、フラッシュメモリ等の不揮発性のパラメータ用メモリ１ａを備えており、赤外線カメラ２Ｒ、２Ｌにより撮影された画像が座標上に投影された場合の誤差を補正するために、予め赤外線カメラ２Ｒ、２Ｌのレンズ特性を測定して近似した投影座標誤差曲線から求めたパラメータをパラメータ用メモリ１ａへ記憶することができる。
【００１２】
また、図２に示すように、赤外線カメラ２Ｒ、２Ｌは、自車両１０の前部に、自車両１０の車幅方向中心部に対してほぼ対称な位置に配置されており、２つの赤外線カメラ２Ｒ、２Ｌの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ２Ｒ、２Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
また、ＨＵＤ７ａは、自車両１０のフロントウインドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【００１３】
次に、本実施の形態の動作について図面を参照して説明する。
まず、本実施の形態の画像処理装置において補正される対象物投影座標誤差について説明すると、対象物投影座標誤差は、赤外線カメラ２Ｒ、２Ｌで撮影された画像が座標上に投影される際に、投影された画像がレンズ歪みや焦点距離誤差により歪曲したり拡大または縮小して発生する誤差である。具体的には、図３（ａ）に示すようなレンズ歪みや焦点距離誤差がない理想状態の対象物投影座標（Ｘ０、Ｙ０）が、レンズ歪みを原因とする投影座標誤差により、図３（ｂ）に示すような対象物投影座標（Ｘ１、Ｙ１）へ投影されたり、焦点距離誤差を原因とする投影座標誤差により、図３（ｃ）に示すような対象物投影座標（Ｘ２、Ｙ２）へ投影されることであって、赤外線カメラ２Ｒ、２Ｌそれぞれに対象物投影座標誤差が存在するため、ステレオカメラにより撮影された１対の対象物画像の視差を利用して該対象物までの距離を求める３次元計測技術では、対象物投影座標誤差は視差算出における視差誤差となって現れる。
【００１４】
図４は、レンズ歪みや焦点距離誤差がない場合の画像の一例であって、ステレオカメラにより撮影された１対の対象物画像の視差Δｄは、下記（１）式により求められる。
Δｄ＝ＸＬ０−ＸＲ０ ・・・（１）
これに対して、図５に示すようなレンズ歪みや焦点距離誤差がある画像を用いる場合、ステレオカメラにより撮影された１対の対象物画像の視差Δｄ’は、下記（２）式により求められる右画像と左画像のそれぞれの画像上での対象物投影座標誤差の和を用いて、（１）式と（２）式とから下記（３）式のように表される。
ｄｘ＝（ＸＲ１−ＸＲ０）＋（ＸＬ１−ＸＬ０） ・・・（２）
Δｄ’＝Δｄ＋ｄｘ＝（ＸＬ０−ＸＲ０）＋（ＸＲ１−ＸＲ０）＋（ＸＬ１−ＸＬ０） ・・・（３）
【００１５】
そこで、本実施の形態の画像処理装置では、信頼性を更に向上させるために、以下のように対象物投影座標誤差を補正して、歩行者等の対象物検出・警報動作を行う。
具体的に説明すると、図６及び図７は、本実施の形態の画像処理装置の画像処理ユニット１における歩行者等の対象物検出・警報動作を示すフローチャートである。
【００１６】
図６において、まず、画像処理ユニット１は、パラメータ用メモリ１ａへ、予め赤外線カメラ２Ｒ、２Ｌのレンズ特性を測定して近似した投影座標誤差曲線から求めた投影座標パラメータａ〜ｇを初期値として設定する（ステップＳ０）。なお、ここで、投影座標パラメータａ〜ｇは、下記（４）式で示される赤外線カメラ２Ｒの投影座標誤差曲線ＦＲから求めた基準側投影座標パラメータＲａ〜Ｒｇと、下記（５）式で示される赤外線カメラ２Ｌの投影座標誤差曲線ＦＬから求めた非基準側投影座標パラメータＬａ〜Ｌｇの２種類について設定する。
【数１】
【数２】
【００１７】
また、投影座標誤差曲線は、計測された対象物重心Ｘ座標に対する投影Ｘ座標誤差を示すものであるが、ここで、レンズ歪はレンズ中心に対して対象であるため、投影座標誤差曲線をレンズ中心からの距離に対する投影座標誤差として扱っても良い。すなわち、図８（ａ）に示すように、計測された対象物重心座標を（Ｘｐ、Ｙｐ）とすると、図８（ｂ）に示すように、下記（６）式で求められるレンズ中心からの距離Ｒに対する投影座標誤差を求めることができる。
【数３】
【００１８】
そこで、次に、赤外線カメラ２Ｒ、２Ｌの出力信号である赤外線画像を取得して（ステップＳ１）、Ａ／Ｄ変換し（ステップＳ２）、グレースケール画像を画像メモリに格納する（ステップＳ３）。なお、ここでは赤外線カメラ２Ｒ（右カメラ）により右画像が得られ、赤外線カメラ２Ｌ（左カメラ）により左画像が得られる。また、右画像と左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００１９】
ステップＳ３においてグレースケール画像が得られたら、次に、赤外線カメラ２Ｒにより得られた右画像を基準画像とし、その画像信号の２値化処理、すなわち、輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う（ステップＳ４）。
図９（ａ）は、赤外線カメラ２Ｒにより得られたグレースケール画像を示し、これに２値化処理を行うことにより、図９（ｂ）に示すような画像を得る。なお、図９（ｂ）において、例えばＰ１からＰ４の枠で囲った物体を、表示画面上に白色として表示される対象物（以下「高輝度領域」という）とする。
【００２０】
赤外線画像から２値化された画像データを取得したら、２値化した画像データをランレングスデータに変換する処理を行う（ステップＳ５）。ランレングスデータにより表されるラインは、２値化により白となった領域を画素レベルで示したもので、いずれもｙ方向には１画素の幅を有しており、またｘ方向にはそれぞれランレングスデータを構成する画素の長さを有している。
【００２１】
次に、ランレングスデータに変換された画像データから、対象物のラベリングをする（ステップＳ６）ことにより、対象物を抽出する処理を行う（ステップＳ７）。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを１つの対象物とみなすことにより、例えば図９（ｂ）に示す高輝度領域Ｐ１からＰ４が、それぞれ対象物（２値化対象物）として把握されることになる。
対象物の抽出が完了したら、次に、抽出した対象物の重心Ｇ、面積Ｓ及び外接四角形の縦横比ＡＳＰＥＣＴを算出する（ステップＳ８）。
【００２２】
ここで、面積Ｓは、ラベルＡの対象物のランレングスデータを（ｘ［ｉ］、ｙ［ｉ］、ｒｕｎ［ｉ］、Ａ）（ｉ＝０，１，２，・・・Ｎ−１）とすると、ランレングスデータの長さ（ｒｕｎ［ｉ］−１）を同一対象物（Ｎ個のランレングスデータ）について積算することにより算出する。また、対象物Ａの重心Ｇの座標（ｘｃ、ｙｃ）は、各ランレングスデータの長さ（ｒｕｎ［ｉ］−１）と各ランレングスデータの座標ｘ［ｉ］、またはｙ［ｉ］とをそれぞれ掛け合わせ、更にこれを同一対象物について積算したものを、面積Ｓで割ることにより算出する。
更に、縦横比ＡＳＰＥＣＴは、対象物の外接四角形の縦方向の長さＤｙと横方向の長さＤｘとの比Ｄｙ／Ｄｘとして算出する。
なお、ランレングスデータは画素数（座標数）（＝ｒｕｎ［ｉ］）で示されているので、実際の長さは「−１」する（１を減算する）必要がある（＝ｒｕｎ［ｉ］−１）。また、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。
【００２３】
対象物の重心、面積、外接四角形の縦横比が算出できたら、次に、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う（ステップＳ９）。時刻間追跡は、アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、例えば時刻ｋで対象物Ａ、Ｂを抽出したら、時刻（ｋ＋１）で抽出した対象物Ｃ、Ｄと対象物Ａ、Ｂとの同一性判定を行う。そして、対象物Ａ、Ｂと対象物Ｃ、Ｄとが同一であると判定されたら、対象物Ｃ、Ｄをそれぞれ対象物Ａ、Ｂというラベルに変更することにより、時刻間追跡が行われる。
また、このようにして認識された各対象物の（重心の）位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
【００２４】
なお、以上説明したステップＳ４〜Ｓ９の処理は、２値化した基準画像（本実施の形態では、右画像）について実行する。
次に、車速センサ４により検出される車速ＶＣＡＲ及びヨーレートセンサ３より検出されるヨーレートＹＲを読み込み、ヨーレートＹＲを時間積分することにより、自車両１０の回頭角θｒを算出する（ステップＳ１０）。
【００２５】
一方、ステップＳ９とステップＳ１０の処理に平行して、ステップＳ１１〜Ｓ１６では、対象物と自車両１０との距離ｚを算出する処理を行う。この演算はステップＳ９、及びステップＳ１０より長い時間を要するため、ステップＳ９、Ｓ１０より長い周期（例えばステップＳ１〜Ｓ１０の実行周期の３倍程度の周期）で実行される。
まず、基準画像（右画像）の２値化画像によって追跡される対象物の中の１つを選択することにより、右画像から探索画像Ｒ１（ここでは、外接四角形で囲まれる領域全体を探索画像とし、この探索画像の外接四角形を対象枠という）を抽出すると共に、探索画像Ｒ１の重心位置を算出する（ステップＳ１１）。
【００２６】
次に、ステップＳ０で設定された基準側投影座標パラメータＲａ〜Ｒｇで指定される赤外線カメラ２Ｒの投影座標誤差曲線ＦＲを用いて、基準映像側投影座標補正を行う（ステップＳ１２）。ここで、基準映像側投影座標補正は、探索画像Ｒ１の重心位置座標に座標補正を行うことであって、図１０（ａ）に示すように、右カメラ画像面内の対象物計測座標に関し、実際に計測された右カメラ対象物計測値Ｒ１と、図１０（ｂ）に示すステップＳ０において設定された基準側投影座標パラメータＲａ〜Ｒｇで指定される投影座標誤差曲線ＦＲから求めた右カメラ投影座標誤差 ｄＲ＝（Ｒ１−Ｒ０）＝ＦＲ（Ｒ１）とを用いて、下記（７）式により右カメラ対象物理論投影座標値Ｒ０を求める。
Ｒ０＝Ｒ１−ＦＲ（Ｒ１） ・・・（７）
【００２７】
次に、左画像中から探索画像に対応する画像（以下「対応画像」という）を探索する探索領域Ｒ２を設定し（ステップＳ１３）、相関演算を実行して対応画像を抽出する（ステップＳ１４）。具体的には、探索画像Ｒ１の各頂点座標に応じて、左画像中に探索領域Ｒ２を設定し、探索領域Ｒ２内で探索画像Ｒ１との相関の高さを示す輝度差分総和値を算出すると共に、この輝度差分総和値が最小となる領域を対応画像として抽出する。なお、この相関演算は、２値化画像ではなくグレースケール画像を用いて行う。
また同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域Ｒ２より狭い領域Ｒ２ａを探索領域として設定する。
【００２８】
また、ステップＳ１４の処理により、左画像中にこの対象物に対応する対応画像Ｒ４が抽出されるので、対応画像Ｒ４の重心位置を算出し、次に、ステップＳ０で設定された非基準側投影座標パラメータＬａ〜Ｌｇで指定される赤外線カメラ２Ｌの投影座標誤差曲線ＦＬを用いて、非基準映像側投影座標補正を行う（ステップＳ１５）。ここで、非基準映像側投影座標補正は、対応画像Ｒ４の重心位置座標に座標補正を行うことであって、図１１（ａ）に示すように、左カメラ画像面内の対象物計測座標に関し、実際に計測された左カメラ対象物計測値Ｌ１と、図１１（ｂ）に示すステップＳ０において設定された非基準側投影座標パラメータＬａ〜Ｌｇで指定される投影座標誤差曲線ＦＬから求めた左カメラ投影座標誤差 ｄＬ＝（Ｌ１−Ｌ０）＝ＦＬ（Ｌ１）とを用いて、下記（８）式により左カメラ対象物理論投影座標値Ｌ０を求める。
Ｌ０＝Ｌ１−ＦＬ（Ｌ１） ・・・（８）
【００２９】
そして、座標補正された探索画像Ｒ１の座標と座標補正された対応画像Ｒ４の座標とから、視差Δｄ（画素数）を求め、これから自車両１０と対象物との距離ｚを算出する（ステップＳ１６）。なお、ここで、求められる視差Δｄは、ステップＳ１２において算出された補正後の基準映像側投影座標とステップＳ１５において算出された補正後の非基準映像側投影座標とによって、下記（９）式のように求められる。
Δｄ＝Ｌ０・ｃｏｓ（θｌ）−Ｒ０・ｃｏｓ（θｒ）＝（Ｌ１−ＦＬ（Ｌ１））ｃｏｓ（θｌ）−（Ｒ１−ＦＲ（Ｒ１））ｃｏｓ（θｒ） ・・・（９）
【００３０】
また、ステップＳ１０における回頭角θｒの算出と、ステップＳ１６における対象物との距離算出が完了したら、図７へ進み、次に、時系列位置補正を行う（ステップＳ１７）。時系列位置補正は、ステップＳ９において時刻間追跡を行うことにより得られた時系列位置データを構成する各対象物の重心位置座標に、ステップＳ１２で行った基準（右）画像に対する座標補正と同等の座標補正を行うことであって、具体的には、前述の（４）式と同様に、赤外線カメラ２Ｒの投影座標誤差曲線ＦＲに各対象物の重心位置座標を代入して投影座標誤差を求めて補正する。
【００３１】
そして、対象物までの距離算出と時系列位置補正が完了したら、自車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う（ステップＳ１８）。回頭角補正は、時刻ｋから（ｋ＋１）までの期間中に自車両１０が例えば左方向に回頭角θｒだけ回頭すると、カメラによって得られる画像上では、画像の範囲がΔｘだけｘ方向にずれるので、これを補正する処理である。
【００３２】
また、回頭角補正を終了したら、画像内の座標（ｘ，ｙ）及び距離ｚを実空間座標（Ｘ，Ｙ，Ｚ）に変換する（ステップＳ１９）。
ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図２に示すように、赤外線カメラ２Ｒ、２Ｌの取り付け位置の中点の位置（自車両１０に固定された位置）を原点Ｏとして、図示のように定め、画像内の座標は、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。
なお、以下の説明では、回頭角補正後の座標を（Ｘ，Ｙ，Ｚ）と表示する。
次に、実空間座標に対する回頭角補正が完了したら、同一対象物について、ΔＴのモニタ期間内に得られた、回頭角補正後のＮ個（例えばＮ＝１０程度）の実空間位置データ、すなわち時系列データから、対象物と自車両１０との相対移動ベクトルに対応する近似直線ＬＭＶを求める。
【００３３】
次いで、最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル前（時間ΔＴ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ上の位置に補正し、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））及びＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。
これにより、位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルとして、相対移動ベクトルが得られる（ステップＳ２０）。
このようにモニタ期間ΔＴ内の複数（Ｎ個）のデータから対象物の自車両１０に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。
【００３４】
また、ステップＳ２０において、相対移動ベクトルが求められたら、次に、自車両１０が、検出した対象物と衝突する可能性があるか否かを判定する警報判定処理を行う（ステップＳ２１）。
そして、ステップＳ２１において、自車両１０と検出した対象物との衝突の可能性がないと判定された場合（ステップＳ２１のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
また、ステップＳ２１において、自車両１０と検出した対象物との衝突の可能性があると判定された場合（ステップＳ２１のＹＥＳ）、ステップＳ２２の警報出力判定処理へ進む。
【００３５】
ステップＳ２２では、ブレーキセンサ５の出力ＢＲから自車両１０の運転者がブレーキ操作を行っているか否かを判別することにより、警報出力判定処理、すなわち警報出力を行うか否かの判定を行う（ステップＳ２２）。
もし、自車両１０の運転者がブレーキ操作を行っている場合には、それによって発生する加速度Ｇｓ（減速方向を正とする）を算出し、この加速度Ｇｓが所定閾値ＧＴＨより大きいときは、ブレーキ操作により衝突が回避されると判定して警報出力判定処理を終了し（ステップＳ２２のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
これにより、適切なブレーキ操作が行われているときは、警報を発しないようにして、運転者に余計な煩わしさを与えないようにすることができる。
【００３６】
また、加速度Ｇｓが所定閾値ＧＴＨ以下であるとき、または自車両１０の運転者がブレーキ操作を行っていなければ、直ちにステップＳ２３の処理へ進み（ステップＳ２２のＹＥＳ）、対象物と接触する可能性が高いので、スピーカ６を介して音声による警報を発する（ステップＳ２３）と共に、画像表示装置７に対して、例えば赤外線カメラ２Ｒにより得られる画像を出力し、接近してくる対象物を自車両１０の運転者に対する強調映像として表示する（ステップＳ２４）。
なお、所定閾値ＧＴＨは、ブレーキ操作中の加速度Ｇｓがそのまま維持された場合に、現在の対象物と自車両１０との間の距離以下の走行距離で自車両１０が停止する条件に対応する値である。
【００３７】
また、上述の実施の形態では、画像処理ユニット１が、補正手段を含んでいる。より具体的には、図６及び図７のステップＳ０、Ｓ１２、Ｓ１５、Ｓ１７が補正手段に相当する。
【００３８】
以上説明したように、本実施の形態の画像処理装置は、まず、パラメータ用メモリ１ａへ、予め赤外線カメラ２Ｒのレンズ特性を測定して近似した投影座標誤差曲線ＦＲから求めた基準側投影座標パラメータＲａ〜Ｒｇと、赤外線カメラ２Ｌのレンズ特性を測定して近似した投影座標誤差曲線ＦＬから求めた非基準側投影座標パラメータＬａ〜Ｌｇを初期値として設定する。そして、赤外線カメラ２Ｒで撮影した右画像から探索画像Ｒ１を抽出し、その重心位置を算出する。次に、基準側投影座標パラメータＲａ〜Ｒｇで指定される右側カメラの投影座標誤差曲線ＦＲを用いて、基準映像側投影座標補正を行う。次に、赤外線カメラ２Ｌで撮影した左画像中に対応画像を探索する探索領域Ｒ２を設定する。
【００３９】
また、相関演算を実行して探索画像Ｒ１に対応する対応画像Ｒ４を抽出し、その重心位置を算出する。更に、非基準側投影座標パラメータＬａ〜Ｌｇで指定される左側カメラの投影座標誤差曲線ＦＬを用いて、非基準映像側投影座標補正を行う。
そして、座標補正された探索画像Ｒ１と対応画像Ｒ４の座標から、視差Δｄ（画素数）を求め、本実施の形態の画像処理装置を搭載した自車両１０と対象物との距離ｚを算出し、算出された対象物までの距離や自車両１０の走行状態を考慮して対象物が自車両１０の走行に影響を与えるか否かの判定を行う。この時、検出された対象物が、自車両１０の走行に影響を与えると判断された場合、自車両１０の運転者に対して警報を発する。
【００４０】
従って、レンズ歪みや焦点距離誤差により、画像の水平方向と垂直方向の両方向に発生する対象物投影座標誤差を、少ないメモリ容量及び少ない演算量で容易に補正して、正確な対象物の位置を把握し、該対象物が自車両１０の走行に影響を与えるか否かを正確に判定することができるという効果が得られる。また、少ないメモリ容量及び少ない演算量で画像の水平方向と垂直方向の両方向に発生する対象物投影座標誤差を補正できるため、画像処理装置のコストを下げることができるという効果が得られる。
更に、近似式で表された投影座標誤差曲線の投影座標パラメータを変更するだけで補正特性を変更することができるので、係数の変更のみでいろいろな特性の投影座標補正を的確に実行することができるという効果が得られる。
【００４１】
【発明の効果】
以上の如く、請求項１に記載の画像処理装置によれば、補正手段が、カメラのレンズ特性に対応する一方向に設定された近似式を用いて、カメラで捉えた対象物のレンズ全方向における投影座標補正を行うことができる。
従って、画像処理装置が画素毎の投影座標補正値を持つ必要がないため、メモリ等の記憶手段の量を抑えることができ、装置規模を削減することができるという効果が得られる。
【００４２】
請求項２に記載の画像処理装置によれば、記憶手段に記憶される近似式の係数を変更することで容易に補正手段の補正特性を変更し、カメラで捉えた対象物の投影座標補正を的確に実行することができる。
従って、工場では近似式の係数のみを設定すれば良いので、作業効率が改善されると共に、係数の変更のみでいろいろな特性の投影座標補正を的確に実行することができるという効果が得られる。
【図面の簡単な説明】
【図１】 本発明の一実施の形態の画像処理装置の構成を示すブロック図である。
【図２】 車両における赤外線カメラやセンサ、ディスプレイ等の取り付け位置を示す図である。
【図３】 レンズ歪みや焦点距離誤差がない理想状態の対象物投影座標が、レンズ歪みや焦点距離誤差の影響をどのように受けるかを示す図である。
【図４】 レンズ歪みや焦点距離誤差がない場合の画像の一例を示す図である。
【図５】 レンズ歪みや焦点距離誤差がある場合の画像の一例を示す図である。
【図６】 同実施の形態の画像処理装置の対象物検出・警報動作を示すフローチャートである。
【図７】 同実施の形態の画像処理装置の対象物検出・警報動作を示すフローチャートである。
【図８】 同実施の形態の画像処理装置で利用するレンズ中心からの距離Ｒに対する投影座標誤差曲線を示す図である。
【図９】 赤外線カメラにより得られるグレースケール画像とその２値化画像を示す図である。
【図１０】 投影座標誤差曲線ＦＲを用いた基準映像側投影座標補正を示す図である。
【図１１】 投影座標誤差曲線ＦＬを用いた非基準映像側投影座標補正を示す図である。
【符号の説明】
１ 画像処理ユニット
１ａ パラメータ用メモリ（記憶手段）
２Ｒ、２Ｌ 赤外線カメラ
３ ヨーレートセンサ
４ 車速センサ
５ ブレーキセンサ
６ スピーカ
７ 画像表示装置
１０ 自車両
Ｓ０、Ｓ１２、Ｓ１５、Ｓ１７ 補正手段
【発明の属する技術分野】
この発明は、カメラにより撮影された画像を補正する画像処理装置に関する。
【０００２】
【従来の技術】
従来、２台のカメラ（ステレオカメラ）により撮影された１対の対象物画像を利用して、該対象物までの距離を求める３次元計測技術がある。このステレオカメラの画像補正装置は、レンズ歪みや焦点距離誤差による位置ずれ補正を行うために、予め、正格子パターンのような特定の補正量計測用撮像パターンを、ステレオカメラの両カメラで同時に撮影し、それぞれのカメラの撮影画像について、画素毎の座標補正量を計算する。そして、この結果を座標補正テーブルとして保持すると共に、画像メモリに格納されたデータを該座標補正テーブルの補正量により画素毎に補正することで、正確な画像データを取得する。なお、この時、レンズ歪みや焦点距離誤差による位置ずれ補正は垂直方向のみ行われる（例えば、特許文献１参照。）。
【０００３】
【特許文献１】
特開平１１−３２５８８９号公報
【０００４】
【発明が解決しようとする課題】
ところで、レンズ歪みや焦点距離誤差による対象物投影座標誤差は、画像面内の全領域に対して生じ、レンズ歪みに対しては画像が非線形に歪み、焦点距離誤差に対しては画像が拡大または縮小する。
しかし、従来の技術では、レンズ歪みや焦点距離誤差による位置ずれ補正を行うものの、補正は垂直方向に対してのみ行われるため、水平方向と垂直方向の両方向に発生する対象物投影座標誤差に対して、水平方向の位置ずれ誤差により誤った視差が算出されるので、ステレオカメラによる対象物測距を正確に行うことができないという問題があった。
また、従来の技術では、座標補正を行なうための演算回路や座標補正値を記憶するためのメモリが必要となるため、装置の大幅なコストアップが発生するという問題があった。
【０００５】
本発明は、上記課題に鑑みてなされたもので、画像の水平方向と垂直方向の両方向に発生する対象物投影座標誤差を容易に補正することができる画像処理装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、請求項１の発明に係る画像処理装置は、移動体の前部に平行に取り付けられ、車幅方向に対してほぼ対称な位置に配置された２つのカメラにより前記移動体と対象物との距離を測距する画像処理装置において、前記２つのカメラのうち一方の基準となる第１のカメラのレンズ特性に対応する一方向に対して、レンズ中心を基準とする座標補正のための第１の近似式を設定し、該第１の近似式に基づいて前記第１のカメラにより捉えた画像から抽出した基準対象物の投影座標を補正する第１の補正手段（例えば実施の形態のステップＳ０、Ｓ１２、Ｓ１５、Ｓ１７）と、前記２つのカメラのうち他方の第２のカメラにより捉えられる前記基準対象物に対応する対応対象物を相関演算により抽出する対応対象物抽出手段と、前記第２のカメラのレンズ特性に対応する一方向に対して、レンズ中心を基準とする座標補正のための第２の近似式を設定し、該第２の近似式に基づいて前記対応対象物の投影座標を補正する第２の補正手段と、前記第１の補正手段により補正された基準対象物の座標と、前記第２の補正手段により補正された対応対象物の座標とから視差を求め、前記移動体と対象物との距離を測距する測距手段とを備えたことを特徴とする。
以上の構成を備えた画像処理装置は、補正手段が、カメラのレンズ特性に対応する一方向に設定された近似式を用いて、カメラで捉えた対象物のレンズ全方向における投影座標補正を行うことができる。
【０００７】
請求項２の発明に係る画像処理装置は、請求項１に記載の画像処理装置において、前記第１、第２の近似式の係数を記憶する記憶手段（例えば実施の形態のパラメータ用メモリ１ａ）を備え、前記第１、第２の補正手段が、それぞれの記憶された係数による近似式に基づいて前記第１、第２のカメラにより捉えた前記基準対象物および前記対応対象物の投影座標を補正することを特徴とする。
以上の構成を備えた画像処理装置は、記憶手段に記憶される近似式の係数を変更することで容易に補正手段の補正特性を変更し、カメラで捉えた対象物の投影座標補正を的確に実行することができる。
【０００８】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
図１は、本発明の一実施の形態の画像処理装置の構成を示すブロック図である。
図１において、符号１は、本実施の形態の画像処理装置を制御するＣＰＵ（中央演算装置）を備えた車載の画像処理ユニットであって、遠赤外線を検出可能な２つの赤外線カメラ２Ｒ、２Ｌと当該車両のヨーレートを検出するヨーレートセンサ３、更に、当該車両の走行速度（車速）を検出する車速センサ４とブレーキの操作を検出するためのブレーキセンサ５が接続される。これにより、画像処理ユニット１は、車両の周辺の赤外線画像と車両の走行状態を示す信号とから、車両前方の歩行者や動物等を検出し、衝突の可能性が高いと判断したときに警報を発する。
【０００９】
また、画像処理ユニット１には、音声で警報を発するためのスピーカ６と、検出された対象物と自車両との衝突する危険性が高いと判定された場合のみ、赤外線カメラ２Ｒ、２Ｌにより撮影された画像を強調表示された対象物画像と共に表示し、衝突の危険性が高い対象物を車両の運転者に認識させるための、例えば自車両の走行状態を数字で表すメータと一体化されたメータ一体Ｄｉｓｐｌａｙや自車両のコンソールに設置されるＮＡＶＩＤｉｓｐｌａｙ、更にフロントウィンドウの運転者の前方視界を妨げない位置に情報を表示するＨＵＤ（Head Up Display ）７ａ等を含む画像表示装置７が接続されている。
【００１０】
また、画像処理ユニット１は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（中央演算装置）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ６の駆動信号、画像表示装置７の表示信号などを出力する出力回路を備えており、赤外線カメラ２Ｒ、２Ｌ及びヨーレートセンサ３、車速センサ４、ブレーキセンサ５の各出力信号は、ディジタル信号に変換されてＣＰＵに入力されるように構成されている。
【００１１】
更に、画像処理ユニット１は、フラッシュメモリ等の不揮発性のパラメータ用メモリ１ａを備えており、赤外線カメラ２Ｒ、２Ｌにより撮影された画像が座標上に投影された場合の誤差を補正するために、予め赤外線カメラ２Ｒ、２Ｌのレンズ特性を測定して近似した投影座標誤差曲線から求めたパラメータをパラメータ用メモリ１ａへ記憶することができる。
【００１２】
また、図２に示すように、赤外線カメラ２Ｒ、２Ｌは、自車両１０の前部に、自車両１０の車幅方向中心部に対してほぼ対称な位置に配置されており、２つの赤外線カメラ２Ｒ、２Ｌの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ２Ｒ、２Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
また、ＨＵＤ７ａは、自車両１０のフロントウインドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【００１３】
次に、本実施の形態の動作について図面を参照して説明する。
まず、本実施の形態の画像処理装置において補正される対象物投影座標誤差について説明すると、対象物投影座標誤差は、赤外線カメラ２Ｒ、２Ｌで撮影された画像が座標上に投影される際に、投影された画像がレンズ歪みや焦点距離誤差により歪曲したり拡大または縮小して発生する誤差である。具体的には、図３（ａ）に示すようなレンズ歪みや焦点距離誤差がない理想状態の対象物投影座標（Ｘ０、Ｙ０）が、レンズ歪みを原因とする投影座標誤差により、図３（ｂ）に示すような対象物投影座標（Ｘ１、Ｙ１）へ投影されたり、焦点距離誤差を原因とする投影座標誤差により、図３（ｃ）に示すような対象物投影座標（Ｘ２、Ｙ２）へ投影されることであって、赤外線カメラ２Ｒ、２Ｌそれぞれに対象物投影座標誤差が存在するため、ステレオカメラにより撮影された１対の対象物画像の視差を利用して該対象物までの距離を求める３次元計測技術では、対象物投影座標誤差は視差算出における視差誤差となって現れる。
【００１４】
図４は、レンズ歪みや焦点距離誤差がない場合の画像の一例であって、ステレオカメラにより撮影された１対の対象物画像の視差Δｄは、下記（１）式により求められる。
Δｄ＝ＸＬ０−ＸＲ０ ・・・（１）
これに対して、図５に示すようなレンズ歪みや焦点距離誤差がある画像を用いる場合、ステレオカメラにより撮影された１対の対象物画像の視差Δｄ’は、下記（２）式により求められる右画像と左画像のそれぞれの画像上での対象物投影座標誤差の和を用いて、（１）式と（２）式とから下記（３）式のように表される。
ｄｘ＝（ＸＲ１−ＸＲ０）＋（ＸＬ１−ＸＬ０） ・・・（２）
Δｄ’＝Δｄ＋ｄｘ＝（ＸＬ０−ＸＲ０）＋（ＸＲ１−ＸＲ０）＋（ＸＬ１−ＸＬ０） ・・・（３）
【００１５】
そこで、本実施の形態の画像処理装置では、信頼性を更に向上させるために、以下のように対象物投影座標誤差を補正して、歩行者等の対象物検出・警報動作を行う。
具体的に説明すると、図６及び図７は、本実施の形態の画像処理装置の画像処理ユニット１における歩行者等の対象物検出・警報動作を示すフローチャートである。
【００１６】
図６において、まず、画像処理ユニット１は、パラメータ用メモリ１ａへ、予め赤外線カメラ２Ｒ、２Ｌのレンズ特性を測定して近似した投影座標誤差曲線から求めた投影座標パラメータａ〜ｇを初期値として設定する（ステップＳ０）。なお、ここで、投影座標パラメータａ〜ｇは、下記（４）式で示される赤外線カメラ２Ｒの投影座標誤差曲線ＦＲから求めた基準側投影座標パラメータＲａ〜Ｒｇと、下記（５）式で示される赤外線カメラ２Ｌの投影座標誤差曲線ＦＬから求めた非基準側投影座標パラメータＬａ〜Ｌｇの２種類について設定する。
【数１】
また、投影座標誤差曲線は、計測された対象物重心Ｘ座標に対する投影Ｘ座標誤差を示すものであるが、ここで、レンズ歪はレンズ中心に対して対象であるため、投影座標誤差曲線をレンズ中心からの距離に対する投影座標誤差として扱っても良い。すなわち、図８（ａ）に示すように、計測された対象物重心座標を（Ｘｐ、Ｙｐ）とすると、図８（ｂ）に示すように、下記（６）式で求められるレンズ中心からの距離Ｒに対する投影座標誤差を求めることができる。
【数３】
そこで、次に、赤外線カメラ２Ｒ、２Ｌの出力信号である赤外線画像を取得して（ステップＳ１）、Ａ／Ｄ変換し（ステップＳ２）、グレースケール画像を画像メモリに格納する（ステップＳ３）。なお、ここでは赤外線カメラ２Ｒ（右カメラ）により右画像が得られ、赤外線カメラ２Ｌ（左カメラ）により左画像が得られる。また、右画像と左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００１９】
ステップＳ３においてグレースケール画像が得られたら、次に、赤外線カメラ２Ｒにより得られた右画像を基準画像とし、その画像信号の２値化処理、すなわち、輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う（ステップＳ４）。
図９（ａ）は、赤外線カメラ２Ｒにより得られたグレースケール画像を示し、これに２値化処理を行うことにより、図９（ｂ）に示すような画像を得る。なお、図９（ｂ）において、例えばＰ１からＰ４の枠で囲った物体を、表示画面上に白色として表示される対象物（以下「高輝度領域」という）とする。
【００２０】
赤外線画像から２値化された画像データを取得したら、２値化した画像データをランレングスデータに変換する処理を行う（ステップＳ５）。ランレングスデータにより表されるラインは、２値化により白となった領域を画素レベルで示したもので、いずれもｙ方向には１画素の幅を有しており、またｘ方向にはそれぞれランレングスデータを構成する画素の長さを有している。
【００２１】
次に、ランレングスデータに変換された画像データから、対象物のラベリングをする（ステップＳ６）ことにより、対象物を抽出する処理を行う（ステップＳ７）。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを１つの対象物とみなすことにより、例えば図９（ｂ）に示す高輝度領域Ｐ１からＰ４が、それぞれ対象物（２値化対象物）として把握されることになる。
対象物の抽出が完了したら、次に、抽出した対象物の重心Ｇ、面積Ｓ及び外接四角形の縦横比ＡＳＰＥＣＴを算出する（ステップＳ８）。
【００２２】
ここで、面積Ｓは、ラベルＡの対象物のランレングスデータを（ｘ［ｉ］、ｙ［ｉ］、ｒｕｎ［ｉ］、Ａ）（ｉ＝０，１，２，・・・Ｎ−１）とすると、ランレングスデータの長さ（ｒｕｎ［ｉ］−１）を同一対象物（Ｎ個のランレングスデータ）について積算することにより算出する。また、対象物Ａの重心Ｇの座標（ｘｃ、ｙｃ）は、各ランレングスデータの長さ（ｒｕｎ［ｉ］−１）と各ランレングスデータの座標ｘ［ｉ］、またはｙ［ｉ］とをそれぞれ掛け合わせ、更にこれを同一対象物について積算したものを、面積Ｓで割ることにより算出する。
更に、縦横比ＡＳＰＥＣＴは、対象物の外接四角形の縦方向の長さＤｙと横方向の長さＤｘとの比Ｄｙ／Ｄｘとして算出する。
なお、ランレングスデータは画素数（座標数）（＝ｒｕｎ［ｉ］）で示されているので、実際の長さは「−１」する（１を減算する）必要がある（＝ｒｕｎ［ｉ］−１）。また、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。
【００２３】
対象物の重心、面積、外接四角形の縦横比が算出できたら、次に、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う（ステップＳ９）。時刻間追跡は、アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、例えば時刻ｋで対象物Ａ、Ｂを抽出したら、時刻（ｋ＋１）で抽出した対象物Ｃ、Ｄと対象物Ａ、Ｂとの同一性判定を行う。そして、対象物Ａ、Ｂと対象物Ｃ、Ｄとが同一であると判定されたら、対象物Ｃ、Ｄをそれぞれ対象物Ａ、Ｂというラベルに変更することにより、時刻間追跡が行われる。
また、このようにして認識された各対象物の（重心の）位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
【００２４】
なお、以上説明したステップＳ４〜Ｓ９の処理は、２値化した基準画像（本実施の形態では、右画像）について実行する。
次に、車速センサ４により検出される車速ＶＣＡＲ及びヨーレートセンサ３より検出されるヨーレートＹＲを読み込み、ヨーレートＹＲを時間積分することにより、自車両１０の回頭角θｒを算出する（ステップＳ１０）。
【００２５】
一方、ステップＳ９とステップＳ１０の処理に平行して、ステップＳ１１〜Ｓ１６では、対象物と自車両１０との距離ｚを算出する処理を行う。この演算はステップＳ９、及びステップＳ１０より長い時間を要するため、ステップＳ９、Ｓ１０より長い周期（例えばステップＳ１〜Ｓ１０の実行周期の３倍程度の周期）で実行される。
まず、基準画像（右画像）の２値化画像によって追跡される対象物の中の１つを選択することにより、右画像から探索画像Ｒ１（ここでは、外接四角形で囲まれる領域全体を探索画像とし、この探索画像の外接四角形を対象枠という）を抽出すると共に、探索画像Ｒ１の重心位置を算出する（ステップＳ１１）。
【００２６】
次に、ステップＳ０で設定された基準側投影座標パラメータＲａ〜Ｒｇで指定される赤外線カメラ２Ｒの投影座標誤差曲線ＦＲを用いて、基準映像側投影座標補正を行う（ステップＳ１２）。ここで、基準映像側投影座標補正は、探索画像Ｒ１の重心位置座標に座標補正を行うことであって、図１０（ａ）に示すように、右カメラ画像面内の対象物計測座標に関し、実際に計測された右カメラ対象物計測値Ｒ１と、図１０（ｂ）に示すステップＳ０において設定された基準側投影座標パラメータＲａ〜Ｒｇで指定される投影座標誤差曲線ＦＲから求めた右カメラ投影座標誤差 ｄＲ＝（Ｒ１−Ｒ０）＝ＦＲ（Ｒ１）とを用いて、下記（７）式により右カメラ対象物理論投影座標値Ｒ０を求める。
Ｒ０＝Ｒ１−ＦＲ（Ｒ１） ・・・（７）
【００２７】
次に、左画像中から探索画像に対応する画像（以下「対応画像」という）を探索する探索領域Ｒ２を設定し（ステップＳ１３）、相関演算を実行して対応画像を抽出する（ステップＳ１４）。具体的には、探索画像Ｒ１の各頂点座標に応じて、左画像中に探索領域Ｒ２を設定し、探索領域Ｒ２内で探索画像Ｒ１との相関の高さを示す輝度差分総和値を算出すると共に、この輝度差分総和値が最小となる領域を対応画像として抽出する。なお、この相関演算は、２値化画像ではなくグレースケール画像を用いて行う。
また同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域Ｒ２より狭い領域Ｒ２ａを探索領域として設定する。
【００２８】
また、ステップＳ１４の処理により、左画像中にこの対象物に対応する対応画像Ｒ４が抽出されるので、対応画像Ｒ４の重心位置を算出し、次に、ステップＳ０で設定された非基準側投影座標パラメータＬａ〜Ｌｇで指定される赤外線カメラ２Ｌの投影座標誤差曲線ＦＬを用いて、非基準映像側投影座標補正を行う（ステップＳ１５）。ここで、非基準映像側投影座標補正は、対応画像Ｒ４の重心位置座標に座標補正を行うことであって、図１１（ａ）に示すように、左カメラ画像面内の対象物計測座標に関し、実際に計測された左カメラ対象物計測値Ｌ１と、図１１（ｂ）に示すステップＳ０において設定された非基準側投影座標パラメータＬａ〜Ｌｇで指定される投影座標誤差曲線ＦＬから求めた左カメラ投影座標誤差 ｄＬ＝（Ｌ１−Ｌ０）＝ＦＬ（Ｌ１）とを用いて、下記（８）式により左カメラ対象物理論投影座標値Ｌ０を求める。
Ｌ０＝Ｌ１−ＦＬ（Ｌ１） ・・・（８）
【００２９】
そして、座標補正された探索画像Ｒ１の座標と座標補正された対応画像Ｒ４の座標とから、視差Δｄ（画素数）を求め、これから自車両１０と対象物との距離ｚを算出する（ステップＳ１６）。なお、ここで、求められる視差Δｄは、ステップＳ１２において算出された補正後の基準映像側投影座標とステップＳ１５において算出された補正後の非基準映像側投影座標とによって、下記（９）式のように求められる。
Δｄ＝Ｌ０・ｃｏｓ（θｌ）−Ｒ０・ｃｏｓ（θｒ）＝（Ｌ１−ＦＬ（Ｌ１））ｃｏｓ（θｌ）−（Ｒ１−ＦＲ（Ｒ１））ｃｏｓ（θｒ） ・・・（９）
【００３０】
また、ステップＳ１０における回頭角θｒの算出と、ステップＳ１６における対象物との距離算出が完了したら、図７へ進み、次に、時系列位置補正を行う（ステップＳ１７）。時系列位置補正は、ステップＳ９において時刻間追跡を行うことにより得られた時系列位置データを構成する各対象物の重心位置座標に、ステップＳ１２で行った基準（右）画像に対する座標補正と同等の座標補正を行うことであって、具体的には、前述の（４）式と同様に、赤外線カメラ２Ｒの投影座標誤差曲線ＦＲに各対象物の重心位置座標を代入して投影座標誤差を求めて補正する。
【００３１】
そして、対象物までの距離算出と時系列位置補正が完了したら、自車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う（ステップＳ１８）。回頭角補正は、時刻ｋから（ｋ＋１）までの期間中に自車両１０が例えば左方向に回頭角θｒだけ回頭すると、カメラによって得られる画像上では、画像の範囲がΔｘだけｘ方向にずれるので、これを補正する処理である。
【００３２】
また、回頭角補正を終了したら、画像内の座標（ｘ，ｙ）及び距離ｚを実空間座標（Ｘ，Ｙ，Ｚ）に変換する（ステップＳ１９）。
ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図２に示すように、赤外線カメラ２Ｒ、２Ｌの取り付け位置の中点の位置（自車両１０に固定された位置）を原点Ｏとして、図示のように定め、画像内の座標は、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。
なお、以下の説明では、回頭角補正後の座標を（Ｘ，Ｙ，Ｚ）と表示する。
次に、実空間座標に対する回頭角補正が完了したら、同一対象物について、ΔＴのモニタ期間内に得られた、回頭角補正後のＮ個（例えばＮ＝１０程度）の実空間位置データ、すなわち時系列データから、対象物と自車両１０との相対移動ベクトルに対応する近似直線ＬＭＶを求める。
【００３３】
次いで、最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル前（時間ΔＴ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ上の位置に補正し、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））及びＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。
これにより、位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルとして、相対移動ベクトルが得られる（ステップＳ２０）。
このようにモニタ期間ΔＴ内の複数（Ｎ個）のデータから対象物の自車両１０に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。
【００３４】
また、ステップＳ２０において、相対移動ベクトルが求められたら、次に、自車両１０が、検出した対象物と衝突する可能性があるか否かを判定する警報判定処理を行う（ステップＳ２１）。
そして、ステップＳ２１において、自車両１０と検出した対象物との衝突の可能性がないと判定された場合（ステップＳ２１のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
また、ステップＳ２１において、自車両１０と検出した対象物との衝突の可能性があると判定された場合（ステップＳ２１のＹＥＳ）、ステップＳ２２の警報出力判定処理へ進む。
【００３５】
ステップＳ２２では、ブレーキセンサ５の出力ＢＲから自車両１０の運転者がブレーキ操作を行っているか否かを判別することにより、警報出力判定処理、すなわち警報出力を行うか否かの判定を行う（ステップＳ２２）。
もし、自車両１０の運転者がブレーキ操作を行っている場合には、それによって発生する加速度Ｇｓ（減速方向を正とする）を算出し、この加速度Ｇｓが所定閾値ＧＴＨより大きいときは、ブレーキ操作により衝突が回避されると判定して警報出力判定処理を終了し（ステップＳ２２のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
これにより、適切なブレーキ操作が行われているときは、警報を発しないようにして、運転者に余計な煩わしさを与えないようにすることができる。
【００３６】
また、加速度Ｇｓが所定閾値ＧＴＨ以下であるとき、または自車両１０の運転者がブレーキ操作を行っていなければ、直ちにステップＳ２３の処理へ進み（ステップＳ２２のＹＥＳ）、対象物と接触する可能性が高いので、スピーカ６を介して音声による警報を発する（ステップＳ２３）と共に、画像表示装置７に対して、例えば赤外線カメラ２Ｒにより得られる画像を出力し、接近してくる対象物を自車両１０の運転者に対する強調映像として表示する（ステップＳ２４）。
なお、所定閾値ＧＴＨは、ブレーキ操作中の加速度Ｇｓがそのまま維持された場合に、現在の対象物と自車両１０との間の距離以下の走行距離で自車両１０が停止する条件に対応する値である。
【００３７】
また、上述の実施の形態では、画像処理ユニット１が、補正手段を含んでいる。より具体的には、図６及び図７のステップＳ０、Ｓ１２、Ｓ１５、Ｓ１７が補正手段に相当する。
【００３８】
以上説明したように、本実施の形態の画像処理装置は、まず、パラメータ用メモリ１ａへ、予め赤外線カメラ２Ｒのレンズ特性を測定して近似した投影座標誤差曲線ＦＲから求めた基準側投影座標パラメータＲａ〜Ｒｇと、赤外線カメラ２Ｌのレンズ特性を測定して近似した投影座標誤差曲線ＦＬから求めた非基準側投影座標パラメータＬａ〜Ｌｇを初期値として設定する。そして、赤外線カメラ２Ｒで撮影した右画像から探索画像Ｒ１を抽出し、その重心位置を算出する。次に、基準側投影座標パラメータＲａ〜Ｒｇで指定される右側カメラの投影座標誤差曲線ＦＲを用いて、基準映像側投影座標補正を行う。次に、赤外線カメラ２Ｌで撮影した左画像中に対応画像を探索する探索領域Ｒ２を設定する。
【００３９】
また、相関演算を実行して探索画像Ｒ１に対応する対応画像Ｒ４を抽出し、その重心位置を算出する。更に、非基準側投影座標パラメータＬａ〜Ｌｇで指定される左側カメラの投影座標誤差曲線ＦＬを用いて、非基準映像側投影座標補正を行う。
そして、座標補正された探索画像Ｒ１と対応画像Ｒ４の座標から、視差Δｄ（画素数）を求め、本実施の形態の画像処理装置を搭載した自車両１０と対象物との距離ｚを算出し、算出された対象物までの距離や自車両１０の走行状態を考慮して対象物が自車両１０の走行に影響を与えるか否かの判定を行う。この時、検出された対象物が、自車両１０の走行に影響を与えると判断された場合、自車両１０の運転者に対して警報を発する。
【００４０】
従って、レンズ歪みや焦点距離誤差により、画像の水平方向と垂直方向の両方向に発生する対象物投影座標誤差を、少ないメモリ容量及び少ない演算量で容易に補正して、正確な対象物の位置を把握し、該対象物が自車両１０の走行に影響を与えるか否かを正確に判定することができるという効果が得られる。また、少ないメモリ容量及び少ない演算量で画像の水平方向と垂直方向の両方向に発生する対象物投影座標誤差を補正できるため、画像処理装置のコストを下げることができるという効果が得られる。
更に、近似式で表された投影座標誤差曲線の投影座標パラメータを変更するだけで補正特性を変更することができるので、係数の変更のみでいろいろな特性の投影座標補正を的確に実行することができるという効果が得られる。
【００４１】
【発明の効果】
以上の如く、請求項１に記載の画像処理装置によれば、補正手段が、カメラのレンズ特性に対応する一方向に設定された近似式を用いて、カメラで捉えた対象物のレンズ全方向における投影座標補正を行うことができる。
従って、画像処理装置が画素毎の投影座標補正値を持つ必要がないため、メモリ等の記憶手段の量を抑えることができ、装置規模を削減することができるという効果が得られる。
【００４２】
請求項２に記載の画像処理装置によれば、記憶手段に記憶される近似式の係数を変更することで容易に補正手段の補正特性を変更し、カメラで捉えた対象物の投影座標補正を的確に実行することができる。
従って、工場では近似式の係数のみを設定すれば良いので、作業効率が改善されると共に、係数の変更のみでいろいろな特性の投影座標補正を的確に実行することができるという効果が得られる。
【図面の簡単な説明】
【図１】 本発明の一実施の形態の画像処理装置の構成を示すブロック図である。
【図２】 車両における赤外線カメラやセンサ、ディスプレイ等の取り付け位置を示す図である。
【図３】 レンズ歪みや焦点距離誤差がない理想状態の対象物投影座標が、レンズ歪みや焦点距離誤差の影響をどのように受けるかを示す図である。
【図４】 レンズ歪みや焦点距離誤差がない場合の画像の一例を示す図である。
【図５】 レンズ歪みや焦点距離誤差がある場合の画像の一例を示す図である。
【図６】 同実施の形態の画像処理装置の対象物検出・警報動作を示すフローチャートである。
【図７】 同実施の形態の画像処理装置の対象物検出・警報動作を示すフローチャートである。
【図８】 同実施の形態の画像処理装置で利用するレンズ中心からの距離Ｒに対する投影座標誤差曲線を示す図である。
【図９】 赤外線カメラにより得られるグレースケール画像とその２値化画像を示す図である。
【図１０】 投影座標誤差曲線ＦＲを用いた基準映像側投影座標補正を示す図である。
【図１１】 投影座標誤差曲線ＦＬを用いた非基準映像側投影座標補正を示す図である。
【符号の説明】
１ 画像処理ユニット
１ａ パラメータ用メモリ（記憶手段）
２Ｒ、２Ｌ 赤外線カメラ
３ ヨーレートセンサ
４ 車速センサ
５ ブレーキセンサ
６ スピーカ
７ 画像表示装置
１０ 自車両
Ｓ０、Ｓ１２、Ｓ１５、Ｓ１７ 補正手段
Claims (2)
- 移動体の前部に平行に取り付けられ、車幅方向に対してほぼ対称な位置に配置された２つのカメラにより前記移動体と対象物との距離を測距する画像処理装置において、
前記２つのカメラのうち一方の基準となる第１のカメラのレンズ特性に対応する一方向に対して、レンズ中心を基準とする座標補正のための第１の近似式を設定し、該第１の近似式に基づいて前記第１のカメラにより捉えた画像から抽出した基準対象物の投影座標を補正する第１の補正手段と、
前記２つのカメラのうち他方の第２のカメラにより捉えられる前記基準対象物に対応する対応対象物を相関演算により抽出する対応対象物抽出手段と、
前記第２のカメラのレンズ特性に対応する一方向に対して、レンズ中心を基準とする座標補正のための第２の近似式を設定し、該第２の近似式に基づいて前記対応対象物の投影座標を補正する第２の補正手段と、
前記第１の補正手段により補正された基準対象物の座標と、前記第２の補正手段により補正された対応対象物の座標とから視差を求め、前記移動体と対象物との距離を測距する測距手段とを備えたことを特徴とする画像処理装置。 - 前記第１、第２近似式の係数を記憶する記憶手段を備え、
前記第１、第２の補正手段が、それぞれの記憶された係数による近似式に基づいて前記第１、第２のカメラにより捉えた前記基準対象物および前記対応対象物の投影座標を補正することを特徴とする請求項１に記載の画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002289690A JP4397573B2 (ja) | 2002-10-02 | 2002-10-02 | 画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002289690A JP4397573B2 (ja) | 2002-10-02 | 2002-10-02 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004126905A JP2004126905A (ja) | 2004-04-22 |
| JP4397573B2 true JP4397573B2 (ja) | 2010-01-13 |
Family
ID=32281777
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002289690A Expired - Fee Related JP4397573B2 (ja) | 2002-10-02 | 2002-10-02 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4397573B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100770019B1 (ko) * | 2004-12-06 | 2007-10-25 | 한국전자통신연구원 | 스테레오 카메라의 영상왜곡 보정 장치 및 그 방법 |
| JP4867035B2 (ja) * | 2007-10-16 | 2012-02-01 | 本田技研工業株式会社 | 画像処理装置、画像処理用プログラム、画像処理方法 |
| DE102009031650B4 (de) * | 2009-07-03 | 2024-05-29 | Volkswagen Ag | Verfahren zur Erweiterung eines Kamerasystems, Kamerasystem, Fahrerassistenzsysem und entsprechendes Fahrzeug |
| WO2011121837A1 (ja) | 2010-03-29 | 2011-10-06 | 富士フイルム株式会社 | 立体撮像装置、画像再生装置及び編集ソフトウエア |
| WO2011121841A1 (ja) | 2010-03-31 | 2011-10-06 | 富士フイルム株式会社 | 立体撮像装置 |
| EP2458842B1 (en) | 2010-03-31 | 2013-12-25 | FUJIFILM Corporation | 3d-image capturing device |
| JP5304721B2 (ja) * | 2010-04-28 | 2013-10-02 | 株式会社Ｊｖｃケンウッド | 立体映像撮像装置 |
| KR20130057327A (ko) * | 2011-11-23 | 2013-05-31 | 엘지이노텍 주식회사 | 스테레오 매칭 시스템의 전처리 장치 |
| JP6031755B2 (ja) * | 2011-12-14 | 2016-11-24 | ソニー株式会社 | 立体画像撮像装置 |
| KR101672578B1 (ko) * | 2013-12-26 | 2016-11-03 | 주식회사 만도 | 차량용 카메라의 카메라데이터 처리방법 |
| JP6552448B2 (ja) * | 2016-03-31 | 2019-07-31 | 株式会社デンソーアイティーラボラトリ | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム |
| CN113632450B (zh) * | 2019-03-26 | 2023-07-04 | 株式会社小糸制作所 | 摄影系统及图像处理装置 |
-
2002
- 2002-10-02 JP JP2002289690A patent/JP4397573B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004126905A (ja) | 2004-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10620000B2 (en) | Calibration apparatus, calibration method, and calibration program | |
| JP4002919B2 (ja) | 移動体高さ判別装置 | |
| US7969466B2 (en) | Vehicle surroundings monitoring apparatus | |
| CN108692719B (zh) | 物体检测装置 | |
| JP2019028967A (ja) | 側方の車両測位のための方法、装置、記憶媒体及びプログラム製品 | |
| US20100246901A1 (en) | Operation Support System, Vehicle, And Method For Estimating Three-Dimensional Object Area | |
| US20050276450A1 (en) | Vehicle surroundings monitoring apparatus | |
| US20060115115A1 (en) | Vehicle surroundings monitoring apparatus | |
| US20080181591A1 (en) | Camera posture estimation device, vehicle, and camera posture estimation method | |
| JP2006252473A (ja) | 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム | |
| JP4397573B2 (ja) | 画像処理装置 | |
| WO2015029443A1 (ja) | 舵角補正方法、舵角補正装置、撮像装置、および舵角補正システム | |
| JP2001169310A (ja) | 距離検出装置 | |
| US20190295281A1 (en) | Information processing device, imaging device, apparatus control system, movable body, information processing method, and computer program product | |
| US20060126897A1 (en) | Vehicle surroundings monitoring apparatus | |
| JP2003329439A (ja) | 距離検出装置 | |
| US7515737B2 (en) | Vehicle surroundings monitoring apparatus | |
| JP3925285B2 (ja) | 走行路環境検出装置 | |
| JP2009075124A (ja) | 距離検出装置 | |
| JP3936313B2 (ja) | 画像認識装置 | |
| JP3808287B2 (ja) | 位置検出装置 | |
| JP4176558B2 (ja) | 車両周辺表示装置 | |
| JP3897956B2 (ja) | 位置検出装置 | |
| JP2009014645A (ja) | 車両用距離測定装置 | |
| WO2013069453A1 (ja) | 画像処理装置及び画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041130 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071218 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080208 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080311 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080508 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080521 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20080613 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091021 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121030 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131030 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |