JPH09145337A - 撮像装置の俯角決定方法 - Google Patents

Abstract

(57)【要約】 【課題】 左右一対の撮像装置で撮影した一対の画像か
ら対象物までの距離を算出するようにした物体検出装置
の上記撮像装置のピッチング等で変動する俯角を簡単な
方法で精度良好に決定することである。 【解決手段】 上記画像の路面視差を、所定範囲内の複
数の俯角について予め幾何光学的に算出しておく。一方
の画像を平行移動した画像と他方の画像の差分から相関
値を算出し、該相関値が最小となるときの平行移動の移
動量を対象物の視差として、対象物までの距離を算出す
る過程で得る上記相関値の中から、相関値の算出時に一
方の画像を平行移動せしめた移動量と、上記各俯角につ
いて算出した路面視差とが同じである相関値を多値化す
る（ステップ１０３）。多値化した上記相関値の俯角に
対する変化量を算出して、該変化量が最大となる時の俯
角を、撮像装置の俯角として決定する（ステップ１０
４）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は前方の物体を検出す
る物体検出装置に備えられ、車両等に搭載されて用いら
れる撮像装置の俯角決定方法に関する。

【０００２】

【従来の技術】車両等にＣＣＤカメラ等の撮像装置を搭
載して前方の画像を得、前方の物体を検出して障害物回
避等の自動走行を可能にするシステムの開発が精力的に
進められているが、この場合に車両のピッチング等によ
り画像が上下にブレて正確な前方認識ができないことが
ある。そこで、ピッチングセンサを設け、あるいは画像
上で走行路面の平行なレーンマークの消失点の上下変位
を検出することにより、車両のピッチング量を知って補
正を図る等の対策が考えられる。

【０００３】

【発明が解決しようとする課題】しかし、ピッチングセ
ンサでは俯角の絶対量の検出ができないために、荷物搭
載等により車両の姿勢が変化した場合にはその都度再調
整が必要である。また、レーンマークによる検出も、走
行路面にレーンマークが存在することが条件として必要
となり、一般性に欠けるものである。

【０００４】なお、車両の姿勢角を検出する方法として
は、画像データに適応デジタルフィルタを適用するもの
（電子情報通信学会論文誌 １９９２年３月 Ｖｏｌ．
Ｊ７５−Ｄ−II Ｎｏ．３ Ｐ．４９０〜４９９）等が
あるが、複雑な演算を要するため、車両搭載のマイクロ
コンピュータの演算負担が大きくなる。

【０００５】本発明はかかる課題を解決するもので、走
行状況に左右されることなく、車両のピッチング絶対量
等を簡易かつ正確に算出することができる撮像装置の俯
角決定方法を提供することを目的とする。

【０００６】

【課題を解決するための手段】本発明は、左右に一定間
隔を離して設けた一対の撮像装置によりそれぞれ平面画
像を得、各平面画像の中の解析領域について、左右方向
に所定の移動量だけ平行移動した一方の平面画像と他方
の平面画像の間の差分から相関値を計算し、相関値の上
記移動量に対する変化から解析領域内に捉えられた対象
物の視差を得、対象物との距離を計算して対象物を検出
する物体検出装置の上記撮像装置の俯角決定方法におい
て、上記解析領域内の路面視差を、所定範囲内の複数の
俯角について予め算出しておき、上記相関値のうち、相
関値の算出時に平面画像を平行移動せしめた移動量と、
上記各俯角について算出した路面視差とが同じである相
関値を多値化し、次いで多値化した上記相関値の俯角に
対する変化量を算出して、該変化量が最大となる時の俯
角を撮像装置の俯角として決定するようにした（請求項
１）。

【０００７】撮像装置の俯角を対象物との距離の計算の
過程で得られる相関値を用いるだけで求めることがで
き、画像処理が一切不要となる。

【０００８】本発明方法は、上記解析領域を少なくとも
上下方向に複数の小解析領域に区画し、図１に示すよう
に小解析領域ごとに多値化した上記相関値を、解析領域
全域について加算し（ステップ１０２，１０３）、俯角
に対する変化量が最大となる時の俯角を、撮像装置の俯
角として決定する（ステップ１０４）ようにした（請求
項２）。

【０００９】相関値を小解析領域ごとに局所的に求める
ので複雑な平面画像に対しても精度良好に撮像装置の俯
角が得られる。

【００１０】

【発明の実施の形態】図２、図３に本発明の俯角決定方
法を実施する物体検出装置の構成図を示す。撮像装置た
るステレオ画像撮像装置１は、車両Ｖ（図３）の左右位
置に一対のＣＣＤカメラを水平な路面に対して平行に車
両前方に向けて同一高さｈ（mm）で設けたもので、車両
前方の平面画像を各ＣＣＤカメラからそれぞれ左カメラ
画像保存メモリ２１、右カメラ画像保存メモリ２２に入
力するようになっており、入力した平面画像は左カメラ
画像保存メモリ２１、右カメラ画像保存メモリ２２で一
時、保存され、制御周期ごとに更新されるようになって
いる。左カメラ画像保存メモリ２１、右カメラ画像保存
メモリ２２で保存される平面画像のデータを入力として
距離算出回路３が設けてあり、上記２つの平面画像の相
関値にもとずいて対象物の視差を算出し、カメラが捉え
た平面画像の中の対象物までの距離を算出するようにな
っている。距離算出回路３で算出された距離のデータ
は、これを一時保存する距離データ保存メモリ４を介し
てマイクロコンピュータ６に入力するようになってい
る。

【００１１】一方、距離算出回路３で算出される上記相
関値は、該相関値を一時保存する相関値データ保存メモ
リ５を介してマイクロコンピュータ６に入力するように
なっている。

【００１２】上記物体検出装置の作動とともに本発明方
法を説明する。

【００１３】ステレオ画像撮像装置１で得られた左側の
平面画像、右側の平面画像は左カメラ画像保存メモリ２
１、右カメラ画像保存メモリ２２に入力し、一時保存さ
れる。保存された左側および右側の平面画像（以下、単
に画像という）Ａ，Ｂのデータが距離算出回路３に読み
込まれる。この画像Ａ，Ｂを図４の（１）、（２）に示
す。説明の便宜のため、図のように水平方向にｘ座標
（画面の左端からの画素数（ドット））、垂直方向にｙ
座標（画面の上端からの画素数（ドット））を設定す
る。画像は画面全体の領域（０，０）〜（５１２，２４
０）のうち、領域（５０，１００）〜（４５０，２４
０）が距離の算出の対象領域である横幅４００ドット、
縦幅１４０ドットの解析領域となっている。解析領域は
碁盤状に横幅４ドット、縦幅４ドットの図示しない小解
析領域に区画されている。各小解析領域には便宜上の番
地が付されている。図中、Ｏは立体物であり、水平路面
Ｇは水平線Ｈ上に消失点Ｍを有している。視差のため左
側の画像Ａは右側の画像Ｂに対して全体にやや右側に寄
っている。

【００１４】距離算出回路３では、読み込んだ左カメラ
画像のデータを所定の移動量ｚ（ドット）だけ左右方向
に平行移動して別の画像のデータに変換する。移動量ｚ
は対象物の視差が取りうる所定の範囲に一定間隔で離散
する変数で、画像の平行移動は各ｚごとに実行する。

【００１５】各小解析領域で式にしたがって平行移動
した左側の画像データＬ（ｘ＋ｚ，ｙ）と、右カメラ画
像保存メモリ２２から読み込んだ右側の画像データＲ
（ｘ，ｙ）の差分の絶対値を各小解析領域内の画素につ
いて演算し、上記差分の絶対値の和を算出して、小解析
領域ごとに相関値Ｓ（ｚ）を得る。

【００１６】

【数１】

【００１７】図５は左側の画像Ａと右側の画像Ｂを重ね
合わせたもので、上記２つの画像は対象物の視差だけ左
右にずれている。したがって画像Ａの平行移動の移動量
ｚが小解析領域内に捉えられた対象物の視差に近い程、
平行移動した左側の画像データＬ（ｘ＋ｚ，ｙ）と右側
の画像データＲ（ｘ，ｙ）とはよく一致し、｜Ｌ（ｘ＋
ｚ，ｙ）−Ｒ（ｘ，ｙ）｜は０に近づくから、算出した
相関値Ｓ（ｚ）と移動量ｚの関係は図６のように凹状を
なし、平行移動の移動量ｚが上記対象物の視差と一致す
れば相関値Ｓ（ｚ）は最小となる。しかして相関値Ｓ
（ｚ）が最小となるｚを上記対象物の視差ｗとする。

【００１８】図７はステレオ画像撮像装置１の光路図を
示すもので、ステレオ撮像装置１には車両前方に向けて
一定の間隔で設けられた左右一対のレンズ１１Ｌ，１１
Ｒが配され、その焦点距離ｆ（mm）だけ後方にＣＣＤ素
子１２Ｌ，１２Ｒが配されている。距離算出回路３で
は、幾何光学的に対象物までの距離（以下、物体間距離
という）ｄを、相関値Ｓ（ｚ）の算出で得た上記視差ｗ
から、対象物ＯのＣＣＤ素子１２Ｌ上の投影像のＣＣＤ
素子１２Ｌの中心からの偏差ａ（ドット）、対象物Ｏの
ＣＣＤ素子１２Ｒ上の投影像のＣＣＤ素子１２Ｒの中心
からの偏差ｂ（ドット）、レンズ１１Ｌ，１１Ｒの基線
長ｃ（mm）、係数ｋ（mm／ドット）として式で算出す
る。 ｄ＝ｋ×ｆ×（ａ＋ｂ）／ｃ＝ｋｆｗ／ｃ……

【００１９】物体間距離ｄは各小解析領域ごとに求めら
れ、距離データ保存メモリ４に入力し、解析領域におけ
る物体間距離マップとして保存される。また相関値Ｓ
（ｚ）は相関値データ保存メモリ５に入力し、小解析領
域に付された番地および移動量ｚをインデックスとして
保存される。

【００２０】解析領域のすべての小解析領域について上
記相関値Ｓ（ｚ）が相関値データ保存メモリ５に保存さ
れると、マイクロコンピュータ６は図１に示すフローチ
ャートにしたがってステレオ画像撮像装置１の俯角の計
算を開始する。計算の開始に当たって、コンピュータ６
のプログラム上に設定された後述する特徴量Ｖ（θi）
（ｉ＝１〜３１）をリセットする。

【００２１】マイクロコンピュータ６では、予め車両の
ピッチングの計測試験等から俯角が取り得る角度の範囲
であるＷｓ〜Ｗｅの範囲について、Ｍを画像上の消失点
のｙ座標として式を実行して路面視差ｒ（θi ，ｙj
）を算出しておく。消失点のｙ座標Ｍは，画面の中心
位置のｙ座標をｙ0 として下式により算出される。な
おＷｓ，Ｗｅはそれぞれ例えば−３°，＋３°である。
この俯角が取りうる角度θｉは上記所定範囲Ｗｓ〜Ｗｅ
のうちで一定間隔で複数選択しておく。例えば−３°〜
＋３°の範囲で０．２°間隔とすると、ｉ＝１〜３１で
ある。またｙは１００〜２４０ドットの範囲に小解析領
域の縦幅と同じ４ドット間隔で選択し、ｊ＝１〜３５で
ある。 ｒ（θi ，ｙｊ）＝ｃ／ｈ×（ｙj −Ｍ）…… Ｍ＝ｙ0 −ｋ×ｆ×ｔａｎθi ……

【００２２】式、より知られる如く、路面視差ｒ
（θi ，ｙj ）は俯角θi により変化するとともに、画
像上の垂直位置ｙj によっても変化する。すなわち、ｙ
j ＝Ｍの時に零となり、これよりｙj の増加（すなわち
画像の下方）にともない直線的に大きくなる。

【００２３】各ｙ座標ｙj は小解析領域の縦幅と同じ４
ドット間隔で選択されているから、各ｙ座標ｙj に対し
てｘ方向に小解析領域が配列する。解析領域のｘ方向の
幅は４００ドットであるからｘ方向に配列される上記解
析小領域は１００である。ｙ座標ｙj のときのｒ（θi
，ｙj ）を読み出し、ｘ方向に配列された１００の小
解析領域について順次、相関値Ｓ（ｚ）が保存されてい
る相関値データ保存メモリ５からインデックスが当該小
解析領域の番地およびｚ＝ｒ（θi ，ｙj ）である相関
値Ｓ（ｚ）を読み出して所定のしきい値で二値化し、Ｖ
（θi ）に加算していく（ステップ１０３）。

【００２４】上記１００の小解析領域について相関値Ｓ
（ｚ）をすべてＶ（θi ）に加算し終わると、次のｙ座
標ｙj+1 について同様に、ｙ座標ｙj+1 に対してｘ方向
に配列する小解析領域の二値化した相関値Ｓ（ｚ）を、
Ｖ（θi ）にさらに加算し、ｊ＝１〜３５のすべてのｙ
座標ｙj についてＶ（θi ）に二値化した相関値Ｓ
（ｚ）を加算する演算を実行する。しかして特徴量Ｖ
（θi ）として解析領域内における小解析領域すべての
二値化した相関値Ｓ（ｚ）の総和が得られる（ステップ
１０２）。

【００２５】次いでｉ＝ｉ＋１として特徴量Ｖ（θi+1
）を同様に計算し、ｉ＝１〜３１のθi について特徴
量Ｖ（θi ）を得る（ステップ１０１）。

【００２６】小解析領域は４ドットの縦幅があるから、
小解析領域内の位置により路面視差は異なっている。し
かしながら４ドット程度の範囲では各路面視差はほぼ同
じであり、そのうちの１つである式で算出されるｒ
（θi ，ｙj ）と見なせる。小解析領域内の位置におけ
る路面視差は式でｙj をｙに置き換えたｒ（θi ，
ｙ）であるから、逆にＳ（ｚ）は近似的に式で表され
るｖ（θi ）と等しい。

【００２７】

【数５】

【００２８】ｖ（θi ）は、式から明らかなように小
解析領域内の各位置について俯角をθi としたときの路
面視差ｒ（θi ，ｙ）だけ左側画像Ａ（図４（１））を
平行移動した画像のデータと右側画像Ｂ（図４（２））
のデータの差分の小解析領域内における和である。

【００２９】図８は左側画像Ａをその各位置について路
面視差ｒ（θi ，ｙ）だけ平行移動する画像処理をした
画像Ｃで、図９は画像Ｃと右側画像Ｂとの差分画像Ｄで
ある。θi が真の俯角θr と等しければ、画像Ｃ、右側
画像Ｂの中の路面画像は一致してその差分画像Ｄの中の
路面画像は図９のように消失し、立体物視差による立体
物の差分のみが現れる。逆に、平行移動の移動量として
のｒ（θi ，ｙ）が立体物視差と等しければ差分画像Ｄ
の中の当該立体物が消失し、路面画像の差分のみが残
る。これをｖ（θi ）や、これを一定のしきい値で二値
化、三値化等したものを解析領域の全域で総和した量
（以下、画像比較変数という）で言えば次のようにな
る。画像比較変数は解析領域に捉えられた路面画像の成
分と立体物画像の成分の和であるが、路面画像の成分は
真の俯角θr で小さな値を取り、その前後では大きな値
となる。一方、立体物成分は真の俯角θr の手前で小さ
な値を取る。

【００３０】かかる画像比較変数に関し、発明者らはい
ずれの成分も、θi に対する変化量が真の俯角θr で最
大となり、したがって両成分の和である画像比較変数の
θiに対する変化量が真の俯角θr で最大となる性質を
有していることを確認している。しかしてｖ（θi ）と
近似的に一致する上記相関値Ｓ（ｚ）を二値化後、解析
領域内にある小解析領域について総和した特徴量Ｖ（θ
i ）も上記画像比較変数と同じ性質を有しており、その
θi に対する変化量が真の俯角θr で最大となる。

【００３１】ステップ１０４では、特徴量Ｖ（θi ）
（ｉ＝１〜３５）についてｉが連続する特徴量Ｖ（θi
）、Ｖ（θi+1 ）の差分を計算し、上記差分を上記変
化量としてその大きさを比較する。上記差分が最大とな
るθi を真の俯角θr とする（ステップ１０４）。そし
て次の制御周期では相関値データ保存メモリ５に新たに
保存された相関値Ｓ（ｚ）について再び同様のルーチン
が実行される。

【００３２】図１０（１）は特徴量Ｖ（θｉ）と俯角の
取りうる角度θｉの、（２）は特徴量Ｖ（θｉ）の上記
変化量と俯角の取りうる角度θｉの計算結果の一例を示
すもので、真の俯角θr は最大となる特徴量Ｖ（θｉ）
の変化量から０．４°と求められる。このように本発明
方法によれば画像処理によることなく、距離算出回路３
で距離計算の過程で計算される相関値を用いるだけで俯
角を決定することができる。

【００３３】俯角が決定すると、コンピュータ６は距離
データ保存メモリ４から上記物体間距離マップを読み出
し、これを上記俯角にもとずいて補正してピッチング等
があっても前方の正確な状況を知ることができる。

【００３４】なお特徴量Ｖ（θi ）の計算は、すべての
相関値データが距離算出回路３から転送されてから実行
するようにしたが、予め路面視差ｒ（θi ，ｙj ）を距
離算出回路３に記憶しておき、距離算出回路３でｚ＝ｒ
（θi ，ｙj ）となる移動量ｚについて各小解析領域の
相関値Ｓ（ｚ）が計算された時点で、その相関値Ｓ
（ｚ）をマイクロコンピュータ６に転送してもよい。こ
の場合、相関値Ｓ（ｚ）の計算がすべての小解析領域に
ついて終了するのとほぼ同時に真の俯角θr の計算結果
を得ることができる。

【００３５】また解析領域を小解析領域に区分する仕方
は必ずしも上記のものに限定されるものではなく、本発
明の趣旨に反しない限り任意であり、解析領域を複数の
小解析領域に区分しないで実施することもできる。

【００３６】また特徴量Ｖ（θi ）を計算するに当たり
Ｓ（ｚ）を二値化したが、三値化もしくはそれ以上でも
よい。

【００３７】また特徴量の変化量を計算する前に、Ｖ
（θi ）を移動平均して、ノイズ成分を除去するのもよ
い。

【００３８】また解析領域の範囲や、取りうる俯角の範
囲等についても本発明の趣旨に反しない限り任意であ
る。

【図面の簡単な説明】

【図１】本発明方法を説明するフローチャートである。

【図２】本発明方法を適用した装置のブロック図であ
る。

【図３】路上を走行する上記装置を搭載した車両の側面
図である。

【図４】（１）は本発明方法を説明する第１の画像の正
面図であり、（２）は本発明方法を説明する第２の画像
の正面図である。

【図５】本発明方法を説明する第３の画像の正面図であ
る。

【図６】本発明方法を説明する第１のグラフである。

【図７】上記装置の要部概要図である。

【図８】本発明方法を説明する第４の画像の正面図であ
る。

【図９】本発明方法を説明する第５の画像の正面図であ
る。

【図１０】（１）は本発明方法を説明する第２のグラフ
であり、（２）は本発明方法を説明する第３のグラフで
ある。

【符号の説明】

１ ステレオ画像撮像装置（撮像装置）

Claims (2)

【特許請求の範囲】
1. 【請求項１】 左右に一定間隔を離して設けた一対の撮
   像装置によりそれぞれ平面画像を得、各平面画像の中で
   同一位置にある領域を解析領域となし、左右いずれか一
   方の平面画像を左右方向に移動量を変えて平行移動せし
   め、平行移動した一方の平面画像の解析領域と、他方の
   平面画像の解析領域の間の差分から上記２つの解析領域
   内の映像の相関値を算出して上記２つの映像の間の相関
   を判定し、上記２つの映像の間に最も相関があるときの
   上記移動量を解析領域に捉えられた対象物の視差とし
   て、解析領域内に捉えられた対象物までの距離を演算し
   て、撮像装置の前方にある対象物を検出する物体検出装
   置の上記撮像装置の俯角決定方法において、上記解析領
   域内の路面視差を、所定範囲内の複数の俯角について予
   め算出しておき、上記相関値の中から、相関値の算出時
   に平面画像を平行移動せしめた移動量と、上記各俯角に
   ついて算出した路面視差とが同じである相関値を多値化
   し、多値化した上記相関値の俯角に対する変化量を算出
   して、該変化量が最大となる時の俯角を、上記撮像装置
   の俯角として決定する撮像装置の俯角決定方法。
2. 【請求項２】 請求項１記載の撮像装置の俯角決定方法
   において、上記解析領域を少なくとも上下方向に複数の
   小解析領域に区画し、小領域ごとの多値化した上記相関
   値の解析領域全域の総和を算出し、該総和の俯角に対す
   る変化量が最大となる時の俯角を、上記撮像装置の俯角
   として決定する撮像装置の俯角決定方法。