JPH09159442A - 車両用環境認識装置 - Google Patents

Abstract

(57)【要約】 【課題】ステレオカメラにおいて、左右のビデオカメラ
で撮像された画像の対応を採る際に、レンズの歪み等、
光学系の歪みに基づく画像の歪みを原因とする同一物体
の対応の採れない状態を回避する。 【解決手段】対応処理装置６中での相関演算部６５によ
り画像メモリ４Ｒ、４Ｌから読み出された画像データに
基づいて左右の画像の対応を採る演算を行う際に、被写
体としての正方形格子を光学部および撮像手段により撮
像したときに得られる画像の歪みデータに基づき作成し
た補正座標（Δｘ，Δｙ）が格納される補正座標テーブ
ル６２を設けている。スキャン座標生成部６１で生成さ
れたスキャン座標（Ｘ，Ｙ）を補正座標（Δｘ，Δｙ）
で補正した補正後の座標（Ｘ＋Δｘ，Ｙ＋Δｙ）によ
り、画像メモリアドレス生成部６４で画像メモリ４Ｒ、
４Ｌからの読み出し画像メモリアドレスを生成する。こ
れにより、光学系の歪みに基づく画像の歪みを原因とす
る対応の採れない状態を回避することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、ステレオ視を利
用した車両用環境認識装置に関し、一層詳細には、例え
ば、自動車等の車両に搭載され、当該自動車の位置を基
準として、風景や先行車等を含む情景に係る周囲環境を
認識する車両用環境認識装置に関する。

【０００２】

【従来の技術】従来から、周囲環境を認識しようとする
場合、ステレオ視を利用したステレオカメラにより得ら
れる２枚の画像（ステレオ画像ともいう。）から三角測
量の原理に基づき対象物（単に、物体ともいう。）まで
の距離を求め、対象物の位置を認識する、いわゆるステ
レオ法が採用されている。

【０００３】このステレオ法においては、前記距離を求
める際に、レンズを通じて撮像した２枚の画像上におい
て同一物体の対応が採れることが前提条件となる。

【０００４】撮像した２枚の画像上において同一物体の
対応を採る技術として、画像中の領域に着目する方法が
ある。

【０００５】この方法は、まず、一方の画像上に適当な
サイズのウィンドウを設定し、他方の画像においてこの
ウィンドウに対応する領域を求めるために、他方の画像
に前記ウィンドウと同一サイズの領域を設定する。

【０００６】次に、両画像上の各ウィンドウ内の画像
（単に、ウィンドウ画像ともいう。）を構成する対応す
る各画素（詳しく説明すると、マトリクス位置が対応す
る各画素）についての画素データ値を引き算して差を
得、さらに差の絶対値を得る。

【０００７】そして、各画素についての差の絶対値の前
記ウィンドウ内の和、いわゆる総和を求める。

【０００８】このようにウィンドウ内の各画素データ値
の差の絶対値の総和を求める計算を他方の画像上のウィ
ンドウの位置を変えて順次行い、前記総和が最小になる
他方の画像のウィンドウを、前記一方の画像のウィンド
ウに対応する領域であると決定する方法である。

【０００９】この発明においても、基本的には、この画
像中の領域に着目する方法を採用している。

【００１０】

【発明が解決しようとする課題】ところで、車両に搭載
されたステレオカメラ、例えば基線上に一定間隔離され
て配置された２台のビデオカメラにより撮像する際に
は、画像情報を有する光が、フロントガラスおよびビデ
オカメラを構成するレンズを含む光学系を通じてＣＣＤ
エリアセンサ等の撮像素子に導入され、この撮像素子に
より光電変換が行われて電気的信号、すなわちビデオ信
号として出力される。このビデオ信号が画素に対応して
分割され、デジタル信号である画像データに変換され
て、フレームメモリ等の画像メモリに格納される。

【００１１】しかしながら、フロントガラス、レンズ等
には歪みがあり、特に大きい歪みを有するレンズでは、
いわゆる糸巻き（ピンクッション的）歪みやたる（バレ
ル的）形歪み等の収差が存在するが、この収差を上記従
来の技術においては考慮していない。

【００１２】したがって、通常、レンズの中心を通る水
平線を考えた場合、この撮像は、直線となり、上記対応
処理により画像の対応が採れるが、レンズの周辺部分の
画像については、水平線が湾曲した曲線となるために、
直線と仮定して対応を採ることができないという問題が
あった。

【００１３】なお、この出願に関連する技術として、例
えば、特開平６−２８２７９３号公報に開示された技術
を挙げることができるが、この公報には、単に、レンズ
の周囲で口径食により明るさが減ずるのを補正するため
の補正値を予め準備しておく内容が記載されているだけ
であり、レンズの歪みについての動機付けとなる技術は
何も開示されていない。

【００１４】この発明はこのような課題を考慮してなさ
れたものであり、レンズの歪み等、光学系の歪みに基づ
く画像の歪みを原因として同一物体の対応の採れない状
態を回避することを可能とする車両用環境認識装置を提
供することを目的とする。

【００１５】

【課題を解決するための手段】この発明は、例えば、図
１および図８に示すように、画像情報を有する光をとら
える複数の光学部１１Ｒ、１１Ｌと、各光学部を通じて
得た光をそれぞれ電気信号に変換する複数の撮像手段１
３Ｒ、１３Ｌと、複数の撮像手段からそれぞれ得られる
画像信号中の撮像物体画像の対応を採る対応処理手段６
と、対応の採れた物体までの距離を三角測量の原理に基
づき演算する位置演算手段７とを備え、対応処理手段
は、対応を採る際に、光学部の歪みを原因とする撮像の
歪みを補正する歪み補正手段６２を有することを特徴と
する。

【００１６】この発明によれば、対応処理手段が、複数
の撮像手段から得られる画像信号中の撮像物体画像の対
応を採る際に、歪み補正手段により光学部の歪みを原因
とする撮像の歪みを補正した後に、対応を採るようにし
ているので、レンズの歪み等、光学系の歪みに基づく画
像の歪みを原因とする同一物体の対応の採れない状態を
回避することができる。

【００１７】また、この発明によれば、画素単位で画像
メモリに格納された画像データを読み出して撮像物体画
像の対応を採る際に、被写体としての長方形格子（正方
形格子も含む）を前記光学部および前記撮像手段により
撮像したときに得られる画像の歪みデータに基づき作成
したアドレス補正テーブル６２により、画像メモリから
の画素読み出しアドレスを補正するようにしているの
で、簡単な構成で、レンズの歪み等、光学系の歪みに基
づく画像の歪みを原因とする対応の採れない状態を回避
することができる。

【００１８】この場合、アドレス補正テーブルには、補
正前のアドレスに対応してアドレス補正データを符号付
のビットデータとして格納する。このようにすれば、光
学部毎に、対応するアドレス補正テーブルを持つ構成と
することが可能となり、結果として、撮像手段の光学部
歪み特性に応じたアドレス補正テーブルを当該撮像手段
に付設することができる。

【００１９】

【発明の実施の形態】以下、この発明の一実施の形態に
ついて、図面を参照して説明する。

【００２０】図１はこの発明の一実施の形態の構成を示
すブロック図である。

【００２１】図１において、ステレオカメラ１が、右側
のビデオカメラ（以下、単にカメラまたは右カメラとも
いう。）１Ｒと、左側のビデオカメラ（同様に、カメラ
または左カメラともいう。）１Ｌとにより構成されてい
る。左右のカメラ１Ｒ、１Ｌは、図２に示すように、自
動車（車両ともいう。）Ｍのダッシュボード上に予め定
めた所定の間隔、いわゆる基線長Ｄを隔てて設置してあ
る。また、カメラ１Ｒ、１Ｌはダッシュボード上に水平
面に対して平行に、かつ車両Ｍの正面方向にある無限遠
点が画像の中心となるように設置してある。さらに、カ
メラ１Ｒ、１Ｌはダッシュボード上に設置してあるため
に、カメラ１Ｒ、１Ｌを一体として連結することがで
き、上述の基線長Ｄを維持できる。

【００２２】また、カメラ１Ｒ、１Ｌは、車両Ｍのワイ
パーのワイパー拭き取り範囲内に配置し、かつワイパー
が左右にあって同方向に回動する場合には、左右のワイ
パーブレードの始点から同一位置になるように配置する
ことで、ワイパーブレードによる遮光位置の変化が左右
のカメラ１Ｒ、１Ｌで同一となり、認識対象物体（物
体、対象物、対象物体、または、単に、対象ともい
う。）の撮像に対してワイパーブレードの撮像の影響を
少なくすることができる。左右のカメラ１Ｒ、１Ｌの光
軸１５Ｒ、１５Ｌ（図１参照）は、同一水平面上におい
て平行になるように設定されている。

【００２３】図１から分かるように、右と左のカメラ１
Ｒ、１Ｌには、光軸１５Ｒ、１５Ｌに略直交する方向
に、画像情報を有する光ＩＬをとらえる同一の焦点距離
Ｆを有する対物レンズ１１Ｒ、１１Ｌと、減光フィルタ
としてのＮＤフィルタ組立体１２Ｒ、１２Ｌと、対物レ
ンズ１１Ｒ、１１Ｌによって結像された像を撮像するエ
リアセンサ型のＣＣＤイメージセンサ（撮像素子部）１
３Ｒ、１３Ｌとが配設されている。この場合、それぞれ
の光学系（光学部ともいう。）とも、例えば、右側の光
学系で説明すれば、対物レンズ１１Ｒ、ＮＤフィルタ組
立体１２Ｒを構成する１つのＮＤフィルタ（後述す
る。）または素通しの状態およびＣＣＤイメージセンサ
１３Ｒは、いわゆる共軸光学系を構成する。

【００２４】カメラ１Ｒ、１Ｌには、ＣＣＤイメージセ
ンサ１３Ｒ、１３Ｌの読み出しタイミング、電子シャッ
タ時間等の各種タイミングを制御したり、ＣＣＤイメー
ジセンサ１３Ｒ、１３Ｌを構成する撮像素子群を走査し
て得られる光電変換信号である撮像信号を、いわゆる映
像信号に変換するための信号処理回路１４Ｒ、１４Ｌが
配設されている。

【００２５】左右のカメラ１Ｒ、１Ｌの出力信号、言い
換えれば、信号処理回路１４Ｒ、１４Ｌの出力信号であ
る映像信号は、増幅利得等を調整するＣＣＵ２Ｒ、２Ｌ
を通じて、例えば、８ビット分解能のＡＤ変換器３Ｒ、
３Ｌに供給される。なお、実際上、ＣＣＵ２Ｒ、２Ｌか
ら信号処理回路１４Ｒ、１４Ｌに対して前記電子シャッ
タ時間を可変する制御信号が送出される。

【００２６】ＡＤ変換器３Ｒ、３Ｌによりアナログ信号
である映像信号がデジタル信号に変換され、水平方向の
画素数７６８列、垂直方向の画素数２４０行の画素の信
号の集合としての画像信号（以下、必要に応じて、画素
データの集合としての画像データともいい、実際上は濃
度を基準とする画像信号ではなく輝度を基準とする映像
信号データであるので、映像信号データともいう。）と
してフレームバッファ等の画像メモリ４Ｒ、４Ｌに格納
される。画像メモリ４Ｒ、４Ｌには、それぞれ、Ｎフレ
ーム（Ｎコマ）分、言い換えれば、ラスタディスプレイ
上の画面Ｎ枚分に相当する画面イメージが保持される。
一実施の形態においてはＮの値として、Ｎ＝２〜６まで
の値が当てはめられる。２枚以上を保持できるようにし
たために、画像の取り込みと対応処理とを並行して行う
ことが可能である。

【００２７】画像メモリ（画像を構成する画素を問題と
する場合には、画素メモリともいう。）４Ｒ、４Ｌは、
この実施の形態においては、上記水平方向の画素数×垂
直方向の画素数と等しい値の１フレーム分の画素メモリ
を有するものと考える。各画素メモリ４Ｒ、４Ｌは８ビ
ットのデータを格納することができる。なお、各画素メ
モリ４Ｒ、４Ｌに格納されるデータは、上述したよう
に、映像信号の変換データであるので輝度データであ
る。

【００２８】画像メモリ４Ｒ、４Ｌに格納される画像
は、上述したように１枚の画面イメージ分の画像である
ので、これを明確にするときには、必要に応じて、全体
画像ともいう。

【００２９】右側用の画像メモリ４Ｒの所定領域の画像
データに対して、左側の画像メモリ４Ｌの同じ大きさの
領域の画像データを位置（実際には、アドレス）を変え
て順次比較して所定演算を行い、物体の対応領域を求め
る対応処理装置６が、画像メモリ４Ｒ、４Ｌに接続され
ている。

【００３０】左右の画像メモリ４Ｒ、４Ｌ中の対象の対
応領域（対応アドレス位置）に応じ三角測量法（両眼立
体視）に基づいて、対象の相対位置を演算する位置演算
装置７が対応処理装置６に接続されている。

【００３１】対応処理装置６および位置演算装置７にお
ける対応処理・位置演算に先立ち、入力側が画像メモリ
４Ｒに接続される露光量調整装置８の制御により、ＣＣ
Ｄイメージセンサ１３Ｒ、１３Ｌに入射される画像情報
を有する光ＩＬの露光量が適正化される。

【００３２】露光量調整装置８は、画像メモリ４Ｒの所
定領域の画像データに基づいて、後述するルックアップ
テーブル等を参照して露光量を決定し、ＣＣＵ２Ｒ、２
Ｌの増幅利得と、ＣＣＤイメージセンサ１３Ｒ、１３Ｌ
の電子シャッタ時間｛通常の場合、シャッタ速度と称さ
れるが、単位は時間（具体的には、電荷蓄積時間）であ
るので、この実施の形態においては電子シャッタ時間と
いう。なお、必要に応じて電子シャッタ速度ともい
う。｝と、ＮＤフィルタ組立体１２Ｒ、１２Ｌのうちの
所望のフィルタとを、それぞれ、同じ値、同じものに同
時に決定する。

【００３３】ＮＤフィルタ組立体１２Ｒ、１２Ｌのう
ち、所望のＮＤフィルタが、駆動回路５Ｒ、５Ｌを通じ
て切り換え選定されるが、この切り換えには、ＮＤフィ
ルタを使用しない場合、いわゆる素通し（必要に応じ
て、素通しのＮＤフィルタとして考える。）の場合も含
まれる。

【００３４】次に、上記実施の形態の動作および必要に
応じてさらに詳細な構成について説明する。

【００３５】図３は、三角測量の原理説明に供される、
対象物体Ｓを含む情景を左右のカメラ１Ｒ、１Ｌにより
撮像している状態の平面視的図を示している。対象物体
Ｓの相対位置をＲＰで表すとき、相対位置ＲＰは、既知
の焦点距離ＦからのＺ軸方向（奥行き方向）の距離Ｚｄ
と右カメラ１ＲのＸ軸方向（水平方向）中心位置からの
水平方向のずれ距離ＤＲとによって表される。すなわ
ち、相対位置ＲＰがＲＰ＝ＲＰ（Ｚｄ、ＤＲ）で定義さ
れるものとする。もちろん、相対位置ＲＰは、既知の焦
点距離Ｆからの距離Ｚｄと左カメラ１ＬのＸ軸（水平方
向）中心位置からの水平方向のずれ距離ＤＬとによって
表すこともできる。すなわち、相対位置ＲＰをＲＰ＝Ｒ
Ｐ（Ｚｄ、ＤＬ）と表すことができる。

【００３６】図４Ａは、右側のカメラ１Ｒによって撮像
された対象物体Ｓを含む画像（右画像または右側画像と
もいう。）ＩＲを示し、図４Ｂは、左側のカメラ１Ｌに
よって撮像された同一対象物体Ｓを含む画像（左画像ま
たは左側画像ともいう。）ＩＬを示している。これら画
像ＩＲと画像ＩＬとがそれぞれ画像メモリ４Ｒおよび画
像メモリ４Ｌに格納されていると考える。右側画像ＩＲ
中の対象物体画像ＳＲと左側画像ＩＬ中の対象物体画像
ＳＬとは、画像ＩＲ、ＩＬのＸ軸方向の中心線３５、３
６に対してそれぞれ視差ｄＲと視差ｄＬとを有してい
る。対象物体画像ＳＲと対象物体画像ＳＬとは、エピポ
ーラーライン（視線像）ＥＰ上に存在する。対象物体Ｓ
が無限遠点に存在するとき、対象物体画像ＳＲと対象物
体画像ＳＬとは、中心線３５、３６上の同一位置に撮像
され、視差ｄＲ、ｄＬは、ｄＲ＝ｄＬ＝０になる。

【００３７】なお、ＣＣＤエリアセンサ１３Ｒ、１３Ｌ
上における図３に示す視差ｄＲ、ｄＬとは、画像ＩＲ、
ＩＬ上の図４Ａ、図４Ｂに示す視差ｄＲ、ｄＬとは極性
が異なるが、ＣＣＤエリアセンサ１３Ｒ、１３Ｌからの
読み出し方向を変えることで同一極性とすることができ
る。光学部に配設するレンズの枚数を適当に設定するこ
とによりＣＣＤエリアセンサ１３Ｒ、１３Ｌ上における
視差ｄＲ、ｄＬと画像ＩＲ、ＩＬ上の視差ｄＲ、ｄＬの
極性とを合わせることもできる。

【００３８】図３から、次の（１）式〜（３）式が成り
立つことが分かる。

【００３９】 ＤＲ：Ｚｄ＝ｄＲ：Ｆ …（１） ＤＬ：Ｚｄ＝ｄＬ：Ｆ …（２） Ｄ＝ＤＲ＋ＤＬ …（３） これら（１）式〜（３）式から距離Ｚｄとずれ距離ＤＲ
とずれ距離ＤＬとをそれぞれ（４）式〜（６）式で求め
ることができる。

【００４０】 Ｚｄ＝Ｆ×Ｄ／（ＤＲ＋ＤＬ） …（４） ＤＲ＝ｄＲ×Ｄ／（ｄＬ＋ｄＲ） …（５） ＤＬ＝ｄＬ×Ｄ／（ｄＬ＋ｄＲ） …（６） これら位置情報である距離Ｚｄとずれ距離ＤＲとずれ距
離ＤＬとをクラスタリングして、対象物体Ｓについての
識別符号としての、いわゆるアイディ（ＩＤ：Identifi
cation）を付けることで、車両追従装置等への応用を図
ることができる。

【００４１】なお、実際上の問題として、ＣＣＤイメー
ジセンサ１３Ｒ、１３Ｌの実効１画素の物理的な大きさ
の測定や焦点距離Ｆの測定は困難であるため、比較的正
確に測定可能な画角を利用して距離Ｚｄ、ずれ距離Ｄ
Ｒ、ＤＬを求める。

【００４２】すなわち、例えば、カメラ１Ｒ、１Ｌの水
平画角をθ、カメラ１Ｒ、１Ｌの水平方向の実効画素数
（画像メモリ４Ｒ、４Ｌの水平画素数に等しい画素数）
をＮ、視差ｄＲ、ｄＬに対応する画像メモリ４Ｒ、４Ｌ
上の画素数をＮＲ、ＮＬとすると、次に示す（７）式〜
（９）式から距離Ｚｄとずれ距離ＤＲとずれ距離ＤＬと
をそれぞれ求めることができる。

【００４３】 Ｚｄ＝Ｎ×Ｄ／｛２（ＮＬ＋ＮＲ）ｔａｎ（θ／２）｝ …（７） ＤＲ＝ＮＲ・Ｄ／（ＮＬ＋ＮＲ） …（８） ＤＬ＝ＮＬ・Ｄ／（ＮＬ＋ＮＲ） …（９） ここで、水平画角θは測定可能な値であり、水平方向の
実効画素数Ｎ（この実施の形態では、上述したようにＮ
＝７６８）は予め定められており、視差ｄＲ、ｄＬに対
応する画素数ＮＲおよびＮＬも取り込んだ画像から分か
る値である。

【００４４】次に、上述の画像の取り込みからＩＤを付
けるまでの過程をフローチャートを利用して全体的に説
明すれば、図５に示すようになる。

【００４５】すなわち、ＡＤ変換器３Ｒ、３Ｌから出力
される映像信号データがそれぞれ画像メモリ４Ｒ、４Ｌ
に取り込まれて格納される（ステップＳ１）。

【００４６】ステップＳ１に続いて、画像メモリ４Ｒに
記憶されたある領域の画像に対応する画像を画像メモリ
４Ｌから求め、いわゆる画像の左右の対応を取る（ステ
ップＳ２）。

【００４７】対応を取った後、カメラ１Ｒ、１Ｌにおけ
る視差ｄＲ、ｄＬを求め、位置情報に変換する（ステッ
プＳ３）。

【００４８】その位置情報をクラスタリングし（ステッ
プＳ４）、ＩＤを付ける（ステップＳ５）。

【００４９】位置演算装置７の出力である、ＩＤの付け
られた出力は、本発明の要部ではないので、詳しく説明
しないが、図示していない、例えば、道路・障害物認識
装置等に送出されて自動運転システムを構成することが
できる。この自動運転システムでは、運転者に対する警
告、自動車（ステレオカメラ１を積んだ自車）Ｍの衝突
回避、前走車の自動追従等の動作を行うことができる。

【００５０】この実施の形態において、上述の左右の画
像の対応を取るステップＳ２では、いわゆる特徴に着目
した方法ではなく、基本的には、従来技術の項で説明し
た画像中の領域に着目する方法を採用している。

【００５１】すなわち、エッジ、線分、特殊な形など何
らかの特徴を抽出し、それらの特徴が一致する部分が対
応の取れた部分であるとする特徴に着目する方法は、取
り扱う情報量が低下するので採用せず、一方の画像、こ
の実施の形態では、右画像ＩＲから対象物体画像ＳＲを
囲む小領域、いわゆるウィンドウを切り出し、この小領
域に似た小領域を他方の左画像ＩＬから探すことにより
対応を決定する方法を採用している。

【００５２】この実施の形態において採用した画像中の
領域に着目する方法では、２枚の画像ＩＬ、ＩＲ上にお
いて同一対象物体Ｓの対応を採る技術として、一方の画
像上に適当なサイズのウィンドウを設定し、他方の画像
においてこのウィンドウに対応する領域を求めるため
に、他方の画像に前記ウィンドウと同一サイズの領域を
設定する。

【００５３】次に、両画像上の各ウィンドウ内の画像
（単に、ウィンドウ画像ともいう。）を構成する対応す
る各画素（詳しく説明すると、ウィンドウ画像中のマト
リクス位置が対応する各画素）についての画素データ
値、すなわち、輝度値を引き算して差を得、さらに輝度
差の絶対値を得る。

【００５４】そして、各対応する画素についての輝度差
の絶対値の前記ウィンドウ内の和、いわゆる総和を求め
る。

【００５５】この総和を左右画像の一致度（対応度とも
いう。）Ｈと定義する。このとき、右画像ＩＲと左画像
ＩＬのウィンドウ内の対応座標点（ｘ，ｙ）の輝度（画
素データ値）をそれぞれＩＲ（ｘ，ｙ）、ＩＬ（ｘ，
ｙ）とし、ウィンドウの横幅をｎ画素（ｎは画素数）、
縦幅をｍ画素（ｍも画素数）とするとき、ずらし量をｄ
ｘ（後述する）とすれば、一致度Ｈは、次の（１０）式
により求めることができる。

【００５６】 Ｈ（ｘ，ｙ）＝Σ（ｊ＝１→ｍ）Σ（ｉ＝１→ｎ）｜Ｉｄ｜ …（１０） ここで、 ｜Ｉｄ｜＝｜ＩＲ（ｘ＋ｉ，ｙ＋ｊ）−ＩＬ（ｘ＋ｉ＋
ｄｘ，ｙ＋ｊ）｜ である。記号Σ（ｉ＝１→ｎ）は、｜Ｉｄ｜についての
ｉ＝１からｉ＝ｎまでの総和を表し、記号Σ（ｊ＝１→
ｍ）は、Σ（ｉ＝１→ｎ）｜Ｉｄ｜の結果についてのｊ
＝１からｊ＝ｍまでの総和を表すものとする。

【００５７】この（１０）式から、一致度Ｈが小さいほ
ど、言い換えれば、輝度差の絶対値の総和が小さいほ
ど、左右のウィンドウ画像が良く一致していることが分
かる。

【００５８】この場合、分割しようとするウィンドウ、
すなわち小領域の大きさが大きすぎると、その領域内に
相対距離Ｚｄの異なる他の物体が同時に存在する可能性
が大きくなって、誤対応の発生する可能性が高くなる。
一方、小領域の大きさが小さすぎると、誤った位置で対
応してしまう誤対応、あるいは、ノイズを原因とする誤
対応が増加してしまうという問題がある。本発明者等
は、種々の実験結果から、最も誤対応が少なくなる小領
域の大きさは、横方向の画素数ｎがｎ＝７〜９程度、縦
方向の画素数ｍがｍ＝１２〜１５程度の大きさであるこ
とをつきとめた。

【００５９】図６と図７は、対応処理装置６において一
致度Ｈを求める対応計算を行う際の領域の動かし方の概
念を示している。

【００６０】図６に示すように、対応を取る元となる右
画像ＩＲ上の所定領域（小領域または原領域ともい
う。）３１は、Ｘ軸方向左端位置から右へ１画素ずつ６
４０画素分移動していき、対応を取られる左画像ＩＬの
所定領域（小領域または検索領域ともいう。）３２は、
右画像ＩＲの原領域３１の左端位置に対応する位置（以
下、原領域３１の水平方向の変移位置という。）から対
応計算を行い、ずらし量ｄｘを右方向にエピポーラーラ
インＥＰ上を０〜最大１２７画素分だけ１画素ずつ移動
させて対応計算を行うようにしている。最大１２７画素
のずれが有効な一致度Ｈの計算は、合計で（６４０−
ｎ）×１２８回行われる。

【００６１】なお、１２８画素分に限定する理由は、出
力結果を利用する側の要求から水平画角θがθ＝４０
°、最短の距離ＺｄがＺｄ＝５ｍ、使用できるステレオ
カメラ１（カメラ１Ｒとカメラ１Ｌ）の水平方向の画素
数ＮがＮ＝７６８、設置できる基線長ＤがＤ＝０．５ｍ
から、下記の（１１）式に当てはめると、ＮＬ＋ＮＲ＝
１０５画素となり、ハードウエアにおいて都合のよい２
の累乗でこれに近い値の２＝１２８を選んだからであ
る。

【００６２】 ＮＬ＋ＮＲ＝（Ｎ×Ｄ）／｛Ｚｄ×２×ｔａｎ（θ／２）｝ ＝（７６８×０．５）／（５×２×ｔａｎ２０°） …（１１） このことは、右画像ＩＲ中、Ｘ＝０（左端）の位置に撮
像された対象が、かならず、左画像ＩＬのずらし量ｄｘ
がｄｘ＝０〜１２７に対応する０番目の画素位置から１
２７番目の画素位置内に撮像されていることを意味す
る。したがって、Ｘ座標値（変移位置ともいう。）Ｘが
Ｘ＝０を基準とする原領域３１内の撮像対象は、左画像
ＩＬのＸ座標値ＸがＸ＝０を基準として、ずらし量ｄｘ
がｄｘ＝０〜１２７の範囲に撮像されていることを意味
する。同様にして右画像ＩＲのＸ座標値ＸがＸ＝６４０
−ｎを基準とする原領域３１内の撮像対象は、左画像Ｉ
ＬのＸ座標値ＸがＸ＝６４０−ｎを基準として、ずらし
量ｄｘがｄｘ＝０〜１２７の範囲に撮像されていること
になる。

【００６３】このとき、検索領域３２の最右端の画素が
Ｘ座標値ＸがＸ＝６４０＋ｎ＋１２７＝７６７（７６８
番目）の最右端の画素になるので、それ以上、右画像Ｉ
Ｒの原領域３１を右方向にずらすことは、一般に、無意
味である。右画像ＩＲ中、Ｘ座標値ＸがＸ＝６４０−ｎ
より右側の撮像対象は、左画像ＩＬに撮像されないから
である。しかし、遠方の画像については対応がとれるた
め、有意なこともあるので、本発明においては、対応す
べき画像のない部分の画素については８ビットの最大値
２５５があるものとして一応計算を行っている。メモリ
や計算時間を節約するためにはＸ座標値ＸをＸ＝６４０
−ｎまでで打ち切ることが有効である。

【００６４】そこで、図７のフローチャートに示すよう
に、まず、右画像ＩＲ中のＸ座標値ＸがＸ＝０を変移位
置とする原領域３１を取り出し（ステップＳ１１）、左
画像ＩＬの検索領域３２のずらし量ｄｘをｄｘ＝０に設
定する（ステップＳ１２）。

【００６５】次に、ずらし量ｄｘがｄｘ＝１２７を超え
る値であるかどうか、すなわちｄｘ＝１２８であるかど
うかを判定する（ステップＳ１３）。

【００６６】この判定が否定的であるときには、対応度
Ｈの計算をするために、左画像ＩＬの検索領域（小領
域）３２分の画素データを取り出す（ステップＳ１
４）。

【００６７】次いで、小領域３１と小領域３２の各画素
の差の絶対値の総和、すなわち、（１０）式に示す一致
度Ｈを求め記憶する（ステップＳ１５）。

【００６８】次に、ずらし量ｄｘをｄｘ→ｄｘ＋１（こ
の場合、ｄｘ＝１）として１画素分増加する（ステップ
Ｓ１６）。

【００６９】このとき、ステップＳ１３の判定は成立し
ないので、次に、ずらし量ｄｘがｄｘ＝１を基準に検索
領域３２を取り出し（再び、ステップＳ１４）、このず
らし量ｄｘがｄｘ＝１を基準の検索領域３２とＸ座標値
（変移位置ともいう。）ＸがＸ＝０の原領域３１とで一
致度Ｈを計算して記憶する（再び、ステップＳ１５）。

【００７０】同様にして、ずらし量ｄｘがｄｘ＝１２８
になるまで（ステップＳ１３の判定が成立するまで）Ｘ
座標値ＸがＸ＝０の原領域３１についての一致度Ｈを計
算する。

【００７１】ステップＳ１３の判定が肯定的であると
き、すなわち、Ｘ座標値ＸがＸ＝０の原領域３１につい
て計算した一致度Ｈのうち、負のピーク値である最小値
Ｈｍｉｎとその近傍の値を求め、記憶しておく（ステッ
プＳ１７）。

【００７２】次に、繁雑になるので、図７のフローチャ
ート中には記載しないが、右画像ＩＲ中の変移位置Ｘが
Ｘ＝１〜７６７（または６４０−ｎ）まで、上述のステ
ップＳ１１〜Ｓ１７を繰り返し、各変移位置Ｘにおける
右画像ＩＲの原領域３１に最も対応する左画像ＩＬの検
索領域３２を検出する。

【００７３】図８は、図６の動作説明図、図７のフロー
チャートに基づいて、一致度Ｈの計算等を行う対応処理
装置６の詳細な構成を示すブロック図である。

【００７４】図９中、スキャン座標生成部６１におい
て、対応処理を行おうとする右画像ＩＲに対する原領域
３１と左画像ＩＬに対する検索領域３２の座標（上述の
図６に示す変移位置Ｘとずらし量ｄｘおよびエピポーラ
ーラインＥＰのＹ座標値）が生成される。

【００７５】このスキャン座標生成部６１で生成された
座標（Ｘ，Ｙ）に基づいて、画像メモリ４Ｒ、４Ｌから
読み出す小領域のアドレスデータが画像メモリアドレス
生成部６４により生成されるが、この実施の形態におい
ては、スキャン座標生成部６１で生成された座標（Ｘ，
Ｙ）に基づいて、レンズ１１Ｒ、１１Ｌを含む光学部の
歪みを原因とする撮像の歪みを補正する補正座標テーブ
ル（歪み補正手段、アドレス補正テーブルの一部として
機能する。）６２からアドレス補正座標（Δｘ，Δｙ）
が読み出され、画像メモリアドレス生成部６４に供給さ
れる。

【００７６】したがって、画像メモリアドレス生成部６
４には、加算器６９で加算された補正後の座標（Ｘ＋Δ
ｘ，Ｙ＋Δｙ）が供給される。この補正後の座標（Ｘ＋
Δｘ，Ｙ＋Δｙ）に基づいて、画像メモリ４Ｒ、４Ｌに
対する読み出しアドレスデータが画像メモリアドレス生
成部６４で生成され、それぞれ、画像メモリ４Ｒ、４Ｌ
に供給される。

【００７７】画像メモリ４Ｒ、４Ｌから読み出された画
像データに基づく一致度Ｈの計算、いわゆる相関演算が
相関演算部６５で行われ、相関演算結果が相関メモリ６
７に記憶される。また、ずらし量ｄｘに対応して相関演
算結果のピーク値、すなわち一致度Ｈの最小値Ｈｍｉｎ
等がピーク値検出部６６により検出され、検出されたピ
ーク値がピーク値メモリ６８に記憶される。

【００７８】上記補正座標テーブル６２に格納されるア
ドレス補正座標（Δｘ，Δｙ）は、右側の光学系に係る
ビデオカメラ１Ｒ用と左側の光学系に係るビデオカメラ
１Ｌ用とで、それぞれの光学系に対応した別々の内容の
補正座標とすることもできる。

【００７９】アドレス補正座標（Δｘ，Δｙ）は、光軸
に垂直な平面状の物体が、光軸に垂直な撮像面、ここで
は、ＣＣＤエリアセンサ１３Ｒ、１３Ｌの撮像面に相似
に結像されない収差、すなわち光学系の歪みを補正のた
めのデータである。

【００８０】例えば、光軸に垂直な平面状の物体として
の被写体を、図９例に示すような長方形（正方形でもよ
い。）が格子状に配列された長方形格子７３とした場合
に、ビデオカメラ１で撮像された画像が図１０に示す、
たる形に中央が膨らんだ画像７４になるものとする。

【００８１】そこで、図１１に示すように２つの画像を
合わせて考慮すれば、スキャン座標生成部６１で生成さ
れた座標（Ｘ，Ｙ）に対応して、補正座標テーブル６２
から読み出されたアドレス補正座標（Δｘ，Δｙ）を加
算した補正後の座標（Ｘ＋Δｘ，Ｙ＋Δｙ）に基づく読
み出しアドレスデータで画像メモリ４Ｒ、４Ｌから読み
出すようにすれば、画像を正確な位置座標で読み出すこ
とができるということが理解される。

【００８２】アドレス補正座標（Δｘ，Δｙ）は電球を
空間的に位置がわかっている点に置き、それが画像上の
何処に写っているかを探し、歪みがない場合の位置との
ずれをアドレス補正座標（Δｘ，Δｙ）としてテーブル
に書き込む。この場合、すべての点について行うと処理
時間がかかるため粗な点について補正データを求め、間
の点については多項式により近似した値を利用する。

【００８３】この実施の形態において、補正量であるア
ドレス補正座標（Δｘ，Δｙ）は、符号付の４ビットを
使用し、Ｘ座標、Ｙ座標共に、値が−８〜７までの画素
数の補正が可能となっており、レンズ１１Ｒ、１１Ｌ等
の歪みの程度としては、垂直方向で約６％（７．５÷１
２０×１００）程度まで許容している。

【００８４】この場合、アドレス補正座標（Δｘ，Δ
ｙ）は、計算により求めているのではなく、実測値から
求めているので、レンズの規則的な歪みの補正にとどま
らず、フロントガラス等に存在する歪みのような不規則
な歪みをも合わせて補正することができるという利点が
得られる。

【００８５】このように補正座標テーブル６２を設ける
ことの理由および利点を課題と比較してまとめて再度説
明すると、左右の画像を対応させる場合において、図９
および図１０を参照して説明したように、レンズ１１
Ｒ、１１Ｌには収差があるため、中心（レンズ１１Ｒ、
１１Ｌの中心であると同時に画像ＩＲ、ＩＬの中心）を
通る縦および横のそれぞれの直線は直線として撮像され
るが、中心を通らない直線は、たる形歪み的あるいは糸
巻き歪み的な曲線として撮像される。このため、対応す
る領域３１、３２が左右のビデオカメラ１Ｒ、１Ｌでは
上下方向に移動してしまい、エピポーラーラインＥＰを
基準とした同じ高さで探したのでは対応が採れないこと
になる。

【００８６】そこで、中心から離れた領域について対応
を採る場合には、この歪みを補正してから対応を採る必
要がある。

【００８７】この実施の形態において、スキャン座標生
成部６１で歪みがないと仮定した場合の理想的な状態で
の対応をとるべき領域３１、３２の座標（Ｘ，Ｙ）が生
成される。そして、この個々の座標値（Ｘ，Ｙ）に対し
て予めルックアップテーブルとしての補正座標テーブル
６２に記憶されている補正値である補正座標（Δｘ，Δ
ｙ）を読み出し、これらを加算器６９により合成して画
像メモリアドレス生成部６４に供給することで、正確
な、いわゆる真の座標に対応するメモリアドレスが画像
メモリアドレス生成部６４で生成される。

【００８８】この補正後のメモリアドレスにより画像メ
モリ４Ｒ、４Ｌから画像データを読み出して相関演算部
６５に供給することにより、レンズ１１Ｒ、１１Ｌに歪
みが多少存在しても相関演算部６５で対応が採れること
になる。

【００８９】次に、図１２は、図６、図７を参照して説
明した一致度Ｈを求めるための相関演算部６５の詳細な
構成を示している。

【００９０】この相関演算部６５は、基本的には、第１
〜第４の演算ブロック８１、８２、８３、８４を有す
る、いわゆるパイプライン方式的処理である並列処理方
式を採用している。

【００９１】理解の容易化のために、まず、パイプライ
ン方式的処理を考慮しないで、具体的には、ＦＩＦＯメ
モリ６５ｉが存在しないものとして、第１演算ブロック
８１のみで、図６、図７を参照して説明した一致度Ｈを
求めるための動作について説明する。そして、上述のよ
うに、誤対応が最も少なくなるそれぞれの小領域（原領
域３１と検索領域３２）の大きさとしては、横方向の画
素数ｎがｎ＝７〜９画素程度、縦方向の画素数ｍがｍ＝
１２〜１５画素程度であるが、ここでは、理解を容易に
するために、ｎ＝４、ｍ＝５として説明する。

【００９２】図１３は、このような前提のもとでの、エ
ピポーラーラインＥＰ上に乗る仮想的な右画像データＩ
ｒｄの例を示している。原領域３１の対象となる全画素
データ数は、ｍ×６４０＝５×６４０箇であるものとす
る。

【００９３】図１４は、同様に、エピポーラーラインＥ
Ｐ上に乗る仮想的な左画像データＩｌｄの例を示してい
る。検索領域３２の対象となる全画素データ数は、ｍ×
７６８＝５×７６８箇であるものとする。

【００９４】図１２において、画像メモリ４Ｒから端子
８５を通じて原領域３１の右画像データＩｒｄが減算器
６５ａの被減算入力端子に供給され、画像メモリ４Ｌか
ら端子８６を通じて検索領域３２の左画像データＩｌｄ
が減算器６５ａの減算入力端子に供給される。

【００９５】まず、一般的に説明すると、減算器６５ａ
では、縦方向の左右の画素データの差を取り、その差の
絶対値が絶対値演算器６５ｂで取られる。加算器６５ｃ
は、縦方向の左右の画素データの差の絶対値の和を取る
とともに、ラッチ６５ｄにラッチされている前列の縦方
向の左右の画素データの差の絶対値の和を加算する。

【００９６】ＦＩＦＯメモリ６５ｅには、横方向の画素
数ｎに対応するｎ段分、この実施の形態では、当該列の
分を除いて左側（前側）に４（＝ｎ）列分の縦方向の左
右の画素データの差の絶対値の和が保持される。すなわ
ち、この実施の形態において、ＦＩＦＯメモリ６５ｅ
は、最初（入力側）のメモリ６５ｅ１〜最後（出力側）
のメモリ６５ｅ４までの４段ある。

【００９７】具体的に説明すると、１回目の演算（１列
１行目）で加算器６５ｃの出力側には、１列１行目の左
右の画素データの差の絶対値｜Ａ１−ａ１｜が現れ、か
つ、この値｜Ａ１−ａ１｜がラッチ６５ｄに保持され
る。

【００９８】２回目の演算（１列２行目）で１列２行目
の左右の画素データの差の絶対値｜Ａ２−ａ２｜とラッ
チ６５ｄに保持されているデータ｜Ａ１−ａ１｜との
和、すなわち、｜Ａ２−ａ２｜＋｜Ａ１−ａ１｜が加算
器６５ｃの出力側に現れる。したがって、５回目の演算
後には、次の（１３）式に示す１列目の左右の画素デー
タの差の絶対値の和（データ）Σ（以下、２列目以降
を順次、Σ、Σ、Σ、…Σ６４１とする。）が加
算器６５ｃの出力側に現れ、この和Σは、ラッチ６５
ｄに保持される。また、このデータΣは、ＦＩＦＯメ
モリ６５ｅの最初のメモリ６５ｅ１に格納される。

【００９９】 Σ＝｜Ａ１−ａ１｜＋｜Ａ２−ａ２｜＋｜Ａ３−ａ３｜ ＋｜Ａ４−ａ４｜＋｜Ａ５−ａ５｜ …（１３） この１列目の左右の画素データの差の絶対値の和Σ
が、最初のメモリ６５ｅ１に格納された後、ラッチ６５
ｄは、端子８９から供給される制御信号によりリセット
される。

【０１００】このようにして、ずらし量ｄｘの値がｄｘ
＝０での小領域３１、３２間での全ての１回目の計算が
終了する４列（４＝ｎ）５行（５＝ｍ）目の演算終了後
のラッチ６５ｄに格納されるデータ値とＦＩＦＯメモリ
６５ｅに格納されるデータ値とラッチ６５ｈに格納され
るデータ値等を図１５に模式的に示す。

【０１０１】図１５において、ずらし量ｄｘの値がｄｘ
＝０の場合における次の（１４）式に示す最初に求めら
れる一致度Ｈ０が加算器６５ｇの出力側に現れている点
に留意する。

【０１０２】 Ｈ０＝Σ＋Σ＋Σ＋Σ …（１４） 次に、５列５行目の演算終了後の図１５に対応する図を
図１６に示す。図１６から分かるように、ずらし量ｄｘ
の値がｄｘ＝０の場合の検索領域３２に対する一致度Ｈ
０が出力端子９０に現れる。

【０１０３】この場合、加算器６５ｆの出力側には、５
列目のデータΣと１列目のデータΣとの差Σ−Σ
が現れるので、加算器６５ｇの出力側には、ずらし量
ｄｘの値がｄｘ＝１の場合の検索領域３２に対する次の
（１５）式に示す一致度Ｈ１が現れることになる。

【０１０４】 Ｈ１＝Σ＋Σ＋Σ＋Σ …（１５） ここで、実際の１５×１５の小領域を水平方向にＸ＝０
〜６３９まで移動し、ずらし量ｄｘをｄｘ＝１２８まで
の各一致度Ｈを求める際に、この実施の形態では、原領
域３１の左画像ＩＬ上で１画素分右にずらした位置での
対応度Ｈを求めるとき、左端の縦方向の和（上例ではΣ
）を減じて右に加わる新たな列の縦方向の和（上例で
はΣ）を加えるようにしているので、演算回数を１５
×６４０×１２８＝１，２２８，８００回にすることが
できる。すなわち、小領域の横方向の幅（画素数）は計
算時間に無関係になる。

【０１０５】もし、上例のように演算しなくて、１５×
１５の小領域を移動させこの小領域毎に各領域を構成す
る画素データの差を取って、一致度Ｈを、水平方向Ｘを
ＸがＸ＝０〜６３９まで、ずらし量ｄｘを１２８まで計
算することにすると、演算回数は１５×１５×６４０×
１２８＝１８，４３２，０００回となり、最も演算時間
のかかる絶対値演算器６５ｂの１回の演算時間を１００
ｎｓで実行した場合でも、総演算時間が１８４３ｍｓか
かることになる。これに対して上例では、総演算時間が
１２３ｍｓであり、約１／１５に低減することができ
る。

【０１０６】しかし、この総演算時間１２３ｍｓは、Ｎ
ＴＳＣ方式のフレームレートである３３ｍｓより大きい
ので、フレームレート毎に、言い換えれば、１画面毎に
一致度Ｈを計算する場合には、総演算時間１２３ｍｓを
約１／４以下の時間にする必要がある。

【０１０７】そこで、この実施の形態では、図１２に示
したように、第１演算ブロック８１と同一構成の第２〜
第４演算ブロック８２、８３、８４を設け、縦方向の画
素数ｍと同数のＦＩＦＯメモリ６５ｉを直列に接続して
いる。この場合、簡単のために、図１３、図１４と同じ
画像データを利用してパイプライン方式的処理動作を説
明すれば、最初に、第１と第２の演算ブロック８１、８
２を構成するＦＩＦＯメモリ６５ｅを通じて、第３演算
ブロック８３を構成するＦＩＦＯメモリ６５ｉに１列目
の画素データａ１〜ａ５までを転送する。したがって、
この転送時点で、第２演算ブロック８２を構成するＦＩ
ＦＯメモリ６５ｉには２列目の画素データｂ１〜ｂ５が
転送され、第１演算ブロック８１を構成するＦＩＦＯメ
モリ６５ｉには３列目の画素データｃ１〜ｃ５が転送さ
れる。

【０１０８】次に、次の４列目の画素データｄ１〜ｄ５
を第１演算ブロック８１のＦＩＦＯメモリ６５ｉに順次
転送したとき、第４演算ブロック８４では右１列目の画
素データＡ１〜Ａ５と左１列目の画素データａ１〜ａ５
に関連する上述の演算が行われ、第３演算ブロック８３
では右１列目の画素データＡ１〜Ａ５と左２列目の画素
データｂ１〜ｂ５に関連する上述の演算が行われ、第２
演算ブロック８２では右１列目の画素データＡ１〜Ａ５
と左３列目の画素データｃ１〜ｃ５に関連する上述の演
算が行われ、第１演算ブロック８１では右１列目の画素
データＡ１〜Ａ５と左４列目の画素データｄ１〜ｄ５に
関連する上述の演算が行われる。

【０１０９】次いで、右２列目の画素データＢ１〜Ｂ５
の転送に同期して次の左５列目の画素データｅ１〜ｅ５
を第１演算ブロック８１のＦＩＦＯメモリ６５ｉに順次
転送したとき、第４演算ブロック８４では右２列目の画
素データＢ１〜Ｂ５と左２列目の画素データｂ１〜ｂ５
に関連する演算が行われ、第３演算ブロック８３では右
２列目の画素データＢ１〜Ｂ５と左３列目の画素データ
ｃ１〜ｃ５に関連する演算が行われ、第２演算ブロック
８２では右２列目の画素データＢ１〜Ｂ５と左４列目の
画素データｄ１〜ｄ５に関連する演算が行われ、第１演
算ブロック８１では右２列目の画素データＢ１〜Ｂ５と
左５列目の画素データｅ１〜ｅ５に関連する上述の演算
が行われる。

【０１１０】このようにして、次に、右３列目の画素デ
ータＣ１〜Ｃ５の転送に同期して次の左６列目の画素デ
ータｆ１〜ｆ５を順次同期して転送するようにすれば、
第４演算ブロック８４では、ずらし量ｄｘがｄｘ＝０、
ｄｘ＝４、……についての一致度Ｈを計算でき、同様
に、第３演算ブロック８３では、ずらし量ｄｘがｄｘ＝
１、ｄｘ＝５、……についての一致度Ｈを計算でき、第
２演算ブロック８２では、ずらし量ｄｘがｄｘ＝２、ｄ
ｘ＝６、……についての一致度Ｈを計算でき、第１演算
ブロック８１では、ずらし量ｄｘがｄｘ＝３、ｄｘ＝
７、……についての一致度Ｈを同時に計算することでき
る。

【０１１１】このように、パイプライン方式的処理の４
並列にすれば、演算時間を約１／４に低減することがで
きる。なお、上述の説明から理解できるように、第４演
算ブロック８４中のＦＩＦＯメモリ６５ｉは不要であ
る。

【０１１２】この場合、図１２例の４並列による動作に
よれば、１フレームレートで１フレームの画像について
の６４０点の距離情報が求まり、左画像ＩＬの横７６８
画素×縦１５画素の帯領域の処理が完了するが、これは
１画像領域が７６８×２４０画素であることを考える
と、全画像領域の１／１６になる。

【０１１３】なお、左右のカメラ１Ｒ、１Ｌの上下方向
の取付位置がずれた場合等を想定した場合には、当初の
エピポーラーラインＥＰ上に対応する対象物画像が存在
しなくなる場合も考えられる。この場合、図示はしない
が、例えば、図９の対応処理装置６の構成を４並列に
し、画像の縦方向の処理を４並列にすることにより、横
７６８画素、縦１５画素の帯領域４つをフレームレート
内で処理することが可能となる。この場合に、領域が重
ならないようにすることで、最大１２７画素のずれまで
検出できる距離情報を１フレームレート内で（６４０−
ｎ）×４点出力できる。

【０１１４】図１２例の相関演算部６５の処理により、
１本のエピポーラーラインＥＰ上における右画像ＩＲ中
の６４０個の原領域３１のそれぞれに対して、ずらし量
ｄｘがｄｘ＝０〜１２７の検索領域３２についての１２
８個の一致度Ｈが演算され、この演算結果の一致度Ｈ
が、相関メモリ６７に格納される。

【０１１５】また、１個の原領域３１、すなわち、各変
移位置Ｘに対する１２８個の検索領域３２のうち、一致
度Ｈが最小値となる値（ピーク値ともいう。）をピーク
値検出部６６で検出し、検出したピーク値（最小値）Ｈ
ｍｉｎを、そのときの変移位置Ｘとずらし量ｄｘに対応
させてピーク値メモリ６８に記憶する。ピーク値メモリ
６８は、一致度Ｈのピーク値（最小値）記憶テーブルと
して機能する。

【０１１６】変移位置Ｘとずらし量ｄｘをアドレスとし
て一致度Ｈが記憶されている相関メモリ６７と、その最
小値としてのピーク値Ｈｍｉｎが記憶されているピーク
値メモリ６８が位置演算装置７に接続されている。

【０１１７】位置演算装置７は、一致度Ｈとそのピーク
値Ｈｍｉｎとを参照し、図１７に示すフローチャートに
基づいて、対象物体Ｓの３次元空間での位置Ｐを求め
る。

【０１１８】変移位置Ｘが所定の変移位置であるＸ＝Ｘ
ｐの原領域３１についての位置Ｐの算出方法について説
明する。

【０１１９】まず、所定の変移位置Ｘｐの原領域３１に
ついての一致度Ｈのピーク値Ｈｍｉｎと、そのときのず
らし量ｄｘ（このずらし量ｄｘをずらし量ｄｘｍｉｎと
呼ぶ）をピーク値メモリ６８から取り込む（ステップＳ
２１）。

【０１２０】次に、このずらし量ｄｘｍｉｎの近傍の左
右各２個の一致度Ｈ、すなわち、ずらし量ｄｘがずらし
量ｄｘｍｉｎより３つ少ないずれ量ｄｘｍｉｎ-2および
３つ多いずれ量ｄｘｍｉｎ+2の各位置における一致度Ｈ
ｍｉｎ-2、Ｈｍｉｎ+2を取り込む（ステップＳ２２）。

【０１２１】次に、次の（１６）式に基づいて谷の深さ
（ピーク深さともいう。）Ｑを求める（ステップＳ２
３）。

【０１２２】 Ｑ＝ｍｉｎ｛Ｈｍｉｎ-2／Ｈｍｉｎ，Ｈｍｉｎ+2／Ｈｍｉｎ｝ …（１６） この（１６）式は、ピーク値Ｈｍｉｎに対する、これか
ら２つ隣の一致度Ｈｍｉｎ-2、Ｈｍｉｎ+2の大きさの各
比のうち、最小値を取ることを意味する。

【０１２３】そして、この谷の深さＱが所定の閾値ＴＨ
以上の値であるかどうか（Ｑ≧ＴＨ）を判定し（ステッ
プＳ２４）、所定の閾値ＴＨ以上の値である場合には、
ピーク値Ｈｍｉｎであり、ずらし量ｄｘｍｉｎの検索領
域３２が所定の変移位置Ｘｐの原領域３１に対応する領
域であると同定して次のステップＳ２５に進む。

【０１２４】一方、ステップＳ２４の結果が否定的であ
る場合には、ピーク値Ｈｍｉｎであり、ずらし量ｄｘｍ
ｉｎの検索領域３２が所定の変移位置Ｘｐの原領域３１
に対応する領域ではないと判断して、次の変移位置Ｘｐ
＋１の原領域３１に対する対応する検索領域３２を求め
る処理が全て終了したかどうかを判定し（ステップＳ２
８）、全ての変移位置Ｘに対応する処理が終了していな
い場合には、そのステップＳ２１〜Ｓ２４の処理を繰り
返す。

【０１２５】この実施の形態において、一致度Ｈのピー
ク値Ｈｍｉｎを変移位置Ｘｐの原領域３１に対応する検
索領域３２であると直ちに同定しないで、その近傍を見
て（ステップＳ２２）、その谷の深さＱを計算し（ステ
ップＳ２３）、その谷の深さＱが所定の閾値ＴＨ以上の
場合にのみ、一致度Ｈのピーク値Ｈｍｉｎが得られるず
らし量ｄｘｍｉｎの検索領域３２が、変移位置Ｘｐの原
領域３１に対応する検索領域３２であると同定する理由
は、雑音の混入または画像ＩＲ、ＩＬの被写体の画像濃
度が一様である場合等に、一致度Ｈのピーク値Ｈｍｉｎ
が得られ、ずらし量ｄｘｍｉｎの検索領域３２が、変移
位置Ｘｐの原領域３１に必ずしも対応するとは限らない
からである。

【０１２６】すなわち、ずらし量ｄｘｍｉｎの位置の近
傍領域を考慮して、谷の深さＱが、所定の閾値ＴＨより
小さいものは、対応がよく取れていないと判断し、その
一致度Ｈのピーク値Ｈｍｉｎは利用しないこととした。
なお、所定の閾値ＴＨは、この実施の形態においては、
ＴＨ＝１．２とした。

【０１２７】ステップＳ２４の判断が肯定的であると
き、ずらし量ｄｘの真の値（真のピーク位置という）ｄ
ｓを次に示す補間処理により求める（ステップＳ２
５）。すなわち、図１８に示すように、最小位置座標を
（ｄｘｍｉｎ，Ｈｍｉｎ）とし、その前後の位置座標を
それぞれ（ｄｘｍｉｎ-1，Ｈｍｉｎ-1）、（ｄｘｍｉｎ
+1，Ｈｍｉｎ+1）とするとき、前後の一致度Ｈｍｉｎ-
1、Ｈｍｉｎ+1の大きさを比較して、それぞれ次の（１
７）式〜（１９）式で示す値に推定する。

【０１２８】Ｈｍｉｎ-1＜Ｈｍｉｎ+1の場合、 ｄｓ＝ｄｘｍｉｎ −｛（Ｈｍｉｎ-1−Ｈｍｉｎ+1）／（２・（Ｈｍｉｎ−Ｈｍｉｎ+1))｝ …（１７） Ｈｍｉｎ-1＝Ｈｍｉｎ+1の場合、 ｄｓ＝ｄｘｍｉｎ …（１８） Ｈｍｉｎ-1＞Ｈｍｉｎ+1の場合、 ｄｓ＝ｄｘｍｉｎ ＋｛（Ｈｍｉｎ+1−Ｈｍｉｎ-1）／（２・（Ｈｍｉｎ−Ｈｍｉｎ-1))｝ …（１９） この（１７）式〜（１９）式の補間式を用いて真のピー
ク位置ｄｓを求めた場合には、補間しない場合に比較し
て、位置精度が３倍向上することを実験的に確認するこ
とができた。

【０１２９】結局、ステップＳ２５の補間処理終了後
に、変移位置Ｘｐの原領域３１に最も対応する検索領域
３２の真のピーク位置ｄｓが求まることになる。

【０１３０】このようにして求められた変移位置Ｘｐと
真のピーク位置ｄｓは、それぞれ、図５に示す右画像Ｉ
Ｒ上の対象物体画像ＳＲの視差ｄＲと左画像ＩＬ上の対
象物体画像ＳＬの視差ｄＬに対応する。

【０１３１】しかし、実際上、上述したように、フロン
トガラスやカメラ１Ｒ、１Ｌの対物レンズ１１Ｒ、１１
Ｌの光学特性によって、左右の画像ＩＲ、ＩＬには、例
えば、ピンクッション的歪み、あるいはバレル的歪みが
存在するので、これらによる歪み補正を行った視差ｄＲ
と視差ｄＬとを求める（ステップＳ２６）。

【０１３２】そこで、これら歪み補正を行った視差ｄＲ
と視差ｄＬを測定値として、上述の（４）式〜（６）式
から対象物体Ｓまでの奥行き方向の距離Ｚｄと、その距
離Ｚｄからの左右の偏差にかかるずれ距離ＤＲとずれ距
離ＤＬとの３次元位置情報を求めることができる（ステ
ップＳ２７）。

【０１３３】ステップＳ２８では、エピポーラーライン
ＥＰ上の全ての変移位置Ｘでの原領域３１に対応する検
索領域３２中の真のピーク位置ｄｓを求める演算が終了
したかどうか、すなわち、変移位置ＸがＸ＝７６７であ
るかどうかを確認して処理を終了する。

【０１３４】位置演算装置７で作成された、これら３次
元位置情報である距離Ｚｄとずれ距離ＤＲとずれ距離Ｄ
Ｌとはクラスタリングされ、対象物体Ｓについての識別
符号としての、いわゆるアイディ（ＩＤ：Identificati
on）が付けられて、出力端子９０を通じて、次の処理過
程である、図示しない道路・障害物認識装置等に接続さ
れる。

【０１３５】道路・障害物認識装置等は、自動運転シス
テムを構成し、運転者に対する警告、車体の自動衝突回
避、前走車への自動追従走行などの動作を行うことがで
きる装置である。この場合、例えば、自動追従走行を行
うシステムとして、本出願人の出願による「物体検出装
置およびその方法」（特願平７−２４９７４７号）を挙
げることができる。

【０１３６】なお、この発明は上述の実施の形態に限ら
ず、この発明の要旨を逸脱することなく種々の構成を採
り得ることはもちろんである。

【０１３７】

【発明の効果】以上説明したように、この発明によれ
ば、対応処理手段が、複数の撮像手段から得られる画像
信号中の撮像物体画像の対応を採る際に、歪み補正手段
により光学部の歪みを原因とする撮像の歪みを補正した
後に対応を採るようにしているので、レンズの歪み等、
光学系の歪みに基づく画像の歪みを原因とする同一物体
の対応の採れない状態を回避することができるという効
果が達成される。

【図面の簡単な説明】

【図１】この発明の一実施の形態の構成を示すブロック
図である。

【図２】ステレオカメラの据えつけ位置の説明に供され
る概略斜視図である。

【図３】三角測量の原理で距離を求める際の説明に供さ
れる平面視的図である。

【図４】対象物体にかかる左右画像上での視差の説明に
供される線図であって、Ａは、左側画像、Ｂは、右側画
像をそれぞれ表す図である。

【図５】図１例の装置の全体的な動作説明に供されるフ
ローチャートである。

【図６】左右の小領域の対応処理の仕方の説明に供され
る図である。

【図７】図６例の説明に供されるフローチャートであ
る。

【図８】対応処理装置の詳細な構成を含む装置の構成を
示すブロック図である。

【図９】被写体としての長方形格子を示す図である。

【図１０】レンズの収差による歪みを含んで撮像された
画像を示す図である。

【図１１】図９の図形と図１０の図形とを重ね合わせた
補正座標の説明に供される図である。

【図１２】相関演算部の詳細な構成を示す回路ブロック
図である。

【図１３】エピポーラーライン上の左画像データの一部
を模式的に表す線図である。

【図１４】エピポーラーライン上の右画像データの一部
を模式的に表す線図である。

【図１５】図１２例中、第１演算ブロックの動作説明に
供されるブロック図である。

【図１６】図１２例中、第１演算ブロックの動作説明に
供される他のブロック図である。

【図１７】位置演算装置の動作説明に供されるフローチ
ャートである。

【図１８】補間演算の説明に供される線図である。

【符号の説明】

１…ステレオカメラ １Ｒ、１Ｌ…ビデ
オカメラ ２Ｒ、２Ｌ…ＣＣＵ ４Ｒ、４Ｌ…画像
メモリ ５Ｒ、５Ｌ…駆動回路 ６…対応処理装置 ７…位置演算装置 ８…露光量調整装
置 １１Ｒ、１１Ｌ…対物レンズ １３Ｒ、１３Ｌ…
ＣＣＤイメージセンサ １５Ｒ、１５Ｌ…光軸 ６２…補正座標テ
ーブル ７３…長方形格子 ７４…たる形に中
央が膨らんだ画像

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 Ｃ

Claims (3)

【特許請求の範囲】
1. 【請求項１】画像情報を有する光をとらえる複数の光学
   部と、 各光学部を通じて得た光をそれぞれ電気信号に変換する
   複数の撮像手段と、 前記複数の撮像手段からそれぞれ得られる画像信号中の
   撮像物体画像の対応を採る対応処理手段と、 対応の採れた物体までの距離を三角測量の原理に基づき
   演算する位置演算手段とを備え、 前記対応処理手段は、前記対応を採る際に、前記光学部
   の歪みを原因とする撮像の歪みを補正する歪み補正手段
   を有することを特徴とする車両用環境認識装置。
2. 【請求項２】前記複数の撮像手段からそれぞれ得られる
   画像信号は、画素単位で画像メモリに格納され、 前記対応処理手段は、この画像メモリに格納された画像
   データを読み出して撮像物体画像の対応を採るものであ
   り、 前記歪み補正手段は、被写体としての長方形格子を前記
   光学部および前記撮像手段により撮像したときに得られ
   る画像の歪みデータに基づき作成した、前記画像メモリ
   からの画素読み出しアドレスを補正するアドレス補正テ
   ーブルを有することを特徴とする請求項１記載の車両用
   環境認識装置。
3. 【請求項３】前記アドレス補正テーブルには、補正前の
   アドレスに対応してアドレス補正データが符号付のビッ
   トデータとして格納されていることを特徴とする請求項
   ２記載の車両用環境認識装置。