JP3765862B2 - 車両用環境認識装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、ステレオ視を利用した車両用環境認識装置に関し、一層詳細には、例えば、自動車等の車両に搭載され、当該自動車の位置を基準として、風景や先行車等を含む情景に係る周囲環境を認識する車両用環境認識装置に関する。
【０００２】
【従来の技術】
従来から、周囲環境を認識しようとする場合、ステレオ視を利用したステレオカメラにより得られる２枚の画像（ステレオ画像ともいう。）から三角測量の原理に基づき対象物（単に、物体ともいう。）までの距離を求め、対象物の位置を認識する、いわゆるステレオ法が採用されている。
【０００３】
このステレオ法においては、前記距離を求める際に、レンズを通じて撮像した２枚の画像上において同一物体の対応が採れることが前提条件となる。
【０００４】
撮像した２枚の画像上において同一物体の対応を採る技術として、画像中の領域に着目する方法がある。
【０００５】
この方法は、まず、一方の画像上に適当なサイズのウィンドウを設定し、他方の画像においてこのウィンドウに対応する領域を求めるために、他方の画像に前記ウィンドウと同一サイズの領域を設定する。
【０００６】
次に、両画像上の各ウィンドウ内の画像（単に、ウィンドウ画像ともいう。）を構成する対応する各画素（詳しく説明すると、マトリクス位置が対応する各画素）についての画素データ値を引き算して差を得、さらに差の絶対値を得る。
【０００７】
そして、各画素についての差の絶対値の前記ウィンドウ内の和、いわゆる総和を求める。
【０００８】
このようにウィンドウ内の各画素データ値の差の絶対値の総和を求める計算を他方の画像上のウィンドウの位置を変えて順次行い、前記総和が最小になる他方の画像のウィンドウを、前記一方の画像のウィンドウに対応する領域であると決定する方法である。
【０００９】
この発明においても、基本的には、この画像中の領域に着目する方法を採用している。
【００１０】
【発明が解決しようとする課題】
ところで、車両が走行中に路面の凹凸により車両にピッチング（縦揺れ：車両の前後が反対に上下する振動）が発生した場合、車両の周囲環境は静止しているのにもかかわらず、例えば、車両に搭載されている対応処理手段は、周囲環境が縦揺れしているように解釈し、捉えようとする物体が対応領域から外れてしまい、結局、距離を求めることができなくなってしまうという問題があった。
【００１１】
なお、この出願に関連する技術として、例えば、特開平５−１１０９０６号公報に開示された技術を挙げることができる。この公報には、車両にピッチングが発生したとき、ビデオカメラの視野の中心（視線）をピッチングした方向と反対の方向に角度を変えて、常に、車両の前方の同一位置を撮像するようにするピッチ補正技術が開示されている。しかしながら、この補正技術は、視線を変更するためにカメラ自体の角度を機械的に変更するようにした技術であり、この技術では、撮像角度変更のための構造が複雑になるという問題があった。
【００１２】
この発明はこのような課題を考慮してなされたものであり、車両にピッチングが発生した場合でも、簡単な構成で物体を確実に検出することを可能とする車両用環境認識装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】
この発明は、例えば、図１、図６、図８および図１６に示すように、
複数の撮像手段１Ｒ、１Ｌと、
前記複数の撮像手段からそれぞれ得られる画像ＩＬ、ＩＲの対応を複数の画像の小領域３１、３２間で採る対応処理手段６と、
対応の採れた物体までの距離を三角測量の原理に基づき演算する位置演算手段７と、
車両のピッチ方向の傾斜を検出する傾斜量検出手段９１、９２と、
車両のピッチレートを検出するピッチレート検出手段９３と、
入力側が前記傾斜量検出手段と前記ピッチレート検出手段とに接続されるピッチ角演算手段９７とを備え、
前記ピッチ角演算手段は、前記傾斜量の低域通過成分と前記ピッチレートから求めたピッチ量の高域通過成分θｐ′とを合成した値を車体のピッチ角θａｐとして演算して、前記対応処理手段に供給し、
前記対応処理手段は、演算されたピッチ角に応じた分、複数の画像の対応を採るための前記小領域を画像の垂直方向に移動するようにしたことを特徴とする。
【００１４】
この発明によれば、ピッチ角演算手段により車体のピッチ角を演算する際、傾斜量検出手段により検出されたピッチ方向の傾斜量の低域通過成分と、ピッチレート検出手段により検出されたピッチレートから求めたピッチ量の高域通過成分との合成値を車体のピッチ角として演算し、演算されたピッチ角に応じた分だけ対応処理手段で対応を採る小領域を画像の垂直方向に移動するようにしたので、複数の画像間で対応物体を確実に検出することができる。
【００１５】
また、この発明は、例えば、図１６に示すように、
前記ピッチ角演算手段の入力側にヨーレートを検出するヨーレート検出手段９４を備え、
前記ピッチ角演算手段は、前記傾斜量の低域通過成分と、前記ピッチレートから求めたピッチ量の高域通過成分と、予め求めてあるピッチ量換算係数を前記ヨーレートに掛けた換算成分とを合成した値を車体のピッチ角として演算し、前記対応処理手段に供給するようにしたことを特徴とする。
【００１６】
この発明によれば、車両のステアリングが切られて（操舵されて）車両にヨーイング（首振り：車両を上からみた場合、車体が回転運動すること）が発生し、これを原因としてロール（車両の左右が反対に上下する傾き）が発生し、見かけ上、ピッチレート（積分すると前後の傾斜量になる。）が変動した場合であっても、ヨーレートにピッチ量換算係数を掛けた換算ピッチ量を演算し、この換算成分を前記演算されたピッチ角に合成するようにしているので、例えば、車両に旋回が発生した場合であっても、対応物体を確実に検出することができる。また、前記対応処理手段は、前記小領域間の対応を採る際に、エピポーラライン上に前記各小領域をそれぞれ設定し、設定した一方の小領域に対して他方の小領域の位置を前記エピポーラライン上で移動させながら、前記一方の小領域を構成する各画素と、これらの各画素に対応する前記他方の小領域を構成する各画素との輝度差の絶対値の総和を求め、求めた前記総和に基づいて前記小領域間の対応を採ることが好ましい。
【００１７】
【発明の実施の形態】
以下、この発明の一実施の形態について、図面を参照して説明する。
【００１８】
図１はこの発明の一実施の形態の構成を示すブロック図である。
【００１９】
図１において、ステレオカメラ１が、右側のビデオカメラ（以下、単にカメラまたは右カメラともいう。）１Ｒと、左側のビデオカメラ（同様に、カメラまたは左カメラともいう。）１Ｌとにより構成されている。左右のカメラ１Ｒ、１Ｌは、図２に示すように、自動車（車両ともいう。）Ｍのダッシュボード上に予め定めた所定の間隔、いわゆる基線長Ｄを隔てて設置してある。また、カメラ１Ｒ、１Ｌはダッシュボード上に水平面に対して平行に、かつ水平面上に配された車両Ｍの正面方向にある無限遠点が画像の中心となるように設置してある。さらに、カメラ１Ｒ、１Ｌはダッシュボード上に設置してあるために、カメラ１Ｒ、１Ｌを一体として連結することができ、上述の基線長Ｄを維持できる。
【００２０】
また、カメラ１Ｒ、１Ｌは、車両Ｍのワイパーのワイパー拭き取り範囲内に配置し、かつワイパーが左右にあって同方向に回動する場合には、左右のワイパーブレードの始点から同一位置になるように配置することで、ワイパーブレードによる遮光位置の変化が左右のカメラ１Ｒ、１Ｌで同一となり、認識対象物体（物体、対象物、対象物体、または、単に、対象ともいう。）の撮像に対してワイパーブレードの撮像の影響を少なくすることができる。左右のカメラ１Ｒ、１Ｌの光軸１５Ｒ、１５Ｌ（図１参照）は、同一水平面上において平行になるように設定されている。
【００２１】
図１から分かるように、右と左のカメラ１Ｒ、１Ｌには、光軸１５Ｒ、１５Ｌに略直交する方向に、画像情報を有する光Ｉｃｒをとらえる同一の焦点距離Ｆを有する対物レンズ１１Ｒ、１１Ｌと、減光フィルタとしてのＮＤフィルタ組立体１２Ｒ、１２Ｌと、対物レンズ１１Ｒ、１１Ｌによって結像された像を撮像するエリアセンサ型のＣＣＤイメージセンサ（ＣＣＤエリアセンサ、撮像素子部）１３Ｒ、１３Ｌとが配設されている。この場合、それぞれの光学系（光学部ともいう。）とも、例えば、右側の光学系で説明すれば、対物レンズ１１Ｒ、ＮＤフィルタ組立体１２Ｒを構成する１つのＮＤフィルタ（または素通しの状態）およびＣＣＤイメージセンサ１３Ｒは、いわゆる共軸光学系を構成する。
【００２２】
カメラ１Ｒ、１Ｌには、ＣＣＤイメージセンサ１３Ｒ、１３Ｌの読み出しタイミング、電子シャッタ時間等の各種タイミングを制御したり、ＣＣＤイメージセンサ１３Ｒ、１３Ｌを構成する撮像素子群を走査して得られる光電変換信号である撮像信号を、いわゆる映像信号に変換するための信号処理回路１４Ｒ、１４Ｌが配設されている。
【００２３】
左右のカメラ１Ｒ、１Ｌの出力信号、言い換えれば、信号処理回路１４Ｒ、１４Ｌの出力信号である映像信号は、増幅利得等を調整するＣＣＵ２Ｒ、２Ｌを通じて、例えば、８ビット分解能のＡＤ変換器３Ｒ、３Ｌに供給される。
【００２４】
ＡＤ変換器３Ｒ、３Ｌによりアナログ信号である映像信号がデジタル信号に変換され、水平方向の画素数７６８列、垂直方向の画素数２４０行の画素の信号の集合としての画像信号（以下、必要に応じて、画素データの集合としての画像データともいい、実際上は濃度を基準とする画像信号ではなく輝度を基準とする映像信号データであるので、映像信号データともいう。）としてフレームバッファ等の画像メモリ４Ｒ、４Ｌに格納される。画像メモリ４Ｒ、４Ｌには、それぞれ、Ｎフレーム（Ｎコマ）分、言い換えれば、ラスタディスプレイ上の画面Ｎ枚分に相当する画面イメージが保持される。一実施の形態においてはＮの値として、Ｎ＝２〜６までの値が当てはめられる。２枚以上を保持できるようにしたために、画像の取り込みと対応処理とを並行して行うことが可能である。
【００２５】
画像メモリ（画像を構成する画素を問題とする場合には、画素メモリともいう。）４Ｒ、４Ｌは、この実施の形態においては、上記水平方向の画素数×垂直方向の画素数と等しい値の１フレーム分の画素メモリを有するものと考える。各画素メモリ４Ｒ、４Ｌは８ビットのデータを格納することができる。なお、各画素メモリ４Ｒ、４Ｌに格納されるデータは、上述したように、映像信号の変換データであるので輝度データである。
【００２６】
画像メモリ４Ｒ、４Ｌに格納される画像は、上述したように１枚の画面イメージ分の画像であるので、これを明確にするときには、必要に応じて、全体画像ともいう。
【００２７】
右側用の画像メモリ４Ｒの所定領域の画像データ（ウィンドウ画像ともいう。）に対して、左側の画像メモリ４Ｌの同じ大きさの領域の画像データ（ウィンドウ画像ともいう。）を位置（実際には、アドレス）を変えて順次比較して所定演算を行い、物体の対応領域を求める対応処理装置６が、画像メモリ４Ｒ、４Ｌに接続されている。
【００２８】
左右の画像メモリ４Ｒ、４Ｌ中の対象の対応領域（対応アドレス位置）に応じ三角測量法（両眼立体視）に基づいて、対象の相対位置を演算する位置演算装置７が対応処理装置６に接続されている。
【００２９】
また、姿勢推定装置９は、後に詳しく説明するように、車両Ｍの姿勢角であるピッチ角θａｐを推定し、これを姿勢角メモリ１０に送出する。姿勢推定装置９により新たなピッチ角θａｐが推定され、姿勢角メモリ１０に送出されたとき、姿勢角メモリ１０の内容が更新される。
【００３０】
姿勢角メモリ１０に格納されているピッチ角θａｐは、露光量調整装置８および対応処理装置６により読み取られるようになっている。
【００３１】
対応処理装置６および位置演算装置７における対応処理・位置演算に先立ち、入力側が画像メモリ４Ｒに接続される露光量調整装置８の制御により、ＣＣＤイメージセンサ１３Ｒ、１３Ｌに入射される画像情報を有する光Ｉｃｒの露光量が適正化される。
【００３２】
露光量調整装置８は、ピッチ角θａｐおよび画像メモリ４Ｒの所定領域の画像データに基づいて、ルックアップテーブル等を参照して露光量を決定し、ＣＣＵ２Ｒ、２Ｌの増幅利得と、ＣＣＤイメージセンサ１３Ｒ、１３Ｌの電子シャッタ時間と、ＮＤフィルタ組立体１２Ｒ、１２Ｌのうちの所望のフィルタとを、それぞれ、同じ値、同じものに同時に決定する。
【００３３】
ＮＤフィルタ組立体１２Ｒ、１２Ｌのうち、所望のＮＤフィルタが、駆動回路５Ｒ、５Ｌを通じて切り換え選定されるが、この切り換えには、ＮＤフィルタを使用しない場合、いわゆる素通し（必要に応じて、素通しのＮＤフィルタとして考える。）の場合も含まれる。
【００３４】
次に、上記実施の形態の動作および必要に応じてさらに詳細な構成について説明する。
【００３５】
図３は、三角測量の原理説明に供される、対象物体Ｓを含む情景を左右のカメラ１Ｒ、１Ｌにより撮像している状態の平面視的図を示している。対象物体Ｓの相対位置をＲＰで表すとき、相対位置ＲＰは、既知の焦点距離ＦからのＺ軸方向（奥行き方向）の距離Ｚｄと右カメラ１ＲのＸ軸方向（水平方向）中心位置からの水平方向のずれ距離ＤＲとによって表される。すなわち、相対位置ＲＰがＲＰ＝ＲＰ（Ｚｄ、ＤＲ）で定義されるものとする。もちろん、相対位置ＲＰは、既知の焦点距離Ｆからの距離Ｚｄと左カメラ１ＬのＸ軸（水平方向）中心位置からの水平方向のずれ距離ＤＬとによって表すこともできる。すなわち、相対位置ＲＰをＲＰ＝ＲＰ（Ｚｄ、ＤＬ）と表すことができる。
【００３６】
図４Ａは、右側のカメラ１Ｒによって撮像された対象物体Ｓを含む画像（右画像または右側画像ともいう。）ＩＲを示し、図４Ｂは、左側のカメラ１Ｌによって撮像された同一対象物体Ｓを含む画像（左画像または左側画像ともいう。）ＩＬを示している。これら画像ＩＲと画像ＩＬとがそれぞれ画像メモリ４Ｒおよび画像メモリ４Ｌに格納されていると考える。右側画像ＩＲ中の対象物体画像ＳＲと左側画像ＩＬ中の対象物体画像ＳＬとは、画像ＩＲ、ＩＬのＸ軸方向の中心線３５、３６に対してそれぞれ視差ｄＲと視差ｄＬとを有している。対象物体画像ＳＲと対象物体画像ＳＬとは、エピポーラーライン（視線像）ＥＰ上に存在する。
【００３７】
車両Ｍが水平面上に傾きがなく配置された状態において、対象物体Ｓが無限遠点に存在するとき、対象物体画像ＳＲと対象物体画像ＳＬとは、中心線３５、３６上の同一位置に撮像され、視差ｄＲ、ｄＬは、ｄＲ＝ｄＬ＝０になる。
【００３８】
なお、ＣＣＤエリアセンサ１３Ｒ、１３Ｌ上における図３に示す視差ｄＲ、ｄＬとは、画像ＩＲ、ＩＬ上の図４Ａ、図４Ｂに示す視差ｄＲ、ｄＬとは極性が異なるが、ＣＣＤエリアセンサ１３Ｒ、１３Ｌからの読み出し方向を変えることで同一極性とすることができる。光学部に配設するレンズの枚数を適当に設定することによりＣＣＤエリアセンサ１３Ｒ、１３Ｌ上における視差ｄＲ、ｄＬと画像ＩＲ、ＩＬ上の視差ｄＲ、ｄＬの極性とを合わせることもできる。
【００３９】
図３から、次の（１）式〜（３）式が成り立つことが分かる。
【００４０】
ＤＲ：Ｚｄ＝ｄＲ：Ｆ …（１）
ＤＬ：Ｚｄ＝ｄＬ：Ｆ …（２）
Ｄ＝ＤＲ＋ＤＬ …（３）
これら（１）式〜（３）式から距離Ｚｄとずれ距離ＤＲとずれ距離ＤＬとをそれぞれ（４）式〜（６）式で求めることができる。
【００４１】
Ｚｄ＝Ｆ×Ｄ／（ＤＲ＋ＤＬ） …（４）
ＤＲ＝ｄＲ×Ｄ／（ｄＬ＋ｄＲ） …（５）
ＤＬ＝ｄＬ×Ｄ／（ｄＬ＋ｄＲ） …（６）
これら位置情報である距離Ｚｄとずれ距離ＤＲとずれ距離ＤＬとをクラスタリングして、対象物体Ｓについての識別符号としての、いわゆるアイディ（ＩＤ：Identification）を付けることで、車両追従装置等への応用を図ることができる。
【００４２】
なお、実際上の問題として、ＣＣＤイメージセンサ１３Ｒ、１３Ｌの実効１画素の物理的な大きさの測定や焦点距離Ｆの測定は困難であるため、比較的正確に測定可能な画角を利用して距離Ｚｄ、ずれ距離ＤＲ、ＤＬを求める。
【００４３】
すなわち、例えば、カメラ１Ｒ、１Ｌの水平画角をθ、カメラ１Ｒ、１Ｌの水平方向の実効画素数（画像メモリ４Ｒ、４Ｌの水平画素数に等しい画素数）をＮ、視差ｄＲ、ｄＬに対応する画像メモリ４Ｒ、４Ｌ上の画素数をＮＲ、ＮＬとすると、次に示す（７）式〜（９）式から距離Ｚｄとずれ距離ＤＲとずれ距離ＤＬとをそれぞれ求めることができる。
【００４４】
Ｚｄ＝Ｎ×Ｄ／｛２（ＮＬ＋ＮＲ）ｔａｎ（θ／２）｝ …（７）
ＤＲ＝ＮＲ・Ｄ／（ＮＬ＋ＮＲ） …（８）
ＤＬ＝ＮＬ・Ｄ／（ＮＬ＋ＮＲ） …（９）
ここで、水平画角θは測定可能な値であり、水平方向の実効画素数Ｎ（この実施の形態では、上述したようにＮ＝７６８）は予め定められており、視差ｄＲ、ｄＬに対応する画素数ＮＲおよびＮＬも取り込んだ画像から分かる値である。
【００４５】
次に、上述の画像の取り込みからＩＤを付けるまでの過程をフローチャートを利用して全体的に説明すれば、図５に示すようになる。
【００４６】
すなわち、ＡＤ変換器３Ｒ、３Ｌから出力される映像信号データがそれぞれ画像メモリ４Ｒ、４Ｌに取り込まれて格納される（ステップＳ１）。
【００４７】
ステップＳ１に続いて、画像メモリ４Ｒに記憶されたある領域の画像に対応する画像を画像メモリ４Ｌから求め、いわゆる画像の左右の対応を採る（ステップＳ２）。
【００４８】
対応を取った後、カメラ１Ｒ、１Ｌにおける視差ｄＲ、ｄＬを求め、位置情報に変換する（ステップＳ３）。
【００４９】
その位置情報をクラスタリングし（ステップＳ４）、ＩＤを付ける（ステップＳ５）。
【００５０】
位置演算装置７の出力である、ＩＤの付けられた出力は、本発明の要部ではないので、詳しく説明しないが、図示していない、例えば、道路・障害物認識装置等に送出されて自動運転システムを構成することができる。この自動運転システムでは、運転者に対する警告、自動車（ステレオカメラ１を積んだ車両）Ｍの衝突回避、前走車の自動追従等の動作を行うことができる。
【００５１】
この実施の形態において、上述の左右の画像の対応を採るステップＳ２では、いわゆる特徴に着目した方法ではなく、基本的には、従来技術の項で説明した画像中の領域に着目する方法を採用している。
【００５２】
すなわち、エッジ、線分、特殊な形など何らかの特徴を抽出し、それらの特徴が一致する部分が対応の取れた部分であるとする特徴に着目する方法は、取り扱う情報量が低下するので採用せず、一方の画像、この実施の形態では、右画像ＩＲから対象物体画像ＳＲを囲む小領域、いわゆるウィンドウを切り出し、この小領域に似た小領域を他方の左画像ＩＬから探すことにより対応を決定する方法を採用している。
【００５３】
この実施の形態において採用した画像中の領域に着目する方法では、２枚の画像ＩＬ、ＩＲ上において同一対象物体Ｓの対応を採る技術として、一方の画像上に適当なサイズのウィンドウを設定し、他方の画像においてこのウィンドウに対応する領域を求めるために、他方の画像に前記ウィンドウと同一サイズの領域を設定する。
【００５４】
次に、両画像上の各ウィンドウ内の画像（単に、ウィンドウ画像ともいう。）を構成する対応する各画素（詳しく説明すると、ウィンドウ画像中のマトリクス位置が対応する各画素）についての画素データ値、すなわち、輝度値を引き算して差を得、さらに輝度差の絶対値を得る。
【００５５】
そして、各対応する画素についての輝度差の絶対値の前記ウィンドウ内の和、いわゆる総和を求める。
【００５６】
この総和を左右画像の一致度（対応度ともいう。）Ｈと定義する。このとき、右画像ＩＲと左画像ＩＬのウィンドウ内の対応座標点（ｘ，ｙ）の輝度（画素データ値）をそれぞれＩＲ（ｘ，ｙ）、ＩＬ（ｘ，ｙ）とし、ウィンドウの横幅をｎ画素（ｎは画素数）、縦幅をｍ画素（ｍも画素数）とするとき、ずらし量をｄｘ（後述する）とすれば、一致度Ｈは、次の（１０）式により求めることができる。
【００５７】
Ｈ（ｘ，ｙ）＝Σ（ｊ＝１→ｍ）Σ（ｉ＝１→ｎ）｜Ｉｄ｜ …（１０）
ここで、
｜Ｉｄ｜＝｜ＩＲ（ｘ＋ｉ，ｙ＋ｊ）−ＩＬ（ｘ＋ｉ＋ｄｘ，ｙ＋ｊ）｜
である。記号Σ（ｉ＝１→ｎ）は、｜Ｉｄ｜についてのｉ＝１からｉ＝ｎまでの総和を表し、記号Σ（ｊ＝１→ｍ）は、Σ（ｉ＝１→ｎ）｜Ｉｄ｜の結果についてのｊ＝１からｊ＝ｍまでの総和を表すものとする。
【００５８】
この（１０）式から、一致度Ｈが小さいほど、言い換えれば、輝度差の絶対値の総和が小さいほど、左右のウィンドウ画像が良く一致していることが分かる。
【００５９】
この場合、分割しようとするウィンドウ、すなわち小領域の大きさが大きすぎると、その領域内に相対距離Ｚｄの異なる他の物体が同時に存在する可能性が大きくなって、誤対応の発生する可能性が高くなる。一方、小領域の大きさが小さすぎると、誤った位置で対応してしまう誤対応、あるいは、ノイズを原因とする誤対応が増加してしまうという問題がある。本発明者等は、種々の実験結果から、最も誤対応が少なくなる小領域の大きさは、横方向の画素数ｎがｎ＝７〜９程度、縦方向の画素数ｍがｍ＝１２〜１５程度の大きさであることをつきとめた。
【００６０】
図６と図７は、対応処理装置６において一致度Ｈを求める対応計算を行う際の領域の動かし方の概念を示している。
【００６１】
図６に示すように、対応を採る元となる右画像ＩＲ上の所定領域（小領域、原領域またはウィンドウ画像ともいう。）３１は、左右画像ＩＬ、ＩＲを横断して水平方向に延びる帯状領域３３中をＸ軸方向左端位置から右へ１画素ずつ６４０画素分移動していき、対応を採られる左画像ＩＬの所定領域（小領域、検索領域またはウィンドウ画像ともいう。）３２は、右画像ＩＲの原領域３１の左端位置に対応する位置（以下、原領域３１の水平方向の変移位置という。）から対応計算を行い、ずらし量ｄｘを右方向にエピポーラーラインＥＰ上を０〜最大１２７画素分だけ１画素ずつ移動させて対応計算を行うようにしている。最大１２７画素のずれが有効な一致度Ｈの計算は、合計で（６４０−ｎ）×１２８回行われる。
【００６２】
なお、１２８画素分に限定する理由は、出力結果を利用する側の要求から水平画角θがθ＝４０°、最短の距離ＺｄがＺｄ＝５ｍ、使用できるステレオカメラ１（カメラ１Ｒとカメラ１Ｌ）の水平方向の画素数ＮがＮ＝７６８、設置できる基線長ＤがＤ＝０．５ｍから、下記の（１１）式に当てはめると、ＮＬ＋ＮＲ＝１０５画素となり、ハードウエアにおいて都合のよい２の累乗でこれに近い値の２＝１２８を選んだからである。
【００６３】

このことは、右画像ＩＲ中、Ｘ＝０（左端）の位置に撮像された対象が、かならず、左画像ＩＬのずらし量ｄｘがｄｘ＝０〜１２７に対応する０番目の画素位置から１２７番目の画素位置内に撮像されていることを意味する。したがって、Ｘ座標値（変移位置ともいう。）ＸがＸ＝０を基準とする原領域３１内の撮像対象は、左画像ＩＬのＸ座標値ＸがＸ＝０を基準として、ずらし量ｄｘがｄｘ＝０〜１２７の範囲に撮像されていることを意味する。同様にして右画像ＩＲのＸ座標値ＸがＸ＝６４０−ｎを基準とする原領域３１内の撮像対象は、左画像ＩＬのＸ座標値ＸがＸ＝６４０−ｎを基準として、ずらし量ｄｘがｄｘ＝０〜１２７の範囲に撮像されていることになる。
【００６４】
このとき、検索領域３２の最右端の画素がＸ座標値ＸがＸ＝６４０＋ｎ＋１２７＝７６７（７６８番目）の最右端の画素になるので、それ以上、右画像ＩＲの原領域３１を右方向にずらすことは、一般に、無意味である。右画像ＩＲ中、Ｘ座標値ＸがＸ＝６４０−ｎより右側の撮像対象は、左画像ＩＬに撮像されないからである。しかし、遠方の画像については対応がとれるため、有意なこともあるので、本発明においては、対応すべき画像のない部分の画素については８ビットの最大値２５５があるものとして一応計算を行っている。メモリや計算時間を節約するためにはＸ座標値ＸをＸ＝６４０−ｎまでで打ち切ることが有効である。
【００６５】
そこで、図７のフローチャートに示すように、まず、右画像ＩＲ中のＸ座標値ＸがＸ＝０を変移位置とする原領域３１を取り出し（ステップＳ１１）、左画像ＩＬの検索領域３２のずらし量ｄｘをｄｘ＝０に設定する（ステップＳ１２）。
【００６６】
次に、ずらし量ｄｘがｄｘ＝１２７を超える値であるかどうか、すなわちｄｘ＝１２８であるかどうかを判定する（ステップＳ１３）。
【００６７】
この判定が否定的であるときには、対応度Ｈの計算をするために、左画像ＩＬの検索領域（小領域）３２分の画素データを取り出す（ステップＳ１４）。
【００６８】
次いで、小領域３１と小領域３２の各画素の差の絶対値の総和、すなわち、（１０）式に示す一致度Ｈを求め記憶する（ステップＳ１５）。
【００６９】
次に、ずらし量ｄｘをｄｘ→ｄｘ＋１（この場合、ｄｘ＝１）として１画素分増加する（ステップＳ１６）。
【００７０】
このとき、ステップＳ１３の判定は成立しないので、次に、ずらし量ｄｘがｄｘ＝１を基準に検索領域３２を取り出し（再び、ステップＳ１４）、このずらし量ｄｘがｄｘ＝１を基準の検索領域３２とＸ座標値（変移位置ともいう。）ＸがＸ＝０の原領域３１とで一致度Ｈを計算して記憶する（再び、ステップＳ１５）。
【００７１】
同様にして、ずらし量ｄｘがｄｘ＝１２８になるまで（ステップＳ１３の判定が成立するまで）Ｘ座標値ＸがＸ＝０の原領域３１についての一致度Ｈを計算する。
【００７２】
ステップＳ１３の判定が肯定的であるとき、すなわち、Ｘ座標値ＸがＸ＝０の原領域３１について計算した一致度Ｈのうち、負のピーク値である最小値Ｈｍｉｎとその近傍の値を求め、記憶しておく（ステップＳ１７）。
【００７３】
次に、繁雑になるので、図７のフローチャート中には記載しないが、右画像ＩＲ中の変移位置ＸがＸ＝１〜７６７（または６４０−ｎ）まで、上述のステップＳ１１〜Ｓ１７を繰り返し、各変移位置Ｘにおける右画像ＩＲの原領域３１に最も対応する左画像ＩＬの検索領域３２を検出する。
【００７４】
図８は、図６の動作説明図、図７のフローチャートに基づいて、一致度Ｈの計算等を行う対応処理装置６の詳細な構成を示すブロック図である。
【００７５】
図８中、スキャン座標生成部６１において、対応処理を行おうとする右画像ＩＲに対する原領域３１と左画像ＩＬに対する検索領域３２の座標（上述の図６に示す変移位置Ｘとずらし量ｄｘおよびエピポーラーラインＥＰのＹ座標値）が生成される。なお、後に説明するように、座標を生成する際に、姿勢角メモリ１０からのピッチ角θａｐが考慮される。
【００７６】
このスキャン座標生成部６１で生成された座標（Ｘ，Ｙ）に基づいて、画像メモリ４Ｒ、４Ｌから読み出す小領域のアドレスデータが画像メモリアドレス生成部６４により生成される。
【００７７】
画像メモリアドレス生成部６４で、画像メモリ４Ｒ、４Ｌに対する読み出しアドレスデータが生成され、それぞれ、画像メモリ４Ｒ、４Ｌに供給される。
【００７８】
画像メモリ４Ｒ、４Ｌから読み出された画像データに基づく一致度Ｈの計算、いわゆる相関演算が相関演算部６５で行われ、相関演算結果が相関メモリ６７に記憶される。また、ずらし量ｄｘに対応して相関演算結果のピーク値、すなわち一致度Ｈの最小値Ｈｍｉｎ等がピーク値検出部６６により検出され、検出されたピーク値がピーク値メモリ６８に記憶される。
【００７９】
次に、図９は、図６、図７を参照して説明した一致度Ｈを求めるための相関演算部６５の詳細な構成を示している。
【００８０】
この相関演算部６５は、基本的には、第１〜第４の演算ブロック８１、８２、８３、８４を有する、いわゆるパイプライン方式的処理である並列処理方式を採用している。
【００８１】
理解の容易化のために、まず、パイプライン方式的処理を考慮しないで、具体的には、ＦＩＦＯメモリ６５ｉが存在しないものとして、第１演算ブロック８１のみで、図６、図７を参照して説明した一致度Ｈを求めるための動作について説明する。そして、上述のように、誤対応が最も少なくなるそれぞれの小領域（原領域３１と検索領域３２）の大きさとしては、横方向の画素数ｎがｎ＝７〜９画素程度、縦方向の画素数ｍがｍ＝１２〜１５画素程度であるが、ここでは、理解を容易にするために、ｎ＝４、ｍ＝５として説明する。
【００８２】
図１０は、このような前提のもとでの、エピポーラーラインＥＰ上に乗る仮想的な右画像データＩｒｄの例を示している。原領域３１の対象となる全画素データ数は、ｍ×６４０＝５×６４０箇であるものとする。
【００８３】
図１１は、同様に、エピポーラーラインＥＰ上に乗る仮想的な左画像データＩｌｄの例を示している。検索領域３２の対象となる全画素データ数は、ｍ×７６８＝５×７６８箇であるものとする。
【００８４】
図９において、画像メモリ４Ｒから端子８５を通じて原領域３１の右画像データＩｒｄが減算器６５ａの被減算入力端子に供給され、画像メモリ４Ｌから端子８６を通じて検索領域３２の左画像データＩｌｄが減算器６５ａの減算入力端子に供給される。
【００８５】
まず、一般的に説明すると、減算器６５ａでは、縦方向の左右の画素データの差を取り、その差の絶対値が絶対値演算器６５ｂで取られる。加算器６５ｃは、縦方向の左右の画素データの差の絶対値の和を取るとともに、ラッチ６５ｄにラッチされている前列の縦方向の左右の画素データの差の絶対値の和を加算する。
【００８６】
ＦＩＦＯメモリ６５ｅには、横方向の画素数ｎに対応するｎ段分、この実施の形態では、当該列の分を除いて左側（前側）に４（＝ｎ）列分の縦方向の左右の画素データの差の絶対値の和が保持される。すなわち、この実施の形態において、ＦＩＦＯメモリ６５ｅは、最初（入力側）のメモリ６５ｅ１〜最後（出力側）のメモリ６５ｅ４までの４段ある。
【００８７】
具体的に説明すると、１回目の演算（１列１行目）で加算器６５ｃの出力側には、１列１行目の左右の画素データの差の絶対値｜Ａ１−ａ１｜が現れ、かつ、この値｜Ａ１−ａ１｜がラッチ６５ｄに保持される。
【００８８】
２回目の演算（１列２行目）で１列２行目の左右の画素データの差の絶対値｜Ａ２−ａ２｜とラッチ６５ｄに保持されているデータ｜Ａ１−ａ１｜との和、すなわち、｜Ａ２−ａ２｜＋｜Ａ１−ａ１｜が加算器６５ｃの出力側に現れる。
【００８９】
したがって、５回目の演算後には、次の（１２）式に示す１列目の左右の画素データの差の絶対値の和（データ）Σ▲１▼（以下、２列目以降を順次、Σ▲２▼、Σ▲３▼、Σ▲４▼、…Σ６４１とする。）が加算器６５ｃの出力側に現れ、この和Σ▲１▼は、ラッチ６５ｄに保持される。また、このデータΣ▲１▼は、ＦＩＦＯメモリ６５ｅの最初のメモリ６５ｅ１に格納される。
【００９０】

この１列目の左右の画素データの差の絶対値の和Σ▲１▼が、最初のメモリ６５ｅ１に格納された後、ラッチ６５ｄは、端子８９から供給される制御信号によりリセットされる。
【００９１】
このようにして、ずらし量ｄｘの値がｄｘ＝０での小領域３１、３２間での全ての１回目の計算が終了する４列（４＝ｎ）５行（５＝ｍ）目の演算終了後のラッチ６５ｄに格納されるデータ値とＦＩＦＯメモリ６５ｅに格納されるデータ値とラッチ６５ｈに格納されるデータ値等を図１２に模式的に示す。
【００９２】
図１２において、ずらし量ｄｘの値がｄｘ＝０の場合における次の（１３）式に示す最初に求められる一致度Ｈ０が加算器６５ｇの出力側に現れている点に留意する。
【００９３】
Ｈ０＝Σ▲１▼＋Σ▲２▼＋Σ▲３▼＋Σ▲４▼ …（１３）
次に、５列５行目の演算終了後の図１２に対応する図を図１３に示す。図１３から分かるように、ずらし量ｄｘの値がｄｘ＝０の場合の検索領域３２に対する一致度Ｈ０が出力端子９０に現れる。
【００９４】
この場合、加算器６５ｆの出力側には、５列目のデータΣ▲５▼と１列目のデータΣ▲１▼との差Σ▲５▼−Σ▲１▼が現れるので、加算器６５ｇの出力側には、ずらし量ｄｘの値がｄｘ＝１の場合の検索領域３２に対する次の（１４）式に示す一致度Ｈ１が現れることになる。
【００９５】
Ｈ１＝Σ▲２▼＋Σ▲３▼＋Σ▲４▼＋Σ▲５▼ …（１４）
ここで、実際の１５×１５の小領域を水平方向にＸ＝０〜６３９まで移動し、ずらし量ｄｘをｄｘ＝１２８までの各一致度Ｈを求める際に、この実施の形態では、原領域３１の左画像ＩＬ上で１画素分右にずらした位置での対応度Ｈを求めるとき、左端の縦方向の和（上例ではΣ▲１▼）を減じて右に加わる新たな列の縦方向の和（上例ではΣ▲５▼）を加えるようにしているので、演算回数を１５×６４０×１２８＝１，２２８，８００回にすることができる。すなわち、小領域の横方向の幅（画素数）は計算時間に無関係になる。
【００９６】
もし、上例のように演算しなくて、１５×１５の小領域を移動させこの小領域毎に各領域を構成する画素データの差を取って、一致度Ｈを、水平方向ＸをＸがＸ＝０〜６３９まで、ずらし量ｄｘを１２８まで計算することにすると、演算回数は１５×１５×６４０×１２８＝１８，４３２，０００回となり、最も演算時間のかかる絶対値演算器６５ｂの１回の演算時間を１００ｎｓで実行した場合でも、総演算時間が１８４３ｍｓかかることになる。これに対して上例では、総演算時間が１２３ｍｓであり、約１／１５に低減することができる。
【００９７】
しかし、この総演算時間１２３ｍｓは、ＮＴＳＣ方式のフレームレートである３３ｍｓより大きいので、フレームレート毎に、言い換えれば、１画面毎に一致度Ｈを計算する場合には、総演算時間１２３ｍｓを約１／４以下の時間にする必要がある。
【００９８】
そこで、この実施の形態では、図９に示したように、第１演算ブロック８１と同一構成の第２〜第４演算ブロック８２、８３、８４を設け、縦方向の画素数ｍと同数のＦＩＦＯメモリ６５ｉを直列に接続している。
【００９９】
この場合、簡単のために、図１０、図１１と同じ画像データを利用してパイプライン方式的処理動作を説明すれば、最初に、第１と第２の演算ブロック８１、８２を構成するＦＩＦＯメモリ６５ｅを通じて、第３演算ブロック８３を構成するＦＩＦＯメモリ６５ｉに左１列目の画素データａ１〜ａ５までを転送する。したがって、この転送時点で、第２演算ブロック８２を構成するＦＩＦＯメモリ６５ｉには２列目の画素データｂ１〜ｂ５が転送され、第１演算ブロック８１を構成するＦＩＦＯメモリ６５ｉには３列目の画素データｃ１〜ｃ５が転送される。
【０１００】
次に、次の４列目の画素データｄ１〜ｄ５を第１演算ブロック８１のＦＩＦＯメモリ６５ｉに順次転送したとき、第４演算ブロック８４では右１列目の画素データＡ１〜Ａ５と左１列目の画素データａ１〜ａ５に関連する上述の演算が行われ、第３演算ブロック８３では右１列目の画素データＡ１〜Ａ５と左２列目の画素データｂ１〜ｂ５に関連する上述の演算が行われ、第２演算ブロック８２では右１列目の画素データＡ１〜Ａ５と左３列目の画素データｃ１〜ｃ５に関連する上述の演算が行われ、第１演算ブロック８１では右１列目の画素データＡ１〜Ａ５と左４列目の画素データｄ１〜ｄ５に関連する上述の演算が行われる。
【０１０１】
次いで、右２列目の画素データＢ１〜Ｂ５の転送に同期して次の左５列目の画素データｅ１〜ｅ５を第１演算ブロック８１のＦＩＦＯメモリ６５ｉに順次転送したとき、第４演算ブロック８４では右２列目の画素データＢ１〜Ｂ５と左２列目の画素データｂ１〜ｂ５に関連する演算が行われ、第３演算ブロック８３では右２列目の画素データＢ１〜Ｂ５と左３列目の画素データｃ１〜ｃ５に関連する演算が行われ、第２演算ブロック８２では右２列目の画素データＢ１〜Ｂ５と左４列目の画素データｄ１〜ｄ５に関連する演算が行われ、第１演算ブロック８１では右２列目の画素データＢ１〜Ｂ５と左５列目の画素データｅ１〜ｅ５に関連する上述の演算が行われる。
【０１０２】
このようにして、次に、右３列目の画素データＣ１〜Ｃ５の転送に同期して次の左６列目の画素データｆ１〜ｆ５を順次同期して転送するようにすれば、第４演算ブロック８４では、ずらし量ｄｘがｄｘ＝０、ｄｘ＝４、……についての一致度Ｈを計算でき、同様に、第３演算ブロック８３では、ずらし量ｄｘがｄｘ＝１、ｄｘ＝５、……についての一致度Ｈを計算でき、第２演算ブロック８２では、ずらし量ｄｘがｄｘ＝２、ｄｘ＝６、……についての一致度Ｈを計算でき、第１演算ブロック８１では、ずらし量ｄｘがｄｘ＝３、ｄｘ＝７、……についての一致度Ｈを同時に計算することできる。
【０１０３】
このように、パイプライン方式的処理の４並列にすれば、演算時間を約１／４に低減することができる。なお、上述の説明から理解できるように、第４演算ブロック８４中のＦＩＦＯメモリ６５ｉは不要である。
【０１０４】
この場合、図９例の４並列による動作によれば、１フレームレートで１フレームの画像についての６４０点の距離情報が求まり、左画像ＩＬの横７６８画素×縦１５画素の帯領域の処理が完了するが、これは１画像領域が７６８×２４０画素であることを考えると、全画像領域の１／１６になる。
【０１０５】
なお、左右のカメラ１Ｒ、１Ｌの上下方向の取付位置がずれた場合等を想定すると、当初のエピポーラーラインＥＰ上に対応する対象物画像が存在しなくなる場合も考えられる。この場合、図示はしないが、例えば、図９の対応処理装置６の構成を４並列にし、画像の縦方向の処理を４並列にすることにより、横７６８画素、縦１５画素の帯領域４つをフレームレート内で処理することが可能となる。この場合に、領域が重ならないようにすることで、最大１２７画素のずれまで検出できる距離情報を１フレームレート内で（６４０−ｎ）×４点出力できる。
【０１０６】
図９例の相関演算部６５の処理により、１本のエピポーラーラインＥＰ上における右画像ＩＲ中の６４０個の原領域３１のそれぞれに対して、ずらし量ｄｘがｄｘ＝０〜１２７の検索領域３２についての１２８個の一致度Ｈが演算され、この演算結果の一致度Ｈが、相関メモリ６７に格納される。
【０１０７】
また、１個の原領域３１、すなわち、各変移位置Ｘに対する１２８個の検索領域３２のうち、一致度Ｈが最小値となる値（ピーク値ともいう。）をピーク値検出部６６で検出し、検出したピーク値（最小値）Ｈｍｉｎを、そのときの変移位置Ｘとずらし量ｄｘに対応させてピーク値メモリ６８に記憶する。ピーク値メモリ６８は、一致度Ｈのピーク値（最小値）記憶テーブルとして機能する。
【０１０８】
変移位置Ｘとずらし量ｄｘをアドレスとして一致度Ｈが記憶されている相関メモリ６７と、その最小値としてのピーク値Ｈｍｉｎが記憶されているピーク値メモリ６８が位置演算装置７に接続されている。
【０１０９】
位置演算装置７は、一致度Ｈとそのピーク値Ｈｍｉｎとを参照し、図１４に示すフローチャートに基づいて、対象物体Ｓの３次元空間での位置Ｐを求める。
【０１１０】
変移位置Ｘが所定の変移位置であるＸ＝Ｘｐの原領域３１についての位置Ｐの算出方法について説明する。
【０１１１】
まず、所定の変移位置Ｘｐの原領域３１についての一致度Ｈのピーク値Ｈｍｉｎと、そのときのずらし量ｄｘ（このずらし量ｄｘをずらし量ｄｘｍｉｎと呼ぶ）をピーク値メモリ６８から取り込む（ステップＳ２１）。
【０１１２】
次に、このずらし量ｄｘｍｉｎの近傍の左右各２個の一致度Ｈ、すなわち、ずらし量ｄｘがずらし量ｄｘｍｉｎより３つ少ないずれ量ｄｘｍｉｎ-2および３つ多いずれ量ｄｘｍｉｎ+2の各位置における一致度Ｈｍｉｎ-2、Ｈｍｉｎ+2を取り込む（ステップＳ２２）。
【０１１３】
次に、次の（１５）式に基づいて谷の深さ（ピーク深さともいう。）Ｑを求める（ステップＳ２３）。
【０１１４】
Ｑ＝ｍｉｎ｛Ｈｍｉｎ-2／Ｈｍｉｎ，Ｈｍｉｎ+2／Ｈｍｉｎ｝ …（１５）
この（１５）式は、ピーク値Ｈｍｉｎに対する、これから２つ隣の一致度Ｈｍｉｎ-2、Ｈｍｉｎ+2の大きさの各比のうち、最小値を取ることを意味する。
【０１１５】
そして、この谷の深さＱが所定の閾値ＴＨ以上の値であるかどうか（Ｑ≧ＴＨ）を判定し（ステップＳ２４）、所定の閾値ＴＨ以上の値である場合には、ピーク値Ｈｍｉｎであり、ずらし量ｄｘｍｉｎの検索領域３２が所定の変移位置Ｘｐの原領域３１に対応する領域であると同定して次のステップＳ２５に進む。
【０１１６】
一方、ステップＳ２４の結果が否定的である場合には、ピーク値Ｈｍｉｎであり、ずらし量ｄｘｍｉｎの検索領域３２が所定の変移位置Ｘｐの原領域３１に対応する領域ではないと判断して、次の変移位置Ｘｐ＋１の原領域３１に対する対応する検索領域３２を求める処理が全て終了したかどうかを判定し（ステップＳ２８）、全ての変移位置Ｘに対応する処理が終了していない場合には、そのステップＳ２１〜Ｓ２４の処理を繰り返す。
【０１１７】
この実施の形態において、一致度Ｈのピーク値Ｈｍｉｎを変移位置Ｘｐの原領域３１に対応する検索領域３２であると直ちに同定しないで、その近傍を見て（ステップＳ２２）、その谷の深さＱを計算し（ステップＳ２３）、その谷の深さＱが所定の閾値ＴＨ以上の場合にのみ、一致度Ｈのピーク値Ｈｍｉｎが得られるずらし量ｄｘｍｉｎの検索領域３２が、変移位置Ｘｐの原領域３１に対応する検索領域３２であると同定する理由は、雑音の混入または画像ＩＲ、ＩＬの被写体の画像濃度が一様である場合等に、一致度Ｈのピーク値Ｈｍｉｎが得られ、ずらし量ｄｘｍｉｎの検索領域３２が、変移位置Ｘｐの原領域３１に必ずしも対応するとは限らないからである。
【０１１８】
すなわち、ずらし量ｄｘｍｉｎの位置の近傍領域を考慮して、谷の深さＱが、所定の閾値ＴＨより小さいものは、対応がよく取れていないと判断し、その一致度Ｈのピーク値Ｈｍｉｎは利用しないこととした。なお、所定の閾値ＴＨは、この実施の形態においては、ＴＨ＝１．２とした。
【０１１９】
ステップＳ２４の判断が肯定的であるとき、ずらし量ｄｘの真の値（真のピーク位置という）ｄｓを次に示す補間処理により求める（ステップＳ２５）。すなわち、図１５に示すように、最小位置座標を（ｄｘｍｉｎ，Ｈｍｉｎ）とし、その前後の位置座標をそれぞれ（ｄｘｍｉｎ-1，Ｈｍｉｎ-1）、（ｄｘｍｉｎ+1，Ｈｍｉｎ+1）とするとき、前後の一致度Ｈｍｉｎ-1、Ｈｍｉｎ+1の大きさを比較して、それぞれ次の（１６）式〜（１８）式で示す値に推定する。
【０１２０】

この（１６）式〜（１８）式の補間式を用いて真のピーク位置ｄｓを求めた場合には、補間しない場合に比較して、位置精度が３倍向上することを実験的に確認することができた。
【０１２１】
結局、ステップＳ２５の補間処理終了後に、変移位置Ｘｐの原領域３１に最も対応する検索領域３２の真のピーク位置ｄｓが求まることになる。
【０１２２】
このようにして求められた変移位置Ｘｐと真のピーク位置ｄｓは、それぞれ、図５に示す右画像ＩＲ上の対象物体画像ＳＲの視差ｄＲと左画像ＩＬ上の対象物体画像ＳＬの視差ｄＬに対応する。
【０１２３】
しかし、実際上、フロントガラスやカメラ１Ｒ、１Ｌの対物レンズ１１Ｒ、１１Ｌの光学特性によって、左右の画像ＩＲ、ＩＬには、例えば、ピンクッション的歪み、あるいはバレル的歪みが存在するので、これらによる歪み補正を行った視差ｄＲと視差ｄＬとを求める（ステップＳ２６）。
【０１２４】
そこで、これら歪み補正を行った視差ｄＲと視差ｄＬを測定値として、上述の（４）式〜（６）式から対象物体Ｓまでの奥行き方向の距離Ｚｄと、その距離Ｚｄからの左右の偏差にかかるずれ距離ＤＲとずれ距離ＤＬとの３次元位置情報を求めることができる（ステップＳ２７）。
【０１２５】
ステップＳ２８では、エピポーラーラインＥＰ上の全ての変移位置Ｘでの原領域３１に対応する検索領域３２中の真のピーク位置ｄｓを求める演算が終了したかどうか、すなわち、変移位置ＸがＸ＝７６７であるかどうかを確認して処理を終了する。
【０１２６】
位置演算装置７で作成された、これら３次元位置情報である距離Ｚｄとずれ距離ＤＲとずれ距離ＤＬとはクラスタリングされ、対象物体Ｓについての識別符号としての、いわゆるアイディ（ＩＤ：Identification）が付けられて、出力端子１０１を通じて、次の処理過程である、図示しない道路・障害物認識装置等に接続される。
【０１２７】
道路・障害物認識装置等は、自動運転システムを構成し、運転者に対する警告、車体の自動衝突回避、前走車への自動追従走行などの動作を行うことができる装置である。この場合、例えば、自動追従走行を行うシステムとして、本出願人の出願による「物体検出装置およびその方法」（特願平７−２４９７４７号）を挙げることができる。
【０１２８】
図１６は、車両Ｍとの関係において、図１に示した姿勢推定装置９の詳細な構成を示している。
【０１２９】
この姿勢推定装置９は、基本的には、走行中の車体Ｍの揺れや、乗車人員の数や荷物の重量による車体の傾きにより、距離検出領域が消失点よりずれることを補正する装置である。なお、消失点とは、エピポーラーラインＥＰが通る点であって、車両Ｍの正面方向にある無限遠点に対応する画像の中心とした点である。消失点は、例えば、車両Ｍの前方に真っ直ぐな道路が存在するとき、画像上、その道路の両側の線の延長線の前方での交点と考えることができる。
【０１３０】
車両Ｍの前部のバンパーの下部に前部車高センサ９１が固定され、後部のホイールハウスの下部に後部車高センサ９２が固定されている。傾斜量検出手段を構成する車高センサ９１、９２は、例えば、レーザ測長器または超音波測長器等を用いることができる。また、トランクの近くに、それぞれ、角速度センサであるピッチレートセンサ９３とヨーレートセンサ９４とが、ピッチレートとヨーレートを検出する方向に固定されている。これらセンサ９１〜９４は、車体を上側から見た場合、ロールによるピッチ角の誤差の発生を防止するために、車体の前後を結ぶ中心線から同じ方向に同じだけ離れた位置に配置されている。
【０１３１】
前部車高センサ９１と後部車高センサ９２との車軸上での間隔（長さ）はＬとされている。傾きのない路面１０２からの前部車高センサ９１および後部車高センサ９２で測定される高さをそれぞれＨｆｏ、Ｈｒｏとし、ある状態における路面１０２からの高さをそれぞれＨｆ、Ｈｒとするとき、ピッチ方向の傾き（傾斜量）θｈは、（１９）式で与えられる。
【０１３２】
θｈ＝ａｒｃｔａｎ[ ｛（Ｈｆ−Ｈｆｏ）−（Ｈｒ−Ｈｒｏ）｝／Ｌ] …（１９）
車高センサ９１、９２の出力である高さＨｆ、Ｈｒは、路面１０２の細かい凹凸による影響を避ける等の理由により、それぞれ、ローパスフィルタ９５、９６を通して演算器９７にその低域通過成分である高さＨｆ′とＨｒ′とが供給されるように構成されている。これら高さＨｆ′、Ｈｒ′から求められるピッチ方向の傾きは、θｈ′とする。
【０１３３】
一方、ピッチレートセンサ９３の出力信号は、各速度信号であるので、それを１回積分器９８で積分することでピッチ方向の傾きを求めることができる。求めた傾き（傾斜量）をθｐとする。
【０１３４】
しかし、ピッチレートセンサ９３には、通常、ドリフト等の誤差を有しているため、長時間積分すると誤差が累積されてしまうという問題が発生する。
【０１３５】
そこで、傾きθｐをハイパスフィルタ９９を通過させてその高域通過成分である傾きθｐ′を演算器９７に供給するようにする。ハイパスフィルタ９９を通過させることで、静止していると傾きθｐ′は０値に近づくことになる。このようにすることで、坂道のように路面に傾斜がある場合でも路面の向きに沿った方向を推定することができる。
【０１３６】
そこで、演算器９７では、基本的には、ピッチ方向の傾きθａｐを、傾きθｈ′と傾きθｐ′とを合成した（２０）式で示す式で求めるようにしている。
【０１３７】
θａｐ＝θｈ′＋θｐ′ …（２０）
この場合、ローパスフィルタ９５、９６とハイパスフィルタ９９との時定数を同一の値にしておくことで、車体の揺れと傾斜を好適に検出することができる。
【０１３８】
すなわち、図１７に示すように、車体Ｍが突然傾きθα°だけ傾いたとする。このとき、車高センサ９１、９２の出力を基に得られる傾きθｈ′は、ローパスフィルタ９５、９６を挿入しているので時間の経過とともに傾きθα°に近づき、ピッチレートセンサ９３に基づく傾きθｐ′は、ハイパスフィルタ９９を挿入しているので時間の経過とともに傾き０°に近づくことになる。したがって、これを合成した傾きθａｐ（θａｐ＝θｈ′＋θｐ′）は、突然傾いた時点からステップ関数的に立ち上がることになるので、車体Ｍの揺れと傾斜を直ちにしかも正確に検出することができる。
【０１３９】
なお、合成されたピッチ方向の傾きθａｐは、後部車高センサ９２の位置を相対的な原点として路面１０２から時計方向に回転する方向を正方向としている。
【０１４０】
（２０）式で傾きθａｐを求めた場合には、車体Ｍにヨーイングが発生する転回時などにおいては、車体Ｍがロールし、このロールを原因としてピッチレートが発生するので、正しく路面との平行面を推定できなくなる。
【０１４１】
この場合、図示しない３軸のレートセンサを設けて車体Ｍの軸回転を推定して、ピッチ方向の傾きθａｐを求めるようにしてもよいが、ヨーレートとロール量は比例関係にあり、したがって、ヨーレートからロール量を推定することが可能となり、結果として、ヨーレートからピッチレートを擬似的に補正することが可能となる。
【０１４２】
例えば、ヨーレートからピッチ方向の角度への換算係数（ピッチ量換算係数）をＫとして予め求めておくことで、ヨーレートセンサ９４により検出されたヨーレートＲｙａｗに、この換算係数Ｋを掛けることで、ピッチ方向の傾斜θａｐの補正量を求めることができる。
【０１４３】
そこで、演算器９７では、車体Ｍのピッチ方向の傾斜（ピッチ角）θａｐを（２１）式により算出することとする。
【０１４４】
θａｐ＝θｈ′＋θｐ′−Ｋｙａｗ …（２１）
このようにして算出された傾斜θａｐが端子１０３を通じて図１に示す姿勢角メモリ１０に格納される。
【０１４５】
姿勢角メモリ１０の内容は、対応処理装置６（図８参照）内で相関演算をする際にスキャン座標生成装置６１により読み取られる。
【０１４６】
スキャン座標生成装置６１では、傾斜θａｐが正の値であった場合には、傾斜θａｐに対応するＳ個の画素分だけ、左右画像ＩＬ、ＩＲ（図６参照）の対応を採る領域（ウィンドウ画像）３２、３１を選択する際の帯状領域３３の座標を下側に下げる。したがって、傾斜θａｐが負の値であった場合には、傾斜θａｐに対応するＳ個の画素分だけ、左右画像ＩＬ、ＩＲの対応を採る領域３２、３１を選択する際の帯状領域３３の座標を上側に上げる。
【０１４７】
なお、傾斜θａｐ、すなわちピッチ角θａｐと帯状領域３３（エピポーラーラインＥＰ）との対応関係は、予め測定してルックアップテーブルまたは演算式としてスキャン座標生成装置６１に格納しておく。
【０１４８】
例えば、傾きθａｐ、ステレオカメラ１の縦方向の画角がθｖ、縦方向のカメラの画素数がＮｖ（この実施の形態では、上述したように、Ｎｖ＝２４０）であるとき、距離検出用対応領域３２、３１の縦方向の中央付近に消失点を含む帯状領域３３が入るように、次の（２２）式に基づいて、画素数Ｓを求めればよい。
【０１４９】

なお、図１に示すように露光量調整装置８でも姿勢角メモリ１０の内容を読み取ることができるように構成しているのは、露光調整基準領域も（２１）式に基づいて補正できるようにするためである。
【０１５０】
また、この発明は上述の実施の形態に限らず、この発明の要旨を逸脱することなく種々の構成を採り得ることはもちろんである。
【０１５１】
【発明の効果】
以上説明したように、この発明によれば、ピッチ角演算手段により車体のピッチ角を演算する際、傾斜量検出手段により検出されたピッチ方向の傾斜量の低域通過成分と、ピッチレート検出手段により検出されたピッチレートから求めたピッチ量の高域通過成分との合成値を車体のピッチ角として演算し、演算されたピッチ角に応じた分だけ対応処理手段で対応を採るための小領域を画像の垂直方向に移動するようにしたので、たとえ、路面の凹凸や搭乗者の数等に応じて車体にピッチングが発生したり、車両が傾斜したり、旋回により車体が傾斜した場合においても路面と平行な方向が安定して推定でき、対応しようとする物体がエピポーラーラインの近傍に存在することから、複数の画像間で対応物体を確実に検出することができるという効果が達成される。これにより、車両の環境の認識を正確に行うことができるという利点が得られる。
【０１５２】
また、この発明によれば、従来技術のようにカメラ自体の角度を機械的に変更することなく、画像領域上で対応領域を移動するようにしているので、機械的構成が必要なくなり、構成がきわめて簡単になり信頼性も向上するという効果も達成される。
【図面の簡単な説明】
【図１】この発明の一実施の形態の構成を示すブロック図である。
【図２】ステレオカメラの据えつけ位置の説明に供される概略斜視図である。
【図３】三角測量の原理で距離を求める際の説明に供される平面視的図である。
【図４】対象物体にかかる左右画像上での視差の説明に供される線図であって、Ａは左側画像、Ｂは右側画像をそれぞれ表す図である。
【図５】図１例の装置の全体的な動作説明に供されるフローチャートである。
【図６】左右の小領域の対応処理の仕方の説明に供される図である。
【図７】図６例の説明に供されるフローチャートである。
【図８】対応処理装置の詳細な構成を含む装置の構成を示すブロック図である。
【図９】相関演算部の詳細な構成を示す回路ブロック図である。
【図１０】エピポーラーライン上の左画像データの一部を模式的に表す線図である。
【図１１】エピポーラーライン上の右画像データの一部を模式的に表す線図である。
【図１２】図９例中、第１演算ブロックの動作説明に供されるブロック図である。
【図１３】図９例中、第１演算ブロックの動作説明に供される他のブロック図である。
【図１４】位置演算装置の動作説明に供されるフローチャートである。
【図１５】補間演算の説明に供される線図である。
【図１６】姿勢推定装置の詳細な構成を含む線図である。
【図１７】ピッチ角の合成説明に供される線図である。
【符号の説明】
１…ステレオカメラ １Ｒ、１Ｌ…ビデオカメラ
２Ｒ、２Ｌ…ＣＣＵ ４Ｒ、４Ｌ…画像メモリ
５Ｒ、５Ｌ…駆動回路 ６…対応処理装置
７…位置演算装置 ８…露光量調整装置
９…姿勢推定装置 １０…姿勢角メモリ
１３Ｒ、１３Ｌ…ＣＣＤイメージセンサ
３１、３２…小領域（ウィンドウ画像）
３３…帯状領域
９１、９２…車高センサ ９３…ピッチレートセンサ
９４…ヨーレートセンサ ９５、９６…ローパスフィルタ
９７…演算器
θａｐ…傾斜（ピッチ角）

Claims (2)

1. 複数の撮像手段と、
   前記複数の撮像手段からそれぞれ得られる画像の対応を、複数の画像の小領域間で採る対応処理手段と、
   対応の採れた物体までの距離を三角測量の原理に基づき演算する位置演算手段と、
   車両のピッチ方向の傾斜を検出する傾斜量検出手段と、
   車両のピッチレートを検出するピッチレート検出手段と、
   入力側が前記傾斜量検出手段と前記ピッチレート検出手段とに接続されるピッチ角演算手段と、
   前記ピッチ角演算手段の入力側にヨーレートを検出するヨーレート検出手段とを備え、
   前記ピッチ角演算手段は、前記傾斜量の低域通過成分と、前記ピッチレートから求めたピッチ量の高域通過成分と、予め求めてあるピッチ量換算係数を前記ヨーレートに掛けた換算成分とを合成した値を車体のピッチ角として演算して、前記対応処理手段に供給し、
   前記対応処理手段は、演算されたピッチ角に応じた分、複数の画像の対応を採るための前記小領域を画像の垂直方向に移動するようにしたことを特徴とする車両用環境認識装置。
2. 請求項１記載の車両用環境認識装置において、
   前記対応処理手段は、前記小領域間の対応を採る際に、エピポーラライン上に前記各小領域をそれぞれ設定し、設定した一方の小領域に対して他方の小領域の位置を前記エピポーラライン上で移動させながら、前記一方の小領域を構成する各画素と、これらの各画素に対応する前記他方の小領域を構成する各画素との輝度差の絶対値の総和を求め、求めた前記総和に基づいて前記小領域間の対応を採ることを特徴とする車両用環境認識装置。

Images