JP3571828B2 - 車両用環境認識装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、ステレオ視を利用した車両用環境認識装置に関し、一層詳細には、例えば、自動車等の車両に搭載され、当該自動車の位置を基準として、風景や先行車等を含む情景に係る周囲環境を認識する車両用環境認識装置に関する。
【０００２】
【従来の技術】
従来から、周囲環境を認識しようとする場合、ステレオ視を利用したステレオカメラにより得られる２枚の画像（ステレオ画像ともいう。）から三角測量の原理に基づき対象物（単に、物体ともいう。）までの距離を求め、対象物の位置を認識する、いわゆるステレオ法が採用されている。
【０００３】
このステレオ法においては、前記距離を求める際に、撮像した２枚の画像上において同一物体の対応が採れることが前提条件となる。
【０００４】
撮像した２枚の画像上において同一物体の対応を採る技術として、画像中の領域に着目する方法がある。
【０００５】
この方法は、まず、一方の画像上に適当なサイズのウィンドウを設定し、他方の画像においてこのウィンドウに対応する領域を求めるために、他方の画像に前記ウィンドウと同一サイズの領域を設定する。
【０００６】
次に、両画像上の各ウィンドウ内の画像（単に、ウィンドウ画像ともいう。）を構成する対応する各画素（詳しく説明すると、マトリクス位置が対応する各画素）についての画素データ値を引き算して差を得、さらに差の絶対値を得る。
【０００７】
そして、各画素についての差の絶対値の前記ウィンドウ内の和、いわゆる総和を求める。
【０００８】
このようにウィンドウ内の各画素データ値の差の絶対値の総和を求める計算を他方の画像上のウィンドウの位置を変えて順次行い、前記総和が最小になる他方の画像のウィンドウを、前記一方の画像のウィンドウに対応する領域であると決定する方法である。
【０００９】
この発明においても、基本的には、この画像中の領域に着目する方法を採用している。
【００１０】
【発明が解決しようとする課題】
ところで、自然環境下においては、照度が変化し、これに応じて物体の輝度が変化する。
【００１１】
ところが、カメラを構成するＣＣＤイメージセンサ等の撮像素子で取り扱うことの可能な明るさや露光量（透過光量）は、上限値および下限値が設定されており、この上下限値以外では、信号処理として取り扱える電気信号の適切な振幅変化（レベル変化）が得られない。
【００１２】
電気信号として適切な振幅変化が得られない場合には、画像の濃度範囲（実際上は、映像の輝度範囲）が狭くなり、結局、前記差の絶対値の総和がウィンドウ毎にそれほど変わらないこととなり、対応を採ることができなくなるという問題がある。
【００１３】
そこで、この問題を解決するために、例えば、特開平４−３３６５１４号公報に公表された従来の技術では、露光量を適切な値に設定するために、ウィンドウ内の画像の濃度に応じて開口絞りの絞り量を可変とするとともに、ＣＣＤイメージセンサの電子シャッタ時間を制御するようにしている。
【００１４】
しかしながら、開口絞りにより露光量を変化させた場合には、レンズの周辺光量の特性が変化する。このため、周辺光量の低下の補正が必要となるが、この補正は、絞り量に応じて行う必要があり、相当に繁雑である。
【００１５】
また、通常、絞り羽根等を使用する開口絞りは、機械的な位置決め誤差、摩擦、バックラッシ等が存在することから、この開口絞りのための露光量のフィードバック制御は、連続的かつ精密な制御が必要になるという問題もある。
【００１６】
この発明はこのような課題を考慮してなされたものであり、簡単な構成で露光量を正確に調整することの可能な車両用環境認識装置を提供することを目的とする。
【００１７】
第１のこの発明は、例えば、図１に示すように、
画像情報を有する光ＩＬを光学部１１Ｒ、１１Ｌ及び撮像素子１３Ｒ、１３Ｌを有するステレオカメラにより電気信号に変換した後、増幅器で増幅した画像信号を得、該画像信号に基づく画像により物体までの距離を三角測量の原理に基づき測定する車両用環境認識装置において、
減光率の異なる２つの減光フィルタを備えた減光フィルタ組立体１２Ｒ、１２Ｌ（図３をも参照）が、機械的に挿入・非挿入可能に設けられた、前記ステレオカメラの左右それぞれの光学部と、
露光時間が可変される前記撮像素子と、
増幅利得が可変される前記増幅器と、
前記減光フィルタ、前記露光時間及び前記増幅利得による合成利得を、前記減光フィルタ組立体の挿入・非挿入回数が最小となるように、外光による周囲の明るさが明から暗に変化する時間帯では徐々に大きく設定し、暗から明に変化する時間帯では徐々に小さくなるように設定した２つの露光量設定テーブル８Ａ、８Ｂ（図１１参照）と、
前記各時間帯に応じて前記２つの露光量設定テーブルのいずれか一方を参照し、前記減光フィルタ組立体の挿入・非挿入、前記撮像素子の露光時間及び前記増幅器の増幅利得の設定を行う露光量調整手段８と、
を備えることを特徴とする。
【００１８】
第１のこの発明によれば、減光フィルタを挿入または非挿入とすることで、入射光量、言い換えれば、露光量を変化させているので、開口絞りを変化させる必要がなくなり、実質的に開放状態とすることができる。すなわち、機械的に複雑な構成の開口絞りがなくてもよい。また、光量をステップ的に変化させるので、連続的なフィードバック制御が不要となる。
【００２１】
この場合、増幅利得値と減光フィルタと露光時間値との予め定められた組み合わせにより、光学部から画像信号出力手段までの合成利得値を決定するようにしているので、細かいステップで露光量を調整することができる。
【００２２】
なお、撮像素子はＣＣＤイメージセンサとし、露光時間は、このＣＣＤイメージセンサの電子シャッタ時間とすることができる。
【００２３】
また、減光フィルタとしては、ＮＤフィルタや、多数の孔が開けられた孔あき板を使用することができる。孔あき板としては、金属板等に多数の孔が等間隔に開けられた、いわゆるパンチングメタルを採用することができる。
【００２４】
【発明の実施の形態】
以下、この発明の一実施の形態について、図面を参照して説明する。
【００２５】
なお、この発明の理解を容易にするために、この実施の形態の要部の一部を簡明に説明すると、図１に示すように、画像情報を有する光ＩＬをとらえる光学部を構成する対物レンズ１１Ｒ、１１Ｌを通じて得た光を、ＣＣＤイメージセンサ１３Ｒ、１３Ｌと信号処理回路１４Ｒ、１４Ｌとカメラ制御ユニット（以下、ＣＣＵという。）２Ｒ、２ＬとＡＤ変換器３Ｒ、３Ｌを通じてデジタル画像信号に変換し、この複数のデジタル画像信号に基づく画像により物体までの距離を三角測量の原理に基づき測定する車両用環境認識装置において、光学部にＮＤフィルタ組立体１２Ｒ、１２Ｌを配設し、このＮＤフィルタ組立体１２Ｒ、１２Ｌの、光軸１５Ｒ、１５Ｌと略直交する方向への同時挿入、非挿入を切り換える駆動回路５Ｒ、５Ｌを、ＣＣＤイメージセンサ１３Ｒ、１３Ｌへの入射光量を所定光量に調整する露光量調整装置８により駆動し、光学部の開口絞りを実質的に不要（開放）としたものである。
【００２６】
以下、この発明の一実施の形態の詳細を説明する。
【００２７】
図１はこの発明の一実施の形態の構成を示すブロック図である。
【００２８】
図１において、ステレオカメラ１が、右側のビデオカメラ（以下、単にカメラまたは右カメラともいう。）１Ｒと、左側のビデオカメラ（同様に、カメラまたは左カメラともいう。）１Ｌとにより構成されている。左右のカメラ１Ｒ、１Ｌは、図２に示すように、自動車（車両ともいう。）Ｍのダッシュボード上に予め定めた所定の間隔、いわゆる基線長Ｄを隔てて設置してある。また、カメラ１Ｒ、１Ｌはダッシュボード上に水平面に対して平行に、かつ車両Ｍの正面方向にある無限遠点が画像の中心となるように設置してある。さらに、カメラ１Ｒ、１Ｌはダッシュボード上に設置してあるために、カメラ１Ｒ、１Ｌを一体として連結することができ、上述の基線長Ｄを維持できる。
【００２９】
また、カメラ１Ｒ、１Ｌは、車両Ｍのワイパーのワイパー拭き取り範囲内に配置し、かつワイパーが左右にあって同方向に回動する場合には、左右のワイパーブレードの始点から同一位置になるように配置することで、ワイパーブレードによる遮光位置の変化が左右のカメラ１Ｒ、１Ｌで同一となり、認識対象物体（物体、対象物、対象物体、または、単に、対象ともいう。）の撮像に対してワイパーブレードの撮像の影響を少なくすることができる。左右のカメラ１Ｒ、１Ｌの光軸１５Ｒ、１５Ｌ（図１参照）は、同一水平面上において平行になるように設定されている。
【００３０】
図１から分かるように、右と左のカメラ１Ｒ、１Ｌには、光軸１５Ｒ、１５Ｌに略直交する方向に、画像情報を有する光ＩＬをとらえる同一の焦点距離Ｆを有する対物レンズ１１Ｒ、１１Ｌと、減光フィルタとしてのＮＤフィルタ組立体１２Ｒ、１２Ｌと、対物レンズ１１Ｒ、１１Ｌによって結像された像を撮像するエリアセンサ型のＣＣＤイメージセンサ（撮像素子部）１３Ｒ、１３Ｌとが配設されている。この場合、それぞれの光学系（光学部ともいう。）とも、例えば、右側の光学系で説明すれば、対物レンズ１１Ｒ、ＮＤフィルタ組立体１２Ｒを構成する１つのＮＤフィルタ（後述する。）または素通しの状態およびＣＣＤイメージセンサ１３Ｒは、いわゆる共軸光学系を構成する。
【００３１】
カメラ１Ｒ、１Ｌには、ＣＣＤイメージセンサ１３Ｒ、１３Ｌの読み出しタイミング、電子シャッタ時間等の各種タイミングを制御したり、ＣＣＤイメージセンサ１３Ｒ、１３Ｌを構成する撮像素子群を走査して得られる光電変換信号である撮像信号を、いわゆる映像信号に変換するための信号処理回路１４Ｒ、１４Ｌが配設されている。
【００３２】
左右のカメラ１Ｒ、１Ｌの出力信号、言い換えれば、信号処理回路１４Ｒ、１４Ｌの出力信号である映像信号は、増幅利得等を調整するＣＣＵ２Ｒ、２Ｌを通じて、例えば、８ビット分解能のＡＤ変換器３Ｒ、３Ｌに供給される。なお、実際上、ＣＣＵ２Ｒ、２Ｌから信号処理回路１４Ｒ、１４Ｌに対して前記電子シャッタ時間を可変する制御信号が送出される。
【００３３】
ＡＤ変換器３Ｒ、３Ｌによりアナログ信号である映像信号がデジタル信号に変換され、水平方向の画素数７６８列、垂直方向の画素数２４０行の画素の信号の集合としての画像信号（以下、必要に応じて、画素データの集合としての画像データともいい、実際上は濃度を基準とする画像信号ではなく輝度を基準とする映像信号データであるので、映像信号データともいう。）としてフレームバッファ等の画像メモリ４Ｒ、４Ｌに格納される。画像メモリ４Ｒ、４Ｌには、それぞれ、Ｎフレーム（Ｎコマ）分、言い換えれば、ラスタディスプレイ上の画面Ｎ枚分に相当する画面イメージが保持される。一実施の形態においてはＮの値として、Ｎ＝２〜６までの値が当てはめられる。２枚以上を保持できるようにしたために、画像の取り込みと対応処理とを並行して行なうことが可能である。
【００３４】
画像メモリ（画像を構成する画素を問題とする場合には、画素メモリともいう。）４Ｒ、４Ｌは、この実施の形態においては、上記水平方向の画素数×垂直方向の画素数と等しい値の１フレーム分の画素メモリを有するものと考える。各画素メモリ４Ｒ、４Ｌは８ビットのデータを格納することができる。なお、各画素メモリ４Ｒ、４Ｌに格納されるデータは、上述したように、映像信号の変換データであるので輝度データである。
【００３５】
画像メモリ４Ｒ、４Ｌに格納される画像は、上述したように１枚の画面イメージ分の画像であるので、これを明確にするときには、必要に応じて、全体画像ともいう。
【００３６】
右側用の画像メモリ４Ｒの所定領域の画像データに対して、左側の画像メモリ４Ｌの同じ大きさの領域の画像データを位置（実際には、アドレス）を変えて順次比較して所定演算を行い、物体の対応領域を求める対応処理装置６が、画像メモリ４Ｒ、４Ｌに接続されている。
【００３７】
左右の画像メモリ４Ｒ、４Ｌ中の対象の対応領域（対応アドレス位置）に応じ三角測量法（両眼立体視）に基づいて、対象の相対位置を演算する位置演算装置７が対応処理装置６に接続されている。
【００３８】
対応処理装置６および位置演算装置７における対応処理・位置演算に先立ち、入力側が画像メモリ４Ｒに接続される露光量調整装置８の制御により、ＣＣＤイメージセンサ１３Ｒ、１３Ｌに入射される画像情報を有する光ＩＬの露光量が適正化される。
【００３９】
露光量調整装置８は、画像メモリ４Ｒの所定領域の画像データに基づいて、口述するルックアップテーブル等を参照して露光量を決定し、ＣＣＵ２Ｒ、２Ｌの増幅利得と、ＣＣＤイメージセンサ１３Ｒ、１３Ｌの電子シャッタ時間｛通常の場合、シャッタ速度と称されるが、単位は時間（具体的には、電荷蓄積時間）であるので、この実施の形態においては電子シャッタ時間という。なお、必要に応じて電子シャッタ速度ともいう。｝と、ＮＤフィルタ組立体１２Ｒ、１２Ｌのうちの所望のフィルタとを、それぞれ、同じ値、同じものに同時に決定する。
【００４０】
ＮＤフィルタ組立体１２Ｒ、１２Ｌのうち、所望のＮＤフィルタが、駆動回路５Ｒ、５Ｌを通じて切り換え選定されるが、この切り換えには、ＮＤフィルタを使用しない場合、いわゆる素通し（必要に応じて、素通しのＮＤフィルタとして考える。）の場合も含まれる。
【００４１】
図３は、右側のカメラ１Ｒに係るＮＤフィルタ組立体１２Ｒの原理的構成を示している。左側のＮＤフィルタ組立体１２Ｌも右側のカメラ１Ｒに係るＮＤフィルタ組立体１２Ｒと同一の構成であるので、図示を省略する。
【００４２】
ＮＤフィルタ組立体１２Ｒは、枠体２１とスライダ２２を有し、この枠体２１中を駆動回路５Ｒを構成するフィルタ切換用モータ２５の回転によりリンク２６を通じて矢印ＰあるいはＱ方向にスライダ２２が摺動する。スライダ２２には、ＣＣＵ２Ｒの出力信号に換算して利得を１８ｄＢ低下させるＮＤフィルタ２３と、３６ｄＢ低下させるＮＤフィルタ２４とが配設されている。
【００４３】
図３Ａ中、記号「＋」で表す箇所が光軸１５Ｒであり、スライダ２２が図示の位置にあるとき、光ＩＬは、減光されないでそのまま通過する。上述したように、減光量が０ｄＢの仮想的な素通しのＮＤフィルタが光軸１５Ｒに対して挿入されていると考えることもできる。
【００４４】
スライダ２２が図３Ｂに示す状態にあるとき、光路上に、すなわち光軸１５Ｒ上に光量を１８ｄＢ減光するＮＤフィルタ２３が配置され、図３Ｃに示す状態にあるとき、光軸１５Ｒ上に光量を３６ｄＢ減光するＮＤフィルタ２４が配置されることになる。したがって、この実施の形態において、ＮＤフィルタは、０ｄＢ、−１８ｄＢ、−３６ｄＢの３段階にステップ的（階段的、段階的）に切り換えられるようになっている。
【００４５】
次に、上記実施の形態の動作および必要に応じてさらに詳細な構成について説明する。
【００４６】
図４は、三角測量の原理説明に供される、対象物体Ｓを含む情景を左右のカメラ１Ｒ、１Ｌにより撮像している状態の平面視的図を示している。対象物体Ｓの相対位置をＲＰで表すとき、相対位置ＲＰは、既知の焦点距離ＦからのＺ軸方向（奥行き方向）の距離Ｚｄと右カメラ１ＲのＸ軸方向（水平方向）中心位置からの水平方向のずれ距離ＤＲとによって表される。すなわち、相対位置ＲＰがＲＰ＝ＲＰ（Ｚｄ、ＤＲ）で定義されるものとする。もちろん、相対位置ＲＰは、既知の焦点距離Ｆからの距離Ｚｄと左カメラ１ＬのＸ軸（水平方向）中心位置からの水平方向のずれ距離ＤＬとによって表すこともできる。すなわち、ＲＰ＝ＲＰ（Ｚｄ、ＤＬ）と表すことができる。
【００４７】
図５Ａは、右側のカメラ１Ｒによって撮像された対象物体Ｓを含む画像（右画像または右側画像ともいう。）ＩＲを示し、図５Ｂは、左側のカメラ１Ｌによって撮像された同一対象物体Ｓを含む画像（左画像または左側画像ともいう。）ＩＬを示している。これら画像ＩＲと画像ＩＬとがそれぞれ画像メモリ４Ｒおよび画像メモリ４Ｌに格納されていると考える。右側画像ＩＲ中の対象物体画像ＳＲと左側画像ＩＬ中の対象物体画像ＳＬとは、画像ＩＲ、ＩＬのＸ軸方向の中心線３５、３６に対してそれぞれ視差ｄＲと視差ｄＬとを有している。対象物体画像ＳＲと対象物体画像ＳＬとは、エピポラーライン（視線像）ＥＰ上に存在する。対象物体Ｓが無限遠点に存在するとき、対象物体画像ＳＲと対象物体画像ＳＬとは、中心線３５、３６上の同一位置に撮像され、視差ｄＲ、ｄＬは、ｄＲ＝ｄＬ＝０になる。
【００４８】
なお、ＣＣＤエリアセンサ１３Ｒ、１３Ｌ上における図４に示す視差ｄＲ、ｄＬとは、画像ＩＲ、ＩＬ上の図５に示す視差ｄＲ、ｄＬとは極性が異なるが、ＣＣＤエリアセンサ１３Ｒ、１３Ｌからの読み出し方向を変えることで同一極性とすることができる。光学部に配設するレンズの枚数を適当に設定することによりＣＣＤエリアセンサ１３Ｒ、１３Ｌ上における視差ｄＲ、ｄＬと画像ＩＲ、ＩＬ上の視差ｄＲ、ｄＬの極性とを合わせることもできる。
【００４９】
図４から、次の（１）式〜（３）式が成り立つことが分かる。
【００５０】
ＤＲ：Ｚｄ＝ｄＲ：Ｆ …（１）
ＤＬ：Ｚｄ＝ｄＬ：Ｆ …（２）
Ｄ＝ＤＲ＋ＤＬ …（３）
これら（１）式〜（３）式から距離Ｚｄとずれ距離ＤＲとずれ距離ＤＬとをそれぞれ（４）式〜（６）式で求めることができる。
【００５１】
Ｚｄ＝Ｆ×Ｄ／（ＤＲ＋ＤＬ） …（４）
ＤＲ＝ｄＲ×Ｄ／（ｄＬ＋ｄＲ） …（５）
ＤＬ＝ｄＬ×Ｄ／（ｄＬ＋ｄＲ） …（６）
これら位置情報である距離Ｚｄとずれ距離ＤＲとずれ距離ＤＬとをクラスタリングして、対象物体Ｓについての識別符号としての、いわゆるアイディ（ＩＤ：Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）を付けることで、車両追従装置等への応用を図ることができる。
【００５２】
なお、実際上の問題として、ＣＣＤイメージセンサ１３Ｒ、１３Ｌの実効１画素の物理的な大きさの測定や焦点距離Ｆの測定は困難であるため、比較的正確に測定可能な画角を利用して距離Ｚｄ、ずれ距離ＤＲ、ＤＬを求める。
【００５３】
すなわち、例えば、カメラ１Ｒ、１Ｌの水平画角をθ、カメラ１Ｒ、１Ｌの水平方向の実効画素数（画像メモリ４Ｒ、４Ｌの水平画素数に等しい画素数）をＮ、視差ｄＲ、ｄＬに対応する画像メモリ４Ｒ、４Ｌ上の画素数をＮＲ、ＮＬとすると、次に示す（７）式〜（９）式から距離Ｚｄとずれ距離ＤＲとずれ距離ＤＬとをそれぞれ求めることができる。
【００５４】
Ｚｄ＝Ｎ×Ｄ／｛２（ＮＬ＋ＮＲ）ｔａｎ（θ／２）｝ …（７）
ＤＲ＝ＮＲ・Ｄ／（ＮＬ＋ＮＲ） …（８）
ＤＬ＝ＮＬ・Ｄ／（ＮＬ＋ＮＲ） …（９）
ここで、水平画角θは測定可能な値であり、水平方向画素数Ｎ（この実施の形態では、上述したようにＮ＝７６８）は予め定められており、視差ｄＲ、ｄＬに対応する画素数ＮＲおよびＮＬも取り込んだ画像から分かる値である。
【００５５】
次に、上述の画像の取り込みからＩＤを付けるまでの過程をフローチャートを利用して全体的に説明すれば、図６に示すようになる。
【００５６】
すなわち、ＡＤ変換器３Ｒ、３Ｌから出力される映像信号データがそれぞれ画像メモリ４Ｒ、４Ｌに取り込まれて格納される（ステップＳ１）。
【００５７】
ステップＳ１に続いて、画像メモリ４Ｒに記憶されたある領域の画像に対応する画像を画像メモリ４Ｌから求め、いわゆる画像の左右の対応を取る（ステップＳ２）。
【００５８】
対応を取った後、カメラ１Ｒ、１Ｌにおける視差ｄＲ、ｄＬを求め、位置情報に変換する（ステップＳ３）。
【００５９】
その位置情報をクラスタリングし（ステップＳ４）、ＩＤを付ける（ステップＳ５）。
【００６０】
位置演算装置７の出力である、ＩＤの付けられた出力は、本発明の要部ではないので、詳しく説明しないが、図示していない、例えば、道路・障害物認識装置等に送出されて自動運転システムを構成することができる。この自動運転システムでは、運転者に対する警告、自動車（ステレオカメラ１を積んだ自車）Ｍの衝突回避、前走車の自動追従等の動作を行うことができる。
【００６１】
この実施の形態において、上述の左右の画像の対応を取るステップＳ２では、いわゆる特徴に着目した方法ではなく、基本的には、従来技術の項で説明した画像中の領域に着目する方法を採用している。
【００６２】
すなわち、エッジ、線分、特殊な形など何らかの特徴を抽出し、それらの特徴が一致する部分が対応の取れた部分であるとする特徴に着目する方法は、取り扱う情報量が低下するので採用せず、一方の画像、この実施の形態では、右画像ＩＲから対象物体画像ＳＲを囲む小領域、いわゆるウィンドウを切り出し、この小領域に似た小領域を他方の左画像ＩＬから探すことにより対応を決定する方法を採用している。
【００６３】
この実施の形態において採用した画像中の領域に着目する方法では、２枚の画像ＩＬ、ＩＲ上において同一対象物体Ｓの対応を採る技術として、一方の画像上に適当なサイズのウィンドウを設定し、他方の画像においてこのウィンドウに対応する領域を求めるために、他方の画像に前記ウィンドウと同一サイズの領域を設定する。
【００６４】
次に、両画像上の各ウィンドウ内の画像（単に、ウィンドウ画像ともいう。）を構成する対応する各画素（詳しく説明すると、ウィンドウ画像中のマトリクス位置が対応する各画素）についての画素データ値、すなわち、輝度値を引き算して差を得、さらに輝度差の絶対値を得る。
【００６５】
そして、各対応する画素についての輝度差の絶対値の前記ウィンドウ内の和、いわゆる総和を求める。
【００６６】
この総和を左右画像の一致度（対応度ともいう。）Ｈと定義する。このとき、右画像ＩＲと左画像ＩＬのウィンドウ内の対応座標点（ｘ，ｙ）の輝度（画素データ値）をそれぞれＩＲ（ｘ，ｙ）、ＩＬ（ｘ，ｙ）とし、ウィンドウの横幅をｎ画素（ｎは画素数）、縦幅をｍ画素（ｍも画素数）とするとき、ずらし量をｄｘ（後述する）とすれば、一致度Ｈは、次の（１０）式により求めることができる。
【００６７】
Ｈ（ｘ，ｙ）＝Σ（ｊ＝１→ｍ）Σ（ｉ＝１→ｎ）｜Ｉｄ｜ …（１０）
ここで、
｜Ｉｄ｜＝｜ＩＲ（ｘ＋ｉ，ｙ＋ｊ）−ＩＬ（ｘ＋ｉ＋ｄｘ，ｙ＋ｊ）｜
である。記号Σ（ｉ＝１→ｎ）は、｜Ｉｄ｜についてのｉ＝１からｉ＝ｎまでの総和を表し、記号Σ（ｊ＝１→ｍ）は、Σ（ｉ＝１→ｎ）｜Ｉｄ｜の結果についてのｊ＝１からｊ＝ｍまでの総和を表すものとする。
【００６８】
この（１０）式から、一致度Ｈが小さいほど、言い換えれば、輝度差の絶対値の総和が小さいほど、左右のウィンドウ画像が良く一致していることが分かる。
【００６９】
この場合、分割しようとするウィンドウ、すなわち小領域の大きさが大きすぎると、その領域内に相対距離Ｚｄの異なる他の物体が同時に存在する可能性が大きくなって、誤対応の発生する可能性が高くなる。一方、小領域の大きさが小さすぎると、誤った位置で対応してしまう誤対応、あるいは、ノイズを原因とする誤対応が増加してしまうという問題がある。本発明者等は、種々の実験結果から、最も誤対応が少なくなる小領域の大きさは、横方向の画素数ｎがｎ＝７〜９程度、縦方向の画素数ｍがｍ＝１２〜１５程度の大きさであることをつきとめた。
【００７０】
図７と図８は、対応処理装置６において一致度Ｈを求める対応計算を行う際の領域の動かし方の概念を示している。
【００７１】
図７に示すように、対応を取る元となる右画像ＩＲ上の所定領域（小領域または原領域ともいう。）３１は、Ｘ軸方向左端位置から右へ１画素ずつ６４０画素分移動していき、対応を取られる左画像ＩＬの所定領域（小領域または検索領域ともいう。）３２は、右画像ＩＲの原領域３１の左端位置に対応する位置（以下、原領域３１の水平方向の変移位置という。）から対応計算を行い、ずらし量ｄｘを右方向にエピポラーラインＥＰ上を０〜最大１２７画素分だけ１画素ずつ移動させて対応計算を行うようにしている。最大１２７画素のずれが有効な一致度Ｈの計算は、合計で（６４０−ｎ）×１２８回行われる。
【００７２】
なお、１２８画素分に限定する理由は、出力結果を利用する側の要求から水平画角θがθ＝４０°、最短の距離ＺｄがＺｄ＝５ｍ、使用できるステレオカメラ１（カメラ１Ｒとカメラ１Ｌ）の水平方向の画素数ＮがＮ＝７６８、設置できる基線長ＤがＤ＝０．５ｍから、下記の（１１）式に当てはめると、ＮＬ＋ＮＲ＝１０５画素となり、ハードウェアにおいて都合のよい２の累乗でこれに近い値の２＝１２８を選んだからである。
【００７３】

このことは、右画像ＩＲ中、Ｘ＝０（左端）の位置に撮像された対象が、かならず、左画像ＩＬのずらし量ｄｘ＝０〜１２７に対応する０番目の画素位置から１２７番目の画素位置内に撮像されていることを意味する。したがって、Ｘ座標値（変移位置ともいう。）Ｘ＝０を基準とする原領域３１内の撮像対象は、左画像ＩＬのＸ座標値Ｘ＝０を基準として、ずらし量ｄｘ＝０〜１２７の範囲に撮像されていることを意味する。同様にして右画像ＩＲのＸ座標値Ｘ＝６４０−ｎを基準とする原領域３１内の撮像対象は、左画像ＩＬのＸ座標値Ｘ＝６４０−ｎを基準として、ずらし量ｄｘ＝０〜１２７の範囲に撮像されていることになる。
【００７４】
このとき、検索領域３２の最右端の画素がＸ座標値Ｘ＝６４０＋ｎ＋１２７＝７６７（７６８番目）の最右端の画素になるので、それ以上、右画像ＩＲの原領域３１を右方向にずらすことは、一般に、無意味である。右画像ＩＲ中、Ｘ座標値Ｘ＝６４０−ｎより右側の撮像対象は、左画像ＩＬに撮像されないからである。しかし、遠方の画像については対応がとれるため、有意なこともあるので、本発明においては、対応すべき画像のない部分の画素については８ビットの最大値２５５があるものとして一応計算を行なっている。メモリや計算時間を節約するためにはＸ座標値Ｘ＝６４０−ｎまでで打ち切ることが有効である。
【００７５】
そこで、図８のフローチャートに示すように、まず、右画像ＩＲ中のＸ座標値Ｘ＝０を変移位置とする原領域３１を取り出し（ステップＳ１１）、左画像ＩＬの検索領域３２のずらし量ｄｘをｄｘ＝０に設定する（ステップＳ１２）。
【００７６】
次に、ずらし量ｄｘがｄｘ＝１２７を超える値であるかどうか、すなわちｄｘ＝１２８であるかどうかを判定する（ステップＳ１３）。
【００７７】
この判定が否定的であるときには、対応度Ｈの計算をするために、左画像ＩＬの検索領域（小領域）３２分の画素データを取り出す（ステップＳ１４）。
【００７８】
次いで、小領域３１と小領域３２の各画素の差の絶対値の総和、すなわち、（１０）式に示す一致度Ｈを求め記憶する（ステップＳ１５）。
【００７９】
次に、ずらし量ｄｘをｄｘ→ｄｘ＋１（この場合、ｄｘ＝１）として１画素分増加する（ステップＳ１６）。
【００８０】
このとき、ステップＳ１３の判定は成立しないので、次に、ずらし量ｄｘ＝１を基準に検索領域３２を取り出し（再び、ステップＳ１４）、このずらし量ｄｘ＝１基準の検索領域３２とＸ座標値（変移位置ともいう。）ＸがＸ＝０の原領域３１とで一致度Ｈを計算して記憶する（再び、ステップＳ１５）。
【００８１】
同様にして、ずらし量ｄｘがｄｘ＝１２８になるまで（ステップＳ１３の判定が成立するまで）Ｘ座標値Ｘ＝０の原領域３１についての一致度Ｈを計算する。
【００８２】
ステップＳ１３の判定が肯定的であるとき、すなわち、Ｘ座標値ＸがＸ＝０の原領域３１について計算した一致度Ｈのうち、負のピーク値である最小値Ｈｍｉｎとその近傍の値を求め、記憶しておく（ステップＳ１７）。
【００８３】
次に、繁雑になるので、図８のフローチャート中には記載しないが、右画像ＩＲ中の変移位置Ｘ＝１〜７６７（または６４０−ｎ）まで、上述のステップＳ１１〜１７を繰り返し、各変移位置Ｘにおける右画像ＩＲの原領域３１に最も対応する左画像ＩＬの検索領域３２を検出する。
【００８４】
図９は、図７の動作説明図、図８のフローチャートに基づいて、一致度Ｈの計算等を行う対応処理装置６の詳細な構成を示すブロック図である。
【００８５】
図９中、スキャン座標生成部６１において、対応処理を行おうとする右画像ＩＲに対する原領域３１と左画像ＩＬに対する検索領域３２の座標（上述の図７に示す変移位置Ｘとずらし量ｄｘおよびエピポラーラインＥＰのＹ座標値）が生成される。
【００８６】
このスキャン座標生成部６１で生成された座標に基づいて、画像メモリ４Ｒ、４Ｌから読み出す小領域のアドレスを画像メモリアドレス生成部６４により生成する。
【００８７】
さらにスキャン座標生成部６１で生成された座標に基づいて、詳細を後述する補正テーブル６３から補正データ（補正情報）を読み出すための補正テーブルアドレスが補正テーブルアドレス生成部６２で生成される。
【００８８】
画像メモリ４Ｒ、４Ｌから読み出された画像データに基づく一致度Ｈの計算、いわゆる相関演算が相関演算部６５で行われ、相関演算結果が相関メモリ６７に記憶される。また、ずらし量ｄｘに対応して相関演算結果のピーク値、すなわち一致度Ｈの最小値Ｈｍｉｎ等がピーク値検出部６６により検出され、検出されたピーク値がピーク値メモリ６８に記憶される。
【００８９】
補正テーブル６３に格納される補正データは、いわゆるシェージング補正のためのデータである。
【００９０】
すなわち、図１０に示すように、理想的レンズの透過強度特性７１に比較して実際のレンズ１１の場合には、透過強度特性７２に示すように、レンズ１１の中心、すなわち、光軸１５Ｒ、１５Ｌからの距離に応じて周辺光量（透過強度）が低下する、いわゆるコサイン４乗則による強度低下が発生する。コサイン４乗則は、入射強度をＩｉｎ、出射強度をＩｏｕｔとするとき、周知のように、次の（１２）式により得られる。
【００９１】
Ｉｏｕｔ＝Ｉｉｎ×（ｃｏｓφ）^４ …（１２）
但し、φ：入射光の傾きの角度
なお、この実施の形態においては、後に詳しく説明するように、ＮＤフィルタ組立体１２Ｒを使用しているので、いわゆる機械的な開口絞りは設けておらず、したがって、開口絞りの開口径の変化を原因とする口径食に基づくシェージングの変化はない。実際上、シェージング補正データは、ＣＣＤイメージセンサ１３Ｒ、１３Ｌも含めて、基準となる明度の被写体を測定することで得ることができる。カメラ１Ｒ、１Ｌで得られた画像データをシェージング補正データで補正することにより、図１０の理想的レンズの場合の透過強度特性７１が得られる。このシェージング補正データが補正テーブル６３に格納されている。
【００９２】
対応処理装置６により一致度Ｈを計算する相関演算の際には、対応を取る領域の原領域３１と検索領域３２とは、上述したようにエピポラーラインＥＰ上を水平方向に移動させる必要がある。したがって、対応する原領域３１と検索領域３２の明るさ（輝度）が、上述のシェージングを原因として左右の画像ＩＲ、ＩＬ上で異なってしまうため、シェージング補正は重要である。
【００９３】
上述したように、スキャン座標生成部６１で生成された対応を取るべき座標に基づいて、補正テーブルアドレス生成部６２により生成された指定アドレスにより補正テーブル６３からシェージング補正データ（補正情報）を読み出し、画素の画像情報（輝度情報）に乗算してシェージング補正後の画像データを得ることができる。補正乗数Ｃは、画像メモリ４Ｒ、４Ｌの各画素位置毎に、固定小数点の８ビット（整数部１ビット、小数部７ビット）で持っている。なお、画像情報が対数的に変化する場合には、符号付き整数の加算を行うことで補正が可能であることはいうまでもない。
【００９４】
ここで、本発明の要部に係る減光機能を制御する露光量調整装置８に係る動作を説明する。
【００９５】
露光量調整装置８は、この実施の形態において、右画像ＩＲ中の原領域３１を構成する画素データを平均し、その値が、所定の範囲、この実施の形態においては、画素データが８ビットデータであるので２５６階調あり、その中央付近の８０〜１６０階調の間に入るように、図１１Ａおよび図１１Ｂに示すルックアップテーブルである露光量設定テーブル（合成利得設定テーブルともいう。）８Ａおよび８Ｂを参照して、合成利得ＡＳ〔ｄＢ〕を決定する。合成利得ＡＳを決定することにより、ＣＣＵ２Ｒ、２Ｌの増幅利得ａ１〔ｄＢ〕と、ＣＣＤイメージセンサ１３Ｒ、１３Ｌの電子シャッタ時間（正確には、電子シャッタ時間を図１１Ａ、Ｂの（ ）中に示す利得に換算した等価的な利得〔ｄＢ〕）ａ２と、ＮＤフィルタ組立体１２Ｒ、１２Ｌに係る光量低下利得ａ３〔ｄＢ〕とが自動的に決定される。
【００９６】
たとえば、周囲の明るさが明から暗に変化する正午を超える夕方時から午前０時まで等においては、図１１Ａに示す露光量設定テーブル８Ａを参照する。例として、合成利得ＡＳがＡＳ＝−１８ｄＢに選定された場合には、ＣＣＵ２Ｒ、２Ｌの増幅利得ａ１が共にａ１＝０ｄＢに設定され、ＣＣＤイメージセンサ１３Ｒ、１３Ｌの電子シャッタ時間ａ２が１／５００秒（利得換算では−１８ｄＢ）に設定され、ＮＤフィルタ組立体１２Ｒ、１２Ｌが、それぞれ、素通し（図３Ａ）の状態（利得換算では、光量低下利得ａ３＝０ｄＢ）に設定される。
【００９７】
この場合、夕方時においては、周囲の明るさが徐々に暗くなることから、映像信号の振幅を増加させるために合成利得ＡＳを時間の経過に応じて徐々に大きくする方向に変化させる必要があるが、明から暗時用の露光量設定テーブル８Ａを参照して合成利得ＡＳを設定した場合には、合成利得ＡＳをＡＳ＝−１８ｄＢから大きくする場合に電気的に切換可能な電子シャッタ時間ａ２と増幅利得ａ１のみを大きくすれば済むように設定しているので、機械的に作動するＮＤフィルタ組立体１２Ｒ、１２Ｌを切り換える作業が不要となり（上例では、素通しのまま）、信頼性が向上し、かつその作動に伴う騒音等の発生を少なくすることができるという効果が達成される。
【００９８】
なお、実際上、正午時等においては、周囲の明るさが６ｄＢ変化することは希であり、明るさが変化しない時刻においても、当然、ＮＤフィルタ組立体１２Ｒ、１２Ｌの作動が最小限になる。
【００９９】
同様に、例えば、明け方時等においては、周囲の明るさが徐々に明るくなることから、映像信号の振幅を減少させるために合成利得ＡＳを小さくする方向に変化させる必要があるが、図１１Ｂの暗から明時に係る露光量設定テーブル８Ｂを参照して合成利得ＡＳを、例えば、当初、合成利得ＡＳ＝−１８ｄＢに設定した場合には、駆動回路５Ｒ、５Ｌを通じてフィルタ切換用モータ２５が回転され、利得を１８ｄＢ低下させるＮＤフィルタ２３が光軸１５Ｒに設定された後、合成利得ＡＳがＡＳ＝−３０ｄＢから−３６ｄＢに変化する時点でのみ１回だけＮＤフィルタ組立体１２Ｒ、１２Ｌが作動される。
このように、この実施の形態では、明から暗時への変化用の露光量設定テーブル８Ａと、暗から明時への変化用の露光量設定テーブル８Ｂとを備え、周囲の明るさが明るくなっていく場合と暗くなっていく場合とでは組み合わせを変え、ＮＤフィルタ組立体１２Ｒ、１２Ｌの利得切り換えにさしかかる明度変化ではＮＤフィルタ組立体１２Ｒ、１２Ｌが繁雑に作動しないように工夫している。
【０１００】
ステップ的に３段階（０ｄＢ、−１８ｄＢ、−３６ｄＢ）に変化する減光機構であるＮＤフィルタ組立体１２Ｒ、１２Ｌを採用することにより、従来技術のように、開口絞りを連続的にフィードバック制御する必要がなくなるという利点が得られる。
【０１０１】
また、開口絞りを使用していないので、絞りの変化による上述のシェージング量の変化が一定になる、言い換えれば、絞りの変化による周辺光量の増減がなくなることから、補正テーブル６３に準備しておくシェージング補正データも１種類でよくなる。したがって、補正値を絞りに応じて変化させる必要がなくなり、メモリ素子等のトータル的な資源の減少および演算時間を短くすることができるという利点も得られる。
【０１０２】
すなわち、この実施の形態によれば、光学的絞りが、実際上、実質的に開放状態となり、周辺光量の変化の割合は一定になる。開口絞りは不要となり、その分、機構を簡単にすることができる。
【０１０３】
さらに、レンズ１１Ｒ、１１Ｌの口径を、常に、最大限に使用することができるため、レンズ１１Ｒ、１１Ｌの前方（被写体側）に配される光学ガラスに付着した汚れやごみを原因とする画像上の影響を低減できる。すなわち、開口絞りを使う場合に、例えば、日中には、絞りが絞りこまれることから被写体深度が深くなり、汚れやごみ等が画像上に雑音としてはっきり写ってしまい、誤対応が発生する可能性が大きくなるが、このような問題をＮＤフィルタ組立体１２Ｒ、１２Ｌの利用により未然に回避することができる。
【０１０４】
次に、図１２は、図６、図７を参照して説明した一致度Ｈを求めるための相関演算部６５の詳細な構成を示している。
【０１０５】
この相関演算部６５は、基本的には、第１〜第４の演算ブロック８１〜８４を有する、いわゆるパイプライン方式的処理である並列処理方式を採用している。
【０１０６】
理解の容易化のために、まず、パイプライン方式的処理を考慮しないで、具体的には、ＦＩＦＯメモリ６５ｉが存在しないものとして、第１の演算ブロック８１のみで、図６、図７を参照して説明した一致度Ｈを求めるための動作について説明する。そして、上述のように、誤対応が最も少なくなるそれぞれの小領域（原領域３１と検索領域３２）の大きさとしては、横方向の画素数ｎがｎ＝７〜９画素程度、縦方向の画素数ｍがｍ＝１２〜１５画素程度であるが、ここでは、理解を容易にするために、ｎ＝４、ｍ＝５として説明する。
【０１０７】
図１３は、このような前提のもとでの、エピポラーラインＥＰ上に乗る仮想的な右画像データＩｒｄの例を示している。原領域３１の対象となる全画素データ数は、ｍ×６４０＝５×６４０箇であるものとする。
【０１０８】
図１４は、同様に、エピポラーラインＥＰ上に乗る仮想的な左画像データＩｌｄの例を示している。検索領域３２の対象となる全画素データ数は、ｍ×７６８＝５×７６８箇であるものとする。
【０１０９】
図１２において、画像メモリ４Ｒから端子８５を通じて原領域３１の右画像データＩｒｄが乗算器６５ｊの一方の端子に供給され、画像メモリ４Ｌから端子８６を通じて検索領域３２の左画像データＩｌｄが乗算器６５ｋの一方の端子に供給される。
【０１１０】
乗算器６５ｊ、乗算器６５ｋの他方の端子には、補正テーブル６３からそれぞれ端子８７、８８を通じてシェージング補正データが供給され、シェージング補正後の右画像データＩｒｄが減算器６５ａの被減算入力端子に供給され、シェージング補正後の左画像データＩｌｄが減算器６５ａの減算入力端子に供給される。
【０１１１】
一般的に説明すると、減算器６５ａでは、縦方向の左右の画素データの差を取り、その差の絶対値が絶対値演算器６５ｂで取られる。加算器６５ｃは、縦方向の左右の画素データの差の絶対値の和を取るとともに、ラッチ６５ｄにラッチされている前列の縦方向の左右の画素データの差の絶対値の和を加算する。
【０１１２】
ＦＩＦＯメモリ６５ｅには、横方向の画素数ｎに対応するｎ段分、この実施の形態では、当該列の分を除いて左側（前側）に４（＝ｎ）列分の縦方向の左右の画素データの差の絶対値の和が保持される。すなわち、この実施の形態において、ＦＩＦＯメモリ６５ｅは、最初（入力側）のメモリ６５ｅ１〜最後（出力側）のメモリ６５ｅ４までの４段ある。
【０１１３】
具体的に説明すると、１回目の演算（１列１行目）で加算器６５ｃの出力側には、１列１行目の左右の画素データの差の絶対値｜Ａ１−ａ１｜が現れ、かつ、この値｜Ａ１−ａ１｜がラッチ６５ｄに保持される。
【０１１４】
２回目の演算（１列目２行目）で１列２行目の左右の画素データの差の絶対値｜Ａ２−ａ２｜とラッチ６５ｄに保持されているデータ｜Ａ１−ａ１｜との和、すなわち、｜Ａ２−ａ２｜＋｜Ａ１−ａ１｜が加算器６５ｃの出力側に現れる。
【０１１５】
したがって、５回目の演算後には、次の（１３）式に示す１列目の左右の画素データの差の絶対値の和（データ）Σ▲１▼（以下、２列目以降を順次、Σ▲２▼、Σ▲３▼、Σ▲４▼、…Σ６４１とする。）が加算器６５ｃの出力側に現れ、この和Σ▲１▼は、ラッチ６５ｄに保持される。また、このデータΣ▲１▼は、ＦＩＦＯメモリ６５ｅの最初のメモリ６５ｅ１に格納される。
【０１１６】
Σ▲１▼＝｜Ａ１−ａ１｜＋｜Ａ２−ａ２｜＋｜Ａ３−ａ３｜＋｜Ａ４−ａ４｜＋｜Ａ５−ａ５｜ …（１３）
この１列目の左右の画素データの差の絶対値の和Σ▲１▼が、最初のメモリ６５ｅ１に格納された後、ラッチ６５ｄは、端子８９から供給される制御信号によりリセットされる。
【０１１７】
このようにして、ずらし量ｄｘの値がｄｘ＝０での小領域３１、３２間での全ての１回目の計算が終了する４列（４＝ｎ）５行（５＝ｍ）目の演算終了後のラッチ６５ｄに格納されるデータ値とＦＩＦＯメモリ６５ｅに格納されるデータ値とラッチ６５ｈに格納されるデータ値等を図１５に模式的に示す。
【０１１８】
図１５において、ずらし量ｄｘの値がｄｘ＝０の場合における次の（１４）式に示す最初に求められる一致度Ｈ０が加算器６５ｇの出力側に現れている点に留意する。
【０１１９】
Ｈ０＝Σ▲１▼＋Σ▲２▼＋Σ▲３▼＋Σ▲４▼ …（１４）
次に、５列５行目の演算終了後の図１５に対応する図を図１６に示す。図１６から分かるように、ずらし量ｄｘの値がｄｘ＝０の場合の検索領域３２に対する一致度Ｈ０が出力端子９０に現れる。
【０１２０】
この場合、加算器６５ｆの出力側には、５列目のデータΣ▲５▼と１列目のデータΣ▲１▼との差Σ▲５▼−Σ▲１▼が現れるので、加算器６５ｇの出力側には、ずらし量ｄｘの値がｄｘ＝１の場合の検索領域３２に対する次の（１５）式に示す一致度Ｈ１が現れることになる。
【０１２１】
Ｈ１＝Σ▲２▼＋Σ▲３▼＋Σ▲４▼＋Σ▲５▼ …（１５）
ここで、実際の小領域１５×１５を水平方向にＸ＝０〜６３９まで移動し、ずらし量ｄｘをｄｘ＝１２８までの各一致度Ｈを求める際に、この実施の形態では、原領域３１の左画像ＩＬ上で１画素分右にずらした位置での対応度Ｈを求めるとき、左端の縦方向の和（上例ではΣ▲１▼）を減じて右に加わる新たな列の縦方向の和（上例ではΣ▲５▼）を加えるようにしているので、演算回数を１５×６４０×１２８＝１，２２８，８００回にすることができる。すなわち、小領域の横方向の幅（画素数）は計算時間に無関係になる。
【０１２２】
もし、上例のように演算しなくて、１５×１５の小領域を移動させこの小領域毎に各領域を構成する画素データの差を取って、一致度Ｈを、水平方向Ｘ＝０〜６３９までずらし量ｄｘを１２８まで計算することにすると、演算回数は１５×１５×６４０×１２８＝１８，４３２，０００回となり、最も演算時間のかかる絶対値演算器６５ｂの１回の演算時間を１００ｎｓで実行した場合でも、総演算時間が１８４３ｍｓかかることになる。これに対して上例では、総演算時間を１２３ｍｓであり、約１／１５に低減することができる。
【０１２３】
しかし、この総演算時間１２３ｍｓは、ＮＴＳＣ方式のフレームレートである３３ｍｓより大きいので、フレームレート毎に、言い換えれば、１画面毎に一致度Ｈを計算する場合には、総演算時間１２３ｍｓを約１／４以下の時間にする必要がある。
【０１２４】
そこで、この実施の形態では、図１２に示したように、第１演算ブロック８１と同一構成の第２〜第４演算ブロック８２〜８４を設け、縦方向の画素数ｍと同数のＦＩＦＯメモリ６５ｉを直列に接続している。
【０１２５】
この場合、簡単のために、図１３、図１４と同じ画像データを利用してパイプライン方式的処理動作を説明すれば、最初に、第１〜第２演算ブロック８１、８２を構成するＦＩＦＯメモリ６５ｅを通じて、第３の演算ブロック８３を構成するＦＩＦＯメモリ６５ｉに１列目の画素データａ１〜ａ５までを転送する。したがって、この転送時点で、第２の演算ブロックを構成するＦＩＦＯメモリ６５ｉには２列目の画素データｂ１〜ｂ５が転送され、第１の演算ブロックを構成するＦＩＦＯメモリ６５ｉには３列目の画素データｃ１〜ｃ５が転送される。
【０１２６】
次に、次の４列目の画素データｄ１〜ｄ５を第１演算ブロック８１のＦＩＦＯメモリ６５ｉに順次転送したとき、第４演算ブロック８４では右１列目の画素データＡ１〜Ａ５と左１列目の画素データａ１〜ａ５に関連する上述の演算が行われ、第３演算ブロック８３では右１列目の画素データＡ１〜Ａ５と左２列目の画素データｂ１〜ｂ５に関連する上述の演算が行われ、第２演算ブロック８２では右１列目の画素データＡ１〜Ａ５と左３列目の画素データｃ１〜ｃ５に関連する上述の演算が行われ、第１演算ブロック８１では右１列目の画素データＡ１〜Ａ５と左４列目の画素データｄ１〜ｄ５に関連する上述の演算が行われる。
【０１２７】
次いで、右２列目の画素データＢ１〜Ｂ５の転送に同期して次の左５列目の画素データｅ１〜ｅ５を第１の演算ブロック８１のＦＩＦＯメモリ６５ｉに順次転送したとき、第４演算ブロック８４では右２列目の画素データＢ１〜Ｂ５と左２列目の画素データｂ１〜ｂ５に関連する演算が行われ、第３演算ブロック８３では右２列目の画素データＢ１〜Ｂ５と左３列目の画素データｃ１〜ｃ５に関連する演算が行われ、第２演算ブロック８２では右２列目の画素データＢ１〜Ｂ５と左４列目の画素データｄ１〜ｄ５に関連する演算が行われ、第１演算ブロック８１では右２列目の画素データＢ１〜Ｂ５と左５列目の画素データｅ１〜ｅ５に関連する上述の演算が行われる。
【０１２８】
このようにして、次に、右３列目の画素データＣ１〜Ｃ５の転送に同期して次の左６列目の画素データｆ１〜ｆ５を順次同期して転送するようにすれば、第４演算ブロック８４では、ずらし量ｄｘがｄｘ＝０、ｄｘ＝４、……についての一致度Ｈを計算でき、同様に、第３の演算ブロック８３では、ずらし量ｄｘがｄｘ＝１、ｄｘ＝５、……についての一致度Ｈを計算でき、第２の演算ブロック８２では、ずらし量ｄｘがｄｘ＝２、ｄｘ＝６、……についての一致度Ｈを計算でき、第１の演算ブロック８１では、ずらし量ｄｘがｄｘ＝３、ｄｘ＝７、……についての一致度Ｈを同時に計算することできる。
【０１２９】
このように、パイプライン方式的処理の４並列にすれば、演算時間を約１／４に低減することができる。なお、上述の説明から理解できるように、第４演算ブロック８４中のＦＩＦＯメモリ６５ｉは不要である。
【０１３０】
この場合、図１２例の４並列による動作によれば、１フレームレートで１フレームの画像についての６４０点の距離情報が求まり、左画像ＩＬの横７６８画素×縦１５画素の帯領域の処理が完了するが、これは１画像領域が７６８×２４０画素であることを考えると、全画像領域の１／１６になる。
【０１３１】
なお、左右のカメラ１Ｒ、１Ｌの上下方向の取付位置がずれた場合等を想定した場合には、当初のエピポラーラインＥＰ上に対応する対象物画像が存在しなくなる場合も考えられる。この場合、図示はしないが、例えば、図９の対応処理装置６の構成を４並列にし、画像の縦方向の処理を４並列にすることにより、横７６８画素、縦１５画素の帯領域４つをフレームレートで処理することが可能となる。この場合に、領域が重ならないようにすることで、最大１２７画素のずれまで検出できる距離情報を１フレームレートで（６４０−ｎ）×４点出力できる。
【０１３２】
図１２例の相関演算部６５の処理により、１本のエピポラーラインＥＰ上における右画像ＩＲ中の６４０個の原領域３１のそれぞれに対して、ずらし量ｄｘがｄｘ＝０〜１２７の検索領域３２についての１２８個の一致度Ｈが演算され、この演算結果の一致度Ｈが、相関メモリ６７に格納される。
【０１３３】
また、１個の原領域３１、すなわち、各変移位置Ｘに対する１２８個の検索領域３２のうち、一致度Ｈが最小値となる値（ピーク値ともいう。）をピーク値検出部６６で検出し、検出したピーク値（最小値）Ｈｍｉｎを、そのときの変移位置Ｘとずらし量ｄｘに対応させてピーク値メモリ６８に記憶する。ピーク値メモリ６８は、一致度Ｈのピーク値（最小値）記憶テーブルとして機能する。
【０１３４】
変移位置Ｘとずらし量ｄｘをアドレスとして一致度Ｈが記憶されている相関メモリ６７と、その最小値としてのピーク値Ｈｍｉｎが記憶されているピーク値メモリ６８が位置演算装置７に接続されている。
【０１３５】
位置演算装置７は、一致度Ｈとそのピーク値Ｈｍｉｎとを参照し、図１７に示すフローチャートに基づいて、対象物体Ｓの３次元空間での位置Ｐを求める。
【０１３６】
変移位置Ｘが所定の変移位置であるＸ＝Ｘｐの原領域３１についての位置Ｐの算出方法について説明する。
【０１３７】
まず、所定の変移位置Ｘｐの原領域３１についての一致度Ｈについての、ピーク値Ｈｍｉｎと、そのときのずらし量ｄｘ（このずらし量ｄｘをずらし量ｄｘｍｉｎと呼ぶ）をピーク値メモリ６８から取り込む（ステップＳ２１）。
【０１３８】
次に、このずらし量ｄｘｍｉｎの近傍の左右各２個の一致度Ｈ、すなわち、ずらし量ｄｘがずらし量ｄｘｍｉｎより３つ少ないずれ量ｄｘｍｉｎ_−２および３つ多いずれ量ｄｘｍｉｎ_＋２の各位置における一致度Ｈｍｉｎ_−２、Ｈｍｉｎ_＋２を取り込む（ステップＳ２２）。
【０１３９】
次に、次の（１６）式に基づいて谷の深さ（ピーク深さともいう。）Ｑを求める（ステップＳ２３）。
【０１４０】
Ｑ＝ｍｉｎ｛Ｈｍｉｎ_−２／Ｈｍｉｎ，Ｈｍｉｎ_＋２／Ｈｍｉｎ｝ …（１６）
この（１６）式は、ピーク値Ｈｍｉｎに対する、これから２つ隣の一致度Ｈｍｉｎ_−２、Ｈｍｉｎ_＋２の大きさの各比のうち、最小値を取ることを意味する。
【０１４１】
そして、この谷の深さＱが所定の閾値ＴＨ以上の値であるかどうか（Ｑ≧ＴＨ）を判定し（ステップＳ２４）、所定の閾値ＴＨ以上の値である場合には、ピーク値Ｈｍｉｎであり、ずらし量ｄｘｍｉｎの検索領域３２が所定の変移位置Ｘｐの原領域３１に対応する領域であると同定して次のステップＳ２５に進む。
【０１４２】
一方、ステップＳ２４の結果が否定的である場合には、ピーク値Ｈｍｉｎであり、ずらし量ｄｘｍｉｎの検索領域３２が所定の変移位置Ｘｐの原領域３１に対応する領域ではないと判断して、次の変移位置Ｘｐ＋１の原領域３１に対する対応する検索領域３２を求める処理が全て終了したかどうかを判定し（ステップＳ２８）、全ての変移位置Ｘに対応する処理が終了していない場合には、そのステップＳ２１〜Ｓ２４の処理を繰り返す。
【０１４３】
この実施の形態において、一致度Ｈのピーク値Ｈｍｉｎを変移位置Ｘｐの原領域３１に対応する検索領域３２であると直ちに同定しないで、その近傍を見て（ステップＳ２２）、その谷の深さＱを計算し（ステップＳ２３）、その谷の深さＱが所定の閾値ＴＨ以上の場合にのみ、一致度Ｈのピーク値Ｈｍｉｎが得られるずらし量ｄｘｍｉｎの検索領域３２が、変移位置Ｘｐの原領域３１に対応する検索領域３２であると同定する理由は、雑音の混入または画像ＩＲ、ＩＬの被写体の画像濃度が一様である場合等に、一致度Ｈのピーク値Ｈｍｉｎが得られる。ずらし量ｄｘｍｉｎの検索領域３２が、変移位置Ｘｐの原領域３１に必ずしも対応するとは限らないからである。
【０１４４】
すなわち、ずらし量ｄｘｍｉｎの位置の近傍領域を考慮して、谷の深さＱが、所定の閾値ＴＨより小さいものは、対応がよく取れていないと判断し、その一致度Ｈのピーク値Ｈｍｉｎは利用しないこととした。なお、所定の閾値ＴＨは、この実施の形態においては、ＴＨ＝１．２とした。
【０１４５】
ステップＳ２４の判断が肯定的であるとき、ずらし量ｄｘの真の値（真のピーク位置という）ｄｓを次に示す補間処理により求める（ステップＳ２５）。すなわち、図１８に示すように、最小位置座標を（ｄｘｍｉｎ，Ｈｍｉｎ）とし、その前後の位置座標をそれぞれ（ｄｘｍｉｎ_−１，Ｈｍｉｎ_−１）、（ｄｘｍｉｎ_＋１，Ｈｍｉｎ_＋１）とするとき、前後の一致度Ｈｍｉｎ_−１、Ｈｍｉｎ_＋１の大きさを比較して、それぞれ次の（１７）式〜（１９）式で示す値に推定する。
【０１４６】

この（１７）式〜（１９）式の補間式を用いて真のピーク位置ｄｓを求めた場合には、補間しない場合に比較して、位置精度が３倍向上することを実験的に確認することができた。
【０１４７】
結局、ステップＳ２５の補間処理終了後に、変移位置Ｘｐの原領域３１に最も対応する検索領域３２の真のピーク位置ｄｓが求まることになる。
【０１４８】
このようにして求められた変移位置Ｘｐと真のピーク位置ｄｓは、それぞれ、図５に示す右画像ＩＲ上の対象物体画像ＳＲの視差ｄＲと左画像ＩＬ上の対象物体画像ＳＬの視差ｄＬに対応する。
【０１４９】
しかし、実際上、フロントガラスやカメラ１Ｒ、１Ｌの対物レンズ１１Ｒ、１１Ｌの光学特性によって、左右の画像ＩＲ、ＩＬには、例えば、ピンクッション的歪、あるいはバレル的歪が存在するので、これらによる歪補正を行った視差ｄＲと視差ｄＬとを求める。
【０１５０】
そこで、これら歪補正を行った視差ｄＲと視差ｄＬを測定値として、上述の（４）式〜（６）式から対象物体Ｓまでの奥行き方向の距離Ｚｄと、その距離Ｚｄからの左右の偏差にかかるずれ距離ＤＲとずれ距離ＤＬとの３次元位置情報を求めることができる（ステップＳ２７）。
【０１５１】
ステップＳ２８では、エピポラーラインＥＰ上の全ての変移位置Ｘでの原領域３１に対応する検索領域３２中の真のピーク位置ｄｓを求める演算が終了したかどうか、すなわち、Ｘ＝７６７であるかどうかを確認して処理を終了する。
【０１５２】
位置演算装置７で作成された、これら３次元位置情報である距離Ｚｄとずれ距離ＤＲとずれ距離ＤＬとはクラスタリングされ、対象物体Ｓについての識別符号としての、いわゆるアイディ（ＩＤ：Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）が付けられて、出力端子９０を通じて、次の処理過程である、図示しない道路・障害物認識装置等に接続される。
【０１５３】
道路・障害物認識装置等は、自動運転システムを構成し、運転者に対する警告、車体の自動衝突回避、前走車への自動追従走行などの動作を行うことができる装置である。この場合、例えば、自動追従走行を行うシステムとして、本出願人の出願による「物体検出装置およびその方法」（特願平７−２４９７４７号）を挙げることができる。
【０１５４】
なお、この発明は上述の実施の形態に限らず、この発明の要旨を逸脱することなく種々の構成を採り得ることはもちろんである。
【０１５５】
【発明の効果】
以上説明したように、この発明によれば、減光フィルタを挿入または非挿入とすることで入射光量、言い換えれば、露光量を変化させているので、開口絞りを変化させる必要がなくなり、実質的に開放状態とすることができるという効果が達成される。すなわち、開口絞りを不要にすることができる。また、光量をステップ的に変化させるので、連続的なフィードバック制御が不要となり、装置構成が簡単になるという利点が得られる。
【０１５６】
その上、減光フィルタの光軸への挿抜機構は、同心状に口径が連続的に変化するもの（いわゆるアイリス絞り機構）に比較して構造が簡単であり、結果として簡便な機構で、複数のカメラ間の連動した光量調整を精度よく行うことができるという効果も達成される。
【０１５７】
これらにより、左右画像間の対応処理を正確なデータに基づいて行うことが可能となり、距離測定の精度が向上し、結果として、装置の信頼性が向上するという効果も達成される。
【０１６０】
さらにまた、この発明によれば、増幅利得値と減光フィルタと露光時間値との予め定められた組み合わせにより、光学部から画像信号出力手段までの合成利得値を決定するようにしているので、一層細かいステップで露光量を調整することができるとともに、より入射（外界）光量の大きな光量変化にも対応可能な最適な露光量を調整することができるという効果が達成される。
【０１６１】
なお、撮像素子部にＣＣＤイメージセンサを有するものとした場合に、露光時間は、このＣＣＤイメージセンサの電子シャッタ時間とすることができるので、ＣＣＤイメージセンサは元来正確なクロックパルスに基づいて動作しており、このクロックパルスを利用して露光時間の調整を電気的にかつ正確に行うことができるという派生的な効果が達成される。
【０１６２】
また、減光フィルタとしては、ＮＤフィルタや、多数の孔が開けられた孔あき板を使用することができる。孔あき板としては、金属板等に多数の孔が等間隔に開けられた、いわゆるパンチングメタルを採用することができる。ＮＤフィルタやパンチングメタルを利用した減光フィルタを絞りとすることで、上述のアイリス絞りに比較して、構成を簡単化でき、かつコストを低減することが可能となるという効果も達成される。
【図面の簡単な説明】
【図１】この発明の一実施の形態の構成を示すブロック図である。
【図２】ステレオカメラの据えつけ位置の説明に供される概略斜視図である。
【図３】ＮＤフィルタ組立体の構成および作用の説明に供される正面視的図であって、Ａは、いわゆる素通しの状態、Ｂは、−１８ｄＢのＮＤフィルタを光軸上に挿入した状態、Ｃは、−３６ｄＢのＮＤフィルタを光軸上に挿入した状態をそれぞれ示す図である。
【図４】三角測量の原理で距離を求める際の説明に供される平面視的図である。
【図５】対象物体にかかる左右画像上での視差の説明に供される線図であって、Ａは、左側画像、Ｂは、右側画像をそれぞれ表す図である。
【図６】図１例の装置の全体的な動作説明に供されるフローチャートである。
【図７】左右の小領域の対応処理の仕方の説明に供される図である。
【図８】図７例の説明に供されるフローチャートである。
【図９】対応処理装置の詳細な構成を含む装置の構成を示すブロック図である。
【図１０】レンズのシェージング補正の説明に供される特性図である。
【図１１】露光量調整用ルックアップテーブルを表す図であり、Ａは、周囲の明るさが明るい状態から暗い状態になる夕方時等に採用されるルックアップテーブル、Ｂは、周囲の明るさが暗い状態から明るい状態になる明け方時等に採用されるルックアップテーブルをそれぞれ表す図である。
【図１２】相関演算部の詳細な構成を示す回路ブロック図である。
【図１３】エピポラーライン上の左画像データの一部を模式的に表す線図である。
【図１４】エピポラーライン上の右画像データの一部を模式的に表す線図である。
【図１５】図１２例中、第１演算ブロックの動作説明に供されるブロック図である。
【図１６】図１２例中、第１演算ブロックの動作説明に供される他のブロック図である。
【図１７】位置演算装置の動作説明に供されるフローチャートである。
【図１８】補間演算の説明に供される線図である。
【符号の説明】
１…ステレオカメラ １Ｒ、１Ｌ…ビデオカメラ
２Ｒ、２Ｌ…カメラ制御ユニット ４Ｒ、４Ｌ…画像メモリ
５Ｒ、５Ｌ…駆動回路 ６…対応処理装置
７…位置演算装置 ８…露光量調整装置
１１Ｒ、１１Ｌ…対物レンズ
１２Ｒ、１２Ｌ…ＮＤフィルタ組立体
１３Ｒ、１３Ｌ…ＣＣＤイメージセンサ １４Ｒ、１４Ｌ…信号処理回路
１５Ｒ、１５Ｌ…光軸 ２３、２４…ＮＤフィルタ

Claims (6)

1. 画像情報を有する光を光学部及び撮像素子を有するステレオカメラにより電気信号に変換した後、増幅器で増幅した画像信号を得、該画像信号に基づく画像により物体までの距離を三角測量の原理に基づき測定する車両用環境認識装置において、
   減光率の異なる２つの減光フィルタを備えた減光フィルタ組立体が、機械的に挿入・非挿入可能に設けられた、前記ステレオカメラの左右それぞれの光学部と、
   露光時間が可変される前記撮像素子と、
   増幅利得が可変される前記増幅器と、
   前記減光フィルタ、前記露光時間及び前記増幅利得による合成利得を、前記減光フィルタ組立体の挿入・非挿入回数が最小となるように、外光による周囲の明るさが明から暗に変化する時間帯では徐々に大きく設定し、暗から明に変化する時間帯では徐々に小さくなるように設定した２つの露光量設定テーブルと、
   前記各時間帯に応じて前記２つの露光量設定テーブルのいずれか一方を参照し、前記減光フィルタ組立体の挿入・非挿入、前記撮像素子の露光時間及び前記増幅器の増幅利得の設定を行う露光量調整手段と、
   を備えることを特徴とする車両用環境認識装置。
2. 請求項１記載の装置において、
   前記撮像素子はＣＣＤイメージセンサで有り、前記露光時間は、このＣＣＤイメージセンサの電子シャッタ時間であることを特徴とする車両用環境認識装置。
3. 請求項１または２記載の装置において、
   前記減光フィルタをＮＤフィルタとしたことを特徴とする車両用環境認識装置。
4. 請求項１または２記載の装置において、
   前記減光フィルタを減光率の異なる２つのＮＤフィルタとし、この２つのＮＤフィルタの非挿入を含めて、前記露光量調整手段は、露光量を３段に切り換えることを特徴とする車両用環境認識装置。
5. 請求項３または４記載の装置において、
   前記ＮＤフィルタを、多数の孔が開けられた孔あき板に代替することを特徴とする車両用環境認識装置。
6. 請求項１記載の装置において、
   前記ステレオカメラを構成する左右のカメラから得られる画像信号により物体までの距離を三角測量の原理に基づき測定する際に、左右の画像上に同一サイズのウインドウ画像を設定し、左右ウインドウ画像内の各画素データ値の差の絶対値の総和を、前記左右のウインドウ画像中、一方のウインドウ画像に対する他方のウインドウ画像の一致度として求め、この一致度を求める計算を、前記左右の画像中、他方の画像上のウインドウ画像位置を変えて順次行い、前記一致度が最小になる他方の画像のウインドウ画像を、前記一方の画像のウインドウ画像に対応する領域であると計算する際に、前記ウインドウ画像の大きさの横方向の画素数を７〜９に選択し、縦方向の画素数を１２〜１５に選択した
   ことを特徴とする車両用環境認識装置。

Images