JP3958638B2 - ステレオ画像処理装置およびステレオ画像処理方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、一対の撮像画像に基づいて、一方の撮像画像における基準画素領域の相関先を他方の撮像画像において特定することにより、この基準画素領域に関する視差を算出するステレオ画像処理装置およびその方法に関する。
【０００２】
【従来の技術】
近年、撮像画像に写し出された対象物の認識を行うために、一対の撮像画像を用いて対象物の距離（すなわち視差）を算出するステレオ画像処理装置が知られている。このステレオ画像処理装置は、ステレオカメラから取得した一対の撮像画像に基づき、これら一対の撮像画像に写し出された同一対象物に関する位置的なずれ量、すなわち、視差を算出する。この視差算出に関する処理では、一方の撮像画像（基準画像）中にある基準画素領域に関して、その相関先を他方の撮像画像（比較画像）において特定する、所謂、ステレオマッチングが用いられる。
【０００３】
このステレオマッチングにおいて、視差は、基準画像と比較画像との間における水平方向のずれ量として現れるが、精度の高い視差を得るためには、視差以外の位置的なずれが一対の撮像画像間に存在しないことが望ましい。しかしながら、実際は、ステレオカメラの取付位置ずれ（水平方向、垂直方向、または回転方向のずれ）、あるいは、カメラの光学的なずれ（レンズの歪みまたはＣＣＤの受光面のあおり等）により、これに起因したずれが各画像に生じている場合がある。そのため、従来では、このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換が行われている。
【０００４】
ところで、従来から、ステレオカメラに内蔵されるイメージセンサとしては、ＣＣＤセンサが多く用いられてきたが、最近では、より小型化、低消費電力化が可能なＣＭＯＳセンサも多く用いられている。ＣＣＤセンサは、１フレームを構成する全画素に関する撮像を全て同時刻に行うのに対して、ＣＭＯＳセンサは、その構成上の特徴として、１フレームを構成する全画素に関する撮像を走査線（あるいは、画素または所定の画素群）毎に時系列的に行う。
【０００５】
【発明が解決しようとする課題】
しかしながら、撮像時刻が走査線（あるいは、画素または所定の画素群）毎に異なる１フレーム相当の撮像画像を用いた場合、各画像のずれを補正すべく幾何学的な変換を施した際に、各画像における同一水平ライン上の撮像時刻が異なってしまう可能性がある。それ故に、基準画像領域に関する撮像時刻と、特定される相関先の画素領域に関する撮像時刻とが異なってしまうという問題が生じ得る。
【０００６】
このような問題は、対象物が静止している静的画像であれば、相関先の画素領域の撮像時刻と、基準画像領域に関する撮像時刻とが異なっていても問題はない。ところが、対象物が車両等のように移動している（あるいは、ステレオカメラ自体が移動体に搭載されている）場合、１フレームの画像に関する走査線毎の各撮像時刻において、カメラ前方の景色は時々刻々と変化する。相関先の画素領域の撮像時刻と、基準画像領域に関する撮像時刻とが異なっている場合、視差以外の位置ずれ、すなわち、動的な要素に起因した対象物の位置ずれが一対の画像間が含まれてしまう。これにより、時系列的に並んだ複数の画素群で１フレームが構成される撮像画像では、視差の算出精度を低下させる可能性がある。
【０００７】
本発明は、このような事情に鑑みてなされたものであり、その目的は、時系列的に並んだ複数の画素群で１フレームが構成される一対の撮像画像データ用いて視差を算出する際に、各撮像画像の相対的なずれを補正したとしても精度よく視差を算出することである。
【０００８】
【課題を解決するための手段】
かかる課題を解決するために、第１の発明は、一対の撮像画像に基づいて、一方の撮像画像における基準画素領域の相関先を他方の撮像画像において特定することにより基準画素領域に関する視差を算出するステレオ画像処理装置において、一対のカメラと、第１のタイミング制御部と、画像変換部と、第１のタイミング補正部とを有するステレオ画像処理装置を提供する。ここで、一対のカメラは、時系列的に並んだ複数の画素群で１フレームが構成される撮像画像をそれぞれ出力する。第１のタイミング制御部は、一方のカメラの撮像タイミングに同期して、他方のカメラの撮像タイミングを制御する。画像変換部は、一対のカメラから出力された一対の撮像画像を処理対象として、一方の撮像画像を基準とした他方の撮像画像の相対的なずれを予め設定された変換値で幾何学的に変換する。第１のタイミング補正部は、変換値に応じて、一方のカメラの撮像タイミングと他方のカメラの撮像タイミングとの相対的な時間差を決定する。そして、この決定された相対的な時間差に基づき、他方のカメラの撮像タイミングを補正する補正量が、第１のタイミング制御部に出力される。
【０００９】
ここで、第１の発明において、第１のタイミング制御部は、補正量に応じて、他方のカメラの撮像タイミングを、複数の画素群に関する時系列的な撮像間隔に対応して変更することが好ましい。
【００１０】
また、第１の発明において、基準画素領域に関する撮像時刻と、他方の撮像画像において特定された相関先に対応する画素領域に関する撮像時刻とが一致している好ましい。
【００１１】
また、第１の発明において、変換値と相対的な時間差とが対応付けられたテーブルを格納するメモリをさらに有することが好ましい。この場合、第１のタイミング補正部は、変換値に対応した相対的な時間差をメモリから読み出すことにより決定する。
【００１２】
また、第１の発明において、第２のタイミング制御部と、第２のタイミング補正部とをさらに有することが好ましい。ここで、第２のタイミング制御部は、一方のカメラの撮像タイミングを制御する。また、第２のタイミング補正部は、変換値に応じて、一方のカメラの撮像タイミングと他方のカメラの撮像タイミングとの相対的な時間差を決定する。そして、この決定された相対的な時間差に基づき、一方のカメラの撮像タイミングを補正する補正量が、第２のタイミング制御部に出力される。
【００１３】
また、第１の発明において、画像変換部から出力された一対の撮像画像を処理対象として、一方の撮像画像を基準とした他方の撮像画像の相対的なずれに応じて変換値を補正する変換値補正量を算出する補正量算出部をさらに有することが好ましい。この場合、補正量算出部は、算出された変換値補正量を画像変換部にフィードバックするとともに、算出された変換値補正量を第１のタイミング補正部にフィードバックする。
【００１４】
また、第１の発明において、画素群は、撮像画像平面において、一画素幅以上の水平画素列を構成することが好ましい。あるいは、画素群は、撮像画像平面において、一画素幅以上の垂直画素列を構成することが好ましい。
【００１５】
さらに、第１の発明において、第１のタイミング制御部は、他方のカメラの撮像タイミングを制御することにより、一方の撮像画像を基準とした他方の撮像画像の相対的なずれを補正することが好ましい。
【００１６】
また、第２の発明は、時系列的に並んだ複数の画素群で１フレームが構成される一対の撮像画像に基づいて、一方の撮像画像における基準画素領域の相関先を他方の撮像画像において特定することにより基準画素領域に関する視差を算出するステレオ画像処理方法を提供する。このステレオ画像処理方法において、第１のステップは、一方の撮像画像の撮像タイミングに同期して、他方の撮像画像の撮像タイミングを制御する。また、第２のステップは、一対の撮像画像を処理対象として、一方の撮像画像を基準とした他方の撮像画像の相対的なずれを予め設定された変換値で幾何学的に変換する。さらに、第３のステップは、変換値に応じて、一方の撮像画像の撮像タイミングと、他方の撮像画像の撮像タイミングとの相対的な時間差を決定する。そして、この決定された相対的な時間差に基づき、他方の撮像画像の撮像タイミングをフィードバック補正する。
【００１７】
ここで、第２の発明において、フィードバック補正された他方の撮像画像の撮像タイミングは、複数の画素群に関する時系列的な撮像間隔に対応して変更されることが好ましい。
【００１８】
また、第２の発明において、基準画素領域に関する撮像時刻と、他方の撮像画像において特定された相関先に対応する画素領域に関する撮像時刻とが一致していることが好ましい。
【００１９】
また、第２の発明において、以下に示すステップをさらに有することが好ましい。まず、ステップとして、一方の撮像画像の撮像タイミングを制御する。また、ステップとして、変換値に応じて、一方の撮像画像の撮像タイミングと他方の撮像画像の撮像タイミングとの相対的な時間差を決定する。そして、この決定された相対的な時間差に基づき、一方の撮像画像の撮像タイミングが、フィードバック補正される。
【００２０】
また、第２の発明において、以下に示すステップをさらに有することが好ましい。まず、ステップとして、画像変換された一対の撮像画像を処理対象として、一方の撮像画像を基準とした他方の撮像画像の相対的なずれを特定し、特定された相対的なずれに応じて、変換値を補正する変換値補正量を算出する。また、ステップとして、算出された変換値補正量に基づき、変換値をフィードバック補正する。さらに、ステップとして、算出された変換値補正量に基づき、フィードバック補正された他方の撮像画像の撮像タイミングをさらにフィードバック補正する。
【００２１】
また、第２の発明において、他方の撮像画像の撮像タイミングを制御することにより、一方の撮像画像を基準とした他方の撮像画像の相対的なずれを補正するステップをさらに有することが好ましい。
【００２２】
【発明の実施の形態】
（第１の実施形態）
図１は、本実施形態にかかるステレオ画像処理装置のブロック構成図である。このステレオ画像処理装置は、一例として、車外監視装置としての機能を有し、一対の撮像画像を用いてステレオ画像処理を行うとともに、この処理された情報に基づき、自車両前方の状況を監視する。
【００２３】
自車両前方の景色を撮像するステレオカメラは、ルームミラーの近傍に取り付けられており、一対のカメラ１，２で構成されている。それぞれのカメラ１，２には、イメージセンサが内蔵されており、このイメージセンサは、時系列的に並んだ複数の画素群で１フレーム（画像の表示単位）が構成される撮像画像（以下、単に「画像」という）を出力する。このようなイメージセンサとしては、例えば、ＣＭＯＳセンサが挙げられる。このＣＭＯＳセンサは、１フレームの画像に関する撮像動作において、１画素幅以上の水平画素列（以下、単に「走査線」と称する）を撮像単位として、基準信号に基づき、走査線を画像の上から下へ移動させながら時系列的に撮像（さらには、画像の出力）を行う。すなわち、この撮像単位としての走査線は、画像平面において、一画素幅以上の水平画素列を構成する。
【００２４】
メインカメラ１は、ステレオ画像処理を行う際に必要な基準画像（右画像）を撮像し、サブカメラ２は、比較画像（左画像）を撮像する。一対のカメラ１，２のうちサブカメラ２は、第１のタイミング制御部３によって撮像タイミング（すなわち、基準信号の出力タイミング）が制御されており、メインカメラ１は、第２のタイミング制御部４によって撮像タイミングが制御されている。第１および第２のタイミング制御部３，４によって撮像タイミングが制御されたカメラ２，１は、互いの撮像タイミングを同期させた状態で撮像画像を取得する。本実施形態において、第１のタイミング制御部３（サブカメラ２側）は、後段のタイミング補正部（第１のタイミング補正部）５から出力される補正量に応じて、サブカメラ２の撮像タイミングを、複数の画素群（本実施形態では走査線）に関する時系列的な撮像間隔に対応して変更することができる。例えば、各走査線に関する時系列的な撮像間隔が１秒であれば、第１のタイミング制御部３は、メインカメラ１の撮像タイミングに対して、サブカメラ２の撮像タイミングを少なくとも１秒、すなわち、１×ｎ（秒）だけずらした撮像タイミングに変更することができる。
【００２５】
このタイミング補正部５は、後段の第１および第２の画像変換部１１，１２によって取り扱われる変換値に応じて、メインカメラ１の撮像タイミングとサブカメラ２の撮像タイミングとの相対的な時間差を決定する。本実施形態において、タイミング補正部５は、変換値とこの相対的な時間差（以下、単に「相対時間差」と称する）とを対応させた補正テーブルを格納する補正メモリ（ＲＯＭ）６を有する。変換値に対応した相対時間差は、この補正メモリ６から読み出すことにより決定される。そして、この決定された相対時間差に基づき、サブカメラ２の撮像タイミングを補正する補正量が、第１のタイミング制御部３に対して出力される。本実施形態の主な特徴は、このような撮像タイミングを制御することにあり、その詳細については後述する。
【００２６】
カメラ１，２から出力された各アナログ画像は、Ａ／Ｄコンバータ７，８により、所定の輝度階調（例えば、256階調のグレースケール）のデジタル画像に変換される。このデジタル化された一対の画像データ（ステレオ画像データ）は、１フレーム分のデジタルデータを記憶可能な容量を有するフレームメモリ９，１０にそれぞれ格納される。
【００２７】
カメラ１，２の取付位置は、通常、程度の差はあるものの、その取付精度に誤差が存在し、このような取付誤差に起因したずれが左右の画像に生じている。そこで、第１および第２の画像変換部１１，１２は、カメラ１，２から出力される一対の画像を処理対象として、以下に示す変換処理を行う。まず、各フレームメモリ９，１０に格納された画像が、第１および第２の画像変換部１１，１２によってそれぞれ読み出される。そして、予め設定された変換値で各画像をそれぞれ幾何学的に変換することで、一方の画像（例えば基準画像）を基準とした他方の画像（例えば比較画像）の相対的なずれが補正される。この変換には、アフィン変換等の線形的な形状補正または非線形的な形状補正をステレオ画像に施すことが含まれる。これらの変換された画像データは、ステレオカメラとしてカメラの光学的位置が本来あるべき状態で出力された画像データと等価となる。これらの補正手法としては、例えば、本出願人が先に出願した特開平１０−３０７３５２号公報または特開平１１−３２５８８９号公報に記載された手法を用いることができる。
【００２８】
本実施形態において、第１および第２の画像変換部１１，１２は、予め設定された変換テーブルを格納する変換メモリ（ＲＯＭ等）１３，１４をそれぞれ有する。これら画像変換部１１，１２は、この変換メモリ１３，１４から変換値をそれぞれ読み出すことで、１画素毎に画像の変換を行う。そして、変換された一対の画像データは、ステレオ画像処理部１５と認識部１６とにそれぞれ出力される。
【００２９】
ステレオ画像処理部１５は、基準画像と比較画像とに基づいて、一フレーム相当の画像に関する距離データを算出する。ここで、「距離データ」とは、画像データによって規定される画像平面において小領域毎に算出された視差ｄの集合であり、個々の視差ｄは画像平面上の位置（ｉ，ｊ）と対応付けられている。それぞれの視差ｄは、基準画像の一部を構成する所定面積（例えば、4×4画素）の画素ブロック毎に１つ算出される。
【００３０】
図２は、基準画像に設定される画素ブロックの説明図である。例えば、基準画像が200×512画素で構成されている場合、一フレーム相当の画像から、画素ブロックＰＢijの個数相当（50×128個）の視差群が算出され得る。周知のように、視差ｄは、その算出単位である画素ブロックＰＢijに関する水平方向のずれ量であり、画素ブロックＰＢijに写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロックＰＢij内に写し出されている対象物がカメラ１，２に近いほど、この画素ブロックＰＢijの視差ｄは大きくなり、対象物が遠いほど視差ｄは小さくなる（無限に遠い場合、視差ｄは0になる）。
【００３１】
ある画素ブロックＰＢij（相関元）に関する視差ｄを算出する場合、この画素ブロックＰＢijの輝度特性と相関を有する領域（相関先）を比較画像において特定する。上述したように、カメラ１，２から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックＰijのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ画像処理部１５は、相関元のｉ座標を基準に設定した所定の探索範囲内において、エピポーラライン上を一画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する（ステレオマッチング）。そして、原則として、最も相関が高いと判断される相関先（相関先の候補の内のいずれか）の水平方向のずれ量を、その画素ブロックＰＢijの視差ｄとする。
【００３２】
２つの画素ブロックの相関は、例えば、シティブロック距離ＣＢを算出することにより評価することができる。数式１は、シティブロック距離ＣＢの基本形を示す。同数式において、ｐ１ijは一方の画素ブロックのｉｊ番目の画素の輝度値であり、ｐ２ijは他方の画素ブロックのｉｊ番目の輝度値である。シティブロック距離ＣＢは、位置的に対応した輝度値ｐ１ij，ｐ２ijの差（絶対値）の画素ブロック全体における総和であって、その差が小さいほど両画素ブロックの相関が大きいことを意味している。
【数１】
ＣＢ＝Σ｜ｐ１ij−ｐ２ij｜
【００３３】
基本的に、エピポーラライン上に存在する画素ブロック毎に算出されたシティブロック距離ＣＢのうち、その値が最小となる画素ブロックが相関先と判断される。このようにして特定された相関先と相関元との間のずれ量が視差ｄとなる。なお、シティブロック距離ＣＢを算出するステレオ画像処理部１５のハードウェア構成については、特開平５−１１４０９９号公報に開示されているので、必要ならば参照されたい。このような処理を経て算出された距離データ、すなわち、画像上の位置（ｉ，ｊ）と対応付けられた視差ｄの集合は、認識部１６に出力される。
【００３４】
認識部１６は、ステレオ画像処理部１５から出力された距離データに基づいて、車両前方の走行状況の認識を行う。ただし、認識部１６は、監視領域内の状況認識にあたって、適宜、画像データを用いることもできる。そして、認識部１６は、この認識結果に基づいて、ドライバーへの警報が必要と判定した場合、モニタやスピーカ等の警報装置を動作させる。また、認識部１６は、必要に応じてアクチュエーター類を制御し、シフトダウン、ブレーキコントロールなどの車両制御を行ってもよい。
【００３５】
以下、タイミング補正について、説明する。図３は、撮像時刻と画像位置との対応関係を示す説明図である。上述したステレオ画像処理を行う際の前提条件としては、基準画像上で選択されたある画素ブロックＰＢij（相関元）のｊ座標と、比較画像上で特定される領域（相関先）のｊ座標とが一致している必要がある。ここで、メインカメラ１の撮像タイミングと一致するように、第１のタイミング制御部３によってサブカメラ２の撮像タイミングを制御したとする。この場合、同図（ａ）に示すように、メインカメラ１から出力される１フレーム相当の基準画像は、撮像時刻ｔ1，ｔ2，ｔ3，・・・と時系列的に並んだ複数の走査線で１フレームが構成される。また、サブカメラ２から出力される１フレーム相当の比較画像も、撮像時刻ｔ1，ｔ2，ｔ3，・・・と時系列的に並んだ複数の走査線で１フレームが構成される。
【００３６】
上述したように、カメラ１，２の位置ずれなどにより、これに起因したずれが各画像間には生じている。ここで、カメラ１，２の位置ずれに起因した画像間の相対的なずれが、上下方向に２走査線分のずれとして現れると仮定する。この場合、同図（ａ）に示すように、基準画像上に写し出された対象物（被写体Ａ）は、比較画像において、２走査線分（例えば、下側）だけずれて写し出される。このような各画像間の相対的なずれは、先に述べた第１および第２の画像変換部１１，１２によって、予め設定された変換値に基づき、幾何学的に変換される。この変換により、各画像間での位置的な一致が確保されるため、例えば、比較画像の位置が相対的に２走査線分だけ上側にシフトするような変換が行われる。この結果、同図（ｂ）に示すように、両画像に写し出された対象物は、基準画像と比較画像とにおいて、対応するｊ座標上に存在することとなる。
【００３７】
ここで注目すべきは、ＣＭＯＳセンサなどのように走査線（或いは、画素または画素群）毎に撮像時間が異なるイメージセンサを用いた場合、１フレーム相当の画像上には、走査線毎に、異なる撮像時刻ｔの画像が存在するということである。したがって、変換後の両画像において対応する位置（すなわち同一ｊ座標上での位置）を撮像時刻ｔで比較した場合、基準画像での撮像時刻ｔ1，ｔ2，ｔ3，・・・と、比較画像での撮像時刻ｔ3，ｔ4，ｔ5，・・・とがそれぞれ対応することとなる（同図（ｂ）参照）。
【００３８】
ところで、対象物が自動車等の移動体では、撮像時刻ｔのずれ分だけ対象物は移動してしまう。したがって、基準画像と比較画像との同一ｊ座標上の対応位置が、同じ撮像時刻ｔで撮像された画像でないと、ステレオマッチングを行ったときに、視差に含まれる誤差が多くなってしまう。すなわち、このような画像を用いてステレオ画像処理を行う際の前提条件としては、基準画像と比較画像とにおいて、位置的な一致を図るばかりでなく、対応する位置での撮像時間的な一致をも図る必要がある。
【００３９】
同図に示した例では、２走査線分だけ画像をシフトさせることにより、画像の位置的な対応が図られている。例えば、カメラ１，２が、１秒間隔の撮像時刻ｔで走査線毎にカメラ１，２前方の景色を撮像している場合、撮像時刻ｔ1より２走査線分下側の撮像時刻ｔは、撮像時刻ｔ3であり、撮像時刻ｔ1より２秒遅れて撮像されている。そこで、２走査線分のシフト量に対応させて、変換後の対応位置での撮像時刻ｔが一致するように、一方のカメラ１（またはカメラ２）の撮像タイミングを変更すれば、このような問題は解決することができるはずである。
【００４０】
そこで、サブカメラ２の本来あるべき撮像タイミングに所定の補正量を加味し、この撮像タイミングを、メインカメラ１の撮像タイミングより相対的に２撮像時刻ｔ分（例えば、２秒）早めたとする。このとき、サブカメラ２から出力される１フレーム相当の比較画像データは、撮像時刻ｔ-1，ｔ0，ｔ1，・・・と時系列的に並んだ複数の走査線で１フレームが構成される。この場合において、変換後の基準画像と比較画像との対応する位置を撮像時刻ｔで比較した場合、基準画像における撮像時刻ｔ1，ｔ2，ｔ3，・・・と、比較画像における撮像時刻ｔ1，ｔ2，ｔ3，・・・とがそれぞれ一致することとなる（図４参照）。したがって、基準画像と比較画像との位置的なずれ量、すなわち、このずれを一致させるべく変換する変換値に応じて、撮像タイミングを変更することで、基準画像と比較画像との対応する位置での時間的な一致を図ることができる。
【００４１】
そこで、本実施形態では、サブカメラ２側の第１のタイミング制御部３に対して、タイミング補正部５を設けている。このタイミング補正部５は、各画像を変換する変換値に応じて相対時間差を決定し、この相対時間差相当の補正量を第１のタイミング制御部３に対して出力する。これにともない、第１のタイミング制御部３によって制御されるサブカメラ２の撮像タイミングが、補正量相当変更される。換言すれば、サブカメラ２によって撮像される画像の撮像タイミングが、フィードバック補正されている。これにより、メインカメラ１の撮像タイミングと、サブカメラ２の撮像タイミングとには、所望とする相対的な時間差が確保される。この結果、本実施形態では、基準画像上のある基準画素領域（画素ブロックｐ１ij）に関する撮像時刻と、比較画像において特定された相関先に対応する画素領域（画素ブロックｐ２ij）に関する撮像時刻とを一致させることができる。
【００４２】
ここで、この相対時間差に対応づけられる変換値とは、基準画像と比較画像との相対的なずれを変換する変換値をいう。したがって、本実施形態において、この時間差に対応付けられる変換値とは、第１および第２の画像変換部１１，１２によってそれぞれ取り扱われる各補正値の差をいう。ただし、画像変換が一方の画像（例えば比較画像）にのみ関して行われるような構成であるならば、その一方の画像に関する変換値が、相対時間差と対応付けられることとなる。
【００４３】
このような変換値と相対時間差との間には、例えば、図５に示すような線形的な関係があり、この相対時間差は、変換量に応じて一義的に特定される。同図に示す関係では、基準画像に対する比較画像のずらし量が大きくなればなるほど、比較画像の撮像タイミングを早くすればよいことが理解できる。ただし、同図に示す関係は、例示的であり、基準画像と比較画像とにおいて、変換値に伴う位置的な変換と、その変換後の対応位置での時間的な一致とが図れる程度に決定されればよい。
【００４４】
このような関係を満たし、タイミング補正部５側の補正メモリ６に格納される補正テーブルは、予め出荷前に工場内で個々の装置毎に決定される。具体的には、出荷調整時にステレオカメラを車体に取り付けた後、テストチャートを撮像することにより、両カメラ１，２の取付誤差によるズレ量を測定し、これにより、個々のステレオカメラに対しての各点座標毎にズレ量が設定される。なお、このずれ量の変換値を示す変換テーブルは、画像変換部１１，１２側のメモリ１３，１４にそれぞれ格納される。そして、例えば、一対の画像の画像中心点の変換量の差から、座標変換後の一対の画像の中心点が同一時刻に撮像されるような相対時間差を求めることにより、対応関係を示すべき補正テーブルが決定され、格納される。ただし、タイミング補正部５が補正テーブルを格納する補正メモリ６を有するか否かは選択的であり、変換値に応じて、この相対時間差をその都度算出してもよい。
【００４５】
以上説明したように本実施形態によれば、上述したタイミング補正を行うことにより、メインカメラ１の撮像タイミングと、サブカメラ２の撮像タイミングとには、所望とする相対的な時間差が確保される。この時間差により、各画像の位置ずれを補正すべく画像変換がなされた場合であっても、各画像における対応する位置での時間的な一致を図ることができる。その結果、時系列的に並んだ複数の画素群で１フレームが構成される画像を用いた場合であっても、質の高い距離データ（すなわち、視差）を算出することが可能になる。また、この距離データを用いて前方の状況を認識する際の、認識精度を向上することができる。
【００４６】
なお、タイミング補正部５は、メインカメラ１側の第２のタイミング制御部４に設けてもよい。この場合、上述した例において、タイミング補正部５は、サブカメラ２の撮像タイミングに対して、２撮像時刻ｔ分（例えば、２秒）メインカメラ１の撮像タイミングを遅らせる補正量を出力する。また、両タイミング制御部３，４にそれぞれタイミング補正部を設けるような構成であってもよい。この場合、時間差に応じて、例えば、メインカメラ１の撮像タイミングを１秒遅らせたならば、サブカメラ２の撮像タイミングを１秒早めるといった制御が行われる（すなわち、両者の撮像タイミングに関する相対時間差は、２秒分オフセットされる）。このような構成であっても、上述した第１の実施形態と同様の効果を奏することができる。
【００４７】
（第２の実施形態）
図６は、第２の実施形態にかかるステレオ画像処理装置を示すブロック構成図である。なお、この第２の実施形態において、図１に示す上記第１の実施形態で説明した構成要素と同じ要素については、同一の符号を付してその説明を省略する。
【００４８】
第２の実施形態が、第１の実施形態と相違する点は、カメラ１，２の経時的な変化にともなう位置ずれに起因した、各画像のずれをさらに考慮することである。具体的には、第１の実施形態に示した構成に加え、第２のタイミング補正部１７と、補正量算出部１９と、第２の画像変換部１２側に設けられる補正量加算部２０と、タイミング補正部５側に設けられる補正量加算部２１とを有する。ここで、上述した第１のタイミング制御部３側のタイミング補正部５を、以下、「第１のタイミング補正部５」と称する
【００４９】
第２のタイミング補正部１７は、第１および第２の画像変換部１１，１２によって取り扱われる変換値に応じて、メインカメラ１の撮像タイミングとサブカメラ２の撮像タイミングとの相対的な時間差を決定する。第２のタイミング補正部１７は、変換値と相対時間差とを対応させた補正テーブルを格納する補正メモリ（ＲＯＭ）１８を有し、変換値に対応した相対時間差をこの補正メモリ１８から読み出して決定する。そして、この決定された時間差に基づき、メインカメラ１の撮像タイミングを補正する補正量が、第２のタイミング制御部４に対して出力される。
【００５０】
第２のタイミング補正部１７を設けた場合、両タイミング補正部５，１７が協働することで、変換値に基づき特定された両補正量により、メインカメラ１とサブカメラ２との撮像タイミングには、所望とする相対的な時間差が確保される。そして、この時間差により、画像変換がなされた場合であっても、両画像における対応する位置での時間的な一致を図ることができる。
【００５１】
補正量算出部１９は、画像変換部１１，１２によって変換された一対の画像を処理対象として、位置的なずれが両画像に生じた場合、これを幾何学的に変換する変換値補正量をリアルタイムで算出する。このような位置的なずれの要因としては、例えば、カメラ１，２の経時的な位置ずれ（例えば、出荷以後に生じるステレオカメラのずれ）に起因したずれが考えられる。具体的には、補正量算出部１９は、基準画像を基準とした比較画像の相対的なずれ量を求め、それに応じて一方の画像（本実施形態では、比較画像）に関する変換値補正量を算出する。この補正量算出部１９の詳細は、特開２００１−８２９５５号に記載されているので、必要ならば参照されたい。この算出された変換値補正量は、第２の画像変換部１２側の補正量加算部２０と、第１のタイミング補正部５側の補正量加算部２１とにそれぞれ出力される。これにより、補正量算出部１９は、算出された変換値補正量を第２の画像変換部１２にフィードバックするとともに、この変換値補正量を第１のタイミング補正部５にフィードバックすることとなる。
【００５２】
第２の画像変換部１２側の補正量加算部２０は、補正量算出部１９によって算出された変換値補正量を、第２の画像変換部１２側の変換メモリ１４から読み出された変換値に加算して、第２の画像変換部１２に出力する。これにより、算出された変換値補正量に基づき、予め設定された変換値（変換メモリ１４に格納される）が、フィードバック補正される。この結果、第２の画像変換部１２で画像変換が行われる際には、新たに生じた画像のずれ量を補正する変換値補正量がさらに加味されるので、カメラ１，２の経時的なずれに起因した画像間のずれは補正されることとなる。
【００５３】
第１のタイミング補正部５側の補正量加算部２１は、補正量算出部１９によって算出された変換値補正量に応じて、例えば、図５に示す関係に基づき、相対時間差を特定する。そして、この特定された相対時間差を、補正メモリ６から読み出された時間差に加算して、第１のタイミング補正部５に出力する。これにともない、新たに生じた画像のずれ量を補正する変換値補正量相当の時間差が、サブカメラ２の撮像タイミングにさらに加味される。換言すれば、算出された変換値補正量に基づき、補正メモリ６から決定される時間差相当の補正量でフィードバック補正される比較画像の撮像タイミングが、さらにフィードバック補正されることとなる。これにより、第２の画像変換部１２によって、画像の変換が新たに（経時的な変化分）行われたとしても、各画像における対応する位置での撮像時刻の対応を図ることができる。
【００５４】
以上説明したように、第２の実施形態では、第１の実施形態に示した構成と同様の作用・効果を奏することはいうまでもなく、さらにはカメラ１，２の経時的な位置ずれ等に起因する画像間のずれをも考慮している。これにより、画像の位置ずれ、および、カメラ１，２の撮像タイミングをリアルタイムで補正することができるので、距離データを精度よく算出することができる。
【００５５】
なお、第２の実施形態では、第１および第２のタイミング補正部５，１７を第１および第２のタイミング制御部３，４にそれぞれ設けたが、本発明はこれに限定されるものではない。すなわち、第１の実施形態と同様、第２のタイミング補正部１７は、省略されてもよい。ただし、本実施形態のように、カメラ１，２の撮像タイミングをそれぞれ変更可能とすることで、カメラ１，２の撮像タイミングの可変幅（すなわち時間幅）を大きく設定することできるので好ましい。
【００５６】
また、上述した第１および第２の実施形態では、時系列的に並ぶ複数の画素群を、１画素幅以上の水平画素列（走査線）を例にとって説明したが、この画素群は、１画素幅以上の垂直画素列（縦方向の走査線）であってもよい。また、このＣＭＯＳセンサは一例であり、カメラ１，２には、画素あるいは画素群毎を撮像単位としたイメージセンサが内蔵されてもよい。
【００５７】
（第３の実施形態）
上述したＣＭＯＳセンサは、基準信号に基づき、１走査線毎に撮像と出力とを行い、その対象とする走査線が画像の上から下へ順次移動する。このことを利用して、基準画像と比較画像とに関する画像の変換処理の一部を、撮像タイミングを制御することにより実現することができる。具体的には、基準画像と比較画像とをフレームメモリ９，１０へ取り込む際に、基準・比較画像の取込タイミングが同一の画像に関しては、同一のアドレス操作を行うものとする。これにより、一方の画像（例えば、比較画像）の撮像タイミングを変えることにより、フレームメモリ９，１０格納時に、基準画像に対する比較画像の垂直方向の相対的な座標の変換が行われたことと同じ状態になる。このとき、基準画像、比較画像のそれぞれのフレームメモリ９，１０上の同じアドレスには、その撮像時刻を同一とするものの、位置的に異なる画像（すなわち、撮像タイミングの時間差相当のずれた位置の画像）が格納される（図４に示す状態）。これにより、撮像タイミングを変更することにより、画像変換と同様の効果を奏するとともに、各画像の対応する位置において時間的な対応をも図ることができる。
【００５８】
なお、本実施形態では、車外監視を例にとって説明したが、このような手法を用いた適用例としては、踏切監視、地形認識または高度測定といった様々な用途が挙げられる。なお、上述した実施形態では、算出された距離データに基づき認識処理を行うものであったが、単に、一対の画像データに基づき視差を算出するステレオ画像処理装置単体としても機能することはいうまでもない。
【００５９】
また、本発明は、例えば、図１および図６に示したタイミング補正を行うステレオ画像処理装置に関するものばかりでなく、上述したような手順でタイミング補正を行うステレオ画像処理方法に関してもその一部として含むことに理解されたい。
【００６０】
【発明の効果】
このように、本発明によれば、カメラの撮像タイミングを画像の変換値に応じた相対時間差となるように変更することで、一対のカメラの撮像タイミングには、所望とする相対的な時間差が確保される。この時間差が確保されることにより、画像変換がなされた場合であっても、画像における対応する位置での時間的な一致を図ることができる。これにより、時系列的に並んだ複数の画素群で１フレームが構成される画像を用いた場合であっても、精度よく視差を算出することが可能になる。
【図面の簡単な説明】
【図１】第１の実施形態にかかるステレオ画像処理装置を示すブロック図
【図２】基準画像に設定される画素ブロックの説明図
【図３】撮像時刻と画像位置との対応関係を示す説明図
【図４】本実施形態にかかる撮像時刻と画像位置との対応関係を示す説明図
【図５】変換値と時間差との対応を示す説明図
【図６】第２の実施形態にかかるステレオ画像処理装置を示すブロック図
【符号の説明】
１ メインカメラ
２ サブカメラ
３ 第１のタイミング制御部
４ 第２のタイミング制御部
５ タイミング補正部（第１のタイミング補正部）
６ 補正メモリ
７ Ａ／Ｄコンバータ
８ Ａ／Ｄコンバータ
９ フレームメモリ
１０ フレームメモリ
１１ 第１の画像変換部
１２ 第２の画像変換部
１３ 変換メモリ
１４ 変換メモリ
１５ ステレオ画像処理部
１６ 認識部
１７ 第２のタイミング補正部
１８ 補正メモリ
１９ 補正量算出部
２０ 変換補正量加算部
２１ タイミング補正量加算部

Claims (15)

1. 一対の撮像画像に基づいて、一方の撮像画像における基準画素領域の相関先を他方の撮像画像において特定することにより当該基準画素領域に関する視差を算出するステレオ画像処理装置において、
   時系列的に並んだ複数の画素群で１フレームが構成される撮像画像をそれぞれ出力する一対のカメラと、
   一方のカメラの撮像タイミングに同期して、他方のカメラの撮像タイミングを制御する第１のタイミング制御部と、
   前記一対のカメラから出力された一対の撮像画像を処理対象として、一方の撮像画像を基準とした他方の撮像画像の相対的なずれを予め設定された変換値で幾何学的に変換する画像変換部と、
   前記変換値に応じて、前記一方のカメラの撮像タイミングと前記他方のカメラの撮像タイミングとの相対的な時間差を決定するとともに、当該決定された相対的な時間差に基づき、前記他方のカメラの撮像タイミングを補正する補正量を前記第１のタイミング制御部に出力する第１のタイミング補正部と
   を有することを特徴とするステレオ画像処理装置。
2. 前記第１のタイミング制御部は、前記補正量に応じて、前記他方のカメラの撮像タイミングを、前記複数の画素群に関する時系列的な撮像間隔に対応して変更することを特徴とする請求項１に記載されたステレオ画像処理装置。
3. 前記基準画素領域に関する撮像時刻と、前記他方の撮像画像において前記特定された相関先に対応する画素領域に関する撮像時刻とが一致していることを特徴とする請求項１または２に記載されたステレオ画像処理装置。
4. 前記変換値と前記相対的な時間差とが対応付けられたテーブルを格納するメモリをさらに有し、
   前記第１のタイミング補正部は、前記変換値に対応した前記相対的な時間差を、前記メモリから読み出すことにより決定することを特徴とする請求項１から３のいずれかに記載されたステレオ画像処理装置。
5. 前記一方のカメラの撮像タイミングを制御する第２のタイミング制御部と、
   前記変換値に応じて、前記一方のカメラの撮像タイミングと前記他方のカメラの撮像タイミングとの相対的な時間差を決定するとともに、当該決定された相対的な時間差に基づき、前記一方のカメラの撮像タイミングを補正する補正量を前記第２のタイミング制御部に出力する第２のタイミング補正部と
   をさらに有することを特徴とする請求項１から４のいずれかに記載されたステレオ画像処理装置。
6. 前記画像変換部から出力された前記一対の撮像画像を処理対象として、一方の撮像画像を基準とした他方の撮像画像の相対的なずれに応じて前記変換値を補正する変換値補正量を算出する補正量算出部をさらに有し、
   前記補正量算出部は、当該算出された変換値補正量を前記画像変換部にフィードバックするとともに、前記算出された変換値補正量を前記第１のタイミング補正部にフィードバックすることを特徴とする請求項１から５のいずれかに記載されたステレオ画像処理装置。
7. 前記画素群は、撮像画像平面において、一画素幅以上の水平画素列を構成することを特徴とする請求項１から６のいずれかに記載されたステレオ画像処理装置。
8. 前記画素群は、撮像画像平面において、一画素幅以上の垂直画素列を構成することを特徴とする請求項１から６のいずれかに記載されたステレオ画像処理装置。
9. 前記第１のタイミング制御部は、前記他方のカメラの撮像タイミングを制御することにより、前記一方の撮像画像を基準とした前記他方の撮像画像の相対的なずれを補正することを特徴とする請求項１から８のいずれかに記載されたステレオ画像処理装置。
10. 時系列的に並んだ複数の画素群で１フレームが構成される一対の撮像画像に基づいて、一方の撮像画像における基準画素領域の相関先を他方の撮像画像において特定することにより当該基準画素領域に関する視差を算出するステレオ画像処理方法において、
    前記一方の撮像画像の撮像タイミングに同期して、前記他方の撮像画像の撮像タイミングを制御する第１のステップと、
    前記一対の撮像画像を処理対象として、前記一方の撮像画像を基準とした前記他方の撮像画像の相対的なずれを予め設定された変換値で幾何学的に変換する第２のステップと、
    前記変換値に応じて、前記一方の撮像画像の撮像タイミングと、前記他方の撮像画像の撮像タイミングとの相対的な時間差を決定するとともに、当該決定された相対的な時間差に基づき、前記他方の撮像画像の撮像タイミングをフィードバック補正する第３のステップと
    を有することを特徴とするステレオ画像処理方法。
11. 前記フィードバック補正された前記他方の撮像画像の撮像タイミングは、前記複数の画素群に関する時系列的な撮像間隔に対応して変更されることを特徴とする請求項１０に記載されたステレオ画像処理方法。
12. 前記基準画素領域に関する撮像時刻と、前記他方の撮像画像において前記特定された相関先に対応する画素領域に関する撮像時刻とが一致していることを特徴とする請求項１０または１１に記載されたステレオ画像処理方法。
13. 前記一方の撮像画像の撮像タイミングを制御するステップと、
    前記変換値に応じて、前記一方の撮像画像の撮像タイミングと前記他方の撮像画像の撮像タイミングとの相対的な時間差を決定するとともに、当該決定された相対的な時間差に基づき、前記一方の撮像画像の撮像タイミングをフィードバック補正するステップと
    をさらに有することを特徴とする請求項１０から１２のいずれかに記載されたステレオ画像処理方法。
14. 前記画像変換された一対の撮像画像を処理対象として、一方の撮像画像を基準とした他方の撮像画像の相対的なずれを特定し、当該特定された相対的なずれに応じて、前記変換値を補正する変換値補正量を算出するステップと、
    前記算出された変換値補正量に基づき、前記変換値をフィードバック補正するステップと、
    前記算出された変換値補正量に基づき、前記フィードバック補正される前記他方の撮像画像の撮像タイミングをさらにフィードバック補正するステップと
    をさらに有することを特徴とする請求項１０から１３のいずれかに記載されたステレオ画像処理方法。
15. 前記他方の撮像画像の撮像タイミングを制御することにより、前記一方の撮像画像を基準とした前記他方の撮像画像の相対的なずれを補正するステップをさらに有することを特徴とする請求項１０から１４のいずれかに記載されたステレオ画像処理方法。

Images