JP5234894B2 - ステレオ画像処理装置 - Google Patents

Description

本発明は、ステレオ画像処理装置に係り、特に、視点の異なる複数の画像を撮像するステレオ撮像手段を備えるステレオ画像処理装置に関する。

従来から、左右に配置された一対のカメラ等の視点の異なる複数の画像を撮像するステレオ撮像手段で同一の物体を撮像し、得られた複数の撮像画像に対してステレオマッチング法により対応する画素領域を求めて、それらの視差に基づいて三角測量の手法により撮像した物体の三次元的な位置を割り出すステレオ画像処理装置が知られている。

ステレオマッチング法では、例えば一対のカメラのうち、一方のカメラで撮像した画像を基準画像とし、他方のカメラで撮像した画像を基準画像と対比される比較画像とすると、例えば基準画像上の一定数の画素を含む画素領域に対し、比較画像上の同形の画素領域であって基準画像上の画素領域の各画素の輝度特性に最も近い輝度特性を有する画素領域を抽出して、両者を対応付ける。

そして、三角測量の手法による物体の三次元的な位置の割り出しでは、基準画像上の画素領域と比較画像上に対応付けられた画素領域との視差をｄｐとした場合、一対のカメラの中央真下の点を原点とし、一対のカメラを結ぶ方向にＸ軸、上下方向にＹ軸、前後方向にＺ軸ととった場合の空間上の点（Ｘ，Ｙ，Ｚ）と、基準画像上の画素の座標（ｉ，ｊ）とは、例えば下記（１）〜（３）式で表される座標変換により一意に対応付けられる。
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） …（１）
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …（２）
Ｚ＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ）） …（３）

ここで、ＣＤは一対のカメラの間隔、ＰＷは１画素当たりの視野角、ＣＨは一対のカメラの取り付け高さ、ＩＶおよびＪＶはカメラ正面の無限遠点の基準画像上でのｉ座標およびｊ座標を表す。

また、上記（３）式で、ＤＰは消失点視差や無限遠対応点などと表されるが、要するに基準画像上の画素領域と比較画像上に対応付けられた画素領域との視差ｄｐと、それらの画素領域に撮像された物体の実際の距離Ｚとが上記（３）式を満たすように決定される視差とのオフセット値を表す。以下、このオフセット値ＤＰを視差オフセット値ＤＰという。この視差オフセット値ＤＰは一対のカメラのステレオ画像処理装置への取り付け時に決定され、それ以降は決定された値に固定される。

しかし、取り付け時にカメラをネジ締めすること等によりカメラに加わる物理的なストレスやカメラが搭載された装置の振動や熱による歪み等によりカメラの光軸がずれる等して、視差オフセット値ＤＰが経時的にずれてしまうことがある。このような視差オフセット値ＤＰのずれが生じると、基準画像と比較画像との視差ｄｐと物体の実際の距離Ｚとが正確には対応しなくなり、上記のステレオマッチング法による物体の三次元的な位置の割り出しの精度が低下して、得られる物体の距離Ｚ等の位置の情報の信頼性が損なわれる。

そこで、このような経時的な視差オフセット値ＤＰのずれを補正する手法としては、センサ等でずれを検出して補正する手法が考えられる。また、センサ等を使わない手法として、例えば特許文献１に記載されたステレオマッチング装置では、番号が付された複数の垂直線が描かれたスクリーンを一対のカメラで撮像し、その結果に基づいて補正する手法が提案されている。また、特許文献２に記載の監視システムでは、例えば道路面に直線状に標示された連続線や破線等の白線や、室内では壁と床との境界部分等の直線部分の撮像画像に基づいて一対のカメラの各撮像画像中にそれぞれ消失点を算出し、その結果に基づいて補正する手法が提案されている。
特開２００１−９２９６８号公報 特開２００３−８３７４２号公報

特許文献１や特許文献２に記載された経時的な視差オフセット値ＤＰのずれを補正する手法によれば、確実に視差オフセット値ＤＰを補正することが可能となる。

しかしながら、特許文献１に記載の手法では、視差オフセット値ＤＰを補正するためにわざわざスクリーンを持ち出してきて撮像しなければならないという煩雑さがある。また、特許文献２に記載の手法では、一対のカメラの前方に直線状に延在する車線や壁と床との直線状の境界部分など、消失点算出の基準となる直線状の被写体が存在する環境でなければ補正を行うことができないという問題点がある。

本発明は、このような事情に鑑みてなされたものであり、視点の異なる複数の画像を撮像するステレオ撮像手段により撮像された画像間の対応付けによって物体の三次元的な位置を検出するステレオ画像処理装置において、スクリーン等を用いることなく、しかも消失点算出の基準となる被写体が存在しない環境においても視差についての視差オフセット値の補正を行うことが可能なステレオ画像処理装置を提供することを目的とする。

前記の問題を解決するために、第１の発明は、ステレオ画像処理装置において、
視点の異なる複数の画像を撮像するステレオ撮像手段と、
前記ステレオ撮像手段により撮像された前記複数の撮像画像に基づいて被写体の視差を検出する視差検出手段と、
前記視差検出手段により検出された前記視差および視差オフセット値に基づいて物体を検出する物体検出手段と、
前記物体検出手段により検出された物体のうち実空間における大きさが時間的に変化しない物体に対応する前記視差および前記物体の見掛けの大きさの変化に基づいて前記視差オフセット値を補正する視差オフセット値補正手段と、を備え、
前記視差オフセット値補正手段は、前記視差がｄｐ₁からｄｐ₂に変化し、それに伴って前記物体の見掛けの大きさがｂ₁からｂ₂に変化した場合に、視差誤差εを、
ε＝（ｂ₁・ｄｐ₂−ｂ₂・ｄｐ₁）／（ｂ₂−ｂ₁）
により算出し、前記視差誤差εに基づいて前記視差オフセット値を補正することを特徴とする。

第２の発明は、第１の発明のステレオ画像処理装置において、前記視差オフセット値補正手段は、異なる時刻で算出した複数の前記視差誤差についてヒストグラムを作成し、その最頻値に基づいて前記視差オフセット値を補正することを特徴とする。

第３の発明は、第１または第２の発明のステレオ画像処理装置において、
前記物体検出手段は、前記実空間における大きさが時間的に変化しない物体として先行車両を検出し、
前記視差オフセット値補正手段は、前記先行車両に対応する前記視差の変化と、前記物体の見掛けの大きさとして前記先行車両の前記撮像画像上の見掛けの大きさの変化に基づいて前記視差オフセット値を補正することを特徴とする。

第４の発明は、第３の発明のステレオ画像処理装置において、
前記視差および前記物体の見掛けの大きさを記憶する記憶手段を備え、
前記物体検出手段により検出された先行車両が交替した場合には、前記記憶手段に記憶された前記視差および前記物体の見掛けの大きさの履歴がクリアされることを特徴とする。

第５の発明は、第３または第４の発明のステレオ画像処理装置において、
前記先行車両の左右のテールランプの間隔を検出するテールランプ間隔検出手段を備え、
前記前記視差オフセット値補正手段は、前記テールランプに対応する前記視差の変化と、前記先行車両の前記左右のテールランプの前記撮像画像上の見掛けの間隔の変化とに基づいて前記視差オフセット値を補正することを特徴とする。

第６の発明は、第１から第４のいずれかの発明のステレオ画像処理装置において、前記物体の見掛けの大きさは、前記撮像画像上に撮像された前記物体の横幅であることを特徴とする。

第１の発明によれば、実空間における大きさが時間的に変化しない物体に対して、視差間の変化およびその物体の撮像画像上の見掛けの大きさ間の変化に基づいて視差オフセット値を補正する。そのため、前述した従来技術のようにスクリーン等の他の手段を用いることなく、ステレオ画像処理装置が撮像している先行車両等の撮像対象そのものを用いて視差オフセット値を補正することが可能となる。

また、ステレオ画像処理装置が撮像している先行車両等の撮像対象そのものを用いて視差オフセット値を補正するため、従来のように一対のカメラの前方に直線状に延在する車線や壁と床との直線状の境界部分等の消失点算出の基準となる直線状の被写体が存在しない環境であっても、実空間における大きさが時間的に変化しない物体の視差や撮像画像上の見掛けの大きさが変化する環境であれば有効に視差オフセット値を補正することが可能となる。

また第１の発明によれば、視差の変化と物体の見掛けの大きさの変化とに基づいて、実際の物体までの距離に対応すべき真の視差に対する現状の視差の誤差である視差誤差を算出して、その視差誤差に基づいて視差オフセット値を補正することで、視差オフセット値をより正確に補正することが可能となり、上記の効果がより的確に発揮される。

また第１の発明によれば、視差の検出値ｄｐ₁、ｄｐ₂および見掛けの大きさの検出値ｂ₁、ｂ₂を用いて前記式に基づいて視差誤差εを算出することが可能となり、視差誤差εを、容易かつ正確に算出することが可能となる。そのため、上記の効果を容易かつより的確に発揮させることが可能となる。

第２の発明によれば、異なる時刻で算出した複数の視差誤差について作成したヒストグラムの最頻値に基づいて視差オフセット値を補正するため、視差誤差として何らかの影響で現実とは大きくかけ離れた値が算出された場合にも、その影響が視差オフセット量の補正に及ぶことを防止することが可能となり、前記発明の効果がより的確に発揮される。

第３の発明によれば、車両に搭載されてステレオ撮像手段により先行車両を撮像して検出し、先行車両に対応する視差の変化と、先行車両の撮像画像上の見掛けの大きさの変化に基づいて視差オフセット値を補正することで、ステレオ撮像手段が車両に搭載される場合においても前記各発明の効果が適切に発揮されるとともに、公知のステレオ撮像手段を用いた先行車両検出装置において視差オフセット値を容易かつ的確に補正することが可能となる。

第４の発明によれば、先行車両が離脱や割り込み等によって他の車両に交替した場合、交替する前の先行車両の視差や見掛けの大きさの情報は交替した後の先行車両に用いても意味がない。そのため、先行車両が交替した場合に記憶手段に記憶されている交替する前の先行車両についてのデータの履歴をクリアすることで、より正確に視差オフセット値の補正を行うことが可能となり、前記各発明の効果がより的確に発揮される。

第５の発明によれば、実空間における大きさが時間的に変化しない物体として先行車両の左右のテールランプを用いることも可能であり、夜間やトンネル内等の暗い環境では特に有効にそれに対応する視差の変化や見掛けの大きさの変化を検出して視差オフセット値を補正することが可能となる。このように、先行車両の左右のテールランプを用いた場合にも前記各発明の効果が的確に発揮される。

第６の発明によれば、物体の見掛けの大きさとして、撮像画像上に撮像された物体の横幅を用いることで、撮像画像上に撮像された物体の横方向の画素数を計数するなどして容易かつ迅速に物体の見掛けの大きさを検出することが可能となるため、前記各発明の効果をより容易に発揮させることが可能となり、処理の高速化を図ることが可能となる。

以下、本発明に係るステレオ画像処理装置の実施の形態について、図面を参照して説明する。

以下では、ステレオ画像処理装置が車両に搭載され、一対のカメラが車内に取り付けられ、物体として自車両の前方を走行する先行車両を監視する場合について説明するが、これに限定されない。

本実施形態に係るステレオ画像処理装置１は、図１に示すように、データ収集部１ａと解析部１ｂとを備えて構成されている。また、解析部１ｂは、図示しないＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されたコンピュータより構成されているが、同じコンピュータ内に形成された装置や他のＥＣＵ等に撮像画像のデータや検出した物体の位置情報等を出力するようになっている。

本実施形態では、ステレオ画像処理装置１のデータ収集部１ａおよび解析部１ｂの物体検出手段１１は、本願出願人により先に提出された特開平１０−２８３４６１号公報や特開平１０−２８３４７７号公報に記載された車外監視装置等をベースに構成されており、詳しくはそれらの公報を参照されたい。

データ収集部１ａでは、車幅方向に一定の距離をあけて配置され視点の異なる一対のメインカメラ２ａおよびサブカメラ２ｂからなるステレオ撮像手段２で自車両の周囲を撮像して得られた一対の撮像画像を変換手段３であるＡ／Ｄコンバータ３ａ、３ｂでそれぞれデジタル画像に変換し、画像補正部４でずれやノイズの除去、輝度値の補正等の画像補正を行って、画像データメモリ５に格納するとともに、解析部１ｂに送信する。

また、画像補正が行われた一対の撮像画像は、画像処理手段６に送られて、視差検出手段であるイメージプロセッサ７で、メインカメラ２ａおよびサブカメラ２ｂで撮像された複数の画像間の対応付けにより被写体の視差を検出する。具体的には、図２に示すようなメインカメラ２ａで撮像した撮像画像（以下、基準画像Ｔという）が図示しない複数の画素ブロックに分割され、各画素ブロックについてそれぞれ、サブカメラ２ｂで撮像した撮像画像の対応する画素ブロックがステレオマッチング処理により見出され、各画素ブロックごとに視差ｄｐが算出される。

具体的には、本実施形態では、イメージプロセッサ７におけるステレオマッチング処理は、基準画像Ｔを例えば４×４画素を１ブロックとする画素ブロックに分割し、基準画像Ｔ上の各画素ブロックについてサブカメラ２ｂで撮像された画像（以下、比較画像という）上の４×４画素の画素ブロックのうち下記（４）式で表されるシティブロック距離ＣＢが最も小さい画素ブロックを検索する。ここで、ｐ１、ｐ２はそれぞれ基準画像Ｔおよび比較画像の各画素の輝度を表し、和は１６個の画素について行われる。
ＣＢ＝Σ｜ｐ１−ｐ２｜ …（４）

そして、イメージプロセッサ７は、シティブロック距離ＣＢが最小となる画素ブロックが比較画像上に見出されると、その画素ブロックと基準画像Ｔ上の画素ブロックとのずれ量を視差ｄｐとして算出する。また、この視差ｄｐの算出を基準画像Ｔ上のすべての画素ブロックについて行うようになっている。

前述したように、基準画像Ｔ上の画素の座標（ｉ，ｊ）における視差ｄｐと実空間上の位置（Ｘ，Ｙ，Ｚ）とは、三角測量の原理により、
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） …（５）
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …（６）
Ｚ＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ）） …（７）
で一意に対応付けられる。ここで、ＣＤ、ＰＷ、ＣＨ、ＩＶおよびＪＶは前述したとおりであり、ＤＰは視差ｄｐのオフセットを表す値である視差オフセット値である。

画像処理手段６は、イメージプロセッサ７で算出された視差ｄｐを基準画像の各画素ブロックに割り当てて距離データメモリ８に格納するとともに、解析部１ｂに送信するようになっている。なお、以下、基準画像の各画素ブロックに視差ｄｐが割り当てられて形成された画像を距離画像Ｔｚという。距離画像Ｔｚは、図３に示すように各画素ブロックに視差ｄｐが割り当てられた画像状のデータである。

解析部１ｂは、本実施形態では、物体検出手段１１と、視差オフセット値補正手段１２とを備えている。

物体検出手段１１は、視差検出手段であるイメージプロセッサ７で検出された視差ｄｐと視差オフセット値ＤＰに基づいて前記（５）〜（７）式に従って基準画像Ｔ中に物体を検出するようになっている。前述したように物体検出手段１１の構成は特開平１０−２８３４６１号公報や特開平１０−２８３４７７号公報等に詳述されているが、以下、要点を説明する。

物体検出手段１１は、図３に示した距離画像Ｔｚを図４に示すように所定幅の縦方向の短冊状の区分Ｄｎに分割し、図５に示すように、各区分Ｄｎごとに各区分Ｄｎに含まれる視差ｄｐのうち道路面より上方に存在する視差ｄｐに関するヒストグラムをそれぞれ設けて、その最頻値をその区分Ｄｎの視差ｄｐとする。これを全区分Ｄｎについてそれぞれ行う。

そして、物体検出手段１１は、図示しない記憶手段に記憶されている視差オフセット値ＤＰを読み出して、各区分Ｄｎの視差ｄｐを前記（７）式に代入して自車両から物体までの距離Ｚを算出する。算出された距離Ｚを実空間上にプロットすると、各距離Ｚの情報は図６に示すように前方の物体の自車両Ａに面した部分に対応する部分に多少ばらつきを持って点としてプロットされる。

物体検出手段１１は、このようにプロットされる各点について、実空間上で隣接する点同士間のＸ軸方向の距離やＺ軸方向の距離、グループ化した場合の左端の点から右端の点までのＸ軸方向の全長等を検索しながら、それらの値がそれぞれ設定された閾値以内である点をそれぞれグループにまとめ、図７に示すようにそれぞれのグループ内の各点を直線近似して物体を検出する。さらに、物体検出手段１１は、このようにして検出した各物体を図８に示すように基準画像Ｔ上で矩形状の枠線で包囲するようにして検出するようになっている。なお、図７等において、ラベルＯやラベルＳは物体の自車両Ａに対向する面の種別を表し、ラベルＯは物体の背面、ラベルＳは物体の側面が検出されていることを表す。

また、本実施形態では、物体検出手段１１は、検出した物体のうち、実空間における大きさが時間的に変化しない物体として先行車両を検出するようになっている。具体的には、物体検出手段１１は、図９に示すように、自車両の挙動に基づいて自車両が今後進行するであろう軌跡を走行軌跡Ｌestとして推定し、その走行軌跡Ｌestを中心とする自車両の車幅分の領域である自車両の進行路Ｒest上に存在する物体の中で自車両に最も近接する物体を先行車両として検出するようになっている。例えば図９では、乗用車Ｏ３が先行車両として検出される。

自車両の走行軌跡Ｌestは、自車両の車速Ｖやヨーレートγ、ステアリングホイールの舵角δ等に基づいて下記（８）式或いは下記（９）、（１０）式に従って算出される自車両の旋回曲率Ｃuaに基づいて算出することができる。なお、下記の各式におけるＲｅは旋回半径、Ａsfは車両のスタビリティファクタ、Ｌwbはホイールベースである。
Ｃua＝γ／Ｖ …（８）
Ｒｅ＝（１＋Ａsf・Ｖ^２）・（Ｌwb／δ） …（９）
Ｃua＝１／Ｒｅ …（１０）

また、物体検出手段１１は、検出した先行車両が自車両の前方から離脱してさらにその前方の車両が新たに先行車両となったり、自車両と先行車両との間に他の車両が割り込んできて当該他の車両が新たな先行車両となることによる先行車両の交替を検出できるようになっている。

具体的には、物体検出手段１１は、それまで先行車両として検出していた車両が自車両の進行路Ｒest上から逸脱し、その前方の自車両の進行路Ｒest上に新たに先行車両を検出した場合に離脱により先行車両が交替したと判断する。また、それまで先行車両として検出していた車両と自車両との間の自車両の進行路Ｒestに他の車両が検出されて先行車両として検出した場合に先行車両が割り込みにより交替したと判断するようになっている。

なお、物体検出手段１１による先行車両検出については、先行車両を検出することができ、先行車両の離脱や他の車両の割り込みを検出することができるものであれば、上記の構成に限定されず、例えばレーダ装置等を用いて検出するように構成することも可能である。

視差オフセット値補正手段１２は、前記（７）式の計算に用いられる視差オフセット値ＤＰを補正する手段である。本実施形態では、視差オフセット値補正手段１２は、視差検出手段であるイメージプロセッサ７により検出された視差ｄｐと、物体検出手段１１により検出された物体の大きさ、さらにその視差と大きさとのそれぞれの変化に基づいて視差オフセット値ＤＰを算出して視差オフセット値ＤＰを補正するようになっている。

以下、視差オフセット値補正手段１２における処理の手順を、図１０および図１１に示すフローチャートを用いて説明し、あわせて本実施形態に係るステレオ画像処理装置１の作用について説明する。

ステレオ画像処理装置１の初期状態においては、後述する検出済みフラグＦは０にセットされている。

視差オフセット値補正手段１２は、まず、物体検出手段１１により先行車両が検出されたか否かを判断し（ステップＳ１）、先行車両が検出されていなければ（ステップＳ１；ＮＯ）、先行車両が検出されるまで待機する。

物体検出手段１１により先行車両が検出されていれば（ステップＳ１；ＹＥＳ）、視差オフセット値補正手段１２は、続いて、先行車両の離脱や他の車両の割り込みが検出されて先行車両の交替があったか否かを物体検出手段１１の検出結果から判断する（ステップＳ２）。そして、先行車両の交替があった場合には（ステップＳ２；ＹＥＳ）、後述するように記憶手段に記憶されている先行車両に対応する視差ｄｐ_１と先行車両の見掛けの大きさｂ_１の値をクリアし（ステップＳ３）、検出済みフラグＦを０にリセットする（ステップＳ４）。

先行車両が交替しておらず（ステップＳ２；ＮＯ）、検出済みフラグＦが１ではなく０であれば（ステップＳ５；ＮＯ）、視差オフセット値補正手段１２は、基準画像Ｔ上の先行車両の見掛けの大きさを算出するようになっている（ステップＳ６）。

本実施形態では、前述したように物体検出手段１１により、図８に示したように、基準画像Ｔ上の先行車両Ｏ３が枠線で包囲されるようにして検出されることから、視差オフセット値補正手段１２は、この枠線内の画素数として先行車両の大きさを算出するようになっている。さらに、本実施形態では、先行車両の見掛けの大きさとして先行車両の横幅を用いるようになっており、視差オフセット値補正手段１２は、図８の例では先行車両Ｏ３を包囲する枠線の横幅に相当する画素数を先行車両の見掛けの大きさｂとして算出するようになっている。

視差オフセット値補正手段１２は、続いて、算出した基準画像Ｔ上の先行車両の見掛けの大きさｂを基準となる大きさｂ_１として記憶手段に記憶させ、また、先行車両に対応する視差ｄｐを基準となる視差ｄｐ_１として記憶させる（ステップＳ７）。なお、図６に示したように先行車両に対応する視差ｄｐにばらつきがある場合には、例えば先行車両に対応する視差ｄｐのヒストグラムを作成して投票し、最頻値を先行車両に対応する基準となる視差ｄｐ_１として記憶させる。

そして、視差オフセット値補正手段１２は、検出済みフラグＦを１にセットする（ステップＳ８）。このように、検出済みフラグＦが１であることは、視差オフセット値の補正の基準となる視差ｄｐ_１と見掛けの大きさｂ_１とを検出したことを意味する。また、先行車両が交替すると（ステップＳ２；ＹＥＳ）、交替する前の先行車両に対応する視差ｄｐ_１やその大きさｂ_１の値は交替した後の先行車両に用いても意味がないからクリアされ（ステップＳ３）、基準となる視差ｄｐ_１と大きさｂ_１とが未検出であることを示すために検出済みフラグＦが０にリセットされる（ステップＳ４）。

視差オフセット値補正手段１２は、先行車両が検出され（ステップＳ１；ＹＥＳ）、先行車両は交替しておらず（ステップＳ２；ＮＯ）、検出済みフラグＦが１である場合には（ステップＳ５；ＹＥＳ）、現在のサンプリング周期で検出された先行車両の視差ｄｐが記憶手段に記憶されている基準となる視差ｄｐ_１に対して後述する視差誤差εの算出を精度良く行うことができる程度に十分変化しているか否かを判断する（ステップＳ９）。

本実施形態では、視差オフセット値補正手段１２は、現在のサンプリング周期で検出された先行車両の視差ｄｐが基準となる視差ｄｐ_１に対して例えば２０％等の所定割合以上変化した場合に十分に変化していると判断するようになっている。なお、十分変化したか否かの判断は、この他にも、例えば今回検出された視差ｄｐと基準となる視差ｄｐ_１との差の絶対値が所定値以上であることや、視差ｄｐを前記（７）式に基づいて距離Ｚに換算したうえで今回検出された視差ｄｐに基づく距離と基準となる視差ｄｐ_１に基づく距離とが所定割合以上変化し或いはそれらの差の絶対値が所定値以上であることを判断基準とすることも可能である。

先行車両の視差ｄｐが基準となる視差ｄｐ_１に対して十分に変化していなければ（ステップＳ９；ＮＯ）、上記の処理ルーチンが繰り返される。

また、視差オフセット値補正手段１２は、上記の基準に基づいて今回検出した先行車両の視差ｄｐが基準となる視差ｄｐ_１に対して十分に変化したと判断すると（ステップＳ９；ＹＥＳ）、上記と同様にして先行車両の大きさｂを算出して（図１１のステップＳ１０）、今回検出した大きさｂ_２として記憶手段に記憶させる。また、今回検出された視差ｄｐを視差ｄｐ_２として記憶手段に記憶させる（ステップＳ１１）。

続いて、視差オフセット値補正手段１２は、記憶手段に記憶されている基準となる視差ｄｐ_１と大きさｂ_１、および今回検出された視差ｄｐ_２および大きさｂ_２に基づいて視差オフセット値ＤＰの補正に用いられる視差誤差εを算出する（ステップＳ１２）。

ここで、視差誤差εの算出の原理について説明する。

いま、図１２に示すように、ステレオ撮像手段２の前方Ｚの距離に横幅がＷの物体が存在し、その左端の実空間上の座標が（Ｘｐ，Ｙｐ，Ｚ）、右端の実空間上の座標が（Ｘｑ，Ｙｑ，Ｚ）であるとする。この場合、物体の横幅Ｗは、
Ｗ＝Ｘｑ−Ｘｐ …（１１）
で表される。また、この物体を撮像した基準画像Ｔにおける物体の左端の座標が（ｉｐ，ｊｐ）、右端の座標が（ｉｑ，ｊｑ）であるとすると、基準画像Ｔ上の物体の見掛けの大きさｂは、
ｂ＝ｉｑ−ｉｐ …（１２）
で表される。

上記のＸｑ、Ｘｐ、ｉｑ、ｉｐおよび距離Ｚは、前記（５）〜（７）式を満たすから、
Ｘｐ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉｐ−ＩＶ） …（１３）
Ｘｑ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉｑ−ＩＶ） …（１４）
となり、これらを（１１）式に代入してさらに（１２）式を代入すると、
Ｗ＝Ｘｑ−Ｘｐ
＝（ＣＤ／２＋Ｚ×ＰＷ×（ｉｑ−ＩＶ））−（ＣＤ／２＋Ｚ×ＰＷ×（ｉｐ−ＩＶ））
＝Ｚ×ＰＷ×（ｉｑ−ｉｐ）
＝Ｚ×ＰＷ×ｂ …（１５）
となる。

ここで、説明を簡単にするために視差オフセット値ＤＰが０であるとして前記（７）式のＺを（１５）式に代入すると、
Ｗ＝ＣＤ／（ＰＷ×ｄｐ）×ＰＷ×ｂ
＝ｂ×ＣＤ／ｄｐ
となる。従って、視差ｄｐと基準画像Ｔ上の物体の見掛けの大きさｂとの関係は、
ｂ＝（Ｗ／ＣＤ）×ｄｐ …（１６）
で表される。

（１６）式において、ＣＤは前述したようにメインカメラ２ａとサブカメラ２ｂとの間隔であり、物体の実空間における横幅Ｗが時間的に変化しないとすると、Ｗ／ＣＤは時間に依存しない定数となる。そして、図１３に示すように、あるサンプリング周期ｔ_１で検出された視差ｄｐ_１と基準画像Ｔ上の物体の見掛けの大きさｂ_１が前記（１６）式を満たし、別のサンプリング周期ｔ_２で検出された視差ｄｐ_２と基準画像Ｔ上の物体の見掛けの大きさｂ_２も前記（１６）式を満たすから、ｄｐ_１、ｂ_１、ｄｐ_２、ｂ_２の間には、
ｄｐ_２／ｄｐ_１＝ｂ_２／ｂ_１ …（１７）
の関係が成り立つ。

しかし、仮に０とされている視差オフセット値が経時的にずれてきて視差誤差εを生じると、検出される視差ｄｐもずれる。この場合、実際の距離Ｚに対応すべき真の視差をｄｐ^＊で表すと、検出される視差ｄｐは、真の視差ｄｐ^＊と視差誤差εを用いて、
ｄｐ＝ｄｐ^＊−ε …（１８）
で表されるから、真の視差ｄｐ^＊は、
ｄｐ^＊＝ｄｐ＋ε …（１９）
で表される。

この真の視差ｄｐ^＊が前記（１７）式を満たすから、（１７）式の左辺はサンプリング周期ｔ_１の真の視差ｄｐ_１ ^＊およびサンプリング周期ｔ_２の真の視差ｄｐ_２ ^＊を用いて、
ｄｐ_２ ^＊／ｄｐ_１ ^＊＝ｂ_２／ｂ_１ …（２０）
と書き直され、（２０）式に（１９）式を代入すると、検出された視差ｄｐ_１、ｄｐ_２と検出された見掛けの大きさｂ_１、ｂ_２との関係は、
（ｄｐ_２＋ε）／（ｄｐ_１＋ε）＝ｂ_２／ｂ_１ …（２１）
で表される。

これを変形してεについて解くと、視差がｄｐ_１からｄｐ_２に変化し、それに伴って基準画像Ｔ上の物体の見掛けの大きさがｂ_１からｂ_２に変化した場合の視差誤差εは、
ε＝（ｂ_１・ｄｐ_２−ｂ_２・ｄｐ_１）／（ｂ_２−ｂ_１） …（２２）
で表すことができ、視差の検出値ｄｐ_１、ｄｐ_２および見掛けの大きさの検出値ｂ_１、ｂ_２を用いて視差誤差εを算出することが可能となる。

（２２）式に示されるように、視差誤差εは物体の見掛けの大きさｂ_１、ｂ_２の差を分母とするものであるから、異なるサンプリング周期で検出された物体の見掛けの大きさｂ_１とｂ_２や視差ｄｐ_１とｄｐ_２が互いにある程度異なった値である方が視差誤差εの値をより精度良く算出できる。従って、本実施形態では、前述したように図１０のステップＳ９の処理において現在のサンプリング周期で検出された先行車両の視差ｄｐが記憶手段に記憶されている基準となる視差ｄｐ_１に対して十分変化している場合（ステップＳ９；ＹＥＳ）にのみ視差誤差εの算出を行うようになっている。

なお、ここで、この視差誤差εを用いた視差オフセット値ＤＰの補正のしかたについて説明する。前記（７）式における距離Ｚと視差ｄｐの関係は、本来、真の視差ｄｐ^＊と距離Ｚについて成立すべきであるから、前記（７）式は、真の視差ｄｐ^＊を用いて、
Ｚ＝ＣＤ／（ＰＷ×（ｄｐ^＊−ＤＰ）） …（２３）
と書き直される。

これに前記（１９）式を代入すると、
Ｚ＝ＣＤ／（ＰＷ×（ｄｐ＋ε−ＤＰ））
＝ＣＤ／（ＰＷ×（ｄｐ−（ＤＰ−ε））） …（２４）
となる。つまり、従来の視差オフセット値ＤＰから前記（２２）式で算出した視差誤差εを減じた値を新たな視差オフセット値とするように補正すればよいことが分かる。なお、視差誤差εが負の値として算出される場合には、従来の視差オフセット値ＤＰに視差誤差εの絶対値を加算した値が新たな視差オフセット値となることは言うまでもない。

視差オフセット値補正手段１２は、記憶手段に記憶されている過去の視差ｄｐ_１と見掛けの大きさｂ_１、および今回検出された視差ｄｐ_２および見掛けの大きさｂ_２を前記（２２）式に代入して視差オフセット値ＤＰの補正に用いられる視差誤差εを算出する（図１１のステップＳ１２）。

このようにして算出した視差誤差εを用いて即座に視差オフセット値ＤＰを補正することも可能である。しかし、本実施形態では、視差オフセット値ＤＰが短時間に頻繁にその値を変えるものではないことや検出された視差ｄｐ_１、ｄｐ_２や物体の見掛けの大きさｂ_１、ｂ_２には検出誤差が含まれることなどから、視差オフセット値補正手段１２は、上記のようにして異なるサンプリング周期で算出した複数の視差誤差εについてヒストグラムを作成し、その最頻値に基づいて上記の補正のしかたで視差オフセット値ＤＰを補正するようになっている。

そのため、視差オフセット値補正手段１２は、上記のようにして算出した今回のサンプリング周期での視差誤差εを図１４に示すようなヒストグラムに投票する（ステップＳ１３）。そして、本実施形態では、視差オフセット値補正手段１２は、ヒストグラムに対する投票数が予め設定された所定の数に達したか否かを判断し（ステップＳ１４）、投票数が所定の数に達していなければ（ステップＳ１４；ＮＯ）、上記の処理ルーチンを繰り返してヒストグラムに視差誤差εを投票していく。

また、投票数が所定の数に達すると（ステップＳ１４；ＹＥＳ）、視差オフセット値補正手段１２は、ヒストグラムから視差誤差εの最頻値ε^＊を算出して、前述したように従来の視差オフセット値ＤＰから視差誤差εの最頻値ε^＊を減じて視差オフセット値を補正し（ステップＳ１５）、補正した値を新たな視差オフセット値ＤＰとして記憶手段に記憶させる。

そして、視差オフセット値補正手段１２は、検出済みフラグＦを０にリセットし（ステップＳ１６）、記憶手段に記憶されている基準となる視差ｄｐ_１や基準となる見掛けの大きさｂ_１の値をクリアし（ステップＳ１７）、本実施形態ではヒストグラムの度数をリセットして、上記の処理ルーチンを繰り返すようになっている。

また、物体検出手段１１は、このようにして補正され記憶手段に記憶された視差オフセット値ＤＰを読み出して、この補正された視差オフセット値ＤＰに基づいて前記（７）式により距離Ｚを算出するようになる。

なお、本実施形態では、上記のように、視差オフセット値補正手段１２は視差誤差εの最頻値ε^＊を算出して視差オフセット値ＤＰを補正した後、検出済みフラグＦを０にリセットし（ステップＳ１６）、ｄｐ_１やｂ_１の値をクリアして（ステップＳ１７）、改めて基準となる先行車両の見掛けの大きさｂ_１を算出したり（図１０のステップＳ６）、これと基準となる視差ｄｐ_１を記憶手段に記憶する（ステップＳ７）ようになっているが、この他にも、視差オフセット値の補正後も基準となる見掛けの大きさｂ_１や視差ｄｐ_１の値をクリアせずに保存するように構成することも可能である。この場合、視差オフセット値ＤＰの補正後も検出済みフラグＦは１のままとされる。

また、例えば、最後に検出された視差ｄｐ_２や見掛けの大きさｂ_２を、次回の視差オフセット値ＤＰの補正の基準となる視差ｄｐ_１や基準となる見掛けの大きさｂ_１として記憶手段に記憶させるように構成してもよい。この場合も、視差オフセット値ＤＰの補正後も検出済みフラグＦは１のままとされる。

さらに、本実施形態のように視差誤差εの最頻値ε^＊を算出した後にヒストグラムの度数をリセットして次回の視差オフセット値ＤＰの補正には影響を残さないようにする代わりに、次回のヒストグラムに今回のヒストグラムの各階級の度数をそのまま残したり各階級の度数の所定の割合を残すなどして次回の視差オフセット値ＤＰの補正にある程度の影響を残すように構成することも可能である。

また、本実施形態では、前述したように先行車両が交替すると（図１０のステップＳ２；ＹＥＳ）、交替する前の先行車両に対応する視差ｄｐ_１やその大きさｂ_１の値は交替した後の先行車両に用いても意味がないからクリアされるが（ステップＳ３）、視差誤差ε自体は先行車両が交替してもその値が変わるものではないから、先行車両が交替してもヒストグラムの度数のクリアは行わないようになっている。しかし、先行車両が交替した時点でヒストグラムの度数をクリアするように構成することも可能である。

以上のように、本実施形態に係るステレオ画像処理装置１によれば、先行車両のように実空間における大きさが時間的に変化しない物体に対して、異なるサンプリング周期において検出される視差間の変化およびその物体の撮像画像上の見掛けの大きさ間の変化に基づいて視差誤差を算出するなどして視差オフセット値ＤＰを補正する。そのため、前述した従来技術のようにスクリーン等の他の手段を用いることなく、ステレオ画像処理装置１が撮像している先行車両等の撮像対象そのものを用いて視差オフセット値ＤＰを補正することが可能となる。

また、ステレオ画像処理装置１が撮像している先行車両等の撮像対象そのものを用いて視差オフセット値ＤＰを補正するため、従来のように一対のカメラの前方に直線状に延在する車線や壁と床との直線状の境界部分等の消失点算出の基準となる直線状の被写体が存在しない環境であっても、実空間における大きさが時間的に変化しない物体の視差や撮像画像上の見掛けの大きさが変化する環境であれば有効に視差オフセット値ＤＰを補正することが可能となる。

なお、本実施形態では、先行車両の横幅に着目してその視差と見掛けの大きさの変化に基づいて視差オフセット値ＤＰを補正する場合について説明したが、物体の大きさとして物体の縦方向の長さや物体の面積等に着目して構成することも可能である。

また、この他にも、例えば先行車両の左右のテールランプの実空間における間隔も時間的に変化しない。そのため、ステレオ画像処理装置１を、先行車両の左右のテールランプの間隔を検出する公知のテールランプ間隔検出手段を備えるように構成し、先行車両の左右のテールランプに対応する視差の変化と、左右のテールランプの撮像画像上の見掛けの間隔の変化とに基づいて視差オフセット値ＤＰを補正するように構成することも可能である。

先行車両のテールランプの間隔は、左右のテールランプの各中心間の距離として検出してもよく、左右のテールランプの外側端同士或いは内側端同士の距離として検出することも可能である。

さらに、本実施形態では、実空間における大きさが時間的に変化しない物体として、道路面、すなわちステレオ撮像手段２を配置する基準となる平面より上方にある先行車両等の物体を用いる場合について説明したが、実空間における大きさが時間的に変化しない物体は、それに対応する視差や撮像画像上の見掛けの大きさを検出できるものであればよく、物体には平面の表面の模様や平面に表示されているマーク等も含まれる。

また、本実施形態では、ステレオ画像処理装置１が車両に搭載される場合について説明したが、この他にも、例えば自己の周囲を撮像しながら自ら判断して移動する自走式のロボットにおいてステレオ撮像手段の視差オフセット値ＤＰの補正を行う場合にも適用可能であり、実空間における大きさが時間的に変化しない物体との距離が可変な状態でその物体を撮像するステレオ画像処理装置であれば、どのような装置に対しても本発明を適用することができる。

また、本実施形態では、前記（２４）式に示したように、従来の視差オフセット値ＤＰから視差誤差εを減じた値を新たな視差オフセット値として補正する場合について説明したが、例えば視差誤差εを一定のゲインで調整し、それまでの視差オフセット値ＤＰから一定のゲイン値ｇを乗じた視差誤差εを減じた値ＤＰ−ｇ×εを新たな視差オフセット値として補正するように構成ことも可能である。

また、本実施形態では、距離の情報として視差ｄｐを用いる場合について説明したが、前述したように、視差ｄｐと距離Ｚとは前記（７）式に基づいて一意に対応付けられるから、視差ｄｐを距離Ｚに換算して本発明と同様の処理を行うように構成することは本発明と等価であると言うことができる。

本実施形態に係るステレオ画像処理装置の構成を示すブロック図である。 基準画像の一例を示す図である。 図２の基準画像等に基づいて算出された距離画像を示す図である。 距離画像を分割する各区分を示す図である。 各区分に含まれる視差の最頻値を求めるためのヒストグラムを表す図である。 各区分の視差から算出された距離を実空間上にプロットした図である。 図６の各点をグループ化して検出された物体を説明する図である。 図７で検出され基準画像上で枠線で包囲された物体を表す図である。 自車両の走行軌跡、進行路および検出された先行車両を説明する図である。 本実施形態に係る視差オフセット値補正手段における処理の手順を示すフローチャートである。 本実施形態に係る視差オフセット値補正手段における処理の手順を示すフローチャートである。 物体の横幅と基準画像上の物体の見掛けの大きさと視差との関係を説明する図である。 異なるサンプリング周期における物体の見掛けの大きさの変化と視差の変化との関係を説明する図である。 視差誤差の最頻値を算出するためのヒストグラムを表す図である。

符号の説明

１ ステレオ画像処理装置
２ ステレオ撮像手段
７ イメージプロセッサ（視差検出手段）
１１ 物体検出手段
１２ 視差オフセット値補正手段
Ａ 自車両（車両）
ｂ、ｂ_１、ｂ_２ 見掛けの大きさ
ｄｐ、ｄｐ_１、ｄｐ_２ 視差
ＤＰ 視差オフセット値
Ｔ 基準画像（画像）
ε 視差誤差
ε^＊ 視差誤差の最頻値

Claims (6)

1. 視点の異なる複数の画像を撮像するステレオ撮像手段と、
   前記ステレオ撮像手段により撮像された前記複数の撮像画像に基づいて被写体の視差を検出する視差検出手段と、
   前記視差検出手段により検出された前記視差および視差オフセット値に基づいて物体を検出する物体検出手段と、
   前記物体検出手段により検出された物体のうち実空間における大きさが時間的に変化しない物体に対応する前記視差および前記物体の見掛けの大きさの変化に基づいて前記視差オフセット値を補正する視差オフセット値補正手段と、を備え、
   前記視差オフセット値補正手段は、前記視差がｄｐ₁からｄｐ₂に変化し、それに伴って前記物体の見掛けの大きさがｂ₁からｂ₂に変化した場合に、視差誤差εを、
   ε＝（ｂ₁・ｄｐ₂−ｂ₂・ｄｐ₁）／（ｂ₂−ｂ₁）
   により算出し、前記視差誤差εに基づいて前記視差オフセット値を補正することを特徴とするステレオ画像処理装置。
2. 前記視差オフセット値補正手段は、異なる時刻で算出した複数の前記視差誤差についてヒストグラムを作成し、その最頻値に基づいて前記視差オフセット値を補正することを特徴とする請求項１に記載のステレオ画像処理装置。
3. 前記物体検出手段は、前記実空間における大きさが時間的に変化しない物体として先行車両を検出し、
   前記視差オフセット値補正手段は、前記先行車両に対応する前記視差の変化と、前記物体の見掛けの大きさとして前記先行車両の前記撮像画像上の見掛けの大きさの変化に基づいて前記視差オフセット値を補正することを特徴とする請求項１または請求項２に記載のステレオ画像処理装置。
4. 前記視差および前記物体の見掛けの大きさを記憶する記憶手段を備え、
   前記物体検出手段により検出された先行車両が交替した場合には、前記記憶手段に記憶された前記視差および前記物体の見掛けの大きさの履歴がクリアされることを特徴とする請求項３に記載のステレオ画像処理装置。
5. 前記先行車両の左右のテールランプの間隔を検出するテールランプ間隔検出手段を備え、
   前記前記視差オフセット値補正手段は、前記テールランプに対応する前記視差の変化と、前記先行車両の前記左右のテールランプの前記撮像画像上の見掛けの間隔の変化とに基づいて前記視差オフセット値を補正することを特徴とする請求項３または請求項４に記載のステレオ画像処理装置。
6. 前記物体の見掛けの大きさは、前記撮像画像上に撮像された前記物体の横幅であることを特徴とする請求項１から請求項４のいずれか一項に記載のステレオ画像処理装置。

Images