JP6561512B2 - 視差値導出装置、移動体、ロボット、視差値導出方法、視差値生産方法及びプログラム - Google Patents

Description

本発明は、撮像の対象を撮像して得られた基準画像及び同じ対象を撮像して得られた比較画像から、対象に対する視差を示す視差値を導出する発明に関する。

従来から、ステレオ画像法によって、ステレオカメラから対象に対する視差を導き出し、この視差を示す視差値によって、三角測量の原理に基づき、ステレオカメラから対象までの距離を測定する測距方法が知られている。この測距方法により、例えば、自動車間の距離や、自動車と障害物間の距離が測定され、自動車の衝突防止に役立てている。

また、視差値の求め方としては、ステレオマッチング処理が用いられている。このステレオマッチング処理は、ステレオカメラの２つのカメラのうち、一方のカメラによって得られた基準画像内の注目する基準画素に対して、他方のカメラによって得られた比較画像内の複数の対応画素の候補を順次シフトしながら、画像信号が最も類似する画素である対応画素の位置を求めることで、基準画像と比較画像の間の視差値を検出する。一般的には、２つのカメラによって得られた画像信号の輝度値を比較することで、比較する輝度値のコスト値(Cost：ここでは「非類似度」)が最も低い画素の位置が求められる。

また、近年、ステレオマッチング処理において、ミスマッチングを防止するために、画像における輝度値の差が大きい領域であるエッジ部分の輝度値を比較するブロックマッチング法が用いられている（例えば、特許文献１参照）。

ところが、対象のテクスチャが弱く、抽出すべき特徴そのものが乏しい領域では、エッジ検出を行っても、十分な効果を得ることができない。

そこで、テクスチャが弱い対象でも、より正確な視差値を導き出す方法が提案されている（例えば、特許文献２参照）。この方法によって、基準画像上の注目する基準画素のコスト値だけでなく、この基準画素の周囲の画素のコスト値を集約することで、テクスチャが弱い対象に対する視差値を導き出すことができる。これにより、対象の全体像を導き出すことができるため、測距だけでなく、対象が標識であるか車であるか等、対象の分類に利用することができる。

しかしながら、特許文献２に記載された方法を用いた場合、テクスチャが弱い対象でも視差値を導き出すことができるが、周りにテクスチャの強い対象が存在する場合には、テクスチャが弱い対象の視差値が悪影響をうけることで、正確な視差値を導き出すことが困難になるという課題が生じる。

上述の課題を解決するため、請求項１に係る発明は、第１の撮像位置から撮像された基準画像における基準領域と、第２の撮像位置から撮像された比較画像における、前記基準領域に対応する対応領域を含む指定の範囲内の複数の領域各々と、のコスト値を算出する算出手段と、前記算出手段により算出された、前記基準画像における所定の基準領域の周辺の基準領域のコスト値と、前記基準画像における前記所定の基準領域のコスト値と、を合成する合成手段と、前記合成手段により合成されたコスト値に基づいて、前記所定の基準領域において撮像されている対象の視差値を導出する導出手段と、前記基準画像内の各領域のうち所定の領域を含む複数の領域に対して空間フィルタを適用することで、前記所定の領域における視差値を補正する補正手段と、を備え、前記補正手段は、前記基準画像内の各領域のうち特定の領域において、前記合成されたコスト値のうち、前記視差値の導出に用いられる極値を含む２つの極値の差が所定値よりも小さい場合には、前記空間フィルタの適用対象から前記特定の領域を外して、前記視差値を補正することを特徴とする視差値導出装置である。

以上説明したように、請求項１に係る発明によれば、視差値に対して空間フィルタを適用することで、周りにテクスチャの強い対象が存在する場合あっても、テクスチャが弱い対象の視差値が悪影響を受けづらくすることができるため、より正確な視差値を導き出すことができるという効果を奏する。

撮像装置から物体までの距離を導き出す原理の説明図である。 （ａ）は基準画像、（ｂ）は（ａ）に対する高密度視差画像、（ｃ）は（ａ）に対するエッジ視差画像を示す概念図である。 （ａ）は基準画像における基準画素を示す概念図、（ｂ）は（ａ）の基準画素に対して比較画像における対応画素の候補を順次シフトしながらコスト値を算出する際の概念図である。 シフト量毎のコスト値を示すグラフである。 合成コスト値を導き出すための概念図である。 視差値毎の合成コスト値を示すグラフである。 （ａ）は本発明の一実施形態に係る物体認識システムを搭載した自動車の側面を表す概略図、（ｂ）は自動車の正面を示す概略図である。 物体認識システムの概観図である。 物体認識システムの全体のハードウェア構成図である。 視差値導出装置の主要部のハードウェア構成図である。 本実施形態の視差導出方法の処理を示したフローチャートである。 視差値の補正方法の処理を示したフローチャートである。 メディアンフィルタの適用例を示した概念図である。 視差値毎の合成コスト値を示すグラフである。 メディアンフィルタを適用して視差値を補正する処理を示した概念図である。 視差値の補正を行なった後に生成される高密度視差画像を示す概念図である。 （ａ）は基準画像、（ｂ）は基準画像の一部、（ｃ）は従来のＳＧＭ法を用いた場合の高密度視差画像、（ｄ）は視差値補正部３４０が所定値Ｖ１を用いて補正した場合の高密度視差画像、（ｅ）は視差値補正部３４０が所定値Ｖ２（Ｖ１＜Ｖ２）を用いて補正した場合の高密度視差画像を示す概念図である。

以下、図面を用いて、本発明の一実施形態について説明する。

〔ＳＧＭ法を用いた測距方法の概略〕
まず、図１乃至図６を用いて、ＳＧＭ(Semi-Global Matching)法を用いた測距方法の概略について説明する。なお、ＳＧＭ法に関しては、非特許文献(Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information)に開示されているため、以下では概略を説明する。

＜測距の原理＞
図１を用いて、ステレオ画像法により、ステレオカメラから物体に対する視差を導き出し、この視差を示す視差値によって、ステレオカメラから物体までの距離を測定する原理について説明する。なお、図１は、撮像装置から物体までの距離を導き出す原理の説明図である。また、以下では、説明を簡略化するため、複数の画素からなる所定領域ではなく、一画素単位で説明する。

なお、一画素単位ではなく、複数の画素からなる所定領域単位で処理される場合、基準画素を含む所定領域は基準領域として示され、対応画素を含む所定領域は対応領域として示される。また、この基準領域には基準画素のみの場合も含まれ、対応領域には対応画素のみの場合も含まれる。

（視差値算出）
まず、図１で示される撮像装置１０ａおよび撮像装置１０ｂによって撮像された各画像を、それぞれ基準画像Ｉａおよび比較画像Ｉｂとする。なお、図１では、撮像装置１０ａおよび撮像装置１０ｂが平行等位に設置されているものとする。図１において、３次元空間内の物体Ｅ上の点Ｓは、撮像装置１０ａおよび撮像装置１０ｂの同一水平線上の位置に写像される。すなわち、各画像中の点Ｓは、基準画像Ｉａ中の点Ｓａ（ｘ，ｙ）および比較画像Ｉｂ中の点Ｓｂ（Ｘ，ｙ）において撮像される。このとき、視差値Δは、撮像装置１０ａ上の座標における点Ｓａ（ｘ，ｙ）と撮像装置１０ｂ上の座標における点Ｓｂ（Ｘ，ｙ）とを用いて、（式１）のように表される。

Δ＝Ｘ−ｘ （式１）
ここで、図１のような場合には、基準画像Ｉａ中の点Ｓａ（ｘ，ｙ）と撮像レンズ１１ａから撮像面上におろした垂線の交点との距離をΔａにし、比較画像Ｉｂ中の点Ｓｂ（Ｘ，ｙ）と撮像レンズ１１ｂから撮像面上におろした垂線の交点との距離をΔｂにすると、視差値Δ＝Δａ＋Δｂとなる。

（距離算出）
また、視差値Δを用いることで、撮像装置１０ａ，１０ｂと物体Ｅとの間の距離Ｚを導き出すことができる。具体的には、距離Ｚは、撮像レンズ１１ａの焦点位置と撮像レンズ１１ｂの焦点位置とを含む面から物体Ｅ上の特定点Ｓまでの距離である。図１に示されるように、撮像レンズ１１ａ及び撮像レンズ１１ｂの焦点距離ｆ、撮像レンズ１１ａと撮像レンズ１１ｂとの間の長さである基線長Ｂ、及び視差値Δを用いて、（式２）により、距離Ｚを算出することができる。

Ｚ＝（Ｂ×ｆ）／Δ （式２）
この（式２）により、視差値Δが大きいほど距離Ｚは小さく、視差値Δが小さいほど距離Ｚは大きくなる。

＜ＳＧＭ法＞
続いて、図２乃至図６を用いて、ＳＧＭ法を用いた測距方法について説明する。なお、図２（ａ）は基準画像、図２（ｂ）は（ａ）に対する高密度視差画像、図２（ｃ）は（ａ）に対するエッジ視差画像を示す概念図である。ここで、基準画像は、物体が輝度によって示された画像である。高密度視差画像は、ＳＧＭ法によって、基準画像から導き出された画像であり、基準画像の各座標における視差値を示した画像である。エッジ視差画像は、従来から用いられているブロックマッチング法によって導き出された画像であり、基準画像のエッジ部のような比較的テクスチャの強い部分のみの視差値を示した画像である。

ＳＧＭ法は、テクスチャが弱い物体に対しても適切に上記視差値を導き出す方法であり、図２（ａ）に示されている基準画像に基づいて、図２（ｂ）に示されている高密度視差画像を導き出す方法である。なお、ブロックマッチング法を用いた場合には、図２（ａ）に示されている基準画像に基づいて、図２（ｃ）に示されているエッジ視差画像が導き出される。図２（ｂ）及び図２（ｃ）における破線の楕円内を比べると分かるように、高密度視差画像は、エッジ視差画像に比べてテクスチャが弱い道路等の詳細な情報を表すことができるため、より詳細な測距を行うことができる。

このＳＧＭ法は、非類似度であるコスト値を算出して直ちに視差値を導出せず、コスト値を算出後、更に、合成非類似度である合成コスト値 (Synthesis Cost)を算出することで視差値を導出し、最終的にほぼ全ての画素における視差値を示す視差画像（ここでは、高密度視差画像）を導き出す方法である。

なお、ブロックマッチング法の場合は、コスト値を算出する点はＳＧＭ法と同じであるが、ＳＧＭ法のように、合成コスト値を算出せずに、エッジ部のような比較的テクスチャの強い部分の視差値のみを導出する。また、視差値の導出方法は、換言すると、視差値の生産方法でもある。

（コスト値の算出）
まず、図３及び図４を用いて、コスト値Ｃ（ｐ，ｄ）の算出方法について説明する。図３（ａ）は基準画像における基準画素を示す概念図、図３（ｂ）は（ａ）の基準画素に対して比較画像における対応画素の候補を順次シフトしながら（ずらしながら）コスト値を算出する際の概念図である。図４は、シフト量毎のコスト値を示すグラフである。ここで、対応画素は、基準画像内の基準画素に最も類似する比較画像内の画素である。なお、以降、Ｃ（ｐ，ｄ）は、Ｃ（ｘ，ｙ，ｄ）を表すものとして説明する。

図３（ａ）に示されているように、基準画像内の所定の基準画素ｐ（ｘ，ｙ）と、この基準画素ｐ（ｘ，ｙ）に対する比較画像内におけるエピポーラ線(Epipolar Line)ＥＬ上の複数の対応画素の候補ｑ（ｘ＋ｄ，ｙ）との各輝度値に基づいて、基準画素ｐ（ｘ，ｙ）に対する各対応画素の候補ｑ（ｘ＋ｄ，ｙ）のコスト値Ｃ（ｐ，ｄ）が算出される。ｄは、基準画素ｐと対応画素の候補ｑのシフト量（ずれ量）であり、本実施形態では、画素単位のシフト量が表されている。即ち、図３では、対応画素の候補ｑ（ｘ＋ｄ，ｙ）を予め指定された範囲（例えば、０＜ｄ＜２５）において順次一画素分シフトしながら、対応画素の候補ｑ（ｘ＋ｄ，ｙ）と基準画素ｐ（ｘ，ｙ）との輝度値の非類似度であるコスト値Ｃ（ｐ，ｄ）が算出される。コスト値Ｃの算出方法としては、コスト値Ｃが非類似度を示す場合、ＳＡＤ(Sum of Absolute Difference)等の公知の方法が適用される。

このようにして算出されたコスト値Ｃ（ｐ，ｄ）は、図４に示されているように、シフト量ｄ毎のコスト値Ｃの集まりであるコスト曲線のグラフによって表すことができる。図４では、コスト値Ｃは、シフト量ｄ＝５，１２，１９の場合が０（ゼロ）となるため、最小値を求めることができない。このように、テクスチャが弱い物体の場合には、コスト値Ｃの最小値を求めることは困難になる。

（合成コスト値の算出）
次に、図５及び図６を用いて、合成コスト値Ｌｓ（ｐ，ｄ）の算出方法について説明する。図５は、合成コスト値を導き出すための概念図である。図６は、視差値毎の合成コスト値を示す合成コスト曲線のグラフである。本実施形態における合成コスト値の算出方法は、コスト値Ｃ（ｐ，ｄ）の算出だけでなく、所定の基準画素ｐ（ｘ，ｙ）の周辺の画素ｐ’（ｘ’，ｙ’）を基準画素とした場合のコスト値を、基準画素ｐ（ｘ，ｙ）におけるコスト値Ｃ（ｐ，ｄ）に集約させて、合成コスト値Ｌｓ（ｐ，ｄ）を算出する。

次に、合成コスト値の算出方法について、より詳細に説明する。合成コスト値Ｌｓ（ｐ，ｄ）を算出するためには、まず、経路コスト値Ｌｒ（ｐ，ｄ）を算出する必要がある。(式３)は、経路コスト値Ｌｒ（ｐ，ｄ）を算出するための式であり、（式４）は、合成コスト値Ｌｓを算出するための式である。

Ｌｒ（ｐ，ｄ）＝Ｃ（ｐ，ｄ）＋ｍｉｎ｛（Ｌｒ（ｐ−ｒ，ｄ），Ｌｒ（ｐ−ｒ，ｄ−１）＋Ｐ１，Ｌｒ（ｐ−ｒ，ｄ＋１）＋Ｐ１，Ｌｒｍｉｎ（ｐ−ｒ）＋Ｐ２｝ （式３）
ここで、（式３）において、ｒは、集約方向の方向ベクトルを示し、ｘ方向およびｙ方向の２成分を有する。ｍｉｎ｛｝は、最小値を求める関数である。Ｌｒｍｉｎ（ｐ−ｒ）は、ｐをｒ方向に１画素シフトした座標において、シフト量ｄを変化させた際のＬｒ（ｐ−ｒ，ｄ）の最小値を示す。なお、Ｌｒは、（式３）に示されているように再帰的に適用される。また、Ｐ１及びＰ２は、予め実験により定められた固定パラメータであり、経路上で隣接する基準画素の視差値Δが連続になりやすいようなパラメータになっている。例えば、Ｐ１＝４８、Ｐ２＝９６である。

また、（式３）に示されているように、Ｌｒ（ｐ，ｄ）は、基準画素ｐ（ｘ，ｙ）におけるコスト値Ｃに、図５に示されているｒ方向の各画素における各画素の経路コスト値Ｌｒの最小値を加算することで求められる。このように、ｒ方向の各画素におけるＬｒを求めるため、最初は、基準画素ｐ（ｘ，ｙ）のｒ方向の一番端の画素からＬｒが求められ、ｒ方向に沿ってＬｒが求められる。

そして、図５に示されているように、８方向のＬｒ_０，Ｌｒ_４５，Ｌｒ_９０，Ｌｒ_１３５，Ｌｒ_１８０，Ｌｒ_２２５，Ｌｒ_２７０，Ｌｒ_３１５が求められ、最終的に（式４）に基づいて、合成コスト値Ｌｓが求められる。

このようにして算出された合成コスト値Ｌｓ（ｐ，ｄ）は、図６に示されているように、シフト量ｄ毎に合成コスト値Ｌｓ（ｐ，ｄ）が示される合成コスト曲線のグラフによって表すことができる。図６では、合成コスト値Ｌｓは、シフト量ｄ＝３の場合が最小値となるため、視差値Δ＝３として算出される。

なお、上記説明ではｒの数を８として説明しているが、これに限られることはない。例えば、８方向を更に２つに分割して１６方向、３つに分割して２４方向等にしてもよい。

また、(式４)によって、（式３）によって算出された全ての経路ｒに関する経路コスト値Ｌｒを合計したが、これに限るものではない。１つの経路コスト値Ｌｒを合成コスト値としてもよいし、２以上の経路コスト値Ｌｒの合成を合成コスト値Ｌｓとしてもよい。

また、コスト値Ｃは「非類似度」として示されているが、非類似度の逆数としての「類似度」として表されてもよい。この場合、コスト値Ｃの算出方法としては、ＮＣＣ(Normalized Cross Correlation)等の公知の方法が適用される。また、この場合、合成コスト値Ｌｓが最小ではなく「最大」となる視差値Δが導出される。なお、非類似度と類似度の両者を含めて、「一致度」として表してもよい。

〔本実施形態の具体的な説明〕
以下、図面を用いて、本実施形態の具体的な説明を行う。ここでは、自動車に搭載される物体認識システム１について説明する。

なお、物体認識システム１は、車両の一例としての自動車だけでなく、車両の他の例として、バイク、自転車、車椅子、農業用の耕運機等に搭載されることができてもよい。また、移動体の一例としての車両だけでなく、移動体の他の例として、ロボット等に搭載されることができてもよい。更に、ロボットは、移動体だけでなく、ＦＡ(Factory Automation)において固定設置される工業用ロボット等の装置であってもよい。また、固定設置される装置としては、ロボットだけでなく、防犯用の監視カメラであってもよい。

＜実施形態の構成＞
まず、図７乃至図９用いて、本実施形態の全体構成について説明する。

（外観構成）
図７及び図８を用いて、本実施形態の物体認識システム１の外観構成を説明する。なお、図７（ａ）は本発明の一実施形態に係る物体認識システムを搭載した自動車の側面を表す概略図、図７（ｂ）は自動車の正面を示す概略図である。図８は、物体認識システムの概観図である。

図７（ａ），（ｂ）に示されているように、本実施形態の物体認識システム１は、撮像装置１０ａ及び撮像装置１０ｂを備えており、撮像装置１０ａ及び撮像装置１０ｂは自動車の進行方向前方の光景を撮像することができるように設置される。

また、図８に示されているように、物体認識システム１は、本体部２と、本体部２に対して設けられた一対の円筒状の撮像装置１０ａ及び撮像装置１０ｂとによって構成されている。

（全体のハードウェア構成）
次に、図９を用いて、物体認識システム１の全体のハードウェア構成について説明する。なお、図９は、物体認識システムの全体のハードウェア構成図である。

図９に示されているように、物体認識システム１は、本体部２において、視差値導出装置３及び物体認識装置５を備えている。このうち、視差値導出装置３は、物体Ｅを撮像して得られた複数の画像から、物体Ｅに対する視差を示す視差値Δを導出し、各画素における視差値Δを示す高密度視差画像を出力する。物体認識装置５は、視差値導出装置３から出力された高密度視差画像に基づいて、撮像装置１０ａ，１０ｂから物体Ｅまでの距離を測定する等の処理を行なう。

ここで、まずは、視差値導出装置３のハードウェア構成について説明する。図９に示されているように、視差値導出装置３は、撮像装置１０ａ、撮像装置１０ｂ、信号変換装置２０ａ、信号変換装置２０ｂ、及び画像処理装置３０を備えている。

撮像装置１０ａは、前方の光景を撮像して画像を表すアナログ信号を生成するものであり、撮像レンズ１１ａ、絞り１２ａ、及び画像センサ１３ａを備えている。撮像レンズ１１ａは、撮像レンズ１１ａを通過する光を屈折させて物体の像を結像させるための光学素子である。絞り１２ａは、撮像レンズ１１ａを通過した光の一部を遮ることによって、後述する画像センサ１３ａに入力される光の量を調整する。画像センサ１３ａは、撮像レンズ１１ａ及び絞り１２ａから入力された光を電気的なアナログの画像信号に変換する半導体の素子であり、ＣＣＤ(Charge Coupled Devices)やＣＭＯＳ(Complementary Metal Oxide Semiconductor）等によって実現される。なお、撮像装置１０ｂは撮像装置１０ａと同じ構成を備えているため、撮像装置１０ｂについての説明は省略する。また、撮像レンズ１１ａと撮像レンズ１１ｂは、それぞれのレンズ面が互いに同一平面内になるように設置されている。

また、信号変換装置２０ａは、撮像された画像を表すアナログ信号をデジタル形式の画像データに変換するものであり、ＣＤＳ(Correlated Double Sampling)２１ａ、ＡＧＣ(Auto Gain Control)２２ａ、ＡＤＣ(Analog Digital Converter)２３ａ、及びフレームメモリ２４ａを備えている。ＣＤＳ２１ａは、画像センサ１３ａによって変換されたアナログの画像信号から相関二重サンプリングによってノイズを除去する。ＡＧＣ２２ａは、ＣＤＳ２１ａによってノイズが除去されたアナログの画像信号の強度を制御する利得制御を行う。ＡＤＣ２３ａは、ＡＧＣ２２ａによって利得制御されたアナログの画像信号をデジタル形式の画像データに変換する。フレームメモリ２４ａは、ＡＤＣ２３ａによって変換された画像データを記憶する。

同様に、信号変換装置２０ｂは、撮像装置１０ｂによって変換されたアナログの画像信号から画像データを取得するものであり、ＣＤＳ２１ｂ、ＡＧＣ２２ｂ、ＡＤＣ２３ｂ、及びフレームメモリ２４ｂを有している。なお、ＣＤＳ２１ｂ、ＡＧＣ２２ｂ、ＡＤＣ２３ｂ、及びフレームメモリ２４ｂはそれぞれＣＤＳ２１ａ、ＡＧＣ２２ａ、ＡＤＣ２３ａ、及びフレームメモリ２４ａと同じ構成であるため、それらについての説明は省略する。

更に、画像処理装置３０は、信号変換装置２０ａ及び信号変換装置２０ｂによって変換された画像データを処理するための装置である。この画像処理装置３０は、ＦＰＧＡ(Field Programmable Gate Array)３１、ＣＰＵ(Central Processing Unit)３２、ＲＯＭ(Read Only Memory)３３、ＲＡＭ(Random Access Memory)３４、Ｉ／Ｆ(Interface)３５及び上記各構成要素３１〜３５を図９に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン３９を備えている。

このうち、ＦＰＧＡ３１は、集積回路であり、ここでは、ＣＰＵ３２の命令に従って、画像データが表す画像における視差値Δを算出する処理を行う。ＣＰＵ３２は、視差値導出装置３の各機能を制御する。ＲＯＭ３３は、ＣＰＵ３２が視差値導出装置３の各機能を制御するために実行される画像処理用プログラムを記憶している。ＲＡＭ３４はＣＰＵ３２のワークエリアとして使用される。

Ｉ／Ｆ３５は、物体認識装置５における後述Ｉ／Ｆ５５とアドレスバスやデータバス等のバスライン４を介して通信するためのインターフェイスである。

続いて、物体認識装置５のハードウェア構成について説明する。図９に示されているように、物体認識装置５は、ＦＰＧＡ５１、ＣＰＵ５２、ＲＯＭ５３、ＲＡＭ５４、ＣＡＮＩ／Ｆ５５、ＣＡＮ(Controller Area Network) Ｉ／Ｆ５８及び上記各構成要素５１〜５５，５８を図９に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン５９を備えている。

このうち、ＦＰＧＡ５１、ＣＰＵ５２、ＲＯＭ５３、ＲＡＭ５４、Ｉ／Ｆ５５、及びバスライン５９は、それぞれ画像処理装置３０におけるＦＰＧＡ３１、ＣＰＵ３２、ＲＯＭ３３、ＲＡＭ３４、Ｉ／Ｆ３５、及びバスライン３９と同様の構成であるため、説明を省略する。なお、Ｉ／Ｆ５５は、画像処理装置３０におけるＩ／Ｆ３５とバスライン４を介して通信するためのインターフェイスである。また、ＲＯＭ５３は、ＣＰＵ５２が物体認識装置５の各機能を制御するために実行される物体認識用プログラムを記憶している。

ＣＡＮ Ｉ／Ｆ５８は、外部コントローラ等と通信するためのインターフェイスであり、例えば、自動車のＣＡＮ等に接続されることができる。

このような構成により、画像処理装置３０のＩ／Ｆ３５からバスライン４を介して物体認識装置５に高密度視差画像が送信されると、物体認識装置５におけるＣＰＵ５２の命令によって、ＦＰＧＡ５１が、撮像装置１０ａ，１０ｂと物体Ｅとの間の距離Ｚを算出する。なお、物体認識装置５におけるＣＰＵ５２の命令によってＦＰＧＡ５１が距離Ｚを算出せずに、画像処理装置３０のＣＰＵ３２の命令によってＦＰＧＡ３１が距離Ｚを算出してもよい。

なお、上述の例では、２つの撮像装置１０ａ，１０ｂを用いたが、これに限らず１つの撮像装置を用いてもよい。この場合、１つの画像センサにおいて撮像境域を２箇所に分けることにより、対象Ｅを撮像する。

また、上記各プログラムは、インストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させてもよい。この記録媒体は、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)やＳＤメモリカード(Secure Digital memory card)等である。

（主要部のハードウェア構成）
次に、図３、図９及び図１０を用いて、視差値導出装置１の主要部のハードウェア構成について説明する。なお、図１０は、視差値導出装置の主要部のハードウェア構成図である。

図９におけるＦＰＧＡ３１は、図１０に示されているように、コスト算出部３１０、コスト合成部３２０、視差値導出部３３０、及び視差値補正部３４０を備えている。これらは、ＦＰＧＡ３１の回路の一部であるが、上記プログラムが実行されることにより、同じ処理を行うことができるようにしてもよい。

このうち、コスト算出部３１０は、図３に示されているように、基準画像（図３（ａ）参照）内の基準画素ｐ（ｘ，ｙ）の輝度値と、比較画像（図３（ｂ）参照）内において基準画素ｐ（ｘ，ｙ）に基づくエピポーラ線ＥＬ上でシフトさせることでシフト量ｄ毎に特定される対応画素の候補ｑ（ｘ＋ｄ，ｙ）の各輝度値とに基づいて、基準画素ｐ（ｘ，ｙ）に対する対応画素の候補ｑ（ｘ＋ｄ，ｙ）の各コスト値Ｃを算出して出力する。

また、コスト合成部３２０は、コスト算出部３１０によって出力された一の基準画素ｐ（ｘ，ｙ）に対する対応画素の候補ｑ（ｘ＋ｄ，ｙ）の各コスト値Ｃと、コスト算出部３１０によって出力された他の基準画素ｐ’（ｘ’，ｙ’）に対する対応画素の候補ｑ’（ｘ’＋ｄ，ｙ’）の各コスト値Ｃとを、シフト量ｄ毎に合成し、合成コスト値Ｌｓを出力する。

なお、この合成の処理は、(式３)に基づいてコスト値Ｃから経路コスト値Ｌｒを算出した後、更に、（式４）に基づいて各方向における経路コスト値Ｌｒを加算して、最終的に合成コスト値Ｌｓを算出する処理である。

また、視差値導出部３３０は、コスト合成部３２０によって出力された合成コスト値Ｌｓが最小となる場合のシフト量ｄを、視差値Δとして導出する。

更に、視差値補正部３４０は、基準画像内の各画素のうち所定の画素を中央とする複数の画素に対してメディアンフィルタを適用することで、所定の画素における視差値を補正する。具体的には、視差値補正部３４０は、判断部としての役割も果たし、基準画像内の各画素のうち特定の画素において、シフト量ｄ毎に出力された各合成コスト値のうち最小の極小値と２番目に小さい極小値との差Ｄが所定値Ｖよりも小さいかを判断する。更に、視差値補正部３４０は、差Ｄが所定値Ｖよりも小さいと判断した場合には、メディアンフィルタの適用対象から特定の領域を外して視差値Δを補正する。そして、視差値補正部３４０は、補正した全画素分の視差値Δを出力する。メディアンフィルタは、画像のノイズ除去に利用されるフィルタの一種であり、ｎ×ｎの局所領域（例えば、複数の画素）における輝度値を小さい順に並べ、真ん中にくる輝度値を局所領域における中央の画素の輝度値とするために適用される。画像のノイズ除去にメディアンフィルタを適用した場合、画像のエッジはそのまま残るため、エッジのボケが生じる平滑化フィルタを適用する場合に比べて、測距に利用される視差値への適用には優れている。このように、差Ｄが所定値Ｖよりも小さい場合には、最小の極小値と２番目に小さい極小値が近いため、最小の極小値である最小値Ｌｓのシフト量ｄを視差値Δとすることに関して信頼度が低いということが言える。そのため、信頼度の低い視差値Δはメディアンフィルタの適用対象から外される。

＜実施形態の処理又は動作＞
次に、図１１乃至図１６を用いて、本実施形態の処理又は動作を説明する。ここでは、視差値Δの導出方法について説明する。なお、図１１は、本実施形態の視差導出方法の処理を示したフローチャートである。

まず、図９に示されている撮像装置１０ａは、対象Ｅを撮像してアナログの画像データを生成する（ステップＳ１−１）。同じく、撮像装置１０ａは、対象を撮像してアナログの画像データを生成する(ステップＳ１−２)。

次に、信号変換装置２０ａは、アナログの画像データを、デジタルの画像データに変換する（ステップＳ２−１）。同じく、信号変換装置２０ｂは、アナログの画像データを、デジタルの画像データに変換する（ステップＳ２−２）。

次に、信号変換装置２０ａは、画像処理装置３０のＦＰＧＡ３１に、変換後のデジタルの画像データを基準画像のデータとして出力する（ステップＳ３−１）。この基準画像の概念図は、図２（ａ）に示されている。同じく、信号変換装置２０ｂは、画像処理装置３０のＦＰＧＡ３１に、変換後のデジタルの画像データを比較画像のデータとして出力する（ステップＳ３−２）。この比較画像は、撮像装置１０ｂによって撮像された画像であるが、図２（ａ）に示されている基準画像と極端な違いはないため、比較画像の概念図は図示しないで省略する。

次に、図１０に示されているコスト算出部３１０は、基準画像のデータ及び比較画像のデータに基づき、シフト量ｄ毎のコスト値Ｃを算出する（ステップＳ４）。

次に、図１０に示されているコスト合成部３２０は、（式３）を利用して、経路コスト値Ｌｒを算出し、更に（式４）を利用して、合成コスト値Ｌｓを算出する（ステップＳ５）。そして、視差値導出部３３０は、コスト合成部３２０によって出力された合成コスト値Ｌｓが最小となる場合のシフト量ｄを、視差値Δとして導出する（ステップＳ６）。

次に、視差値補正部３４０は、基準画像内の各画素のうち所定の画素を中央とする複数の画素に対してメディアンフィルタを適用することで、所定の画素における視差値Δを補正する（ステップＳ７）。ここで、図１２乃至図１６を用いて、ステップＳ７の処理を詳細に説明する。なお、図１２は、視差値の補正方法の処理を示したフローチャートである。図１３は、メディアンフィルタの適用例を示した概念図である。図１４は、視差値毎の合成コスト値を示すグラフである。図１５は、メディアンフィルタを適用して視差値を補正する処理を示した概念図である。図１６は、視差値の補正を行なった後に生成される高密度視差画像を示す概念図である。

まず、図１２に示されているように、視差値補正部３４０が、メディアンフィルタを適用する局所領域内の全ての画素に関して、合成コスト値Ｌｓの最小の極小値と２番目に小さい極小値との差Ｄが、所定値Ｖよりも小さいかを判断する（ステップＳ７−１）。ここで、ステップＳ７−１の処理に関し、図１３及び図１４を用いて、より詳細に説明する。なお、ここでは、説明を簡単にするために、３×３の画素から成る局所領域に対して、メディアンフィルタを適用する場合について説明する。

図１３（ａ）では、９個の画素の各視差値が示されている。例えば、メディアンフィルタが適用される局所領域の中央の画素における視差値はΔ＝１３である。そして、視差値補正部３４０（判断部）は、図１４に示されているように、局所領域内の画素毎に、合成コスト値において、最小の極小値（Ｌｓ（ｄ１））と２番目に小さい極小値（Ｌｓ（ｄ２））との差Ｄが、所定値Ｖより小さいかを判断する。例えば、所定値Ｖは８０である。そして、図１３（ｂ）に示されているように、視差値補正部３４０は、差Ｄが所定値Ｖ以上の画素に関しては、メディアンフィルタの適用対象とし「○」、差Ｄが所定値Ｖ未満の画素に関しては、メディアンフィルタの適用対象から外す「×」。

そして、視差値補正部３４０（判断部）が、局所領域内の全ての画素に関して、差Ｄが所定値Ｖより小さい画素がないと判断した場合には（ＹＥＳ）、視差値補正部３４０は、そのままの状態で（つまり、メディアンフィルタの適用対象から特定の画素を外さない状態で）、局所領域に対してメディアンフィルタを適用して視差値を補正する（ステップＳ７−２）。例えば、局所領域内の全画素が適用対象の場合、図１５（ａ）に示されているように、視差値補正部３４０は、９個の視差値を上から小さい順に並べて、真ん中に来る視差値を局所領域における中央の画素の視差値とする。ここでは、真ん中に来る視差値は「１２」であるため、中央の画素の視差値は「１３」から「１２」に補正される。

一方、上記ステップＳ７−１において、視差値補正部３４０（判断部）が、局所領域内の特定の画素に関して、差Ｄが所定値以上ではない（つまり、差Ｄが所定値未満）と判断した場合には（ＮＯ）、視差値補正部３４０は、メディアンフィルタの適用対象から特定の画素を外す（ステップＳ７−３）。そして、視差値補正部３４０は、ステップＳ７−２の処理を同様の処理を行なう。例えば、図１３（ａ）において、局所領域の右上と中央上の画素が、図１４において差Ｄが所定値Ｖ以上でない場合、図１３（ｂ）に示されているように、メディアンフィルタの適用対象から外される「×」。そして、図１５（ｂ）に示されているように、視差値補正部３４０は、９個の視差値を上から小さい順に並べて、図１３（ｂ）で「×」になった画素の視差値が外された状態で真ん中に来る視差値を局所領域における中央の画素の視差値とする。ここでは、真ん中に来る視差値は「１１」であるため、中央の画素の視差値は「１３」から「１１」に補正される。

以上のように、視差値補正部３４０がメディアンフィルタを適用することで、図２（ｂ）に示されている高密度視差画像が、図１６に示されている高密度視差画像として生成されることになる。図２（ｂ）に示されている高密度視差画像では車の後側等にノイズが発生しているが、図１６に示されている高密度視差画像ではノイズが除去されている。

なお、所定値Ｖは、利用者等によって変更可能である。所定値Ｖが大きくなれば視差値Δの信頼度が増すが、逆に、信頼度が低いためにメディアンフィルタの適用対象から外される画素が増す。そのため、所定値Ｖを大きくし過ぎると、より正確な視差値を導出することが困難になる。

ここで、図１７を用いて、視差値補正部３４０が所定値Ｖを用いた際の高密度視差画像について説明する。なお、図１７のうち、（ａ）は基準画像、（ｂ）は基準画像の一部、（ｃ）は従来のＳＧＭ法を用いた場合の高密度視差画像、（ｄ）は視差値補正部３４０が所定値Ｖ１を用いて補正した場合の高密度視差画像、（ｅ）は視差値補正部３４０が所定値Ｖ２（Ｖ１＜Ｖ２）を用いて補正した場合の高密度視差画像を示す。ここでは、標識Ｍの基準画像が示されている。また、例えば、Ｖ１＝５０で、Ｖ２＝１００である。

このように、視差値補正部３４０によって、高密度視差画像は、より実物に近い形態の画像となる。ここでは、形態が小さくなっている。更に、所定値Ｖ１を大きくして、Ｖ２にすると、更に実物に近い形態の画像となる。但し、所定値をＶ２から更に大きくして、Ｖ３＝２００以上にすると、図１４に示されているような合成コスト値を示すグラフにおいて、Ｌｓの最小値とＬｓの最小値以外の極小値との差Ｄが比較的大きいものまで空間フィルタの適用対象から除外されてしまうため、導出される視差値Δの信頼度が低下することになる。なお、Ｖ１＝５０、Ｖ２＝１００は一例である。例えば、５０≦Ｖ１≦１００、７０≦Ｖ２≦２００（但し、Ｖ１＋２０＜Ｖ２）であってもよい。

＜実施形態の主な効果＞
以上説明したように本実施形態によれば、視差値に対してメディアンフィルタを適用することで、極端に視差値が高い又は低い画素を平均化することで、より正確な視差値を導出することができるという効果を奏する。

また、信頼度が低い視差値に対してはメディアンフィルタの適用対象から外すことで、更に正確な視差値を導出することができるという効果を奏する。

＜実施形態の補足＞
上記実施形態では、コスト値Ｃは「非類似度」として示されているが、「類似度」として示されてもよい。この場合、コスト値Ｃの最小値は最大値に置き換え、合成コスト値Ｌｓの最小値は最大値に置き換えられる。

また、上記実施形態では、(式４)によって、（式３）によって算出された全ての経路ｒに関する経路コスト値Ｌｒを合計したが、これに限るものではない。１つの経路コスト値Ｌｒを合成コスト値としてもよいし、２以上の経路コスト値Ｌｒの合成を合成コスト値Ｌｓとしてもよい。

更に、上記実施形態では、視差値補正部３４０が、基準画像内の各画素のうち特定の画素において、シフト量ｄ毎に出力された各合成コスト値Ｌｓのうち最小の極小値と２番目に小さい極小値との差が所定値よりも小さいかを判断したが、これに限るものではない。例えば、主に横方向に変化が表れづらい路面の視差値Δをより正確に導出するため、経路ｒ_０，ｒ_１８０上の画素に対してのみ、メディアンフィルタの適用対象から特定の画素を外すための判断をしてもよい。また、主に縦方向に変化が表れづらい標識や車等の視差値Δをより正確に導出するため、経路ｒ_９０，ｒ_２７０上の画素に対してのみ、メディアンフィルタの適用対象から特定の画素を外すための判断をしてもよい。

更に、上記実施形態では、説明の簡略化のために、一画素単位で説明したが、これに限るものではなく、所定領域単位で処理されてもよい。この場合、基準画素を含む所定領域は基準領域として示され、対応画素を含む所定領域は対応領域として表される。なお、この基準領域には基準画素のみの場合も含まれ、対応領域には対応画素のみの場合も含まれる。

また、上記実施形態では、２つの撮像装置１０ａ，１０ｂを用いたが、これに限らず１つの撮像装置を用いてもよい。この場合、１つの画像センサにおいて撮像境域を２箇所に分けることにより、対象Ｅを撮像する。

更に、上記実施形態では、自動車に搭載される視差値導出装置１について説明したが、これに限るものではない。例えば、車両の一例としての自動車だけでなく、バイク、自転車、車椅子、農業用の耕運機等の車両に搭載されることができてもよい。また、移動体の一例としての車両だけでなく、ロボット等の移動体であってもよい。

更に、ロボットは、移動体だけでなく、ＦＡ(Factory Automation)において固定設置される工業用ロボット等の装置であってもよい。また、固定設置される装置としては、ロボットだけでなく、防犯用の監視カメラであってもよい。

また、上記実施形態では、外部のＣＰＵが距離Ｚを算出しているが、これに限るものではなく、画像処理装置３０のＣＰＵ３２が距離Ｚを算出してもよい。

更に、上記実施形態で説明された視差値Δの導出方法は、換言すると、視差値Δの生産方法でもある。

また、本実施形態においてはメディアンフィルタを対象としているが、メディアンフィルタのみならず平滑化フィルタ等の公知の空間フィルタを利用しても良い。その場合、視差値補正部３４０は、基準画像内の各画素のうち特定の画素において、シフト量ｄ毎に出力された各合成コスト値のうち最小の極小値と２番目に小さい極小値との差Ｄが所定値Ｖよりも小さいかを判断する。更に、視差値補正部３４０は、差Ｄが所定値Ｖよりも小さいと判断した場合には、平滑化フィルタ等の公知の空間フィルタの適用対象から特定の領域を外して視差値Δを補正する。

＜付記項＞
上記実施形態では、以下に示すような発明が開示されている。

〔付記項１〕
対象を撮像した第１の撮像手段によって得られた基準画像及び前記対象を撮像した第２の撮像手段によって得られた比較画像から、前記対象に対する視差を示す視差値を導出する視差値導出装置であって、
前記基準画像内の基準領域の輝度値と、前記比較画像において前記基準領域に基づくエピポーラ線上でシフトさせることでシフト量毎に特定される対応領域の候補の各輝度値との各非類似度を算出する算出手段と、
前記算出手段によって算出された前記各非類似度を前記シフト量毎に合成して、基準画像内の所定の経路における経路コスト値を算出し、各経路における経路コスト値を合計することで前記シフト量毎に各合成コスト値を出力する合成手段と、
前記出力された各合成コスト値のうち最小値となる合成コスト値のシフト量を、前記基準領域における視差値として導出することで、前記基準画像内の各領域を前記基準領域として導出した各視差値を出力する導出手段と、
前記基準画像内の各領域のうち所定の領域を中央とする複数の領域に対して空間フィルタを適用することで、前記所定の領域における視差値を補正する補正手段と、
を有することを特徴とする視差値導出装置。

〔付記項２〕
付記項１に記載の視差値導出装置であって、
前記基準画像内の各領域のうち特定の領域において、前記シフト量毎に出力された前記各合成コスト値のうち最小の極小値と２番目に小さい極小値との差が所定値よりも小さいかを判断する判断手段を有し、
前記補正手段は、前記判断手段によって前記差が前記所定値よりも小さいと判断された場合には、前記空間フィルタの適用対象から前記特定の領域を外して、前記視差値を補正することを特徴とする付記項１に記載の視差値導出装置。

〔付記項３〕
前記算出手段が非類似度に代えて類似度を算出する場合に、前記導出手段は、前記各合成コスト値のうち最小値に代えて最大値となる合成コスト値のシフト量を、前記基準領域における視差値として導出することを特徴とする付記項１に記載の視差値導出装置。

〔付記項４〕
前記算出手段が非類似度に代えて類似度を算出する場合に、前記判断手段は、前記基準画像内の各領域のうち特定の領域において、前記シフト量毎に出力された前記各合成コスト値のうち最小の極小値に代えて最大の極大値と、２番目に小さい極小値に代えて２番目に大きい極大値との差が所定値よりも小さいかを判断することを特徴とする付記項４に記載２に記載の視差値導出装置。

１ 視差値導出装置
２ 本体部
１０ａ 撮像装置
１０ｂ 撮像装置
２０ａ 信号変換装置
２０ｂ 信号変換装置
３０ 画像処理装置
３１０ コスト算出部〔算出手段の一例〕
３２０ コスト合成部〔合成手段の一例〕
３３０ 視差値導出部〔導出手段の一例〕
３３０ （判断部）〔判断手段の一例〕

特開２００６−０９０８９６号公報 特開２０１２−１８１１４２号公報

Claims (12)

1. 第１の撮像位置から撮像された基準画像における基準領域と、第２の撮像位置から撮像された比較画像における、前記基準領域に対応する対応領域を含む指定の範囲内の複数の領域各々と、のコスト値を算出する算出手段と、
   前記算出手段により算出された、前記基準画像における所定の基準領域の周辺の基準領域のコスト値と、前記基準画像における前記所定の基準領域のコスト値と、を合成する合成手段と、
   前記合成手段により合成されたコスト値に基づいて、前記所定の基準領域において撮像されている対象の視差値を導出する導出手段と、
   前記基準画像内の各領域のうち所定の領域を含む複数の領域に対して空間フィルタを適用することで、前記所定の領域における視差値を補正する補正手段と、
   を備え、
   前記補正手段は、前記基準画像内の各領域のうち特定の領域において、前記合成されたコスト値のうち、前記視差値の導出に用いられる極値を含む２つの極値の差が所定値よりも小さい場合には、前記空間フィルタの適用対象から前記特定の領域を外して、前記視差値を補正することを特徴とする視差値導出装置。
2. 前記基準画像内の各領域のうち特定の領域において、前記合成されたコスト値のうち、前記視差値の導出に用いられる極値を含む２つの極値の差が所定値よりも小さいかを判断する判断手段を有し、
   前記判断手段によって前記差が前記所定値よりも小さいと判断された場合には、前記補正手段は、前記空間フィルタの適用対象から前記特定の領域を外して、前記視差値を補正することを特徴とする、請求項１に記載の視差値導出装置。
3. 前記判断手段は、前記基準画像内の各経路のうち特定の経路における特定の領域のみにおいて、前記判断を行うことを特徴とする請求項２に記載の視差値導出装置。
4. 前記所定値は変更可能であることを特徴とする請求項１乃至３のいずれか一項に記載の視差値導出装置。
5. 請求項１乃至４のいずれか一項に記載の視差値導出装置を備えたことを特徴とする移動体。
6. 前記移動体は、車両又はロボットであることを特徴とする請求項５に記載の移動体。
7. 請求項１乃至４のいずれか一項に記載の視差値導出装置を備えたことを特徴とするロボット。
8. 前記ロボットは、固定設置される工業用ロボットであることを特徴とする請求項７に記載のロボット。
9. 第１の撮像位置から撮像された基準画像における基準領域と、第２の撮像位置から撮像された比較画像における、前記基準領域に対応する対応領域を含む指定の範囲内の複数の領域各々と、のコスト値を算出する算出ステップと、
   前記算出ステップにより算出された、前記基準画像における所定の基準領域の周辺の基準領域のコスト値と、前記基準画像における前記所定の基準領域のコスト値と、を合成する合成ステップと、
   前記合成ステップにより合成されたコスト値に基づいて、前記所定の基準領域において撮像されている対象の視差値を導出する導出ステップと、
   前記基準画像内の各領域のうち所定の領域を含む複数の領域に対して空間フィルタを適用することで、前記所定の領域における視差値を補正する補正ステップと、
   を実行する視差値導出方法であって、
   前記補正ステップにおいて、前記基準画像内の各領域のうち特定の領域において、前記合成されたコスト値のうち、前記視差値の導出に用いられる極値を含む２つの極値の差が所定値よりも小さい場合には、前記空間フィルタの適用対象から前記特定の領域を外して、前記視差値を補正することを特徴とする視差値導出方法。
10. 第１の撮像位置から撮像された基準画像における基準領域と、第２の撮像位置から撮像された比較画像における、前記基準領域に対応する対応領域を含む指定の範囲内の複数の領域各々と、のコスト値を算出する算出ステップと、
    前記算出ステップにより算出された、前記基準画像における所定の基準領域の周辺の基準領域のコスト値と、前記基準画像における前記所定の基準領域のコスト値と、を合成する合成ステップと、
    前記合成ステップにより合成されたコスト値に基づいて、前記所定の基準領域において撮像されている対象の視差値を導出する導出ステップと、
    前記基準画像内の各領域のうち所定の領域を含む複数の領域に対して空間フィルタを適用することで、前記所定の領域における視差値を補正する補正ステップと、
    を実行する視差値生産方法であって、
    前記補正ステップにおいて、前記基準画像内の各領域のうち特定の領域において、前記合成されたコスト値のうち、前記視差値の導出に用いられる極値を含む２つの極値の差が所定値よりも小さい場合には、前記空間フィルタの適用対象から前記特定の領域を外して、前記視差値を補正することを特徴とする視差値生産方法。
11. コンピュータに、請求項９又は１０に記載の方法を実行させることを特徴とするプログラム。
12. 第１の撮像位置から撮像された基準画像における基準領域と、第２の撮像位置から撮像された比較画像における、前記基準領域に対応する対応領域を含む指定の範囲内の複数の領域各々と、のコスト値を算出する算出手段と、
    前記算出手段により算出された、前記基準画像における所定の基準領域の周辺の基準領域のコスト値と、前記基準画像における前記所定の基準領域のコスト値と、を合成する合成手段と、
    前記合成手段により合成されたコスト値に基づいて、前記所定の基準領域において撮像されている対象の視差値を導出する導出手段と、
    前記基準画像内の各領域のうち所定の領域を含む複数の領域に対して、前記合成されたコスト値のうち、前記視差値の導出に用いられる極値を含む２つの極値の差と所定値との比較結果に基づいて前記複数の領域のうちの少なくとも１つを除外したうえで空間フィルタを適用することで前記所定の領域における視差値を補正して、前記基準画像または前記比較画像中の物体の認識を行う前記物体認識装置に出力する補正手段と、を備え、
    前記導出手段が導出する視差値で示される前記物体認識装置が認識する物体に対応する領域は、前記所定値が大きいほど小さくなることを特徴とする視差値導出装置。

Images