JP6442911B2 - 視差値導出装置、移動体、ロボット、視差値導出方法、及びプログラム - Google Patents

Description

本発明は、物体を撮像して得られた複数の画像から、物体に対する視差を示す視差値を導出する発明に関する。

従来から、ステレオ画像法によって、ステレオカメラから物体に対する視差を導き出し、この視差を示す視差値によって、三角測量の原理に基づき、ステレオカメラから物体までの距離を測定する測距方法が知られている。この測距方法により、例えば、自動車間の距離や、自動車と障害物間の距離が測定され、自動車の衝突防止に役立てている。

また、視差値の求め方としては、ステレオマッチング処理が用いられている。このステレオマッチング処理は、ステレオカメラの２つのカメラのうち、一方のカメラによって得られた基準画像内の注目する基準画素に対して、他方のカメラによって得られた比較画像内の複数の対応画素の候補を順次シフトしながら、画像信号が最も類似する画素である対応画素の位置を求めることで、基準画像と比較画像の間の視差値を検出する。一般的には、２つのカメラによって得られた画像信号の輝度値を比較することで、比較する輝度値のコスト値(Cost：ここでは「非類似度」)が最も低い画素の位置が求められる。

上述のようなステレオマッチング処理として、画像間の類似性を評価するために、比較する画像から領域を切り出し、その領域に対する輝度差の総和(SAD; Sum of Absolute Difference)、輝度差の２乗和(SSD: Sum of Squared Differece)、正規化相互相関(ZNCC; Zero-mean Normalized Cross- Correlation)などを求めるブロックマッチング法がある。

但し、画像におけるテクスチャが弱い部分では、画像としての特徴を抽出することが困難であり、ブロックマッチング法によっては、精度の高い視差を得ることができない場合がある。そこで、正確な視差を導出する方法として、基準画像上の基準画素に対する比較画像上の画素のコスト値だけではなく、比較画像上の画素の周囲の画素のコスト値を集約して、テクスチャが弱い物体に対する視差を導出する技術が提案されている（特許文献１参照）。

しかしながら、特許文献１に記載された方法を用いて自動車間の距離等を測距する場合、テクスチャの弱い路面におけるコスト値が、テクスチャの強い周囲の先行車両等におけるコスト値の影響を受けてしまう。これにより、正確なコスト値を導き出すことができないという課題が生じる。

上述の課題を解決するため、請求項１に係る発明は、所定の物体を第１の位置で撮像して得た基準画像及び前記物体を第２の位置で撮像して得た比較画像に基づいて、前記物体に対する視差を示す視差値を導出する視差値導出装置であって、前記基準画像内の基準領域の輝度値と、前記比較画像において前記基準領域に基づくエピポーラ線上でシフトさせることで、シフト量毎に特定される対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補の非類似度を算出する第１の算出手段と、前記基準画像内の基準領域の輝度値に基づいて、前記基準領域に対する正規化倍率を算出する第２の算出手段と、前記第１の算出手段によって算出された前記各非類似度に対して前記正規化倍率を適用することで、前記非類似度を変更する変更手段と、前記変更手段による変更後の一の基準領域に対する対応領域の候補の各非類似度と、前記変更手段による変更後の他の基準領域に対する対応領域の候補の各非類似度とを、前記シフト量毎に合成する合成手段と、前記一の基準領域の前記基準画像における位置と、前記合成手段による合成後の非類似度が最小となる対応領域の前記比較画像における位置とに基づいて、前記視差値を導出する導出手段と、を有することを特徴とする視差値導出装置である。

以上説明したように本発明によれば、各非類似度に対して正規化倍率を適用することで、テクスチャの弱い物体のコスト値の特徴が消えてしまう問題を防ぐことができる。よって、テクスチャの強弱の影響を抑えたコスト値を使用するため、より正確な視差値を導き出すことができるという効果を奏する。

撮像装置から物体までの距離を導き出す原理の説明図である。 （ａ）は基準画像、（ｂ）は（ａ）に対する高密度視差画像、（ｃ）は（ａ）に対するエッジ視差画像を示す概念図である。 （ａ）は基準画像における基準画素を示す概念図、（ｂ）は（ａ）の基準画素に対して比較画像における対応画素の候補を順次シフトしながらシフト量を算出する際の概念図である。 シフト量毎のコスト値を示すグラフである。 合成コスト値を導き出すための概念図である。 視差値毎の合成コスト値を示すグラフである。 （ａ）は本発明の一実施形態に係る視差値導出装置を搭載した自動車の側面を表す概略図、（ｂ）は自動車の正面を示す概略図である。 視差値導出装置の概観図である。 視差値導出装置の全体のハードウェア構成図である。 視差値導出装置の主要部のハードウェア構成図である。 第１の実施形態の処理を示したフローチャートである。 （ａ）は基準画像、（ｂ）は基準画像の一部、（ｃ）はコスト変更しない場合の（ｂ）に対する高密度視差画像、（ｄ）は正規化によってコスト変更した場合の（ｂ）に対する高密度視差画像、（ｅ）は正規化後の２値化によってコスト変更した場合の（ｂ）に対する高密度視差画像を示す概念図である。 （ａ）は自己相関値を示すグラフ、（ｂ）は（ａ）の値を正規化した後の値を示すグラフである。 （ａ）はコスト変更しない場合のコスト値を示すグラフ、（ｂ）は正規化倍率を適用した後のコスト値を示すグラフ、（ｃ）は（ａ）から導かれた合成コスト値を示すグラフ、（ｄ）は（ｂ）から導かれた合成コスト値を示すグラフである。 第２の実施形態の処理を示したフローチャートである。 （ａ）は正規化倍率を適用した後のコスト値を示すグラフ、（ｂ）は正規化倍率を適用した後に２値化したコスト値を示すグラフ、（ｃ）は（ａ）から導かれた合成コスト値を示すグラフ、（ｄ）は（ｂ）から導かれた合成コスト値を示すグラフである。

以下、図１乃至図１６を用いて、本発明の一実施形態について説明する。

〔ＳＧＭ法を用いた測距方法の概略〕
まず、図１乃至図６を用いて、ＳＧＭ(Semi-Global Matching)法を用いた測距方法の概略について説明する。

＜測距の原理＞
図１を用いて、ステレオ画像法により、ステレオカメラから物体に対する視差を導き出し、この視差を示す視差値によって、ステレオカメラから物体までの距離を測定する原理について説明する。なお、図１は、撮像装置から物体までの距離を導き出す原理の説明図である。また、以下では、説明を簡略化するため、複数の画素からなる所定領域ではなく、一画素単位で説明する。

（視差値算出）
まず、図１で示される撮像装置１０ａおよび撮像装置１０ｂによって撮像された各画像を、それぞれ基準画像Ｉａおよび比較画像Ｉｂとする。なお、図１では、撮像装置１０ａおよび撮像装置１０ｂが平行等位に設置されているものとする。図１において、３次元空間内の物体Ｅ上のＳ点は、撮像装置１０ａおよび撮像装置１０ｂの同一水平線上の位置に写像される。すなわち、各画像中のＳ点は、基準画像Ｉａ中の点Ｓａ（ｘ，ｙ）および比較画像Ｉｂ中の点Ｓｂ（Ｘ，ｙ）において撮像される。このとき、視差値Δは、撮像装置１０ａ上の座標におけるＳａ（ｘ，ｙ）と撮像装置１０ｂ上の座標におけるＳｂ（Ｘ，ｙ）とを用いて、（式１）のように表される。

Δ＝Ｘ−ｘ （式１）
ここで、図１のような場合には、基準画像Ｉａ中の点Ｓａ（ｘ，ｙ）と撮像レンズ１１ａから撮像面上におろした垂線の交点との距離をΔａにし、比較画像Ｉｂ中の点Ｓｂ（Ｘ，ｙ）と撮像レンズ１１ｂから撮像面上におろした垂線の交点との距離をΔｂにすると、視差値Δ＝Δａ＋Δｂとなる。

（距離算出）
また、視差値Δを用いることで、撮像装置１０ａ，１０ｂと物体Ｅとの間の距離Ｚを導き出すことができる。具体的には、距離Ｚは、撮像レンズ１１ａの焦点位置と撮像レンズ１１ｂの焦点位置とを含む面から物体Ｅ上の特定点Ｓまでの距離である。図１に示されるように、撮像レンズ１１ａ及び撮像レンズ１１ｂの焦点距離ｆ、撮像レンズ１１ａと撮像レンズ１１ｂとの間の長さである基線長Ｂ、及び視差値Δを用いて、（式２）により、距離Ｚを算出することができる。

Ｚ＝（Ｂ×ｆ）／Δ （式２）
この（式２）により、視差値Δが大きいほど距離Ｚは小さく、視差値Δが小さいほど距離Ｚは大きくなる。

＜ＳＧＭ法＞
続いて、図２乃至図６を用いて、ＳＧＭ法を用いた測距方法について説明する。なお、図２（ａ）は基準画像、図２（ｂ）は（ａ）に対する高密度視差画像、図２（ｃ）は（ａ）に対するエッジ視差画像を示す概念図である。ここで、基準画像は、物体が輝度によって示された画像である。高密度視差画像は、ＳＧＭ法によって、基準画像から導き出された画像であり、基準画像の各座標における視差値を示した画像である。エッジ視差画像は、ブロックマッチング法から導き出された画像であり、基準画像のエッジ部のような比較的テクスチャの強い部分のみの視差値を示した画像である。

ＳＧＭ法は、テクスチャが弱い物体に対しても適切に上記視差値を導き出す方法であり、図２（ａ）に示されている基準画像に基づいて、図２（ｂ）に示されている高密度視差画像を導き出す方法である。なお、ブロックマッチング法を用いた場合には、図２（ａ）に示されている基準画像に基づいて、図２（ｃ）に示されているエッジ視差画像が導き出される。図２（ｂ）及び図２（ｃ）における破線の楕円内を比べると分かるように、高密度視差画像は、エッジ視差画像に比べてテクスチャが弱い道路等の詳細な情報を表すことができるため、より詳細な測距を行うことができる。

このＳＧＭ法は、非類似度であるコスト値を算出して直ちに視差値を導出せず、コスト値を算出後、更に、合成非類似度である合成コスト値 (Synthesis Cost)を算出することで視差値を導出し、最終的にほぼ全ての画素における視差値を示す視差画像（ここでは、高密度視差画像）を導き出す方法である。

なお、ブロックマッチング法の場合は、コスト値を算出する点はＳＧＭ法と同じであるが、ＳＧＭ法のように、合成コスト値を算出せずに、エッジ部のような比較的テクスチャの強い部分の視差値のみが導出される。

（コスト値の算出）
まず、図３及び図４を用いて、コスト値Ｃ（ｐ，ｄ）の算出方法について説明する。図３（ａ）は基準画像における基準画素を示す概念図、図３（ｂ）は（ａ）の基準画素に対して比較画像における対応画素の候補を順次シフトしながら（ずらしながら）シフト量（ずれ量）を算出する際の概念図である。図４は、シフト量毎のコスト値を示すグラフである。ここで、対応画素は、基準画像内の基準画素に最も類似する比較画像内の画素である。なお、以降、Ｃ（ｐ，ｄ）は、Ｃ（ｘ，ｙ，ｄ）を表すものとして説明する。

図３（ａ）に示されているように、基準画像内の所定の基準画素ｐ（ｘ，ｙ）と、この基準画素ｐ（ｘ，ｙ）に対する比較画像内におけるエピポーラ線(Epipolar Line)上の複数の対応画素の候補ｑ（ｘ＋ｄ，ｙ）との各輝度値に基づいて、基準画素ｐ（ｘ，ｙ）に対する各対応画素の候補ｑ（ｘ＋ｄ，ｙ）のコスト値Ｃ（ｐ，ｄ）が算出される。ｄは、基準画素ｐと対応画素の候補ｑのシフト量（ずれ量）であり、本実施形態では、画素単位のシフト量が表されている。即ち、図３では、対応画素の候補ｑ（ｘ＋ｄ，ｙ）を予め指定された範囲（例えば、０＜ｄ＜２５）において順次一画素分シフトしながら、対応画素の候補ｑ（ｘ＋ｄ，ｙ）と基準画素ｐ（ｘ，ｙ）との輝度値の非類似度であるコスト値Ｃ（ｐ，ｄ）が算出される。

このようにして算出されたコスト値Ｃ（ｐ，ｄ）は、図４に示されているように、シフト量ｄ毎に示されるグラフによって表すことができる。図４では、コスト値Ｃは、シフト量ｄ＝５，１２，１９の場合が０（ゼロ）となるため、最小値を求めることができない。このように、テクスチャが弱い物体の場合には、コスト値Ｃの最小値を求めることは困難になる。

（合成コスト値の算出）
次に、図５及び図６を用いて、合成コスト値Ｌｓ（ｐ，ｄ）の算出方法について説明する。図５は、合成コスト値を導き出すための概念図である。図６は、視差値毎の合成コスト値を示すグラフである。本実施形態における合成コスト値の算出は、コスト値Ｃ（ｐ，ｄ）の算出だけでなく、所定の基準画素ｐ（ｘ，ｙ）の周辺の画素を基準画素とした場合のコスト値を、基準画素ｐ（ｘ，ｙ）におけるコスト値Ｃ（ｐ，ｄ）に集約させて、合成コスト値Ｌｓ（ｐ，ｄ）を算出する方法である。

ここで、合成コスト値の算出方法について、より詳細に説明する。合成コスト値Ｌｓ（ｐ，ｄ）を算出するためには、まず、経路コスト値Ｌｒ（ｐ，ｄ）を算出する必要がある。(式３)は、経路コスト値Ｌｒ（ｐ，ｄ）を算出するための式であり、（式４）は、合成コスト値Ｌｓを算出するための式である。

Ｌｒ（ｐ，ｄ）＝Ｃ（ｐ，ｄ）＋ｍｉｎ｛（Ｌｒ（ｐ−ｒ，ｄ），Ｌｒ（ｐ−ｒ，ｄ−１）＋Ｐ１，Ｌｒ（ｐ−ｒ，ｄ＋１）＋Ｐ１，Ｌｒｍｉｎ（ｐ−ｒ）＋ｐ２｝ （式３）
ここで、ｒは、集約方向の方向ベクトルを示し、ｘ方向およびｙ方向の２成分を有する。ｍｉｎ｛｝は、最小値を求める関数である。Ｌｒｍｉｎ（ｐ−ｒ）は、ｐをｒ方向に１画素シフトした座標において、シフト量ｄを変化させた際のＬｒ（ｐ−ｒ，ｄ）の最小値を示す。なお、Ｌｒは、（式３）に示されているように再帰的に適用される。また、Ｐ１及びＰ２は、予め実験により定められた固定パラメータであり、経路上で隣接する基準画素の視差値Δが連続になりやすいようなパラメータになっている。例えば、Ｐ１＝４８、Ｐ２＝９６である。

また、（式３）に示されているように、Ｌｒ（ｐ，ｄ）は、基準画素ｐ（ｘ，ｙ）におけるコスト値Ｃに、図５に示されているｒ方向の各画素における各画素の経路コスト値Ｌｒの最小値を加算することで求められる。このように、ｒ方向の各画素におけるＬｒを求めるため、最初は、基準画像ｐ（ｘ，ｙ）のｒ方向の一番端の画素からＬｒを求め、ｒ方向に沿ってＬｒが求められる。

そして、図５に示されているように、８方向のＬｒ_０，Ｌｒ_４５，Ｌｒ_９０，Ｌｒ_１３５，Ｌｒ_１８０，Ｌｒ_２２５，Ｌｒ_２７０，Ｌｒ_３１５求められ、最終的に（式４）に基づいて、合成コスト値Ｌｓが求められる。

このようにして算出された合成コスト値Ｌｓ（ｐ，ｄ）は、図６に示されているように、シフト量ｄ毎に示されるグラフによって表すことができる。図６では、合成コスト値Ｌｓは、シフト量ｄ＝３の場合が最小値となるため、視差値Δ＝３として算出される。なお、上記説明ではｒの数を８として説明しているが、これに限られることはない。例えば、８方向を更に２つに分割して１６方向、３つに分割して２４方向等にしてもよい。

〔本実施形態の具体的な説明〕
以下、図７乃至図１９を用いて、本実施形態の具体的な説明を行う。ここでは、自動車に搭載される視差値導出装置１について説明する。

＜＜第１の実施形態＞＞
以降、図７乃至図１４を用いて、第１の実施形態について説明する。

＜実施形態の構成＞
まず、図７乃至図１０を用いて、本実施形態の構成について説明する。

（外観構成）
図７及び図８を用いて、本実施形態の視差値導出装置１の外観構成を説明する。なお、図７（ａ）は本発明の一実施形態に係る視差値導出装置を搭載した自動車の側面を表す概略図、図７（ｂ）は自動車の正面を示す概略図である。図８は、視差値導出装置の概観図である。

図７（ａ），（ｂ）に示されているように、本実施形態の視差値導出装置１は、撮像装置１０ａ及び撮像装置１０ｂを備えており、撮像装置１０ａ及び撮像装置１０ｂは自動車の進行方向前方の光景を撮像することができるように設置される。

また、図８に示されているように、視差値導出装置１は、本体部２と、本体部２に対して設けられた一対の円筒状の撮像装置１０ａ及び撮像装置１０ｂとによって構成されている。

（全体のハードウェア構成）
次に、図９を用いて、視差値導出装置１の全体のハードウェア構成について説明する。なお、図９は、視差値導出装置の全体のハードウェア構成図である。

図９に示されているように、視差値導出装置１は、撮像装置１０ａ、撮像装置１０ｂ、信号変換装置２０ａ、信号変換装置２０ｂ、及び画像処理装置３０を備えている。

このうち、撮像装置１０ａは、前方の光景を撮像して画像を表すアナログ信号を生成するものであり、撮像レンズ１１ａ、絞り１２ａ、画像センサ１３ａを備えている。撮像レンズ１１ａは、撮像レンズ１１ａを通過する光を屈折させて物体の像を結像させるための光学素子である。絞り１２ａは、撮像レンズ１１ａを通過した光の一部を遮ることによって、後述する画像センサ１３ａに入力される光の量を調整する。画像センサ１３ａは、撮像レンズ１１ａ及び絞り１２ａから入力された光を電気的なアナログの画像信号に変換する半導体の素子であり、ＣＣＤ(Charge Coupled Devices)やＣＭＯＳ(Complementary Metal Oxide Semiconductor）によって実現される。なお、撮像装置１０ｂは撮像装置１０ａと同じ構成を備えているため、撮像装置１０ｂについての説明は省略する。また、撮像レンズ１１ａと撮像レンズ１１ｂは、それぞれのレンズ面が互いに同一平面内になるように設置されている。

また、信号変換装置２０ａは、撮像された画像を表すアナログ信号をデジタル形式の画像データに変換するものであり、ＣＤＳ(Correlated Double Sampling)２１ａ、ＡＧＣ(Auto Gain Control)２２ａ、ＡＤＣ(Analog Digital Converter)２３ａ、及びフレームメモリ２４ａを備えている。ＣＤＳ２１ａは、画像センサ１３ａによって変換されたアナログの画像信号から相関二重サンプリングによってノイズを除去する。ＡＧＣ２２ａは、ＣＤＳ２１ａによってノイズが除去されたアナログの画像信号の強度を制御する利得制御を行う。ＡＤＣ２３ａは、ＡＧＣ２２ａによって利得制御されたアナログの画像信号をデジタル形式の画像データに変換する。フレームメモリ２４ａは、ＡＤＣ２３ａによって変換された画像データを記憶する。

同様に、信号変換装置２０ｂは、撮像装置１０ｂによって変換されたアナログの画像信号から画像データを取得するものであり、ＣＤＳ２１ｂ、ＡＧＣ２２ｂ、ＡＤＣ２３ｂ、及びフレームメモリ２４ｂを有している。なお、ＣＤＳ２１ｂ、ＡＧＣ２２ｂ、ＡＤＣ２３ｂ、及びフレームメモリ２４ｂはそれぞれＣＤＳ２１ａ、ＡＧＣ２２ａ、ＡＤＣ２３ａ、及びフレームメモリ２４ａと同じ構成であるため、それらについての説明は省略する。

更に、画像処理装置３０は、信号変換装置２０ａ及び信号変換装置２０ｂによって変換された画像データを処理するための装置である。この画像処理装置３０は、ＦＰＧＡ(Field Programmable Gate Array)３１、ＣＰＵ(Central Processing Unit)３２、ＲＯＭ(Read Only Memory)３３、ＲＡＭ(Random Access Memory)３４、Ｉ／Ｆ(Interface)３５及び上記各構成要素３１〜３５を図９に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン３９を備えている。

このうち、ＦＰＧＡ３１は、集積回路であり、ここでは、画像データが表す画像における視差値Δを算出する処理を行う。ＣＰＵ３２は、視差値導出装置１の各機能を制御する。ＲＯＭ３３は、ＣＰＵ３２が視差値導出装置の各機能を制御するために実行する画像処理用プログラムを記憶している。ＲＡＭ３４はＣＰＵ３２のワークエリアとして使用される。Ｉ／Ｆ３５は、外部コントローラ等と通信するためのインターフェイスであり、例えば、自動車のＣＡＮ(Controller Area Network)等に接続されることができる。

なお、上記画像処理用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させてもよい。この記録媒体は、ＣＤ−ＲＯＭやＳＤカード等である。

（主要部のハードウェア構成）
次に、図３、図９及び図１０を用いて、視差値導出装置１の主要部のハードウェア構成について説明する。なお、図１０は、視差値導出装置の主要部のハードウェア構成図である。

図９におけるＦＰＧＡ３１は、図１０に示されているように、コスト算出部３１０、自己相関値算出部３２０、コスト変更部３３０、コスト合成部３４０、視差値導出部３５０を備えている。これらは、ＦＰＧＡ３１の回路の一部であるが、上記プログラムが実行されることにより、同じ処理を行うことができるようにしてもよい。なお、コスト算出部３１０は、第１の算出手段の一例であり、自己相関値算出部３２０は、第２の算出手段の一例である。

このうち、コスト算出部３１０は、図３に示されているように、基準画像（図３（ａ）参照）内の基準画素ｐ（ｘ，ｙ）の輝度値と、比較画像（図３（ｂ）参照）内において基準画素ｐ（ｘ，ｙ）に基づくエピポーラ線ＥＬ上でシフトさせることでシフト量ｄ毎に特定される対応画素の候補ｑ（ｘ＋ｄ，ｙ）の各輝度値とに基づいて、基準画素ｐ（ｘ，ｙ）に対する対応画素の候補ｑ（ｘ＋ｄ，ｙ）の各コスト値Ｃを算出する。

自己相関値算出部３２０は、基準画像（図３（ａ）参照）内の基準領域ｐ（ｘ，ｙ）の輝度値と、同じく基準画像においてエピポーラ線ＥＬ上でシフトさせることでシフト量ｄ毎に特定される所定領域の各輝度値とに基づいて、基準領域ｐ（ｘ，ｙ）に対する自己相関値を算出する。即ち、コスト算出部３１０は、異なる画像（基準画像、比較画像）を比較してコスト値Ｃを算出するのに対して、自己相関値算出部３２０は、同じ画像（基準画像）を比較して自己相関値を算出する点で、両者は相違する。なお、本実施形態の自己相関値算出部３２０は、基準画像に対して同じ基準画像を時間的にシフトして比較するのではなく、基準画像に対して同じ基準画像を位置的にシフトして比較している。

更に、自己相関値算出部３２０は、自己相関値を正規化することにより、正規化した際の倍率を算出する。具体的には、自己相関値算出部３２０は、自己相関値を所定の範囲（例えば、０〜１００の範囲）に正規化した際の倍率（以下、「正規化倍率」という）を用いる。なお、下記（式５）に基づいて正規化倍率ｋが算出される。

ｋ＝１００／ｍａｘ｛Ａ｝ （式５）
ここで、ｍａｘ｛｝は最大値を求める関数である。Ａは自己相関値である。

また、コスト変更部３３０は、コスト算出部３１０によって算出され各コスト値Ｃに対して、自己相関値算出部３２０によって算出された自己相関値に基づく正規化倍率を適用することで（ｋ×Ｃ）、コスト値Ｃを変更する。

コスト合成部３４０は、コスト変更部３３０による変更後の一の基準画素ｐ（ｘ，ｙ）に対する対応画素の候補ｑ（ｘ＋ｄ，ｙ）の各コスト値Ｃと、コスト算出部３１０（コスト変更部）による変更後の他の基準画素ｐ’（ｘ’，ｙ’）に対する対応画素の候補ｑ’（ｘ’＋ｄ，ｙ’）の各コスト値Ｃと、シフト量ｄ毎に合成し、合成コスト値Ｌｓを出力する。なお、この合成の処理は、(式３)に基づいてコスト値Ｃから経路コスト値Ｌｒを算出した後、更に、（式４）に基づいて各方向における経路コスト値Ｌｒを加算して、最終的に合成コスト値Ｌｓを算出する処理である。

更に、視差値導出部３５０は、一の基準画素ｐ（ｘ，ｙ）の基準画像おける位置（ｘ，ｙ）と、コスト合成部３４０による合成後の合成コスト値Ｌｓが最小となる対応画素ｑ（ｘ＋Δ，ｙ）の比較画像における位置（ｘ＋Δ，ｙ）とに基づいて視差値Δを導出し、各画素における視差値を示す視差画像を出力する。

＜実施形態の処理または動作＞
次に、図９乃至図１４を用いて、本実施形態の処理または動作を説明する。本実施形態では、図１２（ａ）に示されている基準画像から合成コスト値Ｌｓが導き出される場合について説明する。なお、図面を分かり易く説明するため、図１２（ａ）の一部の画像を、図１２（ｂ）に示す。

図１１は、第１の実施形態の処理を示したフローチャートである。図１２において、（ａ）は基準画像、（ｂ）は基準画像の一部、（ｃ）はコスト変更しない場合の（ｂ）に対する高密度視差画像、（ｄ）は正規化によってコスト変更した場合の（ｂ）に対する高密度視差画像、（ｅ）は正規化後の２値化によってコスト変更した場合の（ｂ）に対する高密度視差画像を示す概念図である。図１３において、（ａ）は自己相関値を示すグラフ、（ｂ）は（ａ）の値を正規化した後の値を示すグラフである。図１４において、（ａ）はコスト変更しない場合のコスト値を示すグラフ、（ｂ）は正規化倍率を適用した後のコスト値を示すグラフ、（ｃ）は（ａ）から導かれた合成コスト値を示すグラフ、（ｄ）は（ｂ）から導かれた合成コスト値を示すグラフである。なお、図１３（ａ），（ｂ）及び図１４（ａ），（ｂ）において、グラフの縦軸はコスト値Ｃ、横軸はシフト量ｄである。また、図１４（ｃ），（ｄ）において、グラフの縦軸は合成コスト値Ｌｓ、横軸はシフト量ｄである。

まず、図９に示されている撮像装置１０ａは、物体Ｅを撮像してアナログの画像データを生成する（ステップＳ１−１）。同じく、撮像装置１０ａは、物体を撮像してアナログの画像データを生成する(ステップＳ１−２)。

次に、信号変換装置２０ａは、アナログの画像データを、デジタルの画像データに変換する（ステップＳ２−１）。同じく、信号変換装置２０ｂは、アナログの画像データを、デジタルの画像データに変換する（ステップＳ２−２）。

次に、信号変換装置２０ａは、画像処理装置３０のＦＰＧＡ３１に、変換後のデジタルの画像データを基準画像のデータとして出力する（ステップＳ３−１）。この基準画像の概念図は、図１２（ａ）に示されている。同じく、信号変換装置２０ｂは、画像処理装置３０のＦＰＧＡ３１に、変換後のデジタルの画像データを比較画像のデータとして出力する（ステップＳ３−２）。この比較画像は、撮像装置１０ｂによって撮像された画像であるが、図１２（ａ）に示されている基準画像と極端な違いはないため、比較画像の概念図は図示しないで省略する。

次に、図１０に示されているコスト算出部３１０は、基準画像のデータ及び比較画像のデータに基づき、図１４（ａ）のグラフで示されているように、シフト量ｄ毎のコスト値Ｃを算出する（ステップＳ４）。なお、図１４（ａ）では、コスト値Ｃの最小値が複数存在している。仮に、自己相関値算出部３２０及びコスト変更部３３０が無い場合、コスト合成部３４０は、図１４（ｃ）のグラフで示されているように、シフト量ｄ毎に合成コスト値Ｌｓを生成して出力すると、合成コスト値Ｌｓの最小値がｄ＝５となる。そして、高密度視差画像は、図１２（ｃ）で示されているように、輪郭が比較的曖昧な形状の物体を示す画像となる。

次に、図１０に示されている自己相関値算出部３２０は、基準画像のデータに基づき、自己相関値を算出する（ステップＳ５）。なお、図１３（ａ）では、シフト量ｄが大きくなるにつれて自己相関値がなだらかに大きくなるパターンが示されている。

次に、自己相関値算出部３２０は、自己相関値を正規化することにより、正規化倍率を算出する（ステップＳ６）。図１３では、図１３（ａ）で示された自己相関値（コスト値）が、シフト量ｄ＝２２の場合に最大値４０となるため、自己相関値算出部３２０は、シフト量ｄ＝２２における自己相関値（コスト値）が１００となるように、各シフト量の自己相関値（コスト値）を変更すると、図１３（ｂ）に示されているようなグラフになる。これにより、自己相関値算出部３２０は、正規化倍率を２．５（＝１００／４０）として算出することができる。

次に、コスト変更部３３０は、コスト算出部３１０によって算出されたコスト値Ｃに対して、自己相関値算出部３２０によって算出された正規化倍率を適用する（掛ける）ことで、コスト値を変更する（ステップＳ７）。

次に、図１０に示されているコスト合成部３４０は、図１４（ｄ）のグラフで示されているように、シフト量ｄ毎に合成コスト値Ｌｓを出力する（ステップＳ８）。この場合、合成コスト値Ｌｓが最小となるシフト量はｄ＝１２であるため、視差値導出部３５０は、視差値Δ＝１２を出力する。また、この場合の高密度視差画像は、図１２（ｄ）に示されているような画像となる。このように、コスト算出部３１０が、コスト変更しない場合とコスト変更する場合とで、視差値Δが異なる。また、コスト変更する場合の高密度視差画像（図１２（ｄ）参照）は、コスト変更しない場合の高密度視差画像（図１２（ｃ）参照）に比べて、物体により忠実な画像となる。

その後、図９に示されているＩ／Ｆ３５から、高密度視差画像が送信され、図示しない視差値導出装置１の外部の装置におけるＣＰＵによって、撮像装置１０ａ，１０ｂと物体Ｅとの間の距離Ｚが算出される。

＜実施形態の主な効果＞
以上説明したように本実施形態によれば、各コスト値Ｃに対して、自己相関値に基づき正規化倍率を適用することで、テクスチャの弱い物体におけるコスト値が、テクスチャの強い周囲の物体におけるコスト値の影響を受けにくくすることができる。よって、より正確なコスト値を導き出すことができるという効果を奏する。

＜＜第２の実施形態＞＞
以降、図１０、図１２、図１５及び図１６を用いて、第２の実施形態について説明する。

＜実施形態の構成＞
本実施形態は、第１の実施形態の図１０におけるコスト変更部３３０に新たな機能が追加された点以外は、第１の実施形態と同じであるため、コスト変更部３３０について説明する。

本実施形態では、コスト変更部３３０は、コスト値Ｃに対して自己相関値に基づく正規化倍率を適用することで、コスト値Ｃを変更した後、更に、変更後のコスト値Ｃのうち、閾値Ｔｈを超えたコスト値を、この閾値Ｔｈよりも高い第１の所定値Ｈに変更する。また、コスト変更部３３０は、コスト値Ｃに対して自己相関値に基づく正規化倍率を適用することで、コスト値Ｃを変更した後、更に、変更後のコスト値Ｃのうち、閾値Ｔｈ以下のコスト値を、この閾値Ｔｈよりも低い第２の所定値に変更する。例えば、第２の所定値は０（ゼロ）である。

＜実施形態の処理または動作＞
次に、図１２、図１５乃至図１４を用いて、本実施形態の処理または動作を説明する。図１５は、第２の実施形態の処理を示したフローチャートである。図１６において、（ａ）は正規化倍率を適用した後のコスト値を示すグラフ、（ｂ）は正規化倍率を適用した後に２値化したコスト値を示すグラフ、（ｃ）は（ａ）から導かれた合成コスト値を示すグラフ、（ｄ）は（ｂ）から導かれた合成コスト値を示すグラフである。なお、図１６（ａ），（ｃ）は、図１４（ｂ），（ｄ）と同じグラフである。なお、本実施形態では、図１５において、ステップＳ１１−１〜Ｓ１７は、それぞれ第１の実施形態における図１１のステップＳ１−１〜Ｓ７と同じ処理であるため、その説明を省略する。

本実施形態では、コスト変更部３３０がステップＳ１７によって図１６（ａ）に示されているようにコスト値Ｃを変更した後、更に、図１６（ｂ）に示されているように閾値Ｔｈ（例えば、Ｃ＝４０）を越えるコスト値Ｃを所定値（例えば、Ｃ＝８０）に変更する（ステップＳ１８）。更に、コスト変更部３３０は、図１６（ａ）で示されているように、閾値Ｔｈ以下のコスト値Ｃを所定値（例えば、Ｃ＝０）に変更する（ステップＳ１９）。なお、ステップＳ１８とステップＳ１９は逆の順序によって処理されてもよいし、同時に処理されてもよい。

そして、コスト合成部３４０は、図１６（ｄ）で示されているように、シフト量ｄ毎に合成コスト値Ｌｓを出力する（ステップＳ２０）。この場合、合成コスト値Ｌｓが最小となるシフト量はｄ＝１５であるため、視差値導出部３３０は、視差値Δ＝１５を出力する。また、この場合の高密度視差画像は、図１２（ｅ）に示されているような画像となる。

＜実施形態の主な効果＞
以上説明したように本実施形態によれば、コスト値Ｃが閾値Ｔｈを超える場合には、コスト変更部３３０は、閾値Ｔｈを超えたコスト値Ｃを、閾値Ｔｈよりも高い第１の所定値Ｈに変更する。これにより、第１の所定値Ｈよりも大きいコスト値Ｃが、第１の所定値Ｈまで下がるため、テクスチャの弱い物体におけるコスト値が、テクスチャの強い周囲の物体におけるコスト値の影響を受けにくくすることができる。よって、より正確なコスト値を導き出すことができるという効果を奏する。

また、様々なコスト値Ｃを第１の所定値Ｈに変更することで、シフト量ｄを導き出すためのＲＡＭ等の回路規模を小型化することができるという効果を奏する。

更に、コスト変更部３３０は、閾値Ｔｈ以下のコスト値を、閾値Ｔｈよりも低い第２の所定値０に変更する。このように、第１の所定値Ｈに絞り込んでいないコスト値Ｃを、第２の所定値０（ゼロ）に変更することで、第１の所定値Ｈと第２の所定値０の２つだけの値による計算（２値化）によって、シフト量ｄを導き出すことができるため、更に、回路規模を小型化することができるという効果を奏する。また、第１の所定値Ｈと第２の所定値０の２つだけの値による計算によって、合成コスト値Ｌｓを算出する際のコスト値Ｃの大小が過剰に及ぼす影響を軽減でき、実際の物体にさらに忠実な視差値を導出することができる。

＜＜実施形態の補足＞＞
上記実施形態では、コスト値Ｃは非類似度として示されているが、類似度として示されてもよい。この場合、合成コスト値Ｌｓが最大となる視差値Δが導出される。また、非類似度と類似度の両者を含めて、一致度としてもよい。

また、上記実施形態では、説明の簡略化のために、一画素単位で説明したが、これに限るものではなく、複数の画素からなる所定領域単位で処理されてもよい。この場合、基準画素を含む所定領域は基準領域として示され、対応画素を含む所定領域は対応領域として表される。なお、この基準領域には基準画素のみの場合も含まれ、対応領域には対応画素のみの場合も含まれる。

更に、上記実施形態では、コスト算出部３１０が、コスト変更部の役割も果たしているが、これに限らず、コスト合成部３４０が、コスト変更部の役割を果たしてもよい。この場合、コスト合成部３４０は、コスト変更後に、コスト合成を行うことになる。

また、上記実施形態では、第２の所定値が０（ゼロ）の場合について説明したが、これに限るものではなく、閾値Ｔｈよりも小さければ、第２の所定値が１０、２０、３０等、どのような値であってもよい。

更に、上記実施形態では、自動車に搭載される視差値導出装置１について説明したが、これに限るものではない。例えば、車両の一例としての自動車だけでなく、バイク、自転車、車椅子、農業用の耕運機等の車両に搭載されることができてもよい。また、移動体の一例としての車両だけでなく、ロボット等の移動体であってもよい。

更に、ロボットは、移動体だけでなく、ＦＡ(Factory Automation)において固定設置される工業用ロボット等の装置であってもよい。また、固定設置される装置としては、ロボットだけでなく、防犯用の監視カメラであってもよい。

また、上記実施形態では、外部のＣＰＵが距離Ｚを算出しているが、これに限るものではなく、画像処理装置３０のＣＰＵ３２が距離Ｚを算出してもよい。

更に、上記実施形態では、自己相関値算出部３２０は、基準画像内の基準領域の輝度値と、基準画像においてシフト量毎に特定される所定領域の各輝度値とに基づいて、自己相関値を算出したが、これに限るものではない。例えば、自己相関値算出部３２０は、基準画像における隣接画素の輝度値の差（エッジ量）に基づいて、自己相関値を算出してもよい。

また、上記実施形態では、コスト値の正規化のための正規化倍率の算出に基準画像の自己相関値を用いると説明したが、これに限るものではない。例えば、基準画像の自己相関値ではなく、テクスチャのコントラスト値を用いて正規化倍率を算出してもよい。更に、コスト値を正規化するのではなく、閾値Ｔｈを正規化倍率により可変にすることでコスト変更を行ってもよい。また、コスト値の算出方法において、正規化相互相関（NCC、もしくはZNCC）を用いてコスト値を算出してもよい。

＜＜付記＞＞
上記実施形態では、以下に示すような発明が開示されている。

〔付記項１〕
第１の位置で撮像された基準画像における基準領域と、第２の位置で撮像された比較画像における、前記基準領域に対応する対応領域を含む指定の範囲内の複数の領域各々と、の一致度を算出する第１の算出手段と、
前記一致度を変更するための倍率を算出する第２の算出手段と、
前記一致度に前記倍率を適用して前記一致度を変更する変更手段と、
前記変更手段により変更された前記基準画像における所定の基準領域の周辺の基準領域の一致度と、前記変更手段により変更された前記基準画像における所定の基準領域の一致度と、を合成する合成手段と、
前記合成手段により合成された前記一致度に基づいて、前記所定の基準領域において撮像されている対象の視差値を導出する導出手段と、
を有することを特徴とする視差値導出装置。

〔付記項２〕
前記第２の算出手段は、前記第１の位置で撮像された基準画像における、基準領域と所定領域との一致度である自己相関値を算出し、前記自己相関値に基づいて前記倍率を算出する
ことを特徴とする付記項１に記載の視差値導出装置。

〔付記項３〕
前記変更手段は、前記倍率を適用することで変更された前記一致度を、所定の閾値に基づいて、第１の所定値に変更することを特徴とする付記項１又は２に記載の視差値導出装置。

〔付記項４〕
前記変更手段は、前記閾値に基づいて前記第１の所定値に変更された一致度以外の一致度を、前記閾値に基づいて第２の所定値に変更することを特徴とする付記項１乃至３のいずれか一項に記載の視差値導出装置。

〔付記項５〕
前記第２の所定値はゼロであることを特徴とする付記項４に記載の視差値導出装置。

１ 視差値導出装置
２ 本体部
１０ａ 撮像装置
１０ｂ 撮像装置
２０ａ 信号変換装置
２０ｂ 信号変換装置
３０ 画像処理装置
３１０ コスト算出部（第１の算出手段の一例）
３２０ 自己相関値算出部（第２の算出手段の一例）
３３０ コスト変更部（変更手段の一例）
３４０ コスト合成部（合成手段の一例）
３５０ 視差値導出部（導出手段の一例）

特開２０１２−１８１１４２号公報

Claims (22)

1. 所定の物体を第１の位置で撮像して得た基準画像及び前記物体を第２の位置で撮像して得た比較画像に基づいて、前記物体に対する視差を示す視差値を導出する視差値導出装置であって、
   前記基準画像内の基準領域の輝度値と、前記比較画像において前記基準領域に基づくエピポーラ線上でシフトさせることで、シフト量毎に特定される対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補の非類似度を算出する第１の算出手段と、
   前記基準画像内の基準領域の輝度値に基づいて、前記基準領域に対する正規化倍率を算出する第２の算出手段と、
   前記第１の算出手段によって算出された前記各非類似度に対して前記正規化倍率を適用することで、前記非類似度を変更する変更手段と、
   前記変更手段による変更後の一の基準領域に対する対応領域の候補の各非類似度と、前記変更手段による変更後の他の基準領域に対する対応領域の候補の各非類似度とを、前記シフト量毎に合成する合成手段と、
   前記一の基準領域の前記基準画像における位置と、前記合成手段による合成後の非類似度が最小となる対応領域の前記比較画像における位置とに基づいて、前記視差値を導出する導出手段と、
   を有することを特徴とする視差値導出装置。
2. 前記第２の算出手段は、前記基準画像内の基準領域の輝度値に基づいて、自己相関値を算出し、当該自己相関値から前記正規化倍率を算出することを特徴とする請求項１に記載の視差値導出装置。
3. 前記第２の算出手段は、前記基準画像内の基準領域の輝度値と、前記基準画像において前記エピポーラ線上でシフトさせることで、シフト量毎に特定される所定領域の各輝度値とに基づいて、前記基準領域に対する前記自己相関値を算出することを特徴とする請求項２に記載の視差値導出装置。
4. 前記第２の算出手段は、前記基準画像における隣接画素の輝度値の差に基づいて、前記自己相関値を算出することを特徴とする請求項２に記載の視差値導出装置。
5. 前記変更手段は、前記正規化倍率を適用することで変更された前記各非類似度のうち、閾値を越えた非類似度を、当該閾値よりも高い所定値に変更することを特徴とする請求項１乃至４のいずれか一項に記載の視差値導出装置。
6. 前記所定値は第１の所定値であり、前記変更手段は、前記閾値以下の非類似度を、前記閾値よりも低い第２の所定値に変更することを特徴とする請求項５に記載の視差値導出装置。
7. 前記第２の所定値はゼロであることを特徴とする請求項６に記載の視差値導出装置。
8. 所定の物体を第１の位置で撮像して得た基準画像及び前記物体を第２の位置で撮像して得た比較画像に基づいて、前記物体に対する視差を示す視差値を導出する視差値導出装置であって、
   前記基準画像内の基準領域の輝度値と、前記比較画像において前記基準領域に基づくエピポーラ線上でシフトさせることで、シフト量毎に特定される対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補の類似度を算出する第１の算出手段と、
   前記基準画像内の基準領域の輝度値に基づいて、前記基準領域に対する正規化倍率を算出する第２の算出手段と、
   前記第１の算出手段によって算出された前記各類似度に対して前記正規化倍率を適用することで、前記類似度を変更する変更手段と、
   前記変更手段による変更後の一の基準領域に対する対応領域の候補の各類似度と、前記変更手段による変更後の他の基準領域に対する対応領域の候補の各類似度とを、前記シフト量毎に合成する合成手段と、
   前記一の基準領域の前記基準画像における位置と、前記合成手段による合成後の類似度が最大となる対応領域の前記比較画像における位置とに基づいて、前記視差値を導出する導出手段と、
   を有することを特徴とする視差値導出装置。
9. 前記第２の算出手段は、前記基準画像内の基準領域の輝度値に基づいて、自己相関値を算出し、当該自己相関値から前記正規化倍率を算出することを特徴とする請求項８に記載の視差値導出装置。
10. 前記第２の算出手段は、前記基準画像内の基準領域の輝度値と、前記基準画像において前記エピポーラ線上でシフトさせることで、シフト量毎に特定される所定領域の各輝度値とに基づいて、前記基準領域に対する前記自己相関値を算出することを特徴とする請求項９に記載の視差値導出装置。
11. 前記第２の算出手段は、前記基準画像における隣接画素の輝度値の差に基づいて、前記自己相関値を算出することを特徴とする請求項９に記載の視差値導出装置。
12. 前記変更手段は、前記正規化倍率を適用することで変更された前記各類似度のうち、閾値以下の類似度を、当該閾値よりも低い所定値に変更することを特徴とする請求項８乃至１１のいずれか一項に記載の視差値導出装置。
13. 前記所定値は第１の所定値であり、前記変更手段は、前記閾値を越えた類似度を、前記閾値よりも高い第２の所定値に変更することを特徴とする請求項１２に記載の視差値導出装置。
14. 前記第１の所定値はゼロであることを特徴とする請求項１３に記載の視差値導出装置。
15. 請求項１乃至１４のいずれか一項に記載の視差値導出装置を備えたことを特徴とする移動体。
16. 前記移動体は、車両又はロボットであることを特徴とする請求項１５に記載の移動体。
17. 請求項１乃至１４のいずれか一項に記載の視差値導出装置を備えたことを特徴とするロボット。
18. 前記ロボットは、固定設置される工業用ロボットであることを特徴とする請求項１７に記載のロボット。
19. 所定の物体を第１の位置で撮像して得た基準画像及び前記物体を第２の位置で撮像して得た比較画像に基づいて、前記物体に対する視差を示す視差値を導出する視差値導出方法であって、
    前記基準画像内の基準領域の輝度値と、前記比較画像において前記基準領域に基づくエピポーラ線上でシフトさせることで、シフト量毎に特定される対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補の非類似度を算出する第１の算出ステップと、
    前記基準画像内の基準領域の輝度値に基づいて、前記基準領域に対する正規化倍率を算出する第２の算出ステップと、
    前記第１の算出ステップによって算出された前記各非類似度に対して前記正規化倍率を適用することで、前記非類似度を変更する変更ステップと、
    前記変更ステップによる変更後の一の基準領域に対する対応領域の候補の各非類似度と、前記変更ステップによる変更後の他の基準領域に対する対応領域の候補の各非類似度とを、前記シフト量毎に合成する合成ステップと、
    前記一の基準領域の前記基準画像における位置と、前記合成ステップによる合成後の非類似度が最小となる対応領域の前記比較画像における位置とに基づいて、前記視差値を導出する導出ステップと、
    を含むことを特徴とする視差値導出方法。
20. 所定の物体を第１の位置で撮像して得た基準画像及び前記物体を第２の位置で撮像して得た比較画像に基づいて、前記物体に対する視差を示す視差値を導出する視差値導出方法であって、
    前記基準画像内の基準領域の輝度値と、前記比較画像において前記基準領域に基づくエピポーラ線上でシフトさせることで、シフト量毎に特定される対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補の類似度を算出する第１の算出ステップと、
    前記基準画像内の基準領域の輝度値に基づいて、前記基準領域に対する正規化倍率を算出する第２の算出ステップと、
    前記第１の算出ステップによって算出された前記各類似度に対して前記正規化倍率を適用することで、前記類似度を変更する変更ステップと、
    前記変更ステップによる変更後の一の基準領域に対する対応領域の候補の各類似度と、前記変更ステップによる変更後の他の基準領域に対する対応領域の候補の各類似度とを、前記シフト量毎に合成する合成ステップと、
    前記一の基準領域の前記基準画像における位置と、前記合成ステップによる合成後の類似度が最大となる対応領域の前記比較画像における位置とに基づいて、前記視差値を導出する導出ステップと、
    を含むことを特徴とする視差値導出方法。
21. コンピュータに、請求項１９に記載の方法を実行させることを特徴とするプログラム。
22. コンピュータに、請求項２０に記載の方法を実行させることを特徴とするプログラム。

Images