JP6519138B2 - 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム - Google Patents

視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム Download PDF

Info

Publication number
JP6519138B2
JP6519138B2 JP2014199995A JP2014199995A JP6519138B2 JP 6519138 B2 JP6519138 B2 JP 6519138B2 JP 2014199995 A JP2014199995 A JP 2014199995A JP 2014199995 A JP2014199995 A JP 2014199995A JP 6519138 B2 JP6519138 B2 JP 6519138B2
Authority
JP
Japan
Prior art keywords
curve
value
candidate
image
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014199995A
Other languages
English (en)
Other versions
JP2016070774A (ja
Inventor
横田 聡一郎
聡一郎 横田
樹一郎 齊藤
樹一郎 齊藤
洋義 関口
洋義 関口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2014199995A priority Critical patent/JP6519138B2/ja
Publication of JP2016070774A publication Critical patent/JP2016070774A/ja
Application granted granted Critical
Publication of JP6519138B2 publication Critical patent/JP6519138B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measurement Of Optical Distance (AREA)

Description

本発明は、物体を撮像して得られた複数の画像から、物体に対する視差を示す視差値を導出する発明に関する。
従来から、ステレオ画像法によって、ステレオカメラから物体に対する視差を導き出し、この視差を示す視差値によって、三角測量の原理に基づき、ステレオカメラから物体までの距離を測定する測距方法が知られている。この測距方法により、例えば、自動車間の距離や、自動車と障害物間の距離が測定され、自動車の衝突防止に役立てられている。
また、視差値の求め方としては、ステレオマッチング処理が用いられている。このステレオマッチング処理は、ステレオカメラの2つのカメラのうち、一方のカメラによって得られた基準画像内の注目する基準画素に対して、他方のカメラによって得られた比較画像内の複数の対応画素の候補を順次シフトしながら、画像信号が最も類似する画素である対応画素の位置を求めることで、基準画像と比較画像の間の視差値を検出する。一般的には、2つのカメラによって得られた画像信号の輝度値を比較することで、シフト量毎に比較する輝度値のコスト値(Cost:ここでは「非類似度」)が最も低い画素の位置が求められる(特許文献1参照)。
上述のようなコスト値を求める方式として、比較する画像から対応画素を含む所定領域を切り出し、この領域に対する輝度差の総和(SAD:Sum of Absolute Difference)からコスト値を求めるSAD方式や、上記領域の画素を2値化した結果からコスト値を求めるCensus方式等がある。
しかしながら、例えば、SAD方式では、画像におけるテクスチャが強い部分では良好なコスト値が得られるが、画像におけるテクスチャが弱い部分では良好なコスト値が得られない。これに対して、Census方式では、画像におけるテクスチャが弱い部分であっても比較的良好なコスト値が得られるが、画像におけるテクスチャが強い部分では、SAD方式に比べて良好なコスト値が得られない。これにより、より正確なコスト値を導き出すことができないという課題が生じる。
上述した課題を解決すべく請求項1に係る発明は、所定の物体を第1の位置で撮像して得た基準画像及び前記物体を第2の位置で撮像して得た比較画像に基づいて、前記物体に対する視差を示す視差値を導出する視差値導出装置であって、前記基準画像内の基準領域の輝度値と、前記比較画像内の対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補毎に第1の非類似度を算出する第1の算出手段と、前記基準画像内の基準領域の輝度値と、前記比較画像内の対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補毎に前記第1の非類似度とは異なる第2の非類似度を算出する第2の算出手段と、前記対応領域の候補毎の第1の非類似度の集まりである第1の曲線と、前記対応領域の候補毎の第2の非類似度の集まりである第2の曲線と、を正規化する正規化手段と、前記正規化手段によって規化された前記第1の曲線と前記第2の曲線のうち、前記第1の曲線及び前記第2の曲線の各々が信頼できるかを示す信頼度に基づいて、特定の曲線を選択する選択手段と、一の基準領域に対する前記特定の曲線における各非類似度と、他の基準領域に対する前記特定の曲線における各非類似度とを合成する合成手段と、前記一の基準領域の前記基準画像における位置と、前記合成手段による合成後の非類似度が最小となる対応領域の前記比較画像における位置とに基づいて、前記視差値を導出する導出手段と、を有することを特徴とする視差値導出装置である。
以上説明したように本発明によれば、対応領域の候補毎の第1の非類似度の集まりである第1の曲線と、前記対応領域の候補毎の第2の非類似度の集まりである第2の曲線のうち、前記第1の曲線及び前記第2の曲線の各々が信頼できるかを示す信頼度に基づいて、特定の曲線を選択する。これにより、より正確なコスト値を導き出すことができるという効果を奏する。
撮像装置から物体までの距離を導き出す原理の説明図である。 (a)は基準画像、(b)は(a)に対する高密度視差画像、(c)は(a)に対するエッジ視差画像を示す概念図である。 (a)は基準画像における基準画素を示す概念図、(b)は(a)の基準画素に対して比較画像における対応画素の候補を順次シフトしながらシフト量を算出する際の概念図である。 シフト量毎のコスト値を示すグラフである。 合成コスト値を導き出すための概念図である。 視差値毎の合成コスト値を示すグラフである。 (a)は本発明の一実施形態に係る視差値導出装置を搭載した自動車の側面を表す概略図、(b)は自動車の正面を示す概略図である。 視差値導出装置の概観図である。 視差値導出装置の全体のハードウェア構成図である。 Census方式の説明図である。 (a)は逆光時のSAD方式による高密度視差画像を示す概念図、(b)は逆光時のCensus方式による高密度視差画像を示す概念図である。 視差値導出装置の主要部のハードウェア構成図である。 SAD方式によるコスト曲線及びCensus方式によるコスト曲線を示したグラフである。 コスト曲線を比較判定する際の説明図である。 (a)は通常時にSAD方式を利用した場合のコスト曲線及びCensus方式を利用した場合のコスト曲線を示したグラフ、(b)は逆光時にSAD方式を利用した場合のコスト曲線及びCensus方式を利用した場合のコスト曲線を示したグラフである。 実施形態の視差値生産方法の処理を示したフローチャートである。
以下、図面を用いて、本発明の一実施形態について説明する。
〔SGM法を用いた測距方法の概略〕
まず、図1乃至図6を用いて、SGM(Semi-Global Matching)法を用いた測距方法の概略について説明する。なお、SGM法に関しては、非特許文献(Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information)に開示されているため、以下では概略を説明する。
<測距の原理>
図1を用いて、ステレオ画像法により、ステレオカメラから物体に対する視差を導き出し、この視差を示す視差値によって、ステレオカメラから物体までの距離を測定する原理について説明する。なお、図1は、撮像装置から物体までの距離を導き出す原理の説明図である。また、以下では、説明を簡略化するため、複数の画素からなる所定領域ではなく、一画素単位で説明する。
(視差値算出)
まず、図1で示される撮像装置10aおよび撮像装置10bによって撮像された各画像を、それぞれ基準画像Iaおよび比較画像Ibとする。なお、図1では、撮像装置10aおよび撮像装置10bが平行等位に設置されているものとする。図1において、3次元空間内の物体E上のS点は、撮像装置10aおよび撮像装置10bの同一水平線上の位置に写像される。すなわち、各画像中のS点は、基準画像Ia中の点Sa(x,y)および比較画像Ib中の点Sb(X,y)において撮像される。このとき、視差値Δは、撮像装置10a上の座標におけるSa(x,y)と撮像装置10b上の座標におけるSb(X,y)とを用いて、(式1)のように表される。
Δ=X−x (式1)
ここで、図1のような場合には、基準画像Ia中の点Sa(x,y)と撮像レンズ11aから撮像面上におろした垂線の交点との距離をΔaにし、比較画像Ib中の点Sb(X,y)と撮像レンズ11bから撮像面上におろした垂線の交点との距離をΔbにすると、視差値Δ=Δa+Δbとなる。
(距離算出)
また、視差値Δを用いることで、撮像装置10a,10bと物体Eとの間の距離Zを導き出すことができる。具体的には、距離Zは、撮像レンズ11aの焦点位置と撮像レンズ11bの焦点位置とを含む面から物体E上の特定点Sまでの距離である。図1に示されるように、撮像レンズ11a及び撮像レンズ11bの焦点距離f、撮像レンズ11aと撮像レンズ11bとの間の長さである基線長B、及び視差値Δを用いて、(式2)により、距離Zを算出することができる。
Z=(B×f)/Δ (式2)
この(式2)により、視差値Δが大きいほど距離Zは小さく、視差値Δが小さいほど距離Zは大きくなる。
<SGM法>
続いて、図2乃至図6を用いて、SGM法を用いた測距方法について説明する。なお、図2(a)は基準画像、図2(b)は(a)に対する高密度視差画像、図2(c)は(a)に対するエッジ視差画像を示す概念図である。ここで、基準画像は、物体が輝度によって示された画像である。高密度視差画像は、SGM法によって、基準画像から導き出された画像であり、基準画像の各座標における視差値を示した画像である。エッジ視差画像は、ブロックマッチング法から導き出された画像であり、基準画像のエッジ部のような比較的テクスチャの強い部分のみの視差値を示した画像である。
SGM法は、テクスチャが弱い物体に対しても適切に上記視差値を導き出す方法であり、図2(a)に示されている基準画像に基づいて、図2(b)に示されている高密度視差画像を導き出す方法である。なお、ブロックマッチング法を用いた場合には、図2(a)に示されている基準画像に基づいて、図2(c)に示されているエッジ視差画像が導き出される。図2(b)及び図2(c)における破線の楕円内を比べると分かるように、高密度視差画像は、エッジ視差画像に比べてテクスチャが弱い道路等の詳細な情報を表すことができるため、より詳細な測距を行うことができる。
このSGM法は、非類似度であるコスト値を算出して直ちに視差値を導出せず、コスト値を算出後、更に、合成非類似度である合成コスト値 (Synthesis Cost)を算出することで視差値を導出し、最終的にほぼ全ての画素における視差値を示す視差画像(ここでは、高密度視差画像)を導き出す方法である。
なお、ブロックマッチング法の場合は、コスト値を算出する点はSGM法と同じであるが、SGM法のように、合成コスト値を算出せずに、エッジ部のような比較的テクスチャの強い部分の視差値のみが導出される。
(コスト値の算出)
まず、図3及び図4を用いて、コスト値C(p,d)の算出方法について説明する。図3(a)は基準画像における基準画素を示す概念図、図3(b)は(a)の基準画素に対して比較画像における対応画素の候補を順次シフトしながら(ずらしながら)シフト量(ずれ量)を算出する際の概念図である。図4は、シフト量毎のコスト値を示すグラフである。ここで、対応画素は、基準画像内の基準画素に最も類似する比較画像内の画素である。なお、以降、C(p,d)は、C(x,y,d)を表すものとして説明する。
図3(a)に示されているように、基準画像内の所定の基準画素p(x,y)と、この基準画素p(x,y)に対する比較画像内におけるエピポーラ線(Epipolar Line)上の複数の対応画素の候補q(x+d,y)との各輝度値に基づいて、基準画素p(x,y)に対する各対応画素の候補q(x+d,y)のコスト値C(p,d)が算出される。dは、基準画素pと対応画素の候補qのシフト量(ずれ量)であり、本実施形態では、画素単位のシフト量が表されている。即ち、図3では、対応画素の候補q(x+d,y)を予め指定された範囲(例えば、0<d<25)において順次一画素分シフトしながら、対応画素の候補q(x+d,y)と基準画素p(x,y)との輝度値の非類似度であるコスト値C(p,d)が算出される。
このようにして算出されたコスト値C(p,d)は、図4に示されているように、シフト量d毎のコスト値Cの集まりであるコスト曲線CLのグラフによって表すことができる。図4では、コスト値Cは、シフト量d=5,12,19の場合が0(ゼロ)となるため、最小値を求めることができない。このように、テクスチャが弱い物体の場合には、コスト値Cの最小値を求めることは困難になる。
(合成コスト値の算出)
次に、図5及び図6を用いて、合成コスト値Ls(p,d)の算出方法について説明する。図5は、合成コスト値を導き出すための概念図である。図6は、視差値毎の合成コスト値を示す合成コスト曲線のグラフである。本実施形態における合成コスト値の算出方法は、コスト値C(p,d)の算出だけでなく、所定の基準画素p(x,y)の周辺の画素を基準画素とした場合のコスト値を、基準画素p(x,y)におけるコスト値C(p,d)に集約させて、合成コスト値Ls(p,d)を算出する。
ここで、合成コスト値の算出方法について、より詳細に説明する。合成コスト値Ls(p,d)を算出するためには、まず、経路コスト値Lr(p,d)を算出する必要がある。(式3)は、経路コスト値Lr(p,d)を算出するための式であり、(式4)は、合成コスト値Lsを算出するための式である。
Lr(p,d)=C(p,d)+min{(Lr(p−r,d),Lr(p−r,d−1)+P1,Lr(p−r,d+1)+P1,Lrmin(p−r)+p2} (式3)
ここで、rは、集約方向の方向ベクトルを示し、x方向およびy方向の2成分を有する。min{}は、最小値を求める関数である。Lrmin(p−r)は、pをr方向に1画素シフトした座標において、シフト量dを変化させた際のLr(p−r,d)の最小値を示す。なお、Lrは、(式3)に示されているように再帰的に適用される。また、P1及びP2は、予め実験により定められた固定パラメータであり、経路上で隣接する基準画素の視差値Δが連続になりやすいようなパラメータになっている。例えば、P1=48、P2=96である。
また、(式3)に示されているように、Lr(p,d)は、基準画素p(x,y)におけるコスト値Cに、図5に示されているr方向の各画素における各画素の経路コスト値Lrの最小値を加算することで求められる。このように、r方向の各画素におけるLrを求めるため、最初は、基準画像p(x,y)のr方向の一番端の画素からLrを求め、r方向に沿ってLrが求められる。
そして、図5に示されているように、8方向のLr,Lr45,Lr90,Lr135,Lr180,Lr225,Lr270,Lr315求められ、最終的に(式4)に基づいて、合成コスト値Lsが求められる。
このようにして算出された合成コスト値Ls(p,d)は、図6に示されているように、シフト量d毎に合成コスト値Ls(p,d)が示される合成コスト曲線のグラフによって表すことができる。図6では、合成コスト値Lsは、シフト量d=3の場合が最小値となるため、視差値Δ=3として算出される。なお、上記説明ではrの数を8として説明しているが、これに限られることはない。例えば、8方向を更に2つに分割して16方向、3つに分割して24方向等にしてもよい。
〔本実施形態の具体的な説明〕
以下、図面を用いて、本実施形態の具体的な説明を行う。ここでは、自動車に搭載される視差値導出装置1について説明する。
<<実施形態の構成>>
まず、図7乃至図9用いて、本実施形態の全体構成について説明する。
<外観構成>
図7及び図8を用いて、本実施形態の視差値導出装置1の外観構成を説明する。なお、図7(a)は本発明の一実施形態に係る視差値導出装置を搭載した自動車の側面を表す概略図、図7(b)は自動車の正面を示す概略図である。図8は、視差値導出装置の概観図である。
図7(a),(b)に示されているように、本実施形態の視差値導出装置1は、撮像装置10a及び撮像装置10bを備えており、撮像装置10a及び撮像装置10bは自動車の進行方向前方の光景を撮像することができるように設置される。
また、図8に示されているように、視差値導出装置1は、本体部2と、本体部2に対して設けられた一対の円筒状の撮像装置10a及び撮像装置10bとによって構成されている。
<全体のハードウェア構成>
次に、図9を用いて、視差値導出装置1の全体のハードウェア構成について説明する。なお、図9は、視差値導出装置の全体のハードウェア構成図である。
図9に示されているように、視差値導出装置1は、撮像装置10a、撮像装置10b、信号変換装置20a、信号変換装置20b、及び画像処理装置30を備えている。
このうち、撮像装置10aは、前方の光景を撮像して画像を表すアナログ信号を生成するものであり、撮像レンズ11a、絞り12a、画像センサ13aを備えている。撮像レンズ11aは、撮像レンズ11aを通過する光を屈折させて物体の像を結像させるための光学素子である。絞り12aは、撮像レンズ11aを通過した光の一部を遮ることによって、後述する画像センサ13aに入力される光の量を調整する。画像センサ13aは、撮像レンズ11a及び絞り12aから入力された光を電気的なアナログの画像信号に変換する半導体の素子であり、CCD(Charge Coupled Devices)やCMOS(Complementary Metal Oxide Semiconductor)によって実現される。なお、撮像装置10bは撮像装置10aと同じ構成を備えているため、撮像装置10bについての説明は省略する。また、撮像レンズ11aと撮像レンズ11bは、それぞれのレンズ面が互いに同一平面内になるように設置されている。
また、信号変換装置20aは、撮像された画像を表すアナログ信号をデジタル形式の画像データに変換するものであり、CDS(Correlated Double Sampling)21a、AGC(Auto Gain Control)22a、ADC(Analog Digital Converter)23a、及びフレームメモリ24aを備えている。CDS21aは、画像センサ13aによって変換されたアナログの画像信号から相関二重サンプリングによってノイズを除去する。AGC22aは、CDS21aによってノイズが除去されたアナログの画像信号の強度を制御する利得制御を行う。ADC23aは、AGC22aによって利得制御されたアナログの画像信号をデジタル形式の画像データに変換する。フレームメモリ24aは、ADC23aによって変換された画像データを記憶する。
同様に、信号変換装置20bは、撮像装置10bによって変換されたアナログの画像信号から画像データを取得するものであり、CDS21b、AGC22b、ADC23b、及びフレームメモリ24bを有している。なお、CDS21b、AGC22b、ADC23b、及びフレームメモリ24bはそれぞれCDS21a、AGC22a、ADC23a、及びフレームメモリ24aと同じ構成であるため、それらについての説明は省略する。
更に、画像処理装置30は、信号変換装置20a及び信号変換装置20bによって変換された画像データを処理するための装置である。この画像処理装置30は、FPGA(Field Programmable Gate Array)31、CPU(Central Processing Unit)32、ROM(Read Only Memory)33、RAM(Random Access Memory)34、I/F(Interface)35及び上記各構成要素31〜35を図9に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン39を備えている。
このうち、FPGA31は、集積回路であり、ここでは、画像データが表す画像における視差値Δを算出する処理を行う。CPU32は、視差値導出装置1の各機能を制御する。ROM33は、CPU32が視差値導出装置の各機能を制御するために実行する画像処理用プログラムを記憶している。RAM34はCPU32のワークエリアとして使用される。I/F35は、外部コントローラ等と通信するためのインターフェイスであり、例えば、自動車のCAN(Controller Area Network)等に接続されることができる。
なお、上記画像処理用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させてもよい。この記録媒体は、CD−ROMやSDカード等である。
<コスト算出方式の説明>
ここで、図10及び図11を用いて、コスト算出方式の一例として、SAD方式とCensus方式について簡単に説明する。図10は、Census方式の説明図である。図11(a)は逆光時のSAD方式による高密度視差画像を示す概念図、図11(b)は逆光時のCensus方式による高密度視差画像を示す概念図である。
また、(式5)は、SAD方式によるコスト値(第1のコスト値の一例)を算出するための式であり、(式6)は、Census方式によるコスト値(第2のコスト値の一例)を算出するための式である。SAD方式は一般に多く使われている方式であり、比較画像から対応画素を含む所定領域を切り出し、この所定領域に対する輝度差の総和(SAD)からコスト値が算出される。一方、Census方式は、上記所定領域の対応画素(中心画素)を除いた周辺画素を2値化等した結果から対応画素におけるコスト値が算出される。例えば、図10(a)に示されているように、2値モードの場合、所定領域の8つの周辺画素のうち、所定の閾値(ここでは、輝度値80)未満の画素は「1」、所定の閾値以上の画素は「0」とすることで、「1」と「0」のうち、多い方を対応画素(中心画素)のコスト値としている。なお、図10(b)に示されているように、3値モードの場合、所定領域の8つの周辺画素のうち、第1の閾値(ここでは、輝度値83)を超える画素は「10」、第2の閾値(ここでは、輝度値80)未満の画素は「01」、これら以外の画素は「00」とすることで、「10」、「01」及び「00」のうち、最も多い値を対応画素のコスト値としている。
ここで、i,jは所定領域内の画素位置、Iは基準画像の画素の輝度値、Tは比較画像の対応画素の輝度値を示す。
上記のように、SAD方式とCensus方式は、それぞれ得意とするシーンが異なる。例えば、シーンが逆光の場合、SAD方式を利用すると、図11(a)に示されているように、多くのノイズが発生するが、Census方式を利用すると、図11(b)に示されているように、ノイズの発生を抑制することができる。一方、シーンが通常の場合、SAD方式の方がCensus方式よりもノイズを抑えることができる。
<主要部のハードウェア構成>
次に、図12乃至図15を用いて、視差値導出装置1の主要部のハードウェア構成について説明する。なお、図12は、視差値導出装置の主要部のハードウェア構成図である。
図9におけるFPGA31は、図12に示されているように、コスト算出部310a、コスト算出部310b、正規化部320a、正規化部320b、選択部330、コスト合成部340、及び視差値導出部350を備えている。これらは、FPGA31の回路の一部であるが、上記プログラムが実行されることにより、同じ処理を行うことができるようにしてもよい。なお、コスト算出部310aは、第1の算出手段の一例であり、コスト算出部310bは、第2の算出手段の一例である。
これらのうち、コスト算出部310aは、図3に示されているように、基準画像(図3(a)参照)内の基準画素p(x,y)の輝度値と、比較画像(図3(b)参照)内において基準画素p(x,y)に基づくエピポーラ線EL上でシフトさせることでシフト量d毎に特定される対応画素の候補q(x+d,y)の各輝度値とに基づくと共にSAD方式を利用することで、基準画素p(x,y)に対する対応画素の候補q(x+d,y)の各コスト値C1を算出する。これに対して、コスト算出部310bは、図3に示されているように、基準画像(図3(a)参照)内の基準画素p(x,y)の輝度値と、比較画像(図3(b)参照)内において基準画素p(x,y)に基づくエピポーラ線EL上でシフトさせることでシフト量d毎に特定される対応画素の候補q(x+d,y)の各輝度値とに基づくと共にCensus方式を利用することで、基準画素p(x,y)に対する対応画素の候補q(x+d,y)の各コスト値C2を算出する。
また、正規化部320aは、下記(式7)に基づいて、コスト算出部310aによって算出されたコスト値C1を正規化する。一方、正規化部320bは、(式8)に基づいて、コスト算出部310bによって算出されたコスト値C2を正規化する。
正規化SAD値=(SAD_max-SAD_min)/SAD_max (式7)
正規化Census値=(Census_max-Census_min)/Census_max (式8)
図13は、SAD方式によるコスト曲線及びCensus方式によるコスト曲線を示したグラフである。図13に示されているように、SAD方式によるコスト値及びCensus方式によるコスト値は単位(スケール)が異なるため、それぞれのコスト曲線を比較するためには、正規化する必要がある。なお、FPGA31は、正規化部320a及び正規化部320bのうち、いずれか一方を備えていても、それぞれのコスト曲線を比較することは可能である。
選択部330は、基準画像の画素毎に、テクスチャの強弱に応じた所定の基準に基づいて、コスト曲線CL1,CL2が正規化された後のコスト曲線CL1,CL2のうち、いずれか一方を選択する。ここで、図14及び図15を用い、上記所定の基準について詳細に説明する。図14は、コスト曲線を比較判定する際の説明図である。図15(a)は通常時にSAD方式を利用した場合のコスト曲線及びCensus方式を利用した場合のコスト曲線を示したグラフ、図15(b)は逆光時にSAD方式を利用した場合のコスト曲線及びCensus方式を利用した場合のコスト曲線を示したグラフである。
選択部330は、(式9)に示されているような比較判定関数CostSelvalで示されている所定の信頼度(所定の基準)を利用し、CostSelvalの値が小さい方のコスト曲線を選択する。
ここで、min1は、図14に示されているように、任意のコスト曲線CL0について説明すると、最小の極値min1のコスト値を示す。sA、sBは、最小の極値(最小値)min1を基点としたコスト曲線CL0の1次近似曲線fd1,fd2の傾き値を示す。shpmim1aは、規定間(例えば、5つ分のスライド量間)において、最小の極値(最小値)min1を頂点としたコスト曲線CL0の2次近似曲線sdの広がり度を示す。dm1m2は、最小の極値のコスト値と2番目に小さい極値のコスト値との差分を示す。なお、1次近似曲線fd1,fd2の代わりに、2次近似曲線を用いてもよいし、2次近似曲線sdの代わりに、1次近似曲線を用いてもよい。即ち、(w2(sA+sB))、(w1shpmin1a)は、コスト値Cの最小値を頂点とした近似曲線の広がりを示しており、この近似曲線には、1次曲線及び2次曲線の両方が含まれる。
また、w〜wは、それぞれ調整重み値である。w〜wのうち、少なくとも1つを0にすることができる。
例えば、w=w=w=0の場合、wmin1だけが残り、CostSelvalは、両コスト曲線CL1,CL2のうち、最小の極値(最小値)が小さい方が選択される基準となる。
〜wのうち、w=w=w=0の場合、w2/(|sA|+|sB|))だけが残り、CostSelvalは、両コスト曲線CL1,CL2のうち、コスト値Cの最小値を頂点とした近似曲線の広がりが狭い方が選択される基準となる。
〜wのうち、w=w=w=0の場合、w3/(shpmin1a)だけが残り、CostSelvalは、両コスト曲線CL1,CL2のうち、コスト値Cの最小値を頂点とした近似曲線の広がりが狭い方が選択される基準となる。
〜wのうち、w=w=w=0の場合、w4/(dm1m2))だけ残り、CostSelvalは、両コスト曲線CL1,CL2のうち、最小の極値(最小値)と2番目に小さい極値との差分が大きい方が選択される基準となる。
続いて、コスト合成部340は、選択部330によって選択された特定のコスト曲線におけるコスト値Cを利用して、一の基準画素p(x,y)に対する対応画素の候補q(x+d,y)の各コスト値Cと、他の基準画素p’(x’,y’)に対する対応画素の候補q’(x’+d,y’)の各コスト値Cとをシフト量d毎に合成し、合成コスト値Lsを出力する。なお、この合成の処理は、(式3)に基づいてコスト値Cから経路コスト値Lrを算出した後、更に、(式4)に基づいて各方向における経路コスト値Lrを加算して、最終的に合成コスト値Lsを算出する処理である。
更に、視差値導出部350は、一の基準画素p(x,y)の基準画像おける位置(x,y)と、コスト合成部340による合成後の合成コスト値Lsが最小となる対応画素q(x+Δ,y)の比較画像における位置(x+Δ,y)とに基づいて視差値Δを導出し、各画素における視差値を示す視差画像を出力する。
<実施形態の処理または動作>
次に、図16を用いて、本実施形態の処理または動作を説明する。図16は、実施形態の視差値生産方法の処理を示したフローチャートである。
まず、図9に示されている撮像装置10aは、物体Eを撮像してアナログの画像データを生成する(ステップS1−1)。同じく、撮像装置10aは、物体を撮像してアナログの画像データを生成する(ステップS1−2)。
次に、信号変換装置20aは、アナログの画像データを、デジタルの画像データに変換する(ステップS2−1)。同じく、信号変換装置20bは、アナログの画像データを、デジタルの画像データに変換する(ステップS2−2)。
次に、信号変換装置20aは、画像処理装置30のFPGA31に、変換後のデジタルの画像データを基準画像のデータとして出力する(ステップS3−1)。この基準画像の概念図は、図2(a)に示されている。同じく、信号変換装置20bは、画像処理装置30のFPGA31に、変換後のデジタルの画像データを比較画像のデータとして出力する(ステップS3−2)。この比較画像は、撮像装置10bによって撮像された画像であるが、図2(a)に示されている基準画像と極端な違いはないため、比較画像の概念図は図示しないで省略する。
次に、図12に示されているコスト算出部310aは、SAD方式を利用して、基準画像のデータ及び比較画像のデータに基づき、図13のグラフで示されているように、シフト量d毎のコスト値C1を算出する(ステップS4−1)。同じく、コスト算出部310bは、Census方式を利用して、基準画像のデータ及び比較画像のデータに基づき、図13のグラフで示されているように、シフト量d毎のコスト値C2を算出する(ステップS4−2)。
次に、正規化部320aは、コスト算出部310aによって算出されたコスト値C1を正規化する(ステップS5−1)。同じく、正規化部320bは、コスト算出部310bによって算出されたコストC2を正規化する(ステップS5−2)。
次に、選択部330は、正規化部320aによって出力されたコスト値C1の集まりであるコスト曲線CL1(第1の曲線の一例)と、正規化部320bによって出力されたコスト値C2の集まりであるコスト曲線CL2(第2の曲線の一例)のうち、(式9)に示されている比較判定関数を用いて、特定のコスト曲線CL(特定の曲線の一例)を選択する(ステップS6)。
次に、コスト合成部340は、選択部330によって選択された特定のコスト曲線CLにおける各コスト値Cに基づいて、例えば、図6のグラフで示されているように、シフト量d毎に合成コスト値Lsを出力する(ステップS7)。図6の場合、合成コスト値Lsが最小となるシフト量はd=3であるため、視差値導出部350は、視差値Δ=3を導出する(ステップS8)。
その後、図9に示されているI/F35から、高密度視差画像が送信され、図示しない視差値導出装置1の外部の装置におけるCPUによって、撮像装置10a,10bと物体Eとの間の距離Zが算出される。
<実施形態の主な効果>
以上説明したように本実施形態によれば、コスト算出部310aによって算出された第1のコスト値C1と、コスト算出部310bによって算出された第2のコスト値C2とを、比較判定関数CostSelvalで示されている信頼度を利用して選択するため、より正確なコスト値を導き出すことができるという効果を奏する。
<<実施形態の補足>>
上記実施形態では、コスト算出部は、SAD方式又はCensus方式を利用してコスト値を算出したが、この方式に限るものではない。例えば、SSD(Sum of Squared Difference)方式、又は、NCC(Normalized Cross-Correlation)方式等の他の方式を用いてもよい。この場合、任意の2方式のうち、選択部330には得意なシーンを考慮してコスト曲線を選択するように設定される。
また、上記実施形態では、コスト値Cは非類似度として示されているが、類似度として示されてもよい。この場合、選択部330は、(式9)に示されているような比較判定関数CostSelvalで示されている所定の信頼度を利用し、CostSelvalのmim1に代えて、max1(最大の極値(最大値))が用いられる。また、この場合、合成コスト値Lsが最大となる視差値Δが導出される。また、非類似度と類似度の両者を含めて、一致度としてもよい。
また、上記実施形態では、説明の簡略化のために、一画素単位で説明したが、これに限るものではなく、複数の画素からなる所定領域単位で処理されてもよい。この場合、基準画素を含む所定領域は基準領域として示され、対応画素を含む所定領域は対応領域として表される。なお、この基準領域には基準画素のみの場合も含まれ、対応領域には対応画素のみの場合も含まれる。
更に、上記実施形態では、自動車に搭載される視差値導出装置1について説明したが、これに限るものではない。例えば、車両の一例としての自動車だけでなく、バイク、自転車、車椅子、農業用の耕運機等の車両に搭載されることができてもよい。また、移動体の一例としての車両だけでなく、ロボット等の移動体であってもよい。
更に、ロボットは、移動体だけでなく、FA(Factory Automation)において固定設置される工業用ロボット等の装置であってもよい。また、固定設置される装置としては、ロボットだけでなく、防犯用の監視カメラであってもよい。
また、上記実施形態では、外部のCPUが距離Zを算出しているが、これに限るものではなく、画像処理装置30のCPU32が距離Zを算出してもよい。
1 視差値導出装置
2 本体部
10a 撮像装置
10b 撮像装置
20a 信号変換装置
20b 信号変換装置
30 画像処理装置
310a コスト算出部(第1の算出手段の一例)
310b コスト算出部(第2の算出手段の一例)
320a 正規化部(第1の正規化手段の一例)
320b 正規化部(第2の正規化手段の一例)
330 選択部(選択手段の一例)
340 コスト合成部(合成手段の一例)
350 視差値導出部(導出手段の一例)
特開2012−181142号公報

Claims (18)

  1. 所定の物体を第1の位置で撮像して得た基準画像及び前記物体を第2の位置で撮像して得た比較画像に基づいて、前記物体に対する視差を示す視差値を導出する視差値導出装置であって、
    前記基準画像内の基準領域の輝度値と、前記比較画像内の対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補毎に第1の非類似度を算出する第1の算出手段と、
    前記基準画像内の基準領域の輝度値と、前記比較画像内の対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補毎に前記第1の非類似度とは異なる第2の非類似度を算出する第2の算出手段と、
    前記対応領域の候補毎の第1の非類似度の集まりである第1の曲線と、前記対応領域の候補毎の第2の非類似度の集まりである第2の曲線と、を正規化する正規化手段と、
    前記正規化手段によって規化された前記第1の曲線と前記第2の曲線のうち、前記第1の曲線及び前記第2の曲線の各々が信頼できるかを示す信頼度に基づいて、特定の曲線を選択する選択手段と、
    一の基準領域に対する前記特定の曲線における各非類似度と、他の基準領域に対する前記特定の曲線における各非類似度とを合成する合成手段と、
    前記一の基準領域の前記基準画像における位置と、前記合成手段による合成後の非類似度が最小となる対応領域の前記比較画像における位置とに基づいて、前記視差値を導出する導出手段と、 を有することを特徴とする視差値導出装置。
  2. 前記選択手段は、前記第1の曲線及び前記第2の曲線のうち、各非類似度の最小値が小さい方を選択することを特徴とする請求項1に記載の視差値導出装置。
  3. 前記選択手段は、前記第1の曲線及び前記第2の曲線のうち、各非類似度の最小値を頂点とした近似曲線の広がりが狭い方を選択することを特徴とする請求項1に記載の視差値導出装置。
  4. 前記第1の算出手段は、前記基準画像内の基準領域の輝度値と、前記比較画像において所定方向にシフトさせることでシフト量毎に特定される対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補毎に第1の非類似度を算出し、
    前記第2の算出手段は、前記基準画像内の基準領域の輝度値と、前記比較画像において所定方向にシフトさせることでシフト量毎に特定される対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補毎に第2の非類似度を算出し、
    前記選択手段は、前記第1の曲線及び前記第2の曲線のうち、前記所定のスライド量間において、各非類似度の最小値を頂点とした近似曲線の広がりが狭い方を選択することを特徴とする請求項3に記載の視差値導出装置。
  5. 前記選択手段は、前記第1の曲線及び前記第2の曲線のうち、各非類似度の最小の極値と2番目に小さい極値との差分が大きい方を選択することを特徴とする請求項1に記載の視差値導出装置。
  6. 所定の物体を第1の位置で撮像して得た基準画像及び前記物体を第2の位置で撮像して得た比較画像に基づいて、前記物体に対する視差を示す視差値を導出する視差値導出装置であって、
    前記基準画像内の基準領域の輝度値と、前記比較画像内の対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補毎に第1の類似度を算出する第1の算出手段と、
    前記基準画像内の基準領域の輝度値と、前記比較画像内の対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補毎に前記第1の類似度とは異なる第2の類似度を算出する第2の算出手段と、
    前記対応領域の候補毎の第1の類似度の集まりである第1の曲線と、前記対応領域の候補毎の第2の類似度の集まりである第2の曲線と、を正規化する正規化手段と、
    前記正規化手段によって規化された前記第1の曲線と前記第2の曲線のうち、前記第1の曲線及び前記第2の曲線の各々が信頼できるかを示す信頼度に基づいて、特定の曲線を選択する選択手段と、
    一の基準領域に対する前記特定の曲線における各類似度と、他の基準領域に対する前記特定の曲線における各類似度とを合成する合成手段と、
    前記一の基準領域の前記基準画像における位置と、前記合成手段による合成後の類似度が最大となる対応領域の前記比較画像における位置とに基づいて、前記視差値を導出する導出手段と、
    を有することを特徴とする視差値導出装置。
  7. 前記選択手段は、前記第1の曲線及び前記第2の曲線のうち、各類似度の最大値が大きい方を選択することを特徴とする請求項6に記載の視差値導出装置。
  8. 前記選択手段は、前記第1の曲線及び前記第2の曲線のうち、各類似度の最大値を頂点とした近似曲線の広がりが狭い方を選択することを特徴とする請求項6に記載の視差値導出装置。
  9. 前記第1の算出手段は、前記基準画像内の基準領域の輝度値と、前記比較画像において所定方向にシフトさせることでシフト量毎に特定される対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補毎に第1の類似度を算出し、
    前記第2の算出手段は、前記基準画像内の基準領域の輝度値と、前記比較画像において所定方向にシフトさせることでシフト量毎に特定される対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補毎に第2の類似度を算出し、
    前記選択手段は、前記第1の曲線及び前記第2の曲線のうち、前記所定のスライド量間において、各類似度の最大値を頂点とした近似曲線の広がりが狭い方を選択することを特徴とする請求項8に記載の視差値導出装置。
  10. 前記選択手段は、前記第1の曲線及び前記第2の曲線のうち、各類似度の最大の極値と2番目に大きい極値との差分が大きい方を選択することを特徴とする請求項6に記載の視差値導出装置。
  11. 請求項1乃至10のいずれか一項に記載の視差値導出装置を備えたことを特徴とする移動体。
  12. 前記移動体は、車両又はロボットであることを特徴とする請求項11に記載の移動体。
  13. 請求項1乃至10のいずれか一項に記載の視差値導出装置を備えたことを特徴とするロボット。
  14. 前記ロボットは、固定設置される工業用ロボットであることを特徴とする請求項13に記載のロボット。
  15. 所定の物体を第1の位置で撮像して得た基準画像及び前記物体を第2の位置で撮像して得た比較画像に基づいて、前記物体に対する視差を示す視差値を導出する視差値生産方法であって、
    前記基準画像内の基準領域の輝度値と、前記比較画像内の対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補毎に第1の非類似度を算出する第1の算出ステップと、
    前記基準画像内の基準領域の輝度値と、前記比較画像内の対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補毎に前記第1の非類似度とは異なる第2の非類似度を算出する第2の算出ステップと、
    前記対応領域の候補毎の第1の非類似度の集まりである第1の曲線と、前記対応領域の候補毎の第2の非類似度の集まりである第2の曲線と、を正規化する正規化ステップと、
    前記正規化ステップにおいて正規化された前記第1の曲線と前記第2の曲線のうち、前記第1の曲線及び前記第2の曲線の各々が信頼できるかを示す信頼度に基づいて、特定の曲線を選択する選択ステップと、
    一の基準領域に対する前記特定の曲線における各非類似度と、他の基準領域に対する前記特定の曲線における各非類似度とを合成する合成ステップと、
    前記一の基準領域の前記基準画像における位置と、前記合成ステップおける合成後の非類似度が最小となる対応領域の前記比較画像における位置とに基づいて、前記視差値を導出する導出ステップと、
    を含むことを特徴とする視差値生産方法。
  16. 所定の物体を第1の位置で撮像して得た基準画像及び前記物体を第2の位置で撮像して得た比較画像に基づいて、前記物体に対する視差を示す視差値を導出する視差値生産方法であって、
    前記基準画像内の基準領域の輝度値と、前記比較画像内の対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補毎に第1の類似度を算出する第1の算出ステップと、
    前記基準画像内の基準領域の輝度値と、前記比較画像内の対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補毎に前記第1の類似度とは異なる第2の類似度を算出する第2の算出ステップと、
    前記対応領域の候補毎の第1の類似度の集まりである第1の曲線と、前記対応領域の候補毎の第2の類似度の集まりである第2の曲線と、正規化する正規化する正規化ステップと、
    前記正規化ステップにおいて正規化された前記第1の曲線と前記第2の曲線のうち、前記第1の曲線及び前記第2の曲線の各々が信頼できるかを示す信頼度に基づいて、特定の曲線を選択する選択ステップと、
    一の基準領域に対する前記特定の曲線における各類似度と、他の基準領域に対する前記特定の曲線における各類似度とを合成する合成ステップと、
    前記一の基準領域の前記基準画像における位置と、前記合成ステップおける合成後の類似度が最大となる対応領域の前記比較画像における位置とに基づいて、前記視差値を導出する導出ステップと、
    を含むことを特徴とする視差値生産方法。
  17. コンピュータに、請求項15に記載の方法を実行させることを特徴とするプログラム。
  18. コンピュータに、請求項16に記載の方法を実行させることを特徴とするプログラム。
JP2014199995A 2014-09-30 2014-09-30 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム Active JP6519138B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014199995A JP6519138B2 (ja) 2014-09-30 2014-09-30 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014199995A JP6519138B2 (ja) 2014-09-30 2014-09-30 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2016070774A JP2016070774A (ja) 2016-05-09
JP6519138B2 true JP6519138B2 (ja) 2019-05-29

Family

ID=55864426

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014199995A Active JP6519138B2 (ja) 2014-09-30 2014-09-30 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP6519138B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6411177B2 (ja) * 2014-11-07 2018-10-24 国立研究開発法人産業技術総合研究所 ステレオマッチング装置とステレオマッチングプログラムとステレオマッチング方法
JP6411188B2 (ja) * 2014-11-26 2018-10-24 国立研究開発法人産業技術総合研究所 ステレオマッチング装置とステレオマッチングプログラムとステレオマッチング方法
JP6986683B2 (ja) 2018-01-05 2021-12-22 パナソニックIpマネジメント株式会社 視差値算出装置、視差値算出方法及びプログラム
CN114812429B (zh) * 2022-03-06 2022-12-13 南京理工大学 基于格雷码结构光的双目视觉金属齿轮三维形貌测量装置及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1151644A (ja) * 1997-08-05 1999-02-26 Honda Motor Co Ltd 車両用距離測定装置
JP3728160B2 (ja) * 1999-12-06 2005-12-21 キヤノン株式会社 奥行き画像計測装置及び方法、並びに複合現実感提示システム
JP2004234423A (ja) * 2003-01-31 2004-08-19 Seiko Epson Corp ステレオ画像処理方法およびステレオ画像処理装置、並びにステレオ画像処理プログラム
JP2006227827A (ja) * 2005-02-16 2006-08-31 Toshiba Corp 画像マッチング方法および装置
JP2012247364A (ja) * 2011-05-30 2012-12-13 Panasonic Corp ステレオカメラ装置、ステレオカメラシステム、プログラム

Also Published As

Publication number Publication date
JP2016070774A (ja) 2016-05-09

Similar Documents

Publication Publication Date Title
JP6417886B2 (ja) 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム
JP6561512B2 (ja) 視差値導出装置、移動体、ロボット、視差値導出方法、視差値生産方法及びプログラム
JP6565188B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP6614247B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP6589313B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP6519138B2 (ja) 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム
JP6337504B2 (ja) 画像処理装置、移動体、ロボット、機器制御方法およびプログラム
JP6543935B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP2016152027A (ja) 画像処理装置、画像処理方法およびプログラム
JP6455164B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP2017151535A (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP6561511B2 (ja) 視差値導出装置、移動体、ロボット、視差値生産導出方法、視差値の生産方法及びプログラム
JP6515547B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値生産方法、及びプログラム
JP6442911B2 (ja) 視差値導出装置、移動体、ロボット、視差値導出方法、及びプログラム
JP2016095229A (ja) 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム
JP6459482B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP2015195019A (ja) 視差値導出装置、移動体、ロボット、視差値導出方法、視差値の生産方法及びプログラム
JP6701738B2 (ja) 視差値導出装置、視差値導出方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170907

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180724

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181127

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190408

R151 Written notification of patent or utility model registration

Ref document number: 6519138

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151