JP6519138B2 - 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム - Google Patents
視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム Download PDFInfo
- Publication number
- JP6519138B2 JP6519138B2 JP2014199995A JP2014199995A JP6519138B2 JP 6519138 B2 JP6519138 B2 JP 6519138B2 JP 2014199995 A JP2014199995 A JP 2014199995A JP 2014199995 A JP2014199995 A JP 2014199995A JP 6519138 B2 JP6519138 B2 JP 6519138B2
- Authority
- JP
- Japan
- Prior art keywords
- curve
- value
- candidate
- image
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Measurement Of Optical Distance (AREA)
Description
まず、図1乃至図6を用いて、SGM(Semi-Global Matching)法を用いた測距方法の概略について説明する。なお、SGM法に関しては、非特許文献(Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information)に開示されているため、以下では概略を説明する。
図1を用いて、ステレオ画像法により、ステレオカメラから物体に対する視差を導き出し、この視差を示す視差値によって、ステレオカメラから物体までの距離を測定する原理について説明する。なお、図1は、撮像装置から物体までの距離を導き出す原理の説明図である。また、以下では、説明を簡略化するため、複数の画素からなる所定領域ではなく、一画素単位で説明する。
まず、図1で示される撮像装置10aおよび撮像装置10bによって撮像された各画像を、それぞれ基準画像Iaおよび比較画像Ibとする。なお、図1では、撮像装置10aおよび撮像装置10bが平行等位に設置されているものとする。図1において、3次元空間内の物体E上のS点は、撮像装置10aおよび撮像装置10bの同一水平線上の位置に写像される。すなわち、各画像中のS点は、基準画像Ia中の点Sa(x,y)および比較画像Ib中の点Sb(X,y)において撮像される。このとき、視差値Δは、撮像装置10a上の座標におけるSa(x,y)と撮像装置10b上の座標におけるSb(X,y)とを用いて、(式1)のように表される。
ここで、図1のような場合には、基準画像Ia中の点Sa(x,y)と撮像レンズ11aから撮像面上におろした垂線の交点との距離をΔaにし、比較画像Ib中の点Sb(X,y)と撮像レンズ11bから撮像面上におろした垂線の交点との距離をΔbにすると、視差値Δ=Δa+Δbとなる。
また、視差値Δを用いることで、撮像装置10a,10bと物体Eとの間の距離Zを導き出すことができる。具体的には、距離Zは、撮像レンズ11aの焦点位置と撮像レンズ11bの焦点位置とを含む面から物体E上の特定点Sまでの距離である。図1に示されるように、撮像レンズ11a及び撮像レンズ11bの焦点距離f、撮像レンズ11aと撮像レンズ11bとの間の長さである基線長B、及び視差値Δを用いて、(式2)により、距離Zを算出することができる。
この(式2)により、視差値Δが大きいほど距離Zは小さく、視差値Δが小さいほど距離Zは大きくなる。
続いて、図2乃至図6を用いて、SGM法を用いた測距方法について説明する。なお、図2(a)は基準画像、図2(b)は(a)に対する高密度視差画像、図2(c)は(a)に対するエッジ視差画像を示す概念図である。ここで、基準画像は、物体が輝度によって示された画像である。高密度視差画像は、SGM法によって、基準画像から導き出された画像であり、基準画像の各座標における視差値を示した画像である。エッジ視差画像は、ブロックマッチング法から導き出された画像であり、基準画像のエッジ部のような比較的テクスチャの強い部分のみの視差値を示した画像である。
まず、図3及び図4を用いて、コスト値C(p,d)の算出方法について説明する。図3(a)は基準画像における基準画素を示す概念図、図3(b)は(a)の基準画素に対して比較画像における対応画素の候補を順次シフトしながら(ずらしながら)シフト量(ずれ量)を算出する際の概念図である。図4は、シフト量毎のコスト値を示すグラフである。ここで、対応画素は、基準画像内の基準画素に最も類似する比較画像内の画素である。なお、以降、C(p,d)は、C(x,y,d)を表すものとして説明する。
次に、図5及び図6を用いて、合成コスト値Ls(p,d)の算出方法について説明する。図5は、合成コスト値を導き出すための概念図である。図6は、視差値毎の合成コスト値を示す合成コスト曲線のグラフである。本実施形態における合成コスト値の算出方法は、コスト値C(p,d)の算出だけでなく、所定の基準画素p(x,y)の周辺の画素を基準画素とした場合のコスト値を、基準画素p(x,y)におけるコスト値C(p,d)に集約させて、合成コスト値Ls(p,d)を算出する。
ここで、rは、集約方向の方向ベクトルを示し、x方向およびy方向の2成分を有する。min{}は、最小値を求める関数である。Lrmin(p−r)は、pをr方向に1画素シフトした座標において、シフト量dを変化させた際のLr(p−r,d)の最小値を示す。なお、Lrは、(式3)に示されているように再帰的に適用される。また、P1及びP2は、予め実験により定められた固定パラメータであり、経路上で隣接する基準画素の視差値Δが連続になりやすいようなパラメータになっている。例えば、P1=48、P2=96である。
以下、図面を用いて、本実施形態の具体的な説明を行う。ここでは、自動車に搭載される視差値導出装置1について説明する。
まず、図7乃至図9用いて、本実施形態の全体構成について説明する。
図7及び図8を用いて、本実施形態の視差値導出装置1の外観構成を説明する。なお、図7(a)は本発明の一実施形態に係る視差値導出装置を搭載した自動車の側面を表す概略図、図7(b)は自動車の正面を示す概略図である。図8は、視差値導出装置の概観図である。
次に、図9を用いて、視差値導出装置1の全体のハードウェア構成について説明する。なお、図9は、視差値導出装置の全体のハードウェア構成図である。
ここで、図10及び図11を用いて、コスト算出方式の一例として、SAD方式とCensus方式について簡単に説明する。図10は、Census方式の説明図である。図11(a)は逆光時のSAD方式による高密度視差画像を示す概念図、図11(b)は逆光時のCensus方式による高密度視差画像を示す概念図である。
次に、図12乃至図15を用いて、視差値導出装置1の主要部のハードウェア構成について説明する。なお、図12は、視差値導出装置の主要部のハードウェア構成図である。
正規化Census値=(Census_max-Census_min)/Census_max (式8)
図13は、SAD方式によるコスト曲線及びCensus方式によるコスト曲線を示したグラフである。図13に示されているように、SAD方式によるコスト値及びCensus方式によるコスト値は単位(スケール)が異なるため、それぞれのコスト曲線を比較するためには、正規化する必要がある。なお、FPGA31は、正規化部320a及び正規化部320bのうち、いずれか一方を備えていても、それぞれのコスト曲線を比較することは可能である。
次に、図16を用いて、本実施形態の処理または動作を説明する。図16は、実施形態の視差値生産方法の処理を示したフローチャートである。
以上説明したように本実施形態によれば、コスト算出部310aによって算出された第1のコスト値C1と、コスト算出部310bによって算出された第2のコスト値C2とを、比較判定関数CostSelvalで示されている信頼度を利用して選択するため、より正確なコスト値を導き出すことができるという効果を奏する。
上記実施形態では、コスト算出部は、SAD方式又はCensus方式を利用してコスト値を算出したが、この方式に限るものではない。例えば、SSD(Sum of Squared Difference)方式、又は、NCC(Normalized Cross-Correlation)方式等の他の方式を用いてもよい。この場合、任意の2方式のうち、選択部330には得意なシーンを考慮してコスト曲線を選択するように設定される。
2 本体部
10a 撮像装置
10b 撮像装置
20a 信号変換装置
20b 信号変換装置
30 画像処理装置
310a コスト算出部(第1の算出手段の一例)
310b コスト算出部(第2の算出手段の一例)
320a 正規化部(第1の正規化手段の一例)
320b 正規化部(第2の正規化手段の一例)
330 選択部(選択手段の一例)
340 コスト合成部(合成手段の一例)
350 視差値導出部(導出手段の一例)
Claims (18)
- 所定の物体を第1の位置で撮像して得た基準画像及び前記物体を第2の位置で撮像して得た比較画像に基づいて、前記物体に対する視差を示す視差値を導出する視差値導出装置であって、
前記基準画像内の基準領域の輝度値と、前記比較画像内の対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補毎に第1の非類似度を算出する第1の算出手段と、
前記基準画像内の基準領域の輝度値と、前記比較画像内の対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補毎に前記第1の非類似度とは異なる第2の非類似度を算出する第2の算出手段と、
前記対応領域の候補毎の第1の非類似度の集まりである第1の曲線と、前記対応領域の候補毎の第2の非類似度の集まりである第2の曲線と、を正規化する正規化手段と、
前記正規化手段によって正規化された前記第1の曲線と前記第2の曲線のうち、前記第1の曲線及び前記第2の曲線の各々が信頼できるかを示す信頼度に基づいて、特定の曲線を選択する選択手段と、
一の基準領域に対する前記特定の曲線における各非類似度と、他の基準領域に対する前記特定の曲線における各非類似度とを合成する合成手段と、
前記一の基準領域の前記基準画像における位置と、前記合成手段による合成後の非類似度が最小となる対応領域の前記比較画像における位置とに基づいて、前記視差値を導出する導出手段と、 を有することを特徴とする視差値導出装置。 - 前記選択手段は、前記第1の曲線及び前記第2の曲線のうち、各非類似度の最小値が小さい方を選択することを特徴とする請求項1に記載の視差値導出装置。
- 前記選択手段は、前記第1の曲線及び前記第2の曲線のうち、各非類似度の最小値を頂点とした近似曲線の広がりが狭い方を選択することを特徴とする請求項1に記載の視差値導出装置。
- 前記第1の算出手段は、前記基準画像内の基準領域の輝度値と、前記比較画像において所定方向にシフトさせることでシフト量毎に特定される対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補毎に第1の非類似度を算出し、
前記第2の算出手段は、前記基準画像内の基準領域の輝度値と、前記比較画像において所定方向にシフトさせることでシフト量毎に特定される対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補毎に第2の非類似度を算出し、
前記選択手段は、前記第1の曲線及び前記第2の曲線のうち、前記所定のスライド量間において、各非類似度の最小値を頂点とした近似曲線の広がりが狭い方を選択することを特徴とする請求項3に記載の視差値導出装置。 - 前記選択手段は、前記第1の曲線及び前記第2の曲線のうち、各非類似度の最小の極値と2番目に小さい極値との差分が大きい方を選択することを特徴とする請求項1に記載の視差値導出装置。
- 所定の物体を第1の位置で撮像して得た基準画像及び前記物体を第2の位置で撮像して得た比較画像に基づいて、前記物体に対する視差を示す視差値を導出する視差値導出装置であって、
前記基準画像内の基準領域の輝度値と、前記比較画像内の対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補毎に第1の類似度を算出する第1の算出手段と、
前記基準画像内の基準領域の輝度値と、前記比較画像内の対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補毎に前記第1の類似度とは異なる第2の類似度を算出する第2の算出手段と、
前記対応領域の候補毎の第1の類似度の集まりである第1の曲線と、前記対応領域の候補毎の第2の類似度の集まりである第2の曲線と、を正規化する正規化手段と、
前記正規化手段によって正規化された前記第1の曲線と前記第2の曲線のうち、前記第1の曲線及び前記第2の曲線の各々が信頼できるかを示す信頼度に基づいて、特定の曲線を選択する選択手段と、
一の基準領域に対する前記特定の曲線における各類似度と、他の基準領域に対する前記特定の曲線における各類似度とを合成する合成手段と、
前記一の基準領域の前記基準画像における位置と、前記合成手段による合成後の類似度が最大となる対応領域の前記比較画像における位置とに基づいて、前記視差値を導出する導出手段と、
を有することを特徴とする視差値導出装置。 - 前記選択手段は、前記第1の曲線及び前記第2の曲線のうち、各類似度の最大値が大きい方を選択することを特徴とする請求項6に記載の視差値導出装置。
- 前記選択手段は、前記第1の曲線及び前記第2の曲線のうち、各類似度の最大値を頂点とした近似曲線の広がりが狭い方を選択することを特徴とする請求項6に記載の視差値導出装置。
- 前記第1の算出手段は、前記基準画像内の基準領域の輝度値と、前記比較画像において所定方向にシフトさせることでシフト量毎に特定される対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補毎に第1の類似度を算出し、
前記第2の算出手段は、前記基準画像内の基準領域の輝度値と、前記比較画像において所定方向にシフトさせることでシフト量毎に特定される対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補毎に第2の類似度を算出し、
前記選択手段は、前記第1の曲線及び前記第2の曲線のうち、前記所定のスライド量間において、各類似度の最大値を頂点とした近似曲線の広がりが狭い方を選択することを特徴とする請求項8に記載の視差値導出装置。 - 前記選択手段は、前記第1の曲線及び前記第2の曲線のうち、各類似度の最大の極値と2番目に大きい極値との差分が大きい方を選択することを特徴とする請求項6に記載の視差値導出装置。
- 請求項1乃至10のいずれか一項に記載の視差値導出装置を備えたことを特徴とする移動体。
- 前記移動体は、車両又はロボットであることを特徴とする請求項11に記載の移動体。
- 請求項1乃至10のいずれか一項に記載の視差値導出装置を備えたことを特徴とするロボット。
- 前記ロボットは、固定設置される工業用ロボットであることを特徴とする請求項13に記載のロボット。
- 所定の物体を第1の位置で撮像して得た基準画像及び前記物体を第2の位置で撮像して得た比較画像に基づいて、前記物体に対する視差を示す視差値を導出する視差値生産方法であって、
前記基準画像内の基準領域の輝度値と、前記比較画像内の対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補毎に第1の非類似度を算出する第1の算出ステップと、
前記基準画像内の基準領域の輝度値と、前記比較画像内の対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補毎に前記第1の非類似度とは異なる第2の非類似度を算出する第2の算出ステップと、
前記対応領域の候補毎の第1の非類似度の集まりである第1の曲線と、前記対応領域の候補毎の第2の非類似度の集まりである第2の曲線と、を正規化する正規化ステップと、
前記正規化ステップにおいて正規化された前記第1の曲線と前記第2の曲線のうち、前記第1の曲線及び前記第2の曲線の各々が信頼できるかを示す信頼度に基づいて、特定の曲線を選択する選択ステップと、
一の基準領域に対する前記特定の曲線における各非類似度と、他の基準領域に対する前記特定の曲線における各非類似度とを合成する合成ステップと、
前記一の基準領域の前記基準画像における位置と、前記合成ステップにおける合成後の非類似度が最小となる対応領域の前記比較画像における位置とに基づいて、前記視差値を導出する導出ステップと、
を含むことを特徴とする視差値生産方法。 - 所定の物体を第1の位置で撮像して得た基準画像及び前記物体を第2の位置で撮像して得た比較画像に基づいて、前記物体に対する視差を示す視差値を導出する視差値生産方法であって、
前記基準画像内の基準領域の輝度値と、前記比較画像内の対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補毎に第1の類似度を算出する第1の算出ステップと、
前記基準画像内の基準領域の輝度値と、前記比較画像内の対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補毎に前記第1の類似度とは異なる第2の類似度を算出する第2の算出ステップと、
前記対応領域の候補毎の第1の類似度の集まりである第1の曲線と、前記対応領域の候補毎の第2の類似度の集まりである第2の曲線と、正規化する正規化する正規化ステップと、
前記正規化ステップにおいて正規化された前記第1の曲線と前記第2の曲線のうち、前記第1の曲線及び前記第2の曲線の各々が信頼できるかを示す信頼度に基づいて、特定の曲線を選択する選択ステップと、
一の基準領域に対する前記特定の曲線における各類似度と、他の基準領域に対する前記特定の曲線における各類似度とを合成する合成ステップと、
前記一の基準領域の前記基準画像における位置と、前記合成ステップにおける合成後の類似度が最大となる対応領域の前記比較画像における位置とに基づいて、前記視差値を導出する導出ステップと、
を含むことを特徴とする視差値生産方法。 - コンピュータに、請求項15に記載の方法を実行させることを特徴とするプログラム。
- コンピュータに、請求項16に記載の方法を実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014199995A JP6519138B2 (ja) | 2014-09-30 | 2014-09-30 | 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014199995A JP6519138B2 (ja) | 2014-09-30 | 2014-09-30 | 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016070774A JP2016070774A (ja) | 2016-05-09 |
JP6519138B2 true JP6519138B2 (ja) | 2019-05-29 |
Family
ID=55864426
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014199995A Active JP6519138B2 (ja) | 2014-09-30 | 2014-09-30 | 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6519138B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6411177B2 (ja) * | 2014-11-07 | 2018-10-24 | 国立研究開発法人産業技術総合研究所 | ステレオマッチング装置とステレオマッチングプログラムとステレオマッチング方法 |
JP6411188B2 (ja) * | 2014-11-26 | 2018-10-24 | 国立研究開発法人産業技術総合研究所 | ステレオマッチング装置とステレオマッチングプログラムとステレオマッチング方法 |
JP6986683B2 (ja) | 2018-01-05 | 2021-12-22 | パナソニックIpマネジメント株式会社 | 視差値算出装置、視差値算出方法及びプログラム |
CN114812429B (zh) * | 2022-03-06 | 2022-12-13 | 南京理工大学 | 基于格雷码结构光的双目视觉金属齿轮三维形貌测量装置及方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1151644A (ja) * | 1997-08-05 | 1999-02-26 | Honda Motor Co Ltd | 車両用距離測定装置 |
JP3728160B2 (ja) * | 1999-12-06 | 2005-12-21 | キヤノン株式会社 | 奥行き画像計測装置及び方法、並びに複合現実感提示システム |
JP2004234423A (ja) * | 2003-01-31 | 2004-08-19 | Seiko Epson Corp | ステレオ画像処理方法およびステレオ画像処理装置、並びにステレオ画像処理プログラム |
JP2006227827A (ja) * | 2005-02-16 | 2006-08-31 | Toshiba Corp | 画像マッチング方法および装置 |
JP2012247364A (ja) * | 2011-05-30 | 2012-12-13 | Panasonic Corp | ステレオカメラ装置、ステレオカメラシステム、プログラム |
-
2014
- 2014-09-30 JP JP2014199995A patent/JP6519138B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016070774A (ja) | 2016-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6417886B2 (ja) | 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム | |
JP6561512B2 (ja) | 視差値導出装置、移動体、ロボット、視差値導出方法、視差値生産方法及びプログラム | |
JP6565188B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
JP6614247B2 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
JP6589313B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
JP6519138B2 (ja) | 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム | |
JP6337504B2 (ja) | 画像処理装置、移動体、ロボット、機器制御方法およびプログラム | |
JP6543935B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
JP2016152027A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6455164B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
JP2017151535A (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
JP6561511B2 (ja) | 視差値導出装置、移動体、ロボット、視差値生産導出方法、視差値の生産方法及びプログラム | |
JP6515547B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値生産方法、及びプログラム | |
JP6442911B2 (ja) | 視差値導出装置、移動体、ロボット、視差値導出方法、及びプログラム | |
JP2016095229A (ja) | 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム | |
JP6459482B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
JP2015195019A (ja) | 視差値導出装置、移動体、ロボット、視差値導出方法、視差値の生産方法及びプログラム | |
JP6701738B2 (ja) | 視差値導出装置、視差値導出方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170907 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180712 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180724 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181127 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190123 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190326 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190408 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6519138 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |