JP6321365B2 - 対応点探索方法および距離測定装置 - Google Patents
対応点探索方法および距離測定装置 Download PDFInfo
- Publication number
- JP6321365B2 JP6321365B2 JP2013258192A JP2013258192A JP6321365B2 JP 6321365 B2 JP6321365 B2 JP 6321365B2 JP 2013258192 A JP2013258192 A JP 2013258192A JP 2013258192 A JP2013258192 A JP 2013258192A JP 6321365 B2 JP6321365 B2 JP 6321365B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- cost
- minimum
- comparison
- parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 86
- 238000004364 calculation method Methods 0.000 claims description 31
- 238000001514 detection method Methods 0.000 description 15
- 238000003384 imaging method Methods 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
Description
そこで、このような問題点を鑑み、複数の画像間の対応点を探索する対応点探索方法において、より精度よく対応点の探索ができるようにすることを本発明の目的とする。
[本実施形態の構成]
本発明が適用された距離検出装置1は、複数の撮像画像の視差を検出することによって撮像画像中の各点(物標)までの距離を検出する装置である。特に、本実施形態の距離検出装置1では、動的計画法であるビタビアルゴリズムを複数の方向に適用することで複数の撮像画像を構成する画素間の対応関係(視差)を高精度に求めることができるよう配慮されている。
このように構成された距離検出装置1において、処理部10(CPU11)は、図2以下に示す距離演算処理を実施する。距離演算処理は、撮像画像中の各点までの距離を演算する処理である。距離演算処理は、例えば距離検出装置1の電源が投入されると開始され、その後、一定周期毎に繰り返し実施される。
[手順1−1]
まず、基準画像の画素については、基準画像の左上の画素から右方向に順に選択し、右端まで選択し終わると、1段下の左端の画素を選択し、再び右方向に順に選択する処理を繰り返す。この際、比較画像については、基準画像の選択中の画素と同じ高さ(鉛直方向の位置)にある比較画像の画素を、左から右に向かう方向(右方向)に左端から右端まで順次選択する。すなわち、図4(b)に示すように、基準画像および比較画像についてそれぞれ水平方向(X方向)について選択する画素の座標を遷移させる。
そして、節点のコストD(p,up)と、視差コストS(up,uq)とについてビタビアルゴリズムを適用する。
上記[手順1−1]〜[手順1−2]と同様の方法を、右から左に向かう方向(左方向)に適用することによって、ビタビアルゴリズムのコストを得る。この演算によって得られるこれらのデータを左方向のコストとする。
上記の手順にて求めた右方向のコストと左方向のコストとを対応する節点同士で加算し、得られたデータを左右方向のコストExとしてメモリ12に記録させる。
[手順2−1]
まず、図6(b)に示すように、各節点について、Y方向(画像の鉛直方向)からみた仮想的な平面を準備する。そしてこの平面に対応する画素を選択する。すなわち、基準画像の画素については、基準画像の左上の画素から下方向に順に選択し、下端まで選択し終わると、1段右側の上端の画素を選択し、再び下方向に順に選択する処理を繰り返す。この際、比較画像については、基準画像のうちの選択中の画素と同じ左右位置(水平方向の位置)にある比較画像の画素を、上から下に向かう方向(下方向)に上端から下端まで順次選択する。
[手順2−2]
そして、計算済みの節点のコストD(p,up)と、視差コストS(up,uq)とについてビタビアルゴリズムを適用する。
上記[手順2−1]〜[手順2−2]と同様の方法を、下から上に向かう方向(上方向)に適用することによって、ビタビアルゴリズムのコストを得る。この演算によって得られるこれらのデータを上方向のコストとする。
上記の手順にて求めた下方向のコストと上方向のコストとを対応する節点同士で加算し、得られたデータを上下方向のコストEyとしてメモリ12に記録させる。
[手順3−1]
まず、図7(b)に示すように、各節点について、XY方向(画像の左下から45度斜め右上方向)からみた仮想的な平面を準備する。そしてこの平面に対応する画素を選択する。すなわち、基準画像の画素については、基準画像の左上の画素を選択し、45度右上の画素を順に選択する。
[手順3−2]
そして、計算済みの節点のコストD(p,up)と、視差コストS(up,uq)とについてビタビアルゴリズムを適用する。
上記[手順3−1]〜[手順3−2]と同様の方法を、右上から左斜め下に向かう方向に適用することによって、ビタビアルゴリズムのコストを得る。この演算によって得られるこれらのデータを右斜め下方向のコストとする。
上記の手順にて求めた右斜め下方向のコストと右斜め上方向のコストとを対応する節点同士で加算し、得られたデータを右斜め方向のコストEx−yとしてメモリ12に記録させる。
続いて、S250の処理では、コストEx+yを下記の手順を実施することで求める。この際には、[手順3−1]〜[手順3−4]と同様に、左斜め方向のコストEx+yを求め、メモリ12に記録させる。
上記距離検出装置1において処理部10は、複数の画像のうちの基準画像中のある画素を表す基準画素における画素情報(輝度、明暗、分散)と、基準画像を除く他の画像(比較画像)中の画素を表す比較画素における画素情報と、の差異に基づく画素コストを、基準画素および比較画素を変更しつつ、基準画素毎に演算する(S210)。そして、基準画素を変更する際において基準画素と比較画素との座標差である視差の変化量に対するコストを表す視差コストを、基準画素毎に演算し、各基準画素に対して、画素コストと視差コストとの和を表す合計コストが最小値となる際の比較画素との組み合わせを演算する(S220〜S260)。この際、基準画素および比較画素を複数の方向に沿って順に変更したときにおける合計コストが最小となるときの最小コストを演算し、方向毎に演算された最小コストを互いに加算した値を最小値とする。さらに、各基準画素に対応する比較画素を、各基準画素に対応する対応点として設定する(S270)。
上記距離検出装置1において処理部10は、基準画素および比較画素を第1方向に沿って順に変更したときにおける最小コストを演算し、基準画素および比較画素を、第1方向とは異なる1または複数の方向を表す第2方向に沿って順に変更したときにおける最小コストを方向毎に演算する。そして、各最小コストを加算した値を前記最小値とする。
本発明は、上記の実施形態によって何ら限定して解釈されない。また、上記の実施形態の構成の一部を、課題を解決できる限りにおいて省略した態様も本発明の実施形態である。また、上記の複数の実施形態を適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言のみによって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。また、上記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。
上記実施形態の処理部10が実施する処理において、S130の処理は本発明でいう対応点探索方法および画素対応手段に相当し、本実施形態のS140の処理は本発明でいう測定手段に相当する。また、本実施形態のS210の処理は本発明でいう画素コスト演算工程に相当し、本実施形態のS220〜S260の処理は本発明でいう最小コスト画素演算工程に相当する。
Claims (4)
- 複数の画像を画像処理する画像処理装置にて実行され、複数の画像間の対応点を探索する対応点探索方法(S130)であって、
前記複数の画像のうちの基準画像中のある画素を表す基準画素における画素情報と、前記基準画像を除く他の画像中の画素を表す比較画素における画素情報と、の差異に基づく画素コストを、前記基準画素および前記比較画素を変更しつつ、前記基準画素毎に演算する画素コスト演算工程(S210)と、
前記基準画素を変更する際において前記基準画素と前記比較画素との座標差である視差の変化量に対するコストを表す視差コストを、前記基準画素毎に演算し、前記各基準画素に対して、前記画素コストと前記視差コストとの和を表す合計コストが最小値となる際の比較画素との組み合わせを演算する最小コスト画素演算工程(S220〜S260)と、
前記各基準画素に対応する比較画素を、前記各基準画素に対応する対応点として設定する対応点設定工程(S270)と、
を実施し、
前記最小コスト画素演算工程では、
前記基準画素および前記比較画素を複数の方向に沿って順に変更したときにおける合計コストが最小となるときの最小コストを演算し、方向毎に演算された最小コストを互いに加算した値を前記最小値とし、
前記最小コスト画素演算工程では、最小コストE(p,u)を下記式を用いて演算すること
を特徴とする対応点探索方法。
ただし、E(p,u)は、ピクセル位置p、ピクセル位置p−1との視差uの際の最小コスト、s(u,v)は、ピクセル位置p−1からピクセル位置pになるときに、視差がvからuに変化する際のコスト、D(p,u)は、ピクセル位置p、視差uのときの、基準画像の画素位置と視差との関係によって特定される位置でのコストを表す。 - 請求項1に記載の対応点探索方法において、
前記最小コスト画素演算工程では、
前記基準画像を除く他の画像を比較画像として、前記基準画素および前記比較画素を複数の方向に沿って前記比較画像の一方の端部から他方の端部まで順に変更したときにおける最小コストを前記方向毎に演算し、方向毎に演算された最小コストを加算した値を前記最小値とすること
を特徴とする対応点探索方法。 - 請求項1または請求項2に記載の対応点探索方法において、
前記最小コスト画素演算工程では、
前記基準画素および前記比較画素を第1方向に沿って順に変更したときにおける最小コストを演算する第1コスト演算工程(S220)と、
前記基準画素および前記比較画素を、前記第1方向とは異なる1または複数の方向を表す第2方向に沿って順に変更したときにおける最小コストを方向毎に演算する第2コスト演算工程(S230〜S250)と、
前記各最小コストを加算した値を前記最小値とするコスト加算工程(S260)と、
を実施することを特徴とする対応点探索方法。 - 視差を有する複数の撮像画像を用いて撮像画像中の物標までの距離を測定する距離測定装置(1)であって、
前記複数の撮像画像における各画素間の位置関係を対応付ける画素対応手段(S130)と、
前記各画素間の位置関係に基づいて物標までの距離を測定する測定手段(S140)と、
を備え、
前記画素対応手段は、請求項1〜請求項3の何れか1項に記載の対応点探索方法を用いて前記複数の撮像画像における各画素間の位置関係を対応付けること
を特徴とする距離測定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013258192A JP6321365B2 (ja) | 2013-12-13 | 2013-12-13 | 対応点探索方法および距離測定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013258192A JP6321365B2 (ja) | 2013-12-13 | 2013-12-13 | 対応点探索方法および距離測定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015114269A JP2015114269A (ja) | 2015-06-22 |
JP6321365B2 true JP6321365B2 (ja) | 2018-05-09 |
Family
ID=53528183
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013258192A Active JP6321365B2 (ja) | 2013-12-13 | 2013-12-13 | 対応点探索方法および距離測定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6321365B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6423314B2 (ja) | 2015-06-04 | 2018-11-14 | 株式会社Soken | 対応点探索方法および距離測定装置 |
JP2017045124A (ja) * | 2015-08-24 | 2017-03-02 | 株式会社日本自動車部品総合研究所 | 視差検出装置 |
JP6571492B2 (ja) * | 2015-10-30 | 2019-09-04 | 株式会社Soken | 対応点探索方法、および距離測定装置 |
JP6730214B2 (ja) * | 2017-03-22 | 2020-07-29 | 株式会社Soken | 視差演算装置 |
JP7152880B2 (ja) * | 2018-05-31 | 2022-10-13 | 株式会社Soken | 測距装置、測距システムおよび測距方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2948617B2 (ja) * | 1990-04-10 | 1999-09-13 | 沖電気工業株式会社 | ステレオ画像対応付け装置 |
JP2002541568A (ja) * | 1999-03-31 | 2002-12-03 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | シーンの第1の画像から第2の画像への画素ブロックの移動量を検出する方法 |
JP2003085566A (ja) * | 2001-09-10 | 2003-03-20 | Nippon Hoso Kyokai <Nhk> | 対応点探索方法及びこれを用いたマッチング装置 |
JP4460274B2 (ja) * | 2003-12-05 | 2010-05-12 | グローリー株式会社 | 画像の対応点探索方法、対応点探索装置および対応点探索プログラム |
JP4554316B2 (ja) * | 2004-09-24 | 2010-09-29 | 富士重工業株式会社 | ステレオ画像処理装置 |
JP5682065B2 (ja) * | 2011-03-02 | 2015-03-11 | 独立行政法人産業技術総合研究所 | ステレオ画像処理装置及びステレオ画像処理方法 |
KR101930235B1 (ko) * | 2012-05-15 | 2018-12-18 | 삼성전자 주식회사 | 디지털 이미지 안정화 방법, 장치 및 시스템 |
-
2013
- 2013-12-13 JP JP2013258192A patent/JP6321365B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015114269A (ja) | 2015-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6321365B2 (ja) | 対応点探索方法および距離測定装置 | |
JP6377970B2 (ja) | 視差画像生成装置及び視差画像生成方法 | |
JP5949314B2 (ja) | 視差マップ生成装置および視差マップ生成装置用のプログラム | |
JP6499047B2 (ja) | 計測装置、方法及びプログラム | |
JP6423314B2 (ja) | 対応点探索方法および距離測定装置 | |
JP6212021B2 (ja) | 距離検出装置 | |
JPWO2017033422A1 (ja) | 画像処理装置および画像処理方法 | |
JP5318168B2 (ja) | 立体画像処理装置、立体画像処理方法、及びプログラム | |
WO2017158964A1 (ja) | 画像処理装置、移動体機器制御システム、画像処理用プログラム及び画像処理方法 | |
US9654764B2 (en) | Stereoscopic image processing device, stereoscopic image processing method, and program | |
JP2017090159A (ja) | 車両ピッチ角推定装置 | |
CN113887298A (zh) | 车道线检测方法、装置、电子设备、存储介质及程序产品 | |
JP6571492B2 (ja) | 対応点探索方法、および距離測定装置 | |
JP2017045124A (ja) | 視差検出装置 | |
WO2014054124A1 (ja) | 路面標示検出装置及び路面標示検出方法 | |
JP6550013B2 (ja) | 視差検出装置 | |
JP2009276073A (ja) | 平面推定方法、曲面推定方法、および平面推定装置 | |
JP2009187204A (ja) | 画像処理装置 | |
JP2020173584A (ja) | 物体検出装置 | |
EP3647716A1 (en) | Imaging device | |
JP6730214B2 (ja) | 視差演算装置 | |
JP6668740B2 (ja) | 道路面推定装置 | |
US20170294021A1 (en) | Depth refinement method and system of sparse depth image in multi-aperture camera | |
JP6550014B2 (ja) | 路面検出装置 | |
JP6687496B2 (ja) | 視差検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20161117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170922 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180313 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180405 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6321365 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |