JP5924340B2 - 対応点探索装置 - Google Patents
対応点探索装置 Download PDFInfo
- Publication number
- JP5924340B2 JP5924340B2 JP2013522699A JP2013522699A JP5924340B2 JP 5924340 B2 JP5924340 B2 JP 5924340B2 JP 2013522699 A JP2013522699 A JP 2013522699A JP 2013522699 A JP2013522699 A JP 2013522699A JP 5924340 B2 JP5924340 B2 JP 5924340B2
- Authority
- JP
- Japan
- Prior art keywords
- corresponding point
- correlation
- search
- value
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
(RX+1,RY)=(2×rx+1,2×ry)
(RX,RY+1)=(2×rx,2×ry+1)
(RX+1,RY+1)=(2×rx+1,2×ry+1)
この場合、相関値P1の値に応じて適宜、Vth1〜Vth3の値が決定される。
上記実施の形態では、POC値の大きさから複数の相関ピークが現れているか否かを判定していた。変形例1は、POC値の大きさに加えて他の判断基準を用いて複数の相関ピークが現れているか否かを判定する。
上記実施の形態では、最大の相関値P1を第1相関ピーク、相関値P1の次に相関値が大きく、かつ、閾値α1より大きな相関値P2を第2相関ピークと判定していた。図11は、大きな相関値が隣接して分布している場合のPOC値の分布を示したグラフであり、縦軸はPOC値を示し、横軸は位置を示している。
上記実施の形態では、複数の探索範囲を設定した場合、全探索範囲から2つの第1、第2相関ピークを検出し、注目階層から最大2つの対応点が決定されるようにしていた。
変形例3の手法では、探索範囲毎に2つの対応点が検出されているため、上位の階層に向かうにつれて次々と対応点の個数が増大することが懸念される。この場合、上位の階層において非常に多くの対応点が検出され、どの対応点を最終的な解として選択すべきかが分からなくなり、却って検出精度が低くなる虞がある。
変形例5は、最上位の階層において、複数の対応点が検出された場合、解となる1つの対応点を決定することを特徴とする。具体的には、下記のいずれかの手法を採用すればよい。
上記実施の形態では、説明を簡単にするために第1、第2相関ピークというように2つの相関ピークを検出するものとして説明したが、3つの相関ピークを検出するようにしてもよい。
上記実施の形態ではPOCを用いて相関値を算出したが、他の手法を用いてもよい。他の手法としては例えばDCT符号限定相関法、及びSAD(Sum of Absolute Difference)が挙げられる。DCT符号限定相関法の詳細については、“画像信号処理と画像パターン認識の融合−DCT符号限定相関とその応用、貴家仁志 首都大学東京 システムデザイン学部 動的画像処理実利用化ワークショップ2007(2007.3.8−9)”に開示されている。
使用例1は、上記実施の形態による対応点探索装置をステレオ測距システムに適用したことを特徴とする。図14は、ステレオ測距システムのブロック図である。ステレオ測距システムは、自動車等の車両の車体に搭載され、カメラ101,102、演算処理装置11、及び表示装置12を備えている。
Y=y・Z/f
Z=D
但し、x,yは注目点CPの座標を示す。
使用例2は、本実施の形態の対応点探索装置110を時系列的に前後する入力画像に対して対応点探索を行うシステムに適用したことを特徴としている。図16は、時系列的に前後する入力画像に対して対応付けを行わせるシステムのブロック図である。
(1)上記対応点探索装置は、少なくとも2枚の入力画像のうち、1枚の入力画像を基準画像、残りの入力画像を参照画像として取得する画像取得部と、前記画像取得部で取得された基準画像及び参照画像のそれぞれにつき、解像度の異なる複数の基準画像及び参照画像を階層的に生成する多重解像度画像生成部と、注目階層の基準画像における注目点に対する対応点を、前記注目階層の参照画像から探索する対応点探索部と、前記注目階層の1つ下の階層で探索された対応点を基に、前記注目階層の参照画像における初期探索位置を設定する初期位置設定部と、前記対応点探索部に下位の階層から上位の階層に向けて順次に対応点を探索させる探索制御部とを備え、前記対応点探索部は、前記注目階層において設定された前記初期探索位置を基準として、前記注目階層の前記参照画像に所定の探索範囲を設定し、設定した探索範囲内の各位置において前記注目点に対する相関値を算出し、算出した相関値に基づき、複数の相関ピークが現れているか否かを判定し、複数の相関ピークが現れていると判定した場合、各相関ピークを用いて複数の対応点を決定し、前記初期位置設定部は、前記対応点探索部により複数の対応点が探索された場合、各対応点に対する前記初期探索位置を設定する。
Claims (11)
- 少なくとも2枚の入力画像のうち、1枚の入力画像を基準画像、残りの入力画像を参照画像として取得する画像取得部と、
前記画像取得部で取得された基準画像及び参照画像のそれぞれにつき、解像度の異なる複数の基準画像及び参照画像を階層的に生成する多重解像度画像生成部と、
注目階層の基準画像における注目点に対する対応点を、前記注目階層の参照画像から探索する対応点探索部と、
前記注目階層の1つ下の階層で探索された対応点を基に、前記注目階層の参照画像における初期探索位置を設定する初期位置設定部と、
前記対応点探索部に下位の階層から上位の階層に向けて順次に対応点を探索させる探索制御部とを備え、
前記対応点探索部は、前記注目階層において設定された前記初期探索位置を基準として、前記注目階層の前記参照画像に所定の探索範囲を設定し、設定した探索範囲内の各位置において前記注目点に対する相関値を算出し、算出した相関値に基づき、複数の相関ピークが現れているか否かを判定し、複数の相関ピークが現れていると判定した場合、各相関ピークを用いて複数の対応点を決定し、
前記初期位置設定部は、前記対応点探索部により複数の対応点が探索された場合、各対応点に対する前記初期探索位置を設定し、
前記対応点探索部は、複数の相関ピークが現れていると判定した場合、前記相関値が最大である第1相関ピークの相関値に対する、前記第1相関ピーク以外の第2相関ピークの相関値の比を算出し、前記比が所定の値よりも大きな第2相関ピークが存在しない場合、前記第1相関ピークのみから対応点を決定し、前記比が所定の値より大きい第2相関ピークが存在する場合、前記比が所定の値より大きい第2相関ピークから対応点を決定し、かつ、前記第1相関ピークから対応点を決定する対応点探索装置。 - 少なくとも2枚の入力画像のうち、1枚の入力画像を基準画像、残りの入力画像を参照画像として取得する画像取得部と、
前記画像取得部で取得された基準画像及び参照画像のそれぞれにつき、解像度の異なる複数の基準画像及び参照画像を階層的に生成する多重解像度画像生成部と、
注目階層の基準画像における注目点に対する対応点を、前記注目階層の参照画像から探索する対応点探索部と、
前記注目階層の1つ下の階層で探索された対応点を基に、前記注目階層の参照画像における初期探索位置を設定する初期位置設定部と、
前記対応点探索部に下位の階層から上位の階層に向けて順次に対応点を探索させる探索制御部とを備え、
前記対応点探索部は、前記注目階層において設定された前記初期探索位置を基準として、前記注目階層の前記参照画像に所定の探索範囲を設定し、設定した探索範囲内の各位置において前記注目点に対する相関値を算出し、算出した相関値に基づき、複数の相関ピークが現れているか否かを判定し、複数の相関ピークが現れていると判定した場合、各相関ピークを用いて複数の対応点を決定し、
前記初期位置設定部は、前記対応点探索部により複数の対応点が探索された場合、各対応点に対する前記初期探索位置を設定し、
前記対応点探索部は、複数の相関ピークが現れていると判定した場合、前記相関値が最大である第1相関ピークの相関値の、前記第1相関ピーク以外の第2相関ピークの相関値に対する比を算出し、前記比が所定の値よりも小さな第2相関ピークが存在しない場合、前記第1相関ピークのみから対応点を決定し、前記比が所定の値より小さな第2相関ピークが存在する場合、前記比が所定の値より小さな第2相関ピークから対応点を決定し、かつ、前記第1相関ピークから対応点を決定する対応点探索装置。 - 前記対応点探索部は、位相限定相関法を用いて前記相関値を算出する請求項1又は2記載の対応点探索装置。
- 前記対応点探索部は、前記相関値の最大値を前記第1相関ピークとして判定し、大きさが2番目以降の相関値については、所定の値より大きい相関値を、前記第2相関ピークとして判定する請求項1又は2記載の対応点探索装置。
- 前記対応点探索部は、前記相関値の分布において、ピークの頂点に位置する相関値を相関ピークとして判定する請求項1〜4のいずれかに記載の対応点探索装置。
- 前記対応点探索部は、前記探索範囲内の注目位置の相関値に対する、前記注目位置に隣接する位置の相関値の比が、所定の値以下の場合、前記注目位置に相関ピークが現れていると判定する請求項1〜4のいずれかに記載の対応点探索装置。
- 前記対応点探索部は、前記探索範囲内の注目位置の相関値から前記注目位置に隣接する位置の相関値を差し引いた差分値が所定の値より大きい場合、前記注目位置に相関ピークが現れていると判定する請求項1〜4のいずれかに記載の対応点探索装置。
- 前記対応点探索部は、所定距離以上離間した位置に相関ピークを検出する請求項1〜7のいずれかに記載の対応点探索装置。
- 前記対応点探索部は、前記注目階層の参照画像において、前記初期位置設定部により複数の初期探索位置が決定された場合、各初期探索位置を基準として前記探索範囲を設定し、
前記初期位置設定部は、前記対応点探索部により各探索範囲において複数の対応点が探索された場合であっても、全対応点に対する初期探索位置を前記注目階層の1つ上の階層の参照画像に設定する請求項1〜8のいずれかに記載の対応点探索装置。 - 前記初期位置設定部は、前記注目階層において前記対応点探索部により探索された対応点の個数が所定の上限値を超えた場合、前記上限値以下の対応点に対して前記初期探索位置を設定する請求項1〜9のいずれかに記載の対応点探索装置。
- 前記対応点探索部は、最上位の階層において、1つの対応点を決定する請求項1〜10のいずれかに記載の対応点探索装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011144828 | 2011-06-29 | ||
JP2011144828 | 2011-06-29 | ||
PCT/JP2012/003317 WO2013001710A1 (ja) | 2011-06-29 | 2012-05-22 | 対応点探索装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2013001710A1 JPWO2013001710A1 (ja) | 2015-02-23 |
JP5924340B2 true JP5924340B2 (ja) | 2016-05-25 |
Family
ID=47423643
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013522699A Expired - Fee Related JP5924340B2 (ja) | 2011-06-29 | 2012-05-22 | 対応点探索装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9117135B2 (ja) |
EP (1) | EP2728547A4 (ja) |
JP (1) | JP5924340B2 (ja) |
WO (1) | WO2013001710A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5110235B1 (ja) * | 2011-06-27 | 2012-12-26 | コニカミノルタホールディングス株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US9530071B2 (en) * | 2014-10-10 | 2016-12-27 | Beijing Kuangshi Technology Co., Ltd. | Hierarchical interlinked multi-scale convolutional network for image parsing |
JP6408893B2 (ja) * | 2014-12-16 | 2018-10-17 | オリンパス株式会社 | 3次元位置情報取得方法及び3次元位置情報取得装置 |
JP6423314B2 (ja) * | 2015-06-04 | 2018-11-14 | 株式会社Soken | 対応点探索方法および距離測定装置 |
JP6585994B2 (ja) * | 2015-10-30 | 2019-10-02 | アズビル株式会社 | 対応点探索装置および方法 |
CN111819600A (zh) * | 2018-03-05 | 2020-10-23 | 日本电气株式会社 | 图像匹配装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7054850B2 (en) * | 2000-06-16 | 2006-05-30 | Canon Kabushiki Kaisha | Apparatus and method for detecting or recognizing pattern by employing a plurality of feature detecting elements |
JP2007179354A (ja) * | 2005-12-28 | 2007-07-12 | Fujitsu Ltd | オプティカルフロー算出装置、オプティカルフロー算出方法、オプティカルフロー算出プログラムおよび記録媒体 |
JP4196302B2 (ja) * | 2006-06-19 | 2008-12-17 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
JP5034554B2 (ja) * | 2007-02-27 | 2012-09-26 | コニカミノルタホールディングス株式会社 | 相関演算装置、相関演算方法及びプログラム |
JP5098369B2 (ja) * | 2007-03-06 | 2012-12-12 | コニカミノルタホールディングス株式会社 | 距離画像生成装置、距離画像生成方法及びプログラム |
JP4872836B2 (ja) | 2007-07-06 | 2012-02-08 | コニカミノルタホールディングス株式会社 | 情報処理システム |
JP4985542B2 (ja) | 2008-05-22 | 2012-07-25 | コニカミノルタホールディングス株式会社 | 対応点探索装置 |
JP5062531B2 (ja) * | 2008-06-03 | 2012-10-31 | コニカミノルタホールディングス株式会社 | 画像処理装置および画像処理方法 |
CN103488968B (zh) * | 2012-06-14 | 2016-12-21 | 株式会社日立制作所 | 遥感图像的混合像素物质构成精细化分解装置及方法 |
-
2012
- 2012-05-22 US US14/129,660 patent/US9117135B2/en not_active Expired - Fee Related
- 2012-05-22 WO PCT/JP2012/003317 patent/WO2013001710A1/ja active Application Filing
- 2012-05-22 JP JP2013522699A patent/JP5924340B2/ja not_active Expired - Fee Related
- 2012-05-22 EP EP12805045.7A patent/EP2728547A4/en not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
US9117135B2 (en) | 2015-08-25 |
JPWO2013001710A1 (ja) | 2015-02-23 |
EP2728547A4 (en) | 2015-04-15 |
US20140147049A1 (en) | 2014-05-29 |
WO2013001710A1 (ja) | 2013-01-03 |
EP2728547A1 (en) | 2014-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5924340B2 (ja) | 対応点探索装置 | |
US9681150B2 (en) | Optical flow determination using pyramidal block matching | |
JP4883223B2 (ja) | 動きベクトル生成装置および動きベクトル生成方法 | |
CN104685513A (zh) | 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计 | |
JP5267596B2 (ja) | 移動体検出装置 | |
US20170116461A1 (en) | Image processing device and image processing method | |
US20100195898A1 (en) | Method and apparatus for improving quality of depth image | |
JP6052186B2 (ja) | 画像処理装置 | |
JP2012002683A (ja) | ステレオ画像処理方法およびステレオ画像処理装置 | |
CN104754180A (zh) | 降低视频画面抖动的方法与装置 | |
JP5110235B1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JPWO2009096520A1 (ja) | 対応点探索装置および対応点探索方法 | |
KR100943635B1 (ko) | 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법 | |
JP4985542B2 (ja) | 対応点探索装置 | |
JP4946896B2 (ja) | 距離計測装置及び距離計測方法 | |
US9936189B2 (en) | Method for predicting stereoscopic depth and apparatus thereof | |
JP2008209275A (ja) | 相関演算装置、相関演算方法及びプログラム | |
US20200013142A1 (en) | Image processing apparatus, image processing method, and storage medium | |
US10430971B2 (en) | Parallax calculating apparatus | |
Jiang et al. | Stereo matching based on random speckle projection for dynamic 3D sensing | |
JP2014093602A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および立体画像表示装置 | |
JP4985863B2 (ja) | 対応点探索装置 | |
KR101607504B1 (ko) | 합산 영역 테이블 방식을 이용한 스테레오 매칭방법 | |
KR20060115237A (ko) | 에지투영을 이용한 스테레오 매칭방법 | |
JP4946898B2 (ja) | 距離計測装置及び距離計測方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160322 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160404 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5924340 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |