JP6258209B2 - ステレオ画像処理装置およびステレオ画像処理方法 - Google Patents
ステレオ画像処理装置およびステレオ画像処理方法 Download PDFInfo
- Publication number
- JP6258209B2 JP6258209B2 JP2014538098A JP2014538098A JP6258209B2 JP 6258209 B2 JP6258209 B2 JP 6258209B2 JP 2014538098 A JP2014538098 A JP 2014538098A JP 2014538098 A JP2014538098 A JP 2014538098A JP 6258209 B2 JP6258209 B2 JP 6258209B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel data
- phase
- reference pixel
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 143
- 238000003672 processing method Methods 0.000 title claims description 10
- 238000012937 correction Methods 0.000 claims description 94
- 238000000034 method Methods 0.000 claims description 94
- 230000008569 process Effects 0.000 claims description 78
- 230000010363 phase shift Effects 0.000 claims description 58
- 238000001514 detection method Methods 0.000 claims description 51
- 238000004364 calculation method Methods 0.000 claims description 45
- 238000001914 filtration Methods 0.000 claims description 41
- 238000009826 distribution Methods 0.000 claims description 12
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 18
- 230000000694 effects Effects 0.000 description 15
- 101100368081 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) sym-1 gene Proteins 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 6
- 238000007796 conventional method Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 108010076504 Protein Sorting Signals Proteins 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000001444 catalytic combustion detection Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
また、本開示の別のステレオ画像処理装置は、ステレオ画像の基準画像および参照画像を取得するステレオ画像取得部と、前記基準画像および前記参照画像のそれぞれから、前記ステレオ画像の基線長方向に平行な部分画像を切り出し、当該部分画像の前記基線長方向における画素値の分布を示す一次元画素データ列を取得する画像切出部と、前記基準画像から取得された前記一次元画素データ列である基準画素データに対して、一部または全部の周波数成分の位相を90度シフトさせる位相シフトフィルタを適用して、位相シフト済み基準画素データを算出する基準画素データ位相シフト部と、前記位相シフト済み基準画素データおよび前記基準画素データのそれぞれに対して、値の左右対称性を示す左右対称判定値を算出する左右対称判定値算出部と、前記位相シフト済み基準画素データから算出された前記左右対称判定値と、前記基準画素データから算出された前記左右対称判定値と、を比較し、前記位相シフト済み基準画素データの前記左右対称性が前記基準画素データの前記左右対称性よりも高いか否かを判定する左右対称判定値比較部と、前記参照画像から取得された前記一次元画素データ列である参照画素データに対して前記位相シフトフィルタを適用して、位相シフト済み参照画素データを算出する参照画素データ位相シフト部と、前記位相シフト済み基準画素データの前記左右対称性が前記基準画素データの前記左右対称性よりも高いとき、前記位相シフト済み基準画素データと、前記位相シフト済み参照画素データと、のそれぞれに対して、窓掛けを行うとともに、前記位相シフト済み基準画素データの前記左右対称性が前記基準画素データの前記左右対称性よりも高くないとき、前記基準画素データおよび前記参照画素データと、のそれぞれに対して窓掛けを行うことにより、窓掛け済み基準画素データ及び窓掛け済み参照データを生成する窓掛部と、前記窓掛け済み基準画素データと、前記窓掛け済み参照画素データと、の間の相関の度合いを示す位相相関値を算出する位相相関部と、前記位相相関値に基づいて、前記基準画像の基準点に対する前記参照画像の対応点の視差を算出するピーク位置検出部と、を有する。
本開示の別のステレオ画像処理方法は、ステレオ画像の基準画像および参照画像を取得するステップと、前記基準画像および前記参照画像のそれぞれから、前記ステレオ画像の基線長方向に平行な部分画像を切り出し、当該部分画像の前記基線長方向における画素値の分布を示す一次元画素データ列を取得するステップと、前記基準画像から取得された前記一次元画素データ列である基準画素データに対して、一部または全部の周波数成分の位相を90度シフトさせる位相シフトフィルタを適用して、位相シフト済み基準画素データを算出するステップと、前記位相シフト済み基準画素データおよび前記基準画素データのそれぞれに対して、値の左右対称性を示す左右対称判定値を算出するステップと、前記位相シフト済み基準画素データから算出された前記左右対称判定値と、前記基準画素データから算出された前記左右対称判定値と、を比較し、前記位相シフト済み基準画素データの前記左右対称性が前記基準画素データの前記左右対称性よりも高いか否かを判定するステップと、前記参照画像から取得された前記一次元画素データ列である参照画素データに対して前記位相シフトフィルタを適用して、位相シフト済み参照画素データを算出するステップと、前記位相シフト済み基準画素データの前記左右対称性が前記基準画素データの前記左右対称性よりも高いとき、前記位相シフト済み基準画素データと、前記位相シフト済み参照画素データと、のそれぞれに対して、窓掛けを行うとともに、前記位相シフト済み基準画素データの前記左右対称性が前記基準画素データの前記左右対称性よりも高くないとき、前記基準画素データおよび前記参照画素データと、のそれぞれに対して窓掛けを行うことにより、窓掛け済み基準画素データ及び窓掛け済み参照データを生成するステップと、前記窓掛け済み基準画素データと、前記窓掛け済み参照画素データと、の間の相関の度合いを示す位相相関値を算出するステップと、前記位相相関値に基づいて、前記基準画像の基準点に対する前記参照画像の対応点の視差を算出するステップと、を有する。
本発明の実施の形態1は、本発明の基本的態様の一例である。
本発明の実施の形態2は、基準画素データの全ての周波数帯域の信号が左右対称となるような位相補正処理を採用する例である。言い換えると、本実施の形態は、視差算出の高精度化を演算負荷に対してよりも優先させた例である。
ステレオ画像取得部101は、ステレオ画像の基準画像および参照画像を取得する。そして、ステレオ画像取得部101は、取得した基準画像および参照画像を、画像切出部102へ出力する。
画像切出部102は、基準画像および参照画像のそれぞれから、ステレオ画像の基線長方向に平行な部分画像を切り出す。そして、画像切出部102は、切り出した部分画像の基線長方向における画素値の分布を示す一次元画素データ列を取得する。すなわち、画像切出部102は、基準画素データおよび参照画素データを取得する。そして、画像切出部102は、取得した基準画素データおよび参照画素データを、位相補正部103へ出力する。
位相補正部103は、基準画素データに対して行った場合に当該基準画素データの値をより左右対称にする処理である位相補正処理を、基準画素データおよび参照画素データのそれぞれに対して行う。すなわち、位相補正部103は、基準画素データに対して位相補正処理をすることにより、位相補正済み基準画素データを生成する。また、位相補正部103は、参照画素データに対して位相補正処理をすることにより、位相補正済み参照画素データを生成する。そして、位相補正部103は、位相補正済み基準画素データおよび位相補正済み参照画素データを、窓掛部104へ出力する。
基準画素データ零位相化部201は、基準画素データに対して、各周波数成分の位相を零にする零位相化処理を行うことにより、位相補正済み基準画素データを算出する。そして、基準画素データ零位相化部201は、基準画素データ、参照画素データ、および算出した位相補正済み基準画素データを、位相補正フィルタ算出部202へ出力する。
位相補正フィルタ算出部202は、基準画素データおよび位相補正済み基準画素データに基づいて、基準画素データに対して適用した場合に当該基準画素データの値を左右対称にする位相補正フィルタを算出する。そして、位相補正フィルタ算出部202は、位相補正済み基準画素データ、参照画素データ、および算出した位相補正フィルタを、参照画素データ位相補正部203へ出力する。
参照画素データ位相補正部203は、参照画素データに対して位相補正フィルタを適用することにより、位相補正済み参照画素データを算出する。そして、参照画素データ位相補正部は、位相補正済み基準画素データおよび算出した位相補正済み参照画素データを、窓掛部104へ出力する。
窓掛部104は、位相補正済み基準画素データおよび位相補正済み参照画素データのそれぞれに対して、窓掛けを行う。すなわち、窓掛部104は、位相補正済み基準画素データに対して窓掛けを行うことにより、窓掛け済み基準画素データを生成する。そして、窓掛部104は、位相補正済み参照画素データに対して窓掛けを行うことにより、窓掛け済み参照画素データを生成する。窓掛部104は、取得した窓掛け済み基準画素データおよび窓掛け済み参照画素データを、位相相関部105へ出力する。
位相相関部105は、窓掛け済み基準画素データと窓掛け済み参照画素データとの間の相関の度合いを示す、位相相関値を算出する。そして、位相相関部105は、算出した位相相関値を、ピーク位置検出部106へ出力する。
ピーク位置検出部106は、位相相関値に基づいて、基準画像の基準点に対する参照画像の対応点の視差を算出する。
本発明の実施の形態3は、基準画素データに支配的な周波数帯域の信号のみが左右対称となるような位相補正処理を採用する例である。言い換えると、本実施の形態は、演算負荷の軽減を視差算出の精度よりも優先させた例である。ここで、基準画素データに支配的な周波数帯域とは、例えば、他の周波数帯域に比べて振幅成分が大きい周波数帯域である。
基準画素データ位相シフト部301aは、基準画素データに対して、一部または全部の周波数成分の位相を90度シフトさせる位相シフトフィルタを適用して、位相シフト済み基準画素データを算出する。そして、基準画素データ位相シフト部301aは、基準画素データ、参照画素データ、および算出した位相シフト済み基準画素データを、左右対称判定値算出部302aへ出力する。
左右対称判定値算出部302aは、位相シフト済み基準画素データおよび基準画素データのそれぞれに対して、値の左右対称性を示す左右対称判定値を算出する。そして、左右対称判定値算出部302aは、基準画素データ、参照画素データ、位相シフト済み基準画素データ、および算出した左右対称性判定値を、左右対称判定値比較部303aへ出力する。
左右対称判定値比較部303aは、位相シフト済み基準画素データから算出された左右対称判定値と、基準画素データから算出された左右対称判定値とを比較する。左右対称判定値比較部303aは、位相シフト済み基準画素データの左右対称性が、基準画素データの前記左右対称性よりも高いか否かを、判定する。
参照画素データ位相シフト部304aは、参照画素データに対して位相シフトフィルタを適用して、位相シフト済み参照画素データを算出する。なお、参照画素データ位相シフト部304aは、位相シフトの効果がある場合にのみ、位相シフト済み参照画素データの算出を行ってもよい。そして、参照画素データ位相シフト部304aは、位相シフトの効果がある場合、位相シフト済み基準画素データおよび位相シフト済み参照画素データを、それぞれ位相補正済み基準画素データおよび位相補正済み参照画素データとして、窓掛部104へ出力する。
本発明の実施の形態4は、画像マッチングにより部分画像の切り出し対象を絞るとともに、位相相関部において逆位相フィルタを採用する例である。言い換えると、本実施の形態は、演算負荷の更なる低減を図るようにした例である。
画像マッチング部107bは、基準画像の基準点に対する参照画像の対応点を取得する。ここで取得される対応点は、ピクセルレベルの精度で基準点に対応付けがされた対応点である。以下、このような対応点は、「ピクセルレベルの対応点」という。
逆位相フィルタ部108bは、窓掛け済み基準画素データを配列方向に反転させて逆位相フィルタ係数を算出する。そして、逆位相フィルタ部108bは、算出した逆位相フィルタ係数を用いて窓掛け済み参照画素データをフィルタリングすることにより、位相相関値を算出する。フィルタリングの処理の詳細については後述する。そして、逆位相フィルタ部108bは、フィルタリングの結果である位相相関値を、ピーク位置検出部106へ出力する。以下、このようなフィルタリングの結果は、「フィルタリング結果」という。
ステップS2010bにおいて、画像マッチング部107bは、視差算出の対象となる基準点の位置(分析基準位置)を決定する。
ステップS2020bにおいて、画像マッチング部107bは、基準画像から、ピクセルマッチング基準画素データを切り出す。
ステップS2030bにおいて、画像マッチング部107bは、ステップS2020bで決定された基準点の位置に基づいて、参照画像におけるサーチ範囲およびサーチ開始位置を決定する。
ステップS2040bにおいて、画像マッチング部107bは、参照画像における切り出し位置を決定し、画素行の数と画素列の数がピクセルマッチング基準画素データと同一のピクセルマッチング参照画素データを切り出す。
ステップS2050bにおいて、画像マッチング部107bは、ピクセルマッチング基準画素データとピクセルマッチング参照画素データとの間のマッチング度を算出する。このマッチング度としては、例えば、輝度相違度を示すSAD値や輝度類似度が用いられる。
ステップS2060bにおいて、画像マッチング部107bは、サーチ範囲に対する処理の終了判定処理を行う。すなわち、画像マッチング部107bは、切り出し位置が移動によりサーチ範囲を網羅したか否かを判定する。
ステップS2070bにおいて、画像マッチング部107bは、ステップS2040b〜S2060bの処理によって得られた、複数のマッチング度に基づいて、切り出し位置を決定する。すなわち、画像マッチング部107bは、マッチング度が最大となるピクセルマッチング参照画素データの切り出し位置を、特定する。
図10のステップS2080bにおいて、ステレオ画像処理装置100bは、サブピクセル推定処理を行う。サブピクセル推定処理は、基準点に対する対応点の、サブピクセルレベルの精度のずれ量を推定する処理である。ステレオ画像処理装置100bは、S2010bで設定した基準点と、ステップS2070bで得られた参照画像の対応点と、ステレオ画像取得部101が入力する基準画像および参照画像とに基づいて、サブピクセル推定処理を行う。
ステップS2081bにおいて、画像切出部102は、基準画像から、基準点を中心とした周辺の部分画像を切り出し、基準画素データを取得する。この基準画素データの基となる部分画像の切り出しには、矩形窓が用いられる。
ステップS2082bにおいて、画像切出部102は、参照画像から、ステップS2070bにおいて検出された対応点を中心とした周辺の部分画像を切り出し、参照画素データを取得する。この参照画素データの取得にも、基準画素データの場合と同じ矩形窓が用いられる。
ステップS3011bにおいて、位相補正部103は、基準画素データを位相補正する。
ステップS3031bにおいて、位相補正部103は、参照画素データを位相補正する。
ステップS4001bにおいて、窓掛部104は、位相補正済み基準画素データに対して、第2の窓関数を用いて窓掛けを行う。第2の窓関数は、例えば、ハニング窓の窓関数である。
ステップS4002bにおいて、窓掛部104は、位相補正済み参照画素データに対して、位相補正済み基準画素データに対して用いられたものと同様の窓関数を用いて、窓掛けを行う。
ステップS5001bにおいて、逆位相フィルタ部108bは、窓掛け済み基準画素データから、逆位相フィルタ係数を算出する。具体的には、逆位相フィルタ部108bは、窓掛け済み基準画素データの各画素値の位置を、配列方向において反転させる形で、信号列を逆の順番に並べ換える。
ステップS5002bにおいて、逆位相フィルタ部108bは、窓掛け済み参照画素データを、ステップS5001bにおいて算出された逆位相フィルタ係数を用いてフィルタリングする。
ステップS6001bにおいて、ピーク位置検出部106は、フィルタリング結果によって検出されたピーク位置に基づいて、基準画像と参照画像とのサブピクセルレベルのずれ量(視差)を算出する。基準画像における基準点の視差は、ピクセルレベルのずれ量nと、サブピクセルレベルのずれ量δ’を加算することによって求められる。そして、ステレオ画像処理装置100の処理は、図10のフローチャートへ戻る。
101 ステレオ画像取得部
102 画像切出部
103、103a 位相補正部
104 窓掛部
105 位相相関部
106 ピーク位置検出部
107b 画像マッチング部
108b 逆位相フィルタ部
201 基準画素データ零位相化部
202 位相補正フィルタ算出部
203 参照画素データ位相補正部
301a 基準画素データ位相シフト部
302a 左右対称判定値算出部
303a 左右対称判定値比較部
304a 参照画素データ位相シフト部
Claims (8)
- ステレオ画像の基準画像および参照画像を取得するステレオ画像取得部と、
前記基準画像および前記参照画像のそれぞれから、前記ステレオ画像の基線長方向に平行な部分画像を切り出し、当該部分画像の前記基線長方向における画素値の分布を示す一次元画素データ列を取得する画像切出部と、
前記基準画像から取得された前記一次元画素データ列である基準画素データに対して、各周波数成分の位相を零にする零位相化処理を行うことにより、位相補正済み基準画素データを算出する基準画素データ零位相化部と、
前記基準画素データおよび前記位相補正済み基準画素データに基づいて、前記基準画素データに対して適用した場合に当該基準画素データの値を左右対称にする位相補正フィルタを算出する位相補正フィルタ算出部と、
前記参照画像から取得された前記一次元画素データ列である参照画素データに対して前記位相補正フィルタを適用することにより、前記位相補正済み参照画素データを算出する参照画素データ位相補正部と、
前記位相補正済み基準画素データと、前記位相補正済み参照画素データと、のそれぞれに対して、窓掛けを行う窓掛部と、
前記位相補正済み基準画素データに対して前記窓掛けを行って得られた窓掛け済み基準画素データと、前記位相補正済み参照画素データに対して前記窓掛けを行って得られた窓掛け済み参照画素データと、の間の相関の度合いを示す位相相関値を算出する位相相関部と、
前記位相相関値に基づいて、前記基準画像の基準点に対する前記参照画像の対応点の視差を算出するピーク位置検出部と、を有する、
ステレオ画像処理装置。 - 前記零位相化処理は、前記基準画素データに対して、一次元フーリエ変換、虚数成分の除去、および一次元逆フーリエ変換をこの順序で施す処理を含み、
前記位相補正フィルタは、前記位相補正済み基準画素データを一次元フーリエ変換して得られる値を、前記基準画素データを一次元フーリエ変換して得られる値で割ることにより算出されるフィルタを含む、
請求項1に記載のステレオ画像処理装置。 - ステレオ画像の基準画像および参照画像を取得するステレオ画像取得部と、
前記基準画像および前記参照画像のそれぞれから、前記ステレオ画像の基線長方向に平行な部分画像を切り出し、当該部分画像の前記基線長方向における画素値の分布を示す一次元画素データ列を取得する画像切出部と、
前記基準画像から取得された前記一次元画素データ列である基準画素データに対して、一部または全部の周波数成分の位相を90度シフトさせる位相シフトフィルタを適用して、位相シフト済み基準画素データを算出する基準画素データ位相シフト部と、
前記位相シフト済み基準画素データおよび前記基準画素データのそれぞれに対して、値の左右対称性を示す左右対称判定値を算出する左右対称判定値算出部と、
前記位相シフト済み基準画素データから算出された前記左右対称判定値と、前記基準画素データから算出された前記左右対称判定値と、を比較し、前記位相シフト済み基準画素データの前記左右対称性が前記基準画素データの前記左右対称性よりも高いか否かを判定する左右対称判定値比較部と、
前記参照画像から取得された前記一次元画素データ列である参照画素データに対して前記位相シフトフィルタを適用して、位相シフト済み参照画素データを算出する参照画素データ位相シフト部と、
前記位相シフト済み基準画素データの前記左右対称性が前記基準画素データの前記左右対称性よりも高いとき、前記位相シフト済み基準画素データと、前記位相シフト済み参照画素データと、のそれぞれに対して、窓掛けを行うとともに、前記位相シフト済み基準画素データの前記左右対称性が前記基準画素データの前記左右対称性よりも高くないとき、前記基準画素データおよび前記参照画素データと、のそれぞれに対して窓掛けを行うことにより、窓掛け済み基準画素データ及び窓掛け済み参照データを生成する窓掛部と、
前記窓掛け済み基準画素データと、前記窓掛け済み参照画素データと、の間の相関の度合いを示す位相相関値を算出する位相相関部と、
前記位相相関値に基づいて、前記基準画像の基準点に対する前記参照画像の対応点の視差を算出するピーク位置検出部と、を有する、
ステレオ画像処理装置。 - 前記位相シフトフィルタは、微分フィルタである、
請求項3に記載のステレオ画像処理装置。 - 前記位相相関部は、
前記窓掛け済み基準画素データを配列方向に反転させて逆位相フィルタ係数を算出し、前記逆位相フィルタ係数を用いて前記窓掛け済み参照画素データをフィルタリングすることにより、前記位相相関値を算出する、
請求項1または3に記載のステレオ画像処理装置。 - ピクセルレベルの前記対応点を取得する画像マッチング部、を更に有し、
前記画像切出部は、
前記部分画像に前記基準点および前記対応点が含まれるように、前記部分画像の切り出し位置を決定し、
前記ピーク位置検出部は、
前記位相相関値に基づいて、前記基準画像の基準点に対する、サブピクセルレベルの前記対応点の視差を算出する、
請求項1または3に記載のステレオ画像処理装置。 - ステレオ画像の基準画像および参照画像を取得するステップと、
前記基準画像および前記参照画像のそれぞれから、前記ステレオ画像の基線長方向に平行な部分画像を切り出し、当該部分画像の前記基線長方向における画素値の分布を示す一次元画素データ列を取得するステップと、
前記基準画像から取得された前記一次元画素データ列である基準画素データに対して、各周波数成分の位相を零にする零位相化処理を行うことにより、位相補正済み基準画素データを算出するステップと、
前記基準画素データおよび前記位相補正済み基準画素データに基づいて、前記基準画素データに対して適用した場合に当該基準画素データの値を左右対称にする位相補正フィルタを算出するステップと、
前記参照画像から取得された前記一次元画素データ列である参照画素データに対して前記位相補正フィルタを適用することにより、前記位相補正済み参照画素データを算出するステップと、
前記位相補正済み基準画素データと、前記位相補正済み参照画素データと、のそれぞれに対して、窓掛けを行うステップと、
前記位相補正済み基準画素データに対して前記窓掛けを行って得られた窓掛け済み基準画素データと、前記位相補正済み参照画素データに対して前記窓掛けを行って得られた窓掛け済み参照画素データと、の間の相関の度合いを示す位相相関値を算出するステップと、
前記位相相関値に基づいて、前記基準画像の基準点に対する前記参照画像の対応点の視差を算出するステップと、を有する、
ステレオ画像処理方法。 - ステレオ画像の基準画像および参照画像を取得するステップと、
前記基準画像および前記参照画像のそれぞれから、前記ステレオ画像の基線長方向に平行な部分画像を切り出し、当該部分画像の前記基線長方向における画素値の分布を示す一次元画素データ列を取得するステップと、
前記基準画像から取得された前記一次元画素データ列である基準画素データに対して、一部または全部の周波数成分の位相を90度シフトさせる位相シフトフィルタを適用して、位相シフト済み基準画素データを算出するステップと、
前記位相シフト済み基準画素データおよび前記基準画素データのそれぞれに対して、値の左右対称性を示す左右対称判定値を算出するステップと、
前記位相シフト済み基準画素データから算出された前記左右対称判定値と、前記基準画素データから算出された前記左右対称判定値と、を比較し、前記位相シフト済み基準画素データの前記左右対称性が前記基準画素データの前記左右対称性よりも高いか否かを判定するステップと、
前記参照画像から取得された前記一次元画素データ列である参照画素データに対して前記位相シフトフィルタを適用して、位相シフト済み参照画素データを算出するステップと、
前記位相シフト済み基準画素データの前記左右対称性が前記基準画素データの前記左右対称性よりも高いとき、前記位相シフト済み基準画素データと、前記位相シフト済み参照画素データと、のそれぞれに対して、窓掛けを行うとともに、前記位相シフト済み基準画素データの前記左右対称性が前記基準画素データの前記左右対称性よりも高くないとき、前記基準画素データおよび前記参照画素データと、のそれぞれに対して窓掛けを行うことにより、窓掛け済み基準画素データ及び窓掛け済み参照データを生成するステップと、
前記窓掛け済み基準画素データと、前記窓掛け済み参照画素データと、の間の相関の度合いを示す位相相関値を算出するステップと、
前記位相相関値に基づいて、前記基準画像の基準点に対する前記参照画像の対応点の視差を算出するステップと、を有する、
ステレオ画像処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012214974 | 2012-09-27 | ||
JP2012214974 | 2012-09-27 | ||
PCT/JP2013/004162 WO2014049919A1 (ja) | 2012-09-27 | 2013-07-04 | ステレオ画像処理装置およびステレオ画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2014049919A1 JPWO2014049919A1 (ja) | 2016-08-22 |
JP6258209B2 true JP6258209B2 (ja) | 2018-01-10 |
Family
ID=50387374
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014538098A Expired - Fee Related JP6258209B2 (ja) | 2012-09-27 | 2013-07-04 | ステレオ画像処理装置およびステレオ画像処理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10009594B2 (ja) |
EP (1) | EP2902960A4 (ja) |
JP (1) | JP6258209B2 (ja) |
CN (1) | CN104685535B (ja) |
WO (1) | WO2014049919A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5980294B2 (ja) * | 2014-10-27 | 2016-08-31 | キヤノン株式会社 | データ処理装置、撮像装置、およびデータ処理方法 |
EP3309505A4 (en) * | 2015-06-11 | 2018-04-25 | Panasonic Intellectual Property Management Co., Ltd. | Dimension measurement device and dimension measurement method |
EP3330664B1 (en) * | 2015-07-29 | 2021-01-27 | KYOCERA Corporation | Parallax calculating device, stereo camera device, vehicle, and parallax calculating method |
US10008030B2 (en) * | 2015-09-07 | 2018-06-26 | Samsung Electronics Co., Ltd. | Method and apparatus for generating images |
US20170171456A1 (en) * | 2015-12-10 | 2017-06-15 | Google Inc. | Stereo Autofocus |
EP3182372B1 (en) * | 2015-12-18 | 2019-07-31 | InterDigital CE Patent Holdings | Method and system for estimating the position of a projection of a chief ray on a sensor of a light-field acquisition device |
US10341634B2 (en) | 2016-01-29 | 2019-07-02 | Samsung Electronics Co., Ltd. | Method and apparatus for acquiring image disparity |
JP6636963B2 (ja) * | 2017-01-13 | 2020-01-29 | 株式会社東芝 | 画像処理装置及び画像処理方法 |
WO2018147059A1 (ja) * | 2017-02-07 | 2018-08-16 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
KR102459853B1 (ko) | 2017-11-23 | 2022-10-27 | 삼성전자주식회사 | 디스패리티 추정 장치 및 방법 |
JP2019169000A (ja) * | 2018-03-23 | 2019-10-03 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JPWO2022044961A1 (ja) * | 2020-08-28 | 2022-03-03 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB8528848D0 (en) | 1985-11-22 | 1985-12-24 | Davy Mckee Poole | Rolling mills |
JP3539788B2 (ja) * | 1995-04-21 | 2004-07-07 | パナソニック モバイルコミュニケーションズ株式会社 | 画像間対応付け方法 |
JP2005055931A (ja) * | 2001-07-05 | 2005-03-03 | Advantest Corp | 画像処理装置、及び画像処理方法 |
JP4955926B2 (ja) * | 2005-02-09 | 2012-06-20 | 株式会社ビットストロング | ラインスキャン型の画像処理装置 |
JP4382797B2 (ja) | 2006-11-09 | 2009-12-16 | 株式会社山武 | 対応点探索方法および3次元位置計測方法 |
CN102369550B (zh) * | 2009-03-31 | 2014-01-01 | 松下电器产业株式会社 | 立体图像处理器和立体图像处理方法 |
EP2657901B1 (en) * | 2010-12-20 | 2018-07-04 | Panasonic Intellectual Property Management Co., Ltd. | Stereo image processing apparatus and stereo image processing method |
-
2013
- 2013-07-04 WO PCT/JP2013/004162 patent/WO2014049919A1/ja active Application Filing
- 2013-07-04 CN CN201380049586.4A patent/CN104685535B/zh not_active Expired - Fee Related
- 2013-07-04 EP EP13840237.5A patent/EP2902960A4/en not_active Withdrawn
- 2013-07-04 US US14/431,089 patent/US10009594B2/en not_active Expired - Fee Related
- 2013-07-04 JP JP2014538098A patent/JP6258209B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPWO2014049919A1 (ja) | 2016-08-22 |
US20150249814A1 (en) | 2015-09-03 |
US10009594B2 (en) | 2018-06-26 |
CN104685535B (zh) | 2017-11-28 |
CN104685535A (zh) | 2015-06-03 |
EP2902960A4 (en) | 2015-09-23 |
EP2902960A1 (en) | 2015-08-05 |
WO2014049919A1 (ja) | 2014-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6258209B2 (ja) | ステレオ画像処理装置およびステレオ画像処理方法 | |
JP5567179B2 (ja) | ステレオ画像処理装置およびステレオ画像処理方法 | |
JP5874039B2 (ja) | ステレオ画像処理装置及びステレオ画像処理方法 | |
JP5942203B2 (ja) | ステレオ画像処理装置およびステレオ画像処理方法 | |
JP5810314B2 (ja) | ステレオ画像処理装置およびステレオ画像処理方法 | |
JP5891415B2 (ja) | ステレオ画像処理装置 | |
US10872432B2 (en) | Disparity estimation device, disparity estimation method, and program | |
JP6494402B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム | |
Chen et al. | Recovering depth from a single image using spectral energy of the defocused step edge gradient | |
JP7394709B2 (ja) | ステレオ画像処理装置及び距離測定方法 | |
CN117593349A (zh) | 图像变形监测方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170411 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170602 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171206 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6258209 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |