JP5098369B2 - Distance image generating apparatus, distance image generating method and program - Google Patents
Distance image generating apparatus, distance image generating method and program Download PDFInfo
- Publication number
- JP5098369B2 JP5098369B2 JP2007055827A JP2007055827A JP5098369B2 JP 5098369 B2 JP5098369 B2 JP 5098369B2 JP 2007055827 A JP2007055827 A JP 2007055827A JP 2007055827 A JP2007055827 A JP 2007055827A JP 5098369 B2 JP5098369 B2 JP 5098369B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- resolution
- search
- hierarchical
- corresponding point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 97
- 238000004364 calculation method Methods 0.000 claims description 261
- 238000004590 computer program Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 description 70
- 230000006870 function Effects 0.000 description 28
- 238000003384 imaging method Methods 0.000 description 28
- 238000012937 correction Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 9
- 238000005259 measurement Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は距離画像生成装置、距離画像生成方法及びプログラムに係り、特に、同一対象物について複数の画像を撮影することにより距離画像を生成する距離画像生成装置、距離画像生成方法及びプログラムに関する。 The present invention relates to a distance image generation device, a distance image generation method, and a program, and more particularly, to a distance image generation device, a distance image generation method, and a program that generate a distance image by capturing a plurality of images of the same object.
従来、複数の撮像手段により同一対象物(被写体)を異なる位置から撮像して複数の画像情報を得て、SAD(Sum of Absolute Difference)演算法、SSD(Sum of Squared Difference)演算法等による相関演算を行うことによりこの画像情報の相関度を算出し、相関度に基づいて同一対象物に対する視差値を求め、視差値から対象物の位置(距離値)を求めて距離画像を生成する装置が知られている。 Conventionally, the same object (subject) is imaged from different positions by a plurality of imaging means to obtain a plurality of pieces of image information, and correlation by an SAD (Sum of Absolute Difference) calculation method, an SSD (Sum of Squared Difference) calculation method, or the like. An apparatus for calculating a correlation degree of the image information by performing an operation, obtaining a parallax value for the same object based on the degree of correlation, obtaining a position (distance value) of the object from the parallax value, and generating a distance image Are known.
また、このような装置において、解像度の異なる複数の画像を生成して、解像度別に階層構造とし、低解像度の上位層から高解像度の下位層に向かって逐次SAD演算法、SSD演算法等による相関演算を繰り返すことにより距離画像を生成する技術が知られている(例えば、特許文献1参照)。 Further, in such an apparatus, a plurality of images having different resolutions are generated, and a hierarchical structure is formed for each resolution. Correlation by a sequential SAD calculation method, SSD calculation method, or the like from a lower resolution upper layer to a higher resolution lower layer A technique for generating a distance image by repeating the calculation is known (for example, see Patent Document 1).
特許文献1に開示されている技術では、演算手法として、高速で処理が可能なSAD演算法、SSD演算法等を用いるとともに、低解像度の上位層から高解像度の下位層に向かって演算を繰り返す際に、低解像度の上位層で得られた視差値に基づいて次の階層における探索領域の設定を行うため、最下層(最高解像度の層)まで演算処理を行う時間を短縮することができる。
In the technique disclosed in
また、近年では、より高精度に3次元位置情報を得られる手法として、POC(Phase-Only Correlation;位相限定相関)演算法を用いて基準画像と参照画像との対応点を探索し、両画像の位置ずれ量に基づいて対象物の距離画像を生成することが提案されている(例えば、非特許文献1参照)。 In recent years, as a method for obtaining three-dimensional position information with higher accuracy, a corresponding point between a reference image and a reference image is searched using a POC (Phase-Only Correlation) calculation method. It has been proposed to generate a distance image of an object based on the amount of positional deviation (see, for example, Non-Patent Document 1).
POC演算法は、もとになる画像のデータとこれと照合すべき画像のデータとをフーリエ変換で数学的に処理して、振幅(濃淡データ)と位相(像の輪郭データ)とに分解し、このうち位相情報のみを用いて、両画像の相関を求めるアルゴリズムであり、SAD演算法、SSD演算法等、従来の振幅情報を用いた相関演算法と異なって、外乱に強く、高精度な演算結果を得られるとの特色がある。 In the POC calculation method, the original image data and the image data to be collated are mathematically processed by Fourier transformation to be decomposed into amplitude (grayscale data) and phase (image contour data). This is an algorithm for obtaining the correlation between both images using only the phase information. Unlike conventional correlation calculation methods using amplitude information, such as SAD calculation method and SSD calculation method, the algorithm is resistant to disturbance and has high accuracy. There is a feature that the calculation result can be obtained.
さらに、非特許文献1に開示されている技術では、解像度別に階層構造に形成された画像に対して、低解像度の上位層から高解像度の下位層に向かって順次POC演算を行うことにより、より高精度な対応点探索が可能となり、正確な距離画像の生成が可能である。
しかしながら、特許文献1に開示されているように、SAD演算法、SSD演算法を用いる場合には、高速な処理が可能な反面、高精度に視差値を算出することは難しく、正確な距離画像を得ることができないとの問題があった。
However, as disclosed in
また、非特許文献1に開示されているPOC演算法は、高精度な演算結果が得られる半面、演算処理に時間を要する。このため、例えば非特許文献1に開示されている技術のように、最低解像度から順にすべての階層についてPOC演算法で処理を行うとすると、処理時間がかかって作業効率が低下するとの問題がある。
In addition, the POC calculation method disclosed in
そこで、本発明は以上のような課題を解決するためになされたものであり、高速かつ高精度に距離画像を生成することのできる距離画像生成装置、距離画像生成方法及びプログラムを提供することを目的とするものである。 Therefore, the present invention has been made to solve the above-described problems, and provides a distance image generation device, a distance image generation method, and a program that can generate a distance image at high speed and with high accuracy. It is the purpose.
上記課題を解決するために、請求項1に記載の距離画像生成装置は、
第1画像情報と比較対象となる第2画像情報とを取得する画像取得手段と、
前記画像取得手段により取得された前記第1画像情報及び前記第2画像情報について解像度の異なる複数の階層画像が低解像度から高解像度まで順に階層構造をなす多重解像度画像を生成する多重解像度画像生成手段と、
前記第1画像情報と前記第2画像情報とを照合して所定の探索領域について対応点を探索するものであって、前記多重解像度画像のうち、
最低解像度の階層画像である第1の階層画像に対して第1の演算手法により対応点探索を行う第1の演算手段と、
最高解像度の階層画像である第2の階層画像に対して前記第1の演算手法よりも精度の高い第2の演算手法により対応点探索を行う第2の演算手段と、
を備え、前記多重解像度画像のうち、低解像度の階層画像から前記対応点探索を開始し、順次解像度の高い階層画像について前記対応点探索を行い、最高解像度の階層画像に至るまで順に前記対応点探索を繰り返す対応点探索手段と、
前記対応点探索手段により一つの階層画像についての探索が終了すると当該階層画像についての探索結果に基づいて次の階層の階層画像の探索領域を設定する探索領域設定手段と、
前記対応点探索手段による探索結果に基づいて距離画像を生成する距離画像生成手段と、
を備える距離画像生成装置であって、
前記第1の階層画像と前記第2の階層画像との間の解像度の階層画像である第3の階層画像に対して、前記第1の演算手法又は前記第2の演算手法のいずれにより対応点探索を行うかを判断する演算手法判断手段を備え、当該演算手法判断手段により決定される演算手法により前記第3の階層画像の対応点探索を行うことを特徴としている。
また、請求項2に記載の発明は、請求項1に記載の距離画像生成装置であって、
前記演算手法判断手段は、前記多重解像度画像の元となる画像の解像度もしくは前記多重解像度画像の階層数に基づいて、対応点探索を行う演算手法を判断することを特徴としている。
In order to solve the above-described problem, a distance image generation device according to
Image acquisition means for acquiring first image information and second image information to be compared;
Multi-resolution image generation means for generating a multi-resolution image in which a plurality of hierarchical images having different resolutions form a hierarchical structure in order from low resolution to high resolution for the first image information and the second image information acquired by the image acquisition means When,
The first image information and the second image information are collated to search for corresponding points in a predetermined search area, and among the multi-resolution images,
A first computing means for performing corresponding point search by the first calculation method for the first layer image is a hierarchical image of lowest resolution,
A second operation means for performing a corresponding point search by the second calculation method accurate than the first computation method to the second hierarchical image is the most high-resolution hierarchy image,
The corresponding point search is started from a low-resolution hierarchical image among the multi-resolution images, the corresponding point search is sequentially performed for a hierarchical image having a higher resolution, and the corresponding points are sequentially reached until the highest-resolution hierarchical image is reached. Corresponding point search means for repeating the search;
Search area setting means for setting a search area for a next hierarchical image based on a search result for the hierarchical image when the search for one hierarchical image is completed by the corresponding point search means;
A distance image generating means for generating a distance image based on a search result by the corresponding point searching means;
A distance image generation apparatus Ru provided with,
Corresponding points for the third hierarchical image, which is a hierarchical image having a resolution between the first hierarchical image and the second hierarchical image, by either the first arithmetic technique or the second arithmetic technique. Computation method determination means for determining whether to perform search is provided, and corresponding point search of the third hierarchical image is performed by the calculation method determined by the calculation method determination means .
The invention according to
The calculation method determination means determines a calculation method for searching for corresponding points based on the resolution of the image that is the source of the multi-resolution image or the number of layers of the multi-resolution image.
請求項3に記載の発明は、請求項1に記載の距離画像生成装置であって、
前記演算手法判断手段は、前記第2の演算手段による対応点探索が行われた後は、以降の階層画像について前記第1の演算手段による対応点探索を行わないようにすることを特徴としている。
The invention according to
The calculation method determination means, after the corresponding point search by the second computing means is performed, is characterized by not to perform the corresponding point search by the first arithmetic means for subsequent hierarchical image .
請求項4に記載の発明は、請求項1から請求項3のいずれか一項に記載の距離画像生成装置であって、
前記第1の演算手段により行われる第1の演算手法は、SAD演算法、SSD演算法、NCC演算法のうちのいずれかであることを特徴としている。
The invention according to
The first calculation method performed by the first calculation means is any one of an SAD calculation method, an SSD calculation method, and an NCC calculation method.
請求項5に記載の発明は、請求項1から請求項4のいずれか一項に記載の距離画像生成装置であって、
前記第2の演算手段により行われる第2の演算手法は、POC演算法であることを特徴としている。
The invention according to
The second calculation method performed by the second calculation means is a POC calculation method.
請求項6に記載の距離画像生成方法は、
第1画像情報と比較対象となる第2画像情報とを取得する画像取得工程と、
前記画像取得工程において取得された前記第1画像情報及び前記第2画像情報について解像度の異なる複数の階層画像が低解像度から高解像度まで順に階層構造をなす多重解像度画像を生成する多重解像度画像生成工程と、
前記第1画像情報と前記第2画像情報とを照合して所定の探索領域について対応点を探索するものであって、前記多重解像度画像のうち、
最低解像度の階層画像である第1の階層画像に対して第1の演算手法により対応点探索を行う第1の演算工程と、
最高解像度の階層画像である第2の階層画像に対して前記第1の演算手法よりも精度の高い第2の演算手法により対応点探索を行う第2の演算工程と、
を含み、前記多重解像度画像のうち、低解像度の階層画像から前記対応点探索を開始し、順次解像度の高い階層画像について前記対応点探索を行い、最高解像度の階層画像に至るまで順に前記対応点探索を繰り返す対応点探索工程と、
前記対応点探索工程において一つの階層画像についての探索が終了すると当該階層画像についての探索結果に基づいて次の階層の階層画像の探索領域を設定する探索領域設定工程と、
前記対応点探索工程における探索結果に基づいて距離画像を生成する距離画像生成工程と、
を備える距離画像生成方法であって、
前記第1の階層画像と前記第2の階層画像との間の解像度の階層画像である第3の階層画像に対して、前記第1の演算工程又は前記第2の演算工程のいずれにより対応点探索を行うかを判断する演算手法判断工程を備え、当該演算手法判断工程により決定される演算手法により前記第3の階層画像の対応点探索を行うことを特徴としている。
また、請求項7に記載の発明は、請求項6に記載の距離画像生成方法であって、
前記演算手法判断工程においては、前記多重解像度画像の元となる画像の解像度もしくは前記多重解像度画像の階層数に基づいて、対応点探索を行う演算手法を判断することを特徴としている。
The distance image generation method according to
An image acquisition step of acquiring first image information and second image information to be compared;
A multi-resolution image generation step of generating a multi-resolution image in which a plurality of hierarchical images having different resolutions form a hierarchical structure in order from a low resolution to a high resolution with respect to the first image information and the second image information acquired in the image acquisition step When,
The first image information and the second image information are collated to search for corresponding points in a predetermined search area, and among the multi-resolution images,
A first calculation step of performing corresponding point search by the first calculation method for the first layer image is a lowest resolution hierarchy image,
A second calculation step of performing corresponding point search by the second calculation method accurate than the first computation method to the second hierarchical image is the most high-resolution hierarchy image,
The corresponding point search is started from a low-resolution hierarchical image among the multi-resolution images, the corresponding point search is sequentially performed on a hierarchical image having a higher resolution, and the corresponding points are sequentially reached until the highest-resolution hierarchical image is reached. A corresponding point search process for repeating the search;
A search region setting step of setting a search region for a hierarchical image of the next layer based on a search result for the hierarchical image when the search for one hierarchical image is completed in the corresponding point search step;
A distance image generation step of generating a distance image based on a search result in the corresponding point search step;
A range image generating method Ru provided with,
Corresponding points for the third hierarchical image, which is a hierarchical image having a resolution between the first hierarchical image and the second hierarchical image, by either the first arithmetic step or the second arithmetic step. A calculation method determining step for determining whether to perform a search is provided, and corresponding point search of the third hierarchical image is performed by the calculation method determined by the calculation method determining step .
The invention according to
In the calculation method determination step, a calculation method for searching for corresponding points is determined based on the resolution of the image that is the source of the multi-resolution image or the number of layers of the multi-resolution image.
請求項8に記載の発明は、請求項6に記載の距離画像生成方法であって、
前記演算手法判断工程においては、前記第2の演算工程による対応点探索が行われた後は、以降の階層画像について前記第1の演算工程による対応点探索を行わないようにすることを特徴とする。
Invention of
In the calculation method determination step, after the corresponding point search by the second calculating step is carried out, and characterized in that it is not performed corresponding point search by the first calculating step for subsequent hierarchical image To do.
請求項9に記載の発明は、請求項6から請求項8のいずれか一項に記載の距離画像生成方法であって、
前記第1の演算工程により行われる第1の演算手法は、SAD演算法、SSD演算法、NCC演算法のうちのいずれかであることを特徴とする。
The invention according to
The first calculation method performed in the first calculation step is any one of an SAD calculation method, an SSD calculation method, and an NCC calculation method.
請求項10に記載の発明は、請求項6から請求項9のいずれか一項に記載の距離画像生成方法であって、
前記第2の演算工程により行われる第2の演算手法は、POC演算法であることを特徴とする。
The invention according to
The second calculation method performed in the second calculation step is a POC calculation method.
請求項11に記載の発明は、コンピュータ読取可能なプログラムであって、
第1画像情報と比較対象となる第2画像情報とについて解像度の異なる複数の階層画像が低解像度から高解像度まで順に階層構造をなす多重解像度画像を生成する多重解像度画像生成機能と、
前記第1画像情報と前記第2画像情報とを照合して所定の探索領域について対応点を探索するものであって、前記多重解像度画像のうち、
最低解像度の階層画像である第1の階層画像に対して第1の演算手法により対応点探索を行う第1の演算機能と、
最高解像度の階層画像である第2の階層画像に対して前記第1の演算手法よりも精度の高い第2の演算手法により対応点探索を行う第2の演算機能と、
を含み、前記多重解像度画像のうち、低解像度の階層画像から前記対応点探索を開始して順次解像度の高い階層画像について前記対応点探索を行い、最高解像度の階層画像に至るまで順に前記対応点探索を繰り返す対応点探索機能と、
前記対応点探索機能により一つの階層画像についての探索が終了すると当該階層画像についての探索結果に基づいて次の階層の階層画像の探索領域を設定する探索領域設定機能と、
前記対応点探索機能による探索結果に基づいて距離画像を生成する距離画像生成機能と、
をコンピュータに実現させるコンピュータ読取可能なプログラムであって、
前記第1の階層画像と前記第2の階層画像との間の解像度の階層画像である第3の階層画像に対して、前記第1の演算手法又は前記第2の演算手法のいずれにより対応点探索を行うかを判断する演算手法判断機能をコンピュータに実現させるものであり、当該演算手法判断機能により決定される演算手法により前記第3の階層画像の対応点探索を行わせることを特徴とする。
また、請求項12に記載の発明は、請求項11に記載のプログラムであって、
前記演算手法判断機能は、前記多重解像度画像の元となる画像の解像度もしくは前記多重解像度画像の階層数に基づいて、対応点探索を行う演算手法を判断することを特徴とする。
The invention according to
A multi-resolution image generation function for generating a multi-resolution image in which a plurality of hierarchical images having different resolutions form a hierarchical structure in order from a low resolution to a high resolution for the first image information and the second image information to be compared;
The first image information and the second image information are collated to search for corresponding points in a predetermined search area, and among the multi-resolution images,
First arithmetic function for the corresponding point search by the first calculation method for the first layer image is a hierarchical image of lowest resolution,
A second arithmetic function for the corresponding point search by the second calculation method accurate than the first computation method to the second hierarchical image is the most high-resolution hierarchy image,
Among the multi-resolution images, the corresponding point search is started from a low-resolution hierarchical image, the corresponding point search is sequentially performed for a hierarchical image with a high resolution, and the corresponding points are sequentially reached until the highest-resolution hierarchical image is reached. Corresponding point search function that repeats search,
A search area setting function for setting a search area for the next hierarchical image based on a search result for the hierarchical image when the search for the hierarchical image is completed by the corresponding point search function;
A distance image generation function for generating a distance image based on a search result by the corresponding point search function;
A computer-readable program for causing a computer to realize
Corresponding points for the third hierarchical image, which is a hierarchical image having a resolution between the first hierarchical image and the second hierarchical image, by either the first arithmetic technique or the second arithmetic technique. An arithmetic method determining function for determining whether to perform a search is realized in a computer, and a corresponding point search of the third hierarchical image is performed by an arithmetic method determined by the arithmetic method determining function. .
The invention according to
The calculation method determination function determines a calculation method for performing corresponding point search based on the resolution of the image that is the source of the multi-resolution image or the number of layers of the multi-resolution image.
請求項13に記載の発明は、請求項11に記載のプログラムであって、
前記演算手法判断機能は、前記第2の演算機能による対応点探索が行われた後は、以降の階層画像について前記第1の演算機能による対応点探索を行わないようにすることを特徴とする。
Invention of
The calculation method determining function, after the corresponding point search by the second calculation function is performed, characterized in that so as not to perform the corresponding point search by the first calculation function for hierarchical image after .
請求項14に記載の発明は、請求項11から請求項13のいずれか一項に記載のプログラムであって、
前記第1の演算手法は、SAD演算法、SSD演算法、NCC演算法のうちのいずれかであることを特徴とする。
Invention of
The first calculation method is any one of an SAD calculation method, an SSD calculation method, and an NCC calculation method.
請求項15に記載の発明は、請求項11から請求項14のいずれか一項に記載のプログラムであって、
前記第2の演算手法は、POC演算法であることを特徴とする。
The invention according to
The second calculation method is a POC calculation method.
請求項1、請求項6又は請求項11に記載の発明によれば、解像度の異なる複数の階層画像からなる多重解像度画像を生成して、低解像度の階層画像から高解像度の階層画像に向かって順次対応点の探索処理を繰り返すとともに、低解像度の階層画像について得られた探索結果に基づいて次階層の階層画像の探索領域を設定するので、高速かつ高精度の対応点探索を行うことができ、その結果に基づいて対象物の正確な距離画像を生成することが可能となるとの効果を奏する。
According to the invention described in
また、対応点探索手段は、少なくとも最低解像度の階層画像に対して第1の演算手法により対応点探索を行う第1の演算手段と、少なくとも最高解像度の階層画像に対して第2の演算手法により対応点探索を行う第2の演算手段とを備えているので、例えば低解像度の階層画像に対しては高速で演算処理を行う演算手段を用い、高解像度の階層画像に対しては高精度の演算処理を行う演算手段を用いることにより、対応点探索を効率的に行って、相関演算の総処理時間の短縮を図るとともに、高精度な処理を行うことができる。 The corresponding point search means includes a first calculation means for searching corresponding points for at least the lowest resolution hierarchical image by the first calculation technique, and a second calculation technique for at least the highest resolution hierarchy image. And a second computing means for searching for corresponding points. For example, a computing means that performs computing processing at high speed is used for a low-resolution hierarchical image, and a high-precision hierarchical image is used for a high-resolution hierarchical image. By using the calculation means for performing the calculation process, it is possible to efficiently perform the corresponding point search, reduce the total processing time of the correlation calculation, and perform high-precision processing.
請求項3、請求項8又は請求項13に記載の発明によれば、一旦前記第1の演算手法よりも精度の高い第2の演算手法により対応点探索を行う第2の演算手段による演算を行った後は第1の演算手段による演算を行わないとするので、高解像度の階層画像に対しては高精度の演算処理を行うことができ、信頼性の高い演算結果を得ることができるとの効果を奏する。
According to the invention described in
請求項4、請求項9又は請求項14に記載の発明によれば、高速で処理を行うことのできるSAD演算法、SSD演算法、NCC演算法のうちのいずれかにより低解像度の階層画像に対する対応点探索を行うので、低解像度での対応点探索を効率的に行うことができ、相関演算の総処理時間の短縮を図ることができるとの効果を奏する。
According to the invention of
請求項5、請求項9又は請求項15に記載の発明によれば、高精度、かつ、外乱に強くロバストな演算手法であるPOC演算法により高解像度の階層画像に対する対応点探索を行うので、高解像度での対応点探索において信頼性の高い高精度の演算結果を得ることができるとの効果を奏する。
According to the invention described in
以下、図1から図10を参照しつつ、本発明に係る距離画像生成装置の一実施形態について説明する。ただし、発明の範囲を図示例に限定するものではない。 Hereinafter, an embodiment of a distance image generating apparatus according to the present invention will be described with reference to FIGS. 1 to 10. However, the scope of the invention is not limited to the illustrated examples.
本実施形態に係る距離画像生成装置1は、2つの画像を照合して位置ずれ量を算出し、算出した位置ずれ量に基づいて対象物までの距離情報を得て距離画像を生成するものである。
The distance
図1に示すように、距離画像生成装置1は、被写体(対象物)を撮像する2つの撮像装置2a,2bを備えている。
撮像装置2a,2bは、それぞれ撮像手段として撮像素子(光電変換素子)3とこの撮像素子3の結像面(図示せず)に被写体光像を結像させるレンズ4とを備えている。撮像素子3は、例えばCCD(Charge Coupled Device)、CMOS(Complementary Metal-Oxide Semiconductor)等のイメージセンサであり、撮像素子3は、レンズ4を透過した入射光を電気信号に光電変換して取り込むことにより、被写体光像をアナログ画像信号に変換するようになっている。また、距離画像生成装置1は、撮像素子3によって得られたアナログ画像信号をデジタル画像信号に変換するA/D変換部5を備えている。
As shown in FIG. 1, the distance
The
2つの撮像装置2a,2bは、同一対象物を異なる視点から撮像して画像情報としての画像データを取得するものであり、一方が基準となる基準画像に基づく基準画像データ(第1画像情報)を取得し、他方が比較対象となる画像(以下、「参照画像」とする)に基づく参照画像データ(第2画像情報)を取得する。このように、2つの撮像装置2a,2bは、基準画像及び参照画像の画像データを取得する画像取得手段として機能する。
The two
また、距離画像生成装置1は、各撮像装置2a,2bによって取得された画像データについて、画像処理を行い、視差値を算出して距離画像を生成する画像処理部10を備えている。
In addition, the distance
画像処理部10は、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)等の処理装置と、システムプログラム、後述する距離画像生成処理を行うための距離画像生成処理プログラム等、各種の制御プログラム等を格納するROM(Read Only Memory)と、各種データを一時記憶するRAM(Random Access Memory)と(いずれも図示せず)、等により構成されるコンピュータであり、画像のレンズ歪みを補正するレンズ歪み補正部11、各撮像装置2a,2bによって取得された画像の平行化処理を行う画像平行化処理部12、撮像装置2a,2bにより取得された画像データから解像度の異なる複数の階層画像(後述)を生成する多重解像度画像生成部13、対応点探索を行う探索領域を設定する探索領域設定部14、対応点探索処理を行う対応点探索部15、距離画像を生成する距離画像生成部16等を備えている。
The
レンズ歪み補正部11は、レンズ4を用いて結像させる場合に発生する歪み(レンズ歪み)を補正するものである。レンズ4には歪みがあるため、正しく画像を生成することができず、特に端部において画像が歪んでしまう。レンズ歪み補正部11は、このようなレンズ歪みの補正を行うものであり、例えば、予めレンズ歪み補正用のパラメータを作成、記憶しておき、これに基づいて画像を補正する処理等を行う。なお、レンズ歪み補正部11による補正の手法はここに例示したものに限定されず、各種公知の手段を用いることができる。
The lens
画像平行化処理部12は、各撮像装置2a,2bによって取得された2つの画像について、あたかも平行移動したカメラから撮影したかのように変換してエピ極線が平行になるようにする画像の平行化処理を行うものである。画像の平行化処理は、2つの撮像装置2a,2bを厳密に正しく設置することは困難であるため、2つの撮像装置2a,2bの設置位置ずれ等により生じる画像の歪みを補正するために行われる。
The image
画像について平行化処理を施すことにより、2つの画像は、縦方向(図3におけるY軸方向)においてずれのないものとなり、後述する相関演算処理を行う場合に、横方向(図3におけるX軸方向)のずれのみを検出すれば足りることとなる。なお、画像平行化処理部12による画像平行化処理の手法はここに例示したものに限定されず、各種公知の手段を用いることができる。
By performing the parallelization processing on the images, the two images are not shifted in the vertical direction (Y-axis direction in FIG. 3), and when performing correlation calculation processing described later, the horizontal direction (X-axis in FIG. 3). It is sufficient to detect only the deviation in the direction. Note that the method of image collimation processing by the image
多重解像度画像生成部13は、前記撮像装置2a,2bにより取得された基準画像データ(第1画像情報)と参照画像データ(第2画像情報)について、解像度の異なる複数の画像が、解像度の低いものから解像度の高いものに順に階層構造となった多重解像度画像を生成するものである。なお、各階層における画像を、以下「階層画像」と称する。
The multi-resolution
図2は、多重解像度画像生成部13が生成する多重解像度画像の画像データの例を模式的に示したものである。図2では、もとの画像データの解像度(最高解像度)が1280×960の解像度であり、最低解像度がもとの画像データの1/32の解像度である40×30の解像度である場合の多重解像度画像の画像データの階層構造を示している。この場合、最高解像度の階層である第0層目が1280×960の解像度の階層画像、最低解像度の階層である第n層目が40×30の解像度の階層画像であり、第0層目から第n層目までの間に、解像度の異なる複数の階層画像が生成されて、多くの階層を有する多重解像度画像が生成される。
FIG. 2 schematically shows an example of the image data of the multi-resolution image generated by the multi-resolution
なお、多重解像度画像生成部13が何層構造の多重解像度画像を生成するか、最低解像度をどの程度の解像度とするかは特に限定されない。例えば、もとの画像データが80×60程度の低解像度の画像であれば、第0層目が80×60の解像度の階層画像、第1層目が40×30の解像度の階層画像というように2層から3層程度の少ない階層構造となる。
なお、多重解像度画像生成部13により生成される多重解像度画像の構造は、もとの画像データの解像度等に応じて予めデフォルトで設定されていてもよいし、ユーザが任意に設定できるようにしてもよい。
Note that the number of layers of the multi-resolution image generated by the multi-resolution
The structure of the multi-resolution image generated by the multi-resolution
探索領域設定部14は、対応点探索部15により対応点探索を行う領域を設定するものであり、基準画像内に測距点を設定し、この測距点を中心とした所定の領域を探索領域として設定する。
また、本実施形態において、後述するように、対応点探索部15により一つの階層画像についての探索が終了すると当該階層画像についての探索結果が探索領域設定部14に出力されるようになっており、探索領域設定部14は、2回目以降の対応点探索処理においては、この探索結果に基づいて基準画像について次の階層の階層画像の探索領域を設定する。
The search
In the present embodiment, as described later, when the search for one hierarchical image is completed by the corresponding
すなわち、2回目以降の対応点探索処理の際には、探索領域設定部14は、その直前の対応点探索処理で得られた候補座標(x0,y0)及びその周辺の領域を、次の階層画像における対応点探索処理の探索領域として設定する。本実施形態においては、例えば、探索領域設定部14は、(x0,y0)を中心として5画素×5画素分の領域を抽出し探索領域として設定するようになっている。なお、探索領域設定部14により設定される探索領域の範囲はここに例示したものに限定されない。
That is, in the second and subsequent corresponding point search processing, the search
対応点探索部15は、基準画像データと参照画像データのそれぞれから抽出、設定された探索領域について両画像データの対応点を探索し、位置ずれ量を算出して相関値を得る対応点探索手段である。
対応点探索部15は、SAD演算法(第1の演算手法)により対応点探索を行う第1の演算手段としてのSAD演算部6と、SAD演算法(第1の演算手法)よりも精度の高い演算法であるPOC演算法(第2の演算手法)により対応点探索を行う第2の演算手段としてのPOC演算部7とを備えている。対応点探索部15は、多重解像度画像のうち、低解像度の階層画像から対応点探索を開始し、直前の階層における探索結果を次の対応点探索に反映させながら、順次解像度の高い階層画像についてSAD演算部6又はPOC演算部7による対応点探索を行い、もとの画像の解像度(最高解像度)の階層画像(本実施形態では、図2に示す第0層目の階層画像)に至るまで順に対応点探索を繰り返すようになっている。
Corresponding
The corresponding
具体的には、対応点探索部15は、まずSAD演算部6により最低解像度の階層画像から対応点探索を開始し、当該階層画像についての探索が終了すると当該階層画像についての対応点探索処理で得られた相関値の頂点を候補座標として算出し、探索結果として探索領域設定部14に出力する。そして、探索領域設定部14が当該階層画像についての探索結果に基づいて次の階層の階層画像の探索領域を設定すると、対応点探索部15は、次の階層画像について、設定された探索領域内の対応点探索を行う。
Specifically, the corresponding
また、対応点探索部15は、対応点探索をSAD演算部6によって行うか、POC演算部7によって行うかを判断するようになっている。すなわち、対応点探索部15は、多重解像度画像生成部13により生成された多重解像度画像のうち、少なくとも最低解像度の階層画像に対してはSAD演算部6により対応点探索を行い、少なくとも最高解像度の階層画像に対してはPOC演算部7により対応点探索を行うようになっており、中間の階層の階層画像については、対応点探索部15において、SAD演算部6、POC演算部7のいずれによって対応点探索を行うかを判断する。そして、当該階層画像に応じた演算手法により対応点探索を行うようになっている。
The corresponding
本実施形態では、以下、もとの画像の解像度の1/2の解像度の階層画像からPOC演算部7による対応点探索を行う場合を例として説明する。
すなわち、図2のようにもとの画像データが1280×960の解像度であり、最低解像度が40×30の解像度である場合には、40×30の解像度である第n層目からSAD演算部6による対応点探索が開始され、1280×960の1/2の解像度である640×480の解像度の階層以降、最高解像度の第0層目の階層まではPOC演算部7によって対応点探索が行われる。
In the present embodiment, a case where the corresponding point search is performed by the
That is, when the original image data has a resolution of 1280 × 960 and the minimum resolution is 40 × 30, as shown in FIG. 2, the SAD calculation unit starts from the nth layer having the resolution of 40 × 30. 6 is started, and the corresponding point search is performed by the
なお、何階層目からPOC演算部7による演算を行うと判断するかは、特に限定されず、もとの画像データの解像度、多重解像度画像の階層数等に応じて予めデフォルトで設定されていてもよいし、ユーザが任意に設定できるようにしてもよい。
ただし、一旦POC演算部7による対応点探索が行われた後は、以降の階層画像についてSAD演算部6による対応点探索を行わず、最高解像度の階層画像に至るまでPOC演算部7による対応点探索を行うようになっている。
Note that the number of hierarchies from which the calculation by the
However, once the corresponding point search by the
以下、SAD演算部6及びPOC演算部7による対応点探索について具体的に説明する。
Hereinafter, the corresponding point search by the
まず、SAD演算部6は、画像取得手段2によって取得された画像データのうち、いずれか一方を基準画像とし、他方を参照画像とした場合に、基準画像と参照画像との相関度をSAD(Sum of Absolute Differences:絶対誤差合計)演算法により相関演算して対応点を探索し、参照画像中、基準画像の探索領域と相関度の最も高かった領域について、基準画像と参照画像とのずれ量(視差値)を求める対応点探索処理を行う。
First, when one of the image data acquired by the
基準画像と参照画像との相関演算について図3を参照しつつ説明する。図3(a)は基準画像を表し、図3(b)は参照画像を表している。図3において、各マスは1画素を表しており、基準画像及び参照画像の全画面は、ともに、X軸方向(横方向)が26画素、Y軸方向(縦方向)が20画素で構成されている場合を例としている。 The correlation calculation between the reference image and the reference image will be described with reference to FIG. FIG. 3A represents a standard image, and FIG. 3B represents a reference image. In FIG. 3, each square represents one pixel, and the entire screen of the base image and the reference image is composed of 26 pixels in the X-axis direction (horizontal direction) and 20 pixels in the Y-axis direction (vertical direction). Take the case as an example.
相関演算を行う場合には、SAD演算部6は、基準画像を所定の単位面積に分割し、基準画像中のある領域を視差値を算出する位置(探索領域)として設定する。探索領域の設定は、例えば図3(a)の左上(X=1,Y=20)を基点として所定の範囲の領域が順次設定される。
When performing the correlation calculation, the
すなわち、ある領域(例えばX=1〜5,Y=16〜20の25画素)が探索領域として設定され、当該探索領域についての相関演算が完了すると、例えばX軸方向(画像の水平方向)に1画素ずつ順次ずらして次の探索領域(例えばX=2〜6,Y=16〜20の25画素)が設定され、相関演算が行われる。X軸方向の全画素(図3(a)において26画素)についてすべての相関演算が完了すると、Y軸方向に1画素ずらして次の探索領域(例えばX=1〜5,Y=15〜19の25画素)が設定され、相関演算が行われる。当該探索領域について相関演算が完了すると、さらに、探索領域をX軸方向に1画素ずつ順次ずらして次の探索領域(例えばX=2〜6,Y=15〜19の25画素)が設定され、相関演算が行われる。
このように、画面の左上から右下にかけて、X軸方向、Y軸方向それぞれ1画素ずつずらして順次探索領域が設定され、全画面の全画素について相関演算が完了するまで、各探索領域についての相関演算が繰り返される。なお、相関演算を行う順序(探索領域の設定の仕方)は、ここに例示したものに限定されない。
That is, a certain region (for example, 25 pixels of X = 1 to 5, Y = 16 to 20) is set as the search region, and when the correlation calculation for the search region is completed, for example, in the X-axis direction (the horizontal direction of the image) The next search region (for example, 25 pixels of X = 2 to 6, Y = 16 to 20) is set by sequentially shifting one pixel at a time, and correlation calculation is performed. When all the correlation calculations are completed for all the pixels in the X-axis direction (26 pixels in FIG. 3A), the next search area (for example, X = 1 to 5, Y = 15 to 19) is shifted by one pixel in the Y-axis direction. 25 pixels) is set, and correlation calculation is performed. When the correlation calculation is completed for the search region, the search region is sequentially shifted by one pixel in the X-axis direction to set the next search region (for example, 25 pixels of X = 2 to 6, Y = 15 to 19), Correlation is performed.
In this way, the search areas are sequentially set by shifting one pixel each in the X-axis direction and the Y-axis direction from the upper left to the lower right of the screen, and until the correlation calculation is completed for all the pixels on the entire screen, The correlation operation is repeated. Note that the order in which the correlation calculation is performed (how to set the search area) is not limited to the example illustrated here.
次に、相関演算の具体的手法について説明する。
例えば、図3(a)に示すように、基準画像中の破線で囲んだ範囲(X=9〜13,Y=9〜13の25画素)が探索領域として設定され、相関演算が行われる場合、SAD演算部6は、参照画像中、探索領域と同じY軸範囲(Y=9〜13)についてX軸方向(画像の水平方向)に順次比較対照領域を設定し、順次相関演算を行うことにより、探索領域と各比較対照領域との相関度を算出する。これにより参照画像中、探索領域と最も相関度の高い領域、対応点を探索する。
Next, a specific method of correlation calculation will be described.
For example, as shown in FIG. 3A, a range surrounded by a broken line in the reference image (25 pixels of X = 9 to 13, Y = 9 to 13) is set as a search region, and correlation calculation is performed. The
すなわち、SAD演算部6は、まず、探索領域を構成する各画素(図3(a)中のX=9,Y=13、X=10,Y=13・・・の全25画素)の画像データ値を算出する。また、参照画像の中で探索領域に対照させるものとして設定した比較対照領域内の各画素(例えば、図3(b)中の破線で囲んだ範囲(X=9,Y=13、X=10,Y=13・・・の全25画素))の画像データ値を算出する。そして、探索領域を構成する各画素の画像データ値から、比較対照領域を構成する各画素の画像データ値を減算して、その絶対値を算出する。
例えば、探索領域内のある画素(図3(a)中のX=9,Y=10)の画像データ値が100であり、これに対応する比較対照領域内の画素が図3(b)におけるX=9,Y=10の画像データ値が50である場合には、100−50=50となり、絶対値50となる。
また例えば、探索領域内のある画素(図3(a)中のX=13,Y=10)の画像データ値が50であり、これに対応する比較対照領域内の画素が図3(b)におけるX=13,Y=10の画像データ値が90である場合には、50−90=−40となり、絶対値40となる。
このような画像データ値の減算及び絶対値の算出を探索領域及び比較対照領域を構成する25画素全てについて行う。なお、この演算は、各画素について順次行われてもよいし、当該領域内の全画素について同時進行的に行われてもよい。
That is, the
For example, the image data value of a certain pixel in the search region (X = 9, Y = 10 in FIG. 3A) is 100, and the corresponding pixel in the comparison region in FIG. When the image data value of X = 9 and Y = 10 is 50, 100−50 = 50 and the absolute value is 50.
Further, for example, the image data value of a certain pixel in the search area (X = 13, Y = 10 in FIG. 3A) is 50, and the corresponding pixel in the comparison area is shown in FIG. In the case where the image data value of X = 13 and Y = 10 is 90, 50−90 = −40 and the absolute value is 40.
Such subtraction of the image data value and calculation of the absolute value are performed for all 25 pixels constituting the search area and the comparison area. This calculation may be performed sequentially for each pixel, or may be performed simultaneously for all the pixels in the region.
さらに、SAD演算部6は、算出された結果(絶対値)を全て加算する。そして加算後の値が小さければ小さいほど相関度が高く、同じ画像である場合には、限りなく0に近づく。例えば、図3の場合、図3(a)中の破線で囲んだ範囲(X=9〜13,Y=9〜13の25画素)と、図3(b)中の一点鎖線で囲んだ範囲(X=12〜16,Y=9〜13の25画素)とは同じ画像であり、前者を構成する各画素の画像データ値から後者を構成する各画素のうち対応するものの画像データ値をそれぞれ減算して絶対値を求め、算出結果を加算すると、限りなく0に近づく。
Further, the
このようにして、参照画像中、基準画像の探索領域と相関度の最も高い領域(相関演算により相関度の極値が得られた領域)を検索すると、SAD演算部6は、当該相関度の最も高い領域が、基準画像の探索領域とどの程度ずれているかのずれ量(視差値)を算出し、図4に示すように、相関度の最も高い領域がどの視差値に対応するかを求める。
すなわち、図3の例によれば、探索領域(図3(a)中のX=9〜13,Y=9〜13の25画素)と、相関度の最も高い領域である図3(b)中の一点鎖線で囲んだ範囲(X=12〜16,Y=9〜13の25画素)とは、X軸方向に3画素ずれている。したがって、この場合の視差値は3となる。
In this way, when the reference image is searched for the region having the highest correlation with the search region of the reference image (the region where the extreme value of the correlation is obtained by the correlation calculation), the SAD calculation unit 6 A deviation amount (parallax value) indicating how much the highest area is deviated from the search area of the reference image is calculated, and as shown in FIG. 4, which parallax value corresponds to the area with the highest degree of correlation. .
That is, according to the example of FIG. 3, the search region (25 pixels of X = 9 to 13 and Y = 9 to 13 in FIG. 3A) and the region having the highest degree of correlation are illustrated in FIG. The range surrounded by the one-dot chain line (25 pixels of X = 12 to 16, Y = 9 to 13) is shifted by 3 pixels in the X-axis direction. Therefore, the parallax value in this case is 3.
なお、視差値と距離値との関係は、距離値=定数/視差値であり、距離値は視差値の逆数に比例するとの関係にある。すなわち、視差値が小さくなるほど距離は遠くなり、視差値が大きくなるほど距離が近くなるという関係にある。このため、SAD演算部6は、前記相関演算により視差値を求め、視差値の逆数を求めることにより、距離値を取得することができる。
Note that the relationship between the parallax value and the distance value is distance value = constant / parallax value, and the distance value is proportional to the reciprocal of the parallax value. In other words, the distance becomes longer as the parallax value becomes smaller, and the distance becomes closer as the parallax value becomes larger. For this reason, the
また、POC演算部7は、POC(Phase-Only Correlation;位相限定相関)演算法により、基準画像データと参照画像データのそれぞれから抽出、設定された探索領域について両画像データの対応点を探索し、位置ずれ量を算出して相関値を得るものである。
In addition, the
POC演算部7には、図5に示すように、窓関数部71a,71b、FFT(Fast Fourier Transform:高速フーリエ変換)部72a,72b、位相情報抽出部73a,73b、合成部74、IFFT(Inverse Fast Fourier Transform:逆高速フーリエ変換)部75、及び相関値演算部76が備えられている。
As shown in FIG. 5, the
窓関数部71a,71bは、基準画像データと参照画像データの探索領域に対応する信号に窓関数をかけるものである。窓関数の種類に特に制限はなく適宜変更可能である。ここで、基準画像データに基づく信号に対して窓関数をかけたものをf1、参照画像データに基づく信号に対して窓関数をかけたものをf2とする。窓関数部71a,71bは、窓関数をかけた信号f1、f2をそれぞれFFT部72a,72bに出力するようになっている。
The
FFT部72a,72bは、信号f1、f2に対してフーリエ変換処理を施して位相情報抽出部73a,73bに出力するものである。詳しくは、FFT部72aは、信号f1に対して2次元離散的フーリエ変換を施し、基準画像に基づくフーリエ画像データF1を得る。また、FFT部72bは、信号f2に対して2次元離散的フーリエ変換を施して参照画像に基づくフーリエ画像データF2を得るようになっている。なお、フーリエ変換処理に特に制限は無く、2次元離散的フーリエ変換については、「コンピュータ画像処理入門、日本工業技術センター編、総研出版(株)発行、P44〜45」を参照した。
The
位相情報抽出部73a,73bは、FFT部72a,72bから出力された信号に対して振幅成分を除去して位相情報を抽出するものである。つまり、位相情報抽出部73a,73bは、フーリエ変換された信号F1、F2に対して位相限定処理を行ない、フーリエ画像データF3,F4を得るものである。位相情報抽出部73a,73bは、得られたフーリエ画像データF3,F4を合成部74に出力する。
なお、位相情報抽出部73a,73bが位相情報のみを抽出する手法は特に限定されず、振幅を1として位相のみを抽出するものであってもよいし、log処理や√処理等によって振幅成分を除去することとしてもよい。
The phase
Note that the method by which the phase
合成部74は、フーリエ変換された信号F1、F2から位相情報のみを抽出して得られたフーリエ画像データF3,F4を合成し、合成フーリエ画像データF5(u,v)=F3*(u,v)・F4(u,v)を得るものである。なお、式中「*」は複素共役を表し、(u,v)はフーリエ空間の座標を示す。合成部74は、得られた合成フーリエ画像データF5をIFFT部75に出力するようになっている。
The
IFFT部75は、合成部74で得られた合成フーリエ画像データF5に対して逆フーリエ変換を施し合成逆フーリエ画像データf5を得るものである。IFFT部75は、合成逆フーリエ画像データf5を相関値演算部76に出力するようになっている。
The
相関値演算部76は、合成逆フーリエ画像データf5より、各画像間の相関演算を行い、相関値(POC値)を得るものである。
図6に、POC演算法によって各画像間の相関演算を実施することにより得られる結果の例を示す。図6は、基準画像上及び参照画像上にN1×N2画素の探索領域及び比較対象領域を設定した場合の例であり、N1×N2画素の領域内で相関が高い箇所の相関値(POC値)が大きくなっている。このPOC値のピーク(図6においてJc)に対応する参照画像上の比較対象領域内の位置が、基準画像上の探索領域における中心点に対応した参照画像上の対応点(候補座標)に相当することとなる。
The correlation
FIG. 6 shows an example of a result obtained by performing correlation calculation between each image by the POC calculation method. FIG. 6 shows an example in which a search area and a comparison target area of N 1 × N 2 pixels are set on the standard image and the reference image, and the correlation of a portion having a high correlation in the N 1 × N 2 pixel area. The value (POC value) is large. The position in the comparison target region on the reference image corresponding to this POC value peak (Jc in FIG. 6) corresponds to the corresponding point (candidate coordinates) on the reference image corresponding to the center point in the search region on the standard image. Will be.
以上のようなPOC演算法を用いた演算処理によれば、画像の振幅成分を除去し画像の位相成分のみで相関演算が行われるため、輝度変動やノイズの影響を抑制して参照画像上の対応点を精度良く探索できる。 According to the calculation processing using the POC calculation method as described above, the correlation calculation is performed using only the phase component of the image by removing the amplitude component of the image. Corresponding points can be searched with high accuracy.
相関値演算部76は、候補座標を算出すると、これを探索領域設定部14に出力する。当該対応点探索を行った階層画像が最高解像度画像でない場合には、探索領域設定部14により、この候補座標に基づいて次の階層の対応点探索における探索領域が決定される。また、当該対応点探索を行った階層画像が最高解像度画像である場合には、演算結果が相関値演算部76から距離画像生成部16に出力される。
After calculating the candidate coordinates, the correlation
距離画像生成部16は、POC演算部7による最高解像度の階層画像についての対応点探索が終了すると、当該対応点探索における基準画像データと参照画像データとの位置ずれ量の演算結果に基づいて距離画像データを生成する。
When the
また、距離画像生成装置1には、距離画像生成部16によって生成された距離画像を出力する出力部20が設けられている。出力部20は、例えば、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)等のモニタ(表示手段)であり、距離画像を表示させるようになっている。なお、出力部20は、モニタに限定されず、例えば、プリンタ等の外部機器(出力手段)と接続するための通信部であり、生成された距離画像を外部機器に送信して出力可能に構成されていてもよい。
In addition, the distance
次に、図7から図10を参照して本実施形態における距離画像生成装置1によって行われる距離画像生成方法について説明する。なお、距離画像生成処理は、コンピュータである画像処理部10と前記距離画像生成処理プログラムとの協働により実現されるものである。
Next, a distance image generation method performed by the distance
図7に示すように、距離画像生成装置1によって3次元位置情報を得るための相関演算を行う場合には、まず、撮像装置2a,2bは、2つの撮像手段2a,2bにより対象物を撮像し、基準画像、参照画像の画像データを取得する(ステップS1)。
As shown in FIG. 7, when performing correlation calculation for obtaining three-dimensional position information by the distance
撮像手段2a,2bにより取得された基準画像、参照画像の画像データは、A/D変換部5によりA/D変換され、画像処理部10に送られる。基準画像、参照画像の画像データが画像処理部10に送られると、各画像データについて、レンズ歪み補正部11による歪み補正及び画像平行化処理部12による画像平行化処理が施される(ステップS2)。
Image data of the standard image and the reference image acquired by the
さらに、多重解像度画像生成部13において、基準画像、参照画像の画像データについて、最低解像度画像からもとの画像と同じ解像度の最高解像度画像までの複数の階層画像が順に階層構造となった多重解像度画像が生成される(ステップS3)。生成された多重解像度画像は対応点探索部15に送られて、基準画像データと参照画像データとの対応点を探索する対応点探索処理が行われる(ステップS4)。
Further, in the multi-resolution
ここで、図8から図10を参照しつつ、対応点探索部15に対応点探索処理(図7のステップS4)について、具体的に説明する。なお、以下においては、画像の全画面を測距の対象とし(すなわち、全画素を測距点とし)、1つの探索領域について、X軸方向のすべての画素について対応点探索を行う場合を例として説明する。
Here, the corresponding point search process (step S4 in FIG. 7) is specifically described in the corresponding
図8に示すように、多重解像度画像が対応点探索部15に送られると、まず、SAD演算部6によりSAD演算を行うことにより、1回目の対応点探索処理(第n層目の階層画像についての対応点探索処理)が行われる(ステップS11)。
As shown in FIG. 8, when the multi-resolution image is sent to the corresponding
図9は、この1回目の対応点探索処理を示すフローチャートである。図9に示すように、対応点探索部15は、最低解像度の階層画像(図2において第n層目の階層画像)を演算対象として設定するとともに、当該基準画像内に測距点を設定し(ステップS21)、この測距点を中心とした所定の探索領域を設定する(ステップS22)。
探索領域が設定されると、対応点探索部15は参照画像内に探索領域と同じサイズの比較対象領域を設定し(ステップS23)、SAD演算部6によるSAD演算法により対応点探索を行うことにより、探索領域と比較対象領域との相関度が算出される(ステップS24)。
FIG. 9 is a flowchart showing the first corresponding point search process. As shown in FIG. 9, the corresponding
When the search region is set, the corresponding
SAD演算部6は当該探索領域について、比較対象画像のX軸方向のすべての画素について対応点探索処理が終了したかを判断する(ステップS25)。終了していない場合(ステップS25;NO)には、参照画像内の比較対象領域をX軸方向に1画素ずらして(ステップS26)、ステップ24に戻り、SAD演算部6による対応点探索処理を繰り返す。X軸方向のすべての画素について対応点探索処理が終了した場合(ステップS25;YES)には、当該対応点探索処理において最も相関度の高い画素を検索して、視差値を算出する(ステップS27)。
The
SAD演算部6は当該探索領域について視差値を算出すると、さらに、基準画像内の全測距点(測距を行うべきすべての画素)についての対応点探索処理が終了したかを判断する(ステップS28)。本実施形態では、画像の全画素について対応点探索処理を行うので、全画素について処理が終了したかを判断する。
そして、画像中に、測距を行うべき画素であって未処理のものがある場合(ステップS28;NO)には、当該未処理の画素を新たな測距点として設定し(ステップS29)、この測距点を中心とした探索領域を設定して(ステップS22)以下ステップS23からステップS27の処理を繰り返す。他方、画像中に未処理の測距点がない場合(ステップS28;YES)には、1回目の対応点探索処理(第n層目の階層画像についての対応点探索処理)を終了する。
When the
If there are unprocessed pixels that should be measured in the image (step S28; NO), the unprocessed pixels are set as new ranging points (step S29). A search area centered on the distance measuring point is set (step S22), and the processing from step S23 to step S27 is repeated. On the other hand, if there is no unprocessed distance measuring point in the image (step S28; YES), the first corresponding point search process (corresponding point search process for the nth layer image) is terminated.
図8に戻って、1回目の対応点探索処理が終了すると、対応点探索部15は、当該対応点探索処理において得られた相関値に基づいて候補座標を算出し、これを探索結果として探索領域設定部14に出力する(ステップS12)。また、対応点探索部15は、次階層の階層画像を演算対象として設定する(ステップS13)。
探索領域設定部14は、対応点探索部15から探索結果が送られると、この探索結果に基づいて次階層についての探索領域を設定する(ステップS14)。さらに、対応点探索部15は、次階層がSAD演算部6による演算対象の対象となる階層か否かを判断し(ステップS15)、SAD演算部6の対象である場合(ステップS15;YES)には、ステップS11に戻ってSAD演算部6による対応点探索処理を行い、以下ステップS12からステップS14の処理を繰り返す。
Returning to FIG. 8, when the first corresponding point search process is completed, the corresponding
When the search result is sent from the corresponding
他方、次階層がSAD演算部6による演算対象の階層ではない場合(ステップS15;NO)には、当該階層及びそれ以降の階層についてPOC演算部7による対応点探索処理が行われる(ステップS16)。本実施形態では、もとの画像の1/2の解像度の階層以降の階層画像についてPOC演算部7による演算が行われるようになっている。
On the other hand, when the next hierarchy is not a calculation target hierarchy by the SAD calculation unit 6 (step S15; NO), corresponding point search processing by the
図10は、POC演算部7による対応点探索処理を示すフローチャートである。
POC演算処理においては、まず、窓関数部71a,71bが画像データに基づく信号に対して窓関数を掛け、FFT部72a,72bが中心画素を中心とした32×32画素のブロックサイズの2次元フーリエ変換処理を行う。
つまり、窓関数部71aが基準画像に基づく信号f1を作成し、この信号f1について72aがフーリエ変換処理を行って信号f1を信号F1に変換する(ステップS31)。また、窓関数部71bが基準画像に基づく信号f2を作成し、この信号f2について72bがフーリエ変換処理を行って信号f2を信号F2に変換する。(ステップS32)。
2次元フーリエ変換処理は、基準画像に設定した測距点を中心としたブロックと、直前の階層における演算処理によって得られた視差に対応する参照画像内の対応点(候補座標)を中心としたブロックと、に対して行われる。
FIG. 10 is a flowchart showing the corresponding point search processing by the
In the POC calculation processing, first, the
That is, the
The two-dimensional Fourier transform processing is centered on a block centered on a distance measuring point set in the reference image and a corresponding point (candidate coordinates) in a reference image corresponding to the parallax obtained by the arithmetic processing in the immediately preceding hierarchy. To the block.
その後、位相情報抽出部73a,73bは、信号F1,F2に基づき、その振幅成分を除去して信号F1から位相情報F3を、信号F2から位相情報F4をそれぞれ抽出する(ステップS33)。さらに、位相情報のみの信号F3,F4は、合成部74によって合成され、合成信号F5が生成される(ステップS34)。合成信号F5は合成部74からIFFT部75に出力され、IFFT部75はこの合成信号F5に対して、逆フーリエ変換処理を施しf5に変換する(ステップS35)。その後、相関値演算部76は、f5に基づいて相関値maxx,yf5(u,v)を算出し(ステップS36)、さらに、対応点の候補座標を算出する(ステップS37)。
Thereafter, the phase
図8に戻って、1つの階層についてPOC演算が終了すると、対応点探索部15は、当該対応点探索処理において得られた相関値に基づいて候補座標を算出し、これを探索結果として探索領域設定部14に出力する(ステップS17)。また、対応点探索部15は、最高解像度画像までPOC演算処理が終了したか否か(当該階層画像が最高解像度画像か否か)を判断する(ステップS18)。そして、最高解像度画像(もとの画像と同じ解像度の画像)まで処理が終了している場合(ステップS18;YES)には、POC演算部7によるPOC演算処理を終了する。
他方、最高解像度の階層画像まで処理が終了していない場合(さらに高解像度の次階層がある場合、ステップS18;NO)には、対応点探索部15は、次階層の階層画像を演算対象として設定する(ステップS19)。また、探索領域設定部14は直前の階層における探索結果に基づいて探索領域を設定する(ステップS20)。そして、ステップS16に戻り、次階層についてPOC演算部7による対応点探索処理が行われ、最高解像度の階層画像(もとの画像と同じ解像度の画像)について処理が終了するまで、多重解像度画像の各階層画像についてステップS17からステップS20の処理が繰り返される。
Returning to FIG. 8, when the POC calculation is completed for one layer, the corresponding
On the other hand, if the processing has not been completed up to the highest resolution hierarchical image (if there is a higher resolution next layer, step S18; NO), the corresponding
次に、図7に戻って、最低解像度の階層画像(図2における第n層目)から最高解像度画像(もとの画像と同じ解像度の画像、図2における第0層目)まで、SAD演算部6及びPOC演算部7による対応点探索処理が終了すると(図8のステップS18;YES)、距離画像生成部16によって距離画像が生成され(ステップS5)、必要に応じて出力部20から出力される。
Next, returning to FIG. 7, the SAD calculation is performed from the lowest resolution hierarchical image (the nth layer in FIG. 2) to the highest resolution image (the image having the same resolution as the original image, the 0th layer in FIG. 2). When the corresponding point search processing by the
以上のように、本実施形態によれば、解像度の異なる複数の階層画像からなる多重解像度画像を生成して、低解像度の階層画像から高解像度の階層画像に向かって順次対応点の探索処理を繰り返すとともに、低解像度の階層画像について得られた探索結果に基づいて探索領域設定部14が次階層の階層画像の探索領域を設定するので、高速に対応点探索を行うことができるとともに、対象物の正確な距離画像を生成することが可能となる。
As described above, according to the present embodiment, a multi-resolution image composed of a plurality of hierarchical images having different resolutions is generated, and corresponding point search processing is sequentially performed from the low-resolution hierarchical image to the high-resolution hierarchical image. In addition, since the search
また、対応点探索部15は、SAD演算部6とPOC演算部7とを備え、低解像度の階層画像については高速で演算処理を行うことのできるSAD演算部6により対応点探索処理を行い、もとの画像の1/2の解像度以上の階層画像については高精度の演算処理を行うことのできるPOC演算部7により対応点探索処理を行うので、対応点探索を効率的に行って、相関演算の総処理時間の短縮と、高精度な距離画像の生成との両立を図ることができる。
The corresponding
さらに、一旦精度の高いPOC演算部7による対応点探索を行った後はSAD演算部6による対応点探索を行わないこととするので、高解像度の階層画像に対しては高精度の演算処理を行うことができ、信頼性の高い演算結果を得ることができる。
Further, once the corresponding point search by the high-precision
なお、本実施形態においては、2つの撮像手段2a,2bを備えて各撮像手段2a,2bにより同一対象物を撮像して基準画像データ(第1画像情報)と参照画像データ(第2画像情報)とを取得する構成としたが、撮像装置2a,2bの構成はこれに限定されない。撮像装置2a,2bは少なくとも1つの撮像手段を備えて構成されていればよく、1つの撮像手段により同一対象物を異なるタイミングで撮像して基準画像データと参照画像データとを取得するものでもよいし、2つ以上の撮像手段を備えて各撮像手段により同一対象物を撮像して基準画像データと参照画像データとを取得するものでもよい。
In the present embodiment, two image pickup means 2a and 2b are provided, the same object is picked up by the image pickup means 2a and 2b, and standard image data (first image information) and reference image data (second image information). However, the configuration of the
また、本実施形態においては、距離画像生成装置1の構成要素として撮像装置2a,2bを備える場合について説明したが、画像取得部を距離画像生成装置1の外部に設けて、距離画像生成装置1に外部から基準画像データ(第1画像情報)と参照画像データ(第2画像情報)が入力され、この画像データに基づいて相関演算等の処理が行われるようにしてもよい。
Further, in the present embodiment, the case where the
また、本実施形態においては、SAD演算部6及びPOC演算部7において、相関値に基づく候補座標の算出を行い、算出された候補座標を探索結果として探索領域設定部14に出力するように構成したが、探索領域設定部14に出力される探索結果はこれに限定されない。例えば、探索領域設定部14には、探索結果としてSAD演算部6及びPOC演算部7から相関値を示す演算結果が出力され、探索領域設定部14が、この演算結果に基づいて、最も相関度の高かった点(候補座標)を算出し、この候補座標の周辺を探索領域として設定してもよい。
In the present embodiment, the
また、本実施形態においては、画像の全画面を測距の対象とする(すなわち、全画素を測距点とする)場合を例として説明したが、ユーザの用途等により、例えば画像内の人物部分についてだけ測距を行いたい場合等であれば、測距を行いたい対象部分のみに測距点を設定して対応点探索処理を行う等、対応点探索処理を行う範囲を限定してもよい。 Further, in the present embodiment, the case has been described as an example in which the entire screen of the image is the object of distance measurement (that is, all the pixels are the distance measurement points). If you want to perform distance measurement only on the part, you can limit the range of the corresponding point search process, such as setting the distance measurement point only to the target part you want to measure and performing the corresponding point search process. Good.
また、本実施形態においては、1つの探索領域について、X軸方向のすべての画素について対応点探索を行う場合を例として説明したが、ユーザの用途等により一定の限定された距離値の範囲のみ距離を求めることができればよい場合もある。このような場合には、用途に応じた距離範囲に対応する視差値の範囲を演算範囲とし、比較対象領域をこの範囲で移動させて対応点探索処理を行うようにしてもよい。
例えば、100m以上離れた距離にあるものの距離のみを求めれば足りる場合には、100m以上の距離値に対応する視差値の範囲で比較対象領域をこの範囲で移動させる。これにより、対応点探索処理において、相関演算の処理時間を短縮することができる。
Further, in the present embodiment, a case where corresponding point search is performed for all pixels in the X-axis direction for one search region has been described as an example, but only a range of a certain distance value that is limited depending on the user's use or the like. In some cases, the distance may be obtained. In such a case, the range of parallax values corresponding to the distance range according to the application may be used as the calculation range, and the corresponding point search process may be performed by moving the comparison target region within this range.
For example, when it is sufficient to obtain only a distance that is at a distance of 100 m or more, the comparison target area is moved within this range within a range of parallax values corresponding to a distance value of 100 m or more. Thereby, in the corresponding point search process, the processing time of the correlation calculation can be shortened.
また、本実施形態においては、基準画像を25画素ずつの単位面積に分割して探索領域を設定し、この探索領域ごとに相関演算を行う場合を例として説明したが、探索領域の範囲は、25画素ずつに限定されず、任意の範囲に設定することができる。
また、本実施形態においては、探索領域を25画素ずつの所定の領域とし、この領域ごとに相関演算を行うものとしたが、例えば1画素ごとに基準画像と参照画像の相関度を算出するようにしてもよい。
Further, in this embodiment, the case where the reference image is divided into unit areas of 25 pixels and a search region is set and correlation calculation is performed for each search region has been described as an example. It is not limited to 25 pixels each, and can be set to an arbitrary range.
In this embodiment, the search area is a predetermined area of 25 pixels, and the correlation calculation is performed for each area. For example, the correlation between the reference image and the reference image is calculated for each pixel. It may be.
また、本実施形態においては、第1の演算手段として、SAD演算法により距離値を求めるSAD演算部6を設けたが、第1の演算手段は高速に距離値を求める処理を行うことができるものであればよく、これに限定されない。例えば、第1の演算手段として、SSD(Sum of Squared Differences)演算法や、NCC(Normalized Cross-Correlation)演算法により距離値を求める演算部を設けてもよい。
In the present embodiment, the
また、本実施形態においては、第2の演算手段として、POC演算法により対応点を探索するPOC演算部7を設けたが、第2の演算手段は高精度に対応点の探索を行うことのできるものであればよく、POC演算法によるものに限定されない。
In the present embodiment, the
また、本実施形態においては、画像処理部10が、CPU等とROM、RAM等のメモリで構成されるコンピュータである場合を例として説明したが、画像処理部10の全体又は一部を専用ハードウェアで構成してもよい。
すなわち、例えばPOC演算部7は、位相限定相関処理を行なう専用のハードウェアで構成されていることが好ましい。専用のハードウェアとしては、例えば、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等が適用可能である。
Further, in the present embodiment, the case where the
That is, for example, the
その他、本発明が上記実施の形態に限らず適宜変更可能であるのは勿論である。 In addition, it is needless to say that the present invention is not limited to the above embodiment and can be modified as appropriate.
1 距離画像生成装置
2a,2b 撮像装置(画像取得手段)
6 SAD演算部(第1の演算手段)
7 POC演算部(第1の演算手段)
10 画像処理部
11 レンズ歪み補正部
12 画像平行化処理部
13 多重解像度画像生成部(多重解像度画像生成手段)
14 探索領域設定部(探索領域設定手段)
15 距離画像生成部(距離画像生成手段)
71a,71b 窓関数部
72a,72b FFT部
73a,73b 位相情報抽出部
74 合成部
75 IFFT部
76 相関演算部
1 Distance
6 SAD computing unit (first computing means)
7 POC calculation section (first calculation means)
DESCRIPTION OF
14 Search area setting unit (search area setting means)
15 Distance image generation unit (distance image generation means)
71a, 71b
Claims (15)
前記画像取得手段により取得された前記第1画像情報及び前記第2画像情報について解像度の異なる複数の階層画像が低解像度から高解像度まで順に階層構造をなす多重解像度画像を生成する多重解像度画像生成手段と、
前記第1画像情報と前記第2画像情報とを照合して所定の探索領域について対応点を探索するものであって、前記多重解像度画像のうち、
最低解像度の階層画像である第1の階層画像に対して第1の演算手法により対応点探索を行う第1の演算手段と、
最高解像度の階層画像である第2の階層画像に対して前記第1の演算手法よりも精度の高い第2の演算手法により対応点探索を行う第2の演算手段と、
を備え、前記多重解像度画像のうち、低解像度の階層画像から前記対応点探索を開始し、順次解像度の高い階層画像について前記対応点探索を行い、最高解像度の階層画像に至るまで順に前記対応点探索を繰り返す対応点探索手段と、
前記対応点探索手段により一つの階層画像についての探索が終了すると当該階層画像についての探索結果に基づいて次の階層の階層画像の探索領域を設定する探索領域設定手段と、
前記対応点探索手段による探索結果に基づいて距離画像を生成する距離画像生成手段と、
を備える距離画像生成装置であって、
前記第1の階層画像と前記第2の階層画像との間の解像度の階層画像である第3の階層画像に対して、前記第1の演算手法又は前記第2の演算手法のいずれにより対応点探索を行うかを判断する演算手法判断手段を備え、当該演算手法判断手段により決定される演算手法により前記第3の階層画像の対応点探索を行うことを特徴とする距離画像生成装置。 Image acquisition means for acquiring first image information and second image information to be compared;
Multi-resolution image generation means for generating a multi-resolution image in which a plurality of hierarchical images having different resolutions form a hierarchical structure in order from low resolution to high resolution for the first image information and the second image information acquired by the image acquisition means When,
The first image information and the second image information are collated to search for corresponding points in a predetermined search area, and among the multi-resolution images,
A first computing means for performing corresponding point search by the first calculation method for the first layer image is a hierarchical image of lowest resolution,
A second operation means for performing a corresponding point search by the second calculation method accurate than the first computation method to the second hierarchical image is the most high-resolution hierarchy image,
The corresponding point search is started from a low-resolution hierarchical image among the multi-resolution images, the corresponding point search is sequentially performed for a hierarchical image having a higher resolution, and the corresponding points are sequentially reached until the highest-resolution hierarchical image is reached. Corresponding point search means for repeating the search;
Search area setting means for setting a search area for a next hierarchical image based on a search result for the hierarchical image when the search for one hierarchical image is completed by the corresponding point search means;
A distance image generating means for generating a distance image based on a search result by the corresponding point searching means;
A distance image generation apparatus Ru provided with,
Corresponding points for the third hierarchical image, which is a hierarchical image having a resolution between the first hierarchical image and the second hierarchical image, by either the first arithmetic technique or the second arithmetic technique. A distance image generating apparatus comprising: a calculation method determination unit that determines whether to perform a search, and performing a corresponding point search of the third hierarchical image by a calculation method determined by the calculation method determination unit.
前記画像取得工程において取得された前記第1画像情報及び前記第2画像情報について解像度の異なる複数の階層画像が低解像度から高解像度まで順に階層構造をなす多重解像度画像を生成する多重解像度画像生成工程と、
前記第1画像情報と前記第2画像情報とを照合して所定の探索領域について対応点を探索するものであって、前記多重解像度画像のうち、
最低解像度の階層画像である第1の階層画像に対して第1の演算手法により対応点探索を行う第1の演算工程と、
最高解像度の階層画像である第2の階層画像に対して前記第1の演算手法よりも精度の高い第2の演算手法により対応点探索を行う第2の演算工程と、
を含み、前記多重解像度画像のうち、低解像度の階層画像から前記対応点探索を開始し、順次解像度の高い階層画像について前記対応点探索を行い、最高解像度の階層画像に至るまで順に前記対応点探索を繰り返す対応点探索工程と、
前記対応点探索工程において一つの階層画像についての探索が終了すると当該階層画像についての探索結果に基づいて次の階層の階層画像の探索領域を設定する探索領域設定工程と、
前記対応点探索工程における探索結果に基づいて距離画像を生成する距離画像生成工程と、
を備える距離画像生成方法であって、
前記第1の階層画像と前記第2の階層画像との間の解像度の階層画像である第3の階層画像に対して、前記第1の演算工程又は前記第2の演算工程のいずれにより対応点探索を行うかを判断する演算手法判断工程を備え、当該演算手法判断工程により決定される演算手法により前記第3の階層画像の対応点探索を行うことを特徴とする距離画像生成方法。 An image acquisition step of acquiring first image information and second image information to be compared;
A multi-resolution image generation step of generating a multi-resolution image in which a plurality of hierarchical images having different resolutions form a hierarchical structure in order from a low resolution to a high resolution with respect to the first image information and the second image information acquired in the image acquisition step When,
The first image information and the second image information are collated to search for corresponding points in a predetermined search area, and among the multi-resolution images,
A first calculation step of performing corresponding point search by the first calculation method for the first layer image is a lowest resolution hierarchy image,
A second calculation step of performing corresponding point search by the second calculation method accurate than the first computation method to the second hierarchical image is the most high-resolution hierarchy image,
The corresponding point search is started from a low-resolution hierarchical image among the multi-resolution images, the corresponding point search is sequentially performed on a hierarchical image having a higher resolution, and the corresponding points are sequentially reached until the highest-resolution hierarchical image is reached. A corresponding point search process for repeating the search;
A search region setting step of setting a search region for a hierarchical image of the next layer based on a search result for the hierarchical image when the search for one hierarchical image is completed in the corresponding point search step;
A distance image generation step of generating a distance image based on a search result in the corresponding point search step;
A range image generating method Ru provided with,
Corresponding points for the third hierarchical image, which is a hierarchical image having a resolution between the first hierarchical image and the second hierarchical image, by either the first arithmetic step or the second arithmetic step. A distance image generation method comprising a calculation method determination step for determining whether to perform a search, and performing a corresponding point search of the third hierarchical image by a calculation method determined by the calculation method determination step .
前記第1画像情報と前記第2画像情報とを照合して所定の探索領域について対応点を探索するものであって、前記多重解像度画像のうち、
最低解像度の階層画像である第1の階層画像に対して第1の演算手法により対応点探索を行う第1の演算機能と、
最高解像度の階層画像である第2の階層画像に対して前記第1の演算手法よりも精度の高い第2の演算手法により対応点探索を行う第2の演算機能と、
を含み、前記多重解像度画像のうち、低解像度の階層画像から前記対応点探索を開始して順次解像度の高い階層画像について前記対応点探索を行い、最高解像度の階層画像に至るまで順に前記対応点探索を繰り返す対応点探索機能と、
前記対応点探索機能により一つの階層画像についての探索が終了すると当該階層画像についての探索結果に基づいて次の階層の階層画像の探索領域を設定する探索領域設定機能と、
前記対応点探索機能による探索結果に基づいて距離画像を生成する距離画像生成機能と、
をコンピュータに実現させるコンピュータ読取可能なプログラムであって、
前記第1の階層画像と前記第2の階層画像との間の解像度の階層画像である第3の階層画像に対して、前記第1の演算手法又は前記第2の演算手法のいずれにより対応点探索を行うかを判断する演算手法判断機能をコンピュータに実現させるものであり、当該演算手法判断機能により決定される演算手法により前記第3の階層画像の対応点探索を行わせることを特徴とするコンピュータ読取可能なプログラム。 A multi-resolution image generation function for generating a multi-resolution image in which a plurality of hierarchical images having different resolutions form a hierarchical structure in order from a low resolution to a high resolution for the first image information and the second image information to be compared;
The first image information and the second image information are collated to search for corresponding points in a predetermined search area, and among the multi-resolution images,
First arithmetic function for the corresponding point search by the first calculation method for the first layer image is a hierarchical image of lowest resolution,
A second arithmetic function for the corresponding point search by the second calculation method accurate than the first computation method to the second hierarchical image is the most high-resolution hierarchy image,
Among the multi-resolution images, the corresponding point search is started from a low-resolution hierarchical image, the corresponding point search is sequentially performed for a hierarchical image with a high resolution, and the corresponding points are sequentially reached until the highest-resolution hierarchical image is reached. Corresponding point search function that repeats search,
A search area setting function for setting a search area for the next hierarchical image based on a search result for the hierarchical image when the search for the hierarchical image is completed by the corresponding point search function;
A distance image generation function for generating a distance image based on a search result by the corresponding point search function;
A computer-readable program for causing a computer to realize
Corresponding points for the third hierarchical image, which is a hierarchical image having a resolution between the first hierarchical image and the second hierarchical image, by either the first arithmetic technique or the second arithmetic technique. An arithmetic method determining function for determining whether to perform a search is realized in a computer, and a corresponding point search of the third hierarchical image is performed by an arithmetic method determined by the arithmetic method determining function. Computer readable program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007055827A JP5098369B2 (en) | 2007-03-06 | 2007-03-06 | Distance image generating apparatus, distance image generating method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007055827A JP5098369B2 (en) | 2007-03-06 | 2007-03-06 | Distance image generating apparatus, distance image generating method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008216126A JP2008216126A (en) | 2008-09-18 |
JP5098369B2 true JP5098369B2 (en) | 2012-12-12 |
Family
ID=39836330
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007055827A Expired - Fee Related JP5098369B2 (en) | 2007-03-06 | 2007-03-06 | Distance image generating apparatus, distance image generating method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5098369B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5310594B2 (en) * | 2010-02-17 | 2013-10-09 | コニカミノルタ株式会社 | Image processing apparatus, image processing method, and program |
US9117135B2 (en) * | 2011-06-29 | 2015-08-25 | Konica Minolta, Inc. | Corresponding point searching apparatus |
JP5747797B2 (en) * | 2011-11-29 | 2015-07-15 | コニカミノルタ株式会社 | Image processing apparatus, image processing method, and image processing program |
JP2013254300A (en) * | 2012-06-06 | 2013-12-19 | Konica Minolta Inc | Image processing method |
JP2015078852A (en) * | 2013-10-15 | 2015-04-23 | 株式会社ディスコ | Alignment method |
JP6548518B2 (en) | 2015-08-26 | 2019-07-24 | 株式会社ソニー・インタラクティブエンタテインメント | INFORMATION PROCESSING APPARATUS AND INFORMATION PROCESSING METHOD |
CN110274573B (en) * | 2018-03-16 | 2021-10-26 | 赛灵思电子科技(北京)有限公司 | Binocular ranging method, device, equipment, storage medium and computing equipment |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5817404B2 (en) * | 1979-09-28 | 1983-04-07 | 工業技術院長 | Distance pattern measurement method using deconvolution |
JP2741888B2 (en) * | 1989-03-13 | 1998-04-22 | 日本電信電話株式会社 | Hierarchical image matching processing method and apparatus |
JP3364396B2 (en) * | 1996-11-01 | 2003-01-08 | 株式会社山武 | Distance measuring device |
JP2000171214A (en) * | 1998-12-08 | 2000-06-23 | Meidensha Corp | Corresponding point retrieving method and three- dimensional position measuring method utilizing same |
JP4517449B2 (en) * | 2000-05-10 | 2010-08-04 | 株式会社豊田中央研究所 | Correlation calculation method for images |
EP1453098B1 (en) * | 2001-12-05 | 2013-09-18 | Hamamatsu Photonics K.K. | Light detection device, imaging device and distant image acquisition device |
JP2004239705A (en) * | 2003-02-05 | 2004-08-26 | Ricoh Co Ltd | Object distance detection device and camera equipped with object distance detection device |
-
2007
- 2007-03-06 JP JP2007055827A patent/JP5098369B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008216126A (en) | 2008-09-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4883223B2 (en) | Motion vector generation apparatus and motion vector generation method | |
JP5098369B2 (en) | Distance image generating apparatus, distance image generating method and program | |
US10462447B1 (en) | Electronic system including image processing unit for reconstructing 3D surfaces and iterative triangulation method | |
JP5311016B2 (en) | Stereo camera unit and stereo matching method | |
JP4382797B2 (en) | Corresponding point search method and three-dimensional position measurement method | |
JP5567179B2 (en) | Stereo image processing apparatus and stereo image processing method | |
JP4941565B2 (en) | Corresponding point search apparatus and corresponding point searching method | |
EP3135033B1 (en) | Structured stereo | |
JP2008216127A (en) | Distance image generation device, distance image generation method, and program | |
CN110136114B (en) | Wave surface height measuring method, terminal equipment and storage medium | |
WO2015057098A1 (en) | Motion compensation method and apparatus for depth images | |
JP2011165045A (en) | Image processing device | |
JP2017181298A (en) | Three-dimensional shape measurement device and three-dimensional shape measurement method | |
US9495611B2 (en) | Image processing apparatus, image processing method, and image processing program | |
CN103905746A (en) | Method and device for localization and superposition of sub-pixel-level image offset and video device | |
JP5034554B2 (en) | Correlation calculation device, correlation calculation method and program | |
JP2016020896A (en) | Positional deviation extent measuring method, correction table generating device, image pickup device, and projection device | |
JP6040782B2 (en) | Image processing apparatus and program | |
JP2011180670A (en) | Image processor | |
JP6494402B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
JP2017059998A (en) | Image processing apparatus and method, and imaging device | |
JP2019207464A (en) | Phase difference detection device, image processing device, and program | |
JP5167614B2 (en) | Distance image generating apparatus, distance image generating method and program | |
JP2020102230A (en) | Calibration method | |
Sousa et al. | Measurement of displacement fields with sub-pixel accuracy by combining cross-correlation and optical flow |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100303 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120426 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20120426 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120828 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120910 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151005 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5098369 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |