JPH07103734A - Apparatus for searching stereocorrespondence - Google Patents
Apparatus for searching stereocorrespondenceInfo
- Publication number
- JPH07103734A JPH07103734A JP5247172A JP24717293A JPH07103734A JP H07103734 A JPH07103734 A JP H07103734A JP 5247172 A JP5247172 A JP 5247172A JP 24717293 A JP24717293 A JP 24717293A JP H07103734 A JPH07103734 A JP H07103734A
- Authority
- JP
- Japan
- Prior art keywords
- image
- parallax
- hierarchical
- main
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、ステレオ対応点探索装
置に関し、より詳細には、複数の撮像手段で撮像した複
数の画像から視差を計算するステレオ対応点探索装置に
関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a stereo corresponding point searching apparatus, and more particularly to a stereo corresponding point searching apparatus for calculating parallax from a plurality of images picked up by a plurality of image pickup means.
【０００２】[0002]
【従来の技術】従来の複数画像間の点の対応を求め、視
差を求める装置としては、以下の〜のものがある。 ブロックマッチングを用いて特徴点の対応を求めるも
の。 エッジの構造により対応を求めるもの（福永：”画像
の線分構造に基づいたステレオ画像法”電子情報通信学
会技術報告ＩＥ86-16など）。 エッジ間の領域の対応を求めるもの（大田：”走査線
間の整合性を考慮した動的計画法によるステレオ対応探
索”電子情報通信学会技術報告ＣＶ29-7など）。 濃淡画像の階層画像を用いて対応点を求めるもの。2. Description of the Related Art There are the following conventional apparatus for obtaining the parallax by obtaining the correspondence of points between a plurality of images. A method for finding the correspondence between feature points using block matching. Corresponding to the structure of the edge (Fukunaga: "Stereo image method based on the image line segment structure" IEICE technical report IE86-16, etc.). Corresponding regions between edges (Ota: "Stereo correspondence search by dynamic programming considering consistency between scanning lines" IEICE Technical Report CV29-7 etc.). A method for finding corresponding points using a hierarchical image of grayscale images.
【０００３】[0003]
【発明が解決しようとする課題】前述のような、従来の
ステレオ対応探索装置においては、以下のような問題点
がある。 ブロックマッチングを用いて点の対応を求める技術に
おいては、対応点を探索する範囲が広く、探索時間が非
常にかかり、点のごく周囲の特徴（濃度値）しか対象と
なっていないので対応精度が低い。 エッジの対応を求める技術においては、エッジを精度
良く抽出する必要があり、エッジ抽出精度にマッチング
精度が左右される。またエッジ点しか３次元位置が求ま
らない。 エッジ間の領域の対応を求める技術においては、組合
せが多く非常に時間がかかる。 濃淡画像の階層画像を用いて対応点を求める技術にお
いては、上位階層での誤対応が下位に拡散しながら伝播
するために、上位階層において高精度な対応点探索が要
求される。The above-described conventional stereo correspondence search apparatus has the following problems. In the technique of finding the correspondence of points using block matching, the range of searching the corresponding points is wide, the search time is very long, and only the features (density values) around the points are targeted, so the correspondence accuracy is high. Low. In the technique for determining the correspondence of edges, it is necessary to accurately extract edges, and the matching accuracy depends on the edge extraction accuracy. Further, the three-dimensional position can be obtained only for the edge point. In the technique of finding the correspondence between the regions between the edges, there are many combinations and it takes a very long time. In the technique for finding corresponding points using a hierarchical image of a grayscale image, a high-precision corresponding point search is required in the upper layer because miscorrespondence in the upper layer propagates while spreading to the lower layer.
【０００４】本発明は、このような実情に鑑みてなされ
たもので、階層画像を用いて対応点を探索することによ
り、高精度かつ高速に３次元データを測定するステレオ
対応探索装置を提供することを目的としている。The present invention has been made in view of the above circumstances, and provides a stereo correspondence searching apparatus for measuring three-dimensional data with high accuracy and high speed by searching for corresponding points using hierarchical images. Is intended.
【０００５】[0005]
【課題を解決するための手段】本発明は、上記目的を達
成するために、（１）複数の撮像手段と、該複数の撮像
手段により撮像された複数の原画像より階層的に、より
低解像度の画像である階層画像を作成する階層画像作成
手段と、前記撮像手段により撮像された画像の一方を主
画像とし、前記階層画像作成手段により作成された主画
像の階層画像を小ブロックに分割する画像分割手段と、
該画像分割手段により分割された主画像の階層画像の各
小ブロックが他の画像の同じ解像度の階層画像のどの部
分に対応するかを求める対応点計算手段と、該対応点計
算手段により求められた対応部分の画像の位置と主画像
の小ブロックの位置から視差を計算する視差計算手段
と、該視差計算手段により求められた視差を１段階下位
の階層に伝播し、前記対応点計算手段における初期探索
位置を計算する初期探索位置計算手段とから成り、前記
各手段を、最上位の階層画像から原画像までの解像度の
画像に繰り返し実行することにより原画像における視差
を計算すること、或いは、（２）複数の撮像手段と、該
撮像手段により撮像された原画像より微分画像を作成す
る微分画像作成手段と、前記原画像および前記微分画像
より階層的により低解像度の画像である階層画像を作成
する階層画像作成手段と、前記撮像手段により撮像され
た画像の一方を主画像、主画像の微分画像を主微分画像
とし、階層画像作成手段により作成された主画像および
主微分画像の階層画像を小ブロックに分割する画像分割
手段と、前記主画像および主微分画像の階層画像の各小
ブロックが他の画像の同じ解像度の階層画像のどの部分
に対応するかを求める対応点計算手段と、該対応点計算
手段により求められた対応部分の画像の位置と主画像の
小ブロックの位置から視差を計算する視差計算手段と、
該視差計算手段により求められた視差を１段階下位の階
層に伝播し、対応点計算手段における初期探索位置を計
算する初期探索位置計算手段とから成り、最上位階層で
は微分画像作成手段を実行し、微分画像に対して階層画
像作成手段、画像分割手段、対応点計算手段、視差計算
手段を実行し、濃淡画像の最上位より１階層低い階層画
像から原画像までの解像度の画像に対して階層画像作成
手段、画像分割手段、初期探索位置計算手段、対応点計
算手段、視差計算手段を繰り返し実行することにより原
画像における視差を計算することを特徴とするものであ
る。In order to achieve the above-mentioned object, the present invention provides (1) a plurality of image pickup means and a plurality of original images picked up by the plurality of image pickup means in a hierarchical and lower order. Hierarchical image creating means for creating a hierarchical image having a resolution and one of the images taken by the imaging means as a main image, and the hierarchical image of the main image created by the hierarchical image creating means is divided into small blocks. Image dividing means for
Corresponding point calculating means for determining to which part of the hierarchical image of the same resolution each small block of the hierarchical image of the main image divided by the image dividing means, and the corresponding point calculating means The parallax calculation means for calculating the parallax from the position of the image of the corresponding portion and the position of the small block of the main image, and the parallax obtained by the parallax calculation means is propagated to the hierarchy one step lower, and the parallax calculation means Comprising an initial search position calculation means for calculating an initial search position, and calculating the parallax in the original image by repeatedly executing each of the means to an image having a resolution from the highest hierarchical image to the original image, or (2) A plurality of image capturing means, a differential image creating means for creating a differential image from the original image captured by the image capturing means, and a hierarchically lower level than the original image and the differential image. A hierarchical image creating unit that creates a hierarchical image that is an image of high resolution, and one of the images captured by the image capturing unit is a main image, and a differential image of the main image is a main differential image. Image dividing means for dividing the hierarchical image of the main image and the main differential image into small blocks, and each small block of the hierarchical image of the main image and the main differential image corresponds to which part of the hierarchical image of the same resolution of the other image. And a parallax calculation unit that calculates a parallax from the position of the image of the corresponding portion obtained by the corresponding point calculation unit and the position of the small block of the main image,
The parallax calculated by the parallax calculation means is propagated to the hierarchy one step lower, and the initial search position calculation means calculates the initial search position in the corresponding point calculation means, and the differential image creation means is executed in the uppermost hierarchy. , A hierarchical image creating means, an image dividing means, a corresponding point calculating means, and a parallax calculating means are executed for the differential image, and a hierarchy is obtained for an image having a resolution from the hierarchical image one layer lower than the top of the grayscale image to the original image It is characterized in that the parallax in the original image is calculated by repeatedly executing the image creating means, the image dividing means, the initial search position calculating means, the corresponding point calculating means, and the parallax calculating means.
【０００６】[0006]
【作用】複数の撮像手段により視野がわずかに異なる複
数の原画像を撮像する。撮像された画像のうち１枚を主
画像とし、他を副画像とする。階層画像作成手段により
主画像，副画像から階層的に、より低解像度の画像であ
る階層画像を作成する。次に、画像分割手段により主画
像の階層画像を小ブロックに分割する。次に、対応点計
算手段により前記小ブロックのそれぞれについてパター
ンマッチングによって副画像の同じ解像度の階層画像の
どの部分と最も一致するかを求める。求められた副画像
上の対応する部分の位置と主画像の階層画像の小ブロッ
クの位置から視差計算手段により各小ブロックの視差を
計算する。次に１階層下位（直前に処理した階層画像よ
り高解像度）の主画像の階層画像について画像分割手段
を実行する。ここで初期探索位置計算手段により１階層
上位で求められた視差を用いて初期探索位置を計算し、
計算された初期探索位置を中心とし、対応点計算手段に
より対応点を求め、視差計算手段により各ブロックの視
差を求める。このように、階層画像作成手段，画像分割
手段，初期探索位置計算手段，対応点計算手段，視差計
算手段を、最上位（最も解像度の低い）画像から原画像
（最も解像度の高い）画像まで繰り返し実行することに
より、原画像における主画像と副画像の視差を計算す
る。The plurality of image pickup means picks up a plurality of original images having slightly different fields of view. One of the captured images is the main image, and the other is the sub-image. A hierarchical image which is a lower resolution image is hierarchically created from the main image and the sub-image by the hierarchical image creating means. Next, the image division means divides the hierarchical image of the main image into small blocks. Next, the corresponding point calculation means determines which part of the hierarchical image of the same resolution of the sub-image is the best match for each of the small blocks by pattern matching. The parallax of each small block is calculated by the parallax calculation means from the position of the corresponding portion on the obtained sub-image and the position of the small block of the hierarchical image of the main image. Next, the image dividing means is executed for the layer image of the main image one layer lower (higher resolution than the layer image processed immediately before). Here, the initial search position calculation means calculates the initial search position using the parallax obtained at the upper level of one layer,
With the calculated initial search position as the center, corresponding points are calculated by the corresponding point calculation means, and the parallax of each block is calculated by the parallax calculation means. In this way, the hierarchical image creating means, the image dividing means, the initial search position calculating means, the corresponding point calculating means, and the parallax calculating means are repeated from the highest (lowest resolution) image to the original image (highest resolution) image. By executing the calculation, the parallax between the main image and the sub image in the original image is calculated.
【０００７】複数の撮像手段により視野がわずかに異な
る複数の原画像を撮像する。撮像された画像のうち１枚
を主画像とし他を副画像とする。微分画像作成手段によ
り主画像、副画像を空間微分して主微分画像、副微分画
像を作成する。階層画像作成手段により主画像、副画
像、および主微分画像、副微分画像から階層的により低
解像度の画像である階層画像を作成する。次に、画像分
割手段により主微分画像の階層画像を小ブロックに分割
する。次に、対応点計算手段により前記小ブロックのそ
れぞれについてパターンマッチングによって副微分画像
の同じ解像度の階層画像のどの部分と最も一致するかを
求める。求められた副微分画像の対応する部分の位置と
主微分画像の階層画像の小ブロックの位置から視差計算
手段により各小ブロックの視差を計算する。次に、１階
層下位（直前に処理した階層画像より高解像度）の主画
像、階層画像について画像分割手段を実行する。ここ
で、初期探索位置計算手段により１階層上位で求められ
た視差を用いて初期探索位置を計算し、計算された初期
探索位置を中心とし、対応点計算手段により対応点を求
め、視差計算手段により各ブロックの視差を求める。こ
のように、微分画像作成手段、階層画像作成手段、画像
分割手段、対応点計算手段、視差計算手段により最上位
階層では微分画像を用いた対応点探索を行ない、おおよ
その対応点を計算した後に、濃淡画像に対して階層画像
作成手段、画像分割手段、初期探索位置計算手段、対応
点計算手段、視差計算手段を、最上位（最も解像度の低
い）より１階層低い画像から原画像（最も解像度の高
い）画像まで繰り返し実行することにより、原画像にお
ける主画像と副画像の視差を高精度に計算する。A plurality of image pickup means picks up a plurality of original images having slightly different fields of view. One of the taken images is the main image and the other is the sub-image. The main image and the sub image are spatially differentiated by the differential image creating means to create the main differential image and the sub differential image. A hierarchical image that is a lower resolution image is hierarchically created from the main image, the sub image, the main differential image, and the sub differential image by the hierarchical image creating means. Next, the image division means divides the hierarchical image of the main differential image into small blocks. Next, the corresponding point calculation means determines, by pattern matching for each of the small blocks, which part of the hierarchical image of the same resolution of the sub-differential image that best matches. The parallax of each small block is calculated by the parallax calculation means from the position of the corresponding portion of the obtained sub differential image and the position of the small block of the hierarchical image of the main differential image. Next, the image dividing means is executed for the main image and the hierarchical image one layer below (higher resolution than the hierarchical image processed immediately before). Here, the initial search position is calculated by using the parallax calculated one level higher by the initial search position calculation means, and the corresponding point is calculated by the corresponding point calculation means with the calculated initial search position as the center. The parallax of each block is calculated by. In this manner, the differential image creating means, the hierarchical image creating means, the image dividing means, the corresponding point calculating means, and the parallax calculating means perform the corresponding point search using the differential image at the highest hierarchy, and after calculating the approximate corresponding points. , The hierarchical image creating means, the image dividing means, the initial search position calculating means, the corresponding point calculating means, and the parallax calculating means for the grayscale image from the image one layer lower than the highest (lowest resolution) to the original image (the highest resolution). Image), the parallax between the main image and the sub image in the original image is calculated with high accuracy.
【０００８】[0008]
【実施例】実施例について、図面を参照して以下に説明
する。図１は、本発明によるステレオ対応探索装置の一
実施例を説明するための構成図で、図中、１は画像メモ
リ、２は階層画像作成器、３は画像分割器、４は初期探
索位置計算器、５は対応点計算器、６は視差計算器であ
る。なお、本実施例では撮像手段の数は２であるとし、
撮像手段のレンズの中心を結ぶ線はそれぞれ撮像手段の
視線方向と直交するものとする。また、右側の撮像手段
により撮像された画像を主画像，左側の撮像手段により
撮像された画像を副画像として説明する。Embodiments will be described below with reference to the drawings. FIG. 1 is a block diagram for explaining an embodiment of a stereo correspondence search apparatus according to the present invention. In the figure, 1 is an image memory, 2 is a hierarchical image generator, 3 is an image divider, and 4 is an initial search position. A calculator, 5 is a corresponding point calculator, and 6 is a parallax calculator. In the present embodiment, the number of image pickup means is 2,
The lines connecting the centers of the lenses of the image pickup means are orthogonal to the line-of-sight direction of the image pickup means. In addition, an image captured by the right image capturing unit will be described as a main image, and an image captured by the left image capturing unit will be described as a sub image.
【０００９】画像メモリ１は、複数の撮像手段により撮
像された画像を蓄えるためのものである。階層画像作成
器２は、前記画像メモリ１から送られた画像データをも
とにして階層画像を作成する。画像分割器３は、前記階
層画像作成器２により作成された階層画像を小ブロック
に分割する。初期探索位置計算器４は、前記画像分割器
３により分割された各小ブロックに対して初期探索位置
を計算する。対応点計算器５は、前記初期探索位置計算
器４により計算された初期探探位置からパターンマッチ
ングによってブロックの対応点を計算する。視差計算器
６は、前記対応点計算器５により求められた対応点と主
画像のブロック位置から各小ブロックの視差を計算す
る。The image memory 1 is for storing images picked up by a plurality of image pickup means. The hierarchical image creator 2 creates a hierarchical image based on the image data sent from the image memory 1. The image divider 3 divides the hierarchical image created by the hierarchical image creator 2 into small blocks. The initial search position calculator 4 calculates an initial search position for each small block divided by the image divider 3. The corresponding point calculator 5 calculates corresponding points of the block by pattern matching from the initial search position calculated by the initial search position calculator 4. The parallax calculator 6 calculates the parallax of each small block from the corresponding point obtained by the corresponding point calculator 5 and the block position of the main image.
【００１０】図２及び図３は、本発明によるステレオ対
応探索装置の動作を説明するためのフローチャートであ
る。以下、各ステップに従って順に説明する。本実施例
では画像の大きさは（５１２画素×５１２画素）である
とし、解像度は階層が１段階上がるに連れて、ｘ，ｙ軸
方向とも１／２になるように階層画像を作成する。ま
た、最大階層は３階層（最大階層では画像の大きさは
（１２８画素×１２８画素））とした。2 and 3 are flow charts for explaining the operation of the stereo correspondence searching apparatus according to the present invention. Hereinafter, each step will be described in order. In the present embodiment, the size of the image is (512 pixels × 512 pixels), and the hierarchical image is created so that the resolution is halved in both the x and y axis directions as the hierarchy increases by one step. In addition, the maximum layer is set to three layers (the image size of the maximum layer is (128 pixels × 128 pixels)).
【００１１】step１：（画像入力） 複数の撮像手段からの視野の少し異なる画像が入力さ
れ、ｄを最大階層（＝３）にセットする。step２ ：（階層画像作成） 入力された主画像，副画像を階層的にｄ段階解像度を低
くした画像（第ｄ階層画像）を作成する。step３ ：（画像分割） 前記階層画像作成(step２)により作成された主画像の第
ｄ階層画像を、本実施例では（８画素×８画素）のｎ個
の小ブロックに分割する。このｎ個の小ブロックに対し
て初期探索位置計算(step４）から視差計算（step８）
まで実行することにより、第ｄ階層における各小ブロッ
クの視差を計算する。step４ ：（初期探索位置計算） 最上位階層では主画像の小ブロックの位置を初期探索位
置とする。Step 1 : (Image input) Images having slightly different fields of view are input from a plurality of image pickup means, and d is set to the maximum hierarchy (= 3). step2 : (Creation of hierarchical image) An image (d-th hierarchical image) in which the input main image and sub-image are hierarchically lowered in d-stage resolution is created. step3 : (Image division) The d-th hierarchical image of the main image created by the hierarchical image creation (step2) is divided into n small blocks of (8 pixels x 8 pixels) in this embodiment. From the initial search position calculation (step 4) to the parallax calculation (step 8) for these n small blocks
By executing the above, the parallax of each small block in the d-th layer is calculated. step4 : (Initial search position calculation) The position of the small block of the main image is set as the initial search position in the highest hierarchy.
【００１２】step５：（探索範囲決定） 次の一致度計算（step６）における主画像の小ブロック
に対する副画像の探索範囲を決定する。探索範囲は最上
位階層では初期探索位置からｘ軸方向には正方向に画面
全体，ｙ軸方向には正負の方向に数画素とする。step６，７ ：（対応点計算） 前記探索範囲決定（step５）で決定された探索範囲内の
主画像の小ブロックと副画像の各位置（探索位置）の一
致度を主画像の小ブロックと同じ大きさの窓内で輝度値
の差の絶対値の総和を計算することにより計算し、最も
一致度の高い（窓内の輝度値の差の絶対値の総和が最も
小さい）位置を対応点とする。[0012] step5 :( search range decision) to determine the search range of the sub-picture with respect to the small blocks of the main image in the next match degree calculating (step6). In the uppermost hierarchy, the search range is the entire screen in the positive direction in the x-axis direction and several pixels in the positive / negative direction in the y-axis direction from the initial search position. steps 6 and 7 : (corresponding point calculation) The degree of coincidence between the small block of the main image and each position (search position) of the sub-image within the search range determined in the search range determination (step 5) is the same as that of the small block of the main image. It is calculated by calculating the sum of the absolute values of the differences in the brightness value within the size window, and the position with the highest degree of matching (the smallest sum of the absolute values of the differences in the brightness values within the window) is defined as the corresponding point. To do.
【００１３】step８：（視差計算） 主画像の小ブロックの位置と対応点計算（step６，７）
で求められた対応点から第ｄ階層における主画像の各小
ブロックの視差を計算する。step９〜１１ ：次に、終了判定（ｉ＜ｎ）を行い、ｉ＜
ｎであれば、前記step４へ行き、ｉ＜ｎでなければ、ｄ
＝ｄ−１とし、更に、終了判定ｄ＞０を行い、ｄ＞０で
あれば、前記step２へ行き、ｄ＞０でなければ終了す
る。すなわち、階層を１段階下げて（解像度を１段階上
げて）、階層画像作成（step２）により主画像、副画像
の階層画像を作成し、画像分割（step３）により主画像
の階層画像を小ブロックに分割する。初期探索位置計算
（step４）では１階層上位で求められた視差を用いて初
期探索位置を計算する。[0013] step8 :( parallax calculation) corresponding point calculated position of the small block of the main image (Step6,7)
The parallax of each small block of the main image in the d-th layer is calculated from the corresponding points obtained in step a. step9-11 : Next, the end judgment (i <n) is performed and i <n
If n, go to step 4, and if i <n, d
= D−1, and further, an end judgment d> 0 is performed. If d> 0, go to step 2, and if d> 0, end. That is, the hierarchy is lowered by one step (the resolution is increased by one step), the hierarchy image of the main image and the sub-image is created by the hierarchy image creation (step 2), and the hierarchy image of the main image is divided into small blocks by the image division (step 3). Split into. In the initial search position calculation (step 4), the initial search position is calculated using the parallax obtained at the upper level of one layer.
【００１４】図４は、初期探索位置の計算について説明
するための図である。今、視差を求めようとしている主
画像の第ｄ階層の小ブロックが、（ｉ，ｊ） dブロック
（ｘ軸方向にｉ番目，ｙ軸方向にｊ番目のブロック）で
あるとすると、このブロックは１階層上位では解像度が
ｘ，ｙ方向とも１／２になるので、（〔ｉ／２〕，〔ｉ
／２〕）d+1ブロックに属していることになる。（〔〕
はガウス記号である。）FIG. 4 illustrates the calculation of the initial search position.
FIG. Now, the lord trying to find the parallax
The small block in the d-th layer of the image is (i, j) dblock
(I-th block in the x-axis direction and j-th block in the y-axis direction)
If so, this block has a higher resolution
Since it becomes 1/2 in both the x and y directions, ([i / 2], [i
/ 2])d + 1You belong to the block. ([]
Is the Gaussian symbol. )
【００１５】この（〔ｉ／２〕，〔ｉ／２〕）d+1ブロ
ックの視差がｄｉｓｐ＝（ｄｉｓｐｘ，ｄｉｓｐｙ）で
あったとすると、前記の通り第ｄ＋１階層画像は第ｄ階
層画像の１／２なので（ｉ，ｊ）dブロックの視差は
（〔ｉ／２〕，〔ｉ／２〕）d+1ブロックの視差の２倍
すなわち２×ｄｉｓｐとなる。したがって、初期探索索
位置は（ｉ，ｊ）dブロックから２×ｄｉｓｐ離れた位
置となる。Assuming that the parallax of the ([i / 2], [i / 2]) d + 1 block is disp = (dispx, dispy), the d + 1th layer image is one of the dth layer images as described above. Since it is / 2, the parallax of the (i, j) d block is twice the parallax of the ([i / 2], [i / 2]) d + 1 block, that is, 2 × disp. Therefore, the initial search search position is a position separated from the (i, j) d block by 2 × disp.
【００１６】このようにして初期探索位置計算（step
４）で初期探索位置が計算される。次の探索範囲決定
（step５）は、上位の階層で大まかな位置合わせがなさ
れているので、対応点は初期探索位置の近くに存在する
と考えられ、探索範囲をｘ，ｙ軸方向ともに正負方向に
数画素に絞り込む。対応点探索（step６，７)、視差計
算(step８)では上記同様の処理をし、視差を計算する。
このように、階層画像作成（step２）から視差計算（st
ep８）までを最上位階層画像から原画像までの解像度の
画像に対して繰り返し実行することにより、原画像の各
小ブロックに対する視差を計算する。In this way, the initial search position calculation (step
In 4) the initial search position is calculated. Since the next search range determination (step 5) is roughly performed in the upper hierarchy, it is considered that the corresponding points exist near the initial search position, and the search range is set in the positive and negative directions in both the x and y axis directions. Narrow down to a few pixels. In the corresponding point search (steps 6 and 7) and the parallax calculation (step 8), the same processing as above is performed to calculate the parallax.
In this way, parallax calculation (st
Up to ep8), the parallax for each small block of the original image is calculated by repeatedly executing the images of resolutions from the highest hierarchical image to the original image.
【００１７】図５は、本発明によるステレオ対応探索装
置の他の実施例を示す図で、図中、２１は画像メモリ、
２２は階層画像作成器、２３は画像分割器、２４は初期
探索位置計算器、２５は対応点計算器、２６は視差計算
器、２７は微分画像作成器である。FIG. 5 is a diagram showing another embodiment of the stereo correspondence searching apparatus according to the present invention, in which 21 is an image memory,
Reference numeral 22 is a hierarchical image creator, 23 is an image divider, 24 is an initial search position calculator, 25 is a corresponding point calculator, 26 is a parallax calculator, and 27 is a differential image creator.
【００１８】画像メモリ２１は、複数の撮像手段により
撮像された画像を蓄えるためのものである。微分画像作
成器２７は、前記画像メモリ２１から送られた画像デー
タを空間微分する。階層画像作成器２２は、前記画像メ
モリ２１または微分画像作成器２７から送られた画像デ
ータから階層画像を作成する。画像分割器２３は、前記
階層画像作成器２２により作成された階層画像を小ブロ
ックに分割する。初期探索位置計算器２４は、前記画像
分割器２７により分割された各小ブロックに対して初期
探索位置を計算する。対応点計算器２５は、前記初期探
索位置計算器２４により計算された初期探索位置からパ
ターンマッチングにより各ブロックの対応点を計算す
る。視差計算器２６は、前記対応点計算器２５により求
められた対応点と主画像のブロックの位置から各小ブロ
ックの視差を計算する。The image memory 21 is for storing images picked up by a plurality of image pickup means. The differential image generator 27 spatially differentiates the image data sent from the image memory 21. The hierarchical image creator 22 creates a hierarchical image from the image data sent from the image memory 21 or the differential image creator 27. The image divider 23 divides the hierarchical image created by the hierarchical image creator 22 into small blocks. The initial search position calculator 24 calculates an initial search position for each small block divided by the image divider 27. The corresponding point calculator 25 calculates corresponding points of each block by pattern matching from the initial search position calculated by the initial search position calculator 24. The parallax calculator 26 calculates the parallax of each small block from the corresponding point obtained by the corresponding point calculator 25 and the position of the block of the main image.
【００１９】図６及び図７は、図５における他の実施例
の動作を説明するためのフローチャートである。本実施
例では、図１に示す実施例と同様に、画像の大きさは
（５１２画素×５１２画素）であるとし、解像度は階層
が１段階上がるにつれて、ｘ，ｙ軸方向ともに１／２に
なるよう階層画像を作成する。また、最大階層は３階層
（最大階層では画像の大きさは（１２８画素×１２８画
素））とした。6 and 7 are flow charts for explaining the operation of the other embodiment in FIG. In this embodiment, as in the embodiment shown in FIG. 1, the size of the image is (512 pixels × 512 pixels), and the resolution is halved in both the x and y axis directions as the hierarchy increases by one step. Create a hierarchical image so that In addition, the maximum layer is set to three layers (the image size of the maximum layer is (128 pixels × 128 pixels)).
【００２０】step１：（画像入力） 複数の撮像手段から視野の少し異なる画像が入力され、
ｄを最大階層（＝３）にセットする。step２ ：（微分画像作成） 入力された主画像、副画像に空間微分を施し、それぞれ
主微分画像、副微分画像を作成する。step３ ：（階層画像作成） 入力された主微分画像、副微分画像を階層的にｄ段階解
像度を低くした画像（第ｄ階層画像）を作成する。step４ ：（画像分割） 前記階層画像作成（step３）により作成された主微分画
像の第ｄ階層画像を本実施例では（８画素×８画素）の
ｎ個の小ブロックに分割する。このｎ個の小ブロックに
対して初期探索位置計算（step５）から視差計算（step
９）までを実行することにより、第ｄ階層における各小
ブロックの視差を計算する。step５ ：（初期探索位置計算） 最上位階層では主微分画像の小ブロックの位置を初期探
索位置とする。Step 1 : (Image input) Images having slightly different fields of view are input from a plurality of image pickup means,
Set d to the maximum hierarchy (= 3). step2 : (differential image creation) Spatial differentiation is applied to the input main image and sub-image to create a main differential image and a sub-differential image, respectively. step3 : (Creation of hierarchical image) An image (d-th hierarchical image) in which the input main differential image and sub differential image are hierarchically lowered in d-stage resolution is created. The first d-layer image of the main differential image created by step4 :( image segmentation) the hierarchical image creation (step3) in this embodiment is divided into n small blocks (8 pixels × 8 pixels). From the initial search position calculation (step 5) to the parallax calculation (step
By executing steps up to 9), the parallax of each small block in the d-th layer is calculated. step5 : (Calculation of initial search position) At the highest hierarchy, the position of the small block of the main differential image is set as the initial search position.
【００２１】step６：（探索範囲決定） 次の一致度計算（step７）における主微分画像の小ブロ
ックに対する副微分画像の探索範囲を決定する。探索範
囲は最上位階層では初期探索位置からｘ軸方向には正方
向に画面全体、ｙ軸方向には正負の方向に数画素とす
る。step７，８ ：（対応点計算） 前記探索範囲決定（step６）で決定された探索範囲内の
主微分画像の小ブロックと副微分画像の各位置（探索位
置）の一致度を主微分画像の小ブロックと同じ大きさの
窓内で輝度値の差の絶対値の総和を計算することにより
計算し、最も一致度の高い（窓内の輝度値の差の絶対値
の総和が最も小さい）位置を対応点とする。Step 6 : (Determination of Search Range) The search range of the sub differential image with respect to the small block of the main differential image in the next matching degree calculation (step 7) is determined. In the uppermost hierarchy, the search range is the entire screen in the positive direction in the x-axis direction and several pixels in the positive / negative direction in the y-axis direction from the initial search position. Steps 7 and 8 : (corresponding point calculation) The degree of coincidence between the small blocks of the main differential image and the respective positions (search positions) of the sub differential image within the search range determined in the search range determination (step 6) is determined to be small in the main differential image. It is calculated by calculating the sum of the absolute values of the differences in the brightness values within the window of the same size as the block, and the position with the highest degree of coincidence (the sum of the absolute values of the differences in the brightness values within the window is the smallest) is found. Make it a corresponding point.
【００２２】step９：（視差計算） 主微分画像の小ブロックの位置と対応点計算（step７，
８）で求められた対応点から第ｄ階層における主微分画
像の各小ブロックの視差を計算する。step１０〜１２ ：次に、終了判定（ｉ＜ｎ）を行い、ｉ
＜ｎであれば、前記step５へ行き、ｉ＜ｎでなければ、
ｄ＝ｄ−１とし、更に終了判定（ｄ＞０）を行い、ｄ＞
０であれば、前記step３へ行き、ｄ＞０でなければ終了
する。すなわち、階層を１段階下げて（解像度を１段階
上げて）、階層画像作成（step３）により主画像、副画
像の階層画像を作成し、画像分割（step４）により主画
像の階層画像を小ブロックに分割する。初期探索位置計
算（step５）では１階層上位で求められた視差を用いて
初期探索位置を計算する。Step 9 : (parallax calculation) Positions of small blocks in the main differential image and corresponding points are calculated (step 7,
The parallax of each small block of the main differential image in the d-th layer is calculated from the corresponding points obtained in 8). step10-12 : Next, the end judgment (i <n) is performed, and i
If <n, go to step 5, and if i <n,
Set d = d-1, further determine the end (d> 0), and d>
If it is 0, go to the step 3, and if d> 0, end. That is, the hierarchy is lowered by one step (resolution is increased by one step), the hierarchy image of the main image and the sub-image is created by the hierarchy image creation (step 3), and the hierarchy image of the main image is divided into small blocks by the image division (step 4). Split into. In the initial search position calculation (step 5), the initial search position is calculated using the parallax obtained at the upper level of one hierarchy.
【００２３】この場合の初期探索位置の計算について
は、図４の説明と同様であり、初期探索位置は（ｉ，
ｊ）dブロックから２×ｄｉｓｐ離れた位置となる。こ
のようにして初期探索位置計算（step５）で初期探索位
置が計算される。前記探索範囲決定（step６）は、上位
の階層で大まかな位置合わせがなされているので、対応
点は初期探索位置の近くに存在すると考えられ、探索範
囲をｘ，ｙ軸方向ともに正負方向に数画素に絞り込む。
対応点探索（step７，８）、視差計算（step９）では上
記同様の処理をして視差を計算する。The calculation of the initial search position in this case is the same as that described in FIG. 4, and the initial search position is (i,
j) The position is 2 × disp away from the d block. In this way, the initial search position is calculated in the initial search position calculation (step 5). In the search range determination (step 6), since the rough alignment is performed in the upper hierarchy, it is considered that the corresponding point exists near the initial search position, and the search range is calculated in the positive and negative directions in both the x and y axis directions. Narrow down to pixels.
In the corresponding point search (steps 7 and 8) and parallax calculation (step 9), parallax is calculated by performing the same processing as above.
【００２４】このように、最上位階層では微分画像作成
（step２）から視差計算（step９）までを実行すること
によりエッジによる対応点探索を行ない、階層画像作成
（step３）から視差計算（step９）までを濃淡画像の最
上位階層より１階層低い画像から原画像までの解像度の
画像に対して繰り返し実行することにより、原画像の各
小ブロックに対する視差を計算する。本発明では、最上
位階層では微分画像の階層画像を用いて低解像度画像で
も誤対応の少ない対応点探索を行ない、以下の階層では
濃淡画像の階層画像を用いて次第に高精度な対応点を計
算する。As described above, in the highest hierarchy, the differential image creation (step 2) to the parallax calculation (step 9) are executed to search for corresponding points by edges, and the hierarchical image creation (step 3) to the parallax calculation (step 9). Is repeatedly executed for an image having a resolution from the image one layer lower than the highest layer of the grayscale image to the original image, thereby calculating the parallax for each small block of the original image. In the present invention, in the highest layer, a hierarchical image of a differential image is used to perform a corresponding point search with a small number of false correspondences even in a low-resolution image, and in the following layers, a hierarchical image of a grayscale image is used to gradually calculate highly accurate corresponding points. To do.
【００２５】図８は、一致度の差を示すグラフである。
本発明と同様に階層画像を用いる場合でも、全てを濃淡
画像の階層画像で対応点を計算するのと、最上位階層で
は微分画像の階層画像を用いるので一致度は図８のよう
な差が現れる。実線が濃淡画像を用いた場合、細かい点
線が微分画像を用いた場合の一致度、粗い垂直方向の点
線が真の対応点である（横軸がｘ座標、縦軸が輝度値の
差の絶対値の逆数）。濃淡画像の階層画像を用いると上
位の階層では解像度がかなり低下しているので、本来対
応すべき点と同様の一致度を持つ点が複数存在しやすく
なる。一方、最上位階層で微分画像を用いると、微分に
より画像からエッジが抽出されるので、エッジによる対
応点探索の効果が得られ、誤対応を少なくすることがで
きる。FIG. 8 is a graph showing the difference in coincidence.
Even when the hierarchical images are used as in the present invention, the corresponding points are all calculated by the hierarchical images of the grayscale images, and the hierarchical images of the differential images are used in the uppermost hierarchy, so that there is a difference in matching degree as shown in FIG. appear. If the solid line is a grayscale image, the fine dotted line is the degree of coincidence when the differential image is used, and the rough vertical dotted line is the true corresponding point (the horizontal axis is the x coordinate, the vertical axis is the absolute difference in luminance value). The reciprocal of the value). When the hierarchical image of the grayscale image is used, the resolution is considerably lowered in the upper hierarchy, so that it is likely that a plurality of points having the same degree of coincidence as the points that should be originally corresponded to exist. On the other hand, when the differential image is used in the highest layer, the edge is extracted from the image by the differential, so that the effect of searching the corresponding point by the edge can be obtained and the miscorrespondence can be reduced.
【００２６】[0026]
【発明の効果】以上のように、本発明によれば、以下の
ような効果がある。 （１）請求項１に対応する効果：複数の撮像手段により
撮像された画像から、低解像度画像による視差計算で概
ねの視差を計算し、次第に高解像度画像を用いるに従っ
て正確な視差を計算することが可能となる。また、低解
像度画像を用いて視差を計算し、概ねの対応を計算する
ことにより、高解像度での対応点探索範囲が狭められ高
速化が可能となる。さらに、低解像度での視差が高解像
度画像での対応点探索に伝搬するので周囲の点との視差
の整合性を図ることが可能となる。 （２）請求項２に対応する効果：複数の撮像手段により
撮像された画像から、微分画像の低解像度画像による視
差計算で概ねの視差を計算し、原画像の低解像度画像か
ら次第に高解像度を用いるに従って正確な視差を計算す
ることが可能となる。また、低解像度画像を用いて視差
を計算し、概ねの対応を計算することにより、高解像度
での対応点探索範囲が狭められ高速化が可能となる。さ
らに、低解像度での視差が高解像度画像での対応点探索
に伝播するので周囲の点との視差の整合性を図ることが
可能となる。階層画像を用いた対応点探索では、最上位
での対応点が誤っているとその結果が下位に伝播するの
で、最上位階層での誤対応を低減することが必須とな
る。このために、最上位階層では、微分画像の階層画像
を用いたエッジによる対応点探索、以下の階層では濃淡
画像の階層画像を用いた対応点探索により、信頼性が高
く高速な対応点探索を実現することができる。As described above, the present invention has the following effects. (1) Effect corresponding to claim 1: From images picked up by a plurality of image pickup means, approximate parallax is calculated by parallax calculation using low-resolution images, and accurate parallax is gradually calculated as high-resolution images are used. Is possible. Further, by calculating the parallax using the low-resolution image and calculating the approximate correspondence, the corresponding point search range in the high resolution can be narrowed and the speed can be increased. Further, since the parallax at the low resolution propagates to the corresponding point search in the high resolution image, the parallax matching with surrounding points can be achieved. (2) Effect corresponding to claim 2: From images picked up by a plurality of image pickup means, approximate parallax is calculated by parallax calculation using low-resolution images of differential images, and high resolution is gradually increased from low-resolution images of original images. It is possible to calculate an accurate parallax as it is used. Further, by calculating the parallax using the low-resolution image and calculating the approximate correspondence, the corresponding point search range in the high resolution can be narrowed and the speed can be increased. Furthermore, since the parallax at the low resolution propagates to the corresponding point search in the high resolution image, the parallax matching with surrounding points can be achieved. In the corresponding point search using a hierarchical image, if the corresponding point at the highest rank is incorrect, the result propagates to the lower order, so it is essential to reduce the false correspondence at the highest hierarchy. Therefore, in the highest layer, a corresponding point search by edge using a hierarchical image of a differential image, and in the following layers, a corresponding point search using a hierarchical image of a grayscale image enables reliable and high-speed corresponding point search. Can be realized.
【図１】本発明によるステレオ対応探索装置の一実施例
を説明するための構成図である。FIG. 1 is a configuration diagram for explaining an embodiment of a stereo correspondence search apparatus according to the present invention.
【図２】本発明によるステレオ対応探索装置の動作を説
明するためのフローチャート（その１）である。FIG. 2 is a flowchart (No. 1) for explaining the operation of the stereo correspondence search apparatus according to the present invention.
【図３】本発明によるステレオ対応探索装置の動作を説
明するためのフローチャート（その２）である。FIG. 3 is a flowchart (part 2) for explaining the operation of the stereo correspondence search apparatus according to the present invention.
【図４】本発明に用いる階層的ブロックマッチング（疎
密探索法）を説明するための図である。FIG. 4 is a diagram for explaining hierarchical block matching (sparse / dense search method) used in the present invention.
【図５】本発明によるステレオ対応探索装置の他の実施
例を示す図である。FIG. 5 is a diagram showing another embodiment of the stereo correspondence search apparatus according to the present invention.
【図６】本発明の他の実施例の動作を説明するためのフ
ローチャート（その１）である。FIG. 6 is a flowchart (part 1) for explaining the operation of another embodiment of the present invention.
【図７】本発明の他の実施例の動作を説明するためのフ
ローチャート（その２）である。FIG. 7 is a flowchart (part 2) for explaining the operation of another embodiment of the present invention.
【図８】本発明における最上位階層での濃淡画像での一
致度と微分（ソーベル）画像での一致度を比較したグラ
フを示す図である。FIG. 8 is a diagram showing a graph comparing the degree of coincidence in a grayscale image and the degree of coincidence in a differential (Sobel) image in the highest layer in the present invention.
１…画像メモリ、２…階層画像作成器、３…画像分割
器、４…初期探索位置計算器、５…対応点計算器、６…
視差計算器。1 ... Image memory, 2 ... Hierarchical image generator, 3 ... Image divider, 4 ... Initial search position calculator, 5 ... Corresponding point calculator, 6 ...
Parallax calculator.
Claims (2)
より撮像された複数の原画像より階層的に、より低解像
度の画像である階層画像を作成する階層画像作成手段
と、前記撮像手段により撮像された画像の一方を主画像
とし、前記階層画像作成手段により作成された主画像の
階層画像を小ブロックに分割する画像分割手段と、該画
像分割手段により分割された主画像の階層画像の各小ブ
ロックが他の画像の同じ解像度の階層画像のどの部分に
対応するかを求める対応点計算手段と、該対応点計算手
段により求められた対応部分の画像の位置と主画像の小
ブロックの位置から視差を計算する視差計算手段と、該
視差計算手段により求められた視差を１段階下位の階層
に伝播し、前記対応点計算手段における初期探索位置を
計算する初期探索位置計算手段とから成り、前記各手段
を、最上位の階層画像から原画像までの解像度の画像に
繰り返し実行することにより原画像における視差を計算
することを特徴とするステレオ対応探索装置。1. A plurality of imaging means, a hierarchical image creating means for creating a hierarchical image which is a lower resolution image hierarchically from a plurality of original images taken by the plurality of imaging means, and the imaging means. Image division means for dividing one of the images captured by the main image as a main image into sub-blocks of the main image created by the hierarchy image creating means, and a hierarchy image of the main image divided by the image dividing means. Corresponding point calculating means for determining to which part of each hierarchical image of the other image having the same resolution, and the position of the image of the corresponding part obtained by the corresponding point calculating means and the small block of the main image Parallax calculation means for calculating the parallax from the position of, and an initial search position for propagating the parallax obtained by the parallax calculation means to the hierarchy one step lower and calculating an initial search position in the corresponding point calculation means. A stereo correspondence search apparatus comprising: a calculation means, and calculating the parallax in the original image by repeatedly executing each of the means for an image having a resolution from the highest hierarchical image to the original image.
像された原画像より微分画像を作成する微分画像作成手
段と、前記原画像および前記微分画像より階層的に、よ
り低解像度の画像である階層画像を作成する階層画像作
成手段と、前記撮像手段により撮像された画像の一方を
主画像、主画像の微分画像を主微分画像とし、階層画像
作成手段により作成された主画像および主微分画像の階
層画像を小ブロックに分割する画像分割手段と、前記主
画像および主微分画像の階層画像の各小ブロックが他の
画像の同じ解像度の階層画像のどの部分に対応するかを
求める対応点計算手段と、該対応点計算手段により求め
られた対応部分の画像の位置と主画像の小ブロックの位
置から視差を計算する視差計算手段と、該視差計算手段
により求められた視差を１段階下位の階層に伝播し、対
応点計算手段における初期探索位置を計算する初期探索
位置計算手段とから成り、最上位階層では微分画像作成
手段を実行し、微分画像に対して階層画像作成手段、画
像分割手段、対応点計算手段、視差計算手段を実行し、
濃淡画像の最上位より１階層低い階層画像から原画像ま
での解像度の画像に対して階層画像作成手段、画像分割
手段、初期探索位置計算手段、対応点計算手段、視差計
算手段を繰り返し実行することにより原画像における視
差を計算することを特徴とするステレオ対応探索装置。2. A plurality of image pickup means, a differential image creating means for creating a differential image from the original image picked up by the image pickup means, and a lower resolution image hierarchically from the original image and the differential image. A hierarchical image creating means for creating a certain hierarchical image, and one of the images captured by the imaging means as a main image, a differential image of the main image as a main differential image, and the main image and the primary differential image created by the hierarchical image creating means. Image dividing means for dividing a hierarchical image of an image into small blocks, and corresponding points for determining to which part of the hierarchical image of the same resolution each small block of the hierarchical image of the main image and the main differential image corresponds. Calculating means, disparity calculating means for calculating disparity from the position of the image of the corresponding portion obtained by the corresponding point calculating means and the position of the small block of the main image, and the disparity obtained by the disparity calculating means. The difference consists of an initial search position calculating means for propagating the difference to the hierarchy one step lower and calculating an initial search position in the corresponding point calculating means. The differential image creating means is executed in the uppermost hierarchy, and the hierarchical image is applied to the differential image. Executing the creating means, the image dividing means, the corresponding point calculating means, the parallax calculating means,
Repeatingly executing the hierarchical image creating means, the image dividing means, the initial search position calculating means, the corresponding point calculating means, and the parallax calculating means on the images having the resolutions from the hierarchical image one layer lower than the top of the grayscale image to the original image. A stereo correspondence searching apparatus, characterized in that the parallax in the original image is calculated by the following.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5247172A JP2966248B2 (en) | 1993-10-01 | 1993-10-01 | Stereo compatible search device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5247172A JP2966248B2 (en) | 1993-10-01 | 1993-10-01 | Stereo compatible search device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07103734A true JPH07103734A (en) | 1995-04-18 |
| JP2966248B2 JP2966248B2 (en) | 1999-10-25 |
Family
ID=17159517
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5247172A Expired - Fee Related JP2966248B2 (en) | 1993-10-01 | 1993-10-01 | Stereo compatible search device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2966248B2 (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07120255A (en) * | 1993-10-27 | 1995-05-12 | Fuji Heavy Ind Ltd | Distance detector for vehicle |
| US6641269B2 (en) | 2000-03-24 | 2003-11-04 | Seiko Epson Corporation | Indicated position detection by multiple resolution image analysis |
| JP2004279031A (en) * | 2003-03-12 | 2004-10-07 | Toyota Central Res & Dev Lab Inc | Apparatus and method for detecting distance distribution |
| US6996266B2 (en) | 2000-08-11 | 2006-02-07 | Minolta Co., Ltd. | Method and apparatus for generating three-dimensional data of an object by selecting the method for detecting corresponding points that is suitable to the object |
| JP2008082870A (en) * | 2006-09-27 | 2008-04-10 | Setsunan Univ | Image processing program, and road surface state measuring system using this |
| US7471809B2 (en) | 2003-01-31 | 2008-12-30 | Seiko Epson Corporation | Method, apparatus, and program for processing stereo image |
| JP2009282762A (en) * | 2008-05-22 | 2009-12-03 | Konica Minolta Holdings Inc | Corresponding point retrieval device |
| JP2011028662A (en) * | 2009-07-29 | 2011-02-10 | Sony Corp | Image processing device, image pickup device, image processing method, and program |
| WO2013080697A1 (en) | 2011-11-29 | 2013-06-06 | ソニー株式会社 | Image processing device, image processing method and program |
| WO2016208200A1 (en) * | 2015-06-24 | 2016-12-29 | 京セラ株式会社 | Image processing device, stereo camera device, vehicle, and image processing method |
| JP2019184587A (en) * | 2018-03-30 | 2019-10-24 | キヤノン株式会社 | Parallax detection device, parallax detection method, and parallax detection device control program |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4517449B2 (en) * | 2000-05-10 | 2010-08-04 | 株式会社豊田中央研究所 | Correlation calculation method for images |
-
1993
- 1993-10-01 JP JP5247172A patent/JP2966248B2/en not_active Expired - Fee Related
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07120255A (en) * | 1993-10-27 | 1995-05-12 | Fuji Heavy Ind Ltd | Distance detector for vehicle |
| US6641269B2 (en) | 2000-03-24 | 2003-11-04 | Seiko Epson Corporation | Indicated position detection by multiple resolution image analysis |
| US6996266B2 (en) | 2000-08-11 | 2006-02-07 | Minolta Co., Ltd. | Method and apparatus for generating three-dimensional data of an object by selecting the method for detecting corresponding points that is suitable to the object |
| US7471809B2 (en) | 2003-01-31 | 2008-12-30 | Seiko Epson Corporation | Method, apparatus, and program for processing stereo image |
| JP2004279031A (en) * | 2003-03-12 | 2004-10-07 | Toyota Central Res & Dev Lab Inc | Apparatus and method for detecting distance distribution |
| JP2008082870A (en) * | 2006-09-27 | 2008-04-10 | Setsunan Univ | Image processing program, and road surface state measuring system using this |
| JP2009282762A (en) * | 2008-05-22 | 2009-12-03 | Konica Minolta Holdings Inc | Corresponding point retrieval device |
| JP2011028662A (en) * | 2009-07-29 | 2011-02-10 | Sony Corp | Image processing device, image pickup device, image processing method, and program |
| EP2293243A2 (en) | 2009-07-29 | 2011-03-09 | Sony Corporation | Image processing apparatus, image capture apparatus, image processing method, and program |
| US8416989B2 (en) | 2009-07-29 | 2013-04-09 | Sony Corporation | Image processing apparatus, image capture apparatus, image processing method, and program |
| WO2013080697A1 (en) | 2011-11-29 | 2013-06-06 | ソニー株式会社 | Image processing device, image processing method and program |
| WO2016208200A1 (en) * | 2015-06-24 | 2016-12-29 | 京セラ株式会社 | Image processing device, stereo camera device, vehicle, and image processing method |
| JP6121641B1 (en) * | 2015-06-24 | 2017-04-26 | 京セラ株式会社 | Image processing apparatus, stereo camera apparatus, vehicle, and image processing method |
| US10360462B2 (en) | 2015-06-24 | 2019-07-23 | Kyocera Corporation | Image processing device, stereo camera device, vehicle, and image processing method |
| JP2019184587A (en) * | 2018-03-30 | 2019-10-24 | キヤノン株式会社 | Parallax detection device, parallax detection method, and parallax detection device control program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2966248B2 (en) | 1999-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100513055B1 (en) | 3D scene model generation apparatus and method through the fusion of disparity map and depth map | |
| US20200026930A1 (en) | Lane line detection method and apparatus | |
| US6671399B1 (en) | Fast epipolar line adjustment of stereo pairs | |
| JP5870273B2 (en) | Object detection apparatus, object detection method, and program | |
| US7471809B2 (en) | Method, apparatus, and program for processing stereo image | |
| KR100745691B1 (en) | Binocular or multi-view stereo matching apparatus and its method using occlusion area detection | |
| CN108470356B (en) | Target object rapid ranging method based on binocular vision | |
| KR20120068470A (en) | Apparatus for matching stereo image and method thereof | |
| JP2004117078A (en) | Obstacle detection device and method | |
| WO2007052191A2 (en) | Filling in depth results | |
| JPH07103734A (en) | Apparatus for searching stereocorrespondence | |
| US6480620B1 (en) | Method of and an apparatus for 3-dimensional structure estimation | |
| JP4296617B2 (en) | Image processing apparatus, image processing method, and recording medium | |
| JP3008875B2 (en) | Subject extraction device | |
| JP4394487B2 (en) | Stereo image processing device | |
| JP2001266128A (en) | Method and device for obtaining depth information and recording medium recording depth information obtaining program | |
| JPH05215547A (en) | Method for determining corresponding points between stereo images | |
| CN110717910B (en) | CT image target detection method based on convolutional neural network and CT scanner | |
| JP2802034B2 (en) | 3D object measurement method | |
| JP2001153633A (en) | Stereoscopic shape detecting method and its device | |
| Um et al. | Three-dimensional scene reconstruction using multiview images and depth camera | |
| US9380285B2 (en) | Stereo image processing method, stereo image processing device and display device | |
| JP2807137B2 (en) | 3D shape detection method | |
| Sato et al. | Efficient hundreds-baseline stereo by counting interest points for moving omni-directional multi-camera system | |
| WO2020095549A1 (en) | Imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |