KR100851055B1 - The stereo matching method using edge projection - Google Patents

The stereo matching method using edge projection Download PDF

Info

Publication number
KR100851055B1
KR100851055B1 KR1020050037681A KR20050037681A KR100851055B1 KR 100851055 B1 KR100851055 B1 KR 100851055B1 KR 1020050037681 A KR1020050037681 A KR 1020050037681A KR 20050037681 A KR20050037681 A KR 20050037681A KR 100851055 B1 KR100851055 B1 KR 100851055B1
Authority
KR
South Korea
Prior art keywords
edge
edge projection
stereo matching
projection
size
Prior art date
Application number
KR1020050037681A
Other languages
Korean (ko)
Other versions
KR20060115237A (en
Inventor
정문호
유범재
하종은
강동중
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020050037681A priority Critical patent/KR100851055B1/en
Publication of KR20060115237A publication Critical patent/KR20060115237A/en
Application granted granted Critical
Publication of KR100851055B1 publication Critical patent/KR100851055B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 에지투영(edge projection)을 이용한 스테레오 매칭방법에 관한 것으로, 특히 2대의 카메라를 이용하여 3차원 복원을 수행하는 스테레오 분야 중에서 2장의 이미지 상에서의 대응점을 찾기 위한 방법에 관한 것이다.The present invention relates to a stereo matching method using edge projection, and more particularly, to a method for finding corresponding points on two images in a stereo field in which three-dimensional reconstruction is performed using two cameras.

본 발명의 에지투영을 이용한 스테레오 매칭방법은 입력화상에서 각각의 픽셀에 대해 에지정보를 구하는 제1단계; 상기 에지정보를 이용하여 수평 에지투영을 위하여 수평 방향으로 에지크기를 누적하고, 수직 에지투영을 위하여 수직 방향으로 에지크기를 누적하는 제2단계; 상기 입력화상의 한 지점에서 일정한 크기를 가지는 윈도우 내에서 수평 및 수직 방향으로 에지투영성분을 구하는 제3단계; 및 상기 에지투영성분을 이용하여 왼쪽 화상과 오른쪽 화상의 비교를 통해 스테레오 매칭을 수행하는 제4단계;를 포함하는 것을 특징으로 한다.Stereo matching method using the edge projection of the present invention comprises the steps of obtaining the edge information for each pixel in the input image; A second step of accumulating edge sizes in a horizontal direction for horizontal edge projection using the edge information, and accumulating edge sizes in a vertical direction for vertical edge projection; Obtaining an edge projection component in horizontal and vertical directions in a window having a constant size at a point in the input image; And a fourth step of performing stereo matching by comparing the left image and the right image using the edge projection component.

스테레오, 매칭, 에지투영, 3차원 Stereo, Matching, Edge Projection, 3D

Description

에지투영을 이용한 스테레오 매칭방법{The stereo matching method using edge projection}Stereo matching method using edge projection

도 1은 종래의 국소영역 기반의 밝기값을 이용한 전통적인 매칭방법을 나타낸 도면이다.1 is a diagram illustrating a conventional matching method using a conventional local area-based brightness value.

도 2는 본 발명의 국소영역의 수직 및 수평 상의 에지투영정보를 이용한 스테레오 매칭방법을 나타낸 도면이다.2 is a diagram showing a stereo matching method using vertical and horizontal edge projection information of a local area of the present invention.

도 3은 본 발명의 수직방향으로 에지투영정보를 이용하여 원하는 지점에서 임의의 크기를 가지는 윈도우 내에서 에지투영정보를 구하는 것을 나타낸 도면이다.3 is a diagram illustrating edge projection information obtained in a window having an arbitrary size at a desired point using edge projection information in a vertical direction of the present invention.

도 4는 본 발명의 수평방향으로 에지투영정보를 이용하여 원하는 지점에서 임의의 크기를 가지는 윈도우 내에서 에지투영정보를 구하는 것을 나타낸 도면이다.FIG. 4 is a diagram illustrating obtaining edge projection information in a window having an arbitrary size at a desired point using edge projection information in a horizontal direction of the present invention.

본 발명은 에지투영(edge projection)을 이용한 스테레오 매칭방법에 관한 것으로, 특히 2대의 카메라를 이용하여 3차원 복원을 수행하는 스테레오 분야 중에서 2장의 이미지 상에서의 대응점을 찾기 위한 방법에 관한 것이다.The present invention relates to a stereo matching method using edge projection, and more particularly, to a method for finding corresponding points on two images in a stereo field in which three-dimensional reconstruction is performed using two cameras.

카메라를 이용한 화상의 3차원 복구는 컴퓨터 시각(computer vision)에서 면밀히 연구된 주제이다. 이러한 정보는 로봇 네비게이션(robot navigation), 증가된 실체 및 인간 컴퓨터 상호작용과 같은 다양한 분야에서 사용될 수 있다. 대부분의 접근들은 스테레오 시스템에 기반하고 있다. 렌더링(rendering)에 기반한 이미지와 같은 최근의 흥미진진한 응용들은 각 픽셀의 매칭을 요구한다.3D reconstruction of images using a camera is a closely studied topic in computer vision. This information can be used in various fields such as robot navigation, increased reality, and human computer interaction. Most approaches are based on stereo systems. Recent exciting applications, such as images based on rendering, require matching each pixel.

스테레오 시스템들을 이용한 3차원 복구를 위한 전형적인 접근들은 다음과 같다.Typical approaches for three-dimensional recovery using stereo systems are as follows.

먼저, 각 카메라는 알려진 보정박스의 3차원 좌표와 보정 포인트의 2차원 이미지 포인트 사이의 매칭을 이용하여 보정된다. 이때, 같은 행 위에 매칭을 갖는 조정된 이미지들이 얻어진다. 결국, 3차원 복구는 스테레오 매칭을 이용하여 행해진다.First, each camera is calibrated using a match between the three-dimensional coordinates of the known calibration box and the two-dimensional image points of the calibration points. At this point, adjusted images with matching on the same row are obtained. Finally, three-dimensional recovery is done using stereo matching.

도 1은 종래의 국소영역 기반의 밝기값을 이용한 전통적인 매칭방법을 나타낸 도면이다. 도 1에 도시된 바와 같이, 로컬영역에 기반한 스테레오 매칭 알고리즘은 내재적인 문제가 2차원이 되도록하는 비용견적을 위하여 윈도우 내의 각 픽셀을 사용한다.1 is a diagram illustrating a conventional matching method using a conventional local area-based brightness value. As shown in FIG. 1, the stereo matching algorithm based on the local area uses each pixel in the window for cost estimating so that the inherent problem is two-dimensional.

상기와 같은 전통적인 스테레오 매칭방법은 일정한 크기의 윈도우 내의 밝기값을 비교하는 방법인데, 윈도우 크기의 증가에 따라 계산시간이 증가하는 문제점 이 있다.The conventional stereo matching method as described above is a method of comparing the brightness values in a window of a constant size, and there is a problem that the calculation time increases as the window size increases.

이에 본 발명은 상기 문제점을 해결하기 위한 것으로써, 국소영역 기반의 전통적인 밝기값을 이용한 매칭방법과 동일한 성능을 보장하면서 계산시간의 단축이 가능한 에지투영정보를 이용한 스테레오 매칭방법을 제공하는 것을 목적으로 한다.Accordingly, an object of the present invention is to provide a stereo matching method using edge projection information capable of shortening the calculation time while ensuring the same performance as a matching method using a conventional brightness based on a local area. do.

본 발명은 입력화상에서 각각의 픽셀에 대해 에지정보를 구하는 제1단계; 상기 에지정보를 이용하여 수평 에지투영을 위하여 수평 방향으로 에지크기를 누적하고, 수직 에지투영을 위하여 수직 방향으로 에지크기를 누적하는 제2단계; 상기 입력화상의 한 지점에서 일정한 크기를 가지는 윈도우 내에서 수평 및 수직 방향으로 에지투영성분을 구하는 제3단계; 및 상기 에지투영성분을 이용하여 왼쪽 화상과 오른쪽 화상의 비교를 통해 스테레오 매칭을 수행하는 제4단계;를 포함하는 에지투영을 이용한 스테레오 매칭방법을 제시한다.The present invention provides a first step of obtaining edge information for each pixel in an input image; A second step of accumulating edge sizes in a horizontal direction for horizontal edge projection using the edge information, and accumulating edge sizes in a vertical direction for vertical edge projection; Obtaining an edge projection component in horizontal and vertical directions in a window having a constant size at a point in the input image; And a fourth step of performing stereo matching by comparing a left image and a right image by using the edge projection component.

이하, 본 발명의 실시예에 대한 구성 및 그 작용을 첨부한 도면을 참조하면서 상세히 설명하기로 한다.Hereinafter, with reference to the accompanying drawings, the configuration and operation of the embodiment of the present invention will be described in detail.

도 2는 본 발명의 국소영역의 수직 및 수평 상의 에지투영정보를 이용한 스테레오 매칭방법을 나타낸 도면이다. 도 2에 도시된 바와 같이, 본 발명에서는 로컬 윈도우 내에서 수평 및 수직 방향을 따라 2개의 에지투영을 이용한 매칭을 제시 한다. 그렇게 함으로써, 문제를 1차원으로 줄일 수 있다. 또한, 에지는 로컬 조명변화에 조화될 수 있는 밝기를 이용한 것과 비교되는 매칭에 있어 우선적인 특징을 갖는다.2 is a diagram showing a stereo matching method using vertical and horizontal edge projection information of a local area of the present invention. As shown in FIG. 2, the present invention proposes matching using two edge projections along the horizontal and vertical directions in the local window. By doing so, the problem can be reduced to one dimension. In addition, edges have preferential characteristics in matching compared to using brightness which can be harmonized with local illumination changes.

도 3은 본 발명의 수직방향으로 에지투영정보를 이용하여 원하는 지점에서 임의의 크기를 가지는 윈도우 내에서 에지투영정보를 구하는 것을 나타낸 도면이다고, 도 4는 본 발명의 수평방향으로 에지투영정보를 이용하여 원하는 지점에서 임의의 크기를 가지는 윈도우 내에서 에지투영정보를 구하는 것을 나타낸 도면이다. 도 3과 도 4에 도시된 바와 같이, 에지투영정보를 구하는 방법을 수학식 1, 수학식 2 및 수학식 3을 이용하여 살펴보기로 한다.FIG. 3 is a diagram illustrating edge projection information in a window having an arbitrary size at a desired point using edge projection information in a vertical direction of the present invention. FIG. 4 illustrates edge projection information in a horizontal direction of the present invention. It is a diagram showing that the edge projection information is obtained in a window having an arbitrary size using a desired point. As shown in FIGS. 3 and 4, a method of obtaining edge projection information will be described using Equations 1, 2, and 3 below.

먼저, 수평 에지투영을 위하여 수평 방향으로 에지크기를 누적하고, 수직 에지투영을 위하여 수직 방향으로 에지크기를 누적하는데, 좌측과 우측의 이미지 상에 Sobel 에지 연산자(edge operator)를 적용한다. 수평과 수직 방향에 따라 에지크기를 누적한 후에, 2개의 값이 누적된 에지값을 간단히 차감함으로써 임의의 위치의 에지투영값을 간단히 얻을 수 있다.First, the edge size is accumulated in the horizontal direction for horizontal edge projection, and the edge size is accumulated in the vertical direction for vertical edge projection, and Sobel edge operator is applied on the left and right images. After accumulating the edge size along the horizontal and vertical directions, the edge projection value at any position can be simply obtained by simply subtracting the accumulated edge value of the two values.

E(i, j)를 (i, j)의 픽셀위치에서 에지크기라 하면, E(i, j)는 수학식 1과 같다.If E (i, j) is an edge size at the pixel position of (i, j), E (i, j) is represented by Equation (1).

E(i, j)=abs{Ix(i, j)} + abs{Iy(i, j)}E (i, j) = abs {I x (i, j)} + abs {I y (i, j)}

여기서, abs{Ix(i, j)}, abs{Iy(i, j)}는 각각 x, y 방향의 Sobel 연산자에 의한 에지크기를 나타낸다. 마스크 크기로는 n ×n이 사용되는데, 본 발명에서는 3 ×3인 마스크 크기(mask magnitude)가 사용되었다. 수평과 수직 방향의 누적된 에지크기는 수학식 2와 같이 정의된다.Here, abs {I x (i, j)} and abs {I y (i, j)} indicate edge sizes by Sobel operators in the x and y directions, respectively. As the mask size, n × n is used. In the present invention, a mask size of 3 × 3 is used. The accumulated edge size in the horizontal and vertical directions is defined as in Equation 2.

Figure 112005023676441-pat00001
Figure 112005023676441-pat00001

Figure 112005023676441-pat00002
Figure 112005023676441-pat00002

여기서, AEX(i, j)와 AEy(i, j)는 x와 y 방향에 따른 누적된 에지크기이다.Here, AE X (i, j) and AE y (i, j) are accumulated edge sizes along the x and y directions.

상기 누적된 에지를 이용하여 ROI(Region of Interest)의 에지투영을 수학식 3과 같이 간단히 계산할 수 있다.Using the accumulated edges, edge projection of a region of interest (ROI) may be simply calculated as in Equation 3 below.

EPX(i, j) = AEX(i+h, j)-AEX(i-h, j)EP X (i, j) = AE X (i + h, j) -AE X (ih, j)

EPy(i, j) = AEy(i, j+h)-AEy(i, j-h)EP y (i, j) = AE y (i, j + h) -AE y (i, jh)

여기서, EPX(i, j)는 2h+1의 높이를 갖는 수평 방향에 따른 에지투영이고, EPy(i, j)는 2h+1의 너비를 갖는 수직 방향에 따른 에지투영이다.Here, EP X (i, j) is edge projection along the horizontal direction with a height of 2h + 1, and EP y (i, j) is edge projection along the vertical direction with a width of 2h + 1.

상기 내용을 정리하면, 도 3과 도 4를 원활하게 구현하기 위해 먼저 각각의 이미지에서 각 픽셀마다 에지정보를 구한 후에 수평 방향과 수직 방향으로 각각 위쪽과 왼쪽의 에지값을 누적한다. 상기와 같이 누적된 이미지 상에서 도 3과 도 4의 방식을 이용하는 경우에 임의의 이미지 상의 지점에서 임의의 크기를 가지는 매칭후보영역 내에서의 에지투영값을 2번만의 뺄셈 연산으로 구하는 것이 가능하게 된다.In summary, in order to smoothly implement FIGS. 3 and 4, edge information of each pixel in each image is first obtained, and then the upper and left edge values are accumulated in the horizontal and vertical directions, respectively. When using the method of FIGS. 3 and 4 on the accumulated image as described above, it is possible to obtain the edge projection value in the matching candidate area having an arbitrary size at a point on any image by only two subtraction operations. .

매칭의 판단은 왼쪽, 오른쪽 이미지상의 일정한 크기 내의 윈도상에서 구한 수평 또는 수직 방향의 에지투영을 이용하며, 밝기값을 이용한 매칭에서 널리 사용되고 있는 비용 함수(밝기값의 차의 제곱 또는 밝기값 차의 절대치 등)를 동일하게 적용할 수 있다. 스테레오 이미지상에서의 매칭 지점의 설정은 선정된 매칭 비용함수에서 최소의 값을 가지는 지점으로 선택한다. 또한, 계산시간의 감소를 위해 이를 피라미드 상에서 구현하도록 한다. 최상위의 피라미드 레벨에서는 모든 지점에 대해 에지투영을 이용하여 매칭후보점을 찾도록 하며, 이후의 피라미드 레벨에서의 바로 상위의 피라미드 레벨에서 찾아진 지점의 좌우를 탐색하여 매칭후보점을 찾도록 한다.Judgment of the matching uses horizontal or vertical edge projection obtained from a window within a certain size on the left and right images, and is a cost function widely used in matching using brightness values (the square of the difference of the brightness values or the absolute value of the brightness difference) Etc.) can be applied in the same manner. The setting of the matching point on the stereo image is selected as the point having the minimum value from the selected matching cost function. In addition, to reduce the computation time it is to be implemented on the pyramid. At the top pyramid level, edge matching is used to find matching candidate points for all points, and the matching candidate points are searched by searching left and right of the point found at the immediately higher pyramid level at a later pyramid level.

이상에서 설명한 내용을 통해 본 업에 종사하는 당업자라면 본 발명의 기술사상을 이탈하지 아니하는 범위 내에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 실시예에 기재된 내용만으로 한정되는 것이 아니라 특허청구범위에 의하여 정해져야 한다.It will be apparent to those skilled in the art that various changes and modifications can be made without departing from the technical spirit of the present invention through the above description. Therefore, the technical scope of the present invention should not be limited only to the contents described in the embodiments, but should be defined by the claims.

이상에서와 같이 본 발명에 의한 에지투영(edge projection)을 이용한 스테레오 매칭방법은 에지투영정보를 이용하여 종래의 밝기값을 이용한 스테레오 매칭방법과 동일한 성능을 가지면서 계산시간을 감소시킬 수 있는 방법을 제공할 수 있다. 또한, 에지정보를 사용하기 때문에 밝기값에 기반한 방법에 비해 조명의 변화에 둔감한 스테레오 매칭방법을 제공할 수 있다.As described above, the stereo matching method using edge projection according to the present invention has a method of reducing the calculation time while having the same performance as the stereo matching method using a conventional brightness value using edge projection information. Can provide. In addition, since the edge information is used, it is possible to provide a stereo matching method that is insensitive to changes in illumination compared to the method based on the brightness value.

Claims (9)

입력화상에서 각각의 픽셀에 대해 에지정보를 구하는 제1단계;Obtaining edge information for each pixel in the input image; 상기 에지정보를 이용하여 수평 에지투영을 위하여 수평 방향으로 에지크기를 누적하고, 수직 에지투영을 위하여 수직 방향으로 에지크기를 누적하는 제2단계;A second step of accumulating edge sizes in a horizontal direction for horizontal edge projection using the edge information, and accumulating edge sizes in a vertical direction for vertical edge projection; 상기 입력화상의 한 지점에서 일정한 크기를 가지는 윈도우 내에서 수평 방향, 수직 방향별로 에지투영성분을 구하는 제3단계; 및Obtaining an edge projection component in a horizontal direction and a vertical direction in a window having a predetermined size at one point of the input image; And 상기 에지투영성분을 이용하여 왼쪽 화상과 오른쪽 화상의 비교를 통해 스테레오 매칭을 수행하는 제4단계;A fourth step of performing stereo matching by comparing a left picture and a right picture using the edge projection component; 를 포함하는 에지투영을 이용한 스테레오 매칭방법.Stereo matching method using an edge projection comprising a. 청구항 1에 있어서,The method according to claim 1, 상기 제2단계는 좌측과 우측의 이미지 상에 에지 연산자(edge operator)를 적용하여 에지크기를 누적하는 것을 특징으로 하는 에지투영을 이용한 스테레오 매칭방법.The second step is a stereo matching method using edge projection, characterized in that to accumulate the edge size by applying an edge operator (edge operator) on the left and right images. 삭제delete 청구항 1에 있어서,The method according to claim 1, 상기 에지크기는 n ×n의 크기를 가지는 영역에서 추출한 크기인 것을 특징으로 하는 에지투영을 이용한 스테레오 매칭방법.The edge size is stereo matching method using edge projection, characterized in that the size extracted from the area having a size of n × n. 청구항 4에 있어서,The method according to claim 4, 상기 n ×n의 크기는 3 ×3의 크기인 것을 특징으로 하는 에지투영을 이용한 스테레오 매칭방법.The size of n × n is a stereo matching method using edge projection, characterized in that the size of 3 × 3. 청구항 1에 있어서,The method according to claim 1, 상기 제4단계는 최소의 값을 가지는 지점으로 선택하는 것을 특징으로 하는 에지투영을 이용한 스테레오 매칭방법.The fourth step is a stereo matching method using edge projection, characterized in that to select the point having the minimum value. 청구항 1에 있어서,The method according to claim 1, 상기 제4단계는 피라미드 상에서 구현하는 것을 특징으로 하는 에지투영을 이용한 스테레오 매칭방법.The fourth step is a stereo matching method using edge projection, characterized in that implemented on the pyramid. 청구항 7에 있어서,The method according to claim 7, 상기 피라미드 상에서 최상위의 레벨에서는 모든 지점에 대해 에지투영이 이용되어 매칭후보점이 찾아지는 것을 특징으로 하는 에지투영을 이용한 스테레오 매칭방법.Edge matching is used for edge projection for every point at the highest level on the pyramid, characterized in that the matching candidate point is found. 청구항 7에 있어서,The method according to claim 7, 상기 피라미드 상에서 최상위의 레벨 이후의 피라미드 레벨에서는 바로 상위의 피라미드 레벨에서 찾아진 지점의 좌우가 탐색되어 매칭후보점이 찾아지는 것을 특징으로 하는 에지투영을 이용한 스테레오 매칭방법.In the pyramid level after the highest level on the pyramid, the stereo matching method using edge projection characterized in that the right and left of the point found in the upper pyramid level is searched to find a matching candidate point.
KR1020050037681A 2005-05-04 2005-05-04 The stereo matching method using edge projection KR100851055B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050037681A KR100851055B1 (en) 2005-05-04 2005-05-04 The stereo matching method using edge projection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050037681A KR100851055B1 (en) 2005-05-04 2005-05-04 The stereo matching method using edge projection

Publications (2)

Publication Number Publication Date
KR20060115237A KR20060115237A (en) 2006-11-08
KR100851055B1 true KR100851055B1 (en) 2008-08-21

Family

ID=37652745

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050037681A KR100851055B1 (en) 2005-05-04 2005-05-04 The stereo matching method using edge projection

Country Status (1)

Country Link
KR (1) KR100851055B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100899422B1 (en) 2007-08-06 2009-05-27 삼성모바일디스플레이주식회사 The stereo matching system and the stereo matching method of the same
KR101283792B1 (en) * 2009-11-17 2013-07-08 주식회사 만도 Method and apparatus for recognizing parking lot
CN103606162A (en) * 2013-12-04 2014-02-26 福州大学 Stereo matching algorithm based on image segmentation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Fast Stereo Matching Algorithm Using Edge Projection(ICCAS2005, KINTEX, Gyeonggi-Do, Korea, 2005 June 2-5, Poster 발표)

Also Published As

Publication number Publication date
KR20060115237A (en) 2006-11-08

Similar Documents

Publication Publication Date Title
US10699476B2 (en) Generating a merged, fused three-dimensional point cloud based on captured images of a scene
KR101758058B1 (en) Apparatus and method for estimating camera motion using depth information, augmented reality system
EP2858008B1 (en) Target detecting method and system
US7221776B2 (en) Video stabilizer
US10957068B2 (en) Information processing apparatus and method of controlling the same
US20190188860A1 (en) Detection system
US10321112B2 (en) Stereo matching system and method of operating thereof
US10438412B2 (en) Techniques to facilitate accurate real and virtual object positioning in displayed scenes
WO2007052191A2 (en) Filling in depth results
KR20200031019A (en) Depth data processing system capable of performing image registration on depth maps to optimize depth data
US20080199083A1 (en) Image filling methods
Cherian et al. Accurate 3D ground plane estimation from a single image
US20090153647A1 (en) Method and device for generating a panoramic image from a video sequence
JP2018195084A (en) Image processing apparatus, image processing method, program, and storage medium
US20160358325A1 (en) Corresponding point searching method and distance detection device
KR100851055B1 (en) The stereo matching method using edge projection
JP4985542B2 (en) Corresponding point search device
JP6719945B2 (en) Information processing apparatus, information processing method, information processing system, and program
US11164286B2 (en) Image processing apparatus, image processing method, and storage medium
KR100640761B1 (en) Method of extracting 3 dimension coordinate of landmark image by single camera
EP2950269A1 (en) Method and apparatus for improving estimation of disparity in a stereo image pair using a hybrid recursive matching processing
JP2018010359A (en) Information processor, information processing method, and program
Chien et al. Adaptive window method with sizing vectors for reliable correlation-based target tracking
US10430971B2 (en) Parallax calculating apparatus
Mota et al. Estimation of multiple orientations at corners and junctions

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
E801 Decision on dismissal of amendment
J201 Request for trial against refusal decision
AMND Amendment
E801 Decision on dismissal of amendment
B601 Maintenance of original decision after re-examination before a trial
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20070907

Effective date: 20080429

S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120801

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20130731

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140919

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee