KR101453143B1 - Stereo matching process system, stereo matching process method, and recording medium - Google Patents

Stereo matching process system, stereo matching process method, and recording medium Download PDF

Info

Publication number
KR101453143B1
KR101453143B1 KR1020117011938A KR20117011938A KR101453143B1 KR 101453143 B1 KR101453143 B1 KR 101453143B1 KR 1020117011938 A KR1020117011938 A KR 1020117011938A KR 20117011938 A KR20117011938 A KR 20117011938A KR 101453143 B1 KR101453143 B1 KR 101453143B1
Authority
KR
South Korea
Prior art keywords
line
line segment
drawn
stereo matching
correspondence
Prior art date
Application number
KR1020117011938A
Other languages
Korean (ko)
Other versions
KR20110089299A (en
Inventor
히로까즈 고이즈미
도시유끼 가미야
히로유끼 야규
Original Assignee
엔이씨 시스템 테크놀로지 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔이씨 시스템 테크놀로지 가부시키가이샤 filed Critical 엔이씨 시스템 테크놀로지 가부시키가이샤
Publication of KR20110089299A publication Critical patent/KR20110089299A/en
Application granted granted Critical
Publication of KR101453143B1 publication Critical patent/KR101453143B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Abstract

스테레오 매칭 처리 시스템은, 오퍼레이터에 의한 조작에 의해, 좌화상 상의 보조선(A2)과 우화상 상의 보조선(A1)이 대응지어서 입력됨과 함께, 좌화상 상의 보조선(B2)과 우화상 상의 보조선(B1)이 대응지어서 입력된 경우, 좌화상 상에 있어서의 주사선 및 보조선(A2)의 교점의 좌표(a2)와 우화상 상에 있어서의 주사선 및 보조선(A1)의 교점의 좌표(a1)를 검색 평면 상에서 대응짓는다. 또한, 좌화상 상에 있어서의 주사선 및 보조선(B2)의 교점의 좌표(b2)와 우화상 상에 있어서의 주사선 및 보조선(B1)의 교점의 좌표(b1)를 검색 평면 상에서 대응짓는다. 이에 의해, 스테레오 매칭 처리 시스템(1)은, 검색 평면 상에 있어서의 잘못된 대응짓기를 개선하여, 동일한 위치를 좌화상과 우화상과의 사이에서 정확하게 대응지을 수 있다.The stereo matching processing system inputs the auxiliary line A2 on the left image and the auxiliary line A1 on the right image in correspondence with each other by the operation of the operator and also outputs the auxiliary line B2 on the left image and the auxiliary line B2 on the right image, The coordinates a2 of the intersection of the scanning line and the auxiliary line A2 on the left image and the coordinates of the intersection of the scanning line and the auxiliary line A1 on the right image a1) on the search plane. The coordinate b1 of the intersection of the scanning line and the auxiliary line B2 on the left image and the coordinate b1 of the intersection of the scanning line and the auxiliary line B1 on the right image are associated with each other on the search plane. Thereby, the stereo matching processing system 1 improves erroneous correspondence on the search plane, and can accurately associate the same position between the left image and the right image.

Description

스테레오 매칭 처리 시스템, 스테레오 매칭 처리 방법, 및 기록 매체{STEREO MATCHING PROCESS SYSTEM, STEREO MATCHING PROCESS METHOD, AND RECORDING MEDIUM}TECHNICAL FIELD [0001] The present invention relates to a stereo matching processing system, a stereo matching processing method, a stereo matching processing method,

본 발명은, 스테레오 매칭 처리 시스템, 스테레오 매칭 처리 방법, 및 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체에 관한 것으로, 동일한 위치를 복수의 화상간에 있어서 정확하게 대응지을 수 있는 스테레오 매칭 처리 시스템, 스테레오 매칭 처리 방법, 및 기록 매체에 관한 것이다.The present invention relates to a stereo matching processing system, a stereo matching processing method, and a computer-readable recording medium on which a program is recorded. The stereo matching processing system, stereo matching processing method, And a recording medium.

3차원 데이터 자동 생성 방법에 있어서는, 인공 위성이나 항공기 등으로부터 얻어지는 화상을 기초로, 지형을 나타내는 3차원 데이터[DSM(Digital Surface Model) 데이터]를 스테레오 매칭에 의해서 생성하는 방법이 널리 행해져 있고, 또한 오퍼레이터를 개재시켜 대응이 취해지지 않는 점을 수정시키는 방법도 제안되어 있다.In the method of automatically generating three-dimensional data, a method of generating three-dimensional data (DSM (Digital Surface Model) data representing a terrain) by stereo matching based on an image obtained from a satellite or an aircraft has been widely used There is proposed a method of correcting that the correspondence is not taken through the operator.

여기서, 스테레오 매칭 처리란, 다른 시점으로부터 촬영한 2매의 화상, 소위 스테레오 화상에 대해서, 동일한 점을 촬상하고 있는 각 화상 중의 대응점을 구하고, 그 시차를 이용하여 삼각 측량의 원리에 의해서 대상까지의 깊이나 형상을 구하는 것이다.Here, the stereo matching process is a process in which corresponding points in each image picking up the same point are obtained for two images photographed from different viewpoints, that is, a so-called stereo image, and by using the parallax, It is to seek depth or shape.

이 스테레오 매칭 처리에 대해서는 이미 다양한 수법이 제안되어 있다. 예를 들면 일반적으로 널리 이용되고 있는 면적 상관법으로서, 좌화상 중에 상관창을 설정하여 이것을 템플릿으로 하고, 우화상 중의 탐색창을 움직여서 템플릿과의 상호 상관 계수를 산출하고, 이것을 일치도로 간주하여 높은 것을 탐색함으로써 대응점을 얻는 방법이 개시되어 있다(예를 들면 특허 문헌 1 참조).Various techniques have already been proposed for this stereo matching process. For example, as a commonly used area correlation method, a correlation window is set in a left image, which is used as a template, a search window in a right image is moved to calculate a cross-correlation coefficient with the template, (Refer to Patent Document 1, for example).

상기의 방법에 있어서는 처리량을 경감하기 위해, 탐색창의 이동 범위를 화상 중의 에피폴라선 방향으로 한정함으로써, 좌화상 중의 각 점에 대해서, 대응하는 우화상 중의 점의 x방향의 위치 어긋남량, 즉 시차를 얻을 수 있다. 여기서, 에피폴라선이란 스테레오 화상에 있어서 한쪽의 화상 중의 어떤 점에 대해서, 다른 쪽의 화상 중에서 그 점에 대응하는 점의 존재 범위로서 그을 수 있는 직선이다(예를 들면 비특허 문헌 1 참조).In the above method, in order to reduce the throughput, the moving range of the search window is limited to the direction of the epipolar line in the image so that the positional shift amount in the x direction of the corresponding point in the right image, Can be obtained. Here, the epipolar line is a straight line that can be drawn as the existence range of a point in one image in the stereo image and a point in the other image corresponding to the point (see, for example, Non-Patent Document 1).

통상, 에피폴라선 방향은 화상의 주사선 방향과는 다르지만, 좌표 변환을 행함으로써, 에피폴라선 방향을 화상의 주사선 방향에 일치시켜, 재배열을 행할 수 있다. 이 좌표 변환의 방법에 대해서는 상기의 비특허 문헌 1에 기재되어 있다.Normally, the epipolar line direction is different from the scanning line direction of the image, but by performing coordinate conversion, the epipolar line direction can be aligned with the scanning line direction of the image, and rearrangement can be performed. The method of this coordinate conversion is described in Non-Patent Document 1 above.

상기한 바와 같은 재배열을 행한 스테레오 화상에 있어서는, 대응점의 탐색창의 이동 범위를 주사선 상에 한정할 수 있기 때문에, 시차는 좌우 화상 중의 대응점끼리의 x좌표의 차로서 얻어진다.In the stereoscopic image subjected to the rearrangement as described above, since the range of movement of the search window of the corresponding point can be defined on the scanning line, the parallax is obtained as the difference between the x-coordinates of the corresponding points in the left and right images.

특허 문헌 1 : 일본 특허 공고 평8-16930호 공보Patent Document 1: Japanese Patent Publication No. Hei 8-16930

비특허 문헌 1 : 「화상 해석 핸드북」(타카기 미키오ㆍ시모다 하루히사 감수, 동경 대학 출판회간, 1991년 1월, 페이지 597-599)Non-Patent Document 1: "Image Analysis Handbook" (Mikio Takagi, Haruhiko Shimoda, Susumu Shimoda, Tokyo University Publishing House, January 1991, pages 597-599)

그러나, 관련한 스테레오 매칭에 의한 3차원 데이터 생성 수법에서는, 텍스쳐가 없는 영역이나 상관 계수에 의한 대응이 얻어지지 않는 영역도 포함되기 때문에, 상기의 3차원 데이터의 화상 중에는 주위와 크게 다른 잘못된 높이를 나타내는 점이 많이 포함된다. 특히, 건조물(建造物)의 주위 등에서는 은폐가 발생하므로, 대응이 취해지지 않는 점이 많아져, 현저하게 높은 값을 나타내거나, 혹은 건조물이 크게 결손되거나 하는 경우가 있다.However, in the related art three-dimensional data generation method by stereo matching, since there is included an area in which there is no texture or an area in which correspondence is not obtained by the correlation coefficient, the image of the three-dimensional data has a wrong height There are a lot of points. Particularly, in the surroundings of the building, concealment occurs, so that the countermeasures are not taken in many cases, so that a markedly high value or a large amount of dried product may be lost.

그 때문에, 관련한 스테레오 매칭에 의한 3차원 데이터 생성 수법에서는, 대응점의 미스 매칭에 의한 오차가 발생하여, 정밀도가 높은 3차원 정보가 얻어지지 않으므로, 도시부 등의 건조물이 많은 복잡한 화상에 대해서는 적용하는 것이 어렵다고 하는 과제가 있었다.Therefore, in the related three-dimensional data generation method by stereo matching, errors due to mismatching of the corresponding points occur and three-dimensional information with high precision can not be obtained. Therefore, There was a problem that it was difficult.

본 발명은, 상기 과제를 해결하기 위해 이루어진 것이며, 복수의 화상간에 있어서 동일한 위치를 나타내는 영역끼리를 정확하게 대응지을 수 있는 스테레오 매칭 처리 시스템, 스테레오 매칭 처리 방법, 및 기록 매체를 제공하는 것을 목적으로 한다.An object of the present invention is to provide a stereo matching processing system, a stereo matching processing method, and a recording medium, which can precisely associate regions indicating the same position between a plurality of images .

상기 목적을 달성하기 위해, 본 발명의 제1 관점에 따른 스테레오 매칭 처리 시스템은, 동일한 대상물을 다른 방향으로부터 촬영하여 얻어지는 복수의 화상에 있어서, 동일 주사선 상에서 상관 계수가 최대로 되는 영역끼리를 동일한 위치를 나타내는 것으로 하여 대응짓는 대응짓기부와, 상기 복수의 화상의 각각에 동일한 위치를 나타내는 것으로 하여 대응지어진 선분이 그어졌는지를 판별하는 선분 판별부를 구비하고, 상기 대응짓기부는, 상기 선분 판별부에 의해서 상기 선분이 그어졌다고 판별한 경우, 상기 동일 주사선 상에서 상관 계수가 최대로 되는 영역끼리가 아니라, 그 주사선과 그 선분과의 교점끼리를 동일한 위치를 나타내는 것으로 하여 대응짓는 것을 특징으로 한다.In order to achieve the above object, in a stereo matching processing system according to a first aspect of the present invention, in a plurality of images obtained by photographing the same object from different directions, regions in which the correlation coefficient is maximized on the same scanning line are set to the same position And a line segment discrimination section for discriminating whether or not a corresponding line segment is drawn by indicating the same position in each of the plurality of images, wherein the correspondence establishing section When the line segments are determined to have been drawn, not only the areas where the correlation coefficient becomes the maximum on the same scanning line, but also the intersections of the scanning lines and the line segments are made to correspond to each other so as to indicate the same position.

또한, 본 발명의 제2 관점에 따른 스테레오 매칭 처리 방법은, 동일한 대상물을 다른 방향으로부터 촬영하여 얻어지는 복수의 화상에 있어서, 동일 주사선 상에서 상관 계수가 최대로 되는 영역끼리를 동일한 위치를 나타내는 것으로 하여 대응짓는 대응짓기 스텝과, 상기 복수의 화상의 각각에 동일한 위치를 나타내는 것으로 하여 대응지어진 선분이 그어졌는지를 판별하는 선분 판별 스텝을 구비하고, 상기 대응짓기 스텝은, 상기 선분 판별 스텝에 의해서 상기 선분이 그어졌다고 판별한 경우, 상기 동일 주사선 상에서 상관 계수가 최대로 되는 영역끼리가 아니라, 그 주사선과 그 선분과의 교점끼리를 동일한 위치를 나타내는 것으로 하여 대응짓는 것을 특징으로 한다.In the stereo matching processing method according to the second aspect of the present invention, in a plurality of images obtained by photographing the same object from different directions, areas in which the correlation coefficient becomes maximum on the same scanning line are represented as the same positions And a line segment discrimination step of discriminating whether or not a corresponding line segment is drawn by indicating the same position in each of the plurality of images, wherein the correspondence constructing step comprises: The intersection points of the scanning line and the line segment are set to correspond to each other so as to indicate the same position, instead of the regions where the correlation coefficient becomes maximum on the same scanning line.

또한, 본 발명의 제3 관점에 따른 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체는, 컴퓨터에, 동일한 대상물을 다른 방향으로부터 촬영하여 얻어지는 복수의 화상에 있어서, 동일 주사선 상에서 상관 계수가 최대로 되는 영역끼리를 동일한 위치를 나타내는 것으로 하여 대응짓는 대응짓기 수순과, 상기 복수의 화상의 각각에 동일한 위치를 나타내는 것으로 하여 대응지어진 선분이 그어졌는지를 판별하는 선분 판별 수순을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체로서, 상기 대응짓기 수순은, 상기 선분 판별 수순에 의해서 상기 선분이 그어졌다고 판별한 경우, 상기 동일 주사선 상에서 상관 계수가 최대로 되는 영역끼리가 아니라, 그 주사선과 그 선분과의 교점끼리를 동일한 위치를 나타내는 것으로 하여 대응짓는 것을 특징으로 한다.A computer-readable recording medium having recorded thereon a program according to the third aspect of the present invention is a computer-readable recording medium having a program recorded thereon for causing a computer to execute: a step of, in a plurality of images obtained by photographing the same object from another direction, Readable recording medium having recorded thereon a program for causing a computer to execute a line segmentation procedure for determining whether or not a corresponding line segment is drawn by indicating a same position in each of the plurality of images, Wherein when the line segment is determined to have been drawn by the line segment determination procedure, not only the areas where the correlation coefficient is maximum on the same scanning line but also the intersections of the scanning line and the line segment are located at the same position To indicate that it corresponds to It characterized.

본 발명에 따르면, 동일한 위치를 복수의 화상간에 있어서 정확하게 대응지을 수 있는 스테레오 매칭 처리 시스템, 스테레오 매칭 처리 방법, 및 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 제공할 수 있다.According to the present invention, it is possible to provide a stereo matching processing system, a stereo matching processing method, and a computer readable recording medium on which a program is recorded, in which the same position can be accurately associated with a plurality of images.

도 1은 스테레오 매칭 처리 시스템의 구성예를 도시하는 블록도.
도 2는 보조선 입력 화면의 표시예를 도시하는 도면.
도 3a는 스테레오 매칭 결과의 표시예를 도시하는 도면.
도 3b는 스테레오 매칭 결과의 표시예를 도시하는 도면.
도 4는 DP 매칭 처리를 설명하기 위한 도면.
도 5는 검색 평면을 예시하는 도면.
도 6은 스테레오 매칭 처리를 설명하기 위한 도면.
도 7은 보조선 입력 처리의 일례를 나타내는 플로우차트.
도 8은 스테레오 매칭 처리의 일례를 나타내는 플로우차트.
도 9a는 검색 평면을 예시하는 도면.
도 9b는 검색 평면을 예시하는 도면.
도 10은 보조선을 사용한 대응짓기의 개선을 설명하기 위한 도면.
도 11은 변형예에 있어서의 검색 평면을 도시하는 도면.
도 12는 변형예에 있어서의 보조선을 사용한 대응짓기의 개선을 설명하기 위한 도면.
도 13은 변형예에 있어서의 검색 평면을 도시하는 도면.1 is a block diagram showing a configuration example of a stereo matching processing system;
2 is a diagram showing a display example of an auxiliary line input screen;
3A is a diagram showing an example of display of a stereo matching result;
Fig. 3B is a diagram showing an example of display of a stereo matching result. Fig.
4 is a diagram for explaining DP matching processing;
5 is a diagram illustrating a search plane;
6 is a diagram for explaining a stereo matching process;
7 is a flowchart showing an example of auxiliary line input processing.
8 is a flowchart showing an example of stereo matching processing;
9A is a diagram illustrating a search plane;
9B is a diagram illustrating a search plane;
Fig. 10 is a diagram for explaining improvement of correspondence using an auxiliary line. Fig.
11 is a diagram showing a search plane in a modified example;
Fig. 12 is a diagram for explaining improvement of correspondence using an auxiliary line in the modified example; Fig.
13 is a diagram showing a search plane in a modified example;

다음으로, 본 발명을 실시하기 위한 최량의 형태에 대해서 도면을 참조하여 설명한다. 도 1은, 본 발명의 실시 형태에 따른 스테레오 매칭 처리 시스템의 구성예를 도시하는 블록도이다. 스테레오 매칭 처리 시스템(1)은, 예를 들면 범용 컴퓨터 등으로 구성되고, 도 1에 도시한 바와 같이, 표시부(10)와, 보조선 입력부(11)와, 상호 표정부(12)와, 스테레오 매칭부(13)와, 오쏘(ortho) 처리ㆍ대지 표정부(14)를 구비하고 있다.BEST MODE FOR CARRYING OUT THE INVENTION Next, the best mode for carrying out the present invention will be described with reference to the drawings. 1 is a block diagram showing a configuration example of a stereo matching processing system according to an embodiment of the present invention. 1, the stereo matching processing system 1 includes a display section 10, an auxiliary line input section 11, a mutual table section 12, A matching unit 13, and an ortho processing / earth marking unit 14.

표시부(10)는, 예를 들면 LCD(Liquid Crystal Display) 등으로 구성된다. 도 2는, 보조선 입력 화면의 표시예를 도시하는 도면이다. 또한, 도 3a 및 도 3b는, 스테레오 매칭 결과의 표시예를 도시하는 도면이다. 표시부(10)는, 동일한 대상물을 다른 방향으로부터 촬영하여 얻어진 2개의 항공 사진의 화상(이하, 좌화상 및 우화상이라고 함)이 포함되는 도 2에 도시한 보조선 입력 화면이나, 도 3a 및 도 3b에 도시한 좌화상과 우화상과의 스테레오 매칭 결과 등을 표시한다.The display unit 10 is constituted by, for example, an LCD (Liquid Crystal Display) or the like. 2 is a diagram showing a display example of the auxiliary line input screen. 3A and 3B are diagrams showing examples of display of stereo matching results. The display unit 10 includes an auxiliary line input screen shown in Fig. 2 including two images of aerial photographs (hereafter referred to as a left image and a right image) obtained by photographing the same object from another direction, And the result of stereo matching between the left image and the right image shown in Fig.

보조선 입력부(11)는, 예를 들면 키보드나 마우스 등으로 구성되고, 표시부(10)에 표시된 보조선 입력 화면에 있어서, 오퍼레이터가 좌화상 및 우화상 상에 보조선을 그을 때 등에 이용된다. 여기서, 보조선이란, 좌화상과 우화상과의 사이에서 동일한 위치로 되는 개소를 오퍼레이터의 조작에 의해 대응짓기 위한 선분이다.The auxiliary line input unit 11 is constituted by, for example, a keyboard or a mouse and is used when the operator draws the auxiliary line on the left image and the right image on the auxiliary line input screen displayed on the display unit 10. [ Here, the auxiliary line is a line segment for associating, by operation of the operator, a portion which becomes the same position between the left image and the right image.

상호 표정부(12)는, 예를 들면 CPU(Central Processing Unit)나, ROM(Read Only Memory), RAM(Random Access Memory), 하드 디스크 드라이브 등에 의해서 실현되고, 촬영 시의 카메라 파라미터를 표정(標定)하는 표정 처리나, 좌화상과 우화상을 필요에 따라서 공통 평행면에 재투영하는 평행화 처리 등을 실행한다. 여기서, 표정이란, 평가의 대상에 대해서 소정의 값을 구하는 것을 말한다.The correlation table 12 is realized by a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), a hard disk drive or the like, ), Parallel processing for re-projecting the left and right images to the common parallel plane as necessary, and the like. Here, expression refers to obtaining a predetermined value for an evaluation target.

구체적으로, 상호 표정부(12)는, 표정 처리에 있어서, 좌화상과 우화상에 공통적으로 영출(映出)되고 있는 대상물의 좌표값을 판독하고, 판독한 2개의 좌표값을 이용하여, 좌화상과 우화상과의 사이에서의 카메라 회전각 등의 촬영 시의 카메라 파라미터를 표정한다. 이에 의해, 상호 표정부(12)는, 통상, 연직에 가까운 방향으로부터 항공 사진을 촬영한 경우에도 항공기의 자세 변화 등의 영향에 의해 파악하는 것이 어려운 촬영 시의 카메라 파라미터를 표정할 수 있다.Specifically, in the facial expression processing, the mutual determining unit 12 reads the coordinate values of the object commonly projected on the left image and the right image, and uses the read two coordinate values to calculate the left The camera parameters such as the camera rotation angle between the image and the right image are photographed. Thus, the interpreting section 12 can normally view the camera parameters at the time of photographing, which is difficult to grasp due to the influence of the attitude change of the aircraft or the like even when the aerial photograph is taken from a direction close to the vertical direction.

그 후, 상호 표정부(12)는, 평행화 처리를 실행함으로써, 좌화상 및 우화상 상의 에피폴을 연결하는 에피폴라선이 복수의 주사선의 하나에 일치하도록 좌화상과 우화상을 공통 평행면에 재투영한다.Thereafter, the interpolation section 12 performs the parallelization process so that the left image and the right image are arranged on the common parallel plane so that the epipolar lines connecting the epipoles on the left image and the right image coincide with one of the plurality of scanning lines Re-project.

스테레오 매칭부(13)는, 예를 들면 CPU나, ROM, RAM, 하드 디스크 드라이브 등에 의해서 실현된다. 그리고, 좌화상 및 우화상의 각각에 보조선이 입력된 것을 나타내는 보조선 입력 플래그나, 보조선과 주사선과의 교점의 좌표를 격납하는 교점 좌표 버퍼 등이 RAM에 구비되어 있다.The stereo matching unit 13 is implemented by, for example, a CPU, a ROM, a RAM, a hard disk drive, or the like. In the RAM, an auxiliary line input flag indicating that the auxiliary line is inputted to each of the left image and the allegorical image, and an intersection coordinate buffer for storing the coordinates of the intersection point between the auxiliary line and the scanning line are provided.

스테레오 매칭부(13)는, 상호 표정부(12)에서 평행화 처리가 실시된 좌화상 및 우화상(평행화된 화상쌍)에 대하여 스테레오 매칭 처리, 구체적으로는 DP(Dynamic Programming) 매칭 처리를 실시함으로써, 좌화상과 우화상과의 사이에서의 위치 어긋남(시차)을 계측하고, 시차 데이터를 생성한다.The stereo matching unit 13 performs stereo matching processing, specifically DP (Dynamic Programming) matching processing, on the left image and right image (pair of paralleled images) subjected to the parallelization processing in the mutual table unit 12 (Parallax) between the left image and the right image is measured, and parallax data is generated.

도 4는, DP 매칭 처리를 설명하기 위한 도면이다. 구체적으로, 스테레오 매칭부(13)는, DP 매칭 처리에 있어서, 오퍼레이터에 의한 보조선 입력부(11)의 조작에 의해서 좌화상 및 우화상 상에 보조선이 입력되어 있지 않은 경우, 도 4에 도시한 바와 같이, 동일 주사선 상에 있어서의 좌화상과 우화상과의 상관을 취해 가며, 상관 계수가 최대로 되는 격자 영역을 검색한다.4 is a diagram for explaining the DP matching process. More specifically, in the DP matching processing, when the operator does not input the auxiliary line on the left image and the right image by the operation of the auxiliary line input section 11, As described above, the left image on the same scanning line is correlated with the right image, and a lattice area in which the correlation coefficient becomes maximum is searched.

도 5는, 검색 평면을 예시하는 도면이다. 스테레오 매칭부(13)는, 상관 계수가 최대로 되는 격자 영역의 중심 좌표끼리를 도 5에 도시한 검색 평면 상에서 대응지어 간다. 이 검색 평면에 있어서, 횡축 x1은, 우화상에 있어서의 x좌표를 나타내고, 종축 x2는, 좌화상에 있어서의 x좌표를 나타내고 있다.5 is a diagram illustrating a search plane. The stereo matching unit 13 associates the center coordinates of the lattice regions having the maximum correlation coefficient on the search plane shown in Fig. In this search plane, the horizontal axis x1 indicates the x-coordinate in the right image, and the vertical axis x2 indicates the x-coordinate in the left image.

그리고, 스테레오 매칭부(13)는, 이와 같은 대응짓기를 주사선마다 실행해 감으로써, 시차 데이터를 생성하여, 도 3a에 도시한 바와 같은 화상을 스테레오 매칭 결과로서 표시부(10)에 표시한다.Then, the stereo matching unit 13 generates the parallax data by executing such correspondence for each scanning line, and displays the image as shown in Fig. 3A on the display unit 10 as the stereo matching result.

이에 대해, 오퍼레이터에 의한 보조선 입력부(11)의 조작에 의해서 좌화상 및 우화상의 각각에 보조선이 입력된 경우, 보조선이 입력된 개소에서는, 주사선과 보조선과의 교점의 좌표를 검색 평면 상에 대응지어 간다. 한편, 보조선이 입력되어 있지 않은 개소에서는, 상관 계수가 최대로 되는 격자 영역의 중심 위치의 좌표끼리를 검색 평면 상에 대응지어 간다.On the other hand, when the auxiliary line is inputted to each of the left image and the allegorical image by the operation of the auxiliary line inputting section 11 by the operator, the coordinates of the intersection point of the scanning line and the auxiliary line, . On the other hand, coordinates of the center position of the lattice region at which the correlation coefficient becomes the maximum are associated with each other on the search plane in the portion where the auxiliary line is not input.

도 6은, 스테레오 매칭 처리를 설명하기 위한 도면이다. 스테레오 매칭부(13)는, 도 6에 도시한 바와 같이, 이와 같은 대응짓기를 주사선마다 실행해 감으로써, 보조선에 의한 보정이 실시된 시차 데이터를 생성하고, 도 3b에 도시한 바와 같은 화상을 스테레오 매칭 결과로서 표시부(10)에 표시한다.6 is a diagram for explaining the stereo matching process. As shown in Fig. 6, the stereo matching unit 13 generates the parallax data corrected by the auxiliary line by executing such a correspondence for each scanning line, and generates the parallax data as shown in Fig. 3B Is displayed on the display unit 10 as a result of stereo matching.

그 후, 스테레오 매칭부(13)는, 생성한 시차 데이터와, 상호 표정부(12)에서 표정된 카메라 파라미터를 조합하여, 삼각 측량의 원리에 의해서 각 화소에 대응하는 3차원 좌표계에서의 위치를 계산하고, 대상물의 표층의 높이를 나타내는 표고 데이터를 포함하는 DSM(Digital Surface Model) 데이터를 추출함으로써, 대상물까지의 깊이나 형상을 구한다.Thereafter, the stereo matching unit 13 combines the generated parallax data and the camera parameters displayed in the cross table unit 12, and calculates the position in the three-dimensional coordinate system corresponding to each pixel by the principle of triangulation And DSM (Digital Surface Model) data including elevation data representing the height of the surface layer of the object is extracted to obtain the depth and shape to the object.

오쏘 처리ㆍ대지 표정부(14)는, 예를 들면 CPU나, ROM, RAM, 하드 디스크 드라이브 등에 의해서 실현되고, DSM 데이터를 이용하여 항공 사진의 화상과 DSM 데이터를 정사(正射) 변환하는 오쏘 처리나, 오쏘 처리를 실시한 항공 사진의 화상과 DSM 데이터를 이용하여, 지표에 대한 대상물의 정확한 좌표, 구체적으로는 대상물의 경도 및 위도를 구하는 대지 표정 처리를 행함으로써, 오쏘 화상과 오쏘 DSM 데이터를 생성한다.The ortho processing / site designation unit 14 is realized by, for example, a CPU, a ROM, a RAM, a hard disk drive, and the like, and is an ortho processing / The DSM data and the image of the aerial photograph subjected to the ortho-processing and the ortho-processed DSM data are used to perform the land surface processing for obtaining the exact coordinates of the object with respect to the surface, specifically, the hardness and latitude of the object, .

여기서, 오쏘 화상에는, 색 데이터와, 대지 표정에 의해서 구해진 위도 및 경도를 나타내는 위도 데이터 및 경도 데이터가 포함되어 있다. 또한, 오쏘 DSM 데이터에는, 대상물의 표층의 높이를 나타내는 표고 데이터와, 위도 데이터 및 경도 데이터가 포함되어 있다. 이와 같은 위도 데이터 및 경도 데이터를 구함으로써, 동일 대상물의 위치를, 다른 타이밍에서 촬영된 항공 사진의 화상간에서 서로 대응지을 수 있게 된다.Here, the ortho image includes latitude data and latitude data indicating latitude and longitude obtained by color data and earth expression. The ortho DSM data includes altitude data indicating the height of the surface layer of the object and latitude data and longitude data. By obtaining such latitude data and longitude data, the positions of the same object can be associated with each other between images of aerial photographs photographed at different timings.

다음으로, 상기 구성을 구비하는 스테레오 매칭 처리 시스템이 실행하는 처리에 대해서 도면을 참조하여 설명한다.Next, processing executed by the stereo matching processing system having the above configuration will be described with reference to the drawings.

스테레오 매칭 처리 시스템에서는, 보조선 입력 처리와, 스테레오 매칭 처리가 정기적으로 실행된다. 보조선 입력 처리, 및, 스테레오 매칭 처리는, 예를 들면 오퍼레이터로부터의 지시가 있는 경우, 소정의 화상이 있는 경우, 소정의 시각으로 된 경우 등, 임의의 타이밍에서 실행된다.In the stereo matching processing system, the auxiliary line input processing and the stereo matching processing are executed periodically. The auxiliary line input processing and the stereo matching processing are executed at arbitrary timings, for example, when there is an instruction from the operator, when there is a predetermined image, or when the time is a predetermined time.

도 7은, 보조선 입력 처리의 상세를 나타내는 플로우차트이다. 보조선 입력 처리에 있어서, 스테레오 매칭부(13)는, 표시부(10)에 표시되는 보조선 입력 화면에 있어서, 오퍼레이터에 의한 보조선 입력부(11)의 조작에 의해 좌화상 및 우화상의 각각에 보조선이 입력되었는지의 여부를 판별한다(스텝 S11). 이 때, 보조선이 입력되어 있지 않으면(스텝 S11;"아니오"), 스테레오 매칭부(13)는, 그대로 보조선 입력 처리를 종료한다.7 is a flowchart showing the details of the auxiliary line input processing. In the auxiliary line input processing, the stereo matching unit 13 receives the auxiliary line input from the auxiliary line input unit 11 by the operator on the auxiliary line input screen displayed on the display unit 10, It is determined whether or not the shipbuilding has been inputted (step S11). At this time, if the auxiliary line is not input (step S11; "NO"), the stereo matching unit 13 ends the auxiliary line input processing as it is.

이에 대하여, 스텝 S11의 처리에서 보조선이 입력되었다고 판별한 경우(스텝 S11;"예"), 스테레오 매칭부(13)는, 좌화상 및 우화상의 각각에 대해, 주사선과 보조선과의 교점의 좌표를 구하여 RAM에 설치된 교점 좌표 버퍼에 격납한다(스텝 S12).On the other hand, when it is determined in step S11 that the auxiliary line has been inputted (step S11; Yes), the stereo matching unit 13 calculates the coordinates of the intersection between the scanning line and the auxiliary line And stores it in the intersection coordinate buffer installed in the RAM (step S12).

그리고, 스테레오 매칭부(13)는, RAM에 설치된 보조선 입력 플래그를 온으로 세트하고 나서(스텝 S13), 보조선 입력 처리를 종료한다.Then, the stereo matching unit 13 sets the auxiliary line input flag provided in the RAM to ON (step S13), and ends the auxiliary line input processing.

도 8은, 스테레오 매칭 처리의 상세를 나타내는 플로우차트이다. 스테레오 매칭 처리에 있어서, 상호 표정부(12)는, 표정 처리를 실행함으로써, 촬영 시의 카메라 파라미터를 표정함과 함께(스텝 S21), 평행화 처리를 실행하여, 에피폴라선이 복수의 주사선의 하나에 일치하도록 좌화상과 우화상을 공통 평행면에 재투영한다(스텝 S22).8 is a flowchart showing the details of the stereo matching process. In the stereo matching process, the interpolation section 12 performs the facial expression processing to look at the camera parameters at the time of photographing (step S21), and executes the parallelization processing so that the epipolar line becomes the center of the plurality of scanning lines And the left image and the right image are re-projected onto the common parallel plane so as to match one (Step S22).

다음으로, 스테레오 매칭부(13)는, RAM에 설치된 보조선 입력 플래그가 온으로 되어 있는지의 여부를 체크함으로써, 좌화상 및 우화상의 각각에 보조선이 입력되었는지의 여부를 판별한다(스텝 S23).Next, the stereo matching unit 13 checks whether or not the auxiliary line input flag provided in the RAM is turned on, thereby discriminating whether or not the auxiliary line is inputted to each of the left image and the right image (step S23) .

여기서, 스텝 S23의 처리에서 보조선이 입력되어 있지 않다고 판별한 경우(스텝 S23;"아니오"), 스테레오 매칭부(13)는, 보조선에 의한 보정이 없는 시차 데이터를 생성한다(스텝 S24).If it is determined in step S23 that the auxiliary line is not input (step S23; No), the stereo matching unit 13 generates parallax data without correction by the auxiliary line (step S24) .

스텝 S24의 처리에 있어서, 스테레오 매칭부(13)는, 동일 주사선 상에 있어서의 좌화상과 우화상과의 상관을 취하여 상관 계수가 최대로 되는 격자 영역을 검색해 간다. 그리고, 스테레오 매칭부(13)는, 상관 계수가 최대로 되는 격자 영역의 중심 좌표끼리를 검색 평면 상에서 대응지어 간다. 스테레오 매칭부(13)는, 이와 같은 대응짓기를 주사선마다 실행해 감으로써, 보조선에 의한 보정이 없는 시차 데이터를 생성한다.In the process of step S24, the stereo matching unit 13 takes the correlation between the left image and the right image on the same scanning line, and searches for the lattice region where the correlation coefficient becomes the maximum. Then, the stereo matching unit 13 associates the center coordinates of the lattice regions having the maximum correlation coefficient on the search plane. The stereo matching unit 13 generates the parallax data without correction by the auxiliary line by executing such a correspondence for each scanning line.

이에 대하여, 스텝 S23의 처리에서 보조선이 입력되었다고 판별한 경우(스텝 S23;"예"), 스테레오 매칭부(13)는, 보조선에 의한 보정이 있는 시차 데이터를 생성한다(스텝 S25).On the other hand, when it is determined in step S23 that the auxiliary line has been input (step S23; Yes), the stereo matching unit 13 generates the parallax data with the correction by the auxiliary line (step S25).

스텝 S25의 처리에 있어서, 스테레오 매칭부(13)는, 보조선이 입력된 개소에서는, RAM에 설치된 교점 좌표 버퍼에 격납되어 있는 주사선과 보조선과의 교점의 좌표를 검색 평면 상에 대응지어 가는 한편, 보조선이 입력되어 있지 않은 개소에서는, 상관 계수가 최대로 되는 격자 영역의 중심 위치의 좌표끼리를 검색 평면 상에 대응지어 간다. 스테레오 매칭부(13)는, 이와 같은 대응짓기를 주사선마다 실행해 감으로써, 보조선에 의한 보정이 있는 시차 데이터를 생성한다.In the process of step S25, the stereo matching unit 13 associates the coordinates of the intersection of the scanning line and the auxiliary line stored in the intersection coordinate buffer provided in the RAM with the auxiliary line on the search plane, , Coordinates of the center position of the lattice region at which the correlation coefficient becomes the maximum are associated with each other on the search plane in the portion where the auxiliary line is not input. The stereo matching unit 13 generates the parallax data with the correction by the auxiliary line by executing such a correspondence for each scanning line.

그리고, 스테레오 매칭부(13)는, 스텝 S24 또는 스텝 S25의 처리에서 생성한 시차 데이터에 기초한 화상을 스테레오 매칭 결과로서 표시부(10)에 표시함과 함께(스텝 S26), 시차 데이터와 스텝 S21의 처리에서 표정한 카메라 파라미터를 이용하여, 대상물의 표층의 높이를 나타내는 표고 데이터를 포함하는 DSM 데이터를 추출한다(스텝 S27).Then, the stereo matching unit 13 displays the image based on the parallactic data generated in the process of step S24 or step S25 on the display unit 10 as the stereo matching result (step S26) DSM data including elevation data indicating the height of the surface layer of the object is extracted using the camera parameters expressed in the processing (step S27).

계속해서, 오쏘 처리ㆍ대지 표정부(14)는, 스텝 S27의 처리에서 추출한 DSM 데이터를 이용하여 오쏘 처리를 실행함으로써, 항공 사진의 화상과 DSM 데이터를 정사 변환한다(스텝 S28).Subsequently, the ortho-processing / area specifying unit 14 executes ortho processing using the DSM data extracted in the processing in step S27 to square-convert the aerial photograph image and the DSM data (step S28).

그리고, 오쏘 처리ㆍ대지 표정부(14)는, 스텝 S28에서 오쏘 처리를 실시한 DSM 데이터를 이용하여, 대지 표정 처리를 실행함으로써, 오쏘 화상과, 대상물의 표층의 높이를 나타내는 표고 데이터를 포함하는 오쏘 DSM 데이터를 생성한다(스텝 S29).Then, the ortho-processing / area specifying unit 14 executes the earth surface facial expression processing using the DSM data subjected to the erosion processing in step S28, thereby obtaining the ortho image and the ortho image including the elevation data indicating the height of the surface layer of the object And generates DSM data (step S29).

계속해서, 상기 처리를 실행하는 스테레오 매칭 처리 시스템의 동작에 대해서 구체예를 들어 설명한다.Next, a specific example of the operation of the stereo matching processing system for executing the above processing will be described.

우선, 보조선이 입력되어 있지 않을 때에는, 도 8에 도시한 스텝 S23의 처리에서 보조선 입력 플래그가 오프인 것으로 판별되기 때문에, 스텝 S24의 처리에서 상관 계수가 최대로 되는 격자 영역의 중심 좌표끼리가 검색 평면 상에서 대응지어져 간다.When the auxiliary line is not input, it is determined that the auxiliary line input flag is turned off in the process of step S23 shown in Fig. 8, so that the center coordinates of the lattice area where the correlation coefficient becomes the maximum in the process of step S24 Are associated with each other on the search plane.

도 9a 및 도 9b는, 검색 평면을 예시하는 도면이다. 또한, 도 10은, 보조선을 사용한 대응짓기의 개선을 설명하기 위한 도면이다. 스텝 S24의 처리에서, 도 9a에 도시한 바와 같이, 검색 평면 상에서 잘못된 대응짓기가 이루어진 경우, 오퍼레이터에 의한 보조선 입력부(11)의 조작에 의해, 도 10에 도시한 바와 같이, 좌화상 상의 보조선 A2와 우화상 상의 보조선 A1이 대응지어서 입력됨과 함께, 좌화상 상의 보조선 B2와 우화상 상의 보조선 B1이 대응지어서 입력된다.9A and 9B are diagrams illustrating search planes. 10 is a diagram for explaining the improvement of the correspondence using the auxiliary line. As shown in Fig. 9, when an erroneous correspondence is made on the search plane as shown in Fig. 9A in the process of step S24, the operation of the supplementary line input section 11 by the operator causes the left- The ship A2 and the auxiliary line A1 on the right image are input in association with each other, and the auxiliary line B2 on the left image and the auxiliary line B1 on the right image are input in association with each other.

그 후, 도 7에 도시한 스텝 S12의 처리에서는, 주사선과, 보조선 A1, A2, B1, 및 B2와의 교점의 x좌표 a1, a2, b1, 및 b2가 각각 구해짐과 함께, 스텝 S13의 처리에서 보조선 입력 플래그가 온으로 세트된다.7, the x-coordinates a1, a2, b1, and b2 of the intersection of the scanning line and the auxiliary lines A1, A2, B1, and B2 are obtained, The auxiliary line input flag is set to ON in the process.

그리고, 도 8에 도시한 스텝 S23의 처리에서 이번은 보조선 입력 플래그가 온인 것으로 판별되기 때문에, 스텝 S25의 처리에서는, 도 9b에 도시한 바와 같이, 좌화상 상에 있어서의 주사선 및 보조선 A2의 교점의 좌표 a2와 우화상 상에 있어서의 주사선 및 보조선 A1의 교점의 좌표 a1이, 또한, 좌화상 상에 있어서의 주사선 및 보조선 B2의 교점의 좌표 b2와 우화상 상에 있어서의 주사선 및 보조선 B1의 교점의 좌표 b1이, 각각 검색 평면 상에서 대응지어진다.8, it is determined that the auxiliary line input flag is on at this time. Thus, in step S25, as shown in Fig. 9B, the scanning line on the left image and the auxiliary line A2 The coordinate a1 of the intersection of the scanning line and the auxiliary line A1 on the right image and the coordinate a2 of the intersection of the scanning line and the auxiliary line B2 on the left image and the coordinate a2 of the intersection of the scanning line And the coordinate b1 of the intersection of the auxiliary line B1 are associated with each other on the search plane.

이에 의해, 스테레오 매칭 처리 시스템(1)은, 검색 평면 상에 있어서의 잘못된 대응짓기를 개선하여, 동일한 위치를 좌화상과 우화상과의 사이에서 정확하게 대응지을 수 있다.Thereby, the stereo matching processing system 1 improves erroneous correspondence on the search plane, and can accurately associate the same position between the left image and the right image.

이상으로 설명한 바와 같이, 본 실시 형태에 따른 스테레오 매칭 처리 시스템(1)에 따르면, 보조선에 의한 보정을 실시함으로써, 검색 평면 상에 있어서의 잘못된 대응짓기를 개선할 수 있기 때문에, 스테레오 매칭 결과로서의 시차 데이터를 수정할 수 있다. 그리고, 스테레오 매칭 처리 시스템(1)은, 수정된 시차 데이터를 이용하여, DSM 데이터를 추출함으로써, 대상물의 표층의 높이를 정확하게 나타내는 표고 데이터를 취득할 수 있다.As described above, according to the stereo matching processing system 1 of the present embodiment, erroneous correspondence on a search plane can be improved by performing correction by an auxiliary line, and therefore, The time difference data can be modified. Then, the stereo matching processing system 1 can obtain the elevation data accurately representing the height of the surface layer of the object by extracting the DSM data using the corrected parallax data.

또한, 본 발명은, 상기 실시 형태에 한정되지 않고, 다양하게 변형, 응용이 가능하다. 이하, 본 발명에 적용 가능한 상기 실시 형태의 변형 양태에 대해서, 설명한다.The present invention is not limited to the above-described embodiment, and various modifications and applications are possible. Modifications of the above-described embodiment applicable to the present invention will be described below.

상기 실시 형태에서는, 도 8에 도시한 스텝 S25의 처리에서, 좌화상 상에 있어서의 주사선 및 보조선 A2의 교점의 좌표 a2와 우화상 상에 있어서의 주사선 및 보조선 A1의 교점의 좌표 a1이, 또한, 좌화상 상에 있어서의 주사선 및 보조선 B2의 교점의 좌표 b2와 우화상 상에 있어서의 주사선 및 보조선 B1의 교점의 좌표 b1이, 각각 검색 평면 상에서 대응지어지고, 그 사이에서는, 상관 계수가 최대로 되는 격자 영역의 중심 좌표끼리가 검색 평면 상에서 대응지어지는 것으로서 설명하였다. 그러나, 본 발명은 이것에 한정되는 것은 아니다. 도 11은, 변형예에 있어서의 검색 평면을 도시하는 도면이다. 도 11에 도시한 바와 같이, 검색 평면 상의 좌표(a1, a2)와 좌표(b1, b2)를 연결하는 선분 상의 점이 모두 대응지어지도록 하여도 된다.In the above embodiment, the coordinate a2 of the intersection of the scanning line and the auxiliary line A2 on the left image and the coordinate a1 of the intersection of the scanning line and the auxiliary line A1 on the right image in the process of step S25 shown in Fig. , And the coordinate b2 of the intersection of the scanning line and the auxiliary line B2 on the left image and the coordinate b1 of the intersection of the scanning line and the auxiliary line B1 on the right image are associated with each other on the search plane, And the center coordinates of the lattice regions at which the correlation coefficient becomes maximum are associated with each other on the search plane. However, the present invention is not limited to this. 11 is a diagram showing a search plane in a modified example. The point on the line segment connecting the coordinates (a1, a2) on the search plane and the coordinates (b1, b2) may be associated with each other, as shown in Fig.

그리고, 이와 같은 대응짓기를 행하는 보조선(강제 보조선)을 입력할지의 여부는, 오퍼레이터에 의한 보조선 입력부(11)에 의한 조작에 의해 결정되면 된다.Whether or not to input an auxiliary line (forced auxiliary line) for carrying out such a correspondence may be determined by an operation of the auxiliary line input section 11 by the operator.

상기 실시 형태에서는, 보조선이 주사선에 수직으로 그어지는 것을 예로 들어 설명하였지만, 본 발명은 이것에 한정되는 것은 아니다. 도 12는, 변형예에 있어서의 보조선을 사용한 대응짓기의 개선을 설명하기 위한 도면이다. 또한, 도 13은, 변형예에 있어서의 검색 평면을 도시하는 도면이다. 보조선은, 도 12에 도시한 바와 같이, 주사선에 수평으로 그어지는 것이어도 된다. 보조선이 주사선에 수평으로 그어진 경우에는, 좌화상 및 우화상 각각에 있어서의 보조선(선분)을 n(n은 자연수) 등분하는 점(등분점)끼리를, 도 13에 도시한 바와 같이, 선분의 시점으로부터 순서대로 선분의 종점까지 검사 평면 상에서 대응짓도록 하면 된다.In the above embodiment, the auxiliary lines are drawn perpendicularly to the scanning lines. However, the present invention is not limited thereto. 12 is a diagram for explaining the improvement of the correspondence using the auxiliary lines in the modified example. 13 is a diagram showing a search plane in a modified example. The auxiliary lines may be drawn horizontally on the scanning lines as shown in Fig. When the auxiliary line is horizontally drawn on the scanning line, points (equal division points) where the auxiliary lines (line segments) in each of the left image and the right image are equally divided into n (n is a natural number) It is sufficient to make correspondence on the inspection plane from the start point of the line segment to the end point of the line segment in order.

상기 실시 형태에서는, 상호 표정부(12)가, 표정 처리에 있어서, 좌화상과 우화상에 공통적으로 비추어지는 대상물의 좌표값을 판독하고, 판독한 2개의 좌표값을 이용하여, 좌화상과 우화상과의 사이에서의 카메라 회전각 등의 촬영 시의 카메라 파라미터를 표정하는 것으로서 설명하였다. 그러나, 본 발명은 이것에 한정되는 것이 아니라, 촬영 시의 카메라 파라미터를 표정하는 수법은, 임의이며, 예를 들면 도화(figure drawing) 프로그램에 의해서 산출되는 값을 이용하여, 촬영 시의 카메라 파라미터를 표정하여도 된다.In the above embodiment, the mutual table display unit 12 reads the coordinate values of the objects commonly displayed on the left image and the right image in the facial expression processing, and uses the read two coordinate values to calculate the left image and the right image The camera parameters at the time of photographing such as the camera rotation angle between the image and the image are expressed. However, the present invention is not limited to this. The method of expressing camera parameters at the time of photographing is arbitrary. For example, by using a value calculated by a figure drawing program, It may be expressed.

상기 실시 형태에서는, 오쏘 처리ㆍ대지 표정부(14)가, 오쏘 처리를 실시한 항공 사진의 화상과 DSM 데이터를 이용하여, 대상물의 경도 및 위도를 구하는 대지 표정을 행하는 것으로서 설명하였다. 그러나, 본 발명은 이것에 한정되는 것이 아니라, 대지 표정을 행하기 위한 수법은, 임의이며, 예를 들면 미리 경도, 위도, 및 표고값(화상 좌표)이 검출되어 있는 항공 사진의 화상 상의 복수의 점의 화상 좌표로부터, 지상 표면의 지상 좌표(경도, 위도, 및 표고값)로의 변환식을 구하도록 하여도 된다.In the embodiment described above, the osso-processing / earth marking section 14 performs the earth lookup for obtaining the hardness and the latitude of the object by using the image of the aerial photograph subjected to the ortho-processing and the DSM data. However, the present invention is not limited to this. The method for performing the land surface expression is arbitrary, and for example, a plurality of (for example, a longitude, a latitude and an elevation The conversion formula from the image coordinates of the point to the ground coordinates (hardness, latitude, and elevation value) of the ground surface may be obtained.

또한, 대공 표식을 찍어 넣어 항공 사진을 촬영함으로써 경도, 위도, 및 표고가 측량된 공중 삼각 측량 데이터를 이용하여도 되고, 이와 같이 하면, 화상 상의 임의의 좌표에 있어서의 지상 좌표를 구하는 것이 가능하게 된다. 여기서, 대공 표식이란, 항공기로부터 각종 센서에 의해 항공 사진을 촬영하였을 때에, 항공 사진의 화상 상에서 명료하게 그 형태를 인식할 수 있고, 또한 그 화상 좌표를 측정할 수 있는 것을 말한다. 따라서, 대공 표식을 설정한(set) 점에서는, 정확한 3차원 좌표가 표시되어 있다.In addition, aerial triangulation data obtained by measuring the hardness, latitude, and altitude by photographing an aerial photograph by taking an airplane marker may be used. In this way, it is possible to obtain the ground coordinates in an arbitrary coordinate on the image do. Here, the anti-aircraft landmark means that when the aerial photograph is taken by the various sensors from the aircraft, the form can be clearly recognized on the image of the aerial photograph and the image coordinates thereof can be measured. Therefore, accurate three-dimensional coordinates are displayed at the point where the anti-air marker is set.

상기 실시 형태에 있어서, 오쏘 화상에는, 색 데이터와 위도 데이터와 경도 데이터가 포함되고, 오쏘 DSM 데이터에는, 표고 데이터와 위도 데이터와 경도 데이터가 포함되어 있는 것으로서 설명하였다. 그러나, 본 발명은 이것에 한정되는 것이 아니라, 오쏘 화상 및 오쏘 DSM 데이터에는, 위도 데이터 및 경도 데이터 대신에, 다른 좌표계에서 표현되는 좌표값 데이터가 포함되어도 되고, 또한 표고값 데이터 대신에, 다른 기준으로부터의 상대적인 높이를 나타내는 높이 데이터가 포함되어도 된다.In the above embodiment, it has been described that the ortho image includes color data, latitude data and longitude data, and ortho DSM data includes elevation data, latitude data and longitude data. However, the present invention is not limited to this. Instead of the latitude data and the longitude data, the ortho-image and ortho DSM data may include coordinate value data expressed in another coordinate system, and in place of the elevation value data, May be included in the height data.

또한, 본원에 대해서는, 일본 특허 출원 제2008-300103호를 기초로 하는 우선권을 주장하고, 본 명세서 중에 일본 특허 출원 제2008-300103호의 명세서, 특허 청구의 범위, 도면 전체를 참조로서 원용하는 것으로 한다.The present application is based on Japanese Patent Application No. 2008-300103, and the specification of Japanese Patent Application No. 2008-300103, the claims of the Japanese Patent Application No. 2008-300103, and the entire drawings are hereby incorporated by reference in this specification .

1 : 스테레오 매칭 처리 시스템
10 : 표시부
11 : 보조선 입력부
12 : 상호 표정부
13 : 스테레오 매칭부
14 : 오쏘 처리ㆍ대지 표정부1: Stereo matching processing system
10:
11: auxiliary line input part
12: Mutual representation government
13: Stereo matching unit
14: Oseo Treatment ㆍ Land Mark Government

Claims (6)

동일한 대상물을 다른 방향으로부터 촬영하여 얻어지는 복수의 화상에서, 그 복수의 화상 상의 에피폴(epipole)이 연결된 에피폴라(epipolar)선과 일치하는 동일 주사선 상에서 상관 계수가 최대로 되는 영역끼리를 동일한 위치를 나타내는 것으로 하여 대응짓는 대응짓기부와,
상기 복수의 화상의 각각에 동일한 위치를 나타내는 것으로 하여 대응지어진 선분이 그어졌는지를 판별하는 선분 판별부
를 구비하고,
상기 대응짓기부는, 상기 선분 판별부에 의해서 상기 선분이 그어졌다고 판별한 경우, 상기 동일 주사선 상에서 상관 계수가 최대로 되는 영역끼리가 아니라, 그 주사선과 그 선분과의 교점끼리를 동일한 위치를 나타내는 것으로 하여 대응짓고, 또한, 대응짓기를 행하는 지시가 있는 경우, 상기 교점의 좌표를 연결하는 선분 상의 점을 검색 평면 상에서 모두 대응짓고, 상기 선분 판별부에 의해 상기 선분이 그어져 있지 않다고 판별한 경우, 상관 계수가 최대로 되는 영역의 중심 위치의 좌표끼리를 대응짓는
것을 특징으로 하는 스테레오 매칭 처리 시스템.In a plurality of images obtained by photographing the same object from different directions, regions where the correlation coefficient becomes maximum on the same scan line coinciding with an epipolar line connected to an epipole on the plurality of images are set to the same position A correspondence establishing unit for establishing correspondence,
A line segment discriminating section for discriminating whether or not a corresponding line segment is drawn by indicating the same position in each of the plurality of images,
And,
When it is determined that the line segments are drawn by the line segment discrimination unit, the correspondence constructing unit may be configured to not only determine the areas where the correlation coefficient becomes maximum on the same scanning line, but also the intersection points of the scanning line and the line segment, And when it is determined that the line segment is not drawn by the line segment discrimination unit, the correlation is determined to be a correlation Correspondence between the coordinates of the center position of the region where the coefficient is maximized
And the stereo matching processing system. 제1항에 있어서,
상기 대응짓기부는, 상기 복수의 화상의 각각에 복수의 상기 선분이 그어진 경우, 상기 주사선과 그 선분과의 교점끼리를 연결하는 선분끼리 동일한 위치를 나타내는 것으로 하여 대응짓는 것을 특징으로 하는 스테레오 매칭 처리 시스템.The method according to claim 1,
Wherein when the plurality of line segments are drawn in each of the plurality of images, the line segments connecting the intersections of the scanning lines and the line segments correspond to each other to indicate the same position. . 제2항에 있어서,
상기 대응짓기부는, 상기 복수의 화상의 각각에 상기 주사선과 수평한 상기 선분이 그어진 경우, 상기 선분의 시점끼리와 종점끼리를 각각 동일한 위치를 나타내는 것으로 하여 대응짓는 것을 특징으로 하는 스테레오 매칭 처리 시스템.3. The method of claim 2,
Wherein the correspondence establishing unit associates each of the start points of the line segment and the end points of the line segment with each other so as to indicate the same position when the line segment horizontal to the scan line is drawn in each of the plurality of images. 제3항에 있어서,
상기 대응짓기부는, 상기 복수의 화상의 각각에 상기 주사선과 수평한 상기 선분이 그어진 경우, 그 선분을 소정 등분하는 등분점끼리를 상기 시점으로부터 순서대로 각각 동일한 위치를 나타내는 것으로 하여 대응짓는 것을 특징으로 하는 스테레오 매칭 처리 시스템.The method of claim 3,
Wherein when the line segments horizontally aligned with the scanning line are drawn in each of the plurality of images, the equalizing unit associates each of the equal segments dividing the line segments by a predetermined number in order from the viewpoint, The stereo matching processing system. 동일한 대상물을 다른 방향으로부터 촬영하여 얻어지는 복수의 화상에서, 그 복수의 화상 상의 에피폴이 연결된 에피폴라선과 일치하는 동일 주사선 상에서 상관 계수가 최대로 되는 영역끼리를 동일한 위치를 나타내는 것으로 하여 대응짓는 대응짓기 스텝과,
상기 복수의 화상의 각각에 동일한 위치를 나타내는 것으로 하여 대응지어진 선분이 그어졌는지를 판별하는 선분 판별 스텝
을 포함하고,
상기 대응짓기 스텝은, 상기 선분 판별 스텝에 의해서 상기 선분이 그어졌다고 판별한 경우, 상기 동일 주사선 상에서 상관 계수가 최대로 되는 영역끼리가 아니라, 그 주사선과 그 선분과의 교점끼리를 동일한 위치를 나타내는 것으로 하여 대응짓고, 또한, 대응짓기를 행하는 지시가 있는 경우, 상기 교점의 좌표를 연결하는 선분 상의 점을 검색 평면 상에서 모두 대응짓고, 상기 선분 판별 스텝에 의해서 상기 선분이 그어져 있지 않다고 판별한 경우, 상관 계수가 최대로 되는 영역의 중심 위치의 좌표끼리를 대응짓는
것을 특징으로 하는 스테레오 매칭 처리 방법.In a plurality of images obtained by photographing the same object from different directions, areas in which the correlation coefficient becomes maximum on the same scanning line coinciding with the epipolar lines connected to the epipoles on the plurality of images are represented as the same positions, Step,
A line segment discriminating step for discriminating whether or not a corresponding line segment is drawn by indicating the same position in each of the plurality of images;
/ RTI >
Wherein when the line segment is judged to have been drawn by the line segment discriminating step, the correspondence determining step determines that the intersection points of the scanning line and the line segment are not the ones where the correlation coefficient becomes the maximum on the same scanning line, In the case where there is an instruction to make a correspondence, a point on a line segment connecting the coordinates of the intersection is all associated on the search plane, and when it is determined by the line segment discrimination step that the segment is not drawn, Correspondence between the coordinates of the center position of the region where the correlation coefficient is maximized
And the stereo matching processing method. 컴퓨터에, 동일한 대상물을 다른 방향으로부터 촬영하여 얻어지는 복수의 화상에서, 그 복수의 화상 상의 에피폴이 연결된 에피폴라선과 일치하는 동일 주사선 상에서 상관 계수가 최대로 되는 영역끼리를 동일한 위치를 나타내는 것으로 하여 대응짓는 대응짓기 수순과, 상기 복수의 화상의 각각에 동일한 위치를 나타내는 것으로 하여 대응지어진 선분이 그어졌는지를 판별하는 선분 판별 수순을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체로서,
상기 대응짓기 수순은, 상기 선분 판별 수순에 의해서 상기 선분이 그어졌다고 판별한 경우, 상기 동일 주사선 상에서 상관 계수가 최대로 되는 영역끼리가 아니라, 그 주사선과 그 선분과의 교점끼리를 동일한 위치를 나타내는 것으로 하여 대응짓고, 또한, 대응짓기를 행하는 지시가 있는 경우, 상기 교점의 좌표를 연결하는 선분 상의 점을 검색 평면 상에서 모두 대응짓고, 상기 선분 판별 수순에 의해서 상기 선분이 그어져 있지 않다고 판별한 경우, 상관 계수가 최대로 되는 영역의 중심 위치의 좌표끼리를 대응짓는
것을 특징으로 하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.In a plurality of images obtained by photographing the same object from another direction, the regions where the correlation coefficient becomes maximum on the same scanning line coinciding with the epipolar lines connected to the epipoles on the plurality of images are regarded as the same position And a line segment determination step for determining whether or not a corresponding line segment is drawn by indicating the same position in each of the plurality of images,
Wherein when the line segments are determined to have been drawn by the line segment determination procedure, the matching process is performed so that the intersections of the scanning lines and the line segments are the same, And when it is determined that the line segment is not drawn by the line segment determination procedure in the case where there is an instruction to make the correspondence, a point on the line segment connecting the coordinates of the intersection point is all corresponded on the search plane, Correspondence between the coordinates of the center position of the region where the correlation coefficient is maximized
Wherein the program is recorded on a computer-readable recording medium.
KR1020117011938A 2008-11-25 2009-11-25 Stereo matching process system, stereo matching process method, and recording medium KR101453143B1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2008-300103 2008-11-25
JP2008300103A JP5311465B2 (en) 2008-11-25 2008-11-25 Stereo matching processing system, stereo matching processing method, and program
PCT/JP2009/069887 WO2010061860A1 (en) 2008-11-25 2009-11-25 Stereo matching process system, stereo matching process method, and recording medium

Publications (2)

Publication Number Publication Date
KR20110089299A KR20110089299A (en) 2011-08-05
KR101453143B1 true KR101453143B1 (en) 2014-10-27

Family

ID=42225733

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117011938A KR101453143B1 (en) 2008-11-25 2009-11-25 Stereo matching process system, stereo matching process method, and recording medium

Country Status (4)

Country Link
JP (1) JP5311465B2 (en)
KR (1) KR101453143B1 (en)
CN (1) CN102224523B (en)
WO (1) WO2010061860A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210082857A (en) * 2019-12-26 2021-07-06 한국전자통신연구원 Method and apparatus of generating digital surface model using satellite imagery

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101922930B (en) * 2010-07-08 2013-11-06 西北工业大学 Aviation polarization multi-spectrum image registration method
US8587518B2 (en) * 2010-12-23 2013-11-19 Tektronix, Inc. Disparity cursors for measurement of 3D images
JP5839671B2 (en) * 2011-09-20 2016-01-06 株式会社Ｓｃｒｅｅｎホールディングス 3D position / attitude recognition device, industrial robot, 3D position / attitude recognition method, program, recording medium
CN103339651B (en) 2011-10-11 2016-12-07 松下知识产权经营株式会社 Image processing apparatus, camera head and image processing method
CN108629731A (en) * 2017-03-15 2018-10-09 长沙博为软件技术股份有限公司 A kind of image split-joint method being suitable for rolling screenshotss
CN112417208A (en) * 2020-11-20 2021-02-26 百度在线网络技术（北京）有限公司 Target searching method and device, electronic equipment and computer-readable storage medium
CN113436057B (en) * 2021-08-27 2021-11-19 绍兴埃瓦科技有限公司 Data processing method and binocular stereo matching method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002230527A (en) * 2001-01-31 2002-08-16 Olympus Optical Co Ltd Three-dimensional information acquisition device and method and computer readable storage medium storing three-dimensional information acquisition program
KR20040101377A (en) * 2002-07-30 2004-12-02 미쓰비시덴키 가부시키가이샤 Method for linking edges in stereo images into chains

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3842988B2 (en) * 2000-07-19 2006-11-08 ペンタックス株式会社 Image processing apparatus for measuring three-dimensional information of an object by binocular stereoscopic vision, and a method for recording the same, or a recording medium recording the measurement program
CN100550054C (en) * 2007-12-17 2009-10-14 电子科技大学 A kind of image solid matching method and device thereof
CN101226636B (en) * 2008-02-02 2010-06-02 中国科学院遥感应用研究所 Method for matching image of rigid body transformation relation
CN100586199C (en) * 2008-03-30 2010-01-27 深圳华为通信技术有限公司 Method and device for capturing view difference

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002230527A (en) * 2001-01-31 2002-08-16 Olympus Optical Co Ltd Three-dimensional information acquisition device and method and computer readable storage medium storing three-dimensional information acquisition program
KR20040101377A (en) * 2002-07-30 2004-12-02 미쓰비시덴키 가부시키가이샤 Method for linking edges in stereo images into chains

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210082857A (en) * 2019-12-26 2021-07-06 한국전자통신연구원 Method and apparatus of generating digital surface model using satellite imagery
KR102610989B1 (en) * 2019-12-26 2023-12-08 한국전자통신연구원 Method and apparatus of generating digital surface model using satellite imagery

Also Published As

Publication number Publication date
CN102224523B (en) 2014-04-23
KR20110089299A (en) 2011-08-05
CN102224523A (en) 2011-10-19
JP2010128608A (en) 2010-06-10
JP5311465B2 (en) 2013-10-09
WO2010061860A1 (en) 2010-06-03

Similar Documents

Publication Publication Date Title
KR101453143B1 (en) Stereo matching process system, stereo matching process method, and recording medium
EP2993490B1 (en) Operating device, operating method, and program therefor
JP5832341B2 (en) Movie processing apparatus, movie processing method, and movie processing program
US8625851B2 (en) Measurement apparatus, measurement method, and feature identification apparatus
KR102085228B1 (en) Imaging processing method and apparatus for calibrating depth of depth sensor
US9094673B2 (en) Arrangement and method for providing a three dimensional map representation of an area
US6671399B1 (en) Fast epipolar line adjustment of stereo pairs
US8571303B2 (en) Stereo matching processing system, stereo matching processing method and recording medium
KR102249769B1 (en) Estimation method of 3D coordinate value for each pixel of 2D image and autonomous driving information estimation method using the same
EP3032818B1 (en) Image processing device
Tamas et al. Targetless calibration of a lidar-perspective camera pair
JP2008082870A (en) Image processing program, and road surface state measuring system using this
US11488354B2 (en) Information processing apparatus and information processing method
CN112541973A (en) Virtual-real superposition method and system
JP2014134856A (en) Subject identification device, subject identification method, and subject identification program
CN104166995B (en) Harris-SIFT binocular vision positioning method based on horse pace measurement
JP6425511B2 (en) Method of determining feature change and feature change determination apparatus and feature change determination program
JP2018173882A (en) Information processing device, method, and program
KR20050061115A (en) Apparatus and method for separating object motion from camera motion
CN111476798B (en) Vehicle space morphology recognition method and system based on contour constraint
CN112991372B (en) 2D-3D camera external parameter calibration method based on polygon matching
US20230104937A1 (en) Absolute scale depth calculation device, absolute scale depth calculation method, and computer program product
CN111047699A (en) Seabed detection image display method, device, equipment and storage medium
Zhou et al. Occlusion detection for urban aerial true orthoimage generation
JP2001229388A (en) Matching method for image data

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20130715

Effective date: 20140821

S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)
FPAY Annual fee payment

Payment date: 20170920

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180920

Year of fee payment: 5