KR20150115335A - Distance measuring apparatus using Multi-view point image and method therefor - Google Patents

Distance measuring apparatus using Multi-view point image and method therefor Download PDF

Info

Publication number
KR20150115335A
KR20150115335A KR1020140040186A KR20140040186A KR20150115335A KR 20150115335 A KR20150115335 A KR 20150115335A KR 1020140040186 A KR1020140040186 A KR 1020140040186A KR 20140040186 A KR20140040186 A KR 20140040186A KR 20150115335 A KR20150115335 A KR 20150115335A
Authority
KR
South Korea
Prior art keywords
image
feature
point
viewpoint
unit
Prior art date
Application number
KR1020140040186A
Other languages
Korean (ko)
Inventor
심재철
장원일
김화숙
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020140040186A priority Critical patent/KR20150115335A/en
Publication of KR20150115335A publication Critical patent/KR20150115335A/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/10Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Abstract

The present invention relates to a device and a method for measuring the distance between objects in a three-dimensional space using multi-view images capable of reducing the complexity of processing while more accurately processing even in a section with no characteristics by using multiple multi-view collecting devices. The device for measuring the distance includes an image combining unit and a distance calculating unit and enables a stereo vision system applicable to a mobile device with a limit on processing performance by reducing the complexity of processing while more accurately processing even in the section with no characteristics by using the image combining unit and the distance calculating unit. Accordingly, the purpose of the present invention is to provide high accuracy in an urban environment with lots of walls and roads with little characteristics due to repeated similar colors.

Description

다시점 영상을 이용한 객체간 3차원 공간에서의 거리측정장치 및 그 방법 {Distance measuring apparatus using Multi-view point image and method therefor}BACKGROUND OF THE INVENTION Field of the Invention The present invention relates to a distance measuring apparatus and method therefor,

본 발명은 객체간 3차원 공간에서의 거리측정장치 및 그 방법에 관한 것으로, 보다 구체적으로는 복수의 다시점 영상수집장치를 활용함으로써 특징이 없는 영역에서도 보다 정확하면서도 처리의 복잡도를 감소시키는 다시점 영상을 이용한 객체간 3차원 공간에서의 거리측정장치 및 그 방법에 관한 것이다.The present invention relates to an apparatus and method for distance measurement in a three-dimensional space between objects, and more particularly, to an apparatus and method for measuring distance in a three-dimensional space between objects. More specifically, The present invention relates to an apparatus and method for measuring distance in a three-dimensional space between objects using an image.

3차원 구조를 활용하는 비마커(非marker) 기반의 증강현실 기술에서는 영상으로부터 3차원 좌표를 획득하는 것이 요구된다.In a non-marker based augmented reality technique utilizing a three-dimensional structure, it is required to acquire three-dimensional coordinates from the image.

이를 위해 복수의 영상 카메라를 사용하는 스테레오 비전, 하나의 영상 카메라를 사용하지만 여러 시점에서의 영상을 사용하는 스테레오 비전, 키넥트 등의 거리 측정이 가능한 depth 카메라 기술을 사용할 수 있다.For this purpose, we can use depth camera technology which can measure stereo vision, such as stereoscopic vision using a plurality of image cameras and stereo vision using a single image camera but using images at various points of view.

그러나 Depth 카메라의 경우 정밀한 거리 측정이 가능하지만 거리의 제약이 있어 특히 장거리의 사물에 대한 거리를 측정하는 것이 불가능하고, 그로 인해 복수의 영상 카메라를 사용하는 스테레오 비전 기술이 보편적으로 활용되고 있으나 이로 인해 처리의 복잡도 증가 및 정확도 부족 등이 발생한다However, the Depth camera can measure the distance accurately, but it is impossible to measure the distance to a long distance object due to the restriction of the distance. Therefore, the stereo vision technique using plural video cameras is commonly used Increase in processing complexity and lack of accuracy occur

본 발명은 다시점 영상을 이용한 객체간 3차원 공간에서의 거리측정장치 및 그 방법에 관한 것으로, 복수의 다시점 영상수집장치를 활용함으로써 특징이 없는 영역에서 정확하면서도 처리의 복잡도를 감소시켜 처리 성능이 제약된 모바일 기기에 적용할 수 있는 스테레오 비전 시스템의 구성이 가능하게 하여 유사한 색상이 연속되어 특징이 많지 않은 벽, 도로 등이 많은 도시 환경에서 높은 정확도를 제공하는 데 그 목적이 있다.The present invention relates to an apparatus and method for measuring distances in a three-dimensional space between objects using multi-view images. More specifically, the present invention relates to an apparatus and method for measuring distances in three- The present invention aims to provide a stereoscopic vision system that can be applied to a mobile device having a limited number of pixels, thereby providing high accuracy in a city environment in which many similar colors are continuous and many features are not present.

다시점 영상을 이용한 객체간 3차원 공간에서의 거리측정장치는 본 발명의 실시 예에 따르면 동일한 대상에 대하여 복수의 시점으로 획득한 영상을 수신하여 상기 영상에 포함된 객체를 인식하기 위한 특징을 추출하고, 상기 추출한 특징들의 각 시점 별 영상 내 상대적 위치의 일관성을 이용하여 영상 별로 대응되는 대응점을 식별하며 상기 식별된 대응점들의 동일성을 검증하는 영상 통합부; 및According to an embodiment of the present invention, an apparatus for measuring distances in an inter-object space using multi-viewpoint images is characterized in that a feature for recognizing an object included in the image is extracted by receiving an image acquired at a plurality of viewpoints for the same object An image integrating unit for identifying correspondence points corresponding to the images by using the consistency of the relative positions of the extracted features in the images at each viewpoint and verifying the identity of the identified corresponding points; And

상기 동일성이 검증된 각 대응점들을 통해 상기 영상 내 객체들간의 거리를 산출하는 거리 산출부를 포함하는 것을 특징으로 할 수 있다.And a distance calculating unit for calculating a distance between the objects in the image through the corresponding points whose identities are verified.

본 발명의 실시 예에 따르면 상기 영상 통합부는, 상기 영상을 수신하여 각 시점 별 영상에 포함된 객체를 식별하기 위한 특징을 추출하는 특징 추출부; 및 상기 추출한 특징을 각각의 시점 별 영상에 대응시켜 상기 대응에 부합하는 특징인 대응점을 식별 및 검증하는 특징 대응부를 더 포함하는 것을 특징으로 할 수 있다.According to an embodiment of the present invention, the image integrating unit may include a feature extracting unit for extracting a feature for receiving the image and identifying an object included in each view-point image; And a feature corresponding unit that identifies and verifies corresponding points corresponding to the correspondence by associating the extracted feature with each view-point image.

본 발명의 실시 예에 따르면 상기 특징 대응부는, 상기 수신한 영상 중 특정 시점에서 획득한 영상에서 추출된 특징이 다른 시점의 영상에서는 추출되지 않은 경우, 특징이 추출된 시점의 영상을 이용하여 특징이 추출되지 않은 시점의 영상에서 특징을 추출할 수 있도록 보정하는 특징 보정부; 상기 추출된 특징 중 복수의 인접한 특징들을 기준으로 다각형을 이루어 각 시점 별 영상에서 상기 추출된 특징을 상기 다각형의 꼭지점과 변으로 하는 영역을 생성하는 영역 설정부; 상기 생성된 영역 중 특정시점에 대한 영역이 다른 영상으로부터 생성된 영역에 대하여 대응될 수 있도록 각 시점 별 영역을 정렬하고, 상기 정렬된 영역에 포함된 특징이 상대적으로 동일한 위치에 대응하는지 여부로 대응점에 해당되는지 여부를 식별하는 대응점 식별부; 및 상기 식별된 대응점 중 각 영상에서 대응하는 대응점들이 유사한 색상 값을 가지는지 여부로 동일한 특징인지를 검증하는 동일성 검증부를 더 포함하는 것을 특징으로 할 수 있다.According to the embodiment of the present invention, when the feature extracted from the image obtained at a specific time point of the received image is not extracted from the image at the different view point, the feature corresponding unit uses the image at the extracted point of time, A feature correcting unit for correcting feature extraction from an image at a point in time that is not extracted; An area setting unit for generating a polygon based on a plurality of adjacent features among the extracted features to generate an area in which the extracted feature is a vertex and a side of the polygon in each viewpoint image; Wherein each of the viewpoint regions is aligned so that the region corresponding to a specific time point of the generated region can be corresponded to the region generated from another image, and whether or not the feature included in the aligned region corresponds to a relatively same position, A corresponding point identifying unit that identifies whether the corresponding point corresponds to the corresponding point; And an equivalence verifying unit for verifying whether or not the corresponding points in the respective images of the identified corresponding points have the same color value or not by comparing whether the corresponding points in the respective images have the same color value.

본 발명의 실시 예에 따르면 상기 거리 산출부는, 상기 시점 별 영상을 대상으로 상기 식별된 모든 대응점을 이용해 스테레오 비전에서의 디스패리티 기반의 거리 계산을 수행하는 거리 계산부; 및 상기 식별된 대응점을 사용하여, 모든 시점 별 영상을 대상으로 각 대응점 별로 계산된 거리를 평균함으로써 거리 측정의 오차를 줄이는 보정을 하는 후보정부를 더 포함하는 것을 특징으로 할 수 있다.According to an embodiment of the present invention, the distance calculating unit may include: a distance calculating unit that calculates disparity-based distances in a stereo vision using all of the identified corresponding points with respect to the point-by-point image; And a candidate determining unit that corrects the distance measurement error by averaging the distances calculated for each corresponding point on all the viewpoint-specific images using the identified corresponding points.

다시점 영상을 이용한 객체간 3차원 공간에서의 거리측정방법은 본 발명의 실시 예에 따르면 동일한 대상에 대하여 복수의 시점으로 획득한 영상을 수신하여 상기 시점 별 영상에 대한 특징을 추출하고, 각각의 시점 별 영상에서 추출된 특징을 통해 추출되지 않은 시점의 영상에서 특징을 추출할 수 있도록 보정하는 단계; 상기 추출된 특징 중 인접한 거리에 위치한 복수의 특징을 꼭지점과 변으로 하는 영역들을 생성하고, 상기 생성된 영역 중 특정시점의 영상에서 생성된 영역이 다른 시점의 영상으로부터 생성된 영역에 대하여 대응될 수 있도록 각 시점 별 영역을 정렬하는 단계; 상기 정렬된 영역에 포함된 특징이 상대적으로 각각 동일한 위치에 대응하는 대응점인지 여부를 판단하고, 상기 판단된 대응점들이 상기 정렬된 영상들 사이에서 동일한 특징인지 검증하는 단계; 상기 동일성이 검증된 모든 대응점 통해 거리 계산을 수행하는 단계를 포함하는 것을 특징으로 할 수 있다.According to an embodiment of the present invention, a method for measuring distances in a three-dimensional space between objects using multi-viewpoint images is performed by receiving images acquired at a plurality of viewpoints for the same object to extract features for the viewpoint- A step of correcting a feature extracted from a feature point extracted from a point-in-time image; And generating regions having a plurality of features located at adjacent distances from the extracted features as vertexes and sides, and generating regions of the generated images at a specific time point from the images of the other viewpoints Aligning the respective viewpoint areas; Determining whether the features included in the aligned region are corresponding points corresponding to the respective identical positions, and verifying whether the determined corresponding points are the same feature among the aligned images; And performing distance calculation through all corresponding points whose identities are verified.

본 발명의 실시 예에 따르면 상기 거리 계산을 수행하는 단계는, 각각의 상기 시점 별 영상에서 상기 대응점 별로 계산된 거리를 평균함으로써 거리 측정의 오차를 줄이는 보정을 하는 단계를 포함하는 것을 특징으로 할 수 있다.According to an embodiment of the present invention, the step of performing the distance calculation includes a step of correcting the error of the distance measurement by averaging the distances calculated for the corresponding points in each viewpoint-by-view image have.

본 발명의 실시 예에 따르면 각 시점 별 영역을 정렬하는 단계는, 상기 추출된 특징 중 인접한 거리에 위치한 복수의 특징들을 기준으로 다각형을 이루어 각 시점 별 영상에서 상기 추출된 특징을 꼭지점과 변으로 하는 영역들을 생성하는 단계; 및 상기 생성된 영역 중 특정시점의 영상에 대한 영역이 각각 시점 별 영상으로부터 생성된 영역에 대하여 대응될 수 있도록 전단 변환 및 평행 이동을 통해 각 시점 별 영역을 정렬하는 단계를 더 포함하는 것을 특징으로 할 수 있다.According to an embodiment of the present invention, the step of aligning the regions according to the respective viewpoints may include polygons based on a plurality of features located at adjacent distances among the extracted features, Creating regions; And aligning the respective viewpoint regions by performing the shear transformation and the parallel movement so that the regions of the image at a specific point in time of the generated regions can be corresponded to the regions generated from the viewpoint-specific images, respectively can do.

본 발명의 실시 예에 따르면 동일한 특징인지 검증하는 단계는, 상기 정렬된 영역에 포함된 특징이 각 시점의 영상에 대하여 상대적으로 동일한 위치가 되도록 대응하여 대응점에 해당되는지 여부를 식별하는 단계; 및 상기 식별된 대응점 중 각 영상에서 대응하는 대응점들이 유사한 색상 값을 가지는지 여부를 통해 동일한 특징인지를 검증하는 단계를 더 포함하는 것을 특징으로 할 수 있다.According to an embodiment of the present invention, the step of verifying whether the feature is the same may include: identifying whether the feature included in the aligned region corresponds to the corresponding point so that the feature included in the aligned region is relatively the same position with respect to the image at each viewpoint; And verifying whether the corresponding points in the respective images among the identified corresponding points have the same characteristic through whether or not corresponding points have similar color values.

도 1은 본 발명의 실시 예에 따른 거리 측정장치를 나타낸 구성도이다.
도 2는 다시점 영상수집장치로부터 수집된 시점의 변화에 따른 영상의 차이를 나타낸 도면이다.
도 3은 도 1에 도시된 영상 통합부의 세부 구성도이다.
도 4는 도 3에 도시된 특징 대응부의 세부 구성도이다.
도 5는 본 발명의 실시 예에 따른 다시점 영상에 대해 추출된 특징을 나타낸 도면이다.
도 6은 도 1에 도시된 거리 산출부의 세부 구성도이다.
도 7은 본 발명의 실시 예에 따른 대응점 식별을 나타낸 도면이다.
도 8은 본 발명의 실시 예에 따른 거리측정방법을 나타낸 흐름도이다.
1 is a block diagram of a distance measuring apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating a difference in image according to a change in a point of time collected from the multi-view image collecting apparatus.
3 is a detailed configuration diagram of the image integration unit shown in FIG.
Fig. 4 is a detailed configuration diagram of the feature corresponding portion shown in Fig. 3; Fig.
5 is a diagram illustrating extracted features of a multi-view image according to an exemplary embodiment of the present invention.
6 is a detailed configuration diagram of the distance calculating unit shown in Fig.
7 is a diagram illustrating corresponding point identification according to an embodiment of the present invention.
8 is a flowchart illustrating a distance measuring method according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when an element is referred to as "comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise.

이하, 도면을 참조하여 본 발명의 실시 예에 따른 다시점 영상을 이용한 객체간 3차원 공간에서의 거리 측정장치 및 그 방법에 대하여 설명한다.Hereinafter, an apparatus and method for distance measurement in a three-dimensional space between objects using multi-view images according to an embodiment of the present invention will be described with reference to the drawings.

도 1은 본 발명의 실시 예에 따른 거리 측정장치(1000)를 나타낸 구성도이다.1 is a block diagram showing a distance measuring apparatus 1000 according to an embodiment of the present invention.

거리 측정장치(1000)는 영상 통합부(100), 거리 산출부(200)를 포함할 수 있다.The distance measuring apparatus 1000 may include an image integrating unit 100 and a distance calculating unit 200.

거리 측정장치(1000)는 다시점 영상 수집장치(2000)로부터 다시점 영상을 수신하여 각 시점 별 영상을 대상으로 영상 내 포함된 객체에 대한 특징을 도출하고, 도출된 특징을 각 시점 별 영상에 대응하여 동일한 특징으로 검증된 경우, 이를 바탕으로 3차원 공간 상에서의 영상에 포함되어 있는 객체들간의 거리를 산출 할 수 있다.The distance measuring apparatus 1000 receives the multi-view image from the multi-view image collecting apparatus 2000, derives the characteristics of the objects included in the image with respect to each view point image, It is possible to calculate the distance between the objects included in the image in the three-dimensional space based on this verification.

영상 통합부(100)는 동일한 대상에 대하여 복수의 시점으로 획득한 영상을 수신하여 상기 영상에 포함된 객체를 인식하기 위한 특징을 추출하고, 추출한 특징들의 각 시점 별 영상 내 상대적 위치의 일관성을 이용하여 영상 별로 대응되는 대응점을 식별하며, 식별된 대응점들의 동일성을 검증할 수 있다.The image integrating unit 100 receives an image acquired at a plurality of viewpoints with respect to the same object, extracts a feature for recognizing the object included in the image, and utilizes the consistency of the relative positions of the extracted features with respect to each viewpoint The corresponding points corresponding to each image are identified, and the identities of the corresponding points can be verified.

이렇게 추출한 특징들 중 각 시점 별 영상에서 인접한 특징들이 구성하는 다각형 내에 위치한 각 지점의 꼭지점에 대한 상대적 위치의 일관성을 이용하여 영상 내의 각 지점에 대한 대응점을 식별하고 동일성을 검증할 수 있다.Among the extracted features, it is possible to identify the correspondence points at each point in the image and verify the identity by using the coherence of the relative positions with respect to the vertexes of the respective points located in the polygons constituting the adjacent features in each viewpoint image.

영상 통합부(100)는 도 3을 참조하여 더 자세하게 설명하도록 한다.The image integration unit 100 will be described in more detail with reference to FIG.

거리 산출부(200)는 동일성이 검증된 모든 대응점에 대해서 통상의 스테레오 비전에서의 차이(disparity) 기반의 거리 계산을 수행할 수 있고, 본 발명의 실시 예에 따르면 좌측, 좌측과 우측, 우측 및 중앙, 중앙 영상에 대해 각 대응점 별로 계산된 거리를 평균함으로써 영상 내 포함된 객체들 사이의 거리 측정의 오차를 줄일 수 있도록 후보정을 할 수 있다.The distance calculator 200 may perform disparity-based distance calculations in normal stereoscopic vision for all matched equivalents and may calculate distance calculations based on left, By centering the distances computed for each of the center and center images, it is possible to reduce the distance measurement error between objects included in the image.

거리 산출부(200)는 도 5를 참조하여 더 자세하게 설명하도록 한다.The distance calculating unit 200 will be described in more detail with reference to FIG.

도 2는 다시점 영상수집장치로부터 획득한 시점의 변화에 따른 영상의 차이를 나타낸 도면이다.FIG. 2 is a diagram showing a difference of images according to a change of a point of time acquired from a multi-view image collecting apparatus.

다시점 영상 수집장치는 하나의 초첨으로 영상을 획득하는 기존의 카메라와는 다르게, 복수의 초점으로 영상을 획득하여 같은 대상을 초점마다 다른 시점의 영상을 획득할 수 있는 영상 수집장치 또는 복수의 카메라를 위치를 다르게 설치하여 같은 대상을 다른 위치의 시점으로 영상을 획득하는 장치를 의미할 수 있다.The multi-view image capturing device is an image capturing device or an image capturing device capable of acquiring an image with a plurality of focal points and acquiring an image of a different view point for the same object, different from an existing camera for acquiring an image with one focus, May be installed in different positions to acquire images of the same object at different viewpoints.

본 발명의 실시 예에 따르면 다시점 영상 수집장치로 라이트 필드 카메라(Light field camera)가 사용될 수 있으나, 이에 한정되지 아니한다.According to an embodiment of the present invention, a light field camera may be used as a multi-view image capturing device, but the present invention is not limited thereto.

라이트 필드 카메라는 카메라 메인 렌즈의 초점 면에 여러 개의 마이크로 렌즈를 포함하며, 렌즈가 포착한 이미지들을 통해 다수의 초점으로 영상을 획득할 수 있으며 이를 분석하여 해당 영상의 심도에 대한 정보를 얻을 수 있다.The light field camera includes several microlenses on the focal plane of the camera main lens, and images can be acquired with a plurality of foci through the images captured by the lens, and information about the depth of the corresponding image can be obtained by analyzing the images .

라이트 필드 카메라는 기존 카메라와 달리 2차원 평면에 도달하는 다양한 각도의 빛을 함께 센싱(sensing)하기 때문에 도 2와 같이 한번의 촬영으로 각 시점 별 영상의 생성이 가능하다Unlike the conventional camera, the light field camera senses light of various angles reaching a two-dimensional plane, so that it is possible to generate images at each viewpoint by one shot as shown in FIG. 2

이러한 다시점 영상 수집장치에 의하여 획득된 영상은 도 2와 같이 도시될 수 있다.An image obtained by such a multi-view image collecting apparatus can be shown in FIG.

본 발명의 실시 예에 따르면 2대의 다시점 영상 수집장치를 광 축이 정렬된 상태에서 좌, 우로 일정한 거리만큼 이격하여 설치하고, 각 다시점 영상 수집장치로부터 좌, 우, 중간 시점의 영상을 획득하여 하나의 대상에 대하여 총 6 시점의 영상을 획득할 수 있다.According to the embodiment of the present invention, the two multi-viewpoint image collecting apparatuses are installed with a certain distance from the left and right in a state in which the optical axes are aligned, and images of left, right and middle viewpoints are acquired from each multi- Thus, a total of six viewpoint images can be obtained for one object.

도 2를 참조하면 상술한 실시 예에 따라 왼쪽에 설치된 다시점 영상 수집장치로부터 획득된 좌, 우, 중간 시점의 영상에 차이를 알 수 있다.Referring to FIG. 2, differences in left, right, and middle view images obtained from the multi-view image collection device installed on the left side according to the above-described embodiment can be known.

동일한 위치에서 획득한 영상이라도, 시점의 위치에 따라 도 2에 도시된 바와 같이 객체의 크기, 색상, 심도 등이 조금씩 다르게 식별될 수 있다.Even in the case of an image acquired at the same position, the size, color, depth, etc. of the object can be slightly differentiated as shown in FIG. 2 according to the position of the viewpoint.

그러나 하나의 다시점 영상수집장치에 잡힌 다시점 영상은 동일한 위치에서 획득된 영상이기 때문에 공통된 시야에 대해서는 동일한 특징이 식별되게 된다. However, since multi-view images captured by one multi-view image capture device are acquired at the same position, the same features are identified for a common view.

또한 다시점 영상수집장치의 좌측, 우측 시점 영상에서의 각 특징은 카메라로부터 동일한 거리에 있기 때문에 기본적으로 중앙 시점 영상의 특징을 기준으로 좌우 대칭이 될 수 있다.Also, since the features of the left and right viewpoint images of the multi-viewpoint image capture device are the same distance from the camera, they can be basically symmetrical based on the feature of the central viewpoint image.

도 3은 도 1에 도시된 영상 통합부(100)의 세부 구성도이다.3 is a detailed configuration diagram of the image integration unit 100 shown in FIG.

영상 통합부(100)는 특징 추출부(110), 특징 대응부(120)를 포함 할 수 있다.The image integration unit 100 may include a feature extraction unit 110 and a feature corresponding unit 120.

특징 추출부(110)는 동일한 대상에 대한 복수의 시점의 영상을 다시점 영상수집장치(2000)로부터 수신하고, 수신한 영상에 포함된 객체를 식별하기 위한 특징을 추출 할 수 있다.The feature extracting unit 110 may receive images of a plurality of viewpoints of the same object from the multi-view image collecting apparatus 2000 and may extract features for identifying the objects included in the received images.

여기서 특징이란 영상 내에 포함된 객체를 인식, 식별할 수 있도록 인식할 수 있는 특이점을 의미하며, 일 실시 예에 따르면 이러한 특징 중 점 특징은 Harris Corner Detector나 SIFT(Scale Invariant Feature Transform)와 같은 알고리즘을 사용하여, 선 특징은 Line Detector등을 사용하여, 면의 텍스쳐 특징은 DoG(Difference of Gaussian) 등을 사용하여 추출할 수 있다.Here, the feature means a singular point that can be recognized so as to recognize and identify an object included in the image. According to one embodiment, the point feature may be an algorithm such as Harris Corner Detector or Scale Invariant Feature Transform (SIFT) The line feature can be extracted using a Line Detector or the like, and the texture characteristics of a face can be extracted using a DoG (Difference of Gaussian) or the like.

또한 적용 환경에 따라 점, 선, 면 특징을 이들을 복합적으로 추출하여 사용할 수도 있고, 그 결과 각 영상에 포함된 객체의 점 혹은 선, 면의 특징의 위치가 식별될 수 있다.Also, point, line, and surface features can be extracted and used according to the application environment. As a result, positions of points, lines, and features of objects included in each image can be identified.

특징 대응부(120)는 다시점 영상 수집장치(2000)에서 획득한 영상에서의 각 특징들이 중앙 시점의 영상을 기준으로 대칭되는 것을 이용하여 각 시점 별 영상에서 추출한 특징을 각각의 시점 별 영상에 대응시켜 상기 대응에 부합하는 특징인 대응점을 식별 및 검증할 수 있다.The feature corresponding unit 120 uses the features of the images obtained from the multi-view image collecting apparatus 2000 to be symmetric with respect to the images of the central view, The corresponding point corresponding to the correspondence can be identified and verified.

다시점 영상 수집장치(2000)가 획득한 다시점 영상에서 추출된 특징 중 인접한 특징들이 구성하는 다각형 내에 위치한 각 지점의 꼭지점에 대한 상대적 위치의 일관성을 이용하여 누락된 특징들을 복원하고 영상 내의 각 특징에 대한 대응점을 식별하여 거리 산출부(200)에서 영상 내 포함된 객체들 간의 거리를 산출하는데 필요한 정보를 생성 할 수 있다. The features extracted from the multi-view image acquired by the multi-view image capturing apparatus 2000 are used to restore the missing features by using the coherence of the relative positions with respect to the vertexes of the respective points located in the polygons constituting the adjacent features, The distance calculating unit 200 can generate information necessary to calculate the distance between the objects included in the image.

특징에 대한 대응점을 식별하는 방법은 도 4를 참조하여 더 자세히 설명하도록 한다.A method of identifying a corresponding point to a feature will be described in more detail with reference to FIG.

도 4는 도 3에 도시된 특징 대응부의 세부 구성도이다. Fig. 4 is a detailed configuration diagram of the feature corresponding portion shown in Fig. 3; Fig.

특징 대응부(120)는 특징 보정부(121), 영역 설정부(122), 대응점 식별부(123), 동일성 검증부(124)를 포함 할 수 있다.The feature correspondence unit 120 may include a feature correction unit 121, an area setting unit 122, a correspondence point discrimination unit 123, and a consistency verification unit 124.

특징 보정부(121)는 다시점 영상 수집장치(200)가 획득한 다시점 영상의 대칭성을 이용하여, 수신한 영상 중 특정 시점에서 획득한 영상에서 추출된 특징이 다른 시점의 영상에서는 추출되지 않은 경우, 특징이 추출된 시점의 영상을 이용하여 특징이 추출되지 않은 시점의 영상에서 특징을 추출할 수 있도록 보정할 수 있다.The feature correction unit 121 uses the symmetry of the multi-view image acquired by the multi-view image acquisition apparatus 200 to determine whether the feature extracted from the image acquired at a specific point in the received image is extracted , It is possible to correct the feature extracted from the image at the point in time when the feature is not extracted by using the image at the extracted point of time.

일 실시 예에 따르면 시점이 좌, 우, 중앙의 3개의 시점을 가진 다시점 영상의 경우, 중앙 시점의 영상에서 특징이 식별되지 않은 경우, 좌, 우측 시점의 영상에서 추출된 특징의 중간이 중앙 시점 영상의 특징이 되고, 좌측 혹은 우측 시점 영상 중에서 특징이 식별되지 않은 경우에는, 중앙 영상의 특징을 기준으로 좌, 우측 영상의 특징이 대칭이 되도록 특징을 설정하여 보정할 수 있다. According to one embodiment, in the case of a multi-view image having three viewpoints at left, right, and center, when the feature is not identified at the central viewpoint image, When the feature is not identified in the left or right view image, the features can be set and corrected so that the features of the left and right images are symmetrical with respect to the feature of the central image.

즉, 다시점 영상 수집장치(2000)에서 획득된 좌측, 중앙, 우측 시점에서의 영상에서 추출된 특징은 공통되고, 단지 시점의 차이에 의해 발생하는 특징간의 거리 변화만 있어야 한다는 성질을 이용하여 각 영상의 특징을 보정 할 수 있다.That is, the features extracted from the images at the left, center, and right viewpoints acquired in the multi-view image capturing apparatus 2000 are common and only the distances between the features generated by the difference in viewpoints must be changed, The characteristic of the image can be corrected.

영역 설정부(122)는 추출된 특징 중 복수의 인접한 특징들을 기준으로 다각형을 이루어 각 시점 별 영상에서 추출된 특징을 다각형의 꼭지점과 변으로 하는 영역을 생성할 수 있다.The area setting unit 122 may generate a polygon based on a plurality of adjacent features among the extracted features, and may generate a feature extracted from each view-point image to be a vertex and sides of the polygon.

본 발명의 실시 예에 따르면 인접한 특징이 3개 이상인 경우 다각형을 이루어 영역을 생성할 수 있다.According to the embodiment of the present invention, when there are three or more adjacent features, a polygonal area can be created.

대응점 식별부(123)는 생성된 영역 중 특정시점에 대한 영역이 다른 영상으로부터 생성된 영역에 대하여 대응될 수 있도록 전단변환 및 평행이동을 통해 각 시점 별 영역을 정렬하고, 정렬된 영역에 포함된 특징이 상대적으로 동일한 위치에 대응하는지 여부로 대응점에 해당되는지 여부를 식별할 수 있다.The corresponding point identifying unit 123 arranges the respective viewpoint regions through the shear transformation and the parallel movement so that the region corresponding to the specific point in the generated region can be corresponded to the region generated from the other image, Whether the feature corresponds to a relatively same position or not can be identified.

여기서 전단변환(shear transformation)이란 좌표의 하나를 고정시키고, 다른 몇 개의 좌표를 전이(transform)시키는 좌표 변환을 의미한다.Here, a shear transformation means a coordinate transformation that fixes one of coordinates and transforms several other coordinates.

이로 인해 추출된 영역 내의 하나의 특징은 타 영상의 대응 영역에 대해 상대적으로 동일한 위치에 존재할 수 있게 되며, 본 발명의 실시 예와 같이 6개의 영상을 정렬하여 대응 영역에 대해 상대적으로 동일한 위치에 존재하는 대응점들을 식별할 수 있다.As a result, one feature in the extracted region can exist at the same position relative to the corresponding region of the other image, and six images can be aligned at the same position relative to the corresponding region as in the embodiment of the present invention Can be identified.

이러한 대응 식별은 서로 다른 영상에서 가장 많은 수의 특징들을 일치시키는 RANSAC 등의 알고리즘을 이용하여 용이하기 실현될 수 있으나 이에 한정되지는 아니한다.This correspondence identification can be easily realized using an algorithm such as RANSAC, which matches the largest number of features in different images, but is not limited thereto.

동일성 검증부(124)는 식별된 대응점 중 각 영상에서 대응하는 대응점들이 유사한 색상 값을 가지는지 여부로 동일한 특징인지를 검증할 수 있다.The identity verification unit 124 can verify whether or not the corresponding points in each image among the identified corresponding points have the same color value or not.

이때 동일한 특징인지를 검증하기 위해서는 영역 내에서 동일한 위치에 있는 점들이 동일한 평면에 위치한다면 동일한 지점에서 대응되기 때문에 각 영상에서 대응하는 대응점들은 유사한 색상 값을 가질 수 있으므로 이를 통해 동일한지 여부를 판단할 수 있다.In order to verify whether the same features are present in the same region, if points located at the same position in the same region are located on the same plane, the corresponding points in the respective images correspond to each other at the same point. .

더욱 자세히는 본 발명의 실시 예와 같이 6개의 시점 별 영상을 사용하는 경우, 6개의 영상에서의 대응점들이 유사한 색상 값이라면 동일 한 대응점으로 볼 수 있고, 유사한 색상 값이 아니라면 동일한 지점이 아니라고 판단할 수 있다.More specifically, in the case of using six viewpoint images as in the embodiment of the present invention, if corresponding points in six images are similar color values, they can be regarded as corresponding points, and if they are not similar color values, .

판단을 위해 6개의 영상의 대응점들이 유사한 색상 값을 비교할 수 있으며 이것은 6개의 영상이 동일성에 대해 투표를 하는 방식이 될 수 있다.For the sake of judgment, the corresponding points in six images can compare similar color values, which can be the way in which six images vote for identity.

동일성을 판단 기준은 일 실시 예를 다르면 동일한 지점에 대해서도 조명과 카메라의 각도, 카메라의 특성에 의해 약간의 차이가 있을 수 있으므로, 인접한 4개 이상의 pixel에 대해 색상 값의 평균을 구하고, 문턱값을 정의하여 영상에서 사전에 정의한 pixel수의 차이가 문턱값을 넘지 않으면 동일하다고 판단하는 방법을 사용할 수 있다.As for the criterion of the determination of the identity, the average of the color values may be obtained for four or more neighboring pixels, and the threshold value may be set to And if the difference in the number of pixels defined beforehand in the image does not exceed the threshold value, the method can be used.

이때 동일성이 보장되지 않는 지점은 카메라의 시점에 의해 사각이 발생하는 영역으로 판단할 수 있다.At this time, the point where the identity is not guaranteed can be determined as the area where the square is generated by the viewpoint of the camera.

도 5는 본 발명의 실시 예에 따른 다시점 영상에 대해 추출된 특징을 나타낸 도면이다.5 is a diagram illustrating extracted features of a multi-view image according to an exemplary embodiment of the present invention.

도 5를 참조하면 본 발명의 실시 예와 같이 2대의 다시점 영상 수집장치(2000)를 광 축이 정렬된 상태에서 일정한 거리만큼 이격하여 좌, 우로 배치해서 촬영할 수 있다.Referring to FIG. 5, two multi-viewpoint image collecting apparatuses 2000 may be arranged in a state in which the optical axes are aligned and spaced apart from each other by a predetermined distance, as in the embodiment of the present invention.

좌, 우에 배치된 2개의 다시점 영상 수집장치(2000)를 통해 각각 중앙, 좌측, 우측 시점에서의 6개의 영상을 생성할 수 있다.Six images at the center, left, and right viewpoints can be generated through two multi-viewpoint image collecting apparatuses 2000 disposed on the left and right sides, respectively.

이렇게 생성된 6개의 영상에 대해서 영상 내에 포함된 객체에 대한 특징을 추출할 수 있다.The features of the objects included in the image can be extracted for the six images thus generated.

일 실시 예에 따르면 점 특징과 선 특징을 추출하여 함께 사용할 수 있으나 이에 한정되지 아니한다.According to an exemplary embodiment, point features and line features may be extracted and used together, but the present invention is not limited thereto.

도 3과 같이 점 특징과 선 특징을 추출하여 함께 사용하는 실시 예에 따르면 각 특징점과 선들은 붉은 색으로 표시될 수 있다.As shown in FIG. 3, the feature points and the line features are extracted and used together, so that the feature points and lines can be displayed in red.

그리하여 각종 모서리 등은 점 특징으로 식별되고, 기둥, 문, 천장의 직선 구조물 등은 선 특징으로 식별될 수 있다.Thus, various corners and the like are identified as point features, and columns, doors, ceiling linear structures, etc. can be identified as line features.

도 6은 도 1에 도시된 거리 산출부(200)의 세부 구성도이다.6 is a detailed configuration diagram of the distance calculating unit 200 shown in FIG.

도 6을 참조하면 거리 산출부(200)은 거리 계산부(210), 후보정부(220)을 포함할 수 있다.Referring to FIG. 6, the distance calculating unit 200 may include a distance calculating unit 210 and a candidate determining unit 220.

거리 계산부(210)는 동일성 검증부(124)에서 동일성이 검증된 모든 대응점 통해 다시점 영상수집장치(2000)로 획득한 다시점 영상에 대해서 통상의 스테레오 비전에서의 디스패리티 (disparity) 기반의 거리 계산을 수행할 수 있다.The distance calculator 210 calculates a distance based on the disparity based on the normal stereo vision with respect to the multi-view image acquired by the multi-view image collecting apparatus 2000 through all correspondence points whose identities are verified in the identity verifying unit 124 Distance calculation can be performed.

여기서 통상의 스테레오 비전에서의 디스패리티 (disparity) 기반의 거리 계산은

Figure pat00001
로 나타낼 수 있으며, 이 공식은 왼쪽 영상 한 점의 위치에서 대응되는 오른쪽 영상 한 점의 위치 차이는 그 점의 3차원 공간 상의 거리 z에 반비례하며, 촛점 거리 f와 두 영상을 촬영할 때 거리차 B(베이스라인)에 비례한다는 것을 나타낸다.Here, the disparity-based distance calculation in the conventional stereo vision
Figure pat00001
This formula shows that the positional difference of a right image corresponding to one point of the left image is inversely proportional to the distance z on the three-dimensional space of the point, and when the focal distance f and the distance difference B (Baseline).

본 발명의 실시 예에 따르면 대상이 되는 영상으로 가장 적합한 것은 좌, 우 다시점 영상수집장치(2000)의 중앙 영상을 사용하는 것이 바람직할 수 있으나 이에 한정되지는 아니한다.According to the embodiment of the present invention, it is preferable to use a central image of the left and right multi-view image collecting apparatus 2000, but it is not limited thereto.

후보정부(220)는 식별된 대응점을 사용하여, 모든 시점 별 영상을 대상으로 각 대응점 별로 계산된 거리를 평균함으로써 거리 측정의 오차를 줄이는 보정을 할 수 있다.The candidate determining unit 220 may correct the error of the distance measurement by averaging the calculated distances for each corresponding point on the images of all the viewpoints using the identified corresponding points.

본 발명의 실시 예에 따르면 보정 방법은 특징 대응부(120)에서 결정된 대응점을 사용하여, 좌측, 좌측과 우측, 우측 및 중앙, 중앙 영상에 대해 각 대응점 별로 계산된 거리를 평균함으로써 거리 측정의 오차를 줄일 수 있다.According to the embodiment of the present invention, by using the corresponding points determined in the feature coping unit 120, the distance calculated for each corresponding point on the left, right, center, and center images is averaged, .

그러나 이러한 후보정은 계산량에서 부담이 되므로 선택적으로 적용할 수 있다.However, this postulation can be applied selectively because it becomes a burden on the calculation amount.

도 7은 본 발명의 실시 예에 따른 대응점 식별을 나타낸 도면이다.7 is a diagram illustrating corresponding point identification according to an embodiment of the present invention.

도 7을 참조하면 본 발명의 실시 예에 따라 광 축이 정렬된 상태에서 일정한 거리만큼 이격되어 좌우로 배치된 다시점 영상수집장치(2000)를 통해 획득한 6개의 영상에서 얻어진 특징으로부터 대응점을 식별하는 것을 단순화하여 표현할 수 있다.Referring to FIG. 7, according to an embodiment of the present invention, a corresponding point is identified from a feature obtained from six images obtained through a multi-view image capturing apparatus 2000 that is spaced apart by a predetermined distance in a state in which optical axes are aligned, Can be simplified and expressed.

도 7은 벽을 구성하는 모서리들을 특징으로 사용하여 사각형의 영역이 형성된 실시 예를 나타내고 있다.Fig. 7 shows an embodiment in which a rectangular region is formed by using the edges constituting the wall.

오렌지 색 영역은 도 5에서의 좌측 벽을, 노란 색 영역은 정면의 벽에 대응할 수 있다.The orange color region corresponds to the left side wall in Fig. 5, and the yellow color region corresponds to the front side wall.

다시점 영상수집장치(2000)의 시점이 좌측에서 우측으로 이동함에 따라 시점이 좌측 벽의 수직 방향에 가까워 지면서 좌측 벽 영역은 도 7에 도시된 바와 같이 점점 더 넓은 범위로 확대되는 형태로 나타날 수 있다.As the viewpoint of the multi-view image collecting apparatus 2000 moves from the left to the right, the viewpoint becomes closer to the vertical direction of the left wall, and the left wall area may be enlarged to a wider range as shown in FIG. have.

이때 녹색으로 표시된 좌측 벽에서의 한 점은 시점이 변화한다고 하더라도 영역 내에서의 상대적인 위치는 동일하게 유지될 수 있다.At this time, a point on the left wall indicated by green may be maintained in the same relative position in the region even if the viewpoint changes.

이러한 특성을 이용하여 대응점 식별부(123)에서는 각 시점 별 영상에서 특징으로 이루어진 영역 단위에서 특징이 없는 내부의 영역에 대한 영상간의 대응을 동하여 식별할 수 있다.By using this characteristic, the corresponding point identification unit 123 can identify the correspondence between the images of the inner region having no characteristic in the region unit made up of the features in each viewpoint image.

도 7에서와 같이 좌측 벽을 구성하는 영역들에 대해 내부 영역의 한 점이 가지는 영역의 꼭지점들에 대한 상대적 위치는 동일하므로, 내부 영역의 한점(특징)의 상대적 위치가 동일하도록 각 영역을 정렬하고, 정렬된 영역들의 비례관계를 통해 영상 내에서 특징의 좌표를 얻을 수 있다.As shown in FIG. 7, the relative positions to the vertices of an area of a point of the inner area are the same with respect to the areas of the left wall, so that the respective areas are aligned so that the relative positions of one point (feature) of the inner area are the same , The coordinates of the feature in the image can be obtained through the proportional relation of the aligned regions.

그리고 이러한 좌표를 통해서 특징으로 포함하고 있는 객체들간의 거리를 측정할 수 있다.And we can measure the distance between the objects included in the feature through these coordinates.

도 8은 본 발명의 실시 예에 따른 거리측정방법을 나타낸 흐름도이다.8 is a flowchart illustrating a distance measuring method according to an embodiment of the present invention.

도 8을 참조하면 우선 공통된 대상에 대한 복수의 시점 별 영상을 획득한다(310).Referring to FIG. 8, first, a plurality of viewpoint images for a common object are acquired (310).

하나의 초점으로 영상을 획득하는 기존의 카메라와는 다르게 다시점 영상 수집장치(2000)는 복수의 초점렌즈를 통하여 영상을 획득해서, 같은 대상을 초점마다 다른 시점의 영상을 획득할 수 있는 영상 수집 장치 또는 복수의 카메라를 위치를 다르게 설치함으로써 같은 대상을 다른 위치의 시점으로 영상을 획득할 수 있는 장치를 의미할 수 있다.Unlike conventional cameras that acquire images with a single focus, the multi-view image acquisition apparatus 2000 acquires images through a plurality of focus lenses and acquires images of the same object at different points of view The device or the plurality of cameras may be installed in different positions to acquire images of the same object at different viewpoints.

본 발명의 실시 예에 따르면 다시점 영상 수집장치로 라이트 필드 카메라(Light field camera)가 사용될 수 있으나, 이에 한정되지 아니한다.According to an embodiment of the present invention, a light field camera may be used as a multi-view image capturing device, but the present invention is not limited thereto.

획득한 시점 별 영상에서 각각의 특징을 추출한다(320).Each feature is extracted from the obtained point-in-time image (320).

여기서 특징이란 영상 내에 포함된 객체를 인식, 식별할 수 있도록 인식할 수 있는 특이점을 의미하며, 일 실시 예에 따르면 이러한 특징 중 점 특징은 Harris Corner Detector나 SIFT(Scale Invariant Feature Transform)와 같은 알고리즘을 사용하여, 선 특징은 Line Detector등을 사용하여, 면의 텍스쳐 특징은 DoG(Difference of Gaussian) 등을 사용하여 추출할 수 있다.Here, the feature means a singular point that can be recognized so as to recognize and identify an object included in the image. According to one embodiment, the point feature may be an algorithm such as Harris Corner Detector or Scale Invariant Feature Transform (SIFT) The line feature can be extracted using a Line Detector or the like, and the texture characteristics of a face can be extracted using a DoG (Difference of Gaussian) or the like.

또한 적용 환경에 따라 점, 선, 면 특징을 이들을 복합적으로 추출하여 사용할 수도 있고, 그 결과 각 영상에 포함된 객체의 점 혹은 선, 면의 특징의 위치가 식별될 수 있다.Also, point, line, and surface features can be extracted and used according to the application environment. As a result, positions of points, lines, and features of objects included in each image can be identified.

특징이 추출되지 않은 시점의 영상에서 특징을 추출할 수 있도록 보정한다(330).(330) so that the feature can be extracted from the image at the point in time when the feature is not extracted.

일 실시 예에 따르면 시점이 좌, 우, 중앙의 3개의 시점을 가진 다시점 영상의 경우, 중앙 시점의 영상에서 특징이 식별되지 않은 경우, 좌, 우측 시점의 영상에서 추출된 특징의 중간이 중앙 시점 영상의 특징이 되고, 좌측 혹은 우측 시점 영상 중에서 특징이 식별되지 않은 경우에는, 중앙 영상의 특징을 기준으로 좌, 우측 영상의 특징이 대칭이 되도록 특징을 설정하여 보정할 수 있다. According to one embodiment, in the case of a multi-view image having three viewpoints at left, right, and center, when the feature is not identified at the central viewpoint image, When the feature is not identified in the left or right view image, the features can be set and corrected such that the features of the left and right images are symmetric with respect to the feature of the center image.

즉, 다시점 영상 수집장치(2000)에서 획득한 좌측, 중앙, 우측 시점에서의 영상에서 추출된 특징은 공통되고, 단지 시점의 차이에 의해 발생하는 특징간의 거리 변화만 있어야 한다는 성질을 이용하여 각 영상의 특징을 보정할 수 있다.That is, the features extracted from the images at the left, center, and right viewpoints acquired in the multi-view image capturing apparatus 2000 are common, and only the distances between the features generated due to the difference in viewpoints must be changed, The characteristic of the image can be corrected.

인접한 복수의 추출된 특징을 꼭지점과 변으로 하는 영역들을 생성한다(340).(340) a plurality of adjacent extracted features as vertices and sides.

본 발명의 실시 예에 따르면 인접한 특징이 3개 이상인 경우 다각형을 생성할 수 있다.According to the embodiment of the present invention, when there are three or more adjacent features, a polygon can be generated.

생성된 영역 중 특정시점에 대한 영역이 다른 영상으로부터 생성된 영역에 대하여 대응될 수 있도록 전단 변환 및 평행 이동을 통해 각 시점 별 영역을 정렬한다(350).The respective viewpoint regions are aligned 350 by performing the shear transformation and the parallel movement so that the region for the specific time point among the generated regions can be corresponded to the region generated from the other images.

각 시점의 영상을 정렬함으로써, 영역 내부의 각 지점이 영역을 구성하는 특징에 대한 상대적 위치 관계가 유지되게 할 수 있다.By aligning images at each viewpoint, each point within the region can maintain a relative positional relationship with respect to the features constituting the region.

정렬된 영역에 포함된 특징이 각 시점의 영상에 대하여 상대적으로 동일한 위치에 대응하여 대응점에 해당되는지 여부를 식별한다(360).(360) whether the feature included in the aligned region corresponds to a position relatively to the image at each viewpoint and corresponds to the corresponding point.

이러한 대응 식별은 서로 다른 영상에서 가장 많은 수의 특징들을 일치시키는 RANSAC 등의 알고리즘을 이용하여 용이하기 실현될 수 있으나 이에 한정되지는 아니한다.This correspondence identification can be easily realized using an algorithm such as RANSAC, which matches the largest number of features in different images, but is not limited thereto.

정렬된 영상들 중에서 식별된 각 대응점들이 동일한 특징인지에 대하여 검증한다(370).(370) whether each identified corresponding point among the aligned images is the same feature.

이때 동일한 특징인지를 검증 하기 위해서는 영역 내에서 동일한 위치에 있는 점들이 동일한 평면에 위치한다면 동일한 지점에서 대응되기 때문에 각 영상에서 대응하는 대응점들은 유사한 색상 값을 가질 수 있다.In order to verify whether the same feature exists at the same point, if corresponding points in the same position are located on the same plane, the corresponding points in each image may have similar color values.

본 발명의 실시 예와 같이 6개의 시점 별 영상을 사용하는 경우, 6개의 영상에서의 대응점들이 유사한 색상 값이라면 동일 한 대응점으로 볼 수 있고, 유사한 색상 값이 아니라면 동일한 지점이 아니라고 판단할 수 있다.In the case of using six viewpoint images as in the embodiment of the present invention, if corresponding points in six images are similar color values, they can be regarded as corresponding points, and if they are not similar color values, it can be determined that they are not the same point.

판정을 위해 6개의 영상의 대응점들이 유사한 색상 값을 비교할 수 있으며 이것은 6개의 영상이 동일성에 대해 투표를 하는 방식이 될 수 있다.For determination, corresponding points in six images can compare similar color values, which can be the way in which six images vote for identity.

동일성을 판단하는 방법은 일 실시 예를 다르면 동일한 지점에 대해서도 조명과 카메라의 각도, 카메라의 특성에 의해 약간의 차이가 있을 수 있으므로, 인접한 4개 이상의 pixel에 대해 색상 값의 평균을 구하고, 문턱값을 정의하여 영상에서 사전에 정의한 pixel수의 차이가 문턱값을 넘지 않으면 동일하다고 판단하는 방법을 사용할 수 있다.The method of determining the identity may differ slightly depending on the angle of illumination, the camera angle, and the characteristics of the camera, even at the same point in one embodiment. Therefore, an average of color values is obtained for four or more adjacent pixels, And if the difference in the number of pixels defined in advance in the image does not exceed the threshold value, the method can be used.

동일성이 검증된 모든 대응점 통해 거리 계산을 수행한다(380).A distance calculation is performed (380) through all corresponding points whose identities have been verified.

여기서 통상의 스테레오 비전에서의 디스패리티 (disparity) 기반의 거리 계산은

Figure pat00002
로 나타낼 수 있으며, 이 공식은 왼쪽 영상 한 점의 위치에서 대응되는 오른쪽 영상 한 점의 위치 차이는 그 점의 3차원 공간 상의 거리 z에 반비례하며, 촛점 거리 f와 두 영상을 촬영할 때 거리차 B(베이스라인)에 비례한다는 것을 나타낸다.Here, the disparity-based distance calculation in the conventional stereo vision
Figure pat00002
This formula shows that the positional difference of a right image corresponding to one point of the left image is inversely proportional to the distance z on the three-dimensional space of the point, and when the focal distance f and the distance difference B (Baseline).

모든 영상에서 동일하게 거리 계산을 수행할 수 있도록 후보정 한다(390).(390) so as to perform the same distance calculation in all the images.

본 발명의 실시 예에 따르면 보정 방법은 특징 대응부(120)에서 결정된 대응점을 사용하여, 좌측, 좌측과 우측, 우측 및 중앙, 중앙 영상에 대해 각 대응점 별로 계산된 거리를 평균함으로써 거리 측정의 오차를 줄일 수 있다.According to the embodiment of the present invention, by using the corresponding points determined in the feature coping unit 120, the distance calculated for each corresponding point on the left, right, center, and center images is averaged, .

그러나 이러한 후보정은 계산량에서 부담이 되므로 선택적으로 적용할 수 있다.However, this postulation can be applied selectively because it becomes a burden on the calculation amount.

본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, Various modifications and improvements of those skilled in the art using the basic concept of the present invention are also within the scope of the present invention.

100 : 영상 통합부 110 : 특징 추출부
120 : 특징 대응부 121 : 특정 보정부
122 : 영역 설정부 123 : 대응점 식별부
124 : 동일성 검증부 200 : 거리 산출부
210 : 거리 계산부 220 : 후보정부
100: image integration unit 110: feature extraction unit
120: Feature correspondence unit 121:
122: area setting unit 123: corresponding point identification unit
124: identity verification unit 200: distance calculation unit
210: distance calculation unit 220:

Claims (8)

동일한 대상에 대하여 복수의 시점으로 획득한 영상을 수신하여 상기 영상에 포함된 객체를 인식하기 위한 특징을 추출하고, 상기 추출한 특징들의 각 시점 별 영상 내 상대적 위치의 일관성을 이용하여 영상 별로 대응되는 대응점을 식별하며 상기 식별된 대응점들의 동일성을 검증하는 영상 통합부; 및
상기 동일성이 검증된 각 대응점들을 통해 상기 영상 내 객체들간의 거리를 산출하는 거리 산출부를 포함하는 것을 특징으로 하는 다시점 영상을 이용한 객체간 3차원 공간에서의 거리측정장치.
The method includes extracting a feature for recognizing an object included in the image by receiving an image acquired at a plurality of viewpoints with respect to the same object, An image integration unit for identifying the corresponding points and verifying the identity of the identified corresponding points; And
And a distance calculating unit for calculating a distance between the objects in the image through the corresponding points whose identities are verified.
제 1 항에 있어서 상기 영상 통합부는,
상기 영상을 수신하여 각 시점 별 영상에 포함된 객체를 식별하기 위한 특징을 추출하는 특징 추출부; 및
상기 추출한 특징을 각각의 시점 별 영상에 대응시켜 상기 대응에 부합하는 특징인 대응점을 식별 및 검증하는 특징 대응부를 더 포함하는 것을 특징으로 하는 다시점 영상을 이용한 객체간 3차원 공간에서의 거리측정장치.
The image processing apparatus according to claim 1,
A feature extraction unit for receiving the image and extracting a feature for identifying an object included in each view-point image; And
Further comprising a feature corresponding unit which identifies and verifies corresponding points corresponding to the correspondence by associating the extracted feature with each image at each view point. .
제 2 항에 있어서 상기 특징 대응부는,
상기 수신한 영상 중 특정 시점에서 획득한 영상에서 추출된 특징이 다른 시점의 영상에서는 추출되지 않은 경우, 특징이 추출된 시점의 영상을 이용하여 특징이 추출되지 않은 시점의 영상에서 특징을 추출할 수 있도록 보정하는 특징 보정부;
상기 추출된 특징 중 복수의 인접한 특징들을 기준으로 다각형을 이루어 각 시점 별 영상에서 상기 추출된 특징을 상기 다각형의 꼭지점과 변으로 하는 영역을 생성하는 영역 설정부;
상기 생성된 영역 중 특정시점에 대한 영역이 다른 영상으로부터 생성된 영역에 대하여 대응될 수 있도록 각 시점 별 영역을 정렬하고, 상기 정렬된 영역에 포함된 특징이 상대적으로 동일한 위치에 대응하는지 여부로 대응점에 해당되는지 여부를 식별하는 대응점 식별부; 및
상기 식별된 대응점 중 각 영상에서 대응하는 대응점들이 유사한 색상 값을 가지는지 여부로 동일한 특징인지를 검증하는 동일성 검증부를 더 포함하는 것을 특징으로 하는 다시점 영상을 이용한 객체간 3차원 공간에서의 거리측정장치.
3. The apparatus according to claim 2,
If a feature extracted from an image obtained at a specific point in time of the received image is not extracted from an image at another point in time, a feature can be extracted from an image at a point in time when the feature is not extracted using the extracted point- A feature correcting unit for correcting the feature correcting unit;
An area setting unit for generating a polygon based on a plurality of adjacent features among the extracted features to generate an area in which the extracted feature is a vertex and a side of the polygon in each viewpoint image;
Wherein each of the viewpoint regions is aligned so that the region corresponding to a specific time point of the generated region can be corresponded to the region generated from another image, and whether or not the feature included in the aligned region corresponds to a relatively same position, A corresponding point identifying unit that identifies whether the corresponding point corresponds to the corresponding point; And
Further comprising an equality verifying unit for verifying whether or not the corresponding points in the respective corresponding images corresponding to the identified corresponding points have a similar color value. Device.
제 1 항에 있어서 상기 거리 산출부는,
상기 시점 별 영상을 대상으로 상기 식별된 모든 대응점을 이용해 스테레오 비전에서의 디스패리티 기반의 거리 계산을 수행하는 거리 계산부; 및
상기 식별된 대응점을 사용하여, 모든 시점 별 영상을 대상으로 각 대응점 별로 계산된 거리를 평균함으로써 거리 측정의 오차를 줄이는 보정을 하는 후보정부를 더 포함하는 것을 특징으로 하는 다시점 영상을 이용한 객체간 3차원 공간에서의 거리측정장치.
The apparatus according to claim 1,
A distance calculation unit for performing disparity-based distance calculation in stereo vision using all of the identified corresponding points with respect to the viewpoint-by-view image; And
Further comprising a candidate unit for correcting the error of the distance measurement by averaging the distances computed for each of the corresponding points with respect to the images at every viewpoint using the identified corresponding points, Distance measuring device in three dimensional space.
동일한 대상에 대하여 복수의 시점으로 획득한 영상을 수신하여 상기 시점 별 영상에 대한 특징을 추출하고, 각각의 시점 별 영상에서 추출된 특징을 통해 추출되지 않은 시점의 영상에서 특징을 추출할 수 있도록 보정하는 단계;
상기 추출된 특징 중 인접한 거리에 위치한 복수의 특징을 꼭지점과 변으로 하는 영역들을 생성하고, 상기 생성된 영역 중 특정시점의 영상에서 생성된 영역이 다른 시점의 영상으로부터 생성된 영역에 대하여 대응될 수 있도록 각 시점 별 영역을 정렬하는 단계;
상기 정렬된 영역에 포함된 특징이 상대적으로 각각 동일한 위치에 대응하는 대응점인지 여부를 판단하고, 상기 판단된 대응점들이 상기 정렬된 영상들 사이에서 동일한 특징인지 검증하는 단계;
상기 동일성이 검증된 모든 대응점 통해 거리 계산을 수행하는 단계를 포함하는 것을 특징으로 하는 다시점 영상을 이용한 객체간 3차원 공간에서의 거리측정방법.
A feature extracting unit that extracts features of the viewpoint-by-view image by receiving an image acquired at a plurality of viewpoints with respect to the same object, and corrects the features of the viewpoint- ;
And generating regions having a plurality of features located at adjacent distances from the extracted features as vertexes and sides, and generating regions of the generated images at a specific time point from the images of the other viewpoints Aligning the respective viewpoint areas;
Determining whether the features included in the aligned region are corresponding points corresponding to the respective identical positions, and verifying whether the determined corresponding points are the same feature among the aligned images;
And performing distance calculation through all corresponding points of which the identities have been verified.
제 5 항에 있어서 상기 거리 계산을 수행하는 단계는,
각각의 상기 시점 별 영상에서 상기 대응점 별로 계산된 거리를 평균함으로써 거리 측정의 오차를 줄이는 보정을 하는 단계를 포함하는 것을 특징으로 하는 다시점 영상을 이용한 객체간 3차원 공간에서의 거리측정방법.
6. The method of claim 5, wherein performing the distance calculation comprises:
And correcting a distance measurement error by averaging the distance calculated for each corresponding point in each viewpoint image by using the multi-view image.
제 5 항에 있어서 각 시점 별 영역을 정렬하는 단계는,
상기 추출된 특징 중 인접한 거리에 위치한 복수의 특징들을 기준으로 다각형을 이루어 각 시점 별 영상에서 상기 추출된 특징을 꼭지점과 변으로 하는 영역들을 생성하는 단계; 및
상기 생성된 영역 중 특정시점의 영상에 대한 영역이 각각 시점 별 영상으로부터 생성된 영역에 대하여 대응될 수 있도록 전단 변환 및 평행 이동을 통해 각 시점 별 영역을 정렬하는 단계를 더 포함하는 것을 특징으로 하는 다시점 영상을 이용한 객체간 3차원 공간에서의 거리측정방법.
6. The method of claim 5,
Generating regions having polygons based on a plurality of features located at adjacent distances among the extracted features and having areas of vertexes and sides of the extracted features in each viewpoint image; And
Further comprising the step of aligning the respective viewpoint regions through the shear transformation and the parallel movement so that the region for the image at a specific point in time among the generated regions can correspond to the region generated from the viewpoint- A Method of Distance Measurement in 3 - D Space between Objects Using Multi - view Image.
제 5 항에 있어서 동일한 특징인지 검증하는 단계는,
상기 정렬된 영역에 포함된 특징이 각 시점의 영상에 대하여 상대적으로 동일한 위치가 되도록 대응하여 대응점에 해당되는지 여부를 식별하는 단계; 및
상기 식별된 대응점 중 각 영상에서 대응하는 대응점들이 유사한 색상 값을 가지는지 여부를 통해 동일한 특징인지를 검증하는 단계를 더 포함하는 것을 특징으로 하는 다시점 영상을 이용한 객체간 3차원 공간에서의 거리측정방법.
6. The method of claim 5,
Identifying whether the feature included in the aligned region corresponds to a corresponding point so as to be at a position that is relatively the same as an image at each view point; And
Further comprising verifying whether or not the corresponding points in the respective images of the identified corresponding points have the same color value by checking whether the corresponding points have similar color values. Way.
KR1020140040186A 2014-04-03 2014-04-03 Distance measuring apparatus using Multi-view point image and method therefor KR20150115335A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140040186A KR20150115335A (en) 2014-04-03 2014-04-03 Distance measuring apparatus using Multi-view point image and method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140040186A KR20150115335A (en) 2014-04-03 2014-04-03 Distance measuring apparatus using Multi-view point image and method therefor

Publications (1)

Publication Number Publication Date
KR20150115335A true KR20150115335A (en) 2015-10-14

Family

ID=54357502

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140040186A KR20150115335A (en) 2014-04-03 2014-04-03 Distance measuring apparatus using Multi-view point image and method therefor

Country Status (1)

Country Link
KR (1) KR20150115335A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105869157A (en) * 2016-03-25 2016-08-17 厦门大学 Multi-lens stereoscopic vision parallax calculating method
KR20170125716A (en) * 2016-05-04 2017-11-15 임재형 Apparatus for determining position information of object and method thereof

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105869157A (en) * 2016-03-25 2016-08-17 厦门大学 Multi-lens stereoscopic vision parallax calculating method
CN105869157B (en) * 2016-03-25 2019-03-15 厦门大学 The calculation method of more lens stereo vision parallaxes
KR20170125716A (en) * 2016-05-04 2017-11-15 임재형 Apparatus for determining position information of object and method thereof

Similar Documents

Publication Publication Date Title
US7430312B2 (en) Creating 3D images of objects by illuminating with infrared patterns
Rashidi et al. Innovative stereo vision-based approach to generate dense depth map of transportation infrastructure
KR102424135B1 (en) Structured light matching of a set of curves from two cameras
US20180091798A1 (en) System and Method for Generating a Depth Map Using Differential Patterns
KR101759798B1 (en) Method, device and system for generating an indoor two dimensional plan view image
JP5672112B2 (en) Stereo image calibration method, stereo image calibration apparatus, and computer program for stereo image calibration
CN104794717A (en) Binocular vision system based depth information comparison method
KR101275823B1 (en) Device for detecting 3d object using plural camera and method therefor
Beltran et al. A comparison between active and passive 3d vision sensors: Bumblebeexb3 and Microsoft Kinect
Guerrieri et al. A new methodology to estimate deformation of longitudinal safety barriers
Choi et al. Precise geometric registration of aerial imagery and LIDAR data
KR20150115335A (en) Distance measuring apparatus using Multi-view point image and method therefor
Kochi et al. 3D modeling of architecture by edge-matching and integrating the point clouds of laser scanner and those of digital camera
Li et al. Accurate depth estimation using structured light and passive stereo disparity estimation
KR20160052256A (en) Three-dimensional space Mapping apparatus using a virtual feature point and method therefor
Bergamini et al. Fundamental Matrix: Digital Camera calibration and Essential Matrix parameters
Khosravani et al. Coregistration of kinect point clouds based on image and object space observations
Barone et al. 3D virtual reconstructions of artworks by a multiview scanning process
JP5579297B2 (en) Parallax calculation method and parallax calculation device
He et al. Automatic orientation estimation of multiple images with respect to laser data
WO2015097969A1 (en) Corresponding point detection device and corresponding point detection method
Kolecki Towards the automatic motion recovery using single-view image sequences acquired from bike
Kim et al. Image Distortion and Rectification Calibration Algorithms and Validation Technique for a Stereo Camera. Electronics 2021, 10, 339
Lin et al. Stereo with coplanar sensor rotation
WO2021109068A1 (en) Gesture control method and movable platform

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination