KR100724889B1 - Apparatus and method for providing distance and 3-dimension image using stereo image in mobile terminal - Google Patents
Apparatus and method for providing distance and 3-dimension image using stereo image in mobile terminal Download PDFInfo
- Publication number
- KR100724889B1 KR100724889B1 KR1020060016978A KR20060016978A KR100724889B1 KR 100724889 B1 KR100724889 B1 KR 100724889B1 KR 1020060016978 A KR1020060016978 A KR 1020060016978A KR 20060016978 A KR20060016978 A KR 20060016978A KR 100724889 B1 KR100724889 B1 KR 100724889B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- distance
- feature point
- point
- providing
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
- H04B1/40—Circuits
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Description
도 1은 본 발명의 실시 예에 따른 스테레오 영상을 이용한 거리 및 3차원 영상 제공 장치의 블록 구성도1 is a block diagram of an apparatus for providing a distance and a 3D image using a stereo image according to an exemplary embodiment of the present invention
도 2는 본 발명의 실시 예에 따른 스테레오 영상을 이용한 거리 및 3차원 영상 제공 과정에 대한 흐름도2 is a flowchart illustrating a process of providing a distance and a 3D image using a stereo image according to an exemplary embodiment of the present invention.
도 3은 본 발명의 실시 예에 따른 스테레오 영상을 이용한 거리 측정 원리를 나타낸 도면3 is a diagram illustrating a distance measuring principle using a stereo image according to an exemplary embodiment of the present invention.
도 4는 본 발명의 실시 예에 따른 스테레오 영상을 이용한 거리 측정 과정을 설명하기 위한 화면 예시도4 is an exemplary view illustrating a distance measuring process using a stereo image according to an exemplary embodiment of the present invention.
도 5는 본 발명의 실시 예에 따른 스테레오 영상을 이용한 3차원 영상 제공 과정을 설명하기 위한 화면 예시도5 is an exemplary view illustrating a 3D image providing process using a stereo image according to an exemplary embodiment of the present invention.
본 발명은 스테레오 영상 기술에 관한 것으로, 특히 이동통신 단말기에서 스테레오 영상을 이용하는 장치 및 방법에 관한 것이다.The present invention relates to a stereo image technology, and more particularly, to an apparatus and method for using stereo image in a mobile communication terminal.
최근에 2차원 영상을 이용하여 3차원 정보를 얻을 수 있는 스테레오 비젼(STEREO VISION) 기술이 개발되어 널리 이용되고 있다. 스테리오 비젼 기술이란 인간 시각 체계의 거리 능력을 자동화하기 위한 컴퓨터 시각 분야 기술 중 하나이다. 이러한 스테레오 비젼 기술은 초음파와 레이저를 광원으로 사용하여 빛의 비행 시간과 속도의 함수로써 거리를 측정하는 것보다 효과적이고 실제 응용 환경의 제약을 적게 받는다는 장점 때문에 의료 영상, 공장 자동화 및 지도 제작 같은 분야에 널리 이용되어 오고 있다. Recently, a stereo vision (STEREO VISION) technology capable of obtaining three-dimensional information using a two-dimensional image has been developed and widely used. Steriovision technology is one of the fields of computer vision for automating the distance capabilities of human vision systems. These stereo vision technologies are more effective and less constrained by the actual application environment than using ultrasound and lasers as light sources to measure distances as a function of light flight time and speed, resulting in areas such as medical imaging, factory automation, and mapping. It has been widely used in.
그런데 일반적으로 이동통신 단말기에서는 하나의 카메라가 장착되어 있으며, 이를 이용한 2차원 영상을 제공할 뿐, 스테레오 비젼 기술을 이용한 서비스는 제공하지 않고 있다. 이는 스테레오 비젼 기술은 3차원 정보를 얻기 위해 2개의 카메라 모듈을 이용하여 스테레오 영상을 획득해야하지만 이러한 기술을 이동통신 단말기(휴대폰, PDA 등)의 카메라 모듈 시스템에 응용하기 위해서는 많은 제약이 따르기 때문이다.However, in general, a mobile communication terminal is equipped with one camera, and provides a 2D image using the same, and does not provide a service using a stereo vision technology. This is because the stereo vision technology needs to acquire stereo images using two camera modules to obtain three-dimensional information, but there are many limitations in applying such technology to the camera module system of a mobile communication terminal (mobile phone, PDA, etc.). .
다시 말해, 최근 이동통신 단말기 카메라의 소형화에 따라 스테레오 영상을 취득하기 위해 두 개의 카메라 센서를 장착하기 적절하지 않으며, 또한 두 개의 카메라를 장착하였다고 하더라도 두 개의 카메라를 동시에 동작시키기에 무리가 따르고 휴대폰 가격이 상승하는 문제점이 있다.In other words, due to the recent miniaturization of mobile communication cameras, it is not appropriate to mount two camera sensors to acquire stereo images, and even if two cameras are mounted, it is difficult to operate two cameras at the same time. There is this rising problem.
따라서 본 발명은 스테레오 비젼 기술을 이동통신 단말기의 카메라에 응용시킬 수 있는 이동통신 단말기에서 스테레오 영상을 이용한 거리 및 3차원 영상 제공 장치 및 방법을 제공하고자 한다.Accordingly, an aspect of the present invention is to provide an apparatus and method for providing distance and three-dimensional images using stereo images in a mobile communication terminal that can apply stereo vision technology to a camera of a mobile communication terminal.
또한 본 발명은 하나의 카메라를 이용하여 적은 비용으로 스테레오 비젼 기술을 이용한 거리 및 3차원 영상을 제공하는 이동통신 단말기에서 거리 및 3차원 영상 제공 장치 및 방법을 제공하고자 한다.In addition, the present invention is to provide a distance and three-dimensional image providing apparatus and method in a mobile communication terminal providing a distance and three-dimensional image using a stereo vision technology at a low cost by using a single camera.
상기의 목적을 달성하기 위한 본 발명은 이동통신 단말기에서 스테레오 영상을 이용한 거리 및 3차원 영상 제공 장치에 있어서, 카메라 모듈로부터 제1 영상 신호를 획득하는 제1 영상 신호 획득부와, 상기 카메라 모듈로부터 상기 제1 영상 신호와 일정한 변위차를 가지는 제2 영상 신호를 획득하는 제2 영상 신호 획득부와, 상기 제1 영상에 대해 사용자에 의해 선택된 지점에 대해 적어도 하나 이상의 제1 특징점을 추출하는 제1 특징점 추출부와, 상기 제2 영상 신호에서 제1 특징점에 해당하는 지점을 찾는 특징점 정합을 수행하는 특징점 정합부와, 상기 특징점 정합 결과, 상기 제2 영상에서 제2 특징점들을 추출하는 제2 특징점 추출부와, 상기 제1 및 제2 특징점과 상기 제1 영상과 제2 영상이 취득되었던 지점의 위치 차이에 해당하는 변위차를 이용하여 상기 사용자에 의해 선택된 지점에 대한 거리를 측정하는 거리 측정부를 포함한다.According to an aspect of the present invention, there is provided a distance and three-dimensional image providing apparatus using stereo images in a mobile communication terminal, comprising: a first image signal obtaining unit obtaining a first image signal from a camera module, and A second image signal acquisition unit for acquiring a second image signal having a constant displacement difference from the first image signal, and a first image extracting at least one first feature point at a point selected by a user with respect to the first image; A feature point extracting unit, a feature point matching unit performing a feature point matching to find a point corresponding to a first feature point in the second image signal, and a second feature point extraction extracting second feature points from the second image as a result of the feature point matching And a displacement difference corresponding to a position difference between the first and second feature points and the point at which the first and second images are acquired. It includes a distance measuring unit for measuring the distance to the point selected by the user.
또한 본 발명은 이동통신 단말기에서 스테레오 영상을 이용한 거리 및 3차원 영상 제공 방법에 있어서, 카메라 모듈로부터 일정한 변위차를 가지는 제1 영상 신호 및 제2 영상 신호를 획득하는 과정과, 상기 제1 영상에 대해 사용자에 의해 선택된 지점에 대해 적어도 하나 이상의 제1 특징점을 추출하는 과정과, 상기 제2 영상 신호에서 제1 특징점에 해당하는 지점을 찾는 특징점 정합을 수행하는 과정과, 상기 특징점 정합 결과 상기 제2 영상에서 제2 특징점들을 추출하는 과정과, 상기 제1 및 제2 특징점과 상기 제1 영상과 제2 영상이 취득되었던 지점의 위치 차이에 해당하는 변위차를 이용하여 상기 사용자에 의해 선택된 지점에 대한 거리를 측정하는 과정을 포함한다.In addition, the present invention provides a distance and three-dimensional image providing method using a stereo image in a mobile communication terminal, the process of obtaining a first image signal and a second image signal having a predetermined displacement difference from the camera module, Extracting at least one first feature point with respect to a point selected by the user, performing feature point matching to find a point corresponding to the first feature point in the second image signal, and as a result of the feature point matching Extracting second feature points from an image, and using a displacement difference corresponding to a position difference between the first and second feature points and a point at which the first and second images were acquired, for the point selected by the user. Measuring the distance.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명한다. 도면에서 동일한 구성요소들에 대해서는 비록 다른 도면에 표시되더라도 가능한 동일한 참조번호 및 부호로 나타내고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. Note that the same components in the drawings are represented by the same reference numerals and symbols as much as possible even if shown in different drawings. In addition, in describing the present invention, when it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.
도 1은 본 발명의 실시 예에 따른 이동통신 단말기에서 스테레오 영상을 이용한 거리 및 3차원 영상 제공 장치의 블록 구성도이다. 1 is a block diagram of a distance and 3D image providing apparatus using stereo images in a mobile communication terminal according to an exemplary embodiment of the present invention.
도 1을 참조하면, 본 발명의 실시 예에 따른 이동통신 단말기에서 스테레오 영상을 이용한 거리 및 3차원 영상 제공 장치는 카메라 모듈(101), 제1 영상 획득부(102), 제2 영상 획득부(104), 제1 특징점 추출부(106), 특징점 정합부(108), 제2 특징점 추출부(110), 거리 측정부(112), 3차원 영상 생성부(114), 표시부(116)를 포함한다.Referring to FIG. 1, the apparatus for providing a distance and a 3D image using stereo images in a mobile communication terminal according to an exemplary embodiment of the present invention may include a
카메라 모듈(101)은 적어도 하나 이상의 카메라 센서를 구비하고, 사용자 요구에 따라 일정한 변위차를 두어 피사체를 촬영하고, 촬영된 영상 신호를 출력한다. 예를 들면, 카메라 모듈(101)은 하나의 카메라 센서를 구비하는 경우, 카메라 센서가 슬라이딩 가능하도록 하는 슬라이딩 지지대를 가지며, 슬라이딩 지지대를 통해 카메라 센서를 일정 간격만큼 슬라이딩시키면서 피사체를 촬영함으로써 일정한 변위차를 가지는 제1 및 제2 영상 신호를 출력한다. 또한 카메라 모듈(101)은 두 개의 카메라 센서를 구비하는 경우, 두 개의 카메라가 일정 간격을 가지도록 설치하고, 두 카메라에서 동시에 피사체를 촬영함으로써 일정한 변위차를 가지는 제1 및 제2 영상 신호를 출력한다. 이때 영상 신호는 두 개 이상도 가능하다. 하지만 본 발명에서는 영상 신호가 두 개인 경우를 일 예를 들어 설명한다. The
제1 영상 획득부(102)는 카메라 모듈(101)에 의해 출력되는 제1 및 제2 영상 신호 중 어느 하나의 영상 신호 즉, 제1 영상 신호를 획득하고, 획득된 제1 영상 신호를 제1 특징점 추출부(106)로 출력한다.The first
제2 영상 획득부(104)는 카메라 모듈(101)에 의해 출력되는 제1 및 제2 영상 신호 중 제1 영상 획득부(102)에 의해 획득된 영상과 다른 영상 신호 즉, 제2 영상 신호를 획득하고, 획득된 제2 영상 신호를 특징점 정합부(108)로 출력한다.The second
제1 특징점 추출부(106)는 제1 영상 획득부(102)로부터 출력되는 제1 영상에 대해 적어도 하나 이상의 제1 특징점을 추출하여 특징점 정합부(108)로 출력한다. 예컨대 이러한 제1 특징점 추출부(106)는 거리 측정이 요구되는 경우 제1 영상에서 거리 측정의 기준이 되는 기준 제1 특징점을 추출하고, 3차원 영상이 요구되는 경우 제1 영상에서 3차원 정보를 획득하기 위한 다수의 제1 특징점들을 추출한다. 이때 제1 특징점 추출부(106)는 거리 측정이 요구되는 경우 사용자가 원하는 지점의 거리를 측정하기 위해 제1 영상의 픽셀(pixel) 들 중 그 지점의 특징이 될만한 픽셀을 선택하고, 선택된 픽셀의 좌표를 결정한다. 또한, 제2 특징점 추출부(106)는 3차원 영상이 요구되는 경우 사용자에 의해 선택된 영역의 3차원 영상을 얻기 위해 제1 영상의 픽셀들 중 3차원 영상의 특징이 될 만한 다수의 픽셀들을 선택하고, 선택된 픽셀들의 좌표를 결정한다. The first
특징점 정합부(108)는 제2 영상 획득부(104)로부터 획득된 제2 영상 신호를 수신하고, 제1 특징점 추출부(106)로부터 추출된 제1 특징점을 수신한다. 그리고 특징점 정합부(108)는 제2 영상 신호에서 제1 특징점에 해당하는 지점을 찾는 특징점 정합을 수행한다. The feature
제2 특징점 추출부(110)는 특징점 정합부(108)에 의한 특징점 정합 결과, 제2 영상 획득부(104)에 의해 획득된 제2 영상에서 제2 특징점들을 추출한다. 이때 제2 특징점 추출부(106)는 제2 영상에서 제1 특징점에 해당하는 지점의 픽셀들을 선택하고, 선택된 픽셀의 좌표를 결정한다. 그리고 제2 특징점 추출부(106)는 제1 특징점과 제2 특징점에 대한 좌표 정보를 출력한다.이때 제2 특징점 추출부(106)는 거리 측정이 요구되는 경우 제1 특징점과 제2 특징점에 대한 좌표 정보를 거리 측정부(112)로 출력하고, 3차원 영상이 요구되는 경우 다수의 제1 특징점들과 다수의 제2 특징점들에 대한 좌표 정보를 3차원 영상 생성부(114)로 출력한다.The second
거리 측정부(112)는 거리 측정이 요구되는 경우 제1 특징점과 제2 특징점에 대한 좌표 정보를 수신한다. 그리고 거리 측정부(112)는 제1 특징점과 제2 특징점에 대한 좌표 정보가 수신되면, 제1 영상과 제2 영상이 취득되었던 지점의 위치 차이에 해당하는 변위차를 이용하여 거리를 구하고자 하는 지점에 대한 거리를 측정하여 출력한다.The
3차원 영상 생성부(114)는 3차원 영상이 요구되는 경우 다수의 제1 특징점들과 다수의 제2 특징점들에 대한 좌표 정보를 수신한다. 그리고 3차원 영상 생성부(114)는 제1 특징점들과 제2 특징점들에 대한 좌표 정보가 수신되면, 제1 영상과 제2 영상이 취득되었던 지점의 위치 차이에 해당하는 변위차를 이용하여 일정 영역에 대한 3차원 영상을 생성하여 출력한다.When the 3D image is required, the
표시부(116)는 LCD(Liquid Crystal Display) 등으로 구성될 수 있으며, 거리 측정부(112)에 의해 측정된 특정 지점에 대한 거리를 표시하거나, 3차원 영상 생성부(114)에 의해 생성된 일정 영역에 대한 3차원 영상을 표시한다.The
이하 상기한 바와 같이 구성된 이동통신 단말기에서 스테레오 영상을 이용한 거리 및 3차원 영상 제공 장치의 동작을 상세히 설명한다. 도 2는 본 발명의 실시 예에 따른 스테레오 영상을 이용한 거리 및 3차원 영상 제공 과정에 대한 흐름도이다. 도 2를 참조하면, 이동통신 단말기에서 스테레오 영상을 이용한 거리 및 3차원 영상 제공 장치(이하 '거리 및 3차원 영상 제공 장치'라 칭함)는 202단계에서 일정한 변위차를 가지는 스테레오 영상(예컨대 제1 및 제2 영상)을 획득한다. 이때 거리 및 3차원 영상 제공 장치는 하나의 카메라를 일정 간격만큼 슬라이딩시켜 피사 체를 촬영하여 일정한 변위차를 가지는 제1 및 제2 영상 신호를 획득할 수 있다. 또한, 일정 간격만큼 떨어져 설치된 두 개의 카메라로 피사체를 촬영하여 일정한 변위차를 가지는 제1 및 제2 영상 신호를 획득할 수 있다.Hereinafter, the operation of the apparatus for providing distance and 3D image using stereo images in the mobile communication terminal configured as described above will be described in detail. 2 is a flowchart illustrating a process of providing a distance and a 3D image using a stereo image according to an exemplary embodiment of the present invention. Referring to FIG. 2, a distance and 3D image providing apparatus (hereinafter, referred to as a “distance and 3D image providing apparatus”) using a stereo image in a mobile communication terminal may include a stereo image (eg, a first displacement) having a constant displacement difference in
상기한 바와 같이 제1 및 제2 영상신호가 획득되면 거리 및 3차원 영상 제공 장치는 204단계에서 사용자 선택에 따라 거리 측정을 할 것인지 3차원 영상을 생성할 것인지 판단한다. 이때 거리 측정을 할 것인지 3차원 영상을 생성할 것인지의 판단은 제1 및 제1 영상 신호 획득 전에 이루어질 수도 있다.As described above, when the first and second image signals are acquired, the distance and the 3D image providing apparatus determine whether to measure the distance or generate the 3D image according to a user selection in
먼저 사용자에 의해 거리 측정이 선택되는 경우를 설명하면, 거리 및 3차원 영상 제공 장치는 206단계로 진행하여 제1 영상에서 거리 측정의 기준이 되는 제1 특징점을 추출한다. 이때 제1 특징점 추출부(106)는 사용자에 의해 제1 영상의 픽셀(pixel) 들 중 그 지점의 특징이 될만한 픽셀이 선택되면, 선택된 픽셀의 좌표를 결정함으로써 제1 특징점을 추출한다.First, when the distance measurement is selected by the user, the distance and 3D image providing apparatus proceeds to step 206 and extracts a first feature point that is a reference for distance measurement from the first image. In this case, when a pixel that is a feature of the point is selected among the pixels of the first image by the user, the first
그리고 나서 거리 및 3차원 영상 제공 장치는 208단계에서 제1 영상의 특징점과 제2 영상에 정합하여 제2 특징점을 추출한다. 이때 특징점 정합부(108)는 제2 영상 신호에서 제1 특징점에 해당하는 지점을 찾는 특징점 정합을 수행하고, 제2 특징점 추출부(110)는 특징점 정합부(108)에 의한 특징점 정합 결과, 제2 영상 획득부(104)에 의해 획득된 제2 영상에서 제2 특징점을 추출한다. In
그리고 제2 특징점이 추출되면, 거리 및 3차원 영상 제공 장치는 210단계에서 제1 특징점과 제2 특징점을 이용하여 거리를 측정한다. 이때 거리 측정부(112)는 제1 특징점과 제2 특징점과 제1 영상과 제2 영상이 취득되었던 지점의 위치 차 이에 해당하는 변위차를 이용하여 거리를 구하고자 하는 지점(제1 특징점)에 대한 거리를 측정하여 출력한다. 그리고 거리 및 3차원 영상 제공 장치는 212단계에서 측정된 거리를 사용자에게 제공한다. 이때 측정된 거리를 표시부(116)에 표시할 수 있다.When the second feature point is extracted, the distance and the 3D image providing apparatus measure the distance using the first feature point and the second feature point in
상기한 206단계 내지 212단계에서의 거리 측정 과정을 화면을 통해 좀더 상세히 설명하면, 도 3은 본 발명의 실시 예에 따른 스테레오 영상을 이용한 거리 측정 과정을 설명하기 위한 화면 예시도이다.Referring to the distance measurement process in
도 3을 참조하면, 도 3의 (a)는 획득된 제1 및 제2 영상 화면을 나타낸다. 거리 및 3차원 영상 제공 장치는 제1 및 제2 영상이 획득되면, 도 3의 (a)에 도시된 바와 같이 제1 영상(30) 및 제2 영상(32)를 하나의 화면에 표시한다. Referring to FIG. 3, FIG. 3A illustrates acquired first and second video screens. When the first and second images are acquired, the apparatus for providing a distance and the 3D image displays the
사용자는 도 3의 (a)에 도시된 바와 같은 화면을 통해 제1 영상(30) 및 제2 영상(32)에서 자신이 거리 측정을 원하는 지점을 선택할 수 있다. 이때 거리 및 3차원 영상 제공 장치는 보다 정확한 거리 측정을 위해 사용자가 원하는 지점을 픽셀 단위로 선택할 수 있도록 영상을 확대시켜 표시할 수 있으며, 영상을 확대한 후 교차점이나 경계선 같이 특징이 될 만한 위치를 결정하여 특징점으로 선택한다.The user may select a point on which the user wants to measure the distance in the
그리고 예를 들어 사용자가 제1 영상(30)에서 거리 측정을 원하는 지점(x)(미도시)을 선택하면, 거리 및 3차원 영상 제공 장치는 도 3의 (b)와 같이 제1 영상에서 사용자가 선택한 지점에 대해 교차점이나 경계선 같이 특징이 될 만한 위치를 특징점으로 선택하여 제1 특징점(P1)을 추출한다. For example, when the user selects a point (x) (not shown) for measuring distance in the
그리고 제1 특징점(P1)이 추출되면 거리 및 3차원 영상 제공 장치는 도 3의 (c)와 같이 제2 영상에서 제1 특징점에 해당하는 지점을 찾는 특징점 정합을 수행하고, 특징점 정합 결과, 제2 영상에서 제2 특징점(P2)을 추출한다. 이때 역시 거리 및 3차원 영상 제공 장치는 보다 정확한 정합을 위해 영상을 확대한 후 제2 특징점(P2)를 추출할 수 있다.When the first feature point P1 is extracted, the distance and the 3D image providing apparatus perform feature point matching to find a point corresponding to the first feature point in the second image as illustrated in FIG. 3C, and as a result of the feature point match, The second feature point P2 is extracted from the two images. In this case, the distance and the 3D image providing apparatus may extract the second feature point P2 after enlarging the image for more accurate matching.
그리고 상기한 바와 같이 제1 특징점(P1) 및 제2 특징점(P2)가 얻어지면, 거리 및 3차원 영상 제공 장치는 제1 특징점(P1) 및 제2 특징점(P2)을 이용하여 거리를 측정한다. 도 4는 본 발명의 실시 예에 따른 스테레오 영상을 이용한 거리 측정 원리를 나타낸 도면이다.As described above, when the first feature point P1 and the second feature point P2 are obtained, the distance and the 3D image providing apparatus measure the distance using the first feature point P1 and the second feature point P2. . 4 is a diagram illustrating a distance measuring principle using a stereo image according to an exemplary embodiment of the present invention.
도 4를 참조하면, 참조번호 30은 제1 영상을 나타내고, 참조번호 32는 제2 영상을 나타낸다. P1은 제1 영상의 제1 특징점이고, P2는 제2 영상의 제2 특징점이다. 스테레오 비전 기술을 이용하면, 사용자가 선택한 특정 지점(x)의 위치는 하기 수학식 1과 같이 산출된다.Referring to FIG. 4,
상기 수학식 1에서 L은 카메라 모듈의 변위차이고, f는 초점거리이다. 그리고 dl과 dr은 카메라 모듈의 변위에 따라 발생한 영상의 변위차이다. 수학식 1에 따르면 본 발명에서 사용자가 선택한 특정 지점(x)까지의 거리(D)는 카메라 모듈의 변위차와 초점거리의 곱을 총 영상의 변위차로 나누면 구할 수 있다.In Equation 1, L is a displacement difference of the camera module, and f is a focal length. And dl and dr are the displacement difference of the image generated by the displacement of the camera module. According to Equation 1, the distance D to a specific point x selected by the user may be obtained by dividing the product of the displacement difference and the focal length of the camera module by the displacement difference of the total image.
상기한 바와 같이 거리가 구해지면 거리 및 3차원 영상 제공 장치는 표시부 (116)에 구해진 거리를 표시하여 사용자에게 특정 지점(x)까지의 거리를 제공한다.As described above, when the distance is obtained, the distance and the 3D image providing apparatus display the distance obtained on the
한편 도 2의 204단계에서 사용자에 의해 거리 측정이 선택되는 경우를 설명하면, 거리 및 3차원 영상 제공 장치는 216단계로 진행하여 제1 영상에서 3차원 영상 생성을 위한 다수의 제1 특징점들을 추출한다. 이때 제1 특징점 추출부(106)는 사용자에 의해 3차원 복원할 영역이 선정되고, 선정된 영역 내에서 사용할 특징점들의 개수가 선택되면, 선정된 영역 내에서 선택된 개수만큼의 제1 특징점들을 추출한다. Meanwhile, referring to the case where the distance measurement is selected by the user in
그리고 제1 특징점들이 추출되면, 거리 및 3차원 영상 제공 장치는 218단계에서 다수의 제1 특징점들과 제2 영상을 정합하여 제2 특징점들을 추출한다. 이때 특징점 정합부(108)는 제2 영상 신호에서 다수의 제1 특징점들에 해당하는 지점들을 찾는 특징점 정합을 수행하고, 특징점 정합부(108)에 의한 특징점 정합 결과, 제2 영상에서 다수의 제2 특징점을 추출한다. When the first feature points are extracted, the distance and 3D image providing apparatus extracts the second feature points by matching the plurality of first feature points with the second image (218). At this time, the feature
그리고 나서 거리 및 3차원 영상 제공 장치는 220단계에서 3차원 정보를 획득한다. 그리고 거리 및 3차원 영상 제공 장치는 222단계에서 상기 획득된 3차원 정보를 이용하여 3차원 영상을 제공한다. 이때 3차원 영상을 표시부(116)에 표시함으로써 사용자에게 제공되도록 할 수 있다.Then, the apparatus for providing distance and 3D image acquires 3D information in
상기한 216단계 내지 222단계에서의 3차원 영상 제공 과정을 화면을 통해 좀더 상세히 설명하면, 도 5는 본 발명의 실시 예에 따른 스테레오 영상을 이용한 3차원 영상 제공 과정을 설명하기 위한 화면 예시도이다. Referring to the three-dimensional image providing process in
도 5를 참조하면, 도 5의 (a)는 3차원 영상 제공을 위해 획득된 제1 및 제2 영상 화면을 나타낸다. 거리 및 3차원 영상 제공 장치는 제1 및 제2 영상이 획득되면, 도 5의 (a)에 도시된 바와 같이 제1 영상(50) 및 제2 영상(52)를 하나의 화면에 표시한다. Referring to FIG. 5, FIG. 5A illustrates first and second image screens acquired for providing a 3D image. When the first and second images are acquired, the apparatus for providing a distance and the 3D image displays the
사용자는 도 5의 (a)에 도시된 바와 같은 화면을 통해 제1 영상(50) 및 제2 영상(52) 중 어느 하나에서 자신이 3차원 영상을 제공받기를 원하는 영역을 선정할 수 있다. 또한 사용자는 선정된 영역 내에서 사용할 특징점들의 개수를 선정할 수 있다.The user may select a region in which one of the
예를 들어, 사용자가 제1 영상(50) 및 제2 영상(52)에서 3차원 영상을 제공받기 위한 영역을 선정하고, 선정된 영역 중 어느 하나의 영상(제1 영상)내에서 사용할 특징점들의 개수를 선택하면, 거리 및 3차원 영상 제공 장치는 도 5의 (b)에 도시된 바와 같이 선정된 영역(K1)에서 선택된 특징점들의 개수만큼 제1 특징점들(PS1)을 추출한다.For example, a user selects an area for receiving a 3D image from the
그리고 제1 특징점들(PS1)이 추출되면 거리 및 3차원 영상 제공 장치는 도 5의 (c)와 같이 제2 영상(52)에서 제1 특징점들(PS1)에 해당하는 지점을 찾는 특징점 정합을 수행하고, 특징점 정합 결과, 제2 영상에서 제2 특징점들(PS2)을 추출한다. 이때 특징점 정합 방법은 영역 기반(area-based) 방법이 이용될 수 있다. 영역 기반 방법이 이용되는 경우 제1 영상(50)의 선정된 영역에서 최대 변위(maximum variance)를 가지는 위치를 결정하고, 제1 영상(50)과 공통으로 제2 영상(50)의 선정된 영역에서 최대 변위를 가지는 위치를 결정한다. 이때 거리 및 3차원 영상 제공 장치는 일정 영역을 윈도우로 설정하여 그 위치를 결정할 수 있다. 그리고 이와 같이 제1 영상(50) 및 제2 영상(50)의 선정된 영역에서 최대 변위를 가지는 위치가 결정되면 그 최대 변위를 가지는 위치와 제1 특짐점 간에 최대 코렐레이션(correlation)을 가지는 위치를 결정하여 제2 영상(52)에서의 제2 특징점들(PS2)을 추출한다.When the first feature points PS1 are extracted, the distance and the 3D image providing apparatus may perform feature point matching to find a point corresponding to the first feature points PS1 in the
그리고 상기한 바와 같이 제1 특징점들(PS1) 및 제2 특징점들(PS2)이 얻어지면, 거리 및 3차원 영상 제공 장치는 제1 특징점(PS1) 및 제2 특징점(PS2)을 이용하여 3차원 정보를 얻고, 렌더링(rendering) 기술을 이용하여 3차원 영상을 복원한다. 그리고 복원된 3차원 영상을 표시부(116)에 표시하여 사용자에게 제공한다.As described above, when the first feature points PS1 and the second feature points PS2 are obtained, the apparatus for providing a distance and the 3D image is three-dimensional by using the first feature point PS1 and the second feature point PS2. The information is obtained and the 3D image is reconstructed using a rendering technique. The restored 3D image is displayed on the
상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정해 져야 한다. In the above description of the present invention, specific embodiments have been described, but various modifications may be made without departing from the scope of the present invention. Therefore, the scope of the present invention should not be defined by the described embodiments, but should be determined by the equivalent of claims and claims.
상술한 바와 같이 본 발명은 스테레오 비젼 기술을 이동통신 단말기에 응용시켜 적은 비용으로 스테레오 비젼 기술을 이용한 거리 제공 및 3차원 영상을 제공할 수 있는 효과가 있다.As described above, the present invention has an effect of providing distance and three-dimensional image using stereo vision technology by applying stereo vision technology to a mobile communication terminal at a low cost.
또한 본 발명은 거리를 복원하기 위해서는 두 개의 카메라 센서로부터 얻어지는 스테레오 영상이 필요하게 되는데 본 발명에서는 기존 이동통신 단말기에 별도의 카메라 센서 추가 없이 하나의 카메라 센서로 스테레오 영상을 얻을 수 있도 록 하는 효과가 있다.In addition, the present invention requires a stereo image obtained from the two camera sensors in order to restore the distance, in the present invention has the effect of obtaining a stereo image with one camera sensor without adding a separate camera sensor to the existing mobile communication terminal. have.
Claims (14)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060016978A KR100724889B1 (en) | 2006-02-21 | 2006-02-21 | Apparatus and method for providing distance and 3-dimension image using stereo image in mobile terminal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060016978A KR100724889B1 (en) | 2006-02-21 | 2006-02-21 | Apparatus and method for providing distance and 3-dimension image using stereo image in mobile terminal |
Publications (1)
Publication Number | Publication Date |
---|---|
KR100724889B1 true KR100724889B1 (en) | 2007-06-04 |
Family
ID=38358317
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020060016978A KR100724889B1 (en) | 2006-02-21 | 2006-02-21 | Apparatus and method for providing distance and 3-dimension image using stereo image in mobile terminal |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100724889B1 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101095361B1 (en) * | 2009-03-31 | 2011-12-16 | 가시오게산키 가부시키가이샤 | Imaging apparatus, imaging control method, and recording medium |
KR101372496B1 (en) * | 2012-09-18 | 2014-03-11 | 유메디칼 주식회사 | Apparatus for acquiring three-dimensional image information of laryngoscope using stereo camera and a method thereof |
US8781256B2 (en) | 2008-06-25 | 2014-07-15 | Samsung Electronics Co., Ltd. | Method to match color image and depth image using feature points |
KR20150093972A (en) * | 2014-02-10 | 2015-08-19 | 한국전자통신연구원 | Method and apparatus for reconstructing 3d face with stereo camera |
KR101706627B1 (en) | 2015-09-30 | 2017-02-17 | 주식회사 디아이랩 | Distance measurement device by using stereo image and method thereof |
KR20170075562A (en) * | 2015-12-23 | 2017-07-03 | 주식회사 케이티 | Apparatus, method and mobile phone for providing of stereo video services |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20040054324A (en) * | 2002-12-18 | 2004-06-25 | 엘지전자 주식회사 | A mobile telecommunication terminal having two camera and a method for measuring a distance by using the terminal |
-
2006
- 2006-02-21 KR KR1020060016978A patent/KR100724889B1/en not_active IP Right Cessation
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20040054324A (en) * | 2002-12-18 | 2004-06-25 | 엘지전자 주식회사 | A mobile telecommunication terminal having two camera and a method for measuring a distance by using the terminal |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8781256B2 (en) | 2008-06-25 | 2014-07-15 | Samsung Electronics Co., Ltd. | Method to match color image and depth image using feature points |
KR101095361B1 (en) * | 2009-03-31 | 2011-12-16 | 가시오게산키 가부시키가이샤 | Imaging apparatus, imaging control method, and recording medium |
US8441518B2 (en) | 2009-03-31 | 2013-05-14 | Casio Computer Co., Ltd. | Imaging apparatus, imaging control method, and recording medium |
KR101372496B1 (en) * | 2012-09-18 | 2014-03-11 | 유메디칼 주식회사 | Apparatus for acquiring three-dimensional image information of laryngoscope using stereo camera and a method thereof |
KR20150093972A (en) * | 2014-02-10 | 2015-08-19 | 한국전자통신연구원 | Method and apparatus for reconstructing 3d face with stereo camera |
KR102135770B1 (en) | 2014-02-10 | 2020-07-20 | 한국전자통신연구원 | Method and apparatus for reconstructing 3d face with stereo camera |
KR101706627B1 (en) | 2015-09-30 | 2017-02-17 | 주식회사 디아이랩 | Distance measurement device by using stereo image and method thereof |
KR20170075562A (en) * | 2015-12-23 | 2017-07-03 | 주식회사 케이티 | Apparatus, method and mobile phone for providing of stereo video services |
KR102381279B1 (en) * | 2015-12-23 | 2022-03-30 | 주식회사 케이티 | Apparatus, method and mobile phone for providing of stereo video services |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10650573B2 (en) | Synthesizing an image from a virtual perspective using pixels from a physical imager array weighted based on depth error sensitivity | |
US10237532B2 (en) | Scan colorization with an uncalibrated camera | |
TWI718150B (en) | Method and system for determining spatial characteristics of a camera | |
KR100724889B1 (en) | Apparatus and method for providing distance and 3-dimension image using stereo image in mobile terminal | |
EP2533541A1 (en) | Stereo camera | |
JP7300948B2 (en) | Survey data processing device, survey data processing method, program for survey data processing | |
JP6589636B2 (en) | 3D shape measuring apparatus, 3D shape measuring method, and 3D shape measuring program | |
JP2012103109A (en) | Stereo image processing device, stereo image processing method and program | |
WO2017199285A1 (en) | Image processing device and image processing method | |
CN106068646A (en) | Degree of depth drawing generating method, device and non-transience computer-readable medium | |
CN103528562A (en) | Method for detecting distance of human eyes and display terminal based on single camera | |
JP2023029441A (en) | Measuring device, measuring system, and vehicle | |
KR102503976B1 (en) | Apparatus and method for correcting augmented reality image | |
JP2008275366A (en) | Stereoscopic 3-d measurement system | |
US20220076399A1 (en) | Photographing guide device | |
CN107657663B (en) | Method and device for displaying information | |
GB2584272A (en) | Sensor synchronization | |
US20150085085A1 (en) | Disparity calculating method and stereo matching system thereof | |
JP6868167B1 (en) | Imaging device and imaging processing method | |
KR20150119770A (en) | Method for measuring 3-dimensional cordinates with a camera and apparatus thereof | |
JP2006197036A (en) | Device and method for stereoscopic image display | |
JP6942567B2 (en) | Information processing equipment, information processing methods and computer programs | |
US9392254B2 (en) | Game sizing camera | |
US10229522B2 (en) | Fixed size scope overlay for digital images | |
CN114514735A (en) | Electronic apparatus and method of controlling the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130429 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20140429 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20150429 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20160428 Year of fee payment: 10 |
|
FPAY | Annual fee payment |
Payment date: 20170427 Year of fee payment: 11 |
|
LAPS | Lapse due to unpaid annual fee |