KR20070039641A

KR20070039641A - Method and apparatus for generating three dimension image using one camera

Info

Publication number: KR20070039641A
Application number: KR1020050094747A
Authority: KR
Inventors: 주종언; 차종호
Original assignee: 주식회사 팬택
Priority date: 2005-10-10
Filing date: 2005-10-10
Publication date: 2007-04-13

Abstract

본 발명은 하나의 카메라를 좌우 이동 또는 수직 이동시켜 촬영된 2개의 이미지를 이용하여 3차원 이미지를 생성하는 방법 및 그 장치에 관한 것이다. 본 발명은 카메라를 통해 소정 피사체를 촬영하여 제1 이미지를 생성하는 단계와, 중력가속도 센서 및 적외선 센서를 이용하여 상기 카메라를 이동시키는 기준을 설정하는 단계와, 상기 설정된 기준에 따라 상기 카메라를 소정 위치만큼 이동시키는 단계와, 상기 이동된 카메라를 통해 상기 피사체를 촬영하여 제2 이미지를 생성하는 단계와, 상기 제1 이미지 및 상기 제2 이미지를 이용하여 3차원 이미지를 생성하기 위한 처리 동작을 수행하는 단계 및 상기 처리 동작에 따른 3차원 이미지를 디스플레이하는 단계를 포함하는 것을 특징으로 하는 3차원 이미지 생성 방법을 제공한다. 본 발명에 의하면, 하나의 카메라를 이용하여 양안 시차를 유발하는 좌우 이미지를 연속적으로 촬영하여 3차원 이미지를 생성할 수 있다.The present invention relates to a method and an apparatus for generating a three-dimensional image by using two images photographed by moving one camera horizontally or vertically. The present invention includes the steps of generating a first image by photographing a predetermined subject through a camera, setting a criterion for moving the camera using a gravity acceleration sensor and an infrared sensor, and specifying the camera according to the set criterion. Moving the image by the position, photographing the subject with the moved camera to generate a second image, and processing operation to generate a 3D image using the first image and the second image. And displaying a three-dimensional image according to the processing operation. According to the present invention, a three-dimensional image may be generated by continuously photographing left and right images causing binocular disparity using one camera.

3차원, 이미지, 생성, 카메라, 오차, 보정 3d image generation camera error correction

Description

METHOD AND APPARATUS FOR GENERATING THREE DIMENSION IMAGE USING ONE CAMERA}

도 1은 종래 파랄락스 베리어 방식에 따라 3차원 이미지를 생성하는 일례를 나타내는 도면이다.1 is a view showing an example of generating a three-dimensional image according to the conventional parallax barrier method.

도 2는 본 발명의 일실시예에 3차원 이미지를 생성하는 장치의 구성을 나타내는 도면이다.2 is a view showing the configuration of an apparatus for generating a three-dimensional image in an embodiment of the present invention.

도 3은 본 발명에 따른 3차원 이미지 생성 장치에 있어서, 카메라를 좌우 회전 이동하는 경우를 나타내는 도면이다.3 is a view showing a case in which the camera is rotated left and right in the three-dimensional image generating apparatus according to the present invention.

도 4는 본 발명에 따른 3차원 이미지 생성 장치에 있어서, 카메라를 상하 수직 이동하는 경우를 나타내는 도면이다. 4 is a diagram illustrating a case in which the camera is vertically moved in the three-dimensional image generating apparatus according to the present invention.

도 5는 본 발명에 따른 3차원 이미지 생성 장치에 있어서, 적외선 센서의 일례를 나타내는 도면이다.5 is a view showing an example of an infrared sensor in the three-dimensional image generating apparatus according to the present invention.

도 6은 본 발명에 따른 3차원 이미지 생성 장치에 있어서, 피사체를 촬영하는 일례를 나타내는 도면이다.6 is a diagram illustrating an example of photographing a subject in the 3D image generating apparatus according to the present invention.

도 7은 본 발명의 일실시예에 따른 3차원 이미지를 생성하는 방법의 흐름을 나타내는 도면이다.7 is a diagram illustrating a flow of a method of generating a 3D image according to an embodiment of the present invention.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

200: 3차원 이미지 생성 장치200: 3D image generating device

210: 카메라 220: 측정부210: camera 220: measuring unit

230: 제어부 240: 이미지 처리부230: control unit 240: image processing unit

250: 디스플레이부250: display unit

본 발명은 하나의 카메라를 이용하여 3차원 이미지를 생성하는 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 하나의 카메라를 좌우 이동 또는 수직 이동시켜 촬영된 2개의 이미지를 이용하여 3차원 이미지를 생성하는 방법 및 그 장치에 관한 것이다.The present invention relates to a method and apparatus for generating a 3D image using a single camera, and more particularly, to generate a 3D image using two images photographed by moving one camera left or right or vertically. And a device thereof.

일반적으로 3차원 이미지는 사람의 눈과 같이 동시에 시차가 있는 두 화면을 조합할 때 생성된다. 카메라로 촬영된 사진의 경우는 3차원 이미지를 생성하기 위한 별도의 처리 과정을 필요로 한다. In general, a three-dimensional image is generated when a combination of two parallax screens such as the human eye are simultaneously displayed. In the case of photographs taken with a camera, a separate process for generating a 3D image is required.

종래 3차원 이미지를 생성하기 위한 처리 방법은 파랄락스 베리어(parallax barrier) 방식, 렌티큘라(Lenticular) 방식, 백라이트 분해(Backlight distribution) 방식, 인티그럴(Integral) 방식 등이 있다. Conventional processing methods for generating 3D images include a parallax barrier method, a lenticular method, a backlight distribution method, an integral method, and the like.

도 1은 종래 파랄락스 베리어 방식에 따라 3차원 이미지를 생성한 일례를 나타내는 도면이다.1 is a diagram illustrating an example of generating a 3D image according to a conventional Parallax barrier method.

도 1을 참조하면, 종래 파랄락스 베리어 방식은 제1 카메라(110)에서 촬영 된 영상과 제2 카메라(120)에서 촬영된 영상을 교대로 배열하여 파랄락스 베리어(140)를 통과시켜 디스플레이(130)에 디스플레함으로써 3차원 이미지 효과를 얻을 수 있다.Referring to FIG. 1, in the conventional Parallax barrier method, an image taken by the first camera 110 and an image taken by the second camera 120 are alternately arranged to pass through the Parallax barrier 140 to display 130. ), Three-dimensional image effects can be obtained.

이와 같이, 종래 3차원 이미지를 생성하는 방법은 두 대의 카메라를 이용하여 촬영된 이미지를 PC와 같은 이미지 처리 장치를 이용하여 3차원 이미지를 합성한다. 따라서, 종래 3차원 이미지 생성 방법은 기본적으로 2개의 카메라를 구비해야 하므로 그만큼 비용이 증가할 뿐만 아니라 공간적 고정 구조물 등과 같은 장치가 반드시 필요하다. 그러므로, 종래 이동통신단말기와 같은 소형의 고집적화 장치에 있어서 2개의 카메라를 장착하기 위해서는 기구 구조물의 크기 및 재료비가 증가하게 되는 문제점이 있다. As described above, in the conventional method of generating a 3D image, a 3D image is synthesized using an image processing apparatus such as a PC from an image photographed using two cameras. Therefore, the conventional three-dimensional image generation method is basically provided with two cameras, not only increases the cost, but also requires a device such as a spatial fixed structure. Therefore, in the compact high integration device such as a conventional mobile communication terminal, there is a problem in that the size and material cost of the mechanical structure are increased to mount the two cameras.

한편, 국내특허 출원번호 제10-2004-0006409는 3차원 이미지 생성 장치 및 방법에 관한 것으로, 촬영 대상물이 배치된 턴 테이블부를 회전시켜 상기 촬영 대상물의 회전에 따른 이미지를 카메라로 촬영하여 3차원 이미지를 생성한다. 이와 같이, 종래 3차원 이미지 생성 장치는 촬영 대상물을 회전시켜야 하므로 상기 턴 테이블부와 같은 구조물이 반드시 필요하기 때문에 상기 구조물에 의해 이미지 생성 장치의 크기 및 재료비가 증가하게 되는 문제점이 있다.On the other hand, Korean Patent Application No. 10-2004-0006409 relates to a three-dimensional image generating apparatus and method, by rotating the turntable portion on which the photographing object is disposed to shoot an image according to the rotation of the photographing object with a camera three-dimensional image Create As described above, the conventional three-dimensional image generating apparatus has a problem that the size and material cost of the image generating apparatus is increased by the structure because a structure such as the turn table part is necessary because the object to be photographed must be rotated.

본 발명은 상기와 같은 종래기술을 개선하기 위해 안출된 것으로서, 하나의 카메라를 좌우 이동 또는 상하 이동시켜 촬영된 2개의 이미지를 이용하여 3차원 이미지를 생성하는 방법 및 그 장치를 제공하는 것을 목적으로 한다. The present invention has been made to improve the prior art as described above, and an object of the present invention to provide a method and apparatus for generating a three-dimensional image using two images taken by moving one camera left or right or up and down. do.

본 발명의 다른 목적은 중력 가속도 센서 및 적외선 센서를 이용하여 카메라의 이동 시 발생되는 오차를 보정하는 3차원 이미지 생성 방법 및 그 장치를 제공하는 것이다.Another object of the present invention is to provide a method and apparatus for generating a 3D image for correcting an error generated when a camera moves by using a gravity acceleration sensor and an infrared sensor.

상기의 목적을 이루고 종래기술의 문제점을 해결하기 위하여, 본 발명은 카메라를 통해 소정 피사체를 촬영하여 제1 이미지를 생성하는 단계와, 중력가속도 센서 및 적외선 센서를 이용하여 상기 카메라를 이동시키는 기준을 설정하는 단계와, 상기 설정된 기준에 따라 상기 카메라를 소정 위치만큼 이동시키는 단계와, 상기 이동된 카메라를 통해 상기 피사체를 촬영하여 제2 이미지를 생성하는 단계와, 상기 제1 이미지 및 상기 제2 이미지를 이용하여 3차원 이미지를 생성하기 위한 처리 동작을 수행하는 단계 및 상기 처리 동작에 따른 3차원 이미지를 디스플레이하는 단계를 포함하는 것을 특징으로 하는 3차원 이미지 생성 방법을 제공한다.In order to achieve the above object and to solve the problems of the prior art, the present invention provides a method for photographing a predetermined subject through a camera to generate a first image, and a criterion for moving the camera using a gravity acceleration sensor and an infrared sensor. Setting, moving the camera by a predetermined position according to the set criterion, photographing the subject through the moved camera to generate a second image, and the first image and the second image. It provides a three-dimensional image generating method comprising the step of performing a processing operation for generating a three-dimensional image by using and displaying the three-dimensional image according to the processing operation.

본 발명의 다른 일측에 따르는 3차원 이미지 생성 장치는 제1 위치에서 피사체에 대한 제1 이미지를 촬영하고, 제2 위치에서 상기 피사체에 대한 제2 이미지를 촬영하는 카메라와, 중력가속도 센서를 이용하여 상기 카메라의 기울기 센싱 또는 고도계 측정을 수행하고, 적외선 센서를 이용하여 상기 카메라와 상기 피사체간의 거리를 측정하는 측정부와, 상기 측정된 측정값을 이용하여 상기 카메라에 대한 이동 범위를 계산하여 가이드 값을 설정하고, 상기 가이드 값에 따라 상기 카메라가 상기 제1 위치에서 상기 제2 위치로 이동되도록 제어하는 제어부와, 상기 제1 이미지 및 상기 제2 이미지를 이용하여 3차원 이미지를 생성하기 위한 처리 동작을 수행하는 이미지 처리부 및 상기 처리 동작에 따른 3차원 이미지를 디스플레이하는 디스플레이부를 포함한다.According to another aspect of the present invention, there is provided a three-dimensional image generating apparatus using a camera for photographing a first image of a subject at a first position and a second image of the subject at a second position, and a gravity acceleration sensor. A measurement unit configured to perform tilt sensing or altimeter measurement of the camera, and to measure a distance between the camera and the subject using an infrared sensor, and to calculate a moving range of the camera by using the measured measurement value; And a control unit for controlling the camera to move from the first position to the second position according to the guide value, and a processing operation for generating a 3D image using the first image and the second image. An image processing unit which performs an operation and a display unit which displays a 3D image according to the processing operation do.

이하에서는 첨부된 도면들을 참조하여 본 발명의 실시예에 따른 3차원 이미지를 생성하는 방법 및 그 장치를 상세히 설명한다.Hereinafter, a method and apparatus for generating a 3D image according to an exemplary embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 2를 참조하면, 3차원 이미지 생성 장치(200)는 카메라(210), 측정부(220), 제어부(230), 3차원 이미지 처리부(240) 및 디스플레이부(250)를 포함한다. Referring to FIG. 2, the 3D image generating apparatus 200 includes a camera 210, a measuring unit 220, a controller 230, a 3D image processing unit 240, and a display unit 250.

카메라(210)는 제1 위치에서 피사체에 대한 제1 이미지를 촬영하고, 제2 위치에서 상기 피사체에 대한 제2 이미지를 촬영한다. 상기 제2 위치는 상기 제1 이미지 및 상기 제2 이미지를 이용하여 3차원 이미지를 생성할 수 있도록 하기 위해 양안 시각 차이를 유발할 수 있는 거리만큼 상기 제1 위치와 이격되어 있다. The camera 210 photographs a first image of a subject at a first position, and photographs a second image of the subject at a second position. The second position is spaced apart from the first position by a distance that may cause a binocular visual difference so that a three-dimensional image may be generated using the first image and the second image.

측정부(220)는 중력 가속도 센서 및 적외선 센서를 포함한다. 측정부(220)는 상기 중력 가속도 센서를 이용하여 카메라(210)의 기울기를 측정하고, 카메라(210)의 고도계 측정을 수행하여 제1 기준을 설정한다. 또한, 측정부(220)는 상기 적외선 센서를 이용하여 카메라(210)와 상기 피사체간의 거리를 측정하여 제2 기준을 설정한다. The measuring unit 220 includes a gravity acceleration sensor and an infrared sensor. The measurement unit 220 measures the inclination of the camera 210 using the gravity acceleration sensor and sets a first reference by performing an altimeter measurement of the camera 210. In addition, the measurement unit 220 sets the second reference by measuring the distance between the camera 210 and the subject using the infrared sensor.

제어부(230)는 상기 측정값을 이용하여 카메라(210)에 대한 이동 범위를 계산하여 가이드 값을 설정하고, 상기 설정된 가이드 값을 디스플레이부(260)를 통해 디스플레이시킨다. 즉, 제어부(230)는 카메라(210)가 좌우 회전 이동하는 경우, 상기 중력가속도 센서를 통한 센싱된 기울기를 이용하여 상기 좌우 회전 이동에 따른 오차 범위를 줄이기 위한 지시 사항을 디스플레이부(250)를 통해 디스플레이시킬 수 있다. The controller 230 sets a guide value by calculating a moving range with respect to the camera 210 using the measured value, and displays the set guide value on the display 260. That is, when the camera 210 rotates left and right, the control unit 230 displays instructions for reducing the error range according to the left and right rotation movements using the sensed inclination of the gravity acceleration sensor. Can be displayed.

한편, 제어부(230)는 카메라(210)가 상하 수직 이동하는 경우, 상기 중력가속도 센서를 통한 고도계 측정을 이용하여 상기 상하 수직 이동에 따른 오차 범위를 줄이기 위한 지시 사항을 디스플레이부(250)를 통해 디스플레이시킬 수 있다. Meanwhile, when the camera 210 vertically moves up and down, the controller 230 provides instructions for reducing the error range according to the vertical up and down movement using the altimeter measurement using the gravity acceleration sensor through the display unit 250. Can be displayed.

본 발명에 따른 카메라가 예를 들어, 디지털 카메라 또는 이동통신단말기의 내장 카메라인 경우, 3차원 촬영 모드로 진입한 상태에서 사용자가 상기 피사체에 대한 제1 이미지를 촬영한 후 상기 피사체에 대한 제2 이미지를 촬영할 수 있도록 하기 위해 상기 카메라에 대한 좌우 회전 또는 상하 이동 방향을 안내해주는 화살표를 액정 화면으로 표시할 수 있다. 따라서, 사용자는 상기 액정 화면에 표시되는 화살표에 따라 카메라를 좌우 회전 또는 상하 이동시킬 수 있다. When the camera according to the present invention is, for example, a digital camera or a built-in camera of a mobile communication terminal, the user enters a 3D photographing mode and the second image of the subject after photographing the first image of the subject. In order to capture an image, an arrow guiding the left / right rotation or up / down movement direction with respect to the camera may be displayed on the LCD screen. Therefore, the user may rotate the camera left or right or up and down according to the arrow displayed on the LCD screen.

한편, 제어부(230)는 상기 제1 기준 및 상기 제2 기준을 참조하여 카메라(210)가 좌우 회전 또는 상하 이동하여 상기 제2 이미지를 촬영하기 위한 최적의 촬영 위치에 도달되는지를 판단한다. 상기 최적의 촬영 위치에 도달한 경우, 제어부(230)는 상기 제2 이미지를 촬영할 수 있도록 안내하는 메시지를 디스플레이부(250)를 통해 표시할 수 있다. 또한, 제어부(230)는 카메라(210)가 최적의 촬영 위치에 도달한 경우, 상기 제2 이미지가 촬영되도록 카메라(210)를 제어할 수도 있다. Meanwhile, the controller 230 determines whether the camera 210 reaches the optimal photographing position for capturing the second image by rotating left and right or up and down with reference to the first criterion and the second criterion. When the optimal photographing position is reached, the controller 230 may display a message for guiding the photographing of the second image on the display unit 250. In addition, the controller 230 may control the camera 210 to capture the second image when the camera 210 reaches the optimal photographing position.

한편, 제어부(230)는 카메라(210)가 좌우 회전 또는 상하 수직 이동에 따른 이동 범위가 허용 오차를 벗어나는 경우, 상기 제2 이미지를 재촬영할 수 있도록 안내하는 메시지를 디스플레이부(250)를 통해 디스플레이시킬 수 있다. On the other hand, the controller 230 displays a message on the display 250 to guide the camera 210 to retake the second image when the movement range due to the left / right rotation or vertical movement is out of the tolerance. You can.

이미지 처리부(240)는 상기 제1 이미지 및 상기 제2 이미지를 이용하여 3차원 이미지를 생성하기 위한 처리 동작을 수행한다. 즉, 이미지 처리부(240)는 상기 피사체가 움직이는 물체인 경우, 상기 제1 이미지 및 상기 제2 이미지를 촬영한 시간차로 인하 오차를 보정하기 위해 촬영할 당시의 이미지 해상도보다 낮은 이미지를 생성할 수 있다. The image processor 240 performs a processing operation for generating a 3D image using the first image and the second image. That is, when the subject is a moving object, the image processor 240 may generate an image having a lower resolution than the image resolution at the time of photographing in order to correct a reduction error by a time difference between photographing the first image and the second image.

이미지 처리부(240)는 예를 들어, 1024x768 픽셀(pixel)의 이미지 두 장을 비교하여 800x600 픽셀의 이미지 두 장으로 잘라내서 생성할 수 있다. 즉, 이미지 처리부(240)는 하나의 카메라로 움직이는 피사체를 촬영함으로 발생되는 시간 오차를 보정하기 위해 동시에 찍지 않은 두 장의 사진의 변화가 적은 부분만을 사용할 수 있도록 한다. For example, the image processor 240 may compare two images of 1024x768 pixels and cut them into two images of 800x600 pixels. That is, the image processor 240 may use only a portion of the two photos that are not taken at the same time in order to correct a time error caused by photographing a moving subject with one camera.

또한, 이미지 처리부(240)는 상기 생성된 2 개의 이미지가 어느 위치에서 촬영된 이미지인지를 나타내는 촬영 위치 정보를 추가하여 저장하고, 상기 2 개의 이미지를 하나의 꾸러미로 처리한다. 예를 들어, 상기 제1 이미지가 왼쪽에서 촬영된 이미지이고, 상기 제2 이미지가 오른쪽에서 촬영된 이미지인 경우, 상기 제1 이미지에 왼쪽 이미지임을 나타내는 위치 정보를 추가하여 저장하고, 상기 제2 이미지에 오른쪽 이미지임을 나타내는 위치 정보를 추가하여 저장할 수 있다. In addition, the image processor 240 adds and stores photographing position information indicating at which position the generated two images are photographed and processes the two images as one package. For example, when the first image is an image photographed from the left side and the second image is an image photographed from the right side, location information indicating that the image is the left image is added to the first image and stored, and the second image is stored. You can add location information to indicate that the image is on the right.

디스플레이부(250)는 상기 생성된 3차원 이미지를 디스플레이한다. 즉, 디스플레이부(250)는 2차원 표시기로서, 상기 3차원 렌더링 기법에 의해 생성된 3차 원 이미지를 디스플레이할 수 있다. 또한, 디스플레이부(250)는 2차원의 왼쪽 이미지 및 오른쪽 이미지를 사용자의 왼쪽 눈에 상기 왼쪽 이미지만 보이도록 하고, 상기 사용자의 오른쪽 눈에 상기 오른쪽 이미지만 보이도록 디스플레이할 수도 있다. 이때, 디스플레이부(250)는 2차원 LCD에 격자를 갖는 패널을 붙여서 제작될 수 있다. The display unit 250 displays the generated 3D image. That is, the display unit 250 may display a three-dimensional image generated by the three-dimensional rendering technique as a two-dimensional display. In addition, the display unit 250 may display the left and right images in two dimensions so that only the left image is visible to the user's left eye and only the right image is visible to the user's right eye. In this case, the display unit 250 may be manufactured by attaching a panel having a grid to the two-dimensional LCD.

도 3은 본 발명에 따른 3차원 이미지 생성 장치에 있어서, 카메라를 좌우 회전 이동한 일례를 나타내는 도면이다.3 is a view showing an example in which the camera is rotated left and right in the three-dimensional image generating apparatus according to the present invention.

도 3을 참조하면, 본 발명에 따른 3차원 이미지 생성 장치는 카메라가 장착된 이동통신단말기의 일례로 상기 이동통신단말기를 좌우 회전 이동시킴으로써 상기 카메라도 좌우 회전 이동한다. 상기 이동통신단말기는 중력가속도 센서(310)를 내장형 또는 외장형으로 구비할 수 있다. 중력가속도 센서(310)는 소정 축을 기준으로 상기 이동통신 단말기가 좌우 회전 이동하는 경우, 상기 축과의 기울기를 센싱하여 좌우 이동 시 사용자의 손에 의해 발생되는 오차를 줄이기 위한 기준값을 설정할 수 있다. Referring to FIG. 3, the apparatus for generating a 3D image according to the present invention is an example of a mobile communication terminal equipped with a camera, and the camera also rotates left and right by rotating the mobile communication terminal left and right. The mobile communication terminal may be provided with a gravity acceleration sensor 310 built-in or external. The gravity acceleration sensor 310 may set a reference value for reducing an error caused by a user's hand when moving left and right by sensing an inclination with the axis when the mobile communication terminal moves left and right about a predetermined axis.

도 4는 본 발명에 따른 3차원 이미지 생성 장치에 있어서, 카메라를 상하 수직 이동하는 일례를 나타내는 도면이다. 4 is a view showing an example of vertically moving the camera in the three-dimensional image generating apparatus according to the present invention.

도 4를 참조하면, 본 발명에 따른 3차원 이미지 생성 장치는 카메라가 장착된 이동통신단말기의 일례로 상기 이동통신단말기를 수직 상하 이동시킴으로써 상기 카메라도 수직 상하 이동시킬 수 있다. 상기 이동통신단말기는 중력가속도 센서(410)를 내장형 또는 외장형으로 구비할 수 있다. 중력가속도 센서(410)는 소정 축을 기준으로 상기 이동통신단말기가 수직 상하 이동되는 경우, 고도계 측정을 통해 상기 이동통신단말기의 수직 상하 이동 시 상기 이동통신단말기의 사용자의 손에 의해 발생되는 오차를 줄이기 위한 기준값을 설정할 수 있다. Referring to FIG. 4, the apparatus for generating a 3D image according to the present invention may move the camera vertically up and down by vertically moving the mobile communication terminal as an example of a mobile communication terminal equipped with a camera. The mobile communication terminal may have a gravity acceleration sensor 410 built-in or external. Gravity acceleration sensor 410 reduces the error caused by the user's hand of the mobile communication terminal when the mobile terminal is moved vertically and vertically by altimeter measurement when the mobile communication terminal is vertically moved up and down based on a predetermined axis. Can set the reference value.

도 5를 참조하면, 본 발명에 따른 3차원 이미지 생성 장치는 카메라가 장착된 이동통신단말기의 소정 키에 적외선 센서(510)를 부착하여 상기 적외선 센서의 부착에 따른 실장 공간을 최소화한다. 상기 적외선 센서는 상기 카메라와 피사체간의 거리를 측정한다. 상기 이동통신단말기는 상기 카메라가 좌우 회전 이동 또는 수직 상하 이동에 따라 발생되는 상기 카메라와 피사체간의 거리 변동을 최소화하기 위해 상기 적외선 센서를 통해 측정된 거리 정보를 이용하여 사용자에게 최적의 촬영 거리에 대가 기준을 제시할 수 있다. Referring to FIG. 5, the 3D image generating apparatus according to the present invention attaches an infrared sensor 510 to a predetermined key of a mobile communication terminal equipped with a camera to minimize the mounting space caused by the attachment of the infrared sensor. The infrared sensor measures the distance between the camera and the subject. The mobile communication terminal uses the distance information measured by the infrared sensor in order to minimize the distance variation between the camera and the subject caused by the camera moving left and right or vertically up and down, thereby paying the user an optimal shooting distance. Criteria can be provided.

도 6을 참조하면, 본 발명에 따른 3차원 이미지 생성 장치는 카메라(610)를 좌우 회전 또는 상하 수직 이동시켜 피사체에 대해 각기 다른 각도에서 촬영된 2개의 이미지를 조합하여 3차원 이미지를 생성한다. 또한, 상기 3차원 이미지 생성 장치는 카메라(610)의 좌우 회전 또는 상하 수직 이동에 대한 오차 범위를 최소화하기 위해 제1 이미지를 촬영한 후 앞서 설명된 중력가속도 센서를 통한 기울기 센싱 및 고도계 측정과, 적외선 센서를 통한 피사체와의 거리 측정을 통해 제2 이미 지를 촬영하기 위한 적절한 위치 가이드 동작과 오차 교정 동작을 수행할 수 있다. Referring to FIG. 6, the 3D image generating apparatus according to the present invention generates a 3D image by combining two images photographed at different angles with respect to a subject by rotating the camera 610 horizontally or vertically. In addition, the three-dimensional image generating apparatus is a tilt sensing and altimeter measurement using the above-described gravity acceleration sensor after taking the first image in order to minimize the error range for the left and right rotation or vertical movement of the camera 610, By measuring the distance to the subject through the infrared sensor, an appropriate position guide operation and error correction operation for capturing the second image may be performed.

도 7을 참조하면, 단계(710)에서 3차원 이미지 생성 장치는 카메라를 통해 소정 피사체를 촬영하여 제1 이미지를 생성한다. 상기 3차원 이미지 생성 장치는 상기 피사체를 촬영하는 시점에서 MPEG 알고리즘을 적용시킬 수 있다. 상기 MPEG 알고리즘은 시간과 공간간의 상관관계에 따라 상기 제1 이미지를 압축시킬 수 있다. Referring to FIG. 7, in operation 710, the 3D image generating apparatus photographs a predetermined subject through a camera to generate a first image. The 3D image generating apparatus may apply the MPEG algorithm at the time of photographing the subject. The MPEG algorithm may compress the first image according to a correlation between time and space.

단계(720)에서 상기 3차원 이미지 생성 장치는 중력가속도 센서 및 적외선 센서를 이용하여 상기 카메라를 이동시키는 기준을 설정한다. 즉, 상기 3차원 이미지 생성 장치는 단계(720)에서 상기 중력가속도 센서를 이용하여 상기 카메라의 기울기 센싱 또는 고도계 측정을 수행하여 제1 기준을 설정한다. In operation 720, the 3D image generating apparatus sets a reference for moving the camera using a gravity acceleration sensor and an infrared sensor. That is, the 3D image generating apparatus sets a first reference by performing a tilt sensing or an altimeter measurement of the camera using the gravity acceleration sensor in step 720.

상기 제1 기준은 상기 카메라의 좌우 이동 또는 상기 카메라의 상하 이동 시 허용되는 이동 범위에 대한 오차를 보정하는 이동 기준으로 사용될 수 있다. 즉, 상기 제1 기준은 기울기 센싱인 경우, 상기 카메라를 좌우 이동시킬 때 발생되는 오차를 보정하기 위한 이동 기준으로 작용될 수 있다. 또한, 상기 제1 기준은 고도계에 관한 측정인 경우, 상기 카메라를 상하 이동시킬 때 발생되는 오차를 보정하기 위한 이동 기준으로 작용될 수 있다. The first criterion may be used as a movement criterion for correcting an error with respect to a movement range allowed when the camera moves left and right or moves up and down. That is, in the case of tilt sensing, the first reference may serve as a movement reference for correcting an error generated when the camera is moved left and right. In addition, when the measurement is related to the altimeter, the first criterion may serve as a movement criterion for correcting an error generated when the camera is moved up and down.

한편, 단계(720)에서 상기 3차원 이미지 생성 장치는 상기 적외선 센서를 이용하여 상기 카메라와 상기 피사체간의 거리를 측정하여 제2 기준을 설정한다. 상기 제2 기준은 상기 카메라가 좌우 이동 또는 상하 이동한 경우 상기 카메라와 상기 피사체간의 거리가 변동되는 경우 발생되는 오차를 보정하기 위한 거리 기준으로 작용될 수 있다. In operation 720, the apparatus for generating three-dimensional images sets a second reference by measuring a distance between the camera and the subject using the infrared sensor. The second reference may serve as a distance reference for correcting an error generated when the distance between the camera and the subject is changed when the camera is moved left and right or up and down.

단계(730)에서 상기 3차원 이미지 생성 장치는 상기 설정된 기준에 따라 상기 카메라를 소정 위치만큼 이동시킨다. 즉, 단계(730)에서 상기 3차원 이미지 생성 장치는 상기 설정된 기준을 기초로 하여 상기 카메라에 대한 이동 범위를 계산하고, 상기 계산된 이동 범위에 따른 가이드 값을 설정한 후 상기 설정된 가이드 값에 따라 상기 카메라를 이동시킬 수 있다. In operation 730, the 3D image generating apparatus moves the camera by a predetermined position according to the set criterion. That is, in step 730, the 3D image generating apparatus calculates a moving range for the camera based on the set criterion, sets a guide value according to the calculated moving range, and then, according to the set guide value. The camera can be moved.

단계(730)에서 상기 3차원 이미지 생성 장치는 상기 제1 이미지를 생성한 후 상기 제2 이미지를 생성하기 위해 상기 설정된 가이드 값에 따라 상기 카메라를 좌측 또는 우측 방향으로 이동시킬 수 있다. 또한, 상기 3차원 이미지 생성 장치는 상기 제1 이미지를 생성한 후 상기 제2 이미지를 생성하기 위해 상기 설정된 가이드 값에 따라 상기 카메라를 위쪽 또는 아래쪽으로 이동시킬 수도 있다. 상기 카메라의 좌우 이동 거리 또는 상하 이동 거리는 예를 들어, 양안 시차를 기준으로 6cm로 구현될 수 있다. In operation 730, the 3D image generating apparatus may move the camera to the left or the right direction according to the set guide value to generate the second image after generating the first image. In addition, the 3D image generating apparatus may move the camera up or down according to the set guide value to generate the second image after generating the first image. The left and right movement distances or the vertical movement distances of the camera may be implemented, for example, at 6 cm based on binocular parallax.

상기 3차원 이미지 생성 장치는 3차원 촬영 모드로 진입한 상태에서 제1 이미지를 촬영한 후 제2 이미지를 촬영하기 위해 사용자가 상기 카메라를 좌우 회전 또는 상하로 이동시킬 수 있도록 화살표를 사용하여 상기 카메라의 이동 방향을 표시할 수 있다. The 3D image generating apparatus uses an arrow to move the camera left and right or up and down to capture the second image after capturing the first image after entering the 3D photographing mode. The direction of movement of can be displayed.

단계(740)에서 상기 3차원 이미지 생성 장치는 상기 이동된 카메라를 통해 상기 피사체를 촬영하여 상기 제2 이미지를 생성한다. 즉, 단계(740)에서 상기 3차원 이미지 생성 장치는 상기 제1 이미지를 촬영한 후 상기 제2 이미지를 촬영하기 위한 최적의 위치에 상기 카메라가 이동된 것을 감지하는 경우 상기 카메라를 통해 상기 피사체를 촬영하여 상기 제2 이미지를 생성할 수 있다. In operation 740, the 3D image generating apparatus photographs the subject through the moved camera to generate the second image. That is, in operation 740, when the 3D image generating apparatus detects that the camera is moved to an optimal position for capturing the second image, the 3D image generating apparatus captures the subject through the camera. The second image may be generated by photographing.

이와 같이, 상기 3차원 이미지 생성 장치는 상기 카메라를 통해 스틸 사진(still picture)를 촬영하므로 최초 촬영한 시점에서 상기 중력가속도 센서 및 상기 적외선 센서를 통해 상기 카메라의 동작을 감지한다. 그리고, 상기 3차원 이미지 생성 장치는 상기 카메라의 위치 변화에 따른 오차를 최소화하기 위해 상기 적외선 센서를 통해 반사되어 돌아오는 것을 고려하여 가속도가 생길 때 적용될 수 있는 양안 시차에 필요한 최소 거리가 확보되는 시점에서 자동 촬영 모드로 진입하여 상기 제2 이미지를 촬영한다. As described above, since the 3D image generating apparatus captures a still picture through the camera, the 3D image generating apparatus detects the motion of the camera through the gravity acceleration sensor and the infrared sensor at the first photographing time. In addition, the 3D image generating apparatus is a time point when the minimum distance required for binocular parallax that can be applied when acceleration occurs in consideration of returning through the infrared sensor in order to minimize the error due to the change in the position of the camera In the automatic shooting mode to shoot the second image.

또한, 상기 3차원 이미지 생성 장치는 상기 제2 이미지를 촬영하기 위한 최적의 위치에 상기 카메라가 도달하는 경우, 상기 제2 이미지를 촬영하도록 표시하여 상기 사용자가 상기 카메라를 통해 상기 제2 이미지를 촬영하도록 유도할 수도 있다. In addition, the apparatus for generating a 3D image may display the second image when the camera reaches an optimal position for capturing the second image so that the user captures the second image through the camera. You can also encourage them to do so.

한편, 상기 3차원 이미지 생성 장치는 상기 제1 기준 또는 상기 제2 기준을 기초로 하여 판단된 오차가 허용 범위를 초과한 경우, 상기 가이드 값에 따라 상기 카메라를 재이동시킨 후 상기 카메라가 최적의 위치에 도달되면, 상기 제2 이미지를 재촬영할 수도 있다. In the meantime, when the error determined based on the first criterion or the second criterion exceeds an allowable range, the 3D image generating apparatus may move the camera according to the guide value and then the camera may be optimal. Once the position is reached, the second image may be retaken.

또한, 상기 3차원 이미지 생성 장치는 실시간으로 생성된 제1 이미지 및 제 2 이미지를 비교 분석하고, 상기 중력가속도 센서를 통한 오차 보정 및 상기 적외선 센서를 통한 오차 보정을 수행함으로써 오차를 최소화하고 최적의 3차원 이미지를 생성하는 알고리즘을 탑재할 수 있다. In addition, the 3D image generating apparatus compares and analyzes the first image and the second image generated in real time, and performs error correction through the gravity acceleration sensor and error correction through the infrared sensor, thereby minimizing error and optimally. Algorithms for generating three-dimensional images can be loaded.

단계(750)에서 상기 3차원 이미지 생성 장치는 상기 제1 이미지 및 상기 제2 이미지를 이용하여 3차원 이미지를 생성하기 위한 처리 동작을 수행한다. In operation 750, the 3D image generating apparatus performs a processing operation for generating a 3D image using the first image and the second image.

상기 3차원 이미지 생성 장치는 두 대의 카메라를 통해 동시에 상기 피사체를 촬영하는 것이 아니라 하나의 카메라를 통해 제1 이미지를 촬영한 후 좌우 회전 또는 수직 이동하여 제2의 이미지를 촬영함에 따라 상기 제1 이미지 및 상기 제2 이미지를 촬영하는데 시간 차이가 발생하여 상기 피사체가 움직이는 경우가 발생할 수 있다. The 3D image generating apparatus does not photograph the subject simultaneously through two cameras, but photographs the first image through one camera and then rotates the image left and right or vertically to photograph the second image. And a time difference occurs when capturing the second image, thereby causing the subject to move.

단계(750)에서 상기 3차원 이미지 생성 장치는 피사체의 움직임을 보정하기 위해 촬영할 당시의 이미지 해상도보다 낮은 이미지를 생성한다. 즉, 상기 3차원 이미지 생성 장치는 예를 들어, 1024x768 픽셀의 이미지 두 장을 비교하여 800x600 픽셀의 이미지 두장으로 잘라내서 만들 수도 있다. 또한, 상기 3차원 이미지 생성 장치는 상기 생성된 2장의 이미지에 왼쪽 또는 오른쪽이라는 촬영 위치 특성을 포함하는 정보를 추가하여 저장하며, 상기 2장의 이미지를 하나의 꾸러미로 처리할 수 있다.In operation 750, the 3D image generating apparatus generates an image having a lower resolution than the image resolution at the time of capturing to correct the movement of the subject. That is, the 3D image generating apparatus may compare two images of 1024x768 pixels and cut out two images of 800x600 pixels. In addition, the 3D image generating apparatus may add and store information including a photographing position characteristic of left or right to the generated two images, and may process the two images as one package.

한편, 단계(750)에서 상기 3차원 이미지 생성 장치는 상기 제1 이미지 및 상기 제2 이미지를 소정 이미지 처리 서버로 전송하고, 상기 이미지 처리 서버로부터 3차원 이미지를 수신할 수도 있다. 이때, 상기 이미지 처리 서버는 상기 3차원 이미지 생성 장치로부터 상기 제1 이미지 및 상기 제2 이미지를 수신하고, 상기 제1 이미지 및 상기 제2 이미지를 이용하여 최적의 3차원 이미지를 생성하여 3차원 렌더링 방식 또는 3차원 디스플레이 장치를 위한 이미지를 생성하여 저장한다. 또한, 상기 이미지 처리 서버는 다양한 특수 효과를 가미하여 사용자에 의해 선택된 서비스를 제공할 수 있다. In operation 750, the 3D image generating apparatus may transmit the first image and the second image to a predetermined image processing server, and receive the 3D image from the image processing server. In this case, the image processing server receives the first image and the second image from the three-dimensional image generating apparatus, generates an optimal three-dimensional image by using the first image and the second image and three-dimensional rendering An image for a method or a 3D display device is generated and stored. In addition, the image processing server may provide a service selected by a user by adding various special effects.

한편, 사용자는 상기 이미지 처리 서버에 접속하여 상기 저장된 3차원 이미지를 컴퓨터로 다운로드시키나 상대방 또는 자신의 이동통신단말기로 전송시킬 수 있다. On the other hand, the user can access the image processing server to download the stored three-dimensional image to a computer or transmit it to the other party or his mobile communication terminal.

단계(760)에서 상기 3차원 이미지 생성 장치는 상기 처리 동작에 따른 3차원 이미지를 디스플레이한다. 즉, 단계(760)에서 상기 3차원 이미지 생성 장치는 2차원 디스플레이 수단에 3차원 렌더링 기법을 이용하여 상기 3차원 이미지를 디스플레이할 수 있다. In operation 760, the 3D image generating apparatus displays a 3D image according to the processing operation. That is, in operation 760, the 3D image generating apparatus may display the 3D image on a 2D display means using a 3D rendering technique.

한편, 단계(760)에서 상기 3차원 이미지 생성 장치는 상기 제1 이미지가 2차원 왼쪽 이미지이고 상기 제2 이미지가 2차원 오른쪽 이미지인 경우, 사용자의 왼쪽 눈에 상기 제1 이미지만 보이도록 하고 사용자의 오른쪽 눈에 상기 제2 이미지만 보이도록 하여 3차원 이미지로 디스플레이할 수 있다. 이때, 상기 3차원 이미지 생성 장치는 디지털 카메라 또는 카메라가 장착된 이동통신단말기인 경우, 2차원 LCD에 격자를 갖는 패널을 붙여서 제작한 디스플레이 수단을 사용할 수 있다. In operation 760, when the first image is a 2D left image and the second image is a 2D right image, the 3D image generating apparatus displays only the first image on the left eye of the user. Only the second image can be displayed in the right eye of the 3D image. In this case, the 3D image generating apparatus may use a display means manufactured by attaching a panel having a lattice to a 2D LCD when the digital camera or a mobile communication terminal equipped with a camera.

또한 본 발명에 따른 3차원 이미지 생성 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한 다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.In addition, the three-dimensional image generating method according to the present invention includes a computer readable medium containing program instructions for performing operations implemented by various computers. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. The medium or program instructions may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. The medium may be a transmission medium such as an optical or metal wire, a waveguide, or the like including a carrier wave for transmitting a signal specifying a program command, a data structure, or the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above-described embodiments, which can be variously modified and modified by those skilled in the art to which the present invention pertains. Modifications are possible. Accordingly, the spirit of the present invention should be understood only by the claims set forth below, and all equivalent or equivalent modifications thereof will belong to the scope of the present invention.

본 발명에 따르면, 하나의 카메라를 좌우 회전 또는 상하 수직 이동시켜 양 안 시차를 유발하는 2개의 좌우 이미지를 연속적으로 촬영하여 3차원 이미지를 생성할 수 있다.According to the present invention, a three-dimensional image may be generated by continuously photographing two left and right images causing binocular disparity by rotating one camera horizontally or vertically.

또한 본 발명에 따르면, 중력가속도 센서 및 적외선 센서를 이용하여 카메라의 이동 가이드 역할 및 오차 교정을 수행할 수 있다.In addition, according to the present invention, the gravity acceleration sensor and the infrared sensor can be used to perform the movement guide role and error correction of the camera.

Claims

In the method for generating a 3D image using a single camera,

Photographing a predetermined subject through the camera to generate a first image;

Setting a reference for moving the camera using a gravity acceleration sensor and an infrared sensor;

Moving the camera by a predetermined position according to the set criterion;

Photographing the subject with the moved camera to generate a second image;

Performing a processing operation for generating a three-dimensional image using the first image and the second image; And

Displaying a 3D image according to the processing operation

3D image generating method comprising a.

The method of claim 1,

The setting of the reference for moving the camera,

Setting a first reference by performing tilt sensing or altimeter measurement of the camera by using the gravity acceleration sensor; And

Setting a second reference by measuring a distance between the camera and the subject using the infrared sensor,

And the criterion comprises the first criterion and the second criterion.

The method of claim 2,

The first reference serves as a reference value when the camera moves left and right or moves up and down,

The second criterion serves as a distance reference between the camera and the subject.

The method of claim 3,

When the first criterion is tilt sensing, the camera serves as a tilt reference value when the camera is moved left and right.

3. The method of claim 3, wherein when the first reference is a measurement regarding an altimeter, the first reference serves as an altitude reference value when the camera moves up and down.

The method of claim 1,

The step of moving the camera by a predetermined position according to the set criteria,

Calculating a moving range for the camera based on the set criteria;

Setting a guide value according to the calculated moving range; And

3. The method of claim 3, further comprising moving the camera according to the set guide value.

The method of claim 5,

The step of moving the camera according to the guide value,

3D image generating method characterized in that the camera rotates left or right or vertically up and down according to the guide value.

The method of claim 2,

And re-photographing the second image when the error determined based on the first criterion or the second criterion exceeds an allowable range.

The method of claim 1,

The step of photographing the subject with the moved camera to generate a second image,

Determining whether the camera has been moved to a designated position; And

And photographing the subject to generate the second image when the camera is moved to a designated position.

The method of claim 1,

Performing a processing operation for generating a 3D image using the first image and the second image,

Comparing the first image with the second image to generate a third image and a fourth image having a lower resolution than the first image and the second image; And

And performing a processing operation for generating a three-dimensional image using the third image and the fourth image.

The method of claim 1,

The step of displaying a three-dimensional image according to the processing operation,

And displaying the 3D image on a 2D display means using a 3D rendering technique.

The method of claim 1,

The step of performing a processing operation for generating a three-dimensional image by using the first image and the second image,

Transmitting the first image and the second image to an image processing server; And

Receiving a 3D image from the image processing server

Including,

The image processing server,

And generating and storing the 3D image by using the first image and the second image, and transmitting the 3D image according to a user's request.

A computer-readable recording medium for recording a program for executing the method of any one of claims 1 to 11 on a computer.

In the apparatus for generating a three-dimensional image,

A camera for photographing a first image of the subject at a first position and a second image of the subject at a second position;

A measurement unit configured to perform tilt sensing or altimeter measurement of the camera using a gravity acceleration sensor and to measure a distance between the camera and the subject using an infrared sensor;

A controller configured to calculate a moving range with respect to the camera by using the measured measurement value, set a guide value, and control the camera to move from the first position to the second position according to the guide value;

An image processor configured to perform a processing operation for generating a 3D image using the first image and the second image; And

Display unit for displaying a three-dimensional image according to the processing operation

3D image generating apparatus comprising a.