KR101391951B1

KR101391951B1 - Single lens camera and method for taking side by side stereo pictures

Info

Publication number: KR101391951B1
Application number: KR1020130012578A
Authority: KR
Inventors: 최재혁
Original assignee: 주식회사 고글텍
Priority date: 2013-02-04
Filing date: 2013-02-04
Publication date: 2014-05-07
Also published as: WO2014119965A1

Abstract

A method for taking side-by-side stereo pictures and a single lens camera therefor are provided. A reflector is provided to be erected side by side within a predetermined angular deviation range between the reflector and an axial direction of a lens towards the front of the lens beside a camera module using a reflector holder. An image focused on an image sensor consists of a first image, which is reflected by the reflector to enter the lens to be focused on a first half of the image sensor, and a second image, which directly enter the lens rather than the reflector to be focused on a remaining second half of the image sensor. An image signal processing unit executes a predetermined application program, performs a signal converting process of turning the first image, focused on the first half of the image sensor, from left to right, and stores, in a storage means, an image signal of the processed first image and an original image signal of the second image as side-by-side stereo images.

Description

[0001] The present invention relates to a side-by-side stereo imaging method and a single-

본 발명은 3차원 입체영상 촬영기술 기술에 관한 것으로, 보다 상세하게는 단안식 렌즈를 채용한 카메라로 사이드 바이 사이드(side by side) 스테레오 영상을 촬영할 수 있는 방법과 이를 위한 단안식 카메라 장치에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a three-dimensional (3D) stereoscopic image capturing technique, and more particularly, to a method of capturing a side by side stereo image with a camera employing a single- will be.

3차원 입체영상을 만들기 위해서는 많은 비용과 시간이 필요하다. 3차원 입체영상을 제작하기 위해서는 일반적인 2차원 카메라와는 다른 구성의 3차원 카메라와 프로그램이 필요하다. 3차원 카메라는 일반적으로 렌즈를 두 개 장착하는 등 장비의 구성이 복잡하여 고가 일뿐만 아니라 촬영기술도 일반 카메라보다는 더 복잡하다. 그렇기 때문에 일반 사용자들이 입체영상을 만드는 것은 쉽지 않았다.3D stereoscopic images are costly and time consuming. In order to produce a three-dimensional image, a three-dimensional camera and a program different from a general two-dimensional camera are required. Three-dimensional (2D) cameras are generally expensive because of the complexity of the equipment, such as two lenses, and the technology of shooting is more complicated than that of ordinary cameras. Therefore, it was not easy for ordinary users to make stereoscopic images.

일반인들은 주로 디지털 카메라나 스마트폰에 장착된 카메라를 보유하고 있다. 이런 디지털 카메라나 스마트폰은 거의 대부분이 하나의 렌즈만을 채용한 단안식 카메라(single lens camera)이고, 촬영되는 영상은 2차원 영상이다. 특히, 스마트폰 같은 소형기기의 경우, 디자인에서 요구되는 것은 거기에 채용되는 부품의 크기와 개수를 가능한 한 줄이는 것이다. 스마트폰에 입체(3-Dimensional: 3D) 카메라를 구성하기 위해 렌즈 2개를 채용하는 디자인은 이런 취지에 반한다. 또한, 2개의 렌즈를 채용하는 것은 스마트폰 가격 상승의 요인이 된다. 그런데 고가의 촬영장비나 촬영기술 없이 2차원 영상을 촬영할 수 있는 단안식 카메라로도 3차원 입체영상을 손쉽게 제작할 수 있다면, 3차원 입체영상의 생산이 급격히 늘어날 수 있을 것이다. The general public has cameras mainly equipped with digital cameras or smart phones. Such a digital camera or a smart phone is a single lens camera in which almost all of a single lens is used, and a captured image is a two-dimensional image. In particular, in the case of small devices such as smart phones, what is required in the design is to reduce the size and number of parts employed therein as much as possible. The design that employs two lenses to construct a 3-Dimensional (3D) camera on a smartphone is against this purpose. In addition, the adoption of two lenses is a factor of increasing the price of smartphone. However, if 3D stereoscopic images can be easily produced by using a simple camera capable of shooting two-dimensional images without expensive filming techniques or shooting techniques, the production of three-dimensional stereoscopic images can be rapidly increased.

하나의 카메라로 3차원 입체영상을 촬영하는 기술이 소개된 예가 있다. 한 가지 방법(이동우, 이관욱, 김만배 저, '단안 카메라를 이용한 입체영상 생성', 방송공학회논문지 제17권 제1호 pp17-25, 2012년)은, 먼저 순차식 촬영 방식과 유사하게 수평으로 카메라를 이동하면서 수동 또는 자동으로 다수의 영상을 촬영한 다음, 얻어진 영상 중에서 입체영상으로 제작하기에 적합한 두 장의 영상을 선택하고, 최종적으로 양안시차를 고려한 입체영상을 제작하는 방법이다. 이 방법은 카메라를 손으로 들고 촬영하게 되면 손떨림 현상이 발생하여 안정된 촬영이 어려워지므로, 보정작업을 거쳐 최종적인 입체영상을 제작한다. 그런데 이 방법으로는 정지영상을 입체영상으로 촬영하는 것은 가능하다고 하더라도, 손떨림 보정을 거의 필수적으로 거쳐야 하는바, 동영상까지 실시간으로 입체영상으로 촬영할 수 있을지는 의문이다.There is an example of introducing a technique of shooting three-dimensional stereoscopic images with one camera. One method (Dongwoo Lee, Kwan Wook Lee, and Man-Bae Kim, 'Stereoscopic Image Generation Using Monocular Camera', Journal of Korean Broadcasting Engineering, Vol.17 No. 1 pp17-25, 2012) A moving image is manually or automatically captured, and then two images suitable for stereoscopic image production are selected from the obtained images, and a stereoscopic image is finally produced considering binocular disparity. In this method, when the camera is held by hand, the camera shake occurs and it becomes difficult to take a stable image. Therefore, the final stereoscopic image is produced through the correction process. However, even if it is possible to take a still image as a stereoscopic image by this method, it is almost necessary to compensate for the shaking motion, and it is doubtful whether the stereoscopic image can be photographed in real time.

본 발명은 하나의 렌즈만을 가지고 있는 단안식 카메라에 반사경을 부착하여 사이드 바이 사이드(side by side) 스테레오 영상을 간편하게 촬영할 수 있는 방법과 이를 위한 카메라를 제공하는 것을 목적으로 한다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a method for easily photographing a side by side stereo image by attaching a reflector to a short-sighted camera having only one lens and a camera therefor.

위와 같은 목적을 달성하기 위한 본 발명의 일 측면에 따르면, 하나의 렌즈와, 상기 렌즈를 구동하는 액추에이터, 상기 렌즈를 통과한 영상의 빛을 전기신호로 변환하는 이미지센서, 상기 이미지센서로부터 영상신호를 읽어 와서 소정의 처리를 하는 신호처리부, 그리고 상기 액추에이터를 구동하는 드라이버를 갖는 카메라 모듈과, 상기 카메라 모듈이 설치된 카메라 본체를 포함하는 단안식 카메라로서, 상기 렌즈의 전방의 장면을 반사시켜 상기 렌즈로 입사되게 하는 반사경; 및 일측이 상기 카메라 본체와 결합된 채, 상기 반사경을 상기 카메라 모듈 옆에서 상기 렌즈의 전방을 향하여 상기 렌즈의 축방향과 소정의 각도편차범위 내에서 나란하게 기립하도록 잡아주는 반사경 거치대를 더 구비하며, 상기 이미지센서에 맺히는 영상은, 상기 반사경에서 반사되어 상기 렌즈로 입사하여 상기 이미지센서의 제1 절반에 맺히는 제1 영상과, 상기 반사경을 통하지 않고 상기 렌즈에 직접 입사하여 상기 이미지센서의 나머지 제2절반에 맺히는 제2영상으로 구성되며, 상기 신호처리부는, 소정의 애플리케이션 프로그램을 실행하여, 상기 이미지센서의 제1절반에 맺히는 상기 제1 영상의 좌우를 뒤집는 신호변환처리를 하여, 그 신호변환처리된 상기 제1 영상의 영상신호와 상기 제2 영상의 원래의 영상신호를 사이드 바이 사이드(side by side) 스테레오 영상으로 저장수단에 저장하는 처리를 수행하는 것을 특징으로 하는 사이드 바이 사이드 스테레오 영상을 촬영하기 위한 단안식 카메라가 제공된다.According to an aspect of the present invention, there is provided an image sensor comprising: a lens; an actuator for driving the lens; an image sensor for converting light of an image passed through the lens into an electric signal; A camera module having a camera module having a driver for driving the actuator, and a camera body provided with the camera module, the camera module comprising: a camera for reflecting a scene in front of the lens, A reflector for making the light incident on the light source; And a reflecting mirror holder for holding the reflecting mirror in such a manner as to be parallel to the axial direction of the lens toward a front side of the lens in a predetermined angular deviation range, The image formed on the image sensor is incident on the first half of the image sensor by being reflected by the reflector and incident on the lens and a first image directly incident on the lens without passing through the reflector, And the signal processing unit executes a predetermined application program to perform signal conversion processing for reversing the left and right sides of the first image formed at the first half of the image sensor, The processed image signal of the first image and the original image signal of the second image are side by side ide) stereo image to the storage means. The short-sighted camera for photographing a side-by-side stereo image is provided.

상기 단안식 카메라에 있어서, 상기 반사경 거치대는, 상기 반사경의 배면을 붙잡아 지지해주는 배면지지부와, 일측이 상기 배면지지부와 결합된 채 타측이 상기 카메라 본체의 일측을 붙잡아 조이는 형태로 상기 카메라 본체와 결합하는 파지부를 포함한다.In the short-sighted camera, the reflecting mirror holder may include a rear surface supporting part for holding and supporting the rear surface of the reflecting mirror, and a rear surface supporting part for holding the rear surface of the reflecting surface, As shown in Fig.

상기 카메라는 사용자가 2D 촬영모드와 3D 촬영모드 중 어느 한 가지를 선택할 수 있는 메뉴를 제공하며, 상기 3D 촬영모드가 선택된 경우에만 상기 애플리케이션 프로그램이 자동으로 실행되도록 구성된 것이 바람직하다. Preferably, the camera provides a menu for the user to select one of a 2D shooting mode and a 3D shooting mode, and the application program is automatically executed only when the 3D shooting mode is selected.

상기 애플리케이션 프로그램은, 동영상 촬영 시에, 상기 신호처리부가 초당 적어도 30 프레임의 사이드 바이 사이드(Side by side) 스테레오 동영상이 상기 저장수단에 저장될 수 있는 속도로 상기 제1 영상의 좌우를 뒤집는 신호변환처리를 실시간으로 수행하도록 구성되는 것이 바람직하다. The application program is characterized in that, at the time of capturing a moving image, a signal conversion process for reversing the left and right sides of the first image at a rate at which the signal processing unit can store at least 30 frames of side by side stereo moving pictures in the storage means, It is preferable to be configured to perform processing in real time.

또한, 상기 애플리케이션 프로그램은, 상기 이미지 센서의 세로 화소 V(i)가 n개(i=1, 2, 3, …, n)이고 가로 화소 H(j)가 m개(j=1, 2, 3, …, m)인 경우, 상기 이미지 센서의 상기 제1 절반에 위치한 화소들 V(1), V(2), V(3), …, V(n/2)의 값을 V(n/2), V((n/2)-1), …, V(2), V(1) 화소의 값으로 각각 변경시키는 처리를 H(1)부터 H(m)까지 각각의 열에 대하여 수행하는 방법으로 상기 제1 영상의 좌우를 뒤집는 신호변환처리를 수행한다. The application program may further include an application program for causing the image sensor to calculate the number of vertical pixels V (i) (n = 1, 2, 3, 3, ..., m), the pixels V (1), V (2), V (3), ... located at the first half of the image sensor , V (n / 2), V (n / 2) -1, V (n / (1), H (m), and V (2), V (2), and V (1) do.

상기 반사경은 상기 렌즈의 축방향과 ±5°의 각도편차범위 내로 거치되는 것이 바람직하다. It is preferable that the reflector is mounted within an angle deviation range of +/- 5 degrees with the axial direction of the lens.

반사영상이 직사각형 모양의 이미지센서의 절반을 채우도록 하기 위해, 상기 반사경은 상부 모서리와 하부 모서리가 직선형인 것이 바람직하다. In order to allow the reflection image to fill half of the image sensor of the rectangular shape, it is preferable that the upper and lower corners of the reflector are linear.

본 발명이 적용될 수 있는 카메라는 애플리케이션 프로그램을 실행할 수 있는 전자식 카메라라면 어떤 것이든 가능하다. 일 예로, 상기 카메라는, 상기 카메라 본체가 스마트폰 본체이고 상기 카메라 모듈이 상기 스마트폰 본체에 장착된 카메라 모듈인 스마트폰 카메라일 수 있다. A camera to which the present invention may be applied is any electronic camera capable of executing an application program. For example, the camera may be a smartphone camera in which the camera body is a smart phone body and the camera module is a camera module mounted on the smartphone body.

상기 신호처리부는, 상기 애플리케이션 프로그램을 실행하여, 상기 반사경이 정확한 위치에 설치되는 것을 돕기 위해, 상기 카메라의 디스플레이 화면을 좌우로 양분하는 가상의 분할선을 상기 카메라의 디스플레이 화면에 표시되도록 하는 것이 바람직하다.It is preferable that the signal processing unit displays a virtual split line bisecting the display screen of the camera on the display screen of the camera in order to execute the application program and help the reflector to be installed at the correct position Do.

한편, 상기와 같은 목적을 달성하기 위한 본 발명의 다른 측면에 따르면, 하나의 렌즈와, 상기 렌즈를 구동하는 액추에이터, 상기 렌즈를 통과한 영상의 빛을 전기신호로 변환하는 이미지센서, 상기 이미지센서로부터 영상신호를 읽어 와서 소정의 처리를 하는 신호처리부, 그리고 상기 액추에이터를 구동하는 드라이버를 갖는 카메라 모듈과, 상기 카메라 모듈이 설치된 카메라 본체를 포함하는 단안식 카메라를 사용하여 사이드 바이 사이드 스테레오 영상을 촬영하는 방법으로서, 반사경을 상기 카메라 모듈 옆에서 상기 렌즈의 전방을 향하여 상기 렌즈의 축방향과 소정의 각도편차범위 내에서 나란하게 기립하는 형태로 설치하여, 상기 이미지센서에 맺히는 영상이, 상기 반사경에서 반사되어 상기 렌즈로 입사하여 상기 이미지센서의 제1 절반에 맺히는 제1 영상과, 상기 반사경을 통하지 않고 상기 렌즈에 직접 입사하여 상기 이미지센서의 나머지 제2절반에 맺히는 제2영상으로 구성되도록 하는 단계; 및 상기 신호처리부가, 소정의 애플리케이션 프로그램을 실행하여, 상기 이미지센서의 제1절반에 맺히는 상기 제1 영상의 좌우를 뒤집는 신호변환처리를 하여, 그 신호변환처리된 상기 제1 영상의 영상신호와 상기 제2 영상의 원래의 영상신호를 사이드 바이 사이드(side by side) 스테레오 영상으로 저장수단에 저장하는 처리를 수행하는 단계를 구비하는 것을 특징으로 하는 사이드 바이 사이드 스테레오 영상 촬영 방법이 제공된다.According to another aspect of the present invention, there is provided an image sensor comprising: a lens; an actuator for driving the lens; an image sensor for converting light of an image passed through the lens into an electrical signal; By-side stereo image using a short-range camera including a camera module having a driver for driving the actuator and a camera body having the camera module, and a signal processor for reading a video signal from the camera module and performing a predetermined process. Wherein a reflecting mirror is provided in such a manner that the reflecting mirror is arranged to be parallel to the axial direction of the lens toward the front of the lens next to the camera module and within a predetermined angular deviation range, And is incident on the lens to be reflected on the first half of the image sensor And a second image directly incident on the lens without passing through the reflecting mirror to be formed on the remaining second half of the image sensor; And the signal processing unit executes a predetermined application program to perform a signal conversion process of inverting the left and right sides of the first image formed on the first half of the image sensor to convert the video signal of the first video signal, And performing a process of storing the original image signal of the second image as a side by side stereo image in the storage means.

상기 애플리케이션 프로그램에 의한 상기 제1 영상의 좌우를 뒤집는 신호변환처리는, 상기 이미지 센서의 세로 화소 V(i)가 n개(i=1, 2, 3, …, n)이고 가로 화소 H(j)가 m개(j=1, 2, 3, …, m)인 경우, 상기 이미지 센서의 상기 제1 절반에 위치한 화소들 V(1), V(2), V(3), …, V(n/2)의 값을 V(n/2), V((n/2)-1), …, V(2), V(1) 화소의 값으로 각각 변경시키는 처리를 H(1)부터 H(m)까지 각각의 열에 대하여 수행하는 방법으로 이루어질 수 있다. (I = 1, 2, 3, ..., n) and the horizontal pixel H (j) is a vertical pixel of the image sensor, V (1), V (2), V (3), ... located at the first half of the image sensor are m (j = 1, 2, , V (n / 2), V (n / 2) -1, V (n / , V (2), and V (1), respectively, for each column from H (1) to H (m).

상기 사이드 바이 사이드 스테레오 영상 촬영 방법은, 2D 촬영모드와 3D 촬영모드 중 어느 한 가지를 선택할 수 있는 사용자 메뉴를 제공하여, 상기 3D 촬영모드가 선택된 경우에만 상기 애플리케이션 프로그램을 자동으로 실행하는 단계를 더 구비하는 것이 바람직하다. The side by side stereo image photographing method may further include the step of automatically executing the application program only when the 3D photographing mode is selected by providing a user menu for selecting any one of the 2D photographing mode and the 3D photographing mode .

상기 애플리케이션 프로그램은, 동영상 촬영 시에, 상기 신호처리부가 초당 적어도 30 프레임의 사이드 바이 사이드(Side by side) 스테레오 동영상이 상기 저장수단에 저장될 수 있는 속도로 상기 제1 영상의 좌우를 뒤집는 신호변환처리를 실시간으로 수행하도록 구성된 것이 바람직하다. The application program is characterized in that, at the time of capturing a moving image, a signal conversion process for reversing the left and right sides of the first image at a rate at which the signal processing unit can store at least 30 frames of side by side stereo moving pictures in the storage means, It is preferable to perform processing in real time.

상기 반사경이 정확한 위치에 설치되는 것을 돕기 위해, 상기 카메라 모듈은 상기 카메라의 디스플레이 화면을 좌우로 양분하는 가상의 분할선을 상기 디스플레이 화면에 표시되도록 하는 단계를 더 구비하는 것이 바람직하다. The camera module may further include a virtual splitting line dividing the display screen of the camera into two parts to facilitate installation of the reflecting mirror at a correct position on the display screen.

본 발명에 의하면, 기존의 하나로 이루어져 있는 스마트폰 또는 소형 카메라 렌즈에 간단한 반사경을 부착하고, 그 반사경을 통해 반사되어 촬영된 좌우 뒤집힌 영상을 소프트웨어를 사용하여 원래대로 복구함으로써 3D 입체영상으로 감상할 수 있는 사이드 바이 사이드 형태의 스테레오 영상을 촬영할 수 있다.According to the present invention, it is possible to attach a simple reflector to a smart phone or a small camera lens which is composed of an existing one, and to reproduce the left and right inverted images reflected through the reflector, Side-by-side stereo image.

두 개의 렌즈를 갖는 스테레오 카메라를 사용하지 않고, 하나의 렌즈만 있는 단안 카메라를 이용하여 3D 입체영상을 촬영할 수 있으므로, 3D 영상을 촬영하는 데 드는 비용을 현저히 낮출 수 있다. 3D stereoscopic images can be taken using a monocular camera having only one lens without using a stereo camera having two lenses, so that it is possible to significantly reduce the cost of shooting a 3D image.

특히, 사람들이 대부분 보유하고 있는 스마트폰 카메라에 간편하게 적용될 수 있으므로, 스테레오 영상 콘텐츠의 생성이 매우 활발하게 이루어질 것으로 기대된다. In particular, since it can be easily applied to a smartphone camera that most people have, it is expected that the generation of stereo image contents will be very active.

또한, 3D 영상으로 촬영할지 아니면 2차원(2-Dimensional: 2D) 영상으로 촬영할지 여부는 사용자가 선택할 수 있다. 반사경이 착탈식인데다가, 좌우 뒤집힘 복원용 프로그램의 실행 여부도 선택할 수 있다. 반사경의 설치 여부와 좌우 뒤집힘 복원용 프로그램의 실행은 사용자가 선택할 수 있는 사항이므로, 사용자들은 자신의 단안식 카메라를 가지고 필요한 경우에만 3D 입체영상을 촬영하고 필요 없는 경우에는 그냥 2D 영상을 촬영하는 것을 선택할 수 있는 편리함도 있다. 즉, 단안식 카메라로 필요에 따라 2D 영상을 촬영할 수도 있고 3D 영상을 촬영할 수도 있다.In addition, the user can select whether to take a 3D image or a 2-dimensional (2D) image. It is also possible to select whether the reflector is detachable and whether or not the program for restoring the left and right reversing is executed. Since the reflector is installed and the program for restoring the left and right reversing is user-selectable, users can take 3D stereoscopic images only when necessary with their single-use camera and shoot 2D images if not necessary There is also convenience to choose. In other words, it is possible to shoot a 2D image or a 3D image as needed with a single-lens camera.

도 1과 도 2는 본 발명에 따른 단안식 입체영상 촬영용 카메라의 반사경 조립 전의 상태와 반사경 조립 후의 상태를 각각 나타낸다.
도 3은 통상적인 카메라 모듈의 구성을 도시한 블록도이다.
도 4는 본 발명에 따른 단안식 입체영상 촬영용 카메라의 촬영 원리를 설명하기 위한 단면도이다.
도 5는 반사경에 의해 좌우가 뒤집힌 영상의 원상복구용 애플리케이션 프로그램의 실행 순서를 나타낸 흐름도이다.
도 6의 (a)는 반사경에 의해 좌우가 뒤집힌 반사영상과 정상적인 무반사 영상, (b)는 (a)의 반사영상을 좌우를 뒤집어 원래대로 복구한 영상과 무반사 영상, (c)는 (b)의 두 영상을 합친 영상을 각각 개념적으로 도시한 것이다.
도 7은 반사경을 스마트폰 카메라에 장착하여 실제로 촬영한 영상으로서, (a)는 반사경에 의해 좌우가 뒤집힌 반사영상과 정상적인 무반사 영상이 사이드 바이 사이드 형태로 디스플레이된 것이고, (b)는 (a)의 반사영상을 좌우를 뒤집어 원래대로 복구한 영상과 무반사 영상이 사이드 바이 사이드 형태로 디스플레이된 것이다.
도 8의 (a)와 (b)는 2D 촬영모드와 3D 촬영모드로 각각 촬영한 예를 나타낸다. Figs. 1 and 2 show the state before assembling the reflector and the state after assembling the reflector, respectively, of the camera for taking a single-shot stereoscopic image according to the present invention.
3 is a block diagram showing the configuration of a conventional camera module.
4 is a cross-sectional view illustrating a principle of photographing a camera for taking a single-frame stereoscopic image according to the present invention.
5 is a flowchart showing an execution procedure of the application program for restoring the image of the left and right inverted images by the reflector.
6 (a) shows a reflection image inverted horizontally by a reflector and a normal non-reflection image, FIG. 6 (b) Respectively. In FIG.
(A) is a side-by-side view of a reflection image inverted horizontally by a reflector and (b) a normal anti-reflection image, and FIG. 7 The left side and the right side of the reflection image are reversed and the original image and the non-reflection image are displayed side by side.
Figs. 8A and 8B show an example of shooting in the 2D shooting mode and the 3D shooting mode, respectively.

이하에서는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 관해 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.

1. 본 발명에 따른 장치(10)의 구성1. Configuration of the device 10 according to the invention

도 1과 도 2는 본 발명에 따른 단안식 입체영상 촬영용 카메라(10)의 반사경 조립 전의 상태와 반사경 조립 후의 상태를 각각 나타낸다. 이 카메라(10)는 크게 카메라 모듈(40)과, 그 카메라 모듈(40)이 설치되는 카메라 본체(45)와, 카메라 모듈(40)의 렌즈(42) 근처에 기립된 형태로 거치되는 반사경(20), 그리고 그 반사경(20)을 카메라 본체(30)에 거치시켜주는 거치대(30)를 포함한다.Figs. 1 and 2 show a state before assembling the reflector and a state after assembling the reflector, respectively, of the camera 10 for taking a single-frame stereoscopic image according to the present invention. The camera 10 mainly includes a camera module 40, a camera body 45 in which the camera module 40 is installed, a reflector (not shown) mounted in a standing manner near the lens 42 of the camera module 40 20, and a holder 30 for holding the reflector 20 on the camera body 30.

카메라 모듈(40)은 그 구성 예가 도 3에 도시되어 있는데, 한 개의 렌즈를 채용한 통상적인 것을 사용하면 된다. 카메라 모듈(40)은 렌즈 모듈을 포함한다. 이 렌즈 모듈은 영상의 빛을 모아주는 렌즈(42)와 후술하는 이미지 센서(46)와 렌즈(42)의 광축을 정렬해주는 홀더(43)로 구성된다. 카메라 모듈(40)은 또한 전기에너지를 변환하여 얻은 구동력을 이용하여 렌즈모듈을 원하는 방향으로 구동시켜 카메라의 초점을 제어하는 액추에이터(44)와 이에 구동제어신호를 제공하는 드라이버(45), 렌즈를 통해 들어온 영상(빛)을 전기적 신호로 변환해주는 이미지 센서(주로 CCD 또는 CMOS 어레이로 구성할 수 있음)(46), 그 이미지 센서(46)가 생성하는 이미지 신호를 처리하는 신호처리부(48), 그리고 이들 부품들(42, 43, 45, 46, 48) 등이 장착되고 그 이미지 센서(46)의 전기적 신호가 신호처리부(48)로 전달되게 하는 등, 이들 소자들의 신호를 입출력할 수 있는 통로 역할을 해주는 인쇄회로기판(PCB)(49)을 더 포함한다. An example of the configuration of the camera module 40 is shown in Fig. 3, but a conventional one employing one lens may be used. The camera module 40 includes a lens module. The lens module includes a lens 42 for collecting light of an image, a holder 43 for aligning the optical axis of the lens 42 with an image sensor 46 to be described later. The camera module 40 further includes an actuator 44 for driving the lens module in a desired direction using the driving force obtained by converting electric energy to control the focus of the camera, a driver 45 for providing a driving control signal thereto, An image sensor 46 (which may be mainly constituted by a CCD or a CMOS array) for converting an image (light) input through the image sensor 46 into an electrical signal, a signal processing unit 48 for processing an image signal generated by the image sensor 46, And an electric signal of the image sensor 46 is transmitted to the signal processing unit 48. The electric signal of the image sensor 46 is transmitted to the signal processing unit 48 through a path for inputting and outputting the signals of these components 42, 43, 45, 46, 48, And a printed circuit board (PCB)

신호처리부(48)는 이미지 센서(46)를 통해 얻는 영상신호의 처리를 수행한다. 본 발명과 관련하여 특징적인 점은 신호처리부(48)가 소정의 애플리케이션 프로그램(50)을 실행하여 신호처리를 하는 점이다. 그 애플리케이션 프로그램(50)은 반사경(20)을 통해 반사되어 좌우가 뒤집혀 이미지 센서(46)의 좌반면에 맺히는 영상신호(도 6의 (a)의 좌측 영상(65) 참조)를 다시 좌우를 뒤집어 원래의 정상적인 영상(도 6의 (a)의 좌측 영상(65') 참조)으로 변환하여 실상과 같아지도록 하는 좌우 뒤집음 처리 기능을 갖는다. 그 좌우 뒤집음 처리된 영상(65')과 이미지 센서(46)의 우반면에 맺힌 정상적인 영상(도 6의 (a)와 (b)의 우측 영상(60) 참조)을 사이드 바이 사이드 형태의 이미지(정지 화상)나 프레임(동화상)으로 구성하여 메모리에 저장되게 한다. 이 좌측 영상(65')과 우측 영상(65)이 서로 간에 약간의 각도 차이를 가지면서 사이드 바이 사이드 형태로 디스플레이 되면, 그것을 좌우의 눈으로 각각 보는 사람의 뇌에는 그 두 영상이 합성되어 입체적인 영상으로 인식된다. The signal processing unit 48 performs processing of a video signal obtained through the image sensor 46. The feature of the present invention is that the signal processing unit 48 executes a predetermined application program 50 to perform signal processing. The application program 50 is reflected by the reflecting mirror 20 and reversed left and right to turn the image signal 46 (see the left image 65 of FIG. 6 (a)) on the left hand side of the image sensor 46 (See the left-side image 65 'of FIG. 6 (a)) so as to become the same as the actual image. (See the right image 60 of FIGS. 6 (a) and 6 (b)) formed on the right side of the left-right reversed tone image 65 'and the image sensor 46 is referred to as a side- (Still image) or a frame (moving image) and stored in the memory. When the left side image 65 'and the right side image 65 are displayed in a side-by-side form with slight angular difference from each other, the two images are synthesized in the brain of a person who views the left side image 65' .

카메라 본체(45)는 카메라 모듈(40)이 설치되는 것이면 어떤 것이든 무방하다. 예컨대 디지털 카메라의 본체 또는 카메라가 장착된 스마트폰 또는 휴대폰 본체가 이의 예가 될 수 있다. 이하에서는 카메라 장착된 스마트폰을 예로 하여 설명하기로 한다.The camera main body 45 may be of any type provided that the camera module 40 is installed. For example, a smart phone or a cellular phone main body equipped with a digital camera or a camera may be an example thereof. Hereinafter, a smartphone equipped with a camera will be described as an example.

반사경(20)은 렌즈(42) 바로 옆에(이하의 설명에서는 렌즈(42)의 좌측 옆에) 렌즈(42)의 축방향에 평행하게 기립되게 설치된다. 반사경(20)은 카메라(10)의 우측 전방의 장면을 렌즈(42) 쪽으로 반사하여 입사되도록 해준다(도 4 참조). 반사경(20)에서 반사되어 렌즈(42)로 들어가는 영상 즉, '반사영상'(도 4에서 2점 쇄선으로 표시된 부분)은 좌우가 뒤집힌 영상이다. The reflecting mirror 20 is provided so as to stand parallel to the axial direction of the lens 42 immediately next to the lens 42 (on the left side of the lens 42 in the following description). The reflector 20 reflects the scene on the right front side of the camera 10 toward the lens 42 to be incident thereon (see FIG. 4). An image reflected by the reflecting mirror 20 and entering the lens 42, that is, a 'reflection image' (a portion indicated by a two-dot chain line in FIG. 4) is a left-right inverted image.

반사경(20)의 모양과 크기는 반사영상이 카메라(10)의 디스플레이(55)의 절반(이미지센서(46)의 절반에 상당함. 왜냐하면 보통 카메라의 디스플레이의 화소수는 이미지센서(46)의 화소수와 동일하므로, 디스플레이의 크기는 이미지센서(46)의 크기와 개념적으로는 동일하다고 볼 수 있기 때문)을 차지하도록 정할 필요가 있다. 그러므로 반사경(20)의 모양은 사각형이 바람직하다. 하지만 사각형으로만 국한되는 것은 아니다. 디스플레이(55) 화면의 절반 달리 말하면, 직사각형 모양의 이미지센서(46)의 절반을 차지하는 반사영상을 생성할 수 있는 모양이라면 어떤 것이라도 무방하다. 예컨대 사다리꼴, 오각형 이상의 다각형, 또는 상부 및 하부 모서리는 직선형이고 좌우측 모서리는 비직선형인 모양 등 다양한 모양이 가능하다. 예컨대 사각형 반사경(20)의 경우, 디스플레이(55)의 절반을 차지하는 정도의 크기로 만들면 된다. 즉, 사각형 반사경(20)의 가로(x)의 크기는 카메라(10) 디스플레이(55)의 가로(a)의 크기와 대략 같게 하되, 반사경(20)의 세로(y) 크기는 디스플레이(55)의 세로(b)의 크기의 대략 절반 정도로 정하면 될 것이다. 다만 반사경(20)의 사이즈는 렌즈(42)의 굴절률에도 영향을 받기 때문에 이 기준이 엄격하게 적용되지는 않을 수도 있다.The shape and size of the reflector 20 is such that the reflected image is half of the display 55 of the camera 10 (half of the image sensor 46 because the number of pixels in the display of the camera is typically less than that of the image sensor 46) Since the size of the display is conceptually the same as the size of the image sensor 46). Therefore, the shape of the reflecting mirror 20 is preferably rectangular. However, it is not limited to rectangles. In other words, any shape may be used as long as it can generate a reflection image occupying half of the rectangular image sensor 46, in other words, half of the screen of the display 55. For example, a trapezoid, a polygon having a pentagon or more, or a shape in which the upper and lower edges are straight and the left and right edges are non-straight. For example, in the case of the rectangular reflector 20, it may be sized to occupy half of the display 55. That is, the size of the lateral (x) of the rectangular reflector 20 is approximately equal to the size of the lateral (a) of the camera 10 display 55, About half the size of the longitudinal dimension (b). However, since the size of the reflector 20 is also influenced by the refractive index of the lens 42, this criterion may not be strictly applied.

반사경(20)은 렌즈(42)와 대략 수직되게 즉, 렌즈(42)의 축방향과 평행하게 기립(즉, 직립)하도록 설치되는 것이 바람직하다. 다만, 반드시 직각으로 기립될 필요는 없고 대략 ±5°정도의 편차는 가질 수 있다. 반사경(20)의 기립방향이 각도편차범위를 벗어나면, 반사영상과 비반사영상이 지나치게 큰 뷰포인트각의 차이를 보여 3차원 입체영상의 화질이 나빠지게 된다. 반사경(20)은 또한 렌즈(42)와 근접하게 설치되어야 한다. 스마트폰 카메라의 경우 대략 렌즈(42)의 중심에서 4~7mm 정도 떨어진 위치에 반사경(20)이 설치되면 된다.It is preferable that the reflector 20 is installed so as to be substantially perpendicular to the lens 42, that is, to stand parallel to the axial direction of the lens 42 (i.e., upright). However, it is not necessarily required to stand at a right angle, but it may have a deviation of about ± 5 °. If the rising direction of the reflecting mirror 20 deviates from the angle deviation range, the reflected image and the non-reflecting image show a large difference in viewing angle, resulting in poor image quality of the three-dimensional stereoscopic image. The reflector 20 should also be placed close to the lens 42. In the case of a smartphone camera, the reflector 20 may be installed at a position approximately 4 to 7 mm away from the center of the lens 42.

반사경(20)의 설치는 카메라(10)의 디스플레이(55)를 보면서 하면 된다. 즉, 사용자는 반사경(20)에 의한 반사영상이 디스플레이(55)의 한쪽 절반을 차지하도록 반사경(20)의 설치 위치를 조정하면 된다. 반사경(20)의 설치 위치 조정이 편리하도록 하기 위해, 사용자가 3D모드 촬영을 선택하여 애플리케이션 프로그램(50)이 구동되면, 그 애플리케이션 프로그램(50)은 디스플레이(55)를 좌우로 양분하는 가상의 분할선(57)이 표시되도록 하는 기능을 작동시켜 사용자의 반사경(20) 설치를 돕도록 하는 것이 바람직하다. 반사경(20) 설치가 완료되면 그 분할선(57)은 사라지도록 하면 될 것이다.The reflection mirror 20 may be installed while viewing the display 55 of the camera 10. [ That is, the user may adjust the installation position of the reflector 20 so that the reflection image by the reflector 20 occupies one half of the display 55. [ When the user selects the 3D mode shooting so that the installation position of the reflector 20 can be adjusted easily, and the application program 50 is driven, the application program 50 performs a virtual division It is desirable to activate the function of displaying the line 57 to help the user install the reflecting mirror 20. [ When the installation of the reflector 20 is completed, the dividing line 57 may be made to disappear.

거치대(30)는 반사경(20)을 카메라 모듈(40) 옆에 기립하여 거치되도록 잡아준다. 일 구성예에 따르면, 거치대(30)는 반사경(20)의 배면에 접합된 지지판(32)과, 일측이 그 지지판(32)과 결합되고 타측은 카메라 본체(45)의 가장자리 부분을 붙잡아 결합되는 홀더부(34)를 포함한다. 지지판(32)의 저면과 홀더부(34) 사이에 카메라 본체(45)의 가장자리 부분이 끼인 채 홀더부(34)가 갖는 탄성력에 의해 붙잡히게 되어, 거치대(30)가 카메라 본체(45)에 고정된다. 거치대는 강도와 탄성을 동시에 만족하는 플라스틱 사출물로 만들 수 있다. 홀더부(34)는 지지판(32)의 저면과 함께 집게 내지 클립 역할을 하도록 파지력이 좋게 만든다(예컨대 홀더부(34) 단부에 돌출부를 형성하거나 파지력이 좋은 고무 또는 우레탄 패드를 덧대는 형태로 만듦). 홀더부(34)가 탄성이 가지므로 카메라 본체(45)의 다양한 두께 사이즈에 탄력적으로 대응하는 것이 가능하다. 도면에서는 홀더부(34)를 하나만 도시하였지만 안정된 파지력을 얻기 위해 복수 개의 홀더부(34)를 마련하는 것도 바람직할 것이다.The holder 30 holds the reflector 20 so as to stand on the side of the camera module 40 to be mounted thereon. According to one configuration example, the holder 30 includes a support plate 32 bonded to the back surface of the reflector 20, one side of which is coupled to the support plate 32, and the other side of which is held by the edge portion of the camera body 45 And includes a holder portion 34. The edge portion of the camera body 45 is caught between the bottom surface of the support plate 32 and the holder portion 34 and held by the elastic force of the holder portion 34, . The holder can be made of a plastic injection molded article which satisfies both strength and elasticity. The holder portion 34 makes gripping force to act as a grip or clip together with the bottom surface of the support plate 32 (for example, a protrusion is formed at the end of the holder portion 34 or a rubber or urethane pad ). Since the holder portion 34 has elasticity, it is possible to flexibly cope with various thicknesses of the camera body 45. [ Although only one holder portion 34 is shown in the drawing, it is also preferable to provide a plurality of holder portions 34 to obtain a stable gripping force.

거치대(30)의 다른 구성 예로는, 카메라 본체(45)에 부착된 베이스부와, 그 베이스부에서 렌즈(42)의 축방향으로 직립한 직립부를 포함할 수 있다. 반사경(20)은 그 직립부 표면에 부착되어 렌즈(42)의 축방향과 평행하게 기립된다.
Another configuration example of the mount 30 may include a base portion attached to the camera body 45 and an upright portion erected in the axial direction of the lens 42 in the base portion. The reflector 20 is attached to the surface of the upright portion and stands up parallel to the axial direction of the lens 42. [

2. 스테레오 영상을 얻기 위한 영상신호 처리2. Video signal processing to obtain stereo image

본 발명을 실시하기 위해서는 이미지 센서에 맺히는 영상 신호를 처리하는 애플리케이션이 필요하다. 도 4는 반사경(20)이 장착된 카메라(10)로 영상을 촬영할 때, 카메라 모듈(40)의 전방에 있는 물체가 촬영되는 원리를 보여준다. 반사경(20)이 장착되지 않은 경우, 렌즈(42)로 들어오는 전방의 장면은 렌즈(42)의 전방의 축 방향을 기준으로 좌우로 소정 각도범위 안에 드는 장면이다. 하지만 도 4처럼 렌즈(42) 옆에 반사경(20)이 설치된 경우, 좌측 전방의 장면은 반사경(20)에 가려져 렌즈(42)로 들어올 수 없고, 우측 전방의 장면만이 렌즈(42)로 직접 들어옴과 동시에 반사경(20)에 의해 반사되어 들어온다. 즉, 렌즈(42)로 들어오는 장면은 카메라(10)의 우측 전방의 장면으로서 두 가지 영상으로서, 한 가지는 반사경(20)에서 반사되어 들어오는 '반사 영상'이고, 나머지 한 가지는 반사경(20)을 거치지 않고 직접 들어오는 '무반사 영상'이다. 반사 영상의 커버리지(R₁-R₂)와 무반사 영상의 커버리지(D₁-D₂)는 완전히 동일하지 않고 뷰포인트에 있어서 약간의 편차를 가진다. 따라서 렌즈(42)를 통해 이미지 센서(46)에 맺히는 영상은 서로 다른 각도에서 잡은 두개의 영상이 이미지 센서(46)의 좌우에 사이드 바이 사이드 형태로 존재하게 된다. In order to implement the present invention, an application for processing a video signal to be formed on an image sensor is required. FIG. 4 shows a principle in which an object in front of the camera module 40 is photographed when an image is captured by the camera 10 equipped with the reflector 20. FIG. In the case where the reflector 20 is not mounted, the scene ahead of the lens 42 is shot in a predetermined angle range from the left to the right with respect to the axial direction of the lens 42 in front. However, when the reflector 20 is provided beside the lens 42 as shown in FIG. 4, the scene on the left front can not be shielded by the reflector 20 and can not enter the lens 42, And reflected by the reflector 20 at the same time. That is, a scene coming into the lens 42 is a scene on the right front side of the camera 10, two images, one being a 'reflection image' reflected by the reflector 20 and the other being a reflector 20 It is an 'anti-reflection image' that comes directly. The coverage (R ₁ -R ₂ ) of the reflection image and the coverage (D ₁ -D ₂ ) of the non-reflection image are not completely identical but have slight variations in the viewpoint. Therefore, two images captured at different angles exist in side-by-side form on the left and right sides of the image sensor 46 through the lens 42.

이미지 센서(46)의 좌측 부분에 맺히는 반사 영상은 반사경에 의하여 좌우가 뒤집혀진 상태로 들어온 영상이며(거울을 통해 어떤 물체를 볼 때 좌우가 뒤바뀌어 보이는 것과 같은 이치임), 우측 부분에 맺히는 무반사 영상은 실제로 보이는 대로 나타나는 영상이다. 그 반사 영상은 애플리케이션 프로그램(50)을 이용하여 좌우 뒤집기를 실시간으로 수행하여 반사경(20)을 거치지 않은 영상처럼 변환한다. 그런 변환처리를 하게 되면 이미지 센서(46)의 좌측 절반과 우측 절반에 동시에 서로 약간의 각도 차이를 갖는 두 영상이 나란히(즉, 사이드 바이 사이드 형태로) 맺힌 것과 같은 결과가 된다(도 7의 (b) 참조). 이 두 영상은 쌍을 이루어 영상메모리에 저장된다. 그리고 이 두 영상을 디스플레이(55)의 좌우 절반에 각각 디스플레이 시킨 상태에서, 사람이 좌측 눈은 좌측 영상을 보고 우측 눈은 우측 영상을 보게 해주는 별도의 입체영상 관람수단을 이용하여 그 영상을 보면 입체적으로 보이게 된다. The reflection image formed on the left side of the image sensor 46 is a mirror image inverted left and right by the reflector (the same as when the object is viewed through a mirror and the left and right sides are reversed) The video is a video that actually appears as it is seen. The reflection image is converted into an image not through the reflector 20 by performing flipping right and left in real time using the application program 50. Such a conversion process results in the two images having a slight angular difference at the same time in the left half and the right half of the image sensor 46 concurrently (that is, in a side-by-side form) b)). These two images are paired and stored in the image memory. When the two images are displayed on the right and left halves of the display 55, a person views the left image using the left eye, and the right eye uses the separate stereoscopic image viewing means to view the right image. .

도 5의 흐름도를 참조하여 이를 좀 더 자세하게 설명하기로 한다. 도 5의 흐름도는 반사경(20)에 의해 좌우가 뒤집혀진 영상을 좌우 뒤집음 처리를 하여 다시 정상적인 영상으로 원상 복구하는 애플리케이션 프로그램(50)의 신호처리 과정을 개략적으로 보여준다. 본 발명의 카메라(10)는 사진 촬영 애플리케이션을 실행하면 디스플레이 화면(55)에 사용자가 2D(모노) 촬영모드(82) 또는 3D(스테레오) 촬영모드(80) 중 어느 한 가지를 선택할 수 있는 선택권을 제공한다. 도 8의 (a)는 2D 촬영모드(82)를 선택하여 촬영한 영상이고, (b)는 3D 촬영모드(83)를 선택하여 촬영한 영상이다. 이 애플리케이션 프로그램(50)은 사용자가 2D 촬영모드(82)를 선택한 때에는 실행되지 않고 3D 촬영모드(80)인 경우에만 실행된다(S10, S12 단계). This will be described in more detail with reference to the flowchart of FIG. The flowchart of FIG. 5 schematically shows a signal processing process of the application program 50 that performs right-left reversal processing of left-and-right inverted images by the reflector 20 and restores the normal image again. The camera 10 of the present invention allows a user to select on the display screen 55 a selection of either the 2D (mono) photographing mode 82 or the 3D (stereo) photographing mode 80 . 8 (a) shows an image taken with the 2D shooting mode 82 selected, and FIG. 8 (b) shows an image shot with the 3D shooting mode 83 selected. This application program 50 is executed only when the user selects the 2D photographing mode 82 and is not in the 3D photographing mode 80 (steps S10 and S12).

3D 입체영상의 촬영 전 준비로는 3D 촬영모드(80)의 선택 외에, 반사경(20)도 설치해야 한다. 반사경(20) 설치는, 홀더부(34)와 지지판(32) 저면 사이에 카메라 본체(45)를 끼워넣어 반사경(20)에 의한 반사영상이 디스플레이(55) 화면의 절반을 차지하도록 반사경(20)의 설치 위치를 조절한다. 이 때 반사영상의 우측 경계가 가상의 분할선(57)과 일치하도록 반사경(20)을 설치하면 될 것이다. 또 다른 촬영준비로서, 사용자는 스틸컷 촬영모드(84)와 동영상 촬영모드(86) 중 한 가지를 선택한다. 3D 촬영 준비가 완료되면 사용자는 촬영버튼(88)을 눌러 촬영을 시작한다(S14 단계). In addition to the selection of the 3D photographing mode 80, the reflector 20 must also be installed in order to prepare the 3D stereoscopic image before photographing. The reflection mirror 20 is installed by sandwiching the camera body 45 between the holder 34 and the bottom surface of the support plate 32 so that the reflection image by the reflection mirror 20 occupies half of the screen of the display 55 ) Is adjusted. In this case, the reflector 20 may be installed so that the right boundary of the reflection image coincides with the imaginary dividing line 57. As another shooting preparation, the user selects one of the still-cut shooting mode 84 and the moving image shooting mode 86. [ When the preparation for 3D photographing is completed, the user presses the photographing button 88 to start photographing (step S14).

예컨대 스틸컷 촬영의 경우, 이미지 센서(46)의 좌측 절반에는 반사경(20)에 의해 좌우가 반전된 반사 영상이 맺히고 나머지 우측 절반에는 반사경(20)을 거치지 않은 정상적인 무반사 영상이 맺힌다. 이 반사 영상과 무반사 영상은 서로 약간의 뷰포인트를 달리 하면서 디스플레이(55) 화면의 좌우에 각각 디스플레이 된다. 도 7의 (a)가 그 예를 보여주는 바, 우측 영상(70)은 무반사 영상이고, 좌측 영상(75)은 반사 영상으로서 좌우가 뒤집혀져 있음을 확인할 수 있다. For example, in the case of the still-cut photographing, the left half of the image sensor 46 forms a reflection image inverted left and right by the reflector 20 and the remaining right half of the image sensor 46 forms a normal non-reflection image without passing through the reflector 20. The reflection image and the non-reflection image are respectively displayed on the left and right of the screen of the display 55 while slightly differing from each other. FIG. 7A shows an example in which the right image 70 is an anti-reflection image, and the left image 75 is a reflection image, the left and right sides are reversed.

반사 영상의 좌우를 뒤집어서 정상적인 영상으로 만드는 신호처리는 신호처리부(48)가 애플리케이션 프로그램(50)을 실행하여 수행한다. 신호처리부(48)는 이미지 센서(46)의 좌측 절반 영역에 맺힌 반사영상의 신호를 읽어와 내장 메모리에서 그 반사영상의 좌우 뒤집음 처리를 한 후, 별도의 영상 메모리에 저장한다(S16 단계). 이미지 센서(46)의 우측 절반에 맺힌 비반사영상의 신호는 아무런 처리를 하지 않고 그대로 영상 메모리에 복사한다(S18 단계).The signal processing unit 48 executes the application program 50 by executing the signal processing for reversing the left and right of the reflection image to make a normal image. The signal processing unit 48 reads the signal of the reflection image formed in the left half region of the image sensor 46 and performs the left and right reversing processing of the reflection image in the internal memory and then stores it in a separate image memory (step S16) . The signal of the non-reflection image formed on the right half of the image sensor 46 is copied to the image memory as it is without any processing (step S18).

반사영상의 좌우 뒤집음 처리는 다음과 같이 이루어진다. 신호처리부(48)는 먼저 이미지 센서(46)의 화소 수를 계산하여 내장 메모리에 기록된 영상 데이터 중에서 좌측 반에 해당하는 영상 즉, 반사영상을 잘라낸다. 그런 다음, 내장 메모리에서 그 좌측 반의 영상을 다음과 같은 방법으로 뒤집는다. 즉, 이미지 센서(46)의 세로 화소 V(i)가 n개(i=1, 2, 3, …, n) 가로 화소 H(j)가 m개(j=1, 2, 3, …, m) 있다면, 이미지 센서(46)의 좌측 절반에 위치한 화소들 V(1), V(2), V(3), …, V(n/2)은 반사영상을 구성하는 화소들이므로, 이들 화소들 V(1), V(2), V(3), …, V(n/2)의 값(내장 메모리에 저장된 데이터임)을 V(n/2), V((n/2)-1), …, V(2), V(1) 화소의 값으로 변경시켜 영상 메모리에 저장한다. 이에 의해 좌우 뒤집음 처리가 이루어졌다. 또한, 이미지 센서(46)의 나머지 우측 절반에 위치하는 화소들 V((n/2)+1), …, V(n)의 값(내장 메모리에 저장된 데이터임)은 비반사영상을 구성하는 화소들이므로 원래 값 그대로 영상 메모리에 저장한다. 이와 같은 처리를 H(1) 부터 H(m)까지 각각의 열에 대하여 수행하여 이미지센서(46)의 전체 화소에 대해 좌우 뒤집음 처리를 행한다. 예컨대, 신호처리부(48)는 이미지 센서(46)로부터 내장 메모리로 전달된 픽셀 데이터가 1280x720개 이었다면 1280개의 반인 좌측의 640개 픽셀의 데이터를 그 내장 메모리에서 좌우 뒤집음 처리를 한 후 영상 메모리에 저장한다. 우측의 640개 픽셀의 데이터는 그대로 영상 메모리에 복사한다. 이와 같은 처리가 모두 끝나면, 이미지 센서(46)의 좌측 절반 화소들의 데이터는 모두 좌우의 자리바꿈을 한 데이터로 된다. The left and right reversed sound processing of the reflection image is performed as follows. The signal processing unit 48 first calculates the number of pixels of the image sensor 46 and cuts out the image corresponding to the left half of the image data recorded in the built-in memory, that is, the reflection image. Then, in the internal memory, turn the image of the left half in the following way. That is, when the vertical pixels V (i) of the image sensor 46 are m (j = 1, 2, 3, ..., m), the pixels V (1), V (2), V (3), ... located at the left half of the image sensor 46 , V (2), V (3), and V (n) are the pixels constituting the reflection image. , V (n / 2) -1, V (n / 2) (data stored in the internal memory) , V (2), and V (1) pixels and stores them in the image memory. As a result, the left and right reversed sound processing was performed. Further, the pixels V ((n / 2) +1), ... located at the remaining right half of the image sensor 46, , And V (n) (data stored in the internal memory) are stored in the image memory as they are, since they are the pixels constituting the non-reflection image. This process is performed for each column from H (1) to H (m), and left and right reversing processing is performed on all the pixels of the image sensor 46. [ For example, if the pixel data transmitted from the image sensor 46 to the internal memory is 1280x720, the signal processing unit 48 performs a left-to-right reversal process on the data of 640 pixels on the left side of the 1280 half- . The data of 640 pixels on the right side is copied into the image memory as it is. When the above process is completed, the data of the pixels on the left half of the image sensor 46 are all left-justified data.

이렇게 반사영상에 대해 좌우 뒤집음 처리를 하고 난 후, 그 반사영상과 비반사영상을 카메라(10)의 디스플레이(55) 화면에 표시한다(S20 단계). 도 7의 (b)는 이러한 좌우 뒤집음 처리를 한 후의 비반사영상(70)과 반사영상(75')이 카메라(10)의 디스플레이(55) 화면의 우측 및 좌측 절반에 사이드 바이 사이드 형태로 표시된 예를 보여준다. 이 두 영상은 서로 뷰포인트각이 약간 차이가 있다. 이 두 영상을 아래위로 포개보면 그 뷰포인트각의 차이로 인해 약간 흐리게 보인다.After the left and right reversed sound processing is performed on the reflection image, the reflection image and the non-reflection image are displayed on the screen of the display 55 of the camera 10 (step S20). 7B shows a case where the non-reflection image 70 and the reflection image 75 'after the left-right reversal processing is performed on the right and left halves of the screen of the display 55 of the camera 10 in a side- The example shown is shown. These two images have slightly different viewpoint angles. If you put these two images over the top, it looks a bit blurry due to the difference in viewpoint angle.

동영상 촬영의 경우, 매 프레임마다 반사영상의 좌우 뒤집기 처리를 한 다음 무반사영상과 사이드 바이 사이드 형태로 배치되게 영상 메모리에 저장하면 된다.In the case of moving picture shooting, the reflection image is subjected to the flipping processing for each frame every frame, and then stored in the image memory so as to be disposed side by side with the anti-reflection image.

촬영이 종료되면(S22 단계), 스틸 사진인 경우 영상 메모리의 RGB 데이터를 JPG 파일 형식으로 별도의 저장공간(예: SD 카드)에 저장하고, 동영상의 경우는 MP4 파일 형식으로 초당 30 프레임을 영상 메모리에 저장하였다가 레코딩이 끝났다는 신호가 들어오면 파일 형식으로 별도의 저장 공간(예: SD 카드)에 저장한다(S24 단계). 동영상의 경우는 좌우 뒤집기 처리된 반사영상과 무반사영상이 한 프레임의 좌측 절반과 우측 절반을 차지하도록 조합하여 사이드 바이 사이드 스테레오 영상 프레임 단위로 영상 메모리에 기록한다. 사람이 화면을 보았을 때 좌우가 스테레오 영상으로 보이도록 하기 위해서는, 이와 같은 좌측 영상의 좌우 반전 처리는 사람의 눈이 인지할 수 없는 시간(대략 1/30초) 안에 수행할 필요가 있다. 동영상을 촬영하는 때에는 초당 30 프레임의 사이드 바이 사이드 스테레오 동영상이 저장되도록 내장 메모리에서 연산을 수행한다. 그러기 위해 최소 1/40초 안에 저장되어야 하며 저장된 영상은 MP4 형태로 저장한다. When the shooting is completed (step S22), the RGB data of the image memory is stored in a separate storage space (for example, SD card) in the JPG file format for a still picture, and 30 frames per second When a signal indicating that recording is completed after storing the data in the memory is stored, the data is stored in a separate storage space (e.g., SD card) in a file format (step S24). In the case of moving images, the left and right inverted reflection images and the non-reflection images are combined to occupy the left half and the right half of one frame, and are recorded in the image memory in units of side by side stereo image frames. In order for the left and right sides to appear as a stereoscopic image when a person views the screen, it is necessary to perform such a left-right reversal processing within a time that the human eye can not recognize (approximately 1/30 second). When recording a moving picture, an operation is performed in the built-in memory so that a side-by-side stereo moving picture of 30 frames per second is stored. To do so, it should be stored in at least 1/40 second and the stored image is saved as MP4 format.

이렇게 하여 얻어진 동영상은 재생 시 매 프레임마다 사이드 바이 사이드 스테레오 영상이 화면에 디스플레이 되고(스틸컷 영상의 경우도 마찬가지임), 그 영상을 보는 사람의 좌측 눈과 우측 눈은 화면의 좌반분 영역과 우반분 영역을 각각 보도록 해주는 수단을 이용하여 그 영상을 보면, 그 사람의 뇌에서 입체영상으로 만들어져 공간의 깊이를 확실하게 느낄 수 있는 입체영상으로 인식되게 된다.The video obtained in this manner is displayed on the screen in a side-by-side stereo image every frame (also in the case of a still-cut video) at the time of reproduction, and the left eye and the right eye of the viewer of the video are divided into the left- When the image is viewed using the means for viewing the minute regions, the stereoscopic image is recognized as a stereoscopic image which can surely sense the depth of the space.

이상에서는 스마트 폰 카메라에 반사경을 적용한 경우를 예로 하여 설명하였지만, 애플리케이션 프로그램을 실행할 수 있는 기능을 가진 다른 종류의 카메라에도 본 발명이 적용될 수 있음은 물론이다.Although the case where the reflector is applied to the smartphone camera has been described above as an example, the present invention can also be applied to other types of cameras having a function of executing an application program.

이상에서는 설명한 본 발명의 내용은 본 발명의 바람직한 실시예에 불과하다. 해당 기술분야의 숙련된 당업자는 하기의 특허청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있다. 따라서 특허청구범위의 등가적인 의미나 범위에 속하는 모든 변화들은 전부 본 발명의 권리범위 안에 속함을 밝혀둔다. The present invention described above is merely a preferred embodiment of the present invention. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined in the following claims. It is therefore intended that all changes which come within the meaning and range of equivalency of the claims are intended to be embraced therein.

본 발명은 스마트폰 카메라 또는 디지털 카메라 등에 적용하여 3D 입체영상을 촬영하는 데 널리 이용될 수 있다.The present invention can be widely used for photographing a 3D stereoscopic image by applying to a smartphone camera, a digital camera, or the like.

10: 단안식 입체영상 촬영용 카메라
20: 반사경 30: 거치대
40: 카메라 모듈 45: 카메라 본체
50: 애플리케이션 프로그램 55: 디스플레이
57: 가상의 분할선10: Camera for stereoscopic image capture
20: reflector 30: cradle
40: camera module 45: camera body
50: Application program 55: Display
57: virtual splitting line

Claims

An image sensor for converting light of an image passed through the lens into an electric signal; a signal processing unit for reading a video signal from the image sensor and performing a predetermined process; 1. A short-sighted camera comprising a camera module having a driver for driving, and a camera body in which the camera module is installed,
A reflector that reflects a scene in front of the lens and causes the lens to be incident on the lens; And
Further comprising a reflecting mirror holder for holding the reflecting mirror in parallel with the camera main body so as to be parallel to the axial direction of the lens toward the front of the lens in a predetermined angular deviation range,
The image formed on the image sensor may include a first image reflected on the reflector and incident on the lens and formed on the first half of the image sensor and a second image incident directly on the lens without passing through the reflector, And a second image formed in half,
Wherein the signal processing unit executes a predetermined application program to perform a signal conversion process of inverting the left and right sides of the first image formed on the first half of the image sensor to convert the video signal of the first video signal, And a step of storing the original image signal of the second image as a side by side stereo image in the storage means.

The camera according to claim 1, wherein the reflecting mirror holder comprises: a rear surface supporting part for holding the back surface of the reflecting mirror; and a fixing part for fixing the reflecting surface of the mirror to the camera body in such a manner that one side of the reflecting surface is coupled to the rear surface supporting part, And a grip part for picking up a side-by-side stereo image.

The apparatus according to claim 1, wherein the camera provides a menu for the user to select one of a 2D shooting mode and a 3D shooting mode, and the application program is automatically executed only when the 3D shooting mode is selected Side-by-side stereo image.

2. The method of claim 1, wherein the application program is configured to cause the signal processing unit to generate, at a speed such that a side by side stereo moving picture of at least 30 frames per second can be stored in the storage means, Side stereoscopic image, wherein the signal conversion process is performed in real time.

2. The image processing apparatus according to claim 1, wherein the application program further includes: m (i = 1, 2, 3, ..., n) vertical pixels V (i) (1), V (2), V (3), ... located at the first half of the image sensor, , V (n / 2), V (n / 2) -1, V (n / (1), H (m), and V (2), V (2), and V (1) Side stereoscopic image, wherein the side-by-side stereo image is captured by the camera.

The short-sighted camera for photographing a side-by-side stereo image according to claim 1, wherein the predetermined angle deviation range is within a range of +/- 5 degrees.

The short-sighted camera for photographing a side-by-side stereo image according to claim 1, wherein the reflector has a linear shape at an upper edge and a lower edge.

[3] The apparatus as claimed in claim 1, wherein the camera is a smart phone camera, wherein the camera body is a smart phone body and the camera module is a camera module mounted on the smartphone body. Rest camera.

The image processing apparatus according to claim 1, wherein the signal processing unit is configured to execute an application program to allow a virtual split line bisecting a display screen of the camera to be installed at an accurate position, Side stereoscopic image is displayed on the display unit.

An image sensor for converting light of an image passed through the lens into an electric signal; a signal processing unit for reading a video signal from the image sensor and performing a predetermined process; A method for photographing a side by side stereo image using a short-range camera including a camera module having a driver for driving and a camera body having the camera module,
Wherein a reflecting mirror is provided in the form of rising from the side of the camera module toward the front of the lens in a direction parallel to the axial direction of the lens within a predetermined angular deviation range so that an image formed on the image sensor is reflected by the reflecting mirror, A first image formed on the first half of the image sensor and a second image incident directly on the lens without passing through the reflector and formed on the remaining second half of the image sensor; And
Wherein the signal processing unit executes a predetermined application program to perform a signal conversion process of inverting the left and right sides of the first image formed on the first half of the image sensor so that the image signal of the first image, And storing the original image signal of the second image as a side by side stereo image in the storage means.

11. The image processing method according to claim 10, wherein the signal conversion process of reversing the first image by the application program is performed on the basis of n (i = 1, 2, 3, ..., n) (1), V (2), V (1), V (2), and V (n) located at the first half of the image sensor when m 3), ... , V (n / 2), V (n / 2) -1, V (n / , V (2), and V (1), respectively, for each column from H (1) to H (m).

The method according to claim 10, further comprising the step of automatically providing the application program only when the 3D photographing mode is selected, by providing a user menu for selecting any one of the 2D photographing mode and the 3D photographing mode Side stereoscopic image pickup method.

11. The method of claim 10, wherein the application program is configured to cause the signal processing unit to generate, at a speed such that a side by side stereo moving picture of at least 30 frames per second can be stored in the storage means, Side stereoscopic image pickup means for performing a signal conversion process for reversing the left and right sides of the image signal in real time.

11. The method of claim 10, further comprising the step of causing the camera module to display a virtual split line bisecting the display screen of the camera on the display screen to help install the reflector in the correct position A side by side stereo imaging method characterized.