KR100747733B1 - Parallel Axis 3D Camera and Formation Method of 3D Image - Google Patents
Parallel Axis 3D Camera and Formation Method of 3D Image Download PDFInfo
- Publication number
- KR100747733B1 KR100747733B1 KR1020050076251A KR20050076251A KR100747733B1 KR 100747733 B1 KR100747733 B1 KR 100747733B1 KR 1020050076251 A KR1020050076251 A KR 1020050076251A KR 20050076251 A KR20050076251 A KR 20050076251A KR 100747733 B1 KR100747733 B1 KR 100747733B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- stereoscopic
- camera
- viewing angle
- stereoscopic camera
- Prior art date
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
본 발명은 주시각 제어가 가능한 평행축 입체 카메라 및 입체영상 생성방법에 관한 것으로, 특히 상기 평행축 입체 카메라의 영상센서를 렌즈의 광축으로부터 좌우측 수평방향으로 특정 거리만큼 대칭 이동시켜 배치하여 별도의 주시각 제어 없이도 근거리 주시각 포인트와 넓은 주시각 범위를 갖도록 하고, 디지털 이미지 신호처리에 의한 지정영역 추출방식을 활용하여 피사체의 거리에 따른 시차보정이 가능한 전자적 주시각 제어수단을 구비함으로써 근거리 입체관측에 유리하고, 주시각 제어가 가능한 소형 입체 카메라를 제공한다. The present invention relates to a parallel axis stereoscopic camera and a stereoscopic image generating method capable of controlling the viewing angle, and in particular, the image sensor of the parallel axis stereoscopic camera is symmetrically moved in a horizontal direction from the optical axis of the lens by a predetermined distance and is disposed separately. It has a near-perspective point of view and a wide range of viewing angle without visual control, and an electronic viewing angle control means capable of disparity correction according to the distance of a subject by utilizing a designated area extraction method by digital image signal processing. It is advantageous to provide a compact stereoscopic camera capable of vergence control.
평행축 입체 카메라, 주시각 제어 Parallel axis stereoscopic camera, angle control
Description
도 1은 종래의 평행축 방식 입체 카메라의 구현원리를 개략적으로 나타낸 도면.1 is a view schematically showing the principle of implementation of a conventional parallel axis stereoscopic camera.
도 2는 종래의 교차축 방식 입체 카메라의 구현원리를 개략적으로 나타낸 도면.2 is a view schematically showing a principle of implementation of a conventional cross-axis stereoscopic camera.
도 3은 종래의 수평 이동축 방식 입체 카메라의 구현원리를 개략적으로 나타낸 도면.Figure 3 is a view schematically showing the principle of implementation of a conventional horizontal moving axis stereoscopic camera.
도 4는 종래의 수평 이동축 방식 양안 입체 카메라의 주요 동작 파라미터를 나타낸 도면.4 is a view showing the main operating parameters of a conventional horizontal axis moving binocular stereoscopic camera.
도 5는 종래의 수평 이동축 입체 카메라의 주시각 제어 및 시차 값 보정의 동작원리를 나타낸 도면.5 is a view showing the operation principle of the vergence control and parallax value correction of a conventional horizontal moving axis stereoscopic camera.
도 6은 종래의 주시각 제어 프로그램의 동작 원리를 나타낸 도면.6 is a view showing an operation principle of a conventional vergence control program.
도 7은 종래의 양안식 입체 카메라의 좌우 카메라 파라미터 불일치에 의해 발생하는 입체영상 오차를 나타낸 도면.7 is a view showing a stereoscopic image error caused by the left and right camera parameter mismatch of the conventional binocular stereoscopic camera.
도 8a 내지 도 8c는 종래의 평행축 입체 카메라와 본 발명의 평행축 입체카 메라의 광학부와 그 카메라들을 구성하는 센서의 영상추출 영역과 주시각 영역사이의 관계를 나타낸 도면.8A to 8C are diagrams showing a relationship between a conventional parallel axis stereoscopic camera and an optical unit of a parallel axis stereoscopic camera of the present invention and an image extraction area and a viewing angle area of a sensor constituting the cameras.
도 9는 본 발명에 따른 평행축 입체 카메라의 디지털 이미지 신호 처리에 의한 지정영역 추출방식의 전자적 주시각 제어원리를 나타낸 도면.9 is a view illustrating an electronic perspective control principle of a designation region extraction method by digital image signal processing of a parallel axis stereoscopic camera according to the present invention;
도 10은 본 발명에 따른 평행축 입체 카메라의 주시각 제어수단의 구성을 나타낸 도면.10 is a view showing the configuration of the vergence control means of the parallel-axis stereoscopic camera according to the present invention.
<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>
10,10',20,20',30,30',50,50': 카메라10,10 ', 20,20', 30,30 ', 50,50': camera
11,11',21,21',32,32',52,52',52A,52A': 영상센서11,11 ', 21,21', 32,32 ', 52,52', 52A, 52A ': Image sensor
12,12',31,31',51,51': 렌즈 40 : 입체영상12, 12 ', 31, 31', 51, 51 ': Lens 40: Stereoscopic image
60,61 : 피사체 70 : 주시각 제어수단60, 61: subject 70: perspective control means
71 : 입체영상 보정부 72 : 주시각 생성부71: stereoscopic image correction unit 72: gaze generation unit
73 : 영상 추출부 74 : 입체영상 생성부73: image extraction unit 74: stereoscopic image generating unit
75 : 메모리75: memory
본 발명은 주시각 제어가 가능한 평행축 입체 카메라 및 입체영상 생성방법에 관한 것으로, 특히 상기 평행축 입체 카메라의 영상센서를 렌즈의 광축으로부터 좌우측 수평방향으로 특정 거리만큼 대칭 이동시켜 배치하여 별도의 주시각 제어 없이도 근거리 주시각 포인트와 넓은 주시각 범위를 갖도록 하고, 디지털 이미지 신호처리에 의한 지정영역 추출방식을 활용하여 피사체의 거리에 따른 시차보정이 가능한 전자적 주시각 제어수단을 구비하여 근거리 입체관측에 유리하고, 주시각 제어가 가능한 소형 입체 카메라를 제공한다.The present invention relates to a parallel axis stereoscopic camera and a stereoscopic image generating method capable of controlling the viewing angle, and in particular, the image sensor of the parallel axis stereoscopic camera is symmetrically moved in a horizontal direction from the optical axis of the lens by a predetermined distance and is disposed separately. It has a near angle of view point and a wide range of field of view without visual control, and it is equipped with an electronic angle control means capable of disparity correction according to the distance of a subject by using a designated area extraction method by digital image signal processing. It is advantageous to provide a compact stereoscopic camera capable of vergence control.
일반적으로 3차원 입체영상 구현을 위해서는 상호간에 유효한 시차를 갖는 2장 이상의 2차원 영상이 필요하며, 상기와 같은 2장 이상의 2차원 영상을 획득하기 위해 사용되는 카메라를 입체 카메라라고 한다. 상기 입체 카메라는 그 방식에 따라 단일 카메라를 활용하는 방법, 양안 카메라를 활용하는 방법, 그리고 다시점 카메라를 활용하는 방법 등이 있으나, 양안 카메라를 활용하는 방법을 주로 사용한다. 상기 양안 입체 카메라는 사람의 눈과 같이 두 개의 영상센서를 이용하여 좌, 우 영상으로 구성되는 2차원 영상을 동시 또는 순차적으로 획득하여 3차원 영상을 촬영하는 장치이며, 지금까지 사용되어온 가장 일반적인 입체 카메라가 상기 양안 입체 카메라이다. In general, two or more two-dimensional images having effective parallax are required to implement a three-dimensional stereoscopic image, and a camera used to acquire two or more two-dimensional images as described above is called a three-dimensional camera. The stereoscopic camera has a method of using a single camera, a method of using a binocular camera, and a method of using a multi-view camera according to the method, but mainly use a method of using a binocular camera. The binocular stereoscopic camera is a device for capturing three-dimensional images by simultaneously or sequentially acquiring two-dimensional images consisting of left and right images using two image sensors, such as a human eye, and is the most common stereoscopic image used so far. The camera is the binocular stereoscopic camera.
또한, 상기 양안 입체 카메라는 영상센서의 배열방법에 따라 평행축 방식(parallel axis)과 교차축(cross axis) 방식 그리고 수평 이동축(parallel moving axis) 방식이 사용된다.In addition, the binocular stereoscopic camera uses a parallel axis method, a cross axis method, and a parallel moving axis method according to an arrangement method of an image sensor.
상기 양안 입체 카메라로 사람의 눈에서와 같이 자연스럽고 선명한 양질의 입체영상을 획득하기 위해서는 인간의 시각기능 중 최소한 세 가지 기능, 즉 양안시차(binocular parallax) 기능, 초점 제어기능, 그리고 주시각 제어(Convergence control) 기능을 갖추어야 한다. 두 개의 영상센서를 이용하는 양안 입체 카메라의 경우 상기 양안 시차기능은 항시 만족하며, 양안 시차기능에 의해 발생되는 관측영상에 대한 시차 량은 물체의 거리변화(Δt)와 두 영상센서간 간격(Δd)에 따라 달라진다. 또한, 상기 초점 제어기능은 물체의 원근에 따라 초점을 맞추어 관측영상을 선명하게 보도록 하는 기능으로, 사람 눈의 경우 먼 물체를 볼 때 수정체의 두께가 가늘어지고 가까운 물체를 볼 때는 두꺼워진다. 또한, 상기 주시각 제어 기능은 물체를 볼 때 좌, 우 눈의 광축을 회전시켜 두 눈의 망막 중앙부에 상이 맺히도록 하는 것으로 관측하고자 하는 물체에 대한 시차량을 0으로 조절하여 주 관심 물체만을 응시하도록 하며, 관측물체를 자연스럽게 볼 수 있게 한다.In order to obtain a natural and clear high quality stereoscopic image as in the human eye with the binocular stereoscopic camera, at least three of the human visual functions, that is, the binocular parallax function, the focus control function, and the visual angle control ( Convergence control must be provided. In the case of a binocular stereoscopic camera using two image sensors, the binocular parallax function is always satisfied, and the amount of parallax for the observed image generated by the binocular parallax function is the distance change of the object (Δt) and the distance between the two image sensors (Δd). Depends on. In addition, the focus control function is a function to sharpen the observation image by focusing according to the perspective of the object. In the case of the human eye, the thickness of the lens becomes thin when the distant object is viewed and becomes thick when the near object is viewed. In addition, the gaze angle control function rotates the optical axes of the left and right eyes so that an image is formed at the center of the retina of the two eyes when the object is viewed, and adjusts the amount of parallax for the object to be observed to 0 to stare only the object of interest. Make the object look natural.
도 1은 종래의 평행축 방식 입체 카메라의 구현원리를 나타낸 것으로, 상기 평행축 입체 카메라는 양안식 입체영상 카메라 중 가장 단순한 형태로 두 대의 영상센서를 사람의 눈 간격과 비슷한 거리로 평행하게 고정시켜 두고 영상을 획득할 수 있게 구성되어 있다. 상기 평행축 입체 카메라는 광축이 고정된 렌즈를 갖는 좌우 카메라(10,10')와 상기 좌우 카메라 내부에 각각 설치된 영상센서(11,11')로 구성되며, 상기 영상센서들 사이의 거리가 일정하게 고정되어 있어 물체의 거리변화에 따른 입체영상 시차 조절 기능인 주시각 제어 기능이 없고, 무한대의 거리에 있는 물체의 시차 값은 영이며, 입체 카메라에 아주 근접한 물체의 시차 값은 거의 무한대에 가까운 값이 된다. 따라서, 상기 평행축 입체카메라는 특정 거리 이내의 물체는 상기 센서 범위를 벗어나 영상이 맺히기 때문에 관측할 수 없고, 움직이는 물체를 볼 때는 시차 값의 변화가 심하여 입체영상 관측시 어지러움이나 현기증을 느끼게 한다. 이러한 이유로 인해 평행축 입체카메라는 원격관측용 보다는 입체 카메라를 이용한 거리측정 등에서 사용되고 있다.1 is a view illustrating an implementation principle of a conventional parallel axis stereoscopic camera. The parallel axis stereoscopic camera is the simplest form of a binocular stereoscopic camera, and fixes two image sensors in parallel with a distance similar to a human eye distance. It can be configured to acquire images. The parallel axis stereoscopic camera is composed of left and
또한, 도 2는 종래의 교차축 방식 입체 카메라의 구현원리를 나타낸 것으로, 일정한 간격으로 설치된 좌우측 카메라(20,20')를 물체가 위치한 방향으로 회전시켜 물체의 영상이 좌우 영상센서(21,21')의 중심에 오도록 물체의 주시각을 렌즈의 광축과 일치하도록 구성한 것으로, 상기 좌, 우 영상센서를 회전하여 주시각을 조절한다는 점에서는 사람의 눈과 같다고 할 수 있다. 그러나 교차축 입체카메라가 주시각을 제어할 때 사람 눈과는 달리 상이 맺히는 좌, 우 영상센서들(21,21') 사이의 간격이 변하게 된다. 이러한 영상센서간 간격 변화는 입체영상을 관측할 때 발생하는 영상왜곡의 원인이 된다.In addition, Figure 2 shows the implementation principle of a conventional cross-axis stereoscopic camera, by rotating the left and
도 3은 종래의 수평 이동축 방식의 입체 카메라의 구현원리를 나타낸 것으로, 일정한 간격으로 설치된 카메라(30,30') 또는 좌우측 렌즈들(31,31')을 서로 분리하여 촬영할 물체의 거리에 따라 렌즈 또는 카메라를 좌우측으로 일정 거리만큼 수평하게 이동시켜 위치시킴으로써 카메라 내부의 영상센서(32,32')의 중심에 주시각에 매칭이 되도록 조정할 수 있으므로 상기 교차축 방식 입체 카메라와 같이 관측물체의 거리변화에 따라 주시각 제어가 가능하다.3 is a view illustrating an implementation principle of a stereoscopic camera of a conventional horizontal moving axis type, and the
도4는 상기 수평 이동축 방식 입체 카메라의 주요동작 파라메터를 나타낸 것 으로, 주시각 θ는 목적물(P, Key object)과 두 카메라(30,30') 사이에서 발생하는 시점의 차이로 표현되며, 목적물의 위치에 따라 좌우 카메라의 영상센서에 촬영된 이미지의 위치가 바뀌게 된다. 상기 주시각의 θ 값을 기준으로 입체영상 관측 시 눈의 피로와 어지러움증 등이 발생하므로 수평 이동축 입체카메라에서는 목적물에 대응되는 주시각 제어가 필수적이다.Figure 4 shows the main operation parameters of the horizontal moving axis stereoscopic camera, the angle of view θ is expressed as the difference between the viewpoint occurring between the object (P, Key object) and the two cameras (30, 30 '), The position of the image taken by the image sensor of the left and right cameras is changed according to the position of the object. Eye observation and dizziness occur when the 3D image is observed based on the θ value of the viewing angle, so that the control of the viewing angle corresponding to the target object is essential in the horizontal moving axis stereoscopic camera.
다음에, 도 5는 상기 수평 이동축 방식 입체 카메라의 주시각 제어 및 시차 값 보정의 동작원리를 나타낸 것으로, 거리 에 주시거리를 맞춘 상태로, 주시각 제어를 위해 좌, 우 렌즈를 영상센서 면에 대하여 서로 대칭적으로 h만큼 수평 이동시켜 영상시차가 영이 되도록 하고 있다. 이때 수평 이동축 입체카메라에서 관측물체 C(x03, y03)는 좌, 우 영상센서의 점 와 의 위치에 각각 상이 맺힌다. 여기에서 입체영상 시차 값 d는, Next, FIG. 5 shows the operation principle of the vergence control and parallax value correction of the horizontal moving axis type stereoscopic camera. In order to control the viewing angle, the left and right lenses are symmetrically moved horizontally by h with respect to the image sensor surface so that the image parallax becomes zero. At this time, the observation object C (x 03 , y 03 ) is the point of left and right image sensor Wow Each of the images bears the position of. Where the stereoscopic parallax value d is
로 표현된다. 여기서, 2W는 영상센서 사이의 간격이며, h는 주시각 제어를 위한 카메라 렌즈의 수평 이동 변위량으로 렌즈의 중심에서 영상센서의 중심까지의 거리로 나타난다. It is expressed as Here, 2W is the interval between the image sensors, h is the horizontal displacement displacement of the camera lens for the control of the vergence, the distance from the center of the lens to the center of the image sensor.
상기와 같은 수평 이동축 방식의 입체 카메라는 교차축 방식의 입체 카메라와 같이 관측물체의 거리변화에 따라 카메라의 주시각 제어가 가능한 카메라이다. 그러나, 상기 수평 이동축 입체 카메라는 영상센서의 광축(optical axis)을 회전시켜 주시각을 제어하는 교차축 방식의 입체 카메라와는 달리 렌즈를 영상센서가 내장된 카메라로부터 분리시킨 후 영상센서에 대하여 렌즈가 평행하게 수평으로 이동하여 주시각을 조절하도록 설계되어 있으므로 좌, 우 영상센서사이의 간격 변화량이 작아 교차축 방식에 비해 상대적인 영상 왜곡이 작다.The three-dimensional camera of the horizontal moving axis type as described above is a camera capable of controlling the viewing angle of the camera according to the distance change of the observation object, such as the three-dimensional camera of the cross-axis type. However, unlike the cross-axis stereoscopic camera which controls the viewing angle by rotating the optical axis of the horizontal moving axis stereoscopic camera, the horizontal moving axis stereoscopic camera separates the lens from the camera with the integrated image sensor and then the image sensor. Since the lens is designed to adjust the angle of view by moving in parallel and horizontally, the variation of the distance between the left and right image sensors is small, so that the relative image distortion is smaller than that of the cross axis method.
또한, 상기 종래의 입체 카메라들은 주시각 제어를 위해 모터나 기어 등을 사용하여 센서 혹은 렌즈의 위치나 광축을 변경해 줌으로서 목적물의 위치에 따른 최적의 주시각을 찾는 기구적 제어 방법을 사용하였다. 그러나 상기 기구적 주시각 제어 방법은 부가적인 부속물의 결속을 요구하므로 카메라 자체의 부피가 커지고 제작이 어려워진다는 문제점이 있었다.In addition, the conventional stereoscopic cameras use a mechanical control method to find the optimal viewing angle according to the position of the object by changing the position or optical axis of the sensor or the lens using a motor or gear for the viewing angle control. However, since the mechanical gaze control method requires an additional attachment, there is a problem in that the volume of the camera itself becomes large and manufacturing becomes difficult.
또한, 시차를 갖는 입체 카메라의 좌, 우 영상을 결합하여 소프트웨어적으로 주시각을 제어해주는 기능을 갖는 일부 프로그램들이 사용되는데, 도6은 상기와 같은 소프트웨어 프로그램을 사용하여 주시각을 제어하는 방법을 나타낸 것이다. 그러나 상기와 같은 주시각 제어 프로그램들은 주로 센서 전면(total field)의 영상(A,B)을 그대로 가져다 사용하거나 미리 촬영된 영상을 편집하여 사용하기 때문에 주시각을 제어하는 것은 가능하지만 두 영상이 교차(3D)되지 않는 영역(2D)이 발생할 수 있으며, 따라서 도6에 도시된 바와 같이 좌우 또는 상하 영상 일부가 입체로 구현되지 않는다는 문제점이 있었다.In addition, some programs having a function of controlling the viewing angle in software by combining left and right images of a stereoscopic camera having parallax are used. FIG. 6 illustrates a method of controlling the viewing angle using the software program as described above. It is shown. However, since the above-described gaze control programs mainly use the images A and B of the sensor front field as they are or edit the pre-photographed images, it is possible to control the gaze angle, but the two images cross each other. An
또한, 상기와 같은 입체 카메라들은 한 개 이상의 기준입력 영상을 사용하기 때문에 각각의 영상 간 편차 즉, 카메라 파라미터의 불일치에서 오는 입체영상 오 차가 발생할 수 있고, 이와 같은 입체영상 오차는 좌, 우 카메라의 기구적 오차나 광학적 오차에 의해서 발생하게 되었다. 따라서 종래에는 이러한 오차를 보정해주기 위한 방법으로 주로 기구적인 방법을 사용하기 때문에 입체 카메라 제작이 어려워지는 문제점도 있었다. In addition, since the stereoscopic cameras use more than one reference input image, a stereoscopic image error may occur due to a deviation between each image, that is, a mismatch of camera parameters. It is caused by mechanical error or optical error. Therefore, conventionally, since a mechanical method is mainly used as a method for correcting such an error, it has been a problem that it is difficult to manufacture a stereoscopic camera.
본 발명은 상술한 문제점들을 해결하기 위하여, 주시각 제어가 불가능한 평행축 방식의 입체 카메라에 수평 이동축 방식의 입체 카메라에 적용되는 주시각 제어 원리를 적용하여 주시각 제어가 가능한 평행축 방식의 입체 카메라를 제공하는 것을 목적으로 한다.The present invention, in order to solve the above problems, by applying the angle control principle applied to a three-dimensional camera of the horizontal axis of motion to a parallel axis stereoscopic camera that is not possible to control the angle of view, the parallel axis type of stereoscopic control is possible It is an object to provide a camera.
또한, 무한대의 주시각 포인트를 갖는 종래의 입체카메라 광학계의 단점을 보완하여 별도의 주시각 제어 없이도 근거리의 주시각 포인트를 갖는 입체 카메라를 제공하는 것을 또 다른 목적으로 한다.In addition, another object of the present invention is to provide a stereoscopic camera having a near vision point without a separate perspective control by supplementing the disadvantages of the conventional stereoscopic camera optical system having an infinite vertex point.
또한, 입체 카메라의 센서로부터 얻어진 영상의 디지털 신호 처리를 통해 입체 영상 오차를 전자적으로 보정하는 것을 또 다른 목적으로 한다.In addition, another object of the present invention is to electronically correct a stereoscopic image error through digital signal processing of an image obtained from a sensor of a stereoscopic camera.
상기 목적을 달성하기 위하여 본 발명은 광축이 고정된 한쌍의 렌즈와 영상센서로 구성된 평행축 방식의 입체 카메라에 있어서, 상기 렌즈의 광축으로부터 좌우측 수평방향으로 각각 중심을 대칭 이동시켜 배치한 영상센서와; 상기 영상센서의 부분영역을 활용하여 피사체의 거리에 따라 주시각을 생성하고, 주시각에 대응되는 좌우 영상을 추출하여 입체영상을 생성하는 주시각 제어수단을 포함하는 것을 특징으로 하는 주시각 제어수단을 갖는 평행축 입체 카메라를 제공한다.In order to achieve the above object, the present invention provides a parallel axis stereoscopic camera composed of a pair of lenses and an image sensor fixed to the optical axis, the image sensor arranged by symmetrically moving the center in the horizontal direction from the optical axis of the lens, respectively; ; Vertex control means for generating a viewing angle according to the distance of the subject by using the partial region of the image sensor, and extracting the left and right images corresponding to the viewing angle to generate a stereoscopic image. It provides a parallel axis stereoscopic camera having a.
또한, 상기 평행축 입체 카메라와 그 주시각 제어수단을 이용하여, 상기 평행축 입체카메라의 좌, 우 카메라의 디지털 영상입력을 받아 두 영상간의 입체영상을 비교하여 두 카메라의 광학적, 기구적 파라미터 오차에서 발생하는 입체영상 오차를 보정하는 단계와; 사용자가 원하는 위치의 피사체를 주시하기 위한 주시각 값을 사용자의 주시각 값 입력 버튼 조작을 통해 입력받아 목적하는 주시각 위치를 픽셀단위로 계산하고 최적의 주시각 위치를 찾아내는 단계와; 상기 좌, 우 영상센서로부터 입력된 디지털 영상에서 상기 찾아낸 주시각에 대응되는 좌, 우 영상의 지정영역을 검색하고 지정된 크기만큼의 영상영역을 캡처하여 영상을 추출하는 단계와; 상기 추출된 좌, 우 영상을 입체영상 포맷을 사용하여 입체영상으로 생성하는 단계를 포함하는 것을 특징으로 하는 입체영상 생성방법을 제공한다.In addition, by using the parallel axis stereoscopic camera and its viewing angle control means, the digital image inputs of the left and right cameras of the parallel axis stereoscopic camera are received, and the stereoscopic images between the two images are compared, and the optical and mechanical parameter errors of the two cameras are compared. Correcting a stereoscopic image error occurring in the apparatus; Receiving a viewing angle value for looking at a subject at a desired position through a user's viewing angle input button operation, calculating a desired viewing position in pixels, and finding an optimal viewing position; Searching for a designated area of the left and right images corresponding to the found angle of view from the left and right image sensors, and extracting an image by capturing an image area corresponding to a specified size; It provides a stereoscopic image generating method comprising the step of generating the extracted left, right image to a stereoscopic image using a stereoscopic image format.
이하, 첨부된 도면을 참조하여 본 발명을 좀 더 상세히 설명하기로 한다.Hereinafter, with reference to the accompanying drawings will be described in more detail the present invention.
도8a 내지 도8c는 종래의 평행축 입체카메라와 본 발명에 따른 평행축 입체 카메라의 구성 및 영상센서의 영상추출 영역과 주시각 영역 사이의 관계를 나타낸 것이다.8A to 8C show the configuration of a conventional parallel axis stereoscopic camera and a parallel axis stereoscopic camera according to the present invention, and a relationship between an image extraction area and a viewing angle area of an image sensor.
먼저, 도 8a는 평행축 방식 입체카메라의 광학부의 대표적인 일예를 나타낸 것으로, 상기 광학부를 구성하는 렌즈와 센서는 일체로 구성되고, 교차축 방식의 입체카메라도 같은 방식의 광학부 구조를 갖게 된다. 통상의 경우 평행축 방식과 교차축 방식의 입체카메라 광학부(Optics)는 주시각 변화에 따른 렌즈(12,12')나 센서(11,11')의 움직임이 없이 고정되어 있으며, 평행축 방식은 피사체(P) 거리에 상관없이 항상 일정한 위치(무한대)에 주시각 포인트가 고정되어 있으며, 교차축 방식은 광학계의 변화는 없지만 렌즈와 센서의 광축을 회전함으로서 주시각을 제어할 수 있도록 하고 있다. 두 경우 모두 렌즈(12,12')의 광축과 센서(11,11')의 중심이 일직선상에 배치되도록 설계되며, 센서(11,11')의 촬상영역(sensor image plane) 보다 큰 감광영역(focus plane)이 존재한다. 그러나 수평 이동축 방식의 입체 카메라의 경우 센서나 렌즈는 고정된 상태가 아니며 서로 좌, 우로 미세하게 움직이며 시차 변화에 따른 피사체의 주시각을 제어한다. First, FIG. 8A illustrates a representative example of an optical unit of a parallel axis stereoscopic camera. A lens and a sensor constituting the optical unit are integrally formed, and a cross axis stereoscopic camera has the same optical unit structure. In general, the parallel and cross-axis stereoscopic optics are fixed without movement of the
다음에 도 8b는 본 발명에 따른 평행축 입체 카메라의 광학계를 나타낸 것으로, 상기 수평 이동축 입체카메라의 원리를 적용하여 광축이 고정된 렌즈들(51,51') 하부에 위치하는 영상센서를 피사체(P)들의 위치와는 반대방향인 좌우측으로 이동시켜 구성함으로써, 피사체의 거리에 따라 영상센서 면에 피사체가 촬상될 수 있도록 한다. 8B illustrates an optical system of a parallel axis stereoscopic camera according to the present invention, and applies an image sensor positioned below the
다음에, 도 8c의 case1은 평행축 방식의 광학계를 그대로 적용할 경우 영상센서에 촬상되는 피사체의 위치를 나타낸 것으로, 상대적으로 센서에서 사용되지 못하는 부분이 많이 발생하게 되므로, 해상도에 손실이 있을 뿐만 아니라 센서의 활용성도 크게 떨어지게 된다.Next, case1 of FIG. 8C shows the position of a subject photographed on the image sensor when the optical system of the parallel axis method is applied as it is, and since a large portion of the sensor cannot be used relatively, there is a loss in resolution. In addition, the sensor's usability is also greatly reduced.
그러나 본 발명의 입체 카메라의 영상센서(52,52')는 도 8c의 case 2와 같이 비교적 넓은 영역의 감광영역을 갖는 렌즈와 함께 사용하여 센서의 위치를 좌, 우 대칭적으로 치우치도록 구성함으로써 무한대에 위치한 피사체부터 최소 근거리 피 사체까지 주시각 제어가 가능하고, 센서영역의 활용성이 높으며, 그리고 별도의 주시각 제어가 없어도 근거리 주시각 포인트 매칭에 활용할 수 있다. However, the
또한, 상기 광학계는 본 발명의 평행축 입체 카메라뿐만 아니라 통상의 수평이동축 입체 카메라 광학계의 기본 구조로 활용할 수 있다.In addition, the optical system may be utilized as a basic structure of a conventional horizontal axis stereoscopic camera as well as a parallel axis stereoscopic camera of the present invention.
다음에, 도 9는 본 발명에 따른 평행축 입체 카메라에서의 주시각 제어 방법을 나타낸 것으로, 양안 렌즈(51,51')를 통해 들어오는 근거리 피사체(60)와 원거리 피사체(61)는 영상센서(52,52' 또는 52A,52A')의 각기 다른 위치에 입사되어 투영된다. 이때 피사체의 중심이 센서의 중앙에 위치하도록 주시각을 제어해 주어야 선명한 입체영상을 얻을 수 있다. Next, FIG. 9 illustrates a method of controlling the angle of view in the parallel axis stereoscopic camera according to the present invention, wherein the
따라서, 센서로부터 얻어지는 영상 중 일부 영역만을 사용하여 이 영역의 이동을 통해 각각의 주시각에 대응되는 피사체 영상을 추출하는 주시각 제어 방법을 사용한다. 상기 영상의 추출은 이미지 프로세서에 의해서 수행되며 사용자 입력버튼을 통한 입력에 의해 주시하고자 하는 피사체에 대한 주시각 정보를 얻어 이에 대응되는 지정된 크기의 센서영역의 영상정보를 획득한다. 상기 영상정보의 추출방법은 크게 두 가지 방법이 사용되며, 실제로 원거리 피사체의 영상은 좌, 우 카메라의 안쪽으로 투영되고, 근거리 피사체는 좌, 우 영상센서의 바깥쪽으로 투영되므로 각각의 경우에 대응되는 피사체의 중심점을 기준으로 지정된 크기만큼만 영상을 추출한다면 수평이동축 카메라에서와 같은 주시각 제어 효과를 만들어 낼 수 있다. Therefore, a vergence control method of extracting a subject image corresponding to each vergence angle by using only a partial region of the image obtained from the sensor is moved. The extraction of the image is performed by an image processor, and obtains visual information on a subject to be observed by an input through a user input button, and obtains image information of a sensor area having a corresponding size. Two methods are used for the extraction of the image information. Actually, the image of the remote subject is projected to the inside of the left and right cameras, and the near subject is projected to the outside of the left and right image sensors. If the image is extracted only as much as the specified size based on the center point of the subject, the same visual control effect as the horizontal axis camera can be produced.
또한, 도 9에서 본 발명에 따른 입체카메라 시스템의 영상 센서는 표준방식 의 영상센서(52,52') 뿐만 아니라 특별히 촬상영역의 활용성을 고려하여 좌우 폭은 크되 상하 폭은 좁게 제작된 영상센서(52A,52A')를 사용할 수 있다.In addition, the image sensor of the three-dimensional camera system according to the present invention in Figure 9 is not only a standard image sensor (52, 52 ') but also in consideration of the utilization of the imaging area in particular, the left and right width is large, but the upper and lower width image sensor manufactured (52A, 52A ') can be used.
다음에, 도 10은 본 발명에 따른 평행축 입체 카메라의 주시각 제어수단(70)을 나타낸 것으로, 상기 좌우 카메라(50,50')의 좌, 우 디지털 영상입력을 받아 두 영상간의 입체영상을 비교하여 오차보정을 수행하는 입체영상 보정부(71, compare & correction part)와; 사용자가 원하는 위치의 피사체를 주시하기 위한 주시각 생성부(72, Make vergence part)와; 상기 주시각 생성부(72)에서 생성된 주시각에 대응되는 좌, 우 영상의 지정영역을 추출하기 위한 영상 추출부(73, Sampling part)와; 상기 영상 추출부(73)에서 추출된 주시각 제어 영상을 합성하여 다양한 입체영상 응용에 대응할 수 있는 입체영상을 생성하기 위한 입체영상 생성부(74, Image mixing part)구성된다. 이때, 상기 입체카메라의 센서들로부터 출력된 전체 영상을 저장하거나 주시각 제어된 영상을 저장하기 위한 메모리(75)와 사용자가 피사체를 주시하기 위한 주시각 값을 입력하기 위한 주시각 값 입력 버튼을 더 포함하여 구성할 수도 있다.Next, Fig. 10 shows the vergence control means 70 of the parallel-axis stereoscopic camera according to the present invention, and receives the left and right digital image inputs of the left and
상기 입체영상 보정부(71)는 평행축 입체카메라의 좌, 우 카메라의 디지털 영상입력을 받아 두 영상간의 입체영상을 비교하여 두 카메라의 광학적, 기구적 파라미터 오차에서 발생하는 입체영상 오차(수평오차, 수직오차, 회전오차, 크기오차)를 보정하고, 상기 주시각 생성부(72)는 사용자가 원하는 위치의 피사체를 주시하기 위한 주시각 값을 사용자 주식각 값 입력 버튼을 통해 입력하고, 목적하는 주시각 위치를 픽셀단위로 계산하여 최적의 주시각 위치를 찾아낸다. 또한, 상기 영 상 추출부(73)는 내장된 이미지 프로세서를 사용하여 좌, 우 영상센서로부터 입력된 디지털 영상에서 주시각에 대응되는 좌, 우 영상의 지정영역을 검색하고 지정된 크기만큼의 영상영역을 캡처하여 추출한다.The stereoscopic
상기 영상 추출부(73)의 영상추출 방법으로는 센서로부터 출력되는 데이터신호를 분석하여 출력하고자 하는 영상픽셀의 값을 직접 메모리에 저장하는 방법과 센서로부터 출력되는 영상 데이터를 우선 메모리에 저장한 후 원하는 위치의 영상만을 잘라내어 사용하는 방법이 있다. The image extraction method of the
또한, 상기 입체영상 생성부(74)는 영상 추출부(73)로부터 추출된 좌, 우 영상을 다양한 입체영상 포맷(Line by line, side by side, frame by frame, column by column, pixel by pixel, analygraph 등)을 사용하여 입체영상으로 생성한다.In addition, the
상기와 같이 본 발명에 따른 주시각 제어수단은 이미지 프로세싱이 가능한 프로세서에서의 동작을 필요로 하지만 비교적 적은 용량의 프로그램으로 구현이 가능하기 때문에, 입체영상 보정, 주시각 생성, 영상추출, 입체영상 생성 등의 주시각 제어수단의 모든 기능이 프로그래밍된 이미지 프로세서 또는 상기 기능을 내장한 ASIC 칩 등으로 제공함으로써 원칩화 기술에 의한 소형화에 유리하고 다양한 플랫폼(카메라, PC 등)에 적용이 가능하다.As described above, the viewing angle control means according to the present invention requires operation in a processor capable of image processing, but can be implemented with a relatively small program, so that stereoscopic image correction, viewing angle generation, image extraction, and stereoscopic image generation are possible. By providing all functions of the vergence control means such as a programmed image processor or an ASIC chip incorporating the above functions, it is advantageous for miniaturization by one-chip technology and can be applied to various platforms (camera, PC, etc.).
이상과 같이 본 발명은 도면에 도시한 실시 예를 참고하여 설명하였으나, 이는 발명을 설명하기 위한 것일 뿐이며, 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자라면 고안의 상세한 설명으로부터 다양한 변형 또는 균등한 실시예가 가 능하다는 것을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 권리 범위는 특허청구범위의 기술적 사상에 의해 결정되어야 한다. As described above, the present invention has been described with reference to the embodiments shown in the drawings, but it is only for illustrating the invention, and those skilled in the art to which the present invention pertains various modifications or equivalents from the detailed description of the invention. It will be appreciated that one embodiment is possible. Therefore, the true scope of the present invention should be determined by the technical spirit of the claims.
본 발명은 상술한 바와 같이 디지털 이미지 신호처리 기술을 바탕으로 주시각 제어가 불가능한 평행축 입체 카메라에 주시각에 대응되는 지정영역 이미지 추출 방법을 사용하여 수평 이동축 입체카메라에서와 같은 주시각 제어 효과를 얻을 수 있다. As described above, the present invention uses a method of extracting a designated region corresponding to a gaze angle to a parallel axis stereoscopic camera that is unable to control the viewing angle based on the digital image signal processing technology. Can be obtained.
또한, 상기 평행축 입체 카메라는 수평 이동축 방식 입체 카메라의 특성화된 광학계를 적용함으로서 효율적이고, 소형화가 가능하며, 플랫폼이 자유로운 입체 카메라를 얻을 수 있다.In addition, the parallel axis stereoscopic camera can be efficiently, miniaturized, and a platform free stereoscopic camera by applying a specialized optical system of a horizontal moving axis stereoscopic camera.
Claims (9)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050076251A KR100747733B1 (en) | 2005-08-19 | 2005-08-19 | Parallel Axis 3D Camera and Formation Method of 3D Image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050076251A KR100747733B1 (en) | 2005-08-19 | 2005-08-19 | Parallel Axis 3D Camera and Formation Method of 3D Image |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20070021694A KR20070021694A (en) | 2007-02-23 |
KR100747733B1 true KR100747733B1 (en) | 2007-08-08 |
Family
ID=41631317
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020050076251A KR100747733B1 (en) | 2005-08-19 | 2005-08-19 | Parallel Axis 3D Camera and Formation Method of 3D Image |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100747733B1 (en) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100834637B1 (en) | 2006-11-27 | 2008-06-02 | 삼성전자주식회사 | Apparatus and method for ordering images in stereo camera device |
MY164503A (en) * | 2007-07-20 | 2017-12-29 | Mimos Berhad | Setup for three dimensional image capture |
KR100971730B1 (en) * | 2010-04-15 | 2010-07-21 | (주)에이직뱅크 | Parallel axis stereoscopic camera |
KR101668117B1 (en) * | 2010-06-16 | 2016-10-20 | 엘지이노텍 주식회사 | Apparatus for controlling convergence angle of stereo camera and 3-dimension image processing system with the same |
KR101429234B1 (en) * | 2012-06-04 | 2014-08-12 | (주)하이브 | Method for Controlling Convergence Angle of Stereo Camera by Using Scaler and the Stereo Camera |
KR20160017726A (en) | 2014-08-01 | 2016-02-17 | 황운아 | Stereo image photographing system using 3-Dimension Lens block |
CA3086592A1 (en) | 2017-08-30 | 2019-03-07 | Innovations Mindtrick Inc. | Viewer-adjusted stereoscopic image display |
KR102578057B1 (en) * | 2021-11-24 | 2023-09-13 | 주식회사 지에프티 | Method for automatically controlling convergence point in stereoscopic camera and stereoscopic camera system using the same |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20020023227A (en) * | 2000-04-04 | 2002-03-28 | 이데이 노부유끼 | Three-dimensional image producing method and apparatus therefor |
-
2005
- 2005-08-19 KR KR1020050076251A patent/KR100747733B1/en not_active IP Right Cessation
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20020023227A (en) * | 2000-04-04 | 2002-03-28 | 이데이 노부유끼 | Three-dimensional image producing method and apparatus therefor |
Also Published As
Publication number | Publication date |
---|---|
KR20070021694A (en) | 2007-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100747733B1 (en) | Parallel Axis 3D Camera and Formation Method of 3D Image | |
JP5507797B2 (en) | Head-mounted imaging display device and image generation device | |
US6496218B2 (en) | Stereoscopic image display apparatus for detecting viewpoint and forming stereoscopic image while following up viewpoint position | |
JP5014979B2 (en) | 3D information acquisition and display system for personal electronic devices | |
JP5472328B2 (en) | Stereo camera | |
JP5320524B1 (en) | Stereo camera | |
JP5204350B2 (en) | Imaging apparatus, playback apparatus, and image processing method | |
KR20200102408A (en) | Augmented Reality Display with Active Alignment and Corresponding Method | |
JP5204349B2 (en) | Imaging apparatus, playback apparatus, and image processing method | |
WO2013099169A1 (en) | Stereo photography device | |
US20120236128A1 (en) | Camera body, method for controlling camera body, program, and storage recording medium to store program | |
JPWO2012029298A1 (en) | Imaging apparatus and image processing method | |
JP6452360B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
US20120113231A1 (en) | 3d camera | |
US20130093855A1 (en) | Parallel axis stereoscopic camera | |
WO2021138677A1 (en) | Transferring the coordinate system of a three-dimensional camera to the incident point of a two-dimensional camera | |
US20110001802A1 (en) | Image display apparatus and method, as well as program | |
KR100915039B1 (en) | Method and Device for Transformation from Multi Focused 2D Image to 3D Image, and Recording Media | |
JP2020191624A (en) | Electronic apparatus and control method for the same | |
KR100399047B1 (en) | The Apparatus and Method for Vergence Control of Crossing Axis Stereo Camera | |
TWI505708B (en) | Image capture device with multiple lenses and method for displaying stereo image thereof | |
JP5767720B2 (en) | Head-mounted display device, virtual image generation device, system having the same, and control method | |
JP6292785B2 (en) | Image processing apparatus, image processing method, and program | |
JP2013217947A (en) | Lens unit | |
US20230171511A1 (en) | Image processing apparatus, imaging apparatus, and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20120731 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20130801 Year of fee payment: 7 |
|
LAPS | Lapse due to unpaid annual fee |