KR100392381B1 - Method and apparatus controlling the disparity of objects in images and a parallel-axis stereo camera system using the apparatus - Google Patents
Method and apparatus controlling the disparity of objects in images and a parallel-axis stereo camera system using the apparatus Download PDFInfo
- Publication number
- KR100392381B1 KR100392381B1 KR10-2000-0067081A KR20000067081A KR100392381B1 KR 100392381 B1 KR100392381 B1 KR 100392381B1 KR 20000067081 A KR20000067081 A KR 20000067081A KR 100392381 B1 KR100392381 B1 KR 100392381B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- horizontal
- vertical
- size
- vertical direction
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
1. 청구범위에 기재된 발명이 속한 기술분야1. TECHNICAL FIELD OF THE INVENTION
본 발명은 영상에서의 사물들간의 시차량을 조절하는 주시각 제어 장치 및 그 방법과 그를 이용한 평행축 입체 카메라 시스템에 관한 것임.The present invention relates to a vergence controller and a method for adjusting the amount of parallax between objects in an image, and a parallel axis stereoscopic camera system using the same.
2. 발명이 해결하려고 하는 기술적 과제2. The technical problem to be solved by the invention
본 발명은, 평행축 입체 카메라의 사용 한계를 극복하고 수평 이동축 입체 카메라의 기능을 수행하기 위하여, 평행축 입체 카메라로부터 얻어진 영상에 간단한 신호처리를 하여 주시각 제어를 가능케 함으로써, 평행축 방식으로 수평 이동축 입체 카메라와 같은 효과를 나타낼 수 있도록 하는 영상에서의 사물들간의 시차량을 조절하는 주시각 제어 장치 및 그 방법과 그를 이용한 평행축 입체 카메라 시스템과, 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있음.The present invention, in order to overcome the limitations of the use of the parallel axis stereoscopic camera and to perform the function of the horizontal axis stereoscopic camera, by performing simple signal processing on the image obtained from the parallel axis stereoscopic camera to enable the viewing angle control, Perpendicular control device for adjusting the amount of parallax between objects in an image to produce an effect such as a horizontal moving axis stereoscopic camera, and a parallel axis stereoscopic camera system using the same, and a program for realizing the method. Its purpose is to provide a computer-readable recording medium.
3. 발명의 해결방법의 요지3. Summary of Solution to Invention
본 발명은, 영상에서의 사물들간의 시차량을 조절하는 주시각 제어 장치에 있어서, 평행축 입체 카메라에 의해 촬상된 영상을 저장하고 있는 저장수단; 상기 촬상 영상에서, 상기 카메라의 이동으로 인해 사라지는 부분(맺히지 않는 부분)을 수직 방향으로 제거하기 위한 수직 신호처리수단; 상기 수직 신호처리수단에 의해 수직방향으로 제거된 영상내 관측물의 상대적 위치 변화를 고려하여, 수직방향으로 제거된 영상과 동일한 비율로 영상의 상하에서 각각 같은 크기를 수평방향으로 제거하기 위한 수평 신호처리수단; 및 수직/수평 방향으로 각각 제거된 영상의 크기를 원래 영상의 크기로 복원하여, 수직 방향으로의 위치 이동 결과에 따른 주시각 제어를 이루는 신호보간수단을 포함함.According to an aspect of the present invention, there is provided a vergence control device for adjusting an amount of parallax between objects in an image, the apparatus comprising: storage means for storing an image captured by a parallel axis stereoscopic camera; Vertical signal processing means for removing a portion (non-clumping) disappearing due to the movement of the camera in the vertical direction in the captured image; Horizontal signal processing for removing the same size in the horizontal direction, respectively, at the same ratio as the image removed in the vertical direction, in consideration of the change in the relative position of the observations in the image removed in the vertical direction by the vertical signal processing means. Way; And a signal interpolation means for restoring the size of the image removed in the vertical / horizontal direction to the size of the original image to achieve the vergence control according to the result of the position shift in the vertical direction.
4. 발명의 중요한 용도4. Important uses of the invention
본 발명은 입체 카메라 시스템 등에 이용됨.The present invention is used in stereoscopic camera systems and the like.
Description
본 발명은 영상에서의 사물들간의 시차량을 조절하는 주시각 제어 장치 및 그 방법과 그를 이용한 평행축 입체 카메라 시스템과, 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것으로, 더욱 상세하게는 주시각 제어가 불가능한 평행축 입체 카메라에서, 획득한 영상에 간단한 신호처리 기법에 의해 수평 이동축 카메라에서와 같은 주시각 제어의 효과가 나타나도록 하는 주시각 제어 장치 및 그 방법과 그를 이용한 평행축 입체 카메라 시스템과, 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.The present invention relates to a vergence control device for adjusting the amount of parallax between objects in an image, a method thereof, a parallel axis stereoscopic camera system using the same, and a computer-readable recording medium recording a program for realizing the method. More specifically, in a parallel-axis stereoscopic camera that cannot control the angle of view, the angle control device and the method of causing the same angle control as in a horizontal moving axis camera by the simple signal processing technique to the obtained image and A parallel axis stereoscopic camera system using the same, and a computer-readable recording medium having recorded thereon a program for realizing the method.
일반적으로, 입체 카메라는 사람의 눈과 같이 2대의 카메라를 사용하여 좌, 우의 영상을 얻고 그 두 영상의 시차에 의해 관측자로 하여금 입체감을 느끼게 한다.In general, a stereoscopic camera obtains images of left and right using two cameras like a human eye and makes the viewer feel a three-dimensional effect by the parallax of the two images.
시차(parallax)란, 동일점을 2개의 관측점에서 보았을 때의 방향의 차를 말하며, 이러한 시차로 인하여 입체 카메라에서 피사체의 영상이 두 카메라의 CCD(Charge Coupled Device)의 촬상면에서 서로 다른 위치에 맺히게 된다. 그러한 위치의 차를 시차량이라고 하며, 이것은 관측자에게 관측 물체들에 대한 거리 정보를 제공하며 입체감을 느끼게 해 준다.A parallax is a difference in the direction when the same point is seen from two viewpoints, and this parallax causes an image of a subject in a stereoscopic camera to be formed at different positions on the imaging planes of the CCD (Charge Coupled Device) of the two cameras. do. The difference in such locations is called parallax, which gives the viewer the distance information about the objects and gives a sense of depth.
사람의 눈은 관측하고자 하는 물체의 시차량을 0이 되도록 좌, 우 눈동자를 움직여 편안하게 입체감을 느끼면서 물체를 관측할 수 있도록 한다. 이렇게 시차량을 조절하는 것을 주시각 제어(vergence control)라 하며, 관측하고자 하는 물체의 시차량이 0이 되었을 때 가장 편안하게 영상을 볼 수 있다.The human eye moves the left and right eyes so that the parallax of the object to be observed is zero, so that the object can be observed while feeling three-dimensional comfort. Adjusting the amount of parallax is called vergence control, and when the amount of parallax of an object to be observed becomes zero, the image can be viewed most comfortably.
주시각 제어가 되지 않은 카메라로부터 얻은 입체 영상을 관측자가 보게 될 경우에는 시차량이 매우 크게 나타나 심한 피로감을 느끼게 된다. 이러한 관측 피로를 줄이기 위해서는 피사체의 위치 변화에 상관없이 일정한 시차가 유지되도록 좌, 우 카메라의 관측 방향을 제어하는 주시각 제어 기능이 필수적이다.When the observer sees a stereoscopic image obtained from a camera that is not controlled by the angle of view, the parallax amount is very large, resulting in severe fatigue. In order to reduce such observation fatigue, it is essential to control the viewing angle of the left and right cameras so that a constant parallax is maintained regardless of a change in the position of the subject.
입체 영상을 얻기 위해 사용되는 입체 카메라는 좌, 우 영상 센서의 배열방법에 따라 크게 평행축, 교차축, 그리고 수평 이동축의 세가지로 구분된다.Stereo cameras used to obtain stereoscopic images are classified into three types: parallel axis, cross axis, and horizontal moving axis according to the arrangement of left and right image sensors.
먼저, 평행축 입체 카메라는 양안식 입체 영상 카메라 중 가장 단순한 형태로서, 두 대의 영상 센서를 사람의 눈 간격과 비슷한 거리로 평행하게 고정시켜 두고 영상을 획득할 수 있게 설계되어 있다. 그러나, 평행축 방식은 주시각 제어 기능이 없어 피사체의 거리 변화에 따른 시차량을 조절할 수 없다는 문제점이 있었다.First of all, the parallel axis stereoscopic camera is the simplest type of binocular stereoscopic camera, and is designed to acquire two images by fixing two image sensors in parallel at a distance similar to a human eye distance. However, the parallel axis method has a problem that the parallax amount cannot be adjusted according to the distance change of the subject because there is no vergence control function.
한편, 교차축 입체 카메라는 폭주식 입체 카메라라고도 하며, 물체의 거리 변화에 따라 주시각 제어가 가능하도록 설계되어 있다. 이 교차축 입체 카메라는 물체의 거리 변화에 따라 영상 센서의 광축을 회전시켜 항상 물체의 상이 좌, 우 영상 센서의 중심에 맺히도록 주시각을 제어한다. 이는 가까운 물체를 볼 때 안쪽으로 모이고 멀리있는 물체를 볼 때 벌어지는 사람의 눈동자 움직임을 모방한 것이다.On the other hand, the cross-axis stereoscopic camera is also called a congested stereoscopic camera, it is designed to be able to control the viewing angle in accordance with the distance change of the object. The cross-axis three-dimensional camera rotates the optical axis of the image sensor according to the distance change of the object to control the viewing angle so that the image of the object is always in the center of the left and right image sensors. It mimics the eye movements of a person when gathering inward when seeing a close object and when seeing a distant object.
그러나, 교차축 방식의 경우 영상 센서를 교차시켜 주시각을 맞추기 때문에 주시각 제어에 따른 영상 센서간의 간격 변화가 심하여 입체 영상 재생 시 왜곡이 심하며, 카메라 광축의 회전으로 주시각 제어를 해야 하기 때문에 소형화가 어렵다는 문제점이 있었다.However, in the case of the cross-axis method, the image sensor is intersected to adjust the viewing angle, so the gap between the image sensors due to the control of the viewing angle is severe, and distortion is severe when the stereoscopic image is reproduced. There was a problem that is difficult.
한편, 수평 이동축 입체 카메라는 교차축 방식과 같이 관측물체의 거리 변화에 따라 카메라의 주시각 제어가 가능한 카메라이다. 그러나, 교차축 방식과는 달리 렌즈를 영상 센서로부터 분리시킨 후, 렌즈에 대해서 영상 센서가 평행하게 수평으로 움직이게 하여 주시각을 조절하도록 설계되어 있다. 이러한 영상 센서의 평행 이동에 의한 주시각 제어 방식은 좌, 우 영상센서 사이의 간격 변화량이 작아 교차축 방식에 비해 상대적인 영상 왜곡이 작다는 장점이 있지만, 렌즈와 영상 센서를 분리시키고 영상 센서를 이동하면서 주시각 제어를 해야 하므로 실제 입체 카메라 제작에 많은 어려움이 있다는 문제점이 있었다.On the other hand, the horizontal moving axis stereoscopic camera is a camera capable of controlling the viewing angle of the camera according to the change in the distance of the observation object, such as the cross-axis method. However, unlike the cross-axis method, after separating the lens from the image sensor, it is designed to adjust the viewing angle by moving the image sensor in parallel and horizontally with respect to the lens. The visual control method by the parallel movement of the image sensor has the advantage that the amount of change in the distance between the left and right image sensor is small compared to the cross-axis method, the relative image distortion is smaller, but separate the lens and the image sensor and move the image sensor While having to control the viewing angle, there was a problem that there are many difficulties in the production of the actual three-dimensional camera.
본 발명은, 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 평행축 입체 카메라의 사용 한계를 극복하고 수평 이동축 입체 카메라의 기능을 수행하기 위하여, 평행축 입체 카메라로부터 얻어진 영상에 간단한 신호처리를 하여 주시각 제어를 가능케 함으로써, 평행축 방식으로 수평 이동축 입체 카메라와 같은 효과를 나타낼 수 있도록 하는 영상에서의 사물들간의 시차량을 조절하는 주시각 제어 장치 및 그 방법과 그를 이용한 평행축 입체 카메라 시스템과, 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.The present invention has been proposed to solve the above problems, and in order to overcome the limitations of the use of a parallel axis stereoscopic camera and to perform a function of a horizontal moving stereoscopic camera, simple signal processing on an image obtained from the parallel axis stereoscopic camera is performed. Viewing angle control device and method and parallel axis stereoscopic device using the same to control the amount of parallax between objects in the image to achieve the same effect as a horizontal moving axis stereoscopic camera in a parallel axis method It is an object of the present invention to provide a camera system and a computer-readable recording medium having recorded thereon a program for realizing the method.
도 1 은 종래의 수평 이동축 입체 카메라에서 CCD(Charge Coupled Device)의 이동에 따른 영상 변화 과정의 일예시도.1 is a view illustrating an image change process according to movement of a charge coupled device (CCD) in a conventional horizontal moving axis stereoscopic camera.
도 2 는 본 발명에 따른 신호처리를 이용한 주시각 제어 장치 및 그를 이용한 평행축 입체 카메라 시스템의 일실시예 구성도.2 is a block diagram of an embodiment of a control device using a signal processing according to the present invention and a parallel axis stereoscopic camera system using the same;
도 3 은 본 발명에 따른 신호처리를 이용한 평행축 입체 카메라의 주시각 제어 과정의 일실시예 설명도.3 is a diagram illustrating an embodiment of a vergence control process of a parallel axis stereoscopic camera using signal processing according to the present invention;
도 4 는 본 발명에 따른 신호처리를 이용한 주시각 제어 방법에 대한 일실시예 흐름도.4 is a flowchart illustrating an embodiment of a gaze control method using signal processing according to the present invention.
* 도면의 주요 부분에 대한 부호의 설명* Explanation of symbols for the main parts of the drawings
200 : 평행축 입체 카메라 201 : 좌측 카메라200: parallel axis stereoscopic camera 201: left camera
202 : 우측 카메라 210 : 주시각 제어 장치202: right camera 210: angle control device
211 : 메모리 212 : 수직신호 처리수단211 memory 212 vertical signal processing means
213 : 수평신호 처리수단 214 : 보간수단213: horizontal signal processing means 214: interpolation means
상기 목적을 달성하기 위한 본 발명은, 영상에서의 사물들간의 시차량을 조절하는 주시각 제어 장치에 있어서, 평행축 입체 카메라에 의해 촬상된 영상을 저장하고 있는 저장수단; 상기 촬상 영상에서, 상기 카메라의 이동으로 인해 사라지는 부분(맺히지 않는 부분)을 수직 방향으로 제거하기 위한 수직 신호처리수단; 상기 수직 신호처리수단에 의해 수직방향으로 제거된 영상내 관측물의 상대적 위치 변화를 고려하여, 수직방향으로 제거된 영상과 동일한 비율로 영상의 상하에서 각각 같은 크기를 수평방향으로 제거하기 위한 수평 신호처리수단; 및 수직/수평 방향으로 각각 제거된 영상의 크기를 원래 영상의 크기로 복원하여, 수직 방향으로의 위치 이동 결과에 따른 주시각 제어를 이루는 신호보간수단을 포함하는 것을 특징으로 한다.In order to achieve the above object, the present invention provides a vergence control device for adjusting the amount of parallax between objects in an image, comprising: storage means for storing an image captured by a parallel axis stereoscopic camera; Vertical signal processing means for removing a portion (non-clumping) disappearing due to the movement of the camera in the vertical direction in the captured image; Horizontal signal processing for removing the same size in the horizontal direction, respectively, at the same ratio as the image removed in the vertical direction, in consideration of the change in the relative position of the observations in the image removed in the vertical direction by the vertical signal processing means. Way; And a signal interpolation means for restoring the size of the image respectively removed in the vertical / horizontal direction to the size of the original image, and performing the vergence control according to the result of the position shift in the vertical direction.
또한, 본 발명은, 영상에서의 사물들간의 시차량을 조절하는 주시각 제어 장치에 있어서, 평행축 입체 카메라에 의해 촬상된 영상을 저장하고 있는 저장수단; 상기 촬상 영상에서, 상기 카메라의 이동으로 인해 사라지는 부분(맺히지 않는 부분)을 수평 방향으로 제거하기 위한 수평 신호처리수단; 상기 수평 신호처리수단에 의해 수평방향으로 제거된 영상내 관측물의 상대적 위치 변화를 고려하여, 수평방향으로 제거된 영상과 동일한 비율로 영상의 좌우에서 각각 같은 크기를 수직방향으로 제거하기 위한 수직 신호처리수단; 및 수평/수직 방향으로 각각 제거된 영상의 크기를 원래 영상의 크기로 복원하여, 수평 방향으로의 위치 이동 결과에 따른 주시각 제어를 이루는 신호보간수단을 포함하는 것을 특징으로 한다.In addition, the present invention provides a vergence control device for adjusting the amount of parallax between objects in an image, comprising: storage means for storing an image captured by a parallel axis stereoscopic camera; Horizontal signal processing means for removing a portion (non-clumping) disappearing due to the movement of the camera in the horizontal direction in the captured image; Vertical signal processing for removing the same size in the vertical direction from the left and right of the image at the same ratio as the image removed in the horizontal direction, in consideration of the change in the relative position of the observations in the image removed in the horizontal direction by the horizontal signal processing means. Way; And a signal interpolation means for restoring the size of the image respectively removed in the horizontal / vertical direction to the size of the original image, and performing the vergence control according to the position shift result in the horizontal direction.
그리고, 본 발명은, 영상에서의 사물들간의 시차량을 조절하는 주시각 제어 장치에 적용되는 주시각 제어 방법에 있어서, 평행축 입체 카메라에 의해 촬상된 영상을 저장하고 있는 제 1 단계; 상기 촬상 영상에서, 상기 카메라의 이동으로 인해 사라지는 부분(맺히지 않는 부분)을 수직 방향으로 제거하는 제 2 단계; 상기 수직방향으로 제거된 영상내 관측물의 상대적 위치 변화를 고려하여, 수직방향으로 제거된 영상과 동일한 비율로 영상의 상하에서 각각 같은 크기를 수평방향으로 제거하는 제 3 단계; 및 수직/수평 방향으로 각각 제거된 영상의 크기를 원래 영상의 크기로 복원하여, 수직 방향으로의 위치 이동 결과에 따른 주시각 제어를 이루는 제 4 단계를 포함하는 것을 특징으로 한다.In addition, the present invention provides a vergence control method applied to a vergence control device that adjusts an amount of parallax between objects in an image, comprising: a first step of storing an image captured by a parallel-axis stereoscopic camera; A second step of removing, in the captured image, the portion disappearing due to the movement of the camera in a vertical direction; A third step of horizontally removing the same size from the top and bottom of the image at the same ratio as the image removed in the vertical direction, in consideration of the change in the relative position of the observations in the image removed in the vertical direction; And a fourth step of restoring the size of the image respectively removed in the vertical / horizontal direction to the size of the original image to achieve the vergence control according to the result of the position shift in the vertical direction.
또한, 본 발명은, 영상에서의 사물들간의 시차량을 조절하는 주시각 제어 장치에 적용되는 주시각 제어 방법에 있어서, 평행축 입체 카메라에 의해 촬상된 영상을 저장하고 있는 제 1 단계; 상기 촬상 영상에서, 상기 카메라의 이동으로 인해 사라지는 부분(맺히지 않는 부분)을 수평 방향으로 제거하는 제 2 단계; 상기 수평방향으로 제거된 영상내 관측물의 상대적 위치 변화를 고려하여, 수평방향으로 제거된 영상과 동일한 비율로 영상의 좌우에서 각각 같은 크기를 수직방향으로 제거하는 제 3 단계; 및 수평/수직 방향으로 각각 제거된 영상의 크기를 원래 영상의 크기로 복원하여, 수평 방향으로의 위치 이동 결과에 따른 주시각 제어를 이루는 제 4 단계를 포함하는 것을 특징으로 한다.In addition, the present invention is a vergence control method applied to a vergence control device for adjusting the amount of parallax between objects in an image, comprising: a first step of storing an image captured by a parallel axis stereoscopic camera; A second step of removing, in the captured image, the portion disappearing due to the movement of the camera in a horizontal direction; A third step of removing the same size from the left and right of the image in the vertical direction at the same ratio as the image removed in the horizontal direction, in consideration of the change in the relative position of the observations in the image removed in the horizontal direction; And a fourth step of restoring the size of the image respectively removed in the horizontal / vertical direction to the size of the original image to achieve the vergence control according to the result of the positional shift in the horizontal direction.
또한, 본 발명은, 프로세서를 구비한 주시각 제어 장치에, 평행축 입체 카메라에 의해 촬상된 영상을 저장하고 있는 제 1 기능; 상기 촬상 영상에서, 상기 카메라의 이동으로 인해 사라지는 부분(맺히지 않는 부분)을 수직 방향으로 제거하는 제 2 기능; 상기 수직방향으로 제거된 영상내 관측물의 상대적 위치 변화를 고려하여, 수직방향으로 제거된 영상과 동일한 비율로 영상의 상하에서 각각 같은 크기를 수평방향으로 제거하는 제 3 기능; 및 수직/수평 방향으로 각각 제거된 영상의 크기를 원래 영상의 크기로 복원하여, 수직 방향으로의 위치 이동 결과에 따른 주시각 제어를 이루는 제 4 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.In addition, the present invention includes a first function of storing an image captured by a parallel-axis stereoscopic camera in a viewing angle control device having a processor; A second function of removing, in the captured image, the portion disappearing due to the movement of the camera in a vertical direction; A third function of removing horizontally the same size from the top and bottom of the image at the same ratio as the image removed in the vertical direction in consideration of the change in the relative position of the observation in the image removed in the vertical direction; And a program for realizing a fourth function of restoring the size of the removed image in the vertical / horizontal direction to the size of the original image to achieve the vergence control according to the result of the position shift in the vertical direction. Provide a record carrier.
또한, 본 발명은, 프로세서를 구비한 주시각 제어 장치에, 평행축 입체 카메라에 의해 촬상된 영상을 저장하고 있는 제 1 기능; 상기 촬상 영상에서, 상기 카메라의 이동으로 인해 사라지는 부분(맺히지 않는 부분)을 수평 방향으로 제거하는 제 2 기능; 상기 수평방향으로 제거된 영상내 관측물의 상대적 위치 변화를 고려하여, 수평방향으로 제거된 영상과 동일한 비율로 영상의 좌우에서 각각 같은 크기를 수직방향으로 제거하는 제 3 기능; 및 수평/수직 방향으로 각각 제거된 영상의 크기를 원래 영상의 크기로 복원하여, 수평 방향으로의 위치 이동 결과에 따른 주시각 제어를 이루는 제 4 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.In addition, the present invention includes a first function of storing an image captured by a parallel-axis stereoscopic camera in a viewing angle control device having a processor; A second function of removing, in the captured image, the portion disappearing due to the movement of the camera in a horizontal direction; A third function of removing the same size from the left and right of the image in the vertical direction at the same ratio as the image removed in the horizontal direction in consideration of the change in the relative position of the observation in the image removed in the horizontal direction; And program for realizing the fourth function of restoring the size of the removed image in the horizontal / vertical direction to the size of the original image to achieve the vergence control according to the result of the position shift in the horizontal direction. Provide a record carrier.
한편, 본 발명은, 주시각 제어 기능을 갖는 평행축 입체 카메라 시스템에 있어서, 적어도 두 개의 고정된 영상 센서를 이용하여 영상을 촬영하기 위한 평행축 입체 영상 촬영 장치; 상기 평행축 입체 영상 촬영 장치에 의해 촬상된 영상을 저장하고 있는 저장수단; 상기 촬상 영상에서, 상기 카메라의 이동으로 인해 사라지는 부분(맺히지 않는 부분)을 수직 방향으로 제거하기 위한 수직 신호처리수단; 상기 수직 신호처리수단에 의해 수직방향으로 제거된 영상내 관측물의 상대적 위치 변화를 고려하여, 수직방향으로 제거된 영상과 동일한 비율로 영상의 상하에서 각각 같은 크기를 수평방향으로 제거하기 위한 수평 신호처리수단; 및 수직/수평 방향으로 각각 제거된 영상의 크기를 원래 영상의 크기로 복원하여, 수직 방향으로의 위치 이동 결과에 따른 주시각 제어를 이루는 신호보간수단을 포함하는 것을 특징으로 한다.한편, 본 발명은, 주시각 제어 기능을 갖는 평행축 입체 카메라 시스템에 있어서, 적어도 두 개의 고정된 영상 센서를 이용하여 영상을 촬영하기 위한 평행축 입체 영상 촬영 장치; 상기 평행축 입체 영상 촬영 장치에 의해 촬상된 영상을 저장하고 있는 저장수단; 상기 촬상 영상에서, 상기 카메라의 이동으로 인해 사라지는 부분(맺히지 않는 부분)을 수평 방향으로 제거하기 위한 수평 신호처리수단; 상기 수평 신호처리수단에 의해 수평방향으로 제거된 영상내 관측물의 상대적 위치 변화를 고려하여, 수평방향으로 제거된 영상과 동일한 비율로 영상의 좌우에서 각각 같은 크기를 수직방향으로 제거하기 위한 수직 신호처리수단; 및 수평/수직 방향으로 각각 제거된 영상의 크기를 원래 영상의 크기로 복원하여, 수평 방향으로의 위치 이동 결과에 따른 주시각 제어를 이루는 신호보간수단을 포함하는 것을 특징으로 한다.Meanwhile, the present invention provides a parallel axis stereoscopic camera system having a vergence control function, comprising: a parallel axis stereoscopic image photographing device for capturing an image using at least two fixed image sensors; Storage means for storing an image captured by the parallel axis stereoscopic image photographing apparatus; Vertical signal processing means for removing a portion (non-clumping) disappearing due to the movement of the camera in the vertical direction in the captured image; Horizontal signal processing for removing the same size in the horizontal direction, respectively, at the same ratio as the image removed in the vertical direction, in consideration of the change in the relative position of the observations in the image removed in the vertical direction by the vertical signal processing means. Way; And a signal interpolation means for restoring the size of the image removed in the vertical / horizontal direction to the size of the original image, thereby achieving a vergence control according to the result of the positional shift in the vertical direction. A parallel axis stereoscopic camera system having a vergence control function, comprising: a parallel axis stereoscopic image photographing device for capturing an image using at least two fixed image sensors; Storage means for storing an image captured by the parallel axis stereoscopic image photographing apparatus; Horizontal signal processing means for removing a portion (non-clumping) disappearing due to the movement of the camera in the horizontal direction in the captured image; Vertical signal processing for removing the same size in the vertical direction from the left and right of the image at the same ratio as the image removed in the horizontal direction, in consideration of the change in the relative position of the observations in the image removed in the horizontal direction by the horizontal signal processing means. Way; And a signal interpolation means for restoring the size of the image respectively removed in the horizontal / vertical direction to the size of the original image, and performing the vergence control according to the position shift result in the horizontal direction.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1 은 종래의 수평 이동축 입체 카메라에서 CCD의 이동에 따른 영상 변화 과정의 일예시도이다.1 is a view illustrating an image change process according to movement of a CCD in a conventional horizontal moving axis stereoscopic camera.
평행축 입체 카메라의 신호처리를 이용한 주시각 제어 방법을 설명하기 위해, 도 1에 도시된 바와 같이, 우선 수평 이동축 입체 카메라에서 영상 센서인 CCD의 이동과 관측물의 영상에서의 위치 변화를 설명하기로 한다.In order to explain a vergence control method using signal processing of a parallel axis stereoscopic camera, as shown in FIG. 1, first, a movement of a CCD, which is an image sensor, and a change of position in an image of an object in a horizontal axis stereoscopic camera will be described. Shall be.
도 1의 (a)는 CCD의 수평 이동 전 영상에서의 관측물의 위치를 나타낸 것이고, 도 1의 (b)는 CCD의 수평 이동 후 영상에서의 관측물의 위치를 나타낸 것이다.FIG. 1 (a) shows the position of an object in the image before the horizontal movement of the CCD, and FIG. 1 (b) shows the position of the object in the image after the horizontal movement of the CCD.
도 1의 (a)는 시차가 0인 경우를 가정한 것으로 좌우 영상에서의 점의 위치가 일치하고 있으며, 도 1의 (b)는 CCD 간격을 넓힌 경우의 좌우 영상에서의 위치 관계를 나타내는 것으로 시차가 커짐을 알 수 있다.(A) of FIG. 1 assumes a parallax of 0, and the positions of the points in the left and right images coincide, and FIG. 1 (b) shows the positional relationship in the left and right images when the CCD interval is widened. It can be seen that the parallax increases.
즉, 영상 센서인 CCD 간격을 넓히는 것은 교차축 방식에서 카메라의 뒤를 넓히거나 앞을 좁히는 것과 같은 효과가 있음을 알 수 있다. 이 경우에 주시거리는 짧아지고 관측물은 음의 수평시차(disparity)를 가지게 된다. CCD 간격을 좁히는 것은 넓히는 경우와 반대의 효과가 있다.In other words, it can be seen that widening the CCD interval, which is an image sensor, has the same effect as widening or narrowing the back of the camera in the cross-axis method. In this case, the viewing distance is shortened and the observation has a negative horizontal disparity. Narrowing the CCD gap has the opposite effect as widening it.
그러나, 입체 영상을 보기 위해서는 CCD 간격을 렌즈의 광축과 CCD의 중앙축이 일치하는 지점까지만 좁혀야 하며, 이 경우가 주시거리가 무한대가 되는 카메라 간격이다. 주시거리는 좌우 카메라의 광축과 CCD의 중앙축을 연결하여 두 직선이 만나는 점에서 결정되는데, 광축과 CCD의 중앙축이 일치하는 경우는 두 직선이 평행하게 되므로 주시거리가 무한대가 되는 것이다.However, in order to view a stereoscopic image, the CCD interval should be narrowed only to the point where the optical axis of the lens and the central axis of the CCD coincide, which is the camera interval where the viewing distance is infinite. The viewing distance is determined at the point where the two straight lines meet by connecting the optical axis of the left and right cameras with the central axis of the CCD. When the optical axis and the central axis of the CCD coincide, the straight lines are parallel so that the viewing distance is infinite.
평행축 입체 카메라에서는 이러한 CCD의 이동이 불가능하여 주시거리를 조정할 수 있는 기능이 없지만, 고정된 CCD를 통해 촬상면에 맺히는 영상에서 관측물의 위치를 이동함으로써 CCD의 이동 효과를 얻을 수 있으므로 주시각 제어가 가능하게 된다.In parallel-axis stereoscopic cameras, such movement of CCD is not possible, so the viewing distance cannot be adjusted.However, the control of the viewing angle can be obtained by moving the position of the observation object in the image formed on the image plane through the fixed CCD. It becomes possible.
본 발명은 상기한 수평 이동축 입체 카메라에서의 CCD의 이동 효과를 신호처리 기법에 의해 구현하여 평행축 입체 카메라에서 수평 이동축 입체 카메라의 주시각 제어와 같은 효과를 볼 수 있게 하므로써, 실제 수평 이동축 입체 카메라를 만드는데 드는 비용과 복잡성을 줄일 수 있게 한다.The present invention realizes the effect of the CCD movement in the horizontal moving axis stereoscopic camera by a signal processing technique, so that the same effect as the control of the angle of view of the horizontal moving axis stereoscopic camera in the parallel axis stereoscopic camera can be seen. This reduces the cost and complexity of making an axial stereoscopic camera.
도 2 는 본 발명에 따른 신호처리를 이용한 주시각 제어 장치 및 그를 이용한 평행축 입체 카메라 시스템의 일실시예 구성도이다.2 is a block diagram of an embodiment of a control device using a signal processing according to the present invention and a parallel axis stereoscopic camera system using the same.
도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 신호처리를 이용한 주시각 제어 장치(210)는, 평행축 입체 카메라에 의해 촬상된 영상을 저장하고 있는 메모리(211)와, 상기 촬상 영상에서, 상기 카메라의 이동으로 인해 사라지는 부분(맺히지 않는 부분)을 수직 방향으로 제거하기 위한 수직 신호처리수단(212)과, 수직 신호처리수단(212)에 의해 수직방향으로 제거된 영상내 관측물의 상대적 위치 변화를 고려하여, 수직방향으로 제거된 영상과 동일한 비율로 영상의 상하에서 각각 같은 크기를 수평방향으로 제거하기 위한 수평 신호처리수단(213) 및 수직/수평 방향으로 각각 제거된 영상의 크기를 원래 영상의 크기로 복원하여, 수평 방향으로의 위치 이동 결과에 따른 주시각 제어를 이루는 보간수단(214)을 포함한다.As shown in FIG. 2, the vergence control device 210 using signal processing according to an embodiment of the present invention includes a memory 211 storing an image captured by a parallel axis stereoscopic camera, and the imaging. In the image, the vertical signal processing means 212 for removing in the vertical direction the portions disappearing due to the movement of the camera (212) and the observations in the image removed in the vertical direction by the vertical signal processing means 212 In consideration of the relative position change, the horizontal signal processing means 213 for removing the same size in the horizontal direction at the same ratio as the image removed in the vertical direction, and the size of the image removed in the vertical / horizontal direction, respectively The interpolation means 214 restores the original image to the size of the original image, and achieves a vergence control according to the result of the position shift in the horizontal direction.
이때, 평행축 입체 카메라(200)는 좌측 카메라(201)와 우측 카메라(202)를 가지며, 각각의 카메라로부터 촬영된 영상신호 및 발생된 동기신호가 신호처리 기법에 의한 주시각 제어 장치(210)로 제공되어, 주시각 제어 기능을 수행하게 된다.한편, 도면에 도시되지는 않았지만, 본 발명의 다른 실시예에 따른 신호처리를 이용한 주시각 제어 장치는, 평행축 입체 카메라에 의해 촬상된 영상을 저장하고 있는 메모리와, 상기 촬상 영상에서, 상기 카메라의 이동으로 인해 사라지는 부분(맺히지 않는 부분)을 수평 방향으로 제거하기 위한 수평 신호처리수단과, 수평 신호처리수단에 의해 수평방향으로 제거된 영상내 관측물의 상대적 위치 변화를 고려하여, 수평방향으로 제거된 영상과 동일한 비율로 영상의 좌우에서 각각 같은 크기를 수직방향으로 제거하기 위한 수직 신호처리수단 및 수평/수직 방향으로 각각 제거된 영상의 크기를 원래 영상의 크기로 복원하여, 수직 방향으로의 위치 이동 결과에 따른 주시각 제어를 이루는 보간수단을 포함한다.이때, 평행축 입체 카메라는 상측 카메라와 하측 카메라를 가지며, 각각의 카메라로부터 촬영된 영상신호 및 발생된 동기신호가 신호처리 기법에 의한 주시각 제어 장치로 제공되어, 주시각 제어 기능을 수행하게 된다.상기한 바와 같이, 상기 주시각 제어 장치의 일실시예에서는 수직방향의 신호처리를 먼저 수행한 후에 수평방향의 신호처리를 수행하는 예를 들어 설명하였으나, 반대로 다른 실시예에서와 같이 수평방향의 신호처리를 먼저 수행한 후에 수직방향의 신호처리를 수행토록 구현할 수도 있다.At this time, the parallel-axis stereoscopic camera 200 has a left camera 201 and a right camera 202, the video signal control and the generated synchronization signal from each of the cameras control the visual angle control device 210 by the signal processing technique Although not shown in the drawings, the apparatus for controlling the angle of view using signal processing according to another embodiment of the present invention may be configured to display an image captured by a parallel axis stereoscopic camera. Memory stored, horizontal signal processing means for removing in the horizontal direction a portion (non-clumping) which disappears due to the movement of the camera, and in the image removed horizontally by the horizontal signal processing means. In order to remove the same size in the vertical direction from the left and right of the image at the same ratio as the image removed in the horizontal direction, taking into account the change in the relative position of the observations. And interpolation means for restoring the size of the vertical signal processing means and the image respectively removed in the horizontal / vertical direction to the size of the original image to achieve the vergence control according to the result of the position shift in the vertical direction. The camera has an upper camera and a lower camera, and the image signal and the generated synchronization signal photographed from each camera are provided to the tilt control device using a signal processing technique to perform the tilt control function. In the embodiment of the apparatus for controlling the gaze angle, the signal processing in the horizontal direction is first performed after the signal processing in the vertical direction has been described first. However, the signal processing in the horizontal direction is performed first as in the other embodiments. After that, it may be implemented to perform vertical signal processing.
즉, 상기 본 발명에 따른 주시각 제어 장치(210)의 동작(수직방향의 신호처리를 먼저 수행한 후에 수평방향의 신호처리를 수행하는 과정)을 상세히 살펴보면 다음과 같다.That is, the operation (the process of performing the signal processing in the horizontal direction after performing the signal processing in the vertical direction first) of the vergence control device 210 according to the present invention will be described in detail as follows.
상기 평행축 입체 카메라(200)로부터 발생된 신호는 메모리(211)에 저장된 후, 수직신호 처리수단(212)에 입력된다. 이때, 수직신호 처리수단(212)은 CCD의 이동에 의해 나타나지 않게 될 영상의 영역을 계산하여 제거함으로써, 상대적으로 피사체가 좌측이나 우측으로 이동한 것과 같은 영상을 생성한다.The signal generated from the parallel axis stereoscopic camera 200 is stored in the memory 211 and then input to the vertical signal processing means 212. At this time, the vertical signal processing means 212 calculates and removes an area of the image that will not appear due to the movement of the CCD, thereby generating an image in which the subject is moved to the left or the right.
상기 수직신호 처리수단(212)에서 생성된 영상은 다시 수평신호 처리수단(213)으로 입력된다. 그러면, 수평신호 처리수단(213)은 수직신호 처리수단(212)에 의해 제거된 영상의 영역이 전체 영상에서 차지하는 비율에 따라 수평방향 영상의 영역을 계산하여 제거한다.The image generated by the vertical signal processing means 212 is input to the horizontal signal processing means 213 again. Then, the horizontal signal processing means 213 calculates and removes the area of the horizontal image according to the ratio of the area of the image removed by the vertical signal processing means 212 to the entire image.
이때 계산된, 제거되어야 할 수평방향 영상 영역의 크기는 상측과 하측에서 각각 1/2씩 제거되게 된다.반대로, 상기 본 발명에 따른 주시각 제어 장치의 동작(수평방향의 신호처리를 먼저 수행한 후에 수직방향의 신호처리를 수행하는 과정)을 상세히 살펴보면 다음과 같다.도면에는 도시되지 않았지만, 상기 평행축 입체 카메라로부터 발생된 신호는 메모리에 저장된 후, 수평신호 처리수단에 입력된다. 이때, 수평신호 처리수단은 CCD의 이동에 의해 나타나지 않게 될 영상의 영역을 계산하여 제거함으로써, 상대적으로 피사체가 상측이나 하측으로 이동한 것과 같은 영상을 생성한다.상기 수평신호 처리수단에서 생성된 영상은 다시 수직신호 처리수단으로 입력된다. 그러면, 수직신호 처리수단은 수평신호 처리수단에 의해 제거된 영상의 영역이 전체 영상에서 차지하는 비율에 따라 수직방향 영상의 영역을 계산하여 제거한다.이때 계산된, 제거되어야 할 수직방향 영상 영역의 크기는 상측과 하측에서 각각 1/2씩 제거되게 된다.In this case, the calculated size of the horizontal image area to be removed is removed by 1/2 from the upper side and the lower side, respectively. On the contrary, the operation of the vergence control device according to the present invention (the horizontal signal processing is performed first) A process of performing signal processing in the vertical direction later) will be described in detail as follows. Although not shown in the drawing, a signal generated from the parallel-axis stereoscopic camera is stored in a memory and then input to a horizontal signal processing means. At this time, the horizontal signal processing means calculates and removes an area of the image that will not appear due to the movement of the CCD, thereby generating an image such that the subject is moved upward or downward. Is again input to the vertical signal processing means. Then, the vertical signal processing means calculates and removes the area of the vertical image according to the ratio of the area of the image removed by the horizontal signal processing means to the entire image. The calculated size of the vertical image area to be removed at this time Are removed 1/2 each from the top and the bottom.
이렇게, 각각 수평방향/수직방향 신호처리된 영상은, 영상 내의 피사체의 크기에는 변함이 없으나 전체 영상 영역은 일정 비율로 축소되어 상대적으로 피사체의 크기가 크게 보이는 것과 같은 영상이 된다.In this way, the horizontally and vertically signaled images are not changed in the size of the subject in the image, but the entire image area is reduced to a certain ratio, so that the image of the subject is relatively large.
이러한 상기의 축소된 영상은 보간수단(214)을 거치면서 최초 영상의 크기에 맞춰 일정 비율로 확대되며, 여기서 얻어진 영상은 최초 영상에 비해 피사체의 크기는 확대되었으나, CCD의 이동에 의해 피사체가 이동한 것과 같은, 즉 주시각 제어된 것과 같은 영상이 된다.The reduced image is enlarged at a constant rate according to the size of the original image while passing through the interpolation means 214. The obtained image is enlarged in size compared to the original image, but the subject is moved by the movement of the CCD. It is the same image as one, i.e.
도 3 은 본 발명에 따른 신호처리를 이용한 평행축 입체 카메라의 주시각 제어 과정의 일실시예 설명도이다.3 is a diagram illustrating an embodiment of a vergence control process of a parallel axis stereoscopic camera using signal processing according to the present invention.
도 3 의 (a)는 평행축 입체 카메라에서 얻은 영상으로서, CCD의 이동에 의해 촬상면에 맺히지 않는 부분(검은 색 부분)을 제거하는 과정을 보여주고 있다. 제거하는 과정 후에는, 좌우 영상의 가운데에 위치하고 있던 물체의 위치가 상대적으로 좌측과 우측으로 이동된 것처럼 보인다.FIG. 3A illustrates an image obtained by a parallel-axis stereoscopic camera, and shows a process of removing a portion (black portion) that is not formed on the image pickup surface by the movement of the CCD. After the removal process, the position of the object located in the center of the left and right images seems to be moved to the left and right relatively.
실제 수평 이동축 카메라에서는 CCD를 이동함으로써 도 3 (a)의 사라지는 부분(검은 색 부분) 만큼 반대쪽으로 영상(점선으로 칠해진 부분)이 더 치우쳐 나타나므로 원래 크기가 유지되지만, 평행축 입체 카메라를 이용할 경우에는 CCD가 고정되어 있으므로 크기 유지가 불가능하다. 이를 보완하기 위해서는 영상의 크기를 원래 영상의 크기로 만들어 주는 과정이 필요하다.In the real horizontal axis camera, the original size is maintained because the image (dotted line) appears to be shifted to the opposite side as the disappearing part (black part) of FIG. 3 (a) by moving the CCD, but the parallel axis stereoscopic camera is used. In this case, it is impossible to maintain the size because the CCD is fixed. To compensate for this, it is necessary to make the size of the image the size of the original image.
도 3 의 (b)는 수직 방향으로 제거된 영상과 같은 비율로 수평 방향의 영상을 제거하는 과정으로, 영상의 상하에서 각각 같은 크기를 제거한다. 이것은 원래 영상에서의 사물들의 수직/수평 비율을 유지하기 위해 반드시 필요한 과정이다.3 (b) is a process of removing an image in the horizontal direction at the same rate as the image removed in the vertical direction, and removes the same size at the top and bottom of the image, respectively. This is necessary to maintain the vertical / horizontal ratio of objects in the original image.
도 3 의 (c)는 수직/수평 방향으로 각각 제거된 영상으로서 영상 내의 물체의 크기는 변함이 없으나 전체 영상의 크기는 줄어들어 있다.3 (c) is an image removed in the vertical / horizontal direction, respectively, but the size of the object in the image does not change, but the size of the entire image is reduced.
도 3 의 (d)는 보간을 통해서 원래 영상의 크기가 되도록 도 3 의 (c)에 있는 영상을 확대한 것이다. 이 경우에 영상의 크기는 원래 영상의 크기와 같게 되지만, 영상 내의 사물들은 전체적으로 확대된 효과가 나타나게 된다.FIG. 3D is an enlarged view of the image of FIG. 3C so as to have the size of the original image through interpolation. In this case, the size of the image is the same as the size of the original image, but the objects in the image are enlarged.
즉, CCD의 이동 효과를 신호처리를 통해 구현하는 과정에서 CCD의 이동에 의해서 촬상면에 맺히지 않는 부분을 제거하고 원래의 영상 크기로 다시 확대를 하여야 하므로, 저대역 필터링으로 인한 화질의 열화가 발생한다.That is, in the process of implementing the CCD shifting effect through signal processing, the portion that is not formed on the image pickup surface due to the shifting of the CCD must be removed and then expanded to the original image size, resulting in deterioration of image quality due to low-band filtering. .
그러나, 실제로 수평 이동축 카메라에서의 CCD의 이동량은 크지 않기 때문에, 평행축 입체 카메라를 통해서 얻은 영상을 이용하여 수평 이동축에서의 CCD 이동 효과를 구현하더라도 화질의 열화는 그렇게 크지 않다.However, since the amount of movement of the CCD in the horizontal moving axis camera is not large, the image quality deterioration is not so great even if the CCD moving effect is realized on the horizontal moving axis by using the image obtained through the parallel axis stereoscopic camera.
도 4 는 본 발명에 따른 신호처리를 이용한 주시각 제어 방법에 대한 일실시예 흐름도이다.4 is a flowchart illustrating a gaze control method using signal processing according to the present invention.
도 4에 도시된 바와 같이, 먼저 평행축 입체 카메라에 의해 촬상된 영상을 입력받아 메모리(211)에 저장한다(410).As shown in FIG. 4, first, an image captured by a parallel axis stereoscopic camera is received and stored in the memory 211 (410).
이후, 메모리(211)에 저장된 촬상 영상에 대하여 카메라의 이동으로 인해 사라지는 부분(맺히지 않는 부분)을 수직방향으로 제거한다(420). 즉, 영상 센서의 이동에 의해 나타나지 않게 될 수직방향 영상의 영역을 계산하여 제거한다.Subsequently, the portion disappearing due to the movement of the camera (not part) is removed in the vertical direction with respect to the captured image stored in the memory 211 (420). That is, the area of the vertical image, which will not appear due to the movement of the image sensor, is calculated and removed.
이후, 수직방향으로 제거된 영상내 관측물의 상대적 위치 변화를 고려하여, 수직방향으로 제거된 영상과 동일한 비율로 영상의 상하에서 각각의 같은 크기를 수평방향으로 제거한다(430). 즉, 상기 계산에 의해 제거된 수직방향 영상의 영역이 전체 영상에서 차지하는 비율에 따라 수평방향 영상의 영역을 계산하여 제거한다.Subsequently, in consideration of the change in the relative position of the observations in the image removed in the vertical direction, the same size is removed in the horizontal direction from the top and the bottom of the image at the same ratio as the image removed in the vertical direction (430). That is, the area of the horizontal image is calculated and removed according to the ratio of the area of the vertical image removed by the calculation to the entire image.
이후, 상기 수평방향 신호처리된 영상을 입력받아 원래의 크기로 보간하므로써 주시각 제어를 수행한다(440). 즉, 수직/수평 방향으로 신호처리된 영상을 최초 영상의 크기에 맞춰 각각의 방향에 대해 일정 비율로 확대하므로써, 주시각 제어 효과가 나타나도록 한다.Subsequently, the vergence control is performed by receiving the horizontal signal processed image and interpolating to the original size (440). That is, by expanding the image processed in the vertical / horizontal direction by a certain ratio in each direction in accordance with the size of the original image, the viewing angle control effect is displayed.
한편, 상기의 일실시예에서는 수직방향의 신호처리를 먼저 수행한 후에 수평방향의 신호처리를 수행하는 예를 들어 설명하였으나, 반대로 다른 실시예에서는 수평방향의 신호처리를 먼저 수행한 후에 수직방향의 신호처리를 수행토록 구현할 수도 있다.즉, 상기의 주시각 제어 방법의 동작 과정을 다른 실시예를 들어 상세히 살펴보면 다음과 같다.도면에는 도시되지 않았지만, 먼저 평행축 입체 카메라에 의해 촬상된 영상을 입력받아 메모리에 저장한다.이후, 메모리에 저장된 촬상 영상에 대하여 카메라의 이동으로 인해 사라지는 부분(맺히지 않는 부분)을 수평방향으로 제거한다. 즉, 영상 센서의 이동에 의해 나타나지 않게 될 수평방향 영상의 영역을 계산하여 제거한다.이후, 수평방향으로 제거된 영상내 관측물의 상대적 위치 변화를 고려하여, 수평방향으로 제거된 영상과 동일한 비율로 영상의 좌우에서 각각의 같은 크기를 수직방향으로 제거한다. 즉, 상기 계산에 의해 제거된 수평방향 영상의 영역이 전체 영상에서 차지하는 비율에 따라 수직방향 영상의 영역을 계산하여 제거한다.이후, 상기 수직방향 신호처리된 영상을 입력받아 원래의 크기로 보간하므로써 주시각 제어를 수행한다. 즉, 수평/수직 방향으로 신호처리된 영상을 최초 영상의 크기에 맞춰 각각의 방향에 대해 일정 비율로 확대하므로써, 주시각 제어 효과가 나타나도록 한다.Meanwhile, in the above embodiment, the signal processing in the horizontal direction is performed after the signal processing in the vertical direction is performed first, but in the other embodiment, the signal processing in the horizontal direction is performed in the vertical direction after performing the signal processing in the horizontal direction first. In other words, the operation process of the above-described gaze control method will be described in detail with reference to another embodiment as follows. Although not illustrated, first, an image captured by a parallel axis stereoscopic camera is input. The image is stored in the memory. After that, the portion disappearing (moving) due to the camera movement is removed in the horizontal direction with respect to the captured image stored in the memory. In other words, the area of the horizontal image, which will not appear due to the movement of the image sensor, is calculated and removed. Subsequently, in consideration of the change in the relative position of the observations in the image removed in the horizontal direction, the image is removed at the same ratio as the image removed in the horizontal direction. Remove the same size in the vertical direction from the left and right of the image. That is, the area of the vertical image is calculated and removed according to the ratio of the area of the horizontal image removed by the calculation to the entire image. Subsequently, by receiving the vertical signal processed image and interpolating to the original size Perform vertex control. That is, by expanding the image processed in the horizontal / vertical direction at a predetermined ratio in each direction in accordance with the size of the original image, the viewing angle control effect is displayed.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.As described above, the method of the present invention may be implemented as a program and stored in a recording medium (CD-ROM, RAM, ROM, floppy disk, hard disk, magneto-optical disk, etc.) in a computer-readable form.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.The present invention described above is not limited to the above-described embodiments and the accompanying drawings, and various substitutions, modifications, and changes are possible in the art without departing from the technical spirit of the present invention. It will be apparent to those of ordinary knowledge.
상기와 같은 본 발명은, 평행축 입체 카메라의 단점인 주시각 제어의 문제를 간단한 신호처리 기법의 도입으로 해결하므로써, 입체 카메라 중에 구현이 가장 간단한 평행축 입체 카메라를 사용하여 수평 이동축 입체 카메라와 같은 영상을 얻을 수 있는 효과가 있다.As described above, the present invention solves the problem of the control of the viewing angle, which is a disadvantage of the parallel axis stereoscopic camera, by introducing a simple signal processing technique. It is effective to get the same image.
Claims (21)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2000-0067081A KR100392381B1 (en) | 2000-11-13 | 2000-11-13 | Method and apparatus controlling the disparity of objects in images and a parallel-axis stereo camera system using the apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2000-0067081A KR100392381B1 (en) | 2000-11-13 | 2000-11-13 | Method and apparatus controlling the disparity of objects in images and a parallel-axis stereo camera system using the apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20020037097A KR20020037097A (en) | 2002-05-18 |
| KR100392381B1 true KR100392381B1 (en) | 2003-07-22 |
Family
ID=19698576
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2000-0067081A KR100392381B1 (en) | 2000-11-13 | 2000-11-13 | Method and apparatus controlling the disparity of objects in images and a parallel-axis stereo camera system using the apparatus |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100392381B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9842400B2 (en) | 2015-01-27 | 2017-12-12 | Samsung Electronics Co., Ltd. | Method and apparatus for determining disparity |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100430528B1 (en) * | 2002-07-09 | 2004-05-10 | 한국전자통신연구원 | Vergence control apparatus using oversampling and variable addressing technique and method thereof, and parallel-axis stereo camera system using the same apparatus |
| KR100739730B1 (en) * | 2005-09-03 | 2007-07-13 | 삼성전자주식회사 | Apparatus and method for processing 3D dimensional picture |
| KR101185870B1 (en) | 2005-10-12 | 2012-09-25 | 삼성전자주식회사 | Apparatus and method for processing 3 dimensional picture |
| KR100726933B1 (en) * | 2006-02-15 | 2007-06-14 | 주식회사 이시티 | Image signal processing method for auto convergence control method of two fixed cameras |
| KR100809049B1 (en) * | 2006-03-21 | 2008-03-03 | 한국방송공사 | Method and apparatus for controlling zoom-convergence interlock in parallel axis typed stereo camera system |
| KR100778085B1 (en) * | 2007-03-14 | 2007-11-22 | 주식회사 이시티 | Signal processing method and equipment of stereoscopic images for controlling convergence of stereoscopic camera |
| KR101271514B1 (en) * | 2009-12-11 | 2013-06-07 | 한국전자통신연구원 | Module for 3d camera |
| KR100971730B1 (en) * | 2010-04-15 | 2010-07-21 | (주)에이직뱅크 | Parallel axis stereoscopic camera |
| WO2019041035A1 (en) | 2017-08-30 | 2019-03-07 | Innovations Mindtrick Inc. | Viewer-adjusted stereoscopic image display |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS59192239A (en) * | 1983-04-15 | 1984-10-31 | Sony Corp | Stereoscopic image pickup device |
| KR950007577A (en) * | 1993-08-26 | 1995-03-21 | 마쯔시다덴기산교 가부시기가이샤 모리시타 요이찌 | Stereoscopic imaging and display device |
| JPH07325924A (en) * | 1994-06-02 | 1995-12-12 | Canon Inc | Compound eye image pickup device |
| WO1999030508A1 (en) * | 1997-12-05 | 1999-06-17 | Mcgill University | Stereoscopic gaze controller |
| US6088006A (en) * | 1995-12-20 | 2000-07-11 | Olympus Optical Co., Ltd. | Stereoscopic image generating system for substantially matching visual range with vergence distance |
| KR20020021707A (en) * | 2000-09-16 | 2002-03-22 | 이용범 | Dual lens stereo camera |
-
2000
- 2000-11-13 KR KR10-2000-0067081A patent/KR100392381B1/en not_active IP Right Cessation
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS59192239A (en) * | 1983-04-15 | 1984-10-31 | Sony Corp | Stereoscopic image pickup device |
| KR950007577A (en) * | 1993-08-26 | 1995-03-21 | 마쯔시다덴기산교 가부시기가이샤 모리시타 요이찌 | Stereoscopic imaging and display device |
| JPH07325924A (en) * | 1994-06-02 | 1995-12-12 | Canon Inc | Compound eye image pickup device |
| US6088006A (en) * | 1995-12-20 | 2000-07-11 | Olympus Optical Co., Ltd. | Stereoscopic image generating system for substantially matching visual range with vergence distance |
| WO1999030508A1 (en) * | 1997-12-05 | 1999-06-17 | Mcgill University | Stereoscopic gaze controller |
| KR20020021707A (en) * | 2000-09-16 | 2002-03-22 | 이용범 | Dual lens stereo camera |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9842400B2 (en) | 2015-01-27 | 2017-12-12 | Samsung Electronics Co., Ltd. | Method and apparatus for determining disparity |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20020037097A (en) | 2002-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5414947B2 (en) | Stereo camera | |
| JP5963422B2 (en) | Imaging apparatus, display apparatus, computer program, and stereoscopic image display system | |
| JP3157384B2 (en) | 3D image device | |
| KR0153214B1 (en) | Stereoscopic image pick-up and display apparatus | |
| JP3653790B2 (en) | 3D electronic zoom device and 3D image quality control device | |
| EP2357841B1 (en) | Method and apparatus for processing three-dimensional images | |
| KR100739730B1 (en) | Apparatus and method for processing 3D dimensional picture | |
| US6031564A (en) | Method and apparatus for monoscopic to stereoscopic image conversion | |
| JP3089306B2 (en) | Stereoscopic imaging and display device | |
| JP5320524B1 (en) | Stereo camera | |
| JP5204350B2 (en) | Imaging apparatus, playback apparatus, and image processing method | |
| CN108141578B (en) | Presentation camera | |
| JP5204349B2 (en) | Imaging apparatus, playback apparatus, and image processing method | |
| JPH07287761A (en) | Device and method for processing picture | |
| KR20150096529A (en) | Zero disparity plane for feedback-based three-dimensional video | |
| JPH08115439A (en) | Picture data processor and picture reproduction device | |
| KR100392381B1 (en) | Method and apparatus controlling the disparity of objects in images and a parallel-axis stereo camera system using the apparatus | |
| JPH11508058A (en) | Method and system for obtaining automatic stereoscopic images | |
| JP3452244B2 (en) | Three-dimensional display method and apparatus | |
| JPWO2011070774A1 (en) | 3D video processing apparatus and 3D video processing method | |
| JPH07129792A (en) | Method and device for image processing | |
| JPH0937302A (en) | Stereoscopic image pickup device | |
| JPH0865715A (en) | Method and device for stereoscopic video display | |
| KR100597587B1 (en) | The apparatus and method for vergence control of a parallel-axis stereo camera system using compensated image signal processing | |
| JP5741353B2 (en) | Image processing system, image processing method, and image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20080701 Year of fee payment: 6 |
|
| LAPS | Lapse due to unpaid annual fee |