KR101158492B1 - Vergence Control Method using picture division and Stereoscopic Camera using the same - Google Patents
Vergence Control Method using picture division and Stereoscopic Camera using the same Download PDFInfo
- Publication number
- KR101158492B1 KR101158492B1 KR1020100058188A KR20100058188A KR101158492B1 KR 101158492 B1 KR101158492 B1 KR 101158492B1 KR 1020100058188 A KR1020100058188 A KR 1020100058188A KR 20100058188 A KR20100058188 A KR 20100058188A KR 101158492 B1 KR101158492 B1 KR 101158492B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- divided
- binocular disparity
- region
- regions
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Abstract
화면 분할을 통한 주시각 제어 방법 및 이를 이용한 입체 카메라가 제공된다.
본 발명의 실시예에 따른 화면 분할을 통한 주시각 제어 방법은, 입체 카메라에 의해 획득된 좌우 영상의 각각에 대해 일정 크기의 영역으로 분할하는 단계; 상기 좌우 영상의 분할된 영역마다 상관계수(correlation)를 추출하여 좌영상의 분할된 영역과 우영상의 분할된 영역 사이의 양안시차를 산출하는 단계; 상기 산출된 양안시차를 상기 영역마다 독립적으로 조정하여 주시각을 제어하는 단계를 포함한다.
본 발명의 실시예에 따른 화면 분할을 통한 주시각 제어 방법 및 이를 이용한 입체 카메라에 의하면, 입체 카메라에 의해 획득된 좌우 영상의 각각에 대해 일정 크기의 영역으로 분할하고 분할된 영역의 양안시차를 해당 영역에 최적인 값으로 자동 조정함으로써 영상의 전 영역에 대해 영상의 안정성과 품질을 확보할 수 있으며, 입체 카메라의 입체감 조정 기간을 단축할 수 있다. Provided are a perspective control method through screen division and a stereoscopic camera using the same.
According to an embodiment of the present invention, a method of controlling a gaze angle by splitting a screen may include: dividing a left and right image obtained by a stereoscopic camera into regions having a predetermined size; Calculating a binocular disparity between the divided region of the left image and the divided region of the right image by extracting a correlation coefficient for each divided region of the left and right images; And controlling the viewing angle by adjusting the calculated binocular disparity independently for each of the regions.
According to a method of controlling a viewing angle through screen division and a stereoscopic camera using the same according to an embodiment of the present invention, the left and right images obtained by the stereoscopic camera are divided into regions having a predetermined size, and the binocular disparity of the divided regions is corresponding. By automatically adjusting to the optimal value for the area, the stability and quality of the image can be secured for the entire area of the image, and the stereoscopic adjustment period of the stereoscopic camera can be shortened.
Description
본 발명은 입체 카메라의 주시각 제어 기술에 관한 것으로서, 더욱 상세하게는, 입체 카메라에 의해 획득된 좌우 영상의 각각에 대해 일정 크기의 영역으로 분할하고 분할된 영역의 양안시차를 독립적으로 조정함으로써 영상의 전 영역에 대해 주시각 제어를 수행할 수 있는, 화면 분할을 통한 주시각 제어 방법 및 이를 이용한 입체 카메라에 관한 것이다. The present invention relates to a technique for controlling the angle of view of a stereoscopic camera, and more particularly, an image by dividing a left and right image obtained by a stereoscopic camera into regions of a predetermined size and independently adjusting binocular disparity of the divided regions. The present invention relates to a perspective control method through screen division and a stereoscopic camera using the same, capable of performing gaze control over all areas of the apparatus.
입체 카메라에서 두 대의 카메라가 주 관심 대상 물체를 바라보는 카메라 사이의 각을 주시각이라 하며, 획득된 좌우 영상에서 물체의 동일한 한 지점이 좌측 영상에 맺힌 위치와 우측 영상에 맺힌 위치의 차이를 양안시차(disparity)라 한다. 또한, 인간의 눈과 같이 물체의 움직임, 거리 변화 및 배경의 변화와 관계없이 카메라 광축의 기하학적 위치를 능동적으로 바꾸어 관측 물체에 대한 양안시차를 일정하게 유지하는 것을 주시각 제어라 한다. In three-dimensional cameras, the angle between two cameras looking at the main object of interest is called the visual angle. This is called disparity. In addition, maintaining the binocular disparity with respect to an observation object by actively changing the geometric position of the camera optical axis regardless of the movement of the object, the change of the distance, and the background, such as the human eye, is called gaze control.
입체 카메라에서 획득된 영상 내에 포커싱되는 지점의 양안시차가 일정하지 않을 경우 관찰자는 상당한 시각적 피로감을 느끼게 되어 영상을 장시간 관측할 수 없게 된다. 자연스러운 3차원 입체 영상을 얻어 관측자가 시각적인 피로감을 느끼지 않으며 장시간 관측할 수 있도록 하기 위해서는 획득되는 영상에서의 주 관심 목표의 양안시차가 일정하여야 한다. 그러므로, 입체 카메라는 움직이는 관측 물체에 대한 양안시차를 항상 일정하게 유지하여 입체 영상 관측자에게 자연스럽고 시각적 피로감을 느끼지 않는 3차원 입체 영상을 제공할 수 있도록 주시각을 제어하여야 한다. 즉, 관측물체의 거리변화에 관계없이 획득된 좌우 영상에서 양안시차를 0 또는 임의의 일정한 값을 갖도록 하여 눈의 피로를 최소화할 수 있는 입체 영상을 얻어야 한다. If the binocular disparity of the point focused in the image acquired by the stereoscopic camera is not constant, the observer feels a considerable visual fatigue and cannot observe the image for a long time. In order to obtain a natural 3D stereoscopic image so that the observer can observe for a long time without visual fatigue, the binocular disparity of the target of interest in the acquired image must be constant. Therefore, the stereoscopic camera must control the viewing angle so that the binocular disparity of the moving observation object is always kept constant so that the stereoscopic viewer can provide a 3D stereoscopic image without a natural visual fatigue. In other words, stereoscopic images should be obtained to minimize eye strain by having binocular disparity of 0 or any constant value in the left and right images obtained regardless of the distance change of the object.
입체 카메라를 이용한 시스템은 원격 의료, 자동 주행, 산업자동화 시스템, 이동 물체 추적 등의 다양한 기술 분야에 적용될 수 있는 바, 입체 카메라의 주시각 제어 연구의 궁극적 목표는 사람의 눈과 유사한 시각 장치를 개발하는 것이라 할 수 있다. The system using the stereoscopic camera can be applied to various technical fields such as telemedicine, automatic driving, industrial automation system, moving object tracking, etc. The ultimate goal of the perspective control research of the stereoscopic camera is to develop a visual device similar to the human eye. It can be said.
하지만, 종래의 주시각 제어에 대한 기술들은 입체 카메라의 양안시차 조정을 함에 있어서, 사람의 눈과 데이터에 의지하여 조정하였으며, 획득된 영상 내에서 주 관심 대상 물체의 위치는 고려하지 않고 주로 중앙 부근의 위치에 대해서만 양안시차를 조정함으로써 획득된 3차원 입체 영상의 왜곡이 발생된다는 문제가 있었다. However, in the conventional perspective control techniques, the binocular disparity adjustment of the stereoscopic camera is adjusted based on the human eye and data, and is mainly taken near the center without considering the position of the main object of interest in the acquired image. There was a problem that distortion of the 3D stereoscopic image obtained by adjusting binocular disparity only for the position of.
따라서, 상술한 문제점을 해결하기 위하여 본 발명이 해결하고자 하는 과제는, 입체 카메라에 의해 획득된 좌우 영상의 각각에 대해 일정 크기의 영역으로 분할하고 분할된 영역의 양안시차를 해당 영역에 최적인 값으로 자동 조정함으로써 영상의 전 영역에 대해 영상의 안정성과 품질을 확보할 수 있는, 화면 분할을 통한 주시각 제어 방법 및 이를 이용한 입체 카메라를 제공하는 것이다. Therefore, the problem to be solved by the present invention to solve the above-described problem is to divide each of the left and right images obtained by the three-dimensional camera into a region of a certain size and the binocular disparity of the divided region is the optimal value for the region The present invention provides a perspective control method through screen division and a stereoscopic camera using the same, which can secure stability and quality of an image for all areas of an image by automatically adjusting the same.
또한, 본 발명이 해결하고자 하는 다른 과제는, 입체 카메라에 의해 획득된 좌우 영상의 양안시차를 분할된 영역 별로 신속히 조정함으로써 입체 카메라의 입체감 조정 기간을 단축할 수 있는, 화면 분할을 통한 주시각 제어 방법 및 이를 이용한 입체 카메라를 제공하는 것이다. In addition, another problem to be solved by the present invention, by adjusting the binocular disparity of the left and right images obtained by the three-dimensional camera for each divided area, it is possible to shorten the three-dimensional adjustment period of the stereoscopic camera, the perspective control through the screen division A method and a stereo camera using the same are provided.
본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Problems to be solved by the present invention are not limited to the above-mentioned problems, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.
전술한 기술적 과제를 달성하기 위한 본 발명의 실시예에 따른 화면 분할을 통한 주시각 제어 방법은, 입체 카메라에 의해 획득된 좌우 영상의 각각에 대해 일정 크기의 영역으로 분할하는 단계; 상기 좌우 영상의 분할된 영역마다 상관계수(correlation)를 추출하여 좌영상의 분할된 영역과 우영상의 분할된 영역 사이의 양안시차를 산출하는 단계; 상기 산출된 양안시차를 상기 영역마다 독립적으로 조정하여 주시각을 제어하는 단계를 포함한다. According to another aspect of the present invention, there is provided a method of controlling a vergence by splitting a screen into regions having a predetermined size for each of left and right images obtained by a stereoscopic camera; Calculating a binocular disparity between the divided region of the left image and the divided region of the right image by extracting a correlation coefficient for each divided region of the left and right images; And controlling the viewing angle by adjusting the calculated binocular disparity independently for each of the regions.
또한, 본 발명의 다른 실시예에 따른 화면 분할을 통한 주시각 제어 방법을 이용한 입체 카메라는, 입체 카메라에 의해 획득된 좌우 영상의 각각에 대해 일정 크기의 영역으로 분할하는 영역 분할부; 상기 좌우 영상의 분할된 영역마다 상관계수(correlation)를 추출하여 좌영상의 분할된 영역과 우영상의 분할된 영역 사이의 양안시차를 산출하는 양안시차 산출부; 상기 산출된 양안시차를 상기 영역마다 독립적으로 조정하여 주시각을 제어하는 주시각 제어부를 포함한다. In addition, the stereoscopic camera using the vergence control method through screen division according to another embodiment of the present invention, an area divider for dividing each of the left and right images obtained by the stereoscopic camera into a predetermined size area; A binocular disparity calculator configured to calculate a binocular disparity between the divided region of the left image and the divided region of the right image by extracting a correlation coefficient for each divided region of the left and right images; And a vergence controller configured to control the vergence angle by independently adjusting the calculated binocular disparity for each of the regions.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Specific details of other embodiments are included in the detailed description and the drawings.
상기한 바와 같은 본 발명의 실시예에 따른 화면 분할을 통한 주시각 제어 방법 및 이를 이용한 입체 카메라에 의하면, 다음과 같은 효과가 적어도 하나 이상 존재한다. According to the method of controlling a viewing angle through screen division and a stereoscopic camera using the same according to an embodiment of the present invention as described above, at least one of the following effects exists.
첫째, 입체 카메라에 의해 획득된 좌우 영상의 각각에 대해 일정 크기의 영역으로 분할하고 분할된 영역의 양안시차를 해당 영역에 최적인 값으로 자동 조정함으로써 영상의 전 영역에 대해 영상의 안정성과 품질을 확보할 수 있다. First, by dividing the left and right images acquired by the stereoscopic camera into a certain sized area and automatically adjusting the binocular disparity of the divided areas to an optimal value for the corresponding area, the stability and quality of the image are improved for all areas of the image. It can be secured.
둘째, 입체 카메라에 의해 획득된 좌우 영상의 양안시차를 분할된 영역 별로 신속히 조정함으로써 입체 카메라의 입체감 조정 기간을 단축할 수 있다. Second, by adjusting the binocular disparity of the left and right images obtained by the stereoscopic camera for each divided region, it is possible to shorten the stereoscopic adjustment period of the stereoscopic camera.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다. The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the description of the claims.
도 1은 본 발명의 실시예에 따른 화면 분할을 통한 주시각 제어 방법의 전체 흐름도이다.
도 2는 본 발명의 실시예에 따른 화면 분할을 통한 주시각 제어 방법을 이용한 입체 카메라의 전체 구성도이다.
도 3은 본 발명의 실시예에 따른 입체 카메라에 의해 획득된 좌우 영상의 분할된 영역에 대해 양안시차를 조정한 후 3차원 입체 영상을 생성하는 과정을 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 화면 분할을 통한 주시각 제어 방법을 적용하기 전의 영상과 적용한 후의 영상을 비교한 도면이다. 1 is a flowchart illustrating a gaze control method through screen division according to an exemplary embodiment of the present invention.
2 is an overall configuration diagram of a stereoscopic camera using a vergence control method through screen division according to an embodiment of the present invention.
3 is a diagram illustrating a process of generating a 3D stereoscopic image after adjusting binocular disparity with respect to a divided region of a left and right image obtained by a stereoscopic camera according to an exemplary embodiment of the present invention.
FIG. 4 is a view comparing an image before and an image before applying the gaze control method through screen division according to an exemplary embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. Advantages and features of the present invention and methods for achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be embodied in various different forms, and the present embodiments merely make the disclosure of the present invention complete, and are common in the art to which the present invention pertains. It is provided to fully inform those skilled in the art of the scope of the invention, which is to be defined only by the scope of the claims.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다. 다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.The terminology used herein is for the purpose of illustrating embodiments and is not intended to be limiting of the present invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. As used herein, “comprises” and / or “comprising” refers to the presence of one or more other components, steps, operations and / or elements. Or does not exclude additions. Unless otherwise defined, all terms (including technical and scientific terms) used in the present specification may be used in a sense that can be commonly understood by those skilled in the art. Like reference numerals refer to like elements throughout.
이하, 본 발명을 보다 구체적으로 설명하기 위하여 본 발명에 따른 실시예들을 첨부 도면을 참조하면서 보다 상세하게 설명하고자 한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings in order to describe the present invention in more detail.
도 1은 본 발명의 실시예에 따른 화면 분할을 통한 주시각 제어 방법의 전체 흐름도이다. 1 is a flowchart illustrating a gaze control method through screen division according to an exemplary embodiment of the present invention.
먼저, 입체 카메라에 의해 획득된 좌우 영상의 각각에 대해 일정 크기의 영역으로 분할하는 단계를 수행한다(S100). First, a step of dividing each of the left and right images obtained by the stereoscopic camera into regions of a predetermined size is performed (S100).
3차원 입체 영상을 획득하기 위해서는 크게 한 대의 깊이 카메라를 이용해 촬영된 영상을 획득하는 방법과 한 대 이상의 카메라를 통해 영상을 획득하는 방법으로 나눌 수 있다. 한 대의 깊이 카메라를 이용한 영상 획득 기술은, 한 대의 카메라에 깊이 센서를 추가시켜 오류 없이 실시간 깊이 지도를 생성하고 이를 이용하여 모델 기반 입체 영상을 획득할 수 있는 방식이다. 한 대 이상의 카메라를 통한 영상 획득 기술은 여러 대의 카메라를 통해 획득된 영상들을 기하학적으로 교정하거나 공간적인 합성 등을 통하여 인위적으로 입체감을 느끼게 한 뒤 이를 영상으로 합성하는 방법인데, 여기에는 3대 이상의 카메라를 사용하는 다안식 입체 카메라와 두 대의 카메라를 사용하는 양안식 입체 카메라가 존재한다. 특히, 양안식 입체 카메라를 배치하는 방법에는 두 대의 카메라를 인간의 양쪽 눈 사이의 간격과 비슷한 거리만큼 광축이 평행이 되도록 배치하며 카메라가 움직이지 않도록 고정시켜 영상을 획득하는 평행식 방법과, 두 카메라가 서로 교차되며 좌우로 회전할 수 있도록 하여 입체 영상을 획득하는 교차식 방법으로 나눌 수 있다. To obtain a 3D stereoscopic image, it can be divided into a method of acquiring an image captured by using a depth camera and a method of acquiring an image through one or more cameras. Image acquisition technology using a single depth camera is a method of generating a real-time depth map without error by adding a depth sensor to a single camera and using the same to acquire a model-based stereoscopic image. Image acquisition technology using more than one camera is a method of artificially making three-dimensional images through geometric correction or spatial synthesis, and then composing them into images. There is a binocular stereoscopic camera using a binocular stereoscopic camera using two cameras. In particular, the binocular stereoscopic camera is arranged in such a way that two cameras are arranged in parallel so that the optical axes are parallel by a distance similar to the distance between both eyes of a human, and a parallel method of acquiring an image by fixing the camera so as not to move. It can be divided into a crossover method of acquiring a stereoscopic image by allowing the cameras to cross each other and rotate left and right.
본 발명의 실시예에서는 양안식 입체 카메라에 의해 획득되는 좌우 영상에 대해 각각 영역 분할을 하는 것으로 한다. 기존에는 주로 영상의 중앙 부분을 중심으로 양안시차가 조정되었기에 영상의 전 영역에 대해 균일한 영상 품질이 확보되지 않았으나, 본 발명의 실시예에서는 영상의 중앙 부분 뿐 아니라 주변 부분에 대해서도 양안시차를 조정하여 영상의 전 영역에 대해 균일한 품질을 확보하기 위해 영상을 일정 크기의 블록으로 분할할 수 있다. 분할의 크기는 2*2, 2*3, 3*3, 3*4, 3*5, 4*6 등 임의적으로 지정할 수 있다. In the embodiment of the present invention, it is assumed that the left and right images obtained by the binocular stereoscopic camera are respectively divided. Conventionally, since binocular disparity was mainly adjusted around the center of the image, uniform image quality was not secured for the entire area of the image. However, in the embodiment of the present invention, binocular disparity is adjusted not only for the center portion but also for the peripheral portion of the image. Thus, the image may be divided into blocks of a predetermined size in order to ensure uniform quality of the entire area of the image. The size of the partition can be arbitrarily specified as 2 * 2, 2 * 3, 3 * 3, 3 * 4, 3 * 5, 4 * 6.
다음으로, 상기 좌우 영상의 분할된 영역마다 상관계수(correlation)를 추출하여 좌영상의 분할된 영역과 우영상의 분할된 영역 사이의 양안시차를 산출하는 단계를 수행한다(S200). Next, a correlation coefficient is extracted for each divided region of the left and right images to calculate binocular disparity between the divided region of the left image and the divided region of the right image (S200).
즉, 좌영상의 분할된 영역과 이에 대응되는 우영상의 분할된 영역에 대해 correlation 연산을 하는데, 이 때 좌영상과 우영상이 일치되는 위치에서 correlation 결과의 최대값이 생성되므로 그 위치값을 양안시차로 산출할 수 있다. 또한, 양안시차가 산출되는 각 블록 내의 위치는 연산의 편의상 분할된 영역의 중앙 지점으로 한다. In other words, a correlation operation is performed on the segmented region of the left image and the segmented region of the right image corresponding to it. At this time, the maximum value of the correlation result is generated at the position where the left image and the right image coincide. Can be calculated by parallax. In addition, the position in each block in which binocular disparity is calculated is taken as the center point of the divided area for the convenience of operation.
그리고, 각 분할된 영역마다 산출된 양안시차의 값을 각 영역마다 독립적으로 조정하여 주시각을 제어하는 단계를 수행한다(S300). Then, the step of controlling the gaze angle is performed by independently adjusting the value of the binocular disparity calculated for each divided region for each region (S300).
양안시차의 값을 조정하기 위해서는 좌영상의 분할된 영역과 우영상의 분할된 영역을 프레임 버퍼 상에서 수직 또는 수평 방향의 오프셋 값만큼 얼라인하여 양안시차를 0 또는 일정한 값으로 조정하여야 한다. In order to adjust the value of binocular disparity, the binocular disparity should be adjusted to zero or a constant value by aligning the divided region of the left image and the divided region of the right image by an offset value in the vertical or horizontal direction on the frame buffer.
마지막으로, 상기 양안시차가 조정된 좌영상의 분할된 영역과 우영상의 분할된 영역을 결합하여 3차원 분할 영역을 생성한 다음에 상기 생성된 3차원 분할 영역을 모두 결합하여 전체 3차원 입체 영상을 생성하는 단계를 수행한다(S400). Finally, a three-dimensional segmented area is generated by combining the divided region of the left image and the right image of which the binocular disparity is adjusted, and then combining the generated three-dimensional segmented regions to form a full three-dimensional stereoscopic image. Performs a step of generating (S400).
전술한 도 1의 과정을 도 3을 통하여 도식적으로 살펴보기로 한다. The process of FIG. 1 described above will be described schematically with reference to FIG. 3.
상기 도 3을 참조하면, 양안시차 조정 전의 왼쪽 영상(310)과 오른쪽 영상(320)의 각각에 대해 영역 분할을 한 후에 양안시차를 산출하고, 산출된 양안시차를 0 또는 일정한 값으로 조정하는 주시각 제어를 수행한 결과, 주시각이 제어된 입체영상(330)이 선명하게 재현되었음을 알 수 있다. Referring to FIG. 3, a binocular disparity is calculated after performing segmentation on each of the
한편, 전술한 화면 분할을 통한 주시각 제어 방법이 적용된 입체 카메라 장치를 도 2을 통하여 살펴본다. Meanwhile, the stereoscopic camera apparatus to which the above-described gaze control method is applied through the screen division will be described with reference to FIG. 2.
도 2는 본 발명의 실시예에 따른 화면 분할을 통한 주시각 제어 방법을 이용한 입체 카메라의 전체 구성도이다. 2 is an overall configuration diagram of a stereoscopic camera using a vergence control method through screen division according to an embodiment of the present invention.
상기 도 2에서의 입체 카메라(100)는 영역 분할부(110), 양안시차 산출부(120), 주시각 제어부(130), 입체 영상 생성부(140) 및 저장부(150)를 포함하여 구성됨을 알 수 있다. The
영역 분할부(110)는 입체 카메라에 의해 획득된 좌우 영상의 각각에 대해 일정 크기의 영역으로 분할하는 기능을 수행한다. The
양안시차 산출부(120)는 상기 좌우 영상의 분할된 영역마다 상관계수(correlation)를 추출하여 좌영상의 분할된 영역과 우영상의 분할된 영역 사이의 양안시차를 산출하는 기능을 수행하는데, 특히 분할된 영역의 중앙 지점에서의 양안시차를 산출하는 것이 바람직하다. The
주시각 제어부(130)는 산출된 양안시차를 분할 영역마다 독립적으로 조정하여 주시각을 제어하는 기능을 수행하는데, 구체적으로는 좌영상의 분할된 영역과 우영상의 분할된 영역을 프레임 버퍼 상에서 수직 또는 수평 방향의 오프셋 값 만큼 얼라인하여 양안시차를 0 또는 일정한 값으로 조정할 수 있다. The
입체 영상 생성부(140)는 상기 양안시차가 조정된 좌영상의 분할된 영역과 우영상의 분할된 영역을 결합하여 3차원 입체 영상을 생성하는 기능을 수행한다. The
저장부(150)는 입체 카메라에 의해 획득된 좌우 영상, 상기 좌영상의 분할된 영역과 상기 우영상의 분할된 영역 및 상기 양안시차가 조정되어 결합된 입체 영상을 저장하는 기능을 수행한다. The
도 4는 본 발명의 실시예에 따른 화면 분할을 통한 주시각 제어 방법을 적용하기 전의 영상과 적용한 후의 영상을 비교한 도면이다. FIG. 4 is a view comparing an image before and an image before applying the gaze control method through screen division according to an exemplary embodiment of the present invention.
상기 도 4를 살펴보면, 본 발명의 실시예에 따른 화면 분할을 통한 주시각 제어 전 영상(410)에 비해 주시각 제어 후 영상(420)이 더욱 선명하고 입체감이 뛰어난 화질로 재현되고 있음을 알 수 있다. Referring to FIG. 4, it can be seen that the
한편, 본 발명의 실시예에 따른 화면 분할을 통한 주시각 제어 방법은 이 방법을 실행하기 위한 프로그램을 기록한 전산 장치로 판독 가능한 기록매체에 저장되어서도 구현 가능하다. On the other hand, according to the embodiment of the present invention, the method of controlling the gaze through the screen division may be implemented even when stored in a recording medium readable by a computing device that records a program for executing the method.
이상과 같이 본 발명을 도면에 도시한 실시예를 참고하여 설명하였으나, 이는 발명을 설명하기 위한 것일 뿐이며, 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자라면 발명의 상세한 설명으로부터 다양한 변형 또는 균등한 실시예가 가능하다는 것을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 권리범위는 특허청구범위의 기술적 사상에 의해 결정되어야 한다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be appreciated that one embodiment is possible. Accordingly, the true scope of the present invention should be determined by the technical idea of the claims.
100: 입체 카메라 110: 영역 분할부
120: 양안시차 산출부 130: 주시각 제어부
140: 입체 영상 생성부 150: 저장부100: stereoscopic camera 110: region divider
120: binocular parallax calculation unit 130: gaze angle control unit
140: stereoscopic image generation unit 150: storage unit
Claims (10)
상기 좌영상의 분할된 영역과 이에 대응하는 우영상의 분할된 영역마다 상관계수(correlation)를 추출하여 상기 분할된 영역의 중앙 지점을 기준으로 상기 좌우 영상의 분할된 영역 사이의 양안시차를 산출하는 단계;
상기 산출된 양안시차를 상기 좌영상의 분할된 영역과 우영상의 분할된 영역마다 독립적으로 조정하여 주시각을 제어하는 단계를 포함하는, 화면 분할을 통한 주시각 제어 방법. Dividing into two or more regions for all regions of each of the left and right images acquired by the stereoscopic camera;
A correlation coefficient is extracted for each segmented region of the left image and the segmented region of the right image to calculate binocular disparity between the divided regions of the left and right images based on a center point of the segmented region. step;
And independently controlling the calculated binocular disparity for each divided area of the left image and each divided area of the right image to control a viewing angle.
상기 주시각을 제어하는 단계는,
상기 좌영상의 분할된 영역과 상기 우영상의 분할된 영역을 프레임 버퍼 상에서 수직 또는 수평 방향으로 얼라인하여 상기 양안시차를 0 또는 일정한 값으로 조정함으로써 상기 주시각을 제어하는, 화면 분할을 통한 주시각 제어 방법. The method of claim 1,
The step of controlling the viewing angle,
Perspective through screen division, which controls the viewing angle by adjusting the binocular disparity to 0 or a constant value by aligning the divided region of the left image and the divided region of the right image in a vertical or horizontal direction on a frame buffer. Control method.
상기 양안시차가 조정된 상기 좌영상의 분할된 영역과 상기 우영상의 분할된 영역을 결합하여 3차원 입체 영상을 생성하는 단계를 더 포함하는, 화면 분할을 통한 주시각 제어 방법. The method of claim 1,
And generating a 3D stereoscopic image by combining the divided region of the left image and the divided image of the right image, wherein the binocular disparity is adjusted.
상기 좌영상의 분할된 영역과 이에 대응하는 우영상의 분할된 영역마다 상관계수(correlation)를 추출하여 상기 분할된 영역의 중앙 지점을 기준으로 상기 좌우 영상의 분할된 영역 사이의 양안시차를 산출하는 양안시차 산출부;
상기 산출된 양안시차를 상기 좌영상의 분할된 영역과 우영상의 분할된 영역마다 독립적으로 조정하여 주시각을 제어하는 주시각 제어부를 포함하는, 화면 분할을 통한 주시각 제어 방법을 이용한 입체 카메라. An area dividing unit dividing the entire left and right images obtained by the stereoscopic camera into two or more regions;
A correlation coefficient is extracted for each segmented region of the left image and the segmented region of the right image to calculate binocular disparity between the divided regions of the left and right images based on a center point of the segmented region. Binocular parallax calculation unit;
And a control unit configured to control the viewing angle by independently adjusting the calculated binocular disparity for each divided area of the left image and each divided area of the right image.
상기 입체 카메라에 의해 획득된 좌우 영상, 상기 좌영상의 분할된 영역과 상기 우영상의 분할된 영역 및 상기 양안시차가 조정되어 결합된 입체 영상을 저장하는 저장부를 더 포함하는, 화면 분할을 통한 주시각 제어 방법을 이용한 입체 카메라. The method of claim 5, wherein
And storing the left and right images obtained by the stereoscopic camera, the divided region of the left image and the divided region of the right image, and the stereoscopic image in which the binocular disparity is adjusted and combined. Stereoscopic camera using visual control method.
상기 주시각 제어부는,
상기 좌영상의 분할된 영역과 상기 우영상의 분할된 영역을 프레임 버퍼 상에서 수직 또는 수평 방향으로 얼라인하여 상기 양안시차를 0 또는 일정한 값으로 조정함으로써 상기 주시각을 제어하는, 화면 분할을 통한 주시각 제어 방법을 이용한 입체 카메라. The method of claim 5, wherein
The viewing angle control unit,
Perspective through screen division, which controls the viewing angle by adjusting the binocular disparity to 0 or a constant value by aligning the divided region of the left image and the divided region of the right image in a vertical or horizontal direction on a frame buffer. Stereo camera using control method.
상기 양안시차가 조정된 상기 좌영상의 분할된 영역과 상기 우영상의 분할된 영역을 결합하여 3차원 입체 영상을 생성하는 입체 영상 생성부를 더 포함하는, 화면 분할을 통한 주시각 제어 방법을 이용한 입체 카메라. The method of claim 5, wherein
And a stereoscopic image generator for generating a three-dimensional stereoscopic image by combining the divided region of the left image with the binocular disparity adjusted and the divided region of the right image. camera.
입체 카메라에 의해 획득된 좌우 영상 각각의 전 영역에 대해 2 이상의 영역으로 분할하는 단계;
상기 좌영상의 분할된 영역과 이에 대응하는 우영상의 분할된 영역마다 상관계수(correlation)를 추출하여 상기 분할된 영역의 중앙 지점을 기준으로 상기 좌우 영상의 분할된 영역 사이의 양안시차를 산출하는 단계;
상기 산출된 양안시차를 상기 좌영상의 분할된 영역과 우영상의 분할된 영역마다 독립적으로 조정하여 주시각을 제어하는 단계를 포함하는, 기록매체.
A computer readable recording medium having recorded thereon a program for performing a gaze control method through screen division, the method comprising:
Dividing into two or more regions for all regions of each of the left and right images acquired by the stereoscopic camera;
A correlation coefficient is extracted for each segmented region of the left image and the segmented region of the right image to calculate binocular disparity between the divided regions of the left and right images based on a center point of the segmented region. step;
And controlling the viewing angle by adjusting the calculated binocular disparity independently for each divided area of the left image and each divided area of the right image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100058188A KR101158492B1 (en) | 2010-06-18 | 2010-06-18 | Vergence Control Method using picture division and Stereoscopic Camera using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100058188A KR101158492B1 (en) | 2010-06-18 | 2010-06-18 | Vergence Control Method using picture division and Stereoscopic Camera using the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20110138072A KR20110138072A (en) | 2011-12-26 |
| KR101158492B1 true KR101158492B1 (en) | 2012-06-20 |
Family
ID=45504132
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100058188A KR101158492B1 (en) | 2010-06-18 | 2010-06-18 | Vergence Control Method using picture division and Stereoscopic Camera using the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101158492B1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050100095A (en) * | 2004-04-13 | 2005-10-18 | 한국전자통신연구원 | The apparatus and method for vergence control of a parallel-axis stereo camera system using compensated image signal processing |
| KR20070030501A (en) * | 2005-09-13 | 2007-03-16 | (주)브이쓰리아이 | Stereo camera system for mobile device and the method for controlling convergence |
| KR100726933B1 (en) * | 2006-02-15 | 2007-06-14 | 주식회사 이시티 | Image signal processing method for auto convergence control method of two fixed cameras |
| KR100778085B1 (en) * | 2007-03-14 | 2007-11-22 | 주식회사 이시티 | Signal processing method and equipment of stereoscopic images for controlling convergence of stereoscopic camera |
-
2010
- 2010-06-18 KR KR1020100058188A patent/KR101158492B1/en not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050100095A (en) * | 2004-04-13 | 2005-10-18 | 한국전자통신연구원 | The apparatus and method for vergence control of a parallel-axis stereo camera system using compensated image signal processing |
| KR20070030501A (en) * | 2005-09-13 | 2007-03-16 | (주)브이쓰리아이 | Stereo camera system for mobile device and the method for controlling convergence |
| KR100726933B1 (en) * | 2006-02-15 | 2007-06-14 | 주식회사 이시티 | Image signal processing method for auto convergence control method of two fixed cameras |
| KR100778085B1 (en) * | 2007-03-14 | 2007-11-22 | 주식회사 이시티 | Signal processing method and equipment of stereoscopic images for controlling convergence of stereoscopic camera |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20110138072A (en) | 2011-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8908011B2 (en) | Three-dimensional video creating device and three-dimensional video creating method | |
| US8817073B2 (en) | System and method of processing 3D stereoscopic image | |
| WO2010084716A1 (en) | Image processing device, program, image processing method, recording method, and recording medium | |
| US10165249B2 (en) | Method for smoothing transitions between scenes of a stereo film and controlling or regulating a plurality of 3D cameras | |
| KR20110021875A (en) | System and method for measuring potential eyestrain of stereoscopic motion pictures | |
| US8750600B2 (en) | Apparatus and method for generating three-dimensional (3D) zoom image of stereo camera | |
| US9258546B2 (en) | Three-dimensional imaging system and image reproducing method thereof | |
| JP6170725B2 (en) | Image processing apparatus and program | |
| US20110001798A1 (en) | 3-d auto-convergence camera | |
| KR101634225B1 (en) | Device and Method for Multi-view image Calibration | |
| KR20090014927A (en) | Method and apparatus for reproducing stereoscopic image using depth control | |
| KR101158492B1 (en) | Vergence Control Method using picture division and Stereoscopic Camera using the same | |
| US20140293019A1 (en) | Apparatus and method for producing stereoscopic subtitles by analyzing three-dimensional (3d) space | |
| KR20200014631A (en) | Image processing method and apparatus of parallel axis typed stereo camera system for 3d-vision of near objects | |
| US20140125652A1 (en) | Look-ahead convergence for optimizing display rendering of sterioscopic videos and images | |
| US20130265395A1 (en) | System and Method for Generation of Stereo Imagery | |
| JP6685241B2 (en) | Stereoscopic video generation | |
| JP5311526B1 (en) | 3D stereoscopic image creation method, 3D stereoscopic image creation system, and 3D stereoscopic image creation program | |
| KR20130019582A (en) | 3-dimension camera using focus variable liquid lens applied and method of the same | |
| KR101192121B1 (en) | Method and apparatus for generating anaglyph image using binocular disparity and depth information | |
| US20200049994A1 (en) | Tilted focal plane for near-eye display system | |
| JP6608852B2 (en) | Stereoscopic depth adjustment and focus adjustment | |
| JP6490107B2 (en) | Stereoscopic video zooming | |
| KR20230089497A (en) | AR Motion Sensor-based Childhood Experience Activity EduTech Platform | |
| Blenn et al. | A tool for automatic preprocessing stereoscopic-video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| LAPS | Lapse due to unpaid annual fee |