KR20090089607A - Method and apparatus for display of 3-d images - Google Patents

Method and apparatus for display of 3-d images Download PDF

Info

Publication number
KR20090089607A
KR20090089607A KR1020080014865A KR20080014865A KR20090089607A KR 20090089607 A KR20090089607 A KR 20090089607A KR 1020080014865 A KR1020080014865 A KR 1020080014865A KR 20080014865 A KR20080014865 A KR 20080014865A KR 20090089607 A KR20090089607 A KR 20090089607A
Authority
KR
South Korea
Prior art keywords
image
additional information
reference image
stereoscopic
parallax
Prior art date
Application number
KR1020080014865A
Other languages
Korean (ko)
Other versions
KR101430474B1 (en
Inventor
박연동
윤준혁
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020080014865A priority Critical patent/KR101430474B1/en
Publication of KR20090089607A publication Critical patent/KR20090089607A/en
Application granted granted Critical
Publication of KR101430474B1 publication Critical patent/KR101430474B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers

Abstract

A method and an apparatus for displaying 3D images are provided to obtain a 3D image through additional information and a reference image, thereby realizing a 3D image having superior presence feelings and reality feelings. A reference image and additional information indicating temporal and spatial difference with the reference image are obtained from a subject(S310). The reference image is transformed to a sub image through the additional information(S320). The sub image is converted into a pixel row according to an image conversion ratio(S330). The pixel row of the sub image is outputted as a 3D image by a parallax barrier(S360).

Description

입체 영상 디스플레이 방법 및 장치{Method and Apparatus for display of 3-D images}Method and apparatus for stereoscopic image display {Method and Apparatus for display of 3-D images}

본 발명은 입체 영상을 구현할 수 있는 입체 영상 디스플레이 방법 및 장치에 관한 것이다.The present invention relates to a stereoscopic image display method and apparatus capable of realizing a stereoscopic image.

일반적으로 입체 영상은 관측자의 좌우 눈에 각각 서로 다른 영상이 인지되도록 하여 관측자가 인지된 좌우 영상을 머리 속에서 합성함으로써 형성된다. 이러한 입체 영상의 특성을 멀티미디어 모바일 기기에서 구현하기 위해서는, 모바일 기기들의 소형인 특성을 고려하여 설계가 간편하고 공간적 한계를 극복하고 보기 편한 입체 영상의 구현 기술이 뒷받침되어야 한다. 입체 영상 카메라를 모바일 기기에 적용하고 활용할 시에는 설계상의 문제로 인한 탑재 공간 확보, 그로 인한 비용증가 등의 여러 문제가 발생한다.In general, stereoscopic images are formed by synthesizing left and right images perceived by an observer in the head by allowing different images to be recognized by the observer's left and right eyes. In order to implement the characteristics of the stereoscopic image in a multimedia mobile device, considering the small characteristics of the mobile devices, it is necessary to support a technology for implementing a stereoscopic image that is easy to design, overcomes spatial limitations, and is easy to see. When using a 3D video camera in a mobile device and using it, there are various problems such as securing a mounting space due to a design problem and increasing the cost.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, PDA, PMP, 휴대폰 등의 소형 모바일 기기에서의 입체 영상을 구현하기 위해 입체 영상 카메라의 원근표현의 부자연스러움, 모노스코픽(monoscopic) 영역의 발생, 주변부 왜곡 현상 등의 문제를 해결하고자 한다. 또한, 입체 영상 구현 방법이 모바일 기기에서 적용될 때의 하드웨어 공간 확보 및 이로 인한 비용증가 문제를 해결하는 방법을 제공하는데 그 목적이 있다.The present invention is to solve the above problems, in order to implement a stereoscopic image in a small mobile device such as PDA, PMP, mobile phone, such as the unnaturalness of the perspective expression of the stereoscopic camera, the generation of a monoscopic (monoscopic) area, To solve problems such as peripheral distortion. Another object of the present invention is to provide a method for securing a hardware space and solving a cost increase problem when a stereoscopic image is implemented in a mobile device.

상기의 목적을 달성하기 위한 본 발명은, 피사체로부터 기준 영상 및 상기 기준 영상과의 시간적, 공간적 차이를 나타내는 부가 정보를 획득하는 단계와 상기 부가 정보를 이용하여 상기 기준 영상을 보조 영상으로 변환하는 단계와 상기 보조 영상을 이미지 변환 비율에 따라 픽셀 열로 변환하는 단계 및 상기 보조 영상의 픽셀 열을 양안 시차에 의한 입체 영상으로 출력하는 단계를 포함하는 것을 특징으로 하는 입체 영상 디스플레이 방법을 제공한다.According to an aspect of the present invention, there is provided a method for acquiring additional information indicating a temporal and spatial difference between a reference image and the reference image from a subject, and converting the reference image to an auxiliary image using the additional information. And converting the auxiliary image into a pixel column according to an image conversion ratio, and outputting the pixel column of the auxiliary image into a stereoscopic image by binocular disparity.

또한, 본 발명에서, 상기 부가 정보는 상기 기준 영상으로부터의 변이 (disparity) 차이를 나타내는 깊이 정보(depth information)를 포함하는 것을 특징으로 한다.In the present invention, the additional information may include depth information indicating a difference in disparity from the reference image.

또한, 본 발명에서, 상기 부가 정보는 상기 기준 영상과 좌/우안 영상과의 차이를 나타내는 시차 정보(parallax information)를 포함하는 것을 특징으로 한 다.In the present invention, the additional information may include parallax information indicating a difference between the reference image and the left / right eye image.

또한, 본 발명에서, 상기 깊이 정보와 상기 시차 정보는 레이저 또는 적외선을 이용한 거리 측정 장치로부터 획득되는 것을 특징으로 한다.In the present invention, the depth information and the parallax information may be obtained from a distance measuring device using a laser or infrared light.

또한, 본 발명에서, 상기 이미지 변환 비율은 수평 편차 값(th)과 영상 센서의 수평 길이 값(L)의 비를 백분율 값으로 나타낸 것을 특징으로 한다.In the present invention, the image conversion ratio is characterized in that the ratio of the horizontal deviation value (t h ) and the horizontal length value (L) of the image sensor as a percentage value.

또한, 본 발명은, 피사체로부터 기준 영상을 획득하는 기준 영상 획득부와 상기 기준 영상과의 시간적, 공간적 차이를 나타내는 부가 정보를 획득하는 부가 정보 획득부와 상기 부가 정보를 이용하여 상기 기준 영상을 보조 영상으로 변환하는 영상 변환부와 상기 보조 영상을 이미지 변환 비율에 따라 픽셀 열로 변환하는 영상 처리부 및 상기 보조 영상의 픽셀 열을 양안 시차에 의한 입체 영상으로 출력하는 디스플레이부를 포함하는 것을 특징으로 하는 입체 영상 디스플레이 장치를 제공한다.In addition, the present invention, the reference image acquisition unit for obtaining a reference image from a subject and an additional information acquisition unit for obtaining the additional information indicating a temporal and spatial difference between the reference image and the auxiliary information by using the additional information And an image processing unit for converting the auxiliary image into a pixel column according to an image conversion ratio, and a display unit for outputting the pixel column of the auxiliary image as a stereoscopic image by binocular parallax. Provided is a display device.

또한, 본 발명에서, 상기 디스플레이부는, 상기 좌/우 영상 픽셀 열에 수평, 수직 방향으로 일정한 주기의 슬릿을 갖는 패러랙스(parallax) 격벽 형성 패널과 상기 좌/우 영상을 분리하여 각 픽셀 열에 출력하는 영상 패널 및 백라이트를 포함하는 것을 특징으로 한다.Also, in the present invention, the display unit separates the left / right image from the parallax partition wall forming panel having a slit of a predetermined period in the horizontal and vertical directions with respect to the left / right image pixel columns and outputs them to each pixel column. And an image panel and a backlight.

또한, 본 발명에서, 상기 패러랙스(parallax) 격벽 형성 패널은 3D 모드에서만 슬릿이 형성되는 것을 특징으로 한다.In the present invention, the parallax partition wall forming panel is characterized in that the slits are formed only in the 3D mode.

또한, 본 발명에서, 상기 영상 처리부는 상기 좌/우안 영상의 모노스코픽 영 역을 절단(clipping)하는 것을 특징으로 한다.In the present invention, the image processor is characterized in that for clipping the monoscopic region of the left / right eye image.

또한, 본 발명에서, 상기 모노스코픽 영역은 상기 이미지 변환 비율에 의한 이미지 이동(shifting)을 이용하여 절단되는 것을 특징으로 한다.Further, in the present invention, the monoscopic region is cut by using image shifting by the image conversion ratio.

또한, 본 발명에서, 상기 입체 영상 디스플레이 장치는 PDA, PMP, 휴대폰 중 적어도 하나를 포함하는 것을 특징으로 한다.In the present invention, the stereoscopic image display device is characterized in that it comprises at least one of the PDA, PMP, mobile phone.

본 발명은 기준 영상과 부가 정보를 이용하여 입체 영상을 획득함으로써 보다 우수한 임장감(presence feeling)과 실제감이 풍부한 입체 영상을 구현할 수 있게 된다. 기준 영상으로부터의 변이(disparity) 차이를 나타내는 깊이 정보(depth information) 또는 상기 기준 영상과 좌/우안 영상과의 차이를 나타내는 시차 정보를 이용함으로써, 보다 깊이감 있는 입체 영상을 구현할 수 있다. 또한, 상기 부가 정보 또는 피사체와 렌즈까지의 거리를 레이저, 적외선 등을 이용한 거리 측정 장치를 이용하여 측정함으로써, 보다 정확한 값을 산출할 수 있다.According to the present invention, by obtaining a stereoscopic image using the reference image and the additional information, a stereoscopic image rich in presence and a sense of reality can be realized. By using depth information indicating a difference in disparity from a reference image or parallax information indicating a difference between the reference image and a left / right eye image, a three-dimensional image having a deeper sense can be realized. In addition, by measuring the distance between the additional information or the object and the lens using a distance measuring device using a laser, infrared light, or the like, a more accurate value can be calculated.

또한, 중심 피사체와 렌즈 간의 거리 정보와 렌즈와 영상 센서 간의 거리 정보를 이용하여, 중심 피사체의 거리에 따른 주시각의 조절을 위해 이미지 변환(Image shifting/clipping) 기법을 사용함으로써, 원근감 표현, 입체 영상 주변부의 왜곡 등의 부자연스러운 영상 문제를 제거할 수 있다. 이는 사용자로 하여금 더욱 자연스럽고 편안하며 눈의 피로를 줄인 입체 영상을 제공하는 효과가 있다. 또한, 종래의 입체 카메라 방식에서 하드웨어적인 주시각 조절 방식에 의한 공간확보의 불리함, 비용 증가의 문제가 해결되어 모바일 기기에서 일반 2D 영상과 입체 영상을 간편하게 선택적으로 감상할 수 있는 효과가 있다.In addition, by using the image shifting / clipping technique to adjust the viewing angle according to the distance of the central subject by using the distance information between the center subject and the lens and the distance information between the lens and the image sensor, expression of perspective Unnatural video problems, such as distortion at the periphery of the image, can be eliminated. This has the effect of providing the user with a more natural, comfortable, three-dimensional image to reduce eye fatigue. In addition, in the conventional stereoscopic camera system, the disadvantages of securing the space and the cost increase due to the hardware's vergence adjustment method have been solved, so that a general 2D image and a stereoscopic image can be easily selectively viewed on a mobile device.

상술한 목적 및 구성의 특징은 첨부된 도면과 관련하여 다음의 상세한 설명을 통하여 보다 명확해질 것이다. 이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들를 상세히 설명한다.The above objects and features of the construction will become more apparent from the following detailed description taken in conjunction with the accompanying drawings. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우는 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재하였으므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 함을 밝혀두고자 한다.In addition, the terms used in the present invention was selected as a general term widely used as possible now, but in some cases, the term is arbitrarily selected by the applicant, in which case the meaning is described in detail in the description of the invention, It is to be understood that the present invention is to be understood as the meaning of terms rather than the names of terms.

도 1은 본 발명이 적용되는 실시예로서, 입체 영상 디스플레이 장치의 내부 블록도를 나타낸다.1 is an embodiment to which the present invention is applied and shows an internal block diagram of a stereoscopic image display apparatus.

상기 입체 영상 디스플레이 장치는 크게 기준 영상 획득부(110), 부가 정보 획득부(120), 영상 변환부(130), 영상 처리부(140) 및 디스플레이부(150)를 포함할 수 있다. The stereoscopic image display apparatus may largely include a reference image acquisition unit 110, an additional information acquisition unit 120, an image conversion unit 130, an image processing unit 140, and a display unit 150.

기준 영상 획득부(110)에서는 피사체로부터 기준 영상을 획득할 수 있다. 부가 정보 획득부(120)에서는 보조 영상을 획득하기 위해 필요한 부가 정보를 획득할 수 있다. 여기서, 보조 영상이란 입체 영상을 표시하기 위해 필요한 기준 영상 외의 추가적인 영상을 의미할 수 있다. 예를 들어, 상기 보조 영상으로는 좌안 영상, 우안 영상을 의미할 수 있다. 또는, 사용자가 원하는 각도에서의 영상을 의미할 수 도 있다. 그리고, 부가 정보(additional information)란, 기준 영상으로부터 보조 영상을 생성 또는 변환하기 위해 필요한 정보를 의미할 수 있다. 예를 들어, 상기 부가 정보는 깊이 정보(depth information), 시차 정보(parallax information) 등을 의미할 수 있다. 깊이 정보(depth information)란, 기준 영상으로부터의 변이(disparity) 차이를 나타내는 정보를 의미할 수 있다. 그리고, 시차 정보(parallax information)란, 관찰자의 위치 이동에 의한 물체의 위치 변화에 대한 정보를 의미할 수 있다. 예를 들어, 기준 영상과 좌/우안 영상과의 차이를 나타내는 정보를 의미할 수 있다. The reference image acquisition unit 110 may obtain a reference image from the subject. The additional information obtaining unit 120 may obtain additional information necessary for obtaining the auxiliary image. Here, the auxiliary image may mean an additional image other than the reference image required to display the stereoscopic image. For example, the auxiliary image may mean a left eye image and a right eye image. Alternatively, the image may mean an image at an angle desired by the user. The additional information may mean information necessary for generating or converting the auxiliary image from the reference image. For example, the additional information may mean depth information, parallax information, or the like. Depth information may refer to information representing a difference in disparity from a reference image. The parallax information may mean information about a change in the position of the object due to the movement of the observer's position. For example, it may mean information indicating a difference between a reference image and a left / right eye image.

영상 변환부(130)에서는 상기 부가 정보 획득부(120)에서 획득된 부가 정보를 이용하여 상기 기준 영상을 보조 영상으로 변환하게 된다. 영상 처리부(140)에서는 이렇게 변환된 보조 영상을 이미지 변환 비율에 따라 픽셀 열로 변환하게 된다. 그리고, 디스플레이부(150)에서는 상기 보조 영상의 픽셀 열을 양안 시차에 의한 입체 영상으로 출력하게 된다.The image converter 130 converts the reference image into an auxiliary image by using the additional information acquired by the additional information acquirer 120. The image processor 140 converts the converted auxiliary image into pixel columns according to an image conversion ratio. The display unit 150 outputs the pixel column of the auxiliary image as a stereoscopic image by binocular parallax.

도 2는 본 발명이 적용되는 실시예로서, 입체 영상 디스플레이 방법의 흐름도를 나타낸다.2 is a flowchart illustrating a stereoscopic image display method according to an embodiment to which the present invention is applied.

먼저 입체 영상 카메라는 기준 영상을 획득하기 전에는 대기 모드에 있게 된다(S210). 상기 입체 영상 카메라를 구동하여 기준 영상을 획득하고 나면, 부가 정보를 획득할지 여부를 판단할 수 있다(S220). 부가 정보를 획득하지 않는다면, 상기 입체 영상 카메라는 다시 대기 모드 상태로 돌아갈 수 있다. 또는 기준 영상을 그대로 출력할 수도 있다. 여기서, 부가 정보는 상기 도 1에서 설명한 바와 같이 깊이 정보, 시차 정보 등을 의미할 수 있다. 깊이 정보란, 기준 영상으로부터의 변이 차이를 나타내는 정보를 의미할 수 있다. 그리고, 시차 정보란, 관찰자의 위치 이동에 의한 물체의 위치 변화에 대한 정보를 의미할 수 있다. 예를 들어, 기준 영상과 좌/우안 영상과의 차이를 나타내는 정보를 의미할 수 있다. 상기 부가 정보들은 카메라 내부의 장치에 의해 획득되거나, 또는 외부로부터 입력받을 수도 있다.First, the stereoscopic camera is in the standby mode before acquiring the reference image (S210). After acquiring the reference image by driving the stereoscopic camera, it may be determined whether additional information is acquired (S220). If the additional information is not obtained, the stereoscopic camera may return to the standby mode. Alternatively, the reference image may be output as it is. Here, the additional information may mean depth information, parallax information, or the like as described above with reference to FIG. 1. The depth information may refer to information representing a difference in variation from the reference image. The parallax information may mean information about a change in the position of the object due to the movement of the observer's position. For example, it may mean information indicating a difference between a reference image and a left / right eye image. The additional information may be obtained by a device inside the camera or may be input from the outside.

이렇게 획득된 상기 부가 정보를 이용하여 상기 기준 영상을 보조 영상으로 변환할 수 있게 된다(S230).The reference image may be converted into an auxiliary image using the obtained additional information (S230).

도 3은 본 발명이 적용되는 실시예로서, 모바일 기기의 입체 영상 디스플레이 방법을 나타낸 흐름도이다.3 is a flowchart illustrating a stereoscopic image display method of a mobile device according to an embodiment to which the present invention is applied.

먼저, 피사체로부터 기준 영상 및 상기 기준 영상과의 시간적, 공간적 차이를 나타내는 부가 정보를 획득할 수 있다(S310). 상기 부가 정보는 기준 영상으로부터의 변이 차이를 나타내는 깊이 정보를 의미할 수 있다. 또는 상기 부가 정보는 기준 영상과 좌/우안 영상과의 차이를 나타내는 시차 정보를 의미할 수 있다. 이렇게 획득된 부가 정보를 이용하여 상기 기준 영상을 보조 영상으로 변환할 수 있다(S320). 또는 상기 기준 영상과 상기 부가 정보를 이용하여 상기 보조 영상을 새로이 생성할 수도 있다. 예를 들어, 부가 정보를 이용하여 기준 영상으로부터 좌/우안 영상을 획득할 수 있다. 상기 획득한 영상으로부터 이미지 변환 비율(Q)에 따른 좌/우 영상의 픽셀 열로 이미지 데이터를 처리할 수 있다(S330). 이미지 변환 비율은 수평편차(th)값과 영상센서의 가로 사이즈(L)값의 비를 백분율 값으로 구할 수 있다. 이미지 변환 비율(Q)에 의해 획득한 좌/우 영상에 대하여 이동(shifting) 및 절단(clipping) 처리 과정을 수행할 수 있다(S340). 그리고, 상기 좌/우 영상을 해당 픽셀 열에 대응되도록 입력하고, 이는 슬릿에 의해 분리될 수 있다. 이때, 입체 영상 신호의 입력에 의한 자동 슬롯 구동이 이루어질 수 있다. 슬롯 구동 회로가 작동되면(S350), 광원으로부터 제공된 빛에 의해 양안 시차에 의해 나타나는 입체 영상을 출력할 수 있다(S360). 입체 영상 신호가 아닐 경우에는 슬롯 구동 회로가 작동되지 않고(S350), 2D 영상 화면으로 출력하게 된다(S370).First, additional information indicating a temporal and spatial difference between the reference image and the reference image may be acquired from the subject (S310). The additional information may mean depth information indicating a difference in deviation from a reference image. Alternatively, the additional information may mean disparity information indicating a difference between a reference image and a left / right eye image. The reference image may be converted into an auxiliary image using the obtained additional information (S320). Alternatively, the auxiliary image may be newly generated by using the reference image and the additional information. For example, the left and right eye images may be obtained from the reference image using the additional information. Image data may be processed from the acquired image into a pixel column of a left / right image according to an image conversion ratio Q (S330). The image conversion ratio may be obtained by calculating a ratio between the horizontal deviation t h and the horizontal size L of the image sensor as a percentage value. A shifting and clipping process may be performed on the left / right image obtained by the image conversion ratio Q (S340). The left and right images are input to correspond to the corresponding pixel columns, which may be separated by slits. In this case, automatic slot driving may be performed by inputting a stereoscopic image signal. When the slot driving circuit is operated (S350), a stereoscopic image represented by binocular parallax may be output by light provided from a light source (S360). If it is not a stereoscopic image signal, the slot driving circuit is not operated (S350) and is output as a 2D image screen (S370).

도 4는 본 발명이 적용되는 실시예로서, 입체 영상 카메라의 제작방식을 나타낸 예시도이다.Figure 4 is an embodiment to which the present invention is applied, an exemplary view showing a manufacturing method of a three-dimensional image camera.

두 개의 카메라(3)를 일정한 간격(S)으로 나란히 고정배열하고, 중심 피사체(1)로부터 좌/우 영상을 획득할 수 있다. 중심 피사체(1)와 렌즈(2) 간의 거리정보(D)와 렌즈(2)와 영상센서(3) 간의 거리정보(d)를 이용하여 영상의 수평 이동 비율(Q)을 계산할 수 있다. 이렇게 획득된 좌/우 영상은 수평 이동 비율(Q)에 의해 이미지 이동(shifting) 및 절단(clipping)과정의 영상 처리가 수행될 수 있다. 이 때, 초점, 중심피사체(1)와 렌즈(2) 간의 거리에 따른 좌/우 영상의 주시각(θ)을 조절할 수 있다.The two cameras 3 may be fixedly arranged side by side at regular intervals S, and the left and right images may be obtained from the central subject 1. The horizontal movement ratio Q of the image may be calculated by using the distance information D between the central subject 1 and the lens 2 and the distance information d between the lens 2 and the image sensor 3. The left and right images thus obtained may be subjected to image processing of image shifting and clipping by a horizontal shift ratio Q. FIG. In this case, the viewing angle θ of the left / right image may be adjusted according to the focal point and the distance between the central subject 1 and the lens 2.

도 5는 본 발명이 적용되는 실시예로서, 입체 영상 디스플레이 모바일 기기의 내부 블록도를 나타낸다.5 is an embodiment to which the present invention is applied and shows an internal block diagram of a stereoscopic image display mobile device.

상기 입체 영상 디스플레이 모바일 기기는 좌/우 영상을 촬영하는 두 개의 카메라로 구성된 입체 영상 획득부(20)와 이미지 변환 비율(Q)(30)에 의해 획득된 좌/우 영상 이미지를 이동(shifting)하고 모노스코픽(monoscopic) 영역을 절단(clipping)(a)하는 영상 처리 과정을 담당하는 영상 처리부(200) 및 입체영상 디스플레이 장치(Stereo image generator)(40)를 포함할 수 있다. 입체 영상 획득부(20)는 촬영이 동시에 제어되는 두 개의 카메라를 고정된 간격으로 수평하게 배열하여 좌/우 영상을 획득할 수 있다. 영상 처리부(200)는 입체 영상 획득부(20)로부터 획득된 좌/우 영상을 중심 피사체(10)와 영상 센서(3) 간의 거리 값(D)과 렌즈(2)와 영상 센서(3) 간의 거리(d) 값, 영상센서의 가로크기(L), 영상 센서에 맺히는 영상과 센서 중심축으로부터의 수평 편차값(th)을 이용하여 이미지 변환(Image shift) 비율(Q)를 구할 수 있다. 이를 이용하여 좌/우 영상을 이동(shifting)하고 모노스코픽(monoscopic) 영역을 절단(clipping)할 수 있다. 상기 영상 처리부(200)에서 필요로 하는 중요한 변수 값인 이미지 변환 비율(Q)를 구하는 식은 다음과 같다.The stereoscopic image display mobile device shifts a left / right image image obtained by a stereoscopic image acquisition unit 20 and an image conversion ratio (Q) 30 consisting of two cameras that capture left and right images. And an image processor 200 and a stereo image generator 40 in charge of an image processing process of clipping (a) a monoscopic region. The stereoscopic image acquirer 20 may acquire two left and right images by horizontally arranging two cameras at the same time. The image processor 200 may determine the left / right image obtained from the stereoscopic image acquisition unit 20 between the distance value D between the central subject 10 and the image sensor 3 and between the lens 2 and the image sensor 3. An image shift ratio Q can be obtained by using a distance d value, a horizontal size L of the image sensor, an image formed on the image sensor, and a horizontal deviation value t h from the central axis of the sensor. . Using this, the left and right images may be shifted and the monoscopic region may be clipped. An equation for obtaining an image conversion ratio Q, which is an important parameter value required by the image processor 200, is as follows.

D : S/2 = d : th (1)D: S / 2 = d: t h (One)

Q = (th / L) * 100[%] (2)Q = (t h / L) * 100 [%] (2)

고정되어 있는 입체 영상 센서의 두 카메라의 간격(S)과 렌즈와 영상센서 사이의 거리(d), 중심 피사체와 렌즈 사이의 거리(D)를 이용하여 수학식 1의 (1)에서와 같이 영상 센서에 맺히는 영상과 센서의 중심축으로부터의 수평 편차(th)를 계산 할 수 있다. 그리고 상기 수학식 1의 (2)와 같이 수평 편차(th) 값과 영상 센서의 가로 사이즈(L) 값의 비를 백분율 값으로 변환하여 좌/우 영상에 대한 이미지 변환 비율(Q)를 구할 수 있다. 촬영된 좌/우 영상은 구해진 이미지 변환 비율(Q)값 만큼 픽셀 단위로 이동(shift)되며, 좌/우 영상의 주시점이 동일한 점으로 모여지게 된다. 그리고, 이로 인해 발생되는 모노스코픽(monoscopic) 영역은 상기 도 5에서와 같이 이미지 변환(image shift)과 동시에 절단(clipping)된다. 즉, 이미지 변환을 통해 유한의 주시각(θ)이 생기며, 중심 피사체와 렌즈 사이의 거리에 따라 주시각을 변화시킬 수 있어 원근감이 제대로 살아난 입체 영상을 얻을 수 있게 된다. 또한, 획득된 좌/우 영상 간의 교차각이 없어지므로 입체 영상 생성시 주변부로 갈수록 수직 편차가 증가하여 발생하는 영상 주변부의 왜곡 현상 또한 사라지게 된다. 이미지 변환 비율만큼 좌/우 영상의 모노스코픽(monoscopic) 영역이 제거(clipping)되어 입체 영상 디스플레이 장치(40)로 입력될 수 있다. 3D 모드에서는 자동 구동되는 슬릿에 의해 영상 패널에 입력된 좌/우 영상 픽셀 열로 출력되어 양안 시차에 의한 입체 영상(100)을 나타낸다.Using the distance (S) of the two cameras of the fixed stereoscopic image sensor, the distance (d) between the lens and the image sensor, and the distance (D) between the central subject and the lens, as shown in (1) of Equation 1 The horizontal deviation (t h ) from the image and the central axis of the sensor can be calculated. Then, as shown in Equation 1 (2), the ratio of the horizontal deviation t h and the horizontal size L of the image sensor is converted into a percentage to obtain an image conversion ratio Q for the left and right images. Can be. The captured left and right images are shifted by the pixel unit by the obtained image conversion ratio Q, and the gaze points of the left and right images are collected at the same point. In addition, the resulting monoscopic region is clipped at the same time as the image shift as shown in FIG. 5. That is, a finite angle of view θ is generated through image conversion, and the angle of view may be changed according to the distance between the central subject and the lens, thereby obtaining a stereoscopic image in which perspective is properly alive. In addition, since the cross angle between the acquired left and right images is lost, the distortion of the peripheral portion of the image generated by the vertical deviation increases as the peripheral portion increases when the stereoscopic image is generated. A monoscopic region of the left / right image is clipped by the image conversion ratio and input to the stereoscopic image display device 40. In the 3D mode, the left / right image pixel columns input to the image panel are output by the slits that are automatically driven to represent the stereoscopic image 100 due to binocular parallax.

도 6a는 본 발명에 적용되는 실시예로서, 모바일 기기의 입체 영상 디스플레이 장치를 나타낸 구성도이다.6A is a configuration diagram illustrating a stereoscopic image display apparatus of a mobile device according to an embodiment applied to the present invention.

도 6b는 본 발명에 적용되는 실시예로서, 입체 영상 감상 원리를 나타낸 예시도이다.Figure 6b is an embodiment applied to the present invention, an exemplary view showing the principle of viewing stereoscopic images.

입체 영상 디스플레이 장치(a)는 패러랙스 격벽(Parallax barrier) 형성 패 널(4), 영상 패널(5), 백라이트(6)로 구성될 수 있다. 패러랙스 격벽(Parallax barrier) 형성 패널(4)은 구동회로에 의해 3D 모드에서만 자동 슬릿을 형성하고 입체 영상을 출력할 수 있다. 획득된 좌/우 영상이 영상 패널(5)에 입력될 때, 좌안 영상(L)은 홀수 픽셀 열에, 우안 영상(R)은 짝수 픽셀 열에 입력되고, 이때 열의 순서는 반대로 지정될 수 있다. 백라이트(6)로부터 빛을 제공받아 영상 패널(5) 전면에 형성된 슬릿(4)에 의해 분리되어 좌안 영상은 사용자의 왼쪽 눈에 입력되고 우안 영상은 사용자의 오른쪽 눈에 입력되어 양안 시차에 의한 입체 영상을 감상할 수 있다.The stereoscopic image display apparatus (a) may be configured of a parallax barrier forming panel 4, an image panel 5, and a backlight 6. The Parallax barrier formation panel 4 may form an automatic slit only in 3D mode and output a stereoscopic image by a driving circuit. When the obtained left / right image is input to the image panel 5, the left eye image L is input to an odd pixel column, and the right eye image R is input to an even pixel column, and the order of the columns may be reversed. The left eye image is input to the user's left eye and the right eye image is input to the user's right eye by receiving light from the backlight 6 and separated by the slit 4 formed on the front of the image panel 5. You can enjoy the video.

이상에서 설명한 바와 같이, 본 발명이 적용되는 입체 영상 디스플레이 장치는 DMB(Digital Multimedia Broadcasting)과 같은 멀티미디어 방송 송/수신 장치에 구비되어, 영상 신호 등을 처리하는데 사용될 수 있다. 또한, 상기 멀티미디어 방송 송/수신 장치는 이동통신 단말기를 포함할 수 있다.As described above, the stereoscopic image display apparatus to which the present invention is applied may be provided in a multimedia broadcasting transmission / reception apparatus such as digital multimedia broadcasting (DMB), and may be used to process an image signal. In addition, the multimedia broadcasting transmission / reception apparatus may include a mobile communication terminal.

이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 다양한 다른 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.As mentioned above, preferred embodiments of the present invention are disclosed for purposes of illustration, and those skilled in the art can improve and change various other embodiments within the spirit and technical scope of the present invention disclosed in the appended claims below. , Replacement or addition would be possible.

도 1은 본 발명이 적용되는 실시예로서, 입체 영상 디스플레이 장치의 내부 블록도를 나타낸다.1 is an embodiment to which the present invention is applied and shows an internal block diagram of a stereoscopic image display apparatus.

도 2는 본 발명이 적용되는 실시예로서, 입체 영상 디스플레이 방법의 흐름도를 나타낸다.2 is a flowchart illustrating a stereoscopic image display method according to an embodiment to which the present invention is applied.

도 3은 본 발명이 적용되는 실시예로서, 모바일 기기의 입체 영상 디스플레이 방법을 나타낸 흐름도이다.3 is a flowchart illustrating a stereoscopic image display method of a mobile device according to an embodiment to which the present invention is applied.

도 4는 본 발명이 적용되는 실시예로서, 입체 영상 카메라의 제작방식을 나타낸 예시도이다.Figure 4 is an embodiment to which the present invention is applied, an exemplary view showing a manufacturing method of a three-dimensional image camera.

도 5는 본 발명이 적용되는 실시예로서, 입체 영상 디스플레이 모바일 기기의 내부 블록도를 나타낸다.5 is an embodiment to which the present invention is applied and shows an internal block diagram of a stereoscopic image display mobile device.

도 6a는 본 발명에 적용되는 실시예로서, 모바일 기기의 입체 영상 디스플레이 장치를 나타낸 구성도이다.6A is a configuration diagram illustrating a stereoscopic image display apparatus of a mobile device according to an embodiment applied to the present invention.

도 6b는 본 발명에 적용되는 실시예로서, 입체 영상 감상 원리를 나타낸 예시도이다.Figure 6b is an embodiment applied to the present invention, an exemplary view showing the principle of viewing stereoscopic images.

Claims (14)

피사체로부터 기준 영상 및 상기 기준 영상과의 시간적, 공간적 차이를 나타내는 부가 정보를 획득하는 단계;Acquiring additional information indicating a temporal and spatial difference between the reference image and the reference image from a subject; 상기 부가 정보를 이용하여 상기 기준 영상을 보조 영상으로 변환하는 단계;Converting the reference image to an auxiliary image using the additional information; 상기 보조 영상을 이미지 변환 비율에 따라 픽셀 열로 변환하는 단계; 및Converting the auxiliary image into a pixel column according to an image conversion ratio; And 상기 보조 영상의 픽셀 열을 양안 시차에 의한 입체 영상으로 출력하는 단계Outputting a pixel column of the auxiliary image as a stereoscopic image by binocular parallax; 를 포함하는 것을 특징으로 하는 입체 영상 디스플레이 방법.Stereoscopic image display method comprising a. 제 1항에 있어서,The method of claim 1, 상기 부가 정보는 상기 기준 영상으로부터의 변이(disparity) 차이를 나타내는 깊이 정보(depth information)를 포함하는 것을 특징으로 하는 입체 영상 디스플레이 방법.The additional information includes depth information representing a difference in disparity from the reference image. 제 1항에 있어서,The method of claim 1, 상기 부가 정보는 상기 기준 영상과 좌/우안 영상과의 차이를 나타내는 시차 정보(parallax information)를 포함하는 것을 특징으로 하는 입체 영상 디스플레이 방법.The additional information includes parallax information indicating a difference between the reference image and the left / right eye image. 제 2항 또는 제 3항에 있어서,The method of claim 2 or 3, 상기 깊이 정보와 상기 시차 정보는 레이저 또는 적외선을 이용한 거리 측정 장치로부터 획득되는 것을 특징으로 하는 입체 영상 디스플레이 방법.And the depth information and the parallax information are obtained from a distance measuring device using a laser or infrared light. 제 1항에 있어서,The method of claim 1, 상기 이미지 변환 비율은 수평 편차 값(th)과 영상 센서의 수평 길이 값(L)의 비를 백분율 값으로 나타낸 것을 특징으로 하는 입체 영상 디스플레이 방법.The image conversion ratio is a ratio of the horizontal deviation value (t h ) and the horizontal length value (L) of the image sensor represented by the percentage value. 피사체로부터 기준 영상을 획득하는 기준 영상 획득부;A reference image acquisition unit for obtaining a reference image from a subject; 상기 기준 영상과의 시간적, 공간적 차이를 나타내는 부가 정보를 획득하는 부가 정보 획득부;An additional information obtaining unit which obtains additional information representing a temporal and spatial difference from the reference image; 상기 부가 정보를 이용하여 상기 기준 영상을 보조 영상으로 변환하는 영상 변환부;An image converter converting the reference image into an auxiliary image using the additional information; 상기 보조 영상을 이미지 변환 비율에 따라 픽셀 열로 변환하는 영상 처리부; 및An image processor converting the auxiliary image into a pixel column according to an image conversion ratio; And 상기 보조 영상의 픽셀 열을 양안 시차에 의한 입체 영상으로 출력하는 디스플레이부A display unit for outputting the pixel column of the auxiliary image as a stereoscopic image by binocular parallax 를 포함하는 것을 특징으로 하는 입체 영상 디스플레이 장치.Stereoscopic image display device comprising a. 제 6항에 있어서,The method of claim 6, 상기 부가 정보는 상기 기준 영상으로부터의 변이 차이를 나타내는 깊이 정보를 포함하는 것을 특징으로 하는 입체 영상 디스플레이 장치.The additional information includes depth information indicating a difference in deviation from the reference image. 제 6항에 있어서,The method of claim 6, 상기 부가 정보는 상기 기준 영상과 좌/우안 영상과의 차이를 나타내는 시차 정보를 포함하는 것을 특징으로 하는 입체 영상 디스플레이 장치.The additional information includes parallax information indicating a difference between the reference image and the left / right eye image. 제 8항에 있어서,The method of claim 8, 상기 보조 영상은 좌/우안 영상을 포함하고,The auxiliary image includes a left / right image, 상기 디스플레이부는,The display unit, 상기 좌/우 영상 픽셀 열에 수평, 수직 방향으로 일정한 주기의 슬릿을 갖는 패러랙스(parallax) 격벽 형성 패널;A parallax partition wall forming panel having slits of a predetermined cycle in horizontal and vertical directions in the left and right image pixel columns; 상기 좌/우 영상을 분리하여 각 픽셀 열에 출력하는 영상 패널; 및An image panel that separates the left and right images and outputs them to each pixel column; And 백라이트를 포함하는 것을 특징으로 하는 입체 영상 디스플레이 장치.A stereoscopic image display device comprising a backlight. 제 9항에 있어서,The method of claim 9, 상기 패러랙스(parallax) 격벽 형성 패널은 3D 모드에서만 슬릿이 형성되는 것을 특징으로 하는 입체 영상 디스플레이 장치.And the slit is formed only in the 3D mode of the parallax partition wall forming panel. 제 9항에 있어서,The method of claim 9, 상기 영상 패널은 좌안 영상을 홀수 픽셀 열, 우안 영상을 짝수 픽셀 열에 출력하는 것을 특징으로 하는 입체 영상 디스플레이 장치.The image panel outputs a left eye image in an odd pixel column and a right eye image in an even pixel column. 제 9항에 있어서,The method of claim 9, 상기 영상 처리부는 상기 좌/우안 영상의 모노스코픽 영역을 절단(clipping)하는 것을 특징으로 하는 입체 영상 디스플레이 장치.And the image processor is configured to clip a monoscopic region of the left / right eye image. 제 10항에 있어서,The method of claim 10, 상기 모노스코픽 영역은 상기 이미지 변환 비율에 의한 이미지 이동(shifting)을 이용하여 절단되는 것을 특징으로 하는 입체 영상 디스플레이 장치.And the monoscopic region is cropped using image shifting by the image conversion ratio. 제 6항에 있어서,The method of claim 6, 상기 입체 영상 디스플레이 장치는 PDA, PMP, 휴대폰 중 적어도 하나를 포함하는 것을 특징으로 하는 입체 영상 디스플레이 장치.The stereoscopic image display apparatus includes at least one of a PDA, a PMP, and a mobile phone.
KR1020080014865A 2008-02-19 2008-02-19 Method and Apparatus for display of 3-D images KR101430474B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080014865A KR101430474B1 (en) 2008-02-19 2008-02-19 Method and Apparatus for display of 3-D images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080014865A KR101430474B1 (en) 2008-02-19 2008-02-19 Method and Apparatus for display of 3-D images

Publications (2)

Publication Number Publication Date
KR20090089607A true KR20090089607A (en) 2009-08-24
KR101430474B1 KR101430474B1 (en) 2014-08-18

Family

ID=41207719

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080014865A KR101430474B1 (en) 2008-02-19 2008-02-19 Method and Apparatus for display of 3-D images

Country Status (1)

Country Link
KR (1) KR101430474B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012086990A2 (en) * 2010-12-23 2012-06-28 Samsung Electronics Co., Ltd. Improvements to subtitles for three dimensional video transmission

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102637419B1 (en) * 2019-06-12 2024-02-16 엘지전자 주식회사 Mobile terminal and 3D image conversion method thereof

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100513055B1 (en) * 2003-12-11 2005-09-06 한국전자통신연구원 3D scene model generation apparatus and method through the fusion of disparity map and depth map
KR100753512B1 (en) * 2005-09-07 2007-08-31 엘지전자 주식회사 Apparatus and Method for display of 3-D images in mobile terminal

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012086990A2 (en) * 2010-12-23 2012-06-28 Samsung Electronics Co., Ltd. Improvements to subtitles for three dimensional video transmission
WO2012086990A3 (en) * 2010-12-23 2012-11-29 Samsung Electronics Co., Ltd. Improvements to subtitles for three dimensional video transmission
CN103270758A (en) * 2010-12-23 2013-08-28 三星电子株式会社 Improvements to subtitles for three dimensional video transmission
CN103270758B (en) * 2010-12-23 2016-01-20 三星电子株式会社 To the improvement of the captions sent for 3 D video

Also Published As

Publication number Publication date
KR101430474B1 (en) 2014-08-18

Similar Documents

Publication Publication Date Title
KR100657275B1 (en) Method for generating a stereoscopic image and method for scaling therefor
US8207961B2 (en) 3D graphic processing device and stereoscopic image display device using the 3D graphic processing device
US8503764B2 (en) Method for generating images of multi-views
US20120113219A1 (en) Image conversion apparatus and display apparatus and methods using the same
US20080199070A1 (en) Three-dimensional image display apparatus and method for enhancing stereoscopic effect of image
US20120236114A1 (en) Depth information generator for generating depth information output by only processing part of received images having different views, and related depth information generating method and depth adjusting apparatus thereof
US8731279B2 (en) Method and device for generating multi-viewpoint image
US9154765B2 (en) Image processing device and method, and stereoscopic image display device
JP5387905B2 (en) Image processing apparatus and method, and program
JPWO2012176431A1 (en) Multi-viewpoint image generation apparatus and multi-viewpoint image generation method
CN102547350B (en) Method for synthesizing virtual viewpoints based on gradient optical flow algorithm and three-dimensional display device
KR101960897B1 (en) Stereoscopic image display device and displaying method thereof
JP6585938B2 (en) Stereoscopic image depth conversion apparatus and program thereof
KR20120053536A (en) Image display device and image display method
JP2013033172A (en) Stereoscopic display device
US20140132742A1 (en) Three-Dimensional Stereo Display Device and Method
KR101430474B1 (en) Method and Apparatus for display of 3-D images
EP2629537A2 (en) Display apparatus and method for adjusting three-dimensional effects
KR100753512B1 (en) Apparatus and Method for display of 3-D images in mobile terminal
KR101046580B1 (en) Image processing apparatus and control method
KR19980026635A (en) 3D parallax drawing apparatus and method
CN102843571A (en) Multi-view three-dimensional display image synthesis method
US9269177B2 (en) Method for processing image and apparatus for processing image
TWM471597U (en) Auto-stereoscopic display system
JP2013242378A (en) Imaging device, display method, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right