KR20120140425A

KR20120140425A - Apparatus and method for processing three-dimensional image

Info

Publication number: KR20120140425A
Application number: KR1020110060157A
Authority: KR
Inventors: 정태호
Original assignee: 엘지전자 주식회사
Priority date: 2011-06-21
Filing date: 2011-06-21
Publication date: 2012-12-31

Abstract

PURPOSE: A 3D image processing device and a method thereof are provided to implement a full screen display of a 3D image by performing overscan for right and left eye images when screen ratios of the 3D image and a screen are different from each other. CONSTITUTION: A video decoder decodes received 3D image data(S105). A main scaler overscans left eye image data in the decoded 3D image data(S130). A sub scaler overscans right eye image data in the decoded 3D image data(S135). A synthesis unit synthesizes the right eye image data and the left eye image data(S140). A formatter samples the synthesized stereoscopic image data(S145). [Reference numerals] (AA) Start; (BB) No; (CC) Yes; (DD) End; (S100) Receiving image data; (S105) Decoding the image data; (S110) Is received image data 3D image data?; (S115) Deactivating a sub scaler; (S120) Activating the sub scaler; (S125) Separating left eye view image data and right eye view image data; (S130) Overscanning the left eye view image data; (S135) Overscanning the right eye view image data; (S140) Composing the overscanned left eye view image data and the right eye view image data; (S145) Sampling the 3D image data; (S150) Displaying the sampled 3D image data

Description

Apparatus and method for processing three-dimensional image}

본 발명은 입체영상 처리 장치 및 입체영상 처리 방법에 관한 것으로, 보다 상세하게는, 2안식 입체영상 기술 또는 다안식 입체영상에 있어서 입체영상을 처리할 수 있는 입체영상 처리 장치 및 입체영상 처리 방법에 관한 것이다.The present invention relates to a stereoscopic image processing apparatus and a stereoscopic image processing method, and more particularly, to a stereoscopic image processing apparatus and a stereoscopic image processing method capable of processing stereoscopic images in a binocular stereoscopic technique or a multieye stereoscopic image. It is about.

상용화된 3D 컨텐츠 및 3D 방송의 경우 양안시차(binocular disparity)를 이용한 방식이 주를 이룬다. 양안시차는 사람이 두 눈을 이용하여 하나의 피사체를 볼 때, 왼쪽 눈으로 보는 영상과 오른쪽 눈으로 보는 영상 사이에 두 눈의 간격에 해당하는 만큼 수평으로 존재하는 위치 차이를 말한다. 따라서 사람의 두 눈에 보이는 실제 영상과 동일한 영상을 두 눈에 입력할 수 있다면 영상을 입체적으로 느낄 수 있게 된다. 이에 따라, 실제 피사체를 양안 카메라로 찍어 영상을 얻거나 CG(Computer Graphic) 피사체의 경우 양안 카메라 형태로 사상하여 영상을 생성하고, 생성된 영상을 사용자의 양쪽 눈에 보여줌으로써 입체감을 제공할 수 있다.In the case of commercialized 3D content and 3D broadcasting, a method using binocular disparity is mainly used. The binocular parallax refers to a positional difference that exists horizontally as much as the distance between two eyes when a person looks at a single subject using both eyes and the image seen by the left eye and the image seen by the right eye. Therefore, if the same image can be input to both eyes of the real image visible to the human eye, the image can be three-dimensionally felt. Accordingly, an image may be obtained by photographing a real subject with a binocular camera, or in the case of a computer graphic (CG) subject, the image may be generated by mapping in the form of a binocular camera, and the generated image may be displayed to both eyes of a user to provide a three-dimensional effect. .

최근에는 양안시차 방식을 이용한 영화 컨텐츠가 DVD 대신 블루레이 디스크형태로 보급되고 있으며, 양안시찬 방식의 3D 컨테츠의 개발도 가속화되고 있다. 대부분의 영화 제작사에서는 영화 컨텐츠를 16:9 화면 비과 아닌 21:9 화면 비 형태로 제작하고 있다. 종래의 3D 영상 처리 기술은, 21:9 화면 비를 가진 컨텐츠를 16:9 화면 비를 갖는 TV에서 시청할 경우 화면 비를 유지하기 위해서 스크린의 상단 및 하단에 검은 띠를 가진 레터박스 형태가 불가피했다. 이에 따라 종래의 3D 영상 처리 기술은 TV 스크린에 꽉 찬 영상으로 디스플레이하는 것이 불가능한 문제가 있었다.Recently, movie content using binocular disparity has been spreading in the form of Blu-ray discs instead of DVD, and development of 3D content in binocular vision has also been accelerated. Most movie studios produce movie content in a 21: 9 aspect ratio rather than a 16: 9 aspect ratio. In the conventional 3D image processing technology, when watching content having a 21: 9 aspect ratio on a TV having a 16: 9 aspect ratio, a letter box having black bands at the top and bottom of the screen is inevitable to maintain the aspect ratio. . Accordingly, the conventional 3D image processing technology has a problem that it is impossible to display a full image on the TV screen.

본 발명이 이루고자 하는 기술적 과제는 수신된 입체영상의 화면 비와 스크린의 화면 비가 다른 경우에도, 입체영상을 풀 스크린으로 재생할 수 있는 입체영상 처리 장치 및 입체영상 처리 방법을 제공하는 데 있다.SUMMARY OF THE INVENTION The present invention has been made in an effort to provide a stereoscopic image processing apparatus and a stereoscopic image processing method capable of reproducing a stereoscopic image in full screen even when the aspect ratio of the received stereoscopic image and the screen ratio of the screen are different.

본 발명이 이루고자 하는 기술적 과제는 21:9의 해상도를 갖는 입체영상을 16:9의 화면 비를 갖는 스크린에 풀 스크린으로 재생할 수 있는 입체영상 처리 장치 및 입체영상 처리 방법을 제공하는 데 있다.An object of the present invention is to provide a stereoscopic image processing apparatus and a stereoscopic image processing method capable of reproducing a stereoscopic image having a resolution of 21: 9 on a screen having a 16: 9 aspect ratio in full screen.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 입체영상 처리 방법은 입체영상 데이터를 수신하는 단계, 상기 수신된 입체영상 데이터를 디코딩하는 단계, 상기 디코딩된 입체영상 데이터에 포함된 좌안 시점 영상 데이터 및 우안 시점 영상 데이터를 각각 오버스캔(over-scan)하는 단계 및 상기 오버스캔된 좌안 시점 영상 데이터 및 상기 오버스캔된 우안 시점 영상 데이터를 입체영상 출력 포맷으로 샘플링하는 단계를 포함할 수 있다. 여기서 상기 입체영상의 포맷은 싱글 비디오 스트림 포맷 및 멀티 비디오 스트림 포맷 중 하나일 수 있다.In order to achieve the above technical problem, the stereoscopic image processing method according to the present invention comprises the steps of receiving stereoscopic image data, decoding the received stereoscopic image data, left eye view image data included in the decoded stereoscopic image data And over-scanning the right eye view image data, and sampling the overscanned left eye view image data and the overscanned right eye view image data in a stereoscopic image output format. The format of the stereoscopic image may be one of a single video stream format and a multi video stream format.

상기 오버스캔하는 단계는, 상기 디코딩된 입체영상 데이터를 상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터로 분리하는 단계, 상기 분리된 좌안 시점 영상 데이터 및 상기 분리된 우안 시점 영상 데이터를 각각 오버스캔하는 단계 및 상기 오버스캔된 좌안 시점 영상 데이터 및 상기 오버스캔된 우안 시점 영상 데이터를 합성하는 단계를 포함할 수 있다. The overscanning may include: separating the decoded stereoscopic image data into the left eye view image data and the right eye view image data, and overscanning the separated left eye view image data and the separated right eye view image data, respectively. And synthesizing the overscanned left eye view image data and the overscanned right eye view image data.

상기 합성하는 단계는, 상기 디코딩된 입체영상 데이터의 포맷과 동일한 포맷으로 상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터를 합성하는 단계를 포함할 수 있다.The synthesizing may include synthesizing the left eye view image data and the right eye view image data in the same format as that of the decoded stereoscopic image data.

상기 샘플링하는 단계는, 상기 합성된 좌안 시점 영상 데이터 및 우안 시점 영상 데이터를 상기 입체영상 출력 포맷으로 샘플링하는 단계를 포함할 수 있다.The sampling may include sampling the synthesized left eye view image data and right eye view image data in the stereoscopic image output format.

상기의 입체영상 처리 방법은 입력된 영상 데이터가 상기 입체영상 데이터인지 여부를 확인하는 단계를 더 포함할 수 있다.The stereoscopic image processing method may further include checking whether the input image data is the stereoscopic image data.

상기 확인하는 단계는, 상기 입체영상 데이터의 포맷 및 해상도 중 적어도 하나를 확인하는 단계를 포함할 수 있다.The checking may include checking at least one of a format and a resolution of the stereoscopic image data.

상기 입력된 영상 데이터가 상기 입체영상 데이터인 경우에는, 부 스케일러를 활성화하는 단계를 더 포함하고, 상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터 중 하나는 메인 스케일러에서 오버스캔되고, 나머지 하나는 상기 부 스케일러에서 오버스캔될 수 있다.If the input image data is the stereoscopic image data, the method further comprises activating a sub-scaler, wherein one of the left eye view image data and the right eye view image data is overscanned in the main scaler, and the other is Can be overscanned on the secondary scaler.

상기 입체영상 처리 방법은 상기 입력된 영상 데이터가 상기 입체영상 데이터가 아닌 경우에는, 상기 부 스케일러를 비활성화하는 단계를 더 포함할 수 있다.The stereoscopic image processing method may further include deactivating the subscaler when the input image data is not the stereoscopic image data.

상기 입체영상 처리 방법은 오버스캔 크기를 조정하기 위한 그래픽 유저 인터페이스를 디스플레이하는 단계를 더 포함하고, 상기 오버스캔하는 단계는, 상기 그래픽 유저 인터페이스를 통해 입력된 오버스캔 크기에 따라 상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터를 각각 오버스캔하는 단계를 포함할 수 있다.The stereoscopic image processing method may further include displaying a graphic user interface for adjusting an overscan size, and the overscanning may include the left eye view image data according to the overscan size input through the graphic user interface. And overscanning the right eye view image data, respectively.

상기 오버스캔하는 단계는, 상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터를 각각 16:9의 화면 비를 갖는 스크린에 맞추어 오버스캔하는 단계를 포함할 수 있다.The overscanning may include overscanning the left eye view image data and the right eye view image data according to a screen having an aspect ratio of 16: 9.

상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 입체영상 처리 장치는 입체영상 데이터를 수신하는 수신부, 상기 수신된 입체영상 데이터를 디코딩하는 디코더, 상기 디코딩된 입체영상 데이터에 포함된 좌안 시점 영상 데이터 및 우안 시점 영상 데이터 각각을 오버스캔하는 스케일러, 및 상기 오버스캔된 좌안 시점 영상 데이터 및 상기 오버스캔된 우안 시점 영상 데이터를 입체영상 출력 포맷으로 샘플링하는 포맷터를 포함할 수 있다. 여기서 상기 입체영상의 포맷은 싱글 비디오 스트림 포맷 및 멀티 비디오 스트림 포맷 중 하나일 수 있다.In accordance with another aspect of the present invention, a stereoscopic image processing apparatus includes a receiver for receiving stereoscopic image data, a decoder for decoding the stereoscopic image data, and a left eye view image included in the decoded stereoscopic image data. And a scaler for overscanning each of the data and the right eye view image data, and a formatter for sampling the overscanned left eye view image data and the overscanned right eye view image data into a stereoscopic image output format. The format of the stereoscopic image may be one of a single video stream format and a multi video stream format.

상기의 입체영상 처리 장치는 상기 디코딩된 입체영상 데이터를 상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터가 분리되도록 제어하는 제어부를 더 포함하고, 상기 스케일러는, 상기 분리된 좌안 시점 영상 데이터 및 상기 분리된 우안 시점 영상 데이터를 각각 오버스캔하고, 상기 오버스캔된 좌안 시점 영상 데이터 및 상기 오버스캔된 우안 시점 영상 데이터를 합성하는 합성부를 더 포함할 수 있다.The stereoscopic image processing apparatus further includes a controller configured to control the decoded stereoscopic image data to separate the left eye view image data and the right eye view image data, and the scaler includes the separated left eye view image data and the separation. The apparatus may further include a synthesizer configured to overscan the right eye view image data and synthesize the overscanned left eye view image data and the overscanned right eye view image data.

상기 합성부는, 상기 디코딩된 입체영상 데이터의 포맷과 동일한 포맷으로 상기 오버스캔된 좌안 시점 영상 데이터 및 상기 오버스캔된 우안 시점 영상 데이터를 합성할 수 있다.The synthesis unit may synthesize the overscanned left eye view image data and the overscanned right eye view image data in the same format as that of the decoded stereoscopic image data.

상기의 입체영상 처리 장치는 입력된 영상 데이터가 상기 입체영상 데이터인지 여부를 확인하는 제어부를 더 포함할 수 있다. 여기서 상기 제어부는 상기 입체영상 데이터의 포맷 및 해상도 중 적어도 하나를 확인할 수 있다.The stereoscopic image processing apparatus may further include a controller configured to determine whether the input image data is the stereoscopic image data. The controller may check at least one of a format and a resolution of the stereoscopic image data.

상기 스케일러는, 상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터 중 하나를 오버스캔하는 메인 스케일러 및 상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터 중 나머지 하나를 오버스캔하는 부 스케일러를 포함하고, 상기 제어부는, 상기 입력된 영상 데이터가 상기 입체영상 데이터인 경우에는, 상기 부 스케일러가 활성화되도록 제어할 수 있다.The scaler may include a main scaler that overscans one of the left eye view image data and the right eye view image data, and a subscaler that overscans the other of the left eye view image data and the right eye view image data. If the input image data is the stereoscopic image data, the subscaler may be controlled to be activated.

상기 제어부는, 상기 입력된 영상 데이터가 상기 입체영상 데이터가 아닌 경우에는, 상기 부 스케일러를 비활성화하는 단계를 더 포함할 수 있다.The control unit may further include deactivating the sub-scaler when the input image data is not the stereoscopic image data.

상기의 입체영상 처리 장치는 오버스캔 크기를 조정하기 위한 그래픽 유저 인터페이스가 디스플레이되도록 제어하는 제어부를 더 포함하고, 상기 스케일러는, 상기 그래픽 유저 인터페스를 통해 입력된 오버스캔 크기에 따라 상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터를 각각 오버스캔할 수 있다.The stereoscopic image processing apparatus further includes a controller configured to control a graphic user interface for adjusting the overscan size to be displayed, wherein the scaler includes the left eye view image according to the overscan size input through the graphic user interface. The data and the right eye view image data may be overscanned, respectively.

상기 스케일러는, 상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터를 각각 16:9의 화면 비를 갖는 스크린에 맞추어 오버스캔할 수 있다.The scaler may overscan the left eye view image data and the right eye view image data to fit a screen having an aspect ratio of 16: 9.

본 발명에 따른 입체영상 처리 장치 및 입체영상 처리 방법에 의하면, 수신된 입체영상에 포함된 좌안 영상 및 우안 영상 각각에 대해 오버스캔을 수행하므로, 수신된 입체영상의 화면 비와 스크린의 화면 비과 다른 경우에도, 입체영상을 풀 스크린으로 보이도록 디스플레이할 수 있고, 두개의 스케일러 중 하나의 활성화를 제어하여 오버스캔을 수행하므로, 영상 처리를 위해 이용되는 메모리 사용량을 최소화할 수 있다.According to the stereoscopic image processing apparatus and the stereoscopic image processing method according to the present invention, since the left eye image and the right eye image included in the received stereoscopic image are respectively overscanned, the aspect ratio of the received stereoscopic image and the aspect ratio of the screen differ from each other. In this case, the stereoscopic image may be displayed to be displayed in full screen, and overscan is performed by controlling activation of one of the two scalers, thereby minimizing memory usage used for image processing.

도 1은 본 발명에 따른 입체영상 처리 장치에 대한 바람직한 일실시예의 구성을 도시한 블록도,
도 2는 양안시차 방식을 도시한 도면,
도 3은 본 발명에 따른 입체영상의 싱글 비디오 스트림 포맷의 예들을 도시한 도면,
도 4는 본 발명에 따른 입체영상의 멀티 비디오 스트림 포맷의 예들을 도시한 도면,
도 5는 신호 처리부에 대한 바람직한 일실시예의 구성을 도시한 블록도,
도 6은 스케일러에 입력된 좌안 시점 영상 데이터 및 우안 시점 영상 데이터의 일실시예를 도시한 도면,
도 7은 오버스캔 크기를 조정하기 위한 그래픽 유저 인터페이스를 도시한 도면,
도 8은 스케일러에 대한 바람직한 실시시예의 구성을 도시한 블록도,
도 9는 FRC부에서 입력 영상 데이터의 처리 과정을 설명하기 위한 도면,
도 10은 편광 방식으로 디스플레이되는 입체영상 출력 포맷에 대한 바람직한 일실시예를 도시한 도면,
도 11은 셔터글라스 방식으로 디스플레이되는 입체영상 출력 포맷에 대한 바람직한 일실시예를 도시한 도면,
도 12는 본 발명에 따른 입체영상 처리 방법에 대한 바람직한 일실시예의 수행과정을 도시한 흐름도이고,
도 13은 본 발명에 따른 입체영상 처리 방법에 대한 바람직한 다른 실시예의 수행과정을 도시한 흐름도이고,
도 14는 본 발명에 따른 입체영상 처리 방법에 대한 바람직한 또 다른 실시예의 수행과정을 도시한 흐름도이고, 그리고,
도 15는 본 발명에 따른 입체영상 처리 방법에 대한 바람직한 또 다른 실시예의 수행과정을 도시한 흐름도이다.1 is a block diagram showing the configuration of a preferred embodiment of a stereoscopic image processing apparatus according to the present invention;
2 is a diagram illustrating a binocular parallax scheme;
3 illustrates examples of a single video stream format of a stereoscopic image according to the present invention;
4 is a diagram illustrating examples of a multi-video stream format of a stereoscopic image according to the present invention;
5 is a block diagram showing the configuration of a preferred embodiment of the signal processing unit;
6 is a diagram illustrating an embodiment of left eye view image data and right eye view image data input to the scaler;
7 shows a graphical user interface for adjusting overscan size;
8 is a block diagram showing the configuration of a preferred embodiment of a scaler;
9 is a view for explaining a process of processing input image data in an FRC unit;
FIG. 10 illustrates a preferred embodiment of a stereoscopic image output format displayed in a polarized manner;
11 is a view showing a preferred embodiment of a three-dimensional image output format displayed in a shutter glass method,
12 is a flowchart illustrating a process of performing an embodiment of a stereoscopic image processing method according to the present invention;
13 is a flowchart illustrating a process of performing another preferred embodiment of the stereoscopic image processing method according to the present invention;
14 is a flowchart illustrating a process of performing another preferred embodiment of a stereoscopic image processing method according to the present invention;
15 is a flowchart illustrating a process of performing another preferred embodiment of the stereoscopic image processing method according to the present invention.

이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings. At this time, the configuration and operation of the present invention shown in the drawings and described by it will be described as at least one embodiment, by which the technical spirit of the present invention and its core configuration and operation is not limited.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당해 기술분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 함을 밝혀두고자 한다.Although the terms used in the present invention have been selected in consideration of the functions of the present invention, it is possible to use general terms that are currently widely used, but this may vary depending on the intention or custom of a person skilled in the art or the emergence of new technology. Also, in certain cases, there may be a term selected arbitrarily by the applicant, in which case the meaning thereof will be described in detail in the description of the corresponding invention. Therefore, it is to be understood that the term used in the present invention should be defined based on the meaning of the term rather than the name of the term, and on the contents of the present invention throughout.

도 1은 본 발명에 따른 입체영상 처리 장치에 대한 바람직한 일실시예의 구성을 도시한 블록도이다.1 is a block diagram showing the configuration of a preferred embodiment of a stereoscopic image processing apparatus according to the present invention.

도 1을 참조하면, 본 발명에 따른 입체영상 처리 장치(100)는 수신부(101), 신호 처리부(140), 디스플레이(150), 음성 출력부(160), 입력장치(170), 저장부(180) 및 제어부(190)를 포함할 수 있다. 입체영상 처리 장치(100)는 데스크톱, 랩톱, 태블릿 또는 핸드헬드 컴퓨터 등의 퍼스널 컴퓨터 시스템일 수 있다. 또한 입체영상 처리 장치(100)는 휴대폰, 스마트폰(smart phone), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 내비게이션 등과 같은 이동 단말기일 수 있고, 디지털 TV 같은 고정형 가전기기일 수 있다.Referring to FIG. 1, the stereoscopic image processing apparatus 100 according to the present invention includes a receiver 101, a signal processor 140, a display 150, an audio output unit 160, an input device 170, and a storage unit ( 180 and the controller 190 may be included. The stereoscopic image processing apparatus 100 may be a personal computer system such as a desktop, a laptop, a tablet, or a handheld computer. In addition, the stereoscopic image processing apparatus 100 may be a mobile terminal such as a mobile phone, a smart phone, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), a navigation device, or the like. It may be a device.

수신부(101)는 방송 데이터, 영상 데이터, 음성 데이터, 정보 데이터 및 프로그램 코드를 수신할 수 있다. 여기서 영상 데이터는 양안시차 방식의 입체영상 데이터일 수 있다. 입체영상 데이터는 스테레오 시점 영상 또는 다시점 영상일 수 있다. 즉 입체영상 데이터는 적어도 하나의 좌안 시점 영상 데이터와 적어도 하나의 우안 시점 영상 데이터를 포함할 수 있다. 또한 입체영상 데이터는 싱글 비디오 스트림 포맷 및 멀티 비디오 스트림 포맷을 가질 수 있다.The receiver 101 may receive broadcast data, video data, audio data, information data, and program codes. The image data may be stereoscopic image data of a binocular disparity method. The stereoscopic image data may be a stereo viewpoint image or a multiview image. That is, the stereoscopic image data may include at least one left eye view image data and at least one right eye view image data. In addition, the stereoscopic image data may have a single video stream format and a multi video stream format.

도 2는 양안시차 방식을 도시한 도면이다.2 is a diagram illustrating a binocular parallax method.

도 2를 참조하면, 양안시차 방식은 양안 카메라 등으로 촬상된 좌안 시점 영상(201) 및 우안 시점 영상(202)을 시청자의 양 눈(211, 212)에 각각 보여줌으로써 공간감 또는 입체감을 제공하는 3차원 디스플레이 방식이다. 좌안 시점 영상(201) 및 우안 시점 영상(202)의 양안 시차에 따라 시청자에게 제공되는 공간감 또는 입체감이 달라질 수 있다.Referring to FIG. 2, in the binocular disparity method, a left eye view image 201 and a right eye view image 202 captured by a binocular camera or the like are shown to the viewer's eyes 211 and 212, respectively, to provide a sense of space or a three-dimensional effect. Dimensional display method. Depending on the binocular disparity between the left eye view image 201 and the right eye view image 202, the sense of space or three-dimensionality provided to the viewer may vary.

좌안 시점 영상(201) 및 우안 시점 영상(202)의 간격이 좁을수록, 좌안(211) 및 우안(212)로부터 먼 거리에서 상이 맺히는 것으로 인식되어, 시청자에게 제공되는 공간감 또는 입체감이 작아질 수 있다. 또한 좌안 시점 영상(201) 및 우안 시점 영상(202)의 간격이 넓을수록, 좌안(211) 및 우안(212)으로부터 가까운 거리에서 상이 맺히는 것으로 인식되어, 시청자에게 제공되는 공간감 또는 입체감이 커질 수 있다.As the distance between the left eye view image 201 and the right eye view image 202 is narrower, it is recognized that an image is formed at a far distance from the left eye 211 and the right eye 212, so that a sense of space or a three-dimensional feeling provided to a viewer may be reduced. . In addition, as the interval between the left eye view image 201 and the right eye view image 202 is wider, it is recognized that the image is formed at a close distance from the left eye 211 and the right eye 212, thereby increasing the sense of space or three-dimensionality provided to the viewer. .

도 3은 본 발명에 따른 입체영상의 싱글 비디오 스트림 포맷의 예들을 도시한 도면이다.3 is a diagram illustrating examples of a single video stream format of a stereoscopic image according to the present invention.

도 3을 참조하면, 싱글 비디오 스트림 포맷은 사이드 바이 사이드(side by side) 포맷, 탑 앤 바텀(top and bottom) 포맷, 체커 보드(checker board) 포맷, 프레임 시퀀셜(Frame sequential) 포맷 및 인터레이스드(Interlaced) 포맷을 포함할 수 있다.Referring to FIG. 3, the single video stream format includes a side by side format, a top and bottom format, a checker board format, a frame sequential format, and an interlaced format. Interlaced) format.

사이드 바이 사이드(side by side) 포맷(310)은 좌안 시점 영상(201)을 디스플레이하는 좌안 시점 영상 데이터(311)와 우안 시점 영상(202)을 디스플레이하는 우안 시점 영상 데이터(312)가 사람의 좌안과 우안에 각각 서로 직교하도록 나란히 입력되는 포맷이다. 사이드 바이 사이드 포맷의 영상 프레임(310)에는 하나의 좌안 시점 영상 프레임(311) 및 하나의 우안 시점 영상 프레임(312)이 나란히 배치된다.The side by side format 310 includes a left eye view image data 311 displaying a left eye view image 201 and a right eye view image data 312 displaying a right eye view image 202. It is a format that is input side by side orthogonal to each other and right eye. In the side-by-side format image frame 310, one left eye view image frame 311 and one right eye view image frame 312 are arranged side by side.

탑 앤 바텀(top and bottom) 포맷(320)은 좌안 시점 영상(201)을 디스플레이하는 좌안 시점 영상 데이터(321)와 우안 시점 영상(202)을 디스플레이하는 우안 시점 영상 데이터(322)가 상하로 입력되는 포맷이다. 탑 앤 바텀 포맷의 영상 프레임(320)에는 하나의 좌안 시점 영상 프레임(321) 및 하나의 우안 시점 영상 프레임(322)이 상하로 배치된다. The top and bottom format 320 inputs the left eye view image data 321 displaying the left eye view image 201 and the right eye view image data 322 displaying the right eye view image 202 up and down. Format. One left eye view image frame 321 and one right eye view image frame 322 are disposed up and down in the top and bottom format image frame 320.

체커 보드(checker board) 포맷(330)은 좌안 시점 영상(201)을 디스플레이하는 좌안 시점 영상 데이터(331)와 우안 시점 영상(202)을 디스플레이하는 우안 시점 영상 데이터(332)가 체스판 모양으로 시간적으로 번갈아 입력되는 포맷이다. 즉 체커 보드 포맷의 영상 프레임(330)에는 좌안 시점 영상(201)의 화소 데이터와 우안 시점 영상(202)의 화소 데이터가 체스판 모양으로 시간적으로 번갈아 배치된다.The checker board format 330 includes a left eye view image data 331 displaying a left eye view image 201 and a right eye view image data 332 displaying a right eye view image 202 in a chessboard shape. The format is entered alternately. That is, the pixel data of the left eye view image 201 and the pixel data of the right eye view image 202 are alternately arranged in a chessboard shape in the checker board format image frame 330.

프레임 시퀀셜(Frame sequential) 포맷(340)은 좌안 시점 영상(201)을 디스플레이하는 좌안 시점 영상 데이터(341) 및 우안 시점 영상(202)을 디스플레이하는 우안 시점 영상 데이터(342)가 시간차를 두어 입력되는 방식이다. 프레임 시퀀셜 포맷에서 하나의 좌안 시점 영상 프레임(341) 및 하나의 우안 시점 영상 프레임(342)이 하나의 독립된 영상 프레임으로 수신된다. In the frame sequential format 340, left eye view image data 341 displaying the left eye view image 201 and right eye view image data 342 displaying the right eye view image 202 are inputted with a time difference. That's the way. In the frame sequential format, one left eye view image frame 341 and one right eye view image frame 342 are received as one independent image frame.

인터레이스드(Interlaced) 포맷에는 좌안 시점 영상(201)을 디스플레이하는 좌안 시점 영상 데이터(351)와 우안 시점 영상(202)을 디스플레이하는 우안 시점 영상 데이터(352)를 각각 수평 방향으로 1/2 서브 샘플링하고, 샘플링한 좌안 시점 영상 데이터(351)와 우안 시점 영상 데이터(352)가 라인마다 교대로 위치하는 포맷(350)이 있다. 또한 인터레이스드(Interlaced) 포맷에는 좌안 시점 영상 (201)을 디스플레이하는 좌안 시점 영상 데이터(356)와 우안 시점 영상(202)을 디스플레이하는 우안 시점 영상 데이터(357)를 각각 수직 방향으로 1/2 서브 샘플링하고, 샘플링한 좌안 시점 영상 데이터(356)와 우안 시점 영상 데이터(357)가 라인마다 교대로 위치하는 포맷(355)이 있다.In the interlaced format, the left eye view image data 351 displaying the left eye view image 201 and the right eye view image data 352 displaying the right eye view image 202 are each 1/2 subsampled in the horizontal direction. There is a format 350 in which the sampled left eye view image data 351 and the right eye view image data 352 are alternately positioned for each line. In the interlaced format, the left eye view image data 356 for displaying the left eye view image 201 and the right eye view image data 357 for displaying the right eye view image 202 are each 1/2 sub-length in the vertical direction. There is a format 355 in which the sampled left eye view image data 356 and the sampled left eye view image data 357 are alternately positioned for each line.

도 4는 본 발명에 따른 입체영상의 멀티 비디오 스트림 포맷의 예들을 도시한 도면이다.4 is a diagram illustrating examples of a multi-video stream format of a stereoscopic image according to the present invention.

도 4를 참조하면, 멀티 비디오 스트림 포맷은 풀 좌/우(Full left/right)(410), 풀 좌/하프 우(Full left/Half right)(420) 및 2D 비디오/깊이(2D video/depth)를 포함할 수 있다.Referring to FIG. 4, the multi video stream formats include full left / right 410, full left / half right 420, and 2D video / depth. ) May be included.

풀 좌/우(410)는 좌안 시점 영상(411) 및 우안 시점 영상(415)을 각각 전송하는 멀티 비디오 스트림 포맷이고, 풀 좌/하프 우(420)는 좌안 시점 영상(421)은 그대로 전송하고, 우안 시점 영상은 수직(422) 또는 수평(423) 방향으로 1/2 서브 샘플링하여 전송하는 멀티 비디오 스트림 포맷이며, 2D 비디오/깊이 포맷(430)은 하나의 시점 영상(431)과 다른 하나의 시점 영상을 만들어내기 위한 깊이 정보(435)를 함께 전송하는 멀티 비디오 스트림 포맷이다.The full left / right 410 is a multi-video stream format for transmitting the left eye view image 411 and the right eye view image 415, respectively, and the full left / half right 420 transmits the left eye view image 421 as it is. The right eye view image is a multi video stream format that is 1/2 sub-sampled and transmitted in a vertical 422 or horizontal 423 direction, and the 2D video / depth format 430 is different from one view image 431 and the other. A multi video stream format for transmitting depth information 435 together for generating a view image.

수신부(101)는 튜너부(110), 복조부(120), 이동통신부(115), 네트워크 인터페이스부(130) 및 외부 신호 수신부(130)를 포함할 수 있다.The receiver 101 may include a tuner 110, a demodulator 120, a mobile communication unit 115, a network interface unit 130, and an external signal receiver 130.

튜너부(110)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널에 해당하는 RF 방송 신호를 선택하고, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호로 변환한다.The tuner unit 110 selects an RF broadcast signal corresponding to a channel selected by a user from among radio frequency (RF) broadcast signals received through an antenna, and converts the selected RF broadcast signal into an intermediate frequency signal or a baseband video or audio signal. To convert.

복조부(120)는 튜너부(110)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행한다. 일예로, 튜너부(110)에서 출력되는 디지털 IF 신호가 ATSC 방식인 경우에는, 복조부(120)는 8-VSB(8-Vestigial Side Band) 복조를 수행한다. 또 다른 예로, 튜너부(110)에서 출력되는 디지털 IF 신호가 DVB 방식인 경우, 복조부(120)는 COFDMA(Coded Orthogonal Frequency Division Modulation) 복조를 수행한다. The demodulator 120 receives the digital IF signal DIF converted by the tuner 110 and performs a demodulation operation. For example, when the digital IF signal output from the tuner unit 110 is an ATSC scheme, the demodulator 120 performs 8-VSB (8-Vestigial Side Band) demodulation. As another example, when the digital IF signal output from the tuner 110 is a DVB scheme, the demodulator 120 performs coded orthogonal frequency division modulation (COFDMA) demodulation.

또한, 복조부(120)는 채널 복호화를 수행할 수도 있다. 이를 위해 복조부(120)는 트렐리스 디코더(Trellis Decoder), 디인터리버(De-interleaver), 및 리드 솔로먼 디코더(Reed Solomon Decoder) 등을 구비하여, 트렐리스 복호화, 디인터리빙, 및 리드 솔로먼 복호화를 수행할 수 있다.Also, the demodulation unit 120 may perform channel decoding. To this end, the demodulator 120 includes a trellis decoder, a de-interleaver, and a reed solomon decoder to perform trellis decoding, deinterleaving, Solomon decoding can be performed.

복조부(120)는 복조 및 채널 복호화를 수행한 후 스트림 신호(TS)를 출력할 수 있다. 이때 스트림 신호는 영상 신호, 음성 신호 또는 데이터 신호가 다중화된 신호일 수 있다. 일예로, 스트림 신호는 MPEG-2 규격의 영상 신호, 돌비(Dolby) AC-3 규격의 음성 신호 등이 다중화된 MPEG-2 TS(Transport Stream)일 수 있다.The demodulation unit 120 may perform demodulation and channel decoding, and then output a stream signal TS. In this case, the stream signal may be a signal multiplexed with a video signal, an audio signal, or a data signal. For example, the stream signal may be an MPEG-2 Transport Stream (TS) multiplexed with an MPEG-2 standard video signal, a Dolby AC-3 standard audio signal, and the like.

복조부(120)에서 출력한 스트림 신호는 신호처리부(140)로 입력될 수 있다. The stream signal output from the demodulator 120 may be input to the signal processor 140.

이동통신부(115)는 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.The mobile communication unit 115 transmits and receives a radio signal with at least one of a base station, an external terminal, and a server on a mobile communication network. The wireless signal may include various types of data depending on a voice call signal, a video call signal or a text / multimedia message transmission / reception.

외부 신호 수신부(135)는 외부 장치와 입체영상 처리 장치(100)를 연결할 수 있는 인터페이스를 제공할 수 있다. 여기서 외부 장치는 DVD(Digital Versatile Disk), 블루레이(Bluray), 게임기기, 켐코더, 컴퓨터(노트북) 등 다양한 종류의 영상 또는 음성 출력 장치를 의미할 수 있고, USB 메모리 또는 USB 하드 디스크 등의 저장 장치일 수 있다. 입체영상 처리 장치(100)는 외부 신호 수신부(135)로부터 수신된 영상 신호 및 음성 신호를 디스플레이할 수 있고, 데이터 신호를 저장하거나 사용할 수 있다. The external signal receiver 135 may provide an interface for connecting the external device and the 3D image processing apparatus 100. Here, the external device may refer to various types of video or audio output devices such as a DVD (Digital Versatile Disk), Blu-ray (Bluray), a game device, a camcorder, a computer (laptop), and a USB memory or a USB hard disk. It may be a device. The 3D image processing apparatus 100 may display a video signal and an audio signal received from the external signal receiver 135, and store or use a data signal.

또한 외부 장치는 촬영 장치(90)일 수 있다. 촬영 장치(90)는 복수의 카메라를 포함할 수 있다. 촬영 장치(90)는 사람을 촬상할 수 있다. 촬영 장치(90)는 사람의 손 영역을 인식하여 손 영역에 초점을 맞추고, 줌인하여 촬상할 수 있다. 여기서 촬상된 손 모양은 공간 제스처로 인식될 수 있다. 즉 제어부(190)는 촬상된 손 모양을 공간 제스처로 인식하고 인식된 공간 제스처와 연관된 동작들을 수행하는 명령어들을 실행할 수 있다. 여기서 공간 제스처는 하나 이상의 특정의 컴퓨팅 동작에 매핑되는, 촬영 장치(90)로부터 수신되는 영상 프레임 또는 영상으로부터 인식되는 제스처로 정의될 수 있다. Also, the external device may be the photographing device 90. The photographing apparatus 90 may include a plurality of cameras. The imaging device 90 can image a person. The photographing apparatus 90 may recognize a hand region of a person, focus on the hand region, and zoom in to capture an image. In this case, the captured hand may be recognized as a spatial gesture. That is, the controller 190 may recognize the captured hand as a spatial gesture and execute commands for performing operations associated with the recognized spatial gesture. Here, the spatial gesture may be defined as a gesture recognized from an image frame or an image received from the photographing apparatus 90, which is mapped to one or more specific computing operations.

일부 실시예로, 입체영상 처리 장치(100)는 촬영 장치(90)를 포함할 수 있다.In some embodiments, the 3D image processing apparatus 100 may include a photographing apparatus 90.

신호처리부(140)는 복조부(210)가 출력한 스트림 신호를 역다중화하고 역다중화된 신호에 신호 처리 등을 수행한 후, 디스플레이(150)로 영상을 출력하고, 음성 출력부(160)로 음향(161)을 출력한다. 또한 신호 처리부(140)는 이동통신부(115), 네트워크 인터페이스부(130) 및 외부 신호 수신부(135)로부터 영상 데이터, 음성 데이터 및 방송 데이터를 수신할 수 있다. The signal processor 140 demultiplexes the stream signal output by the demodulator 210, performs signal processing on the demultiplexed signal, and outputs an image to the display 150. The sound 161 is output. In addition, the signal processor 140 may receive image data, audio data, and broadcast data from the mobile communication unit 115, the network interface unit 130, and the external signal receiving unit 135.

신호 처리부(140)는 수신부(101)로부터 수신된 입체영상 데이터를 입체영상 출력 포맷으로 샘플링할 수 있다. 일부 실시예로, 신호 처리부(140)는 상기 입체영상 데이터에 포함된 좌안 시점 영상 프레임 및 우안 시점 영상 프레임을 각각 오버스캔(over-scan)할 수 있고, 오버스캔된 입체영상 데이터를 입체영상 출력 포맷으로 샘플링할 수 있다. 여기서 입체영상 출력 포맷은 디스플레이(150)가 입체영상을 디스플레이하기 위한 포맷이다. 오버스캔은 영상 기기로 입력된 영상 데이터를 한 화면에 출력할 경우, 외곽에 검은 색의 테두리가 보이거나, 스캔 라인의 이상으로 노이즈 등이 보일 수 있으므로, 이러한 노이즈 등을 제거하기 위해 입력 영상 데이터를 화면 이상으로 확대한 후, 가장자리를 절단하여 화면에 출력하는 스캔 방법이다.The signal processor 140 may sample the stereoscopic image data received from the receiver 101 in the stereoscopic image output format. In some embodiments, the signal processor 140 may over-scan the left eye view image frame and the right eye view image frame included in the stereoscopic image data, respectively, and output the overscanned stereoscopic image data to the stereoscopic image. You can sample in format. The stereoscopic image output format is a format for the display 150 to display a stereoscopic image. When overscan is used to output image data input to an image device on one screen, black borders may appear on the outside or noise may appear due to abnormalities in the scan line, so the input image data may be removed to remove such noise. After zooming in beyond the screen, the edge is cut and output to the screen.

일부 실시예로, 신호 처리부(140)는 상기 입체영상 데이터에 포함된 좌안 시점 영상 프레임 및 우안 시점 영상 프레임을 각각 오버스캔하고 오버스캔된 입체영상 데이터의 프레임 레이트를 변경할 수 있다.In some embodiments, the signal processor 140 may overscan the left eye view image frame and the right eye view image frame included in the stereoscopic image data and change the frame rate of the overscanned stereoscopic image data, respectively.

신호 처리부(140)는 샘플링한 입체영상 데이터를 디스플레이(150)로 출력할 수 있다.The signal processor 140 may output the sampled stereoscopic image data to the display 150.

디스플레이(150)는 영상(152)을 디스플레이한다. 여기서 영상(152)은 입체영상일 수 있고, 디스플레이(150)는 편광 방식(Patterned Retarder type) 또는 셔터글라스 방식으로 입체영상을 디스플레이할 수 있다. 여기서 입체영상(152)은 입체영상 출력 포맷으로 샘플링된 입체영상 데이터가 디스플레이된 것일 수 있다.The display 150 displays the image 152. Herein, the image 152 may be a stereoscopic image, and the display 150 may display the stereoscopic image in a patterned retarder type or a shutter glass method. Here, the stereoscopic image 152 may display stereoscopic image data sampled in a stereoscopic image output format.

또한, 디스플레이(150)는 제어부(190)와 연결되어 동작할 수 있다. 디스플레이(150)는 입체영상 처리 장치의 사용자와 운영 체제 또는 운영 체제 상에서 실행 중인 애플리케이션 간의 사용하기 쉬운 인터페이스를 제공하는 그래픽 사용자 인터페이스(GUI)(153)를 디스플레이할 수 있다. GUI(153)는 프로그램, 파일, 및 동작 옵션들을 그래픽 이미지로 표현한다. 그래픽 이미지는 윈도우, 필드, 대화상자, 메뉴, 아이콘, 버튼, 커서 및 스크롤바 등을 포함할 수 있다. 이러한 이미지는 미리 정의된 레이아웃으로 정렬될 수 있거나, 사용자가 취하고 있는 특정의 조치를 돕기 위해 동적으로 생성될 수 있다. 동작 동안에, 사용자는 여러 가지 그래픽 이미지와 연관된 기능 및 작업을 제기하기 위해 그 이미지를 선택 및 활성화할 수 있다. 예로서, 사용자는 윈도우의 열기, 닫기, 최소화, 또는 최대화를 행하는 버튼, 또는 특정 프로그램을 가동시키는 아이콘을 선택할 수 있다.In addition, the display 150 may operate in connection with the controller 190. The display 150 may display a graphical user interface (GUI) 153 that provides an easy-to-use interface between a user of the stereoscopic image processing apparatus and an application running on the operating system or the operating system. The GUI 153 presents the program, file, and operation options in a graphical image. A graphical image may include a window, a field, a dialog box, a menu, an icon, a button, a cursor, a scroll bar, and the like. Such images may be arranged in a predefined layout or may be dynamically generated to help with the particular action the user is taking. During operation, a user can select and activate an image to present functions and tasks associated with various graphical images. By way of example, a user may select a button that opens, closes, minimizes, or maximizes a window, or an icon that launches a particular program.

음성 출력부(160)는 신호 처리부(140) 및 제어부(190)로부터 음성 데이터를 수신하고 수신한 음성 데이터가 재생된 음향(161)을 출력할 수 있다.The voice output unit 160 may receive voice data from the signal processor 140 and the controller 190 and output a sound 161 in which the received voice data is reproduced.

입력장치(170)는 디스플레이(150) 상에 또는 그 전방에 배치되어 있는 터치 스크린일 수 있고 다중점 입력장치일 수 있다. 터치 스크린은 디스플레이(150)와 일체로 되어 있거나 별개의 구성요소일 수 있다. 터치 스크린이 디스플레이(150)의 전방에 배치됨에 따라 사용자는 GUI(153)를 직접 조작할 수 있다. 예를 들어, 사용자는 단지 제어될 객체 상에 그의 손가락을 올려놓을 수 있다. 터치패드는 디스플레이(150)로부터 떨어져 일반적으로 다른 평면에 놓여 있다. 예를 들어, 디스플레이(150)는 일반적으로 수직 평면에 위치해 있고, 터치패드는 일반적으로 수평 평면에 위치해 있을 수 있다.The input device 170 may be a touch screen disposed on or in front of the display 150 and may be a multi-point input device. The touch screen may be integrated with the display 150 or may be a separate component. As the touch screen is disposed in front of the display 150, the user may directly manipulate the GUI 153. For example, the user can only place his finger on the object to be controlled. The touchpad is generally in a different plane away from the display 150. For example, the display 150 may be generally located in a vertical plane, and the touchpad may be generally located in a horizontal plane.

저장부(180)는 일반적으로 입체영상 처리 장치(100)에 의해 사용되는 프로그램 코드 및 데이터를 저장하는 장소를 제공한다. 저장부(180)는 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 하드 디스크 드라이브 등으로 구현될 수 있다. 프로그램 코드 및 데이터는 분리형 저장 매체에 존재할 수 있고, 필요할 때, 입체영상 처리 장치(100) 상으로 로드 또는 설치될 수 있다. 여기서 분리형 저장 매체는 CD-ROM, PC-CARD, 메모리 카드, 플로피 디스크, 자기 테이프, 및 네트워크 컴포넌트를 포함할 수 있다.The storage unit 180 generally provides a place for storing program codes and data used by the stereoscopic image processing apparatus 100. The storage unit 180 may be implemented as a read only memory (ROM), a random access memory (RAM), a hard disk drive, or the like. The program code and data may reside in a removable storage medium and may be loaded or installed onto the stereoscopic image processing apparatus 100 as needed. Removable storage media may include CD-ROM, PC-CARD, memory cards, floppy disks, magnetic tape, and network components.

제어부(190)는 명령어를 실행하고 입체영상 처리 장치(100)와 연관된 동작을 수행한다. 예를 들면, 저장부(180)로부터 검색된 명령어를 사용하여, 제어부(190)는 입체영상 처리 장치(100)의 컴포넌트들 간의 입력 및 출력, 데이터의 수신 및 처리를 제어할 수 있다. 제어부(190)는 단일 칩, 다수의 칩, 또는 다수의 전기 부품 상에 구현될 수 있다. 예를 들어, 전용 또는 임베디드 프로세서, 단일 목적 프로세서, 컨트롤러, ASIC, 기타 등등을 비롯하여 여러 가지 아키텍처가 제어부(190)에 대해 사용될 수 있다.The controller 190 executes a command and performs an operation associated with the stereoscopic image processing apparatus 100. For example, the controller 190 may control input and output between the components of the stereoscopic image processing apparatus 100 and reception and processing of data using the command retrieved from the storage unit 180. The controller 190 may be implemented on a single chip, multiple chips, or multiple electrical components. For example, various architectures may be used for the controller 190, including dedicated or embedded processors, single purpose processors, controllers, ASICs, and the like.

제어부(190)는 운영 체제와 함께 컴퓨터 코드를 실행하고 데이터를 생성 및 사용하는 동작을 한다. 운영 체제는 일반적으로 공지되어 있으며 이에 대해 보다 상세히 기술하지 않는다. 예로서, 운영 체제는 Window 계열 OS, Unix, Linux, Palm OS, DOS, 안드로이드 및 매킨토시 등일 수 있다. 운영 체제, 다른 컴퓨터 코드 및 데이터는 제어부(190)와 연결되어 동작하는 저장부(180) 내에 존재할 수 있다.The controller 190 executes computer code together with an operating system to generate and use data. The operating system is generally known and will not be described in more detail. By way of example, the operating system may be a Window based OS, Unix, Linux, Palm OS, DOS, Android, Macintosh, and the like. The operating system, other computer code, and data may be present in the storage unit 180 that operates in conjunction with the control unit 190.

제어부(190)는 사용자 조치(User Action)를 인식하고 인식한 사용자 조치에 기초하여 입체영상 처리 장치(100)를 제어할 수 있다. 여기서 사용자 조치는 입체영상 처리 장치 또는 리모컨의 물리적인 버튼의 선택, 터치 스크린 디스플레이면상의 소정의 제스처의 실시 또는 소프트 버튼의 선택 및 촬상 장치로 촬영된 영상으로부터 인식되는 소정의 제스처의 실시 및 음성 인식에 의해 인식되는 소정의 발성의 실시를 포함할 수 있다. 외부 신호 수신부(135)는 리모컨의 물리적인 버튼을 선택하는 사용자 조치에 대한 신호를 리모컨을 통해 수신할 수 있다. 제스처는 터치 제스처와 공간 제스처를 포함할 수 있다. 여기서 터치 제스처는 하나 이상의 특정의 컴퓨팅 동작에 매핑되는, 입력장치(170)와의 양식화된 상호작용으로서 정의될 수 있다. 터치 제스처는 여러 가지 손을 통해, 보다 상세하게는 손가락 움직임을 통해 행해질 수 있다. 다른 대안으로서 또는 그에 부가하여, 제스처는 스타일러스로 행해질 수 있다.The controller 190 may recognize the user action and control the 3D image processing apparatus 100 based on the recognized user action. The user action may include selecting a physical button of a stereoscopic image processing apparatus or a remote control, performing a predetermined gesture on a touch screen display surface, or selecting a soft button, and performing a predetermined gesture recognized from an image captured by the image capturing apparatus, and voice recognition. It may include the implementation of a predetermined utterance recognized by. The external signal receiver 135 may receive a signal for a user action of selecting a physical button of the remote controller through the remote controller. The gesture may include a touch gesture and a space gesture. Touch gestures may be defined herein as stylized interactions with the input device 170 that map to one or more specific computing operations. Touch gestures can be made through various hands, more specifically through finger movements. As another alternative or in addition, the gesture may be done with a stylus.

입력장치(170)는 제스처(171)를 수신하고, 제어부(190)는 제스처(171)와 연관된 동작들을 수행하는 명령어들을 실행한다. 게다가, 저장부(180)는 운영 체제 또는 별도의 애플리케이션의 일부일 수 있는 제스처 작동 프로그램(181)을 포함할 수 있다. 제스처 작동 프로그램(181)은 일반적으로 제스처(171)의 발생을 인식하고 그 제스처(171) 및/또는 제스처(171)에 응답하여 무슨 조치(들)이 취해져야 하는지를 하나 이상의 소프트웨어 에이전트에게 알려주는 일련의 명령어를 포함한다.The input device 170 receives the gesture 171, and the controller 190 executes commands for performing operations associated with the gesture 171. In addition, the storage unit 180 may include a gesture operating program 181 which may be part of an operating system or a separate application. Gesture operator 181 generally recognizes the occurrence of gesture 171 and in turn responds to gesture 171 and / or gesture 171 to inform one or more software agents of what action (s) should be taken. Contains the command of.

제어부(190)는 수신된 영상 데이터가 입체영상 데이터인지를 확인할 수 있다. 수신된 영상 데이터가 입체영상 데이터인 경우에는, 제어부(190)는 입체영상 데이터의 포맷 및 해상도 중 적어도 하나를 확인할 수 있다. 그리고 해상도의 화면 비가 디스플레이(150)의 화면 비와 다른 경우에는, 제어부(190)는 신호 처리부(140)로 하여금 입체영상 데이터를 오버스캔하도록 제어할 수 있다. 예를 들면, 수신된 입체영상의 해상도가 1024×480, 2560×1080 및 800×345 등의 21:9의 화면 비를 갖고 디스플레이(150)의 화면 비가 16:9인 경우에, 제어부(190)는 신호 처리부(140)로 하여금 입체영상 데이터를 오버스캔하도록 제어할 수 있다.The controller 190 may determine whether the received image data is stereoscopic image data. When the received image data is stereoscopic image data, the controller 190 may identify at least one of a format and a resolution of the stereoscopic image data. When the screen ratio of the resolution is different from the screen ratio of the display 150, the controller 190 may control the signal processor 140 to overscan the stereoscopic image data. For example, when the resolution of the received stereoscopic image has a 21: 9 aspect ratio such as 1024 × 480, 2560 × 1080, and 800 × 345, and the aspect ratio of the display 150 is 16: 9, the controller 190 The controller may control the signal processor 140 to overscan the stereoscopic image data.

또한 제어부(190)는 오버스캔 크기 및 입체영상 디스플레이 위치를 조정하기 위한 그래픽 사용자 인터페이스(GUI: Graphical User Interface)를 요청하는 사용자 조치(User Action)를 감지할 수 있다. 상기 사용자 조치의 감지에 응답하여, 제어부(190)는 상기 그래픽 사용자 인터페이스(GUI: Graphical User Interface)를 디스플레이하기 위한 신호가 생성되도록 제어할 수 있다.In addition, the controller 190 may detect a user action requesting a graphical user interface (GUI) for adjusting the overscan size and the stereoscopic image display position. In response to the detection of the user action, the controller 190 may control to generate a signal for displaying the graphical user interface (GUI).

제어부(190)는 신호 처리부(140)로 하여금 상기 GUI를 통해 설정된 오버스캔 크기에 따라 입체영상을 오버스캔하도록 제어할 수 있다.The controller 190 may control the signal processor 140 to overscan the stereoscopic image according to the overscan size set through the GUI.

또한 제어부(190)는, 상기 GUI를 통해 설정된 오버스캔 크기가 저장부(190)에 저장되도록 제어할 수 있다.In addition, the controller 190 may control the overscan size set through the GUI to be stored in the storage 190.

도 5는 신호 처리부에 대한 바람직한 일실시예의 구성을 도시한 블록도이다.5 is a block diagram showing the configuration of a preferred embodiment of the signal processing unit.

도 5를 참조하면, 신호 처리부(140)는 역다중화부(510), 오디오 디코더(520), 비디오 디코더(530), 스케일러(540), 믹서(550), 프레임 레이트 변환부(FRC : Frame Rate Converter)(560), 포맷터(570) 및 영상 인터페이스부(580)를 포함할 수 있다.Referring to FIG. 5, the signal processor 140 may include a demultiplexer 510, an audio decoder 520, a video decoder 530, a scaler 540, a mixer 550, and a frame rate converter (FRC). Converter 560, a formatter 570, and an image interface unit 580 may be included.

역다중화부(510)는 이동통신부(115), 네트워크 인터페이스부(130) 및 외부 신호 수신부(135)로부터 스트림 신호를 수신할 수 있고, 역다중화부(510)는 수신된 스트림 신호를 영상 데이터, 음성 데이터 및 정보 데이터로 역다중화하여 각각 비디오 디코더(530), 오디오 디코더(520) 및 제어부(190)로 출력할 수 있다.The demultiplexer 510 may receive a stream signal from the mobile communication unit 115, the network interface 130, and the external signal receiver 135. The demultiplexer 510 may convert the received stream signal into image data, The video data may be demultiplexed into voice data and information data and output to the video decoder 530, the audio decoder 520, and the controller 190, respectively.

오디오 디코더(520)는 역다중화부(510)로부터 음성 데이터를 수신하고, 수신된 음성 데이터를 복원하여 복원된 데이터를 스케일러(540) 또는 음성 출력부(160)로 출력할 수 있다.The audio decoder 520 may receive voice data from the demultiplexer 510, restore the received voice data, and output the recovered data to the scaler 540 or the voice output unit 160.

비디오 디코더(530)는 역다중화부(510)로부터 영상 데이터를 수신하고, 수신된 영상 데이터를 복원하고 복원한 영상 데이터를 스케일러(540)에 출력한다. 여기서 영상 데이터는 입체영상 데이터를 포함할 수 있다.The video decoder 530 receives image data from the demultiplexer 510, restores the received image data, and outputs the reconstructed image data to the scaler 540. The image data may include stereoscopic image data.

스케일러(540)는 비디오 디코더(530), 제어부(190) 및 오디오 디코더(520)에서 처리된 영상 데이터 및 음성 데이터를 디스플레이(150) 또는 스피커(미도시)를 통하여 출력하기 위한 적절한 크기의 신호로 크기 조절(스케일링: scaling)한다. 구체적으로, 스케일러(540)는 영상 데이터를 수신하여 디스플레이(150)의 해상도 또는 소정 화면 비(aspect ratio)에 맞도록 스케일링(scaling)한다. 디스플레이(150)는 제품 사양별로 소정 해상도, 예를 들어 720×480 포맷, 1024×768 포맷, 1280×720 포맷, 1280×768 포맷, 1280×800 포맷, 1920×540 포맷, 1920×1080 포맷 및 4K×2K 포맷 등을 갖는 영상 화면을 출력하도록 제작될 수 있다. 그에 따라서, 스케일러(540)는 다양한 값으로 입력될 수 있는 입체영상의 해상도를 해당 디스플레이의 해상도에 맞춰 변환할 수 있다.The scaler 540 is an appropriately sized signal for outputting image data and audio data processed by the video decoder 530, the controller 190, and the audio decoder 520 through the display 150 or a speaker (not shown). Scaling In detail, the scaler 540 receives image data and scales the image data to match the resolution of the display 150 or a predetermined aspect ratio. The display 150 has a predetermined resolution according to product specifications, for example, 720 × 480 format, 1024 × 768 format, 1280 × 720 format, 1280 × 768 format, 1280 × 800 format, 1920 × 540 format, 1920 × 1080 format, and 4K. It can be produced to output an image screen having a × 2K format or the like. Accordingly, the scaler 540 may convert the resolution of the stereoscopic image that can be input with various values according to the resolution of the corresponding display.

또한, 스케일러(540)는 디스플레이되는 컨텐츠의 종류 또는 사용자 설정 등에 따라서, 영상 데이터의 화면 비(aspect ratio)를 조절하여 출력한다. 화면 비 값은 16:9, 4:3, 또는 3:2 등의 값이 될 수 있으며, 스케일러(540)는 가로 방향의 화면 길이 비와 세로 방향의 화면 길이 비가 특정 비율이 되도록 조절할 수도 있다.In addition, the scaler 540 adjusts and outputs an aspect ratio of image data according to the type of content to be displayed or user setting. The aspect ratio value may be a value such as 16: 9, 4: 3, or 3: 2, and the scaler 540 may adjust the ratio of the screen length in the horizontal direction to the screen length in the vertical direction.

또한, 스케일러(540)는 입체영상 데이터에 포함된 좌안 시점 영상 데이터 및 우안 시점 영상 데이터를 각각 오버스캔할 수 있다.In addition, the scaler 540 may overscan the left eye view image data and the right eye view image data included in the stereoscopic image data, respectively.

도 6은 스케일러에 입력된 좌안 시점 영상 데이터 및 우안 시점 영상 데이터의 일실시예를 도시한 도면이다.FIG. 6 is a diagram illustrating an embodiment of left eye view image data and right eye view image data input to the scaler.

도 6을 참조하면, 스케일러(540)는 비디오 디코더(530) 또는 제어부(190)로부터 좌안 시점 영상 프레임(610) 및 우안 시점 영상 프레임(620)을 수신할 수 있다.Referring to FIG. 6, the scaler 540 may receive a left eye view image frame 610 and a right eye view image frame 620 from the video decoder 530 or the controller 190.

입체영상 데이터가 멀티 비디오 스트림 포맷인 경우에는, 비디오 디코더(530)는 입체영상 데이터에 포함된 입체영상 프레임을 디코딩하여 좌안 시점 영상 프레임(610) 및 우안 시점 영상 프레임(620)을 복원할 수 있고 복원된 좌안 시점 영상 프레임(610) 및 우안 시점 영상 프레임(620)을 스케일러(540)에 각각 출력할 수 있다.When the stereoscopic image data is in a multi video stream format, the video decoder 530 may decode the stereoscopic image frame included in the stereoscopic image data to restore the left eye view image frame 610 and the right eye view image frame 620. The reconstructed left eye view image frame 610 and the right eye view image frame 620 may be respectively output to the scaler 540.

입체영상 데이터가 싱글 비디오 스트림 포맷인 경우에는, 스케일러(540)는 비디오 디코더(530)가 디코딩한 입체영상 프레임을 좌안 시점 영상 프레임(610) 및 우안 시점 영상 프레임(620)으로 분리할 수 있다. 일부 실시예로, 제어부(190)가 비디오 디코더(530)가 디코딩한 입체영상 프레임을 좌안 시점 영상 프레임(610) 및 우안 시점 영상 프레임(620)로 분리하고, 분리된 좌안 시점 영상 프레임(610) 및 우안 시점 영상 프레임(620)을 스케일러(540)에 각각 출력할 수 있다.When the stereoscopic image data is in a single video stream format, the scaler 540 may separate the stereoscopic image frame decoded by the video decoder 530 into a left eye view image frame 610 and a right eye view image frame 620. In some embodiments, the controller 190 separates the stereoscopic image frame decoded by the video decoder 530 into a left eye view image frame 610 and a right eye view image frame 620, and separates the left eye view image frame 610. And the right eye view image frame 620 may be respectively output to the scaler 540.

스케일러(540)는 좌안 시점 영상 프레임(610) 및 우안 시점 영상 프레임(620)을 각각 오버스캔을 하고, 오버스캔된 좌안 시점 영상 프레임(610) 및 오버스캔된 우안 시점 영상 프레임(620)을 합성할 수 있다. 여기서 스케일러(540)는 수신된 입체영상 데이터의 포맷 또는 디코딩된 입체영상 데이터의 포맷과 동일한 포맷으로 오버스캔된 좌안 시점 영상 프레임(610) 및 우안 시점 영상 프레임(620)을 합성할 수 있다. 일예로, 입체영상 데이터의 포맷이 사이드 바이 사이드인 경우에는, 스케일러(540)는 오버스캔된 좌안 시점 영상 프레임(610) 및 오버스캔된 우안 시점 영상 프레임(620)을 사이드 바이 사이드 포맷으로 합성하여 하나의 사이드 바이 사이드 포맷의 입체영상 프레임을 생성할 수 있다. 여기서 입체영상 데이터는 설명의 편의를 위해 사이드 바이 사이드 방식의 입체영상 데이터를 일예로 하여 설명하나 이에 한정되는 것은 아니며, 전술한 도 3에 기술된 방식 모두에 적용 가능함을 밝혀둔다.The scaler 540 overscans the left eye view image frame 610 and the right eye view image frame 620, respectively, and synthesizes the overscanned left eye view image frame 610 and the overscanned right eye view image frame 620. can do. The scaler 540 may synthesize the left eye view image frame 610 and the right eye view image frame 620 that are overscanned in the same format as the format of the received stereoscopic image data or the format of the decoded stereoscopic image data. For example, when the format of the stereoscopic image data is side by side, the scaler 540 synthesizes the overscanned left eye view image frame 610 and the overscanned right eye view image frame 620 in a side by side format. One side by side format stereoscopic image frame may be generated. Here, the stereoscopic image data will be described as an example of the side by side stereoscopic image data for convenience of description, but is not limited thereto. It should be noted that the stereoscopic image data is applicable to all of the above-described schemes of FIG. 3.

도 7은 오버스캔 크기를 조정하기 위한 그래픽 유저 인터페이스를 도시한 도면이다.7 illustrates a graphical user interface for adjusting overscan size.

도 7을 참조하면, 사용자는 오버스캔 크기를 조정을 요청하는 사용자 조치를 행할 수 있다. 제어부(190)는 상기 사용자 조치를 감지하고, 이에 응답하여 GUI(700)를 디스플레이할 수 있다.Referring to FIG. 7, the user may take a user action requesting adjustment of the overscan size. The controller 190 may detect the user action and display the GUI 700 in response thereto.

사용자는 좌 방향키 및 우 방향키를 이용하여 입체영상의 오버스캔 크기를 조절할 수 있다. GUI(700)가 디스플레이된 상태에서, 사용자가 좌 방향키를 누르는 사용자 조치를 행하면, 영역(710)은 하단이 고정된 채로 화살표(711)가 향하는 방향(상측 방향)으로 확장된다. 여기서 영역(710)은 입체영상이 디스플레이된 영역을 의미한다. 즉 좌 방향키를 누르는 사용자 조치에 따라 입체영상(710)은 위쪽으로 오버스캔 크기가 증가한다. 또한 GUI(700)가 디스플레이된 상태에서, 사용자가 우 방향키를 누르는 사용자 조치를 행하면, 영역(720)은 상단이 고정된 채로 화살표(721)가 향하는 방향(하측 방향)으로 확장된다. 여기서 영역(720)은 입체영상이 디스플레이된 영역을 의미한다. 즉 우 방향키를 누르는 사용자 조치에 따라 입체영상(720)은 아래쪽으로 오버스캔 크기가 증가한다.The user may adjust the overscan size of the 3D image by using the left and right arrow keys. When the user performs a user action of pressing the left arrow key while the GUI 700 is displayed, the area 710 expands in the direction (upper direction) toward which the arrow 711 faces with the lower end fixed. Here, the region 710 refers to a region where a stereoscopic image is displayed. That is, the overscan size of the stereoscopic image 710 increases in accordance with the user's action of pressing the left direction key. In addition, when the user performs a user action of pressing the right arrow key while the GUI 700 is displayed, the area 720 is extended in the direction (arrow direction) toward which the arrow 721 is directed with the top fixed. In this case, the area 720 means an area where a stereoscopic image is displayed. That is, the size of the overscan increases in the stereoscopic image 720 downward in response to a user's action of pressing the right arrow key.

사용자는 상 방향키 및 하 방향키를 이용하여 입체영상이 스크린에 디스플레이되는 위치를 조절할 수 있다. GUI(700)가 디스플레이된 상태에서, 사용자가 상 방향키를 누르는 사용자 조치를 행하면, 영역(730)에 대해 영역(731)이 상측으로 움직인다. 여기서 영역(730)은 스크린을 의미하고 영역(731)은 입체영상이 디스플레이된 영역을 의미한다. 즉 상 방향키를 누르는 사용자 조치에 따라 입체영상(731)은 스크린(730)의 위쪽에 디스플레이된다. 또한 GUI(700)가 디스플레이된 상태에서, 사용자가 하 방향키를 누르는 사용자 조치를 행하면, 영역(740)에 대해 영역(741)은 하측으로 움직인다. 여기서 영역(740)은 스크린을 의미하고 영역(741)은 입체영상이 디스플레이된 영역을 의미한다. 즉 상 방향키를 누르는 사용자 조치에 따라 입체영상(741)은 스크린(740)의 아래쪽에 디스플레이된다.The user may adjust the position at which the 3D image is displayed on the screen by using the up and down keys. With the GUI 700 displayed, if the user performs a user action of pressing the up arrow, the area 731 moves upward relative to the area 730. Here, the area 730 means a screen and the area 731 means an area where a stereoscopic image is displayed. That is, the stereoscopic image 731 is displayed above the screen 730 according to the user's action of pressing the up key. In addition, when the user performs a user action of pressing the down arrow while the GUI 700 is displayed, the area 741 moves downward with respect to the area 740. Here, the area 740 means a screen and the area 741 means an area where a stereoscopic image is displayed. That is, the stereoscopic image 741 is displayed at the bottom of the screen 740 according to the user's action of pressing the up key.

제어부(190)는 GUI(700)을 통해 입력된 오버스캔 크기에 따라 스케일러(540)가 좌안 시점 영상 데이터 및 우안 시점 영상 데이터를 각각 오버스캔하도록 제어할 수 있다. 또한 제어부(190)는 GUI(700)을 통해 입력된 위치 정보가 지시하는 위치에 입체영상 디스플레이되도록 제어할 수 있다.The controller 190 may control the scaler 540 to overscan left eye view image data and right eye view image data, respectively, according to the overscan size input through the GUI 700. In addition, the controller 190 may control the stereoscopic image to be displayed at a position indicated by the position information input through the GUI 700.

도 8은 스케일러에 대한 바람직한 실시시예의 구성을 도시한 블록도이다.8 is a block diagram showing the configuration of a preferred embodiment of a scaler.

도 8을 참조하면, 스케일러(540)는 메인 스케일러(810), 부 스케일러(820) 및 합성부(830)를 포함할 수 있다. 일부 실시예로, 합성부(830)는 스케일러(540)와 독립된 모듈로 스케일러(540)의 출력을 입력받고 처리 결과를 FRC(560)로 출력할 수 있다.Referring to FIG. 8, the scaler 540 may include a main scaler 810, a subscaler 820, and a combiner 830. In some embodiments, the synthesis unit 830 may receive an output of the scaler 540 and output a processing result to the FRC 560, which is independent of the scaler 540.

메인 스케일러(810)는 좌안 시점 영상 데이터 및 우안 시점 영상 데이터 중 하나를 오버스캔할 수 있다.The main scaler 810 may overscan one of the left eye view image data and the right eye view image data.

부 스케일러(820)는 좌안 시점 영상 데이터 및 우안 시점 영상 데이터 중 나머지 하나를 오버스캔할 수 있다. 즉 메인 스케일러(810)가 좌안 시점 영상 데이터를 오버스캔하는 경우에는, 부 스케일러(820)는 우안 시점 영상 데이터를 오버스캔할 수 있다.The subscaler 820 may overscan the other of the left eye view image data and the right eye view image data. That is, when the main scaler 810 overscans the left eye view image data, the sub-scaler 820 may overscan the right eye view image data.

입력된 영상 데이터가 입체영상 데이터인 경우에는, 제어부(190)는 부 스케일러(820)가 활성화되도록 제어할 수 있다. 또한 입력된 영상 데이터가 입체영상 데이터가 아닌 경우에는, 제어부(190)는 부 스케일러(820)가 활성화되어 있는지를 확인하고, 부 스케일러(820)가 활성화되어 있으면 부 스케일러(820)가 비활성화되도록 제어할 수 있다. 이에 따라, 본 발명에 따른 입체영상 처리 장치(100)는 영상 데이터가 입체영상 데이터가 아닌 경우에, 부 스케일러를 비활성화시키므로 불필요한 메모리의 낭비를 줄이고 화질 설정에 문제가 없도록 한다.If the input image data is stereoscopic image data, the controller 190 may control the subscaler 820 to be activated. In addition, when the input image data is not stereoscopic image data, the controller 190 determines whether the subscaler 820 is activated and controls the subscaler 820 to be deactivated when the subscaler 820 is activated. can do. Accordingly, when the image data is not stereoscopic image data, the stereoscopic image processing apparatus 100 according to the present invention deactivates the subscaler, thereby reducing unnecessary waste of memory and no problem in image quality setting.

일부 실시예로, 제어부(190)는 입체영상 데이터의 오버스캔 여부를 결정할 수 있다. 제어부(190)는 입체영상 데이터의 해상도가 나타내는 화면 비와 스크린의 화면 비를 비교하여, 오버스캔 여부를 결정할 수 있다. 예를 들면, 입체영상 데이터의 해상도가 2560×1080이고 스크린의 화면 비가 21:9인 경우에, 해상도 2560×1080가 나타내는 화면 비는 21:9로 스크린의 화면 비 21:9와 동일하므로 오버스캔을 수행하는 않는 것으로 결정할 수 있다. 입체영상 데이터의 해상도가 2560×1080이고 스크린의 화면 비가 16:9인 경우에, 해상도 2560×1080가 나타내는 화면 비는 21:9로 스크린의 화면 비 16:9와 동일하지 않고 화면의 가로 비율을 맞추기 위해 입체영상을 축소하게 되어, 스크린상에 입체영상이 디스플레이되지 않은 영역이 나타나게 된다. 이러한 경우에, 제어부(190)는 오버스캔을 수행하는 것으로 결정할 수 있다.In some embodiments, the controller 190 may determine whether to overscan the stereoscopic image data. The controller 190 may determine whether to overscan by comparing the screen ratio indicated by the resolution of the stereoscopic image data with the screen ratio of the screen. For example, if the resolution of stereoscopic image data is 2560 × 1080 and the screen aspect ratio is 21: 9, the aspect ratio represented by the resolution 2560 × 1080 is 21: 9, which is the same as the screen aspect ratio 21: 9, and thus overscan You can decide not to do it. When the resolution of stereoscopic image data is 2560 × 1080 and the screen aspect ratio is 16: 9, the aspect ratio represented by the resolution 2560 × 1080 is 21: 9, which is not the same as the screen aspect ratio 16: 9 of the screen, The stereoscopic image is reduced to fit, so that an area in which the stereoscopic image is not displayed appears on the screen. In this case, the controller 190 may determine to perform overscan.

또한, 입체영상 데이터의 오버스캔이 필요한 경우에, 제어부(190)는 부 스케일러(820)가 활성화되도록 제어할 수 있다. 입체영상 데이터의 오버스캔이 필요하지 않은 경우에, 제어부(190)는 부 스케일러(820)가 활성화되어 있는지를 확인하고, 부 스케일러(820)가 활성화되어 있으면 부 스케일러(820)가 비활성화되도록 제어할 수 있다.In addition, when overscan of stereoscopic image data is required, the controller 190 may control the subscaler 820 to be activated. When overscan of the stereoscopic image data is not necessary, the controller 190 checks whether the subscaler 820 is activated and controls the subscaler 820 to be deactivated when the subscaler 820 is activated. Can be.

믹서(550)는 스케일러(540) 및 제어부(190)의 출력을 믹싱하여 출력한다.The mixer 550 mixes and outputs the outputs of the scaler 540 and the controller 190.

FRC(560)는 수신부(101), 스케일러(540) 또는 믹서(550)가 출력한 영상 데이터를 수신하고, 수신한 영상 데이터의 프레임 레이트가 디스플레이(150)의 프레임 레이트에 대응되도록 처리할 수 있다. 예를 들어, 수신한 영상 데이터의 프레임 레이트가 60Hz이고, 디스플레이(150)의 프레임 레이트가 120Hz 또는 240Hz라면, FRC(560)는 상기 영상 데이터의 프레임 레이트가 디스플레이(150)의 프레임 레이트인 120Hz 또는 240Hz에 대응되도록 기 정의된 방식으로 처리한다. 여기서, 상기 기 정의된 방식에는 예를 들어, 입력되는 영상 데이터를 템퍼럴 인터폴레이션(temporal interpolation) 하는 방법과 입력되는 영상 데이터에 포함된 영상 프레임을 단순 반복하는 방법이 있다. 전술한 각 방법은 입력되는 입체영상의 포맷에 따라 적절하게 선택되어 FRC(560)에서 수행될 수 있다.The FRC 560 may receive image data output by the receiver 101, the scaler 540, or the mixer 550, and may process the frame rate of the received image data to correspond to the frame rate of the display 150. . For example, if the frame rate of the received image data is 60 Hz and the frame rate of the display 150 is 120 Hz or 240 Hz, the FRC 560 determines that the frame rate of the image data is 120 Hz or the frame rate of the display 150. Process in a predefined manner to correspond to 240Hz. Here, the predefined methods include, for example, a method of temporal interpolation of input image data and a method of simply repeating image frames included in the input image data. Each method described above may be appropriately selected according to the format of an input stereoscopic image and performed by the FRC 560.

상기 템퍼럴 인터폴레이션 방법은, 입력되는 60Hz의 영상 신호를 4등분(0, 0.25, 0.5, 0.75) 함으로써 240Hz의 영상 신호가 되도록 처리하는 방법이다. 그리고 상기 프레임을 단순 반복하는 방법은, 입력되는 60Hz의 영상 신호의 각 프레임을 4번 반복함으로써 각 프레임의 주파수가 240Hz가 되도록 처리한다.The temporal interpolation method is a method of processing an input 60Hz video signal into quadrants (0, 0.25, 0.5, 0.75) so as to be a 240Hz video signal. In the method of simply repeating the frames, the frames of the input 60 Hz video signal are repeated four times so that the frequency of each frame is 240 Hz.

여기서 디스플레이(150)의 프레임 레이트라 함은 포맷터(570)에서 구성된 영상 프레임을 디스플레이(150)에서 디스플레이 또는 출력하는 수직 주사주파수이다. 이하 디스플레이(150)의 프레임 레이트를 출력 프레임 레이트 또는 디스플레이 수직 주파수라고 정의한다.Here, the frame rate of the display 150 refers to a vertical scan frequency for displaying or outputting an image frame configured in the formatter 570 on the display 150. Hereinafter, the frame rate of the display 150 is defined as an output frame rate or a display vertical frequency.

도 9는 FRC에서 입체영상 데이터의 처리 과정을 설명하기 위한 도면이다.9 is a diagram for describing a process of processing stereoscopic image data in FRC.

도 9를 참조하면, 도 9(a)는 FRC(560)로 입력되는 특정 주파수(예를 들어, 60Hz)의 영상 데이터이고, 도 9(b)는 FRC(560)를 거쳐 디스플레이 수직 주파수(예를 들어, 120Hz)으로 처리된 영상 데이터이다. 여기서 입체영상 데이터는 설명의 편의를 위해 탑/다운 방식의 영상 데이터를 일예로 하여 설명하나 이에 한정되는 것은 아니며, 전술한 도 3 내지 4에 기술된 방식 모두에 적용 가능함을 밝혀둔다.Referring to FIG. 9, FIG. 9A illustrates image data of a specific frequency (eg, 60 Hz) input to the FRC 560, and FIG. 9B illustrates display vertical frequency (eg, through the FRC 560). For example, it is image data processed at 120 Hz). Here, the stereoscopic image data is described as an example of top / down image data for convenience of description, but the present invention is not limited thereto, and it is understood that the stereoscopic image data is applicable to all of the above-described methods described with reference to FIGS. 3 to 4.

도 9(a)를 참조하면, FRC(560)로 입력되는 60Hz의 탑/다운 방식의 영상 데이터는, 탑/다운으로 L1/R1, L2/R2, L3/R3, 및 L4/R4 4개의 프레임이 존재한다. 그리고 도 9(b)를 참조하면, 상기 탑/다운 방식의 영상 데이터는 FRC(560)에서 디스플레이 수직 주파수로 처리됨으로써, 120Hz의 탑/다운 방식의 영상 데이터가 된다. 즉, 도 9(b)에서는 각 L1/R1, L2/R2, L3/R3, 및 L4/R4 프레임이 2개씩 존재한다. 여기서, 상기 도 9(b)는 전술한 변환 방법들 중 어느 하나의 방법을 이용하더라도 동일하다.Referring to FIG. 9A, image data of a 60 Hz top / down system input to the FRC 560 is four frames of L1 / R1, L2 / R2, L3 / R3, and L4 / R4. This exists. Referring to FIG. 9B, the top / down video data is processed at the display vertical frequency in the FRC 560 to become 120 Hz top / down video data. That is, in FIG. 9B, two L1 / R1, L2 / R2, L3 / R3, and L4 / R4 frames exist. 9 (b) is the same even if any one of the above-described conversion methods is used.

포맷터(570)는 수신부(101) 또는 FRC(560)가 출력한 입체영상 데이터를 샘플링하여 디스플레이(150)로 출력한다.The formatter 570 samples the stereoscopic image data output by the receiver 101 or the FRC 560 and outputs it to the display 150.

도 10은 편광 방식으로 디스플레이되는 입체영상 출력 포맷에 대한 바람직한 일실시예를 도시한 도면이다.FIG. 10 illustrates a preferred embodiment of a stereoscopic image output format displayed in a polarized manner.

도 10을 참조하면, 포맷터(570)는 수신한 입체영상 데이터를 영상 프레임(1000)로 샘플링할 수 있다. 영상 프레임(1000)은 편광 방식으로 디스플레이되는 입체영상 출력 포맷을 갖는다. 도 9(b)에 도시된 입체영상 프레임에 포함된 좌안 시점 영상 데이터 및 우안 시점 영상 데이터는 교대로 영상 프레임(1000)의 각 라인에 위치할 수 있다. 즉 라인(1001)에 좌안 시점 영상 데이터가 위치한 경우에는, 라인(1002)에 우안 시점 영상 데이터가 위치하고, 라인(1003)에 좌안 시점 영상 데이터가 위치하며, 라인(1004)에 우안 시점 영상 데이터가 위치한다.Referring to FIG. 10, the formatter 570 may sample the received stereoscopic image data into the image frame 1000. The image frame 1000 has a stereoscopic image output format displayed in a polarized manner. The left eye view image data and the right eye view image data included in the 3D image frame illustrated in FIG. 9B may be alternately positioned in each line of the image frame 1000. That is, when the left eye view image data is located on the line 1001, the right eye view image data is located on the line 1002, the left eye view image data is located on the line 1003, and the right eye view image data is placed on the line 1004. Located.

도 11은 셔터글라스 방식으로 디스플레이되는 입체영상 출력 포맷에 대한 바람직한 일실시예를 도시한 도면이다.FIG. 11 is a diagram illustrating a preferred embodiment of a stereoscopic image output format displayed in a shutter glass method.

도 11을 참조하면, 셔터글라스 방식에 있어서, 포맷터(570)는 셔터 안경에서 디스플레이부(150)의 디스플레이 주파수에 비해 상대적으로 적은 주파수의 셔터 오픈 주기를 가지고 상기 디스플레이 주파수와 동일한 효과를 내도록 하기 위해 입체영상 데이터를 입체영상 출력 포맷으로 샘플링할 수 있다. 예를 들어, 디스플레이 주파수가 240Hz인 경우 그보다 적은 120Hz의 셔터 오픈 주기를 가진 셔터 안경으로 시청자의 입장에서 240Hz로 디스플레이되는 것처럼 느낄 수 있도록 하는 것이다.Referring to FIG. 11, in the shutter glass method, the formatter 570 has a shutter opening period of a frequency less than that of the display frequency of the display unit 150 in the shutter glasses to achieve the same effect as the display frequency. The stereoscopic image data may be sampled in the stereoscopic image output format. For example, when the display frequency is 240 Hz, shutter glasses with a shutter opening period of less than 120 Hz are used to make the viewer feel as if the display is 240 Hz.

포맷터(570)는 도 9(b)에 도시된 입체영상 데이터를 도 11a에 도시된 입체영상 데이터로 샘플링할 수 있다. 즉, 도 11a는, 입력되는 각 프레임에서 좌안 시점 영상 데이터(L)와 우안 시점 영상 데이터(R)가 순차적으로 번갈아서 디스플레이되도록 도 9(b)의 배열을 변경한 것이다. 이를 위해, 도 9(b)를 참조할 때, 좌측에서부터 우측으로 첫번째 프레임(L1/R1)부터 열두번째 프레임(L3/R3)까지 존재하고, 도 11(a)에서는 첫번째 프레임(L1/R1)에서 L1, 두번째 프레임(L1/R1)에서 R1, 세번째 프레임(L1/R1)에서 다시 L1, 네번째 프레임(L1/R1)에서 다시 R1이 디스플레이되도록 배열을 변경한 것이다. 나머지 프레임에 대해서도 상술한 바와 같이 디스플레이되도록 배열을 변경하면, 도 11(a)와 같이 된다. 결국, 포맷터(570)를 거친 탑/다운 방식의 영상 데이터는 L1R1L1R1L2R2L2R2L3R3L3R3와 같은 형식으로 구성되도록 배열 변경된다.The formatter 570 may sample the stereoscopic image data illustrated in FIG. 9B into the stereoscopic image data illustrated in FIG. 11A. That is, in FIG. 11A, the arrangement of FIG. 9B is changed such that left eye view image data L and right eye view image data R are alternately displayed in each input frame. To this end, referring to FIG. 9B, the first frame L1 / R1 to the twelfth frame L3 / R3 are present from left to right, and the first frame L1 / R1 is shown in FIG. 11A. Is changed to display L1, R1 in the second frame (L1 / R1), L1 in the third frame (L1 / R1), and R1 again in the fourth frame (L1 / R1). If the arrangement is changed so that the remaining frames are also displayed as described above, it is as shown in Fig. 11A. As a result, the image data of the top / down system that has passed through the formatter 570 is changed to be configured in a format such as L1R1L1R1L2R2L2R2L3R3L3R3.

포맷터(570)는 도 9(b)에 도시된 입체영상 데이터를 도 11b에 도시된 입체영상 데이터로 샘플링할 수 있다. 즉, 도 11(b)는, 상기 도 11(a)의 변경된 배열과 달리, 연속하는 2개의 프레임 단위로 좌안 시점 영상 데이터(L)와 우안 시점 영상 데이터(R)를 순차적으로 번갈아서 디스플레이되도록 상기 도 9(b)의 배열을 변경한 것이다. 이를 위해, 도 9(b)를 참조할 때, 도 11b의 변경된 배열은, 첫번째 프레임(L1/R1)과 두번째 프레임(L1/R1)에서 L1을 각각 선택(L1L1)하고, 세번째 프레임(L1/R1)과 네번째 프레임(L1/R1)에서 각각 R1을 선택(R1R1)하고, 다섯번째 프레임(L2/R2)와 여섯번째 프레임(L2/R2)에서 다시 각각 L2를 선택(L2L2)하고, 일곱번째 프레임(L2/R2)과 여덟번째 프레임(L2/R2)에서 다시 각각 R2를 선택(R2R2)하여 재배치한 것이다. 나머지 프레임에 대해서도 상술한 바와 같이 디스플레이되도록 배열을 변경하면, 도 11b와 같이 된다. 결국, 포맷터(570)를 거친 탑/다운 방식의 영상 데이터는 L1L1R1R1L2L2R2R2L3L3R3R3와 같은 형식으로 구성되도록 배열 변경되었다.The formatter 570 may sample the stereoscopic image data illustrated in FIG. 9B into the stereoscopic image data illustrated in FIG. 11B. That is, FIG. 11B illustrates that the left eye view image data L and the right eye view image data R are sequentially displayed alternately in two consecutive frame units, unlike the modified arrangement of FIG. 11 (a). The arrangement of Fig. 9 (b) is changed. For this purpose, referring to FIG. 9B, the modified arrangement of FIG. 11B selects L1 from the first frame L1 / R1 and the second frame L1 / R1 (L1L1), respectively, and selects the third frame L1 /. R1) and the fourth frame (L1 / R1), respectively, select R1 (R1R1), respectively, select the L2 from the fifth frame (L2 / R2) and the sixth frame (L2 / R2) (L2L2), respectively, and the seventh In the frame L2 / R2 and the eighth frame L2 / R2, R2 is selected and rearranged again (R2R2). If the arrangement is changed so that the remaining frames are also displayed as described above, it is as shown in Fig. 11B. As a result, the image data of the top / down system that has passed through the formatter 570 is changed to be configured in a format such as L1L1R1R1L2L2R2R2L3L3R3R3.

여기서, 상기 도 11(b)의 배열 방식은, L1L1, R1R1과 같이 동일한 각 영상 데이터를 연속되는 프레임에서 반복시킴으로써 디스플레이부(150)에서 입체영상 데이터를 디스플레이하는 주파수(예를 들어, 240Hz)보다 적은 셔터 오픈 주기(예를 들어, 120Hz)를 가진 셔터 안경으로도 입체 영상 데이터를 시청할 수 있도록 하며, 후술하는 바와 같이, 크로스토크와 휘도 저하 등의 문제도 최소화하기 위함이다.Here, the arrangement method of FIG. 11 (b) is a frequency of displaying stereoscopic image data on the display unit 150 (for example, 240 Hz) by repeating the same image data in successive frames such as L1L1 and R1R1. It is possible to view stereoscopic image data even with shutter glasses having a small shutter open period (eg, 120 Hz), and to minimize problems such as crosstalk and luminance deterioration, as described below.

포맷터(570)는 도 9(b)에 도시된 입체영상 데이터를 도 11c에 도시된 입체영상 데이터로 샘플링할 수 있다. 즉, 도 11(c)는, 상기 도 11(a) 및 10(b)의 변경된 배열과 달리, 1 프레임 걸러 1 프레임에 블랙 프레임(BF)을 배치하는 것이다. 여기서, 상기 BF는 블랙 프레임(Black Frame)의 약자로, 해당 프레임 전체의 영상 데이터는 블랙 데이터(Black Data)임을 표시한 것이고, 블랙 프레임은 모두 블랙인 화소 데이터를 포함한다. 다른 식으로 표현하면, 상기 도 11(b)의 배열에서 동일한 좌, 우 영상 데이터가 포함된 연속하는 2개의 프레임 단위(L1L1)에서 어느 하나의 프레임이 블랙 프레임으로 대체되는 것이다. 다만, 이 경우 다른 프레임에서도 동일한 방식으로 블랙 프레임(BF)으로 대체하여 블랙 프레임(BF)과 블랙 프레임(BF) 사이에는 좌, 우 영상 데이터가 포함된 프레임이 위치하도록 하여야 한다. 또 다른 식으로 표현하면, 블랙 프레임(BF)과 블랙 프레임(BF) 사이에 존재하는 하나의 프레임에 영상 데이터가 배치되고, 배치되는 영상 프레임은 각각 순차적으로 번갈아서 좌우 안을 위한 영상 데이터가 배치된다. 예를 들어, 도 9b를 참조하여 도 11c의 배열 변경 방식을 설명하면, 첫번째 프레임(L1/R1)에서 L1을, 두번째 프레임(L1/R1)에서는 L1과 R1을 대신하여 블랙 프레임(BF)을, 세번째 탑/다운 프레임(L1/R1)에서는 R1을, 네번째 탑/다운 프레임(L1/R1)에서는 L1 및 R1을 대신하여 다시 블랙 프레임(BF)이 위치하도록 배열을 변경하는 것이다. 나머지 프레임에 대해서도 상술한 바와 같이 디스플레이되도록 배열을 변경하면, 도 11c와 같이 된다. 결국, 포맷터(570)를 거친 탑/다운 방식의 영상 데이터는 L1BFR1BFL2BFR2BFL3BFR3와 같은 형식으로 구성되도록 배열이 변경되었다.The formatter 570 may sample the stereoscopic image data illustrated in FIG. 9B into the stereoscopic image data illustrated in FIG. 11C. That is, in FIG. 11C, unlike the modified arrangement of FIGS. 11A and 10B, the black frame BF is arranged in every other frame. Here, the BF is an abbreviation of black frame, and indicates that image data of the entire frame is black data, and the black frame includes pixel data which is all black. In other words, any one frame is replaced with a black frame in two consecutive frame units L1L1 including the same left and right image data in the arrangement of FIG. 11 (b). In this case, however, the frame including the left and right image data should be positioned between the black frame BF and the black frame BF by replacing the black frame BF in the same manner in other frames. In other words, the image data is arranged in one frame existing between the black frame BF and the black frame BF, and the image data for left and right eyes are alternately arranged in sequence. For example, referring to FIG. 9B, the arrangement change method of FIG. 11C will be described. Instead of L1 in the first frame L1 / R1 and L1 and R1 in the second frame L1 / R1, the black frame BF is replaced. In the third top / down frame L1 / R1, the arrangement is changed so that the black frame BF is positioned again in place of L1 and R1 in the fourth top / down frame L1 / R1. If the arrangement is changed so that the remaining frames are also displayed as described above, it is as shown in Fig. 11C. As a result, the arrangement of the top / down image data passing through the formatter 570 is configured in a format such as L1BFR1BFL2BFR2BFL3BFR3.

여기서, 상기 도 11(c)의 배열 방식은, L1BFR1BF…와 같이 두 프레임에 한 번씩 블랙 프레임을 위치시킴으로써 디스플레이부(150)에서 입체영상 데이터를 디스플레이하는 주파수(예를 들어, 240Hz)보다 적은 셔터 오픈 주기(예를 들어, 120Hz)를 가진 셔터 안경으로도 입체 영상 데이터를 시청할 수 있도록 하며, 후술하는 바와 같이, 크로스토크와 휘도 저하 등의 문제도 최소화하기 위함이다.Here, the arrangement of FIG. 11 (c) is described by L1BFR1BF. By positioning the black frame once every two frames as described above, even with shutter glasses having a shutter open period (eg, 120 Hz) less than a frequency (eg, 240 Hz) for displaying stereoscopic image data on the display unit 150. This is to allow viewing of stereoscopic image data, and to minimize problems such as crosstalk and luminance deterioration, as described below.

도 12는 본 발명에 따른 입체영상 처리 방법에 대한 바람직한 일실시예의 수행과정을 도시한 흐름도이다.12 is a flowchart illustrating a process of performing a preferred embodiment of the stereoscopic image processing method according to the present invention.

도 12를 참조하면, 수신부(101)는 영상 데이터를 수신한다(S100).Referring to FIG. 12, the receiver 101 receives image data (S100).

비디오 디코더(530)는 영상 데이터를 디코딩한다(S105).The video decoder 530 decodes the image data (S105).

제어부(190)는 수신부(101)가 수신한 영상 데이터가 입체영상 데이터인지 확인한다(S110). 수신한 영상 데이터가 입체영상 데이터인 경우에는, 제어부(190)는 수신한 입체영상 데이터의 포맷 및 해상도를 확인할 수 있다. 여기서 입체영상 데이터의 포맷은 도 3에 도시된 싱글 비디오 스트림 포맷 중 하나일 수 있다.The controller 190 checks whether the image data received by the receiver 101 is stereoscopic image data (S110). If the received image data is stereoscopic image data, the controller 190 may check the format and resolution of the received stereoscopic image data. The format of the stereoscopic image data may be one of the single video stream formats shown in FIG. 3.

수신한 영상 데이터가 입체영상 데이터가 아닌 경우에는, 제어부(190)는 부 스케일러(820)가 비활성화되도록 제어한다(S115).If the received image data is not stereoscopic image data, the controller 190 controls the subscaler 820 to be deactivated (S115).

수신한 영상 데이터가 입체영상 데이터인 경우에는, 제어부(190)는 부 스케일러(820)가 활성화되도록 제어한다(S120).If the received image data is stereoscopic image data, the controller 190 controls the subscaler 820 to be activated (S120).

제어부(190)는 디코딩된 입체영상 데이터에 포함된 좌안 시점 영상 데이터 및 우안 시점 영상 데이터를 분리한다(S125). 그리고 제어부(190)는 분리된 좌안 시점 영상 데이터를 메인 스케일러(810)에 입력시키고, 분리된 우안 시점 영상 데이터를 부 스케일러(820)에 입력시킬 수 있다. 일부 실시예로, 제어부(190)는 분리된 우안 시점 영상 데이터를 메인 스케일러(810)에 입력시키고, 분리된 좌안 시점 영상 데이터를 부 스케일러(820)에 입력시킬 수 있다. 여기서 좌안 시점 영상 데이터에 포함된 프레임은 도 6에 도시된 프레임(610)일 수 있고, 우안 시점 영상 데이터에 포함된 프레임은 도 6에 도시된 프레임(620)일 수 있다.The controller 190 separates left eye view image data and right eye view image data included in the decoded stereoscopic image data (S125). The controller 190 may input the separated left eye view image data to the main scaler 810 and input the separated right eye view image data to the subscaler 820. In some embodiments, the controller 190 may input the separated right eye view image data to the main scaler 810 and input the separated left eye view image data to the subscaler 820. The frame included in the left eye view image data may be a frame 610 shown in FIG. 6, and the frame included in the right eye view image data may be the frame 620 illustrated in FIG. 6.

메인 스케일러(810)는 좌안 시점 영상 데이터를 오버스캔한다(S130).The main scaler 810 overscans the left eye view image data (S130).

부 스케일러(820)는 우안 시점 영상 데이터를 오버스캔한다(S135).The subscaler 820 overscans the right eye view image data (S135).

일부 실시예로, 단계 S130 및 단계 S135는 병렬적으로 수행될 수 있다.In some embodiments, step S130 and step S135 may be performed in parallel.

합성부(830)는 오버스캔된 좌안 시점 영상 데이터 및 오버스캔된 우안 시점 영상 데이터를 합성한다(S140). 여기서 합성부(830)는 분리 전의 입체영상 데이터의 포맷과 동일한 포맷으로 오버스캔된 좌안 시점 영상 데이터 및 오버스캔된 우안 시점 영상 데이터를 합성할 수 있다. 상기 분리 전의 입체영상 데이터는 수신된 입체영상 데이터일 수 있고, 디코딩된 입체영상 데이터일 수 있다.The synthesis unit 830 synthesizes the overscanned left eye view image data and the overscanned right eye view image data (S140). The synthesizer 830 may synthesize the overscanned left eye view image data and the overscanned right eye view image data in the same format as that of the stereoscopic image data before separation. The stereoscopic image data before separation may be received stereoscopic image data or decoded stereoscopic image data.

포맷터(570)는 합성부(830)가 출력한 입체영상 데이터를 입체영상 출력 포맷으로 샘플링한다(S145). 여기서 입체영상 출력 포맷은 도 10에 도시된 프레임(1000)의 포맷일 수 있고, 도 11a 내지 도 11c에 도시된 포맷일 수 있다.The formatter 570 samples the stereoscopic image data output by the synthesizing unit 830 into the stereoscopic image output format (S145). The 3D image output format may be a format of the frame 1000 illustrated in FIG. 10, or may be a format illustrated in FIGS. 11A to 11C.

일부 실시예로, 합성부(830)가 출력한 입체영상 데이터는 FRC(560)에 의해 프레임 레이트가 변경되어, 포맷터(570)에 입력될 수 있다. 포맷터(570)는 상기 프레임 레이트가 변경된 입체영상 데이터를 입체영상 출력 포맷으로 샘플링할 수 있다.In some embodiments, the frame rate of the stereoscopic image data output by the synthesizing unit 830 may be changed by the FRC 560 and input to the formatter 570. The formatter 570 may sample the stereoscopic image data having the frame rate changed in the stereoscopic image output format.

디스플레이(150)는 샘플링된 입체영상 데이터를 디스플레이한다(S150). 여기서 입체영상 데이터는 편광 방식으로 디스플레이될 수 있고, 셔터글라스 방식으로 디스플레이될 수 있다.The display 150 displays sampled stereoscopic image data (S150). The stereoscopic image data may be displayed in a polarization manner and may be displayed in a shutter glass manner.

도 13은 본 발명에 따른 입체영상 처리 방법에 대한 바람직한 다른 실시예의 수행과정을 도시한 흐름도이다.13 is a flowchart illustrating a process of performing another preferred embodiment of the stereoscopic image processing method according to the present invention.

도 13을 참조하면, 수신부(101)는 영상 데이터를 수신한다(S200).Referring to FIG. 13, the receiver 101 receives image data (S200).

비디오 디코더(530)는 영상 데이터를 디코딩한다(S205).The video decoder 530 decodes the image data (S205).

제어부(190)는 수신부(101)가 수신한 영상 데이터가 입체영상 데이터인지 확인한다(S210). 수신한 영상 데이터가 입체영상 데이터인 경우에는, 제어부(190)는 수신한 입체영상 데이터의 포맷 및 해상도를 확인할 수 있다. 여기서 입체영상 데이터의 포맷은 도 4에 도시된 멀티 비디오 스트림 포맷 중 하나일 수 있다.The controller 190 checks whether the image data received by the receiver 101 is stereoscopic image data (S210). If the received image data is stereoscopic image data, the controller 190 may check the format and resolution of the received stereoscopic image data. The format of the stereoscopic image data may be one of the multi video stream formats shown in FIG. 4.

수신한 영상 데이터가 입체영상 데이터가 아닌 경우에는, 제어부(190)는 부 스케일러(820)가 비활성화되도록 제어한다(S215).If the received image data is not stereoscopic image data, the controller 190 controls the subscaler 820 to be deactivated (S215).

수신한 영상 데이터가 입체영상 데이터인 경우에는, 제어부(190)는 부 스케일러(820)가 활성화되도록 제어한다(S220). 그리고 제어부(190)는 디코딩된 좌안 시점 영상 데이터가 메인 스케일러(810)에 입력되도록 제어하고, 디코딩된 우안 시점 영상 데이터가 부 스케일러(820)에 입력되도록 제어할 수 있다. 여기서 좌안 시점 영상 데이터에 포함된 프레임은 도 6에 도시된 프레임(610)일 수 있고, 우안 시점 영상 데이터에 포함된 프레임은 도 6에 도시된 프레임(620)일 수 있다.If the received image data is stereoscopic image data, the controller 190 controls the subscaler 820 to be activated (S220). The controller 190 may control the decoded left eye view image data to be input to the main scaler 810, and the decoded right eye view image data may be input to the subscaler 820. The frame included in the left eye view image data may be a frame 610 shown in FIG. 6, and the frame included in the right eye view image data may be the frame 620 illustrated in FIG. 6.

메인 스케일러(810)는 좌안 시점 영상 데이터를 오버스캔한다(S225).The main scaler 810 overscans the left eye view image data (S225).

부 스케일러(820)는 우안 시점 영상 데이터를 오버스캔한다(S230). The subscaler 820 overscans the right eye view image data (S230).

일부 실시예로, 제어부(190)는 디코딩된 우안 시점 영상 데이터가 메인 스케일러(810)에 입력되도록 제어하고, 디코딩된 좌안 시점 영상 데이터가 부 스케일러(820)에 입력되도록 제어할 수 있다. 이러한 경우에는, 단계 S225에서 메인 스케일러(810)는 우안 시점 영상 데이터를 오버스캔하고 단계 S230에서 부 스케일러(820)는 좌안 시점 데이터를 오버스캔한다.In some embodiments, the controller 190 may control the decoded right eye view image data to be input to the main scaler 810, and the decoded left eye view image data may be input to the sub-scaler 820. In this case, the main scaler 810 overscans the right eye view image data in step S225, and the sub-scaler 820 overscans the left eye view data in step S230.

일부 실시예로, 단계 S225 및 단계 S230은 병렬적으로 수행될 수 있다.In some embodiments, step S225 and step S230 may be performed in parallel.

포맷터(570)는 메인 스케일러(810)가 출력한 좌안 시점 영상 데이터 및 부 스케일러(820)가 출력한 우안 시점 영상 데이터를 입체영상 출력 포맷으로 샘플링한다(S235). 여기서 입체영상 출력 포맷은 도 10에 도시된 프레임(1000)의 포맷일 수 있고, 도 11a 내지 도 11c에 도시된 포맷일 수 있다.The formatter 570 samples the left eye view image data output by the main scaler 810 and the right eye view image data output by the sub-scaler 820 in a stereoscopic image output format (S235). The 3D image output format may be a format of the frame 1000 illustrated in FIG. 10, or may be a format illustrated in FIGS. 11A to 11C.

일부 실시예로, 메인 스케일러(810)가 출력한 좌안 시점 영상 데이터 및 부 스케일러(820)가 출력한 우안 시점 영상 데이터는 FRC(560)에 의해 프레임 레이트가 변경되어, 포맷터(570)에 입력될 수 있다. 포맷터(570)는 상기 프레임 레이트가 변경된 입체영상 데이터를 입체영상 출력 포맷으로 샘플링할 수 있다.In some embodiments, the frame rate of the left eye view image data output by the main scaler 810 and the right eye view image data output by the sub-scaler 820 may be changed by the FRC 560 to be input to the formatter 570. Can be. The formatter 570 may sample the stereoscopic image data having the frame rate changed in the stereoscopic image output format.

디스플레이(150)는 샘플링된 입체영상 데이터를 디스플레이한다(S240). 여기서 입체영상 데이터는 편광 방식으로 디스플레이될 수 있고, 셔터글라스 방식으로 디스플레이될 수 있다.The display 150 displays sampled stereoscopic image data (S240). The stereoscopic image data may be displayed in a polarization manner and may be displayed in a shutter glass manner.

도 14는 본 발명에 따른 입체영상 처리 방법에 대한 바람직한 또 다른 실시예의 수행과정을 도시한 흐름도이다.14 is a flowchart illustrating a process of performing another preferred embodiment of the stereoscopic image processing method according to the present invention.

도 14를 참조하면, 수신부(101)는 영상 데이터를 수신한다(S300).Referring to FIG. 14, the receiver 101 receives image data (S300).

비디오 디코더(530)는 영상 데이터를 디코딩한다(S305).The video decoder 530 decodes the image data (S305).

제어부(190)는 수신부(101)가 수신한 영상 데이터가 입체영상 데이터인지 확인한다(S310). 수신한 영상 데이터가 입체영상 데이터인 경우에는, 제어부(190)는 수신한 입체영상 데이터의 포맷 및 해상도를 확인할 수 있다. 여기서 입체영상 데이터의 포맷은 도 3에 도시된 싱글 비디오 스트림 포맷 중 하나일 수 있다.The controller 190 checks whether the image data received by the receiver 101 is stereoscopic image data (S310). If the received image data is stereoscopic image data, the controller 190 may check the format and resolution of the received stereoscopic image data. The format of the stereoscopic image data may be one of the single video stream formats shown in FIG. 3.

수신한 영상 데이터가 입체영상 데이터가 아닌 경우에는, 제어부(190)는 부 스케일러(820)가 비활성화되도록 제어한다(S315).If the received image data is not stereoscopic image data, the controller 190 controls the subscaler 820 to be deactivated (S315).

수신한 영상 데이터가 입체영상 데이터인 경우에는, 제어부(190)는 부 스케일러(820)가 활성화되도록 제어한다(S320).If the received image data is stereoscopic image data, the controller 190 controls the subscaler 820 to be activated (S320).

제어부(190)는 오버스캔 크기를 조절하기 위한 GUI 요청하는 사용자 조치가 감지되었는지 여부를 확인한다(S325).The controller 190 checks whether a user action for requesting a GUI for adjusting the overscan size is detected (S325).

상기 사용자 조치가 감지되지 않은 경우에는, 제어부(190)는 저장부(180)에서 초기 스켈링 파라미터를 로드한다(S330). 여기서 제어부(190)는 로드한 초기 스켈링 파라미터에 따라 오버스캔 크기를 설정할 수 있다.If the user action is not detected, the controller 190 loads the initial scaling parameter from the storage unit 180 (S330). Herein, the controller 190 may set the overscan size according to the loaded initial scaling parameter.

상기 사용자 조치가 감지된 경우에는, 제어부(190)는 오버스캔 크기를 조절하기 위한 GUI를 디스플레이한다(S335). 여기서 상기 GUI는 도 7에 도시된 GUI(700)일 수 있다.If the user action is detected, the controller 190 displays a GUI for adjusting the overscan size (S335). Here, the GUI may be the GUI 700 illustrated in FIG. 7.

제어부(190)는 사용자로 하여금 상기 GUI를 통해 오버스캔 크기를 설정하도록 허여한다(S340).The controller 190 allows the user to set the overscan size through the GUI (S340).

제어부(190)는 디코딩된 입체영상 데이터에 포함된 좌안 시점 영상 데이터 및 우안 시점 영상 데이터를 분리한다(S345). 그리고 제어부(190)는 분리된 좌안 시점 영상 데이터를 메인 스케일러(810)에 입력시키고, 분리된 우안 시점 영상 데이터를 부 스케일러(820)에 입력시킬 수 있다. 일부 실시예로, 제어부(190)는 분리된 우안 시점 영상 데이터를 메인 스케일러(810)에 입력시키고, 분리된 좌안 시점 영상 데이터를 부 스케일러(820)에 입력시킬 수 있다. 여기서 좌안 시점 영상 데이터에 포함된 프레임은 도 6에 도시된 프레임(610)일 수 있고, 우안 시점 영상 데이터에 포함된 프레임은 도 6에 도시된 프레임(620)일 수 있다.The controller 190 separates left eye view image data and right eye view image data included in the decoded stereoscopic image data (S345). The controller 190 may input the separated left eye view image data to the main scaler 810 and input the separated right eye view image data to the subscaler 820. In some embodiments, the controller 190 may input the separated right eye view image data to the main scaler 810 and input the separated left eye view image data to the subscaler 820. The frame included in the left eye view image data may be a frame 610 shown in FIG. 6, and the frame included in the right eye view image data may be the frame 620 illustrated in FIG. 6.

메인 스케일러(810)는 좌안 시점 영상 데이터를 오버스캔한다(S350). 여기서 메인 스케일러(810)는 상기 설정된 오버스캔 크기에 따라 좌안 시점 영상 데이터를 오버스캔할 수 있다.The main scaler 810 overscans the left eye view image data (S350). The main scaler 810 may overscan the left eye view image data according to the set overscan size.

부 스케일러(820)는 우안 시점 영상 데이터를 오버스캔한다(S355). 여기서 부 스케일러(820)는 상기 설정된 오버스캔 크기에 따라 우안 시점 영상 데이터를 오버스캔할 수 있다.The subscaler 820 overscans the right eye view image data (S355). The subscaler 820 may overscan the right eye view image data according to the set overscan size.

일부 실시예로, 단계 S350 및 단계 S355는 병렬적으로 수행될 수 있다.In some embodiments, step S350 and step S355 may be performed in parallel.

합성부(830)는 오버스캔된 좌안 시점 영상 데이터 및 오버스캔된 우안 시점 영상 데이터를 합성한다(S360). 여기서 합성부(830)는 분리 전의 입체영상 데이터의 포맷과 동일한 포맷으로 오버스캔된 좌안 시점 영상 데이터 및 오버스캔된 우안 시점 영상 데이터를 합성할 수 있다. 상기 분리 전의 입체영상 데이터는 수신된 입체영상 데이터일 수 있고, 디코딩된 입체영상 데이터일 수 있다.The synthesis unit 830 synthesizes the overscanned left eye view image data and the overscanned right eye view image data (S360). The synthesizer 830 may synthesize the overscanned left eye view image data and the overscanned right eye view image data in the same format as that of the stereoscopic image data before separation. The stereoscopic image data before separation may be received stereoscopic image data or decoded stereoscopic image data.

포맷터(570)는 합성부(830)가 출력한 입체영상 데이터를 입체영상 출력 포맷으로 샘플링한다(S365). 여기서 입체영상 출력 포맷은 도 10에 도시된 프레임(1000)의 포맷일 수 있고, 도 11a 내지 도 11c에 도시된 포맷일 수 있다.The formatter 570 samples the stereoscopic image data output by the combining unit 830 into the stereoscopic image output format (S365). The 3D image output format may be a format of the frame 1000 illustrated in FIG. 10, or may be a format illustrated in FIGS. 11A to 11C.

디스플레이(150)는 샘플링된 입체영상 데이터를 디스플레이한다(S370). 여기서 입체영상 데이터는 편광 방식으로 디스플레이될 수 있고, 셔터글라스 방식으로 디스플레이될 수 있다.The display 150 displays sampled stereoscopic image data (S370). The stereoscopic image data may be displayed in a polarization manner and may be displayed in a shutter glass manner.

도 15는 본 발명에 따른 입체영상 처리 방법에 대한 바람직한 또 다른 실시예의 수행과정을 도시한 흐름도이다.15 is a flowchart illustrating a process of performing another preferred embodiment of the stereoscopic image processing method according to the present invention.

도 15를 참조하면, 수신부(101)는 영상 데이터를 수신한다(S400).Referring to FIG. 15, the receiver 101 receives image data (S400).

비디오 디코더(530)는 영상 데이터를 디코딩한다(S405).The video decoder 530 decodes the image data (S405).

제어부(190)는 수신부(101)가 수신한 영상 데이터가 입체영상 데이터인지 확인한다(S410). 수신한 영상 데이터가 입체영상 데이터인 경우에는, 제어부(190)는 수신한 입체영상 데이터의 포맷 및 해상도를 확인할 수 있다. 여기서 입체영상 데이터의 포맷은 도 4에 도시된 멀티 비디오 스트림 포맷 중 하나일 수 있다.The controller 190 checks whether the image data received by the receiver 101 is stereoscopic image data (S410). If the received image data is stereoscopic image data, the controller 190 may check the format and resolution of the received stereoscopic image data. The format of the stereoscopic image data may be one of the multi video stream formats shown in FIG. 4.

수신한 영상 데이터가 입체영상 데이터가 아닌 경우에는, 제어부(190)는 부 스케일러(820)가 비활성화되도록 제어한다(S415).If the received image data is not stereoscopic image data, the controller 190 controls the subscaler 820 to be deactivated (S415).

수신한 영상 데이터가 입체영상 데이터인 경우에는, 제어부(190)는 부 스케일러(820)가 활성화되도록 제어한다(S420). 그리고 제어부(190)는 디코딩된 좌안 시점 영상 데이터가 메인 스케일러(810)에 입력되도록 제어하고, 디코딩된 우안 시점 영상 데이터가 부 스케일러(820)에 입력되도록 제어할 수 있다. 여기서 좌안 시점 영상 데이터에 포함된 프레임은 도 6에 도시된 프레임(610)일 수 있고, 우안 시점 영상 데이터에 포함된 프레임은 도 6에 도시된 프레임(620)일 수 있다.If the received image data is stereoscopic image data, the controller 190 controls the subscaler 820 to be activated (S420). The controller 190 may control the decoded left eye view image data to be input to the main scaler 810, and the decoded right eye view image data may be input to the subscaler 820. The frame included in the left eye view image data may be a frame 610 shown in FIG. 6, and the frame included in the right eye view image data may be the frame 620 illustrated in FIG. 6.

제어부(190)는 오버스캔 크기를 조절하기 위한 GUI 요청하는 사용자 조치가 감지되었는지 여부를 확인한다(S425).The controller 190 checks whether a user action for requesting a GUI for adjusting the overscan size is detected (S425).

상기 사용자 조치가 감지되지 않은 경우에는, 제어부(190)는 저장부(180)에서 초기 스켈링 파라미터를 로드한다(S430). 여기서 제어부(190)는 로드한 초기 스켈링 파라미터에 따라 오버스캔 크기를 설정할 수 있다.If the user action is not detected, the controller 190 loads the initial scaling parameter from the storage unit 180 (S430). Herein, the controller 190 may set the overscan size according to the loaded initial scaling parameter.

상기 사용자 조치가 감지된 경우에는, 제어부(190)는 오버스캔 크기를 조절하기 위한 GUI를 디스플레이한다(S435). 여기서 상기 GUI는 도 7에 도시된 GUI(700)일 수 있다.If the user action is detected, the controller 190 displays a GUI for adjusting the overscan size (S435). Here, the GUI may be the GUI 700 illustrated in FIG. 7.

제어부(190)는 사용자로 하여금 상기 GUI를 통해 오버스캔 크기를 설정하도록 허여한다(S440).The controller 190 allows the user to set the overscan size through the GUI (S440).

메인 스케일러(810)는 좌안 시점 영상 데이터를 오버스캔한다(S445). 여기서 메인 스케일러(810)는 상기 설정된 오버스캔 크기에 따라 좌안 시점 영상 데이터를 오버스캔할 수 있다.The main scaler 810 overscans the left eye view image data (S445). The main scaler 810 may overscan the left eye view image data according to the set overscan size.

부 스케일러(820)는 우안 시점 영상 데이터를 오버스캔한다(S450). 여기서 부 스케일러(820)는 상기 설정된 오버스캔 크기에 따라 우안 시점 영상 데이터를 오버스캔할 수 있다.The subscaler 820 overscans the right eye view image data (S450). The subscaler 820 may overscan the right eye view image data according to the set overscan size.

일부 실시예로, 제어부(190)는 디코딩된 우안 시점 영상 데이터가 메인 스케일러(810)에 입력되도록 제어하고, 디코딩된 좌안 시점 영상 데이터가 부 스케일러(820)에 입력되도록 제어할 수 있다. 이러한 경우에는, 단계 S445에서 메인 스케일러(810)는 우안 시점 영상 데이터를 오버스캔하고 단계 S450에서 부 스케일러(820)는 좌안 시점 데이터를 오버스캔한다.In some embodiments, the controller 190 may control the decoded right eye view image data to be input to the main scaler 810, and the decoded left eye view image data may be input to the sub-scaler 820. In this case, the main scaler 810 overscans the right eye view image data in step S445, and the subscaler 820 overscans the left eye view data in step S450.

일부 실시예로, 단계 S445 및 단계 S450은 병렬적으로 수행될 수 있다.In some embodiments, step S445 and step S450 may be performed in parallel.

포맷터(570)는 메인 스케일러(810)가 출력한 좌안 시점 영상 데이터 및 부 스케일러(820)가 출력한 우안 시점 영상 데이터를 입체영상 출력 포맷으로 샘플링한다(S455). 여기서 입체영상 출력 포맷은 도 10에 도시된 프레임(1000)의 포맷일 수 있고, 도 11a 내지 도 11c에 도시된 포맷일 수 있다.The formatter 570 samples the left eye view image data output by the main scaler 810 and the right eye view image data output by the subscaler 820 in a stereoscopic image output format (S455). The 3D image output format may be a format of the frame 1000 illustrated in FIG. 10, or may be a format illustrated in FIGS. 11A to 11C.

디스플레이(150)는 샘플링된 입체영상 데이터를 디스플레이한다(S460). 여기서 입체영상 데이터는 편광 방식으로 디스플레이될 수 있고, 셔터글라스 방식으로 디스플레이될 수 있다.The display 150 displays sampled stereoscopic image data (S460). The stereoscopic image data may be displayed in a polarization manner and may be displayed in a shutter glass manner.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 장치에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can also be embodied as computer-readable codes on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer apparatus is stored. Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and may be implemented in the form of a carrier wave (for example, transmission via the Internet) . The computer-readable recording medium may also be distributed to networked computer devices so that computer readable code can be stored and executed in a distributed manner.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken by way of limitation in the embodiment in which said invention is directed. It will be understood by those skilled in the art that various changes in form and detail may be made therein without departing from the scope of the appended claims.

Claims

Receiving stereoscopic image data;
Decoding the received stereoscopic image data;
Over-scanning left eye view image data and right eye view image data included in the decoded stereoscopic image data, respectively; And
And sampling the overscanned left eye view image data and the overscanned right eye view image data in a stereoscopic image output format.

The method of claim 1,
The overscan step,
Dividing the decoded stereoscopic image data into the left eye view image data and the right eye view image data;
Overscanning the separated left eye view image data and the separated right eye view image data, respectively; And
And synthesizing the overscanned left eye view image data and the overscanned right eye view image data.

The method of claim 2,
Wherein the combining comprises:
And synthesizing the left eye view image data and the right eye view image data in the same format as the format of the decoded stereoscopic image data.

The method of claim 2,
The sampling step,
And sampling the synthesized left eye view image data and right eye view image data in the stereoscopic image output format.

3. The method according to claim 1 or 2,
And determining whether the input image data is the stereoscopic image data.

6. The method of claim 5,
Wherein the verifying step comprises:
And identifying at least one of a format and a resolution of the stereoscopic image data.

6. The method of claim 5,
If the input image data is the stereoscopic image data,
Activating the secondary scaler,
And one of the left eye view image data and the right eye view image data is overscanned in the main scaler, and the other is overscanned in the subscaler.

8. The method of claim 7,
And inactivating the sub-scaler when the input image data is not the stereoscopic image data.

The method of claim 1,
Displaying a graphical user interface for adjusting the overscan size;
The overscan step,
And overscanning the left eye view image data and the right eye view image data, respectively, according to the overscan size input through the graphical user interface.

The method of claim 1,
The overscan step,
And overscanning the left eye view image data and the right eye view image data according to a screen having an aspect ratio of 16: 9, respectively.

A receiver for receiving stereoscopic image data;
A decoder for decoding the received stereoscopic image data;
A scaler configured to overscan each of the left eye view image data and the right eye view image data included in the decoded stereoscopic image data; And
And a formatter configured to sample the overscanned left eye view image data and the overscanned right eye view image data in a stereoscopic image output format.

12. The method of claim 11,
And controlling the separated stereoscopic image data to separate the left eye view image data and the right eye view image data.
The scaler is,
Respectively overscan the separated left eye view image data and the separated right eye view image data,
And a synthesizer configured to synthesize the overscanned left eye view image data and the overscanned right eye view image data.

13. The method of claim 12,
The synthesis unit,
And synthesizing the overscanned left eye view image data and the overscanned right eye view image data in the same format as that of the decoded stereoscopic image data.

12. The method of claim 11,
And a control unit which checks whether the input image data is the stereoscopic image data.

The method of claim 14,
The control unit,
And at least one of a format and a resolution of the stereoscopic image data.

The method of claim 14,
The scaler is,
A main scaler configured to overscan one of the left eye view image data and the right eye view image data; And
And a subscaler configured to overscan the other one of the left eye view image data and the right eye view image data.
The control unit,
And when the input image data is the stereoscopic image data, controlling the subscaler to be activated.

17. The method of claim 16,
The control unit,
And inactivating the sub-scaler when the input image data is not the stereoscopic image data.

12. The method of claim 11,
And a control unit for controlling a graphic user interface for adjusting the overscan size to be displayed,
The scaler is,
And overscanning the left eye view image data and the right eye view image data, respectively, according to the overscan size inputted through the graphic user interface.

12. The method of claim 11,
The scaler is,
And overscanning the left eye view image data and the right eye view image data according to a screen having an aspect ratio of 16: 9.

12. The method of claim 11,
And the format of the stereoscopic image is one of a single video stream format and a multi video stream format.