KR101804912B1

KR101804912B1 - An apparatus for displaying a 3-dimensional image and a method for displaying subtitles of a 3-dimensional image

Info

Publication number: KR101804912B1
Application number: KR1020110009117A
Authority: KR
Inventors: 강철승
Original assignee: 엘지전자 주식회사
Priority date: 2011-01-28
Filing date: 2011-01-28
Publication date: 2017-12-05
Also published as: KR20120087737A

Abstract

입체영상 디스플레이 장치 및 입체영상 자막 디스플레이 방법이 개시된다. 비디오 디코더는 입체영상 프레임을 디코딩한다. 제어부는 사전에 설정된 시간 동안에 디코딩된 입체영상 프레임들 중 적어도 하나의 입체영상 프레임의 픽셀 차이값을 각각 해당 입체영상 프레임과 해당 입체영상 프레임 이전에 디스플레이될 입체영상 프레임을 이용하여 산출하고, 산출한 픽셀 차이값들을 기초로 디코딩된 입체영상 프레임들의 자막 위치를 선택하며, 픽셀 차이값이 산출된 입체영상 프레임 각각에 대한 선택된 자막 위치에서의 깊이값을 산출하고, 산출한 적어도 하나의 깊이값을 이용하여 자막 깊이값을 설정한다. 디스플레이는 제어부가 선택한 자막 위치에 제어부가 설정한 자막 깊이값을 갖는 자막 이미지를 디스플레이한다.A stereoscopic image display apparatus and stereoscopic image caption display method are disclosed. The video decoder decodes the stereoscopic image frame. The controller calculates the pixel difference value of at least one of the three-dimensional image frames decoded during the preset time using the corresponding stereoscopic image frame and the stereoscopic image frame to be displayed before the corresponding stereoscopic image frame, A subtitle position of the decoded stereoscopic image frames based on the pixel difference values is selected, a depth value at a selected caption position of each of the stereoscopic image frames calculated by the pixel difference value is calculated, and at least one calculated depth value is used To set the subtitle depth value. The display displays the subtitle image having the subtitle depth value set by the control unit at the subtitle position selected by the control unit.

Description

TECHNICAL FIELD [0001] The present invention relates to a three-dimensional image display apparatus and a three-dimensional image subtitle display method.

본 발명은 입체영상 디스플레이 장치 및 입체영상 자막 디스플레이 방법에 관한 것으로, 보다 상세하게는, 적어도 하나의 좌안 시점 영상 및 적어도 하나의 우안 시점 영상을 포함하는 입체영상의 자막을 처리하는 위한 입체영상 디스플레이 장치 및 입체영상 자막 디스플레이 방법에 관한 것이다.The present invention relates to a stereoscopic image display apparatus and a stereoscopic image caption display method, and more particularly, to a stereoscopic image display apparatus and a stereoscopic image display method for processing a caption of a stereoscopic image including at least one left eye view image and at least one right eye view image, And a stereoscopic image caption display method.

현재에는 아날로그 방송에서 디지털 방송으로 방송환경이 급속히 전환되고 있다. 그에 따라 디지털 방송을 위한 컨텐츠의 양이 급속히 증가하고 있다. 또한, 디지털 방송을 위한 컨텐츠로는 2차원(2-dimensions: 2D) 영상 신호를 2차원 이미지로 디스플레이하는 컨텐츠 이외에도 3차원(3 dimensions: 3D) 영상 신호를 3차원 이미지로 디스플레이하는 컨텐츠가 제작 및 기획되고 있다.Currently, the broadcasting environment is rapidly changing from analog broadcasting to digital broadcasting. Accordingly, the amount of contents for digital broadcasting is rapidly increasing. In addition to the content for displaying a 2-dimensional (2D) video signal as a 2-dimensional image, contents for displaying 3-dimensional (3D) It is planned.

3 차원 영상을 디스플레이하는 기술은 양안의 시차로 관찰자가 입체감을 느끼게 되는 양안 시차의 원리를 이용하는 것으로, 안경 방식(shutter glass method), 무안경 방식, 완전 3차원 방식 등으로 구분된다. 안경 방식은 입체영상을 관람하기 위하여 시청자가 특수한 기능의 안경을 착용하는 방식을 말한다. 안경 방식을 크게 구분하여, 좌우가 번갈아 개폐되는 셔터글라스 방식과 좌우안의 안경렌즈 부분에 서로 반대 방향의 원편광판을 장착하는 편광 방식으로 분류할 수 있다.The technique of displaying a three-dimensional image is based on the principle of binocular parallax that the observer perceives a stereoscopic effect in the binocular parallax, and is classified into a shutter glass method, an eyeglass method, and a full three-dimensional method. The glasses system refers to a system in which viewers wear glasses having a special function to view a stereoscopic image. It is possible to classify the spectacles into a polarizing mode in which the shutter glasses are alternately opened and closed alternately and the circular polarizing plates in opposite directions are mounted on the left and right spectacle lens portions.

본 발명이 이루고자 하는 기술적 과제는 시청자가 시각적 피로감 없이 편하게 시청할 수 있도록 입체영상의 자막을 디스플레이하는 입체영상 디스플레이 장치 및 입체영상 자막 디스플레이 방법을 제공하는데 있다.According to an aspect of the present invention, there is provided a stereoscopic image display apparatus and a stereoscopic image caption display method, which display subtitles of a stereoscopic image so that a viewer can easily view the image without visual fatigue.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 입체영상 자막 디스플레이 방법은 사전에 설정된 시간 동안에 디코딩된 입체영상 프레임들 중 적어도 하나의 입체영상 프레임의 픽셀 차이값을 산출하며, 여기서 해당 입체영상 프레임과 상기 해당 입체영상 프레임 이전에 디스플레이될 입체영상 프레임을 이용하여 상기 픽셀 차이값을 산출하는 단계, 상기 적어도 하나의 입체영상 프레임의 픽셀 차이값을 기초로 상기 디코딩된 입체영상 프레임들의 자막 위치를 선택하는 단계, 상기 적어도 하나의 입체영상 프레임 각각에 대한 상기 선택된 자막 위치에서의 깊이값을 산출하는 단계, 상기 산출된 적어도 하나의 깊이값을 이용하여 자막 깊이값을 설정하는 단계, 및 상기 선택된 자막 위치에 상기 설정된 자막 깊이값을 갖는 자막 이미지를 디스플레이하는 단계를 포함할 수 있다. 여기서 상기 사전에 설정된 시간은 자막 이미지가 디스플레이될 시간 및 하나의 장면을 구성하는 입체영상 프레임이 디코딩되는 시간 중 하나를 기초로 설정될 수 있다. 또한 상기 적어도 하나의 입체영상 프레임은 I-프레임(Intra-coded frame) 및 P-프레임(Predictive-coded frame) 중 적어도 하나일 수 있다. 또한 상기 자막 위치는 객체가 위치하는 영역 중에서 선택될 수 있고, 상기 객체는 사람, 동물, 기구 및 장치 중 적어도 하나를 포함할 수 있다.According to another aspect of the present invention, there is provided a stereoscopic image subtitle display method for calculating a difference value of at least one stereoscopic image frame among a plurality of stereoscopic image frames decoded for a preset time, Calculating a pixel difference value using a stereoscopic image frame to be displayed before the corresponding stereoscopic image frame, selecting a subtitle position of the decoded stereoscopic image frames based on a pixel difference value of the at least one stereoscopic image frame, Calculating a depth value at the selected subtitle position for each of the at least one stereoscopic image frame, setting a subtitle depth value using the calculated at least one depth value, The subtitle image having the set subtitle depth value is displayed on the display And a step of irradiating. Here, the predetermined time may be set based on one of a time at which the caption image is displayed and a time at which the stereoscopic image frame constituting one scene is decoded. Also, the at least one stereoscopic image frame may be at least one of an I-frame (Intra-coded frame) and a P-frame (Predictive-coded frame). Further, the caption position may be selected from an area where the object is located, and the object may include at least one of a person, an animal, a device, and an apparatus.

상기 픽셀 차이값을 산출하는 단계는, 상기 사전에 설정된 시간 내인지 여부를 확인하는 단계, 상기 사전에 설정된 시간 내인 경우에는, 입체영상 프레임의 좌안 시점 영상 프레임 및 우안 시점 영상 프레임을 디코딩하는 단계, 상기 디코딩된 좌안 시점 영상 프레임 및 우안 시점 영상 프레임을 저장하는 단계, 상기 저장된 좌안 시점 영상 프레임과 상기 저장된 좌안 시점 영상 프레임 이전에 디스플레이될 좌안 시점 영상 프레임간의 픽셀 차이값 및 상기 저장된 우안 시점 영상 프레임과 상기 저장된 우안 시점 영상 프레임 이전에 디스플레이될 우안 시점 영상 프레임간의 픽셀 차이값 중 적어도 하나를 산출하는 단계, 및 상기 산출된 픽셀 차이값을 픽셀별로 누적하는 단계를 포함할 수 있다.Wherein the step of calculating the pixel difference value comprises the steps of: checking whether the pixel difference value is within the predetermined time; decoding the left eye view image frame and the right eye view image frame of the stereoscopic image frame in the preset time; A decoded left eye view image frame and a right eye view image frame, a pixel difference value between the stored left eye view image frame and a stored left eye view image frame to be displayed before the stored left eye view image frame, Calculating at least one of pixel difference values between right eye view image frames to be displayed before the stored right eye view image frame, and accumulating the calculated pixel difference values on a pixel by pixel basis.

상기 선택된 자막 위치에서의 깊이값을 산출하는 단계는, 상기 적어도 하나의 입체영상 프레임 중 하나를 선택하는 단계, 상기 선택된 자막 위치에서 상기 선택된 입체영상 프레임의 좌안 시점 영상 프레임 및 우안 시점 영상 프레임 사이의 차이값을 산출하는 단계, 및 상기 산출된 차이값을 이용하여 상기 깊이값을 산출하는 단계를 포함할 수 있다.Wherein the step of calculating the depth value at the selected caption position comprises the steps of: selecting one of the at least one stereoscopic image frame; selecting a stereoscopic image frame among the left- Calculating a difference value, and calculating the depth value using the calculated difference value.

상기 자막 깊이값을 설정하는 단계는, 상기 산출된 적어도 하나의 깊이값의 평균 깊이값을 산출하는 단계, 및 장르 및 자막 재생 모드 중 적어도 하나를 기초로 상기 산출된 평균 깊이값 및 사전에 설정된 자막 깊이값을 중 하나를 상기 자막 깊이값으로 설정하는 단계를 포함할 수 있다.Wherein the step of setting the subtitle depth value comprises the steps of: calculating an average depth value of the calculated at least one depth value; and calculating an average depth value and a preset subtitle And setting one of the depth values to the subtitle depth value.

상기 입체영상 자막 디스플레이 방법은, 자막 데이터를 이용하여 상기 설정된 자막 깊이값을 갖는 자막 이미지의 좌안 자막 이미지 및 우안 자막 이미지를 생성하는 단계를 더 포함할 수 있다.The stereoscopic image caption display method may further include generating a left caption image and a right caption image of the caption image having the set caption depth value using the caption data.

상기 입체영상 자막 디스플레이 방법은, 상기 생성된 좌안 자막 이미지를 상기 디코딩된 입체영상 프레임들의 좌안 시점 영상 프레임내의 상기 자막 위치에 믹싱하고, 상기 생성된 우안 자막 이미지를 상기 디코딩된 입체영상 프레임들의 우안 시점 영상 프레임내의 상기 자막 위치에 믹싱하는 단계를 더 포함할 수 있다. The stereoscopic image caption display method may further include mixing the generated left eye caption image with the caption position in the left eye view image frame of the decoded stereoscopic image frames and outputting the generated right eye caption image to the right eye view of the decoded stereoscopic image frames The method may further include mixing at a caption position in an image frame.

상기 좌안 자막 이미지 및 상기 우안 자막 이미지는 OSD(On Screen Display) 이미지로 디스플레이될 수 있다.The left-eye subtitle image and the right-eye subtitle image may be displayed as an OSD (On Screen Display) image.

상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 입체영상 디스플레이 장치는, 입체영상 프레임을 디코딩하는 비디오 디코더, 사전에 설정된 시간 동안에 디코딩된 입체영상 프레임들 중 적어도 하나의 입체영상 프레임의 픽셀 차이값을 각각 해당 입체영상 프레임과 해당 입체영상 프레임 이전에 디스플레이될 입체영상 프레임을 이용하여 산출하고, 상기 산출된 픽셀 차이값들을 기초로 상기 디코딩된 입체영상 프레임들의 자막 위치를 선택하며, 상기 적어도 하나의 입체영상 프레임 각각에 대한 상기 선택된 자막 위치에서의 깊이값을 산출하고, 상기 산출된 적어도 하나의 깊이값을 이용하여 자막 깊이값을 설정하는 제어부, 및 상기 선택된 자막 위치에 상기 설정된 자막 깊이값을 갖는 자막 이미지를 디스플레이하는 디스플레이를 포함할 수 있다. 여기서, 상기 사전에 설정된 시간은 자막 이미지가 디스플레이될 시간 및 하나의 장면을 구성하는 입체영상 프레임이 디코딩되는 시간 중 하나를 기초로 설정될 수 있다. 상기 적어도 하나의 입체영상 프레임은 I-프레임(Intra-coded frame) 및 P-프레임(Predictive-coded frame) 중 적어도 하나일 수 있다.According to another aspect of the present invention, there is provided a stereoscopic image display apparatus including a video decoder for decoding a stereoscopic image frame, a display unit for displaying at least one of the stereoscopic image frames, Values using the corresponding stereoscopic image frame and a stereoscopic image frame to be displayed before the stereoscopic image frame, and selects a caption position of the decoded stereoscopic image frames based on the calculated pixel difference values, A controller for calculating a depth value at the selected caption position for each of the stereoscopic image frames of the stereoscopic image frame and setting a caption depth value using the calculated at least one depth value, Contains a display to display caption images can do. Here, the predetermined time may be set based on one of a time at which a caption image is displayed and a time at which a stereoscopic image frame constituting one scene is decoded. The at least one stereoscopic image frame may be at least one of an I-frame (Intra-coded frame) and a P-frame (Predictive-coded frame).

상기 제어부는, 상기 사전에 설정된 시간 내인지 여부를 확인하고, 상기 사전에 설정된 시간 내인 경우에는, 상기 디코딩된 입체영상 프레임의 좌안 시점 영상 프레임 및 우안 시점 영상 프레임이 저장되도록 제어하고, 상기 저장된 좌안 시점 영상 프레임과 상기 저장된 좌안 시점 영상 프레임 이전에 디스플레이될 좌안 시점 영상 프레임간의 픽셀 차이값 및 상기 저장된 우안 시점 영상 프레임과 상기 저장된 우안 시점 영상 프레임 이전에 디스플레이될 우안 시점 영상 프레임간의 픽셀 차이값 중 적어도 하나를 산출하며, 상기 산출된 픽셀 차이값을 픽셀별로 누적하며, 상기 누적된 픽셀 차이값을 기초로 상기 자막 위치를 선택할 수 있다. Wherein the control unit checks whether the left eye view image frame and the right eye view image frame of the decoded stereoscopic image frame are stored when the time is within the preset time, A pixel difference value between a viewpoint image frame and a left eye view image frame to be displayed before the stored left eye view image frame and a pixel difference value between a stored right eye view image frame and a stored right eye view image frame to be displayed before the stored right eye view image frame, The calculated pixel difference value is accumulated for each pixel, and the subtitle position can be selected based on the accumulated pixel difference value.

상기 제어부는, 상기 적어도 하나의 입체영상 프레임 중 하나를 선택하고, 상기 선택된 자막 위치에서 상기 선택된 입체영상 프레임의 좌안 시점 영상 프레임 및 우안 시점 영상 프레임 사이의 차이값을 산출하며, 상기 산출된 차이값을 이용하여 상기 깊이값을 산출할 수 있다.Wherein the control unit selects one of the at least one stereoscopic image frames and calculates a difference value between the left eye view image frame and the right eye view image frame of the selected stereoscopic image frame at the selected caption position, Can be used to calculate the depth value.

상기 제어부는, 상기 산출된 적어도 하나의 깊이값의 평균 깊이값을 산출하고, 장르 및 자막 재생 모드 중 적어도 하나를 기초로 상기 산출된 평균 깊이값 및 사전에 설정된 자막 깊이값을 중 하나를 상기 자막 깊이값으로 설정할 수 있다.The control unit calculates an average depth value of the calculated at least one depth value and determines one of the calculated average depth value and a preset subtitle depth value based on at least one of a genre and a subtitle reproduction mode, Depth value can be set.

상기 입체영상 디스플레이 장치는, 자막 데이터를 이용하여 상기 설정된 자막 깊이값을 갖는 자막 이미지의 좌안 자막 이미지 및 우안 자막 이미지를 생성하는 자막 디코더를 더 포함할 수 있다.The stereoscopic image display apparatus may further include a caption decoder for generating a left-eye caption image and a right-eye caption image of the caption image having the set caption depth value using the caption data.

상기 입체영상 디스플레이 장치는, 상기 생성된 좌안 자막 이미지를 상기 디코딩된 입체영상 프레임들의 좌안 시점 영상 프레임내의 상기 자막 위치에 믹싱하고, 상기 생성된 우안 자막 이미지를 상기 디코딩된 입체영상 프레임들의 우안 시점 영상 프레임내의 상기 자막 위치에 믹싱하는 믹서를 더 포함할 수 있다.Wherein the stereoscopic image display device mixes the generated left eye caption image with the caption position in a left eye view image frame of the decoded stereoscopic image frames and outputs the generated right eye caption image to a right eye view image of the decoded stereoscopic image frames And a mixer for mixing at the caption position within the frame.

상기 입체영상 디스플레이 장치는, 상기 좌안 자막 이미지 및 상기 우안 자막 이미지가 OSD(On Screen Display) 이미지로 디스플레이되도록 제어하는 OSD부를 더 포함할 수 있다.The stereoscopic image display apparatus may further include an OSD unit for controlling the display of the left-eye subtitle image and the right-eye subtitle image as OSD (On Screen Display) images.

상기 제어부는, 상기 자막 위치를 객체가 위치하는 영역 중에서 선택할 수 있다. 여기서, 상기 객체는 사람, 동물, 기구 및 장치 중 적어도 하나를 포함할 수 있다.The control unit may select the caption position from a region where the object is located. Here, the object may include at least one of a person, an animal, a device, and an apparatus.

본 발명에 따른 입체영상 디스플레이 장치 및 입체영상 자막 디스플레이 방법에 의하면, 입체영상의 깊이값에 맞추어 자막 이미지를 디스플레이하고, 입체영상 중에 시선이 집중되는 부분에 자막 이미지를 디스플레이할 수 있으므로, 시청자는 시각적 피로감 없이 편안하게 입체영상을 자막과 함께 시청할 수 있다.According to the stereoscopic image display apparatus and the stereoscopic image caption display method according to the present invention, a caption image can be displayed according to a depth value of a stereoscopic image, and a caption image can be displayed at a portion where a sight line is concentrated in a stereoscopic image. Stereoscopic images can be viewed with subtitles comfortably without fatigue.

도 1은 본 발명에 따른 입체영상 디스플레이 장치에 대한 바람직한 일실시예의 구성을 도시한 블록도,
도 2는 양안시차 방식을 도시한 도면,
도 3은 본 발명에 따른 입체영상의 싱글 비디오 스트림 포맷의 예들을 도시한 도면,
도 4는 본 발명에 따른 입체영상의 멀티 비디오 스트림 포맷의 예들을 도시한 도면,
도 5는 자막 위치를 선택하는 방법을 설명하기 위한 도면,
도 6은 좌안 시점 영상 프레임 및 우안 시점 영상 프레임이 디스플레이된 화면을 도시한 도면.
도 7은 자막 이미지를 입체 이미지로 생성하는 방법을 설명하기 위한 도면,
도 8은 신호 처리부에 대한 바람직한 일실시예의 구성을 도시한 블록도,
도 9는 FRC부에서 입력 영상 데이터의 처리 과정을 설명하기 위한 도면,
도 10은 포맷터에서 영상 프레임을 구성하는 과정을 설명하기 위한 도면,
도 11은 본 발명에 따른 입체영상 자막 재생 방법에 대한 바람직한 일실시예의 수행과정을 도시한 흐름도,
도 12는 신호 처리부에 대한 바람직한 다른 실시예의 구성을 도시한 블록도, 그리고,
도 13은 본 발명에 따른 입체영상 자막 재생 방법에 대한 바람직한 다른 실시예의 수행과정을 도시한 흐름도이다.1 is a block diagram showing a configuration of a preferred embodiment of a stereoscopic image display apparatus according to the present invention.
2 is a diagram illustrating a binocular disparity system,
3 is a diagram illustrating examples of a single video stream format of a stereoscopic image according to the present invention,
FIG. 4 is a diagram illustrating examples of a multi-video stream format of a stereoscopic image according to the present invention,
5 is a diagram for explaining a method of selecting a caption position,
6 is a view showing a screen on which a left eye view image frame and a right eye view image frame are displayed;
7 is a diagram for explaining a method of generating a three-dimensional image of a subtitle image,
8 is a block diagram showing a configuration of a preferred embodiment of the signal processing unit,
9 is a diagram for explaining a process of input image data in the FRC unit,
10 is a diagram for explaining a process of configuring an image frame in the formatter,
FIG. 11 is a flowchart illustrating a method of performing a stereoscopic image caption reproducing method according to an exemplary embodiment of the present invention.
12 is a block diagram showing a configuration of another preferred embodiment of the signal processing unit,
FIG. 13 is a flowchart illustrating a method of performing a stereoscopic image caption reproducing method according to another embodiment of the present invention.

이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings. The structure and operation of the present invention shown in the drawings and described by the drawings are described as at least one embodiment, and the technical ideas and the core structure and operation of the present invention are not limited thereby.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당해 기술분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 함을 밝혀두고자 한다.Although the terms used in the present invention have been selected in consideration of the functions of the present invention, it is possible to use general terms that are currently widely used, but this may vary depending on the intention or custom of a person skilled in the art or the emergence of new technology. Also, in certain cases, there may be a term selected arbitrarily by the applicant, in which case the meaning thereof will be described in detail in the description of the corresponding invention. Therefore, it is to be understood that the term used in the present invention should be defined based on the meaning of the term rather than the name of the term, and on the contents of the present invention throughout.

도 1은 본 발명에 따른 입체영상 디스플레이 장치에 대한 바람직한 일실시예의 구성을 도시한 블록도이다.1 is a block diagram showing a configuration of a preferred embodiment of a stereoscopic image display apparatus according to the present invention.

도 1을 참조하면, 본 발명에 따른 입체영상 디스플레이 장치(100)는 수신부(101), 신호 처리부(140), 디스플레이(150), 음성 출력부(160), 입력장치(170), 저장부(180) 및 제어부(190)를 포함할 수 있다. 입체영상 디스플레이 장치(100)는 데스크톱, 랩톱, 태블릿 또는 핸드헬드 컴퓨터 등의 퍼스널 컴퓨터 시스템일 수 있다. 또한 입체영상 디스플레이 장치(100)는 휴대폰, 스마트폰(smart phone), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 내비게이션 등과 같은 이동 단말기일 수 있고, 디지털 TV 같은 고정형 가전기기일 수 있다.1, a stereoscopic image display apparatus 100 according to the present invention includes a receiving unit 101, a signal processing unit 140, a display 150, an audio output unit 160, an input device 170, a storage unit 180, and a control unit 190. [ The stereoscopic image display device 100 may be a personal computer system such as a desktop, a laptop, a tablet, or a handheld computer. The stereoscopic image display apparatus 100 may be a mobile terminal such as a mobile phone, a smart phone, a digital broadcasting terminal, a PDA (Personal Digital Assistants), a PMP (Portable Multimedia Player), a navigation system, Device.

수신부(101)는 방송 데이터, 영상 데이터, 음성 데이터, 정보 데이터, 프로그램 코드를 수신할 수 있다. 여기서 영상 데이터는 양안시차 방식의 입체영상 데이터일 수 있다. 입체영상 데이터는 스테레오 시점 영상 또는 다시점 영상일 수 있다. 즉 입체영상 데이터는 적어도 하나의 좌안 시점 영상 데이터와 적어도 하나의 우안 시점 영상 데이터를 포함할 수 있다. The receiving unit 101 can receive broadcast data, video data, audio data, information data, and program codes. Here, the image data may be stereoscopic image data of a binocular parallax system. The stereoscopic image data may be a stereo view image or a multi-view image. That is, the stereoscopic image data may include at least one left eye view image data and at least one right eye view image data.

또한 입체영상 데이터는 하나의 입체 이미지를 디스플레이하는 입체영상 프레임을 포함할 수 있다. 여기기 입체영상 프레임은 싱글 비디오 스트림 포맷 및 멀티 비디오 스트림 포맷을 가질 수 있다.Also, the stereoscopic image data may include a stereoscopic image frame displaying one stereoscopic image. The exciter stereoscopic image frame may have a single video stream format and a multi-video stream format.

도 2는 양안시차 방식을 도시한 도면이다.2 is a diagram showing a binocular disparity system.

도 2를 참조하면, 양안시차 방식은 양안 카메라 등으로 촬상된 좌안 시점 영상(201) 및 우안 시점 영상(202)을 시청자의 양 눈(211, 212)에 각각 보여줌으로써 공간감 또는 입체감을 제공하는 3차원 디스플레이 방식이다. 좌안 시점 영상(201) 및 우안 시점 영상(202)의 양안 시차에 따라 시청자에게 제공되는 공간감 또는 입체감이 달라질 수 있다.Referring to FIG. 2, the binocular parallax system includes a left eye view image 201 and a right eye view image 202 captured by a binocular camera or the like and displayed on both eyes 211 and 212 of a viewer, Dimensional display method. The spatial sense or stereoscopic feeling provided to the viewer can be changed according to the binocular disparity of the left eye view image 201 and the right eye view image 202. [

좌안 시점 영상(201) 및 우안 시점 영상(202)의 간격이 좁을수록, 좌안(211) 및 우안(212)로부터 먼 거리에서 상이 맺히는 것으로 인식되어, 시청자에게 제공되는 공간감 또는 입체감이 작아질 수 있다. 또한 좌안 시점 영상(201) 및 우안 시점 영상(202)의 간격이 넓을수록, 좌안(211) 및 우안(212)으로부터 가까운 거리에서 상이 맺히는 것으로 인식되어, 시청자에게 제공되는 공간감 또는 입체감이 커질 수 있다.As the interval between the left eye view image 201 and the right eye view image 202 is narrowed, images are perceived to form at distances far from the left eye 211 and the right eye 212, so that the sense of space or stereoscopic effect provided to viewers can be reduced . Also, as the interval between the left eye view image 201 and the right eye view image 202 is wider, it is recognized that an image is formed at a close distance from the left eye 211 and the right eye 212, .

도 3은 본 발명에 따른 입체영상의 싱글 비디오 스트림 포맷의 예들을 도시한 도면이다.3 is a diagram illustrating examples of a single video stream format of a stereoscopic image according to the present invention.

도 3을 참조하면, 싱글 비디오 스트림 포맷은 사이드 바이 사이드(side by side) 포맷, 탑 앤 바텀(top and bottom) 포맷, 체커 보드(checker board) 포맷, 프레임 시퀀셜(Frame sequential) 포맷 및 인터레이스드(Interlaced) 포맷을 포함할 수 있다.Referring to FIG. 3, a single video stream format may include a side by side format, a top and bottom format, a checker board format, a frame sequential format, and an interlaced (" Interlaced < / RTI > format.

사이드 바이 사이드(side by side) 포맷(310)은 좌안 시점 영상(201)을 디스플레이하는 좌안 시점 영상 데이터(311)와 우안 시점 영상(202)을 디스플레이하는 우안 시점 영상 데이터(312)가 사람의 좌안과 우안에 각각 서로 직교하도록 나란히 입력되는 포맷이다. 사이드 바이 사이드 포맷의 입체영상 프레임(310)에는 하나의 좌안 시점 영상 프레임(311) 및 하나의 우안 시점 영상 프레임(312)이 나란히 배치된다.The side by side format 310 includes a left eye view image data 311 for displaying a left eye view image 201 and right eye view image data 312 for displaying a right eye view image 202, And are orthogonal to each other in the right eye. One left eye view image frame 311 and one right eye view image frame 312 are arranged side by side in the side-by-side formatted stereoscopic image frame 310.

탑 앤 바텀(top and bottom) 포맷(320)은 좌안 시점 영상(201)을 디스플레이하는 좌안 시점 영상 데이터(321)와 우안 시점 영상(202)을 디스플레이하는 우안 시점 영상 데이터(322)가 상하로 입력되는 포맷이다. 탑 앤 바텀 포맷의 입체영상 프레임(320)에는 하나의 좌안 시점 영상 프레임(321) 및 하나의 우안 시점 영상 프레임(322)이 상하로 배치된다. The top and bottom format 320 includes left eye view image data 321 for displaying the left eye view image 201 and right eye view image data 322 for displaying the right eye view image 202, Format. One left eye view image frame 321 and one right eye view image frame 322 are arranged vertically in the stereoscopic image frame 320 of the top and bottom format.

체커 보드(checker board) 포맷(330)은 좌안 시점 영상(201)을 디스플레이하는 좌안 시점 영상 데이터(331)와 우안 시점 영상(202)을 디스플레이하는 우안 시점 영상 데이터(332)가 체스판 모양으로 시간적으로 번갈아 입력되는 포맷이다. 즉 체커 보드 포맷의 입체영상 프레임(330)에는 좌안 시점 영상(201)의 화소 데이터와 우안 시점 영상(202)의 화소 데이터가 체스판 모양으로 시간적으로 번갈아 배치된다.The checker board format 330 includes left eye view image data 331 for displaying the left eye view image 201 and right eye view image data 332 for displaying the right eye view image 202 in a chessboard- . &Lt; / RTI > That is, the pixel data of the left eye view image 201 and the pixel data of the right eye view image 202 are alternately arranged in a chessboard shape in a time-lapse manner in the three-dimensional image frame 330 of the checkerboard format.

프레임 시퀀셜(Frame sequential) 포맷(340)은 좌안 시점 영상(201)을 디스플레이하는 좌안 시점 영상 데이터(341) 및 우안 시점 영상(202)을 디스플레이하는 우안 시점 영상 데이터(342)가 시간차를 두어 입력되는 방식이다. 프레임 시퀀셜 포맷에서 하나의 좌안 시점 영상 프레임(341) 및 하나의 우안 시점 영상 프레임(342)이 하나의 독립된 영상 프레임으로 수신된다. 여기서 입체영상 프레임은 좌안 시점 영상 프레임(341) 및 우안 시점 영상 프레임(342)을 포함할 수 있다. The frame sequential format 340 includes a left eye view image data 341 for displaying the left eye view image 201 and a right eye view image data 342 for displaying the right eye view image 202 with a time difference Method. In the frame sequential format, one left eye view image frame 341 and one right eye view image frame 342 are received in one independent image frame. Herein, the stereoscopic image frame may include a left eye view image frame 341 and a right eye view image frame 342.

인터레이스드(Interlaced) 포맷에는 좌안 시점 영상(201)을 디스플레이하는 좌안 시점 영상 데이터(351)와 우안 시점 영상(202)을 디스플레이하는 우안 시점 영상 데이터(352)를 각각 수평 방향으로 1/2 서브 샘플링하고, 샘플링한 좌안 시점 영상 데이터(351)와 우안 시점 영상 데이터(352)가 라인마다 교대로 위치하는 포맷(350)이 있다. 또한 인터레이스드(Interlaced) 포맷에는 좌안 시점 영상 (201)을 디스플레이하는 좌안 시점 영상 데이터(356)와 우안 시점 영상(202)을 디스플레이하는 우안 시점 영상 데이터(357)를 각각 수직 방향으로 1/2 서브 샘플링하고, 샘플링한 좌안 시점 영상 데이터(356)와 우안 시점 영상 데이터(357)가 라인마다 교대로 위치하는 포맷(355)이 있다. 여기서 입체영상 프레임은 영상 프레임(350) 또는 영상 프레임(355)일 수 있다.In the interlaced format, the left eye view image data 351 for displaying the left eye view image 201 and the right eye view image data 352 for displaying the right eye view image 202 are respectively subjected to 1/2 sub-sampling And a format 350 in which sampled left eye view image data 351 and right eye view image data 352 are alternately located on a line basis. In the interlaced format, the left eye view image data 356 for displaying the left eye view image 201 and the right eye view image data 357 for displaying the right eye view image 202 are divided into 1/2 There is a format 355 in which sampled and sampled left eye view image data 356 and right eye view image data 357 are alternately located on a line basis. Here, the stereoscopic image frame may be an image frame 350 or an image frame 355.

도 4는 본 발명에 따른 입체영상의 멀티 비디오 스트림 포맷의 예들을 도시한 도면이다.4 is a diagram illustrating examples of a multi-video stream format of a stereoscopic image according to the present invention.

도 4를 참조하면, 멀티 비디오 스트림 포맷은 풀 좌/우(Full left/right)(410), 풀 좌/하프 우(Full left/Half right)(420) 및 2D 비디오/깊이(2D video/depth)를 포함할 수 있다.4, the multi-video stream format includes a full left / right 410, a full left / half right 420, and a 2D video / depth ).

풀 좌/우(410)는 좌안 시점 영상(411) 및 우안 시점 영상(415)을 각각 전송하는 멀티 비디오 스트림 포맷이다. 여기서 입체영상 프레임은 좌안 시점 영상 프레임(411) 및 우안 시점 영상 프레임(415)을 포함할 수 있다.The full left / right 410 is a multi-video stream format for transmitting the left eye view image 411 and the right eye view image 415, respectively. Here, the stereoscopic image frame may include a left eye view image frame 411 and a right eye view image frame 415.

풀 좌/하프 우(420)는 좌안 시점 영상(421)은 그대로 전송하고, 우안 시점 영상은 수직(422) 또는 수평(423) 방향으로 1/2 서브 샘플링하여 전송하는 멀티 비디오 스트림 포맷이다. 여기서 입체영상 프레임은 좌안 시점 영상 프레임(421) 및 우안 시점 영상 프레임(422)을 포함할 수 있고, 좌안 시점 영상 프레임(421) 및 우안 시점 영상 프레임(423)을 포함할 수 있다. The full left / right half 420 is a multi-video stream format in which the left eye view image 421 is transmitted as it is and the right eye view image is 1/2 sub-sampled in the vertical direction 422 or the horizontal direction 423. Here, the stereoscopic image frame may include a left eye view image frame 421 and a right eye view image frame 422, and may include a left eye view image frame 421 and a right eye view image frame 423. [

2D 비디오/깊이 포맷(430)은 하나의 시점 영상(431)과 다른 하나의 시점 영상을 만들어내기 위한 깊이 정보(435)를 함께 전송하는 멀티 비디오 스트림 포맷이다. 여기서 입체영상 프레임은 영상 프레임(431) 및 정보 데이터(435)를 포함할 수 있다.The 2D video / depth format 430 is a multi-video stream format for transmitting together one view image 431 and depth information 435 for generating another view image. Here, the stereoscopic image frame may include an image frame 431 and information data 435.

수신부(101)는 튜너부(110), 복조부(120), 이동통신부(115), 네트워크 인터페이스부(130) 및 외부 신호 수신부(130)를 포함할 수 있다.The receiving unit 101 may include a tuner unit 110, a demodulation unit 120, a mobile communication unit 115, a network interface unit 130, and an external signal receiving unit 130.

튜너부(110)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널에 해당하는 RF 방송 신호를 선택하고, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호로 변환한다.The tuner unit 110 selects an RF broadcast signal corresponding to a channel selected by a user from among RF (Radio Frequency) broadcast signals received through an antenna, converts the selected RF broadcast signal into an intermediate frequency signal, a baseband image, Conversion.

복조부(120)는 튜너부(110)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행한다. 일예로, 튜너부(110)에서 출력되는 디지털 IF 신호가 ATSC 방식인 경우에는, 복조부(120)는 8-VSB(8-Vestigial Side Band) 복조를 수행한다. 또 다른 예로, 튜너부(110)에서 출력되는 디지털 IF 신호가 DVB 방식인 경우, 복조부(120)는 COFDMA(Coded Orthogonal Frequency Division Modulation) 복조를 수행한다. The demodulator 120 receives the digital IF signal DIF converted by the tuner 110 and performs a demodulation operation. For example, when the digital IF signal output from the tuner unit 110 is the ATSC scheme, the demodulation unit 120 performs 8-VSB (8-Vestigial Side Band) demodulation. As another example, when the digital IF signal output from the tuner unit 110 is a DVB scheme, the demodulator 120 performs CODDMA (Coded Orthogonal Frequency Division Modulation) demodulation.

또한, 복조부(120)는 채널 복호화를 수행할 수도 있다. 이를 위해 복조부(120)는 트렐리스 디코더(Trellis Decoder), 디인터리버(De-interleaver), 및 리드 솔로먼 디코더(Reed Solomon Decoder) 등을 구비하여, 트렐리스 복호화, 디인터리빙, 및 리드 솔로먼 복호화를 수행할 수 있다.Also, the demodulation unit 120 may perform channel decoding. To this end, the demodulator 120 includes a trellis decoder, a de-interleaver, and a reed solomon decoder to perform trellis decoding, deinterleaving, Solomon decoding can be performed.

복조부(120)는 복조 및 채널 복호화를 수행한 후 스트림 신호(TS)를 출력할 수 있다. 이때 스트림 신호는 영상 신호, 음성 신호 또는 데이터 신호가 다중화된 신호일 수 있다. 또한 영상 신호는 입체영상 신호일 수 있고, 데이터 신호는 자막 데이터 신호를 포함할 수 있다. 일예로, 스트림 신호는 MPEG-2 규격의 영상 신호, 돌비(Dolby) AC-3 규격의 음성 신호 등이 다중화된 MPEG-2 TS(Transport Stream)일 수 있다. 구체적으로 MPEG-2 TS는, 4 바이트(byte)의 헤더와 184 바이트의 페이로드(payload)를 포함할 수 있다.The demodulation unit 120 may perform demodulation and channel decoding, and then output a stream signal TS. At this time, the stream signal may be a signal in which a video signal, a voice signal, or a data signal is multiplexed. Also, the video signal may be a stereoscopic video signal, and the data signal may include a caption data signal. For example, the stream signal may be an MPEG-2 TS (Transport Stream) multiplexed with an MPEG-2 standard video signal, a Dolby AC-3 standard audio signal, or the like. Specifically, the MPEG-2 TS may include a header of 4 bytes and a payload of 184 bytes.

복조부(120)에서 출력한 스트림 신호는 신호처리부(140)로 입력될 수 있다. The stream signal output from the demodulation unit 120 may be input to the signal processing unit 140.

이동통신부(115)는 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다. The mobile communication unit 115 transmits / receives a radio signal to / from at least one of a base station, an external terminal, and a server on a mobile communication network. The wireless signal may include various types of data depending on a voice call signal, a video call signal or a text / multimedia message transmission / reception.

외부 신호 수신부(135)는 외부 장치와 입체영상 디스플레이 장치(100)를 연결할 수 있는 인터페이스를 제공할 수 있다. 여기서 외부 장치는 DVD(Digital Versatile Disk), 블루레이(Bluray), 게임기기, 켐코더, 컴퓨터(노트북) 등 다양한 종류의 영상 또는 음성 출력 장치를 의미할 수 있고, USB 메모리 또는 USB 하드 디스크 등의 저장 장치일 수 있다. 입체영상 디스플레이 장치(100)는 외부 신호 수신부(135)로부터 수신된 영상 신호 및 음성 신호를 디스플레이할 수 있고, 데이터 신호를 저장하거나 사용할 수 있다. The external signal receiving unit 135 may provide an interface for connecting the external device to the stereoscopic image display device 100. The external device may refer to various types of video or audio output devices such as a DVD (Digital Versatile Disk), a Blu-ray, a game device, a camcorder, a computer (notebook) Device. The stereoscopic image display apparatus 100 can display a video signal and a voice signal received from the external signal receiving unit 135, and can store or use a data signal.

또한 외부 장치는 촬영 장치(90)일 수 있다. 촬영 장치(90)는 복수의 카메라를 포함할 수 있다. 촬영 장치(90)는 사람을 촬상할 수 있다. 촬영 장치(90)는 사람의 손 영역을 인식하여 손 영역에 초점을 맞추고, 줌인하여 촬상할 수 있다. 여기서 촬상된 손 모양은 공간 제스처로 인식될 수 있다. 즉 제어부(190)는 촬상된 손 모양을 공간 제스처로 인식하고 인식된 공간 제스처와 연관된 동작들을 수행하는 명령어들을 실행할 수 있다. 여기서 공간 제스처는 하나 이상의 특정의 컴퓨팅 동작에 매핑되는, 촬영 장치(90)로부터 수신되는 영상 프레임 또는 영상으로부터 인식되는 제스처로 정의될 수 있다. The external device may also be a photographing device 90. [ The photographing apparatus 90 may include a plurality of cameras. The photographing apparatus 90 can photograph a person. The photographing apparatus 90 recognizes a hand region of a person, focuses on the hand region, and can zoom in to pick up the image. The hand shape captured here can be recognized as a space gesture. That is, the control unit 190 can execute the instructions for recognizing the captured hand shape as a space gesture and performing operations associated with the recognized space gesture. Where a spatial gesture can be defined as a gesture recognized from an image frame or image received from the imaging device 90, which is mapped to one or more specific computing operations.

일부 실시예로, 입체영상 디스플레이 장치(100)는 촬영 장치(90)를 포함할 수 있다.In some embodiments, the stereoscopic image display device 100 may include a photographing device 90.

신호처리부(140)는 복조부(210)가 출력한 스트림 신호를 역다중화하고 역다중화된 신호에 신호 처리 등을 수행한 후, 디스플레이(150)로 영상(152)을 출력하고, 음성 출력부(160)로 음향(161)을 출력한다. 또한 신호 처리부(140)는 이동통신부(115), 네트워크 인터페이스부(130) 및 외부 신호 수신부(135)로부터 영상 데이터, 음성 데이터 및 정보 데이터를 수신할 수 있다. 여기서 정보 데이터는 자막 데이터 및 방송 데이터를 포함할 수 있다.The signal processing unit 140 demultiplexes the stream signal output from the demodulation unit 210 and performs signal processing on the demultiplexed signal and then outputs the image 152 to the display 150 and outputs the image 152 to the audio output unit 160 to output the sound 161. The signal processing unit 140 can receive video data, audio data, and information data from the mobile communication unit 115, the network interface unit 130, and the external signal receiving unit 135. Herein, the information data may include caption data and broadcast data.

신호 처리부(140)는 수신부(101)로부터 수신된 입체영상 데이터를 기초로 디스플레이(150)로 출력한 영상 프레임을 구성할 수 있다. 일부 실시예로, 신호 처리부(140)는 상기 입체영상 데이터를 기초로 복수의 영상 프레임을 생성할 수 있다. 즉 신호 처리부(140)는 상기 입체영상 데이터에 포함된 하나의 좌안 시점 영상 프레임 또는 하나의 우안 시점 영상 프레임을 이용하여 두개의 영상 프레임을 생성할 수 있다.The signal processing unit 140 may form an image frame output to the display 150 based on the stereoscopic image data received from the receiving unit 101. In some embodiments, the signal processing unit 140 may generate a plurality of image frames based on the stereoscopic image data. That is, the signal processing unit 140 can generate two image frames using one left eye view image frame or one right eye view image frame included in the stereoscopic image data.

신호 처리부(140)는 블랙 데이터를 이용하여 블랙 영상 프레임을 생성할 수 있다. 여기서 상기 블랙 데이터라 함은 본 발명과 관련하여, 입체영상을 구성하는 실제 영상 데이터와는 다른 데이터를 의미할 수 있다. 본 명세서에서는 이러한 데이터를 예를 들어, 크로스토크 현상을 줄이기 위한 목적을 지닌 데이터로 사용하는 것으로 이를 위해 블랙 데이터를 차용한다. 이러한 블랙 데이터는 입체영상 디스플레이 장치(100)에서 생성되거나 또는 송신기에서 전송되는 3D 이미지 신호에 포함되어 전송될 수도 있다.The signal processing unit 140 can generate a black image frame using black data. Here, the black data may refer to data different from the actual image data constituting the stereoscopic image in connection with the present invention. In this specification, for example, such data is used as data having a purpose of reducing the crosstalk phenomenon, and black data is borrowed for this purpose. The black data may be transmitted in the 3D image signal generated in the stereoscopic image display apparatus 100 or transmitted from the transmitter.

신호 처리부(140)는 생성한 블랙 영상 프레임을 좌안 시점 영상 프레임 및 우안 시점 영상 프레임 사이에 삽입할 수 있다. 또한 신호 처리부(140)는 좌안 시점 영상 프레임, 우안 시점 영상 프레임, 블랙 영상 프레임을 일정한 순서로 배열하고, 배열된 순서에 따라 영상 프레임들을 디스플레이(150)로 출력할 수 있다.The signal processing unit 140 may insert the generated black image frame between the left eye view image frame and the right eye view image frame. The signal processing unit 140 may arrange the left eye view image frame, the right eye view image frame, and the black image frame in a predetermined order, and output the image frames to the display 150 according to the arranged order.

신호 처리부(140)는 구성한 영상 프레임들을 디스플레이(150)로 출력할 수 있다. 여기서 상기 구성된 영상 프레임들은 좌안 시점 영상 프레임, 우안 시점 영상 프레임 및 블랙 영상 프레임일 수 있고 RGB 데이터 포맷으로 디스플레이(150)에 출력될 수 있다. 또한 신호 처리부(140)는 수직/수평 동기신호(Vsync,Hsync), 데이터 인에이블(Data Enable), 클럭신호(CLK), 타입 신호(Type)등의 타이밍신호를 생성하고, 디스플레이(150)로 출력할 수 있다.The signal processing unit 140 may output the configured image frames to the display 150. The image frames may be a left eye view image frame, a right eye view image frame, and a black image frame, and may be output to the display 150 in an RGB data format. The signal processing unit 140 generates timing signals such as the vertical / horizontal synchronizing signals Vsync and Hsync, the data enable signals, the clock signals CLK and the type signals, Can be output.

신호 처리부(140)는 자막 데이터를 이용하여 자막 이미지를 생성할 수 있다. 여기서 자막 이미지는 특정 깊이값을 갖는 입체 이미지로 생성될 수 있다. 상기 특정 깊이값은 정보 데이터에 포함된 것일 수 있고, 제어부(190)가 설정한 것일 수 있다. 상기 생성된 자막 이미지는 OSD(On Screen Display) 이미지로 디스플레이될 수 있고, 신호 처리부(140)에서 입체영상 프레임과 믹싱되어 디스플레이(150)로 출력될 수 있다.The signal processing unit 140 can generate the caption image using the caption data. Here, the subtitle image can be generated as a stereoscopic image having a specific depth value. The specific depth value may be included in the information data and may be set by the control unit 190. The generated subtitle image may be displayed as an OSD (On Screen Display) image, mixed with a stereoscopic image frame in the signal processing unit 140, and output to the display 150.

디스플레이(150)는 영상 데이터(RGB) 및 타이밍 신호를 신호 처리부(140)로부터 수신할 수 있다. 그리고 디스플레이(150)는 타이밍 신호를 기초로 영상 데이터(RGB)를 디스플레이할 수 있다. 여기서 디스플레이(150)는 셔터글라스 방식 또는 편광 방식(Patterned Retarder type)으로 입체영상을 디스플레이할 수 있다.The display 150 may receive the image data (RGB) and the timing signal from the signal processing unit 140. The display 150 may display the image data (RGB) based on the timing signal. Here, the display 150 may display a stereoscopic image using a shutter glass system or a polarized system (Patterned Retarder type).

또한, 디스플레이(150)는 제어부(190)와 연결되어 동작할 수 있다. 디스플레이(150)는 입체영상 디스플레이 장치의 사용자와 운영 체제 또는 운영 체제 상에서 실행 중인 애플리케이션 간의 사용하기 쉬운 인터페이스를 제공하는 그래픽 사용자 인터페이스(GUI)(153)를 디스플레이할 수 있다. GUI(153)는 프로그램, 파일, 및 동작 옵션들을 그래픽 이미지로 표현한다. 그래픽 이미지는 윈도우, 필드, 대화상자, 메뉴, 아이콘, 버튼, 커서 및 스크롤바 등을 포함할 수 있다. 이러한 이미지는 미리 정의된 레이아웃으로 정렬될 수 있거나, 사용자가 취하고 있는 특정의 조치를 돕기 위해 동적으로 생성될 수 있다. 동작 동안에, 사용자는 여러 가지 그래픽 이미지와 연관된 기능 및 작업을 제기하기 위해 그 이미지를 선택 및 활성화할 수 있다. 예로서, 사용자는 윈도우의 열기, 닫기, 최소화, 또는 최대화를 행하는 버튼, 또는 특정 프로그램을 가동시키는 아이콘을 선택할 수 있다.In addition, the display 150 may operate in conjunction with the control unit 190. [ Display 150 may display a graphical user interface (GUI) 153 that provides a user friendly interface between a user of the stereoscopic image display device and an application running on the operating system or operating system. The GUI 153 represents a program, a file, and operation options in the form of a graphic image. A graphical image may include a window, a field, a dialog box, a menu, an icon, a button, a cursor, a scroll bar, and the like. This image can be arranged in a predefined layout, or it can be dynamically created to help the user take the specific action taken. During operation, the user may select and activate the image to raise the functions and tasks associated with the various graphic images. By way of example, the user may select a button to open, close, minimize, or maximize a window, or an icon to activate a particular program.

음성 출력부(160)는 신호 처리부(140) 및 제어부(190)로부터 음성 데이터를 수신하고 수신한 음성 데이터가 재생된 음향(161)을 출력할 수 있다.The audio output unit 160 may receive the audio data from the signal processing unit 140 and the control unit 190 and may output the audio 161 on which the received audio data is reproduced.

입력장치(170)는 디스플레이(150) 상에 또는 그 전방에 배치되어 있는 터치 스크린 또는 터치패드일 수 있다. 터치 스크린은 디스플레이(150)와 일체로 되어 있거나 별개의 구성요소일 수 있다. 터치 스크린이 디스플레이(150)의 전방에 배치됨에 따라 사용자는 GUI(153)를 직접 조작할 수 있다. 예를 들어, 사용자는 단지 제어될 객체 상에 그의 손가락을 올려 놓을 수 있다. 터치패드에서는, 이것과 같은 일대일 관계가 없다.The input device 170 may be a touch screen or a touch pad disposed on or in front of the display 150. The touch screen may be integral with the display 150 or may be a separate component. As the touch screen is disposed in front of the display 150, the user can manipulate the GUI 153 directly. For example, a user may simply place his finger on an object to be controlled. On the touchpad, there is no one-to-one relationship like this.

터치패드는 디스플레이(150)로부터 떨어져 일반적으로 다른 평면에 놓여 있다. 예를 들어, 디스플레이(150)는 일반적으로 수직 평면에 위치해 있고, 터치패드는 일반적으로 수평 평면에 위치해 있다. 이것은 그의 사용을 덜 직관적이게 하며, 따라서 터치 스크린과 비교할 때 더 어렵다. 터치 스크린인 것에 부가하여, 입력장치(170)는 다중점 입력장치일 수 있다.The touchpad is generally separate from the display 150 and lies in a different plane. For example, the display 150 is generally located in a vertical plane, and the touchpad is generally located in a horizontal plane. This makes his use less intuitive and therefore more difficult when compared to the touch screen. In addition to being a touch screen, the input device 170 may be a multipoint input device.

저장부(180)는 일반적으로 입체영상 디스플레이 장치(100)에 의해 사용되는 프로그램 코드 및 데이터를 저장하는 장소를 제공한다. 또한 저장부(180)는 자막 재생 모드 정보를 저장할 수 있다. 여기서 자막 재생 모드 정보는 초기값으로 제공될 수 있고, 인식된 사용자 조치에 따라 설정 및 변경될 수 있다. 자막 재생 모드 정보는 자막 재생 모드를 지시하고, 자막 재생 모드는 고정 모드 및 동적 모드 중 하나일 수 있다. 동적 모드는 자막 이미지의 디스플레이 위치 및 깊이값을 조절하는 모드이고, 정적 모드는 상기 조절을 수행하지 않는 모드이다. 즉 정적 모드에서는 자막 이미지가 전송된 정보에 따라 디스플레이되거나 고정된 위치 및 깊이값으로 디스플레이된다.The storage unit 180 generally provides a place for storing the program codes and data used by the stereoscopic image display apparatus 100. [ Also, the storage unit 180 may store the subtitle reproduction mode information. Here, the subtitle playback mode information may be provided as an initial value, and may be set and changed according to the recognized user action. The subtitle reproduction mode information indicates a subtitle reproduction mode, and the subtitle reproduction mode can be one of a fixed mode and a dynamic mode. The dynamic mode is a mode for adjusting the display position and the depth value of the subtitle image, and the static mode is a mode for not performing the adjustment. That is, in the static mode, the subtitle image is displayed according to the transmitted information or displayed as a fixed position and depth value.

저장부(180)는 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 하드 디스크 드라이브 등으로 구현될 수 있다. 프로그램 코드 및 데이터는 분리형 저장 매체에 존재할 수 있고, 필요할 때, 입체영상 디스플레이 장치(100) 상으로 로드 또는 설치될 수 있다. 여기서 분리형 저장 매체는 CD-ROM, PC-CARD, 메모리 카드, 플로피 디스크, 자기 테이프, 및 네트워크 컴포넌트를 포함할 수 있다.The storage unit 180 may be implemented as a read-only memory (ROM), a random access memory (RAM), a hard disk drive, or the like. The program code and data may reside on a removable storage medium and may be loaded or installed onto the stereoscopic image display device 100 when needed. The removable storage medium may include a CD-ROM, a PC-CARD, a memory card, a floppy disk, a magnetic tape, and a network component.

제어부(190)는 명령어를 실행하고 입체영상 디스플레이 장치(100)와 연관된 동작을 수행한다. 예를 들면, 저장부(180)로부터 검색된 명령어를 사용하여, 제어부(190)는 입체영상 디스플레이 장치(100)의 컴포넌트들 간의 입력 및 출력, 데이터의 수신 및 처리를 제어할 수 있다. 제어부(190)는 단일 칩, 다수의 칩, 또는 다수의 전기 부품 상에 구현될 수 있다. 예를 들어, 전용 또는 임베디드 프로세서, 단일 목적 프로세서, 컨트롤러, ASIC, 기타 등등을 비롯하여 여러 가지 아키텍처가 제어부(190)에 대해 사용될 수 있다.The control unit 190 executes an instruction and performs an operation associated with the stereoscopic image display apparatus 100. [ For example, using the instruction retrieved from the storage unit 180, the control unit 190 can control input and output between the components of the stereoscopic image display apparatus 100, and reception and processing of data. The control unit 190 may be implemented on a single chip, a plurality of chips, or a plurality of electrical components. Various architectures may be used for the controller 190, including, for example, a dedicated or embedded processor, a single purpose processor, a controller, an ASIC,

제어부(190)는 운영 체제와 함께 컴퓨터 코드를 실행하고 데이터를 생성 및 사용하는 동작을 한다. 운영 체제는 일반적으로 공지되어 있으며 이에 대해 보다 상세히 기술하지 않는다. 예로서, 운영 체제는 Window 계열 OS, Unix, Linux, Palm OS, DOS, 안드로이드 및 매킨토시 등일 수 있다. 운영 체제, 다른 컴퓨터 코드 및 데이터는 제어부(190)와 연결되어 동작하는 저장부(180) 내에 존재할 수 있다.The control unit 190 executes the computer code together with the operating system and generates and uses data. The operating system is generally known and will not be described in more detail. By way of example, the operating system may be a Windows-based OS, Unix, Linux, Palm OS, DOS, Android and Macintosh. The operating system, other computer code, and data may reside within the storage 180 operating in conjunction with the controller 190.

제어부(190)는 사용자 조치(User Action)를 인식하고 인식한 사용자 조치에 기초하여 입체영상 디스플레이 장치(100)를 제어할 수 있다. 여기서 사용자 조치는 입체영상 디스플레이 장치 또는 리모컨의 물리적인 버튼의 선택, 터치 스크린 디스플레이면상의 소정의 제스처의 실시 또는 소프트 버튼의 선택 및 촬상 장치로 촬영된 영상으로부터 인식되는 소정의 제스처의 실시 및 음성 인식에 의해 인식되는 소정의 발성의 실시를 포함할 수 있다. 외부 신호 수신부(135)는 리모컨의 물리적인 버튼을 선택하는 사용자 조치에 대한 신호를 리모컨을 통해 수신할 수 있다.The control unit 190 recognizes a user action and can control the stereoscopic image display apparatus 100 based on the recognized user action. Wherein the user action includes selecting a physical button on the stereoscopic image display device or remote control, performing a predetermined gesture on the touch screen display surface or selecting a soft button, performing a predetermined gesture recognized from the image captured by the imaging device, And may include performing a predetermined utterance recognized by the user. The external signal receiving unit 135 can receive a signal for a user action for selecting a physical button of the remote control through a remote controller.

제스처는 터치 제스처와 공간 제스처를 포함할 수 있다. 터치 제스처는 하나 이상의 특정의 컴퓨팅 동작에 매핑되는, 입력장치(170)와의 양식화된 상호작용으로서 정의될 수 있다. 터치 제스처는 여러 가지 손을 통해, 보다 상세하게는 손가락 움직임을 통해 행해질 수 있다. 다른 대안으로서 또는 그에 부가하여, 제스처는 스타일러스로 행해질 수 있다.Gestures can include touch gestures and space gestures. The touch gesture can be defined as a stylized interaction with the input device 170, which is mapped to one or more specific computing operations. The touch gesture can be done through various hands, and more particularly through finger movements. Alternatively or additionally, the gesture can be done with a stylus.

입력장치(170)는 제스처(171)를 수신하고, 제어부(190)는 제스처(171)와 연관된 동작들을 수행하는 명령어들을 실행한다. 게다가, 저장부(180)는 운영 체제 또는 별도의 애플리케이션의 일부일 수 있는 제스처 작동 프로그램(181)을 포함할 수 있다. 제스처 작동 프로그램(181)은 일반적으로 제스처(171)의 발생을 인식하고 그 제스처(171) 및/또는 제스처(171)에 응답하여 무슨 조치(들)이 취해져야 하는지를 하나 이상의 소프트웨어 에이전트에게 알려주는 일련의 명령어를 포함한다.The input device 170 receives the gesture 171 and the control 190 executes the instructions that perform the actions associated with the gesture 171. In addition, the storage 180 may include a gesture operating program 181 that may be an operating system or part of a separate application. Gesture activation program 181 generally includes a series of instructions to recognize the occurrence of gestures 171 and to inform one or more software agents of what action (s) should be taken in response to gestures 171 and / or gestures 171 . &Lt; / RTI >

사용자가 하나 이상의 제스처를 행할 때, 입력장치(170)는 제스처 정보를 제어부(190)로 전달한다. 저장부(180)로부터의 명령어, 보다 상세하게는 제스처 작동 프로그램(181)을 사용하여, 제어부(190)는 제스처(171)를 해석하고 저장부(180), 디스플레이(150), 음성 출력부(160), 신호 처리부(140), 네트워크 인터페이스부(130) 및 입력장치(170) 등의 입체영상 디스플레이 장치(100)의 서로 다른 컴포넌트를 제어한다. 제스처(171)는 저장부(180)에 저장된 애플리케이션에서의 동작을 수행하고, 디스플레이(150) 상에 나타난 GUI 객체를 수정하며, 저장부(180)에 저장된 데이터를 수정하고, 네트워크 인터페이스부(130), 신호 처리부(140)에서의 동작을 수행하는 명령으로서 식별될 수 있다. 예로서, 이들 명령은 줌잉, 패닝, 스크롤링, 페이지 넘김, 회전, 크기조정, 영상 채널 변경, 컨텐츠 수신, 인터넷 접속 등과 연관되어 있을 수 있다. 추가의 예로서, 명령은 또한 특정의 프로그램을 기동시키는 것, 파일 또는 문서를 여는 것, 메뉴를 보는 것, 선택을 하는 것, 명령어를 실행하는 것, 인터넷 사이트 시스템에 로그온하는 것, 인가된 개인에게 컴퓨터 시스템의 제한된 영역에의 액세스를 허용하는 것, 바탕화면의 사용자 선호 배열과 연관된 사용자 프로파일을 로드하는 것, 및/또는 기타 등등과 연관되어 있을 수 있다.When the user performs one or more gestures, the input device 170 delivers the gesture information to the control unit 190. [ The control unit 190 analyzes the gesture 171 using the instruction from the storage unit 180 and more specifically the gesture operation program 181 and controls the storage unit 180, the display 150, the audio output unit The signal processing unit 140, the network interface unit 130 and the input device 170 of the stereoscopic image display device 100 according to an embodiment of the present invention. The gesture 171 performs operations in the application stored in the storage unit 180, modifies the GUI object displayed on the display 150, modifies the data stored in the storage unit 180, ), And can be identified as an instruction to perform an operation in the signal processing unit 140. [ By way of example, these commands may be associated with zooming, panning, scrolling, turning pages, rotating, resizing, changing video channels, receiving content, accessing the Internet, and so on. As a further example, the command may also be used to activate a particular program, to open a file or document, to view a menu, to make a selection, to execute a command, to log onto an Internet site system, Allowing access to a limited area of the computer system, loading a user profile associated with the user preference array of the desktop, and / or the like.

일부 실시예들에서, 손가락과 터치 스크린 디스플레이 간의 파라미터(예를 들어, 커패시턴스)의 크기에 따라, 이 파라미터가 미리 정해진 문턱값을 넘을 때, 다운 이벤트가 일어나고, 이 파라미터가 미리 정해진 문턱값을 넘고 있는 동안에 손가락의 대응하는 커서 위치가 위치 A로부터 위치 B로 이동할 때, 드래깅 이벤트가 일어나며, 이 파라미터가 문턱값 레벨 아래로 떨어질 때 업 이벤트가 일어난다.In some embodiments, depending on the magnitude of the parameter (e.g., capacitance) between the finger and the touch screen display, when the parameter exceeds a predetermined threshold, a down event occurs and the parameter exceeds a predetermined threshold A dragging event occurs when the corresponding cursor position of the finger moves from position A to position B and an up event occurs when this parameter falls below the threshold level.

제어부(190)는 자막 재생 모드를 결정 또는 확인할 수 있다. 일부 실시예로, 제어부(190)는 저장된 자막 재생 모드 정보를 기초로 자막 재생 모드를 확인할 수 있다. 일부 실시예로, 제어부(190)는 인식된 사용자 조치를 기초로 자막 재생 모드를 결정할 수 있다. 일부 실시예로, 제어부(190)는 정보 데이터에 포함된 방송 정보를 기초로 자막 재생 모드를 확인할 수 있다. 여기서 방송 정보는 수신된 영상의 장르 정보일 수 있다.The control unit 190 can determine or check the subtitle reproduction mode. In some embodiments, the control unit 190 can check the subtitle playback mode based on the stored subtitle playback mode information. In some embodiments, the control unit 190 can determine the subtitle playback mode based on the recognized user action. In some embodiments, the control unit 190 can check the subtitle playback mode based on the broadcast information included in the information data. Here, the broadcast information may be genre information of the received image.

자막 재생 모드가 동적 모드인 경우에는, 제어부(190)는 자막 위치를 선택하고, 자막 깊이값을 설정할 수 있다. 그리고 제어부(190)는 선택한 자막 위치 및 자막 깊이값에 따라 자막 이미지가 디스플레이되도록 신호 처리부(140) 및 디스플레이(150)를 제어할 수 있다. 여기서 자막 위치는 자막 이미지가 영상 프레임 상의 위치하게 되는 지점을 의미하고, 자막 깊이값은 자막 이미지의 깊이값을 의미한다.When the subtitle reproduction mode is the dynamic mode, the control unit 190 can select the subtitle position and set the subtitle depth value. The control unit 190 may control the signal processing unit 140 and the display 150 to display the subtitle image according to the selected subtitle position and subtitle depth value. Here, the caption position means a position where the caption image is located on the image frame, and the caption depth value means the depth value of the caption image.

도 5는 자막 위치를 선택하는 방법을 설명하기 위한 도면이다.5 is a diagram for explaining a method of selecting a caption position.

도 5를 참조하면, 자막 위치는 입체영상 프레임(500)에서 움직임이 많은 부분(510, 520) 중에서 설정될 수 있다. 여기서 자막 위치는 객체가 위치하는 영역(511, 521) 중에서 선택될 수 있다. 상기 객체는 사람, 동물, 기구 및 장치를 포함할 수 있다. 또한 자막 위치는 자막이 디스플레이될 영역의 중심점의 위치(513)일 수 있고, 자막이 디스플레이될 영역(515)일 수 있다.Referring to FIG. 5, the caption position may be set in the portions 510 and 520 where the motion of the stereoscopic image frame 500 is large. Here, the caption position may be selected from the areas 511 and 521 in which the object is located. The object may comprise a person, an animal, a device and an apparatus. Also, the caption position may be the position 513 of the center point of the area where the caption is to be displayed, and may be the area 515 where the caption is to be displayed.

도 6은 좌안 시점 영상 프레임 및 우안 시점 영상 프레임이 디스플레이된 화면을 도시한 도면이다.6 is a view showing a screen in which a left eye view image frame and a right eye view image frame are displayed.

도 6을 참조하면, 자막 위치는 입체영상 프레임을 구성하는 좌안 시점 영상 프레임(610) 및 우안 시점 영상 프레임(620) 중 적어도 하나를 이용하여 설정될 수 있다. 즉 자막 위치는 좌안 시점 영상 프레임(610)에서 움직임이 많은 부분을 추출하여 추출된 부분 중에서 설정될 수 있고, 우안 시점 영상 프레임(620)에서 움직임이 많은 부분을 추출하여 추출된 부분 중에서 설정될 수 있으며, 양 시점 영상 프레임(610, 620)에서 움직임이 많은 부분을 각각 추출하여 공통적으로 추출된 부분에서 설정될 수 있다. Referring to FIG. 6, the caption position may be set using at least one of a left eye view image frame 610 and a right eye view image frame 620 constituting a stereoscopic image frame. That is, the caption position can be set from among the extracted portions extracted from the left eye view image frame 610, and the left eye view image frame 620 can be set among the extracted portions And can be set in a commonly extracted part by extracting a lot of moving parts in both view-point image frames 610 and 620.

영상 프레임에서 움직임이 많은 부분은 움직임 벡터를 기초로 추출될 수 있고, 연속된 영상 프레임 사이의 픽셀 차이값을 기초로 산출될 수 있다. 또한 움직임이 많은 부분은 사전에 설정되는 시간 동안에 디스플레이되는 영상 프레임들을 이용하여 추출될 수 있다. 즉 움직임이 많은 부분은 상기 영상 프레임들을 기준으로 추출될 수 있다.A motion-rich portion of an image frame can be extracted based on a motion vector, and can be calculated based on a pixel difference value between consecutive image frames. In addition, motion-rich parts can be extracted using image frames displayed during a preset time. That is, a part having a lot of motion can be extracted based on the image frames.

일부 실시예로, 제어부(190)는 사전에 설정된 시간 동안에 디코딩된 입체영상 프레임들 중에서 적어도 하나의 입체영상 프레임을 선택하고, 선택된 입체영상 프레임 각각의 픽셀 차이값을 산출하고, 산출한 픽셀 차이값을 기초로 자막 위치를 선택할 수 있다. 사전에 설정된 시간은 자막 이미지가 디스플레이될 시간 및 하나의 장면(scene)을 구성하는 입체영상 프레임이 디코딩되는 시간 중 하나일 수 있다. 또한 제어부(190)는 픽셀 차이값이 산출될 입체영상 프레임을 사전에 설정된 시간 동안에 디코딩된 입체영상 프레임들 중에서 I-프레임(Intra-coded frame) 및 P-프레임(Predictive-coded frame)으로 선택할 수 있다.In some embodiments, the controller 190 may select at least one stereoscopic image frame among the decoded stereoscopic image frames for a preset time, calculate a pixel difference value of each of the selected stereoscopic image frames, The subtitle position can be selected based on the subtitle position. The preset time may be one of a time at which the subtitle image is to be displayed and a time at which the stereoscopic image frame constituting a scene is decoded. Also, the controller 190 may select a stereoscopic image frame to be calculated as an I-frame (intra-coded frame) and a P-frame (predictive-coded frame) from the decoded stereoscopic image frames for a preset time have.

픽셀 차이값은 픽셀 차이값이 산출될 영상 프레임(해당 영상 프레임)과 상기 영상 프레임 이전에 디스플레이될 영상 프레임간의 픽셀 차이값으로 산출될 수 있다. 또한 영상 프레임 마다 산출된 픽셀 차이값은 픽셀별로 누적될 수 있다. 그리고 제어부(190)는 누적된 값을 기초로 움직임이 많은 부분을 추출할 수 있고, 추출된 움직임 많은 부분 중에서 자막 위치를 선택할 수 있다. 일예로, 제어부(190)는 누적된 값이 가장 큰 부분을 자막 위치로 선택할 수 있다.The pixel difference value may be calculated as a pixel difference value between an image frame (corresponding image frame) in which a pixel difference value is to be calculated and an image frame to be displayed before the image frame. In addition, the pixel difference value calculated for each image frame can be accumulated for each pixel. Then, the controller 190 can extract a portion having a lot of motion based on the accumulated value, and can select a subtitle position from among the extracted motion-rich portions. For example, the control unit 190 can select the portion having the largest accumulated value as the caption position.

제어부(190)는 평균 깊이값 및 사전에 설정된 자막 깊이값 중 하나를 자막 깊이값으로 설정할 수 있다. 여기서 사전에 설정된 자막 깊이값은 정보 데이터에 포한된 것일 수 있고, 초기값으로 설정된 것일 수 있다.The control unit 190 may set one of the average depth value and the preset caption depth value as the caption depth value. The previously set subtitle depth value may be included in the information data and may be set to the initial value.

일부 실시예로, 제어부(190)는 장르를 기초로 평균 깊이값 및 사전에 설정된 자막 깊이값 중 하나를 자막 깊이값으로 설정할 수 있다. 디스플레이되는 입체영상의 장르가 뉴스인 경우에는, 제어부(190)는 사전에 설정된 자막 깊이값을 자막 깊이값으로 설정할 수 있고, 디스플레이되는 입체영상의 장르가 스포츠인 경우에는, 제어부(910)는 평균 깊이값을 자막 깊이값으로 설정할 수 있다.In some embodiments, the control unit 190 may set one of the average depth value and the preset caption depth value as the caption depth value based on the genre. If the genre of the displayed stereoscopic image is news, the control unit 190 can set the previously set subtitle depth value to the subtitle depth value. If the genre of the displayed stereoscopic image is sports, The depth value can be set to the subtitle depth value.

제어부(190)는 자막 위치가 산출된 입체영상 프레임을 이용하여 평균 깊이값을 산출할 수 있다. 즉 제어부(190)는 상기 입체영상 프레임들 상의 자막 위치에서의 깊이값을 산출할 수 있다. 그리고 제어부(190)는 산출된 깊이값들을 평균하여 평균 깊이값을 산출할 수 있다. 여기서 자막 위치에서의 깊이값은 좌안 시점 영상 프레임 및 우안 시점 영상 프레임 사이에 차이값을 기초로 산출할 수 있다.The controller 190 can calculate the average depth value using the stereoscopic image frame in which the caption position is calculated. That is, the controller 190 can calculate the depth value at the caption position on the stereoscopic image frames. The controller 190 can calculate the average depth value by averaging the calculated depth values. Here, the depth value at the caption position can be calculated based on the difference value between the left eye view image frame and the right eye view image frame.

제어부(190)는 자막 이미지가 설정한 자막 깊이값을 갖는 입체 이미지로 생성되도록 제어할 수 있다. 여기서 제어부(190)가 자막 이미지를 생성할 수 있고, 신호 처리부(140)가 자막 이미지를 생성할 수 있다.The controller 190 may control the subtitle image to be generated as a stereoscopic image having a set subtitle depth value. Here, the control unit 190 can generate the caption image, and the signal processing unit 140 can generate the caption image.

도 7은 자막 이미지를 입체 이미지로 생성하는 방법을 설명하기 위한 도면이다.7 is a diagram for explaining a method of generating a three-dimensional image of a subtitle image.

도 7을 참조하면, 도 7(a)는 입체영상의 자막 데이터(710)를 도시한 것이고, 도 7(b) 및 도 7(c)는 자막 데이터(710)를 입체 이미지로 구현한 것이다. 도 7(b)의 경우에는 자막 이미지를 구성하는 좌안 자막 이미지 데이터(721)와 우안 자막 이미지 데이터(722)의 간격이 좁은 경우이고, 도 7(c)의 경우에는 자막 이미지를 구성하는 좌안 자막 이미지 데이터(731)와 우안 자막 이미지 데이터(732)의 간격이 넓은 경우이다.Referring to FIG. 7, FIG. 7A illustrates the caption data 710 of the stereoscopic image, and FIGS. 7B and 7C embody the caption data 710 as a stereoscopic image. In the case of FIG. 7B, the interval between the left-eye caption image data 721 and the right-eye caption image data 722 constituting the caption image is narrow. In the case of FIG. 7C, And the interval between the image data 731 and the right eye caption image data 732 is wide.

따라서, 도 7(b)와 7(c)에서 각 시점 이미지 데이터의 간격에 따라 구현되는 자막 이미지(723, 733)는 전술한 도 2의 양안시차 원리에 근거하면 도 7(b)에서 생성된 자막 이미지(723)는 사람의 눈에서 먼 곳에 상이 맺혀 멀리 보이고, 도 7(c)에서 생성된 자막 이미지(733)는 사람의 눈에서 가까운 곳에 상이 맺혀 가까이 즉, 상대적으로 더 튀어 나와 보인다. 상술한 방법 즉, 자막 이미지를 구성하는 좌안 자막 이미지 데이터와 우안 자막 이미지 데이터의 간격을 조정함으로써 자막 이미지에 적절한 정도의 깊이(depth)를 줄 수 있어 자막 깊이값을 조절할 수 있다.Therefore, the caption images 723 and 733, which are implemented according to the intervals of the viewpoint image data in FIGS. 7 (b) and 7 (c), are generated based on the binocular disparity principle of FIG. The subtitle image 723 appears far away from the human eye and appears far away and the subtitle image 733 generated in FIG. 7C appears closer to the human eye, that is, closer to the viewer. In other words, by adjusting the interval between the left eye caption image data and the right eye caption image data constituting the caption image, a depth of an appropriate degree can be given to the caption image, so that the caption depth value can be adjusted.

제어부(190)는 자막 재생 모드를 설정하기 위한 그래픽 사용자 인터페이스(GUI: Graphical User Interface)를 요청하는 사용자 조치(User Action)를 감지할 수 있다. 상기 사용자 조치의 감지에 응답하여, 제어부(190)는 상기 그래픽 사용자 인터페이스(GUI: Graphical User Interface) 및 영상 데이터가 디스플레이되는 영역을 포함하는 화면을 디스플레이하기 위한 신호가 생성되도록 제어할 수 있다. 여기서 상기 영역에는 GUI상에서 입체영상 및 자막 이미지가 디스플레이될 수 있다.The control unit 190 may detect a user action requesting a graphical user interface (GUI) for setting a subtitle playback mode. In response to the detection of the user action, the controller 190 may control to generate a signal for displaying a screen including the graphical user interface (GUI) and the area where the image data is displayed. In this case, the stereoscopic image and the subtitle image can be displayed on the GUI.

제어부(190)는 신호 처리부(140) 및 디스플레이(150)로 하여금 상기 GUI를 통해 설정된 자막 재생 모드에 따라 상기 화면에 디스플레이되는 입체영상 및 자막 이미지를 처리 및 디스플레이하도록 제어할 수 있다.The control unit 190 may control the signal processing unit 140 and the display 150 to process and display stereoscopic images and subtitle images displayed on the screen according to the subtitle reproduction mode set through the GUI.

또한 제어부(190)는, 상기 GUI를 통해 설정된 자막 재생 모드를 지시하는 정보인 자막 재생 모드 정보가 저장부(190)에 저장되도록 제어할 수 있다.In addition, the control unit 190 may control the subtitle reproduction mode information, which is information indicating the subtitle reproduction mode set through the GUI, to be stored in the storage unit 190. [

도 8은 신호 처리부에 대한 바람직한 일실시예의 구성을 도시한 블록도이다.8 is a block diagram showing a configuration of a preferred embodiment of the signal processing unit.

도 8을 참조하면, 신호 처리부(140)는 역다중화부(810), 오디오 디코더(820), 자막 디코더(825), 비디오 디코더(830), 스케일러(840), 믹서(850), FRC(Frame Rate Converter)(860), 포맷터(870), 영상 인터페이스부(880) 및 OSD부(890)를 포함할 수 있다.8, the signal processing unit 140 includes a demultiplexing unit 810, an audio decoder 820, a subtitle decoder 825, a video decoder 830, a scaler 840, a mixer 850, a FRC Rate converter 860, a formatter 870, an image interface unit 880, and an OSD unit 890.

역다중화부(810)는 이동통신부(115), 네트워크 인터페이스부(130) 및 외부 신호 수신부(135)로부터 스트림 신호를 수신할 수 있고, 역다중화부(810)는 수신된 스트림 신호를 영상 데이터, 음성 데이터 및 정보 데이터로 역다중화하여 각각 비디오 디코더(830), 오디오 디코더(820) 및 제어부(190)로 출력할 수 있다.The demultiplexer 810 can receive a stream signal from the mobile communication unit 115, the network interface unit 130 and the external signal receiver 135. The demultiplexer 810 demultiplexes the received stream signal into video data, Demultiplexed into audio data and information data, and output to the video decoder 830, the audio decoder 820, and the control unit 190, respectively.

오디오 디코더(820)는 역다중화부(810)로부터 음성 데이터를 수신하고, 수신된 음성 데이터를 복원하여 복원된 데이터를 스케일러(840) 또는 음성 출력부(160)로 출력할 수 있다.The audio decoder 820 receives the voice data from the demultiplexing unit 810 and restores the received voice data to output the restored data to the scaler 840 or the voice output unit 160.

비디오 디코더(830)는 역다중화부(810)로부터 영상 데이터를 수신하고, 수신된 영상 데이터를 복원하고 복원한 영상 데이터를 스케일러(840)에 출력한다. 여기서 영상 데이터는 입체영상 데이터를 포함할 수 있다. 또한 비디오 디코더(830)는 복원한 영상 데이터를 저장부(180)에 저장할 수 있다. 저장부(180)는 복원된 영상 데이터에 대한 버퍼링 기능을 수행할 수 있다. 즉 제어부(190)는 저장부(180)가 사전에 설정된 시간 동안에 디코딩된 입체영상 프레임을 저장하도록 제어하고, FIFO(First In First Out) 방식으로 저장부(180)에 저장된 입체영상 프레임이 스케일러(840)로 출력되도록 제어할 수 있다. 상기 사전에 설정된 시간은 자막 이미지가 디스플레이될 시간 및 하나의 장면을 구성하는 입체영상 프레임이 디코딩되는 시간 중 하나를 기초로 설정될 수 있다.The video decoder 830 receives the video data from the demultiplexer 810, restores the received video data, and outputs the restored video data to the scaler 840. Here, the image data may include stereoscopic image data. In addition, the video decoder 830 may store the restored image data in the storage unit 180. The storage unit 180 may perform a buffering function for the restored image data. That is, the control unit 190 controls the storage unit 180 to store the decoded stereoscopic image frame for a preset time, and stores the stereoscopic image frame stored in the storage unit 180 in the FIFO (First In First Out) 840). The preset time may be set based on one of a time at which the subtitle image is displayed and a time at which the stereoscopic image frame constituting one scene is decoded.

자막 디코더(825)는 역다중화부(810) 또는 제어부(190)로부터 자막 데이터를 수신하고, 수신한 자막 데이터를 이용하여 자막 이미지를 생성할 수 있다. 자막 디코더(825)는 자막 이미지를 자막 깊이값을 갖는 입체 이미지로 생성할 수 있다. 일예로, 자막 디코더(825)는 자막 데이터를 이용하여 상기 입체 이미지를 디스플레이하기 위한 좌안 자막 이미지 및 우안 자막 이미지를 생성할 수 있다.The subtitle decoder 825 receives the subtitle data from the demultiplexer 810 or the control unit 190, and generates the subtitle image using the received subtitle data. The subtitle decoder 825 can generate a subtitle image as a stereoscopic image having a subtitle depth value. For example, the subtitle decoder 825 may generate a left-eye subtitle image and a right-eye subtitle image for displaying the stereoscopic image using the subtitle data.

스케일러(840)는 비디오 디코더(830), 저장부(180), 제어부(190) 및 오디오 디코더(820)에서 처리된 영상 데이터 및 음성 데이터를 디스플레이(150) 또는 스피커(미도시)를 통하여 출력하기 위한 적절한 크기의 신호로 크기 조절(스케일링: scaling)한다. 구체적으로, 스케일러(840)는 입체영상을 수신하여 디스플레이(150)의 해상도 또는 소정 화면비(aspect ratio)에 맞도록 스케일링(scaling)한다. 디스플레이(150)는 제품 사양 별로 소정 해상도, 예를 들어 720x480 포맷, 1024x768 포맷, 1280x720 포맷, 1280x768 포맷, 1280x800 포맷, 1920x540 포맷 및 1920x1080 포맷 등을 갖는 영상 화면을 출력하도록 제작될 수 있다. 그에 따라서, 스케일러(840)는 다양한 값으로 입력될 수 있는 입체영상의 해상도를 해당 디스플레이의 해상도에 맞춰 변환할 수 있다.The scaler 840 outputs video data and audio data processed by the video decoder 830, the storage unit 180, the control unit 190 and the audio decoder 820 through the display 150 or the speaker (not shown) (Scaling) to a signal of the appropriate size for the signal. Specifically, the scaler 840 receives the stereoscopic image and scales it to fit the resolution or the predetermined aspect ratio of the display 150. The display 150 may be manufactured to output an image screen having a predetermined resolution for each product specification, for example, 720x480 format, 1024x768 format, 1280x720 format, 1280x768 format, 1280x800 format, 1920x540 format and 1920x1080 format. Accordingly, the scaler 840 can convert the resolution of the stereoscopic image, which can be input with various values, according to the resolution of the display.

또한, 스케일러(840)는 디스플레이되는 컨텐츠의 종류 또는 사용자 설정 등에 따라서, 입체영상의 화면비(aspect ratio)를 조절하여 출력한다. 화면비 값은 16:9, 4:3, 또는 3:2 등의 값이 될 수 있으며, 스케일러(840)는 가로 방향의 화면 길이 비와 세로 방향의 화면 길이 비가 특정 비율이 되도록 조절할 수도 있다.In addition, the scaler 840 adjusts the aspect ratio of the stereoscopic image according to the type of content to be displayed or a user setting. The aspect ratio value may be a value such as 16: 9, 4: 3, or 3: 2, and the scaler 840 may adjust the screen aspect ratio in the horizontal direction and the aspect ratio in the vertical direction to be a specific ratio.

믹서(850)는 스케일러(840) 및 제어부(190)의 출력을 믹싱하여 출력한다.The mixer 850 mixes and outputs the outputs of the scaler 840 and the controller 190.

FRC(860)는 스케일러(840) 또는 믹서(850)가 출력한 영상 데이터를 디스플레이(150)의 수직 주파수에 대응되도록 처리한다. 예를 들어, 비디오 디코더(830)가 출력하는 영상 데이터의 수직 주파수가 60Hz이고, 디스플레이(150)의 수직 주파수가 120Hz 또는 240Hz라면, FRC(860)는 상기 영상 데이터(80Hz)를 디스플레이(150)의 수직 주파수인 120Hz 또는 240Hz에 대응되도록 기 정의된 방식으로 처리한다. 여기서, 상기 기 정의된 방식에는 예를 들어, 입력되는 영상 데이터를 템퍼럴 인터폴레이션(temporal interpolation) 하는 방법과 입력되는 영상 데이터에 포함된 영상 프레임을 단순 반복하는 방법이 있다. 전술한 각 방법은 입력되는 입체영상의 포맷에 따라 적절하게 선택되어 FRC(860)에서 수행될 수 있다.The FRC 860 processes the image data output from the scaler 840 or the mixer 850 so as to correspond to the vertical frequency of the display 150. [ For example, if the vertical frequency of the video data output by the video decoder 830 is 60 Hz and the vertical frequency of the display 150 is 120 Hz or 240 Hz, the FRC 860 outputs the video data (80 Hz) In a predetermined manner so as to correspond to the vertical frequency of 120 Hz or 240 Hz. Here, the predefined method includes, for example, a method of temporal interpolation of input image data and a method of simply repeating an image frame included in input image data. Each of the above-described methods can be appropriately selected according to the format of the stereoscopic image to be input and can be performed in the FRC 860.

이하에서는 설명의 편의를 위해 비디오 디코더(830)가 출력하는 영상 데이터의 수직 주파수는 60Hz이고, 디스플레이 수직 주파수를 240Hz로 하여 설명한다. 다만, 본 발명은 상기 주파수들에 한정되는 것은 아니다. 여기서 디스플레이 수직 주파수라 함은 포맷터(870)에서 구성된 영상 프레임을 디스플레이(150)에서 디스플레이 또는 출력하는 수직 주사주파수이다. 포맷터(870)는 디스플레이 수직 주파수를 지시하는 수직 동기신호(Vsync)를 디스플레이(150)로 출력할 수 있다. 또한 포맷터(870)는 상기 디스플레이 수직 주파수와 대응하는 동기신호(3D Sync)를 셔터 안경으로 전송하고, 상기 셔터 안경은 상기 동기신호(3D Sync)에 동기를 맞추어 셔터의 개폐를 조절할 수 있다.Hereinafter, for the convenience of description, the vertical frequency of the video data output from the video decoder 830 is 60 Hz, and the display vertical frequency is 240 Hz. However, the present invention is not limited to these frequencies. Herein, the display vertical frequency is a vertical scanning frequency for displaying or outputting the image frame configured in the formatter 870 on the display 150. [ The formatter 870 may output the vertical synchronization signal Vsync indicating the display vertical frequency to the display 150. [ In addition, the formatter 870 transmits the synchronization signal (3D Sync) corresponding to the display vertical frequency to the shutter glasses, and the shutter glasses can adjust the opening and closing of the shutter in synchronization with the synchronization signal (3D Sync).

상기 템퍼럴 인터폴레이션 방법은, 입력되는 60Hz의 영상 신호를 4등분(0, 0.25, 0.5, 0.75) 함으로써 240Hz의 영상 신호가 되도록 처리하는 방법이다. 그리고 상기 프레임을 단순 반복하는 방법은, 입력되는 60Hz의 영상 신호의 각 프레임을 4번 반복함으로써 각 프레임의 주파수가 240Hz가 되도록 처리한다.The temporal interpolation method is a method of processing a video signal of 60 Hz to be an image signal of 240 Hz by dividing the input video signal into four equal parts (0, 0.25, 0.5, 0.75). In the method of simply repeating the frame, each frame of the input video signal of 60 Hz is repeated four times so that the frequency of each frame becomes 240 Hz.

도 9는 FRC에서 입체영상 데이터의 처리 과정을 설명하기 위한 도면이다.9 is a diagram for explaining a processing procedure of stereoscopic image data in FRC.

도 9를 참조하면, 도 9(a)는 FRC(860)로 입력되는 특정 주파수(예를 들어, 60Hz)의 영상 데이터이고, 도 9(b)는 FRC(860)를 거쳐 디스플레이 수직 주파수(예를 들어, 240Hz)를 근거로 처리된 영상 데이터이다. 여기서 입체영상 데이터는 설명의 편의를 위해 탑/다운 방식의 영상 데이터를 일 예로 하여 설명하나 이에 한정되는 것은 아니며, 전술한 도 3 내지 4에 기술된 방식 모두에 적용 가능함을 미리 밝혀둔다.9 (a) is image data of a specific frequency (for example, 60 Hz) input to the FRC 860, and FIG. 9 (b) For example, 240 Hz). Here, the stereoscopic image data will be described by way of example of top / down image data for convenience of explanation, but it is not limited thereto, and it is disclosed in advance that the stereoscopic image data can be applied to all of the methods described in Figs.

도 9(a)를 참조하면, FRC(860)로 입력되는 60Hz의 탑/다운 방식의 영상 데이터는, 탑/다운으로 L1/R1, L2/R2, L3/R3, 및 L4/R4 4개의 프레임이 존재한다. 그리고 도 9(b)를 참조하면, 상기 탑/다운 방식의 영상 데이터는 FRC(860)에서 디스플레이 수직 주파수를 근거로 처리됨으로써, 240Hz의 탑/다운 방식의 영상 데이터가 된다. 즉, 도 9(b)에서는 각 L1/R1, L2/R2, L3/R3, 및 L4/R4 프레임이 4개씩 존재한다. 여기서, 상기 도 9(b)는 전술한 변환 방법들 중 어느 하나의 방법을 이용하더라도 동일하다.Referring to FIG. 9A, image data of a 60 Hz top / down system input to the FRC 860 is divided into four frames of L1 / R1, L2 / R2, L3 / Lt; / RTI > Referring to FIG. 9B, the image data of the top / down method is processed on the basis of the display vertical frequency in the FRC 860, so that image data of a top / down method of 240 Hz is obtained. That is, in FIG. 9 (b), there are four L1 / R1, L2 / R2, L3 / R3, and L4 / R4 frames. Here, FIG. 9 (b) is the same even if any one of the above-described conversion methods is used.

포맷터(870)는 입체영상을 구현하기 위하여 FRC(860)가 출력한 영상 데이터를 디스플레이(150)로 출력하고, 출력되는 입체영상 신호에 동기 신호(3D Sync)를 생성하여 안경(미도시)으로 전송할 수 있다. 포맷터(870)는 동기 신호의 전송을 위해 적외선 출력부(미도시) 또는 RF 모듈을 포함할 수 있다. 여기서, 동기 신호(3D Sync)는 입체영상 신호에 따른 좌안 시점 영상 또는 우안 시점 영상의 디스플레이 시점과 셔터 안경(미도시)의 좌안 렌즈 또는 우안 렌즈의 개폐 시점을 동기시키기 위한 신호이다.The formatter 870 outputs the image data output from the FRC 860 to the display 150 in order to realize a stereoscopic image and generates a synchronizing signal (3D Sync) to the stereoscopic image signal to be output, Lt; / RTI > The formatter 870 may include an infrared output unit (not shown) or an RF module for transmission of the synchronization signal. Here, the synchronizing signal (3D Sync) is a signal for synchronizing the display time of the left eye view image or the right eye view image according to the stereoscopic image signal with the opening / closing time of the left eye lens or the right eye lens of the shutter glasses (not shown).

포맷터(870)는 FRC(860)를 통해 디스플레이 수직 주파수에 대응되도록 처리된 입체영상 데이터를 이용하여, 디스플레이(150)가 디스플레이할 수 있는 포맷으로 영상 프레임을 구성할 수 있다. 또한, 포맷터(870)는 상기 구성된 영상 프레임 사이에 블랙 데이터(black data)를 포함하는 블랙 영상 프레임을 삽입할 수 있다. 본 명세서에서는 포맷터(870)에서 블랙 데이터를 처리하는 것으로 설명하나 이에 한정되는 것은 아니며 그 밖에 입체영상 디스플레이 장치(100) 내 다른 구성 예를 들어, 전단의 FRC(860) 등에서도 처리될 수 있다.The formatter 870 can construct an image frame in a format that can be displayed by the display 150 using the stereoscopic image data processed through the FRC 860 to correspond to the display vertical frequency. In addition, the formatter 870 may insert a black image frame including black data between the constructed image frames. In this specification, the formatter 870 processes the black data, but the present invention is not limited thereto. In addition, the FRC 860 of the previous stage may be processed in another configuration of the stereoscopic image display apparatus 100, for example.

일부 실시예로, 포맷터(870)는 블랙 데이터 및 하나의 입체영상 프레임을 형성하는 좌안 시점 영상 데이터 및 우안 시점 영상 데이터를 이용하여, 상기 좌안 시점 영상 데이터를 포함하는 좌안 시점 영상 프레임, 상기 블랙 데이터를 포함하는 제1 블랙 영상 프레임, 상기 우안 시점 영상 데이터를 포함하는 우안 시점 영상 프레임, 상기 블랙 데이터를 포함하는 제2 블랙 영상 프레임을 구성할 수 있다. 그리고 포맷터(870)는 상기 구성된 좌안 시점 영상 프레임, 상기 구성된 제1 블랙 영상 프레임, 상기 구성된 우안 시점 영상 프레임, 상기 구성된 제2 블랙 영상 프레임 순으로 영상 프레임들을 배열할 수 있다. 그리고 포맷터(870)는 배열 순서에 맞추어 상기 영상 프레임들을 영상 인터페이스부(880)로 출력할 수 있다. 여기서 포맷터(870)는 하나의 영상 프레임을 구성하고 구성한 영상 프레임을 배치한 후 다음 영상 프레임을 구성하고 배치할 수 있고, 상기 네 개의 영상 프레임들을 구성한 후에 상기 구성된 영상 프레임들의 배열할 수 있다.In some embodiments, the formatter 870 may use the left eye view image data and the right eye view image data that form the black data and one stereoscopic image frame, the left eye view image frame including the left eye view image data, A right eye view image frame including the right eye view image data, and a second black image frame including the black data. The formatter 870 may arrange the image frames in the order of the left eye view image frame, the first black image frame, the right eye view image frame, and the second black image frame. The formatter 870 may output the image frames to the image interface unit 880 according to the arrangement order. Here, the formatter 870 constitutes one video frame and arranges the composed video frames, and then composes and arranges the next video frames, and arranges the composed video frames after configuring the four video frames.

도 10은 포맷터에서 영상 프레임을 구성하는 과정을 설명하기 위한 도면이다.10 is a diagram for explaining a process of configuring an image frame in the formatter.

도 10을 참조하면, 포맷터(870)는 도 10에 도시된 탑/다운 방식의 입체영상 데이터를 L1BFR1BFL2BFR2BFL3BFR3BF와 같은 배열을 가지도록 구성할 수 있다. 여기서, BF는 블랙 데이터(Black Data)를 포함하는 블랙 영상 프레임을 표시한 것이다. 즉 포맷터(870)는 좌안 시점 영상 프레임 및 우안 시점 영상 프레임 사이에 블랙 영상 프레임을 삽입할 수 있다. 예를 들어, 포맷터(870)는 상기 도 9(a)에서 각 시점 영상 데이터 사이 즉, 시점 영상 프레임과 시점 영상 프레임 사이에 블랙 영상 프레임을 삽입하여 도 10과 같이 구성할 수 있다. 또한 포맷터(870)는 상기 도 9(b)에서 동일한 시점 영상 데이터가 포함된 연속하는 2개의 시점 영상 프레임 단위(L1L1)에서 어느 하나의 시점 영상 프레임을 블랙 영상 프레임으로 대체하여 도 10과 같이 구성할 수도 있다. 따라서, 도 10에서는 좌안 시점 영상 프레임과 우안 시점 영상 프레임 사이에 블랙 영상 프레임이 위치하여 크로스토크 현상을 방지할 수 있다. Referring to FIG. 10, the formatter 870 may configure the top / down stereoscopic image data shown in FIG. 10 to have the same arrangement as that of L1BFR1BFL2BFR2BFL3BFR3BF. Here, BF represents a black image frame including black data. That is, the formatter 870 may insert a black image frame between the left eye view image frame and the right eye view image frame. For example, the formatter 870 can be configured as shown in FIG. 10 by inserting a black image frame between each view-point image data in FIG. 9A, that is, between a view image frame and a view image frame. 9 (b), the formatter 870 replaces any one view image frame with a black image frame in two consecutive view image frame units L1L1 including the same view image data as shown in FIG. 9 (b) You may. Accordingly, in FIG. 10, a black image frame is positioned between the left eye view image frame and the right eye view image frame, thereby preventing a crosstalk phenomenon.

여기서, 상기 도 10의 배열 구성 방식은, L1BFR1BF…와 같이 매 프레임 사이에 블랙 영상 프레임을 위치시킴으로써, 본 발명에 따른 입체영상 디스플레이 장치(100)는 디스플레이(150)에서 입체영상 데이터를 디스플레이하는 주파수(예를 들어, 240Hz)보다 적은 셔터 오픈 주기(예를 들어, 120Hz)를 가진 셔터 안경으로도 입체영상을 시청할 수 있도록 하며, 크로스토크와 휘도 저하 등의 문제도 최소화할 수 있다.Here, the array configuration method of FIG. 10 includes: L1BFR1BF ... The stereoscopic image display apparatus 100 according to the present invention can display the stereoscopic image data at a shutter open period (for example, 240 Hz) lower than a frequency (for example, 240 Hz) For example, it is possible to view stereoscopic images even with shutter glasses having 120 Hz, and to minimize the problems such as crosstalk and luminance drop.

영상 인터페이스부(880)는 포맷터(870)가 출력한 좌안 시점 영상 프레임, 제1 블랙 영상 프레임, 우안 시점 영상 프레임 및 제2 블랙 영상 프레임을 디스플레이(150)로 출력할 수 있다. 여기서 영상 인터페이스부(880)는 LVDS 출력부(Low Voltage Differential Signaling Tx)일 수 있다.The image interface unit 880 may output the left eye view image frame, the first black image frame, the right eye view image frame, and the second black image frame output from the formatter 870 to the display 150. Here, the image interface unit 880 may be an LVDS output unit (Low Voltage Differential Signaling Tx).

FRC(860)와 포맷터(870)를 각각 다른 모듈로 구성되는 것을 예로 하여 설명하였으나, 다른 실시예로 수신 시스템에 따라서는 하나의 모듈로 구성할 수도 있다.Although the FRC 860 and the formatter 870 are configured as different modules, the FRC 860 and the formatter 870 may be configured as one module depending on the receiving system in another embodiment.

도 11은 본 발명에 따른 입체영상 자막 재생 방법에 대한 바람직한 일실시예의 수행과정을 도시한 흐름도이다.11 is a flowchart illustrating a method of performing a stereoscopic image caption reproducing method according to an exemplary embodiment of the present invention.

도 11을 참조하면, 비디오 디코더(830)는 입체영상 프레임을 디코딩한다(S100). 여기서 비디오 디코더(830)는 입체영상 프레임의 좌안 시점 영상 프레임 및 우안 시점 영상 프레임을 디코딩할 수 있다.Referring to FIG. 11, the video decoder 830 decodes a stereoscopic image frame (S100). Here, the video decoder 830 may decode the left view image frame and the right view image frame of the stereoscopic image frame.

저장부(180)는 디코딩된 입체영상 프레임을 저장한다(S105). 여기서 제어부(190)는 저장부(180)가 버퍼링 기능을 수행하도록 제어한다.The storage unit 180 stores the decoded stereoscopic image frame (S105). Here, the control unit 190 controls the storage unit 180 to perform the buffering function.

제어부(190)는 저장된 입체영상 프레임의 픽셀 차이값을 산출한다(S110). 여기서 단계 S110은 선택적으로 수행될 수 있다. 일예로, 단계 S110은 상기 저장된 입체영상 프레임이 I-프레임 또는 P-프레임일 때 수행될 수 있다. 또한 산출된 픽셀 차이값은 좌안 시점 영상 프레임과 상기 좌안 시점 영상 프레임 이전에 디스플레이될 좌안 시점 영상 프레임간의 픽셀 차이값일 수 있고, 우안 시점 영상 프레임과 우안 시점 영상 프레임 이전에 디스플레이될 우안 시점 영상 프레임간의 픽셀 차이값일 수 있으며, 상기 두 픽셀 차이값의 평균값일 수 있다. 일예로 픽셀 평균값은 도 5 및 도 6에서 전술된 방식으로 산출될 수 있다.The controller 190 calculates the pixel difference value of the stored stereoscopic image frame (S110). Here, step S110 may be selectively performed. For example, step S110 may be performed when the stored stereoscopic image frame is an I-frame or a P-frame. Also, the calculated pixel difference value may be a pixel difference value between the left eye view image frame and the left eye view image frame to be displayed before the left eye view image frame, and the right eye view image frame and the right eye view image frame displayed before the right eye view image frame Pixel difference value, and may be an average value of the two pixel difference values. For example, the pixel average value may be calculated in the manner described above with reference to FIGS. 5 and 6. FIG.

제어부(190)는 산출된 픽셀 차이값을 누적한다(S115). 여기서 제어부(190)는 픽셀별로 픽셀 차이값을 누적할 수 있다.The controller 190 accumulates the calculated pixel difference values (S115). Here, the controller 190 may accumulate the pixel difference value for each pixel.

제어부(190)는 사전에 설정이 경과되었는지 여부를 확인한다(S120). 여기서 사전에 설정된 시간은 자막 이미지가 디스플레이될 시간 및 하나의 장면을 구성하는 입체영상 프레임이 디코딩되는 시간 중 하나를 기초로 설정된 것일 수 있다.The control unit 190 confirms whether or not the setting has elapsed (S120). Here, the predetermined time may be set based on one of a time at which the subtitle image is displayed and a time at which the stereoscopic image frame constituting one scene is decoded.

상기 사전에 설정된 시간 내인 경우에는, 단계 S100이 수행된다.If it is within the preset time, step S100 is performed.

상기 사전에 설정된 시간이 경과한 경우에는, 제어부(190)는 누적된 픽셀 차이값을 기초로 자막 위치를 선택한다(S125). 일예로 자막 위치는 도 5 및 도 6에서 전술된 방식으로 산출될 수 있다. 또한 단계 S125 진행 중에 단계 S100은 병렬적으로 수행될 수 있다.If the preset time has elapsed, the controller 190 selects the subtitle position based on the accumulated pixel difference value (S125). For example, the caption position can be calculated in the manner described above in FIGS. 5 and 6. FIG. Also, step S100 may be performed in parallel during the process of step S125.

제어부(190)는 저장부(190)에 저장된 입체영상 프레임 중 하나를 액세스한다(S130). 여기서 제어부(190)는 단계 S110에서 픽셀 차이값을 산출한 입체영상 프레임을 액세스할 수 있다.The control unit 190 accesses one of the stereoscopic image frames stored in the storage unit 190 (S130). Here, the controller 190 may access the stereoscopic image frame in which the pixel difference value is calculated in step S110.

제어부(190)는 액세스한 입체영상 프레임내의 자막 위치에서의 깊이값을 산출한다(S135). 여기서 상기 자막 위치에서의 깊이값은 액세스한 입체영상 프레임에 포함된 좌안 시점 영상 프레임 및 우안 시점 영상 프레임 사이에 차이값을 기초로 산출할 수 있다.The control unit 190 calculates the depth value at the caption position in the accessed stereoscopic image frame (S135). Here, the depth value at the caption position can be calculated based on the difference value between the left eye view image frame and the right eye view image frame included in the accessed stereoscopic image frame.

제어부(190)는 산출한 깊이값을 누적한다(S140).The control unit 190 accumulates the calculated depth values (S140).

제어부(190)는 깊이값을 산출해야할 영상 프레임이 존재하는지 여부를 확인한다(S145). 여기서 일부 실시예로, 제어부(190)는 상기 사전에 설정된 시간 동안에 디코딩된 입체영상 프레임 중에 깊이값이 산출되지 않은 입체영상 프레임이 있는지 여부를 확인할 수 있다. 일부 실시예로, 제어부(190)는 단계 S110에서 픽셀 차이값이 산출된 입체영상 프레임 중에 깊이값이 산출되지 않은 입체영상 프레임이 있는지 여부를 확인할 수 있다.The controller 190 checks whether there is an image frame to calculate a depth value (S145). Here, in some embodiments, the controller 190 may determine whether there is a stereoscopic image frame in which the depth value is not calculated in the decoded stereoscopic image frame for the predetermined time. In some embodiments, the controller 190 can check whether a stereoscopic image frame in which the depth value is not calculated is present in the stereoscopic image frame in which the pixel difference value is calculated in step S110.

깊이값을 산출해야할 영상 프레임이 존재하는 경우에는, 제어부(190)는 단계 S130을 수행한다. 이때, 제어부(190)는 깊이값이 산출되지 않은 입체영상 프레임 중 하나를 액세스할 수 있다.If there is an image frame to calculate the depth value, the controller 190 performs step S130. At this time, the control unit 190 can access one of the three-dimensional image frames whose depth value is not calculated.

깊이값을 산출해야할 영상 프레임이 존재하지 않는 경우에는, 제어부(190)는 자막 깊이값을 설정한다(S150). 여기서 제어부(190)는 누적된 깊이값의 평균하여 평균 깊이값을 산출할 수 있다. 그리고 제어부(190)는 장르 및 자막 재생 모드 중 적어도 하나를 기초로 평균 깊이값 및 사전에 설정된 자막 깊이값 중 하나를 자막 깊이값으로 설정한다. 여기서 사전에 설정된 자막 깊이값은 정보 데이터에 포한된 것일 수 있고, 초기값으로 설정된 것일 수 있다.If there is no video frame to calculate the depth value, the controller 190 sets the subtitle depth value (S150). Here, the controller 190 may calculate an average depth value by averaging accumulated depth values. The control unit 190 sets one of the average depth value and the previously set subtitle depth value as the subtitle depth value based on at least one of the genre and the subtitle reproduction mode. The previously set subtitle depth value may be included in the information data and may be set to the initial value.

자막 디코더(825)는 자막 데이터를 이용하여 좌안 자막 이미지 및 우안 자막 이미지를 포함하는 자막 이미지를 생성한다(S155). 여기서 생성된 자막 이미지는 자막 깊이값을 갖는 입체 이미지이다. 일예로 자막 디코더(825)는 도 7에서 전술된 방식으로 상기 자막 이미지를 생성할 수 있다.The subtitle decoder 825 generates a subtitle image including the left-eye subtitle image and the right-eye subtitle image using the subtitle data (S155). The generated subtitle image is a stereoscopic image having a subtitle depth value. For example, the subtitle decoder 825 can generate the subtitle image in the manner described above with reference to FIG.

OSD부(890)는 자막 디코더(825)가 생성한 자막 이미지를 디스플레이하는 OSD 신호를 생성한다(S160).The OSD unit 890 generates an OSD signal for displaying the subtitle image generated by the subtitle decoder 825 (S160).

스케일러(840)는 저장부(180)에 저장된 입체영상 프레임을 디스플레이(150)를 통하여 출력하기 위한 적절한 크기로 스케일링한다(S165).The scaler 840 scales the stereoscopic image frame stored in the storage unit 180 to an appropriate size for output through the display 150 (S165).

FRC(860)는 스케일링된 입체영상 프레임을 포함하는 입체영상 데이터가 디스플레이 수직 주파수에 대응되도록 입체영상 데이터의 프레임 레이트를 변환한다(S170). 여기서 FRC(860)는 도 9에 도시된 방식으로 프레임 레이트를 변환할 수 있다.The FRC 860 converts the frame rate of the stereoscopic image data so that the stereoscopic image data including the scaled stereoscopic image frame corresponds to the display vertical frequency (S170). Here, the FRC 860 can convert the frame rate in the manner shown in FIG.

포맷터(870)는 변환된 영상 데이터를 이용하여 영상 프레임을 구성한다(S175). 여기서, 포맷터(870)는 도 10에 도시된 영상 프레임들의 순서로 영상 프레임을 구성할 수 있다. 또한 포맷터(870)는 수직/수평 동기신호(Vsync,Hsync), 데이터 인에이블(Data Enable), 클럭신호(CLK), 타입 신호(Type)등의 타이밍신호를 생성할 수 있다. 그리고 포맷터(870)는 구성한 영상 프레임, 생성한 타이밍신호를 영상 인터페이스부(880)를 통해 디스플레이(150)로 출력할 수 있다. 또한 포맷터(870)는 동기신호(3D Sync)를 셔터 안경으로 전송할 수 있다.The formatter 870 forms an image frame using the converted image data (S175). Here, the formatter 870 can construct an image frame in the order of the image frames shown in FIG. The formatter 870 can also generate timing signals such as a vertical / horizontal synchronizing signal (Vsync, Hsync), a data enable (Data enable), a clock signal (CLK), and a type signal (Type). The formatter 870 can output the formed image frame and the generated timing signal to the display 150 through the image interface unit 880. [ In addition, the formatter 870 can transmit the synchronizing signal (3D Sync) to the shutter glasses.

디스플레이(150)는 상기 타이밍신호에 따라 포맷터(870)가 구성한 영상 프레임 및 OSD부(890)가 생성한 OSD 신호를 디스플레이한다(S180). 여기서 좌안 자막 이미지를 포함하는 OSD 신호는 좌안 시점 영상 프레임이 디스플레이되는 시점에 디스플레이될 수 있고, 우안 자막 이미지를 포함하는 OSD 신호는 우안 시점 영상 프레임이 디스플레이되는 시점에 디스플레이될 수 있다.The display 150 displays the image frame formed by the formatter 870 and the OSD signal generated by the OSD unit 890 according to the timing signal (S180). Here, the OSD signal including the left eye caption image may be displayed at the time of displaying the left eye view image frame, and the OSD signal including the right eye caption image may be displayed at the time of displaying the right eye view image frame.

도 12는 신호 처리부에 대한 바람직한 다른 실시예의 구성을 도시한 블록도이다.12 is a block diagram showing a configuration of another preferred embodiment of the signal processing unit.

도 12를 참조하면, 신호 처리부(140)는 역다중화부(1210), 오디오 디코더(1220), 자막 디코더(1225), 비디오 디코더(1230), 스케일러(1240), 믹서(1250), FRC(Frame Rate Converter)(1260), 포맷터(1270) 및 영상 인터페이스부(1280)를 포함할 수 있다.12, the signal processing unit 140 includes a demultiplexing unit 1210, an audio decoder 1220, a subtitle decoder 1225, a video decoder 1230, a scaler 1240, a mixer 1250, a FRC Rate converter 1260, a formatter 1270, and an image interface unit 1280.

도 12의 역다중화부(1210), 오디오 디코더(1220), 자막 디코더(1225), 비디오 디코더(1230), 스케일러(1240), 믹서(1250), FRC(Frame Rate Converter)(1260), 포맷터(1270) 및 영상 인터페이스부(1280)는 각각 도 8의 역다중화부(810), 오디오 디코더(820), 자막 디코더(825), 비디오 디코더(830), 스케일러(840), 믹서(850), FRC(Frame Rate Converter)(860), 포맷터(870) 및 영상 인터페이스부(880)와 대응하고, 대응되는 내용은 도 8에서 전술된 내용을 준용하며, 이하 차이점에 대해서 설명한다.A demultiplexer 1210, an audio decoder 1220, a subtitle decoder 1225, a video decoder 1230, a scaler 1240, a mixer 1250, a frame rate converter (FRC) 1260, a formatter 1270 and the video interface unit 1280 are connected to the demultiplexer 810, the audio decoder 820, the subtitle decoder 825, the video decoder 830, the scaler 840, the mixer 850, the FRC (Frame Rate Converter) 860, the formatter 870, and the video interface unit 880, and the corresponding contents are the same as those described in FIG. 8, and the difference will be described below.

자막 디코더(1225)는 생성한 자막 이미지를 믹서(1250)로 출력한다.The subtitle decoder 1225 outputs the generated subtitle image to the mixer 1250.

믹서(1250)는 자막 디코더(1225)가 출력한 자막 이미지와 스케일러(1240)가 스케일링한 입체영상 프레임과 믹싱한다. 여기서 상기 입체영상 프레임은 자막 이미지와 함께 디스플레이될 입체영상 프레임일 수 있다. 또한 자막 이미지는 상기 입체영상 프레임 상의 자막 위치가 지시하는 위치에 믹싱될 수 있다. 즉 믹서(1250)는 상기 자막 이미지의 좌안 자막 이미지를 상기 입체영상 프레임의 좌안 시점 영상 프레임내의 상기 자막 위치에 믹싱하고, 상기 자막 이미지의 우안 자막 이미지를 상기 입체영상 프레임들의 우안 시점 영상 프레임내의 상기 자막 위치에 믹싱할 수 있다.The mixer 1250 mixes the subtitle image output by the subtitle decoder 1225 with a stereoscopic image frame scaled by the scaler 1240. Here, the stereoscopic image frame may be a stereoscopic image frame to be displayed together with a caption image. Also, the caption image may be mixed at a position indicated by the caption position on the stereoscopic image frame. That is, the mixer 1250 mixes the left-eye caption image of the caption image with the caption position in the left-eye view image frame of the stereoscopic image frame, and outputs the right-eye caption image of the caption image to the right- You can mix at the subtitle position.

믹서(1250)는 자막 이미지가 믹싱된 입체영상 프레임을 FRC(1260)로 출력한다. 그러면, FRC(1260)는 믹서(1250)가 출력한 입체영상 프레임을 디스플레이(150)의 수직 주파수에 대응되도록 처리할 수 있다.The mixer 1250 outputs the stereoscopic image frame mixed with the caption image to the FRC 1260. The FRC 1260 may process the stereoscopic image frame output by the mixer 1250 so as to correspond to the vertical frequency of the display 150. [

도 12의 신호 처리부(160)는 도 8의 신호 처리부(160)와 다르게 자막 이미지가 OSD 이미지로 디스플레이되도록 제어하지 않고, 입체영상 프레임과 믹싱된 자막 이미지가 디스플레이되도록 처리한다.The signal processing unit 160 of FIG. 12 processes the subtitle image mixed with the stereoscopic image frame so that the subtitle image is not displayed as an OSD image, unlike the signal processing unit 160 of FIG.

도 13은 본 발명에 따른 입체영상 자막 재생 방법에 대한 바람직한 다른 실시예의 수행과정을 도시한 흐름도이다.FIG. 13 is a flowchart illustrating a method of performing a stereoscopic image caption reproducing method according to another embodiment of the present invention.

도 13을 참조하면, 비디오 디코더(1230)는 입체영상 프레임을 디코딩한다(S200). 여기서 비디오 디코더(1230)는 입체영상 프레임의 좌안 시점 영상 프레임 및 우안 시점 영상 프레임을 디코딩할 수 있다.Referring to FIG. 13, the video decoder 1230 decodes a stereoscopic image frame (S200). Here, the video decoder 1230 may decode the left eye view image frame and the right eye view image frame of the stereoscopic image frame.

저장부(180)는 디코딩된 입체영상 프레임을 저장한다(S205). 여기서 제어부(190)는 저장부(180)가 버퍼링 기능을 수행하도록 제어한다.The storage unit 180 stores the decoded stereoscopic image frame (S205). Here, the control unit 190 controls the storage unit 180 to perform the buffering function.

제어부(190)는 저장된 입체영상 프레임의 픽셀 차이값을 산출한다(S210). 여기서 단계 S210은 선택적으로 수행될 수 있다. 일예로, 단계 S210은 상기 저장된 입체영상 프레임이 I-프레임 또는 P-프레임일 때 수행될 수 있다. 또한 산출된 픽셀 차이값은 좌안 시점 영상 프레임과 상기 좌안 시점 영상 프레임 이전에 디스플레이될 좌안 시점 영상 프레임간의 픽셀 차이값일 수 있고, 우안 시점 영상 프레임과 우안 시점 영상 프레임 이전에 디스플레이될 우안 시점 영상 프레임간의 픽셀 차이값일 수 있으며, 상기 두 픽셀 차이값의 평균값일 수 있다. 일예로 픽셀 평균값은 도 5 및 도 6에서 전술된 방식으로 산출될 수 있다.The control unit 190 calculates the pixel difference value of the stored stereoscopic image frame (S210). Here, step S210 may be performed selectively. For example, step S210 may be performed when the stored stereoscopic image frame is an I-frame or a P-frame. Also, the calculated pixel difference value may be a pixel difference value between the left eye view image frame and the left eye view image frame to be displayed before the left eye view image frame, and the right eye view image frame and the right eye view image frame displayed before the right eye view image frame Pixel difference value, and may be an average value of the two pixel difference values. For example, the pixel average value may be calculated in the manner described above with reference to FIGS. 5 and 6. FIG.

제어부(190)는 산출된 픽셀 차이값을 누적한다(S215). 여기서 제어부(190)는 픽셀별로 픽셀 차이값을 누적할 수 있다.The control unit 190 accumulates the calculated pixel difference values (S215). Here, the controller 190 may accumulate the pixel difference value for each pixel.

제어부(190)는 사전에 설정이 경과되었는지 여부를 확인한다(S220). 여기서 사전에 설정된 시간은 자막 이미지가 디스플레이될 시간 및 하나의 장면을 구성하는 입체영상 프레임이 디코딩되는 시간 중 하나를 기초로 설정된 것일 수 있다.The control unit 190 confirms whether or not the setting has elapsed (S220). Here, the predetermined time may be set based on one of a time at which the subtitle image is displayed and a time at which the stereoscopic image frame constituting one scene is decoded.

상기 사전에 설정된 시간 내인 경우에는, 단계 S200가 수행된다.If it is within the preset time, step S200 is performed.

상기 사전에 설정된 시간이 경과한 경우에는, 제어부(190)는 누적된 픽셀 차이값을 기초로 자막 위치를 선택한다(S225). 일예로 자막 위치는 도 5 및 도 6에서 전술된 방식으로 산출될 수 있다. 또한 단계 S225 진행 중에 단계 S200가 병렬적으로 수행될 수 있다.If the preset time has elapsed, the controller 190 selects a subtitle position based on the accumulated pixel difference value (S225). For example, the caption position can be calculated in the manner described above in FIGS. 5 and 6. FIG. Also, step S225 may be performed in parallel while the step S225 is in progress.

제어부(190)는 저장부(190)에 저장된 입체영상 프레임 중 하나를 액세스한다(S230). 여기서 제어부(190)는 단계 S210에서 픽셀 차이값을 산출한 입체영상 프레임을 액세스할 수 있다.The control unit 190 accesses one of the stereoscopic image frames stored in the storage unit 190 (S230). Here, the controller 190 may access the stereoscopic image frame calculated in step S210.

제어부(190)는 액세스한 입체영상 프레임내의 자막 위치에서의 깊이값을 산출한다(S235). 여기서 자막 위치에서의 깊이값은 액세스한 입체영상 프레임에 포함된 좌안 시점 영상 프레임 및 우안 시점 영상 프레임 사이에 차이값을 기초로 산출할 수 있다.The control unit 190 calculates the depth value at the caption position in the accessed stereoscopic image frame (S235). Here, the depth value at the caption position can be calculated based on the difference value between the left eye view image frame and the right eye view image frame included in the accessed stereoscopic image frame.

제어부(190)는 산출한 깊이값을 누적한다(S240).The control unit 190 accumulates the calculated depth values (S240).

제어부(190)는 깊이값을 산출해야할 영상 프레임이 존재하는지 여부를 확인한다(S245). 여기서 일부 실시예로, 제어부(190)는 상기 사전에 설정된 시간 동안에 디코딩된 입체영상 프레임 중에 깊이값이 산출되지 않은 입체영상 프레임이 있는지 여부를 확인할 수 있다. 일부 실시예로, 제어부(190)는 단계 S210에서 픽셀 차이값이 산출된 입체영상 프레임 중에 깊이값이 산출되지 않은 입체영상 프레임이 있는지 여부를 확인할 수 있다.The control unit 190 determines whether there is an image frame to calculate the depth value (S245). Here, in some embodiments, the controller 190 may determine whether there is a stereoscopic image frame in which the depth value is not calculated in the decoded stereoscopic image frame for the predetermined time. In some embodiments, the controller 190 can check whether a stereoscopic image frame in which the depth value is not calculated is present in the stereoscopic image frame in which the pixel difference value is calculated in step S210.

깊이값을 산출해야할 영상 프레임이 존재하는 경우에는, 제어부(190)는 단계 S230을 수행한다. 이때, 제어부(190)는 깊이값이 산출되지 않은 입체영상 프레임 중 하나를 액세스한다.If there is an image frame to calculate the depth value, the controller 190 performs step S230. At this time, the controller 190 accesses one of the three-dimensional image frames for which the depth value is not calculated.

깊이값을 산출해야할 영상 프레임이 존재하지 않는 경우에는, 제어부(190)는 자막 깊이값을 설정한다(S250). 여기서 제어부(190)는 누적된 깊이값의 평균하여 평균 깊이값을 산출할 수 있다. 그리고 제어부(190)는 장르 및 자막 재생 모드 중 적어도 하나를 기초로 평균 깊이값 및 사전에 설정된 자막 깊이값 중 하나를 자막 깊이값으로 설정한다. 여기서 사전에 설정된 자막 깊이값은 정보 데이터에 포한된 것일 수 있고, 초기값으로 설정된 것일 수 있다.If there is no video frame to calculate the depth value, the control unit 190 sets a subtitle depth value (S250). Here, the controller 190 may calculate an average depth value by averaging accumulated depth values. The control unit 190 sets one of the average depth value and the previously set subtitle depth value as the subtitle depth value based on at least one of the genre and the subtitle reproduction mode. The previously set subtitle depth value may be included in the information data and may be set to the initial value.

자막 디코더(1225)는 자막 데이터를 이용하여 좌안 자막 이미지 및 우안 자막 이미지를 포함하는 자막 이미지를 생성한다(S255). 여기서 생성된 자막 이미지는 자막 깊이값을 갖는 입체 이미지이다. 일예로, 자막 디코더(1225)는 도 7에 전술된 방식으로 상기 자막 이미지를 생성할 수 있다.The subtitle decoder 1225 generates a subtitle image including the left-eye subtitle image and the right-eye subtitle image using the subtitle data (S255). The generated subtitle image is a stereoscopic image having a subtitle depth value. For example, the subtitle decoder 1225 can generate the subtitle image in the manner described above with reference to FIG.

스케일러(1240)는 저장부(180)에 저장된 입체영상 프레임을 디스플레이(150)를 통하여 출력하기 위한 적절한 크기로 스케일링한다(S260).The scaler 1240 scales the stereoscopic image frame stored in the storage unit 180 to an appropriate size for output through the display 150 (S260).

믹서(1250)는 자막 디코더(1225)가 생성한 자막 이미지와 스케일러(1240)가 출력한 입체영상 프레임을 믹싱한다(S265). 여기서 상기 입체영상 프레임은 자막 이미지와 함께 디스플레이될 입체영상 프레임일 수 있다. 또한 자막 이미지는 상기 입체영상 프레임 상의 자막 위치가 지시하는 위치에 믹싱될 수 있다. 즉 믹서(1250)는 상기 자막 이미지의 좌안 자막 이미지를 상기 입체영상 프레임의 좌안 시점 영상 프레임내의 상기 자막 위치에 믹싱하고, 상기 자막 이미지의 우안 자막 이미지를 상기 입체영상 프레임들의 우안 시점 영상 프레임내의 상기 자막 위치에 믹싱할 수 있다.The mixer 1250 mixes the subtitle image generated by the subtitle decoder 1225 and the stereoscopic image frame output by the scaler 1240 (S265). Here, the stereoscopic image frame may be a stereoscopic image frame to be displayed together with a caption image. Also, the caption image may be mixed at a position indicated by the caption position on the stereoscopic image frame. That is, the mixer 1250 mixes the left-eye caption image of the caption image with the caption position in the left-eye view image frame of the stereoscopic image frame, and outputs the right-eye caption image of the caption image to the right- You can mix at the subtitle position.

FRC(1260)는 믹싱된 입체영상 프레임을 포함하는 입체영상 데이터가 디스플레이 수직 주파수에 대응되도록 입체영상 데이터의 프레임 레이트를 변환한다(S270). 여기서 FRC(1260)는 도 9에 도시된 방식으로 프레임 레이트를 변환할 수 있다.The FRC 1260 converts the frame rate of the stereoscopic image data so that the stereoscopic image data including the mixed stereoscopic image frame corresponds to the display vertical frequency (S270). Here, the FRC 1260 can convert the frame rate in the manner shown in FIG.

포맷터(1270)는 변환된 영상 데이터를 이용하여 영상 프레임을 구성한다(S275). 여기서, 포맷터(1270)는 도 10에 도시된 영상 프레임들의 순서로 영상 프레임을 구성할 수 있다. 또한 포맷터(1270)는 수직/수평 동기신호(Vsync,Hsync), 데이터 인에이블(Data Enable), 클럭신호(CLK), 타입 신호(Type)등의 타이밍신호를 생성할 수 있다. 그리고 포맷터(1270)는 구성한 영상 프레임, 생성한 타이밍신호를 영상 인터페이스부(1280)를 통해 디스플레이(150)로 출력할 수 있다. 또한 포맷터(1270)는 동기신호(3D Sync)를 셔터 안경으로 전송할 수 있다.The formatter 1270 forms an image frame using the converted image data (S275). Here, the formatter 1270 may construct an image frame in the order of the image frames shown in FIG. The formatter 1270 can also generate timing signals such as vertical / horizontal synchronizing signals (Vsync, Hsync), data enable (Data enable), clock signals (CLK), and type signals (Type). The formatter 1270 can output the constructed image frame and the generated timing signal to the display 150 through the image interface unit 1280. In addition, the formatter 1270 can transmit the synchronizing signal (3D Sync) to the shutter glasses.

디스플레이(150)는 상기 타이밍신호에 따라 포맷터(1270)가 구성한 영상 프레임을 디스플레이한다(S280). 여기서 좌안 자막 이미지를 포함하는 좌안 시점 영상 프레임이 디스플레이될 수 있고, 우안 자막 이미지를 포함하는 우안 시점 영상 프레임이 디스플레이될 수 있다.The display 150 displays the image frame formed by the formatter 1270 according to the timing signal (S280). Here, the left eye view image frame including the left eye caption image may be displayed, and the right eye view image frame including the right eye caption image may be displayed.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 장치에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can also be embodied as computer-readable codes on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer apparatus is stored. Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and may be implemented in the form of a carrier wave (for example, transmission via the Internet) . The computer-readable recording medium may also be distributed to networked computer devices so that computer readable code can be stored and executed in a distributed manner.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken by way of limitation in the embodiment in which said invention is directed. It will be understood by those skilled in the art that various changes in form and detail may be made therein without departing from the scope of the appended claims.

Claims

delete

A video decoder for decoding a stereoscopic image frame;
A pixel difference value of at least one of the three-dimensional image frames decoded during a preset time is calculated using the corresponding three-dimensional image frame and a stereoscopic image frame to be displayed before the corresponding stereoscopic image frame, Selecting a caption position of the decoded stereoscopic image frames based on the difference values, calculating a depth value at the selected caption position for each of the at least one stereoscopic image frame, and using the calculated at least one depth value A control unit for setting a subtitle depth value; And
And a display for displaying a caption image having the set caption depth value at the selected caption position,
Wherein,
Eye image frame and the right-eye view image frame of the decoded stereoscopic image frame are stored, and if the stored left-eye view image frame and the left-eye view image frame are not stored in the preset time, A pixel difference value between a left eye view image frame to be displayed before the stored left eye view image frame and a pixel difference value between the stored right eye view image frame and a stored right eye view image frame to be displayed before the stored right eye view image frame is calculated Accumulating the calculated pixel difference value for each pixel, selecting the caption position based on the accumulated pixel difference value,
And a black image frame including black data is inserted between the left eye view image frame and the right eye view image frame.

delete

12. The method of claim 11,
Wherein the predetermined time is set based on one of a time at which a caption image is displayed and a time at which a stereoscopic image frame composing one scene is decoded.

12. The method of claim 11,
Wherein the at least one stereoscopic image frame is at least one of an I-frame (Intra-coded frame) and a P-frame (Predictive-coded frame).

12. The method of claim 11,
Wherein,
Selecting one of the at least one stereoscopic image frame, calculating a difference value between the left eye view image frame and the right eye view image frame of the selected stereoscopic image frame at the selected caption position, And calculates a depth value of the three-dimensional image.

12. The method of claim 11,
Wherein,
Calculating an average depth value of the calculated at least one depth value and setting one of the calculated average depth value and a previously set subtitle depth value as the subtitle depth value based on at least one of a genre and a subtitle reproduction mode Wherein the stereoscopic image display device is a stereoscopic image display device.

12. The method of claim 11,
And a subtitle decoder for generating a left-eye subtitle image and a right-eye subtitle image of the subtitle image having the set subtitle depth value using the subtitle data.

18. The method of claim 17,
Mixing the generated left eye caption image with the caption position in the left eye view image frame of the decoded stereoscopic image frames and mixing the generated right eye caption image with the caption position in the right eye view image frame of the decoded stereoscopic image frames The stereoscopic image display device further comprising a mixer for performing stereoscopic image display.

18. The method of claim 17,
And an OSD unit for controlling the display of the left-eye subtitle image and the right-eye subtitle image as OSD (On Screen Display) images.

12. The method of claim 11,
Wherein,
Wherein the caption position is selected from an area where the object is located, and the object includes at least one of a person, an animal, a device, and an apparatus.