KR20110126101A

KR20110126101A - 방송 수신기 및 3ｄ 비디오 데이터 처리 방법

Info

Publication number: KR20110126101A
Application number: KR1020117014988A
Authority: KR
Inventors: 서종열; 양정휴
Original assignee: 엘지전자 주식회사
Priority date: 2009-02-01
Filing date: 2009-12-01
Publication date: 2011-11-22
Also published as: CN104301705A; CN104301705B; CN102388620A; US20110273530A1; EP2384585A4; US8803945B2; CA2749583A1; CA2749583C; EP2384585A2; WO2010087575A2; WO2010087575A3; US9756309B2; US20140340493A1; KR101623020B1; CN102388620B

Abstract

방송 수신기 및 방송 수신기의 3D 비디오 데이터 처리방법이 개시된다. 본 발명에 따른 방송 수신기의 3D 비디오 데이터 처리 방법은, 3D 비디오 데이터를 포함하는 방송 신호를 수신하는 단계; 상기 방송 신호로부터 상기 3D 비디오 데이터에 대한 디스플레이 컨디션 정보(display condition information)를 추출하는 단계; 및 상기 추출된 디스플레이 컨디션 정보(display condition information)를 사용하여 상기 3D 비디오 데이터의 출력을 제어하는 단계를 포함한다.

Description

방송 수신기 및 3Ｄ 비디오 데이터 처리 방법{BROADCAST RECEIVER AND 3D VIDEO DATA PROCESSING METHOD}

본 발명은 방송 수신기 및 그의 3D 비디오 데이터 처리 방법에 관한 것으로, 더욱 상세하게는 수신된 3D 비디오 데이터를 3D 비디오 디스플레이 디바이스의 디스플레이 조건에 따라 처리하는 방송 수신기 및 그의 3D 비디오 데이터 처리 방법에 관한 것이다.

일반적으로 3D(3 dimensions) 영상(또는 입체 영상)은 두 눈의 스테레오(stereo) 시각 원리를 이용하여 입체감을 제공한다. 인간은 두 눈의 시차, 다시 말해 약 65mm 정도 떨어진 두 눈 사이의 간격에 의한 양안 시차(binocular parallax)를 통해 원근감을 느끼므로, 3D 영상은 좌안과 우안 각각이 연관된 평면 영상을 보도록 영상을 제공하여 입체감과 원근감을 제공할 수 있다.

이러한 3D 영상 디스플레이 방법에는 스테레오스코픽(stereoscopic) 방식, 부피표현(volumetric) 방식, 홀로그래픽(holographic) 방식 등이 있다. 스테레오스코픽 방식의 경우, 좌안에서 시청되기 위한 left view image와 우안에서 시청되기 위한 right view image를 제공하여, 편광 안경 또는 디스플레이 장비 자체를 통해 좌안과 우안이 각각 left view image와 right view image를 시청함으로써 3D 영상 효과를 인지할 수 있도록 한다.

본 발명이 이루고자 하는 기술적 과제는 방송 수신기에서 3D 영상(image) 제작시 의도된 효과를 갖도록 수신된 3D 비디오 데이터를 처리하여 디스플레이함으로써 사용자에게 더욱 효율적이고 편리한 방송 환경을 제공하는데 있다.

전술한 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예예 따른 방송 수신기의 3D 비디오 데이터 처리 방법은 3D 비디오 데이터를 포함하는 방송 신호를 수신하는 단계; 상기 방송 신호로부터 상기 3D 비디오 데이터에 대한 디스플레이 컨디션 정보(display condition information)를 추출하는 단계; 및 상기 추출된 디스플레이 컨디션 정보(display condition information)를 사용하여 상기 3D 비디오 데이터의 출력을 제어하는 단계를 포함한다.

또한, 본 발명의 다른 일 실시예에 따른 방송 수신기는, 3D 비디오 데이터를 포함하는 방송 신호를 수신하는 수신부, 상기 방송 신호로부터 상기 3D 비디오 데이터에 대한 디스플레이 컨디션 정보(display condition information)를 추출하는 디스플레이 컨디션 정보 추출부, 및 상기 추출된 디스플레이 컨디션 정보(display condition information)를 사용하여 상기 3D 비디오 데이터의 출력을 제어하는 3D video processor를 포함한다.

본 발명에 따르면, 방송 수신기는 수신된 3D 비디오 데이터의 시청 조건에 대한 정보를 통해 제작시 의도된 3D 효과를 갖도록 디스플레이 출력을 제어할 수 있다.

또한, 본 발명에 따르면 방송 수신기는 3D 비디오 데이터의 시청 조건에 대한 정보를 통해 디스플레이 출력을 제어함으로써 상이한 조건의 디스플레이 디바이스의 경우에도 제작시 의도된 조건대로 3D 비디오 데이터를 디스플레이를 할 수 있다.

또한, 본 발명에 따르면 방송 수신기는 3D 비디오 데이터의 시청 조건에 대한 정보를 통해 디스플레이 출력을 제어함으로써 사용자에게 효율적이고 편리한 방송 환경을 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 viewing geometry parameter information를 SEI message에 포함시켜 전송하는 경우의 신택스 구조(syntax structure)를 도시한 도면이다.
도 2는 본 발명의 다양한 실시예예 따른 viewing geometry parameter information을 구현한 신택스 구조들을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 TVCT 및 PMT를 통해 전송되는 viewing geometry parameter descriptor의 syntax structure를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 viewing geometry parameter information에 대한 table sectioin의 syntax structure를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 viewing geometry parameter descriptor를 포함하는 TVCT의 syntax structure를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 viewing geometry parameter descriptor를 포함하는 PMT의 syntax structure를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 viewing geometry parameter information이 SEI message에 포함된 video ES를 수신한 방송 수신기의 3D 비디오 데이터 처리 방법을 도시한 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 viewing geometry parameter information이 TVCT 및 PMT에 포함된 방송 신호를 수신한 방송 수신기의 3D 비디오 데이터 처리 방법을 도시한 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 viewing geometry parameter information을 사용하여 3D 비디오 데이터를 처리하는 방송 수신기를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 3D 영상 제작시 의도된 디스플레이 컨디션과 상이한 3D 영상 디스플레이 컨디션에 따른 3D 효과의 차이를 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른 viewing geometry parameter information을 사용하여 방송 수신기의 3D 비디오 데이터를 처리하는 방법을 나타낸 도면이다.
도 12는 본 발명의 다른 일 실시예에 따른 viewing geometry parameter information을 사용하여 방송 수신기의 3D 비디오 데이터를 처리하는 방법을 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른 viewing distance의 차이에 따른 3D 효과의 차이를 도시한 도면이다.

이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.

3D 영상 표현 방법은 2 개의 시점을 고려하는 스테레오스코픽 image 방식과 3 개 이상의 시점을 고려하는 multiple view image 방식을 포함한다. 이에 비해 종래의 single view image 방식은 모노스코픽 영상 방식이라고 지칭할 수 있다.

스테레오스코픽 영상 방식은 일정한 거리로 이격되어 있는 좌측 카메라와 우측 카메라로 동일한 피사체를 촬영하여 획득한 좌우 한 쌍의 영상을 사용한다. 다시점 영상은 일정한 거리나 각도를 갖는 3 개 이상의 카메라에서 촬영하여 획득한 3 개 이상의 영상을 사용한다. 이하에서 스테레오스코픽 영상 방식을 일 실시예로 본 발명을 설명하나 본 발명의 사상은 다시점 영상에도 적용될 수 있다.

스테레오 영상 또는 다시점 영상은 MPEG(Moving Picture Experts Group)을 포함하는 여러가지 방법으로 압축 부호화되어 전송될 수 있다.

예를 들어, 스테레오 영상 또는 다시점 영상은 H.264/AVC(Advanced Video Coding) 방식으로 압축 부호화되어 전송될 수 있다. 이때 수신 시스템은 H.264/AVC 코딩 방식의 역으로 수신 영상을 복호하여 3D 영상을 얻을 수 있다.

또한 스테레오 영상의 left view image와 right view image 중 하나 또는 다시점 영상 중 하나의 영상을 기본 계층(base layer) 영상으로, 나머지 영상은 확장 계층(enhanced/extended layer) 영상으로 할당하고, 기본 계층의 영상은 모노스코픽 영상과 동일한 방식으로 부호화하고, 확장 계층의 영상은 기본 계층과 확장 계층의 영상간의 관계 정보에 대해서만 부호화하여 전송할 수 있다. 기본 계층 영상에 대한 압축 부화화 방식의 예로 JPEG, MPEG-2, MPEG-4, H.264/AVC 방식 등이 사용될 수 있으며, 본 발명은 H.264/AVC 방식을 사용하는 것을 일 실시예로 한다. 상위 계층의 영상에 대한 압축 부호화 방식은 H.264/MVC(Multi-view Video Coding) 방식을 사용하는 것을 일 실시예로 한다.

이와 같이 3D 영상 서비스가 방송되는 경우, 전송 시스템은 다양한 3D 디스플레이 디바이스에서(display device)에서 수신한 3D 비디오 데이터를 효과적으로 rendering할 수 있는 충분한 정보를 전송해주어야 한다. 예를 들어, 극장용으로 제작된 3D content를 가정용 디스플레이 장비에서 디스플레이하는 경우에는 의도된 3D 효과가 모두 표현되지 않을 수 있다. 반대로, 가정용 디스플레이 장비에서의 디스플레이를 목적으로 제작된 3D content를 대형 화면의 projection이나 극작용으로 디스플레이하는 경우에도 의도된 것과 다른 3D 효과가 표현될 수 있다.

즉, 제작시 의도된 3D content의 디스플레이 조건과 상이한 디스플레이 조건에서 3D content를 수신하여 디스플레이하는 경우 원래 제작자가 의도한 바와 상이한 3D 효과가 표현되거나, 사용자의 vergence와 맞지 않아 eye fatigue를 유발할 수 있게 된다. 따라서 각각의 content를 제작할 때 제작자가 의도한 디스플레이 컨디션(display condition)에 대한 정보를 전송해주면 수신기에서는 이에 따라 적응적으로 신호 처리를 수행할 수 있게 된다.

이하에서 상술한 디스플레이 컨디션 정보를 전송하는 방법 및 수신기에서 이 정보를 수신하여 3D 영상 디스플레이를 제어하는 방법에 대하여 설명하기로 한다.

일 실시예로서 ATSC(Advanced Television Systems Committee) 환경에서 3D 영상 신호를 송수신하는 경우, content 제작시 의도된 디스플레이 조건에 대한 정보를 제공하는 메타데이터(이하에서 viewing geometry parameter information으로 지칭될 수도 있다)가 필요하다. 이를 위해서, Video ES(Elementary Stream)에 포함된 SEI(Supplemental Enhancement Information) message를 통해 viewing geometry parameter information을 전송하거나, PSIP(Program and System Information Protocol) 정보의 구성 요소에 viewing geometry parameter descriptor를 추가하여 전송함으로써 수신기에서 3D rendering을 수행하도록 할 수 있다. 또한, 일 실시예로서, viewing geometry parameter information을 별도의 PES packet 또는 ES로 구성하여 전송할 수도 있다.

먼저, 본 발명의 일 실시예로서 viewing geometry parameter information을 video ES(Elementary stream)에 포함하여 전송하는 방법을 설명한다.

H.264(또는 AVC) video data 및 MVC extension video data의 경우 video ES는 SEI(Supplemental Enhancement Information) message를 포함한다. SEI message는 VCL(Video Coding Layer)의 복호 과정에 필수가 아닌 부가 정보를 나타낸다. HRD(Hypothetical Reference Decoder)와 관련된 각 picture의 타이밍 정보, 팬/스캔 기능(복호한 영상의 일부를 판독하여 표시하는 기능)에 관한 정보, 임의 액세스를 수행하는데 필요한 정보, 사용자가 독자적으로 정의하는 정보 등이 SEI에 포함된다.

도 1은 본 발명의 일 실시예에 따른 viewing geometry parameter information를 SEI message에 포함시켜 전송하는 경우의 신택스 구조(syntax structure)를 도시한 도면이다.

도 1의 실시예에서, H.264 (또는 AVC) video data 및 MVC extension video data의 경우 SEI 영역에 부가 정보를 전송할 수 있으며, SEI payload type 값이 4인 user_data_registered_itu_t_t35()를 사용하여 user_identifier 및 user_structure()를 통해 방송 application에 필요한 부가 정보를 전송한다.

user_structure() 내에 ATSC_user_data가 위치하며 방송 수신기는 user_data_type_code 필드를 사용하여 해당 데이터가 viewing_geometry_parameter()라는 것을 알 수 있다. 방송 수신기는 user_data_type_structure에 포함된 viewing_geometry_parameter()로부터 viewing geometry parameter information을 획득하여 3D video data에 대한 신호 처리를 할 수 있다.

도 2는 본 발명의 다양한 실시예예 따른 viewing geometry parameter information을 구현한 신택스 구조들을 도시한 도면이다.

viewing geometry parameter information은 제작시 의도된 3D 효과를 표현하기 위해 다양한 정보들을 포함할 수 있다.

일 실시예로서, viewing geometry parameter information은 pixel interval, viewing distance, screen size 등을 포함할 수 있다. pixel interval은 left image와 right의 간격을 나타내는 파라미터로, object의 간격이 아니라 infinity를 기준으로 한 간격을 나타낸다. viewing distance는 사용자와 디스플레이 화면(screen)의 거리를 나타내는 파라미터이다. screen size는, 디스플레이 화면의 size를 나타내는 파라미터이다.

도 2의 실시예에서 viewing_geometry_parameter()는, 각각의 경우 신택스 구조(2010)는 pixel_interval 필드 및 viewing_distance 필드를, 신택스 구조(2020)는 screen_size 필드 및 viewing_distance 필드를, 신택스 구조(2030)는 pixel_interval에 대한 table index 필드 및 viewing_distance에 대한 table index 필드를, 신택스 구조(2040)는 screen size에 대한 table index 필드 및 viewing_distance에 대한 table index 필드를 각각 포함한다. 각각의 필드에 대한 설명은 이하와 같다.

도 2에서, 먼저 pixel_interval 필드는 content 취득 및 mastering 시에 의도한 screen size에서 pixel간의 실제 간격을 나타내며, 단위는 mm일 수 있다. viewing_distance 필드는 contents 취득 및 mastering 시에 의도한 최적의 시청 거리를 나타내며, 단위는 cm일 수 있다. screen_size 필드는 content 취득 및 mastering 시에 의도한 screen size의 실제값을 나타내며, 단위는 inch일 수 있다. pixel_interval_index 필드는 가능한(available) pixel interval 값들을 포함하는 table에서 해당하는 pixel interval에 대한 index를 나타낸다. viewing_distance_index 필드는 가능한 viewing distance 값들을 포함하는 table에서 해당하는 viewing distance에 대한 index를 나타낸다. screen_size_index는 가능한 screen size 값들을 포함하는 table에서 해당하는 screen size에 대한 index를 나타낸다.

도 2의 필드가 나타내는 정보들 중에서 실제 값들에 대해 설정한 단위는 디바이스 종류, 전송 시스템 등의 display condition에 따라 바뀔 수 있으며, 실제 가능한 값의 범위에 따라 각각의 필드에 할당되는 bit 수도 바뀔 수 있다. 또한, table을 참조하는 syntax 들을 위해서 각 table 정보를 미리 설정하여 decoder가 미리 알 수 있도록 하거나, table을 도 2의 정보와 함께 전송할 수도 있다.

table을 전송하는 경우 같은 데이터에 대해 다양한 종류의 변환이 가능하다. 각각의 table은 table ID(indentification)를 포함할 수 있으며 index 값을 참조하는 경우 사용할 table ID를 이용하여 수신 또는 저장된 table들 중 어느 table을 사용할지를 결정할 수 있다.

도 2에서, pixel_interval_mapping_table_id 필드, viewing_distance_mapping_table_id 필드, screen_size_mapping_table_id 필드는 각각의 데이터에 대해 복수의 table을 수신하여 저장하는 경우, index 값을 변환할 때 어떤 table을 사용할지를 나타내는 필드이다. table data를 수신하는 경우 각각의 table은 unique한 ID를 갖는다. 따라서 방송 수신기는 index data와 함께 이 mapping table ID에 대응되는 table을 이용하여, index 값에 matching되는 viewing geometry parameter information을 획득할 수 있다.

이하에서는, 본 발명의 일 실시예로서 viewing geometry parameter information을 PSI/PSIP 정보의 TVCT 및 PMT에 포함하여 전송하는 방법을 설명한다.

본 발명의 일실시예는, viewing geometry parameter information을 PSI/PSIP (Program Specific Information/Program and System Information Protocol)에 새롭게 추가할 수도 있다. 다만, 본 발명은 이에 한정되는 것은 아니며, 시스템 정보를 테이블 포맷으로 전송하는 프로토콜이라면, 그 명칭에 상관없이 본 발명이 적용될 수 있다.

PSI는 일실시예로서, PAT(Program Assoication Table), CAT(Conditional Access Table), PMT(Program Map Table), NIT (Network Information Table) 등을 포함할 수가 있다.

PAT는 PID가 ‘0’인 패킷에 의해 전송되는 특수 정보로서, 각 프로그램 마다 해당 PMT의 PID 정보와 NIT의 PID 정보를 전송한다. CAT는 방송 송신 시스템이 사용하고 있는 유료 방송 서비스에 대한 정보를 전송한다. PMT 는 프로그램 식별 번호와 프로그램을 구성하는 비디오, 오디오 등의 개별 비트 스트림이 전송되는 트랜스포트 스트림 패킷의 PID 정보 및 PCR이 전달되는 PID 정보를 전송한다. NIT는 실제 전송망의 정보를 전송한다. 예를 들어, PID가 0인 PAT를 파싱함으로써, 프로그램 번호(program number)와 PMT의 PID를 획득한다. 그리고, PAT 로부터 획득한 PMT를 파싱하면, 프로그램을 구성하는 구성 요소들간의 상관관계에 대한 정보를 획득한다.

PSIP는 일실시예로서, VCT(Virtual Channel Table), STT(System Time Table), RRT(Rating Region Table), ETT(Extended Text Table), DCCT(Direct Channel Table), DDCSCT(Direct Channel Change Selection Code Table), EIT(Event Information Table), MGT(Master Guide Table) 등을 포함할 수가 있다.

VCT는 가상 채널에 대한 정보, 예를 들어 채널 선택을 위한 채널 정보와 오디오 및/또는 비디오의 수신을 위한 PID(Packet Identifier) 등의 정보를 전송한다. 즉, VCT를 파싱하면, 채널 이름, 채널 번호 등과 함께 채널 내에 실려 오는 방송 프로그램의 오디오와 비디오의 PID를 획득할 수가 있다. STT는 현재의 날짜와 시간 정보를 전송하고, RRT는 프로그램 등급을 위한 지역 및 심의 기관 등에 대한 정보를 전송한다. ETT는 채널 및 방송 프로그램에 대한 부가 설명을 전송하고, EIT는 가상 채널의 이벤트에 대한 정보를 전송한다. DCCT/DCCSCT는 자동 채널 변경과 관련된 정보를 전송하고, MGT는 PSIP 내 각 테이블의 버전 및 PID 정보를 전송한다. 본 발명의 일 실시예에 있어서, VCT는 TVCT(Terrestrial Virtual Channel Table)일 수도 있다.

도 3은 본 발명의 일 실시예에 따른 TVCT 및 PMT를 통해 전송되는 viewing geometry parameter descriptor의 syntax structure를 나타낸 도면이다.

도 3의 descriptor는 viewing geometry parameter information으로서 3D content 제작시 의도된 screen size(또는 이에 상응하는 pixel 간격)와 최적 viewing distance를 포함하는 descriptor로서, TVCT의 1st descriptor loop 또는 PMT의 1st descriptor loop에 포함되어 전송될 수 있다. 또한, 다른 실시예로서, viewing geometry parameter descriptor는 각각 TVCT 또는 PMT의 2nd descriptor loop 또는 다른 Loop에 포함되어 전송될 수 있다.

도 3의 descriptor에 포함된 각각의 필드들 및 파라미터들에 대해 이하에서 설명한다.

descriptor_tag 필드는 descriptor의 ID 역할을 하며 ATSC A/65에 비어있는 값을 할당할 수 있다. descriptor_tag 필드는 이 descriptor가 viewing geometry parameter descriptor라는 것을 알려준다.

descriptor_length 필드는 descriptor에 포함되는 byte 수에 대한 정보를 포함한다.

pixel_interval_mapping_table_id 필드는 pixel interval 값들이 매핑되는 테이블이 전송되는 경우 이 테이블을 식별하는 필드이다.

viewing_distance_mapping_table_id 필드는 viewing distance 값들이 매핑되는 테이블이 전송되는 경우 이 테이블을 식별하는 필드이다.

screen_size_mapping_table_id 필드는 screen size 값들이 매핑되는 테이블이 전송되는 경우 이 테이블을 식별하는 필드이다.

table_mapping_flag 필드는 값이 1이면 parameter 값들이 table index에서 매핑되는 값으로 설정되며, 값이 0이면 실제 값으로 설정된다는 것을 나타낸다.

screen_size_flag 필드는 값이 1이면 screen size에 대한 값을 전송함을 의미하며, 값이 0이면 pixel interval 값을 전송함을 의미한다.

pixel_interval은 content 취득 및 mastering 시에 의도한 screen size에서 pixel 간의 실제 간격을 나타내며, 단위는 mm일 수 있다.

viewing_distance는 content 취득 및 mastering 시에 의도한 최적의 시청 거리를 나타내며, 단위는 cm일 수 있다.

screen_size는 content 취득 및 mastering 시에 의도한 screen size의 실제값을 나타내며, 단위는 inch일 수 있다.

pixel_interval_index는 가능한 pixel_interval 값들로 구성된 table에서 해당 값을 나타내는 인덱스이다.

viewing_distance_index는 가능한 viewing distance 값들로 구성된 table에서 해당 값을 나타내는 인덱스이다.

screen_size_index는 가능한 screen size 값들로 구성된 table에서 해당 값을 나타내는 인덱스이다.

도 3의 syntax 에서 실제 값들에 대해 설정한 단위는 변경이 가능하며, 실제 가능한 값들의 범위에 따라 할당되는 bit 수도 변경될 수 있다. 또한, table을 참조하는 syntax들을 위해서 각각의 table 정보를 미리 설정하여 decoder가 미리 알 수 있도록 하거나, 전송 시스템이 table을 decoder로 전송할 수도 있다.

도 4는 본 발명의 일 실시예에 따른 viewing geometry parameter information에 대한 table sectioin의 syntax structure를 나타낸 도면이다.

도 3에서와 같이 pixel_interval_index, viewing_distance_index, screen_size_index를 수신하는 경우, 이를 실제 사이즈로 변환하기 위해서는 table을 참조하여야 한다. 해당 데이터는 별도의 table section 형태로 수신될 수 있으며, 이는 도 4와 같은 신택스 구조로 전송될 수 있다.

도 4에서, table_data_type 필드는 이 테이블에 포함된 data가 pixel interval, viewing distance 및 screen size 중 어느 것에 대한 것인지를 나타낸다.

converted_value 필드는 table_data_type에 따라 index_value 필드가 나타내는 index 값이 매핑되는 실제 pixel interval, viewing distance, 및 screen size를 나타낸다.

아울러 동일한 table id로 동일한 data type에 대해 복수의 table을 수신하는 것이 가능하며, 이는 version_number 필드를 이용해 구분할 수 있다. version_number 필드만 다른 경우에는 해당 변환 table 중에서 빠져있는 index를 채우는 데이터가 수신될 수도 있고, 기존의 index에 대한 update 또는 revised 데이터가 수신될 수도 있다. 즉, table_id 필드와 table_data_type 필드를 이용하여 변환 system 및 data 종류를 알고, version_number 필드를 이용해 수신기는 동일한 table_id 및 table_data_type에 대한 data를 update한다.

도 5는 본 발명의 일 실시예에 따른 viewing geometry parameter descriptor를 포함하는 TVCT의 syntax structure를 나타낸 도면이다.

viewing geometry parameter descriptor는 도 5에 도시된 바와 같이 TVCT의 1st descriptor loop에 포함되어 전송될 수 있다. 선택적으로, viewing geometry parameter descriptor는 실시예에 따라 TVCT의 1st Loop가 아닌 다른 Loop에 포함되어 전송될 수 있다.

도 5의 TVCT에 포함된 각각의 필드들에 대한 설명은 다음과 같다.

"table_id" 필드는 8 비트 무부호 정수로서, 여기서 정의되는 체이블 섹션의 타입을 가리킨다.

"section_syntax_indicator" 는 1 비트 필드로서, "terrestrial_virtual_channel_table_section()" 을 위하여는 1로 셋팅될 수 있다.

"private_indicator" 필드는 1 비트의 필드로서, 1로 셋팅될 수 있다.

"section_length" 필드는 12 비트의 필드로서, 처음 2 비트는 '00'으로 셋팅 될 수 있다. 이것은 "section_length" 필드에 이어 시작되고, CRC를 포함하는 섹션의 바이트의 넘버를 특정한다.

"transport_stream_id" 필드는 Terrestrial Virtual Channel Table을 다른 PTC 내의 방송에 존재할 수 있는 다른 것들과 구분하는 16 비트의 MPEG-2 트랜스포트 스트림 ID 를 가리킨다.

"version_number" 는 5 비트의 필드로서, Virtual Channel Table의 버전 넘버이다.

"current_next_indicator" 는 1 비트 인디케이터로서, 1 로 셋팅된 경우, 현재 보내진 VCT가 적용 가능함을 가리킨다. 이 비트가 0 으로 셋팅된 경우, 보내진 테이블은 아직 적용 가능하지 않고, 다음 테이블이 유효함을 가리킨다

"section_number"는 8 비트의 필드로서, 이 섹션의 넘버를 준다.

"last_section_number"는 8 비트의 필드로서, 완전한 Terrestrial Virtual Channel Table 의 마지막 섹션 (가장 높은 section_number를 가지는 섹션) 의 넘버를 특정한다.

"protocol_version"는 8 비트의 무부호 정수로서, 미래에, 현재 프로토콜에서 정의된 것과 달리 구성된 파라미터를 운반하는 테이블 타입을 허용하는 기능을 한다.

"num_channels_in_section" 는 8 비트의 필드로서, 이 VCT 섹션의 버추어 채널의 수를 특정한다. 이 수는 섹션 길이에 의하여 제한될 수 있다.

"short_name" 는 유니코드 문자 데이터의 UTF-16 에 따라 해석되는 하나에서 일곱 개의 16 비트 코드 값의 시퀀스로 나타내어지는 버추어 채널의 이름을 특정한다.

"major_channel_number" 필드는 "for" 루프의 반복에서 정의된 버추어 채널과 연관된 메이저 채널 넘버를 나타내는 10 비트의 넘버이다.

"minor_channel_number" 필드는 마이너 또는 서브 채널 넘버를 나타내는 0부터 999까지의 10 비트 넘버이다. 이 필드는 메이저 채널 넘버와 함께 two-part 채널 넘버를 수행한다.마이너 채널 넘버는 채널 넘버의 두 번째 혹은 오른쪽 편 넘버를 나타낸다.

"modulation_mode" 는 이 버추어 채널과 연관된 전송된 캐리어를 위한 변조 모드를 가리키는 8 비트의 무부호 정수를 포함하는 필드이다.

"carrier_frequency" 이 필드는 캐리어 주파수를 식별하기 위하여 사용될 수도 있다.

"channel_TSID" 필드는 이 버추어 채널에 의하여 참조되는 MPEG-2 프로그램을 운반하는 트랜스포트 스트림과 연관된 MPEG-2 트랜스포트 스트림 ID를 나타내는 0x0000부터 0xFFFF 까지의 값을 가진다.

"program_number" 는 16 비트의 무부호 정수를 포함하는 필드로서, 여기서 정의된 버추어 채널을 MPEG-2 PROGRAM ASSOCIATION 과 TS PROGRAM MAP 테이블과 연관시킨다.

"ETM_location" 필드는 2 비트의 필드로서, Extended Text Message (ETM)의 위치와 존재를 특정한다.

"access_controlled" 필드는, 1 비트의 불 플래그 (Boolean flag) 로서, 설정된 경우, 버추어 채널과 연관된 이벤트가 접근 제어되고 있음을 가리킨다.

"hidden field" 는 1 비트의 불 플래그로서, 설정된 경우, 버추어 채널이 버추어 채널 넘버의 직접 엔트리에 의하여 접근되지 않았음을 가리킨다.

"hide_guide" 필드는 불 플래그로서, 그것이 히든 채널을 위하여 0 으로 셋팅된 경우, 버추어 채널과 이벤트는 EPG 화면에 나타남을 가리킨다.

"service_type" 는 6 비트 필드로서, 이 버추어 채널에서 운반되는 서비스의 타입을 식별한다.

"source_id"는 버추어 채널과 연관된 프로그래밍 소스를 식별하는 16 비트 무부호 정수를 포함하는 필드이다.

"descriptors_length" 필드는 버추어 채널을 위한 디스크립터들의 총 길이 (바이트 단위로) 를 가리킨다.

"descriptor()" 필드는 0 또는 그 이상 (적절하게) 의 디스크립터가 포함될 수 있음을 가리킨다.

"additional_descriptors_length" 필드는 VCT 디스크립터 리스트의 총 길이 (바이트 단위로) 를 가리킨다.

"CRC_32" 필드는 ISO/IEC 13818 1 “MPEG-2 Systems”의 어넥스 A에서 정의된 디코더 내의 레지스터로부터 전체 TVCT 섹션을 처리한 후, 제로 출력이 나올수 있도록 하는 값을 가지고 있다.

도 6은 본 발명의 일 실시예에 따른 viewing geometry parameter descriptor를 포함하는 PMT의 syntax structure를 나타낸 도면이다.

viewing geometry parameter descriptor는 도 6에 도시된 바와 같이 PMT의 1st descriptor loop에 포함되어 전송될 수 있다. 선택적으로, viewing geometry parameter descriptor는 실시예에 따라 PMT의 1st Loop가 아닌 다른 Loop에 포함되어 전송될 수 있다.

도 6의 PMT에 포함된 각각의 필드들에 대한 설명은 다음과 같다.

"table_id"는 8 비트의 필드로서, TS_program_map_section 인 경우, 0x02로 셋팅될 수 있다.

"section_syntax_indicator"는 1 비트의 필드로서, 1로 셋팅될 수 있다.

"section_length"는 12 비트의 필드로서, 처음 2 비트는 '00'으로 셋팅될 수 있다. 이것은 "section_length"를 이어 시작되고, CRC를 포함하는 섹션의 바이트의 넘버를 특정한다.

"program_number"는 16 비트의 필드로서, "program_map_PID"가 적용 가능한 프로그램을 식별한다.

"version_number"는 5 비트의 필드로서, TS_program_map_section의 버전 넘버이다.

"current_next_indicator"는 1 비트의 필드로서, 1로 셋팅된 경우, 현재 보내지는 TS_program_map_section 가 적용 가능하다는 것을 가리킨다. 0으로 셋팅된 경우, 보내지는 TS_program_map_section 는 아직 적용 가능하지 않고, 다음 TS_program_map_section 가 유효하게 될 것임을 가리킨다.

"section_number" 는 0x00인 8 비트의 값을 포함하는 필드이다.

"last_section_number" 0x00인 8 비트의 값을 포함하는 필드이다.

"PCR_PID"는 13 비트의 필드로서, "program_number" 에 의하여 특정되는 프로그램을 위하여 유효한 PCR 필드를 포함하는 트랜스포트 스트림 패킷의 PID를 가리킨다. 프라이빗 스트림을 위한 프로그램 정의와 연관된 PCR이 없는 경우, 이 필드는 0x1FFF의 값을 가질 수 있다.

"program_info_length"는 12 비트의 필드로서, 처음 2 비트는 '00'이 될 수 있다. 이것은 "program_info_length" 필드를 따르는 디스크립터들의 바이트의 넘버를 특정한다.

"stream_type"는 8 비트의 필드로서, elementary_PID에 의하여 특정되는 값을 가지는 PID를 가지는 패킷들 내에서 운반되는 페이로드 또는 엘레멘터리 스트림의 타입을 특정한다.

"elementary_PID" 는 13 비트의 필드로서, 연관된 엘레멘터리 스트림 또는 페이로드를 운반하는 트랜스포트 스트림의 PID를 특정한다.

"ES_info_length"는 12 비트의 필드로서, 처음 2 비트는 '00'일 수 있다. 이것은 "ES_info_length"를 따르는 연관된 엘레멘터리 스트림의 디스크립터들의 바이트의 넘버를 특정한다.

"CRC_32"는 32 비트의 필드로서, 전체 트랜스포트 스트림 프로그램 맵 테이블이 처리된 후 디코더 내의 레지스터의 제로 출력을 주는 CRC 값을 포함한다.

도 7은 본 발명의 일 실시예에 따른 viewing geometry parameter information이 SEI message에 포함된 video ES를 수신한 방송 수신기의 3D 비디오 데이터 처리 방법을 도시한 흐름도이다.

방송 수신기는 broadcast signal을 수신하여 PSIP(Program and System Information Protocol) 정보(information)를 파싱(parsing)하고, PSIP information에 포함된 PMT(Program Map Table) 또는 TVCT(Terrestrial Virtual Channel Table)로부터 video ES에 대한 PID 정보를 획득할 수 있다(S7010). 방송 수신기는 획득된 PID 정보로 필터를 설정하여 해당 video ES을 필터링하고, 추출된 video 스트림을 디코딩할 수 있다(S7020).

방송 수신기는 비디오 스트림을 디코딩하여 SEI message를 디코딩할 수 있다(S7030).

방송 수신기는 SEI message에 포함된 viewing geometry parameter information을 파싱하여 해당 picture의 디스플레이 컨디션 정보를 파악할 수 있다(S7040). 디스플레이 컨디션 정보는, 도 2에 도시된 필드들을 파싱하여 획득될 수 있으며, screen size, pixel interval, viewing distance등의 정보를 포함할 수 있다.

방송 수신기는 파싱된 viewing geometry parameter information을 이용하여 디코딩된 픽처의 3D 스테레오스코픽 출력을 제어한다(S7050).

도 8은 본 발명의 일 실시예에 따른 viewing geometry parameter information이 TVCT 및 PMT에 포함된 방송 신호를 수신한 방송 수신기의 3D 비디오 데이터 처리 방법을 도시한 흐름도이다.

도 8은 특히 TVCT를 통해 viewing geometry parameter information을 획득하여, 3D 비디오 데이터를 처리하는 방법을 도시한다.

방송 수신기는 PID가 0x1FFB인 TS packet을 필터링하고(S8010), table ID가 0xC8인 section data를 파싱하여 TVCT를 획득한다(S8020). 방송 수신기의 이러한 동작은 TP Demux에서 수행될 수 있으며, 방송 수신기는 이렇게 TVCT를 파싱하는 대신, PMT를 파싱할 수도 있다.

방송 수신기는 튜닝되어 있는 major channel number 및 minor channel number에 대한 viewing geometry parameter information을 파싱하여 저장한다(S8030). viewing geometry parameter information는 획득된 TVCT를 파싱하여 획득될 수 있으며, 방송 수신기는 이러한 동작은 PSIP processor에서 수행될 수 있다.

방송 수신기는 TVCT를 이용하여 A/V 스트림에 대한 PID 정보를 획득하고(S8040), 획득된 PID 정보를 통해 PID 필터링을 수행하여 A/V ES를 추출하여 디코딩할 수 있다(S8050).

방송 수신기는 viewing geometry parameter information을 사용하여 비디오 스트림을 후처리하여 3D 영상 디스플레이를 출력 제어한다(S8060). 방송 수신기의 이러한 3D 비디오 데이터 처리를 3D rendering으로 지칭할 수도 있다. 방송 수신기는 viewing geometry parameter information을 통해 획득한 시청 조건에 맞도록 수신한 video 스트림을 rendering하여 사용자가 제작시 의도된 3D 효과를 인지할 수 있도록 출력할 수 있다.

도 9는 본 발명의 일 실시예에 따른 viewing geometry parameter information을 사용하여 3D 비디오 데이터를 처리하는 방송 수신기를 나타낸 도면이다.

도 9에서, 방송 수신기는 Tuner and Denodulator(9010), VSB decoder(9020), TP Demux(9030), A/V decoder(9040), PSIP processor(9050) and 3D rendering unit(9060, 이하에서 3D video processor로 지칭할 수 있다)을 포함한다. A/V decoder(9040)는 video data를 처리하는 video coding layer(9070) 및 supplemental data를 처리하는 Header and Extension unit(9080)을 포함할 수 있다. A/V decoder(9040)는 이하에서 video ES를 처리하는 경우 video decoder(9040)로 지칭될 수 있다.

도 9에서, 방송 수신기는 viewing geometry parameter information이 전송되는 방법에 따라 상이하게 동작할 수 있다. 도 9에서 방법 A(9090)는 viewing geometry parameter information이 video ES에 포함되어 전송된 경우의 방송 수신기의 동작을 나타내며, 방법 B(9100)는 viewing geometry parameter information이 PMT 및 TVCT에 포함되어 전송된 경우의 방송 수신기의 동작을 나타낸다.

방송 수신기는 Tuner and Demodulator(9010, 이하 수신부(receiving unit)라 지칭할 수 있다)를 통해 원하는 채널의 방송 신호를 튜닝하여 수신하고, demodulating한다. Tunder and Demodulator(9010)에서 출력된 baseband signal 또는 IF(Intermediate Frequency) signal은 VSB decoder(9020)에서 VSB decoding되어 data stream으로 출력된다. TP demux는 수신된 data stream에서 video ES, PMT 및 TVCT를 포함하는 supplement data stream 등을 추출한다.

먼저, viewing geometry parameter information이 비디오 스트림의 SEI message에 포함되어 전송된 경우의 방송 수신기의 동작(9090)에 대해 설명한다.

방송 수신기는 PSIP processor(9050)에서 파싱된 PMT 또는 TVCT로부터 원하는 video ES에 대한 PID 정보를 획득하고, 이 PID 정보를 사용하여 TP demux(9030)에서 원하는 video ES을 추출한다. video decoder(9040)는 video coding layer(9070)에서 video data를, Header and Extension unit(9080)에서 SEI message를 포함하는 supplemental data를 각각 디코딩한다. 따라서, 방송 수신기는 video decoder(9040)에서 SEI message를 디코딩하여 viewing geometry parameter information을 획득한다.

방송 수신기는 획득된 viewing geometry parameter information을 사용하여 3D video processor(9060)를 통해 video decoder(9040)로부터 수신한 video data를 제어 및 처리하여 출력한다.

이하에서는, viewing geometry parameter information이 PMT 또는 TVCT에 포함되어 전송된 경우의 방송 수신기의 동작(9100)에 대해 설명한다.

방송 수신기는 TP demux(9030)를 통해 PMT 및 TVCT가 포함된 supplement data stream을 추출하여, PMT 또는 TVCT를 PSIP processor(9050)로 출력한다. PSIP processor(9050)는 PMT 또는 TVCT를 파싱하여 방송 신호에 포함된 3D video stream에 대한 PID 정보 및 viewing geometry parameter information을 획득한다.

방송 수신기는 획득된 PID 정보를 사용하여 Tuner and Demodulator(9010)를 통해 원하는 3D video stream을 수신하고, TP Demux(9030)를 통해 추출한다. 3D video stream은 video decoder(9040)에서 디코딩되어 3D video processor(9060)로 출력된다. 방송 수신기는 viewing geometry parameter information을 사용하여 3D video processor(9060)에서 video data를 제어 및 처리하여 출력한다.

상술한 바와 같이 방법 A의 경우 viewing geometry parameter information은 비디오 디코더(9040)에서 추출될 수 있으며, 방법 B의 경우 PSIP processor(9050)에서 추출될 수 있다. 본 발명의 viewing geometry parameter information 처리 관점에서, 비디오 디코더(9040)와 PSIP processor(9050)를 디스플레이 컨디션 정보 추출부라고 지칭할 수도 있다. 다시 말해, 디스플레이 컨디션 정보 추출부는 방송 수신기에 포함된 상술한 viewing geometry parameter information을 추출하는 unit으로, 본 발명의 일 실시예에 있어서 디스플레이 컨디션 정보 추출부는 비디오 디코더(9040)와 PSIP processor(9050)를 포함하여, 상술한 방법에 따라 viewing geometry parameter information를 처리할 수 있다.

도 9와 관련하여, 중복되는 부분에 대하여 모든 설명을 중복하지 않았으나, 도 9에 도시된 방송 수신기는 도 7 및 도 8과 관련하여 설명된 방법을 모두 수행할 수 있는 것으로 이해되어야 한다.

이하에서는, 상술된 바와 같이 전송되어 획득된 viewing geometry parameter information을 사용하여 제작시 의도된 3D 효과를 갖도록 3D 비디오 데이터의 디스플레이 출력을 제어하는 방법에 대한 실시예들을 설명하도록 한다. 이하의 실시예들에 대해서는 3D 이미지가 스테레오스코픽 형식으로 제작된 이미지인 경우를 예로서 설명한다.

도 10은 본 발명의 일 실시예에 따른 3D 영상 제작시 의도된 디스플레이 컨디션과 상이한 3D 영상 디스플레이 컨디션에 따른 3D 효과의 차이를 나타낸 도면이다.

도 10에서 좌측에는 제작시 의도된 screen(1010)과 의도된 screen size에 따른 3D 효과를, 우측에는 시청자가 사용하는 디스플레이 장비의 screen(1020)과 이 screen size에 따른 3D 효과를 도시한다.

도 10에서, 3D 영상의 구현 방법으로서 horizontally interleaved format으로 구현된 stereoscopic 영상을 일 실시예로 설명한다.

3D 효과는 다양한 방법으로 측정되어 표현될 수 있다. 본 발명의 실시예에서는, 디스패러티(disparity), depth range, 또는 시청자의 눈으로부터 object가 맺힌 상까지의 깊이 값으로 3D 효과의 차이를 설명한다.

3D effect는 두 눈의 망막으로의 세상의 약간의 다른 두 투영상으로부터 깊이의 느낌으로 이끄는 시지각 내의 작용이다. 두 망막의 이미지의 차이는 수평 디스패리티 (horizontal disparity), 레티날 디스패리티 (retinal disparity) 또는 양안 디스패리티 (binocular disparity)로 불리어 질 수 있다. 이하에서는 disparity라고 지칭할 수 있다.

depth range는 3D 영상이 디스플레이되는 경우 시청자가 3D 영상이 디스플레이되는 디스플레이 조건에서 3D 효과를 인식할 수 있는 가장 가까운 지점에서 가장 먼 지점의 간격(ex: [Dmin,Dmax])으로 표현할 수 있다.

도 10에서, 3D 영상 컨텐츠 제작시 원래 의도된 screen size는 W이고, 수신부 디스플레이 장비의 screen size는 X로, 각각의 screen size에 상응하는 pixel interval은 각각 p 및 q라고 하자. 도 10의 실시예에서, X=W/2 이고, q=p/2 이다.

특정 포인트에서의 디스패러티 값이 D라고 가정하면, 제작시 의도된 디스패러티의 물리적인 크기는 D*p이지만, 수신부에서 시청자가 인지할 수 있는 디스패러티의 물리적 크기는 D*q(=D*p/2)가 된다.

또한, 디스패러티 값으로 표현된 depth range가 [Dmin,Dmax]인 경우, 제작시 의도된 물리적인 deapth range는 [Dmin*p,Dmax*p]이지만, 수신부에서 시청자가 인지할 수 있는 물리적인 depth range는 [Dmin*q,Dmax*q](=[Dmin*p/2,Dmax*p/2])가 된다.

따라서, 시청자가 수신부의 화면(1020)을 통해 인식할 수 있는 3D 효과는 제작시 의도한 3D 효과의 약 1/2가 되는 것이다.

시청자의 눈에서 object가 맺힌 상까지의 깊이 값도 원래 의도된 크기인 Zw보다 약 1/2로 줄어든 Zx가 된다.

즉, 전송된 viewing geometry parameter information에 포함된 screen size 정보 또는 pixel interval 정보를 통해 수신부에서의 3D 효과의 차이를 획득할 수 있다.

이러한 경우 원래 의도한 3D 효과를 얻거나 3D 효과의 차이를 보상하는 방법으로, left image와 right image를 horizontal shift하여 convergence control을 하는 방법, depth map에 포함된 각 depth 값들을 scaling하는 방법, viewing distance를 조정하는 방법 등이 있다.

도 11은 본 발명의 일 실시예에 따른 viewing geometry parameter information을 사용하여 방송 수신기의 3D 비디오 데이터를 처리하는 방법을 나타낸 도면이다.

도 11에서 좌측에는 제작시 의도된 screen(1010)과 의도된 screen size에 따른 3D 효과를, 우측에는 시청자가 사용하는 디스플레이 장비의 screen에 viewing geometry parameter information을 사용하여 비디오 데이터를 처리하여 디스플레이하는 스크린(1120) 및 그에 따른 3D 효과를 도시한다.

도 11에서는, 도 10과 관련하여 설명한 바와 같이 작아진 수신부의 디스플레이 화면에 따라 축소된 3D 효과를 보상하기 귀한 방법으로, 화면에 출력되는 left image 및 right image를 수평방향으로 shift하는 방법을 도시한다.

도 10에서 깊이 값이 Zw에서 Zx로 축소된 depth range를 보상할 수 있도록, left image를 우측으로 shift하고, right image를 좌측으로 shift함으로써 축소된 깊이 값 Zx를 Zc의 범위로 보상할 수 있다. 제작시 의도된 screen size보다 수신부의 디스플레이 화면이 더 커진 경우에는 반대 방향으로 각각의 image들을 shift하여 변화된 3D 효과를 보상할 수 있다.

shift되는 거리는 일 실시예로서 이하와 같이 산출될 수 있다.

pixel interval을 기준으로, 도 10에서와 같이 q=p/2라고 가정한다. 이때 수신부에서 줄어드는 각 3D 효과에 대한 파라미터값들은 축소된 screen size의 비율에 근사하며, 본 발명의 실시예에서 이 비율은 축소된 pixel interval의 비율과 같다.

따라서 축소된 pixel interval 만큼 좌,우 영상을 shift 하여 3D 효과를 보상할 수 있다. 도 10 및 도 11의 경우, shift되는 영상간의 거리 Dshift 값은 p-q가 될 수 있다. 다만, 수신부 디스플레이 화면의 화면 구성 및 전송된 영상의 좌우 폭 등의 요인에 따라서 산출된 Dshift 값은 p-q 보다 작을 수 있으며, 이러한 경우 도 11에서와 같이 깊이 값 Zx는 제작시 의도된 Zw 만큼은 아니나 Zc까지 보상될 수 있다.

도 12는 본 발명의 다른 일 실시예에 따른 viewing geometry parameter information을 사용하여 방송 수신기의 3D 비디오 데이터를 처리하는 방법을 나타낸 도면이다.

도 12에서는, 도 10과 관련하여 설명한 바와 같이 작아진 수신부의 디스플레이 화면에 따라 축소된 3D 효과를 보상하기 귀한 방법으로, depth map을 scaling하는 방법을 도시한다. depth map은 실제 영상의 각 픽셀 좌표에 대한 depth 값들을 갖고 있는 일종의 data table이다.

3D 영상 전송시, 3D 효과를 조절하기 위해 Z 축의 depth 값이 depth map에 포함되어 전송될 수 있다. 이 경우 각각의 방송 수신기는 장치마다 표현 가능한 Z 축의 범위가 다를 수 있으므로 수신된 Z 축의 depth 값과 표현 가능한 Z 축의 depth 값의 범위를 비교하여 영상의 Z 축 depth 값을 수정하여 디스플레이할 수 있다.

일 실시예로서, content 제작시 Zx 값의 범위가 [Zxmin,Zxmax] 사이의 좌표 값을 갖고, 수신부에서 표현가능한 Zw 값의 범위가 [Zwmin,Zwmax] 사이의 좌표 값을 갖는다고 하면, 스케일링을 통한 Zx에서 Zw로의 mapping은 다음과 같이 수행될 수 있다.

Zw = Zx * ((Zwmax-Zwmin)/(Zxmax-Zxmin)) + Zwmin

다른 실시예로서, Zxmin < 0 < Zxmax 및 Zwmin < 0 < Zwmax라고 가정하고, 값이 커질 경우 screen 앞쪽으로 object가 형성한다고 가정할 경우에 screen 평면과의 상대적 위치 관계를 유지하고자 한다면 다음과 같이 mapping을 수행할 수 있다.

1) Zw = Zx * (Zwmax / Zxmax) when Zx > 0

2) Zw = Zx * (Zwmin / Zxmin) when Zx < 0

3) Zx = 0 when Zw = 0

즉, scaling 과정에서 screen 안쪽에 있는 물체가 screen 앞쪽으로 튀어나오는 경우 또는 그 반대 경우를 방지할 수 있다. 본 실시예에서 인식되는 object의 상대적인 위치는 Zx 및 Zw 값이 0보다 크면 screen 앞으로, 0보다 작으면 screen 뒤가 된다.

상술한 depth map을 scaling하는 방법에 있어서 depth map은 다양한 방법으로 전송될 수 있다. depth map은 video stream과 같이 별도의 PID를 갖는 ES로 전송될 수도 있고, internet 등의 경로를 통해 out of band로 전송될 수도 있다. 또한, depth map은 video data의 header에 포함되어 전송될 수도 있다. 이 경우 depth map은 하나의 영상마다, 즉 하나의 image frame 마다 하나씩 존재하도록 전송될 수도 있다. 또한, depth map은 상술한 viewing geometry parameter information에 포함되거나, viewing geometry parameter information과 함께 전송될 수도 있다.

도 13은 본 발명의 일 실시예에 따른 viewing distance의 차이에 따른 3D 효과의 차이를 도시한 도면이다.

도 13에서, 제작시 의도된 screen size와 수신부의 디스플레이 화면의 size가 동일한 경우 viewing distance의 변경에 따른 3D 효과의 변화를 도시한다. 도 13에서 제작시 의도된 viewing distance는 VDi이고 수신부에서의 viewing distance는 VDr이다.

예를 들어 VDr=VDi/2인 경우, 실제 깊이 값의 범위 Zx는 약 Zw/2 정도로 원래 의도된 범위의 약 1/2 정도로 축소될 수 있다. 이러한 경우 도 10 내지 12과 관련하여 설명한 convergence control 또는 depth map scaling을 통해 변화된 3D 효과를 보상할 수 있다.

또한, 도 13과 관련하여 설명한 바와 같이 viewing distance 역시 3D 효과에 즉각적인 영향을 주는 factor이므로 사용자의 시청 환경에 따라 viewing distance를 조절하여 3D 효과를 보상할 수 있다. 일 실시예로서, 상술한 convergence control 또는 depth map scaling과 함께 viewing distance를 조절하여 수신부의 디스플레이 장비 및 사용자의 시청 환경에 따라 3D 효과를 보상할 수 있다.

상술한 3D 효과를 보상하는 방법들은 전송되는 컨텐츠와 전송 환경, 방송 수신기의 성능 및 사용자의 시청 환경 등 다양한 요인을 고려하여 단독으로 또는 복수의 방법이 선택적으로 조합되어 사용될 수 있다.

본 발명에 따른 방법 발명은 모두 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims

3D 비디오 데이터를 포함하는 방송 신호를 수신하는 단계;
상기 방송 신호로부터 상기 3D 비디오 데이터에 대한 디스플레이 컨디션 정보(display condition information)를 추출하는 단계; 및
상기 추출된 디스플레이 컨디션 정보(display condition information)를 사용하여 상기 3D 비디오 데이터의 출력을 제어하는 단계를 포함하는, 방송 수신기의 3D 비디오 데이터 처리 방법.
제 1 항에 있어서,
상기 디스플레이 컨디션 정보는, 상기 수신된 3D 비디오 데이터에 대한 viewing distance 정보 및 screen size 정보 및 pixel interval 정보 중 적어도 하나를 포함하는, 방송 수신기의 3D 비디오 데이터 처리 방법.
제 1 항에 있어서,
상기 방송 신호로부터 상기 3D 비디오 데이터에 대한 디스플레이 컨디션 정보(display condition information)를 추출하는 단계는,
상기 수신된 3D 비디오 데이터에 포함된 비디오 ES로부터 Supplemental Header Information을 디코딩하는 단계; 및
상기 디코딩된 Supplemental Header Information로부터 상기 디스플레이 컨디션 정보(display condition information)를 획득하는 단계를 더 포함하는, 방송 수신기의 3D 비디오 데이터 처리 방법.
제 1 항에 있어서,
상기 방송 신호로부터 상기 3D 비디오 데이터에 대한 디스플레이 컨디션 정보(display condition information)를 추출하는 단계는,
상기 방송 신호로부터 PMT 또는 TVCT를 추출하는 단계; 및
상기 PMT 또는 상기 TVCT로부터 상기 디스플레이 컨디션 정보(display condition information)를 획득하는 단계를 더 포함하는, 방송 수신기의 3D 비디오 데이터 처리 방법.
제 1 항에 있어서,
상기 3D 비디오 데이터는 left view의 비디오 데이터 및 right view의 비디오 데이터를 포함하는, 방송 수신기의 3D 비디오 데이터 처리 방법.
제 5 항에 있어서,
상기 추출된 디스플레이 컨디션 정보(display condition information)를 사용하여 상기 3D 비디오 데이터의 출력을 제어하는 단계는,
상기 left view의 비디오 데이터 및 right view의 비디오 데이터를 수평 방향으로 shift하여 출력하는 단계를 더 포함하는, 방송 수신기의 3D 비디오 데이터 처리 방법.
제 5 항에 있어서,
상기 추출된 디스플레이 컨디션 정보(display condition information)를 사용하여 3D 비디오 디스플레이 디바이스의 디스플레이 조건에 따라 상기 3D 비디오 데이터의 출력을 제어하는 단계는,
상기 3D 비디오 데이터에 대한 depth map에 포함된 depth 값들을 scaling하여 출력하는 단계를 더 포함하는, 방송 수신기의 3D 비디오 데이터 처리 방법.
제 5 항에 있어서,
상기 추출된 디스플레이 컨디션 정보(display condition information)를 사용하여 3D 비디오 디스플레이 디바이스의 디스플레이 조건에 따라 상기 3D 비디오 데이터의 출력을 제어하는 단계는,
상기 3D 비디오 데이터에 대한 viewing distance를 조절하여 출력하는 단계를 더 포함하는, 방송 수신기의 3D 비디오 데이터 처리 방법.
3D 비디오 데이터를 포함하는 방송 신호를 수신하는 수신부,
상기 방송 신호로부터 상기 3D 비디오 데이터에 대한 디스플레이 컨디션 정보(display condition information)를 추출하는 디스플레이 컨디션 정보 추출부, 및
상기 추출된 디스플레이 컨디션 정보(display condition information)를 사용하여 상기 3D 비디오 데이터의 출력을 제어하는 3D video processor를 포함하는, 방송 수신기.
제 9 항에 있어서,
상기 디스플레이 컨디션 정보는, 상기 수신된 3D 비디오 데이터에 대한 viewing distance 정보 및 screen size 정보 및 pixel interval 정보 중 적어도 하나를 포함하는, 방송 수신기.
제 9 항에 있어서,
상기 디스플레이 컨디션 정보 추출부는,
상기 수신된 3D 비디오 데이터에 포함된 비디오 ES로부터 Supplemental Header Information을 디코딩하고, 상기 디코딩된 Supplemental Header Information로부터 상기 디스플레이 컨디션 정보(display condition information)를 획득하는 비디오 디코더를 포함하는, 방송 수신기.
제 9 항에 있어서,
상기 디스플레이 컨디션 정보 추출부는,
상기 방송 신호로부터 PMT 또는 TVCT를 추출하고, 상기 PMT 또는 상기 TVCT로부터 상기 디스플레이 컨디션 정보(display condition information)를 획득하는 PSIP Processor를 포함하는, 방송 수신기.
제 9 항에 있어서,
상기 3D 비디오 데이터는 left view의 비디오 데이터 및 right view의 비디오 데이터를 포함하는, 방송 수신기.
제 13 항에 있어서,
상기 3D video processor는,
상기 left view의 비디오 데이터 및 right view의 비디오 데이터를 수평 방향으로 shift하여 출력하는, 방송 수신기.
제 13 항에 있어서,
상기 3D video processor는,
상기 3D 비디오 데이터에 대한 depth map에 포함된 depth 값들을 scaling하여 출력하는, 방송 수신기.
제 13 항에 있어서,
상기 3D video processor는,
상기 3D 비디오 데이터에 대한 viewing distance를 조절하여 출력하는, 방송 수신기.