KR20130108075A

KR20130108075A - 3d 서브타이틀을 위한 디지털 방송 신호를 프로세싱하고 수신하는 방법 및 장치

Info

Publication number: KR20130108075A
Application number: KR1020127031175A
Authority: KR
Inventors: 서종열; 홍호택; 최지현; 이준휘; 이석주
Original assignee: 엘지전자 주식회사
Priority date: 2010-05-30
Filing date: 2011-05-27
Publication date: 2013-10-02
Also published as: CN105163105A; US20140375767A1; CN105163105B; WO2011152633A3; US9578304B2; CN102918854B; CN102918854A; WO2011152633A2; CA2799704A1; CA2799704C; US20110292174A1; EP2391137A1; EP2720463A1; US8866886B2

Abstract

본 발명에 의한, 3D 컨텐츠를 포함하는 디지털 방송 신호를 프로세싱하는 방법은 3D 컨텐츠를 위한, 3D 이미지의 우시점을 위한 우영상 픽처 (picture) 와 3D 이미지의 좌시점을 위한 좌영상 픽처를 포함하는 3D 비디오 데이터를 인코딩하는 단계, 상기 3D 컨텐츠를 위한 3D 서브타이틀을 시그널링하기 위한 정보를 포함하는 서브타이틀 세그먼트를 포함하는 시그널링 데이터를 생성하는 단계, 및 상기 생성된 시그널링 데이터와, 인코딩된 3D 비디오 데이터를 포함하는 디지털 방송 신호를 전송하는 단계를 포함한다.

Description

3D 서브타이틀을 위한 디지털 방송 신호를 프로세싱하고 수신하는 방법 및 장치 {METHOD AND APPARATUS FOR PROCESSING AND RECEIVING DIGITAL BROADCAST SIGNAL FOR 3-DIMENSIONAL SUBTITLE}

본 발명은 방송망을 통하여 3차원(3D) 영상을 전송하는 방법 및 3차원 영상을 포함하는 방송 신호를 처리하는 방송 수신기에 관한 것이다. 보다 상세하게는, 3차원 영상과 함께 디스플레이 되는 자막(subtitle)에 대한 3차원적 효과를 주기 위한 방송 신호 처리 방법 및 이와 같은 방법으로 처리된 방송 신호를 수신하는 방송 수신기에 관한 것이다.

일반적으로 3D(3 dimensions) 영상(또는 입체 영상)은 두 눈의 스테레오(stereo) 시각 원리를 이용하여 입체감을 제공한다. 인간은 두 눈의 시차, 다시 말해 약 65mm 정도 떨어진 두 눈 사이의 간격에 의한 양안 시차(binocular parallax)를 통해 원근감을 느끼므로, 3D 영상은 좌안과 우안 각각이 연관된 평면 영상을 보도록 영상을 제공하여 입체감과 원근감을 제공할 수 있다.

이러한 3D 영상 디스플레이 방법에는 스테레오스코픽(stereoscopic) 방식, 부피표현(volumetric) 방식, 홀로그래픽(holographic) 방식 등이 있다. 스테레오스코픽 방식의 경우, 좌안에서 시청되기 위한 left view image와 우안에서 시청되기 위한 right view image를 제공하여, 편광 안경 또는 디스플레이 장비 자체를 통해 좌안과 우안이 각각 left view image와 right view image를 시청함으로써 3D 영상 효과를 인지할 수 있도록 한다.

본 발명이 이루고자 하는 기술적 과제는, 방송 신호를 3차원 컨텐츠를 제공함에 있어서, 3차원 컨텐츠와 함께 디스플레이되어야 하는 3차원 자막을 효과적으로 전송하기 위한 것에 있다.

본 발명의 또 다른 기술적 과제는, 방송 수신기에서 3D 방송 환경에서 자막 데이터를 수신한 경우 3D 비디오 디스플레이 디바이스의 디스플레이 컨디션 및 제작시 의도된 3D 효과를 고려하여 수신된 3D 자막 데이터를 처리하여 디스플레이함으로써 사용자에게 더욱 효율적이고 편리한 방송 환경을 제공하는데 있다.

전술한 목적과 효과를 달성하기 위한 본 발명의 일 실시예에 따른 3D 컨텐츠를 포함하는 디지털 방송 신호를 프로세싱하는 방법은 3D 컨텐츠를 위한, 3D 이미지의 우시점을 위한 우영상 픽처 (picture) 와 3D 이미지의 좌시점을 위한 좌영상 픽처를 포함하는 3D 비디오 데이터를 인코딩하는 단계, 상기 3D 컨텐츠를 위한 3D 서브타이틀을 시그널링하기 위한 정보를 포함하는 서브타이틀 세그먼트를 포함하는 시그널링 데이터를 생성하는 단계, 여기서 상기 서브타이틀 세그먼트는 상기 3D 서브타이틀을 위한, 상기 3D 이미지의 영역 내의 적어도 하나 이상의 서브 영역에 적용되는 디스패리티의 값을 가리키는 서브 영역 디스패리티 정보를 포함하고, 상기 디스패리티는 상기 3D 이미지의 좌시점과 우시점 영상 내에서 공간상 동일 지점을 나타내는 픽셀 사이의 수평적 위치 차이를 나타냄, 상기 생성된 시그널링 데이터와, 인코딩된 3D 비디오 데이터를 포함하는 디지털 방송 신호를 전송하는 단계를 포함한다.

본 발명의 다른 실시예에 따른, 3D 컨텐츠를 포함하는 디지털 방송 신호를 수신하는 장치는 시그널링 데이터 및 3D 컨텐츠를 위한 3D 비디오 데이터를 포함하는 디지털 방송 신호를 수신하는 수신부, 상기 시그널링 데이터 및 3D 이미지의 우시점을 위한 우영상 픽처 (picture) 와 3D 이미지의 좌시점을 위한 좌영상 픽처를 포함하는 상기 3D 비디오 데이터를, 상기 수신한 디지털 방송 신호로부터 복조하는 복조부, 상기 복조된 시그널링 데이터로부터, 상기 3D 컨텐츠의 3D 서브타이틀을 시그널링하기 위한 정보를 포함하는 서브타이틀 세그먼트를 추출하는 추출부, 여기서, 상기 서브타이틀 세그먼트는 상기 3D 서브타이틀을 위한, 상기 3D 이미지의 영역 내의 적어도 하나 이상의 서브 영역에 적용되는 디스패리티의 값을 가리키는 서브 영역 디스패리티 정보를 포함하고, 상기 디스패리티는 상기 3D 이미지의 좌시점과 우시점 영상 내에서 공간상 동일 지점을 나타내는 픽셀 사이의 수평적 위치 차이를 나타냄, 상기 추출된 서브타이틀 세그먼트에 근거하여, 상기 3D 컨텐츠의 상기 3D 서브타이틀의 디스플레이를 컨트롤하는 제어부를 포함한다.

본 발명에 일 실시예에 따른, 디스패리티의 값은 상기 영역 또는 상기 서브 영역의 각각의 시점 영상에 대칭적으로 적용되는 것을 특징으로 한다.

본 발명에 일 실시예에 따른, 상기 서브타이틀 세그먼트는 상기 3D 이미지의 상기 영역 내에 서브 영역의 존재를 나타내는 정보를 포함하며, 상기 서브 영역 디스패리티 정보에 의하여 가리켜진 상기 디스패리티의 값은, 상기 영역 내의 서브 영역이 존재하지 않는 경우, 상기 영역 전체에 적용되는 것을 특징으로 한다.

본 발명에 일 실시예에 따른, 상기 서브타이틀 세그먼트는 방송 수신기가 각각의 영역에 개별적인 디스패리티 값을 적용할 수 있는 사양이 안되는 경우, 상기 3D 이미지 내의 전체 영역에 적용되는 디폴트 (default) 디스패리티 값을 식별하는 디폴트 디스패리티 정보를 더 포함하는 것을 특징으로 한다.

본 발명에 일 실시예에 따른, 상기 서브 영역 디스패리티 정보는 상기 디스패리티의 값의 정수 부분을 식별하는 정수 파트 정보 및 상기 디스패리티의 값의 분수 부분을 식별하는 분수 파트 정보를 포함하는 것을 특징으로 한다.

본 발명에 일 실시예에 따른, 상기 서브타이틀 세그먼트는 상기 적어도 하나 이상의 서브 영역의 수평적 위치를 식별하는 서브 영역 수평 정보 및 상기 적어도 하나 이상의 서브 영역의 수평적 넓이를 식별하는 서브 영역 넓이 정보를 포함하는 것을 특징으로 한다.

본 발명에 일 실시예에 따른, 상기 서브타이틀 세그먼트는 상기 3D 서브타이틀을 위하여 상기 디스패리티의 값이, 상기 좌시점 영상 및 상기 우시점 영상 중 어느 영상에 적용될 것인지를 식별하는 쉬프트 (shift) 타입 정보를 더 포함하는 것을 특징으로 한다.

본 발명에 따르면, 방송 신호를 통하여 3차원 컨텐츠와 함께 사용되는 3차원 자막을 효율적으로 전송할 수 있다.

또한, 본 발명에 따르면 방송 수신기에서 3차원 자막을 효율적으로 처리할 수 있다.

또한, 본 발명에 따르면 방송 수신기의 처리 성능에 따른 3차원 자막 처리가 가능하도록 한다.

또한, 본 발명에 따르면 2D legacy 방송 수신기와의 호환성을 유지하면서, 3D 비디오 디스플레이가 가능한 방송 수신기에서 3D 효과를 갖는 서브타이틀을 디스플레이할 수 있다.

이하 본 발명의 이해를 돕기 위하여 첨부되는 도면은, 본 발명의 일 실시예를 도시하고 있으며, 상세한 설명과 함께 본 발명의 특징을 설명한다.
도 1은 본 발명의 일 실시예에 따른, 확장 디스플레이 정의 세그먼트 의 신택스(syntax)를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 extended page composition segment의 신택스를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른, display_shift_type에 따른 서브타이틀의 디스플레이 위치를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른, region_shift_type에 따른 서브타이틀의 디스플레이 위치를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른, extended object disparity segment의 신택스를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 확장 서브타이틀 디스플레이 정보로서, 확장(extended) DDS(Display Definition Segment)의 신택스 구조를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 확장 서브타이틀 디스플레이 정보로서, 확장(extended) PCS(Page Composition Segment)의 신택스 구조를 나타낸 도면이다.
도 8은 본 발명의 다른 실시예에 따른, extended object definition segment의 신택스를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 3D 서브타이틀 데이터를 수신하여 처리하는 방송 수신기를 도시한 블록도이다.
도 10은 본 발명의 일 실시예에 따른, 디지털 방송 신호를 수신하는 수신기의 기능 블록을 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른, 3차원 서브타이틀을 송신하기 위하여 처리하는 방법을 나타낸 순서도 이다.

이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.

3D 영상 표현 방법은 2 개의 시점을 고려하는 스테레오스코픽 image 방식과 3 개 이상의 시점을 고려하는 multiple view image 방식을 포함한다. 이에 비해 종래의 single view image 방식은 모노스코픽 영상 방식이라고 지칭할 수 있다.

스테레오스코픽 영상 방식은 일정한 거리로 이격되어 있는 좌측 카메라와 우측 카메라로 동일한 피사체를 촬영하여 획득한 좌우 한 쌍의 영상을 사용한다. 다시점 영상은 일정한 거리나 각도를 갖는 3 개 이상의 카메라에서 촬영하여 획득한 3 개 이상의 영상을 사용한다. 이하에서 스테레오스코픽 영상 방식을 일 실시예로 본 발명을 설명하나 본 발명의 사상은 다시점 영상에도 적용될 수 있다.

스테레오스코픽 영상 또는 다시점 영상은 MPEG(Moving Picture Experts Group)을 포함하는 여러가지 방법으로 압축 부호화되어 전송될 수 있다.

예를 들어, 스테레오 영상 또는 다시점 영상은 H.264/AVC(Advanced Video Coding) 방식으로 압축 부호화되어 전송될 수 있다. 이때 수신 시스템은 H.264/AVC 코딩 방식의 역으로 수신 영상을 복호하여 3D 영상을 얻을 수 있다.

또한 스테레오스코픽 영상의 left view image와 right view image 중 하나 또는 다시점 영상 중 하나의 영상을 기본 계층(base layer) 영상으로, 나머지 영상은 확장 계층(extended layer) 영상으로 할당하고, 기본 계층의 영상은 모노스코픽 영상과 동일한 방식으로 부호화하고, 확장 계층의 영상은 기본 계층과 확장 계층의 영상간의 관계 정보에 대해서만 부호화하여 전송할 수 있다. 기본 계층 영상에 대한 압축 부화화 방식의 예로 JPEG, MPEG-2, MPEG-4, H.264/AVC 방식 등이 사용될 수 있으며, 본 발명은 H.264/AVC 방식을 사용하는 것을 일 실시예로 한다. 상위 계층의 영상에 대한 압축 부호화 방식은 H.264/MVC(Multi-view Video Coding) 방식을 사용하는 것을 일 실시예로 한다.

스테레오스코픽 영상 디스플레이를 위해 AVC 방식에 MVC 방식을 추가로 사용하거나 AVC 만으로 좌/우 image sequence를 코딩한 경우, 해당 3D content를 방송하고자 할 때 고려해야하는 사항 중 하나는 기존의 2D 방송 수신기와의 호환성이다. 이를 위해 3D 영상 디스플레이를 지원하지 않는 종래의 방송 수신기를 위해 좌/우 영상 중 한 시점의 영상은 backward compaptible한 방법으로 코딩을 하여 송신하면, 2D 방송 수신기는 해당 신호만을 인식하여 출력함으로써 기존의 장비에서도 해당 content의 시청이 가능하다. 이하에서 레거시 방송 수신기를 위해 전송되는 시점의 기본 계층 영상을 base view 비디오, 3D 영상 디스플레이를 위해 전송되는 확장 계층 영상을 extended view 비디오라고 호칭할 수도 있다.

이렇게 base view 비디오 데이터와 extended view 비디오 데이터를 전송하면 레거시 (legacy) 2D 방송 수신기에서는 base view 비디오 데이터로부터 2D 영상을, 3D 방송 수신기에서는 base view 비디오 데이터와 extended view 비디오 데이터로부터 3D 영상을 각각 디스플레이할 수 있다.

3차원 컨텐츠가 플레이되는 경우, 3차원 컨텐츠의 특성에 따라, 혹은 서브 타이틀의 용도에 따라, 하나의 화면에 디스플레이되는 서브타이틀의 개수는 복수개가 될 수 있다. 이 경우, 복수개의 서브타이틀은 방송화면에서 동일한 깊이(depth)를 가질 수도 있으나, 3차원 효과를 더욱 효율적으로 누리기 위하여는 서로 다른 깊이를 가져야 하는 경우도 있다.

예를 들면, 3차원 컨텐츠에 다수의 배우가 출연하고, 다수의 배우가 각자의 대사를 동시에 소리내는 경우, 이를 서브타이틀로 표시함에 있어서는 2차원 환경과는 다른 효과를 기대할 수 있다. 즉, 하나의 화면에서 각 배우가 위치하는 깊이(depth)를 고려하여, 해당 배우의 대사를 위한 서브타이틀의 깊이도 달리 조정할 수 있을 것이다.

또 다른 예로, 방송 화면 우측 상단에 표시되는 방송사 로고 등의 서브타이틀은 3차원 컨텐츠 내에서 3차원 효과를 나타내는 깊이의 범위 보다 시청자들에게 더욱 가까운 깊이에서 디스플레이될 수 있고, 이에 반해 3차원 컨텐츠와 관련된 서브타이틀은 상대적으로 시청자들에게 먼 깊이에 디스플레이될 수 있다.

본 발명에 있어서 서브타이틀이란, 자막 뿐만 아니라 기본적인 비디오 데이터 외에 부가적으로 디스플레이되는 이미지, 텍스트 데이터, 그래픽, 로고 등을 포함하는 의미로서 사용된다.

방송 시스템에서, 서브타이틀에 대한 정보로서, 서브타이틀을 디스플레이하는데 필요한 구성, 크기, 위치 등을 포함하는 서브타이틀 디스플레이 정보, 서브타이틀의 디스플레이 색상에 대한 정보를 포함하는 서브타이틀 데이터가 전송된다. 서브타이틀 디스플레이 정보는 서브타이틀이 디스플레이되는데 필요한 디스플레이 윈도우 구성에 대한 디스플레이 정의 정보(display definition information), 페이지 구성 정보(page composition information), region 구성 정보(region composition information), 객체(object) 데이터 정보(object data information) 등을 포함한다. 이하에서, 전송시 신택스 구조적인 의미에서 display definition information은 display definition segment로, page composition informtaion은 page composition segment로, region composition information은 region composition segment로, object data information은 object data segment로 각각 지칭할 수도 있다.

기존의 방송 신호에서는 기본적인 서브타이틀 디스플레이 정보만을 제공하므로, 3D 방송 수신기에서 이를 디스플레이하려는 경우 2D로 표현하거나, 표현을 할 수 없는 경우가 발생할 수 있다. 따라서 서브타이틀 디스플레이 정보에 대하여도 3D 디스플레이를 할 수 있는 정보를 전송해줄 필요가 있으며, 이러한 정보를 사용하여 서브타이틀 데이터를 3D 디스플레이할 수 있는 방송 수신기 및 데이터 처리 방법이 요구된다.

스테레오스코픽 영상 디스플레이의 경우, 좌 시점의 비디오 데이터와 우 시점의 비디오 데이터는 3D 효과를 갖도록 수평 방향으로 일정 간격 쉬프트되어 디스플레이된다. 이때 쉬프트되는 간격과 같이 3D 효과를 나타낼 수 있는 다양한 표현값들이 존재한다. 본 발명의 경우, 일 실시예로서 디스패러티 값을 이러한 표현값으로 설명하도록 한다.

3D 효과는 두 눈의 망막에 각각 비치는 투영체들의 차이로부터 깊이를 인지하는 시각적 지각을 하는 과정으로부터 얻어진다. 두 개의 망막 이미지 사이의 차이는 수평적 디스패리티 (disparity), 망막 디스패리티, 또는 양안 디스패리티라고 칭할 수 있으며, 이하에서는 디스패리티 (disparity) 라고 지칭할 수 있다.

예를 들면, 3D 비디오 데이터 전송시 장면마다 나타내고자 하는 3D 효과가 상이할 수 있는데, 이때 해당 장면들에 대한 디스패러티 값들을 전송하여 수신기가 3D 효과를 제어하여 디스플레이하도록 할 수 있다. 디스패러티 값 외에 depth value, pixel interval, screen size 등 다른 표현 값으로 3D 효과를 나타내어 수신기에서 디스플레이하도록 할 수도 있으나 본 발명에서는 일 실시예로서 디스패러티 값을 사용하여 기술하도록 한다.

종래의 방송 전송 방식으로 서브타이틀 데이터를 전송하는 경우, 3D 방송 수신기는 비디오 데이터는 base view 비디오 데이터와 extended view 비디오 데이터를 수신하여 3D 비디오로서 디스플레이할 수 있으나 서브타이틀 데이터는 3D 디스플레이를 위한 정보가 없어 2D로 디스플레이하여야 하는 문제점이 발생한다. 이러한 경우 서브타이틀은 base view 비디오 또는 extend view 비디오에 디스플레이할 수 밖에 없게 되며, 사용자는 서브타이틀을 영상과 별도로 2D로서 시청하게 되어 눈의 피로감과 어지러움 같은 불편함이 발생할 수 있다.

따라서 종래의 서브타이틀 데이터에 3D 비디오 데이터와 같이 3D 효과에 대한 정보를 함께 전송할 필요가 있다. 이러한 방법으로 종래의 서브타이틀 디스플레이 정보에 3D 효과에 대한 정보를 삽입하거나, 부가적인 서브타이틀 디스플레이 정보를 전송하는 방법이 가능하다.

3차원 서브타이틀을 방송 시스템을 통하여 전송하는 방법에는, 3차원 이미지와 유사하게 좌영상(left view)을 위한 서브타이틀과 우영상(right view)을 위한 서브타이틀을 각각 전송하는 방법이 있다. 다른 방법으로는, 하나의 서브타이틀을 전송하고, 3차원 효과를 위한 디스패리티(disparity) 값을 함께 전송하는 방법이 있다. 서브타이틀의 경우에는 이미지 영상과는 다르게 방송 컨텐츠 화면에서 깊이 변화가 빈번하지 않고, 하나의 서브타이틀 내에서의 깊이 변화가 필요한 경우가 드물기 때문에 디스패리티 값을 이용한 전송 방법이 전송 효율면에서 이점을 가질 수 있다.

디스패리티와 관련한 정보를 방송망을 통하여 전송하기 위하여, 기존의 서브타이틀과 관련한 디스플레이 정보를 제공하는 서브타이틀 세그먼트의 확장 형태 디스패리티와 관련한 정보를 전송하는 방법이 있다. 이러한 방법은 레거시(legacy) 수신기는 확장된 서브타이틀 세그먼트를 수신/처리하지 않도록 하고, 기존의 서브타이틀 세그먼트는 종전과 같이 처리할 수 있게 되어, 3차원 서브타이틀을 제공함에 있어서도 기존의 방송 시스템과 호환성을 유지할 수 있다는 이점이 있다.

서브타이틀 세그먼트의 확장은 디스플레이 정의 세그먼트 (display definition segment), 페이지 컴포지션 세그먼트 (page composition segment), 영역 컴포지션 세그먼트 (region composition segment) 와 오브젝트 데이터 세그먼트 (object data segment)의 각각의 확장 형태로 제공될 수 있다. 이러한 형태를 확장 디스플레이 정의 세그먼트 (extended display definition segment), 확장 페이지 컴포지션 세그먼트 (extended page composition segment), 확장 영역 컴포지션 세그먼트 (extended region composition segment) 와 확장 오브젝트 데이터 세그먼트 (extended object data segment)로 지칭할 수 있다. 또 다른 형태로는 디스패리티와 관련한 정보를 제공하는 세그먼트를 정의하여 서브타이틀 세그먼트에 포함시킬 수도 있다. 즉, 확장 디스플레이 정의 세그먼트 (extended display definition segment), 확장 페이지 컴포지션 세그먼트 (extended page composition segment), 확장 영역 컴포지션 세그먼트 (extended region composition segment) 와 확장 오브젝트 데이터 세그먼트 (extended object data segment)에서 디스패리티와 관련하여 추가되는 정보들을 하나의 세그먼트로 모아 정의할 수 있다.

이러한 서브타이틀 세그먼트는 기존의 방송 시스템에서의 서브타이틀 세그먼트 처리와 유사하게 송신부에서 처리되어, 방송 신호를 통하여 방송 수신기로 전송될 수 있다.

도 1은 본 발명의 일 실시예에 따른, 확장 디스플레이 정의 세그먼트 의 신택스(syntax)를 나타낸 도면이다.

본 발명의 일 실시예에 따른, 확장 디스플레이 정의 세그먼트 (extended display definition segment; EDDS)는 3DTV에서 서브타이틀 (subtitle) 을 렌더링 (rendering) 하기 위해 추가되는 그래픽 영역 관련 정보를 정의하기 위한 정보를 포함한다. EDDS는 스트레오스코픽 비디오 (Stereoscopic Video) 방송을 위한 서브타이틀 서비스가 제공될 때 3D 비디오의 오브젝트 (object)와 그래픽 영역이 겹쳐서 전체적인 입체감을 저해할 수 있는 현상을 방지하기 위한 정보를 제공할 수 있다.

EDDS는 확장 뷰 (Extended View) 에 해당하는 디스플레이 정의 (display definition) 정보를 포함할 수 있다. 이 때, page_id 값은 베이스 뷰 (Base View) 에 해당하는 DDS의 page_id 값과 동일하게 설정되는 것을 일 실시예로 한다. segment_type 필드는 EDDS라는 것을 identify 할 수 있는 값을 가질 수 있다.

EDDS에 포함되는 필드에 대한 설명은 아래와 같다.

sync_byte 필드는 8 비트 필드로 ‘0000 1111’의 값으로 코딩 될 수 있다. PES 패킷 내에서, 디코더는 segment_length 필드를 근거로 세그먼트를 파싱할 때 동기화를 확인하여 위하여 sync_byte 필드를 사용할 수 있다. 따라서, 트랜스포트 패킷의 로스 (loss)를 판단할 수 있다.

segment_type 필드는 세그먼트 데이터 필드에 포함된 데이터의 타입을 가리킨다. 예를 들면, segment_type 필드는 이 필드를 포함하는 세그먼트가 디스플레이 정의 세그먼트 (display definition segment), 페이지 컴포지션 세그먼트 (page composition segment), 영역 컴포지션 세그먼트 (region composition segment), 오브젝트 데이터 세그먼트 (object data segment), 확장 디스플레이 정의 세그먼트 (extended display definition segment), 확장 페이지 컴포지션 세그먼트 (extended page composition segment), 확장 영역 컴포지션 세그먼트 (extended region composition segment), 확장 오브젝트 데이터 세그먼트 (extended object data segment) 혹은 별도로 정의된 디스패리티 관련 세그먼트인지를 식별한다.

page_id 필드는 현재 subtitling_segment에 포함된 데이터의 서브타이틀 서비스를 식별한다. 서브타이틀링 디스크립터 내에서 컴포지션 페이지 식별자로 시그널링된 page_id 필드값의 세그먼트들은 특정 서브타이틀 서비스를 위한 서브타이틀링 데이터를 전송한다. 서브타이틀링 디스크립터 내에서 부수적인 페이지 식별자로 시그널링된 page_id 필드의 세그먼트들은 다수의 서브타이틀 서비스들과 공유될 수 있는 데이터를 전송한다.

segment_length 필드는 즉시 뒤따르는 세그먼트의 페이로드에 포함된 byte의 수를 식별한다.

edds_version_number 필드는 확장 DDS의 버전을 가리킨다.

display_width 필드는 확장 DDS와 관련한 서브타이틀링 스트림에 의한 서브타이틀 디스플레이의 최대 수평 넓이의 픽셀을 가리킨다.

display_height 필드는 확장 DDS와 관련한 서브타이틀링 스트림에 의한 서브타이틀 디스플레이의 최대 수직 넓이의 픽셀을 가리킨다.

display_shift_type 필드는 left view에 대한 graphic/subtitle 과 right view에 대한 graphic/subtitle의 출력 방법을 특정한다. 보다 상세하게는, 좌영상과 우영상 중 어느 영상을 기준으로 서브타이틀의 디스패리티 값을 적용할지에 대한 정보를 제공한다. 이 경우, 좌영상과 우영상 중 어느 영상에 대하여만 디스패리티를 적용할 수도 있고, 좌영상과 우영상 각각에 해당 디스패리티 정보를 대칭적으로 적용할 수 있다.

아래는 본 발명의 일 실시예에 따른, display_shift_type 필드의 값에 따른 의미를 정의하나, 각 값에 따라 정의된 내용은 해당 값에 한정되지 아니하고, 다른 값이 다른 의미를 가질 수 있음을 밝혀둔다.

display_shift_type 필드의 값이 ’00’으로 셋팅된 경우, 3D subtitle 출력을 위한 left 및 right view graphic plane의 blending 과정에서 left view에 대한 graphic/subtitle의 위치는 변하지 않는다. 즉, display definition segment (DDS), page composition segment (PCS) 등을 통하여 전송되는 서브타이틀과 관련된 정보는 좌영상에서의 서브타이틀 관련 정보로 사용된다. 이때, right view는 reference_disparity에 명시된 값에 의해 base view (ex. 좌영상) 의 graphic/subtitle의 위치로부터 이동하여 출력할 수 있다.

display_shift_type 필드 값이 ’01’으로 셋팅된 경우, right view graphic plane은 기존의 2D 좌표 또는 원래 의도된 좌표를 사용하고 left view graphic plane에 출력될 subtitle은 reference_disparity 만큼 오른쪽으로 shift 시켜 출력한다. 이 경우, 우영상이 base view가 되고 좌영상이 extended view가 되어 reference_disparity 값이 좌영상에 적용될 수 있다.

display_shift_type 필드 값이 ’10’으로 셋팅된 경우, left view graphic plane에 출력될 subtitle은 (reference_disparity / 2) 만큼 오른쪽으로 shift 시키고 right view graphic plane에 출력될 subtitle은 (reference_disparity / 2) 만큼 왼쪽으로 shift 시켜 출력한다.

보다 상세히, 서브타이틀이 정확한 깊이와 수평적 위치에 디스플레이되는 것을 보장하기 위하여, 시그널링된 디스패리티 값은 좌/우 영상에 대칭적으로 적용될 수 있고, 각각의 좌/우 영상에 포함된 오브젝트에 대칭적으로 적용될 수 있다. 양수의 디스패리티 값 x는 좌영상 서브타이틀 이미지에서 x 픽셀 만큼의 좌측으로의 이동을 초래하며, 우영상 서브타이틀 이미지에서 x 픽셀 만큼의 우측으로의 이동을 초래할 수 있다. 음수의 디스패리티 값 x는 좌영상 서브타이틀 이미지에서 x 픽셀 만큼의 우측으로의 이동을 초래하며, 우영상 서브타이틀 이미지에서 x 픽셀 만큼의 좌측으로의 이동을 초래할 수 있다.

reference_disparity 필드는 Left와 Right Image의 포함되는 서브타이틀 사이의 disparity의 절대값을 나타낸다. 즉, 디스패리티 값은 양수뿐만 아니라 음수를 가질수도 있으므로, 위 필드에서는 그 값에 대한 절대값만 시그널링 한다.

방송 수신기는 이 값을 이용해 임의의 좌표에 OSD, graphic 또는 subtitle 을 출력할 때 3DTV의 입체영상신호와 겹쳐지지 않는 범위를 유추할 수도 있다. 즉, OSD, graphic, subtitle 등은 적어도 3DTV의 입체영상신호보다는 사용자에 더 가까이 위치하는 것이 바람직하다.

또한, 일 실시예로, 3DTV의 입체영상신호가 모두 screen (display) 뒤 쪽으로 형성된다면 (positive disparity only) reference_disparity는 0으로 설정할 수 있다.

도 2는 본 발명의 일 실시예에 따른 extended page composition segment의 신택스를 나타낸 도면이다.

도 2를 참조하면, 페이지 컴포지션 세그먼트 (page composition segment; PCS) 는 디스플레이되는 서브타이틀의 구성 컴포넌트들에 대한 정보를 포함한다. PCS는 디스플레이되는 페이지를 구성하는 적어도 하나의 영역에 대한 사용 정보 또는/및 위치 정보를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 도 2에 도시된 확장 PCS (extended page composition segment; EPCS)은 수신기가 확장 영상에서의 서브타이틀의 출력을 조절할 수 있도록 하기 위하여 전송된다.

Sync_byte 필드, segment_type 필드, page_id 필드, segment_length 필드는 앞서 설명한 EDDS의 해당 필드와 유사한 역할을 한다.

page_time_out 필드는 초단위로 표현될 수 있으며, 페이지 인스턴스가 더 이상 유효하지 않은 이후, 그리고 스크린에서 순차적으로 지워지는 주기를 가리킨다. 위 주기 전에는 그것이 재정의되지 않는다. Time-out 기간은 페이지 인스턴스가 처음으로 디스플레이된 때 시작된다. page_time_out 필드의 값은 이것이 재정의되기 전까지 각각의 페이지 인스턴스에 적용된다. Time-out 기간의 목적은 통합 수신 디코더 (Integrated Receiver Decoder; IRD) 가 페이지 인스턴스의 삭제 또는 재정의를 놓친 경우, 페이지 인스턴스가 스크린에 영원히 남아있는 현상을 피하기 위한 것이다. Time-out 기간은 IRD에서 매우 정확하게 카운트되어야 할 필요는 없다. 반응 정확도가 -0에서 +5 정도이면 충분히 정확하다.

page_version_number 필드는 PCS의 버전을 가리킨다. 이 PCS의 컨텐츠 중 어느 하나라도 변경되는 경우, 버전 넘버는 증가한다.

page_state 필드는 PCS에서 묘사된 서브타이틀링 페이지 인스턴스의 상태를 가리킨다.

processed_length 필드는 디코더에 의하여 처리된 while-loop 내의 필드(들)의 바이트 수를 나타낸다.

corresponding_region_id 필드는 EPCS가 적용되는 region을 식별한다. corresponding_region_id 필드는 PCS에 정의된 region 중 대응되는 region의 id를 명시할 수 있다.

하나의 페이지에는 복수의 region이 존재할 수 있는데, 각 region에서 디스플레이되는 서브타이틀이 존재할 수 있다. 이때, corresponding_region_id 필드는 특정 서브타이틀이 어느 region과 관련되어 있는지 정의하는 역할을 한다.

region_shift_type 필드는 region 단위로 left view에 대한 graphic/subtitle 과 right view에 대한 graphic/subtitle의 출력 방법을 다르게 정의하는 역할을 한다. 즉, region_shift_type 필드는 region 단위로 전술한 display_shift_type의 정보를 제공하는 역할을 한다.

이하에서는 region_shift_type 필드 값에 따른 정의를 설명한다. 전술한 바와 같이, 이러한 정의는 region_shift_type 필드의 특정 값에 한정되는 것은 아니다.

region_shift_type 필드가 ‘00’으로 셋팅된 경우, 3D subtitle 출력을 위한 left 및 right view graphic plane의 blending 과정에서 left view에 대한 graphic/subtitle의 위치는 변하지 않는다. 즉, PCS 등에서 수신된 정보를 좌영상을 위하여 그대로 사용할 수 있다. right view에서는 서브타이틀을 region_disparity에 명시된 값에 의해 base view (좌영상) 의 graphic/subtitle의 위치로부터 이동하여 출력된다.

region_shift_type 필드가 ‘01’으로 셋팅된 경우 right view graphic plane은 2D 좌표 또는 원래 의도된 좌표를 사용하고 left view graphic plane에 출력될 subtitle은 region_disparity의 값만큼 shift 시켜 출력한다. 즉, 우영상을 기준으로 좌영상의 서브타이틀이 shift된다.

region_shift_type 필드가 ‘10’으로 셋팅된 경우 left view graphic plane에 출력될 subtitle은 (region_disparity / 2) 만큼 오른쪽으로 shift 시키고 right view graphic plane에 출력될 subtitle은 (region_disparity / 2) 만큼 왼쪽으로 shift 시켜 출력한다. 이 경우, region_disparity 값의 적용은 전술한 display_shift_type에 대한 설명과 유사하다.

region_shift_type 필드가 ‘11’으로 셋팅된 경우, left/right 여부에 관계없이 base view에 출력될 좌표는 region_horizontal_address로 고정되고, extended view에 출력될 좌표는 region_disparity 값으로 고정된다.

region_disparity 필드는 해당되는 region_id (corresponding_region_id)에 대해 base view 및 extended view에서의 horizontal 좌표의 차이를 의미한다. 즉, 해당 region에 적용될 Left와 Right Image 사이의 disparity의 절대값을 나타낸다.

도 3은 본 발명의 일 실시예에 따른, display_shift_type에 따른 서브타이틀의 디스플레이 위치를 나타낸 도면이다.

수신기에서 3D subtitle을 출력하기 위해서는 stereoscopic video를 구성하는 두 개의 View, 즉 Base View와 Extended View에 대해 각각 대응되는 graphic plane을 출력해야 한다.

수신기는 DDS를 이용해 OSD, graphic, subtitle 등이 출력되는 graphic plane의 기본 정보를 파악하도록 한다. 또한 EDDS를 이용해 graphic plane의 depth 정보를 파악한다.

EDDS를 통해 전체적인 reference disparity 값을 signaling 하므로 화면 내의 서로 다른 subtitle region이 모두 동일한 disparity (depth)를 갖는다. 이 경우, reference disparity 값은 region 또는 sub-region 별로 다른 디스패리티를 적용할 수 없는 수신기가 사용할 수 있는 default disparity 값으로 사용될 수 있다. 또는 receiver 자체의 알고리즘에 의해, reference disparity 값을 참조하여 어느 정도 다른 disparity 값을 갖게 할 수도 있을 것이다.

본 발명에 일 실시예에 따른 수신기는 DDS를 수신해 graphic plane의 크기 정보, 전체 화면 내 offset 정보 등을 파악한다. 이 때, DDS가 없는 경우에는 SD resolution (720x576)의 graphic plane으로 해석하는 것을 본 발명의 일 실시예로 한다.

수신기는 PCS를 수신해 page에 대한 정보 파악, 해당 page에 포함된 각 region의 위치 정보 등을 파악한다.

수신기는 RCS (Region Composition Segment), ODS (Object Definition Segment), CLUT (Color Look-up Table)을 이용해 region을 구성하는 object의 정보, 실제 bit-map object에 대한 정보, subtitle graphic data를 rendering 하기 위해 필요한 color 정보를 획득할 수 있다.

수신기는 3차원 서브타이틀을 위하여, EDDS를 이용해 reference disparity 값을 파악한다.

각 subtitle region을 base view 및 extended view에 해당하는 graphic plane에 출력한다. 이때, 서브타이틀에 적용되는 디스패리티는 도 3에 도시된 바에 따를 수 있다. 즉, base view와 extended view가 각각 left 또는 right view인지 여부, 그리고 disparity_shift_type에 따라 어느 graphic plane (left or right)에 reference disparity을 적용할지, 또는 어느 좌표에 서브타이틀이 위치할지가 결정된다. 좌표의 shift (offset) 정도는 EDDS의 reference_disparity를 이용한다.

left 및 right graphic plane에 각각 출력되고, 서로 대응되면서 3차원 효과를 나타내는 region에 대한 서브타이틀은 동일하며, 단지 각각의 영상에서 출력되는 좌표에 offset이 존재할 뿐이다.

도 3에 도시된 바와 같이, display_shift_type의 값이 ‘00’으로 셋팅된 경우, 좌영상에서의 서브타이틀은 region_horizontal_address를 기준으로 위치가 결정되고, 우영상에서의 서브타이틀은 region_horizontal_address에서 reference_disparity 값을 고려한 값을 기준으로 위치가 결정될 수 있다.

display_shift_type의 값이 ‘01’로 셋팅된 경우, 우영상에서의 서브타이틀은 region_horizontal_address를 기준으로 위치가 결정되고, 좌영상에서의 서브타이틀은 region_horizontal_address에서 reference_disparity 값을 고려한 값을 기준으로 위치가 결정될 수 있다.

display_shift_type의 값이 ‘10’으로 셋팅된 경우, 좌영상과 우영상은 각각 region_horizontal_address에서 reference_disparity 값의 1/2을 고려한 값을 기준으로 위치가 결정될 수 있다. 또는 region_horizontal_address에서 reference_disparity 값을 좌영상, 우영상 각각의 shift 값으로 사용할 수도 있다.

본 발명의 일 실시예에 따르면, 3DTV에서 EPG, Graphic, Menu와 같은 OSD 화면을 출력할 때에도, EDDS를 통해 수신된 reference disparity를 이용할 수 있다. 이 때, 도 3과 같이 left 및 right graphic plane에 출력되는 data의 좌표 조절을 수행하며, OSD 화면이 full screen의 범위를 넘는 경우에는 적절한 cropping 및 scaling이 필요할 수 있다.

수신기는 화면에서 출력할 EPG, Graphic, Icon, Menu data 등을 준비하고, 출력 직전에 reference_disparity를 이용해 최종 offset (shift) 값을 결정할 수 있다. 만약 OSD 화면이 full screen의 범위를 넘는 경우에는 reference disparity에 의해 화면 바깥으로 나가는 영역이 발생하는데 이 영역은 단순 cropping 해서 출력할 수도 있다.

만약 crop을 했을 때 중요하거나 의미 있는 부분이 제외된다면 crop 하기 전에 scaling을 수행해야 할 수 있다. 즉, horizontal size가 1920인 graphic data를 출력할 때, offset 값이 D라고 하면 D 만큼의 영역이 출력과정에서 손실되게 된다. 이 때, 실시 예로 전체 graphic 화면에 대해 (1920) / (1920 + D)의 scaling factor를 적용해 left 및 right graphic data를 출력하는 방법을 사용할 수도 있다. Scaling이 수행된 경우에는 cropping 이 별도로 필요하지 않을 것이나, 필요한 경우가 생기면 cropping도 함께 수행할 수 있다

도 4는 본 발명의 일 실시예에 따른, region_shift_type에 따른 서브타이틀의 디스플레이 위치를 나타낸 도면이다.

region_shift_type의 값이 ‘00’, ‘01’, ‘10’으로 셋팅된 경우는 display_shift_type의 경우와 유사하므로 추가의 설명은 생략한다.

region_shift_type의 값이 ‘11’로 셋팅된 경우, 좌영상, 우영상의 구분은 없으며, base view에 대하여는 region_horizontal_address를 기준으로 서브타이틀 등의 위치가 결정되고, extended view에 대하여는 region_disparity 값을 이용하여 서브타이틀 등의 위치가 결정된다. 이때, region_disparity 값은 offset 값이 아닌, extended view에서 서브타이틀 등이 위치하여야할 좌표로 정의될 수 있다.

전술한 바와 같이, 서브타이틀의 디스패리티 값을 시그널링하기 위하여 EPCS를 사용하는 경우, region 마다 extended view에서의 좌표를 명시할 수 있으므로 각 subtitle region 단위로 독립적인 disparity (depth)를 가질 수 있다.

EPCS를 이용하여 3차원 서브타이틀을 디스플레이하는 과정은 다음과 같다.

2D subtitle과 동일한 과정을 거쳐 subtitle region에 대한 좌표를 결정하고, EPCS의 region_disparity_value를 이용해 각 region에 대한 left 및 right graphic plane에서의 disparity 값을 파악한다.

각 subtitle region을 base view 및 extended view에 해당하는 graphic plane에 출력한다. 이때, 각 base view 또는 extended view에 포함되는 서브타이틀등의 최종 좌표는 도 4에 도시된 방법을 따른다. 즉, base view와 extended view가 각각 left 또는 right view인지 여부, 그리고 disparity_shift_type에 따라 어느 graphic plane (left or right)에 기본 서브타이틀과 offset을 반영한 서브타이틀이 출력될지, 또는 어느 좌표에 위치 할지가 결정된다. 좌표의 shift (offset) 정도는 해당 region에 대한 region_disparity_value를 이용할 수 있다.

EDDS가 없는 경우도 있을 수 있는데, 이 경우에는 EPG, Graphic, Menu와 같은 OSD 화면을 출력할 때 사용할 수 있는 reference disparity가 없다. 이러한 경우에는 receiver가 현재 display 되는 region에 대한 region_disparity_value 들 중에서 maximum 절대값을 갖는 값을 선택해 임의로 reference disparity 값처럼 사용할 수도 있을 것이다.

본 발명의 일 실시예에 따른, 수신기에서 3차원 서브타이틀을 처리하는 과정을 정리하면 다음과 같다.

수신기가 방송 스트림을 수신한다. 방송 스트림에는 service information이 포함되어 있는데, 수신기는 이 중 Program Map Table (PMT)를 파싱한다.

수신기는 파싱된 PMT 내에서 subtitling_descriptor 를 파싱하고, subtitling_descriptor의 subtitling_type 필드를 이용하여 특정 3차원 컨텐츠에 대한 3차원 서브타이틀이 존재하는 지 판단한다. 이 때, 특정 3차원 컨텐츠에 대한 3차원 서브타이틀이 존재하는 것으로 판단되면, 시청자가 3차원 서브타이틀을 디스플레이 할 것인지 선택할 수 있도록 OSD 등을 통하여, 3차원 서브타이틀이 특정 3차원 컨텐츠를 위하여 존재함을 화면에 디스플레이 할 수 있다.

수신기는 방송 스트림 내에 포함된 서브타이틀관련 정보를 포함하는 세그먼트를 전송하는 패킷을 식별한다. 예를 들면, data_identifier 필드의 값이 0x20이고 subtitle_stream_id 값이 0x00인 PES 패킷을 식별하여 해당 패킷에서 서브타이틀의 시그널링과 관련된 세그먼트를 파싱한다.

이때, 수신기는 segment_type 필드 값을 이용하여 해당 세그먼트가 어떠한 세그먼트에 해당되는지 판단할 수 있다.

예를 들면, segment_type 필드가 0x10이면 base view를 위한 page composition segment 로, 0x11 이면 base view를 위한 region composition segment 로, 0x12 이면 base view와 extended view를 위한 CLUT definition segment 로, 0x13 이면 base view를 위한 object data segment 로, 0x14이면 base view를 위한 display definition segment 로, 0x40 이면 extended view를 위한 page composition segment로, 0x41 이면 extended view를 위한 region composition segment로, 0x43 이면 extended view를 위한 object data segment, 0x44 이면 extended view를 위한 display definition segment 로 판단할 수 있다.

수신기는 DDS 또는/및 PCS를 이용하여 base view에 대한 서브타이틀의 디스플레이 정보를 획득할 수 있다. 또한, 수신기는 object data segment (ODS) 에 포함된 pixel-data_sub-block 데이터를 디코딩 하여 Base View graphic plane에 출력할 logo, subtitle에 대한 pseudo-color value를 획득할 수 있다. 또한, CLUT definition segment를 이용해 pseudo-color를 실제 display에서 출력할 색상 정보로 변환할 수 있다. 즉, Base view 그래픽에 출력할 subtitle의 색상 정보를 획득할 수 있다.

다음으로, 수신기는 EDDS 및/또는 EPCS를 이용해 Extended View에 대한 subtitle의 크기, 위치, object 구성 정보 등의 디스플레이 정보를 파악한다. 이 때, display_shift_type 또는 region_shift_type 등에 의해 Base view 및 Extended view에 위치하는 subtitle의 좌표가 보정될 수 있다. 이 과정에서 본 발명의 실시예에서는, 각각의 region level에서 subtitle의 좌표를 결정할 때, EPCS의 정보가 EDDS의 정보보다 우선하도록 설정할 수 있다. 즉, display_shift_type 또는 disparity 값에서 conflict가 있을 때 EPCS의 정보가 EDDS의 정보를 override 할 수 있다.

도 5는 본 발명의 일 실시예에 따른, extended object disparity segment의 신택스를 나타낸 도면이다.

본 발명의 일 실시예에 따르면, 3차원 이미지에 포함되는 region 별로 disparity 정보를 적용할 수도 있고, 해당 region 내에서도 sub-region 또는 object 별로 disparity 정보를 다르게 적용할 수도 있다. 이를 위한 추가적인 정보는 extended object disparity segment (EODS) 에 포함될 수도 있고, disparity와 관련한 정보를 제공하는, 새롭게 정의 세그먼트에 포함될 수도 있다.

ODS는 다수의 디스플레이되는 오브젝트들에 대한 데이터를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 수신기가 extended view에서 서브타이틀의 출력을 제어할 수 있도록 도 5에 도시된 EODS가 전송될 수 있다.

Disparity_version_number 필드는 EODS의 버전/업데이트 정보를 식별한다.

Region_id 필드는 페이지 내의 region을 식별하고, object_id 필드는 region 내에 포함되는 object를 식별한다.

target_view_position 필드는 Object Disparity Segment의 정보를 이용해 disparity가 적용된 3D subtitle 구현시 어느 view가 기준이 되는지 나타낼 수 있다. 예를 들어, 기존 2D subtitle 방식으로 산정된 horizontal address가 N이라고 할 때, 이 필드의 값이 ‘0’인 경우에는 base view 및 enhancement view에서의 좌표는 각각 N, N + object_disparity_value가 된다. 반면 이 필드의 값이 ‘1’인 경우에는 base view 및 enhancement view에서의 object에 대한 horizontal address는 각각 N ? object_disparity_value와 N 의 값을 갖는다.

object_disparity_value 필드는 target_view_position에 적용되는 object와 다른 view postion에 적용되는 object 사이의 disparity 값을 의미하며 이 값은 left와 right view 사이의 대응되는 subtitle object의 horizontal displacement를 나타낸다.

target_view_position 필드와 object_disparity_value 필드로 인하여 결정된 disparity는 region_id 필드와 object_id 필드로 식별되는 object에 대하여 적용될 수 있다.

수신기에서 각 object 별로 disparity를 적용하여 3차원 서브타이틀을 디스플레이하는 과정은 다음과 같다. 이하에서 설명하는 과정은 하나의 실시예이며, 이중 일부 변경되거나, 생략/추가되는 과정이 발생할 수도 있다.

예를 들면, segment_type 필드가 0x10이면 base view 를 위한 page composition segment로, 0x11 이면 base view를 위한 region composition segment로, 0x12 이면 base view와 extended view를 위한 CLUT definition segment로, 0x13 이면 base view를 위한 object data segment로, 0x14이면 base view를 위한 display definition segment, 0x43 이면 extended view를 위한 object data segment로 판단할 수 있다.

수신기는 EODS에 포함된 region_id 및 object_id를 이용하여, 3차원 서브타이틀이 적용되는 region 및 object를 식별한다.

수신기는 DDS 또는/및 PCS를 이용하여 base view에 대한 서브타이틀의 디스플레이 정보를 획득할 수 있다. 또한, 수신기는 object data segment (ODS) 에 포함된 pixel-data_sub-block 데이터를 디코딩 하여 Base View graphic plane에 출력할 logo, subtitle에 대한 pseudo-color value를 획득할 수 있다. 또한, CLUT definition segment를 이용해 pseudo-color를 실제 display에서 출력할 색상 정보로 변환할 수 있다. 즉, Base view graphic에 출력할 subtitle의 color 정보를 획득할 수 있다.

다음으로 EODS에 포함된 object_disparity_value를 이용해 Extended View graphic plane에서 이미 decoding 된 object를 출력할 위치 정보를 파악한다. 이때, 수신기는 target_view_position 정보를 이용해 3D subtitle의 각 view plane에서의 좌표를 결정하고, 두 개의 graphic plane에 대한 3D formatting을 수행함으로써 3D graphic / subtitle / logo를 출력한다.

도 6은 본 발명의 일 실시예에 따른 확장 서브타이틀 디스플레이 정보로서, 확장(extended) DDS(Display Definition Segment)의 신택스 구조를 나타낸 도면이다.

DDS는 DVB 서브타이틀이 랜더링(rendering)되는 TV image의 디스플레이 폭(width)과 높이(height)를 나타내는 정보를 포함한다. 다시 말해, DDS는 디스플레이될 서브타이틀 스트림이 준비된 비디오 이미지의 디스플레이 사이즈를 나타낸다. 본 발명의 일 실시예에서는, 도 6과 같은 확장 DDS(DDS_EXT)를 전송하여 수신기에서 extend view에서의 서브타이틀 출력을 제어도록 한다.

도 6의 확장 DDS의 각 필드에 대한 설명은 이하와 같다.

dds_version_number 필드는 확장 DDS의 버젼 정보를 나타낸다.

display_window_flag 필드는 확장 DDS와 연관된 서브타이틀 디스플레이 세트가 display_width와 display_height에 의하여 정의되는 디스플레이 사이즈 내의 윈도우 내에서 렌더링(rendering) 되는지 여부에 대한 정보를 가리킨다. 또는 display_width와 display_height에 의하여 정의되는 사이즈에 의하여 직접적으로 렌더링되는지 여부를 가리킬 수도 있다.

display_width 필드는 확장 DDS와 연관된 서브타이틀링 스트림에 의한 디스플레이의 추정되는 픽셀의 최대 수평적 넓이를 가리킨다.

display_height 필드는 확장 DDS와 연관된 서브타이틀링 스트림에 의한 디스플레이의 라인의 최대 수직적 높이를 가리킨다.

display_window_horizontal_position_minimum 필드는 디스플레이의 맨 좌측 픽셀을 참조하여, 서브타이틀 디스플레이의 맨 좌측 픽셀을 가리킨다.

display_window_horizontal_position_maximum 필드는 디스플레이의 맨 좌측 픽셀을 참조하여, 서브타이틀 디스플레이의 맨 우측 픽셀을 가리킨다.

display_window_vertical_position_minimum 필드는 디스플레이의 최상단 라인을 참조하여, 서브타이틀 디스플레이의 최상단 라인을 가리킨다.

display_window_vertical_position_maximum 필드는 디스플레이의 최상단 라인을 참조하여, 서브타이틀 디스플레이의 최하단 라인을 가리킨다.

이 필드들은 DDS에 이미 포함되어 전송될 수도 있다. 이러한 경우에는, DDS에서 전송된 중복되는 필드들에 대한 정보는 생략하고, 이하의 정보들만을 전송할 수도 있다.

page_id 필드는 서브타이틀이 디스플레이되는 페이지에 대한 식별자를 나타낸다. page_id 값의 경우, base view와 extended view에서 동일한 페이지에 서브타이틀을 디스플레이할 것이므로, base view에 해당하는 DDS의 page_id 값과 동일하게 설정되어 전송될 수 있다.

segment_type 필드는 기존의 DDS를 위한 값(예를 들면 0x14)와는 다른 값을 가져야 하며, 확장 DDS라는 것을 식별할 수 있는 값(예를 들면 0x44)이어야 한다.

target_view_position 필드는 확장 DDS가 적용되는 view position을 나타낸다. 다시 말해, 스테레오스코픽 서브타이틀 디스플레이를 위한 viewpoint information을 나타낸다. 예를 들면, 해당 확장 DDS의 서브타이틀 디스플레이가 left image에 적용되면 ‘0’으로, right image에 적용되면 ‘1’로 설정될 수 있다.

minimum_disparity_value 필드는 left image와 right image를 이용해 표현 가능한 disparity 값의 최소값을 나타낸다. 이 필드의 disparity 값이 감소할수록, 즉 음의 값을 가질수록 screen의 앞쪽에 image가 형성된다.

maximum_disparity_value 필드는 left image와 right image를 이용해 표현 가능한 disparity 값의 최대값을 나타낸다. 이 필드의 disparity 값이 증가할수록, 즉 양의 값을 가질수록 screen의 안쪽에 image가 형성된다.

확장 DDS는 minimum_disparity_value 필드 및 maximum_disparity_value 필드를 통해 서브타이틀 디스플레이시 부여할 수 있는 디스패러티 값의 범위를 정의할 수 있다.

확장 DDS는 상술한 바와 같이, DDS와의 관계에서 각각의 서브타이틀에 대한 viewpoint 할당에 대한 정보, 3D 효과에 대한 정보(disparity 값들)을 포함함으로써, 수신기에서 3D 효과를 갖는 서브타이틀의 디스플레이가 가능하게 한다.

도 7은 본 발명의 일 실시예에 따른 확장 서브타이틀 디스플레이 정보로서, 확장(extended) PCS(Page Composition Segment)의 신택스 구조를 나타낸 도면이다.

PCS는 디스플레이되는 서브타이틀의 구성 요소들에 대한 정보를 포함한다. PCS는 이러한 구성 요소로서 디스플레이되는 페이지를 구성하는 적어도 하나의 리젼(region)에 대한 사용 및 positioning에 대한 정보를 포함할 수 있다. 본 발명의 일 실시예에서는, 도 7과 같은 확장 PCS(PCS_EXT)를 전송하여 수신기에서 extend view에서의 서브타이틀 출력을 제어도록 한다.

도 7의 확장 PCS의 각 필드에 대한 설명은 이하와 같다.

page_id 필드는 서브타이틀이 디스플레이되는 페이지에 대한 식별자를 나타낸다. page_id 값의 경우, base view와 extended view에서 동일한 페이지에 서브타이틀을 디스플레이할 것이므로, base view에 해당하는 PCS의 page_id 값과 동일하게 설정되어 전송될 수 있다.

page_time_out 필드는 초단위로 표현될 수 있으며, 페이지 인스턴스가 더 이상 유효하지 않은 이후, 그리고 스크린에서 순차적으로 지워지는 주기를 가리킨다. 위 주기 전에는 그것이 재정의되지 않는다.

page_version_number 필드는 확장 PCS의 버전을 가리킨다.

page_state 필드는 확장 PCS에서 묘사된 서브타이틀링 페이지 인스턴스의 상태를 가리킨다.

region_id 필드는 페이지 내에서 영역 (region)의 유니크한 식별자를 가리킨다. region_id 또한 base view와 extended view에서 동일한 region에서 서브타이틀을 디스플레이할 것이므로, base view에 해당하는 PCS의 region_id 값과 동일하게 설정되어 전송될 수 있다.

region_horizontal_address 필드는 현재 region의 좌측 최상단의 픽셀의 수평적 위치를 가리킨다. 유효한 픽셀들의 맨 좌측 픽셀의 수평적 위치는 0 이다. 그리고, 픽셀의 위치는 좌측에서 우측으로 가면서 증가한다.

region_vertical_address 필드는 이 region의 최상단 라인의 수직적 위치를 가리킨다. 프레임의 최상단 라인은 0 이다. 그리고, 라인 위치는 상단에서 하단으로 가면서 하나씩 증가한다.

target_view_position 필드는 확장 PCS가 적용되는 view position을 나타낸다. 즉, 스테레오스코픽 서브타이틀 디스플레이를 위한 viewpoint information을 나타낸다.예를 들어, 해당 확장 PCS의 서브타이틀 디스플레이가 left image에 적용되면 ‘0’으로, right image에 적용되면 ‘1’로 설정될 수 있다.

region_disparity_value 필드는 left image에 적용되는 region과 right image에 적용되는 region 사이의 disparity 값을 나타낸다. 이 필드 값은 target view를 기준으로 다른 view의 horizontal displacement를 나타낸다. 이 필드값을 전송하는 경우, region_horizontal_address 필드, region_vertical_address 필드는 redundent할 수 있으므로, 전송시 생략할 수도 있다.

예를 들어, 확장 PCS의 target_view_positon 필드의 필드값이 ‘1’이고, region_disparity_value 필드의 필드값이 ‘20’이며, PCS의 region_horizontal_address 필드의 필드값이 N이라고 가정하자. 이 경우, 확장 PCS에 따른 서브타이틀이 right image로, PCS에 따른 서브타이틀이 left image로 디스플레이된다. 이때 left image에서 디스플레이되는 서브타이틀의 가로 위치는 N이며, right image에서 디스플레이되는 서브타이틀의 가로 위치는 N-20이 되어, 해당하는 가로 위치의 차이에 따라 양안 시차가 발생하여, 3D 효과가 발생하게 된다.

이하에서는, 본 발명의 일 실시예에 따른 스테레오스코픽 서브타이틀 디스플레이를 위한 서브타이틀 디스플레이 정보의 구성 및 처리에 대하여 설명한다.

먼저, 스테레오스코픽 서브타이틀 디스플레이를 위한 DDS 및 PCS의 구성 및 처리에 대한 실시예를 설명한다.

수신기에서 스테레오스코픽 서브타이틀을 디스플레이하기 위해서는 스테레오스코픽 비디오를 구성하는 두개의 view, 즉 base view 와 extended view에 대한 서브타이틀 정보를 수신해야 한다. 송신 시스템에서는 base view에 대한 DDS 및 PCS와, extended view에 대한 확장 DDS 및 확장 PCS를 전송할 수 있다.

이러한 경우 확장 DDS 및 확장 PCS의 segment type에 기존의 2D 방송 수신기가 인식할 수 없는 값을 설정하여 전송하면, 기존의 2D 방송 수신기는 확장 DDS 및 확장 PCS는 discard하고 DDS 및 PCS를 이용하여 서브타이틀 디스플레이를 제어할 수 있다. 3D 방송 수신기는, DDS 및 PCS를 이용하여 base view에 대한 서브타이틀 디스플레이를 제어하고, 확장 DDS 및 확장 PCS를 이용하여 extended view에 대한 서브타이틀 디스플레이를 제어하여, 3D 효과를 갖는 서브타이틀을 디스플레이할 수 있다.

다음으로, 스테레오스코픽 서브타이틀 디스플레이를 위한 RCS(Region Composition Segment)의 구성 및 처리에 대한 다른 실시예를 설명한다.

RCS는 region에서 디스플레이되는 객체(object)의 리스트 및 위치 등의 정보를 포함한다. 확장 PCS를 전송하는 경우 확장 PCS에 포함된 region id에 대응하는 확장 RCS는 기존의 2D 방송 수신기의 동작에 영향을 주지 않도록 기존의 2D 방송 수신기가 해석할 수 없는 segment type 값을 설정하여 전송할 수 있다. 일 실시예로서, 확장 RCS를 전송하는 경우 segment type 값으로 0x41 값을 설정할 수 있다. 이때 확장 RCS는 기존의 RCS와 동일한 구조를 가질 수 있다.

또한, 확장 RCS를 사용하지 않고 RCS를 그대로 사용하여(segment type 값=0x11) extended view에 대한 region composition 정보를 전송할 수도 있다. 이 경우 기존의 2D 방송 수신기는 수신된 PCS 내에 이 RCS에 대한 region id가 available하지 않으므로, 이 RCS를 discard할 수 있다.

다음으로, 스테레오스코픽 서브타이틀 디스플레이를 위한 ODS(Object Data Segment)의 구성 및 처리에 대한 다른 실시예를 설명한다.

RCS 또는 확장 RCS는 region을 구성하는 객체(object) 정보를 포함하며, 해당 객체에 대한 구체적인 정보는 ODS에 포함되어 전송될 수 있다. 이때, 기존의 2D 방송 수신기의 동작에 영향을 미치지 않기 위해 extend view에 대한 서브타이틀 객체를 설명하는 확장 ODS를 전송할 수 있다. 확장 ODS는 기존의 ODS와 동일한 구조로, segment type 값만 기존의 ODS와 다르게 할당(예를 들면, 0x43)하여 전송할 수 있다.

또한, 확장 ODS를 사용하지 않고 기존의 ODS를 사용하여 extended view에 대한 객체 정보를 전송할 수도 있다. 이 경우 기존의 2D 방송 수신기는 수신된 ODS에 대한 object id가 available하지 않으므로, 이 ODS를 discard할 수 있다.

본 발명의 일 실시예로서, 상술한 바와 같은 DDS_EXT, PCS_EXT, RCS_EXT(또는 RCS), ODS_EXT(또는 ODS)의 구성 및 전송 방법에 따라 다양한 조합이 가능하다. 즉, 서브타이틀 내에서 DDS_EXT, PCS_EXT, RCS_EXT, ODS_EXT에 동일한 3D 효과를 갖도록 구성하지 않고, 상이한 3D 효과를 갖도록 구성할 수 있다. 예를 들어, DDS_EXT, PCS_EXT, RCS_EXT, ODS_EXT에 대해 각각 상이한 disparity 값을 부여할 수 있다. 이로 인해, 서브타이틀에 대해 page, region, object 별로 상이한 3D 효과를 갖는 다양한 조합의 3D 서브타이틀의 디스플레이가 가능할 수 있다.

본 발명의 다른 실시예에 따르면, 방송 수신기는 DVB 방송 스트림을 수신하고, 수신한 방송 스트림으로부터 서브타이틀 데이터를 추출한다.

본 발명의 일 실시예에 따르면, 방송 수신기는 DVB 방송 스트림을 수신하고, 수신한 방송 스트림으로부터 서브타이틀 데이터를 추출한다. 보다 상세히는, 방송 수신기는 DVB 방송 스트림으로부터 Program Map Table (PMT) 을 파싱하고, 스트림 타입 정보(예를 들면, stream_type = 0x06)를 가지는 스트림의 PID를 획득하고, DVB 서브타이틀에 해당하는 Packet Elementary Stream (PES)를 수신한다. 이 경우, 방송 수신기는 PMT로부터 서브타이틀의 기본 정보를 획득할 수 있다. 본 발명의 일 실시예에 따르면, 방송 수신기는 PMT 내의 포함된 ‘subtitling_descriptor’ 의 ‘subtitling type’ 필드를 참조하여 현재의 데이터가 3D 서브타이틀 데이터인지 여부를 판단할 수 있다. 따라서, 방송 수신기는 3D 서브타이틀을 사용가능한지 여부에 대한 정보를 사용자에게 알릴 수 있다. 방송 수신기는 ‘0x20’의 값을 가지는 ‘data_identifier’ 필드 및 ‘0x00’ 의 값을 가지는 ‘subtitle_stream_id’ 필드를 포함하는 PES 패킷을 읽음으로써, PES 패킷을 이용하여 서브타이틀 패킷을 추출할 수 있다.

방송 수신기는 추출된 서브타이틀 데이터의 섹션 필터링을 수행할 수 있다. 방송 수신기는 서브타이틀 데이터에 포함된 상세 정보의 필터링을 수행하고, 해당 버퍼로 필터링된 정보를 출력한다. 이 경우, 서브타이틀 데이터는 ‘segment type’의 값에 따라 아래와 같이 분류될 수 있다.

0x10 - Page Composition Segment (PCS) for Base View; 기본 영상을 위한 페이지 컴포지션 세그먼트

0x11 - Region Composition Segment (RCS) for Base View; 기본 영상을 위한 영역 컴포지션 세그먼트

0x12 - CLUT definition segment for both Base View and Extended View; 기본 영상과 확장 영상을 위한 CLUT 정의 세그먼트

0x13 - Object Data Segment (ODS) for Base View; 기본 영상을 위한 오브젝트 데이터 세그먼트

0x14 - Display Definition Segment (DDS) for Base View; 기본 영상을 위한 디스플레이 정의 세그먼트

0x40 - extended Page Composition Segment (PCS_EXT) for Extended View; 확장 영상을 위한 확장 페이지 컴포지션 세그먼트

0x41 - extended Region Composition Segment (RCS_EXT) for Extended View; 확장 영상을 위한 확장 영역 컴포지션 세그먼트

0x43 - extended Object Data Segment (ODS_EXT) for Extended View; 확장 영상을 위한 확장 오브젝트 데이터 세그먼트

0x44 - extended Display Definition Segment (DDS_EXT) for Extended View; 확장 영상을 위한 확장 디스플레이 정의 세그먼트

방송 수신기는 분류된 DDS, PCS, RCS, 및/또는 ODS로부터 기본 영상을 위한 서브타이틀 디스플레이 정보를 디코딩할 수 있다. 방송 수신기는 DDS, PCS, RCS, 및/또는 ODS를 디코딩함으로써, 디스플레이되어야 할 서브타이틀의 크기 정보, 서브타이틀의 위치 정보, 오브젝트 설정 정보, 오브젝트의 특별 정보 등과 같은 정보를 획득할 수 있다. 기본 영상에서 서브타이틀을 디스플레이하기 위하여 방송 수신기는 필요로하는 정보는 서브타이틀 컨트롤 정보로 지칭될 수 있다.

방송 수신기는 ODS를 디코딩하고, Color Look Up Table (CLUT)를 파싱하여 기본 영상에서의 서브타이틀 디스플레이 색상 정보를 결정한다. 방송 수신기는 ODS에 포함된 ‘pixel-data_sub-block’ 데이터를 디코딩하여, 기본 영상 그래픽 면에 디스플레이되어야 할 서브타이틀의 가상 색상 값을 획득할 수 있다. 방송 수신기는 CLUT를 파싱하여, 가상 색상 값을 실제로 디스플레이되어야 할 색상의 정보로 변경한다.

방송 수신기는 확장 DDS, 확장 PCS, 확장 RCS (또는 RCS) 및/또는 확장 ODS (또는 OSD) 로부터 확장 영상을 위한 확장 서브타이틀 디스플레이 정보를 디코딩한다. 방송 수신기는 확장 DDS, 확장 PCS, 확장 RCS (또는 RCS) 및/또는 확장 ODS (또는 OSD)를 디코딩하여, 디스플레이되어야 할 서브타이틀의 크기 정보, 서브타이틀의 위치 정보, 오브젝트 설정 정보, 오브젝트의 특별 정보 와 같은 정보를 식별할 수 있다. 확장 영상에 서브타이틀을 디스플레이하기 위하여 방송 수신기가 필요한 정보는 필요한 경우에, 확장 서브타이틀 컨트롤 정보로 지칭될 수 있다.

방송 수신기는 확장 ODS (또는 ODS)를 디코딩하고, CLUT를 파싱하여, 확장 영상에서의 서브타이틀 디스플레이 색상 정보를 결정할 수 있다. 방송 수신기는 확장 ODS (또는 OSD) 에 포함된 ‘pixel-data_sub-block’ 데이터를 디코딩하여, 확장 영상 그래픽 면에 디스플레이될 서브타이틀의 가상 색상 값을 획득할 수 있다. 방송 수신기는 CLUT를 파싱하여, 가상 생삭 값을 실제로 디스플레이되어여할 색상의 정보로 변경할 수 있다.

3D 디스플레이에서, 좌영상 서브타이틀의 색상은 우영상 서브타이틀의 색상과 동일할 것이다. 이 경우, 방송 수신기는 디스플레이되어야할 서브타이틀의 색상 정보를 한번만 결정하면 될 것이고, 결정된 색상 정보를 읽음으로써, 다른 뷰포인트의 서브타이틀 색상 정보에 사용할 수 있을 것이다.

방송 수신기는 개인 서브타이틀 컨트롤 정보에 따라 확장 영상을 위한 서브타이틀과 기본 영상을 위한 서브타이틀을 컨트롤 할 수 있고, 컨트롤된 서브타이틀을 출력할 수 있다. 방송 수신기는 서브타이틀 컨트롤 정보에 따라, 기본 영상 비디오 데이터와 함께 기본 영상 서브타이틀을 출력할 수 있고, 확장 서브타이틀 컨트롤 정보에 따라, 확장 영상 비디오 데이터와 함께 확장 영상 서브타이틀을 출력하여, 3D 서브타이틀을 디스플레이할 수 있다.

전술한 절차들에서, 기본 영상 서브타이틀을 위한 서브타이틀 디스플레이 정보를 프로세싱하기 위한 절차와 확장 영상 서브타이틀의 확장 서브타이틀 디스플레이 정보를 프로세싱하기 위한 절차는 항상 전술한 순서대로 수행될 필요는 없다. 필요한 경우, 확장 영상을 위한 서브타이틀 디스플레이 정보를 우선적으로 프로세싱하거나, 기본 영상을 위한 서브타이틀 디스플레이 정보 및 확장 영상을 위한 서브타이틀 디스플레이 정보를 동시에 프로세싱할 수 있다.

도 8은 본 발명의 다른 실시예에 따른, extended object definition segment의 신택스를 나타낸 도면이다.

시청자는 다양한 종류의 수신기를 사용하고 있으나, 방송 신호의 송신은 일정한 형태이며, 수신기를 위한 다양한 종류의 방송 신호를 송신하는 것은 현실적으로 불가능하다. 따라서, 동일한 방송 신호 내에서도 다양한 수신기를 위한 옵션이 존재하여야 할 것이다.

본 발명의 실시예에 따르면, 3차원 서브타이틀에 대하여 디스패리티를 적용함에 있어서, 하나의 페이지에 속하는 다수의 region 별로 각각 다른 디스패리티를 적용할 수 있고, 나아가, 각 region에 속하는 sub-region 또는 object 별로 디스패리티를 적용할 수 있다.

그러나, 수신기에 따라서는 각 region, 각 sub-region, 또는 object 별로 디스패리티를 적용할 수 없는 경우가 있을 수 있다. 따라서, 이러한 수신기에서도 3차원 서브타이틀과 관련한 정보를 수신하여 오류 없이 처리할 수 있는 방안이 필요하다.

본 발명에 따르면, 각각의 sub-region에 대한 디스패리티 정보와 함께, 위와 같은 수신기를 위한 default 디스패리티 값을 함께 전송할 수 있다. 위와 같은 수신기에서 이러한 default 디스패리티 값은 전체 region 에 동일하게 적용될 수 있다.

본 발명에 다른 실시예에 따른 extended object definition segment에 포함되는 각 필드에 대한 설명은 다음과 같다. Sync_byte 필드, segment_type 필드, page_id 필드, region_id 필드, segment_length 필드에 대한 설명은 전술한 다른 segment에 포함된 동일한 필드에 대한 설명과 유사하므로 생략하기로 한다.

subregion_version_number 필드는 버전 정보를 나타낸다.

subregion_extent_flag 필드는 region 내에 sub-region이 존재하는지 나타낸다. 즉, region이 sub-region들로 나누어져 있는지에 대한 정보를 제공한다. 실시예로, subregion_extent_flag 가 ‘1’인 경우, region은 sub-region들로 나누어져 있지 않음을 나타내는 것으로 할 수 있다. 즉, region은 하나의 sub-region만 포함한다고 볼 수도 있다.

region_disparity_integer_part 필드는 특정 region의 디스패리티 값의 정수 부분을 나타낸다.

region_disparity_fractional_part 필드는 특정 region의 디스패리티 값의 분수 부분을 나타낸다.

본 발명의 실시예에 따르면, subregion_extent_flag 가 ‘1’이면 region이 다수의 sub-region들을 포함하지 않는 것이므로 (즉, region 내에서 하나의 sub-region 만이 존재), region에 적용될 디스패리티 값을 시그널링하면 된다. 따라서, 송신측에서는 region_disparity_integer_part 필드와 region_disparity_fractional_part 필드를 이용하여 해당 region의 디스패리티 값을 전송한다.

subregion_id 필드는 sub-region을 식별한다. Sub-region은 region에 속하는 하위 region으로 정의될 수 있다. Region 내에는 다수의 sub-region이 존재할 수 있으며, 하나의 sub-region 만이 존재하는 것은 region과 sub-region이 동일한 개념으로 사용된다는 것을 의미한다.

subregion_position_flag 필드는 sub-region에 대한 위치 정보가 제공되는지 여부를 나타낸다.

region_disparity_flag 필드는 뒤 따르는 필드인 subregion_disparity_integer_part 및/또는 subregion_disparity_fractional_part 필드의 값이 전체 region의 디스패리티 값으로 사용될 것인지를 나타낸다. 예를 들면, region_disparity_flag 필드가 ‘1’로 셋팅되면, 뒤따르는 sub-region의 디스패리티값이 page 및/또는 region의 default 디스패리티 값으로 인식될 것이다. 이 경우, 다른 sub-region을 위한 region_disparity_flag 필드는 ‘0’으로 셋팅되어, default 디스패리티 값으로 인식되지 않도록 할 수 있다.

subregion_horizontal_position 필드는 sub-region의 최좌측 픽셀의 위치를 식별한다. 이 값은 공표된 규모의 영역 내의 sub-region 내에서 정의될 것이다.

subregion_width 필드는 sub-region의 수평 넓이를 픽셀로 식별한다. subregion_horizontal_position 필드와 subregion_width 필드의 조합은 공표된 규모의 영역 내에서 정의될 것이다.

subregion_disparity_integer_part 필드는 sub-region에 적용되는 디스패리티 값의 정수 부분을 나타낸다.

subregion_disparity_fractional_part 필드 sub-region에 적용되는 디스패리티 값의 분수 부분을 나타낸다.

수신기의 타입을 크게 2가지로 구분하면, 하나의 region 및/또는 page에 하나의 디스패리티 값을 적용할 수 있는 수신기 (‘A 타입’ 이라함)와 region내의 sub-region 및/또는 object 별로 디스패리티 값을 적용할 수 있는 수신기(‘B 타입’ 이라함)로 구분할 수 있다.

subregion_extent_flag 가 ‘1’인 경우, region은 sub-region으로 나누어져 있지 않으므로, A 타입 및 B 타입 수신기가 해당 서브타이틀 세그먼트를 처리할 수 있다.

subregion_extent_flag 가 ‘0’인 경우, region 내에는 sub-region이 존재하므로, B 타입의 수신기의 경우, 전술한 필드들을 이용하여, 각 sub-region 별로 디스패리티 값을 적용할 수 있다. A 타입의 수신기의 경우, 다수의 sub-region 별로 각각의 디스패리티 값을 적용할 수 없으므로, default 디스패리티 값을 전제 region에 적용할 것이다. 예를 들면, region_disparity_flag가 ‘1’ 인 필드를 뒤따르는 subregion_disparity_integer_part 및/또는 subregion_disparity_fractional_part 값을 default 값으로 사용할 수 있다.

전술한 내용을 바탕으로, 수신기에서의 3차원 서브타이틀 처리 과정을 살펴보면 다음과 같다.

예를 들면, segment_type 필드가 0x10이면 page composition segment for base view, 0x11 이면 region composition segment for base view, 0x12 이면 CLUT definition segment for both base view and extended view, 0x13 이면 object data segment for base view, 0x14이면 display definition segment for base view, 0x43 이면 object data segment for extended view 로 판단할 수 있다.

수신기는 extended object data segment (EODS, ODS_EXT)에 포함된 region_id 및 subregion_id를 이용하여 서브타이틀이 디스플레이되는 영역의 정보를 파악한다. 이 경우, 서브타이틀이 디스플레이되는 영역은 각 subregion_id에 대한 position, width 정보 등을 활용할 수 있다.

수신기는 해당 영역의 서브타이틀에 대한 decoding 수행을 위해 기존의 DDS, PCS, region composition segment (RCS)를 이용해 Base View에 대한 subtitle의 크기, 위치, object 구성 정보를 파악한다.

수신기는 object data segment (ODS) 에 포함된 pixel-data_sub-block 데이터를 디코딩 하여 Base View graphic plane에 출력할 logo, subtitle에 대한 pseudo-color value를 획득할 수 있다. 또한, CLUT definition segment를 이용해 pseudo-color를 실제 display에서 출력할 색상 정보로 변환할 수 있다. 즉, Base view graphic에 출력할 subtitle의 color 정보를 획득할 수 있다.

수신기는 ODS_EXT에 포함된 각 subregion의 disparity를 이용해 Extended View graphic plane에서 이미 decoding 된 region 중 각 subregion에 해당하는 영역을 계산한다.

추가적으로, 수신기는 각 subregion에 대한 disparity를 이용해 3D subtitle data의 각 view plane에서의 좌표를 수정하며 두 개의 graphic plane에 대한 3D formatting을 수행함으로써 Stereoscopic Display 에서 3D graphic / subtitle / logo를 출력한다.

만약 수신기가 subregion 단위로 disparity 적용이 어려운 경우에는 subregion 중에서 region_disparity_flag가 ‘1’인 subregion의 disparity를 선택해 전체 region에 이 값을 적용한다.

도 9는 본 발명의 일 실시예에 따른 3D 서브타이틀 데이터를 수신하여 처리하는 방송 수신기를 도시한 블록도이다.

도 9의 방송 수신기는, demultiplexer(MPEG2 TS Demux(PID filter); 6010), section filter(6020), EV(Extended View) subtitle decoder(6030), BV(Base View) subtitle decoder(6040), composition buffer(4050), CLUT processor(CLUT; 6060), EV pixel buffer(6070), BV pixel buffer(6080), 3D graphics controller(6090)를 포함한다.

방송 수신기는 수신부(미도시)에서 서브타이틀 데이터를 포함하는 MPEG2 TS(Moving Picture Expert Group 2 Transport Stream)를 수신하고, demultiplexer(6010)에서 서브타이틀 데이터에 해당하는 PID로 필터링을 수행하여 서브타이틀 데이터를 추출, 출력한다.

section filter(6020)는 서브타이틀 데이터에 대해 섹션 필터링을 수행하여 PCS, PCS_EXT, RCS, RCS_EXT, DDS, DDS_EXT, ODS, ODS_EXT, CLUTDS(Colour Loop Up Table Definition Segment) 등의 데이터를 출력한다.

이하에서, 수신된 방송 신호로부터 서브타이틀 데이터를 추출하는 demultiplexer(6010) 및 서브타이틀에 대한 디스플레이 정보 및 CLUTDS를 추출하여 출력하는 section filter(6020)를 포함하여 추출부(extracting unit)라고 지칭할 수 있다.

이때 PCS, RCS, DDS, ODS, PCS_EXT, RCS_EXT, DDS_EXT, ODS_EXT는 composition buffer(6050)에서 버퍼링된 후 3D graphics controller(6090)로 제공되며, 또한 PCS, RCS, DDS, ODS는 BV subtitle decoder(6040)로, PCS_EXT, RCS_EXT, DDS_EXT, ODS_EXT는 EV subtitle decoder(6030)로 각각 제공된다.

CLUT processor(6060)는 CLUTDS를 처리하여 디스플레이 색상 정보를 BV pixel buffer(6080) 및 EV pixel buffer(6070)로 출력한다.

BV subtitle decoder(6040)는 PCS, RCS, DDS 및 ODS를 디코딩하여 base view에 대한 서브타이틀 데이터 및 서브타이틀의 디스플레이 정보를 디코딩하여, BV pixel buffer(6080)로 출력한다. EV subtitle decoder(6030)는 PCS_EXT, RCS_EXT, DDS_EXT 및 ODS_EXT를 디코딩하여 extended view에 대한 서브타이틀 데이터 및 서브타이틀의 디스플레이 정보를 디코딩하여, EV pixel buffer(6070)로 출력한다.

3D graphics controller(6090)는 composition buffer(6050)로부터 PCS, RCS, DDS, ODS, PCS_EXT, RCS_EXT, DDS_EXT, ODS_EXT를 출력받고, BV pixel buffer(6080)로부터 base view에 대한 서브타이틀의 디스플레이 정보, ODS 및 색상 정보를, EV pixel buffer(6070)로부터 extended view에 대한 서브타이틀의 디스플레이 정보, ODS_EXT 및 색상 정보를 판독하여, 각각의 시점에 대한 서브타이틀을 제어하여 출력한다.

본 발명의 다른 실시예로서, BV subtitle decoder(6040) 및 EV subtitle decoder(6030)는 각각 ODS 및 ODS_EXT를 디코딩하여 디스플레이되는 서브타이틀 객체에 대한 정보를 획득하고, 3D graphics controller(6090)는 composition buffer(6050)로부터 디스플레이되는 서브타이틀 객체에 대한 좌표, 크기 및 구성에 관한 정보(예를 들면, PCS, RCS, DDS, PCS_EXT, RCS_EXT, DDS_EXT)를 수신하여 3D 서브타이틀 디스플레이를 제어할 수도 있다.

도 10은 본 발명의 일 실시예에 따른, 디지털 방송 신호를 수신하는 수신기의 기능 블록을 나타낸 도면이다.

본 발명의 일 실시예에 따른 수신기는, 튜너 & 복조부 (10010), VSB 디코더 (10020), 트랜스포트 스트림 역다중화부 (Transport Stream demodulator; 10030), 비디오 디코더 (10040), 섹션 필터 (10050), 서브타이틀 디코더 (10060), 그래픽 엔진 (10070), OSD 처리부 (On Screen Display processor; 10080) 및 포맷터 (10090) 를 포함한다.

튜너 & 복조부 (10010)는 방송 신호를 전송하는 채널로의 튜닝 및 신호의 복조를 수행한다.

VSB 디코더 (10020)는 VSB로 변조된 신호를 디코딩한다. 방송 시스템에 따라 VSB 방식이 아닌 다른 방식으로 변조된 신호도 디코딩할 수 있다.

트랜스포트 스트림 역다중화부 (Transport Stream demodulator; 10030)는 트랜스포트 스트림 형태의 데이터에 대하여 역다중화를 수행한다. 예를 들면, 시그널링 신호와 비디오/오디오 신호를 분리하는 역할을 수행할 수 있다.

비디오 디코더 (10040)는 트랜스포트 스트림으로부터 역다중화된 비디오 데이터를 디코딩한다. 본 발명에서는 3차원 비디오 엘레멘터리 스트림 (elementary stream)이 비디오 디코더 (10040) 로 전달되고, 비디오 디코더 (10040) 는 3차원 비디오 엘레멘터리 스트림을 3차원 비디오 데이터로 디코딩한다.

섹션 필터 (10050) 는 3차원 서브타이틀을 위한 시그널링 데이터를 필터링하는 역할을 한다. 즉, 서브타이틀 세그먼트인 DDS, EDDS (DDS_EXT), PCS, EPCS (PCS_EXT), RCS, ERCS (RCS_EXT), ODS, EODS (ODS_EXT), CLUTDS(Colour Loop Up Table Definition Segment) 등의 데이터를 필터링한다.

서브타이틀 디코더 (10060) 는 3차원 서브타이틀을 디스플레이하기 위한 시그널링 정보를 디코딩한다. 예를 들면, 3차원 서브타이틀을 위한 디스패리티 정보 등이 디코딩된다. 섹션 필터 (10050) 및 서브타이틀 디코더 (10060)을 함께 추출부 (extracting unit)으로 지칭할 수 있다.

그래픽 엔진 (10070) 은 서브타이틀 디코더 (10060) 에서 디코딩된 시그널링 정보를 이용하여 서브타이틀과 관련한 그래픽 요소를 형성한다. 그래픽 엔진 (10070) 을 거치면 서브타이틀은 3차원 그래픽 형태로 출력된다. 또한, 3차원 서브타이틀을 디스플레이하기 위한 일련의 제어를 수행한다.

OSD 처리부 (On Screen Display processor; 10080) 는 수신기의 OSD 처리와 관련한 일련의 기능을 수행한다. 예를 들면, OSD에 3차원 효과를 부가하기 위하여, 디스패리티 값을 적용한 좌영상, 우영상 OSD를 생성할 수 있다. 또한 3차원 OSD 를 디스플레이하기 위한 일련의 제어를 수행한다.

포맷터 (10090)는 비디오 디코더 (10040) 에서 디코딩된 3차원 비디오 데이터와 그래픽 엔진 (10070) 및/또는 OSD 처리부 (10080) 에서 처리된 3차원 서브타이틀 및/또는 OSD 를 결합하여 포맷팅하는 역할을 수행한다. 포맷팅된 영상은 3차원 비디오 이미지와 3차원 서브타이틀 및/또는 3차원 OSD를 함께 포함한다. 또한 포맷터 (10090)는 3차원 영상을 디스플레이하기 위한 일련의 제어를 수행한다.

도 11은 본 발명의 일 실시예에 따른, 3차원 서브타이틀을 송신하기 위하여 처리하는 방법을 나타낸 순서도 이다.

방송 신호를 송신하기 위한 송신측에서는 3차원 컨텐츠를 위한 3차원 비디오 데이터를 인코딩한다(s11010). 이때 3차원 비디오 데이터는 3차원 이미지를 위한 좌영상 이미지와 우영상 이미지를 포함한다.

송신측에서는 3차원 컨텐츠와 함께 디스플레이될 3차원 서브타이틀의 시그널링을 위한 서브타이틀 세그먼트를 포함하는 시그널링 데이터를 생성한다(s11020). 서브타이틀 세그먼트는 region에 포함되는 적어도 하나 이상의 sub-region에 적용되는 디스패리티 값을 가리키는 정보를 포함한다. 여기서, 디스패리티는 3D 이미지의 좌영상과 우영상 내의 동일한 지점의 수평적 위치의 차이를 픽셀 단위로 나타낸 정보이다.

송신측에서는 인코딩된 3차원 비디오 데이터와 생성된 시그널링 데이터를 포함하는 방송 신호를 송신한다(s11030).

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims

3D 컨텐츠를 위한, 3D 이미지의 우시점을 위한 우영상 픽처 (picture) 와 3D 이미지의 좌시점을 위한 좌영상 픽처를 포함하는 3D 비디오 데이터를 인코딩하는 단계;
상기 3D 컨텐츠를 위한 3D 서브타이틀을 시그널링하기 위한 정보를 포함하는 서브타이틀 세그먼트를 포함하는 시그널링 데이터를 생성하는 단계, 여기서 상기 서브타이틀 세그먼트는 상기 3D 서브타이틀을 위한, 상기 3D 이미지의 영역 내의 적어도 하나 이상의 서브 영역에 적용되는 디스패리티의 값을 가리키는 서브 영역 디스패리티 정보를 포함하고, 상기 디스패리티는 상기 3D 이미지의 좌시점과 우시점 영상 내에서 공간상 동일 지점을 나타내는 픽셀 사이의 수평적 위치 차이를 나타냄; 및
상기 생성된 시그널링 데이터와, 인코딩된 3D 비디오 데이터를 포함하는 디지털 방송 신호를 전송하는 단계;
를 포함하는 3D 컨텐츠를 포함하는 디지털 방송 신호를 프로세싱하는 방법.
제 1 항에 있어서, 상기 디스패리티의 값은.
상기 영역 또는 상기 서브 영역의 각각의 시점 영상에 대칭적으로 적용되는 것을 특징으로 하는 3D 컨텐츠를 포함하는 디지털 방송 신호를 프로세싱하는 방법.
제 1 항에 있어서, 상기 서브타이틀 세그먼트는,
상기 3D 이미지의 상기 영역 내에 서브 영역의 존재를 나타내는 정보를 포함하며, 상기 서브 영역 디스패리티 정보에 의하여 가리켜진 상기 디스패리티의 값은, 상기 영역 내의 서브 영역이 존재하지 않는 경우, 상기 영역 전체에 적용되는 것을 특징으로 하는 3D 컨텐츠를 포함하는 디지털 방송 신호를 프로세싱하는 방법.
제 1 항에 있어서, 상기 서브타이틀 세그먼트는,
방송 수신기가 각각의 영역에 개별적인 디스패리티 값을 적용할 수 있는 사양이 안되는 경우, 상기 3D 이미지 내의 전체 영역에 적용되는 디폴트 (default) 디스패리티 값을 식별하는 디폴트 디스패리티 정보를 더 포함하는 것을 특징으로 하는 3D 컨텐츠를 포함하는 디지털 방송 신호를 프로세싱하는 방법.
제 1 항에 있어서, 상기 서브 영역 디스패리티 정보는,
상기 디스패리티의 값의 정수 부분을 식별하는 정수 파트 정보 및 상기 디스패리티의 값의 분수 부분을 식별하는 분수 파트 정보를 포함하는 것을 특징으로 하는 3D 컨텐츠를 포함하는 디지털 방송 신호를 프로세싱하는 방법.
제 1 항에 있어서, 상기 서브타이틀 세그먼트는,
상기 적어도 하나 이상의 서브 영역의 수평적 위치를 식별하는 서브 영역 수평 정보 및 상기 적어도 하나 이상의 서브 영역의 수평적 넓이를 식별하는 서브 영역 넓이 정보를 포함하는 것을 특징으로 하는 3D 컨텐츠를 포함하는 디지털 방송 신호를 프로세싱하는 방법.
제 1 항에 있어서, 상기 서브타이틀 세그먼트는,
상기 3D 서브타이틀을 위하여 상기 디스패리티의 값이, 상기 좌시점 영상 및 상기 우시점 영상 중 어느 영상에 적용될 것인지를 식별하는 쉬프트 (shift) 타입 정보를 더 포함하는 것을 특징으로 하는 3D 컨텐츠를 포함하는 디지털 방송 신호를 프로세싱하는 방법.
시그널링 데이터 및 3D 컨텐츠를 위한 3D 비디오 데이터를 포함하는 디지털 방송 신호를 수신하는 수신부;
상기 시그널링 데이터 및 3D 이미지의 우시점을 위한 우영상 픽처 (picture) 와 3D 이미지의 좌시점을 위한 좌영상 픽처를 포함하는 상기 3D 비디오 데이터를, 상기 수신한 디지털 방송 신호로부터 복조하는 복조부;
상기 복조된 시그널링 데이터로부터, 상기 3D 컨텐츠의 3D 서브타이틀을 시그널링하기 위한 정보를 포함하는 서브타이틀 세그먼트를 추출하는 추출부, 여기서, 상기 서브타이틀 세그먼트는 상기 3D 서브타이틀을 위한, 상기 3D 이미지의 영역 내의 적어도 하나 이상의 서브 영역에 적용되는 디스패리티의 값을 가리키는 서브 영역 디스패리티 정보를 포함하고, 상기 디스패리티는 상기 3D 이미지의 좌시점과 우시점 영상 내에서 공간상 동일 지점을 나타내는 픽셀 사이의 수평적 위치 차이를 나타냄; 및
상기 추출된 서브타이틀 세그먼트에 근거하여, 상기 3D 컨텐츠의 상기 3D 서브타이틀의 디스플레이를 컨트롤하는 제어부;
를 포함하는 3D 컨텐츠를 포함하는 디지털 방송 신호를 수신하는 장치.
제 8 항에 있어서, 상기 디스패리티의 값은.
상기 영역 또는 상기 서브 영역의 각각의 시점 영상에 대칭적으로 적용되는 것을 특징으로 하는 3D 컨텐츠를 포함하는 디지털 방송 신호를 수신하는 장치.
제 8 항에 있어서, 상기 서브타이틀 세그먼트는,
상기 3D 이미지의 상기 영역 내에 서브 영역의 존재를 나타내는 정보를 포함하며, 상기 서브 영역 디스패리티 정보에 의하여 가리켜진 상기 디스패리티의 값은, 상기 영역 내의 서브 영역이 존재하지 않는 경우, 상기 영역 전체에 적용되는 것을 특징으로 하는 3D 컨텐츠를 포함하는 디지털 방송 신호를 수신하는 장치.
제 8 항에 있어서, 상기 서브타이틀 세그먼트는,
방송 수신기가 각각의 영역에 개별적인 디스패리티 값을 적용할 수 있는 사양이 안되는 경우, 상기 3D 이미지 내의 전체 영역에 적용되는 디폴트 (default) 디스패리티 값을 식별하는 디폴트 디스패리티 정보를 더 포함하는 것을 특징으로 하는 3D 컨텐츠를 포함하는 디지털 방송 신호를 수신하는 장치.
제 8 항에 있어서, 상기 서브 영역 디스패리티 정보는,
상기 디스패리티의 값의 정수 부분을 식별하는 정수 파트 정보 및 상기 디스패리티의 값의 분수 부분을 식별하는 분수 파트 정보를 포함하는 것을 특징으로 하는 3D 컨텐츠를 포함하는 디지털 방송 신호를 수신하는 장치.
제 8 항에 있어서, 상기 서브타이틀 세그먼트는,
상기 적어도 하나 이상의 서브 영역의 수평적 위치를 식별하는 서브 영역 수평 정보 및 상기 적어도 하나 이상의 서브 영역의 수평적 넓이를 식별하는 서브 영역 넓이 정보를 포함하는 것을 특징으로 하는 3D 컨텐츠를 포함하는 디지털 방송 신호를 수신하는 장치.
제 8 항에 있어서, 상기 서브타이틀 세그먼트는,
상기 3D 서브타이틀을 위하여 상기 디스패리티의 값이, 상기 좌시점 영상 및 상기 우시점 영상 중 어느 영상에 적용될 것인지를 식별하는 쉬프트 (shift) 타입 정보를 더 포함하는 것을 특징으로 하는 3D 컨텐츠를 포함하는 디지털 방송 신호를 수신하는 장치.