KR20130105638A - 3dtv에서 3d 비디오 데이터를 제공하는 방법 - Google Patents

3dtv에서 3d 비디오 데이터를 제공하는 방법 Download PDF

Info

Publication number
KR20130105638A
KR20130105638A KR1020137007442A KR20137007442A KR20130105638A KR 20130105638 A KR20130105638 A KR 20130105638A KR 1020137007442 A KR1020137007442 A KR 1020137007442A KR 20137007442 A KR20137007442 A KR 20137007442A KR 20130105638 A KR20130105638 A KR 20130105638A
Authority
KR
South Korea
Prior art keywords
video
information
video data
complementary
resolution
Prior art date
Application number
KR1020137007442A
Other languages
English (en)
Inventor
이준휘
최지현
서종열
양정휴
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20130105638A publication Critical patent/KR20130105638A/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

방송 수신기 및 방송 수신기의 3D 비디오 데이터 프로세싱 방법이 본 명세서에서 개시된다. 본 발명의 실시예에 따른, 방송 수신기의 3D 비디오 데이터 프로세싱 방법은, 3D 비디오 데이터 및 3D 컴플리먼터리 비디오 정보를 포함하는 방송 신호를 수신 유닛에 의해 수신하는 단계와, 여기서 3D 비디오 데이터는 풀-해상도 영상을 구성하기 위한 하프-해상도 베이스 비디오 데이터 및 컴플리먼터리 비디오 데이터를 포함하고; 3D 컴플리먼터리 비디오 정보를 3D 비디오 정보 프로세싱 유닛에 의해 파싱하는 단계와; 하프-해상도 베이스 비디오 데이터를 베이스 비디오 디코더에 의해 디코딩하는 단계와; 풀-해상도 영상을 구성하기 위해 컴플리먼터리 비디오 데이터를 컴플리먼터리 비디오 디코더에 의해 디코딩하는 단계와; 이벤트 정보 테이블(EIT) 내의 3D 컴플리먼터리 비디오 디스크립터를 통해 3D 컴플리먼터리 비디오 정보를 프로그램 및 시스템 정보 프로토콜(PSIP) 프로세서에 의해 획득 및 저장하는 단계와; 그리고 풀-해상도 3D 영상을 출력하도록, 3D 컴플리먼터리 비디오 정보를 사용하여 베이스 비디오 데이터와 컴플리먼터리 비디오 데이터를 출력 포맷터에 의해 결합 및 포맷하는 단계를 포함한다.

Description

3DTV에서 3D 비디오 데이터를 제공하는 방법{METHOD FOR PROVIDING 3D VIDEO DATA IN A 3DTV}
본 발명은 방송 신호들을 프로세싱하는 장치 및 방법에 관한 것으로, 보다 특별하게는 3D 방송 시스템에서 풀-해상도(full-resolution)의 비디오 데이터를 프로세싱하는 방송 수신기 및 이의 3D 비디오 데이터 프로세싱 방법에 관한 것이다.
3-차원(3D) 영상(즉, 입체 영상)은 인간의 두 눈의 입체 시야(stereoscopic vision)의 원리들을 이용하여 입체감(cubic effect)을 제공한다. 인간(즉, 사람)은 두 눈 사이의 시차(parallax), 즉 대략 65mm 이격된 사람의 두 눈에 의해 야기되는 양안 시차(binocular parallax)를 통해 퍼스펙티브(perspective)를 감지한다. 그러므로, 3D 영상은 영상 인에블링 및 시각(view)될 좌측 눈 및 우측 눈과 관련된 플랫 영상을 제공함으로써 입체감 및 퍼스펙티브를 제공한다.
그러한 3D 영상을 디스플레이하는 방법들에는 입체 방법, 볼륨메트릭 방법, 홀로그래픽 방법 등이 포함된다. 입체 방법의 경우에, 좌측 눈에 의해 시각될 좌측 시각 영상과 우측 눈에 의해 시각될 우측 시각 영상이 제공되고, 좌측 눈과 우측 눈은 각각, 편광 안경을 통해 혹은 디스플레이 장비를 통해 좌측 시각 영상과 우측 시각 영상을 시각하며, 그럼으로써 시각자가 3D 효과를 인지할 수 있게 한다.
문제를 해결하도록 창안된 본 발명의 목적은 3D 방송 시스템이 입체 디스플레이를 위해 비디오 스트림을 전송할 때 3D 비디오 데이터의 정보를 전송 및 수신하고 이 정보를 이용하여 3D 비디오 데이터를 프로세싱함으로써 사용자에게 보다 편리하고 효율적인 방송 환경을 제공하는데 있다.
따라서, 본 발명은 관련 기술의 한계점들 및 단점들로 인한 하나 이상의 문제를 실질적으로 해소하는 3D TV를 제공하는 방법에 관한 것이다.
본 발명의 한 목적은 방송 수신기를 제공하는 것이며, 이 방송 수신기의 3D 비디오 데이터 프로세싱 방법이 여기에 개시된다. 본 발명의 일 실시예에 따른 방송 수신기의 3D 비디오 데이터 프로세싱 방법은 3D 비디오 데이터 및 3D 상보형 비디오 정보를 포함하는 방송 신호를 수신 유닛에 의해 수신하는 단계와, 여기서 상기 3D 비디오 데이터는 풀-해상도 영상을 구성하기 위한 하프-해상도 베이스 비디오 데이터 및 상보형 비디오 데이터를 포함하고; 상기 3D 상보형 비디오 정보를 3D 비디오 정보 프로세싱 유닛에 의해 파싱(parsing)하는 단계와; 상기 하프-해상도 베이스 비디오 데이터를 베이스 비디오 디코더에 의해 디코딩하는 단계와; 풀-해상도 영상을 구성하기 위해 상기 상보형 비디오 데이터를 상보형 비디오 디코더에 의해 디코딩하는 단계와; 이벤트 정보 테이블(Event Information Table, EIT) 내의 3D 상보형 비디오 디스크립터를 통해 3D 상보형 비디오 정보를 프로그램 및 시스템 정보 프로토콜(Program and System Information Protocol, PSIP) 프로세서에 의해 획득 및 저장하는 단계와; 그리고 풀-해상도 3D 영상을 출력하도록, 상기 3D 상보형 비디오 정보를 사용하여 상기 베이스 비디오 데이터와 상기 상보형 비디오 데이터를 출력 포맷터에 의해 결합 및 포맷하는 단계를 포함한다.
본 발명의 다른 목적은 방송 수신기를 제공하는 것으로서, 상기 방송 수신기는 3D 비디오 데이터 및 3D 상보형 비디오 정보를 포함하는 방송 신호를 수신하는 수신 유닛과, 여기서 상기 3D 비디오 데이터는 풀-해상도 영상을 구성하기 위한 하프-해상도 베이스 비디오 데이터 및 상보형 비디오 데이터를 포함하고; 상기 3D 상보형 비디오 정보를 파싱하는 3D 비디오 정보 프로세싱 유닛과; 상기 하프-해상도 베이스 비디오 데이터를 디코딩하는 베이스 비디오 디코더와; 풀-해상도 영상을 구성하기 위해 상기 상보형 비디오 데이터를 디코딩하는 상보형 비디오 디코더와; 이벤트 정보 테이블(EIT) 내의 3D 상보형 비디오 디스크립터를 통해 3D 상보형 비디오 정보를 획득 및 저장하는 프로그램 및 시스템 정보 프로토콜(PSIP) 프로세서와; 그리고 풀-해상도 3D 영상을 출력하도록, 상기 3D 상보형 비디오 정보를 사용하여 상기 베이스 비디오 데이터와 상기 상보형 비디오 데이터를 결합 및 포맷하는 출력 포맷터를 포함한다.
본 발명의 추가적인 장점, 목적 및 특징들이 다음의 상세한 설명에서 부분적으로 제시되며, 다음의 상세한 설명의 정독하에서 통상의 지식을 가진자에게 분명해지거나 혹은 발명의 실시를 통해 알 수 있을 것이다. 본 발명의 이들 목적 및 장점들은 본 발명의 상세한 설명 및 특허청구의 범위는 물론 첨부도면에서 특별히 강조된 구조에 의해 실현 및 달성될 수 있다.
본 발명에 대한 상기 일반적인 설명 및 다음의 상세한 설명 모두는 예시적이고 설명을 위한 것이며, 특허청구범위에 기재된 발명의 추가적인 설명을 제공하고자 의도된 것임을 이해해야 할 것이다.
본 발명에 따르면, 3D 방송 서비스를 제공할 때, 수신기가 3D 방송 서비스의 창출시 의도된 3D 효과가 반영될 수 있도록, 수신된 3D 비디오 데이터를 프로세싱한다.
본 발명에 따르면, 종래의 2D 방송 서비스 및 하프-해상도 3D 방송 서비스들에서의 영향을 유지하면서도 풀-해상도 3D 방송 서비스가 제공될 수 있다.
첨부 도면들은 본 발명을 더 이해할 수 있도록 제공되고 본 출원에 포함되어 일부를 구성하는 것으로서, 본 발명의 실시예들을 도시하며 상세한 설명과 함께 본 발명의 원리를 설명하는 역할을 한다.
도 1은 본 발명의 실시예에 따른, 다양한 영상 포맷들의 입체 영상 멀티플렉싱 포맷을 예시한다.
도 2는 본 발명의 실시예에 따른, 3D 방송 서비스의 개념도를 예시한다.
도 3은 본 발명의 실시예에 따른, 풀-해상도 3D 방송 서비스를 제공하기 위한 방법을 나타내는 개념적 블록도를 예시한다.
도 4는 본 발명의 실시예에 따른, 3D 방송 서비스를 제공하기 위한 방법을 예시한다.
도 5는 본 발명의 다른 실시예에 따른, 3D 방송 서비스를 제공하기 위한 방법을 예시한다.
도 6은 본 발명의 다른 실시예에 따른, 3D 방송 서비스를 제공하기 위한 방법을 예시한다.
도 7은 본 발명의 다른 실시예에 따른, 3D 방송 서비스를 제공하기 위한 방법을 예시한다.
도 8은 본 발명의 실시예에 따른, 3D 방송 서비스를 제공하기 위한 풀 포워드 및 백워드 상호운용성(full forward and backward interoperability)을 예시한다.
도 9는 1 세대 3DTV와 2 세대 3DTV에 호환가능한 3D 방송 서비스의 서비스 모델을 예시한다.
도 10은 본 발명의 실시예에 따른, 3D 상보형 비디오 정보를 포함하는 TVCT의 신택스 구조(syntax structure)를 예시한다.
도 11은 본 발명의 실시예에 따른, TVCT에 포함된 3D 상보형 비디오 디스크립터의 신택스 구조를 예시한다.
도 12는 본 발명의 실시예에 따른, 3D 상보형 비디오 정보에 포함된 complementary_type 필드의 필드 값에 따라 영상을 구성하는 방법을 예시한다.
도 13은 본 발명의 실시예에 따른, 3D 상보형 비디오 정보를 포함하는 PMT의 신택스 구조를 예시한다.
도 14는 본 발명의 다른 실시예에 따른, 3D 상보형 비디오 정보를 포함하는 PMT의 신택스 구조를 예시한다.
도 15는 본 발명의 실시예에 따른, 3D 상보형 비디오 정보에 포함된 비디오 ES의 픽처 확장 및 사용자 데이터의 신택스 구조를 예시한다.
도 16은 본 발명의 실시예에 따른, 3D 상보형 비디오 정보를 디코딩하기 위한 유저 식별자 및 구조의 SEI(Supplemental Enhancement Information) 신택스 구조 를 예시한다.
도 17은 본 발명의 실시예에 따른, 3D 비디오 서비스 Spec-B로부터 수신된 베이스 비디오 데이터, 상보형 비디오 데이터, 및 3D 상보형 비디오 정보를 이용하여 풀-해상도 영상을 제공하기 위한 방법을 예시한다.
도 18은 본 발명의 다른 실시예에 따른, 3D 비디오 서비스 Spec-B로부터 수신된 베이스 비디오 데이터, 상보형 비디오 데이터, 및 3D 상보형 비디오 정보를 이용하여 풀-해상도 영상을 제공하기 위한 방법을 예시한다.
도 19는 본 발명의 또 다른 실시예에 따른, 3D 비디오 서비스 Spec-B로부터 수신된 베이스 비디오 데이터, 상보형 비디오 데이터, 및 3D 상보형 비디오 정보를 이용하여 풀-해상도 영상을 제공하기 위한 방법을 예시한다.
도 20은 본 발명의 또 다른 실시예에 따른, 3D 비디오 서비스 Spec-B로부터 수신된 베이스 비디오 데이터, 상보형 비디오 데이터, 및 3D 상보형 비디오 정보를 이용하여 풀-해상도 영상을 제공하기 위한 방법을 예시한다.
도 21은 본 발명의 실시예에 따른, SDT를 사용하여 3DTV 서비스를 시그널링하는 방법을 예시한다.
도 22는 본 발명의 실시예에 따른, SDT를 이용하여 3DTV 서비스를 시그널링하는 서비스 타입 값들을 예시한다.
도 23은 본 발명의 실시예에 따른, SDT를 이용하여 3DTV 서비스를 시그널링하는 추가적인 서비스 타입 값들 및 디스크립션들을 예시한다.
도 24는 본 발명의 실시예에 따른, DVB 방송 서비스를 위한 각각의 엘레멘터리 스트림(elementary stream)을 나타내는 컴포넌트 디스크립터를 예시한다.
도 25는 본 발명의 실시예에 따른, DVB 방송 시스템에서 풀-해상도 3D 입체 서비스를 나타내는 스트림 콘텐츠, 컴포넌트 타입 및 디스크립션을 예시한다.
도 26은 본 발명의 실시예에 따른, SDT를 위한 3D 상보형 비디오 디스크립터의 신택스 구조를 예시한다.
도 27은 본 발명의 실시예에 따른, 연결 디스크립터(linkage descriptor)를 이용하여 Spec-A 및 Spec-B 3D 서비스를 시그널링하는 방법을 예시한다.
도 28은 본 발명의 실시예에 따른, 3D 신호를 파싱함으로써 입체 비디오 신호를 출력하기 위한 프로세스를 나타내는 흐름도를 예시한다.
도 29는 본 발명의 다른 실시예에 따른, 연결 디스크립터를 이용하여 Spec-A 및 Spec-B 3D 서비스를 시그널링하는 방법을 예시한다.
도 30은 본 발명의 실시예에 따른, ATSC PSIP EIT 섹션에 위치된 풀-해상도 3DTV 서비스에 관한 정보를 예시한다.
도 31은 본 발명의 실시예에 따른, DVB SI EIT 섹션에 위치된 풀-해상도 3DTV 서비스에 관한 정보를 예시한다.
도 32는 본 발명의 실시예에 따른, ATSC PSIP EIT를 이용하여 3D 상보형 비디오 디스크립터를 파싱 및 렌더링함으로써 입체 비디오 신호를 출력하기 위한 프로세스를 나타내는 흐름도를 예시한다.
도 33은 본 발명의 실시예에 따른, DVB SI EIT를 이용하여 3D 상보형 비디오 디스크립터를 파싱 및 렌더링함으로써 입체 비디오 신호를 출력하기 위한 프로세스를 나타내는 흐름도를 예시한다.
도 34는 본 발명의 일 실시예에 따른, 3D 비디오 디코더를 구비한 방송 수신기의 블록도를 예시한다.
이제, 본 발명의 바람직한 실시예들을 상세히 참조하기로 하며, 이들의 예들이 첨부 도면에 도시된다. 가능한 경우, 도면 전반을 통해서 동일한 도면부호들은 동일 혹은 유사한 구성요소를 나타낸다.
비록 본 발명에 사용되는 용어들은 일반적으로 알려지고 사용되는 용어들로 선택되지만은 본 발명의 명세서에 언급되는 이들 용어들 중 일부는 습관에 따라 또는 새로운 기술들의 출현으로 인해 통상의 지식을 가진자에 의해 변경될 수 있다. 또한, 어떤 경우들에서, 본 발명의 상세한 설명에 언급된 용어들 중 일부는 출원인재량으로 선택되었으며, 이들 경우에서 상세한 의미들은 본 발명의 상세한 설명의 관련 부분들에서 기술되며, 이들은 여기서 사용하는 용어들의 단지 명칭에 의해서가 아닌 본 발명의 상세한 설명 내에서 및 전체적인 내용에 근거한 각 용어의 실제 의미로서 이해되어야 할 것이다.
3D 영상 표현 방법들은 2개의 퍼스펙티브(즉, 관점)을 고려하는 입체 영상(stereoscopic image) 방법과 3개 이상의 퍼스펙티브(즉, 관점)을 고려하는 멀티시각 영상 방법을 포함할 수 있다. 이와는 반대로, 관련 기술의 단일 시각 영상은 모노 영상(monoscopic image) 방법으로 지칭될 수 있다.
입체 영상 방법은 소정거리로 서로 이격되어 있는 좌측 카메라 및 우측 카메라로 동일 대상을 촬영함으로써 획득된 좌/우 영상의 쌍을 이용한다. 멀티 시각 영상은 소정거리로 서로로부터 이격되며 서로 다른 각도로 배치된 적어도 3개의 서로 다른 카메라로 촬영함으로써 획득된 적어도 3개의 영상 세트를 사용한다. 이후에서, 본 발명의 실시예에 따른 입체 영상 방법이 설명되지만은 본 발명의 사상은 멀티 시각 영상 방법에도 적용될 수 있다. 또한, 이후에서, 용어 입체(stereoscopic)는 입체(stereo)로 단축하여 지칭될 수도 있다.
상기 입체 영상 또는 멀티 시각 영상은 MPEG (Moving Picture Experts Group) 포맷으로 혹은 다양한 방법을 이용함으로써 압축 인코딩되며, 그럼으로써 전송된다.
예컨대, 입체 영상 혹은 멀티 시각 영상이 H.264/AVC (Advanced Video Coding) 방법을 이용하여 압축-인코딩되며, 그럼으로써 전송된다. 이때, 상기 수신 시스템은 H.264/AVC 방법과는 반대 프로세스로서 상기 수신된 영상에 대해 디코딩 프로세스를 수행하며, 그럼으로써 3D 영상을 획득한다.
더욱이, 입체 영상의 좌측 시각 영상 또는 우측 시각 영상 중 어느 한 영상, 혹은 멀티 시각 영상 중 임의의 하나의 영상이 베이스 계층 영상으로서 배정될 수 있고, 나머지 영상은 인헨스먼트 계층 영상으로서 배정될 수 있다. 이 후, 상기 베이스 계층 영상은 모노 영상을 인코딩하기 위해 이용되는 것과 동일한 방법을 이용함으로써 인코딩될 수 있다. 그리고, 상기 인헨스먼트 계층 영상에서, 상기 베이스 계층 영상과 상기 인헨스먼트 계층 양상 간의 관련 정보만이 인코딩된다. 이후, 상기 프로세싱된 영상들이 전송된다.
베이스 계층에 대한 압축-인코딩 방법들의 예들에는 JPEG, MPEG-1, MPEG-2, MPEG-4, 및 H.264/AVC가 포함된다. 그리고, 본 발명의 이 실시예에서는 H.264/AVC 방법이 채택되었다. 더욱이, 본 발명의 실시예에 따르면, 인헨스먼트 계층 영상의 압축-인코딩 프로세스를 위해 H.264/SVC (Scalable Video Coding) 또는 MVC (Multi-view Video Coding) 방법이 채택되었다.
지상파(즉, 지상) DTV 전송 및 수신은 2D 비디오 콘텐츠에 기초한다. 따라서, 3D TV 방송 콘텐츠를 서비스하기 위해서는 3D TV 방송 콘텐츠를 위한 전송 및 수신 표준이 추가적으로 정의되어야만 한다. 수신기가 상기 추가된 전송 및 수신 표준에 따라 방송 신호를 수신하여 상기 수신된 신호를 충분히 프로세싱하고 그럼으로써 3D 방송 서비스를 지원한다.
본 발명의 상세한 설명에서, 본 발명의 실시예에 따른 종래의 DTV 전송 및 수신 표준을 설명하기 위해 ATSC(Advanced Television Systems Committee) 표준이 사용될 것이다.
상기 ATSC 시스템의 경우에, 방송 콘텐츠를 프로세싱하기 위한 정보가 상기 시스템 정보에 포함되며, 그럼으로써 전송된다.
시스템 정보는, 예를 들어, 서비스 정보로서 지칭될 수 있다. 여기서, 예를 들어, 이 시스템 정보는 채널 정보, 프로그램 정보, 이벤트 정보 등을 포함할 수 있다. ATSC 표준 방법의 경우에, 이 시스템 정보는 PSI/PSIP(Program Specific Information/Program and System Information Protocol) 내에 포함됨으로써 전송 및 수신될 수 있다. 그러나, 본 발명이 이 예로만 한정되는 것은 아니다. 그리고, 시스템 정보를 테이블 포맷(table format)으로 전송하는 프로토콜의 경우에, 이 프로토콜은 그 용어(즉, 명칭)에 상관없이 본 발명에 적용될 수 있다.
본 발명의 실시예에 따르면, PSI 테이블은 PAT(Program Association Table), 및 PMT(Program Map Table)을 포함할 수 있다.
PAT는 PID가 '0'인 데이터 패킷에 의해 전송되는 특수 정보에 대응한다. PAT는 각각의 프로그램에 대해 대응하는 PMT의 PID 정보를 전송할 수 있다. PMT는 전송 스트림(Transport Stream, TS) 패킷의 PID 정보를 전송하고(여기에서는 프로그램 식별 번호들과 그 대응하는 프로그램을 구성하는 비디오와 오디오 데이터의 개별 비트 시퀀스들이 전송됨), 그리고 또한, PCR이 전송되는 PID 정보도 전송한다. 그 다음에, PAT로부터 획득된 PMT를 파싱(parsing)함으로써, 그 대응하는 프로그램을 구성하는 요소들 간의 상관 정보가 또한 획득될 수 있다.
본 발명의 실시예에 따르면, PSIP 테이블은, VCT(Virtual Channel Table), STT(System Time Table), RRT(Rating Region Table), ETT(Extended Text Table), DCCT(Direct Channel Change Table), DDCSCT(Direct Channel Change Selection Code Table), EIT(Event Information Table), 및 MGT(Master Guide Table)를 포함할 수 있다.
VCT는, 가상 채널들에 관한 정보(예를 들어, 채널들을 선택하기 위한 채널 정보와 같은 것) 및 오디오 및/또는 비디오 데이터를 수신하기 위한 PID(Packet Identifier)들과 같은 정보를 전송할 수 있다. 더 구체적으로, VCT가 파싱될 때, 채널 명칭 및 채널 번호와 함께 채널을 통해 전송되는, 방송 프로그램(broadcast program)의 오디오/비디오 데이터의 PID가 획득될 수 있다. STT는 현재 데이터에 관한 정보 및 타이밍 정보(timing information)를 전송할 수 있고, RRT는 지역(region)에 관한 정보 및 프로그램 등급(ratings)을 위한 협의 기관(consultation organs)에 관한 정보를 전송할 수 있다. ETT는 특정 채널 및 방송 프로그램의 추가적인 설명을 전송할 수 있고, 그리고 EIT는 가상 채널 이벤트들에 관한 정보를 전송할 수 있다. DCCT/DCCSCT는 자동(혹은 직접) 채널 변경과 관련된 정보를 전송할 수 있고, 그리고 MGT는 PSIP 내의 각각의 테이블의 버전(version) 및 PID 정보를 전송할 수 있다.
입체 영상의 전송 포맷은 단일 비디오 스트림 포맷 및 다중-비디오 스트림 포맷(multi-video stream format)을 포함한다. 단일 비디오 스트림 포맷은, 2개의 퍼스펙티브들의 비디오 데이터를 단일 비디오 스트림으로 멀티플렉싱(multiplexing)하여 이 단일 비디오 스트림을 전송하는 방법에 대응한다. 여기서, 비디오 데이터는 하나의 비디오 스트림으로 전송되기 때문에, 단일 비디오 스트림 포맷은, 3D 방송 서비스를 제공하기 위해 추가적으로 요구되는 대역폭이 넓어지지 않는다는 점에서 장점이 있다. 다중-비디오 스트림 포맷은 다중 비디오 데이터를 다중 비디오 스트림으로 전송하는 방법에 대응한다. 여기서, 비록 대역폭의 사용이 증가하지만, 고용량의 데이터가 전송될 수 있기 때문에, 다중-비디오 스트림 포맷은, 고화질 비디오 데이터(high picture quality video data)가 디스플레이될 수 있다는 점에서 장점이 있다.
도 1은 본 발명의 실시예에 따른, 다양한 영상 포맷들의 입체 영상 멀티플렉싱 포맷을 나타낸다.
3D 방송 서비스의 영상 포맷들은, (a)에 보인 사이드-바이-사이드 포맷(side-by-side format), (b)에 보인 탑-바텀 포맷(top-bottom format), (c)에 보인 인터레이스드 포맷(interlaced format), (d)에 보인 프레임 순차 포맷(frame sequential format), (e)에 보인 체커 보드 포맷(checker board format), 및 (f)에 보인 애너글리프 포맷(anaglyph format)을 포함한다.
(a)에 보인 사이드-바이-사이드 포맷은, 좌측 영상과 우측 영상이 수평 방향으로 1/2 다운-샘플링(down-sampling)된 포맷에 대응한다. 여기서 샘플링된 영상들 중 하나는 좌측에 위치하고 다른 샘플링된 영상은 우측에 위치하여 단일 입체 영상을 생성하게 된다. (b)에 보인 탑-바텀 포맷은, 좌측 영상과 우측 영상이 수직 방향으로 1/2 다운-샘플링된 포맷에 대응한다. 여기서, 샘플링된 영상들 중 하나는 상측에 위치하고 다른 샘플링된 영상은 하측에 위치하여 단일 입체 영상을 생성하게 된다. (c)에 보인 인터레이스드 포맷은, 좌측 영상과 우측 영상이 수평 방향으로 1/2 다운-샘플링되어 2개의 영상들이 한 라인씩 번갈아 나올 수 있게 되며 이에 따라 단일 입체 영상을 생성하게 되는 포맷에 대응하거나, 혹은 좌측 영상과 우측 영상이 수직 방향으로 1/2 다운-샘플링되어 2개의 영상들이 한 줄씩 번갈아 나올 수 있게 되며 이에 따라 단일 입체 영상을 생성하게 되는 포맷에 대응한다. (d)에 보인 프레임 순차 포맷은, 좌측 영상과 우측 영상이 시간적으로(temporally) 번갈아 나와 단일 비디오 스트림으로 구성되는 포맷에 대응한다. (e)에 보인 체커 보드 포맷은, 좌측 영상과 우측 영상이 1/2 다운-샘플링되어 좌측 영상과 우측 영상이 수평 방향과 수직 방향 각각에서 번갈아 나올 수 있게 되며 이에 따라 두 개의 영상들을 단일 영상으로 구성하게 되는 포맷에 대응한다. (f)에 보인 애너글리프 포맷(anaglyph format)은, 보색 대비(complementary color contrast)를 이용함으로써 영상이 입체감을 제공할 수 있도록 영상을 구성하는 포맷에 대응한다.
현재 디지털 방송은 한정된 시스템 리소스(limited system resource)들을 사용함으로써 방송 서비스를 제공한다. 디지털 방송 환경의 시스템 리소스들은, 전송 대역폭, 프로세싱 능력 등을 포함한다. 특히, 주파수의 배정(즉, 할당)에서 사용될 수 있는 대역폭은 한정되어 있다. 이 디지털 방송 환경에서, 3D 방송 서비스가 제공되는 경우, 대응하는 3D 방송 서비스도 또한 디지털 방송 환경에서 사용되는 한정된 리소스들을 사용할 것이다.
본 발명의 실시예에 따르면, 입체 영상 기법(stereoscopic image scheme)을 사용하는 3D 방송 서비스의 경우에, 좌측-시각 영상(left-view image)과 우측-시각 영상(right-view image)이 전송돼야만 한다. 따라서, 종래의 디지털 방송의 대역폭을 사용하여 고해상도로 두 개의 영상들을 전송하는 것은 어렵다. 예를 들어, 디지털 방송의 대역폭을 사용하여 풀-해상도 비디오 데이터를 전송하는 경우, 동일 대역폭을 사용하여 2-세트의 풀-해상도 비디오 데이터를 전송하는 것은 어렵다. 따라서, 2-세트의 하프-해상도 비디오 데이터를 전송하는 방법이 제안되고 있다.
그럼에도 불구하고, 고화질에 대한 사용자의 요구를 충족시키기 위해 풀-해상도 3D 방송 서비스의 제공이 요구된다. 그러나, 풀-해상도 3D 방송 서비스가 제공되고 있는 경우에도, 풀-해상도 3D 방송 서비스는 종래의 하프-해상도 3D 방송 서비스와 호환가능해야 한다.
도 2는 본 발명의 실시예에 따른 3D 방송 서비스의 개념도를 나타낸다. 도 2의 실시예에 따르면, 풀-해상도 영상을 제공하는 3D 방송 서비스(2010)는 하기에서, 3D 서비스 2.0 혹은 3D 서비스 Spec-B로 지칭하기로 한다. 하프-해상도 영상을 제공하는 3D 방송 서비스(2020)는 하기에서, 3D 서비스 1.0 혹은 3D 서비스 Spec-A로 지칭하기로 한다.
3D 서비스 1.0(2020)은 하프-해상도 좌측 영상 및 하프-해상도 우측 영상에로 서비스될 수 있다. 풀-해상도 영상을 제공하는 3D 서비스 2.0(2010)은, 풀-해상도 영상을 새로 전송하는 대신, 3D 서비스 1.0(2020)과 호환가능해야 하기 때문에, 3D 서비스 1.0(2020)의 영상 전송을 유지하며 그리고 풀-해상도 영상을 전송하기 위한 차동 데이터(differential data) 혹은 추가 데이터를 제공하는 방법이 사용될 수 있다. 더 구체적으로, 도 2에 보인 바와 같이, 3D 서비스 1.0(2020)의 하프-해상도 비디오 요소에 3D 서비스 2.0의 상보형 비디오 요소(complementary video element)(2030)를 더함으로써 풀-해상도 3D 방송 서비스(2010)가 제공될 수 있다. 결국, 3D 서비스 1.0을 지원할 수 있는 방송 수신기는, 3D 서비스 1.0(2020)의 데이터를 수신 및 프로세싱함으로써 하프-해상도 영상을 제공할 수 있고, 3D 서비스 2.0을 지원할 수 있는 방송 수신기는, 3D 서비스 1.0(2020)의 데이터 및 3D 서비스 2.0의 상보형 데이터를 수신 및 프로세싱함으로써 풀-해상도 영상을 제공할 수 있다.
도 3은 본 발명의 실시예에 따른 풀-해상도 3D 방송 서비스를 제공하기 위한 방법을 나타내는 개념적 블록도를 예시한다.
본 발명에서는, 풀-해상도 3D 영상을 제공할 수 있는 디지털 방송 수신기(3030)와, 그리고 하프-해상도 3D 영상을 지원할 수 있는 디지털 방송 수신기(3040)가 각각 제공될 수 있다.
3D 방송 서비스를 제공하는 방송 시스템은, 베이스 계층(3020)을 통해 하프-해상도 3D 비디오 데이터를 전송할 수 있고, 인헨스먼트 계층(3010)을 통해 풀-해상도 3D 영상을 제공하기 위한 추가적인 하프-해상도 3D 비디오 데이터를 전송할 수 있다.
하프-해상도 3D 영상을 지원할 수 있는 디지털 방송 수신기(3040)는, 베이스 계층(3020)의 비디오 데이터를 수신 및 프로세싱함으로써 하프-해상도 3D 영상을 제공할 수 있다. 또한, 풀-해상도 3D 영상을 제공할 수 있는 디지털 방송 수신기(3030)는, 베이스 계층(3020)의 비디오 데이터와 인헨스먼트 계층(3010)의 비디오 데이터를 수신 및 프로세싱함으로써 풀-해상도 3D 영상을 제공할 수 있다. 간결한 설명을 위해, 하기에서, 베이스 계층의 비디오 데이터 혹은 비디오 컴포넌트는 베이스 비디오 데이터 혹은 베이스 비디오 컴포넌트로 각각 지칭될 수 있고, 그리고 인헨스먼트 계층의 비디오 데이터 혹은 비디오 컴포넌트는 상보형 비디오 데이터 혹은 상보형 비디오 컴포넌트로 각각 지칭될 수 있다.
도 4는 본 발명의 실시예에 따른 3D 방송 서비스를 제공하기 위한 방법을 예시한다.
도 4를 참조하면, 3D 서비스 Spec-A(4010)는 베이스 계층을 통해 전송되는 3D 비디오 데이터를 표시하고, 도 3의 실시예에 따르면, 3D 비디오 데이터는 하프-해상도 탑-바텀 영상 포맷으로 제공된다.
3D 서비스 Spec-B(4020)는 인헨스먼트 계층을 통해 각각의 퍼스펙티브의 영상에 대한 상보형 데이터를 전송한다. 수신 시스템은 상기 전송된 상보형 데이터를 수신한다. 그리고, 상기 수신된 상보형 데이터는 3D 서비스 Spec-A(4010)로부터 전송된 3D 비디오 데이터에 추가적으로 프로세싱되어, 수신 시스템으로 하여금 풀-해상도 입체 영상을 제공할 수 있도록 한다.
도 5는 본 발명의 또 다른 실시예에 따른, 3D 방송 서비스를 제공하기 위한 방법을 예시한다.
본 발명의 실시예에 따르면, 3D 서비스 Spec-A(5010)는 탑-바텀 영상 포맷에 대응하고, 그리고 공간적 하프-해상도 3D 비디오 데이터 및 시간적 풀-해상도 3D 비디오 데이터를 포함할 수 있다. 본 발명의 다른 실시예에 따르면, 3D 서비스 Spec-A(5010)의 비디오 데이터는, 공간적 풀-해상도 및 시간적 하프-해상도로 제공되도록, 수신 시스템에서 보간(interpolate)될 수 있다. 3D 서비스 Spec-B(5020)의 수신 시스템은, 공간적 풀-해상도 영상과 시간적 풀-해상도 영상 모두를 제공하도록 상보형 정보를 추가적으로 프로세싱할 수 있다.
시간적 하프-해상도 및 공간적 풀-해상도의 선명도에 있어서, 전송될 수 있는 비디오 데이터(혹은 전송가능한 비디오 데이터)의 크기 혹은 양은, 시스템 리소스들의 제한으로 인해 한정될 수 있다. 비디오 데이터는 프레임-단위 영상(frame-unit image)들을 포함할 수 있다. 여기서, 전송가능한 비디오 데이터의 크기에 따라, (시간적으로 배치될 수 있는) 프레임-단위 영상들 간의 거리도 또한, 영상들의 해상도와 함께, 한정될 수 있다. 예를 들어, 소정의 대역폭에서의 제한으로 인해, 만약 전송가능한 비디오 데이터의 세트가 공간적으로는 하프-해상도이고 시간적으로는 풀-해상도에 있다면, 그리고 공간적 풀-해상도 영상들이 동일 대역폭의 제한 내에서 전송되고 있는 경우, 단지 시간적 하프-해상도 (예를 들어, 시간적 풀-해상도의 경우에 프레임 거리의 2배 거리) 비디오 데이터만이 전송될 수 있다.
수신 시스템에서의 해상도에 따라 비디오 데이터를 프로세싱하는 방법에 대한 다양한 실시예들이 이용가능할 수 있다.
3D 서비스 Spec-A(5010)의 수신 시스템은, 풀-해상도에 가까운 영상(Lb' 혹은 Rb')(도 5의 왼쪽 하부에 도시됨)을 제공하도록, 그 수신된 영상(Lb 혹은 Rb)에 관해 보간을 수행할 수 있다.
3D 서비스 Spec-B(5020)의 수신 시스템은 베이스 계층에서 수신된 비디오 데이터와 인헨스먼트 계층에서 수신된 비디오 데이터를 사용할 수 있다. 수신 시스템은 베이스 계층의 수신된 영상(Lb 혹은 Rb) 및 인헨스먼트 계층의 수신된 영상(Le 혹은 Re)의 수평 라인들을 인터리브(interleave) 및 결합(combine)할 수 있고, 그럼으로써 풀-해상도 영상(Lf 혹은 Rf)을 제공하게 된다. 또한, 수신 시스템은 베이스 계층의 수신된 영상(Lb 혹은 Rb)에 관해 로우-패스 필터링(low-pass filtering)을 수행할 수 있고, 인헨스먼트 계층의 수신된 영상(Le 혹은 Re)에 관해 하이-패스 필터링(high-pass filtering)을 수행할 수 있으며, 그럼으로써 두 개의 영상을 결합하여 풀-해상도 영상(Lf 혹은 Rf)을 복원하게 된다. 또한, 수신 시스템은 베이스 계층의 수신된 영상(Lb 혹은 Rb)에 관해 보간을 수행할 수 있고, 보간된 (풀-해상도에 가까운) 풀-해상도 영상(Lb' 혹은 Rb')을 상보형 정보 영상(Le 혹은 Re)으로 보충(supplement)할 수 있으며, 그럼으로써 풀-해상도 영상(Lf 혹은 Rf)(도 5의 오른쪽 아래에 도시됨)을 제공하게 된다.
도 6은 본 발명의 다른 실시예에 따른, 3D 방송 서비스를 제공하기 위한 방법을 예시한다.
본 발명의 실시예에 따르면, 3D 서비스 Spec-A(6010)는 사이드-바이-사이드 영상 포맷에 대응하고, 그리고 공간적 하프-해상도 3D 비디오 데이터 및 시간적 풀-해상도 3D 비디오 데이터를 포함할 수 있다. 본 발명의 다른 실시예에 따르면, 3D 서비스 Spec-A(6010)의 비디오 데이터는, 공간적 풀-해상도 및 시간적 하프-해상도로 제공되도록, 수신 시스템에서 보간될 수 있다. 3D 서비스 Spec-B(6020)의 수신 시스템은, 공간적 풀-해상도 영상과 시간적 풀-해상도 영상 모두를 제공하도록 상보형 정보를 추가적으로 프로세싱할 수 있다.
도 6의 경우에서, 영상 포맷이 사이드-바이-사이드 영상 포맷에 대응한다는사실 외에는, 도 6의 나머지 설명은 도 5의 설명과 동일하다. 따라서, 간결한 설명을 위해 본 발명의 중복되는 설명은 생략된다. 그러나, 도 6을 참조하면, 베이스 계층의 수신된 영상(Lb 혹은 Rb) 및 인헨스먼트 계층의 수신된 영상(Le 혹은 Re)을 인터리브하는 경우에, 3D 서비스 Spec-B(6020)의 수신 시스템은 수직 라인들을 인터리브 및 결합할 수 있고, 그럼으로써 풀-해상도 영상을 제공하게 된다.
도 7은 본 발명의 다른 실시예에 따른, 3D 방송 서비스를 제공하기 위한 방법을 예시한다.
본 발명의 실시예에 따르면, 3D 서비스 Spec-A(7010)는 프레임 순차 영상 포맷에 대응하고, 그리고 공간적 풀-해상도 3D 비디오 데이터 및 시간적 하프-해상도 3D 비디오 데이터를 포함할 수 있다. 본 발명의 다른 실시예에 따르면, 3D 서비스 Spec-A(7010)의 비디오 데이터는, 공간적 하프-해상도 및 시간적 풀-해상도로 제공되도록, 수신 시스템에서 포맷-변환될 수 있다. 3D 서비스 Spec-B(7020)의 수신 시스템은, 공간적 풀-해상도 영상과 시간적 풀-해상도 영상 모두를 제공하도록 상보형 정보를 추가적으로 프로세싱할 수 있다.
본 발명의 실시예에 따르면, 3D 서비스 Spec-A(7010)의 수신 시스템은 수신된 영상(Lb 혹은 Rb)에 관해 데시메이션(decimation)을 수행할 수 있고, 그럼으로써 탑-바텀 포맷 혹은 사이드-바이-사이드 포맷의 하프-해상도 영상(Lb' 혹은 Rb')을 생성(혹은 발생)시키게 된다. 이때, 데시메이션을 수행하는 동안, 수신 시스템은 탑-바텀 포맷 혹은 사이드-바이-사이드 포맷으로 하프-해상도 영상(Lb' 혹은 Rb')을 획득한다. 이때, 데시메이션을 수행하는 동안, 수신 시스템은 프레임 레이트 변환(frame rate conversion)을 통해 시간적으로 확장된(예를 들어, 두배로 된) 하프-해상도 영상의 쌍을 획득하고, 그럼으로써 공간적 풀-해상도 영상 및 시간적 풀-해상도 영상을 제공할 수 있게 된다.
다른 실시예에 따르면, 3D 서비스 Spec-B(7020)의 수신 시스템은 인헨스먼트 계층을 통해 수신된 영상(Le 혹은 Re)을 베이스 계층을 통해 수신된 각각의 연속하는 영상(Lb 혹은 Rb) 사이에 각각 삽입하고, 그럼으로써 공간적 풀-해상도 영상 및 시간적 풀-해상도 영상을 제공할 수 있게 된다.
앞서 설명된 바와 같이, 고해상도의 3D 방송 서비스를 제공하기 위해, 현재 제공되고 있는 해상도의 3D 방송 서비스를 위해 상보형 비디오 데이터가 제공돼야 하고, 그리고 이 상보형 비디오 데이터와 함께, 상보형 비디오 데이터에 대한 시그널링 정보(signaling information)도 또한 전송/수신 및 프로세싱될 것이 요구된다.
이후에서는, 상보형 비디오 데이터 및 이 상보형 비디오 데이터에 관한 정보를 시그널링하기 위한 방법이 상세히 설명된다. 본 발명의 실시예에 따르면, 상보형 비디오 데이터는, 레이어드 영상 압축 인코딩 방법(layered image compression encoding method)으로서 H.264/SVC(Scalable Video Coding) 혹은 MVC(Multi-view Video Coding) 방법을 사용할 수 있다. 그리고, 이때, 상보형 비디오 데이터는 인헨스먼트 계층을 통해 전송될 수 있다.
상보형 비디오 데이터에 관한 상기 전송된 시그널링 정보는 3D 상보형 비디오 정보로서 지칭될 수 있다. 3D 상보형 비디오 정보는 본 발명의 실시예에 따른 디스크립터(descriptor) 혹은 테이블 포맷으로 제공될 수 있고, 여기서 3D 상보형 비디오 정보는 3D 상보형 비디오 디스크립터 혹은 3D 상보형 비디오 테이블로서 지칭될 수 있다.
본 발명의 실시예에 따르면, 3D 상보형 비디오 정보는 PSIP(이는 ATSC 방송 시스템으로부터 전송됨)에 포함될 수 있고, 특히 PSIP의 TVCT(혹은 VCT)에 포함될 수 있고, 그럼으로써 전송되게 된다. 또한, 3D 상보형 비디오 정보는 PSI(이는 ATSC 방송 시스템으로부터 전송됨)에 포함될 수 있고, 특히 PSI의 PMT에 포함될 수 있다. 더욱이, 3D 상보형 비디오 정보는 상보형 비디오 정보에 포함될 수 있고, 특히 상보형 비디오 ES(Elementary Stream)의 헤더 정보(header information)에 포함될 수 있고, 그럼으로써 전송되게 된다.
도 8은 본 발명에 따른 풀 포워드 및 백워드 상호운용성(full forward and backward interoperability)을 예시한다.
본 발명은, 현 세대 혹은 다음 세대 소스 디바이스들 그리고 곧-나올 하프-해상도 3DTV 및 다음-세대 풀-해상도 3DTV 간에 풀 포워드 및 백워드 상호운용성을 제공한다. 이들이 어떻게 동작하는지에 관한 예들이 제공된다. 현재 BD 플레이어/STB에서 플레이되는 Spec-A 콘텐츠는 두 가지 모드 즉, 소비자가 곧-나올 3DTV 상에서 하프-해상도 3D 입체 콘텐츠를 보는 모드와, 그리고 다음-세대 3DTV 상에서 하프-해상도 3D 입체 콘텐츠를 보는 모드를 가질 수 있다. 다음-세대 BD 플레이어/STB에서 플레이되는 Spec-A 콘텐츠에 대해, 소비자는 곧-나올 3DTV 상에서 하프-해상도 3D 입체 콘텐츠를 볼 수 있고, 그리고 소비자는 다음-세대 3D TV 상에서 하프-해상도 3D 입체 콘텐츠를 볼 수 있다. 현재 BD 플레이어/STB에서 플레이되는 Spec-B 콘텐츠에 대해, 소비자는 곧-나올 3DTV 상에서 하프-해상도 3D 입체 콘텐츠를 볼 수 있고, 그리고 소비자는 다음-세대 3DTV 상에서 하프-해상도 3D 입체 콘텐츠를 볼 수 있다. 마지막으로, 다음-세대 BD 플레이어/STB에서 플레이되는 Spec-B 콘텐츠에 대해, 소비자는 곧-나올 3DTV 상에서 하프-해상도 3D 입체 콘텐츠를 볼 수 있고, 그리고 소비자는 다음-세대 3DTV 상에서 풀-해상도 3D 입체 콘텐츠를 볼 수 있다.
본 발명에서의 탑-바텀 및 사이드-바이-사이드와 같은 공간 하프 해상도 방법들은 기존 BD/DVD 오서링 시스템(authoring systems)에서 지원이 잘 되고 있으며, 변경 없이 혹은 약간의 처리를 통해 다음과 같은 특징, 예를 들어, 프리젠테이션 그래픽 모드(presentation graphic mode)를 사용하는 3D 서브타이틀(subtitles), 프레임의 탑 & 바텀 부분에서의 시프트된 오브젝트를 배치하는 3D 그래픽, (각각의 프레임을 편집할 필요 없이) 전체 클립(clip)에 걸친 이펙트(effect)들의 적용, 그리고 BD 라이브 콘텐츠 오서링(BD Live content authoring) 같은 것을 용이하게 한다.
도 9는 제 1 세대 3DTV와 제 2 세대 3DTV 간의 호환성을 제공하는 서비스 모델을 예시한다.
앞서 설명된 바와 같이, 만약 좌측 및 우측 영상이 Spec-A를 통해 입체 3D 비디오를 구성하면, 각각의 반은 하프-해상도이고, 그리고 장래 입체 3DTV 서비스는 고해상도를 통해 제공될 수 있다. 여기서, 종래의 비디오 요소는 이미 하프-해상도를 지원하기 때문에, 풀-해상도를 지원하기 위해서, 차동 신호(differential signal)가 상보형 비디오 요소를 통해 전송된다. 결과적으로, Spec-B를 지원하는 결과 수신기는 상보형 비디오 요소를 Spec-A에 더함으로써 풀-해상도 3DTV 서비스를 제공할 수 있다. 그리고, 본 발명은 Spec-B에 대한 3DTV 서비스를 지원하기 위해 상보형 비디오 요소를 전송하는 방법을 제공한다.
도 10은 본 발명의 실시예에 따른 3D 상보형 비디오 정보를 포함하는 TVCT의 신택스 구조(syntax structure)를 예시한다.
도 10의 TVCT에 포함된 필드(field)들의 설명은 다음과 같다.
'table_id' 필드는 테이블 섹션(table section)의 타입을 표시하는 8-비트 무부호 정수(unsigned integer number) 필드이다.
'section_syntax_indicator' 필드는 일(1)-비트 필드로서, 이 필드는 'terrestrial_virtual_channel_table_section()' 필드에 대해 '1'로 설정될 것이다.
'private_indicator' 필드는 '1'로 설정될 일(1)-비트 필드이다.
'section_length' 필드는 처음 2개의 비트들이 '00'으로 설정될 12-비트 필드이고, 그리고 'section_length' 필드 바로 다음에 시작하는 그리고 CRC를 포함하는 섹션의 바이트들의 수를 특정한다.
'transport_stream_id' 필드는 16-비트 MPEG-2 전송 스트림(TS) ID를 표시한다. 'transport_stream_id' 필드는 TVCT(Terrestrial Virtual Channel Table)를 서로 다른 PTC들에서 방송될 수 있는 다른 것들과 구분한다.
5-비트 필드로서 서비스를 제공하는 'version_number' 필드는 VCT(Virtual Channel Table)의 버전 번호를 표시한다.
'current_next_indicator' 필드는 일(1)-비트 표시자(indicator)이다. 'current_next_indicator' 필드가 '1'로 설정된 경우에, 이는 전송된 VCT(Virtual Channel Table)가 현재 적용가능함을 의미한다. 'current_next_indicator' 필드의 비트가 '0'으로 설정된 경우에, 이는 전송된 테이블이 아직 적용가능하지 않고 다음 테이블이 유효하게 될 것임을 의미한다.
'section_number' 필드는 이 섹션의 수를 제공하는 8-비트 필드이다.
8-비트 필드로서 서비스를 제공하는 'last_section_number' 필드는 완전한TVCT(Terrestrial Virtual Channel Table)의 마지막 섹션(즉, 가장 높은 section_number 값을 갖는 섹션)의 번호를 특정한다.
8-비트 무부호 정수 필드로서 서비스를 제공하는 'protocol_version' 필드는, 장래에, 테이블 타입으로 하여금 (현재 프로토콜에서 정의된 것과는 다르게 구성될 수 있는) 파라미터들을 운반할 수 있도록 하는데 사용된다.
8-비트 필드로서 서비스를 제공하는 'num_channels_in_section' 필드는 이 VCT 섹션에서 가상 채널들의 번호를 특정한다.
'short_name' 필드는 가상 채널의 명칭을 표시할 수 있는바, 이는 유니코드 캐릭터 데이터(unicode character data)에 대한 UTF-16 표준에 따라 해석되는 1 내지 7의 16-비트 코드 값들의 시퀀스로서 표현된다.
'major_channel_number' 필드는 'for' 루프(loop)의 반복으로 정의되는 가상 채널과 관련된 '메이저(major)' 채널 번호를 표현하는 10-비트 수를 표시한다.
'minor_channel_number' 필드는 '마이너(minor)' 혹은 '서브(sub)' 채널 번호를 나타내도록 '0' 내지 '999' 범위의 10-비트 수를 표시한다. 'major_channel_number' 필드와 함께 이 'minor_channel_number' 필드는 2-부분 채널 번호를 표시할 수 있는바, 여기서 minor_channel_number는 번호의 제 2 혹은 우측 부분을 나타낸다.
8-비트 무부호 정수를 포함하는'modulation_mode' 필드는 가상 채널과 관련된 전송된 캐리어에 대한 변조 모드를 표시할 수 있다.
'carrier_frequency' 필드는 허용된 캐리어 주파수를 표시할 수 있다.
'channel_TSID' 필드는 0x0000 내지 0xFFFF 범위의 16-비트 무부호 정수 필드이다. 'channel_TSID' 필드는 가상 채널에 의해 참조되는 MPEG-2 프로그램을 운반하는 전송 스트림(TS)과 관련된 MPEG-2 전송 스트림(TS) ID를 나타낸다.
'program_number' 필드는 여기서 정의되는 가상 채널을 MPEG-2 프로그램 연관 및 TS 프로그램 맵 테이블들과 관련시키는 16-비트 무부호 정수를 포함한다.
2-비트 필드로서 서비스를 제공하는'ETM_location' 필드는 확장된 텍스트 메시지(Extended Text Message, ETM)의 존재 및 위치를 특정한다. 'access_controlled' 필드는 1-비트 불린 플래그((Boolean flag)를 표시한다. 'access_controlled' 필드의 불린 플래그가 설정되는 경우, 이는 가상 채널과 관련된 이벤트들에 액세스하는 것이 제어될 수 있음을 의미한다.
'hidden' 필드는 1-비트 불린 플래그를 표시한다. 'hidden' 필드의 불린 플래그가 설정되는 경우, 이는 가상 채널이 가상 채널 번호의 다이렉트 엔트리(direct entry)에 의해 사용자에 의해 액세스되지 않음을 의미한다.
'hide_guide' 필드는 불린 플래그를 표시한다. 'hide_guide' 필드의 불린 플래그가 히든 채널(hidden channel)에 대해 제로('0')로 설정되는 경우, 이는 가상 채널 및 가상 채널 이벤트들이 EPG 디스플레이에서 나타날 수 있음을 의미한다.
'service_type' 필드는 가상 채널에서 운반되는 서비스의 타입을 식별할 수 있는 6-비트 열거형 필드(6-bit enumerated type field)이다.
'source_id' 필드는 가상 채널과 관련된 프로그래밍 소스를 식별할 수 있는 16-비트 무부호 정수를 포함한다.
'descriptors_length' 필드는 가상 채널에 대한 디스크립터들의 총 길이(단위는 바이트)를 표시할 수 있다.
'descriptor()' 필드는 'descriptor()' 필드에 대해 적절한 것으로 결정된 제로(0) 혹은 하나 이상의 디스크립터들을 포함할 수 있다.
'additional_descriptors_length' 필드는 VCT 디스크립터 리스트(descriptor list)의 총 길이(단위는 바이트)를 표시할 수 있다.
'CRC_32' 필드는, 전체 TVCT(Terrestrial Virtual Channel Table) 섹션의 프로세싱 이후 ISO/IEC 13818 1 "MPEG-2 Systems" [8]의 Annex A에서 정의된 디코더 내의 레지스터들의 제로(0) 출력을 보장하는 CRC 값이 포함된 32-비트 필드다.
대응하는 채널로부터 제공되는 방송 서비스가 3D 서비스 2.0인 경우, service_type 필드(8010)는 이 정보를 표시하는 필드에 대응한다. 예를 들어, service_type 필드(8010)의 필드 값이 0x13인 경우, 이는 3D 방송 프로그램(3D 입체 영상을 디스플레이하기 위한 오디오, 비디오, 및 상보형 비디오 데이터)이 대응 가상 채널로부터 제공되고 있음을 표시한다. 디스크립터 필드(8020)는 3D 상보형 비디오 정보를 포함하며, 이에 대해서는 첨부되는 도면을 참조하여 하기에서 상세히 설명될 것이다.
도 11은 본 발명의 실시예에 따른 TVCT에 포함된 3D 상보형 비디오 디스크립터의 신택스 구조를 예시한다.
도 11의 3D 상보형 비디오 디스크립터에 포함된 필드들이 이제 다음과 같이 설명된다.
number_elements 필드는 각각의 가상 채널을 구성하는 비디오 요소들의 수를 표시한다. 방송 수신기는 3DTV 서비스 위치 디스크립터를 수신할 수 있고, 이에 따라 횟수로서 number_elements 필드 아래의 필드들에 포함된 정보를 파싱하게 된다(이 수는 각각의 가상 채널을 구성하는 비디오 요소들의 수에 대응함).
complementary_type 필드는 상보형 비디오 데이터 혹은 상보형 비디오 스트림들을 구성하는 방법을 표시한다. 풀-해상도 영상이 출력되는 있는 경우, 수신 시스템은 베이스 비디오 데이터 및 상보형 비디오 데이터를 풀-해상도 영상으로 재구성(혹은 재건)하기 위해 이 필드의 정보를 사용한다.
naive_subsampling_flag 필드는, 베이스 비디오 컴포넌트 및 상보형 비디오 컴포넌트가 구성되고 있는 경우 서브샘플링(subsampling)이 수행되고 있는지 혹은 로우-패스 필터링 및 하이-패스 필터링이 수행되고 있는지 여부를 표시한다. 예를 들어, naive_subsampling_flag 필드의 필드 값이 1과 동일하다면, 이는 서브샘플링이 수행되고 있음을 표시한다. 그리고, 이 필드 값이 0과 동일하다면, 이는 로우-패스 필터링 및 하이-패스 필터링이 수행되고 있음을 표시한다.
codec_type 필드는 상보형 비디오 컴포넌트를 인코딩 혹은 압축하기 위해 사용되는 비디오 코텍의 타입을 표시한다. 예를 들어, codec_type 필드의 필드 값에 따라, MPEG-2, AVC/H.264, SVC 확장, 등과 같은 코딩 기법이 표시될 수 있다.
horizontal_size 필드, vertical_size 필드, 및 frame_rate size 필드는 각각, 상보형 비디오 컴포넌트의 수평 크기, 수직 크기, 및 프레임 레이트를 표시한다. 여기서, 수평 크기 및 수직 크기는 공간 해상도를 표시할 수 있고, 그리고 프레임 레이트는 시간 해상도를 표시할 수 있다. 예를 들어, complementary_type 필드의 필드 값이 0x0004와 동일한 경우, 상보형 비디오 컴포넌트의 공간/시간 해상도는 모두 풀-해상도가 될 수 있다.
interpolation_filter_available_flag 필드는, 베이스 비디오 컴포넌트에 관해 보간이 수행되는 경우, 추가의 커스터마이즈된 필터(extra customized filter)가 사용되고 있는지 여부를 표시한다. 이때, 본 발명의 실시예에 따르면, 필터를 구현하기 위한 필터 계수와 같은 정보가 TVCT 혹은 PMT 내의 상보형 비디오 컴포넌트에 대한 디스크립터 루프에 포함될 수 있고, 디스크립터 포맷으로 제공될 수 있다. 그리고, 본 발명의 다른 실시예에 따르면, 이 정보는 비디오 요소 내의 헤더 정보 혹은 메시지 정보에 포함될 수 있고, 그럼으로써 제공되게 된다. 상보형 비디오 정보를 구성하는 좌측 시각에 대한 비디오 데이터와 우측 시각에 대한 비디오 데이터 중에서, left_image_first_flag 필드는 두 개의 비디오 데이터 중 어느 것이 먼저 일어나는지(혹은 발생되는지)를 표시한다. 본 발명의 실시예에 따르면, 좌측 시각에 대응하는 비디오 데이터가 먼저 수신되는 경우, left_image_first_flag 필드의 필드 값은 1로 설정될 수 있다.
complementary_first_flag 필드는 풀-해상도 영상을 구성하는 절차 동안 베이스 비디오 컴포넌트와 상보형 비디오 컴포넌트를 결합하는 순서를 표시한다. 본 발명의 실시예에 따르면, 베이스 비디오 컴포넌트에 대응하는 비디오 데이터가 상보형 비디오 컴포넌트에 대응하는 비디오 데이터보다 선행하는 경우, complementary_first_flag 필드의 필드 값은 1로 설정될 수 있다.
도 12는 본 발명의 실시예에 따른, 3D 상보형 비디오 정보에 포함된 complementary_type 필드의 필드 값에 따라 영상을 구성하는 방법을 예시한다.
도 11에 포함된 complementary_type 필드는 상보형 비디오 데이터 혹은 상보형 비디오 스트림들을 구성하는 방법을 표시한다. 그리고, 수신 시스템은 베이스 비디오 데이터 및 상보형 비디오 데이터를 풀-해상도 영상으로 재구성(혹은 재건)하기 위해 이 필드의 정보를 사용한다. 여기서 본 발명의 실시예에 따르면, complementary_type 필드의 필드 값에 따른 풀-해상도 영상의 재구성(혹은 재건)은 도 12에 보인 바와 같이 다양하게 수행될 수 있다.
1) complementary_type 필드의 필드 값이 0과 동일한 경우, complementary_type 필드는 상보형 비디오 데이터가 라인인터리브(lineinterleave)되고 상보형 라인을 위한 비디오 데이터를 운반하고 있음을 표시한다.
상보형 비디오 데이터는 짝수 라인들 혹은 홀수 라인들에 대한 비디오 데이터를 포함할 수 있는바, 이들은 풀-해상도 영상을 구성하기 위해 베이스 비디오 데이터에 더해진다. 짝수 라인들 혹은 홀수 라인들에 대한 비디오 데이터는 베이스 비디오 데이터의 멀티플렉싱 포맷에 따라 수평으로 또는 수직으로 라인-인터리브될 수 있고, 그럼으로써 발생(혹은 생성)되게 된다. 본 발명의 실시예에 따르면, 베이스 비디오 데이터가 사이드-바이-사이드 포맷에 대응하는 경우, 수직 라인-인터리브가 수행될 수 있고, 그리고 베이스 비디오 데이터가 탑-바텀 포맷에 대응하는 경우, 수평 라인-인터리브가 수행될 수 있다.
2) complementary_type 필드의 필드 값이 1과 동일한 경우, complementary_type 필드는 상보형 비디오 데이터가 픽셀인터리브(pixelinterleave)되고 각각의 라인에 대해 교번(혹은 변경)되는 영상의 퍼스펙티브에 관한 순서 정보를 운반하고 있음을 표시한다. 여기서 순서 정보는 풀-해상도 영상을 재구성하기 위한 픽셀에 관한 정보에 대응한다.
상보형 비디오 데이터는 픽셀 단위로 인터리브될 수 있고, 그럼으로써 체커보드 포맷으로 전송될 수 있게 된다. 이 경우에, 좌측 영상의 픽셀과 우측 영상의 픽셀이 단일 라인 내에서 픽셀 단위로(혹은 픽셀별로) 교번될 수 있다. 또한, 풀-해상도 영상을 정상적으로 복원하기 위해, 수신 시스템은 교번의 순서에 관한 이 정보를 전송하도록 요구받는다. 이 경우에, 재구성(혹은 재건)되고 있는 풀-해상도 영상의 제 1 픽셀에 포함된 비디오 데이터에 관하여, complementary_first_flag 필드는 제 1 픽셀에 포함된 비디오 데이터가 어느 퍼스펙티브 혹은 계층에 대응하는 지를 표시한다.
3) complementary_type 필드의 필드 값이 2와 동일한 경우, complementary_type 필드는 상보형 비디오 데이터가 프레임-인터리브(frame-interleave)되고 풀-해상도 영상을 재구성(혹은 재건)하기 위한 상보형 프레임들을 포함함을 표시한다.
본 발명의 실시예에 따르면, 풀-해상도의 의미는 시간 해상도를 의미한다. 이 경우에, 상보형 비디오 데이터는 프레임 단위로(혹은 프레임 별로) 인터리브된 영상 데이터를 포함할 수 있고, 그리고 프레임별로(혹은 프레임 순차적으로) 비디오 데이터를 또한 포함할 수도 있다. complementary_first_flag 필드는 상보형 비디오 컴포넌트를 통해 수신되고 있는 비디오 프레임이 베이스 비디오 컴포넌트를 통해 수신되고 있는 비디오 프레임 전에 위치하는지 아니면 후에 위치하는지를 수신 시스템에게 알려줄 수 있다.
4) complementary_type 필드의 필드 값이 3과 동일한 경우, complementary_type 필드는 상보형 비디오 데이터가 필드인터리브(fieldinterleave)되고 풀-해상도 영상을 재구성(혹은 재건)하기 위한 상보형 프레임들을 포함함을 표시한다.
본 발명의 실시예에 따르면, 풀-해상도의 의미는 시간 해상도를 의미한다. 이 경우에, 상보형 비디오 데이터는 필드 단위로(혹은 필드 별로) 인터리브된 영상 데이터를 포함할 수 있고, 그리고 필드별로 비디오 데이터를 또한 포함할 수도 있다. complementary_first_flag 필드는 상보형 비디오 컴포넌트를 통해 수신되고 있는 비디오 필드가 풀-해상도 영상에 대한 짝수 필드에 대응하는지 아니면 홀수 필드에 대응하는지를 수신 시스템에게 알려줄 수 있다.
5) complementary_type 필드의 필드 값이 4와 동일한 경우, complementary_type 필드는 상보형 비디오 데이터가 풀-해상도 영상을 재구성(혹은 재건)하기 위한 잔류(residual) 혹은 증분(incremental) 데이터를 포함함을 표시할 수 있다.
본 발명의 실시예에 따르면, 베이스 비디오 컴포넌트의 입체-멀티플렉싱 포맷에 상관없이, 상보형 비디오 컴포넌트는 풀-해상도 영상을 재구성(혹은 재건)하기 위한 잔류 혹은 증분 데이터를 포함한다. 이 경우에, 상보형 비디오 데이터와 베이스 비디오 데이터를 결합시키기 전에, 수신 시스템은 베이스 비디오 데이터에 관해 보간 혹은 더블링(doubling)을 수행할 수 있다.
도 13은, PMT에서의 3D 상보형 비디오 디스크립터의 시그널링의 실시예를 예시한다. 달리 말하면, PMT 내의 3D 상보형 비디오 디스크립터는 풀-해상도 3D 입체 프로그램을 구성하는 상보형 비디오 요소를 제공한다.
3D_complementary_video_descriptor_PMT는 PMT 내에서 ES_info_length 필드 후에 위치하며 엘러멘터리 스트림(elementary stream)에 대응하는 정보를 포함한다. 각각의 필드의 의미는 3D_complementary_video_descriptor_VCT와 동일하다. codec_type이 PMT 내에서 stream_type 필드로 대체될 수 있고, 이 경우에 3D 상보형 비디오 디스크립터는 생략될 수 있다.
후속적으로, PMT를 사용하여 3D 상보형 비디오 정보를 시그널링하기 위한 방법이 상세히 설명된다.
도 14는 본 발명의 실시예에 따른 3D 상보형 비디오 정보를 포함하는 PMT의 신택스 구조를 예시한다.
도 14의 PMT에 포함된 필드들은 다음과 같이 설명된다. 'table_id' 필드는 'TS_program_map_section' 필드에서 항상 '0x02'로 설정될 8-비트 필드이다.
'section_syntax_indicator' 필드는 '1'로 설정될 1-비트 필드이다.
'section_length' 필드는 처음 2개의 비트들이 '00'으로 설정될 12-비트 필드이고, 그리고 'section_length' 필드 바로 다음에 시작하고 그리고 CRC를 포함하는 섹션의 바이트들의 수를 특정한다.
'program_number' 필드는 16-비트 필드이고, 이는 'program_map_PID' 필드가 적용가능한 프로그램을 특정한다.
'version_number' 필드는 5-비트 필드이고, 이는 'TS_program_map_section' 필드의 버전 번호를 표시한다.
'current_next_indicator' 필드는 1-비트 필드이다. 'current_next_indicator' 필드의 비트가 '1'로 설정되는 경우, 이는 전송된 'TS_program_map_section' 필드가 현재 적용가능함을 의미한다. 'current_next_indicator' 필드의 비트가 '0'으로 설정된 경우에, 이는 전송된 'TS_program_map_section' 필드가 아직 적용가능하지 않고 다음 'TS_program_map_section' 필드가 유효하게 될 것임을 의미한다.
'section_number' 필드는 '0x00'이 될 8-비트 필드의 값을 포함한다.
'last_section_number' 필드는 '0x00'이 될 8-비트 필드의 값을 포함한다.
'PCR_PID'는 'program_number' 필드에 의해 특정된 프로그램에 대해 유효한 PCR 필드들을 포함할 전송 스트림(TS) 패킷들의 PID를 표시하는 13-비트 필드이다. 이 경우에, 어떠한 PCR도 프라이빗 스트림(private stream)에 대한 프로그램 정의와 관련되지 않는다면, 이 필드는 '0x1FFF'의 값을 취할 것이다.
'program_info_length' 필드는 12-비트 필드이고, 이것의 처음 2개의 비트들은 '00'일 것이다. 'program_info_length' 필드는 'program_info_length' 필드 바로 다음에 오는 디스크립터들의 바이트들의 수를 특정한다.
'stream_type' 필드는, PID(이것의 값은 'elementary_PID' 필드에 의해 특정됨)를 갖는 패킷들 내에서 운반되는 엘러멘터리 스트림 혹은 페이로드(payload)의 타입을 특정하는 8-비트 필드이다. 추가적으로, 'stream_type' 필드는 대응하는 비디오 요소의 코딩 타입을 표시할 수 있다. 예시적인 코딩 타입으로서, JPEG, MPEG-2, MPEG-4, H.264/AVC, H.264/SVC 혹은 H.264/MVC 기법이 사용될 수 있다.
'elementary_PID' 필드는 관련된 엘러멘터리 스트림 혹은 페이로드를 운반하는 전송 스트림(TS) 패킷들의 PID를 특정하는 13-비트 필드이다. 이 PID는 1차 비디오 데이터(primary video data) 혹은 2차 비디오 데이터(secondary video data)로서 사용될 수 있다.
'ES_info_length' 필드는 12-비트 필드이고, 이것의 처음 2개의 비트들은 '00'이 될 것이다. 'ES_info_length' 필드는 'ES_info_length' 필드 바로 다음에 오는 관련된 엘러멘터리 스트림의 디스크립터들의 바이트들의 수를 특정할 수 있다.
'CRC_32' 필드는, 전체 전송 스트림 프로그램 맵 섹션의 프로세싱 이후 Annex B에서 정의된 디코더 내의 레지스터들의 제로(0) 출력을 제공하는 CRC 값이 포함된 32-비트 필드다.
디스크립터 필드(11010)는 3D 상보형 비디오 정보를 포함하며, 이에 대해서는 첨부된 도면을 참조하여 이후 상세히 설명된다.
후속적으로, 상보형 비디오 데이터에 포함된 상보형 비디오 ES를 통해 3D 상보형 비디오 정보를 시그널링하기 위한 방법이 이제 상세히 설명된다.
도 15는 본 발명의 실시예에 따른, 3D 상보형 비디오 정보를 포함하는 비디오 ES의 픽처 확장 및 사용자 데이터(Picture Extension and user Data)의 신택스 구조를 예시한다.
본 발명의 실시예에 따르면, ATSC 원결통신 시스템은 PISP 계층 대신 비디오 ES의 헤더 정보에 3D 상보형 비디오 정보를 포함할 수 있고, 대응하는 정보를 시그널링할 수 있다. 더 구체적으로, 3D 상보형 비디오 정보(complementary_video_info(); 13030)는 상보형 비디오 ES에 포함될 수 있고, 그럼으로써 전송되게 되며, 그리고 비디오 디코더 내의 대응하는 정보를 파싱함으로써, 수신 시스템은 디스플레이 출력을 제어하기 위해 요구되는 정보를 획득할 수 있다.
본 발명의 실시예에 따르면, 상보형 비디오 데이터가 MPEG-2 비디오 코딩 기법을 사용함으로써 인코딩될 때, 3D 상보형 비디오 정보는 픽처 확장 및 사용자 데이터의 user_data()(13010) 내에 포함될 수 있고, 그럼으로써 전송되게 된다. 픽처 확장 및 사용자 데이터는 픽처 헤더 및 픽처 코딩 확장 이후에 수신될 수 있고, 그럼으로써 디코딩되게 된다.
도 15의 실시예에서, user_data_start_code 필드의 필드 값은 0x0000 01B2으로 고정된다.
user_data_identifier(혹은 ATSC_identifier) 필드의 필드 값은 0x4741 3934의 값이 주어지는 32-비트 코드에 대응한다.
user_data_type_code 필드는 ATSC 사용자 데이터(13020)의 데이터 타입을 표시하고, 8 비트의 필드 값을 가질 수 있다. 본 발명의 실시예에 따르면, 0x10의 값을 사용함으로써, 이 필드는 3D 상보형 비디오 정보(13030)가 포함되어 있음을 표시할 수 있다.
H.264 혹은 AVC 비디오의 경우에, 대응하는 정보는 도 16에 예시된 바와 같이 SEI(Supplemental Enhancement Information) 영역으로 전송된다. user_identifier 및 user_structure가 user_data_registered_itu_t_135()에 포함된다. 따라서, 대응하는 정보가 user_data() 대신에 SEI 페이로드로 전달된다.
이하에서는, 3D 비디오 서비스 Spec-B로부터 수신된, 베이스 비디오 데이터, 상보형 비디오 데이터, 및 3D 상보형 비디오 데이터를 이용하여 풀-해상도 영상을 제공하기 위한 방법이 상세히 설명된다.
도 17은 본 발명의 실시예에 따른, 3D 비디오 서비스 Spec-B로부터 수신된 베이스 비디오 데이터, 상보형 비디오 데이터, 및 3D 상보형 비디오 정보를 이용하여 풀-해상도 영상을 제공하기 위한 방법을 예시한다.
도 17의 실시예에서, 베이스 비디오 데이터의 영상은 탑-바텀 포맷으로 수신되고, 여기서 좌측 영상은 상측에 위치하며, 우측 영상은 하측에 위치한다. 3D 상보형 비디오 정보의 경우에, complementary_type 필드의 필드 값은 '0x0000'으로서 표시되고, naive_subsampling_flag 필드의 필드 값은 '1'로서 표시되며, left_image_first_flag 필드의 필드 값은 '1'로서 표시되고, 그리고 complementary_first_flag 필드의 필드 값은 '0'으로서 표시된다. 더 구체적으로, 3D 상보형 비디오 정보는 상보형 비디오 데이터가 라인-인터리브로 프로세싱됨을 표시하고, 로우-패스 필터링 및 하이-패스 필터링은 서브샘플링 수행시 수행되지 않음을 표시하고, 좌측 시각에 대응하는 비디오 데이터가 먼저 제시됨을 표시하고, 그리고 베이스 비디오에 대응하는 비디오 데이터가 상보형 비디오에 대응하는 비디오 데이터보다 선행함을 표시한다.
3D 상보형 비디오 정보에 따라, 수신 시스템은 탑-바텀 포맷의 베이스 비디오 프레임(16010)으로부터 좌측 영상 부분들(Lb1~Lb5)을 추출하고, 상보형 비디오 프레임(16020)으로부터 좌측 영상 부분들(Lc1~Lc5)을 추출하고, 그리고 추출된 비디오 데이터를 라인별로 재구성(혹은 재건)하며, 그럼으로써 풀-해상도 좌측 영상(16030)이 획득되게 된다. 유사하게, 3D 상보형 비디오 정보에 따라, 수신 시스템은 탑-바텀 포맷의 베이스 비디오 프레임(16010)으로부터 우측 영상 부분들(Rb1~Rb5)을 추출하고, 상보형 비디오 프레임(16020)으로부터 우측 영상 부분들(Rc1~Rc5)을 추출하고, 그리고 추출된 비디오 데이터를 라인별로 재구성(혹은 재건)하며, 그럼으로써 풀-해상도 우측 영상(16040)이 획득되게 된다.
수신 시스템이 획득된 풀-해상도 좌측 영상(16030) 및 우측 영상(16040)을 프레임 순차 기법을 통해 디스플레이할 수 있다. 이 경우에, 두 개의 프레임들(16030, 16040)은 하나의 프레임(16010)으로부터 프레임 단위로 발생했기 때문에, 시간적 풀-해상도 디스플레이가 이용가능하게 된다.
도 18은 본 발명의 또 다른 실시예에 따른, 3D 비디오 서비스 Spec-B로부터 수신된 베이스 비디오 데이터, 상보형 비디오 데이터, 및 3D 상보형 비디오 정보를 이용하여 풀-해상도 영상을 제공하기 위한 방법을 예시한다.
도 18의 실시예에서, 베이스 비디오 데이터의 영상은 탑-바텀 포맷으로 수신되고, 여기서 좌측 영상은 상측에 위치하며, 우측 영상은 하측에 위치한다. 3D 상보형 비디오 정보의 경우에, complementary_type 필드의 필드 값은 '0x0000'으로서 표시되고, naive_subsampling_flag 필드의 필드 값은 '0'으로서 표시되며, left_image_first_flag 필드의 필드 값은 '1'로서 표시되고, 그리고 complementary_first_flag 필드의 필드 값은 '0'으로서 표시된다. 더 구체적으로, 3D 상보형 비디오 정보는 상보형 비디오 데이터가 라인-인터리브로 프로세싱됨을 표시하고, 로우-패스 필터링 및 하이-패스 필터링은 서브샘플링 수행시 수행돼야만 함을 표시하고, 좌측 시각에 대응하는 비디오 데이터가 먼저 제시됨을 표시하고, 그리고 베이스 비디오에 대응하는 비디오 데이터가 상보형 데이터에 대응하는 비디오 데이터보다 선행함을 표시한다.
먼저, 3D 상보형 비디오 정보에 따라, 수신 시스템은 베이스 비디오 프레임에 관해 로우-패스 필터링을 수행하고, 그럼으로써 필터링된 베이스 비디오 프레임들(Lb1'~Lb5' 및 Rb1'~Rb5')이 획득되게 된다. 또한, 수신 시스템은 상보형 비디오 프레임에 관해 하이-패스 필터링을 수행하고, 그럼으로써 필터링된 상보형 비디오 프레임들(Lc1'~Lc5' 및 Rc1'~Rc5')이 획득되게 된다.
3D 상보형 비디오 정보에 따라, 수신 시스템은 탑-바텀 포맷의 베이스 비디오 프레임으로부터 로우-패스 필터링된 좌측 영상 부분들(Lb1'~Lb5')을 추출하고, 상보형 비디오 프레임으로부터 로우-패스 필터링된 좌측 영상 부분들(Lc1'~Lc5')을 추출한다. 이후 수신 시스템은 추출된 비디오 데이터를 라인별로 재구성(혹은 재건)하며, 그럼으로써 풀-해상도 좌측 영상(1030)이 획득되게 된다. 유사하게, 3D 상보형 비디오 정보에 따라, 수신 시스템은 탑-바텀 포맷의 베이스 비디오 프레임으로부터 로우-패스 필터링된 우측 영상 부분들(Rb1'~Rb5')을 추출하고, 상보형 비디오 프레임으로부터 로우-패스 필터링된 우측 영상 부분들(Rc1'~Rc5')을 추출한다. 그 다음에, 수신 시스템은 추출된 비디오 데이터를 라인별로 재구성(혹은 재건)하며, 그럼으로써 풀-해상도 우측 영상(17040)이 획득되게 된다.
수신 시스템이 획득된 풀-해상도 좌측 영상(17030) 및 우측 영상(17040)을 프레임 순차 기법을 통해 디스플레이할 수 있다. 이 경우에, 두 개의 프레임들(17030, 17040)은 하나의 프레임(17010)으로부터 프레임 단위로 발생했기 때문에, 시간적 풀-해상도 디스플레이가 이용가능하게 된다.
도 19는 본 발명의 또 다른 실시예에 따른, 3D 비디오 서비스 Spec-B로부터 수신된 베이스 비디오 데이터, 상보형 비디오 데이터, 및 3D 상보형 비디오 정보를 이용하여 풀-해상도 영상을 제공하기 위한 방법을 예시한다.
도 19의 실시예에서, 베이스 비디오 데이터의 영상은 탑-바텀 포맷으로 수신되고, 여기서 좌측 영상은 상측에 위치하며, 우측 영상은 하측에 위치한다. 3D 상보형 비디오 정보의 경우에, complementary_type 필드의 필드 값은 '0x0004'로서 표시되고, naive_subsampling_flag 필드의 필드 값은 '1'로서 표시되며, left_image_first_flag 필드의 필드 값은 '1'로서 표시되고, 그리고 complementary_first_flag 필드의 필드 값은 '0'으로서 표시된다. 더 구체적으로, 3D 상보형 비디오 정보는 상보형 비디오 데이터가 베이스 비디오 데이터(0x0004)에 대한 잔류 비디오 데이터를 포함함을 표시하고, 로우-패스 필터링 및 하이-패스 필터링은 서브샘플링 수행시 수행되지 않음을 표시하고, 좌측 시각에 대응하는 비디오 데이터가 먼저 제시됨을 표시하고, 그리고 베이스 비디오에 대응하는 비디오 데이터가 상보형 비디오에 대응하는 비디오 데이터보다 선행함을 표시한다.
수신 시스템은 먼저 수신된 베이스 프레임(18010)에 관해 라인별 보간을 수행하고, 그럼으로써 공간적으로 두 배로 된 비디오 프레임(18040)이 획득되게 된다. 이후, 수신 시스템은 보간된 라인들(Li1, Li2, ..., Ri5)을 상보형 비디오 프레임(18020)의 잔류 데이터 라인들(Lc1~Lc10 및 Rc1~Rc10)과 결합시킨다. 그 다음에, 그 결합된 라인들을 라인별로 베이스 비디오 프레임의 라인들과 함께 위치시킴으로써, 풀-해상도 좌측 영상(18050) 및 우측 영상(18060)이 획득된다. 본 발명의 실시예에 따르면, 좌측 영상의 경우에, 보간된 베이스 비디오 프레임(18040)의 라인(Li1)은 상보형 비디오 프레임(18020)의 라인들(Lc1 및 Lc2)의 데이터와 결합되고, 그럼으로써 풀-해상도 영상(18050)의 라인 영상(Lc1)이 획득되게 된다. 후속적으로, 이 라인 영상(Lc1)을 라인 영상들(Lb1과 Lb2) 사이에 위치시키는 방법을 사용함으로써, 풀-해상도 좌측 영상(18050)이 획득될 수 있다.
수신 시스템은 획득된 풀-해상도 좌측 영상(18050) 및 우측 영상(18060)을 프레임 순차 기법을 통해 디스플레이할 수 있다. 이 경우에, 두 개의 프레임들(17050, 17060)은 하나의 프레임(18010)으로부터 프레임 단위로 발생했기 때문에, 시간적 풀-해상도 디스플레이가 이용가능하게 된다.
도 20은 본 발명의 또 다른 실시예에 따른, 3D 비디오 서비스 Spec-B로부터 수신된 베이스 비디오 데이터, 상보형 비디오 데이터, 및 3D 상보형 비디오 정보를 이용하여 풀-해상도 영상을 제공하기 위한 방법을 예시한다. 도 20의 실시예에서, 베이스 비디오 데이터의 영상은 체커보드 포맷으로 수신되고, 여기서 좌측 영상은 좌측단 부분(left-end portion)의 최상위 픽셀(uppermost pixel)에 위치한다. 3D 상보형 비디오 정보의 경우에, complementary_type 필드의 필드 값은 '0x0001'로서 표시되고, naive_subsampling_flag 필드의 필드 값은 '1'로서 표시되며, left_image_first_flag 필드의 필드 값은 '1'로서 표시되고, 그리고 complementary_first_flag 필드의 필드 값은 '0'으로서 표시된다. 더 구체적으로, 3D 상보형 비디오 정보는 상보형 비디오 데이터가 베이스 비디오 영상(0x0001)에 대한 상보형 비디오 영상의 라인-교번 순서(line-alternating order)를 포함함을 표시하고, 로우-패스 필터링 및 하이-패스 필터링은 서브샘플링 수행시 수행되지 않음을 표시하고, 좌측 시각에 대응하는 비디오 데이터가 먼저 제시됨을 표시하고, 그리고 베이스 비디오에 대응하는 비디오 데이터가 상보형 데이터에 대응하는 비디오 데이터보다 선행함을 표시한다.
수신 시스템은, 3D 상보형 비디오 정보를 사용함으로써 각각의 순서에 따라 각각의 라인에 대해, 수신된 베이스 비디오 프레임(19010)에 포함된 좌측 시각의 픽섹들과 우측 시각의 픽셀들을 정렬하고, 그리고 수신된 상보형 비디오 프레임(19020)에 포함된 좌측 시각의 픽섹들과 우측 시각의 픽셀들을 정렬한다. 따라서, 풀-해상도 좌측 영상(19030) 및 우측 영상(19040)이 획득될 수 있다. 또한, 본 발명의 실시예에 따르면, 수신 시스템은 수신된 베이스 비디오 프레임(19010) 및 상보형 비디오 프레임(19020)을 사이드-바이-사이드 포맷 혹은 탑-바텀 영상 포맷으로 재구성(혹은 재건)한다. 그 다음에, 수신 시스템은 재구성된 비디오 프레임들을 3D 상보형 비디오 정보에 따라 정렬하고, 그럼으로써 풀-해상도 좌측 영상(19030) 및 우측 영상(19040)이 획득되게 된다.
수신 시스템은 획득된 풀-해상도 좌측 영상(19030) 및 우측 영상(19040)을 프레임 순차 기법을 통해 디스플레이할 수 있다. 이 경우에, 두 개의 프레임들(19030, 19040)은 하나의 프레임(19010)으로부터 프레임 단위로 발생했기 때문에, 시간적 풀-해상도 디스플레이가 이용가능하게 된다.
베이스 비디오 컴포넌트와 상보형 비디오 컴포넌트를 결합시킴으로써 풀-해상도 비디오 컴포넌트를 획득하는 수신 시스템의 동작은 본 발명의 앞서 설명된 실시예들에 따른 다양한 실시예들에 따라 수행될 수 있다.
본 발명의 실시예에 따르면, 베이스 비디오 컴포넌트가 B로서 지칭되는 경우, 그리고 상보형 비디오 컴포넌트가 C로서 지칭되는 경우, 그리고 풀-해상도 비디오 컴포넌트가 F로서 지칭되는 경우, 다음과 같은 동작 시나리오가 이용가능할 수 있다.
케이스 1(case 1): F = B + C
케이스 2(case 2): F = B' + C
케이스 3(case 3): F = B' + C'
여기서, B' 및 C'는 보간/필터링으로 프로세싱된 B 및 C에 각각 대응한다.
케이스 1은 naive_subsampling_flag 필드의 필드 값이 '1'과 동일한 예에 대응한다. 따라서, 이 케이스는 두 개의 서브샘플링된 비디오 컴포넌트가 인터리브되고 정렬되는 실시예에 대응한다.
케이스 2는 B가 보간/필터링으로 프로세싱되고 그 다음에 C와 결합되며, 그럼으로써 F가 획득되게 되는 예에 대응한다. 여기서, C는 잔류/증분 데이터 포맷에 대응할 수 있다. (특히, SVC 코딩 기법이 사용되는 경우, 이 형태의 결합이 수행될 수 있다.)
케이스 3은 naive_subsampling_flag 필드의 필드 값이 '0'과 동일한 예에 대응한다. 따라서, 이 케이스는 B와 C 모두가 보간/필터링으로 프로세싱되고 B'가 C'와 결합되며, 그럼으로써 F가 획득되게 되는 실시예에 대응한다.
도 21은 SDT를 사용하여 3DTV 서비스를 시그널링하는 것을 나타낸 다른 실시예이다.
서비스 디스크립터는, (비디오 데이터가 Spec-B 지원을 위해 포함되는지 여부를 시그널링하는) 3DTV 2.0 서비스임을 표시하는 서비스 타입을 포함한다. 또한, descriptor()는 Spec-B에 대응하는 3DTV 서비스를 구성하는 상보형 비디오 컴포넌트에 대한 정보를 포함한다.
도 22는 본 발명의 실시예에 따른, Spec-B를 지원하기 위한 풀-해상도 입체 3DTV 서비스의 서비스 타입을 예시한다. 서비스 타입의 값은 DVB의 서비스 디스크립터에 포함된 SDT의 디스크립터 루프에 포함될 수 있다. 종래의 Spec-A와 비교하여 본 발명에 따른 개선점은 다음과 같다.
1) Spec-A 및 Spec-B 서비스들은 개별적으로 정의되지만 각각의 서비스를 구성하는 스트림들은 공유된다. Spec-B의 경우에서, 서비스 타입은 도 22에서 설명된 바와 같이 정의된다. 서비스를 구성하는 베이스 계층 스트림이 공유될 수 있고, 그리고 더욱이, Spec-B 서비스는 또한 풀-해상도 3DTV 서비스를 제공하기 위해 인헨스먼트 계층 스트림을 포함한다.
2) 단지 Spec-A를 구성하여 풀-해상도 서비스를 제공하는 것도 가능하다. 이 경우에, 인헨스먼트 스트림은 개별 값을 갖지 않고, 이에 따라 종래의 Spec-A 수신기는 인헨스먼트 스트림을 무시할 것이며 단지 베이스 계층 스트림으로 하프-해상도를 제공할 것이다. Spec-B 지원 수신기에서, 인헨스먼트 스트림이 인식되고 수신기는 풀-해상도 서비스를 제공하기 위해 베이스 계층과 결합할 것이다.
도 23은 SDT를 사용하여 3DTV 서비스를 시그널링하기 위해 부가되는 Service_type을 예시한다. 도 24는 종래의 컴포넌트 디스크립터의 신택스를 예시한다. 그리고 도 25는 DVB 방송 시스템에서 풀-해상도 3D 입체 서비스를 표시하기 위한 stream_content 및 component_type의 정의 및 설명을 예시한다.
DVB를 위해 구성된 각각의 엘러멘터리 스트림은 SDT의 디스크립터 내에 컴포넌트 디스크립터를 더함으로써 시그널링을 행한다. 본 발명에서, stream_content 및 component_type은 풀-해상도 3D 입체 서비스를 제공하기 위해 3D 상보형 비디오를 분리하도록 도 25에 보인 바와 같이 정의된다. MPEG-2 비디오에 대해, 스트림의 타입을 표시하는 스트림 타입은 0x01로서 정의되고, 그리고 H.264 비디오에 대해 이는 0x05인 것으로 정의된다.
도 26은 본 발명의 실시예에 따른, SDT에 포함된 3D 상보형 비디오 디스크립터의 신택스 구조를 예시한다.
3D_complementary_video_descriptor_SDT는 SDT에서의 descriptors_loop_length 필드의 디스크립터 내에 위치하고, 3D 상보형 엘러멘터리 스트림에 관한 정보를 포함한다. 각각의 필드의 의미는 도 11에서 예시된 바와 같이 3D_complementary_video_descriptor_VCT와 동일하다. codec_type이 SDT에서의 컴포넌트 디스크립터 내에서 stream_content 및 component_type 필드로 대체될 수 있고, 이 경우에 이는 또한 3D 상보형 비디오 디스크립터로부터 생략될 수 있다.
더욱이, component_tag는 PMT의 ES_loop의 ES와 컴포넌트 디스크립터와의 관계를 표시하기 위해 사용될 수 있다.
3D 상보형 비디오 디스크립터를 TVCT를 통해 수신하는 수신기 동작 프로세스가 설명된다.
먼저, TVCT의 service_type을 사용하여, 대응하는 가상 채널이 풀-해상도 입체 3DTV 서비스를 제공하는지 여부가 결정된다. 또한, Spec-B를 지원하는 수신기는, 풀-해상도 입체 3DTV 서비스가 제공되는지 아니면 하프-해상도 입체 3DTV 서비스와 동일한 service_type을 사용함으로써 3D 상보형 비디오 디스크립터의 존재에 의해 그렇지 않은지를 결정할 수 있다.
다음에, 만약 풀-해상도 입체 3DTV 서비스가 제공된다면, 3D 입체 베이스 비디오 컴포넌트의 elementary_PID 정보(PID_B)가 입체 포맷 디스크립터를 사용하여 수신된다.
그 다음에, 상보형 비디오 컴포넌트에 관한 엘러멘터리 PID 정보(PID_C)가 3D 상보형 비디오 디스크립터를 사용하여 수신된다.
PID_B에 대응하는 베이스 비디오가 디코딩되고, 그 다음에, PID_C에 대응하는 상보형 비디오 신호가 디코딩된다.
풀-해상도의 좌측 영상 및 우측 영상이, 3D 상보형 비디오 디스크립터에 포함된 complementary_type, left_image_first_flag, 및 complementary_first_flag를 사용하여 베이스 비디오와 상보형 비디오 신호를 결합함으로써 획득된다. 그 다음에, 좌측 영상 및 우측 영상이 사용자에게 3D 디스플레이를 제공하기 위해 풀-해상도 입체 디스플레이에 출력된다.
도 27은 본 발명의 실시예에 따른, 3D 상보형 비디오 디스크립터가 PMT를 통해 어떻게 수신되는지를 예시한다.
먼저, PMT로부터 시그널링된 엘러멘터리 스트림에서 Spec-A에 대응하는 스트림이 식별된다. 다음으로, PMT로부터 시그널링된 엘러멘터리 스트림에서 상보형 비디오 스트림이 식별된다. TVCT를 통해 제공된 정보 및 program_number 필드를 이용하여 맵핑(mapping)이 수행된다. 그 다음에, 베이스 비디오가 상보형 비디오 신호의 디코딩과 함께 디코딩된다.
그 다음에, 좌측 영상 및 우측 영상을 갖는 풀 해상도가 획득된다. 마지막으로, 풀-해상도 입체 디스플레이가 사용자에게 3D로서 디스플레이된다.
도 28은 3D 신호를 파싱함으로써 입체 비디오 신호를 출력하기 위한 흐름 프로세스를 예시한다. 이 프로세스는 아래에서 설명된다.
먼저, SDT가 획득되고, TS 패킷이 필터링되게 된다. 그 다음에, 대응하는 서비스에 관한 PMT 정보가 획득된다. SDT 내에서의 서비스 루프를 조사함으로써, Spec-B 3D 서비스 타입 정보가 획득되고 저장된다. 서비스에 대응하는 PMT 정보가 획득되고 저장된다. 연결 디스크립터(linkage descriptor)를 통해, Spec-A 및 Spec-B 정보가 결정된다. Spec-B에 대한 PMT 정보가 상보형 비디오 스트림에 대한 PID 정보를 결정하기 위해 사용된다.
만약 수신기가 Spec-B를 수신할 수 있다면, Spec-B 3D 비디오를 제공하는 service_id가 선택되고, 상보형 비디오 스트림의 PID 필터 및 종래의 A/V 스트림과 함께 비디오/오디오에 관한 ES 디코딩이 수행된다. 그 다음에, 풀-해상도 3D 비디오가 재구성 제어에 의해 출력되고, 3D 비디오 출력의 변환이 상보형 비디오 디스크립터 정보를 사용하여 수행된다.
만약 수신기가 Spec-A를 수신할 수 있다면, Spec-A에 포함된 프레임-호환가능 비디오에 의해 제공되는 service_id가 선택된다. 그 다음에, 비디오/오디오 ES 디코딩 및 PID 필터가 A/V 스트림에 관해 수행된다. 마지막으로, 하프-해상도 3D 비디오가 출력된다.
도 29는 Spec-A 이벤트와 Spec-B 이벤트를 연결시키는 이벤트 연결을 확장시키는 프로세스를 상세히 예시한다. 종래의 SD 이벤트 및 HD 이벤트에서, 타겟 이벤트 서비스 타입에 관한 개별 정보는 제공되지 않았다. target_event type을 확장시킴으로써, 2D HD, 하프-해상도 3D, 풀-해상도 3D가 이제 구분가능하다. 그리고 이것에 근거하여 하프-해상도 3D 이벤트와 풀-해상도 3D 이벤트 간의 연결이 이제 존재한다.
도 30은 3D_complementary_video_descriptor의 위치가 ATSC PSIP EIT에 대한 풀-해상도 3D TV 서비스 가이드를 제공하기 위해 event_information_table_section() 내에 있음을 예시한다.
descriptor()는 풀-해상도 3D TV 서비스가 각각의 프로그램 및 이벤트에 대해 이용가능한지 여부를 표시하기 위해 for 루프 내에 있다.
도 31은 DVB SI EIT의 event_information_section()의 for 루프 내에 컴포넌트 디스크립터 혹은 3D_complementary_video_descriptor의 위치를 표시한다.
앞서 언급된 바와 같이, ATSC 전송에서, 3D_Complementary_video_descriptor_TVCT가 EIT에 포함되어 풀-해상도 3DTV에 시그널링하고, DVB에 대해 ATSC에 대한 동일 방법에 추가하여 컴포넌트 디스크립터가 또한 사용된다.
도 32는 ATSC PSIP EIT에 대한 3D 상보형 비디오 디스크립터를 파싱 및 렌더링하는 프로세스를 예시하고, 도 33은 DVB SI EIT에 대한 프로세스를 예시한다.
ATSC PSIP EIT에 있어서, 0x1FFB의 PID 값을 갖는 TS 패킷에 대해 필터링이 수행된다. 그 다음에, 0xC7 및 0xC8과 동일한 테이블 id를 갖는 섹션 데이터가 파싱된다. 그 다음에 MGT로부터 EIT를 갖는 스트림의 PID에 관한 정보가 획득된다. 그 다음에, 획득된 EIT PID로부터 TS 패킷이 필터링된다. EIT 내의 각각의 이벤트의 3D 상보형 비디오 디스크립터를 사용하여 각각의 VC 이벤트의 3D 상보형 비디오에 관한 정보가 획득된다.
그 다음에, 방송 가이드 정보에 관한 풀-해상도 3D 서비스의 이용가능도가 3D 방송 이벤트에 관한 풀-해상도 모드를 보기 위해 표시된다. 다음으로, TVCT 내의 SLD를 사용하는 기본적인 A/V 스트림의 PID의 정보가 획득된다. EIT로부터 3D 상보형 비디오 디스크립터를 통해 3D 상보형 비디오의 정보를 획득하는 것이 수행된다. 다음으로, 기본적인 A/V 스트림의 PID를 필터링하는 것이 또한 수행되고 비디오/오디오의 ES 디코딩이 수행된다.
마지막으로, 풀-해상도 3D 비디오의 출력이, 상보형 비디오 디스크립터 정보를 사용하여 출력 포맷터(output formatter)로부터의 변환 및 풀-해상도 3D 비디오의 재구성 제어에 의해 수행된다.
도 33은 DVB SI EIT에 대한 3D 상보형 비디오 디스크립터를 파싱 및 렌더링하는 프로세스를 보인 것이다.
먼저, TS 패킷이 PID 값(0x0011)에 대해 필터링된다. 그 다음에, table_id=0x42를 갖는 섹션 데이터가 파싱된다. PID(0x0012)를 갖는 TS 패킷이 필터링되고 table_id=0x4E를 갖는 섹션 데이터가 파싱된다. ATSC와 DVB 간의 차이는, DVB에서 3D 상보형 비디오 디스크립터 혹은 컴포넌트 디스크립터가 3D 상보형 비디오 스트림의 존재를 결정하기 위해 사용될 수 있다는 것이다.
마지막으로, 도 34는 3D 비디오 디코더를 구비한 방송 수신기의 블록도를 예시한다.
두 개의 계층들에서의 비디오 스트림들은 새로운-세대의 방송 수신기를 거치게 되고, 베이스-계층 비디오 스트림은 1차 비디오 디코더에서 디코딩된다.
인헨스먼트-계층 비디오 스트림은 2차 비디오 디코더에서 디코딩된다. 더욱이, PSI/PSIP/SI 프로세서는 새로운-세대 ATSC 스펙(spec) 및 DVB 스펙으로부터 3D 입체 정보를 파싱하는바, 여기서 PMT/TVCT/SDT는 3D 서비스들을 지원하기 위해 새로운 시그널링 신택스들을 포함한다. 그리고, 다음-세대 수신기는 풀-해상도 3D 비디오 포맷을 여러 종류의 3DTV 혹은 3D 디스플레이들에 따라 특정 입체 포맷으로 변환할 수 있다.
본 발명에 대한 모드
지금까지 본 발명의 실시예들에 대한 모드가 '최상 모드(best Mode)'의 설명과 함께 기술되었다.
상세한 설명으로 앞서 보인 바와 같이, 본 발명은 포워드 및 백워드 호환가능성을 갖는 3D 입체 비디오 분산 포맷 데이터의 프로세싱에 관한 것이며 곧-나올 그리고 다음-세대 3DTV를 사용함으로써 그 디스플레이가 가능하도록 의도되었다.
본 발명의 사상 및 범위로부터 벗어남이 본 발명의 다양한 수정 및 변형이 행해질 수 있다는 것은 본 발명의 기술분야에서 숙련된 자들에게 명백할 것이다. 따라서, 본 발명은, 첨부된 특허청구범위 및 그 등가의 범위 내에 있는 한 이 본 발명의 수정 및 변형을 포괄하도록 의도된다.
본 발명에 따른 3DTV를 제공하기 위한 방법의 실시예들은 방송 분야 및 통신 분야에서 사용될 수 있다.

Claims (10)

  1. 방송 수신기(broadcast receiver)의 3D 비디오 데이터 프로세싱 방법(3D video data processing method)에 있어서,
    3D 비디오 데이터(3D video data) 및 3D 컴플리먼터리 비디오 정보(3D complementary video information)를 포함하는 방송 신호(broadcast signal)를 수신 유닛(receiving unit)에 의해 수신하는 단계, 상기 3D 비디오 데이터는 풀-해상도 영상(full-resolution image)을 구성하기 위한 하프-해상도(half-resolution) 베이스 비디오 데이터(base video data) 및 컴플리먼터리 비디오 데이터(complementary video data)를 포함;
    상기 3D 컴프리먼터리 비디오 정보를 3D 비디오 정보 프로세싱 유닛(3D video information processing unit)에 의해 파싱(parsing)하는 단계;
    상기 하프-해상도 베이스 비디오 데이터를 베이스 비디오 디코더(base video decoder)에 의해 디코딩(decoding)하는 단계;
    풀-해상도 영상을 구성하기 위해 상기 컴플리먼터리 비디오 데이터를 컴플리먼터리 비디오 디코더(complementary video decoder)에 의해 디코딩하는 단계;
    이벤트 정보 테이블(Event Information Table, EIT) 내의 3D 컴플리먼터리 비디오 디스크립터(3D complementary video descriptor)를 통해 3D 컴플리먼터리 비디오 정보를 프로그램 및 시스템 정보 프로토콜(Program and System Information Protocol, PSIP) 프로세서에 의해 획득 및 저장하는 단계와; 그리고
    풀-해상도 3D 영상을 출력하도록, 상기 3D 컴플리먼터리 비디오 정보를 사용하여 상기 베이스 비디오 데이터와 상기 컴플리먼터리 비디오 데이터를 출력 포맷터(output formatter)에 의해 결합 및 포맷(format)하는 단계를 포함하는 것을 특징으로 하는 3D 비디오 데이터 프로세싱 방법.
  2. 제1항에 있어서,
    상기 3D 컴플리먼터리 비디오 정보는 프로그램 맵 테이블(Program Map Table, PMT) 또는 지상 가상 채널 테이블(Terrestrial Virtual Channel Table, TVCT)에 포함되는 것을 특징으로 하는 3D 비디오 데이터 프로세싱 방법.
  3. 제1항에 있어서,
    상기 3D 컴플리먼터리 비디오 정보는 상기 컴플리먼터리 비디오 데이터의 비디오 ES의 헤더 정보(header information)에 포함되는 것을 특징으로 하는 3D 비디오 데이터 프로세싱 방법.
  4. 제1항에 있어서,
    상기 3D 상보형 비디오 정보는, 상기 컴플리먼터리 비디오 데이터의 구성 타입(configuration type)을 표시하는 타입 정보, 필터링(filtering)이 서브-샘플링(sub-sampling) 동안 수행되는지 혹은 수행되지 않는지를 표시하는 서브-샘플링 정보, 상기 컴플리먼터리 비디오 데이터를 인코딩하기 위해 사용되는 비디오 코덱(video codec)의 타입을 표시하는 코덱 타입 정보, 수평 크기 정보(horizontal size information), 수직 크기 정보(vertical size information), 프레임 레이트 정보(frame rate information), 보간 절차(interpolation procedure) 동안 사용되는 필터를 구현하기 위한 필터 정보, 어느 퍼스펙티브(perspective)의 영상이 우선적으로 디스플레이될 것인지를 표시하는 퍼스펙티브 정보(perspective information), 및 상기 베이스 비디오 데이터와 상기 컴플리먼터리 비디오 데이터의 결합 순서를 표시하는 순서 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 3D 비디오 데이터 프로세싱 방법.
  5. 방송 수신기(broadcast receiver)에 있어서,
    3D 비디오 데이터(3D video data) 및 3D 컴플리먼터리 비디오 정보(3D complementary video information)를 포함하는 방송 신호를 수신하는 수신 유닛, 상기 3D 비디오 데이터는 풀-해상도 영상을 구성하기 위한 하프-해상도 베이스 비디오 데이터 및 컴플리먼터리 비디오 데이터를 포함;
    상기 3D 컴플리먼터리 비디오 정보를 파싱하는 3D 비디오 정보 프로세싱 유닛;
    상기 하프-해상도 베이스 비디오 데이터를 디코딩하는 베이스 비디오 디코더;
    풀-해상도 영상을 구성하기 위해 상기 컴플리먼터리 비디오 데이터를 디코딩하는 컴플리먼터리 비디오 디코더;
    이벤트 정보 테이블(EIT) 내의 3D 컴플리먼터리 비디오 디스크립터를 통해 3D 컴플리먼터리 비디오 정보를 획득 및 저장하는 프로그램 및 시스템 정보 프로토콜(PSIP) 프로세서와; 그리고
    풀-해상도 3D 영상을 출력하도록, 상기 3D 컴플리먼터리 비디오 정보를 사용하여 상기 베이스 비디오 데이터와 상기 컴플리먼터리 비디오 데이터를 결합 및 포맷하는 출력 포맷터를 포함하는 것을 특징으로 하는 방송 수신기.
  6. 제5항에 있어서,
    상기 3D 컴플리먼터리 비디오 정보는, PMT 또는 TVCT에 포함되는 것을 특징으로 하는 방송 수신기.
  7. 제5항에 있어서,
    상기 3D 컴플리먼터리 비디오 정보는 상기 컴플리먼터리 비디오 데이터의 비디오 ES의 헤더 정보에 포함되는 것을 특징으로 하는 방송 수신기.
  8. 제5항에 있어서,
    상기 3D 컴플리먼터리 비디오 정보는, 상기 컴플리먼터리 비디오 데이터의 구성 타입을 표시하는 타입 정보, 필터링이 서브-샘플링 동안 수행되는지 또는 수행되지 않는지를 표시하는 서브-샘플링 정보, 상기 컴플리먼터리 비디오 데이터를 인코딩하기 위해 사용되는 비디오 코덱의 타입을 표시하는 코덱 타입 정보, 수평 크기 정보, 수직 크기 정보, 프레임 레이트 정보, 보간 절차 동안 사용되는 필터를 구현하기 위한 필터 정보, 어느 퍼스펙티브의 영상이 우선적으로 디스플레이될 것인지를 표시하는 퍼스펙티브 정보, 및 상기 베이스 비디오 데이터와 상기 컴플리먼터리 비디오 데이터의 결합 순서를 표시하는 순서 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 방송 수신기.
  9. 방송 수신기의 3D 비디오 데이터 프로세싱 방법에 있어서,
    3D 비디오 데이터 및 3D 컴플리먼터리 비디오 정보를 포함하는 방송 신호를 수신 유닛에 의해 수신하는 단계, 상기 3D 비디오 데이터는 풀-해상도 영상을 구성하기 위한 하프-해상도 베이스 비디오 데이터 및 컴플리먼터리 비디오 데이터를 포함;
    상기 3D 컴플리먼터리 비디오 정보를 3D 비디오 정보 프로세싱 유닛에 의해 파싱하는 단계;
    상기 하프-해상도 베이스 비디오 데이터를 베이스 비디오 디코더에 의해 디코딩하는 단계;
    풀-해상도 영상을 구성하기 위해 상기 컴플리먼터리 비디오 데이터를 컴플리먼터리 비디오 디코더에 의해 디코딩하는 단계;
    이벤트 정보 테이블(EIT) 내의 컴포넌트 디스크립터(component descriptor)를 통해 3D 컴플리먼터리 비디오 정보를 PSI/SI 프로토콜 (Program Specific Information/Program and System Information Protocol) 프로세서에 의해 획득 및 저장하는 단계; 그리고
    풀-해상도 3D 영상을 출력하도록, 상기 3D 컴플리먼터리 비디오 정보를 사용하여 상기 베이스 비디오 데이터와 상기 컴플리먼터리 비디오 데이터를 출력 포맷터에 의해 결합 및 포맷하는 단계를 포함하는 것을 특징으로 하는 3D 비디오 데이터 프로세싱 방법.
  10. 방송 수신기에 있어서,
    3D 비디오 데이터 및 3D 컴플리먼터리 비디오 정보를 포함하는 방송 신호를 수신하는 수신 유닛, 상기 3D 비디오 데이터는 풀-해상도 영상을 구성하기 위한 하프-해상도 베이스 비디오 데이터 및 컴플리먼터리 비디오 데이터를 포함;
    상기 3D 컴플리먼터리 비디오 정보를 파싱하는 3D 비디오 정보 프로세싱 유닛;
    상기 하프-해상도 베이스 비디오 데이터를 디코딩하는 베이스 비디오 디코더;
    풀-해상도 영상을 구성하기 위해 상기 컴플리먼터리 비디오 데이터를 디코딩하는 컴플리먼터리 비디오 디코더;
    이벤트 정보 테이블(EIT) 내의 컴포넌트 디스크립터를 통해 3D 컴플리먼터리 비디오 정보를 획득 및 저장하는 프로그램 특정 정보/프로그램 및 시스템 정보 프로토콜(PSI/SI) 프로세서; 그리고
    풀-해상도 3D 영상을 출력하도록, 상기 3D 컴플리먼터리 비디오 정보를 사용하여 상기 베이스 비디오 데이터와 상기 컴플리먼터리 비디오 데이터를 결합 및 포맷하는 출력 포맷터를 포함하는 것을 특징으로 하는 방송 수신기.
KR1020137007442A 2010-08-23 2011-08-23 3dtv에서 3d 비디오 데이터를 제공하는 방법 KR20130105638A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US37625010P 2010-08-23 2010-08-23
US61/376,250 2010-08-23
PCT/KR2011/006229 WO2012026746A2 (en) 2010-08-23 2011-08-23 Method for providing 3d video data in a 3dtv

Publications (1)

Publication Number Publication Date
KR20130105638A true KR20130105638A (ko) 2013-09-25

Family

ID=44674056

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137007442A KR20130105638A (ko) 2010-08-23 2011-08-23 3dtv에서 3d 비디오 데이터를 제공하는 방법

Country Status (6)

Country Link
US (1) US20120044324A1 (ko)
EP (1) EP2424251A3 (ko)
KR (1) KR20130105638A (ko)
CN (1) CN103069817A (ko)
CA (1) CA2808395C (ko)
WO (1) WO2012026746A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109714540A (zh) * 2019-02-26 2019-05-03 浪潮软件集团有限公司 一种h265格式监控视频合并方法、装置和系统

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101245591B1 (ko) * 2008-12-18 2013-03-20 엘지전자 주식회사 입체영상 디스플레이가 가능한 디지털 방송 수신방법, 및 이를 이용한 디지털 방송 수신장치
KR20120058700A (ko) 2010-11-27 2012-06-08 전자부품연구원 디지털 방송의 전송 모드 제공 및 인지 방법
KR20120058702A (ko) 2010-11-27 2012-06-08 전자부품연구원 디지털 방송에서 서비스 호환 방식 전송 방법
JP5991596B2 (ja) * 2011-06-01 2016-09-14 パナソニックIpマネジメント株式会社 映像処理装置、送信装置、映像処理システム、映像処理方法、送信方法、コンピュータプログラム及び集積回路
US9584793B2 (en) 2012-04-09 2017-02-28 Intel Corporation Signaling three-dimensional video information in communication networks
US9438883B2 (en) * 2012-04-09 2016-09-06 Intel Corporation Quality of experience reporting for combined unicast-multicast/broadcast streaming of media content
EP2670130B1 (en) * 2012-06-01 2019-03-27 Alcatel Lucent Method and apparatus for mixing a first video signal and a second video signal
US9413985B2 (en) * 2012-09-12 2016-08-09 Lattice Semiconductor Corporation Combining video and audio streams utilizing pixel repetition bandwidth
CN102843566B (zh) * 2012-09-20 2015-06-17 歌尔声学股份有限公司 一种3d视频数据的通讯方法和设备
WO2015002885A1 (en) * 2013-07-01 2015-01-08 Rwd Consulting, Inc. Vehicle visibility improvement system
KR20150057149A (ko) * 2013-11-18 2015-05-28 한국전자통신연구원 재전송망에 기초한 3d 방송 서비스 제공 시스템 및 방법
US20150253974A1 (en) 2014-03-07 2015-09-10 Sony Corporation Control of large screen display using wireless portable computer interfacing with display controller
KR102519209B1 (ko) * 2015-06-17 2023-04-07 한국전자통신연구원 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법
WO2017022358A1 (ja) * 2015-08-06 2017-02-09 ソニー・オリンパスメディカルソリューションズ株式会社 医療用信号処理装置、医療用表示装置、及び医療用観察システム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998025413A1 (en) * 1996-12-04 1998-06-11 Matsushita Electric Industrial Co., Ltd. Optical disc for high resolution and three-dimensional image recording, optical disc reproducing device, and optical disc recording device
US6847395B2 (en) * 2000-04-17 2005-01-25 Triveni Digital Inc. Digital television signal test equipment
KR100532997B1 (ko) * 2003-05-23 2005-12-02 엘지전자 주식회사 디지털 티브이의 클로즈 캡션 운용 장치
EP1667448A1 (en) * 2004-12-02 2006-06-07 Deutsche Thomson-Brandt Gmbh Method and apparatus for encoding and for decoding a main video signal and one or more auxiliary video signals
KR20060068671A (ko) * 2004-12-16 2006-06-21 엘지전자 주식회사 디지털 티브이 및 그 채널설정방법
KR100716172B1 (ko) * 2005-07-12 2007-05-10 삼성전자주식회사 디지털 방송 시스템의 채널 전환 장치 및 그 방법
KR100670588B1 (ko) * 2005-07-27 2007-01-17 삼성전자주식회사 녹화신호 처리장치 및 그 제어방법
KR100747500B1 (ko) * 2005-09-16 2007-08-08 삼성전자주식회사 신호처리장치 및 신호처리방법
US8693538B2 (en) * 2006-03-03 2014-04-08 Vidyo, Inc. System and method for providing error resilience, random access and rate control in scalable video communications
KR101531510B1 (ko) * 2008-11-27 2015-06-26 엘지전자 주식회사 수신 시스템 및 오디오 데이터 처리 방법
KR20090079838A (ko) * 2008-01-17 2009-07-22 엘지전자 주식회사 Iptv 수신 시스템 및 그 데이터 처리 방법
KR101580516B1 (ko) * 2008-04-07 2015-12-28 엘지전자 주식회사 방송 신호 수신 방법 및 방송 신호 수신 장치
KR101472332B1 (ko) * 2008-04-15 2014-12-15 삼성전자주식회사 3차원 디지털 컨텐츠의 제공 방법, 수신 방법 및 그 장치
US8421840B2 (en) * 2008-06-09 2013-04-16 Vidyo, Inc. System and method for improved view layout management in scalable video and audio communication systems
KR20100040640A (ko) * 2008-10-10 2010-04-20 엘지전자 주식회사 수신 시스템 및 데이터 처리 방법
EP2420068A4 (en) * 2009-04-13 2012-08-08 Reald Inc ENCRYPTION, DECOMPOSITION AND DISTRIBUTION OF STEREOSCOPIC VIDEO CONTENT WITH REINFORCED RESOLUTION
CN104065945A (zh) * 2009-04-27 2014-09-24 Lg电子株式会社 广播发射机、广播接收机及其3d视频数据处理方法
WO2010147289A1 (en) * 2009-06-16 2010-12-23 Lg Electronics Inc. Broadcast transmitter, broadcast receiver and 3d video processing method thereof
US8643698B2 (en) * 2009-08-27 2014-02-04 Broadcom Corporation Method and system for transmitting a 1080P60 video in 1080i format to a legacy 1080i capable video receiver without resolution loss
US8665968B2 (en) * 2009-09-30 2014-03-04 Broadcom Corporation Method and system for 3D video coding using SVC spatial scalability
MX2012004265A (es) * 2009-10-20 2012-05-29 Samsung Electronics Co Ltd Metodo y aparato de generacion de flujo y metodo y aparato de procesamiento de flujo.
US9014276B2 (en) * 2009-12-04 2015-04-21 Broadcom Corporation Method and system for 3D video coding using SVC temporal and spatial scalabilities
US9860513B2 (en) * 2010-02-19 2018-01-02 Thomson Licensing Stereo logo insertion
US8483271B2 (en) * 2010-05-06 2013-07-09 Broadcom Corporation Method and system for 3D video pre-processing and post-processing

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109714540A (zh) * 2019-02-26 2019-05-03 浪潮软件集团有限公司 一种h265格式监控视频合并方法、装置和系统

Also Published As

Publication number Publication date
CA2808395A1 (en) 2012-03-01
WO2012026746A2 (en) 2012-03-01
CN103069817A (zh) 2013-04-24
US20120044324A1 (en) 2012-02-23
EP2424251A2 (en) 2012-02-29
CA2808395C (en) 2016-07-12
EP2424251A3 (en) 2012-12-26
WO2012026746A3 (en) 2012-05-10

Similar Documents

Publication Publication Date Title
CA2758903C (en) Broadcast receiver and 3d video data processing method thereof
CA2808395C (en) Method for providing 3d video data in a 3dtv
US10129525B2 (en) Broadcast transmitter, broadcast receiver and 3D video data processing method thereof
CA2760100C (en) Broadcast transmitter, broadcast receiver and 3d video data processing method thereof
JP6181848B2 (ja) 3d放送信号を処理する方法及び装置
KR101342294B1 (ko) 3d tv를 위한 스테레오뷰들의 사이멀캐스트
US9948952B2 (en) Broadcast signal transmitting device and broadcast signal receiving device
KR101977260B1 (ko) 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application