KR20140107182A

KR20140107182A - 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치

Info

Publication number: KR20140107182A
Application number: KR1020147010600A
Authority: KR
Inventors: 서종열; 최지현
Original assignee: 엘지전자 주식회사
Priority date: 2011-12-27
Filing date: 2012-12-27
Publication date: 2014-09-04
Also published as: EP2800391A1; WO2013100641A1; CN104137558B; CN104137558A; EP2800391A4; US20140354770A1; CA2859673A1

Abstract

본 발명은 디지털 방송 수신방법 및 수신장치에 관한 것으로서, 더 구체적으로는 입체영상 디스플레이를 가능하게 하는 디지털 방송 수신방법 및 수신장치에 관한 것이다. 상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시 예에 따른 디지털 방송 수신방법은 기준시점 및 확장시점 비디오 스트림이 포함된 디지털 방송 신호를 수신 및 역 다중화하는 단계, 상기 기준시점 및 확장시점 비디오 스트림을 이루는 트랜스포트 패킷을 이용하여 상기 기준시점 및 확장시점의 픽처들에 대한 디스카더블 (discardable) 정보를 확인하는 단계 및 상기 디스카더블 정보에 이용하여 상기 기준시점 및 확장시점 비디오 스트림을 디코딩하는 단계를 포함하는 것을 특징으로 한다.

Description

입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치{DIGITAL BROADCASTING RECEPTION METHOD CAPABLE OF DISPLAYING STEREOSCOPIC IMAGE, AND DIGITAL BROADCASTING RECEPTION APPARATUS USING SAME}

본 발명은 디지털 방송 수신방법 및 수신장치에 관한 것으로서, 더 구체적으로는 입체영상 디스플레이를 가능하게 하는 디지털 방송 수신방법 및 수신장치에 관한 것이다.

최근 입체 영상 서비스에 대한 관심이 점점 증대되면서 입체영상을 제공하는 장치들이 계속 개발되고 있다. 이러한 입체영상을 구현하는 방식 중에 스테레오스코픽(stereoscopic) 방식, 부피표현(volumetric) 방식, 홀로그래픽(holographic) 방식 등이 있다.

스테레오스코픽 방식의 기본 원리는, 사람의 좌안과 우안에 서로 직교하도록 배열된 영상을 분리하여 입력하고, 사람의 두뇌에서 좌안과 우안에 각각 입력된 영상이 결합되어 입체 영상이 생성되는 방식이다. 이때, 서로 직교하도록 배열된 영상이 각각 좌안 영상(reft view image) 및 우안 영상(right view image)이 된다. 상기 좌안 및 우안 영상이 편광 안경이나 디스플레이 장비 자체를 통해 좌안과 우안에서 각각 시청되면, 사용자는 입체 영상 효과를 인지하게 된다.

그러나, 종래의 디지털 방송은 이차원 영상을 기준으로 하고 있다. 따라서, 디지털 방송에서 이러한 입체 영상 서비스를 효과적으로 구현하기 위해서, 스테레오스코픽 영상 신호를 효과적으로 확인 및 처리하는 방법이 고려될 수 있다.

본 발명의 일 목적은 스테레오스코픽 방식의 입체 영상을 제공하는 디지털 방송에서 트릭 플레이(trick play)를 위한 신호를 처리하는 것이 가능한 디지털 방송 송수신 방법 및 장치를 제공하는 것이다.

본 발명의 다른 일 목적은 멀티 뷰(multi-view) 방식의 입체 영상을 제공하는 디지털 방송에서 트릭 플레이를 위한 신호를 처리하는 것이 가능한 디지털 방송 송수신 방법 및 장치를 제공하는 것이다.

본 발명의 또 다른 일 목적은 멀티 뷰 방식의 입체 영상을 제공하는 디지털 방송에서 View Pair ID 및 각 View Pair Priority 정보를 PVR assist information에 포함하는 디지털 방송 송수신 방법 및 장치를 제공하는 것이다.

본 발명의 또 다른 일 목적은 자연스러운 트릭 플레이를 구현하기 위한 디지털 방송 수신 방법 및 장치를 제공하는 것이다.

상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시 예에 따른 디지털 방송 수신방법은 기준시점 및 확장시점 비디오 스트림이 포함된 디지털 방송 신호를 수신 및 역 다중화하는 단계, 상기 기준시점 및 확장시점 비디오 스트림을 이루는 트랜스포트 패킷을 이용하여 상기 기준시점 및 확장시점의 픽처들에 대한 디스카더블 (discardable) 정보를 확인하는 단계 및 상기 디스카더블 정보에 이용하여 상기 기준시점 및 확장시점 비디오 스트림을 디코딩하는 단계를 포함하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 디스카더블 정보는 상기 기준시점 및 확장시점의 픽처들을 구성하는 복수개의 트랜스 포트 패킷 중 맨 처음에 해당하는 트랜스 포트 패킷에 포함된 것을 특징으로 한다.

특징으로 한다. 상기 맨 처음에 해당하는 트랜스 포트 패킷에 포함된 discardable_pair_flag 필드 및 discardable_flag 필드 중 적어도 하나를 통해 나타내어지는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 discardable_pair_flag 필드는 3D 트릭 플레이가 실행되는 경우의 트랜스포트 패킷에 대한 디코딩 여부를 나타내고, 상기 discardable_flag 필드는 2D 트릭 플레이가 실행되는 경우의 트랜스포트 패킷에 대한 디코딩 여부를 나타내는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 discardable_pair_flag 필드 및 상기 discardable_flag 필드는 단일 신택스 구조에 함께 포함되는 것을 특징으로 한다.

일 실시 예에 있어서, 3D 트릭 플레이가 실행되는 경우, 상기 맨 처음에 해당하는 트랜스 포트 패킷의 헤더정보에 포함된 discardable_pair_flag의 값이 1인 경우, 상기 맨 처음에 해당하는 트랜스 포트 패킷의 Access Unit 번호와 동일한 Access Unit 번호를 갖는 기준시점 및 확장시점의 픽처를 이루는 복수개의 트랜스 포트 패킷에 대한 디코딩이 생략되는 것을 특징으로 한다.

일 실시 예에 있어서, 2D 트릭 플레이가 실행되는 경우, 상기 맨 처음에 해당하는 트랜스 포트 패킷의 헤더정보에 포함된 discardable_flag 의 값이 1인 경우, 상기 맨 처음에 해당하는 트랜스 포트 패킷의 Access Unit 번호와 동일한 Access Unit 번호를 갖는 기준시점의 픽처를 이루는 복수개의 트랜스 포트 패킷에 대한 디코딩이 생략되는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 discardable_flag 필드는 1-PID multiplex mode 인 경우에만 구비되는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 기준시점 및 확장시점 비디오 스트림이 2-PID multiplex mode로 수신되고, 2D 트릭 플레이가 실행되는 경우, 기준시점 비디오 스트림의 PID 값에 대응되는 트랜스 포트패킷에서 디스카더블 (discardable) 정보가 추출되는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 디스카더블 정보는 상기 기준시점 및 확장시점 비디오 스트림을 이루는 트랜스포트 패킷 중 디코딩을 생략할 수 있는 트랜스 포트 패킷에 대한 정보인 것을 특징으로 한다.

일 실시 예에 있어서, 상기 기준시점 및 확장시점 비디오 스트림은 각각 서로 다른 시점의 비디오 스트림 구간들을 구비하는 것을 특징으로 한다.

본 발명의 일 실시 예에 따른 디지털 방송 수신장치는 기준시점 및 확장시점 비디오 스트림이 포함된 디지털 방송 신호를 수신하는 튜너, 상기 디지털 방송 신호로부터 기준시점 및 확장시점 비디오 스트림을 역다중화하는 디멀티플렉서, 상기 기준시점 및 확장시점 비디오 스트림을 이루는 트랜스포트 패킷을 이용하여 상기 기준시점 및 확장시점의 픽처들에 대한 디스카더블 (discardable) 정보를 확인하는 PVR 프로세서, 상기 디스카더블 정보에 이용하여 상기 기준시점 및 확장시점 비디오 스트림림을 디코딩하는 디코더 및 상기 디코딩된 기준시점 및 확장시점 비디오 스트림을 제어하는 3D 비디오 프로세서를 포함하는 것을 특징으로 한다.

일 실시 예에 있어서, 디스카더블 (discardable) 정보와 관련된 트랜스포트 패킷 및 트릭 플레이 컨트롤과 관련된 파일을 저장하는 스토리지(storage)를 더 구비하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 디코더는 3D 트릭 플레이를 실행시키는 제어명령에 응답하여, 상기 맨 처음에 해당하는 트랜스 포트 패킷의 헤더정보에 포함된 discardable_pair_flag의 값이 1이면, 상기 맨 처음에 해당하는 트랜스 포트 패킷의 Access Unit 번호와 동일한 Access Unit 번호를 갖는 기준시점 및 확장시점의 픽처를 이루는 복수개의 트랜스 포트 패킷에 대한 디코딩이 생략하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 디코더는 2D 트릭 플레이를 실행시키는 제어명령에 응답하여, 상기 맨 처음에 해당하는 트랜스 포트 패킷의 헤더정보에 포함된 discardable_flag 의 값이 1이면, 상기 맨 처음에 해당하는 트랜스 포트 패킷의 Access Unit 번호와 동일한 Access Unit 번호를 갖는 기준시점의 픽처를 이루는 복수개의 트랜스 포트 패킷에 대한 디코딩이 생략되는 것을 특징으로 한다.

본 발명에 따르면, 스테레오스코픽 방식의 입체 영상을 제공하는 디지털 방송에서 입체 영상을 이루는 두 개의 뷰(view)에 대하여 discardable 픽처 set을 지정함으로써, 트릭 플레이(trick play)를 위한 신호를 처리하는 것이 가능하다.

또한, 본 발명에 따르면 멀티 뷰(multi-view) 방식의 입체 영상을 제공하는 디지털 방송에서 안전하게 제거할 수 있는 MVC Access Unit(AU) 및 MVC sub-AU를 지정함으로써, 멀티 뷰 방식의 입체영상에 대한 트릭 플레이를 위한 신호를 처리하는 것이 가능하다.

또한, 본 발명에 따르면, 멀티 뷰 방식의 입체 영상을 제공하는 디지털 방송에서 View Pair ID 및 각 View Pair Priority 정보를 PVR assist information에 저장시킴으로써, 효과적으로 멀티 뷰 방식의 입체영상에 대한 트릭 플레이를 제공할 수 있다.

도 1은 이차원 영상에서 트릭 플레이(trick play)를 제공하는 방법을 설명하기 위한 개념도이다.
도 2a 및 도 2b는 MVC 비트 스트림의 구성을 설명하기 위한 개념도이다.
도 3는 비주기적으로 수신되는 MVC 비트 스트림의 구성을 설명하기 위한 개념도이다.
도 4a, 도 4b 및 도 4c는 트랜스포트 스트림 레벨에서 discardable 픽처에 대한 정보를 시그널링 할 수 있도록 하는 신택스(syntax) 구조를 설명하기 위한 개념도이다.
도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치에서 트릭 플레이를 제공하기 위하여 discardable_pic_data를 획득하는 과정을 도시한 흐름도이다.
도 6은 본 발명의 일 실시 예에 따른 입체영상 디스플레이가 가능한 디지털 방송 수신장치를 설명하기 위한 블록도이다.
도 7a 및 도 7b는 본 발명의 일 실시 예에 따른 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치에서 멀티 뷰 방식의 입체영상에서 discardable 픽처에 대한 정보를 제공하는 방법을 설명하기 위한 개념도이다.
도 8 은 본 발명의 일 실시 예에 따른 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치에서 두 개 이상의 MVC stream으로 구성되는 3D view에 대한 트릭 플레이를 제공하기 위하여 discardable_pic_data를 획득하는 과정을 도시한 흐름도이다.
도 9는 본 발명의 일 실시 예에 따른 입체영상 디스플레이가 가능한 디지털 방송 수신장치를 설명하기 위한 블록도이다.
도 10a, 도 10b, 도 10c, 도 10d, 도 11a, 도 11b, 도 11c 및 도 11d는 본 발명의 일 실시 예에 따른 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치에서 트릭 플레이 모드에서 영상의 재생속도를 제어하는 방법을 설명하기 위한 개념도이다.
도 12는 3D 방송 송신을 위한 송신장치의 데이터 처리과정을 설명하기 위한 블록도이다.

3-D 또는 3D 라는 용어는 깊이의 착시 효과를 갖는 입체영상(이하, '3D 영상'이라 한다)을 재생하려고 하는 시각적 표현 또는 표시 기술을 설명하는데 사용된다. 좌안 영상과 우안 영상에 대해, 관찰자의 시각 피질(visual cortex)은 두 영상을 하나의 3D 영상으로 해석한다.

3차원(3D) 표시기술은 3D 영상 표시가 가능한 장치에 대해 3D 영상 처리 및 표현의 기술을 채용한다. 선택적으로는, 3D 영상 표시가 가능한 장치는 관찰자에게 3차원 영상을 효과적으로 제공하기 위해 특수한 관찰장치를 사용해야 할 수 있다.

3D 영상 처리 및 표현의 예로는 스테레오스코픽 영상/비디오 캡처, 다수의 카메라를 이용한 다시점 영상/비디오 캡처, 이차원 영상과 깊이 정보의 처리 등이 있다. 3D 영상 표시가 가능한 표시 장치의 예로는, 3D 영상 표시기술을 지원하는 적절한 하드웨어 및/또는 소프트웨어를 구비한 LCD(Liquid Crystal Display), 디지털 TV 화면, 컴퓨터 모니터 등이 있다. 특수한 관찰장치의 예로는, 특수화 안경, 고글, 헤드기어, 안경류(eyewear) 등이 있다.

구체적으로, 3D 영상 표시기술은, 애너글리프(anaglyph) 입체영상(통상적으로 수동형 적청 안경을 함께 사용), 편광 입체영상(통상적으로 수동형 편광 안경과 함께 사용), 프레임-교대 시퀀싱(alternate-frame sequencing)(통상적으로 능동형 셔터 안경/헤드기어와 함께 사용), 렌티큘러(lenticular) 또는 배리어(barrier) 스크린을 사용한 오토스테레오스코픽 디스플레이(autostereoscopic display) 등이 있다. 이하에서 설명하는 다양한 사상 및 특징은 이러한 3D 영상 표시기술에 적용가능하다.

어떠한 3D 영상 표시기술은 회전하거나 교대로 동작하는 광학장치, 예를 들면 컬러필터 휠(wheel)에 부착된 분할 편광기(segmented polarizer)를 사용할 수 있으며, 이때는 서로 간에 동기화가 요구된다. 다른 3D 영상 표시기술은, 표시할 영상의 픽셀과 대응하는 사각형 배열로 배치된, 회전가능한 마이크로스코픽 미러(micorscopic mirror)를 사용하는 디지털 미소 반사 표시기(digital micromirror device; DMD)에 기반한 디지털 광처리기(digital light processor; DLP)를 이용할 수 있다.

한편, 3D 영상의 렌더링(rendering) 및 표시기술(특히, 3D TV)와 관련된 새로운 유형의 표준이, 현재 다양한 기업, 컨소시엄, 및 기구에서 개발되고 있으며, 그 예로는 SMPTE(the Society of Motion picture and Television Engineers), CEA(Consumer Electronics Association), 3d@Home 컨소시엄, ITU(International Telecommunication Union) 등이 있다. 이외에도, DVB, BDA, ARIB, ATSC, DVD 포럼, IEC 등과 같은 다른 표준화 그룹들이 참여하고 있다. MPEG(Moving picture Experts Group)은, 다시점 영상, 스테레오스코픽 영상, 및 깊이 정보를 갖는 이차원 영상의 3D 영상 코딩에 참여하고 있으며, 현재는 MPEG-4 AVC(advanced video coding) 에 대한 다시점 영상 코덱 익스텐션(Multiview Video Codec extension)이 표준화 진행 중이다. 스테레오스코픽 영상 코딩 및 스테레오스코픽 분배 포맷팅은 컬러 시프팅(anaglyph), 픽셀 서브 샘플링(pixel sub-sampling)(사이드 바이 사이드(side-by-side), 체커보드(checkerboard), 오점형(quincunx) 등), 및 인핸스드 비디오 코딩(enhanced video coding)(2D + 델타(Delta), 2D + 메타데이터(Metadata), 깊이정보를 갖는 2D)와 관련있다. 여기서 설명하는 사상 및 특징은 이러한 표준에 적용가능하다.

또한, 여기에 기재된 발명의 사상 및 특징 중 적어도 일부는, 디지털 영상 또는 3D TV 에 대한 영상 재생 및 표시 환경의 면에서 설명되는 3D 영상 표시기술과 관련 있다. 그러나, 그 세부내용은 여기에서 설명되는 다양한 특징을 한정하기 위한 것이 아니며, 다른 유형의 표시 기술 및 장치에 적용가능하다. 예를 들면, 3D TV 기술은 TV 방송 뿐만 아니라 블루레이(Blu-rayTM), 콘솔(console) 게임, 케이블, 및 IPTV 전송, 이동전화 컨텐츠 전달 등에도 적용될 수 있으며, 이러한 경우 다른 유형의 TV, 셋톱 박스, 블루레이 장치(예를 들면, BD(Blu-rayTM Disk) 플레이어), DVD 플레이어 및 TV 컨텐츠 분배기와 호환가능하여야 한다.

다시, 3D 영상 처리 및 표현 방법을 살펴보면, 스테레오스코픽 영상/비디오 캡처는 2 개의 시점을 고려하는 스테레오 영상 방식으로 지칭되며, 다수의 카메라를 이용한 다시점 영상/비디오 캡처는 3개 이상의 시점을 고려하는 다시점 영상 방식으로 지칭된다.

스테레오 영상 방식은 일정한 거리로 이격되어 있는 좌측 카메라와 우측 카메라로 동일한 피사체를 촬영하여 획득한 좌우 한 쌍의 영상을 사용한다. 다시점 영상 방식은 일정한 거리나 각도를 갖는 3 개 이상의 카메라에서 촬영하여 획득한 3 개 이상의 영상을 사용한다. 다시점 영상 방식에서 영상들 중 2개의 영상을 좌 영상(left view image) 및 우 영상(right view image)으로 지정함에 따라, 입체영상 구현이 가능하게 된다. 다만, 본 발명은 반드시 이에 한정되는 것은 아니며, 3 개 이상의 영상을 이용한 다른 입체영상 방식의 구현(예를 들어 집적영상(integral imaging) 방식으로 구현)도 가능하다.

스테레오 영상 또는 다시점 영상은 MPEG(Moving picture Experts Group)을 포함하는 여러가지 방법으로 압축 부호화되어 전송될 수 있다. 예를 들어, 스테레오 영상 또는 다시점 영상은 H.264/AVC(Advanced Video Coding) 방식으로 압축 부호화되어 전송될 수 있다. 이때 수신 시스템은 H.264/AVC 코딩 방식의 역으로 수신 영상을 복호하여 3D 영상을 얻을 수 있다.

또한 스테레오 영상이나 다시점 영상 중 하나의 영상을 기본계층(base layer) 영상으로, 나머지 영상은 확장계층(extended layer or extension layer) 영상으로 할당하고, 기본계층의 영상은 모노스코픽 영상과 동일한 방식으로 부호화하고, 확장계층의 영상은 기본 계층과 확장 계층의 영상간의 관계 정보에 대해서만 부호화하여 전송할 수 있다. 기본계층 영상에 대한 압축 부화화 방식의 예로 JPEG, MPEG-2, MPEG-4, H.264/AVC 방식 등이 사용될 수 있으며, 확장계층의 영상에 대한 압축 부호화 방식은 H.264/MV(Multi-view Video Coding) 방식이 이용될 수 있다.

한편, 이러한 입체영상을 출력하는 것이 가능한 디지털 방송 수신방법 및 수신장치에서는 재생되는 영상의 재생 배속을 사용자에 의해 선택(또는 지정)되는 임의의 배속으로 제어하여, 영상을 상기 임의의 배속에 대응되도록 재생하는 트릭 플레이(Trick Play)를 제공할 수 있다.

이하에서는, 본 발명에 따른 입체영상을 출력하는 것이 가능한 디지털 방송 수신방법 및 수신장치에서 입체영상에 대한 트릭 플레이를 제공하는 방법에 대한 이해를 돕기 위하여, 먼저, 기존의 이차원 디지털 방송 수신장치(예를 들어, 2D TV)에서 트릭 플레이를 제공하는 방법에 대하여, 도 1과 함께 살펴본다.

이차원 디지털 방송 수신장치에서는, 재생되는 영상에 대한 트릭 플레이를 지원하기 위하여, 2차원 영상에 대응되는 스트림(stream) 중 discardable 픽처를 활용할 수 있다.

여기에서, discardable 픽처는 2차원 영상을 코딩하는 경우, 2차원 영상을 구성하는 복수개의 픽처들 중 참조(reference)로 사용되지 않는 픽처를 의미한다. 따라서, 이러한 discardable 픽처는 트릭 플레이 과정에서 재생되지 않더라도, 즉, 스킵(skip)되어도 다른 픽처들의 정상적인 디코딩에 영향을 주지 않을 수 있다. 따라서, 디티털 방송 수신장치, 특히, PVR(Personal Video Recorder)에서는 특정 픽처들을 스킵하여 빠른 재생 효과를 내고자 하는 경우, 이러한 discardable 픽처와 같은, 특정 픽처를 스킵하여 빠른 재생 효과를 낼 수 있다.

예를 들어, 도 1에 도시된 것과 같이, I0, P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14 픽처들로 구성되는 2차원 영상에서 트릭 플레이 실행되는 경우, 디지털 방송 수신장치에서는 discardable 픽처에 해당하는 P1, P2, P4, P5, P7, P8, P10, P11, P13, P14 픽처들을 스킵하고, non-discardable 픽처에 해당하는 I0, P3, P6, P9, P12 재생하여 트릭 플레이를 제공할 수 있다.

한편, 이러한 discardable 픽처는 2차원 영상에 대한 코딩 기법에 따라, 다르게 지정될 수 있는데, 예를 들어, 2차원 영상이 MPEG-2 방식으로 코딩된 비디오인 경우에는, 참조 픽처(picture)로 쓰이지 않는 B-픽처가 discardable 픽처로 활용될 수 있다. 또한, 이와 다르게, 2차원 영상이 H.264/AVC 방식으로 코딩된 비디오인 경우에는, nal slice header의 nal_ref_idc 값이 0인 슬라이스를 가진 픽처가 discardable 픽처로 활용될 수 있다.

한편, 이와 다르게 입체영상, 예를 들어, 3차원 영상에서는 3차원 영상을 구현하는 적어도 두개의 영상 각각에 대한 비디오 스트림, 예를 들어, 트랜스 포트 스트림(Transport Steam)이 존재하므로, 상기 적어도 두개의 영상에 각각 대응되는 픽처들이 모두 discardable 픽처인지를 판단하는 기준이 필요하다.

이에, 본 발명의 일 실시 예 따른 입체영상을 출력하는 것이 가능한 디지털 방송 수신방법 및 수신장치에서는 3차원 뷰(view, 또는 3차원 영상)를 구성하는 베이스 뷰(base view) 및 디펜던트 뷰(dependet view) 모두가 discardable 픽처인 경우에만, 상기 베이스 뷰(base view) 및 디펜던트 뷰(dependet view)를 discardable 픽처 세트(discardable picture set)로 지정을 하고, 이러한 정보를 트랜스포트 패킷(Transport Packet) 레벨(level)에서 처리하는 방법을 제안한다. 따라서, 본 발명에 따르면 입체영상을 출력하는 것이 가능한 디지털 수신장치에서는 3차원 뷰(view, 또는 3차원 영상)를 구성하는 베이스 뷰 및 디펜던트 뷰들에 포함된 모든 nal slice 마다 해당 nal slice가 트릭 플레이시 스킵할 수 있는 discardable nal slice인지 여부를 따지지 않을 수 있다.

이하에서는, 첨부된 도면과 함께, MVC 기반의 3차원 영상을 제공하는 디지털 방송에서 원활한 트릭 플레이를 제공하기 위한 방법에 대하여 보다 구체적으로 살펴본다. 도 2a 및 도 2b는 MVC 비트 스트림의 구성을 설명하기 위한 개념도이고, 도 3는 비주기적으로 수신되는 MVC 비트 스트림의 구성을 설명하기 위한 개념도이다.

먼저, MVC 기반의 3차원 영상을 구현하기 위한 MVC 비트스트림(bitstream)의 구성에 대하여 살펴보면, MVC 비트스트림은 크게 두 종류의 멀티플렉스 모드(multiplex mode)로 구성될 수 있다.

제1 모드는, 1-PID 멀티플렉스 모드(또는 1-PID 모드)로서, 이러한, 1-PID 멀티플렉스 모드에서 MVC 비트스트림의 구성은 하나의 MVC Access Unit(MVC AU)이한 개의 PES 패킷(Packet)에 포함된다. 여기에서, 하나의 MVC AU는 베이스 및 디펜턴트 뷰 컴포넌트(view component)가 모두 포함된다

한편, 여기에서, 뷰 컴포넌트는 MVC로 코딩된 베이스 뷰와 디펜던트 뷰를 각각 지칭하는 것으로 좌 영상 우 영상 중 하나를 의미한다. 이와 같이, 1-PED 멀티플렉스 모드에서는 두 개의 대응되는 뷰 컴포넌트가 합쳐져 하나의 Access Unit을 구성한다

따라서, 도 2a에 도시된 것과 같이, 1-PID 멀티플레스 모드에서는, 하나의 MVC AU에는 한 개의 베이스 뷰 컴포넌트를 구성하는 복수개의 트랜스포트 패킷(Transport Packet:TP)들과 상기 한 개의 베이스 뷰 컴포넌트와 동일한 시점(time)을 갖는 다른 한 개의 디펜던트 뷰 컴포넌트를 구성하는 복수개의 트랜스포트 패킷(TP)이 포함될 수 있다. 이와 같이, 1-PID 멀티플렉스 모드에서는, 한 개의 트랜스포트 스트림 내에 베이스 및 디펜턴트 뷰 컴포넌트를 구성하는 트랜스포트 패킷이 순차적으로 들어간다.

한편, MVC 기반의 3차원 영상을 구현하기 위한 MVC 비트스트림(bitstream)을 구성하는 제1 모드와 다른 제2 모드를 살펴보면, 상기 제2 모드는 2-PID 멀티플렉스 모드(또는 2-PID 모드)이다.

이러한, 2- PID 멀티플레스 모드에서 한 개의 PES 패킷은 하나의 뷰 컴포넌트를 포함하는 것으로서, 서로 다른 트랜스포트 스트림(Transport Stream:TS)은 서로 다른 뷰의 트랜스포트 패킷들로 구성된다.

도 2b에 도시된 것과 같이, 한개의 MVC AU는 서로 다른 트랜스 포트 스트림에 포함되면서, 서로 대응되는 하나의 픽처(또는 프레임)에 해당하는 베이스 및 디펜던트 뷰 컴포넌트의 트랜스 포트 패킷들로 구성된다. 즉, 이 경우, 제1 베이스 뷰 컴포넌트에 대응되는 트랜스포트 패킷들은 MVC 베이스 뷰 스트림에 포함되고, 제1 베이스 뷰 컴포넌트와 대응되는 제1 디펜던트 뷰 컴포넌트에 대응되는 트랜스포트 패킷들은 MVC 디펜던트 뷰 스트림에 포함되어, 각각 별도의 트랜스포트 스트림으로 수신될 수 있다.

한편, 베이스 뷰 컴포넌트는 1-PID 멀티플렉스 모드에서는 MVC base view sub-bitstream으로 표현되고, 2-PID 멀티플렉스 모드에서는 AVC video sub-bitsteream of MVC라고 표현될 수 있다. 또한, 이러한 베이스 뷰 컴포넌트는 MVC로 코딩된 두개의 뷰 컴포넌트 중 기준 영상에 해당되는 컴포넌트이고, 기존의 AVC/H.264 디코더를 이용해 복호화가 가능한 스트림을 의미한다.

한편, 디펜던트 뷰 컴포넌트는 ISO/IEC 14496-10의 Annex H를 이용해 복호화가 가능한 스트림이며, MVC extension stream에 해당한다. 이러한 디펜던트 뷰 컴퓨너트는 베이스 뷰 복호화 결과를 이용한 inter-view prediction 또는 디펜던트 뷰 컴포넌트 사이의 inter-prediction 등을 이용해 복호화가 수행 가능하다.

따라서, 도 2a 및 도 2b와 함께 살펴본 것과 같이, 1-PID 멀티플렉스 모드인 경우에는, 하나의 AU가 하나의 PES 패킷에 포함되므로, AU 단위별로, 트랜스포트 패킷이 섞이지 않을 수 있다. 그러나, 2-PID 멀티플렉스 모드에서는, 하나의 AU를이루는 베이스 및 디펜던트 뷰 컴포넌트가 각각 서로 다른 PES 패킷에 포함되므로, 각 뷰 컴포넌트 별 프레임 넘버(frame number, 또는 픽처 넘버(픽처 number))는 순차적으로 증가할지라도, 하나의 AU 단위를 이루는 뷰 컴퓨넌트들의 순서가 인접하게 배치되지 않을 수 있다.

예를 들어, 도 3에 도시된 것과 같이, 2-PID 멀티플렉스 모드에서는, 송신단 측에서 순차적으로 각 뷰 컴포넌트들의 트랜스포트 패킷을 전송했을지라도, 수신 측에서 재다중화(re-multiplexing) 과정을 거치면서 각 뷰 컴퓨넌트들의 트랜스포트 패킷이 AU 단위 별로 순차적으로 나열되지 않을 수 있다. 따라서, 도시된 것과 같이, L0에 해당하는 트랜스포트 패킷의 나열이 종료되기 전에, R0 또는 R1에 해당하는 트랜스포트 패킷이 나열될 수 있다. 따라서, 이러한 경우에는 각 AU의 경계가 모호해지므로, 트릭 플레이 과정에서 원하는 AU에 해당하는 트랜스포트 패킷만 선택하기 어려운 문제가 발생할 수 있다. 이에, 각 뷰 컴포넌트별로 시작점과 끝점의 위치를 지정해줄 필요가 있다. 나아가, 하나의 프레임이 시작되는 트랜스포트 패킷 지점에서 AU_number 및 해당 AU 내에 포함된 베이스 및 디펜던트 뷰 컴포넌트의 discardability를 시그널링 하는 방법이 필요하다.

따라서, 이하에서는, MVC 비트스트림이 1-PID 멀티플렉스 모드 또는 2-PID 멀티플렉스 모드로 구성되는 것과 관계 없이, discardable 픽처 정보를 트랜스포트 스트림 레벨에서 제공하는 방법에 대하여 첨부된 도면과 함께 보다 구체적으로 살펴본다.

도 4a, 도 4b 및 도 4c는 트랜스포트 스트림 레벨에서 discardable 픽처에 대한 정보를 시그널링 할 수 있도록 하는 신택스(syntax) 구조를 설명하기 위한 개념도이다.

이하, 도 4a, 도 4b 및 도 4c에 도시된 discardable 픽처와 관련된 데이터를 처리하는 각 필드에 대하여 설명한다. 본 발명의 간명한 설명을 위해 신택스를 구성하는 필드의 영어 표현을 그대로 사용하되 큰 따옴표를 이용해 구분한다.

도 4a를 살펴보면, discardable 픽처에 대한 정보는 "transport packet()"에서 "adaptation_field()"를 이용하여 제공될 수 있다.

이러한, "adaptation_field()"는 트랜스포트 패킷의 헤더정보에 포함되는 "adaptation_field_control"이 '10' 또는 '11'인 경우 존재한다.

"adaptation_field_control"는 유료부하 부분에 "adaptation_field()" 똔,ㄴ 유료부하의 존재 유무를 나타낸다.

한편, "adaptation_field_control"이 '10'인 경우, "adaptation_field_length" 값은 183을 갖고, "adaptation_field_control"이 '11'인 경우, "adaptation_field_length" 값은 0 부터 182까지의 값을 갖는다.

한편, discardable 픽처에 대한 정보는 "adaptation_field_control"이 '10' 또는 '11'인 경우, "private_data_byte" 필드에 포함될 수 있다.

도 4b를 살펴보면, "adaptation_field()"에는 "transport_private_data_flag" 필드가 존재한다.

"transport_private_data_flag"는 "adaptation_field()"에 "private_data_byte"가 존재하는지 유무를 나타낸다.

여기에서 "transport_private_data_flag"가 '1'인 경우, 한 byte 이상의 "private_data_byte"필드가 "adaptation_field()"에 존재한다.

그리고, "transport_private_data_flag"가 '0'인 경우, "private_data_byte" 필드가 "adaptation_field()"에 존재하지 않는다.

이와 같이, "adaptation_field()"에 포함된 "transport_private_data_flag"가 '1'이면, "adaptation_field()"에는 "private_data_byte"필드가 존재할 수 있다.

한편, "transport_private_data_flag"가 '1'인 경우, "adaptation_field()"에는 "private_data_byte" 필드가 존재하며, "transport_private_data_length"는 "private_data_byte"필드가 몇 byte인지 알려줄 수 있다.

이러한 트랜스포트 패킷의 신택스 구조에서, discardable 픽처에 대한 정보, 즉 'discardable_pic_data'는 "private_data_byte"필드에 위치할 수 있다. 즉, "private_data_byte"는 discardable 픽처에 대한 상세 정보를 포함한다.

이하에서는, "private_data_byte"필드에 위치하는 "discardable_pic_data()"의 신택스 구조에 대하여 도 4c와 함께 보다 구체적으로 살펴본다.

discardable 픽처에 대한 정보를 제공하기 위한 "discardable_pic_data()"필드는 도 4c에 도시된 복수의 필드 중 적어도 하나를 포함할 수 있다.

"discardable_pic_data()"는 discardable 픽처를 처리하기 위한 피드들을 포함한다.

먼저, "view_component_start_flag"는 상기 "view_component_start_flag"가 포함된 트랜스포트 패킷, 즉, 현재의 트랜스포트 패킷이, 상기 현재의 트랜스 포트 패킷을 포함하는 해당 뷰 컴포넌트 프레임(view component frame)의 맨 처음 트랜스포트 패킷인지를 나타낸다. 즉, "view_component_start_flag"가 '1'이면, 상기 '1'의 값을 갖는 "view_component_start_flag"가 포함된 트랜스포트 패킷은 상기 '1'의 값을 갖는 "view_component_start_flag"가 포함된 트랜스포트 패킷에 포함된 뷰 컴포넌트 프레임의 맨 처음 트랜스 포트 패킷이다.

만약에, "view_component_start_flag"가 '0'이면, 상기 '0'의 값을 갖는 "view_component_start_flag"가 포함된 트랜스포트 패킷은, 상기 '0'의 값을 갖는 "view_component_start_flag"가 포함된 트랜스포트 패킷이 포함된 임의의 뷰 컴포넌트 프레임의 맨 처음 트랜스 포트 패킷이 아니다.

이와 같이, "discardable_pic_data()"에서는 "view_component_start_flag" 필드를 통해, 임의의 뷰 컴포넌트 프레임을 구성하는 복수개의 트랜스포트 패킷 중 맨 처음 트랜스 포트 패킷이 어느 것인지에 대한 정보를 제공한다.

한편, "discardable_pic_data()"는 "view_component_start_flag"가 '1'의 값을 갖는 트랜스포트 패킷, 즉, 임의의 뷰 컴포넌트 프레임을 구성하는 복수개의 트랜스포트 패킷 중 맨 처음 트랜스 포트 패킷을 이용하여, 상기 맨 처음 트랜스 포트 패킷을 포함하는 뷰 컴포넌트 프레임 및 스테레오 뷰 페어(stereo view pair)에 대한 discardable 정보를 제공한다.

"discardable_pic_data()"를 구성하는 다른 필드에 대하여 살펴보면, "AU_numer" 필드는 상기 "AU_numer" 필드가 포함된 트랜스포트 패킷에 대응되는 Access Unit(AU)의 번호를 나타낸다. 1-PID 멀티플렉스 모드에서 "AU는_number"는 베이스 뷰와 디펜던트 뷰에 각각 대응되는 트랜스포트 패킷을 모두 포함한 Access Unit의 번호일 수 있다(도 2a 참조).

한편, "AU_number"는 GOP 일련번호(상위 24 bit)와 GOP 내 디스플레이 순서(또는 디코딩 순서, 하위 8bit)를 연속(concatenation)하여 나열함으로써으로 구성될 수 있다.

다음으로, "discardable_pair_flag"는 현재 스트림에 대응되는 스테레오 뷰 페어에 해당하는 두개의 픽처가 모두 discardable 픽처인지를 나타낸다. 즉, "discardable_pair_flag"는 상기 "discardable_pair_flag"이 포함된 트랜스포트 패킷이 포함된 Access Unit에 포함된 복수개의 트랜스포트 패킷을 통해 구현되는 한 쌍의 베이스 뷰 및 디펜던트 뷰에 대응되는 두개의 픽처가 모두 discardable 픽처인지를 알려준다.

보다 구체적으로, 1-PID 멀티플렉스 모드에서는 "discardable_pair_flag"가 '1'이면, 상기 현재 트랜스포트 패킷이 포함된 Access Unit을 통해 구현되는 제1 픽처와 상기 현재 트랜스포트 패킷이 포함된 Access Unit의 번호와 동일한 번호를 갖는 다른 Access Unit을 통해 구현되는 제2 픽처가 모두 discardable 하다. 여기에서, 상기 제1 픽처 및 제2 픽처는 stereo view pair를 이루는 픽처이다.

따라서, "discardable_pair_flag"의 값이 '1'인 경우, 현재 스트림에 대응되는 스테레오 뷰 페어에 해당하는 두 개의 픽처는 3D 트릭 플레이시 모두 discard 가능하다.

다음으로, "base_view_flag"는 현재 트랜스포트 패킷을 포함하는 view가 베이스 뷰인지, 디펜던트 뷰인지 알려주는 필드이다. 즉, "base_view_flag"의 값이 '1'인 경우, 상기 "base_view_flag"가 포함된 트랜스포트 패킷에 대응되는 픽처는 베이스 뷰이다. 그리고, "base_view_flag"의 값이 '0'인 경우, '0'의 값을 갖는 "base_view_flag"가 포함된 트랜스포트 패킷에 대응되는 픽처는 디펜던트 뷰이다.

다음으로, "discardable_flag"는 현재 스트림에 대응되는 픽처 내에 포함된 모든 nal slice의 nal_ref_idc 필드 값이 모두 0인 경우, '1'의 값을 갖는다. 즉, 상기 "discardable_flag"가 포함된 트랜스포트 패킷에 대응되는 픽처를 구성하는 nal slice의 nal_ref_idc 필드 값이 모두 0인 경우, 상기 픽처는 discardable 하므로, 상기 픽처에 대한 discardable 여부를 결정하는 "discardable_flag"의 값은 '1'이 된다. 한편, 픽처 내에 포함된 slice 중하나라도 nal_ref_idc 필드 값이 '1'인 경우, 상기 "discardable_flag"는 '0'의 값을 갖는다.

한편, 위에서 살펴본 "base_view_flag" 필드(또는 view_component_ID)는 베이스 뷰 및 디펜던트 뷰가 하나의 Access Unit을 구성하는 1-PID 멀티플렉스 모드에서 의미를 갖을 수 있다. 즉, 2-PID 멀티플렉스 모드(또는 N-PID 멀티플렉스모드)에서는 베이스 뷰 및 디펜던트 뷰가 트랜스포트 헤더에 포함된 PID 값을 통해 식별이 가능하므로, 2- PID 멀티플렉스 모드에서 상기 "base_view_flag"는 포함되지 않을 수 있다.

다음으로, "view_component_end_flag"는 상기 "view_component_end_flag"가 포함된 트랜스포트 패킷, 즉, 현재의 트랜스포트 패킷이, 상기 현재의 트랜스 포트 패킷을 포함하는 해당 뷰 컴포넌트 프레임(view component frame)의 맨 마지막 트랜스포트 패킷인지를 나타낸다. 즉, "view_component_end_flag"가 '1'이면, 상기 '1'의 값을 갖는 "view_component_end_flag"가 포함된 트랜스포트 패킷은 상기 '1'의 값을 갖는 "view_component_end_flag"가 포함된 트랜스포트 패킷이 포함된 임의의 뷰 컴포넌트 프레임의 맨 마지막 트랜스 포트 패킷이다. 그 외의 경우에 "view_component_end_flag"는 '0'으로 설정된다.

이하에서는, 앞서 도 4a, 도 4b 및 도 4c에서와 같이 정의된 구조의 disdable_pic_data를 처리하는 과정을 설명한다. 앞서 살펴본 discardable_pic_data와 관련한 신택스 구조는, MVC 비트스트림이, 1-PID 멀티플렉스 모드로 구성되었는지, 또는 2-PID멀티 플렉스 모드로 구성되었는지에 따라 서로 다르게 처리될 수 있다.

이하에서는, 수신장치에서 discardable_pic_data를 획득(또는 처리)하는 과정에 대하여 살펴본다.

도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치에서 트릭 플레이를 제공하기 위하여 discardable_pic_data를 획득하는 과정을 도시한 흐름도이다.

먼저, 1-PID 멀티플렉스 모드 및 2-PID 멀티플렉스 모드에서 3D 트릭 플레이를 제공하기 위하여, discardable_pic_data가 처리되는 과정에 대하여 도 5a와 함께 살펴본다.

3D 트릭 플레이를 제공하기 위해서는, 3D 영상을 구성하는 베이스 뷰 및 디펜던트 뷰에 각각 대응되는 두개의 픽처가 모두 discardable한 상태가 되어야 한다. 즉, 3D 트릭 플레이를 제공하기 위해서는 stereo view pair에 대한 discardability 정보가 제공되어야 한다.

이를 위해, 입체영상 디스플레이가 가능한 디지털 방송 수신장치에서는, 아래와 같은 과정을 통해, 한 쌍의 픽처에 대한 discardable 정보를 획득할 수 있다.

이러한 discardable 정보는 트랜스포트 패킷에 포함된 "adaptation field()"를 통해 제공될 수 있다. 이러한, "adaptation field()"에 포함된 한 쌍의 픽처에 대한 discardable 정보를 획득하기 위하여, 먼저 트랜스포트 패킷의 헤더정보에 포함되는 "adaptation_field_control"의 값을 판단하는 과정이 진행된다. "adaptation_field_control" 값이 '10' 또는 '11'인 경우 "adaptation field()"가 존재한다. discardable 픽처에 대한 정보는 "adaptation_field_control"이 '10' 또는 '11'인 경우, "private_data_byte" 필드에 포함될 수 있다.

위와 같이, "adaptation_field_control" 값이 '10' 또는 '11'인 경우, "transport_private_data_flag" 필드값을 판단하는 과정이 진행된다.

이와 같이, "adaptation_field()"에 포함된 "transport_private_data_flag"가 '1'이면, "adaptation_field()"에는 "private_data_byte"필드가 존재하는 것으로 판단된다. 그러므로, "transport_private_data_flag"가 '1'의 값을 갖는 경우, 해당 트랜스포트 패킷은 discardable 픽처에 대한 정보를 포함한 것으로 판단될 수 있다.

한편, discardable 픽처에 대한 정보인 'discardable_pic_data'는 "private_data_byte"필드에 위치할 수 있다. 즉, "private_data_byte"는 discardable 픽처에 대한 상세 정보를 포함한다.

다음으로, 위와 같이, "transport_private_data_flag"가 '1'의 값을 갖는 걸로 판단된 경우, "transport_private_data_length"를 통해 "private_data_byte"필드가 몇 byte인지 판단하는 과정이 진행된다.

"transport_private_data_length"를 통해 "private_data_byte"필드가 몇 byte인지 판단하는 과정이 완료되면, 다음으로 "view_component_start_flag"가 '1'의 값을 갖는지 판단하는 과정이 진행된다.

"view_component_start_flag"가 '1'인 경우, 현재 트랜스포트 패킷이 임의의 뷰 컴포넌트 프레임을 구성하는 복수개의 트랜스포트 패킷 중 맨 처음 트랜스포트 패킷으로 인지될 수 있다.

한편, "view_component_start_flag"가 '1'이면, "AU_numer"필드를 통해, 현재 트랜스포트 패킷이 포함된 Access Unit의 번호를 판단하는 과정이 진행된다.

다음으로, "discardable_pair_flag"의 값을 판단하여, 현재 트랜스 포트 패킷이 포함된 Access Unit에 해당하는 베이스 및 디펜던트 뷰에 대응되는 두개의 픽처가 모두 dicardable 픽처인지 판단하는 과정이 진행된다.

즉, 1-PID 멀티플렉스 모드에서는 "discardable_pair_flag"의 값이 '1'이면, 현재 트랜스포트 패킷이 포함된 하나의 Access Unit을 통해 구현되는 한 쌍의 베이스 뷰 및 디펜던트 뷰에 대응되는 두개의 픽처가 discardable 픽처로 판단된다.

또는, 1-PID 멀티플렉스 모드에서는 "discardable_pair_flag"의 값이 '1'이면, 상기 현재 트랜스포트 패킷이 포함된 Access Unit을 통해 구현되는 제1 픽처와 상기 현재 트랜스포트 패킷이 포함된 Access Unit의 번호와 동일한 번호를 갖는 다른 Access Unit을 통해 구현되는 제2 픽처가 모두 discardable 픽처인지를 알려준다. 여기에서, 상기 제1 픽처 및 제2 픽처는 stereo view pair를 이루는 픽처이다.

따라서, "discardable_pair_flag"의 값이 '1'인 경우, 수신장치에서는 3D 트릭 플레이시 현재 스트림에 대응되는 스테레오 뷰 페어에 해당하는 두 개의 픽처를 모두 discard 가능하다. 또한, "discardable_pair_flag"의 값이 '0'인 경우, 수신장치에서는 3D 트릭 플레이시 현재 스트림에 대응되는 스테레오 뷰 페어에 대응되는 영상을 재생시킨다.

한편, "view_component_start_flag"가 '0'인 경우, 현재 트랜스포트 패킷이 임의의 뷰 컴포넌트 프레임을 구성하는 복수개의 트랜스포트 패킷 중 맨 처음 트랜스포트 패킷이 아니며, 이 경우, "view_component_end_flag"를 통해, 해당 트랜스포트 패킷이 상기 임의의 뷰 컴포넌트 프레임을 구성하는 복수개의 트랜스포트 패킷 중 맨 마지막 트랜스 패킷인지 판단하는 과정이 진행된다.

즉, "view_component_end_flag"가 '1'이면, 상기 '1'의 값을 갖는 "view_component_end_flag"가 포함된 트랜스포트 패킷은 상기 '1'의 값을 갖는 "view_component_end_flag"가 포함된 트랜스포트 패킷이 포함된 임의의 뷰 컴포넌트 프레임의 맨 마지막 트랜스 포트 패킷이다. 그 외의 경우에 "view_component_end_flag"는 '0'으로 설정된다.

그리고, "view_component_end_flag"가 '1'이면, 해당 트랜스포트 패킷에 대응된는 Access Unit의 번호를 식별하기 위하여, "Au_nuber"를 판단하는 과정이 진행된다.

이와 같이, 수신장치에서는 "discardable_pair_flag"를 이용하여, 3D 트릭 플레이를 구현할 수 있다. 나아가, 수신장치에서는 ""view_component_start_flag" 및 "view_component_end_flag"를 이용하여 Access Unit의 시작지점과 끝지점을 식별함으로써, 트릭 플레이 과정에서 원하는 AU에 해당하는 트랜스포트 패킷만을 선택할 수 있다.

이상에서는, 수신장치에서 "discardable_pair_flag"를 이용하여, 3D stereo view pair에 대한 3D 트릭 플레이를 제공하기 위한, discardability 정보를 판단하는 과정에 대하여 살펴보았다.

한편, 수신장치에서는, 베이스 및 디펜던트 뷰에 각각 대응되는 트랜스포트 스트림이 모두 수신되더라도, 사용자의 선택 또는 수신장치의 상황에 따라 2D 트릭 플레이를 제공할 수 있다.

이하에서는, 수신장치에서 2D 트릭 플레이를 제공하는 과정에 대하여 도 5b와 함께 살펴본다. 도 5b에 도시된 과정 중 도 5a와 함께 설명된 내용은 도 5a의 설명으로 갈음한다.

"view_component_start_flag" , "AU_number" 및 "discardable_pair_plag" 필드를 판단하는 과정이 진행되고 나면, "base_view)_flag" 필드의 값을 판단하는 과정이 진행된다.

"base_view_flag"는 현재 트랜스포트 패킷을 포함하는 view가 베이스 뷰인지, 디펜던트 뷰인지 알려주는 필드이다. 즉, "base_view_flag"의 값이 '1'인 경우, 상기 "base_view_flag"가 포함된 트랜스포트 패킷에 대응되는 픽처는 베이스 뷰이다. 그리고, "base_view_flag"의 값이 '0'인 경우, '0'의 값을 갖는 "base_view_flag"가 포함된 트랜스포트 패킷에 대응되는 픽처는 디펜던트 뷰이다.

즉, 수신장치에서는 2D 영상을 재생하는 경우, 베이스 뷰에 대응되는 영상을 재생하므로, 현재 트랜스포트 패킷이 베이스 뷰에 대응되는 트랜스포트 패킷인지 판단한다.

따라서, 현재 트랜스포트 패킷이 베이스 뷰에 대응되는 경우, 수신장치에서는 "discardable_flag" 필드의 값을 판단하는 과정이 진행된다.

"discardable_flag"는 현재 스트림에 대응되는 픽처 내에 포함된 모든 nal slice의 nal_ref_idc 필드 값이 모두 0인 경우, '1'의 값을 갖는다. 즉, 상기 "discardable_flag"가 포함된 트랜스포트 패킷에 대응되는 픽처를 구성하는 nal slice의 nal_ref_idc 필드 값이 모두 0인 경우, 상기 픽처는 discardable 하므로, 상기 픽처에 대한 discardable 여부를 결정하는 "discardable_flag"의 값은 '1'이 된다.

따라서, 수신장치는 "discardable_flag"가 '1'의 값을 갖는 트랜스포트 패킷에 대응되는 픽처를 discardable 픽처로 판단할 수 있다.

한편, 위에서 살펴본 "base_view_flag" 필드(또는 view_component_ID)는 베이스 뷰 및 디펜던트 뷰가 하나의 Access Unit을 구성하는 1-PID 멀티플렉스 모드에서 의미를 갖는다.

즉, 2-PID 멀티플렉스 모드(또는 N-PID 멀티플렉스모드)에서는 베이스 뷰 및 디펜던트 뷰가 트랜스포트 헤더에 포함된 PID 값을 통해 식별이 가능하므로, 2-PID 멀티플렉스 모드에서 상기 "base_view_flag"는 포함되지 않을 수 있다.

따라서, 2-PID 멀티플렉스 모드에서 수신장치는 "base_view_flag"를 판단하지 않고, "discardable flag"만을 판단할 수 있다.

이상에서 살펴본 것과 같이, 본 발명에 따르면, 트랜스포트 스트림 레벨에서, 베이스 및 디펜던트 뷰에 각각 대응되는 픽처의 discardability를 판단할 수 있다.

이하에서는, 위에서 살펴본 2D 또는 3D 트릭 플레이를 제공하는 입체영상 디스플레이가 가능한 디지털 방송 수신장치에 대하여 첨부된 도면과 함께 보다 구체적으로 살펴본다. 도 6은 본 발명의 일 실시 예에 따른 입체영상 디스플레이가 가능한 디지털 방송 수신장치를 설명하기 위한 블록도이다.

방송 수신장치는 Tuner and demodulator(410), VSB decoder(420), TP demux(430), PVR processor(440), Storage(450), PSI/PSIP processor(460), AVC layer(470a), MVC extension layer(470), L/R Splitter(480), output formatter(490, 3D video processor)를 포함할 수 있다.

또한, 도시하지 않았지만, 방송 수신장치는 해당 시점의 영상을 출력하기 위한 image output unit을 포함할 수 있다. image output unit은 각 시점에 대한 영상들을 제어하여 화면에 디스플레이하나, 복수로 구비되어 각각 좌우 영상을 출력하도록 구성될 수도 있다.

tuner and demodulator(410)는 디지털 방송 신호를 수신하여 해당 신호를 검파하고 오류를 정정하여 트랜스포트 스트림(Trasport Stream)을 추출하며, 트랜스포트 스트림(Trasport Stream)에 대해 필터링 및 파싱(parsing)을 수행하는 역다중화부의 예로서, TP demux(430)가 구비된다. PSI/PSIP processor(460)는 TP demux(430)로부터 전달받은 테이블 정보로부터 비디오 스트림에 대한 PID(Packet Identifier) 정보를 추출한다.

AVC layer(470a)는 기준시점 비디오를 디코딩하는 디코더이고, MVC extension layer(470b)는 확장시점 비디오를 디코딩하는 디코더이다.

이하, 상기와 같은 수신장치의 동작 방법에 대하여 설명한다.

수신장치는 PSI/PSIP processor(460)에서 파싱된 PMT 및 TVCT 정보로부터 video stream PID를 추출하고, 해당 video stream PID를 사용하여 TP Demux(430)에서 비디오 스트림을 출력한다. 출력하는 비디오 스트림이 기준시점 비디오(AVC)에 해당하면 TP Demux(430)는 비디오 스트림을 AVC layer(470a)로 출력하고, 출력하는 비디오 스트림이 확장시점 비디오(MVC extension)에 해당하면 TP Demux(430)는 비디오 스트림을 MVC extension layer(470b)로 출력한다.

AVC layer(470a) 및 MVC extension layer(470b)는 각각 수신한 비디오 스트림에 포함된 video data 및 supplemental data를 처리하여 L/R Splitter(480)로 출력한다. L/R Splitter(480) 및 Output formatter(490)는 PSIP 또는 PSI/SI 프로세서(460)가 추출한 정보에 기초하여, 기준시점 비디오 스트림 및 확장시점 비디오 스트림을 스테레오스코픽 디스플레이 출력에 맞게 포맷팅한 후 전송한다.

한편, 본 발명에 따르면, TP demux(430, 또는 역다중화부)를 통해 트랜스포트 스트림(Trasport Stream)에 대해 필터링 및 파싱(parsing)과정이 진행되면, 파싱된 트랜스포트 스트림은 PVR processor(440)를 통해 트랜스포트 스트림을 구성하는 트랜스포트 패킷으로부터, 기준시점 비디오 스트림 및 확장시점 비디오 스트림에 대한 discardable 정보가 처리된다. 한편, 트랜스포트 스트림을 구성하는 트랜스포트 패킷으로부터, 기준시점 비디오 스트림 및 확장시점 비디오 스트림에 대한 discardable 정보의 처리 과정은 PSIP 또는 PSI/SI 프로세서(460)를 통해서도 수행될 수 있다.

즉, PVR processor(440)는 앞서, 도 5a 및 도 5b에서 살펴본 과정과 같이, "discardable_pic_data"를 처리한다. 한편, PVR processor를 통해 처리된 discardable 정보는 Storage(450)에 저장되어, 녹화된 영상에 대하여 트릭 플레이가 구현되는 경우 참조될 수 있다.

즉, Storage(450)에는 트릭 플레이가 가능한 트랜스포트 패킷 및 트릭 플레이 컨트롤과 관련된 파일이 저장될 수 있다. 이와 같이, 트랜스포트 패킷 및 트릭 플레이 컨트롤과 관련된 파일은 Storage(450)에 저장되어, 트릭 플레이에 실행하도록 하는 제어명령이 인가되는 경우 언제든지 활용될 수 있다.

이하에서는, 이러한 Storage(450)에 저장되는 파일 구성에 대한 일 실시 예를 살펴보면, 입체영상 디스플레이가 가능한 디지털 방송 수신장치에서는 "discardable_pic_data()"를 이용해, 트릭 플레이를 구현하기 위하여, 아래의 [표 1]과 같이 구성되는 파일을 참조할 수 있다.

"discardable_pic_data()"를 이용해 트릭 플레이를 구현하기 위한 수신기 파일은 위의 [표 1]과 같이 구성될 수 있다. 한편, 상기 [표 1]은 3D 입체영상을 구현하기 위한 영상이 스테레오 뷰가 아닌 멀티 뷰로 구성되는 경우에도 동일하게 적용될 수 있다.

이하에서는, 멀티 뷰로 구성되는, 뷰 컴포넌트들에 대한 트릭 플레이를 구현하기 위한 신택스 구조에 대하여 첨부된 도면과 함께 보다 구체적으로 살펴본다.

앞서, 도 4a, 도 4b 및 도 4c에서는 두개의 스트림으로 구성되는 stereo MVC에서 discardable 정보를 제공하기 위한 신택스 구조에 살펴보았다. 이하에서는, 두개 이상의 MVC 스트림으로 구성되는 stereo MVC인 경우, 즉, 하나 이상의 디펜던트 뷰 컴포넌트가 존재하는 경우, 이에 대한 discardable 정보를 제공하기 위한 신택스 구조에 대하여 첨부된 도면과 함께 살펴본다.

도 7a 및 도 7b는 본 발명의 일 실시 예에 따른 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치에서 멀티 뷰 방식의 입체영상에서 discardable 픽처에 대한 정보를 제공하는 방법을 설명하기 위한 개념도이다.

먼저, 도 7a를 살펴보면, 두 개 이상의 MVC 스트림이 존재하는 경우, 즉, 디펜던트 뷰 컴포넌트가 적어도 두개 존재하는 경우(Stream #1, Stream #2), 베이스 뷰 컴포넌트(Stream #0)는 제1 디펜던트 뷰 컴포넌트(Stream #1) 또는 제2 디펜던트 뷰 컴포넌트(Stream #2)와 입체영상을 구현할 수 있다.

위와 같은, 두개 이상의 스트림으로 구성된 stereo MVC 대하여, discardable 정보를 제공하는 방법은, 도 7b에 도시된 것과 같은 신택스 구조를 갖을 수 있다.

한편, 앞서 도 4a 및 도 4b에서 살펴본 신택스 구조는 두개 이상의 스트림으로 구성된 stereo MVC 경우에도 동일하게 적용되므로, "discardable_pic_data()"에 대한 신택스 구조에 대해서만 상세하게 살펴본다.

"discardable_pic_data()"필드는 도 7b에 도시된 것과 같이, 복수의 필드 중 적어도 하나를 포함할 수 있다.

먼저, "view_component_start_flag"는 상기 "view_component_start_flag"가 포함된 트랜스포트 패킷, 즉, 현재의 트랜스포트 패킷이, 상기 현재의 트랜스 포트 패킷을 포함하는 해당 뷰 컴포넌트 프레임(view component frame)의 맨 처음 트랜스포트 패킷인지를 나타낸다. 즉, "view_component_start_flag"가 '1'이면, 상기 '1'의 값을 갖는 "view_component_start_flag"가 포함된 트랜스포트 패킷은 상기 '1'의 값을 갖는 "view_component_start_flag"가 포함된 트랜스포트 패킷이 포함된 임의의 뷰 컴포넌트 프레임의 맨 처음 트랜스 포트 패킷이다.

"discardable_pic_data()"를 구성하는 다른 필드에 대하여 살펴보면, "AU_numer" 필드는 해당 Access Unit의 번호를 나타내는 필드이다. "AU_number"는 GOP 일련번호(상위 24 bit)와 GOP 내 디스플레이 순서(또는 디코딩 순서, 하위 8bit)를 연속(concatenation)하여 나열함으로써 구성될 수 있다.

다음으로, "discardable_flag"는 현재 스트림에 대응되는 픽처 내에 포함된 모든 nal slice의 nal_ref_idc 필드 값이 모두 0인 경우, '1'의 값을 갖는다.

"discardable_flag"는 현재 스트림에 대응되는 픽처가 discardable 인지 나타낸다.

즉, 상기 "discardable_flag"가 포함된 트랜스포트 패킷에 대응되는 픽처를 구성하는 nal slice의 nal_ref_idc 필드 값이 모두 0인 경우, 상기 픽처는 discardable 하므로, 상기 픽처에 대한 discardable 여부를 결정하는 "discardable_flag"의 값은 '1'이 된다. 한편, 픽처 내에 포함된 slice 중하나라도 nal_ref_idc 필드 값이 '1'인 경우, 상기 "discardable_flag"는 '0'의 값을 갖는다.

다음으로, "num_3D_views"는 system level에서 시그널링 되는 Multiview_descriptor의 필드 값과 동일한 값을 갖는 값으로, 해당 stream element가 구성요소로 포함되는 3D view의 개수를 나타낸다. 나아가, 각 stream element 별로 다른 값을 가질 수 있다.

다음으로, "discardable_3D_view_flag"는 현재 트랜스포트 패킷이 포함되는 3D view 값 중에서 discardable 한 view가 있는지 여부를 나타내는 필드이다. 현재 트랜스포트 패킷이 포함되는 3D view 값 중에서 discardable 한 3D view 가di ㅇ이있는 경우, '1'의 값을 갖고 그렇지 않은 경우, '0'의 값을 갖는다.

다음으로, "3D_view_ID" 필드는 system level에서 시그널링 되는 Multiview_descriptor의 필드 값과 동일한 값을 갖는 값으로 program level에서 각 3D view를 식별하게 하는 필드이다.

다음으로, "3D_view_priority" 필드는 system level에서 시그널링 되는 Multiview_descriptor의 필드 값과 동일한 값을 갖는 값으로 해당 멀티뷰 프로그램에서 제공되는 3D view 의 우선순위를 명시할 수 있는 필드이다.

다음으로, "AU_number" 필드는 해당 트랜스 포트 패킷이 포함된 Access Unit의 번호를 나타내는 것이다. 멀티 뷰의 경우 Access Unit은 시간적으로 동일한 시간에 담은 모든 뷰 컴포넌트의 그룹을 의미한다. 즉, Access Unit은 같은 시간에 담은 N 개의 뷰를 모두 포함하는 MVC 픽처를 의미하며 AU_number는 이 MVC picture를 식별하기 위한 필드이다. 마찬가지로 GOP 번호 및 GOP내 순서로 구성될 수 있다.

이하에서는, 도 4a, 도 4b 및 도 7b에서와 같이 정의된 멀티 뷰 방식의 입체영상에 대한 신택스 구조를 이용하여 disdable_pic_data를 처리하는 과정을 첨부된 도면과 함께 설명한다.

도 8 은 본 발명의 일 실시 예에 따른 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치에서 두 개 이상의 MVC stream으로 구성되는 3D view에 대한 트릭 플레이를 제공하기 위하여 discardable_pic_data를 획득하는 과정을 도시한 흐름도이다.

3D 트릭 플레이를 제공하기 위해서는, 3D 영상을 구성하는 베이스 뷰 및 디펜던트 뷰에 각각 대응되는 두개의 픽처가 모두 discardable한 상태가 되어야 한다. 나아가, 두 개 이상의 MVC stream 으로 구성되는 3D view에서 수신장치는 적어도 두개의 3D view 중 어느 것이 discardable한지 판단할 필요가 있다.

이를 위해, 입체영상 디스플레이가 가능한 디지털 방송 수신장치에서는, 아래와 같은 과정을 통해, 적어도 두개의 3D view에 대한 discardable 정보를 획득할 수 있다.

다음으로, "discardable_3D_view_flag"의 값을 판단하여, 현재 트랜스 포트 패킷이 포함된 3D view 값 중에서 discardable한 view가 있는지 판단하는 과정이 진행된다.

따라서, "discardable_3D_view_flag"의 값이 '1'인 경우, 수신장치에서는 3D 트릭 플레이시 현재 트랜스포트 패킷이 포함되는 3D view를 discard 가능하다. 또한, 수신장치에서는, "3D_view_ID" 및 "3D_view_priority" 필드를 이용하여, 복수개의 3D_view 중 discardable한 3D_view를 식별하고, 복수개의 3D_view 모두가 discardable한 경우, 어떤 3D_view를 discard할 것인지 판단할 수 있다.

이와 같이, 수신장치에서는 "discardable_3D_view_flag"를 이용하여, 적어도 두개의 3D view에 대한 3D 트릭 플레이를 구현할 수 있다. 나아가, 수신장치에서는 ""view_component_start_flag" 및 "view_component_end_flag"를 이용하여 Access Unit의 시작지점과 끝지점을 식별함으로써, 트릭 플레이 과정에서 원하는 AU에 해당하는 트랜스포트 패킷만을 선택할 수 있다.

한편, 도 7a, 도 7b 및 도 8에서 살펴본 것과 같이, 두 개 이상의 MVC 스트림으로 구성되는 3D view를 제공하기 위한 수신장치는 입체영상 디스플레이가 가능한 디지털 방송 수신장치는 도 9에 도시된 것과 같이 구현될 수 있다.

도 9를 살펴보면, 수신장치에서는 복수개의 MVC 스트림을 디코딩 하기 위하여, Base video Decoder 외에, 복수개의 MVC 스트림을 각각 디코딩하기 위한 복수개의 Socondary Video Decoder를 포함할 수 있다.

이상에서 살펴본 것과 같이, 본 발명의 일 실시 예에 따른 입체영상 디스플레이가능한 디지털 방송 수신방법 및 수신장치는 스테레오 방송 콘텐츠를 트릭 플레이하는 경우, 각 트랜스포트 패킷의 헤더에 위치하는 "discardable_pair_flag" 또는 "discardable_3D_view_flag"필드 정보를 참조하여, 해당 트랜스포트 패킷이 discardable한지 여부를 판단할 수 있다.

또한, 본 발명의 일 실시 예에 따른 입체영상 디스플레이가능한 디지털 방송 수신방법 및 수신장치에서는 스테레오 방송 콘텐츠를 트릭 플레이에 대해서만 2D로 출력하는 경우, "Base_view_flag"를 통해 해당 프레임이 base view 에 해당하는지 여부를 판단하고, 아닐 경우 제외하고, "Base_view_flag"에 해당하는 경우, "discardable_flag" 필드 정보를 참조하여 해당 트랜스포트 패킷이 discardable인지 아닌지 여부를 판단할 수 있다.

또한, 본 발명의 일 실시 예에 따른 입체영상 디스플레이가능한 디지털 방송 수신방법 및 수신장치에서는 수신되는 3D 방송 스트림을 PVR을 통해 녹화하면서 위에서 각 트랜스포트 패킷의 discardable 여부를 판단하는 제1 과정, sequence start (GOP start)에 대한 정보(이 정보는 discardable_pic_data() 내에 포함되거나 별도로 수신 가능)를 토대로 각 GOP 에 대한 트릭 플레이 가능 배속, discardable 및 non-discardable 픽처의 식별 번호 및 분포 파악을 실시 한 후 이러한 정보를 종합적으로 정리한 별도의 파일 또는 테이블을 저장하는 제2 과정 (파일 구조는 [표 1] 참조), PVR에 저장된 스트림을 재생할 때, 사용자가 트릭 플레이 기능을 enable 시킬 경우, 상기 제2 과정에서 저장한 파일을 이용해 트릭 플레이를 구현하는 제3 과정을 통해, 2D 또는 3D 트릭 플레이를 제공할 수 있다.

이하에서는, 트릭 플레이 모드시 재생속도를 제어하는 방법에 대하여 첨부된 도면과 함께 보다 구체적으로 살펴본다. 도 10a, 도 10b, 도 10c, 도 11a, 도 11b 및 도 11c는 본 발명의 일 실시 예에 따른 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치에서 트릭 플레이 모드에서 영상의 재생속도를 제어하는 방법을 설명하기 위한 개념도이다.

이하의 설명에서는, 설명의 편의를 위하여 2D 및 3D 트릭 플레이를 구분하지 않고, 트릭 플레이시 스킵 가능한 픽처를 'discardable 픽처'로 명명하고, 스킵 불가능한 픽처를 'non-discardable 픽처'로 명명한다

먼저, non-discardable 픽처(또는 discardable 픽처)가 주기적으로 배열되어 있는 경우, 수신장치의 동작을 도 10a, 도 10b, 도 10c 및 도 10d와 함께 살펴본다.

도 10a에 도시된 것과 같이, P0, P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14 픽처들로 구성되는 영상에서 트릭 플레이가 실행되는 경우, 수신장치에서는 discardable 픽처에 해당하는 P2, P5, P8, P11, P14 픽처들을 스킵하고, non-discardable 픽처에 해당하는 P0, P1, P3, P4, P6, P7, P9, P10, P12, P13 픽처들을 재생하여 트릭 플레이를 제공할 수 있다.

그러나, non-discardable 픽처에 해당하는 P0, P1, P3, P4, P6, P7, P9, P10, P12, P13에 대하여 트릭 플레이시 도 10b에 도시된 것과 같이, P0와 P1 픽처 사이의 배속은 1배속이고, P1과 P3 픽처 사이의 배속은 2배속으로 재생된다.

따라서, 본 발명에 따른 수신장치에서는 non-discardable 픽처들의 재생속도를 일정하게 유지하는 방안에 대하여 제안할 수 있다.

이를 위해, 도 10c에 도시된 순서도를 함께 살펴보면, 수신장치에서는, non-discardable 픽처들의 재생속도를 일정하게 유지하기 위하여, 먼저, GOP 내에서 non-discardable 픽처와 discardable 픽처의 개수(Nnd, Nd)를 파악하는 과정을 진행한다(S1010).

이와 같이, non-discardable 픽처와 discardable 픽처의 개수(Nnd, Nd)가 파악되면, 구현할 수 있는 최대 배속을 계산하는 과정을 진행한다(S1020). 여기에서, 최대배속은 아래의 [수학식 1]과 같이 계산될 수 있다.

다음으로, 최대배속이 결정되면, Tmax 이하의 숫자 범위 내에서 구현하고자 하는 trick play 배속 T를 결정하는 과정을 진행한다(S1030).

다음으로, 수신장치에서는 Non-discardable 픽처에 대해서만 디코딩을 수행하는 과정을 진행한다(S1040). 다음으로, 수신장치에서는 디코딩된 Non-discardable 픽처를 이용하여, GOP 내에서 n번째로 디스플레이되는 픽처 타이밍에 대해 n x T 번째 픽처를 출력하는 과정을 진행한다(S1050).

따라서, 본 발명에 따른 수신장치에서는 도 10d에 도시된 것과 같이, 현재 타이밍 nt에 대해 nt x T가 정수인 경우 해당 번째 non-discardable 픽처(예를 들어, P3 픽처)를 디코드해 출력한다. 그리고, 수신장치에서는 현재 타이밍 nt에 대해 nt x T가 정수가 아닌 경우 해당 번째 non-discardable 픽처(예를 들어, P4 픽처)는 디코드하되 출력하지 않는다. 따라서, 본 발명에 따른 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치에서는 해당 타이밍에서는 frame interpolation 기법 등을 사용해 트릭 플레이시 자연스러운 배속 처리를 할 수 있다.

다음으로, non-discardable 픽처(또는 discardable 픽처)가 비주기적으로 배열되어 있는 경우, 수신장치의 동작을 도 11a, 도 11b, 도 11c 및 도 11d와 함께 살펴본다.

도 11a에 도시된 것과 같이, P0, P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14 픽처들로 구성되는 영상에서 트릭 플레이가 실행되는 경우, 수신장치에서는 discardable 픽처에 해당하는 P1, P6, P7, P10, P11, P13, P14 픽처들을 스킵하고, non-discardable 픽처에 해당하는 P0, P2, P3, P4, P5, P8, P9, P12 픽처들을 재생하여 트릭 플레이를 제공할 수 있다.

그러나, non-discardable 픽처에 해당하는 P0, P2, P3, P4, P5, P8, P9, P12 에 대하여 트릭 플레이시 P0와 P2 픽처 사이의 배속과, P2와 P3 픽처 사이의 배속은 배속은 서로 달라진다.

따라서, 본 발명에 따른 수신장치에서는 비 주기적으로 배열되어 있는 non-discardable 픽처들의 재생속도를 일정하게 유지하는 방안에 대하여 제안할 수 있다.

이를 위해, 도 11b에 도시된 순서도를 함께 살펴보면, 수신장치에서는 GOP 내에서 non-discardable 픽처와 discardable 픽처의 개수(Nnd, Nd)를 파악하는 과정이 진행된다(S1110).

다음으로, non-discardable 픽처와 discardable 픽처의 개수(Nnd, Nd)가 파악되면, non-discardable 픽처에 대해 구현할 수 있는 최대 배속을 계산하는 과정이 진행된다(S1120).

여기에서, 최대배속은 아래의 [수학식 2]를 통해 계산될 수 있다.

다음으로, 수신장치에서는 Tmax 이하의 숫자 범위 내에서 구현하고자 하는 trick play 배속 T를 결정하는 과정이 진행된다(S1130).

다음으로, 수신장치에서는 Non-discardable 픽처에 대해서만 디코딩을 수행하는 과정이 진행된다(S1140).

다음으로, 수신장치에서는 GOP 내에서 n번째로 디스플레이되는 픽처 타이밍에 대해 n x T 번째 픽처를 출력하는 과정이 진행된다(S1150).

따라서, 도 11c에 도시된 것과 같이, 1.7 배속의 트릭 플레이가 제공되는 경우, P0, P12 픽처(도 11c 참조)가 출력될 수 있다.

한편, 수신장치에서는, 현재 타이밍 nt에 대해 nt x T 번째 픽처가 이미 디코드된 경우, 디코드된 nt x T 번째 픽처를 출력시키고, 현재 타이밍 nt에 대해 nt x T 번째 픽처가 아직 디코드 되지 않은 경우, 이미 디코드 된 픽처 중에서 nt X T 번째 픽처에 가장 타이밍이 가까운 픽처를 출력할 수 있다.

도 11b와 함께 살펴본 과정을 보다 도 11d와 함께 보다 구체적으로 살펴보면, 수신장치에서는 GOP에 포함된 전체 픽처의 개수 (15개의 MVC view pairs) 중 non-discardable 픽처의 개수 및 discardable 픽처의 개수를 파악한다 (Nnd=8, Nd=7). 다음으로, 수신장치에서는 구현할 수 있는 최대 배속 Tmax를 계산한다(Tmax=15/8).

그리고, 수신장치에서는 Tmax 이하의 범위 내에서 구현하고자 하는 trick play 배속을 설정한다(예를 들어, T = 1.5로 설정).

이 경우, 수신장치에서는 UI를 이용해 구현 가능한 배속 리스트를 디스플레이하고, 사용자가 선택한 배속을 설정할 수 있다. 또한, 수신장치에서는 단순히 'fast forward'라는 옵션만 출력하고 사용자가 이를 선택할 경우 수신기가 Tmax 이하의 범위 내에서 배속을 임의로 결정할 수 있다.

다음으로, 수신장치에서는 Non-discardable 픽처 (P0, P2, P3, P4, P5, P8, P9, P12)를 디코딩한다.

그리고, 수신장치에서는 presentation time 0 (pt0)에 대응되는 P0를 출력하고, presentation time 2 (pt2)에 대응되는 P3를 출력한다. 다음으로, presentation time 4 (pt4)에 대응되는 P6는 discardable picture로 디코딩되지 않으므로 presentation time 4의 시점에는 기존에 디코딩 된 픽쳐 중 출력 시간상으로 가장 가까운 P5를 출력할 수 있다. 다음으로, 수신장치에서는 presentation time 6 (pt6)에 대응되는 P9을 출력하고, presentation time 8 (pt8)에 대응되는 이미 디코드 된 P12를 출력한다. P12는 디코드 된 후 presentation time 8까지 대기상태로 존재할 수 있다.

또한, 위에서 살펴본 discardable/non-discardable 픽처는 3D 트릭 플레이 모드인 경우 동일한 AU 내의 두 개의 view component가 모두 discardable 해야 트릭 플레이 과정에서 skip이 가능하다. 또한, 위에서 살펴본 discardable/non-discardable 픽처는 2D 트릭 플레이 모드의 경우 base view component에 대한 discardable/non-discardable 속성만을 고려해 구현될 수 있다..

이상에서 살펴본 것과 같이, 본 발명에 따른 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치에서는 비주기적으로 배열된 픽처들간에도 트릭 플레이시 자연스러운 배속 처리를 할 수 있다.

이하에서는, 3D 방송 송신을 위한 송신 장치의 데이터 처리과정에 대하여, 첨부된 도면과 함께 살펴본다. 도 12는 3D 방송 송신을 위한 송신장치의 데이터 처리과정을 설명하기 위한 블록도이다.

도 12 에 도시된 바와 같이, 본 발명에 따른 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털 방송 송신 장치는, 오리지널 영상과 3차원 입체 영상 부가 데이터를 획득하기 위한 영상 획득부(110), 오디오 데이터를 획득하기 위한 오디오 데이터 획득부(120), 상기 영상 획득부(110)에서 획득한 오리지널 영상과 3차원 입체 영상 부가 데이터를 입력받고 상기 오디오 데이터 획득부(120)에서 획득한 오디오 데이터를 입력받아 디지털 전송에 적합한 형태로 부호화하기 위한 인코딩 부(Encoder)(130), 각각의 정보를 구분하기 위한 프로그램 특성 정보(PSI)를 생성하기 위한 프로그램 특성 정보 생성부(140), 상기 인코딩부(130)에서 부호화한 각각의 기본 스트림(ES)을 입력받아 각각 패킷화하여 기본 스트림 패킷(PES)을 생성하기 위한 패킷화부(Packetizer)(150), 상기 패킷화부(150)로부터 각각의 기본 스트림 패킷(PES)을 입력받고 상기 프로그램 특성 정보 생성부(140)로부터 프로그램 특성 정보(PSI)를 입력받아 각각의 전송 스트림(TS)을 생성하기 위한 전송 스트림(TS) 생성부(160), 상기 전송 스트림 생성부(160)로부터 각각의 전송 스트림(TS)을 입력받아 하나의 전송 스트림(TS)으로 다중화하기 위한 다중화부(Multiplexer)(170), 및 상기 다중화부(170)에서 다중화한 전송 스트림(TS)을 변조하기 위한 변조부(Modulator)(180)를 포함한다.

상기 영상 획득부(110)는, 오리지널 영상 생성을 위한 한 시점의 영상과 3차원 입체 영상 부가 데이터 생성을 위한 다른 시점의 영상, 시차 정보(Disparity Information), 또는 깊이 정보(Depth Information) 중 어느 하나 이상을 획득한다.

여기서, 상기 영상 획득부(110)를 통해 획득되는 오리지널 영상 생성을 위한 한 시점의 영상은 다른 시점의 영상과 비교될 수 있는 하나의 기준이 되는 영상이고, 상기 영상 획득부(110)를 통해 획득되는 3차원 입체 영상 부가 데이터 생성을 위한 다른 시점의 영상은 오리지널 영상과 시점이 다른 하나의 다른 시점 영상, 또는 다른 여러 개의 시점을 갖는 다시점 영상이다.

상기 3차원 입체 영상 부가 데이터 생성을 위한 시차 정보(Disparity Information)는 다시점 영상 또는 한 시점의 영상과 다른 시점에서 얻은 두 개의 영상을 하나로 투영했을 때 다른 시점에서 획득하였지만 대상의 같은 위치를 나타내는 두 지점 사이의 거리 정보이고, 깊이 정보(Depth Information)는 한 시점의 영상과 정해진 거리에서 동일 대상에 대한 다른 시점의 영상을 획득하여 알 수 있는 원근 정보이다.

상기 인코딩부(130)는, 상기 영상 획득부(110)로부터 기준 시점의 오리지널 영상을 입력받아 부호화하기 위한 제 1 인코더(Encoder)(131)와, 상기 영상 획득부(110)로부터 3차원 입체 영상 부가 데이 터를 입력받아 효율적으로 부호화하기 위한 제2 인코더(Encoder)(132), 상기 오디오 데이터 획득부(120)로부터 오디오 데이터를 입력받아 부호화하기 위한 오디오 인코더(Encoder)(133)를 포함한다.

그리고, 상기 프로그램 특성 정보 생성부(140)는 오리지널 영상, 3차원 입체 영상 부가 데이터, 오디오 데이터 등과 같은 각각의 정보를 서로 구분하기 위한 프로그램 특성 정보(PSI)를 생성한다. 이 때, 상기 프로그램 특성 정보 생성부(140)는 2차원 디지털 방송 시스템과 3차원 입체 디지털 방송 시스템과의 호환성을 위해 각각의 전송 스트림(TS)으로 구분하기 위한 프로그램 구조 테이블(PMT : Program Map Table)의 패킷 식별자(PID) 정보에 있어서 기존 디지털 방송의 비디오와 오디오에 정의되어 있는 스트림 타입(stream_type)은 그대로 사용하고 3차원 입체 영상 부가 데이터에 대한 스트림 타입(stream_type)을 예약(reserved), 또는 사용자 개인(user private)으로 정의되어 있는 값으로 새롭게 정의하는 기능을 수행한다.

상기 패킷화부(150)는, 상기 인코딩부(130)로부터 오리지널 영상에 대한 기본 스트림(ES_Ori)을 입력받아 패킷화하여 오리지널 영상에 대한 기본 스트림 패킷(PES_Ori)을 생성하기 위한 제 1 패킷화기(Packetizer)(151), 상기 인코딩부(130)로부터 3차원 입체 영상 부가 데이터에 대한 기본 스트림(ES_3D)을 입력받아 패킷화하여 3차원 입체 영상 부가 데이터에 대한 기본 스트림 패킷(PES_3D)을 생성하기 위한 제 2 패킷화기(Packetizer)(152), 및 상기 인코딩부(130)로부터 오디오 데이터에 대한 기본 스트림(ES_Au)을 입력받아 패킷화하여 오디오 데이터에 대한 기본 스트림 패킷(PES_Au)을 생성하기 위한 제 3 패킷화기(Packetiser)(153)를 포함한다.

이 때, 상기 패킷화부(150)는, 3차원 입체 영상 부가 데이터와 관련하여 새롭게 필요한 입력 필드가 있을 경우에는 3차원 입체 영상 부가 데이터에 대한 기본 스트림 패킷(PES_3D)의 헤더부에 다른 시점의 영상, 시차 정보(DisparityInformation), 또는 깊이 정보(Depth Information) 등을 구분하기 위해 3차원 입체 영상 부가 데이터 타입에 대한 입력 필드를 추가 정의하는 기능을 더 수행한다.

상기 전송 스트림 생성부(160)는, 상기 패킷화부(150)로부터 오리지널 영상에 대한 기본 스트림 패킷(PES_Ori)을 입력받아 오리지널 영상에 대한 전송 스트림(TS_Ori)을 생성하기 위한 제 1 전송 스트림 생성기(161), 상기 패킷화부(150)로 부터 3차원 입체 영상 부가 데이터에 대한 기본 스트림 패킷(PES_3D)을 입력받아 3차원 입체 영상 부가 데이터에 대한 전송 스트림 패킷(TS_3D)을 생성하기 위한 제 2 전송 스트림 생성기(162), 상기 패킷화부(150)로부터 오디오 데이터에 대한 기본 스트림 패킷(PES_Au)을 입력받아 오디오 데이터에 대한 전송 스트림 패킷(TS_Au)을 생성하기 위한 제 3 전송 스트림 생성기(163), 및 상기 프로그램 특성 정보 생성부(140)로부터 프로그램 특성 정보(PSI)를 입력받아 프로그램 특성 정보에 대한 전송 스트림 패킷(TS_PSI)을 생성하기 위한 제 4 전송 스트림 생성기(164)를 포함한다.

상기 다중화부(170)는, 다중화의 마지막 과정에서 시스템 시간 검출에 사용하기 위해 오리지널 영상에 대한 전송 스트림(TS_Ori)에 프로그램 시간 참조(PCR : Program Clock Reference)를 삽입하는 기능을 수행한다.

이상에서 살펴본 것과 같이, 본 발명의 일 실시 예에 따른 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치는 스테레오스코픽 방식의 입체 영상을 제공하는 디지털 방송에서 입체 영상을 이루는 두 개의 뷰(view)에 대하여 discardable 픽처 set을 지정함으로써, 트릭 플레이(trick play)를 위한 신호를 처리하는 것이 가능하다.

본 발명의 여러 측면과 관련된 독창적인 사상을 설명하기 위해 다양한 실시예들을 기술하였다. 그러나, 하나의 특정 실시예에 있는 하나 이상의 구체적인 특징들은 하나 이상의 다른 실시예에도 적용될 수 있다. 각 실시예 및 그에 연관된 도면에서 설명하는 일부 구성요소 또는 단계는 수정될 수 있고 부가적인 구성요소 및/또는 단계를 삭제, 이동, 또는 포함할 수 있다.

여기서 설명한 다양한 특징 및 사상은, 소프트웨어, 하드웨어, 펌웨어, 미들웨어, 또는 그 결합의 형태로 실시될 수 있다. 예를 들면, 디지털 방송에서 입체영상 신호의 수신방법 및 입체영상 신호의 수신장치를 구현하기 위한, 컴퓨터 실행가능한(computer-executable) 매체에 저장된 컴퓨터 프로그램(컴퓨터, 프로세서, 제어기 등에 의해 실행된다)은 다양한 작업을 수행하는 하나 이상의 프로그램 코드 섹션(section)을 포함할 수 있다. 유사하게, 디지털 방송에서 입체영상 신호의 수신방법 및 입체영상 신호의 수신장치를 구현하기 위한, 컴퓨터 실행가능한(computer-executable) 매체에 저장된 소프트웨어 도구(컴퓨터, 프로세서, 제어기 등에 의해 실행된다)는, 다양한 작업을 수행하는 프로그램 코드 일부를 포함할 수 있다.

Claims

기준시점 및 확장시점 비디오 스트림이 포함된 디지털 방송 신호를 수신 및 역 다중화하는 단계;
상기 기준시점 및 확장시점 비디오 스트림을 이루는 트랜스포트 패킷을 이용하여 상기 기준시점 및 확장시점의 픽처들에 대한 디스카더블 (discardable) 정보를 확인하는 단계; 및
상기 디스카더블 정보에 이용하여 상기 기준시점 및 확장시점 비디오 스트림을 디코딩하는 단계를 포함하는 디지털 방송 수신방법.
제1항에 있어서,
상기 디스카더블 정보는
상기 기준시점 및 확장시점의 픽처들을 구성하는 복수개의 트랜스 포트 패킷 중 맨 처음에 해당하는 트랜스 포트 패킷에 포함된 것을 특징으로 하는 디지털 방송 수신방법.
제2항에 있어서,
상기 맨 처음에 해당하는 트랜스 포트 패킷에 포함된 discardable_pair_flag 필드 및 discardable_flag 필드 중 적어도 하나를 통해 나타내어지는 것을 특징으로 하는 디지털 방송 수신방법.
제3항에 있어서,
상기 discardable_pair_flag 필드는 3D 트릭 플레이가 실행되는 경우의 트랜스포트 패킷에 대한 디코딩 여부를 나타내고,
상기 discardable_flag 필드는 2D 트릭 플레이가 실행되는 경우의 트랜스포트 패킷에 대한 디코딩 여부를 나타내는 것을 특징으로 하는 디지털 방송 수신방법.
제4항에 있어서,
상기 discardable_pair_flag 필드 및 상기 discardable_flag 필드는 단일 신택스 구조에 함께 포함되는 것을 특징으로 하는 디지털 방송 수신방법.
제4항에 있어서,
3D 트릭 플레이가 실행되는 경우, 상기 맨 처음에 해당하는 트랜스 포트 패킷의 헤더정보에 포함된 discardable_pair_flag의 값이 1인 경우,
상기 맨 처음에 해당하는 트랜스 포트 패킷의 Access Unit 번호와 동일한 Access Unit 번호를 갖는 기준시점 및 확장시점의 픽처를 이루는 복수개의 트랜스 포트 패킷에 대한 디코딩이 생략되는 것을 특징으로 하는 디지털 방송 수신방법.
제4항에 있어서,
2D 트릭 플레이가 실행되는 경우, 상기 맨 처음에 해당하는 트랜스 포트 패킷의 헤더정보에 포함된 discardable_flag 의 값이 1인 경우,
상기 맨 처음에 해당하는 트랜스 포트 패킷의 Access Unit 번호와 동일한 Access Unit 번호를 갖는 기준시점의 픽처를 이루는 복수개의 트랜스 포트 패킷에 대한 디코딩이 생략되는 것을 특징으로 하는 디지털 방송 수신방법.
제3항에 있어서,
상기 discardable_flag 필드는 1-PID multiplex mode 인 경우에만 구비되는 것을 특징으로 하는 디지털 방송 수신방법.
제8항에 있어서,
상기 기준시점 및 확장시점 비디오 스트림이 2-PID multiplex mode로 수신되고, 2D 트릭 플레이가 실행되는 경우,
기준시점 비디오 스트림의 PID 값에 대응되는 트랜스 포트패킷에서 디스카더블 (discardable) 정보가 추출되는 것을 특징으로 하는 디지털 방송 수신방법.
제1항에 있어서,
상기 디스카더블 정보는
상기 기준시점 및 확장시점 비디오 스트림을 이루는 트랜스포트 패킷 중 디코딩을 생략할 수 있는 트랜스 포트 패킷에 대한 정보인 것을 특징으로 하는 디지털 방송 수신방법.
제1항에 있어서,
상기 기준시점 및 확장시점 비디오 스트림은 각각 서로 다른 시점의 비디오 스트림 구간들을 구비하는 것을 특징으로 하는 디지털 방송 수신방법.
기준시점 및 확장시점 비디오 스트림이 포함된 디지털 방송 신호를 수신하는 튜너;
상기 디지털 방송 신호로부터 기준시점 및 확장시점 비디오 스트림을 역다중화하는 디멀티플렉서;
상기 기준시점 및 확장시점 비디오 스트림을 이루는 트랜스포트 패킷을 이용하여 상기 기준시점 및 확장시점의 픽처들에 대한 디스카더블 (discardable) 정보를 확인하는 PVR 프로세서;
상기 디스카더블 정보에 이용하여 상기 기준시점 및 확장시점 비디오 스트림림을 디코딩하는 디코더; 및
상기 디코딩된 기준시점 및 확장시점 비디오 스트림을 제어하는 3D 비디오 프로세서를 포함하는 디지털 방송 수신장치.
제12항에 있어서,
디스카더블 (discardable) 정보와 관련된 트랜스포트 패킷 및 트릭 플레이 컨트롤과 관련된 파일을 저장하는 스토리지(storage)를 더 구비하는 것을 특징으로 하는 디지털 방송 수신장치.
제12항에 있어서,
상기 디스카더블 정보는 상기 기준시점 및 확장시점의 픽처들을 구성하는 복수개의 트랜스 포트 패킷 중 맨 처음에 해당하는 트랜스 포트 패킷에 포함된 것을 특징으로 하는 디지털 방송 수신장치.
제12항에 있어서,
상기 디코더는
3D 트릭 플레이를 실행시키는 제어명령에 응답하여, 상기 맨 처음에 해당하는 트랜스 포트 패킷의 헤더정보에 포함된 discardable_pair_flag의 값이 1이면, 상기 맨 처음에 해당하는 트랜스 포트 패킷의 Access Unit 번호와 동일한 Access Unit 번호를 갖는 기준시점 및 확장시점의 픽처를 이루는 복수개의 트랜스 포트 패킷에 대한 디코딩이 생략하는 것을 특징으로 하는 디지털 방송 수신장치.
제12항에 있어서,
상기 디코더는
2D 트릭 플레이를 실행시키는 제어명령에 응답하여, 상기 맨 처음에 해당하는 트랜스 포트 패킷의 헤더정보에 포함된 discardable_flag 의 값이 1이면, 상기 맨 처음에 해당하는 트랜스 포트 패킷의 Access Unit 번호와 동일한 Access Unit 번호를 갖는 기준시점의 픽처를 이루는 복수개의 트랜스 포트 패킷에 대한 디코딩이 생략되는 것을 특징으로 하는 디지털 방송 수신장치.