KR20120036783A - 디지털 방송에서의 콘텐츠 재생 방법 - Google Patents

Abstract

본 발명은 디지털 방송 시스템에서 3차원 콘텐츠를 재생하는 방법에 관한 것이다.
본 발명의 일 실시예에 따르면 디지털 방송 시스템에서 수신기에 의한 콘텐츠(contents) 재생 방법이 제공된다. 상기 콘텐츠 재생 방법은 3D 데이터 또는 2D 데이터를 포함하는 기준 세그먼트(segment)를 포함하는 기준 트랙(track)을 수신하는 단계, 3D 데이터를 포함하는 부가 세그먼트를 포함하는 참조 트랙을 수신하는 단계 및 상기 참조 트랙을 참조하여 상기 기준 트랙을 재생하는 단계를 포함한다. 상기 기준 세그먼트와 상기 참조 세그먼트는 시간적으로 대응되어 서로 겹치지 않거나, 서로 동기화된다.
따라서, 디지털 방송 시스템의 콘텐츠를 3D 비디오/이미지로 확장할 수 있고, 3차원 콘텐츠를 저장/재생할 수 있다.

Description

디지털 방송에서의 콘텐츠 재생 방법{Method for Playing Contents In Digital Broadcasting}

본 발명은 디지털 방송에 관한 것으로, 더욱 상세하게는 3차원 콘텐츠를 제공/재생하는 방법에 관한 것이다.

DMB-AF(Digital Multimedia Broadcasting-Application Format)는 "MPEG-4 Part 12 ISO Base Media File Format"에 기반한 DMB(Digital Multimedia Broadcasting) 콘텐츠 전용 파일 포맷으로, 다양한 종류의 지상파 DMB 및 위성 DMB 콘텐츠를 체계적으로 표현하고 효과적으로 저장 및 접근하며 안전하게 보호/유통하기 위한 기술이 포함되어 있다. 이러한 DMB-AF 표준은 다양한 DMB 콘텐츠를 적절히 연계하여 방통융합 환경에서 다양한 비즈니스 기회를 창출할 수 있는 공통의 프레임워크를 제공할 뿐 아니라, 저장매체를 매개로 하여 사용자가 원하는 시점에 원하는 프로그램을 원하는 장치에서 시청할 수 있도록 하는 DMB-Anytime 서비스를 가능하게 한다.

DMB-AF 표준은 기본 BIFS(Binary Format For Scenes) 및 기본 OD(Object Descriptor)만을 사용한 콘텐츠, 즉 AV(Audio-Visual)만 포함하는 콘텐츠의 경우, ⅰ) AVCFF(AVC File Format) 형태, ⅱ) iods 박스를 갖는 MP4FF(MP4 File Format) 형태, ⅲ) iods 박스를 갖지 않는 MP4FF 형태의 세 가지 형태의 파일 포맷의 문맥을 모두 사용한다. 그러나, 하나의 파일에서는 한 가지 형태의 파일 포맷의 문맥만을 사용한다. 어떤 문맥을 사용하는지는 DMB-AF 파일의 iods 박스 포함 여부에 의해 알 수 있다. 즉 iods 박스가 있으면 MP4FF 문맥이고, idos 박스가 없으면 AVCFF 문맥 또는 MPEG-4 장면 서술 및 객체 프레임워크를 사용하지 않는 MP4FF 문맥이다.

한편, DMB-AF 표준에서는 2D 비디오에 2D BIFS를 추가한 콘텐츠 저장 기능이 제공된다.

본 발명은 디지털 방송 시스템에서의 3차원 콘텐츠 저장 방법을 제공한다.

본 발명은 디지털 방송 시스템에서의 3차원 콘텐츠 재생 방법을 제공한다.

본 발명의 일 실시예에 따르면 디지털 방송 시스템에서 수신기에 의한 콘텐츠(contents) 재생 방법이 제공된다. 상기 콘텐츠 재생 방법은 3D 데이터 또는 2D 데이터를 포함하는 기준 세그먼트(segment)를 포함하는 기준 트랙(track)을 수신하는 단계, 3D 데이터를 포함하는 부가 세그먼트를 포함하는 참조 트랙을 수신하는 단계 및 상기 참조 트랙을 참조하여 상기 기준 트랙을 재생하는 단계를 포함한다. 상기 기준 세그먼트와 상기 참조 세그먼트는 시간적으로 대응되어 서로 겹치지 않거나, 서로 동기화된다.

디지털 방송 시스템의 콘텐츠를 3D 비디오/이미지로 확장할 수 있다.

디지털 방송 시스템에서 3차원 콘텐츠를 저장/재생할 수 있다.

도 1은 2D/3D 비디오와 2D/3D BIFS의 시간적 혼용의 일 예를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 디지털 방송에서의 3차원 콘텐츠 재생 방법을 나타낸 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 사이드-바이-사이드 포맷에 의한 2D 비디오와 3D 비디오의 혼용을 나타낸다.
도 4는 본 발명의 일 실시예에 따른 사이드-바이-사이드 포맷에 의한 3D 비디오를 나타낸다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 기본 포맷 또는 선택사항 포맷에 의해 2D 비디오와 3D 비디오를 시간적으로 혼용하는 경우 부가 비디오를 저장하는 방법을 나타낸다.
도 7는 본 발명의 실시예가 구현되는 디지털 방송에서의 송신기를 나타낸 블록도이다.
도 8는 본 발명의 실시예가 구현되는 디지털 방송에서의 수신기를 나타낸 블록도이다.

본 명세서에서는 3D BIFS(Binary Format For Scenes) 및 3D 비디오 콘텐츠를 저장/재생하는 방법을 제공한다. 또한, 3D BIFS 및 3D 비디오에 대한 시간적 혼용, 즉 2D 데이터 구간과 3D 데이터 구간이 섞여있는 콘텐츠 형태를 지원한다.

이하에서는 디지털 멀티미디어 방송(Digital Multimedia Broadcasting, DMB) 표준을 기반으로 기술하지만, 발명이 속하는 기술 분야의 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 일반적인 디지털 방송에도 용이하게 적용할 수 있을 것이다.

2008년에 게시된 DMB-AF(Digital Multimedia Broadcasting-Application Format) 표준인 "ISO/IEC 23000-9, Information technology - Multimedia application format (MPEG-A) - Part 9: Digital Multimedia Broadcasting application format"에서는 2D 비디오에 2D BIFS를 추가한 콘텐츠 저장 기능이 제공된다. 본 명세서는 콘텐츠의 3D 확장을 위해 ⅰ) 2D 비디오에 3D BIFS를 추가한 콘텐츠 및 ⅱ) 대화형 서비스를 위한 BIFS가 없는 3D 비디오 콘텐츠의 두 가지 콘텐츠에 대한 저장 기능을 추가로 제공한다.

도 1은 2D/3D 비디오와 2D/3D BIFS의 시간적 혼용의 일 예를 나타낸다.

한편, 본 명세서에서는 3D BIFS 및 3D 비디오를 저장하는 방법으로 두 가지 접근 방법을 사용하였다. 하나는 2004년 게시된 "ISO/IEC 14496-15:2004, Information technology - Coding of audio-visual objects - Part 15: Advanced Video Coding(AVC) file format."의 AVCFF(AVC File Format)을 확장한 방법이고, 다른 하나는 2003년에 게시된 "ISO/IEC 14496-14, Information technology - Coding of audio-visual objects - Part 14: MP4 file format."의 MP4FF(MP4 File Format)을 확장한 방식이다. AVCFF 및 MP4FF 모두 "ISO/IEC 14496-12:3rd Edition, Information technology - Coding of audio-visual objects - Part 12: ISO base media file format."의 ISOBMFF(ISO Base Media File Format)을 확장한 것인데, AVCFF에서는 MPEG-4 장면 서술 및 객체 서술 프레임워크를 사용하지 않으나, MP4FF에서는 이들을 사용할 수 있다. 따라서, 기본 BIFS 및 기본 OD(Object Descriptor)만 사용하는 콘텐츠 즉, AV(audio-visual)만 포함하는 콘텐츠의 경우, ⅰ) AVCFF 형태, ⅱ) iods 박스를 갖는 MP4FF 형태, ⅲ) iods 박스를 갖지 않는 MP4FF 형태의 세 가지 형태로 저장될 수 있다. DMB-AF 표준에서는 세 가지 형태의 파일 포맷의 문맥을 모두 사용한다. 그러나, 하나의 파일에서는 한 가지 형태의 파일 포멧의 문맥만을 사용한다. 어떤 문맥을 사용하는지는 DMB-AF 파일의 iods 박스 포함 여부에 의해 알 수 있다. 즉 iods 박스가 있으면 MP4FF 문맥이고, 없으면 AVCFF 문맥 또는 MPEG-4 장면 서술 및 객체 프레임워크를 사용하지 않는 MP4FF 문맥이다. 따라서 동일한 핸들러_타입(handler_type)이라 하더라도, 문맥에 따라 샘플 엔트리 포맷(sample entry format)이 다를 수 있음에 유의하여야 한다.

본 명세서에서는 AVCFF 표준을 기반으로 ⅰ) 3D 비디오 콘텐츠를 저장하는 방법(2D/3D 비디오의 시간적 혼용 포함), ⅱ) MP4FF을 확장하여 3D BIFS 콘텐츠를 저장하고(2D/3D BIFS의 시간적 혼용 포함), 3D 비디오 콘텐츠(2D 비디오와의 시간적 혼용 및 2D 비디오 구간에서의 2D/3D BIFS의 시간적 혼용을 모두 포함)를 저장하는 방법을 추가로 제공한다. 이들을 각기 AVCFF 기반 방식 및 MP4FF 기반 방식이라 부르기로 한다.

※ AVCFF 기반 방식

본 발명의 일 실시예에 따르면 3D 비디오를 DMB-AF에 저장할 수 있고, 2D 비디오와 3D 비디오를 시간적으로 혼용할 수 있다. 또한, 3D 비디오를 지원하지 않는 2D 비디오 전용 수신기와의 호환성을 유지할 수 있다.

AVCFF 기반 방식은 MPEG-4 콘텐츠 구성이 필요 없는 경우, 즉, 비디오가 BIFS 콘텐츠를 포함하지 않는 경우에 사용할 수 있는 방식이다. 3D 비디오가 BIFS 콘텐츠를 포함하지 않고, 3D 비디오와 2D/3D BIFS가 포함된 2D 비디오를 시간적으로 혼용하지 않는 경우, 3D 비디오 데이터는 AVCFF 기반 방식에 의해 DMB-AF 파일에 포함될 수 있다. 이 경우, MP4FF 기반 방식을 사용하는 것도 가능하다.

AVCFF 기반 방식에서는 2D 비디오 또는 기본 포맷 및 선택사항 포맷에 의한 기준 비디오를 위한 샘플 엔트리 클래스(sample entry class)로서 AVCFF 표준에서 비디오에 대해 정의된 엔트리 클래스인 AVCSampleEntry 클래스 'avc1'을 사용한다. 이에 대한 핸들러_타입(handler_type)은 'vide'로 정의되어 있고, 미디어 헤더(media header)는 'vmhd'로 정의되어 있다.

본 명세서에서는 부가 비디오를 위한 핸들러_타입(handler_type)으로 'svsm'(Stereoscopic Visual Stream)을 새롭게 정의하고, 대응되는 헤더 박스로 'svhd'(Stereoscopic Visual media Header)를 새롭게 정의한다. 또한, 기본 포맷 및 선택사항 포맷의 경우에 필요한 좌우 비디오 트랙 짝짓기를 위해 레퍼런스_타입(reference_type) 값으로 'dpnd'를 새롭게 추가한다.

사이드-바이-사이드(side-by-side) 포맷에 의한 3D 비디오를 구성하기 위해, AVC 표준의 프레임 꾸리기 배치 SEI(Frame Packing Arrangement Supplemental Enhancement Information message) 메시지를 사용하거나, 부가 비디오를 위한 샘플 설명(Sample Description) 포맷을 사용할 수 있다.

프레임 꾸리기 배치 SEI(Frame Packing Arrangement SEI) 메시지를 사용할 경우, 3D 비디오 데이터를 2D 비디오 데이터인 것처럼 사이드-바이-사이드(side-by-side) 포맷에 의해 기존 2D 비디오를 위한 AVCFF 표준의 규정에 따라 저장한다. 그러나, 이 경우, AVC 표준의 프레임 꾸리기 배치 SEI(Frame Packing Arrangement SEI) 메시지를 지원하지 않는 수신기에 대해서는 호환성이 보장되지 않는다.

기존의 수신기에서 좌우 비디오가 한 화면에 디스플레이되는 것을 방지하기 위해, 사이드-바이-사이드(side-by-side) 포맷에 의한 비디오 객체에 대한 오브젝트타입인디케이션(objectTypeIndication)을 추가로 정의할 수 있다. 이 경우, 기존의 수신기에서는 화면이 나오지 않고 오디오만 나오는 서비스가 제공된다.

ⅰ) 사이드-바이-사이드(side-by-side) 포맷에 의한 3D 비디오, ⅱ) 기본포맷 및 선택사항 포맷에 의한 부가 비디오를 포함하기 위해 다음의 방법을 사용할 수 있다.

- 미디어(Media, mdia) 박스의 핸들러 참조(Handler Reference, hdlr) 박스에서 사용되는 핸들러_타입(handler_type) 값으로서 입체 비주얼 스트림(Stereoscopic Visual Stream, svsm)을 추가한다.

- 새로운 핸들러_타입(handler_type) 값 'svsm'에 대응되는 입체 비주얼 미디어 헤더 박스(stereoscopic visual media header box, svhd)를 표 1과 같이 새로이 정의하고, 이를 미디어 정보 박스(media information box, minf)에 포함한다.

표 1을 참조하면, 컴포지션_타입(composition_type)은 스테레오스코픽 데이터(stereoscopic data)의 구성 타입을 나타낸다. 컴포지션_타입(composition_type)은 2010년 06월 16일 제정된 "TTAK.KO-07.0077 - 지상파 디지털멀티미디어방송(DMB) 비실시간 스테레오스코픽 서비스"의 <표 6-3>에 나와 있는 포맷 중 기본 포맷(0x01)과 선택사항 포맷(0x02)을 사용하며, 사이드-바이-사이드(side-by-side) 포맷(0x03)을 추가로 사용한다. 컴포지션_타입(composition_type) 값은 트랙 내 모든 샘플에 대해 동일하게 적용된다. 사이드-바이-사이드(side-by-side) 포맷을 지정하는 경우는 AVC 스트림 내에 프레임 꾸리기 배치 SEI 메시지를 포함하지 않을 때이다. 컴포지션_타입(composition_type) 값이 '0xFF'인 경우, 프레임 꾸리기 배치 SEI 메시지가 AVC AU(AVC Access Unit)에 존재함을 의미하며, 이 경우 아래의 레프트_뷰_퍼스트(left_view_first)를 무시한다.

레프트_뷰_퍼스트(left_view_first)는 "TTAK.KO-07.0064 - 디지털멀티미디어방송(DMB) 비디오 연동형 스테레오스코픽 데이터 서비스"의 정의와 유사하게 컴포지션_타입(Composition_type) 값이 '0x01' 또는 '0x02'인 경우, 기준 비디오가 좌안 비디오면 '1', 우안 비디오면 '0'으로 설정된다. 컴포지션_타입(Composition_type) 값이 '0x03'인 경우, 비디오의 좌측 절반이 좌안 비디오면 '1', 우안 비디오면 '0'으로 설정된다. 레프트_뷰_퍼스트(left_view_first) 값은 트랙 내 모든 샘플에 대해 동일하게 적용된다. 한편, 전술하였듯이 컴포지션_타입(composition_type) 값이 '0xFF'인 경우, 레프트_뷰_퍼스트(left_view_first)는 무시된다.

- 샘플 엔트리 포맷은 AVCFF 표준에 정의된 샘플 엔트리 포맷 'avc1'을 사용한다.

- 2010년 06월 16일 제정된 "TTAK.KO-07.0077 - 지상파 디지털멀티미디어방송(DMB) 비실시간 스테레오스코픽 서비스"의 정의와 유사하게, 부가 비디오의 오브젝트타입인디케이션(objectTypeIndication)은 기준 비디오의 오브젝트타입인디케이션(objectTypeIndication)을 사용한다. 이는 핸들러_타입(handler_type)을 통해 부가 비디오임을 알 수 있으므로 부가 비디오를 위해 새로운 오브젝트타입인디케이션(objectTypeIndication)을 정의할 필요가 없기 때문이다.

위의 정의들을 반영하여 샘플 설명을 정의하면 표 2와 같다.

AVCFF 기반 방식은 AVCFF 표준을 기반으로 하므로, 기본 스트림 설명어 박스(Elementary Stream Descriptor Box, ESDBox) 박스는 AVC샘플엔트리(AVCSampleEntry)에 포함되지 않는다. 그러나, 오디오의 경우에는 mp4a(advanced audio coding) 포맷을 사용하여 ESDBox를 포함한다.

도 2는 본 발명의 일 실시예에 따른 디지털 방송에서의 3차원 콘텐츠 재생 방법을 나타낸 흐름도이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 디지털 방송에서 콘텐츠 재생 방법은 3D 데이터 또는 2D 데이터를 포함하는 기준 세그먼트(segment)를 포함하는 기준 트랙(track)을 수신하는 단계(S210), 3D 데이터를 포함하는 부가 세그먼트를 포함하는 참조 트랙을 수신하는 단계(S220) 및 상기 참조 트랙을 참조하여 상기 기준 트랙을 재생하는 단계(S230)를 포함한다. 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 특히, 단계 S210과 단계 S220은 동시에 발생할 수 있다. 또한, 순서도에 나타낸 단계들은 배타적이지 않고, 다른 단계가 포함되거나 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있다.

디지털 방송 시스템에서의 송신기는 기준 트랙 및 참조 트랙을 저장하고, 이를 수신기로 송신하는 개체(entity)로서, 방송국, 기지국, 서비스 제공자(service provider), 콘텐츠 제공자(contents provider) 등으로 불릴 수 있다.

디지털 방송 시스템에서의 수신기는 기준 트랙 및 참조 트랙을 송신기로부터 수신하고, 이를 재생하는 개체로서, 플레이어, 재생 장치, 단말 등으로 불릴 수 있다.

기준 트랙은 트랙레퍼런스(tref) 박스가 없는 트랙으로서, 독립 트랙, 기준 비디오 트랙 등으로 불릴 수 있다. 기준 트랙은 2D 데이터 및/또는 3D 데이터를 포함하는 기준 세그먼트를 포함한다. 또한, 기준 트랙은 참조 트랙의 부가 세그먼트와 겹치지 않는 빈 편집 세그먼트(empty segment)를 포함할 수 있다.

참조 트랙는 tref 박스가 존재하는 트랙으로서, 부가 트랙, 부가 비디오 트랙 등으로 불릴 수 있다. 참조 트랙은 기준 트랙 재생시 참조가 되며, 기준 트랙과 참조 트랙은 짝지어 재생이 된다. 트랙은 기준 트랙과 참조 트랙을 짝짓기하기 위한 트랙_레퍼런스(track_reference)와 레퍼런스_타입(reference_type)을 포함한다. 참조 트랙의 경우, 상기 트랙_레퍼런스(track_reference)는 기준 트랙의 트랙_ID(track_ID)로 설정되고, 상기 레퍼런스_타입(reference_type)은 'dpnd'로 설정된다.

3D 비디오를 포함하는 트랙은 핸들러_타입(handler_type)이 'svsm'으로 설정되며, 트랙의 비디오 세그먼트의 컴포지션_타입(composition_type)은 각각의 포맷에 따라 기본 포맷(0x01), 선택사항 포맷(0x02) 또는 사이드-바이-사이드 포맷(0x03)으로 설정된다. 또한, 레프트_뷰_퍼스트(left_view_first)는 세그먼트 각각의 종류에 따라 기준 비디오가 좌안 비디오면 '1', 우안 비디오면 '0'으로 설정된다.

다시 도 2를 참조하면, 디지털 방송 시스템에서 송신기는 기준 트랙 및 참조 트랙을 저장하여 이를 수신기로 전송한다(S210, S220). 수신기는 상기 기준 트랙 및 참조 트랙을 수신하여 이를 재생한다(S230). 이하에서는 트랙의 저장 방법 및 재생 방법에 대해 도 3 내지 도 6을 통해 자세히 설명하기로 한다.

기본 포맷 또는 선택사항 포맷의 경우, 수신기가 기준 비디오와 부가 비디오를 짝짓기할 수 있도록 하기 위해, 참조 트랙의 트랙_레퍼런스(track_reference(Trak_IDs[]))를 기준 트랙의 트랙_ID(track_ID)으로, 레퍼런스_타입(referenece_type)을 'dpnd'로 설정한다. 본 실시예는 레퍼런스_타입(referenece_type)을 MP4FF 표준의 내용과 동일하게 정의하였다.

사이드-바이-사이드 포맷의 3D 비디오를 저장하는 경우는 두 가지 경우로 나뉠 수 있다.

2D 비디오와 3D 비디오를 시간적으로 혼용하는 경우, 사이드-바이-사이드 포맷의 3D 비디오를 저장한 트랙의 트랙_레퍼런스(track_reference)를 2D 비디오를 저장한 트랙의 트랙_ID(track_ID)로, 레퍼런스_타입(reference_type)을 'dpnd'로 설정한다. 시간적으로 2D 비디오와 3D 비디오를 혼용하지만 기본 포맷이나 선택사항 포맷을 사용하는 3D 비디오 구간이 없는 경우, 이와 반대로 2D 비디오를 저장한 트랙의 트랙_레퍼런스(track_reference)를 사이드-바이-사이드 포맷의 3D 비디오를 저장한 트랙의 트랙_ID(track_ID)로 설정할 수 있다. 즉 2D 비디오를 저장한 트랙이 참조 트랙이 되어, 3D 비디오를 저장한 기준 트랙에 참조되는 것으로 설정할 수 있다.

반면에, 2D 비디오와 3D 비디오를 시간적으로 혼용하지 않는 경우에는 해당 트랙은 tref 박스를 포함하지 않고, 독립적으로 재생된다.

도 3은 본 발명의 일 실시예에 따른 사이드-바이-사이드 포맷에 의한 2D 비디오와 3D 비디오의 혼용을 나타낸다.

첫 번째 트랙은 기준 트랙으로서, 트랙_ID(track_ID)는 '1'로 설정하였다. 기준 트랙은 tref 박스가 존재하지 않는 독립 트랙이다. 첫 번째 트랙은 3D 비디오 구간을 포함하고 있지 않으므로 핸들러_타입(handler_type)은 'vide'로 설정된다.

두 번째 트랙과 세 번째 트랙은 참조 트랙으로서 트랙_ID(track_ID)는 각각 '2'와 '3'으로 설정하였다. 참조 트랙은 tref 박스가 존재하며, 레퍼런스_타입(reference_type)이 'dpnd'로 설정된다. 또한, 두 트랙 모두 첫 번째 트랙의 참조 트랙이므로, 트랙레퍼런스(tref) 박스의 트랙_레퍼런스(track_reference)는 기준 트랙의 트랙_ID(track_ID)인 '1'로 설정된다. 3D 비디오 구간을 포함하므로 핸들러_타입(handler_type)은 'svsm'으로 설정된다.

도 3을 참조하면, 2D 비디오와 3D 비디오를 시간적으로 혼용하는 경우, 참조되는 트랙(referenced track), 즉 기준 트랙의 2D 비디오 구간에는 2D 비디오 세그먼트를 포함하고, 3D 비디오 구간 동안에는 빈 편집 세그먼트를 포함한다. 디지털 방송 시스템에서의 수신기는 편집 목록(edit list)를 참조하여 콘텐츠 프리젠테이션(contents presentation)의 시간 순에 따라 2D 비디오를 저장한 트랙과 3D 비디오를 저장한 트랙을 번갈아가며 재생한다. 3D 비디오는 복수 개의 트랙에 나뉘어 저장될 수도 있으므로, 복수 개의 참조 트랙이 존재할 경우 모든 참조 트랙을 동시에 참조하여 재생하여야 한다.

한편, 컴포지션_타입(composition_type) 또는 레프트_뷰_퍼스트(left_view_first) 값이 다른 3D 비디오 구간이 존재하는 경우, 서로 다른 컴포지션_타입(composition_type) 또는 레프트_뷰_퍼스트(left_view_first) 값을 갖는 3D 비디오 구간은 서로 다른 별도의 트랙, 도 3과 같이 두 번째 트랙과 세 번째 트랙에 나뉘어 저장된다.

상기 첫 번째 트랙, 상기 두 번째 트랙 및 상기 세 번째 트랙을 수신기에서 재생하면, 도 3의 가장 아래와 같이 2D 비디오 구간과 3D 비디오 구간이 혼용되어 재생됨을 알 수 있다.

도 4는 본 발명의 일 실시예에 따른 사이드-바이-사이드 포맷에 의한 3D 비디오를 나타낸다.

첫 번째 트랙은 기준 트랙으로서, 트랙_ID(track_ID)는 '1'로 설정하였다. 첫 번째 트랙은 3D 비디오 구간을 포함하므로 핸들러_타입(handler_type)은 'svsm'으로 설정된다.

두 번째 트랙은 참조 트랙으로서 트랙_ID(track_ID)는'2'로 설정하였다. 두 번째 트랙은 첫 번째 트랙의 참조 트랙이므로, tref 박스의 트랙_레퍼런스(track_reference)는 기준 트랙의 트랙_ID(track_ID)인 '1'로 설정되며, 3D 비디오 구간을 포함하므로 핸들러_타입(handler_type)은 'svsm'으로 설정된다.

도 4와 같이, 모든 비디오 구간이 사이드-바이-사이드(side-by-side) 포맷의 3D 비디오 구간인 경우, 독립적으로 재생 가능한 트랙을 3D 비디오가 저장된 트랙으로 설정하여야 한다.

또한, 컴포지션_타입(composition_type) 또는 레프트_뷰_퍼스트(left_view_first) 값이 다른 3D 비디오 구간이 존재하는 경우, 서로 다른 컴포지션_타입(composition_type) 또는 레프트_뷰_퍼스트(left_view_first) 값을 갖는 3D 비디오 구간은 서로 다른 별도의 트랙, 즉 두 번째 트랙에 나뉘어 저장된다.

상기 첫 번째 트랙 및 상기 두 번째 트랙을 수신기에서 재생하면, 도 4의 가장 아래와 같이 3D 비디오 구간이 재생됨을 알 수 있다.

개별 기준 비디오 프레임과 부가 비디오 프레임에 대한 좌우비디오 짝짓기는 CTS(Composition Time Stamp)에 의한다. 동일한 CTS를 갖는 기준 비디오 프레임과 부가 비디오 프레임이 짝짓기된다. 따라서, 동일한 CTS 값을 보장하기 위해 기준 트랙의 미디어 헤더(Media Header, mdhd) 박스의 시간비율(timescale)과 부가 트랙의 mdhd 박스의 시간비율을 동일하게 설정해야 한다. 또한, 부가 비디오 세그먼트의 초기 CTS 값을 정확히 설정하기 위해 무비 헤드(Movie Header, mvhd) 박스의 시간비율 정밀도를 mhhd 박스의 시간비율 정밀도와 같거나 그 정수 배 이상으로 세밀하게 설정해야 한다. 또한, 편집 목록(edit list, elst) 박스를 이용해 부가 비디오 세그먼트의 초기 CTS 값을 정확히 설정하려면 mvhd 박스의 시간비율 정밀도를 mdhd 박스의 시간비율 정밀도와 같거나 그 정수 배 이상으로 세밀하게 설정할 필요가 있다.

도 5 및 도 6은 본 발명의 일 실시예에 따른 기본 포맷 또는 선택사항 포맷에 의해 2D 비디오와 3D 비디오를 시간적으로 혼용하는 경우 부가 비디오를 저장하는 방법을 나타낸다.

사이드-바이-사이드 포맷의 경우에는 AVC 스트림 내에 프레임 꾸리기 배치 SEI 메시지를 넣거나, 도 3 및 도 4를 통해 설명한 방법을 사용함으로써 2D 비디오와 3D 비디오의 시간적 혼용을 달성할 수 있다.

기본 포맷 또는 선택사항 포맷에 의해 2D 비디오와 3D 비디오가 시간적으로 혼용된 경우, 즉 2D 비디오에 이어 3D 비디오가 나오고, 또 그 뒤에 2D 비디오가 이어서 나오는 것과 같이 2D 비디오와 3D 비디오가 반복되어 구성된 콘텐츠를 저장하는 경우, 부가 비디오를 저장하기 위해 단일 트랙 저장 방법과 복수 트랙 저장 방법을 사용할 수 있다. 단일 트랙 저장 방법은 해당 트랙에 포함된 모든 부가 비디오 구간이 동일한 컴포지션_타입(composition_type)과 레프트_뷰_퍼스트(left_view_first)를 사용하는 경우에만 사용할 수 있다. 따라서, 부가 비디오 구간에 따라 컴포지션_타입(composition_type) 또는 레프트_뷰_퍼스트(left_view_first)가 변하는 경우, 복수 트랙 저장 방법을 사용하여야 한다. 또한, 하나의 부가 비디오 구간에서 컴포지션_타입(composition_type) 또는 레프트_뷰_퍼스트(left_view_first)가 변하는 경우에도 동일한 컴포지션_타입(composition_type) 및 레프트_뷰_퍼스트(left_view_first)를 갖는 부가 비디오 구간으로 분할하여 별도의 트랙으로 저장해야한다.

도 5는 단일 트랙에 부가 비디오를 저장하는 방법의 예를 나타낸다.

도 5를 참조하면, 첫 번째 트랙은 기준 비디오 트랙으로서, 트랙_ID(track_ID)는 '1'로 설정하였다. 첫 번째 트랙의 핸들러_타입(handler_type)이 'vide'로 설정되는 경우, 3D 비디오 데이터는 2D 비디오 데이터인 것처럼 저장된다. 이 경우, 첫 번째 트랙의 3D 비디오 구간은 부가 비디오 트랙의 3D 비디오 구간의 기준 비디오가 된다.

두 번째 트랙은 부가 비디오 트랙으로서 트랙_ID(track_ID)는 '2'로 설정하였다. 두 번째 트랙은 첫 번째 트랙의 참조 트랙이므로, tref 박스의 트랙_레퍼런스(track_reference)는 기준 트랙의 트랙_ID(track_ID)인 '1'로 설정된다. 또한, 3D 비디오 구간을 포함하므로 핸들러_타입(handler_type)은'svsm'으로 설정된다.

단일 트랙 저장 방법은 부가 비디오 트랙에 빈 편집 세그먼트를 사용하여, 2D 비디오 구간임을 표시하고, 또 3D 비디오의 좌우 비디오를 동기화한다. 즉, 하나의 트랙 내에 모든 부가 비디오 구간에 해당하는 세그먼트를 모두 저장한다.

ISOBMFF 표준인 "ISO/IEC 14496-12: 3rd Edition, Information technology - Coding of audio-visual objects - Part 12: ISO base media file format."의 8.6.6절에 의하면, elst 박스를 사용하여, 비디오 세그먼트의 시작 시점을 지정해 줄 수 있다. 예를 들어, 2D 비디오 구간이 10 초 나오고, 이어서 3D 비디오 구간이 30 초 나온 후, 다시 2D 비디오 구간이 10 초 나오는 경우, 부가 비디오 트랙의 편집 목록을 표 3과 같이 구성하면, 3D 비디오 구간의 기준 비디오와 부가 비디오의 동기를 맞출 수 있다. 이 때, 기준 비디오 트랙 및 부가 비디오 트랙의 길이는 50 초라 설정한다.

편집 목록(edit list)	설명
Entry-count = 2	첫 번째 엔트리는 empty edit이고, 두 번째 엔트리는 부가 비디오 세그먼트임
Segment-duration = 10 seconds	empty edit의 길이
Media-Time = -1	empty edit임을 나타냄
Media-Rate = 1	정상 속도로 재생. 항상 1로 설정 0이면 첫 프레임이 30초간 지속되는'dwell'임
Segment-duration = 30 seconds	3D 비디오 구간의 길이
Media-Time = 0 seconds	부가 비디오 세그먼트의 첫 프레임부터 재생. 항상 0으로 설정
Media-Rate = 1	정상 속도로 재생, 항상 1로 설정. 0이면 첫 프레임이 30초간 지속되는'dwell'임

상기 예에서 부가 비디오 트랙의 길이가 50 초이지만, 편집 목록의 세그먼트-듀레이션(segment-duration)의 합이다. ISOBMFF 표준의 8.6.6절에 의하면, 이러한 경우, 부가 비디오 트랙의 편집 목록에 세 번째 세그먼트로서 10 초 분량의 빈 편집이 포함된 것으로 간주한다.

다시 도 5를 참조하면, 단일 트랙 저장 방법의 부가 비디오 트랙은 기준 비디오 트랙에서 2D 비디오 세그먼트 구간이 등장할 때마다 동일한 길이의 빈 편집 세그먼트를 포함한다. 단, 콘텐츠의 마지막에 2D 구간이 있을 경우, 이에 대응하는 빈 편집 세그먼트는 제외된다.

상기 첫 번째 트랙 및 상기 두 번째 트랙을 수신기에서 재생하면, 도 5의 가장 아래와 같이 2D 비디오 구간과 3D 비디오 구간이 혼용되어 재생됨을 알 수 있다. 또한, 첫 번째 트랙의 3D 기준 비디오 구간과 두 번째 트랙의 3D 부가 비디오 구간이 동기화되어 재생됨을 알 수 있다.

한편, 복수의 부가 비디오 세그먼트들을 하나의 트랙으로 담기 위해서는 동일한 컴포지션_타입(composition_type)과 레프트_뷰_퍼스트(left_view_first)를 사용해야하므로, 컴포지션_타입(composition_type)과 레프트_뷰_퍼스트(left_view_first)가 동적으로 변하는 경우에는 단일 트랙 저장 방법을 사용할 수 없다.

도 6은 복수 트랙에 부가 비디오를 저장하는 방법의 예를 나타낸다.

도 6을 참조하면, 첫 번째 트랙은 기준 비디오 트랙으로서, 트랙_ID(track_ID)는 '1'로 설정하였다. 첫 번째 트랙의 핸들러_타입(handler_type)이 'vide'로 설정되는 경우, 3D 비디오 데이터는 2D 비디오 데이터인 것처럼 저장된다. 이 경우, 첫 번째 트랙의 3D 비디오 구간은 부가 비디오 트랙의 3D 비디오 구간의 기준 비디오가 된다.

두 번째 트랙과 세 번째 트랙은 부가 비디오 트랙으로서 트랙_ID(track_ID)는 각각 '2'와 '3'으로 설정하였다. 두 번째 트랙과 세 번째 트랙은 첫 번째 트랙의 참조 트랙이므로, tref 박스의 트랙_레퍼런스(track_reference)는 기준 트랙의 트랙_ID(track_ID)인 '1'로 설정된다. 또한, 두 번째 트랙과 세 번째 트랙은 3D 비디오 구간을 포함하므로 핸들러_타입(handler_type)은 'svsm'으로 설정된다.

복수 트랙 저장 방법에서는 부가 비디오를 여러 트랙으로 나누어 저장한다. 예를 들어 도 6과 같이, 하나의 3D 비디오 구간에 대해 이에 해당하는 부가 비디오를 위한 별도의 트랙을 설정한다고 하자. 전체 비디오의 첫 부분에 존재하는 3D 비디오 구간에 해당하는 부가 비디오 트랙, 즉 두 번째 트랙은 빈 편집 세그먼트가 필요 없으나, 그렇지 않은 3D 비디오 구간에 해당하는 부가 비디오 트랙, 즉 세 번째 트랙은 빈 편집 세그먼트가 먼저 나오고 그 다음에 부가 비디오를 포함하는 세그먼트가 나온다.

한편, 복수 트랙 저장 방법에서는 부가 비디오 트랙 사이에 시간적으로 겹치는 부분이 없어야 한다. 만약 겹치는 경우에는 수신기의 동작을 예측할 수 없다.

상기 첫 번째 트랙, 상기 두 번째 트랙 및 상기 세 번째 트랙을 수신기에서 재생하면, 도 6의 가장 아래와 같이 2D 비디오 구간과 3D 비디오 구간이 혼용되어 재생됨을 알 수 있다. 또한, 첫 번째 트랙의 2D 비디오 구간과 두 번째 트랙의 3D 부가 비디오 구간 및 첫 번째 트랙의 3D 기준 비디오 구간과 세 번째 트랙의 3D 부가 비디오 구간이 동기화되어 재생됨을 알 수 있다.

※ MP4FF 기반 방식

MP4FF 기반 방식은 2D BIFS와 3D BIFS가 시간적으로 혼용된 2D 비디오 콘텐츠 또는 2D/3D BIFS가 포함된 2D 비디오와 BIFS가 배제된 3D 비디오를 시간적으로 혼용하는 콘텐츠를 DMB-AF 파일로 저장할 때 적합한 방식이다. DMB-AF에서는 MPEG-4 장면 서술 및 객체 서술 프레임워크 문맥을 사용할 것인지를 먼저 정하므로, 2D 비디오 구간에서는 'iods' 박스를 포함하는 MP4FF 기반 방식을 사용하다가 3D 비디오 구간에서는 AVCFF 기반 방식 또는 'iods' 박스를 포함하지 않는 MP4FF 기반 방식으로 문맥을 바꾸지 못한다. 따라서, 일부 구간에서라도 BIFS가 포함된 콘텐츠의 경우에는 'iods' 박스를 포함하는 MP4FF 기반 방식을 사용해야한다.

MP4FF 기반 방식은 2D 비디오 구간에서의 2D BIFS와 3D BIFS의 시간적 혼용, 2D 비디오와 3D 비디오의 시간적 혼용, 기존 2D BIFS 및 2D 비디오만 지원하는 수신기와의 호환성 등을 모두 지원한다. 또한, 3D 비디오 포맷으로 기본 포맷, 선택사항 포맷, 사이드-바이-사이드(side-by-side) 포맷 등을 모두 사용할 수 있다.

2D BIFS를 위한 2D 이미지 또는 3D BIFS를 위한 기준 이미지로서 사용하는 JPEG(joint photographic coding experts group), PNG(portable network graphics), MNG(Multiple-image Network Graphics) 등은 MP4FF 표준에서 정의한 샘플 엔트리 포맷인 MP4비주얼샘플엔트리(MP4VisualSampleEntry, mp4v) 포맷을 사용한다. MP4FF 표준에 따르면, 이에 대응되는 핸들러_타입(handler_type)은 'vide'이며, 비디오 미디어 헤더(video media header, vmhd) 박스는 미디어 정보(media information, minf) 박스에 반드시 포함되어야 한다. 또한, 하나의 샘플은 이미지 한 장에 해당하며, 하나의 트랙에는 하나의 샘플, 즉 이미지 한 장만 포함될 수 있다.

수신기는 ESDBox 'esds'에 포함된 오브젝트타입인디케이션(objectTypeIndication)으로부터 해당 트랙에 들어 있는 미디어 데이터가 JPEG, PNG, 또는 MNG인지를 알 수 있다. 오브젝트타입인디케이션(objectTypeIndication)은 "TTAK.KO-07.0064 - 디지털멀티미디어방송(DMB) 비디오 연동형 스테레오스코픽 데이터 서비스"과 같이 정의된다. 즉, Image/JPEG, Image/PNG, Image/MNG 각각에 대해 0x6C, 0x6D, 0xC1을 할당한다. 따라서, 3D 기능을 지원하지 않는 수신기라 하더라도 2D BIFS를 재생할 수 있다.

한편, DMB-AF 파일에 3D BIFS를 위한 사이드-바이-사이드 포맷의 3D 이미지로서 사용하거나, 좌/우안 이미지가 별도의 이미지로 제공되는 기본 포맷 또는 선택사항 포맷의 3D 이미지의 부가 이미지로 사용하는 JPEG, PNG, MNG 등을 포함하기 위해 다음과 방법을 사용한다.

기본 포맷의 경우, 기준 이미지와 부가 이미지의 해상도가 동일하다; 선택사항 포맷의 경우, 부가 이미지의 해상도는 기준 이미지의 절반이다; 사이드-바이-사이드 포맷의 경우, 기준 이미지에 해당하는 이미지는 실제로 기준 이미지가 아니라, 전체 이미지를 좌우로 나누어 가로 해상도가 반인 좌안 이미지 및 우안 이미지를 한 장의 이미지 내에 왼쪽부터 좌/우 순 또는 우/좌 순으로 배치한 이미지이다. 사이드-바이-사이드 포맷의 좌우 이미지의 배치 순서는 svhd 박스의 레프트_뷰_퍼스트(left_view_first) 필드에 의해 결정된다.

- mdia 박스의 hdlr 박스에 사용되는 핸들러 타입(handler_type) 값으로서 AVCFF 기반 방식의 관련 내용에서 정의한 것과 동일한 svsm을 사용한다.

- 핸들러_타입(handler_type) 값 'svsm'에 대응되는 svhd 박스는 AVCFF 기반 방식의 관련 내용에서 정의한 것과 유사하나, 각 필드에 대한 의미는 상이하다. svhd 박스는 minf 박스에 반드시 포함되어야한다. AVCFF 기반 방식의 관련 내용과 상이한 점은 다음과 같다.

컴포지션_타입(composition_type)은 "TTAK.KO-07.0064 - 디지털멀티미디어방송(DMB) 비디오 연동형 스테레오스코픽 데이터 서비스"의 <표 6-5> 또는 "TTAK.KO-07.0077 - 지상파 디지털멀티미디어방송(DMB) 비실시간 스테레오스코픽 서비스"의 <표 6-3>에 나와 있는 포맷 중, 기본 포맷(0x01)과 선택사항 포맷(0x02)을 사용하며, 사이드-바이-사이드 포맷(0x03)을 추가로 사용한다.

레프트_뷰_퍼스트(left_view_first)는 "TTAK.KO-07.0064 - 디지털멀티미디어방송(DMB) 비디오 연동형 스테레오스코픽 데이터 서비스" 또는 "TTAK.KO-07.0077 - 지상파 디지털멀티미디어방송(DMB) 비실시간 스테레오스코픽 서비스"의 정의와 유사하게 컴포지션_타입(Composition_type)이 '0x01' 또는 '0x02'인 경우, 기준 이미지가 좌안 이미지이면 '1', 우안 이미지이면 '0'으로 설정된다. 컴포지션_타입(Composition_type)이 '0x03'인 경우, 좌측 이미지가 좌안 이미지이면 '1', 우안 이미지이면 '0'으로 설정된다.

- 샘플 엔트리 포맷으로는 'mp4v(MPEG-4 Part 14)'를 사용한다. 하나의 샘플은 이미지 한 장에 해당하며, 하나의 트랙은 하나의 샘플, 즉 이미지 한 장만 포함한다. 수신기는 ESDBox 'esds'에 포함된 오브젝트타입인디케이션(objectTypeIndication)으로부터 해당 트랙에 들어 있는 미디어 데이터가 JPEG, PNG, 또는 MNG인지를 알 수 있다.

- "TTAK.KO-07.0064 - 디지털멀티미디어방송(DMB) 비디오 연동형 스테레오스코픽 데이터 서비스"에 정의된 추가적인 오브젝트타입인디케이션(objectTypeIndication) 값, 즉 Image/side-by-side JPEG, Image/side-by-side PNG, Image/side-by-side MNG 각각에 대해 할당된 0xC5, 0xC6, 0xC7은 사용되지 않는다. 단, DMB-AF 파일의 내용을 전송 스트림으로 변환할 때에는 "TTAK.KO-07.0064 - 디지털멀티미디어방송(DMB) 비디오 연동형 스테레오스코픽 데이터 서비스"에 정의된 바에 따라야 한다.

- "TTAK.KO-07.0064 - 디지털멀티미디어방송(DMB) 비디오 연동형 스테레오스코픽 데이터 서비스"에서 정의한 부가 이미지를 위한 오브젝트타입인디케이션(objectTypeIndication) 값을 추가하지 않고, "TTAK.KO-07.0077 - 지상파 디지털멀티미디어방송(DMB) 비실시간 스테레오스코픽 서비스"에서와 같이 부가 이미지를 위한 오브젝트타입인디케이션(objectTypeIndication) 값은 기준 이미지의 그것과 동일하게 사용한다. 이는 핸들러_타입(handler_type)을 통해 부가 이미지임을 알 수 있으므로 부가 이미지를 위해 새로운 오브젝트타입인디케이션(objectTypeIndication)을 정의할 필요가 없기 때문이다. 단, DMB-AF 파일의 내용으로부터 전송 스트림으로 변환할 때에는 "TTAK.KO-07.0064 - 디지털멀티미디어방송(DMB) 비디오 연동형 스테레오스코픽 데이터 서비스"에 정의된 바에 따라야 한다.

DMB-AF에서는 비디오 압축 표준으로서 AVC 비디오만 지원한다. MP4FF 기반 방식에서는 2D 비디오 또는 기준 비디오에 해당하는 AVC 콘텐트를 저장할 때, AVCFF 표준의 규정을 따르지 않고, MP4FF 표준의 규정에 따른다. 실제 관련 규정은 MP4FF 표준에 들어있지 않고, 2004년 게시된 "ISO/IEC 14496-1, Information technology - Coding of audio-visual objects - Part 1: Systems."의 Annex I에 포함되어 있다. 따라서, 핸들러_타입(handler_type)은 'vide', 샘플 엔트리 포맷(sample_entry_format)은 'mp4v'를 사용한다. 또한, vmhd 박스는 minf 박스에 반드시 포함되어야 한다.

단, AVC컨피거레이션박스(AVCConfigurationBox)의 내용물, 즉 AVC디코더컨피거레이션레코드(AVCDecoderConfigurationRecord)는 ESDBox의 디코더컨피거레이션디스크립터(DecoderConfigDescriptor)의 디코더스퍼시픽인포(DecoderSpecificInfo)에 넣는다. 디코더컨피거레이션디스크립터(DecoderConfigDescriptor)의 오브젝트타입인디케이션(objectTypeIndication)은 0x21(ITU-T Recommendation H.264 | ISO/IEC 14496-10)로 설정하고, 스트림타입(streamType)은 0x04(Visual)로 설정한다. 또한, 선택적으로 버퍼사이즈DB(bufferSizeDB), 맥스비트레이트(maxBitrate), avg비트레이트(avgBitrate) 필드들은 시퀀스 파라메터 세트(Sequence Parameter Set, SPS)가 있을 경우, 이에 포함된 VUI 시퀀스 파라메터(VUI Sequence Parameter)로부터 채워 넣을 수 있다.

사이드-바이-사이드 포맷에 의한 3D 비디오 및 부가 비디오 샘플 설명은 AVCFF 기반 방식의 관련 내용과 같은 핸들러_타입(handler_type) 값 'svsm'과 svhd 박스를 사용하되 샘플 설명 포맷으로는 MP4FF 표준에 정의된 'mp4v'를 그대로 사용한다. 단, 전술한 디코더컨피거레이션디스크립터(DecoderConfigDescriptor) 설정이 동일하게 적용된다.

사이드-바이-사이드 포맷에 의해 스테레오스코픽 비디오를 구성하는 것은 AVCFF 기반 방식에서와 마찬가지로 AVC 표준의 프레임 꾸리기 배치 SEI 메시지를 사용하거나 전술한 샘플 설명을 사용한다.

전술한 정의들을 반영하여 샘플 설명을 새로 정의하면 표 4와 같다. MP4FF 기반 방식은 MP4FF를 기반으로 하므로, 샘플 설명 박스의 구성도 MP4FF을 확장한 것이다.

기본 포맷 또는 선택사항 포맷의 경우, 부가 이미지 트랙의 트랙_레퍼런스(track_reference)는 기준 이미지의 트랙_ID(track_ID)로, 레퍼런스_타입(reference_type)을 'dpnd'로 설정함으로써, 수신기가 기준 이미지 트랙과 부가 이미지 트랙를 짝짓기할 수 있도록 하였다.

한편, 서로 다른 객체에 해당하는 두 개 이상의 이미지를 하나의 트랙에 넣으면 객체들을 구분할 수 없게 된다. 따라서, 하나의 이미지 객체당 하나의 트랙을 할당하여 MP4 파일로 저장한다. 따라서, 2D BIFS이든 3D BIFS이든 구분 없이, 모든 JPEG, PNG, MNG 등의 이미지 객체는 각 객체 별로 별도의 트랙에 저장하여야 하고, 기본 포맷 또는 선택사항 포맷에 의한 3D BIFS인 경우에는 기준 이미지 데이터와 부가 이미지 데이터를 별도의 트랙에 저장하여야 한다.

사이드-바이-사이드 포맷에 의해 3D BIFS를 시행할 때에는 2D BIFS와 유사한 방법으로 시행하면 된다. 사이드-바이-사이드 포맷에 해당하는 핸들러_타입(handler_type) 'svsm'과 svhd 박스를 이해하지 못하는 기존의 수신기는 해당 이미지를 해독하지 않으므로 이미지가 나타나지 않아야 한다.

기본 포맷 또는 선택사항 포맷을 사용하여 3D BIFS를 시행하는 경우, 기준 이미지 및 부가 이미지는 각각 하나의 트랙에 할당되어야 한다. 즉, 이미지 객체는 BIFS에서 OD_ID(Object Descriptor Identifier)에 의해 지칭되고, 그 OD_ID를 갖는 OD에 해당 이미지의 기준 이미지와 부가 이미지 ESD(Elementary Stream Descriptor)가 각각 하나씩 들어 있다. 또한, 기준 이미지 ESD의 ES_ID에 의해 기준 이미지 ES(Elementary Stream)가 찾아지고, 또 부가 이미지 ESD 내의 ES_ID에 의해 부가 이미지 ES가 찾아진다. 부가 이미지 트랙의 경우, 미디어의 핸들러_타입(handler_type)이 'svsm'이므로 수신기는 이 트랙에 부가 이미지가 들어 있음을 알 수 있다. 또한, 부가 이미지 트랙의 트랙_레퍼런스(track_reference)는 기준 이미지의 트랙_ID(track_ID)로, 레퍼러스_타입(reference_type)는 'dpnd'로 설정되어 있으므로, 상응하는 기준 이미지 트랙과 짝짓기할 수 있다. 하나의 트랙은 하나의 이미지만 저장할 수 있으므로, 부가 이미지의 CTS가 없어도 기준 이미지와 부가 이미지를 좌우 이미지로서 짝짓기하는 것이 가능하다. 파일 내에 설정된 부가 이미지의 CTS 값과 무관하게 부가 이미지는 기준 이미지와 함께 기준 이미지의 CTS 시점에서 구성 메모리(Composition Memory) 상에서 가용한 상태가 되어야 한다. CTS와 DTS(decoding time stamp)가 동일한 경우, CTS는 디코딩 타임 투 샘플(Decoding Time to Sample, stts) 박스에 의하며, 컴포지션 타임 투 샘플(Composition Time to Sample, ctts) 박스는 넣지 않는다.

그런데, 사이드-바이-사이드 포맷에 의한 3D 이미지 트랙이든, 기본 포맷 또는 선택사항 포맷의 의한 기준 이미지 트랙 또는 부가 이미지 트랙이든 모두 하나의 샘플만을 포함하므로, stts 박스의 엔트리_카운트(entry_count) 와 샘플_카운트(sample_count)는 모두 '1'이고, 샘플_델타(sample_delta)는 '0'이다. 따라서, elst 박스를 이용해 초기 컴포지션 타임(Composition Time)을 설정함으로써 '0'이 아닌 CTS 값을 설정할 수 있다. 파일 작성 시, 일관성 유지를 위해 부가 이미지의 CTS 값을 기준 이미지의 CTS 값과 동일하게 설정하는 것이 바람직하다. 정확히 동일한 CTS 값을 보장하려면, 기준 이미지 트랙의 mdhd 박스의 시간비율과 부가 이미지 트랙의 mdhd 박스의 시간비율을 동일하게 설정하여야 한다. 또한, elst 박스를 이용해 초기 콤포지션 타임을 정확히 설정하기 위해 mvhd 박스의 시간비율을 mdhd 박스의 시간비율 해상도와 같거나 그 이상으로 세밀하게 설정할 필요가 있다.

한편, 좌우 비디오 짝짓기는 AVCFF 기반 방식의 관련 내용과 동일하다.

시간적으로 2D BIFS와 3D BIFS가 혼용되는 경우, 다음과 같은 방법들을 사용할 수 있다.

- 사이드-바이-사이드 포맷을 사용하는 경우, 2D BIFS에서 3D BIFS로 또는 그 반대로 전환하는 시점마다 오브젝트디스크립터리무브(ObjectDescriptorRemove) 커맨드를 사용하여 필요 없는 이미지 객체들을 컴포지션 메모리(Composition Memory)에서 삭제하고, 오브젝트디스크립터업데이트(ObjectDescriptorUpdate) 커맨드를 사용하여 새로 필요한 이미지 객체들을 장면에 추가한다, 즉 화면에 디스플레이한다. 오브젝트디스크립터업데이트(ObjectDescriptorUpdate) 커맨드의 경우, 이미지 객체 데이터 ES, 즉 미디어 트랙의 CTS가 해당 이미지 객체를 컴포지션 메모리에 추가하는 작업을 먼저 수행한 다음에 해당 이미지 객체를 BIFS에 추가함으로써 실제로 디스플레이되도록 하는 커맨드임에 유의하여야 한다. 반면에, ObjectDescriptorRemove 커맨드의 경우, 객체들을 컴포지션 메모리에서 삭제하는 기능만을 수행한다.

- 기본 포맷 또는 선택사항 포맷을 사용하는 경우, 3D BIFS 구간에서만 부가 이미지들을 포함한다. 2D BIFS에서 3D BIFS로 또는 그 반대로 전환하는 시점마다 오브젝트디스크립터리무브(ObjectDescriptorRemove) 커맨드를 사용하여 더 이상 필요 없는 이미지 객체들을 컴포지션 메모리에서 삭제하고, 오브젝트디스크립터업데이트(ObjectDescriptorUpdate) 커맨드를 사용하여 새로 필요한 이미지 객체들을 장면에 추가한다. 이 때, 3D BIFS로 전환하는 경우, 기준 이미지 트랙들과 부가 이미지 트랙들의 AU(Access Unit)들의 CTS가 오브젝트디스크립터리무브(ObjectDescriptorRemove) 커맨드의 CTS 보다 앞서게 하여 제 때 이미지 객체가 디스플레이되도록 하여야 한다.

한편, 2D/3D 비디오의 시간적 혼용 방법은 ABCFF 기반 방식의 관련 내용과 동일하다.

도 7는 본 발명의 실시예가 구현되는 디지털 방송에서의 송신기를 나타낸 블록도이다.

도 7를 참조하면, 송신기(50)는 프로세서(processor, 51), 메모리(memory, 52) 및 송신부(53)을 포함한다.

메모리(52)는 프로세서(51)와 연결되어, 프로세서(51)를 구동하기 위한 다양한 정보를 저장한다. 송신부(53)는 프로세서(51)와 연결되어, 신호를 송신한다.

프로세서(51)는 본 발명의 송신기의 기능, 과정 및/또는 방법을 구현한다. 프로세서(51)는 전술한 실시예 또는 이들의 조합을 기반으로 신호를 생성할 수 있다. 프로세서(51)는 상기 기능을 수행하도록 코딩된 소프트웨어나 프로그램 코드 등에 따른 마이크로프로세서, 제어기, 마이크로제어기, ASIC(Application Specific Integrated Circuit) 등 일 수 있다.

도 8는 본 발명의 실시예가 구현되는 디지털 방송에서의 수신기를 나타낸 블록도이다.

도 8를 참조하면, 수신기(60)는 프로세서(processor, 61), 메모리(memory, 62), 수신부(63) 및 출력장치(64)를 포함한다.

메모리(62)는 프로세서(61)와 연결되어, 프로세서(61)를 구동하기 위한 다양한 정보를 저장한다. 수신부(63)는 프로세서(61)와 연결되어, 신호를 송신한다.

프로세서(61)는 본 발명의 수신기에 따른 기능, 과정 및/또는 방법을 구현한다. 프로세서(61)는 전술한 실시예 또는 이들의 조합을 기반으로 신호를 출력장치(64)를 통해 출력할 수 있다. 프로세서(61)는 상기 기능을 수행하도록 코딩된 소프트웨어나 프로그램 코드 등에 따른 마이크로프로세서, 제어기, 마이크로제어기, ASIC(Application Specific Integrated Circuit) 등 일 수 있다.

출력장치(64)는 프로세서(61)와 연결되어, 프로세서(61)에서 처리된 신호를 출력한다. 출력장치(64)는 3D 디스플레이 장치 등일 수 있다.

실시예가 소프트웨어로 구현될 때, 상술한 기법은 상술한 기능을 수행하는 모듈(과정, 기능 등)로 구현될 수 있다. 모듈은 메모리에 저장되고, 프로세서에 의해 실행될 수 있다. 메모리는 프로세서 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서와 연결될 수 있다.

이상 본 발명에 대하여 실시예를 참조하여 설명하였지만, 해당 기술 분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시켜 실시할 수 있음을 이해할 수 있을 것이다. 따라서 상술한 실시예에 한정되지 않고, 본 발명은 이하의 특허청구범위의 범위 내의 모든 실시예를 포함한다고 할 것이다.

Claims (1)

1. 디지털 방송 시스템에서 수신기에 의한 콘텐츠(contents) 재생 방법에 있어서,
   3D 데이터 또는 2D 데이터를 포함하는 기준 세그먼트(segment)를 포함하는 기준 트랙(track)을 수신하는 단계;
   3D 데이터를 포함하는 부가 세그먼트를 포함하는 참조 트랙을 수신하는 단계; 및
   상기 참조 트랙을 참조하여 상기 기준 트랙을 재생하는 단계를 포함하되,
   상기 기준 세그먼트와 상기 참조 세그먼트는 시간적으로 대응되어 서로 겹치지 않거나, 서로 동기화되는 것을 특징으로 하는 콘텐츠 재생 방법.

Images