KR20120036255A - 디지털 방송에 있어서 3차원 비디오 서비스 관련 정보 전송 방법 - Google Patents

Abstract

디지털 방송에서 송신기에 의한 3차원 비디오 및 오디오 서비스 방법이 제공된다. 이 방법은 3차원 비디오 및 오디오 서비스 관련 정보를 포함하는 프레임 꾸리기 배치 SEI(Supplemental Enhancement Information) 메시지를 생성하는 단계 및 상기 프레임 꾸리기 배치 SEI 메시지를 포함하는 기초 스트림을 수신기로 전송하거나, PES(Packerized elementary stream) 패킷 헤더에 상기 프레임 꾸리기 배치 SEI 메시지를 포함하는 비디오 스트림을 상기 수신기로 전송하는 단계를 포함한다.

Description

디지털 방송에 있어서 3차원 비디오 서비스 관련 정보 전송 방법{METHOD FOR TRANSMITTING INFORMATION RELATING 3D VIDEO SERVICE IN DIGITAL BROADCAST}

디지털 3DTV 방송에 관한 것이며, 보다 자세하게는 비디오 서비스 관련 정보를 전송하는 방법에 관한 것이다.

송신기에서 MPEG(Moving Picture Expert Group) 시스템 및 비디오 레벨에서 관련 부가 정보를 시그널링하면 수신기에서 부가 정보를 이용하여 3차원(3 Dimensional:3D) TV 서비스를 제공할 수 있다.

현재 전 세계적으로 프레임 호환(frame compatible)이라 불리는 화면좌우분할(side-by-side) 또는 화면상하분할(top-bottom) 방식을 사용하여 3D 서비스를 제공하는 방식이 개발되고 있으며 일부에서는 상용서비스로 제공되고 있다. 북미 케이블 표준화 단체인 SCTE() 및 유럽의 DVB(Digital Video Broadcasting) 단체에서 표준화를 진행 중에 있다.

H.264는 매우 높은 데이터 압축률을 가지는 표준으로 MPEG-4 파트 10 또는 MPEG-4/AVC(고급 비디오 부호화, Advanced Video Coding)라 부르기도 한다. 이하에서, H.264/AVC라 한다. (International Telecommunication Union Telecommunication Standardization Sector)의 (Video Coding Experts Group, VCEG)과 (International Organization for Standardization/ International Electrotechnical Commission)의 MPEG이 공동으로 조인트 비디오 팀(Joint Video Team, JVT)을 구성하고 표준화를 진행한 결과물로 나온 것이다. 기존의 표준( 등)과 비교하여, 낮은 비트레이트에서 비슷하거나 더 좋은 화질을 얻을 수 있도록 하였고, 구현할 때에 설계 상의 유연성도 갖추었으며, 다양한 시스템에 적용될 수 있도록 하여 다양한 종류의 네트워크와 시스템에서 작동하도록 하였다

H.264/AVC 관련 3D 비디오 서비스를 제공함에 있어서, 기존의 MPEG-2 비디오 압축 방식을 사용하는 기존 디지털 케이블 방송 셋톱박스를 이용하여 3D 비디오 서비스를 제공할 수 있도록 부가 정보를 전송하는 방법이 요구된다.

특히 상기 부가 정보는 비디오 레벨에서 제공하는 방법이 있을 수 있고 시스템 레벨에서 제공할 수 있는 방법이 있는데, 수신기의 구동 효율을 위하여 SI(System Information) 정보만으로 미리 알 수 있는 시스템 레벨의 전송 방법이 요구된다.

본 발명의 기술적 과제는 디지털 방송에서 MPEG-2 비디오 압축 방식을 사용하는 기존 셋톱박스를 이용해 프레임 호환 포맷의 압축 비디오로부터 3D 비디오를 시청자에게 제공할 수 있도록 관련 정보를 시그널링 하는 데 있다.

본 발명의 기술적 과제는 MPEG 시스템 레벨의 시그널링 중 TS(Transport Stream) 레벨의 시그널링 뿐만 아니라 PES(Packetized elementary stream) 패킷 헤더 레벨의 시그널링을 제공하는 데 있다.

본 발명의 일 양태에 따르면, 디지털 방송에서 송신기에 의한 3차원 비디오 서비스 방법은 3차원 비디오 서비스 관련 정보를 포함하는 프레임 꾸리기 배치 SEI(Supplemental Enhancement Information) 메시지를 생성하는 단계; 및 상기 프레임 꾸리기 배치 SEI 메시지를 포함하는 기초 스트림을 수신기로 전송하거나, PES(Packetized elementary stream) 패킷 헤더에 상기 프레임 꾸리기 배치 SEI 메시지를 포함하는 비디오 스트림을 상기 수신기로 전송하는 단계를 포함한다.

본 발명에서는 수신기는 비디오 스트림을 수신하지 않아도 3D 서비스 관련 부가 정보를 SI 정보만으로 미리 알 수 있어 구동 효율을 개선할 수 있다.

도 1은 본 발명에 따라 3차원 디지털 케이블 방송에서 비디오 서비스 관련 정보를 전송하는 일 예를 나타낸 순서도이다.
도 2는 본 발명에 따른 PES 패킷의 페이로드를 나타낸 일 예이다.
도 3은 본 발명에 따라 비디오 서비스 관련 정보를 전송하는 다른 예를 나타낸 순서도이다.
도 4는 본 발명에 따른 PES 패킷의 페이로드를 나타낸 다른 예이다.
도 5는 본 발명의 실시예가 구현되는 3차원 디지털 케이블 방송 시스템에서의 송신기를 나타낸 블록도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

여러 가지 목적의 SEI(Supplemental Enhancement Information) 메시지 페이로드(payload)가 H.264/AVC(Advanced Video Coding) 표준에 정의되어 있다. 3D 비디오 서비스(이하에서, 비디오 서비스는 오디오 서비스도 포함한다)에 있어서, SEI 메시지는 압축 비디오로부터 비디오 샘플을 복원하는 과정에 꼭 필요한 정보는 아니지만, 복호 과정, 디스플레이 과정 등에 보조적인 정보를 전달하는 메시지이다.

SEI 메시지 중에서 프레임 꾸리기 배치(frame packing arrangement) SEI 메시지는 복호기가 복호한 결과를 어떻게 활용하여 화면에 비디오를 디스플레이 할 것인지에 대한 정보를 전달한다. 특히, 프레임 호환 관련된 정보를 전달한다.

예를 들어 3D 비디오 서비스를 위해 화면좌우분할(side-by-side) 포맷으로 좌/우안 비디오를 구성하여 부호기로 압축하여 복호기로 전달하였다고 하자. 이 때, 복호기는 화면좌우분할 포맷의 3D 비디오를 마치 2D 비디오인 것처럼 복호한 후, 이를 디스플레이할 때는 AU(Access Unit) 내에 압축 데이터와 함께 전달된 프레임 꾸리기 배치 SEI 메시지를 참조함으로써 복원된 비디오가 2D 비디오가 아니라 화면좌우분할 포맷의 3D 비디오임을 이해하고, 화면 좌우의 반 화면들 중 어느 것이 좌안 비디오인지 또는 우안 비디오인지를 이해한다. 여기서 부호기 및 복호기는 H.264/AVC 부호기 및 H.264/AVC 복호기일 수 있다. AU는 H.264/AVC AU 일 수 있다.

SEI 메시지는 SEI NAL(Network Abstraction Layer) 유닛으로 구성한 다음 AU 내에 포함하도록 되어 압축 비디오 데이터와 함께 전송할 수 있다.

프레임 꾸리기 배치 SEI 메시지는 매 프레임 전송될 필요는 없으나, 원하면 매 프레임마다 좌/우안 비디오의 화면 배치를 바꾸어 줄 수 있다.

프레임 꾸리기 배치 SEI 메시지에 의해 지원되는 배치 방법에는 HDMI(High Definition Multimedia Interface) 1.4a에 의해 지원되는 화면좌우분할(side-by-side) 배치와 화면상하분할(top-bottom) 배치 이외에도, 격렬(column interleaving) 배치, 격행(row interleaving) 배치, 순차프레임(temporal interleaving) 배치, 장기판(checkerboard interleaving) 배치, 5점형 샘플링에 의한 화면상하분할 배치(Side-by-side packing arrangement with quincunx sampling) 등이 포함되어 있다.

프레임 꾸리기 배치 SEI 메시지는 스테레오스코픽 영상의 좌/우 비디오를 한 프레임으로서 압축한다는 문맥으로 한정되지 않으며, 어떤 비디오의 두 구성요소에 해당하는 비디오들을 한 프레임으로서 압축할 수 있다. H.264/AVC 표준에도 이와 같이 정의 되어 있다.

H.264/AVC를 사용하는 셋톱박스의 경우 프레임 꾸리기 배치 SEI 메시지를 이용하여 케이블 방송 인프라에 대한 수정 없이 3D 비디오를 서비스할 수 있으나, 이미 배포된 셋톱박스 중 MPEG-2 비디오 압축 표준을 사용하는 것들에 대해서는 프레임 꾸리기 배치 SEI 메시지 기능을 사용할 수 없다. 그러므로 이러한 셋톱박스를 이용하여 H.264/AVC에서와 마찬가지로 3D 비디오 서비스를 제공할 수 있도록, MPEG-2 비디오 기초 스트림(Elementary Stream, ES) 레벨과 MPEG-2 시스템 레벨에서 프레임 꾸리기 배치 SEI 메시지와 유사한 시그널링 기능을 제공할 수 있어야 한다.

일반적으로 MPEG-2 비디오 표준(ISO/IEC 13818-2)의 압축 비디오 신택스(syntax) 중, picture user_data (extension_and_user_data(2)) 부분에 "0x4D504547" (ASCII로 MPEG) 또는 "0x33445457" (ASCII로 3DTV) 값을 갖는 4 바이트의 MPEG_user_identifier를 넣고 그 직후에 프레임 꾸리기 배치 SEI 메시지를 넣는다. 이 때 MPEG-2 비디오 표준에서는 굴롬 코드가 지원되지 않으므로 프레임 꾸리기 배치 SEI 메시지 중 굴롬 코드를 사용하여 부호화하게 되어 있는 필드는 모두 고정길이 비트 수를 갖는 필드로 대체한다. 여기서 사용한 picture user_data는 이미 ATSC 표준에서 자막, NTSC(National Television System Committee) VBI(Vertical Blanking Interval), DVD 메타데이터, SMPTE(Society of Motion Pictures and TV Engineers) 디지털 TV 디스플레이 파라미터 등을 전달하기 위해 사용하고 있기 때문에, 혼동을 방지하기 위해 파라미터 MPEG_user_identifier를 도입하였다.

이와 같이 MPEG-2 비디오 ES 내의 picture user_data 영역에 프레임 꾸리기 배치 SEI 메시지를 넣은 이유는 기존의 제조된 비디오 복호 칩들이 picture user_data를 칩 외부로 출력하여 소프트웨어나 펌웨어에 의해 처리되도록 하고 있기 때문에, 프레임 꾸리기 배치 SEI 메시지도 칩 외부로 출력되어 추가 처리가 가능하기 때문이다.

MPEG 표준 내에서 "user" 또는 "private"라고 표현된 내용은 MPEG에서 규정하지 않고 해당 MPEG 표준을 채택하여 서비스를 제공할 때 추가로 규정할 수 있는 영역의 내용을 의미한다. 따라서 MPEG-2 비디오 ES 내의 user_data 영역에 특정한 것을 논리적 모순에 해당한다.

이러한 문제에 대한 해결책으로서 PMT(Program Map Table)의 ES별 서술자 루프에 새로운 서술자를 정의하여 MPEG-2 비디오 ES에 프레임 꾸리기 배치 SEI 메시지가 들어 있음을 시그널링할 수 있다. 펌웨어 업그레이드를 통해 기존 셋톱박스로 하여금 새로운 서술자를 이해하여 3D 디스플레이 불가능한 경우 3D 비디오를 무시하고, 3D 디스플레이가 가능한 경우 이를 서비스 한다. 또는, 프레임 꾸리기 배치 SEI 메시지를 사용하는 3D 비디오 ES에 대해서는 새로운 stream_type을 할당할 수 있다. 펌웨어 업그레이드가 가능하지 않은 기존 셋톱박스가 3D 비디오 스트림을 무시하도록 할 수 있다.

이제, 본 발명에 따른 3D 비디오 서비스 관련 정보 전송방법에 대해서 설명한다.

도 1은 본 발명에 따라 3차원 디지털 케이블 방송에서 비디오 서비스 관련 정보를 전송하는 일 예를 나타낸 순서도이다. 프레임 꾸리기 배치 SEI메시지는 비디오 ES나 오디오 ES처럼 별도의 ES를 통해 전송될 수 있다.

도 1을 참조하면, 송신기는 비디오 및 오디오 서비스 관련 정보를 포함하는 프레임 꾸리기 배치 SEI 메시지를 생성한다(S110).

상기 프레임 꾸리기 배치 SEI 메시지를 별도의 기초 스트림에 포함시켜 수신기로 전송한다(S120).

프레임 꾸리기 배치 SEI 메시지에 담긴 정보는 비디오 복호화 과정에서는 사용되지 않으며, 복호된 결과를 렌더링하고 디스플레이할 때 사용되므로, 꼭 비디오 스트림 내에 넣어 전송할 필요는 없기 때문에 별도의 기초 스트림에 포함시켜 보낼 수 있다.

그런데 SEI 메시지들이 별도의 ES로 전송되므로, SEI 메시지가 적용될 비디오 프레임과의 짝짓는 것이 필수적으로 요구된다. 이는 SEI 메시지를 실어 나르는 PES(Packetized Elementary Stream) 패킷의 PTS(Presentation Time Stamp)와 이 SEI 메시지가 적용될 비디오 AU를 실어 나르는 PES 패킷의 PTS를 동일하게 설정함으로써 가능하다.

또한, 송신기는 프레임 꾸리기 배치 SEI 메시지만을 포함하는 AU들을 PES 패킷화하고, 그에 상응하는 비디오 프레임의 PTS를 PES 패킷 헤더에 넣어 수신기로 전송한다. 실제로 프레임 꾸리기 배치 SEI 메시지가 포함된 ES의 PES 패킷 헤더 내에 있는 PTS는 각각 SEI 메시지들이 적용되는 비디오 AU의 PTS와 동일하게 설정된다.

이렇게 함으로써 H.264/AVC에서의 프레임 꾸리기 배치 SEI 메시지와 동등한 역할을 할 수 있다. 즉, 복호기가 복호한 결과를 어떻게 활용하여 화면에 비디오를 디스플레이 할 것인지에 대한 정보를 전달할 수 있다.

한편, MPEG-2 비디오 표준에서는 굴롬 코드가 지원되지 않으므로 기존의 프레임 꾸리기 배치 SEI 메시지 중 굴롬 코드를 사용하여 부호화하게 되어 있는 필드는 모두 고정길이 비트 수를 갖는 필드로 대체한다. 또한 H.264/AVC 표준에 있는 시맨틱(semantic) 설명 중, IDR은 MPEG-2 비디오 표준의 I 픽처로 대체한다. 즉, H.264 표준에서 IDR picture에 해당하는 부분을 MPEG-2의 I picture로 대체한다.

또한, PMT의 비디오 ES를 위한 서술자 루프에 새로운 서술자(이하, "SEI_descriptor"라 한다)를 포함한다. 즉, SEI_descriptor가 서술자 루프에 포함되어 있으면, 해당 비디오 ES는 프레임 호환 포맷에 의한 3D 비디오임을 나타낸다.

SEI_descriptor는 2 비트의 지시자인 SEI_flags를 포함한다. SEI_flags가 '00'이면, 비디오 ES 내의 user_data 부분에 SEI 메시지가 들어 있음을 지시하고, SEI_flags 가'01'이면, 별도의 SEI 메시지 ES 내에 SEI 메시지가 들어 있음을 지시하고, SEI_flags 가'10'이면 비디오 PES 패킷 헤더 내에 SEI 메시지가 들어 있음을 지시한다. '11'은 사용하지 않는 reserved 값이다.

먼저, SEI_flags가 '01'이면, 별도의 ES 내에 SEI 메시지가 포함되어 있으므로, SEI_descriptor는 프레임 꾸리기 배치 SEI 메시지 ES의 PID(Packet indentifier)를 알려주는 SEI_pid를 포함한다. 한 프로그램이 여러 비디오 스트림을 포함할 경우를 대비하여 각 비디오 스트림과 연계된 SEI 스트림의 PID를 명시적으로 시그널링한다.

프레임 꾸리기 배치 SEI 메시지 ES에 대해서는 별도의 stream_type을 할당하고, 이를 실어 나르는 TS(Transport Stream) 패킷에는 별도의 PID를 부여한다. PMT 내에 ES들을 설명하는 루프 내에 프레임 꾸리기 배치 SEI 메시지 ES에 대한 정보(stream type 및 PID)를 포함한다. 또한, 프레임 호환 포맷의 3D 영상을 압축한 ES에 대해서도 별도의 stream_type을 할당한다.

이와 같이 전송하면, 기존 2D 서비스만 지원하는 수신기는 프레임 호환 포맷의 3D 영상을 압축한 ES의 stream_type과 프레임 꾸리기 배치 SEI 메시지 ES의 stream_type을 모두 이해하지 못하므로, 압축을 풀어 디스플레이할 비디오 ES를 찾지 못하게 되어, 시청자가 3D 비디오 채널을 선택한다 하더라도 프레임 호환 포맷의 영상을 보여주지는 않을 것이다. 기존 셋톱박스를 어떻게 구현하였느냐에 따라, 시청자가 3D 비디오 채널을 선택하였을 때, 오디오만 나올 수도 있고, 아예 프로그램 전체가 나오지 않을 수도 있다.

프레임 꾸리기 배치 SEI 메시지는 적용될 비디오 프레임이 복호된 시점에서 사용되어야 하므로, 송신기는 TS 다중화를 할 때 프레임 꾸리기 배치 SEI 메시지를 담은 TS 패킷을 해당 SEI 메시지가 적용될 비디오 프레임의 AU를 담은 TS 패킷 직전에 넣는다.

도 2는 본 발명에 따른 PES 패킷의 페이로드를 나타낸 일 예이다. 만약 송신기가 전송하는 하나의 PES 패킷 내에 여러 개의 프레임 꾸리기 배치 SEI 메시지들을 넣어야 할 경우, 송신기는 첫 SEI 메시지에 해당하는 PTS는 PES 패킷 헤더 내에 넣고, 두 번째 이후의 SEI 메시지에 해당하는 PTS는 PES 페이로드 내에 넣는다.

도 2를 참조하면, 서로 다른 비디오 프레임에 적용될 세 개의 SEI 메시지를 담은 PES 패킷의 페이로드는 첫 번째 SEI 메시지, PES 패킷 페이로드 내의 SEI 메시지 수 - 1 (SEI 메시지가 3개일 경우에는 2), 두 번째 SEI 메시지를 위한 PTS, 두 번째 SEI 메시지, 세 번째 SEI 메시지를 위한 PTS, 세 번째 SEI 메시지의 순서로 구성된다.

만약 SEI 메시지를 위하여 비디오 ES 내의 user_data 영역을 사용한다면, 전 세계 각국별로 다른 형태의 프레임 꾸리기 배치 SEI 메시지가 포함될 수 있다. 이에 따라 셋톱박스의 펌웨어도 국가별, 서비스별로 다르게 개발되고 유지되어야 한다. 또한, 비디오 ES 내에 SEI 메시지를 수용하려면, 현재 H.264/AVC는 SEI NAL 유닛으로 수용할 수 있으나, MPEG-2 비디오의 경우에는 user_data 내에 포함되어야 한다.

반면, 본 발명에 따라서 송신기에서 별도의 SEI 메시지 ES를 보내는 경우, 전 세계 모든 셋톱박스에 대해 동일한 방식을 제공하므로, 한 번의 펌웨어 개발로 모든 셋톱박스를 커버할 수 있다. 또한, 별도의 SEI 메시지 ES를 통해 SEI 메시지를 전송하는 경우, 사용된 비디오 압축 방식과 독립적으로 프레임 꾸리기 배치 SEI 메시지를 전송할 수 있다.

도 3은 본 발명에 따라 비디오 서비스 관련 정보를 전송하는 다른 예를 나타낸 순서도이다. 도 1과 비교하여, 프레임 꾸리기 배치 SEI메시지는 PES 헤더에 포함되어 전송될 수 있다.

도 3 을 참조하면, 송신기는 3차원 비디오 및 오디오 서비스 관련 정보를 포함하는 프레임 꾸리기 배치 SEI 메시지를 생성한다(S310).

송신기는 PES 패킷 헤더에 상기 프레임 꾸리기 배치 SEI 메시지를 포함하는 비디오 스트림을 상기 수신기로 전송한다(S320).

앞서 설명한 바와 같이, 서술자 SEI_descriptor 내에 포함된 2 비트의 지시자인 SEI_flags가 SEI_flags 가'10'이면 비디오 PES 패킷 헤더 내에 SEI 메시지가 들어 있음을 지시한다. 송신기는 SEI 메시지가 비디오 PES 패킷 헤더 내에 포함되도록 한다.

프레임 꾸리기 배치 SEI 메시지는 적용될 비디오 프레임과 동시에 전달되는 것이 바람직하다. 따라서, TS 레벨에서 별개의 ES로 프레임 꾸리기 배치 SEI 메시지를 전달할 때, TS 패킷 다중화 시에 SEI 메시지를 담은 TS 패킷과 이것이 적용될 비디오 프레임 TS 패킷이 비슷한 시점에서 전송되도록 하여야 한다.

그러나, SEI 메시지를 그것이 적용될 비디오 PES 패킷 헤더 내에 전달한다면 이런 문제가 발생하지 않는다.

일 예로, H.264/AVC 표준에서 비디오 PES 패킷 헤더 내에서 reserved로 되어 있는 최대 128 바이트의 PES_extension_field에 SEI 메시지를 넣을 수 있다.

PES_extension_flag와 PES_extension_flag_2가 모두 '1'인 경우, 7 비트의 PES_extension_filed_length를 이용하여 최대 128 바이트의 SEI 메시지를 삽입할 수 있다. 단, stream_id_extension_flag는 '0'으로 하고 새로운 stream_id_extension을 부여해야 한다.

도 4는 본 발명에 따른 PES 패킷의 페이로드를 나타낸 다른 예이다.

도 4를 참조하면, 한 비디오 PES 내에 여러 AU가 포함되어 있고, 적용될 SEI 메시지가 서로 다르다면, PES_extension_field 내의 SEI 메시지도 여러 개여야 한다. 이때, PES_extension_field에 SEI 메시지를 싣는 포맷은 SEI 메시지 개수, AU 번호-SEI 메시지, AU 번호-SEI 메시지 순으로 할 수 있다.

이제, 본 발명에 따른 MPEG-2 시스템 레벨 SEI 메시지 전송 규격의 예를 설명한다.

다음 표 1은 프레임 꾸리기 배치 SEI 메시지(frame packing arrangement SEI message)의 일 예를 나타낸다. H.264/AVC 표준에 정의된 프레임 꾸리기 배치 SEI 메시지(frame packing arrangement SEI message)의 필드 중 굴롬 코드를 사용하여 부호화하게 되어 있는 필드는 모두 고정길이 비트 수를 갖는 필드로 대체한다. 또한 바이트 경계를 맞추기 위해 필요한 곳에 reserved 비트들을 넣는다. IDR은 모두 I 픽처로 대체한다. 그 결과 frame_packing_arrangement_data ()의 크기는 6, 12, 14 바이트 중 하나로서 최대 14 바이트이다.

Syntax	Nunber of bits	Mnemonic
frame_packing_arrangement_data ()
frame_packing_arrangement_id	32	uimsbf
frame_packing_arrangement_cancel_flag	1	bslbf
reserved	7	bslbf
if( !frame_packing_arrangement_cancel_flag ) {
frame_packing_arrangement_type	7	uimsbf
quincunx_sampling_flag	1	bslbf
content_interpretation_type	6	uimsbf
spatial_flipping_flag	1	bslbf
frame0_flipped_flag	1	bslbf
field_views_flag	1	bslbf
current_frame_is_frame0_flag	1	bslbf
frame0_self_contained_flag	1	bslbf
frame1_self_contained_flag	1	bslbf
reserved	4	bslbf
If( !quincunx_sampling_flag && frame_packing_arrangement_type !=5 ) {
frame0_grid_position_x	4	uimsbf
frame0_grid_position_y	4	uimsbf
frame1_grid_position_x	4	uimsbf
frame1_grid_position_y	4	uimsbf
}
frame_packing_arrangement_reserved_byte	8	bslbf
frame_packing_arrangement_repetition_period	14	uimsbf
reserved	2	bslbf
}
frame_packing_arrangement_extension_flag	1	bslbf
reserved	7	bslbf
}

실제 스트림 내에 frame_packing_arrangement_data ()를 삽입할 때에는 확장성을 위해 1 바이트의 SEI_type과 SEI_message_length를 frame_packing_arrangement_data () 앞에 붙인다.

다음 표 2는 SEI 메시지의 일 예를 나타낸 것이다. SEI_type는 SEI 메시지의 타입을 나타내며, 프레임 꾸리기 배치 SEI만 H.264/AVC와 동일하게 타입 값 45로 정의되어 있다.

Syntax	Number of bits	Mnemonic
SEI_message ()
SEI_type	8	uimsbf
SEI_message_length_minus1	8	uimsbf
if( SEI_type == 45 ) {
frame_packing_arrangement_data ()	7	uimsbf
}
}

SEI_message_length_minus1는 SEI 메시지의 크기를 바이트 단위로 나타낸다. 실제 크기는 이 필드값에 1을 더한 값으로서 이 필드 다음부터 메시지 마지막 바이트까지 센 바이트 수이다.

프레임 꾸리기 배치 SEI 메시지의 경우, SEI_type과 SEI_message_length_minus1까지 합하면, 최대 총 16 바이트가 된다.

다음 표 3은 비디오 ES를 위한 서술자 루프에 추가되는 새로운 서술자(SEI_descriptor)를 나타낸 일 예이다.

Syntax	Number of bits	Memonics
SEI_descriptor() {
descriptor_tag	8	uimsbf
descriptor_length	8	uimsbf
SEI_flags	2	bslbf
If(SEI_flag == '01'){
reserved	1	bslbf
SEI_pid	13	uimsbf
} else {
reserved	6	bslbf
}
}

SEI_descriptor는 PMT의 비디오 ES에 대한 서술자 루프 내에 들어갈 수 있으며, SEI 메시지의 존재 여부와 위치를 나타낸다. SEI_descriptor가 존재하면, SEI 메시지가 있음을 나타낸다. SEI_descriptor의 descriptor_tag는 reserved 값 45-63 중 하나를 할당한다(MPEG-2 시스템 표준에 나와있는 값을 참조할 수 있다).

SEI_flags는 SEI 메시지의 위치를 나타내는 2 비트의 플래그이다. 앞서 설명한 바와 같이 이 플래그가 '00'이면, 비디오 ES 내의 user_data 부분에 SEI 메시지가 들어 있고, '01'이면, 별도의 SEI 메시지 ES 내에 SEI 메시지가 들어 있다. 또 '10'이면 PES 패킷 헤더 내에 SEI 메시지가 들어 있고, '11'은 사용하지 않는 reserved 값이다. SEI_pid는 SEI 메시지가 별도의 ES로 전송되는 경우, 이를 실어 나르는 TS 패킷의 PID이다.

SEI 메시지 스트림의 PES 패킷화 및 TS 다중화를 설명한다. SEI_descriptor 내의 SEI_flags가 '10'인 경우, SEI 메시지는 PID가 SEI_pid인 TS 패킷으로 전송된다. TS 패킷화 직전 SEI 메시지 스트림의 PES 패킷화는 다음의 규정에 따른다.

SEI 메시지 스트림에 대한 stream_type은 MPEG-2 시스템 표준[8]의 Table 2-34에 나와 있는 reserved 값 0x1C-0x7E 중 한 값을 새롭게 할당한다.

stream_id는 MPEG-2 시스템 표준[8]의 Table 2-22에 나와 있는 값 중, 비디오 스트림에 할당된'1110 xxxx' 중 하나를 사용한다.

SEI 메시지 스트림의 PES 패킷의 유료부하의 첫 바이트는 항상 SEI 메시지 즉, SEI_message()의 첫 바이트가 되도록 한다.

SEI 메시지 스트림의 PES 패킷 헤더 내의 PTS_DTS_flag는 항상 '10'으로 설정하고 PTS 필드는 PES 유료부하 내의 첫 SEI 메시지가 적용될 비디오 AU의 PTS 값을 넣는다.

하나의 PES 패킷 내에 여러 개의 SEI 메시지들을 넣을 수 있다.

다음 표 4는 PES 패킷의 유료부하의 일 예를 나타낸 것이다. 동일한 AU에 적용될 SEI 메시지가 여러 개일 수 있는 경우를 고려한다.

Syntax	Number of bits	Mnemonic
SEI_message_PES_packet_payload ()
num1_messages_in_group_minus1	8	uimsbf
for(i=0; i <= num1_messages_in_group_minus1; i++) {
SEI_message()
}
num_minus1_ SEI_message_groups	8	uimsbf
for (i=0; i < num_munus1_ SEI_message_groups; i++ ) {
'0010'	4	bslbf
PTS [32..30]	3	bslbf
marker_bit	1	bslbf
PTS [29..15]	15	bslbf
marker_bit	1	bslbf
PTS [14..0]	15	bslbf
marker_bit	1	bslbf
num2_messages_in_group_minus1	8	uimsbf
for(j=0; j <= num2_messages_in_group_minus1; j++) {
SEI_message()
}
}
}

num_minus1_SEI_message_groups는 PES 패킷 유료부하에 들어 있는 SEI 메시지 그룹(동일한 PTS를 갖는 SEI 메시지들)의 수 보다 하나 작은 값을 나타낸다.

num1_messages_in_group_minus1, num2_messages_in_group_minus1는 동일한 PTS를 갖는 SEI 메시지들의 수보다 하나 작은 값을 나타낸다.

PTS는 다음에 나오는 SEI_message들에 적용될 PTS이다. 동일한 PTS를 갖는 SEI_message들은 동일한 AU에 적용된다.

SEI 메시지를 포함하는 비디오 PES 패킷 헤더 내의 PES_extension_flag와 PES_extension_flag_2(MPEG-2 시스템 표준의 Table 2-21 참조)는 모두 '1'로 설정한다. stream_id_extension_flag는 '0'으로 하고 MPEG-2 시스템 표준의 Table 2-27에 나와 있는 reserved_data_stream에 할당할 수 있는 값 중 하나를 새로운 stream_id_extension으로 할당한다.

다음 표 5는 PES에 SEI 메시지를 싣는 일 예를 나타낸 것이다.

Syntax	Number of bits	Mnemonic
SEI_messages_in_PES_extension_field ()
num_minus1_SEI_ message_groups	8	uimsbf
for (i=0; i <= num_munus1_SEI_ message_groups; i++ ) {
AU_number_in_this_PES_packet	4	uimsbf
num_messages_in_group_minus1	4	uimsbf
for(j=0; j <= num_messages_in_group_minus1; j++) {
SEI_message()
}
}
}

num_minus1_SEI_message_groups는 PES 패킷 헤더에 들어 있는 SEI 메시지 그룹(동일한 AU에 적용될 SEI 메시지들)의 수 보다 하나 작은 값을 나타낸다.

AU_number_in_this_PES_packet는 이 다음에 나오는 SEI 메시지들이 모두 적용될 AU의 번호를 나타낸다. 이 PES 패킷의 유료부하 내에 첫 바이트가 들어 있는 AU들을 0부터 센 번호이다.

num_messages_in_group_minus1는 동일한 AU에 적용될 SEI 메시지들의 수보다 하나 작은 값을 나타낸다.

도 5는 본 발명의 실시예가 구현되는 3차원 디지털 케이블 방송 시스템에서의 송신기를 나타낸 블록도이다.

도 5를 참조하면, 송신기(50)는 프로세서(processor, 51), 메모리(memory, 52) 및 송출부(53)을 포함할 수 있다. 메모리(52)는 프로세서(51)와 연결되어, 프로세서(51)를 구동하기 위한 다양한 정보를 저장한다. 송출부(53)는 프로세서(51)와 연결되어, 신호를 송신한다.

프로세서(51)는 본 발명에 따른 기능, 과정 및/또는 방법을 구현한다. 프로세서(51)는 도 1 내지 도 4의 실시예들 또는 이들의 조합을 기반으로 신호를 생성할 수 있다. 예를 들어, 프로세서(51)는 비디오 및 오디오 서비스 관련 정보를 포함하는 프레임 꾸리기 배치 SEI 메시지를 생성하거나, PES 패킷 헤더에 상기 프레임 꾸리기 배치 SEI 메시지를 포함하는 비디오 스트림을 생성한다. 프로세서(51)에 의해 생성되는 프레임 꾸리기 배치 SEI 메시지의 일 예는 표 1과 같다.

또한 프로세서는 상기 기능을 수행하도록 코딩된 소프트웨어나 프로그램 코드 등에 따른 마이크로프로세서, 제어기, 마이크로제어기, ASIC(Application Specific Integrated Circuit) 등 일 수 있다.

실시예가 소프트웨어로 구현될 때, 상술한 기법은 상술한 기능을 수행하는 모듈(과정, 기능 등)로 구현될 수 있다. 모듈은 메모리에 저장되고, 프로세서에 의해 실행될 수 있다. 메모리는 프로세서 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서와 연결될 수 있다.

이상 본 발명에 대하여 실시예를 참조하여 설명하였지만, 해당 기술 분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시켜 실시할 수 있음을 이해할 수 있을 것이다. 따라서 상술한 실시예에 한정되지 않고, 본 발명은 이하의 특허청구범위의 범위 내의 모든 실시 예들을 포함한다고 할 것이다.

Claims (1)

1. 디지털 방송에서 송신기에 의한 3차원 비디오 서비스 방법으로서,
   3차원 비디오 서비스 관련 정보를 포함하는 프레임 꾸리기 배치 SEI(Supplemental Enhancement Information) 메시지를 생성하는 단계; 및
   상기 프레임 꾸리기 배치 SEI 메시지를 포함하는 기초 스트림을 수신기로 전송하거나, PES(Packetized elementary stream) 패킷 헤더에 상기 프레임 꾸리기 배치 SEI 메시지를 포함하는 비디오 스트림을 상기 수신기로 전송하는 단계를 포함하는 것을 특징으로 하는 3차원 비디오 서비스 방법.

Images