KR20230050292A - 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법 - Google Patents

스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법 Download PDF

Info

Publication number
KR20230050292A
KR20230050292A KR1020230043597A KR20230043597A KR20230050292A KR 20230050292 A KR20230050292 A KR 20230050292A KR 1020230043597 A KR1020230043597 A KR 1020230043597A KR 20230043597 A KR20230043597 A KR 20230043597A KR 20230050292 A KR20230050292 A KR 20230050292A
Authority
KR
South Korea
Prior art keywords
video
stereoscopic video
information
stereoscopic
asset file
Prior art date
Application number
KR1020230043597A
Other languages
English (en)
Inventor
이진영
윤국진
정원식
이광순
허남호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20230050292A publication Critical patent/KR20230050292A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23602—Multiplexing isochronously with the video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/18—Arrangements for synchronising broadcast or distribution via plural systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H2201/00—Aspects of broadcast communication
    • H04H2201/40—Aspects of broadcast communication characterised in that additional data relating to the broadcast data are available via a different channel than the broadcast channel

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

스테레오스코픽 비디오 데이터를 처리하기 위한 MMT 장치 및 방법이 개시된다. 일 실시예에 따른 MMT 장치는 스테레오스코픽 비디오 데이터의 전부 또는 일부를 포함하는 단일의 에셋 파일을 생성하는 에셋 파일 생성부 및 스테레오스코픽 비디오 데이터의 전달 또는 소비를 위한 시그널링 메시지를 생성하는 시그널링 메시지 생성부를 포함한다. 그리고 생성된 단일의 에셋 파일과 생성된 시그널링 메시지 중에서 적어도 하나가 스테레오스코픽 비디오 데이터와 관련된 스테레오스코픽 비디오 정보를 포함한다.

Description

스테레오스코픽 비디오 데이터를 처리하기 위한 MMT 장치 및 방법{MMT apparatus and method for processing stereoscopic video data}
본 발명은 엠펙 멀티미디어 전송(Mpeg Multimedia Transport, MMT) 기술에 관한 것으로, 보다 구체적으로 스테레오스코픽 비디오 데이터를 처리하기 위한 MMT 장치와 방법에 관한 것이다.
MMT(MPEG Media Transport)는 MPEG 시스템 분과(systems sub-working group)에서 멀티미디어 콘텐츠의 저장 및 전송을 위하여 개발한 새로운 표준 기술이다. MPEG 시스템 분과에 의한 기존의 표준 기술은 방송망에서 멀티미디어 콘텐츠를 전송하기 위해 필요한 패킷화, 동기화, 멀티플렉싱 등의 기능을 규정한 것으로서, MPEG-2 TS(Transport Stream) 기술로서 표준화되어 현재 널리 쓰여지고 있다. 그런데 MPEG-2 TS 기술은 기존의 방송망을 전제로 하여 개발된 기술로서, 아이피(Internet Protocol, IP) 기반의 네트워크 환경에 기초한 IPTV 방송이나 모바일 방송을 위한 멀티미디어 콘텐츠의 전송에는 부적법한 요소가 존재하여 비효율적이다. 따라서, MPEG 시스템 분과에서는 새로운 미디어 전송 환경은 물론 앞으로 예상되는 미디어 전송 환경을 고려하여 새로운 미디어 전송 표준의 필요성을 인식하게 되었고, 그 결과물로서 MMT 표준을 개발하게 되었다.
현재 개발되어 있는 MMT 표준인 'ISO/IEC 23008-1'은 미디어 데이터의 저장 및 전송에 관련된 표준으로서, MMT 시스템을 이용하여 미디어 데이터인 에셋(Asset)에 대한 캡슐화 처리를 통하여 개별 파일로서 저장하거나 전송하는 것에 관하여 규정하고 있다. 그런데 현재 제정 완료된 MMT 표준은 2D 영상을 포함하는 멀티미디어 콘텐츠의 처리 및 소비 기능을 지원하지만, 스테레오스코픽 비디오를 포함하는 멀티미디어 콘텐츠에 대한 처리 및 소비 기능을 지원하지는 않는다.
한편, 최근 디지털 방송, 인터넷을 통한 스트리밍을 통한 고해상도 비디오 서비스가 보편화됨에 따라 초고선명 텔레비전(Ultra High Definition Television, UHDTV) 서비스가 부각되고 있으며, 이와 함께 스테레오스코픽 비디오, 즉 3D 영상을 이용한 디지털 방송 서비스도 차세대 방송 서비스로 주목 받고 있다. 특히, 4K 이상의 고화질의 상용 스테레오스코픽 디스플레이의 출시 등과 같은 관련 기술의 발달을 바탕으로 각 가정에서 3D 영상을 즐길 수 있는 3DTV 서비스가 가까운 미래에 제공될 수 있을 것으로 예상되고 있다.
이러한 추세에 따라서, 일례로 ATSC(Advanced Television Systems Committee)는 4K UHD 방송 서비스를 목적으로 표준화(ATSC 3.0)를 진행하고 있다. 이러한 상황에서 3DTV 서비스를 제공하기 위해서는 우선적으로 2D 콘텐츠에 대한 4K UHD 방송 서비스와 호환성을 유지하면서 3D 콘텐츠도 전송하는 방식을 채택할 수 밖에 없는데, 문제는 3D 콘텐츠를 전송하기 위해서는 2D 콘텐츠를 전송하는 것보다는 많은 대역폭이 필요하다는 것이다. ATSC에서는 이를 해결하기 위하여 기존 채널에 별도의 채널을 결합하여 3DTV 방송 서비스를 제공하는 방식으로 기술을 개발하고 있다. 즉, ATSC 3.0에서는 2개의 UHD 채널이나 HD 채널, 즉 멀티 채널 기반의 3DTV 방송 서비스에 대한 표준화가 진행되고 있으며, 이를 서비스하기 위한 부호화 방법으로는 고효율 비디오 코딩(High Efficiency Video Coding, HEVC)이나 SHVC(Scalable HEVC)를 채택하고 있다.
하지만, ATSC 3.0에서도 아직까지 3DTV 방송 서비스를 위하여 스테레오스코픽 비디오 데이터를 어떻게 전송할 것인지에 대하여 구체적으로 제안하고 있지 않다. 3DTV 방송 서비스를 제공하기 위하여, MPEG 시스템을 통하여 3D 콘텐츠를 제공하는 방법도 하나의 방안으로 고려해볼 수 있지만, 전술한 바와 같이 MPEG-2 TS 기술은 현재의 방송망에 적합하지 않은 측면이 있으며 MMT 기술은 아직까지 3D 콘텐츠의 전송을 지원하지는 않는다.
본 발명이 해결하고자 하는 하나의 과제는 MMT 시스템에서 스테레오스코픽 비디오 콘텐츠를 저장 및/또는 전송할 수 있도록 스테레오스코픽 비디오 데이터를 처리하기 위한 MMT 장치와 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 하나의 과제는 2DTV 방송 서비스와 호환성을 유지하면서 고화질의 3DTV 방송 서비스를 제공할 수 있는 스테레오스코픽 비디오 데이터의 처리하기 위한 MMT 장치와 방법을 제공하는 것이다.
상기한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 스테레오스코픽 비디오 데이터를 처리하기 위한 MMT 장치는 상기 스테레오스코픽 비디오 데이터의 전부 또는 일부를 포함하는 단일의 에셋 파일을 생성하는 에셋 파일 생성부 및 상기 스테레오스코픽 비디오 데이터의 전달 또는 소비를 위한 시그널링 메시지를 생성하는 시그널링 메시지 생성부를 포함한다. 그리고 상기 단일의 에셋 파일과 상기 시그널링 메시지 중에서 적어도 하나가 상기 스테레오스코픽 비디오 데이터와 관련된 스테레오스코픽 비디오 정보를 포함한다.
상기 실시예의 일 측면에 의하면, 상기 스테레오스코픽 비디오 정보는 스테레오스코픽 비디오를 구성하는 좌영상과 우영상의 조합 방식을 지시하는 조합 유형 정보, 상기 스테레오스코픽 비디오에서 상기 좌영상과 상기 우영상 사이의 순서를 지시하는 영상 순서 지시 정보 및 상기 스테레오스코픽 비디오를 구성하는 특정 뷰의 영상이 좌영상인지 또는 우영상인지를 지시하는 영상 종류 지시 정보를 포함할 수 있다. 이 때, 상기 조합 유형 정보는 좌우 방식, 수직 라인 교차 방식, 프레임 시퀀스 방식, 좌/우 뷰 시퀀스 방식 및 상하 방식 중에서 어느 하나를 지시할 수 있다. 그리고 상기 영상 종류 지시 정보는 상기 조합 유형 정보가 좌/우 뷰 시퀀스 방식을 지시할 경우에만 상기 스테레오스코픽 비디오 정보에 포함될 수 있다. 이러한 스테레오스코픽 비디오 정보는 ISO/IEC 23008-11 표준에 규정되어 있는 스테레오스코픽 비디오 미디어 정보(svmi) 박스의 신택스 포맷으로 기술되어서 상기 단일의 에셋 파일에 포함되거나 또는 ISO/IEC 23008-1 표준에 규정되어 있는 스테레오스코픽 비디오 정보 디스크립터의 신택스 포맷으로 기술되어서 상기 시그널링 메시지의 엠엠티 패키지(MMT Package, MP) 테이블에 포함될 수 있다.
상기 실시예의 다른 측면에 의하면, 상기 스테레오스코픽 비디오 정보는 스테레오스코픽 비디오가 2D 비디오 서비스에 호환될 수 있는지를 지시하는 서비스 호환성 정보, 상기 스테레오스코픽 비디오를 구성하는 특정 뷰의 영상이 좌영상인지 또는 우영상인지를 지시하는 영상 종류 지시 정보, 상기 스테레오스코픽 비디오를 구성하는 특정 뷰의 영상이 2D 비디오 서비스에 이용될 수 있는지를 지시하는 기본 영상 지시 정보, 상기 스테레오스코픽 비디오를 구성하는 좌영상과 우영상의 조합 방식을 지시하는 조합 유형 정보 및 상기 스테레오스코픽 비디오에서 상기 좌영상과 상기 우영상 사이의 순서를 지시하는 영상 순서 지시 정보를 포함하고, 상기 영상 종류 지시 정보와 상기 기본 영상 지시 정보는 상기 서비스 호환성 정보가 호환 가능하다는 것을 지시할 경우에만 포함되고, 상기 조합 유형 정보와 상기 기본 영상 지시 정보는 상기 서비스 호환성 정보가 호환 가능하지 않다는 것을 지시할 경우에만 포함될 수 있다. 이러한 스테레오스코픽 비디오 정보는 ISO/IEC 23008-1 표준에 규정되어 있는 스테레오스코픽 비디오 정보(svin) 박스의 신택스 포맷으로 기술되어서 상기 단일의 에셋 파일에 포함되거나 또는 ISO/IEC 23008-1 표준에 규정되어 있는 스테레오스코픽 비디오 정보 디스크립터의 신택스 포맷으로 기술되어서 상기 시그널링 메시지의 엠엠티 패키지(MMT Package, MP) 테이블에 포함될 수 있다.
상기한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 MMT 장치에서 스테레오스코픽 비디오 데이터를 처리하는 방법은 상기 스테레오스코픽 비디오 데이터의 전부 또는 일부를 포함하는 단일의 에셋 파일을 생성하는 단계 및 상기 스테레오스코픽 비디오 데이터의 전달 또는 소비를 위한 시그널링 메시지를 생성하는 단계를 포함한다. 그리고 상기 단일의 에셋 파일의 생성 단계와 상기 시그널링 메시지의 생성 단계 중에서 적어도 하나의 단계에서 상기 스테레오스코픽 비디오 데이터와 관련된 스테레오스코픽 비디오 정보를 포함시켜서 상기 단일의 에셋 파일 또는 상기 시그널링 메시지를 생성할 수 있다.
상기 실시예의 일 측면에 의하면, 상기 스테레오스코픽 비디오 정보는 스테레오스코픽 비디오를 구성하는 좌영상과 우영상의 조합 방식을 지시하는 조합 유형 정보, 상기 스테레오스코픽 비디오에서 상기 좌영상과 상기 우영상 사이의 순서를 지시하는 영상 순서 지시 정보 및 상기 스테레오스코픽 비디오를 구성하는 특정 뷰의 영상이 좌영상인지 또는 우영상인지를 지시하는 영상 종류 지시 정보를 포함하고, 상기 조합 유형 정보는 좌우 방식, 수직 라인 교차 방식, 프레임 시퀀스 방식, 좌/우 뷰 시퀀스 방식 및 상하 방식 중에서 어느 하나를 지시하며, 상기 영상 종류 지시 정보는 상기 조합 유형 정보가 좌/우 뷰 시퀀스 방식을 지시할 경우에만 상기 스테레오스코픽 비디오 정보에 포함될 수 있다. 그리고 이러한 스테레오스코픽 비디오 정보는 ISO/IEC 23008-11 표준에 규정되어 있는 스테레오스코픽 비디오 미디어 정보(svmi) 박스의 신택스 포맷으로 기술되어서 상기 단일의 에셋 파일에 포함되거나 또는 ISO/IEC 23008-1 표준에 규정되어 있는 스테레오스코픽 비디오 정보 디스크립터의 신택스 포맷으로 기술되어서 상기 시그널링 메시지의 엠엠티 패키지(MMT Package, MP) 테이블에 포함될 수 있다.
전술한 본 발명의 실시예에 의하면, 에셋 파일 및/또는 시그널링 메시지에 스테레오스코픽 비디오 정보를 포함시키기 때문에 MMT 시스템에서 스테레오스코픽 비디오 콘텐츠를 저장 및/또는 전송하는 것이 가능하다. 아울러, 스테레오스코픽 정보는 조합 유형 정보, 영상 순서 지시 정보 및 영상 종류 지시 정보 등을 포함하므로, DTV 방송 서비스와 호환성을 유지하면서 고화질의 3DTV 방송 서비스를 제공할 수 있다.
도 1은 MMT 시스템의 각 기능 영역이 포함된 계층 구조를 도시한 도면이다.
도 2는 MMT 패키지의 논리적 구조를 보여 주는 도면이다.
도 3은 본 발명의 일 실시예에 따른 스테레오스코픽 비디오 데이터를 처리하기 위한 MMT 장치의 구성을 개략적으로 나타낸 블록도이다.
도 4a는 도 3의 에셋 파일 생성부가 생성한 에셋 파일의 개략적인 구성의 일례를 보여 주는 도면이다.
도 4b는 도 4a의 에셋 파일 헤더를 표현하기 위한 파일 신택스의 일례를 보여 주는 도면이다.
도 5a는 도 3의 에셋 파일 생성부가 생성한 에셋 파일의 개략적인 구성의 다른 예를 보여 주는 도면이다.
도 5b는 도 5a의 에셋 파일 헤더를 표현하기 위한 파일 신택스의 일례를 보여 주는 도면이다.
도 6a는 MP 테이블에 포함될 수 있는 스테레오스코픽 비디오 정보 디스크립터의 일례를 보여 주는 도면이다.
도 6b는 MP 테이블에 포함될 수 있는 스테레오스코픽 비디오 정보 디스크립터의 다른 예를 보여 주는 도면이다.
도 7a는 2개의 독립 HEVC 코덱을 이용하여 3DTV 방송 서비스를 제공하기 위한 서비스 시나리오를 도식적으로 나타낸 도면이다.
도 7b는 1개의 SHVC 코덱을 이용하여 3DTV 방송 서비스를 제공하기 위한 서비스 시나리오를 도식적으로 나타낸 도면이다.
도 8은 시스템 레벨에서 전송되는 스테레오스코픽 비디오 정보의 다른 예로서 HEVC 스테레오스코픽 비디오 정보 디스크립터(HEVC_stereoscopic_video_info_descriptor)를 보여 주는 도면이다.
도 9는 2D/3D 지시자(Multi_view_position_SEI) 메시지의 일례를 보여 주는 도면이다.
도 10a는 도 7a에 도시된 서비스 시나리오에 따라서 비디오 레벨에서 2DTV 프로그램과 3DTV 프로그램을 구분하는 방법의 일례를 도식적으로 보여 주는 도면이다.
도 10b도 7b 도시된 서비스 시나리오에 따라서 비디오 레벨에서 2DTV 프로그램과 3DTV 프로그램을 구분하는 방법의 일례를 도식적으로 보여 주는 도면이다.
이하 첨부된 도면을 참조하여 실시예들을 보다 상세히 설명한다. 그러나 이러한 도면은 기술적 사상의 내용과 범위를 쉽게 설명하기 위한 예시일 뿐, 이에 의해 기술적 범위가 한정되거나 변경되는 것은 아니다. 그리고 이러한 예시에 기초하여 기술적 사상의 범위 안에서 다양한 변형과 변경이 가능함은 통상의 기술자에게는 당연할 것이다. 또한, 본 명세서에서 사용되는 용어 및 단어들은 실시예에서의 기능을 고려하여 선택된 용어들로서, 그 용어의 의미는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 따라서 후술하는 실시예들에서 사용된 용어는, 본 명세서에 구체적으로 정의된 경우에는 그 정의에 따르며, 구체적인 정의가 없는 경우는 통상의 기술자들이 일반적으로 인식하는 의미로 해석되어야 할 것이다.
도 1은 MMT 시스템의 각 기능 영역이 포함된 계층 구조를 도시한 도면이다. 도 1을 참조하면, MMT 시스템(100)은 캡슐화 기능 계층(Encapsulation Function Layer, Layer E)(110), 전달 기능 계층(Delivery Function Layer, Layer D)(120), 및 시그널링 기능 계층(Signaling Function Layer, Layer S)(130)으로 구성된다.
미디어 부호화 계층(Media Coding Layer, 12)에서 압축된 멀티미디어 데이터는 캡슐화 기능 계층(110)을 거쳐 파일 포맷과 유사한 형태로 패키지화되어 출력된다. 캡슐화 기능 계층(110)은 미디어 부호화 계층으로부터 제공되는 코딩된 미디어 데이터를 입력으로 하여 MMT 서비스를 위한 작은 단위인 데이터 프래그먼트(fragment) 또는 세그먼트(segment)를 생성하며, 데이터 프래그먼트를 사용하여 MMT 서비스를 위한 액세스 유닛(Access Unit, AU)들을 생성한다. 또한 캡슐화 기능 계층(110)은 액세스 유닛(AU)들을 결합 및/또는 분할함으로써 복합 컨텐츠의 생성 및 이의 저장 및/또는 전송을 위한 소정 포맷의 데이터를 생성한다.
전달 기능 계층(120)은 네트워크를 통해 전송되는 미디어의 네트워크 플로우 멀티플렉싱(network flow multiplexing), 네트워크 패킷화(network packetization), QoS 제어 등을 수행할 수 있다. 보다 구체적으로, 전달 기능 계층(120)은 캡슐화 기능 계층(110)에서 출력되는 하나 이상의 데이터 유닛(Data Unit, DU)을 MMT 페이로드 포맷으로 변환한 후, MMT 전송 패킷 헤더(MMT transport packet header)를 부가하여 MMT 패킷으로 구성하거나 또는 기존 전송 프로토콜인 RTP(Real-time Protocol)를 사용하여 RTP 패킷으로 구성할 수 있다. 전달 기능 계층(120)에서 구성된 패킷들은 UDP(User Datagram Protocol) 또는 TCP(Transport Control Protocol)와 같은 전송 프로토콜 계층(14)을 거쳐 최종적으로 인터넷 프로토콜(IP) 계층(16)에서 IP 패킷화되어 전송된다.
그리고 시그널링 기능 계층(130)은 패키지의 전송 및 소비에 필요한 제어 정보 혹은 시그널링 정보를 소정의 포맷의 메시지로 생성한다. 생성된 시그널링 메시지는 미디어 데이터와 함께 MMT 패킷화되어 전송되거나 또는 별도의 시그널링 메시지로서 MMT 패킷화되어 수신측으로 전송될 수 있다.
그리고 도 2는 MMT 패키지(MMT package)의 논리적 구조(logical structure)를 보여 주는 도면으로서, MMT 패키지를 구성하는 구성 요소들과 각 구성 요소들 사이의 관계를 보여 준다.
도 2를 참조하면, MMT 패키지는 미디어 콘텐츠 데이터 및 이와 관련된 메타 데이터의 집합으로서, 표현 정보(Presentation Information, PI), 하나 이상의 에셋들(Assets), 그리고 전송 특성들(Transport Characteristics, TCs)로 구성되어 있다. PI는 에셋들의 시공간적 관계를 설명해주는 정보이다. 에셋은 오디오, 비디오 또는 웹페이지 등과 같은 인코딩된 미디어 데이터로서, 각 에셋은 에셋 아이디(Asset ID)를 식별자로서 가진다. 에셋은 각각 하나 이상의 미디어 프로세싱 유닛(Media Processing Unit, MPU)을 포함할 수 있는데, MPU는 ISO-BMFF(International Standard Organization - Base Media File Format) 형태의 파일로서 독립적으로 소비될 수 있다. 하나의 에셋 내에서 연속하는 2개의 MPU가 동일한 미디어 샘플을 포함할 수는 없다. 그리고 TC는 에셋의 전송을 위해서 필요한 QoS 정보를 제공해주는데, 하나의 에셋은 하나의 TC만을 가질 수 있으나 하나의 TC는 복수의 에셋(Multiple Assets)에 사용될 수 있다.
MMT 기술에 의하면, 좌영상과 우영상이 별개의 프레임으로 구성된 스테레오스코픽 비디오의 경우에, 좌영상과 우영상은 각각 별개의 에셋 아이디를 갖는다. 그리고 MMT 기술에서는 콘텐츠의 전송이나 재생 및 이를 위한 데이터 처리나 서비스 품질 관리 등은 에셋 단위로 별개의 파일로 간주되어 독립적으로 처리되므로, 좌영상과 우영상을 복원하여 재생하기 위해서는 좌영상 에셋과 우영상 에셋을 시간적으로 동기화하여 3D 영상으로 재생하는 것이 필요하다. 또한, 좌영상 에셋과 우영상 에셋으로 구성된 스테레오스코픽 비디오의 경우에는 2D 디스플레이에도 재생될 수 있도록 하는 것이 바람직하다.
아울러, 스테레오스코픽 비디오는 좌영상과 우영상이 별개의 프레임으로 구성될 수도 있지만, 좌영상과 우영상이 하나의 프레임에 다양한 방식으로 조합되어 구성될 수도 있다. 예컨대, 스테레오스코픽 비디오는 좌우 방식(side-by-side type), 상하 방식(top-bottom type) 또는 수직 라인 교차 방식(vertical line interleaved type)으로 조합되어 하나의 프레임을 구성할 수도 있다. 이 경우에, 좌우 영상이 조합된 스테레오스코픽 비디오는 전체가 하나의 에셋으로 간주될 수 있지만, 여기에만 한정되는 것은 아니며 좌영상과 우영상이 각각 별개의 에셋으로 간주될 수도 있다.
이와 같이, 스테레오스코픽 비디오는 다양한 방식으로 조합되어 구성될 수 있다. 그리고 하나의 프레임에 조합된 스테레오스코픽 비디오는 그 자체가 하나의 에셋으로 구성될 수 있지만, 좌영상과 우영상이 각각 별개의 에셋으로 구성될 수도 있다. 아울러, 스테레오스코픽 비디오 데이터는 3D 디스플레이를 이용하여 재생되는 것은 물론 2D 디스플레이를 이용하여 재생될 수 있는 것이 바람직하다. 따라서 MMT 시스템을 통해 스테레오스코픽 비디오 데이터를 저장하거나 또는 MMT 송신 엔티티(MMT sending entity)로부터 MMT 수신 엔티티(MMT receiving entity)로 전송될 수 있도록 하기 위해서는, 전술한 스테레오스코픽 비디오에 고유한 특성들을 충분히 고려하여 스테레오스코픽 비디오 데이터를 처리할 필요가 있다.
도 3은 본 발명의 일 실시예에 따른 스테레오스코픽 비디오 데이터를 처리하기 위한 MMT 장치의 구성을 개략적으로 나타낸 블록도이다. 도 3을 참조하면, MMT 장치(200)는 에셋 파일 생성부(210) 및 시그널링 메시지 생성부(220)를 포함한다. 그리고 MMT 장치(200)는 전송부(230)를 더 포함할 수도 있다. 도 3에 도시된 MMT 장치는 그 구성요소(또는 기능)의 일부 또는 전부가 MMT 표준에 규정되어 있는 MMT 송신 엔티티의 구성 요소(또는 기능)로서 구현될 수 있다.
에셋 파일 생성부(210)는 각 에셋에 대하여 엑세스 유닛(Access Unit, AU)을 기반으로 에셋 파일을 생성한다. 여기서, '에셋 파일'이란 반드시 물리적으로 하나의 파일을 의미하는 것은 아니며, 복수의 파일들의 집합일 수 있다. 즉, '에셋 파일'이란 단일 에셋을 구성하는 인코딩된 스테레오스코픽 비디오 데이터는 물론 이와 관련된 스테레오스코픽 비디오 정보를 포함하는 하나 이상의 파일들의 집합이다. 전술한 바와 같이, 스테레오스코픽 비디오의 경우에는 좌영상과 우영상이 각각 하나의 에셋 파일을 구성하거나 또는 소정의 방식으로 하나의 프레임에 조합된 스테레오스코픽 비디오 영상은 그 자체가 하나의 에셋 파일을 구성할 수도 있다. 전자의 경우에 스테레오스코픽 비디오 데이터의 일부가 단일의 에셋 파일에 포함되지만, 후자의 경우에는 스테레오스코픽 비디오 데이터의 전부가 단일의 에셋 파일에 포함된다.
도 3의 에셋 파일 생성부(210)가 생성한 에셋 파일은 저장 매체에 저장될 수 있는데, 이 경우에 생성되는 에셋 파일에는 스테레오스코픽 비디오 정보가 반드시 포함된다. 이와는 달리, 에셋 파일 생성부(210)가 생성한 에셋 파일은 전송부(230)로 입력되어 MMT 수신 장치로 전송될 수도 있는데, 이 경우에는 생성되는 에셋 파일에는 스테레오스코픽 비디오 정보가 포함되거나 또는 포함되지 않을 수도 있다. 왜냐하면, 후술하는 바와 같이 시그널링 메시지 생성부(220)가 생성하는 시그널링 메시지에 스테레오스코픽 비디오 정보가 포함될 수 있기 때문이다. 이하, 에셋 파일 생성부(210)가 생성하는 에셋 파일에 스테레오스코픽 비디오 정보가 포함되는 경우에 대하여 설명한다.
도 4a는 도 3의 에셋 파일 생성부(210)가 생성한 에셋 파일의 개략적인 구성의 일례를 보여 주는 도면이다. 도 4a를 참조하면, 에셋 파일(300)은 에셋 파일 헤더(asset file header, 300a) 및 에셋 파일 몸체(asset file body, 300b)를 포함한다. 이러한 에셋 파일(300)의 구성은 각 유닛에 포함되는 데이터의 특성에 따른 논리적인 것으로서, 물리적으로는 다양한 형태로 구현될 수 있다. 예를 들어, 에셋 파일 헤더(300a)와 에셋 파일 몸체(300b)는 반드시 하나의 파일일 필요가 없으며, 각각이 하나의 파일로 구성되거나 또는 각각이 복수의 파일로 구성될 수도 있다.
에셋 파일 몸체(300b)는 적어도 스테레오스코픽 비디오 데이터를 포함하는 유닛으로서, 예컨대 다수의 MPU를 포함하여 구성될 수 있다. 에셋 파일 몸체(300b)는 스테레오스코픽 데이터가 포함되는 부분으로서, 에셋 파일의 페이로드(payload)에 해당된다고 볼 수 있다. 전술한 바와 같이, MPU는 소정의 포맷으로 인캡슐레이션된 ISOBMFF 형태의 파일일 수 있으며, 인캡슐레이션된 MPU는 에셋 아이디와 함께 고유의 일련 번호(sequence number)를 가지고 있다. 동일한 에셋을 구성하는 MPU들은 모두 동일한 에셋 아이디를 갖는다. MPU는 인코딩된 스테레오스코픽 비디오 데이터를 포함하는데, 각 MPU는 많아야 하나의 미디어 트랙을 포함한다.
에셋 파일 헤더(300a)는 해당 에셋과 관련된 여러 가지 정보들, 즉 에셋 파일 정보(asset file information)를 포함한다. 특히, 에셋이 스테레오스코픽 비디오 데이터를 구성하는 좌영상 에셋이거나 또는 우영상 에셋인 경우에, 에셋 파일 헤더(300a)는 에셋 파일 정보의 하나로서 스테레오스코픽 비디오 정보(310)를 포함할 수 있다. 이외에도, 에셋 파일 헤더(300a)는 에셋 아이디의 구조(scheme), 길이(length), 값(value) 등과 같은 에셋 아이디에 관한 정보를 더 포함할 수도 있다(도 4b 및 도 5b 참조).
본 실시예의 일 측면에 의하면, 스테레오스코픽 정보(310)는 조합 유형 정보(311), 영상 순서 지시 정보(312) 및 영상 종류 지시 정보(313)를 포함할 수 있다. 조합 유형 정보(311)는 스테레오스코픽 비디오를 구성하는 좌영상과 우영상이 조합된 방식을 지시한다. 예를 들어, 조합 유형 정보(311)는 좌우 방식, 수직 라인 교차 방식, 프레임 시퀀스 방식(frame sequential type), 좌/우 뷰 시퀀스 방식(Left/Right view sequence type), 상하 방식 중에서 어느 하나를 지시할 수 있다.
표 1은 이러한 조합 유형 정보(311)의 일례를 보여 주는 것이다. 표 1을 참조하면, 조합 유형 정보(311)로서 좌우 방식과 상하 방식의 경우에 전체(full) 영상과 하프(half) 영상의 2가지 종류가 존재한다는 것을 알 수 있다. 그리고 표 1에서 좌측 칼럼의 값(value)이 예시적인 것이라는 것은 당업자에게 자명하다.
Figure pat00001
영상 순서 지시 정보(312)는 조합된 스테레오스코픽 비디오에서 좌영상과 우영상 사이의 순서를 지시하는 정보이다. 예를 들어, 영상 순서 지시 정보(312)는 좌영상이 먼저인지(is_left_first) 또는 우영상이 먼저인지(is_right_first)를 나타내는 방식으로 표시될 수 있다. 표 2는 이러한 영상 순서 지시 정보(312)의 일례를 보여 주는 것이다. 표 2를 참조하면, 각 조합 유형의 경우에 대하여 영상 순서 지시 정보(표 2의 경우에는 is_left_first의 값)에 따라서 좌측 영상(left view)과 우측 영상(right view) 각각이 프레임의 어떤 위치인지 또는 일련의 프레임 시퀀스 중에서 홀수 번째 프레임 또는 짝수 번째 프레임인지를 알 수 있다.
Figure pat00002
영상 종류 지시 정보(313)는 해당 뷰의 영상의 좌영상인지 또는 우영상인지를 지시하는 정보이다. 예컨대, 영상 종류 지시 정보(313)는 해당 뷰가 좌영상인지(is_left) 또는 우영상인지(is_right)를 나타내는 방식으로 표시될 수 있다. 따라서 영상 종류 지시 정보(313)는 조합 유형 정보(311)가 지시하는 좌영상과 우영상의 조합 방식이 좌/우 뷰 시퀀스 방식(표 1에서 그 값이 '0x03'인 경우)인 경우에만 포함되는 정보일 수 있다.
도 4b는 도 4a의 에셋 파일 헤더(300a)를 표현하기 위한 파일 신택스(syntax)의 일례를 보여 주는 도면이다. 도 4b의 파일 신택스는 ISO/IEC 23008-11의 스테레오스코픽 비디오 미디어 정보(Stereoscopic Video Media Information, svmi) 박스의 파일 포맷에 기초하여 작성된 것으로서, 이것은 단지 예시적인 것이다. 도 4a의 에셋 파일 헤더(300a)는 다른 표준이나 다른 형식의 파일 포맷에 기초하여 작성될 수도 있다.
도 4b를 참조하면, 도 4a의 조합 유형 정보(311)는 "stereoscopic_composition_type"라는 엘리먼트(element)로 표현되어 있는데, 일례로 이 엘리먼트는 전술한 표 1에 도시된 내용을 지시할 수 있다. 그리고 도 4a의 영상 순서 지시 정보(312)는 "is_left_first"라는 엘리먼트로 표현이 되어 있으며, 일례로 이 엘리먼트는 전술한 표 2에 도시된 내용을 지시할 수 있다. 또한 도 4a의 영상 종류 지시 정보(313)는 "is_left"라는 엘리먼트로 표현이 되어 있는데, 해당 엘리먼트는 "stereoscopic_composition_type"의 값이 0x03이어서 좌/우 뷰 시퀀스 유형일 경우에만 포함된다는 것을 알 수 있다. 이외에도, 파일 신택스는 에셋 아이디의 구조, 길이, 값 등을 지시하기 위한 엘리먼트들을 포함할 수 있다.
도 5a는 도 3의 에셋 파일 생성부(210)가 생성한 에셋 파일의 개략적인 구성의 다른 예를 보여 주는 도면이다. 도 5a의 에셋 파일(400)의 구성도 각 유닛에 포함되는 데이터의 특성에 따른 논리적인 것으로서, 물리적으로는 다양한 형태로 구현될 수 있다. 예를 들어, 에셋 파일 헤더(400a)와 에셋 파일 몸체(400b)는 각각 하나 또는 복수의 파일로 구성될 수 있다. 도 5a를 참조하면, 에셋 파일(400)은 에셋 파일 헤더(400a) 및 에셋 파일 몸체(400b)를 포함한다는 점에서 도 4a의 에셋 파일(300)과 그 구성이 동일하다. 그리고 에셋 파일 몸체(400b)는 적어도 스테레오스코픽 비디오 데이터를 포함하는 유닛으로서, 예컨대 다수의 MPU를 포함하여 구성될 수 있다는 점에서도 도 4a의 에셋 파일 몸체(300b)와 동일하므로, 여기에서는 이에 대한 구체적인 설명은 생략한다.
에셋 파일 헤더(400a)는 해당 에셋과 관련된 여러 가지 정보들, 즉 에셋 파일 정보를 포함하고, 특히 에셋이 스테레오스코픽 비디오 데이터를 구성하는 좌영상 에셋이거나 또는 우영상 에셋인 경우에, 에셋 파일 헤더(400a)는 에셋 파일 정보로서 스테레오스코픽 비디오 정보(410)를 포함할 수 있다는 점에서, 도 4a의 에셋 파일 헤더(300a)와 동일하다. 다만, 에셋 파일 헤더(400a)는 그 구체적인 구성에 있어서 에셋 파일 헤더(300a)와 차이가 있는데, 보다 구체적으로 스테레오스코픽 정보(410)는 서비스 호환성 정보(411), 영상 종류 지시 정보(412), 기본 영상 지시 정보(413), 조합 유형 정보(414) 및 영상 순서 지시 정보(415)를 포함할 수 있다.
서비스 호환성 정보(411)는 스테레오스코픽 비디오가 2D 비디오를 제공하는 서비스에도 이용될 수 있는지(is_service_compatible)를 지시하는 정보이다. 예컨대, 스테레오스코픽 비디오에 대하여 특별한 영상 처리 기술을 적용하지 않고 2D 비디오 서비스에 활용될 수 있는 경우라면, 해당 스테레오스코픽 비디오는 2D 비디오 서비스와 호환성이 있다고 볼 수 있다. 통상적으로 좌/우 뷰 시퀀스 방식으로 조합된 스테레오스코픽 비디오의 경우에, 해당 스테레오스코픽 비디오로부터 좌영상 뷰 또는 우영상 뷰만을 추출하여 2D 비디오 서비스를 제공하는 것이 가능하다. 반면, 그 이외의 방식으로 조합된 스테레오스코픽 비디오의 경우에는 2D 비디오 서비스를 제공하기 위해서는 각 프레임의 영상에 대하여 추가적인 영상 처리가 필요하다.
영상 종류 지시 정보(412)와 기본 영상 지시 정보(413)는 스테레오스코픽 비디오가 2D 비디오 서비스와 호환성이 있는 경우, 즉 서비스 호환성 정보(411)가 호환 가능하다는 것을 지시하는 값을 가질 경우에만 스테레오스코픽 정보(410)에 포함되는 정보일 수 있다. 여기서, 영상 종류 지시 정보(412)는 해당 뷰의 영상이 좌영상인지 또는 우영상인지를 지시하는 정보이다. 예컨대, 영상 종류 지시 정보(412)는 해당 뷰가 좌영상인지(is_left) 또는 우영상인지(is_right)를 나타내는 방식으로 표시될 수 있다. 그리고 기본 영상 지시 정보(413)는 해당 뷰의 영상이 2D 비디오 서비스에도 이용될 수 있는지, 즉 기본 영상(is_base)인지를 지시하는 정보이다. 따라서 기본 영상 지시 정보(413)에 의하여 기본 영상으로 특정된 뷰의 영상만이 2D 비디오 서비스에 이용될 수 있다.
조합 유형 정보(414)는 스테레오스코픽 비디오를 구성하는 좌영상과 우영상이 조합된 방식을 지시한다. 예를 들어, 조합 유형 정보(411)는 좌우 방식, 수직 라인 교차 방식, 프레임 시퀀스 방식 및 상하 방식 중에서 어느 하나를 지시할 수 있다. 이러한 조합 유형 정보(414)는 좌/우 뷰 시퀀스 방식이 없다는 점에서 표 1의 조합 유형 정보(311)와 차이가 있다.
표 3은 이러한 조합 유형 정보(414)의 일례를 보여 주는 것이다. 표 3을 참조하면, 조합 유형 정보(414)로서 좌우 방식과 상하 방식의 경우에 전체(full) 영상과 하프(half) 영상의 2가지 종류가 존재한다는 것을 알 수 있다. 그리고 표 3에서 좌측 칼럼의 값(value)이 예시적인 것이라는 것은 당업자에게 자명하다.
Figure pat00003
영상 순서 지시 정보(415)는 조합된 스테레오스코픽 비디오에서 좌영상과 우영상 사이의 순서를 지시하는 정보이다. 예를 들어, 영상 순서 지시 정보(415)는 좌영상이 먼저인지(is_left_first) 또는 우영상이 먼저인지(is_right_first)를 나타내는 방식으로 표시될 수 있다. 이러한 영상 순서 지시 정보(415)의 일례는 표 2를 참조하여 전술하였으므로, 이에 대한 구체적인 설명은 생략한다.
도 5b는 도 5a의 에셋 파일 헤더(400a)를 표현하기 위한 파일 신택스(syntax)의 일례를 보여 주는 도면이다. 도 5b의 파일 신택스는 ISO/IEC 23008-1의 스테레오스코픽 비디오 정보(Stereoscopic Video Information, svin) 박스의 파일 포맷에 기초하여 작성된 것으로서, 이것은 단지 예시적인 것이다. 즉, 도 5a의 에셋 파일 헤더(400a)는 다른 표준이나 다른 형식의 파일 포맷에 기초하여 작성될 수도 있다.
도 5b를 참조하면, 도 5a의 서비스 호환성 정보(411)는 "is_service_compatible"라는 엘리먼트로 표현되어 있는데, 일례로 그 값이 '0'이면 2D 비디오 서비스와 호환되지 않지만 그 값이 '1'인 경우에는 2D 비디오 서비스와 호환이 된다는 것을 지시할 수 있다. 그리고 도 5a의 영상 종류 지시 정보(412)와 기본 영상 지시 정보(413)는 각각 "is_left" 및 "is_base"라는 엘리먼트로 표현되어 있는데, 해당 엘리먼트들은 "is_service_compatible"이 2D 비디오 서비스와 호환이 되는 경우를 지시할 경우에 포함된다는 것을 알 수 있다. 반면, "is_service_compatible"이 2D 비디오 서비스와 호환이 되지 않는 경우를 지시할 경우에는, 조합 유형 정보(414) 및 영상 순서 지시 정보(415)가 포함될 수 있는데, 각각 "stereoscopic_composition_type" 및 "is_left_first"라는 엘리먼트로 표현되어 있다. 일례로 엘리먼트 "stereoscopic_composition_type"는 전술한 표 3에 도시된 내용을 지시할 수 있다. 이외에도, 파일 신택스는 에셋 아이디의 구조, 길이, 값 등을 지시하기 위한 엘리먼트들을 포함할 수 있다.
계속해서 도 3을 참조하면, 시그널링 메시지 생성부(220)는 스테레오스코픽 비디오 데이터의 전달(delivery) 및/또는 소비(consumption)를 위한 시그널링 메시지를 생성한다. 여기서, 시그널링 메시지는 ISO/IEC 23008-1 표준에 규정되어 있는 포맷의 메시지로서, 이에는 시그널링 테이블(signaling tables)이나 디스크립터(descriptors) 등의 형식으로 정보가 포함될 수 있다. 시그널링 메시지 생성부(220)는 해당 에셋의 표현 정보, 전송 특성은 물론 스테레오스코픽 비디오 데이터와 MMT 수신 엔티티로부터 수신한 다양한 정보에 기초하여 시그널링 메시지를 생성할 수 있다.
본 실시예의 일 측면에 의하면, 시그널링 메시지 생성부(220)가 생성하는 시그널링 메시지에는 스테레오스코픽 비디오 데이터를 포함하는 MMT 패키지의 소비를 위하여 필요한 스테레오스코픽 비디오 정보가 포함될 수 있다. 예를 들어, 시그널링 메시지 생성부(220)는 도 4a에 도시되어 있는 에셋 파일(300)의 에셋 파일 헤더(310)에 포함되어 있는 스테레오스코픽 비디오 정보를 포함하는 시그널링 메시지를 생성할 수 있다. 즉, 시그널링 메시지 생성부(220)는 조합 유형 정보, 영상 순서 지시 정보 및 영상 종류 지시 정보를 포함하는 시그널링 메시지를 생성할 수 있다. 다른 예로, 시그널링 메시지 생성부(220)는 도 5a에 도시되어 있는 에셋 파일(400)의 에셋 파일 헤더(410)에 포함되어 있는 스테레오스코픽 비디오 정보를 포함하는 시그널링 메시지를 생성할 수 있는데, 이 경우에 서비스 호환성 정보, 영상 종류 지시 정보, 기본 영상 지시 정보, 조합 유형 정보 및 영상 순서 지시 정보를 포함하는 시그널링 메시지를 생성할 수 있다.
본 실시예의 다른 측면에 의하면, 시그널링 메시지 생성부(220)가 생성하는 시그널링 메시지에는 도 4a 또는 도 5a를 참조하여 전술한 스테레오스코픽 비디오 정보는 포함되지 않을 수 있다. 이 경우에, ISO/IEC 23008-1 표준에서 규정하고 있는 다른 종류의 정보들이 시그널링 메시지에 포함될 수 있다. 다만, 이러한 실시예는 도 4a 또는 도 5a에 도시된 바와 같이 에셋 파일의 에셋 파일 헤더에 스테레오스코픽 비디오 정보가 포함되는 경우에만 한정된다. 하지만, 에셋 파일의 에셋 파일 헤더에 스테레오스코픽 비디오 정보가 포함되는 경우라고 하더라도, 시그널링 메시지 생성부(220)가 생성하는 시그널링 메시지에도 스테레오스코픽 비디오 정보의 전부 또는 일부가 포함될 수 있다는 것은 당업자에게 자명하다. 이하, 시그널링 메시지 생성부(220)가 생성하는 시그널링 메시지에 스테레오스코픽 비디오 정보의 전부가 포함되는 경우에 대해서 설명한다.
일례로, 시그널링 메시지 생성부(220)는 ISO/IEC 23008-1 표준에 규정되어 있는 MMT 패키지(MP) 테이블에 스테레오스코픽 비디오 정보를 포함시킬 수 있다. 이 경우에, 스테레오스코픽 비디오 정보는 MP 테이블에 포함되는 디스크립터들 중의 하나일 수 있다. 그리고 이러한 스테레오스코픽 비디오 정보 디스크립터(stereoscopic_video_info_descriptor)는 MP 테이블의 에셋 디스크립터 루프(asset_descriptor loop)에 포함될 수 있다.
도 6a는 MP 테이블에 포함될 수 있는 스테레오스코픽 비디오 정보 디스크립터의 일례를 보여 주는 도면이다. 도 6a를 참조하면, 스테레오스코픽 비디오 정보 디스크립터는 조합 유형 정보, 영상 순서 지시 정보 및 영상 종류 지시 정보를 포함한다. 보다 구체적으로, 조합 유형 정보는 "stereoscopic_composition_type"라는 엘리먼트(element)로 표현되어 있으며, 영상 순서 지시 정보는 "is_left_first"라는 엘리먼트로 표현이 되어 있으며, 또한 영상 종류 지시 정보는 "is_left"라는 엘리먼트로 표현이 되어 있다. 또한, 영상 종류 지시 정보는 "stereoscopic_composition_type"의 값이 0x03이어서 좌/우 뷰 시퀀스 유형일 경우에만 포함된다는 것을 알 수 있다(표 1 참조).
도 6b는 MP 테이블에 포함될 수 있는 스테레오스코픽 비디오 정보 디스크립터의 다른 예를 보여 주는 도면이다. 도 6b를 참조하면, 스테레오스코픽 비디오 정보 디스크립터(stereoscopic_video_info_descriptor)는 서비스 호환성 정보, 영상 종류 지시 정보, 기본 영상 지시 정보, 조합 유형 정보 및 영상 순서 지시 정보를 포함한다. 보다 구체적으로, 서비스 호환성 정보는 "is_service_compatible"이라는 엘리먼트로 표현되어 있으며, 영상 종류 지시 정보와 기본 영상 지시 정보는 각각 "is_left" 및 "is_base"라는 엘리먼트로 표현되어 있는데, 해당 엘리먼트들은 "is_service_compatible"이 2D 비디오 서비스와 호환이 되는 경우를 지시할 경우에 포함된다는 것을 알 수 있다. 반면, "is_service_compatible"이 2D 비디오 서비스와 호환이 되지 않는 경우를 지시할 경우에는, 조합 유형 정보 및 영상 순서 지시 정보가 포함될 수 있는데, 각각 "stereoscopic_composition_type" 및 "is_left_first"라는 엘리먼트로 표현되어 있다.
계속해서 도 3을 참조하면, 전송부(230)는 에셋 파일 생성부(210)가 생성한 에셋 파일 및/또는 시그널링 메시지 생성부(220)가 생성한 시그널링 메시지를 전달 받아서 MMT 수신 엔티티로 전송한다. 여기서, 전송부(230)는 전달받은 에셋 파일 및/또는 시그널링 메시지를 ISO/IEC 23008-1 표준에 따른 MMT 프로토콜(MMT Protocol, MMTP)에 따라서 MMT 패킷으로 변환하여 MMT 수신 장치로 전송할 수 있다. 하지만, 본 실시예가 여기에 한정되는 것은 아니며, 전송부(230)는 전달받은 에셋 파일 및/또는 시그널링 메시지를 다른 인터넷 전송 프로토콜이나 실시간 전송 프로토콜 또는 3D 방송 프로토콜에 따라서 MMT 수신 장치로 전송할 수도 있다.
다음으로 전술한 MMT 장치를 이용하여 3DTV 방송 서비스를 제공하는 방법에 대하여 설명한다. 후술하는 방법은 ATSC 3.0에서 고화질 비디오를 부호화하기 위하여 채택된 HEVC 또는 SHVC 코덱을 기반으로 2DTV 방송 서비스와 호환성을 유지하면서 고화질의 3DTV 방송 서비스를 제공할 수 있도록 멀티 채널로 전송되는 3D 스테레오스코픽 비디오 데이터와 관련된 정보, 즉 스테레오스코픽 비디오 정보의 시그널링 방법과 관련된다.
도 7a는 2개의 독립 HEVC 코덱을 이용하여 3DTV 방송 서비스를 제공하기 위한 서비스 시나리오를 도식적으로 나타낸 도면이다. 도 7a에서 2D는 두 개의 채널, 즉 제1 채널(Ch1)과 제2 채널(Ch2)에서 각기 독립적으로 제공되는 2DTV 방송 프로그램을 의미하며, 3D는 두 개의 채널을 연동하여 제공되는 3DTV 방송 프로그램을 의미한다. 그리고 3DTV 방송 프로그램의 경우에 독립된 2개의 HEVC 스트림을 동기화하여 제공하는 것으로서, 2개의 기본 계층 스트림을 통하여 서비스가 제공되는 것으로 볼 수 있다.
도 7b는 1개의 SHVC 코덱을 이용하여 3DTV 방송 서비스를 제공하기 위한 서비스 시나리오를 도식적으로 나타낸 도면이다. 도 7b에서도 2D는 두 개의 채널, 즉 제1 채널(Ch1)과 제2 채널(Ch2)에서 각기 독립적으로 제공되는 2DTV 방송 프로그램을 의미하며, 3D는 두 개의 채널을 연동하여 제공되는 3DTV 방송 프로그램을 의미한다. 그리고 3DTV 방송 프로그램의 경우에 스테레오스코픽 비디오 데이터를 스케일러블 HEVC 코덱, 즉 SHVC 코덱으로 부호화하여 생성된 기본 계층(base layer) 스트림과 향상 계층(enhanced layer) 스트림을 동기화하여 제공되는 것으로 볼 수 있다.
도 7a 및 도 7b를 참조하면, 3DTV 방송 서비스로서 시간 범위 t1에서는 2DTV 방송 프로그램이 방송되고, 시간 범위 t2에서는 3DTV 방송 프로그램이 방송되고, 시간 범위 t3에서는 다시 2DTV 방송 프로그램이 방송되는 것을 알 수 있다. 이것은 3DTV 방송 서비스가 24시간 동안 계속해서 3D 콘텐츠를 이용하여 방송하기 보다는 2D 콘텐츠와 3D 콘텐츠를 섞어서 방송하는 2DTV/3DTV 혼용 방송 서비스로서 고려되고 있기 때문이다. 하지만 이것이 3DTV 방송 서비스로서 24시간 동안 계속하여 3D 프로그램을 방송하는 것을 배제하는 것은 아니라는 것은 당업자에게 자명하다.
도 7a 또는 도 7b에 도시되어 있는 서비스 시나리오에 따라서 3DTV 방송 서비스를 제공하기 위해서는, 해당 시간에 방송되는 프로그램이 2DTV 방송 프로그램인지 또는 3DTV 방송 프로그램인지를 명확히 표시하는 것이 필요하다. 예를 들어, 2DTV 방송 프로그램과 3DTV 방송 프로그램 사이의 전환이 있는 경우에, 방송 프로그램의 전환이 있다는 사실을 알려 주는 정보를 전송하는 방법이 있다. 아울러, 3DTV 방송 프로그램과 관련해서는 2D 디스플레이를 구비한 수신 장치에서도 3DTV 방송 프로그램을 재생하는데 필요한 정보도 함께 전송할 수 있다.
다른 예로, 해당 시간에 방송되는 방송 프로그램이 2DTV 방송 프로그램인지인지 또는 3DTV 방송 프로그램인지를 지시하는 프로그램 종류 지시 정보를 전송하는 방법이 있을 수 있다. 여기서, 해당 방송 프로그램이 3DTV 방송 프로그램을 지시하는 경우에는, 2D 디스플레이를 구비한 수신 장치에서도 3DTV 방송 프로그램을 재생하는데 필요한 정보도 프로그램 종류 지시 정보와 함께 전송될 수 있다. 이하에서는 프로그램 종류 지시 정보와 2D 디스플레이를 구비한 수신 장치에서도 3DTV 방송 프로그램을 재생하는데 필요한 정보를 '스테레오스코픽 비디오 정보'라고 한다.
이 경우에, 스테레오스코픽 비디오 정보는 비디오 레벨에서 전송되거나 또는 시스템 레벨에서 전송될 수가 있다. 비디오 레벨에서의 전송은 해당 정보가 비디오 스트림에 포함되어서 전송되는 것을 가리킨다. 예를 들어, 도 4a 또는 도 5a에 도시된 에셋 파일 헤더에 포함되는 스테레오스코픽 비디오 정보가 비디오 레벨에서 전송되는 스테레오스코픽 비디오 정보가 될 수 있다. 반면, 시스템 레벨에서의 전송은 해당 정보가 비디오 스트림이 아닌 다른 스트림에 포함되어 전송되는 것을 가리킨다. 예를 들어, 도 6a 또는 도 6b를 참조하여 설명한 시그널링 메시지의 MP 테이블에 포함되는 스테레오스코픽 비디오 정보 디스크립터(stereoscopic_video_info_descriptor)가 시스템 레벨에서 전송되는 스테레오스코픽 비디오 정보가 될 수 있다.
도 8은 시스템 레벨에서 전송되는 스테레오스코픽 비디오 정보의 다른 예로서 HEVC 스테레오스코픽 비디오 정보 디스크립터(HEVC_stereoscopic_video_info_descriptor)를 보여 주는 도면이다. 도 8을 참조하면, HEVC 스테레오스코픽 비디오 정보 디스크립터는 디스크립터 태그(Descriptor_tag) 정보, 디스크립터 길이(Descriptor_length) 정보, 서비스 식별자(Service_id) 정보, 뷰 위치(View_position) 정보 및 2D/3D 지시자(Multi_view_position_SEI_present) 정보를 포함한다.
디스크립터 태그 정보는 디스크립터를 식별하기 위한 것이다. 디스크립터 길이 정보는 해당 디스크립터의 길이를 지시한다. 서비스 식별자 정보는 좌영상 또는 우영상을 전송하는 채널 식별자(ID) 또는 서비스 식별자(ID)를 나타내는 것이다. 예를 들어, 도 7a에 도시된 바와 같이, 제1 채널을 통하여 좌영상이 제공되고 또한 제2 채널을 통하여 우영상이 제공되는 경우에 제1 채널을 통하여 전송되는 HEVC 스테레오스코픽 비디오 정보 디스크립터의 서비스 식별자 정보는 제2 채널의 서비스 식별자 또는 채널 식별자를 포함할 수 있다. 뷰 위치 정보는 현재 전송되는 영상이 좌영상인지 또는 우영상인지를 식별하기 위한 것이다.
그리고 2D/3D 지시자 존부 정보는 HEVC 또는 SHVC 부호화 스트림에 2D/3D 지시자(Multi_view_position_SEI) 정보가 포함되어 있는지 여부를 지시한다. 이것은 해당 비디오 스트림이 2DTV 프로그램인지 또는 3DTV 프로그램인지를 보다 명확하게 구분하기 위하여 사용되는 것이다. 왜냐하면, 실제 시스템 레벨의 정보 전송은 각 프레임 또는 AU(Access Unit) 단위로 전송되기 보다는 일정한 주기(예컨대, 500ms)를 가지고 전송되므로, 프레임 단위로 해당 콘텐츠가 2D인지 또는 3D 콘텐츠인지 명확하게 인식하기 힘들기 때문이다. 따라서 2D/3D 지시자 존부(Multi_view_position_SEI_present) 정보가 '1'로 설정될 경우에, 수신기는 본 정보를 토대로 부호화 스트림 레벨에서 보다 명확한 2DTV 프로그램인지 또는 3DTV 프로그램인지를 인식할 수 있다. 또한, 해당 기술자의 존재 유무를 토대로 시스템 레벨에서 2DTV 프로그램인지 3DTV 프로그램인지를 인식할 수가 있다. 즉, 해당 기술자는 3D 프로그램에만 존재하게 된다.
HEVC 부호화 표준(ISO/IEC 23008-2)에서는 2D/3D 지시자(Multi_view_position_SEI) 메시지를 정의하고 있는데, 이것은 여러 개의 뷰를 포함하는 다시점 비디오에 대하여 부호화시에 각 뷰의 위치를 제공하기 위한 것이다. 이러한 2D/3D 지시자(Multi_view_position_SEI) 메시지의 일례는 도 9에 도시되어 있으며, 해당 메시지는 HEVC 부호화 표준(ISO/IEC 23008-2)에 구체적으로 설명되어 있으므로, 여기에서 이에 대한 설명은 생략한다.
도 10a는 도 7a에 도시된 서비스 시나리오에 따라서 비디오 레벨에서 2DTV 프로그램과 3DTV 프로그램을 구분하는 방법의 일례를 도식적으로 보여 주는 도면이다. 도 10a를 참조하면, 도 9에 도시된 2D/3D 지시자(multi_view_position_SEI) 메시지는 3D 프로그램 구간에만 전송된다는 것을 알 수 있다. 따라서 비디오 레벨, 즉 전송되는 프로그램 콘텐츠에 해당 메시지가 포함되어 있는지 여부에 기초하여 2DTV 프로그램인지 또는 3DTV 프로그램인지를 판별할 수 있다.
그리고 각 채널을 통하여 독립된 2개의 HEVC 코덱을 이용하여 부호화된 비디오 스트림이 전송되는 경우에는, 도 10a에 도시된 바와 같이 제1 채널(Ch1)과 제2 채널(Ch2) 모두를 통하여 2D/3D 지시자 메시지가 비디오 스트림에 포함된다. 이 때, 제1 채널(Ch1)과 제2 채널(Ch2)의 부호화 스트림 내에 전송되는 정보는 단지 독립된 비디오 스트림이 하나만 전송되므로 num_view_minus1=0 및 view_position[0]==으로 할당된다. 그리고 이 경우에는 비디오 레벨에서 좌우 영상을 구분할 수 없기 때문에, 좌우 영상의 구분은 시스템 레벨에서 전송되는 스테레오스코픽 비디오 정보, 예컨대 도 8에서 제안된 HEVC 스테레오스코픽 비디오 정보 디스크립터를 활용할 수 있다.
또한, 2D/3D 지시자(multi_view_position_SEI) 메시지는 부호화 스트림의 AU에 할당될 수 있다. 이에 의하면, 도 10a에 도시된 바와 같이, 2D/3D 지시자(multi_view_position_SEI) 메시지는 3DTV 프로그램 구간 동안 각 AU마다 포함됨으로써, 프레임 레벨에서 3DTV 프로그램인지 또는 2DTV 프로그램인지를 구분하는 것이 가능하다.
도 10b는 도 7b에 도시된 서비스 시나리오에 따라서 비디오 레벨에서 2DTV 프로그램과 3DTV 프로그램을 구분하는 방법의 일례를 도식적으로 보여 주는 도면이다. 도 10b를 참조하면, 도 9에 도시된 2D/3D 지시자(multi_view_position_SEI) 메시지는 기본 계층의 비디오 스트림에만 포함되어 전송된다는 것을 알 수 있다. 따라서 기본 계층의 비디오 스트림에 해당 메시지가 포함되어 있는지 여부에 기초하여 2DTV 프로그램인지 또는 3DTV 프로그램인지를 판별할 수 있다. 이 때, 도 10b의 서비스 시나리오에서는 2개의 뷰의 영상이 SHVC로 부호화되므로, 기본 계층의 비디오 스트림에는 num_view_minus1=1, view_position[0]=0 및 view_position[1]=1로 할당된다. 이 때, view_position[0]=0는 좌(우)영상을 의미하며, view_position[1]=1은 우(좌)영상을 의미할 수 있다. 따라서 이 경우에는 비디오 레벨에서 좌우 영상을 구분하는 것이 가능하다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상의 설명은 실시예에 불과할 뿐, 이에 의하여 한정되는 것으로 해석되어서는 안된다. 본 발명의 기술 사상은 특허청구범위에 기재된 발명에 의해서만 특정되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다. 따라서 전술한 실시예가 다양한 형태로 변형되어 구현될 수 있다는 것은 통상의 기술자에게 자명하다.
*

Claims (13)

  1. 스테레오스코픽 비디오 데이터를 처리하기 위한 MMT 장치에 있어서,
    상기 스테레오스코픽 비디오 데이터의 전부 또는 일부를 포함하는 단일의 에셋 파일을 생성하는 에셋 파일 생성부; 및
    상기 스테레오스코픽 비디오 데이터의 전달 또는 소비를 위한 시그널링 메시지를 생성하는 시그널링 메시지 생성부를 포함하고,
    상기 단일의 에셋 파일과 상기 시그널링 메시지 중에서 적어도 하나가 상기 스테레오스코픽 비디오 데이터와 관련된 스테레오스코픽 비디오 정보를 포함하는 것을 특징으로 하는 MMT 장치.
  2. 제1항에 있어서, 상기 스테레오스코픽 비디오 정보는
    스테레오스코픽 비디오를 구성하는 좌영상과 우영상의 조합 방식을 지시하는 조합 유형 정보;
    상기 스테레오스코픽 비디오에서 상기 좌영상과 상기 우영상 사이의 순서를 지시하는 영상 순서 지시 정보; 및
    상기 스테레오스코픽 비디오를 구성하는 특정 뷰의 영상이 좌영상인지 또는 우영상인지를 지시하는 영상 종류 지시 정보를 포함하는 것을 특징으로 하는 MMT 장치.
  3. 제2항에 있어서,
    상기 조합 유형 정보는 좌우 방식, 수직 라인 교차 방식, 프레임 시퀀스 방식, 좌/우 뷰 시퀀스 방식 및 상하 방식 중에서 어느 하나를 지시하는 것을 특징으로 하는 MMT 장치.
  4. 제3항에 있어서,
    상기 영상 종류 지시 정보는 상기 조합 유형 정보가 좌/우 뷰 시퀀스 방식을 지시할 경우에만 상기 스테레오스코픽 비디오 정보에 포함되는 것을 특징으로 하는 MMT 장치.
  5. 제4항에 있어서,
    상기 스테레오스코픽 비디오 정보는 ISO/IEC 23008-11 표준에 규정되어 있는 스테레오스코픽 비디오 미디어 정보(svmi) 박스의 신택스 포맷으로 기술되어서 상기 단일의 에셋 파일에 포함되는 것을 특징으로 하는 MMT 장치.
  6. 제4항에 있어서,
    상기 스테레오스코픽 비디오 정보는 ISO/IEC 23008-1 표준에 규정되어 있는 스테레오스코픽 비디오 정보 디스크립터의 신택스 포맷으로 기술되어서 상기 시그널링 메시지의 엠엠티 패키지(MMT Package, MP) 테이블에 포함되는 것을 특징으로 하는 MMT 장치.
  7. 제1항에 있어서, 상기 스테레오스코픽 비디오 정보는
    스테레오스코픽 비디오가 2D 비디오 서비스에 호환될 수 있는지를 지시하는 서비스 호환성 정보;
    상기 스테레오스코픽 비디오를 구성하는 특정 뷰의 영상이 좌영상인지 또는 우영상인지를 지시하는 영상 종류 지시 정보;
    상기 스테레오스코픽 비디오를 구성하는 특정 뷰의 영상이 2D 비디오 서비스에 이용될 수 있는지를 지시하는 기본 영상 지시 정보;
    상기 스테레오스코픽 비디오를 구성하는 좌영상과 우영상의 조합 방식을 지시하는 조합 유형 정보; 및
    상기 스테레오스코픽 비디오에서 상기 좌영상과 상기 우영상 사이의 순서를 지시하는 영상 순서 지시 정보를 포함하고,
    상기 영상 종류 지시 정보와 상기 기본 영상 지시 정보는 상기 서비스 호환성 정보가 호환 가능하다는 것을 지시할 경우에만 포함되고,
    상기 조합 유형 정보와 상기 기본 영상 지시 정보는 상기 서비스 호환성 정보가 호환 가능하지 않다는 것을 지시할 경우에만 포함되는 것을 특징으로 하는 MMT 장치.
  8. 제7항에 있어서,
    상기 스테레오스코픽 비디오 정보는 ISO/IEC 23008-1 표준에 규정되어 있는 스테레오스코픽 비디오 정보(svin) 박스의 신택스 포맷으로 기술되어서 상기 단일의 에셋 파일에 포함되는 것을 특징으로 하는 MMT 장치.
  9. 제7항에 있어서,
    상기 스테레오스코픽 비디오 정보는 ISO/IEC 23008-1 표준에 규정되어 있는 스테레오스코픽 비디오 정보 디스크립터의 신택스 포맷으로 기술되어서 상기 시그널링 메시지의 엠엠티 패키지(MMT Package, MP) 테이블에 포함되는 것을 특징으로 하는 MMT 장치.
  10. MMT 장치에서 스테레오스코픽 비디오 데이터를 처리하는 방법에 있어서,
    상기 스테레오스코픽 비디오 데이터의 전부 또는 일부를 포함하는 단일의 에셋 파일을 생성하는 단계; 및
    상기 스테레오스코픽 비디오 데이터의 전달 또는 소비를 위한 시그널링 메시지를 생성하는 단계를 포함하고,
    상기 단일의 에셋 파일의 생성 단계와 상기 시그널링 메시지의 생성 단계 중에서 적어도 하나의 단계에서 상기 스테레오스코픽 비디오 데이터와 관련된 스테레오스코픽 비디오 정보를 포함시켜서 상기 단일의 에셋 파일 또는 상기 시그널링 메시지를 생성하는 것을 특징으로 하는 방법.
  11. 제10항에 있어서,
    상기 스테레오스코픽 비디오 정보는 스테레오스코픽 비디오를 구성하는 좌영상과 우영상의 조합 방식을 지시하는 조합 유형 정보, 상기 스테레오스코픽 비디오에서 상기 좌영상과 상기 우영상 사이의 순서를 지시하는 영상 순서 지시 정보 및 상기 스테레오스코픽 비디오를 구성하는 특정 뷰의 영상이 좌영상인지 또는 우영상인지를 지시하는 영상 종류 지시 정보를 포함하고,
    상기 조합 유형 정보는 좌우 방식, 수직 라인 교차 방식, 프레임 시퀀스 방식, 좌/우 뷰 시퀀스 방식 및 상하 방식 중에서 어느 하나를 지시하며,
    상기 영상 종류 지시 정보는 상기 조합 유형 정보가 좌/우 뷰 시퀀스 방식을 지시할 경우에만 상기 스테레오스코픽 비디오 정보에 포함되는 것을 특징으로 하는 방법.
  12. 제11항에 있어서,
    상기 스테레오스코픽 비디오 정보는 ISO/IEC 23008-11 표준에 규정되어 있는 스테레오스코픽 비디오 미디어 정보(svmi) 박스의 신택스 포맷으로 기술되어서 상기 단일의 에셋 파일에 포함되는 것을 특징으로 하는 방법.
  13. 제11항에 있어서,
    상기 스테레오스코픽 비디오 정보는 ISO/IEC 23008-1 표준에 규정되어 있는 스테레오스코픽 비디오 정보 디스크립터의 신택스 포맷으로 기술되어서 상기 시그널링 메시지의 엠엠티 패키지(MMT Package, MP) 테이블에 포함되는 것을 특징으로 하는 방법.
KR1020230043597A 2015-06-17 2023-04-03 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법 KR20230050292A (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR1020150086168 2015-06-17
KR20150086168 2015-06-17
KR20150088689 2015-06-22
KR1020150088689 2015-06-22
KR20150153397 2015-11-02
KR1020150153397 2015-11-02
KR1020160072720A KR102519209B1 (ko) 2015-06-17 2016-06-10 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020160072720A Division KR102519209B1 (ko) 2015-06-17 2016-06-10 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20230050292A true KR20230050292A (ko) 2023-04-14

Family

ID=57736807

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020160072720A KR102519209B1 (ko) 2015-06-17 2016-06-10 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법
KR1020230043597A KR20230050292A (ko) 2015-06-17 2023-04-03 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020160072720A KR102519209B1 (ko) 2015-06-17 2016-06-10 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법

Country Status (4)

Country Link
US (3) US10412364B2 (ko)
JP (2) JP6730320B2 (ko)
KR (2) KR102519209B1 (ko)
CN (2) CN113490016B (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110351492B (zh) * 2018-04-06 2021-11-19 中兴通讯股份有限公司 一种视频数据处理方法、装置及介质
US11363330B2 (en) 2019-10-01 2022-06-14 Samsung Electronics Co., Ltd. Method, apparatus and computer-readable recording medium for transmitting or receiving VPCC data
CN112153395A (zh) * 2020-09-01 2020-12-29 海信电子科技（深圳）有限公司 流媒体数据播放方法和显示设备
US20220417543A1 (en) * 2021-06-28 2022-12-29 Tencent America LLC Multiview view position supplementary enhancement information message

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100585966B1 (ko) * 2004-05-21 2006-06-01 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
EP2501137A3 (en) * 2007-06-11 2012-12-12 Samsung Electronics Co., Ltd. Method and apparatus for generating header information of stereoscopic image
KR101434674B1 (ko) 2007-09-07 2014-08-29 삼성전자주식회사 스테레오스코픽 파일을 생성하기 위한 장치 및 방법
KR101311982B1 (ko) * 2009-06-15 2013-09-30 에스케이텔링크 주식회사 디지털 방송 시스템의 스테레오스코픽 비디오 서비스 제공/수신 방법 및 장치
JP2011066871A (ja) * 2009-08-21 2011-03-31 Sony Corp コンテンツ伝送方法及び表示装置
KR20110088334A (ko) * 2010-01-28 2011-08-03 삼성전자주식회사 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 생성 방법 및 장치, 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 수신 방법 및 장치
JP5559614B2 (ja) * 2010-04-21 2014-07-23 日立マクセル株式会社 受信装置および受信方法
KR101789636B1 (ko) * 2010-04-30 2017-10-25 엘지전자 주식회사 이미지 처리 방법 및 장치
CA2808395C (en) * 2010-08-23 2016-07-12 Lg Electronics Inc. Method for providing 3d video data in a 3dtv
US20150179218A1 (en) * 2010-09-10 2015-06-25 3DOO, Inc. Novel transcoder and 3d video editor
KR20120038385A (ko) * 2010-10-13 2012-04-23 한국전자통신연구원 스테레오스코픽 영상 정보의 전송 방법 및 장치
KR20120060771A (ko) * 2010-12-02 2012-06-12 한국전자통신연구원 스테레오스코픽 영상 정보의 전송 방법 및 장치
WO2012074331A2 (ko) 2010-12-02 2012-06-07 한국전자통신연구원 스테레오스코픽 영상 정보의 전송 방법 및 장치
CN105120370A (zh) * 2010-12-03 2015-12-02 Lg电子株式会社 3d广播接收器和用于接收3d广播信号的方法
CN103190153B (zh) * 2010-12-13 2015-11-25 韩国电子通信研究院 用于立体感视频服务的信号传送方法和使用该方法的设备
KR101827800B1 (ko) 2011-01-19 2018-02-12 한국전자통신연구원 단일 포트 또는 다중 포트에서 미디어 콘텐츠 전송 방법 및 장치
KR101857416B1 (ko) 2011-06-13 2018-05-16 한국전자통신연구원 오버헤드를 최소화한 헤더를 가지는 패킷 기반의 미디어 데이터 전송 방법
KR101946861B1 (ko) 2011-09-21 2019-02-13 삼성전자주식회사 멀티미디어 방송 서비스의 미디어 데이터 동기화 방법 및 장치
CN103947215B (zh) 2011-09-23 2018-07-27 韩国电子通信研究院 传送媒体数据的方法和设备、接收媒体数据的设备和方法
KR101885852B1 (ko) * 2011-09-29 2018-08-08 삼성전자주식회사 컨텐트 전송 및 수신 방법 및 장치
WO2013055168A1 (ko) * 2011-10-13 2013-04-18 한국전자통신연구원 콤포지션 정보 및 전송 특성 정보가 연동된 미디어 데이터를 이종 ip 네트워크를 통하여 전송하는 방법
US9319721B2 (en) * 2011-10-13 2016-04-19 Electronics And Telecommunications Research Institute Method of configuring and transmitting an MMT transport packet
KR102331705B1 (ko) * 2011-10-13 2021-12-01 삼성전자주식회사 멀티미디어 서비스 송수신 방법 및 장치
JP2015503281A (ja) * 2011-11-23 2015-01-29 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ スケーラビリティ及びビュー情報を提供するストリーミングサービスのための方法及び装置
WO2013121823A1 (ja) * 2012-02-16 2013-08-22 ソニー株式会社 送信装置、送信方法および受信装置
JP6003901B2 (ja) * 2012-03-01 2016-10-05 ソニー株式会社 送信装置、送信方法および受信装置
KR20130108198A (ko) 2012-03-23 2013-10-02 (주)휴맥스 Ｍｍｔ 패키지화된 ｓｖｃ 비디오 콘텐츠의 하이브리드 전송 방법 및 수신 방법
US20150089564A1 (en) * 2012-04-23 2015-03-26 Lg Electronics Inc. Signal processing device and method for 3d service
KR101501344B1 (ko) * 2012-05-02 2015-03-10 삼성전자주식회사 멀티미디어 서비스 송수신 방법 및 장치
KR20140002447A (ko) * 2012-06-29 2014-01-08 삼성전자주식회사 멀티미디어 시스템에서 적응적 미디어 구조 송수신 방법 및 장치
US9843801B2 (en) * 2012-07-10 2017-12-12 Qualcomm Incorporated Generalized residual prediction for scalable video coding and 3D video coding
WO2014010830A1 (ko) * 2012-07-10 2014-01-16 한국전자통신연구원 엠엠티의 하이브리드 전송 서비스에서 패킷 전송 및 수신 장치 및 방법
US9674499B2 (en) * 2012-08-15 2017-06-06 Qualcomm Incorporated Compatible three-dimensional video communications
US20140079116A1 (en) * 2012-09-20 2014-03-20 Qualcomm Incorporated Indication of interlaced video data for video coding
US9635394B2 (en) * 2013-01-24 2017-04-25 Electronics And Telecommunications Research Institute Method and device for flexible MMT asset transmission and reception
US9503732B2 (en) * 2013-04-10 2016-11-22 Arris Enterprises, Inc. Re-sampling with phase offset adjustment for luma and chroma to select filters in scalable video coding
KR102148158B1 (ko) * 2013-04-23 2020-08-28 삼성전자주식회사 통신 시스템에서 패킷 송수신 방법 및 장치
US10070125B2 (en) * 2013-07-31 2018-09-04 Nokia Technologies Oy Method and apparatus for video coding and decoding
KR20160074601A (ko) * 2013-10-22 2016-06-28 브이아이디 스케일, 인크. 비디오 송신 시스템에 대한 에러 은닉 모드 시그널링
EP3073742A4 (en) * 2013-11-21 2017-06-28 LG Electronics Inc. Signal transceiving apparatus and signal transceiving method
JP6696430B2 (ja) * 2014-11-05 2020-05-20 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Also Published As

Publication number Publication date
JP7080929B2 (ja) 2022-06-06
CN107787585A (zh) 2018-03-09
CN113490016A (zh) 2021-10-08
US10412364B2 (en) 2019-09-10
US20200007846A1 (en) 2020-01-02
JP6730320B2 (ja) 2020-07-29
US10911736B2 (en) 2021-02-02
US20180302608A1 (en) 2018-10-18
US20210160475A1 (en) 2021-05-27
CN107787585B (zh) 2021-08-17
KR20160149150A (ko) 2016-12-27
KR102519209B1 (ko) 2023-04-07
US11405599B2 (en) 2022-08-02
JP2020184773A (ja) 2020-11-12
JP2018526839A (ja) 2018-09-13
CN113490016B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
US11445228B2 (en) Apparatus for transmitting broadcast signal, apparatus for receiving broadcast signal, method for transmitting broadcast signal and method for receiving broadcast signal
KR20230050292A (ko) 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법
US8289998B2 (en) Method and apparatus for generating three (3)-dimensional image data stream, and method and apparatus for receiving three (3)-dimensional image data stream
JP6440083B2 (ja) 送信方法、受信方法、送信装置及び受信装置
US20170325000A1 (en) Transmission device, transmission method, reception device, and reception method
KR20130014428A (ko) 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3ｄ 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법
EP3888375A1 (en) Method, device, and computer program for encapsulating media data into a media file
US20210099754A1 (en) Method, apparatus and computer-readable recording medium for transmitting or receiving vpcc data
KR101584111B1 (ko) 클라우드 컴퓨팅을 이용한 멀티미디어 서비스 품질 향상 방법 및 이를 위한 기기
JP2023164690A (ja) 送信装置、受信装置、送信方法及び受信方法
KR20130056829A (ko) 3dtv 방송을 위한 송수신 장치 및 그 제어 방법
GB2608399A (en) Method, device, and computer program for dynamically encapsulating media content data
KR101941781B1 (ko) Mmt 기반 8k 방송 수신 방법 및 장치
WO2016204502A1 (ko) 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법
US20120269256A1 (en) Apparatus and method for producing/regenerating contents including mpeg-2 transport streams using screen description
KR20160149144A (ko) 미디어 데이터의 처리를 위한 mmt 장치 및 방법
KR101943214B1 (ko) Mmt 기반 8k 방송 스트림 생성 방법 및 이를 적용한 방송 서비스 시스템
US20130120526A1 (en) Association of mvc stereoscopic views to left or right eye display for 3dtv
KR20200026115A (ko) 스케일러블 코덱에 기반하여 방송 서비스를 제공하는 방법 및 장치
KR20140004045A (ko) 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3ｄ 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E601 Decision to refuse application