KR101871728B1 - 3d 방송 서비스를 위한 방송 신호 송수신 방법 및 장치 - Google Patents

3d 방송 서비스를 위한 방송 신호 송수신 방법 및 장치 Download PDF

Info

Publication number
KR101871728B1
KR101871728B1 KR1020167034344A KR20167034344A KR101871728B1 KR 101871728 B1 KR101871728 B1 KR 101871728B1 KR 1020167034344 A KR1020167034344 A KR 1020167034344A KR 20167034344 A KR20167034344 A KR 20167034344A KR 101871728 B1 KR101871728 B1 KR 101871728B1
Authority
KR
South Korea
Prior art keywords
frame
image
packing
depth
depth map
Prior art date
Application number
KR1020167034344A
Other languages
English (en)
Other versions
KR20170010375A (ko
Inventor
황수진
서종열
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20170010375A publication Critical patent/KR20170010375A/ko
Application granted granted Critical
Publication of KR101871728B1 publication Critical patent/KR101871728B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H04N21/6379—Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명의 3D (3-dimentional) 방송 서비스를 위한 방송 신호 송수신 방법 및/또는 장치에 관한 것이다. 본 발명의 일 실시예에 따른 방송 신호 송신 방법은 좌영상 프레임, 우영상 프레임, 좌영상에 대한 뎁스맵 프레임 및 우영상에 대한 뎁스맵 프레임 중 적어도 하나를 패킹한 각각의 패킹 프레임들 및 상기 패킹 프레임들에 대한 시그널링 정보를 인코딩하는 단계, 상기 인코딩된 패킹 프레임들 및 시그널링 정보를 포함하는 방송 신호를 생성하는 단계 및 상기 생성된 방송 신호를 전송하는 단계를 포함한다.

Description

3D 방송 서비스를 위한 방송 신호 송수신 방법 및 장치{METHOD AND APPARATUS FOR TRANSMITTING AND RECEIVING BROADCAST SIGNAL FOR 3D BROADCASTING SERVICE}
본 발명은 방송 신호의 송수신에 관한 것이다. 보다 상세하게는, 3D (3-dimentional) 방송 서비스를 위한 방송 신호의 송수신 방법 및/또는 장치에 관한 것이다.
일반적으로 3차원 영상은 두 눈의 스테레오(stereo) 시각 원리를 이용하여 입체감을 제공한다. 인간은 두 눈의 시차, 다시 말해 약 65mm 정도 떨어진 두 눈 사이의 간격에 의한 양안 시차(binocular parallax)를 통해 원근감을 느끼므로, 3D 영상은 좌안과 우안 각각이 연관된 평면 영상을 보도록 영상을 제공하여 입체감과 원근감을 제공할 수 있다. 이러한 3차원 영상 디스플레이 방법에는 스테레오스코픽(stereoscopic) 방식, 부피표현(volumetric) 방식, 홀로그래픽(holographic) 방식 등이 있다. 스테레오스코픽 방식의 경우, 좌안에서 시청되기 위한 좌영상 (left view; 레프트 뷰) 이미지와 우안에서 시청되기 위한 우영상 (right view; 라이트 뷰) 이미지를 제공하여, 편광 안경 또는 디스플레이 장비 자체를 통해 좌안과 우안이 각각 레프트 뷰 이미지와 우측 이미지를 시청함으로써 3차원 영상 효과를 인지할 수 있도록 한다.
디지털 기술 및 통신 기술의 발전으로 방송, 영화뿐만 아니라 인터넷 및 개인 미디어 등의 다양한 영역에서 오디오 및 비디오 중심의 멀티미디어 컨텐츠 보급 및 수요가 급속도로 확대되고 있다. 나아가 방송 및 영화를 통하여 입체감을 제공하는 3DTV/3D 영화가 보편화되면서 사실감과 현장감을 제공하는 실감미디어에 대한 소 비자 요구가 증가되고 있다. 또한, 디스플레이 기술의 발전과 더불어 가정에서의 TV 화면이 대형화 됨에 따라 HD급 이상의 고화질에 실감나는 컨텐츠를 즐기고자 하는 소비가 증가되고 있다. 이에 따라 Post-HDTV 시장을 대비하여 3DTV와 더불어 UHDTV (Ultra High Definition TV)와 같은 실감방송이 차세대 방송 서비스로 관심을 받고 있으며, 특히 UHD (Ultra High Definition) 방송 서비스에 대한 논의가 증가되고 있는 추세이다.
한편, 3차원 텔레비젼(3-Dimensional Television, 3DTV)의 보급이 본격화됨에 따라 저장 매체에 의한 3차원(3D) 영상 컨텐츠 보급뿐만 아니라 디지털 방송에 의한 3차원 영상 컨텐츠의 전송이 활성화되고 있다.
나아가, UHD 영상의 제작 기술 및 전송 기술의 발달에 따라 3D 영상을 구성하는 좌영상, 우영상 및 각 영상에 대한 뎁스맵을 효율적으로 전송하는 기술에 대한 필요가 커지고 있다.
본 발명이 이루고자 하는 기술적 과제는, UHD급 전송 프레임을 이용하여 3D 컨텐츠를 효율적으로 전송하는 방법을 제공하는 것이다.
나아가, 본 발명이 이루고자 하는 다른 기술적 과제는, 동일한 전송 프레임을 이용하여 3D 컨텐츠 및 2D 컨텐츠를 전송하는 방법을 제공하는 것이다.
나아가, 본 발명이 이루고자 하는 다른 기술적 과제는, 템포럴 스케일러빌러티 코딩 방법을 이용하여 3D 컨텐츠를 전송하는 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 방송 신호 송신 방법은 좌영상 프레임, 우영상 프레임, 좌영상에 대한 뎁스맵 프레임 및 우영상에 대한 뎁스맵 프레임 중 적어도 하나를 패킹한 각각의 패킹 프레임들 및 상기 패킹 프레임들에 대한 시그널링 정보를 인코딩하는 단계, 상기 인코딩된 패킹 프레임들 및 시그널링 정보를 포함하는 방송 신호를 생성하는 단계 및 상기 생성된 방송 신호를 전송하는 단계를 포함한다.
바람직하게는, 상기 인코딩하는 단계는 상기 패킹 프레임들 중 좌영상 프레임 및 우영상 프레임을 패킹한 텍스처 패킹 프레임과 좌영상에 대한 뎁스맵 프레임 및 우영상에 대한 뎁스맵 프레임을 패킹한 뎁스맵 패킹 프레임을 서로 다른 레이어 (layer)로 인코딩할 수 있다.
바람직하게는, 상기 시그널링 정보는 상기 패킹 프레임들이 어떻게 구성되어 있는지를 나타내는 프레임 패킹 어레인지먼트 정보를 포함하고, 상기 프레임 패킹 어레인지먼트 정보는 상기 패킹 프레임들의 구성 형태에 대한 정보를 포함하고, 상기 구성 형태는 4개의 영역으로 분할된 패킹 프레임에 좌영상 및 우영상이 수평방향으로 나란히 (side-by-side) 배치되고 남은 영역에 좌영상에 대한 뎁스맵 및 우영상에 대한 뎁스맵이 수평방향으로 나란히 (side-by-side) 배치되는 형태, 4개의 영역으로 분할된 패킹 프레임에 좌영상 및 우영상이 수직방향으로 나란히 (top-and-bottom) 배치되고 남은 영역에 좌영상에 대한 뎁스맵 및 우영상에 대한 뎁스맵이 수평방향으로 나란히 (top-and-bottom) 배치되는 형태 및 2개의 영역으로 분할된 홀수번째 패킹 프레임에 좌영상 및 좌영상에 대한 뎁스맵이 수평방향 또는 수직방향으로 나란히 배치되고 2개의 영역으로 분할된 짝수번째 패킹 프레임에 우영상 및 우영상에 대한 뎁스맵이 수평방향 또는 수직방향으로 나란히 배치되는 형태를 포함할 수 있다.
바람직하게는, 상기 프레임 패킹 어레인지먼트 정보는 상기 좌영상 프레임, 우영상 프레임, 좌영상에 대한 뎁스맵 프레임 및 우영상에 대한 뎁스맵 프레임의 포맷에 대한 정보를 포함하는 프레임 패킹 컴포지션 정보를 포함할 수 있다.
바람직하게는, 상기 프레임 패킹 컴포지션 정보는 상기 패킹 프레임을 구성하는 각 픽셀에 대한 색공간 상 각 성분이 어떻게 구성되었는지를 나타내는 정보를 포함할 수 있다.
바람직하게는, 상기 시그널링 정보는 상기 텍스처 패킹 프레임 및 뎁스맵 패킹 프레임을 서로 다른 레이어로 전송하는 서비스에 대한 정보를 나타내는 3D 오퍼레이팅 포인트 정보를 포함하고, 상기 3D 오퍼레이팅 포인트 정보는 현재 서비스가 상기 텍스처 패킹 프레임 및 뎁스맵 패킹 프레임을 서로 다른 레이어로 전송하는 서비스임을 식별하는 정보 및 상기 서비스에 포함되는 각각의 레이어들이 텍스처 패킹 프레임을 포함하는지 뎁스맵 패킹 프레임을 포함하는지를 나타내는 정보를 포함할 수 있다.
본 발명의 다른 일 실시예에 따른 방송 신호 수신 방법은 좌영상 프레임, 우영상 프레임, 좌영상에 대한 뎁스맵 프레임 및 우영상에 대한 뎁스맵 프레임 중 적어도 하나를 패킹한 각각의 패킹 프레임들에 대한 스트림 및 상기 패킹 프레임들에 대한 시그널링 정보를 수신하는 단계 및 상기 시그널링 정보를 이용하여 상기 수신한 패킹 프레임들에 대한 스트림을 디코딩하는 단계를 포함한다.
바람직하게는, 상기 패킹 프레임들 중 좌영상 프레임 및 우영상 프레임을 패킹한 텍스처 패킹 프레임과 좌영상에 대한 뎁스맵 프레임 및 우영상에 대한 뎁스맵 프레임을 패킹한 뎁스맵 패킹 프레임은 서로 다른 레이어 (layer)에 포함되어 전송될 수 있다.
바람직하게는, 상기 시그널링 정보는 상기 패킹 프레임들이 어떻게 구성되어 있는지를 나타내는 프레임 패킹 어레인지먼트 정보를 포함하고, 상기 프레임 패킹 어레인지먼트 정보는 상기 패킹 프레임들의 구성 형태에 대한 정보를 포함하고, 상기 구성 형태는 4개의 영역으로 분할된 패킹 프레임에 좌영상 및 우영상이 수평방향으로 나란히 (side-by-side) 배치되고 남은 영역에 좌영상에 대한 뎁스맵 및 우영상에 대한 뎁스맵이 수평방향으로 나란히 (side-by-side) 배치되는 형태, 4개의 영역으로 분할된 패킹 프레임에 좌영상 및 우영상이 수직방향으로 나란히 (top-and-bottom) 배치되고 남은 영역에 좌영상에 대한 뎁스맵 및 우영상에 대한 뎁스맵이 수평방향으로 나란히 (top-and-bottom) 배치되는 형태 및 2개의 영역으로 분할된 홀수번째 패킹 프레임에 좌영상 및 좌영상에 대한 뎁스맵이 수평방향 또는 수직방향으로 나란히 배치되고 2개의 영역으로 분할된 짝수번째 패킹 프레임에 우영상 및 우영상에 대한 뎁스맵이 수평방향 또는 수직방향으로 나란히 배치되는 형태를 포함할 수 있다.
바람직하게는, 상기 프레임 패킹 어레인지먼트 정보는 상기 좌영상 프레임, 우영상 프레임, 좌영상에 대한 뎁스맵 프레임 및 우영상에 대한 뎁스맵 프레임의 포맷에 대한 정보를 포함하는 프레임 패킹 컴포지션 정보를 포함할 수 있다.
바람직하게는, 상기 프레임 패킹 컴포지션 정보는 상기 패킹 프레임을 구성하는 각 픽셀에 대한 색공간 상 각 성분이 어떻게 구성되었는지를 나타내는 정보를 포함할 수 있다.
바람직하게는, 상기 시그널링 정보는 상기 텍스처 패킹 프레임 및 뎁스맵 패킹 프레임을 서로 다른 레이어로 전송하는 서비스에 대한 정보를 나타내는 3D 오퍼레이팅 포인트 정보를 포함하고, 상기 3D 오퍼레이팅 포인트 정보는 현재 서비스가 상기 텍스처 패킹 프레임 및 뎁스맵 패킹 프레임을 서로 다른 레이어로 전송하는 서비스임을 식별하는 정보 및 상기 서비스에 포함되는 각각의 레이어들이 텍스처 패킹 프레임을 포함하는지 뎁스맵 패킹 프레임을 포함하는지를 나타내는 정보를 포함할 수 있다.
본 발명의 다른 일 실시예에 따른 방송 신호 송신 장치는 좌영상 프레임, 우영상 프레임, 좌영상에 대한 뎁스맵 프레임 및 우영상에 대한 뎁스맵 프레임 중 적어도 하나를 패킹한 각각의 패킹 프레임들 및 상기 패킹 프레임들에 대한 시그널링 정보를 인코딩하는 인코더, 상기 인코딩된 패킹 프레임들 및 시그널링 정보를 포함하는 방송 신호를 생성하는 방송 신호 생성부 및 상기 생성된 방송 신호를 전송하는 전송부를 포함할 수 있다.
바람직하게는, 상기 인코더는 상기 패킹 프레임들 중 좌영상 프레임 및 우영상 프레임을 패킹한 텍스처 패킹 프레임과 좌영상에 대한 뎁스맵 프레임 및 우영상에 대한 뎁스맵 프레임을 패킹한 뎁스맵 패킹 프레임을 서로 다른 레이어 (layer)로 인코딩할 수 있다.
바람직하게는, 좌영상 프레임, 우영상 프레임, 좌영상에 대한 뎁스맵 프레임 및 우영상에 대한 뎁스맵 프레임 중 적어도 하나를 패킹한 각각의 패킹 프레임들에 대한 스트림 및 상기 패킹 프레임들에 대한 시그널링 정보를 수신하는 수신부 및 상기 시그널링 정보를 이용하여 상기 수신한 패킹 프레임들에 대한 스트림을 디코딩하는 디코더를 포함한다.
본 발명에 따르면, UHD급 전송 프레임을 이용하여 3D 컨텐츠를 효율적으로 전송하는 방법을 제공할 수 있는 효과가 있다.
나아가, 본 발명에 따르면, 동일한 전송 프레임을 이용하여 3D 컨텐츠 및 2D 컨텐츠를 전송하는 방법을 제공할 수 있는 효과가 있다.
나아가, 본 발명에 따르면, 템포럴 스케일러빌러티 코딩 방법을 이용하여 3D 컨텐츠를 전송하는 방법을 제공할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 방송 신호 송신 방법을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 프레임 패킹 구성 (frame packing arrangement) 방법을 나타낸 도면이다.
도 3은 본 발명의 일 실시예 (case 1)에 따른 2K 좌영상, 2K 우영상, 좌영상에 대한 2K 뎁스맵 및 우영상에 대한 2K 뎁스맵을 하나의 4K 프레임에 패킹하는 방법을 나타낸 도면이다.
도 4는 본 발명의 일 실시예 (case 1-2, case 1-4)에 따라, 텍스처 영상 (2K, 10bit, 4:2:0)과 뎁스맵 (2K, 12bit/2K, 15bit)을 컨테이너 (4K, 10bit, 4:2:0)에 패킹하는 방법을 나타낸 도면이다.
도 5는 본 발명의 일 실시예 (case 1)에 따라, 텍스처 영상과 뎁스맵을 컨테이너 프레임에 비트 단위로 매핑하는데 사용되는 수식을 나타낸 도면이다.
도 6은 본 발명의 일 실시예 (case 2)에 따른 4K 좌영상, 4K 우영상, 좌영상에 대한 4K 뎁스맵 및 우영상에 대한 4K 뎁스맵을 하나의 4K 프레임에 패킹하는 방법을 나타낸 도면이다.
도 7은 본 발명의 일 실시예 (case 2-2, case 2-4)에 따라, 텍스처 영상 (4K, 8bit, 4:2:0/4K, 10bit, 4:2:0)과 뎁스맵 (4K, 8bit/2K, 12bit)을 컨테이너 (4K, 10bit, 4:2:2/4K, 12bit, 4:2:0)에 패킹하는 방법을 나타낸 도면이다.
도 8은 본 발명의 일 실시예 (case 2)에 따라, 텍스처 영상과 뎁스맵을 컨테이너 프레임에 비트 단위로 매핑하는데 사용되는 수식을 나타낸 도면이다.
도 9는 본 발명의 일 실시예 (case 3)에 따라, 텍스처 영상 및 뎁스맵을 각각 다른 HEVC temporal layer로 구성하는 방법을 나타낸 도면이다.
도 10은 본 발명의 일 실시예 (case 3-1)에 따라, 4K 좌영상 및 4K 우영상을 하나의 4K 컨테이너 프레임에 패킹하고, 좌영상에 대한 4K 뎁스맵 및 우영상에 대한 4K 뎁스맵을 또 다른 하나의 4K 컨테이너 프레임에 패킹하여 각각 다른 템포럴 레이어에 포함시키는 방법을 나타낸 도면이다.
도 11은 본 발명의 일 실시예 (case 3-2)에 따라, 4K 좌영상 및 4K 우영상을 하나의 4K 컨테이너 프레임에 패킹하고, 좌영상에 대한 4K 뎁스맵 및 우영상에 대한 2K 뎁스맵을 또 다른 하나의 4K 컨테이너 프레임에 패킹하여 각각 다른 템포럴 레이어에 포함시키는 방법을 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 frame_packing_arrangement_for_auto_stereoscopic SEI 메시지의 구성 및 frame_packing_arrangement_type_for_auto_stereoscopic 필드 값을 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른 frame_packing_composition_info()의 구성을 나타낸 도면이다.
도 14는 본 발명의 일 실시예에 따른 3D_operating_point()의 구성을 나타낸 도면이다.
도 15는 본 발명의 일 실시예에 따른 layer_combination_type을 설명한 도면이다.
도 16은 본 발명의 일 실시예 (case 1, case 2)에 따른 좌영상, 우영상, 좌영상에 대한 뎁스맵 및 우영상에 대한 뎁스맵을 하나의 컨테이너 프레임에 패킹하여 전송하는 과정을 나타낸 도면이다.
도 17은 본 발명의 일 실시예 (case 3)에 따른 텍스처 영상과 뎁스맵을 각각의 레이어로 전송하는 과정을 나타낸 도면이다.
도 18은 본 발명의 일 실시예에 따른 방송 신호 수신 방법을 나타낸 도면이다.
도 19는 본 발명의 일 실시예에 따른 방송 신호 송신 장치의 구성을 나타낸 도면이다.
도 20은 본 발명의 일 실시예에 따른 방송 신호 수신 장치의 구성을 나타낸 도면이다.
발명의 실시를 위한 최선의 형태
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
도 1은 본 발명의 일 실시예에 따른 방송 신호 송신 방법을 나타낸 도면이다.
본 발명의 일 실시예에 따른 방송 신호 송신 방법은 좌영상 프레임, 우영상 프레임, 좌영상에 대한 뎁스맵 프레임 및 우영상에 대한 뎁스맵 프레임 중 적어도 하나를 패킹한 각각의 패킹 프레임들 및 상기 패킹 프레임들에 대한 시그널링 정보를 인코딩하는 단계 (SL1010), 상기 인코딩된 패킹 프레임들 및 시그널링 정보를 포함하는 방송 신호를 생성하는 단계 (SL1020) 및/또는 상기 생성된 방송 신호를 전송하는 단계 (SL1030)를 포함할 수 있다. 여기서, 패킹 프레임은 전송 프레임 또는 컨테이너 프레임로 명명될 수 있다. 이에 대한 상세한 설명은 도 3, 4, 5, 6, 7, 8, 16에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 인코딩하는 단계는 상기 패킹 프레임들 중 좌영상 프레임 및 우영상 프레임을 패킹한 텍스처 패킹 프레임과 좌영상에 대한 뎁스맵 프레임 및 우영상에 대한 뎁스맵 프레임을 패킹한 뎁스맵 패킹 프레임을 서로 다른 레이어 (layer)로 인코딩할 수 있다. 여기서, 서로 다른 레이어는 서로 다른 스트림을 의미할 수 있다. 여기서, 텍스처 영상은 좌영상 및/또는 우영상을 의미할 수 있다. 이에 대한 상세한 설명은 도 9, 10, 11, 17에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 시그널링 정보는 상기 패킹 프레임들이 어떻게 구성되어 있는지를 나타내는 프레임 패킹 어레인지먼트 정보를 포함하고, 상기 프레임 패킹 어레인지먼트 정보는 상기 패킹 프레임들의 구성 형태에 대한 정보를 포함하고, 상기 구성 형태는 4개의 영역으로 분할된 패킹 프레임에 좌영상 및 우영상이 수평방향으로 나란히 (side-by-side) 배치되고 남은 영역에 좌영상에 대한 뎁스맵 및 우영상에 대한 뎁스맵이 수평방향으로 나란히 (side-by-side) 배치되는 형태, 4개의 영역으로 분할된 패킹 프레임에 좌영상 및 우영상이 수직방향으로 나란히 (top-and-bottom) 배치되고 남은 영역에 좌영상에 대한 뎁스맵 및 우영상에 대한 뎁스맵이 수평방향으로 나란히 (top-and-bottom) 배치되는 형태 및/또는 2개의 영역으로 분할된 홀수번째 패킹 프레임에 좌영상 및 좌영상에 대한 뎁스맵이 수평방향 또는 수직방향으로 나란히 배치되고 2개의 영역으로 분할된 짝수번째 패킹 프레임에 우영상 및 우영상에 대한 뎁스맵이 수평방향 또는 수직방향으로 나란히 배치되는 형태를 포함할 수 있다. 여기서, 프레임 패킹 어레인지먼트 정보는 Frame_packing_arrangement_for_auto_stereoscopic()를 나타낼 수 있다. 여기서, 상기 패킹 프레임들의 구성 형태에 대한 정보는 frame_packing_arrangement_type_for_auto_stereoscopic를 나타낼 수 있다. 여기서, 상기 구성 형태들은 각각 사이드 바이 사이드, 탑 엔 바텀 및 타임 인터리빙 방식을 나타낼 수 있다. 이에 대한 상세한 설명은 도 12에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 프레임 패킹 어레인지먼트 정보는 상기 좌영상 프레임, 우영상 프레임, 좌영상에 대한 뎁스맵 프레임 및/또는 우영상에 대한 뎁스맵 프레임의 포맷에 대한 정보를 포함하는 프레임 패킹 컴포지션 정보를 포함할 수 있다. 여기서, 프레임 패킹 컴포지션 정보는 frame_packing_composition_info()를 나타낼 수 있다. 이에 대한 상세한 설명은 도 13에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 프레임 패킹 컴포지션 정보는 상기 패킹 프레임을 구성하는 각 픽셀에 대한 색공간 상 각 성분이 어떻게 구성되었는지를 나타내는 정보를 포함할 수 있다. 여기서, 상기 패킹 프레임을 구성하는 각 픽셀에 대한 색공간 상 각 성분이 어떻게 구성되었는지를 나타내는 정보는 pixel_composition_info()를 나타낼 수 있다. 여기서, 상기 색공간 상 각 성분은 YCbCr을 포함할 수 있다. 이에 대한 상세한 설명은 도 13에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 시그널링 정보는 상기 텍스처 패킹 프레임 및 뎁스맵 패킹 프레임을 서로 다른 레이어로 전송하는 서비스에 대한 정보를 나타내는 3D 오퍼레이팅 포인트 정보를 포함하고, 상기 3D 오퍼레이팅 포인트 정보는 현재 서비스가 상기 텍스처 패킹 프레임 및 뎁스맵 패킹 프레임을 서로 다른 레이어로 전송하는 서비스임을 식별하는 정보 및/또는 상기 서비스에 포함되는 각각의 레이어들이 텍스처 패킹 프레임을 포함하는지 뎁스맵 패킹 프레임을 포함하는지를 나타내는 정보를 포함할 수 있다. 여기서, 3D 오퍼레이팅 포인트 정보는 3D_operating _point()를 나타낼 수 있다. 여기서, 상기 현재 서비스가 상기 텍스처 패킹 프레임 및 뎁스맵 패킹 프레임을 서로 다른 레이어로 전송하는 서비스임을 식별하는 정보는 service_type을 나타낼 수 있다. 여기서, 상기 서비스에 포함되는 각각의 레이어들이 텍스처 패킹 프레임을 포함하는지 뎁스맵 패킹 프레임을 포함하는지를 나타내는 정보는 layer_type을 나타낼 수 있다. 이에 대한 상세한 설명은 도 14에서 후술한다.
도 2는 본 발명의 일 실시예에 따른 프레임 패킹 구성 (frame packing arrangement) 방법을 나타낸 도면이다.
본 발명의 일 실시예는 무안경 방식의 3D (3 dimensional) 서비스를 제공하기 위하여 좌영상, 우영상 및 뎁스맵 (depth map)을 4K UHD 포맷을 갖는 하나의 프레임 (frame)에 포함시켜 전송할 수 있다. 그리고, 본 발명의 일 실시예는 무안경 방식의 3D (3 dimensional) 서비스를 제공하기 위하여 뎁스맵 (depth map)을 HEVC (High Efficiency Video Coding) 템포럴 스케일러빌러티 (temporal scalability)를 위한 레이어 (layer)에 포함시켜 전송할 수 있다.
본 발명의 일 실시예 (case 1)는 2K 좌영상, 2K 우영상, 좌영상에 대한 2K 뎁스맵 및 우영상에 대한 2K 뎁스맵을 하나의 4K 프레임에 패킹할 수 있다. 이 때, 텍스처 영상과 뎁스맵은 다운 샘플링 (down sampling)된 후 상기 4K 프레임에 패킹될 수 있다. 여기서, 텍스처 영상은 뎁스맵이 아닌 영상을 의미하며, 좌영상 및/또는 우영상을 나타낼 수 있다. 여기서, 다운 샘플링은 서브 샘플링을 나타낼 수 있다.
본 발명의 다른 일 실시예 (case 2)는 4K 좌영상, 4K 우영상, 좌영상에 대한 4K 뎁스맵 및 우영상에 대한 4K 뎁스맵을 하나의 4K 프레임에 패킹할 수 있다. 또는, 4K 좌영상, 4K 우영상, 좌영상에 대한 2K 뎁스맵 및 우영상에 대한 2K 뎁스맵을 하나의 4K 프레임에 패킹할 수 있다. 이 때, 텍스처 영상은 4K 해상도를 가질 수 있고, 뎁스맵은 다운 샘플링 과정이 적용된 이후에 4K 프레임에 패킹될 수 있다.
본 발명의 다른 일 실시예 (case 3)는 HEVC temporal scalability를 위한 레이어에 뎁스맵을 포함함으로써 뎁스맵을 전송할 수 있다.
전술한 또는 후술할 본 발명의 실시예들은 텍스처 영상 및/또는 뎁스맵을 4K 프레임에 패킹하는 방법을 설명하고 있지만 다른 해상도를 갖는 프레임에 패킹할 때에도 본 발명의 실시예들이 적용될 수 있다.
이 도면은, 본 발명의 각 실시예를 나타내는 케이스 번호 (case #)에 따른 텍스처 영상의 포맷, 뎁스맵의 포맷 및/또는 컨테이너 (container)의 포맷을 나타낸다. 여기서, 텍스처 영상의 포맷은 해상도 (resolution), 비트 뎁스 (bit depth) 및/또는 크로마 서브샘플링 (chroma subsampling)을 포함할 수 있고, 뎁스맵의 포맷은 해상도 및/또는 비트 뎁스를 포함할 수 있고, 컨테이너의 포맷은 해상도, 비트 뎁스 및/또는 크로마 서브샘플링을 포함할 수 있다. 여기서, 텍스처 영상의 포맷 및/또는 뎁스맵의 포맷은 소스 포맷 (source format)을 나타낼 수 있다.
본 발명의 일 실시예에 따른 case 1-1은 2K의 해상도, 8비트의 비트 뎁스, 4:2:0의 크로마 서브샘플링을 갖는 텍스처 영상과 2K의 해상도, 10비트의 비트 뎁스를 갖는 뎁스맵을 4K 해상도, 8비트의 비트 뎁스, 4:2:0의 서브샘플링을 갖는 컨테이너 프레임에 패킹하는 방법을 나타낼 수 있다. 본 발명의 다른 일 실시예에 따른 case 1-2는 텍스처 영상 (2K, 10bit, 4:2:0)과 뎁스맵 (2K, 12bit)을 컨테이너 (4K, 10bit, 4:2:0)에 패킹하는 방법을 나타낼 수 있다. 본 발명의 다른 일 실시예에 따른 case 1-3는 텍스처 영상 (2K, 10bit, 4:2:0)과 뎁스맵 (2K, 14bit)을 컨테이너 (4K, 10bit, 4:2:0)에 패킹하는 방법을 나타낼 수 있다. 본 발명의 다른 일 실시예에 따른 case 1-4는 텍스처 영상 (2K, 10bit, 4:2:0)과 뎁스맵 (2K, 15bit)을 컨테이너 (4K, 10bit, 4:2:0)에 패킹하는 방법을 나타낼 수 있다. 본 발명의 다른 일 실시예에 따른 case 2-1는 텍스처 영상 (4K, 8bit, 4:2:0)과 뎁스맵 (2K, 12bit)을 컨테이너 (4K, 10bit, 4:2:0)에 패킹하는 방법을 나타낼 수 있다. 본 발명의 다른 일 실시예에 따른 case 2-2는 텍스처 영상 (4K, 8bit, 4:2:0)과 뎁스맵 (4K, 8bit)을 컨테이너 (4K, 10bit, 4:2:2)에 패킹하는 방법을 나타낼 수 있다. 본 발명의 다른 일 실시예에 따른 case 2-3는 텍스처 영상 (4K, 10bit, 4:2:0)과 뎁스맵 (2K, 16bit)을 컨테이너 (4K, 10bit, 4:2:2)에 패킹하는 방법을 나타낼 수 있다. 본 발명의 다른 일 실시예에 따른 case 2-4는 텍스처 영상 (4K, 10bit, 4:2:0)과 뎁스맵 (2K, 12bit)을 컨테이너 (4K, 12bit, 4:2:0)에 패킹하는 방법을 나타낼 수 있다. 본 발명의 다른 일 실시예에 따른 case 2-5는 텍스처 영상 (4K, 10bit, 4:2:0)과 뎁스맵 (4K, 9bit)을 컨테이너 (4K, 12bit, 4:2:2)에 패킹하는 방법을 나타낼 수 있다. 본 발명의 다른 일 실시예에 따른 case 2-6는 텍스처 영상 (4K, 10bit, 4:2:0)과 뎁스맵 (2K, 16bit)을 컨테이너 (4K, 14bit, 4:2:0)에 패킹하는 방법을 나타낼 수 있다. 본 발명의 다른 일 실시예에 따른 case 2-7는 텍스처 영상 (4K, 10bit, 4:2:0)과 뎁스맵 (4K, 8bit)을 컨테이너 (4K, 14bit, 4:2:2)에 패킹하는 방법을 나타낼 수 있다. 본 발명의 다른 일 실시예에 따른 case 2-8는 텍스처 영상 (4K, 10bit, 4:2:0)과 뎁스맵 (4K, 15bit)을 컨테이너 (4K, 10bit, 4:4:4)에 패킹하는 방법을 나타낼 수 있다. 여기서, 상술한 case 1-2, 1-3, 2-7의 경우 컨테이너의 비트 공간이 남을 수 있다. 즉, 소스 포맷의 비트를 컨테이너 포맷에 모두 매핑 (mapping)하여도 컨테이너를 구성하는 비트 중에 매핑되지 않은 비트가 존재할 수 있다. Case 2-3의 경우 뎁스맵은 10, 12, 14 및/또는 16bit의 비트 뎁스를 가질 수 있다. Case 2-5의 경우 뎁스맵은 8bit의 비트 뎁스를 가질 수 있다. 상술한 본 발명의 각 실시예에서 뎁스맵의 포맷을 구성하는 비트 뎁스가 도시된 비트 뎁스보다 하위의 비트 뎁스를 갖는 경우도 동일한 실시예로서 적용될 수 있다. 본 발명의 다른 일 실시예에 따르면, 이 도면에 도시되지 않은 소스 포맷을 도시되지 않은 컨테이너 포맷에 패킹하는 경우에도 전술 또는 후술할 패킹 방법이 적용될 수 있다.
도 3은 본 발명의 일 실시예 (case 1)에 따른 2K 좌영상, 2K 우영상, 좌영상에 대한 2K 뎁스맵 및 우영상에 대한 2K 뎁스맵을 하나의 4K 프레임에 패킹하는 방법을 나타낸 도면이다.
이 도면은 2K 좌영상, 2K 우영상, 좌영상에 대한 2K 뎁스맵 및 우영상에 대한 2K 뎁스맵을 하나의 4K 컨테이너 프레임에 사이드 바이 사이드 (side-by-side) 형태로 패킹하는 실시예를 나타낼 수 있다. 이 때, 텍스처 영상 및/또는 뎁스맵은 탑 앤 바텀 (top-and-bottom), 타임 인터리빙 (time interleaving) 및/또는 렉텡귤러 리전 어레인지먼트 (rectangular region arrangement) 형태로 패킹될 수 있다.
이 도면을 보면, 텍스처 영상은 3840x2160의 해상도, 순차 주사 방식 (progressive), 24/30/60Hz의 프레임레이트를 가질 수 있다. 여기서, 3840x2160은 모니터 해상도를 의미하는 것으로 4K 해상도와 동일한 의미를 가진다. 본 명세서에서 기술되는 4K는 정확히 3840x2160 해상도뿐만 아니라 4K급의 해상도를 의미할 수 있다. 본 명세서에서 기술되는 2K는 2K급의 해상도를 의미할 수 있다.
본 발명의 일 실시예에 따르면, 4K의 해상도를 갖는 좌영상, 우영상, 좌영상에 대한 뎁스맵 및 우영상에 대한 뎁스맵은 1/2 너비 및 1/2 높이로 다운 샘플링될 수 있다. 다운 샘플링된 텍스처 영상 및 뎁스맵은 2K 해상도를 가지게 되고, 이 도면에서와 같이 하나의 4K 컨테이너 프레임에 사이드 바이 사이드 형태로 패킹될 수 있다. 패킹된 4K 컨테이너 프레임은 HEVC 인코딩 (encoding)되고, 다중화 (multiplexer)되어 수신단으로 전송될 수 있다.
도 4는 본 발명의 일 실시예 (case 1-2, case 1-4)에 따라, 텍스처 영상 (2K, 10bit, 4:2:0)과 뎁스맵 (2K, 12bit/2K, 15bit)을 컨테이너 (4K, 10bit, 4:2:0)에 패킹하는 방법을 나타낸 도면이다.
이 도면은, 본 발명의 일 실시예 (case 1)와 같이 컨테이너 포맷이 4분할된 경우 (이 경우, 컨테이너 포맷과 소스 텍스처 영상의 프로파일 (profile)은 동일하고, 레벨 (level)은 다를 수 있다)에 텍스처 영상을 구성하는 각 픽셀 (pixel)의 YCbCr 및 뎁스맵을 구성하는 각 픽셀의 뎁스값을 컨테이너의 Y'Cb'Cr'에 매핑하는 방법을 나타낼 수 있다. 이 도면에 도시된 제일 작은 박스 하나는 픽셀 하나를 나타낼 수 있다. 이 도면의 제일 작은 박스 안에 텍스트와 함께 표기된 숫자는 상대적인 픽셀 번호를 나타낼 수 있다. 즉, 컨테이너 프레임에서, 0번째 픽셀은 Y', Cb' 및 Cr'을 모두 갖지만, 1번째, 2번째 및 3번째 픽셀은 Cb' 및 Cr' 없이 Y'만 가질 수 있다.
본 발명의 일 실시예 (case 1)에 따르면, 소스의 텍스처 영상을 구성하는 각 픽셀의 YCbCr은 컨테이너 프레임을 구성하는 각 픽셀의 Y'Cb'Cr'에 순서대로 그대로 매핑될 수 있다. 이에 대한 수식은 다음 도면의 상단 박스 (L5010)에 도시되어 있다. 이 수식에서, n은 하나의 픽셀을 구성하는 비트 뎁스를 나타낸다. 예를 들어, 텍스처 영상이 8bit의 비트 뎁스를 갖는 영상인 경우 n은 0부터 7사이에서 변하는 값을 가질 수 있다. 그리고, c_bit_depth는 컨테이너 프레임에서 저장할 수 있는 최대 비트 뎁스를 나타내고, YCbCr은 텍스처 영상의 YCbCr을 나타내고, Y'Cb'Cr'은 컨테이너 프레임의 YCbCr을 나타낸다.
본 발명의 일 실시예 (case 1)에 따르면, 소스의 뎁스맵을 구성하는 각 픽셀의 뎁스값 (D(0,…,3))은 컨테이너 프레임을 구성하는 각 픽셀의 Y'(0,…,3)에 먼저 매핑되고, 뎁스값의 남은 비트는 컨테이너 프레임을 구성하는 각 픽셀의 Cb' 및/또는 Cr'에 매핑될 수 있다. 이 때, 컨테이너 프레임을 구성하는 각 픽셀의 Y'Cb'Cr'에 비트 공간이 남을 수 있고 남은 비트 공간은 비워둘 수 있다. 이에 대한 수식은 다음 도면의 하단 박스 (L5020)에 도시되어 있다. 이 수식에서, n은 하나의 픽셀을 구성하는 비트 뎁스를 나타낸다. 예를 들어, 텍스처 영상이 8bit의 비트 뎁스를 갖는 영상인 경우 n은 0부터 7사이에서 변하는 값을 가질 수 있다. 그리고, c_bit_depth는 컨테이너 프레임에서 저장할 수 있는 최대 비트 뎁스를 나타내고, YCbCr은 텍스처 영상의 YCbCr을 나타내고, Y'Cb'Cr'은 컨테이너 프레임의 YCbCr을 나타내고, d_bit_depth는 뎁스맵의 비트 뎁스를 나타낸다. 이 수식 (L5020)은 이 도면 (L4010, L4020)이 나타내는 실시예와 다른 실시예에 대한 수식이다.
상단 도면 (L4010)은 본 발명의 일 실시예 (case 1-2)에 따라, 텍스처 영상 (2K, 10bit, 4:2:0)과 뎁스맵 (2K, 12bit)을 컨테이너 (4K, 10bit, 4:2:0)에 비트 단위로 매핑하는 방법을 나타낸 도면이다. 이 도면에서, 소스의 텍스처 영상을 구성하는 각 픽셀의 YCbCr은 컨테이너 프레임의 Y'Cb'Cr'에 그대로 매핑될 수 있다. 그리고, 소스의 뎁스맵을 구성하는 각 픽셀의 뎁스값은 아래 설명과 같이 컨테이너 프레임의 Y'Cb'Cr'에 매핑될 수 있다. 상단 도면 (L4010)에 도시된 바와 같이, D0의 2번째 비트부터 11번째 비트는 Y0'의 0번째 비트부터 9번째 비트에 매핑되고, D0의 0번째 비트부터 1번째 비트는 Cb0'의 8번째 비트부터 9번째 비트에 매핑될 수 있다. D1의 2번째 비트부터 11번째 비트는 Y1'의 0번째 비트부터 9번째 비트에 매핑되고, D1의 0번째 비트부터 1번째 비트는 Cb0'의 6번째 비트부터 7번째 비트에 매핑될 수 있다. D2의 2번째 비트부터 11번째 비트는 Y2'의 0번째 비트부터 9번째 비트에 매핑되고, D2의 0번째 비트부터 1번째 비트는 Cr0'의 8번째 비트부터 9번째 비트에 매핑될 수 있다. D3의 2번째 비트부터 11번째 비트는 Y3'의 0번째 비트부터 9번째 비트에 매핑되고, D3의 0번째 비트부터 1번째 비트는 Cr0'의 6번째 비트부터 7번째 비트에 매핑될 수 있다.
하단 도면 (L4020)은 본 발명의 일 실시예 (case 1-4)에 따라, 텍스처 영상 (2K, 10bit, 4:2:0)과 뎁스맵 (2K, 15bit)을 컨테이너 (4K, 10bit, 4:2:0)에 비트 단위로 매핑하는 방법을 나타낸 도면이다. 이 도면에서, 소스의 텍스처 영상을 구성하는 각 픽셀의 YCbCr은 컨테이너 프레임의 Y'Cb'Cr'에 그대로 매핑될 수 있다. 그리고, 소스의 뎁스맵을 구성하는 각 픽셀의 뎁스값은 아래 설명과 같이 컨테이너 프레임의 Y'Cb'Cr'에 매핑될 수 있다. 하단 도면 (L4020)에 도시된 바와 같이, D0의 5번째 비트부터 14번째 비트는 Y0'의 0번째 비트부터 9번째 비트에 매핑되고, D0의 0번째 비트부터 4번째 비트는 Cb0'의 5번째 비트부터 9번째 비트에 매핑될 수 있다. D1의 5번째 비트부터 14번째 비트는 Y1'의 0번째 비트부터 9번째 비트에 매핑되고, D1의 0번째 비트부터 4번째 비트는 Cb0'의 0번째 비트부터 4번째 비트에 매핑될 수 있다. D2의 5번째 비트부터 14번째 비트는 Y2'의 0번째 비트부터 9번째 비트에 매핑되고, D2의 0번째 비트부터 4번째 비트는 Cr0'의 5번째 비트부터 9번째 비트에 매핑될 수 있다. D3의 5번째 비트부터 14번째 비트는 Y3'의 0번째 비트부터 9번째 비트에 매핑되고, D3의 0번째 비트부터 4번째 비트는 Cr0'의 0번째 비트부터 4번째 비트에 매핑될 수 있다.
도 5는 본 발명의 일 실시예 (case 1)에 따라, 텍스처 영상과 뎁스맵을 컨테이너 프레임에 비트 단위로 매핑하는데 사용되는 수식을 나타낸 도면이다.
상단 도면 (L5010)이 나타내는 수식은, 본 발명의 일 실시예 (case 1)에 따라, 소스의 텍스처 영상을 구성하는 각 픽셀의 YCbCr을 컨테이너 프레임을 구성하는 각 픽셀의 Y'Cb'Cr'에 그대로 매핑하는 데 사용되는 수식을 나타낸다. 이 수식에서, n은 하나의 픽셀을 구성하는 비트 뎁스를 나타낸다. 예를 들어, 텍스처 영상이 8bit의 비트 뎁스를 갖는 영상인 경우 n은 0부터 7사이에서 변하는 값을 가질 수 있다. 그리고, c_bit_depth는 컨테이너 프레임에서 저장할 수 있는 최대 비트 뎁스를 나타내고, YCbCr은 텍스처 영상의 YCbCr을 나타내고, Y'Cb'Cr'은 컨테이너 프레임의 YCbCr을 나타낸다.
하단 도면 (L5020)이 나타내는 수식은, 본 발명의 일 실시예 (case 1)에 따라, 소스의 뎁스맵을 구성하는 각 픽셀의 뎁스값 (D(0,…,3))을 컨테이너 프레임을 구성하는 각 픽셀의 Y'Cb'Cr'에 매핑하는 데 사용되는 수식을 나타낸다. 이 수식에서, n은 하나의 픽셀을 구성하는 비트 뎁스를 나타낸다. 예를 들어, 텍스처 영상이 8bit의 비트 뎁스를 갖는 영상인 경우 n은 0부터 7사이에서 변하는 값을 가질 수 있다. 그리고, c_bit_depth는 컨테이너 프레임에서 저장할 수 있는 최대 비트 뎁스를 나타내고, YCbCr은 텍스처 영상의 YCbCr을 나타내고, Y'Cb'Cr'은 컨테이너 프레임의 YCbCr을 나타내고, d_bit_depth는 뎁스맵의 비트 뎁스를 나타낸다.
도 6은 본 발명의 일 실시예 (case 2)에 따른 4K 좌영상, 4K 우영상, 좌영상에 대한 4K 뎁스맵 및 우영상에 대한 4K 뎁스맵을 하나의 4K 프레임에 패킹하는 방법을 나타낸 도면이다.
이 도면은 4K 좌영상, 4K 우영상, 좌영상에 대한 2K 또는 4K 뎁스맵 및 우영상에 대한 2K 또는 4K 뎁스맵을 하나의 4K 컨테이너 프레임에 사이드 바이 사이드 (side-by-side) 형태로 패킹하는 실시예를 나타낼 수 있다. 이 때, 텍스처 영상 및/또는 뎁스맵은 탑 앤 바텀 (top-and-bottom), 타임 인터리빙 (time interleaving) 및/또는 렉텡귤러 리전 어레인지먼트 (rectangular region arrangement) 형태로 패킹될 수 있다.
이 도면을 보면, 텍스처 영상은 3840x2160의 해상도, 순차 주사 방식 (progressive), 24/30/60Hz의 프레임레이트를 가질 수 있다. 여기서, 3840x2160은 모니터 해상도를 의미하는 것으로 4K 해상도와 동일한 의미를 가진다.
본 발명의 일 실시예에 따르면, 4K의 해상도를 갖는 좌영상, 우영상, 좌영상에 대한 뎁스맵 및 우영상에 대한 뎁스맵은 1/2 너비로 다운 샘플링될 수 있다. 다운 샘플링된 텍스처 영상 및 뎁스맵은 여전히 4K 해상도를 가지게 되고, 이 도면에서와 같이 하나의 4K 컨테이너 프레임에 사이드 바이 사이드 형태로 패킹될 수 있다. 패킹된 4K 컨테이너 프레임은 HEVC 인코딩 (encoding)되고, 다중화 (multiplexer)되어 수신단으로 전송될 수 있다. 이 때, 탑 앤 바텀 형태로 패킹되는 경우, 각 영상 및 뎁스맵은 1/2 높이로 다운 샘플링될 수 있다. 즉, 패킹되는 형태에 따라 각 영상 및 뎁스맵의 다운 샘플링 방식이 달라질 수 있다.
도 7은 본 발명의 일 실시예 (case 2-2, case 2-4)에 따라, 텍스처 영상 (4K, 8bit, 4:2:0/4K, 10bit, 4:2:0)과 뎁스맵 (4K, 8bit/2K, 12bit)을 컨테이너 (4K, 10bit, 4:2:2/4K, 12bit, 4:2:0)에 패킹하는 방법을 나타낸 도면이다.
이 도면은, 본 발명의 일 실시예 (case 2)와 같이 컨테이너 포맷이 2분할된 경우 (이 경우, 컨테이너 포맷과 소스 텍스처 영상의 해상도 (resolution)은 동일하고, 프로파일 (profile)은 다를 수 있다)에 텍스처 영상을 구성하는 각 픽셀 (pixel)의 YCbCr 및 뎁스맵을 구성하는 각 픽셀의 뎁스값을 컨테이너의 Y'Cb'Cr'에 매핑하는 방법을 나타낼 수 있다. 이 도면에 도시된 제일 작은 박스 하나는 픽셀 하나를 나타낼 수 있다. 이 도면의 제일 작은 박스 안에 텍스트와 함께 표기된 숫자는 상대적인 픽셀 번호를 나타낼 수 있다. 즉, 컨테이너 프레임에서, 0번째 픽셀은 Y', Cb' 및 Cr'을 모두 갖지만, 1번째, 2번째 및 3번째 픽셀은 Cb' 및 Cr' 없이 Y'만 가질 수 있다.
본 발명의 일 실시예 (case 2)에 따르면, 소스의 텍스처 영상을 구성하는 각 픽셀의 YCbCr은 컨테이너 프레임을 구성하는 각 픽셀의 Y'Cb'Cr'에 순서대로 그대로 매핑될 수 있다. 이에 대한 수식은 다음 도면의 상단 박스 (L8010)에 도시되어 있다. 이 수식에서, n은 하나의 픽셀을 구성하는 비트 뎁스를 나타낸다. 예를 들어, 텍스처 영상이 8bit의 비트 뎁스를 갖는 영상인 경우 n은 0부터 7사이에서 변하는 값을 가질 수 있다. 그리고, t_bit_depth는 텍스처 영상의 비트 뎁스를 나타내고, YCbCr은 텍스처 영상의 YCbCr을 나타내고, Y'Cb'Cr'은 컨테이너 프레임의 YCbCr을 나타낸다.
본 발명의 일 실시예 (case 2)에 따르면, 소스의 뎁스맵을 구성하는 각 픽셀의 뎁스값은 텍스처 영상을 구성하는 각 픽셀의 Y, Cb 및 Cr을 매핑하고 남은 Y', Cb' 및 Cr'의 비트 공간에 매핑될 수 있다. 즉, 소스의 뎁스맵을 구성하는 각 픽셀의 뎁스값 (D(0,…,3))은 컨테이너 프레임을 구성하는 각 픽셀의 Y'(0,…,3)의 남는 비트 공간에 먼저 매핑되고, 뎁스값의 남은 비트는 컨테이너 프레임을 구성하는 각 픽셀의 Cb' 및/또는 Cr'의 남는 비트 공간에 매핑될 수 있다. 이 때, 컨테이너 프레임을 구성하는 각 픽셀의 Y'Cb'Cr'에 비트 공간이 남을 수 있고 남은 비트 공간은 비워둘 수 있다.
본 발명의 일 실시예에 따라, case 2의 조건에 해당하고, 소스 뎁스맵의 해상도가 컨테이너 포맷의 1/4이고, 컨테이너와 소스 텍스처 영상의 크로마 서브샘플링이 4:2:0으로 같은 경우, 다음 도면의 하단 박스 (L8020)에 도시된 수식에 따라, 소스의 뎁스맵을 구성하는 각 픽셀의 뎁스값은 컨테이너 프레임의 Y'Cb'Cr'에 매핑될 수 있다. 이 수식에서, n은 하나의 픽셀을 구성하는 비트 뎁스를 나타낸다. 예를 들어, 텍스처 영상이 8bit의 비트 뎁스를 갖는 영상인 경우 n은 0부터 7사이에서 변하는 값을 가질 수 있다. 그리고, c_bit_depth는 컨테이너 프레임에서 저장할 수 있는 최대 비트 뎁스를 나타내고, YCbCr은 텍스처 영상의 YCbCr을 나타내고, Y'Cb'Cr'은 컨테이너 프레임의 YCbCr을 나타내고, t_bit_depth는 텍스처 영상의 비트 뎁스를 나타낸다.
본 발명의 다른 일 실시예에 따라, case 2의 조건에 해당하고, 소스 뎁스맵의 해상도가 컨테이너 포맷의 1/4이고, 컨테이너와 소스 텍스처 영상의 크로마 서브샘플링이 다른 경우, 텍스처 영상의 크로마 서브샘플링이 4:2:0이고 컨테이너의 크로마 서브샘플링이 4:2:2이면, 컨테이너와 텍스처 영상의 크로마 서브샘플링이 4:2:0으로 같은 경우에 비해 2*c_bit_depth의 비트 공간이 추가로 확보될 수 있고 이 공간에 소스 뎁스맵의 뎁스값을 매핑할 수 있다. 나아가, 상기와 같은 조건에서, 텍스처 영상의 크로마 서브샘플링이 4:2:0이고 컨테이너의 크로마 서브샘플링이 4:4:4이면, 컨테이너와 텍스처 영상의 크로마 서브샘플링이 4:2:0으로 같은 경우에 비해 6*c_bit_depth의 비트 공간이 추가로 확보될 수 있고 이 공간에 소스 뎁스맵의 뎁스값을 매핑할 수 있다. 나아가, 상기와 같은 조건에서, 텍스처 영상의 크로마 서브샘플링이 4:2:2이고 컨테이너의 크로마 서브샘플링이 4:4:4이면, 컨테이너와 텍스처 영상의 크로마 서브샘플링이 4:2:0으로 같은 경우에 비해 4*c_bit_depth의 비트 공간이 추가로 확보될 수 있고 이 공간에 소스 뎁스맵의 뎁스값을 매핑할 수 있다.
본 발명의 다른 일 실시예에 따라, case 2의 조건에 해당하고, 소스 뎁스맵의 해상도가 컨테이너 포맷의 해상도와 동일하고, 컨테이너와 소스 텍스처 영상의 크로마 서브샘플링이 4:2:0으로 같은 경우, 상술한 조건 (case 2의 조건에 해당하고, 소스 뎁스맵의 해상도가 컨테이너 포맷의 1/4이고, 컨테이너와 소스 텍스처 영상의 크로마 서브샘플링이 4:2:0으로 같은 경우)에서와 유사한 방법으로 컨테이너 프레임에 확보된 비트 공간에 소스 뎁스맵의 뎁스값이 순서대로 매핑될 수 있다.
본 발명의 다른 일 실시예에 따라, case 2의 조건에 해당하고, 소스 뎁스맵의 해상도가 컨테이너 포맷의 해상도와 동일하고, 컨테이너와 소스 텍스처 영상의 크로마 서브샘플링이 다른 경우, 상술한 조건 (case 2의 조건에 해당하고, 소스 뎁스맵의 해상도가 컨테이너 포맷의 1/4이고, 컨테이너와 소스 텍스처 영상의 크로마 서브샘플링이 4:2:0으로 같은 경우)에서와 유사한 방법으로 컨테이너 프레임에 추가로 확보된 비트 공간에 소스 뎁스맵의 뎁스값이 순서대로 매핑될 수 있다.
상단 도면 (L7010)은 본 발명의 일 실시예 (case 2-2)에 따라, 텍스처 영상 (4K, 8bit, 4:2:0)과 뎁스맵 (4K, 8bit)을 컨테이너 (4K, 10bit, 4:2:2)에 비트 단위로 매핑하는 방법을 나타낸 도면이다. 이 도면에서, 소스의 텍스처 영상을 구성하는 각 픽셀의 YCbCr은 컨테이너 프레임의 Y'Cb'Cr'에 그대로 매핑될 수 있다. 그리고, 소스의 뎁스맵을 구성하는 각 픽셀의 뎁스값은 아래 설명과 같이 컨테이너 프레임의 남는 Y'Cb'Cr'에 매핑될 수 있다. 이 때, 소스 포맷은 메인 프로파일 (Main profile)을 가질 수 있고 컨테이너 포맷은 메인 4:2:2 10 프로파일 (Main 4:2:2 10 profile)을 가질 수 있다. 상단 도면 (L7010)에 도시된 바와 같이, Y0의 0번째 비트부터 7번째 비트는 Y0'의 2번째 비트부터 9번째 비트에 매핑되고, Y1의 0번째 비트부터 7번째 비트는 Y1'의 2번째 비트부터 9번째 비트에 매핑되고, Y2의 0번째 비트부터 7번째 비트는 Y2'의 2번째 비트부터 9번째 비트에 매핑되고, Y3의 0번째 비트부터 7번째 비트는 Y3'의 2번째 비트부터 9번째 비트에 매핑될 수 있다. Cb0의 0번째 비트부터 7번째 비트는 Cb0'의 2번째 비트부터 9번째 비트에 매핑되고, Cr0의 0번째 비트부터 7번째 비트는 Cr0'의 2번째 비트부터 9번째 비트에 매핑될 수 있다. D0의 6번째 비트부터 7번째 비트는 Y0'의 0번째 비트부터 1번째 비트에 매핑되고, D1의 6번째 비트부터 7번째 비트는 Y1'의 0번째 비트부터 1번째 비트에 매핑되고, D2의 6번째 비트부터 7번째 비트는 Y2'의 0번째 비트부터 1번째 비트에 매핑되고, D3의 6번째 비트부터 7번째 비트는 Y3'의 0번째 비트부터 1번째 비트에 매핑될 수 있다. D0의 4번째 비트부터 5번째 비트는 Cb0'의 0번째 비트부터 1번째 비트에 매핑되고, D0의 0번째 비트부터 3번째 비트는 Cb1'의 6번째 비트부터 9번째 비트에 매핑되고, D1의 0번째 비트부터 5번째 비트는 Cb1'의 0번째 비트부터 5번째 비트에 매핑될 수 있다. D2의 4번째 비트부터 5번째 비트는 Cr0'의 0번째 비트부터 1번째 비트에 매핑되고, D2의 0번째 비트부터 3번째 비트는 Cr1'의 6번째 비트부터 9번째 비트에 매핑되고, D3의 0번째 비트부터 5번째 비트는 Cr1'의 0번째 비트부터 5번째 비트에 매핑될 수 있다. 즉, 컨테이너의 Y'Cb'Cr' 중에 텍스처 영상의 YCbCr을 매핑한 후 남은 비트 공간에 뎁스맵의 뎁스값을 매핑할 수 있다. 여러 가지의 뎁스맵의 뎁스값을 매핑하는 방법이 존재할 수 있는데, 본 발명의 다른 일 실시예 (L7030)에 따르면, 소스 텍스처 영상의 YCbCr은 상술한 예와 동일하게 매핑되고, D0의 6번째 비트부터 7번째 비트는 Y0'의 0번째 비트부터 1번째 비트에 매핑되고, D0의 4번째 비트부터 5번째 비트는 Y1'의 0번째 비트부터 1번째 비트에 매핑되고, D0의 2번째 비트부터 3번째 비트는 Y2'의 0번째 비트부터 1번째 비트에 매핑되고, D0의 0번째 비트부터 1번째 비트는 Y3'의 0번째 비트부터 1번째 비트에 매핑될 수 있다. D1의 6번째 비트부터 7번째 비트는 Cb0'의 0번째 비트부터 1번째 비트에 매핑되고, D1의 0번째 비트부터 5번째 비트는 Cb1'의 4번째 비트부터 9번째 비트에 매핑될 수 있다. D2의 4번째 비트부터 7번째 비트는 Cb1'의 0번째 비트부터 3번째 비트에 매핑될 수 있다. D2의 2번째 비트부터 3번째 비트는 Cr0'의 0번째 비트부터 1번째 비트에 매핑되고, D2의 0번째 비트부터 1번째 비트는 Cr1'의 8번째 비트부터 9번째 비트에 매핑되고, D3의 0번째 비트부터 7번째 비트는 Cr1'의 0번째 비트부터 7번째 비트에 매핑될 수 있다. 즉, 컨테이너의 Y'Cb'Cr' 중에 텍스처 영상의 YCbCr을 매핑한 후 남은 비트 공간에 뎁스맵의 뎁스값을 매핑할 수 있다.
하단 도면 (L7020)은 본 발명의 일 실시예 (case 2-4)에 따라, 텍스처 영상 (4K, 10bit, 4:2:0)과 뎁스맵 (2K, 12bit)을 컨테이너 (4K, 12bit, 4:2:0)에 비트 단위로 매핑하는 방법을 나타낸 도면이다. 이 도면에서, 소스의 텍스처 영상을 구성하는 각 픽셀의 YCbCr은 컨테이너 프레임의 Y'Cb'Cr'에 그대로 매핑될 수 있다. 그리고, 소스의 뎁스맵을 구성하는 각 픽셀의 뎁스값은 아래 설명과 같이 컨테이너 프레임의 남는 Y'Cb'Cr'에 매핑될 수 있다. 이 때, 소스 포맷은 메인 10 프로파일 (Main 10 profile)을 가질 수 있고 컨테이너 포맷은 메인 12 프로파일 (Main 12 profile)을 가질 수 있다. 하단 도면 (L7020)에 도시된 바와 같이, Y0의 0번째 비트부터 9번째 비트는 Y0'의 2번째 비트부터 11번째 비트에 매핑되고, Y1의 0번째 비트부터 9번째 비트는 Y1'의 2번째 비트부터 11번째 비트에 매핑되고, Y2의 0번째 비트부터 9번째 비트는 Y2'의 2번째 비트부터 11번째 비트에 매핑되고, Y3의 0번째 비트부터 9번째 비트는 Y3'의 2번째 비트부터 11번째 비트에 매핑될 수 있다. Cb0의 0번째 비트부터 9번째 비트는 Cb0'의 2번째 비트부터 11번째 비트에 매핑되고, Cr0의 0번째 비트부터 9번째 비트는 Cr0'의 2번째 비트부터 11번째 비트에 매핑될 수 있다. D의 10번째 비트부터 11번째 비트는 Y0'의 0번째 비트부터 1번째 비트에 매핑되고, D의 8번째 비트부터 9번째 비트는 Y1'의 0번째 비트부터 1번째 비트에 매핑되고, D의 6번째 비트부터 7번째 비트는 Y2'의 0번째 비트부터 1번째 비트에 매핑되고, D의 4번째 비트부터 5번째 비트는 Y3'의 0번째 비트부터 1번째 비트에 매핑될 수 있다. D의 2번째 비트부터 3번째 비트는 Cb0'의 0번째 비트부터 1번째 비트에 매핑되고, D의 0번째 비트부터 1번째 비트는 Cr0'의 0번째 비트부터 1번째 비트에 매핑될 수 있다. 즉, 컨테이너의 Y'Cb'Cr' 중에 텍스처 영상의 YCbCr을 매핑한 후 남은 비트 공간에 뎁스맵의 뎁스값을 매핑할 수 있다.
도 8은 본 발명의 일 실시예 (case 2)에 따라, 텍스처 영상과 뎁스맵을 컨테이너 프레임에 비트 단위로 매핑하는데 사용되는 수식을 나타낸 도면이다.
상단 도면 (L8010)이 나타내는 수식은, 본 발명의 일 실시예 (case 2)에 따라, 소스의 텍스처 영상을 구성하는 각 픽셀의 YCbCr을 컨테이너 프레임을 구성하는 각 픽셀의 Y'Cb'Cr'에 매핑하는 데 사용되는 수식을 나타낸다. 이 수식에서, n은 하나의 픽셀을 구성하는 비트 뎁스를 나타낸다. 예를 들어, 텍스처 영상이 8bit의 비트 뎁스를 갖는 영상인 경우 n은 0부터 7사이에서 변하는 값을 가질 수 있다. 그리고, t_bit_depth는 텍스처 영상의 비트 뎁스를 나타내고, YCbCr은 텍스처 영상의 YCbCr을 나타내고, Y'Cb'Cr'은 컨테이너 프레임의 YCbCr을 나타낸다.
하단 도면 (L8020)이 나타내는 수식은, 본 발명의 일 실시예 (case 2)에 따라, 소스의 뎁스맵을 구성하는 각 픽셀의 뎁스값을 컨테이너 프레임을 구성하는 각 픽셀의 Y'Cb'Cr'에 매핑하는 데 사용되는 수식을 나타낸다. 이 수식에서, n은 하나의 픽셀을 구성하는 비트 뎁스를 나타낸다. 예를 들어, 텍스처 영상이 8bit의 비트 뎁스를 갖는 영상인 경우 n은 0부터 7사이에서 변하는 값을 가질 수 있다. 그리고, c_bit_depth는 컨테이너 프레임에서 저장할 수 있는 최대 비트 뎁스를 나타내고, YCbCr은 텍스처 영상의 YCbCr을 나타내고, Y'Cb'Cr'은 컨테이너 프레임의 YCbCr을 나타내고, t_bit_depth는 텍스처 영상의 비트 뎁스를 나타낸다.
도 9는 본 발명의 일 실시예 (case 3)에 따라, 텍스처 영상 및 뎁스맵을 각각 다른 HEVC temporal layer로 구성하는 방법을 나타낸 도면이다.
본 발명의 일 실시예는 텍스처 영상은 HEVC temporal video sub-bitstream으로 구성하고, 뎁스맵은 HEVC temporal video subset으로 구성하여 수신단으로 전송할 수 있다. 즉, 텍스처 영상과 뎁스맵이 각각의 HEVC temporal layer에 포함되어 전송될 수 있다. 이 때, 컨테이너 포맷과 소스 텍스처 영상의 프로파일은 동일하고, 레벨은 다를 수 있다. 본 발명의 일 실시예는 120p의 프레임레이트를 사용하지만, 실제로는 60p의 텍스처 영상 포맷과 60p의 뎁스맵 포맷을 포함하고 있는 형태를 나타낸다.
본 발명의 일 실시예는, 하단 도면 (L9020)에 도시된 바와 같이, stream type=0x24로 식별되는 HEVC temporal video sub-bitstream을 이용하여, 4K 좌영상 및 4K 우영상을 하나의 4K 컨테이너 프레임에 포함시켜 HEVC 인코딩할 수 있다. 이 때, HEVC temporal video sub-bitstream는 텍스처 영상만 포함할 수 있다.
본 발명의 일 실시예는, 상단 도면 (L9010)에 도시된 바와 같이, stream type=0x25로 식별되는 HEVC temporal video subset을 이용하여, 좌영상에 대한 4K 뎁스맵 및 우영상에 대한 4K 뎁스맵을 하나의 4K 컨테이너 프레임에 포함시켜 HEVC 인코딩할 수 있다. 이 때, HEVC temporal video subset는 뎁스맵만 포함할 수 있다.
본 발명의 다른 일 실시예는, 텍스처 영상은 HEVC temporal video sub-bitstream으로, 뎁스맵은 HEVC temporal video subset으로 전송하는 것이 아니라, temporal_id=0으로 식별되는 레이어는 좌영상을 포함하고, temporal_id=1로 식별되는 레이어는 좌영상에 대한 뎁스맵을 포함하고, temporal_id=2로 식별되는 레이어는 우영상을 포함하고, temporal_id=3으로 식별되는 레이어는 우영상에 대한 뎁스맵을 포함하도록 레이어를 구성할 수 있다. 즉, 하위 레이어와 상위 레이어가 짝을 이루는 방법으로 레이어를 구성할 수 있다. 이 때, 본 발명의 일 실시예는 코딩 효율이 저하되지 않도록 하기 위하여, 비디오 레벨 (video level)에서 참조 (reference)되는 레이어에 포함된 영상의 종류 (텍스처 영상인지 뎁스맵인지)에 따라 참조 관계 (reference set)를 조정할 수 있다.
도 10은 본 발명의 일 실시예 (case 3-1)에 따라, 4K 좌영상 및 4K 우영상을 하나의 4K 컨테이너 프레임에 패킹하고, 좌영상에 대한 4K 뎁스맵 및 우영상에 대한 4K 뎁스맵을 또 다른 하나의 4K 컨테이너 프레임에 패킹하여 각각 다른 템포럴 레이어에 포함시키는 방법을 나타낸 도면이다.
상단 도면 (L10010)은 4K 좌영상 및 4K 우영상을 하나의 4K 컨테이너 프레임에 사이드 바이 사이드 (side-by-side) 형태로 패킹하고 패킹된 컨테이너 프레임을 stream_type=0x24로 식별되는 HEVC temporal video sub-bitstream에 포함시키는 실시예를 나타낼 수 있다. 나아가, 좌영상에 대한 4K 뎁스맵 및 우영상에 대한 4K 뎁스맵을 하나의 4K 컨테이너 프레임에 사이드 바이 사이드 (side-by-side) 형태로 패킹하고 패킹된 컨테이너 프레임을 stream_type=0x25로 식별되는 HEVC temporal video subset에 포함시키는 실시예를 나타낼 수 있다. 이 때, 텍스처 영상 및/또는 뎁스맵은 탑 앤 바텀 (top-and-bottom), 타임 인터리빙 (time interleaving) 및/또는 렉텡귤러 리전 어레인지먼트 (rectangular region arrangement) 형태로 패킹될 수 있다. 그리고, HEVC temporal video sub-bitstream와 HEVC temporal video sub-layer는 동일한 의미를 가질 수 있다.
상단 도면 (L10010)을 보면, 텍스처 영상은 3840x2160의 해상도, 순차 주사 방식 (progressive), 24/30/60Hz의 프레임레이트를 가질 수 있다. 여기서, 3840x2160은 모니터 해상도를 의미하는 것으로 4K 해상도와 동일한 의미를 가진다.
상단 도면 (L10010)에 따라, 본 발명의 일 실시예에 따르면, 4K의 해상도를 갖는 좌영상, 우영상, 좌영상에 대한 뎁스맵 및 우영상에 대한 뎁스맵은 1/2 너비로 다운 샘플링될 수 있다. 다운 샘플링된 텍스처 영상 및 뎁스맵은 여전히 4K 해상도를 갖고, 이 도면에서와 텍스처 영상 및 뎁스맵 각각이 각각의 4K 컨테이너 프레임에 사이드 바이 사이드 형태로 패킹될 수 있다. 패킹된 4K 컨테이너 프레임은 HEVC 인코딩 (encoding)되고, 다중화 (multiplexer)되어 수신단으로 전송될 수 있다.
하단 도면 (L10020)은 소스의 4K 뎁스맵을 구성하는 각 픽셀의 뎁스값을 4K 컨테이너 프레임을 구성하는 픽셀의 Y'Cb'Cr'에 매핑하는 방법을 나타낸 도면이다. 본 발명의 일 실시예에 따르면, 텍스처 영상을 구성하는 각 픽셀의 YCbCr은 컨테이너 프레임을 구성하는 각 픽셀의 Y'Cb'Cr'에 순서대로 그대로 매핑될 수 있다. 이와 관련한 매핑 수식은 전술하였다. 본 발명의 일 실시예에 따르면, 소스의 뎁스맵을 구성하는 각 픽셀의 뎁스값은 컨테이너 프레임을 구성하는 각 픽셀의 Y'에 그대로 매핑될 수 있다. 이 때, 텍스처 영상 및 컨테이너 프레임은 4K, 10bit, 4:2:0 포맷을 가지고, 뎁스맵은 4K, 10bit 포맷을 가질 수 있다. 따라서, 하단 도면 (L10020)에 도시된 바와 같이, D0의 0번째 비트부터 9번째 비트는 Y0'의 0번째 비트부터 9번째 비트에 매핑되고, D1의 0번째 비트부터 9번째 비트는 Y1'의 0번째 비트부터 9번째 비트에 매핑되고, D2의 0번째 비트부터 9번째 비트는 Y2'의 0번째 비트부터 9번째 비트에 매핑되고, D3의 0번째 비트부터 9번째 비트는 Y3'의 0번째 비트부터 9번째 비트에 매핑될 수 있다. 이 때, 컨테이너 프레임의 Cb' 및 Cr'은 null 값을 가질 수 있다.
도 11은 본 발명의 일 실시예 (case 3-2)에 따라, 4K 좌영상 및 4K 우영상을 하나의 4K 컨테이너 프레임에 패킹하고, 좌영상에 대한 4K 뎁스맵 및 우영상에 대한 2K 뎁스맵을 또 다른 하나의 4K 컨테이너 프레임에 패킹하여 각각 다른 템포럴 레이어에 포함시키는 방법을 나타낸 도면이다.
상단 도면 (L11010)은 4K 좌영상 및 4K 우영상을 하나의 4K 컨테이너 프레임에 사이드 바이 사이드 (side-by-side) 형태로 패킹하고 패킹된 컨테이너 프레임을 stream_type=0x24로 식별되는 HEVC temporal video sub-bitstream에 포함시키는 실시예를 나타낼 수 있다. 나아가, 좌영상에 대한 4K 뎁스맵 및 우영상에 대한 2K 뎁스맵을 하나의 4K 컨테이너 프레임에 패킹하고 패킹된 컨테이너 프레임을 stream_type=0x25로 식별되는 HEVC temporal video subset에 포함시키는 실시예를 나타낼 수 있다. 이 때, 텍스처 영상 및/또는 뎁스맵은 탑 앤 바텀 (top-and-bottom), 타임 인터리빙 (time interleaving) 및/또는 렉텡귤러 리전 어레인지먼트 (rectangular region arrangement) 형태로 패킹될 수 있다. 그리고, HEVC temporal video sub-bitstream와 HEVC temporal video sub-layer는 동일한 의미를 가질 수 있다.
상단 도면 (L11010)을 보면, 텍스처 영상은 3840x2160의 해상도, 순차 주사 방식 (progressive), 24/30/60Hz의 프레임레이트를 가질 수 있다. 여기서, 3840x2160은 모니터 해상도를 의미하는 것으로 4K 해상도와 동일한 의미를 가진다.
상단 도면 (L11010)에 따라, 본 발명의 일 실시예에 따르면, 4K의 해상도를 갖는 좌영상, 우영상 및 좌영상에 대한 뎁스맵은 1/2 너비로 다운 샘플링될 수 있다. 또는, 좌영상에 대한 뎁스맵은 다운 샘플링되지 않을 수도 있다. 반면, 우영상에 대한 뎁스맵은 1/2 너비 및 1/2 높이로 다운 샘플링될 수 있다. 다운 샘플링된 텍스처 영상 및 좌영상에 대한 뎁스맵은 여전히 4K 해상도를 갖고, 다운 샘플링된 우영상에 대한 뎁스맵은 2K 해상도를 가질 수 있다. 이 도면에서와 텍스처 영상 및 뎁스맵 각각이 각각의 4K 컨테이너 프레임에 패킹될 수 있다. 패킹된 4K 컨테이너 프레임은 HEVC 인코딩 (encoding)되고, 다중화 (multiplexer)되어 수신단으로 전송될 수 있다.
하단 도면 (L11020)은 소스의 4K 뎁스맵을 구성하는 각 픽셀의 뎁스값을 4K 컨테이너 프레임을 구성하는 픽셀의 Y'Cb'Cr'에 매핑하는 방법을 나타낸 도면이다. 본 발명의 일 실시예에 따르면, 텍스처 영상을 구성하는 각 픽셀의 YCbCr은 컨테이너 프레임을 구성하는 각 픽셀의 Y'Cb'Cr'에 순서대로 그대로 매핑될 수 있다. 이와 관련한 매핑 수식은 전술하였다. 본 발명의 일 실시예에 따르면, 좌영상에 대한 4K 뎁스맵을 구성하는 각 픽셀의 뎁스값은 컨테이너 프레임을 구성하는 각 픽셀의 Y'에 매핑될 수 있고, 우영상에 대한 2K 뎁스맵을 구성하는 각 픽셀의 뎁스값은 컨테이너 프레임을 구성하는 각 픽셀의 Cb' 또는 Cr'에 매핑될 수 있다. 이 때, 텍스처 영상 및 컨테이너 프레임은 4K, 10bit, 4:2:0 포맷을 가지고, 좌영상에 대한 뎁스맵은 4K, 10bit 포맷, 우영상에 대한 뎁스맵은 2K, 10bit 포맷을 가질 수 있다. 그리고, 도면에서 DL은 좌영상에 대한 뎁스맵을 나타내고, DR은 우영상에 대한 뎁스맵을 나타낸다. 따라서, 하단 도면 (L11020)에 도시된 바와 같이, DL0의 0번째 비트부터 9번째 비트는 Y0'의 0번째 비트부터 9번째 비트에 매핑되고, DL1의 0번째 비트부터 9번째 비트는 Y1'의 0번째 비트부터 9번째 비트에 매핑되고, DL2의 0번째 비트부터 9번째 비트는 Y2'의 0번째 비트부터 9번째 비트에 매핑되고, DL3의 0번째 비트부터 9번째 비트는 Y3'의 0번째 비트부터 9번째 비트에 매핑될 수 있다. 그리고, DR의 0번째 비트부터 9번째 비트는 Cb0' 또는 Cr0'의 0번째 비트부터 9번째 비트에 매핑될 수 있다. 이 때, 우영상에 대한 뎁스맵이 Cr0'에 매핑되면 Cb0'이 null 값을 갖고, 반대로, Cb0'에 매핑되면 Cr0'이 null 값을 가질 수 있다.
도 12는 본 발명의 일 실시예에 따른 frame_packing_arrangement_for_auto_stereoscopic SEI 메시지의 구성 및 frame_packing_arrangement_type_for_auto_stereoscopic 필드 값을 나타낸 도면이다.
본 발명의 일 실시예는, 전술한 case 1 및/또는 case 2의 실시예에 대한 내용을 비디오 레벨에서 시그널링하기 위한 방법을 제공할 수 있다.
본 발명의 일 실시예는 비디오 엘레멘터리 스트림 (video elementary stream, 예를 들어, HEVC) 내에 새로운 frame packing arrangement SEI message를 정의하고 이를 통하여 본 발명의 일 실시예에 따른 좌영상, 우영상, 좌영상에 대한 뎁스맵 및 우영상에 대한 뎁스맵이 패킹된 프레임 포맷을 시그널링할 수 있다. 보다 구체적으로, 본 발명의 일 실시예는 새로운 frame packing arrangement SEI message 내에 존재하는 frame_packing_arrangement_type 필드를 이용하여 본 발명의 일 실시예에 따른 좌영상, 우영상, 좌영상에 대한 뎁스맵 및 우영상에 대한 뎁스맵이 패킹된 프레임 포맷을 시그널링할 수 있다. 이 때, 본 발명의 일 실시예는 기존에 정의된 frame packing arrangement type에 추가로 뎁스맵을 위한 arrangement type을 새로 정의함으로써 본 발명의 일 실시예에 따른 좌영상, 우영상, 좌영상에 대한 뎁스맵 및 우영상에 대한 뎁스맵이 패킹된 프레임 포맷을 시그널링할 수 있다. 새로운 frame packing arrangement SEI message은 frame_packing_arrangement_for_auto_stereoscopic SEI message로 명명될 수 있고, 새로운 frame packing arrangement SEI message 내에 존재하는 frame_packing_arrangement_type 필드는 frame_packing_arrangement_type_for_auto_stereoscopic 필드로 명명될 수 있다. 나아가, 본 발명의 일 실시예는 새로운 frame packing arrangement SEI message 내에 존재하는 frame_packing_composition_info() 필드를 이용하여 텍스처 영상, 뎁스맵 및/또는 컨테이너 포맷의 해상도, 비트 뎁스 및/또는 크로마 서브샘플링을 시그널링할 수 있다. 즉, 패킹되기 전의 텍스처 영상 및 뎁스맵의 원본 영상과 컨테이너 포맷에 대한 정보를 시그널링할 수 있다. 또는, 본 발명의 다른 일 실시예는 텍스처 영상과 뎁스맵에 대한 프로파일 (profile), 레벨 (level) 및/또는 티어 (tier) 정보를 이용하여 텍스처 영상과 뎁스맵의 해상도, 비트 뎁스 및/또는 크로마 서브샘플링을 시그널링할 수 있다. 나아가, 본 발명의 일 실시예는 frame_packing_composition_info() 필드 내에 존재하는 pixel_composition_info() 필드를 이용하여 컨테이너 프레임을 구성하는 각 픽셀이 구성된 형태를 시그널링할 수 있다. 이 때, frame_packing_composition_info() 필드는 기존의 frame packing arrangement SEI message 내에 존재했던 frame_packing_arrangement_reserved_byte 필드의 자리에 포함될 수 있다. 나아가, 본 발명의 일 실시예는 spatial_flipping_flag 필드 및 frame0_flipped_flag 필드를 이용하여 좌영성 및/또는 우영상의 수평방향 플리핑 여부를 시그널링할 수 있다.
본 발명의 다른 일 실시예는 비디오 엘레멘터리 스트림 (video elementary stream, 예를 들어, HEVC) 내에 존재하는 기존의 frame packing arrangement SEI message를 이용하여 본 발명의 일 실시예에 따른 좌영상, 우영상, 좌영상에 대한 뎁스맵 및 우영상에 대한 뎁스맵이 패킹된 프레임 포맷을 시그널링할 수 있다. 보다 구체적으로, 본 발명의 일 실시예는 기존의 frame packing arrangement SEI message 내의 frame_packing_arrangement_reserved_byte 필드를 이용하여 패킹되기 전의 텍스처 영상 및 뎁스맵의 원본 영상과 컨테이너 포맷에 대한 정보를 시그널링할 수 있다. 즉, 텍스처 영상, 뎁스맵 및/또는 컨테이너 포맷의 해상도, 비트 뎁스 및/또는 크로마 서브샘플링을 시그널링할 수 있다. 이 때, frame_packing_arrangement_reserved_byte 필드는 이 도면에서 frame_packing_composition_info() 필드를 나타낼 수 있다. 보다 구체적으로, 본 발명의 일 실시예는 기존의 frame packing arrangement SEI message 내에 존재하는 frame_packing_arrangement_type 필드를 이용하여 본 발명의 일 실시예에 따른 좌영상, 우영상, 좌영상에 대한 뎁스맵 및 우영상에 대한 뎁스맵이 패킹된 프레임 포맷을 시그널링할 수 있다. 이 때, 본 발명의 일 실시예는 기존에 정의된 frame packing arrangement type에 추가로 뎁스맵을 위한 arrangement type을 새로 정의함으로써 본 발명의 일 실시예에 따른 좌영상, 우영상, 좌영상에 대한 뎁스맵 및 우영상에 대한 뎁스맵이 패킹된 프레임 포맷을 시그널링할 수 있다. 나아가, 본 발명의 일 실시예는 spatial_flipping_flag 필드 및 frame0_flipped_flag 필드를 이용하여 좌영성 및/또는 우영상의 수평방향 플리핑 여부를 시그널링할 수 있다.
본 발명의 일 실시예에 따른 frame_packing_arrangement_for_auto_stereoscopic SEI 메시지 (L12010)는 frame_packing_arrangement_id 필드, frame_packing_arrangement_cancel_flag 필드, frame_packing_arrangement_type_for_auto_stereoscopic 필드, quincunx_sampling_flag 필드, content_interpretation_type 필드, spatial_flipping_flag 필드, frame0_flipped_flag 필드, field_views_flag 필드, current_frame_is_frame0_flag 필드, frame0_self_contained_flag 필드, frame1_self_contained_flag 필드, frame0_grid_position_x 필드, frame0_grid_position_y 필드, frame1_grid_position_x 필드, frame1_grid_position_y 필드, frame_packing_composition_info() 필드, frame_packing_arrangement_persistence_flag 필드 및/또는 upsampled_aspect_ratio_flag 필드를 포함할 수 있다. 여기서, 본 발명의 일 실시예에 따른 새로운 frame_packing_arrangement_for_auto_stereoscopic SEI 메시지에 포함되는 필드들은 기존의 frame_packing_arrangement SEI 메시지에 포함된 필드와 구분될 수 있게 그 이름 및/또는 의미가 수정될 수 있다.
frame_packing_arrangement_id 필드는 해당 frame_packing_arrangement_for_auto_stereoscopic SEI 메시지가 사용됨을 식별할 수 있다. (rame_packing_arrangement_id may contain an identifying number that may be used to identify the usage of the frame packing arrangement SEI message.)
frame_packing_arrangement_cancel_flag 필드값이 1이면 해당 frame_packing_arrangement_for_auto_stereoscopic SEI 메시지가 출력 순서상 이전의 frame_packing_arrangement_for_auto_stereoscopic SEI 메시지가 지속되는 것을 무효화하는 함을 나타내고, 이 필드값이 0이면 해당 frame packing arrangement 정보가 뒤따름을 나타낼 수 있다. (frame_packing_arrangement_cancel_flag equal to 1 may indicate that the frame packing arrangement SEI message cancels the persistence of any previous frame p acking arrangement SEI message in output order. frame_packing_arrangement_cancel_flag equal to 0 may indicate that frame packing arrangement information follows.)
frame_packing_arrangement_type_for_auto_stereoscopic 필드는 프레임의 패킹 구성의 타입을 나타낼 수 있다. (frame_packing_arrangement_type may indicate the type of packing arrangement of the frames.)
quincunx_sampling_flag 필드값이 1이면, 각 구성 프레임의 각 컬러 컴포넌트 플레인이 5점형으로 샘플링됨을 나타내고, 이 필드값이 0이면, 5점형으로 샘플링되지 않음을 나타낼 수 있다. (quincunx_sampling_flag equal to 1 may indicate that each colour component plane of each constituent frame is quincunx sampled. quincunx_sampling_flag equal to 0 may indicate that the colour component planes of each constituent frame are not quincunx sampled.)
content_interpretation_type 필드는 구성 프레임들의 의도된 해석을 나타낼 수 있다. (content_interpretation_type may indicate the intended interpretation of the constituent frames.)
spatial_flipping_flag 필드는 두 구성 프레임들 중에 하나가 플리핑되었는지 유무를 나타낼 수 있다. (spatial_flipping_flag equal to 1 may indicate that one of the two constituent frames is spatially flipped relative to its intended orientation for display or other such purposes.)
frame0_flipped_flag 필드는 상기 spatial_flipping_flag 필드값이 1일 때, 어떤 구성 프레임이 플리핑되었는지를 나타낼 수 있다. (frame0_flipped_flag, when spatial_flipping_flag is equal to 1, may indicate which one of the two constituent frames is flipped.)
field_views_flag 필드는 현재 이코딩된 비디오 시퀀스에 포함된 모든 픽처가 상호 페어를 이루는 방법으로 인코딩됨을 나타낼 수 있다. (field_views_flag equal to 1 may indicate that all pictures in the current coded video sequence are coded as complementary field pairs.)
current_frame_is_frame0_flag 필드값이 1이면, 현재 디코딩된 프레임이 구성 프레임 0이고 출력 순서상 그 다음 디코딩된 프레임이 구성 프레임 1임을 나타내고, 구성 프레임 1의 디스플레이 시간은 구성 프레임 0의 디스플레이 시간에 맞춰 딜레이될 수 있음을 나타낼 수 있다. 이 필드값이 0이면, 현재 디코딩된 프레임이 구성 프레임 1이고 출력 순서상 이전에 디코딩된 프레임이 구성 프레임 0임을 나타내고, 구성 프레임 1의 디스플레이 시간은 딜레이되지 않을 수 있음을 나타낼 수 있다. (current_frame_is_frame0_flag equal to 1, decoded frame may be constituent frame 0 and the next decoded frame in output order may be constituent frame 1, and the display time of the constituent frame 0 may be delayed to coincide with the display time of constituent frame 1. current_frame_is_frame0_flag equal to 0, may indicate that the current decoded frame is constituent frame 1 and the previous decoded frame in output order may be constituent frame 0, and the display time of the constituent frame 1 may not be delayed for purposes of stereo-view pairing.)
frame0_self_contained_flag 필드는 인코딩된 비디오 시퀀스의 구성 프레임 0의 샘플들을 위한 디코딩 프로세스 안에 구성 프레임 1의 샘플들을 참조하는 내부 예측 동작의 유무를 나타낼 수 있다. (frame0_self_contained_flag equal to 1 may indicate that no inter prediction operations within the decoding process for the samples of constituent frame 0 of the coded video sequence refer to samples of any constituent frame 1. frame0_self_contained_flag equal to 0 may indicate that some inter prediction operations within the decoding process for the samples of constituent frame 0 of the coded video sequence may or may not refer to samples of some constituent frame 1.)
frame1_self_contained_flag 필드는 인코딩된 비디오 시퀀스의 구성 프레임 1의 샘플들을 위한 디코딩 프로세스 안에 구성 프레임 0의 샘플들을 참조하는 내부 예측 동작의 유무를 나타낼 수 있다. (frame1_self_contained_flag equal to 1 may indicate that no inter prediction operations within the decoding process for the samples of constituent frame 1 of the coded video sequence refer to samples of any constituent frame 0. frame1_self_contained_flag equal to 0 may indicate that some inter prediction operations within the decoding process for the samples of constituent frame 1 of the coded video sequence may or may not refer to samples of some constituent frame 0.)
frame0_grid_position_x 필드는 구성 프레임 0의 (x,y) 평면상의 x좌표를 나타낼 수 있다. (frame0_grid_position_x (when present) may specify the x component of the (x, y) coordinate pair for constituent frame 0.)
frame0_grid_position_y 필드는 구성 프레임 0의 (x,y) 평면상의 y좌표를 나타낼 수 있다. (frame0_grid_position_x (when present) may specify the y component of the (x, y) coordinate pair for constituent frame 0.)
frame1_grid_position_x 필드는 구성 프레임 1의 (x,y) 평면상의 x좌표를 나타낼 수 있다. (frame0_grid_position_x (when present) may specify the x component of the (x, y) coordinate pair for constituent frame 1.)
frame1_grid_position_y 필드는 구성 프레임 1의 (x,y) 평면상의 y좌표를 나타낼 수 있다. (frame0_grid_position_x (when present) may specify the y component of the (x, y) coordinate pair for constituent frame 1.)
frame_packing_composition_info() 필드에 대한 상세한 설명은 후술한다.
frame_packing_arrangement_persistence_flag 필드는 해당 SEI 메시지가 지속되는지 여부를 나타낼 수 있다. (frame_packing_arrangement_persistence_flag may specify the persistence of the frame packing arrangement SEI message and may specify a frame order count interval within which another frame packing arrangement SEI message with the same value of frame_packing_arrangement_id or the end of the coded video sequence may be present in the bitstream.)
upsampled_aspect_ratio_flag 필드는 해당 샘플 화면비가 각 구성 프레임으로부터 더 높은 해상도를 갖는 프레임을 생성하기 위한 업컨버젼 프로세스의 적용 이후인지 적용 전인지를 나타낼 수 있다. (upsampled_aspect_ratio_flagequal to 1 may indicates that the sample aspectratio (SAR) indicated by the VUI parameters of the SPS identifies the SAR of the samples after the application of an upconversion process to produce a higher resolution frame from each constituent frame. upsampled_aspect_ratio_flag equal to 0 may indicates that the SAR indicated by the VUI parameters of the SPS identifies the SAR of the samples before the application of any such upconversion process.)
좌측 도면 (L12020)은, 상술한 frame_packing_arrangement_type_for_auto_stereoscopic 필드가 나타내는 필드값을 나타낸 도면이다. 본 발명의 일 실시예에 따른 이 필드값 1은 4분할된 프레임의 각 영역에 사이드 바이 사이드 형태의 텍스처 영상 및 사이드 바이 사이드 형태의 뎁스맵이 패킹된 프레임 구성을 나타낼 수 있다. 나아가, 필드값 1은 기존의 사이드 바이 사이드 형태의 프레임 구성을 나타내는 frame_packing_arrangement_type 3의 의미를 확장한 것이다. 본 발명의 일 실시예에 따른 이 필드값 2는 4분할된 프레임의 각 영역에 탑 앤 바텀 형태의 텍스처 영상 및 탑 앤 바텀 형태의 뎁스맵이 패킹된 프레임 구성을 나타낼 수 있다. 나아가, 필드값 2는 기존의 탑 앤 바텀 형태의 프레임 구성을 나타내는 frame_packing_arrangement_type 4의 의미를 확장한 것이다. 본 발명의 일 실시예에 따른 이 필드값 3은 2분할된 홀수 프레임 (odd frame)의 각 영역에 사이드 바이 사이드 또는 탑 앤 바텀 형태의 좌영상 및 좌영상에 대한 뎁스맵이 패킹되고, 2분할된 짝수 프레임 (even frame)의 각 영역에 사이드 바이 사이드 또는 탑 앤 바텀 형태의 우영상 및 우영상에 대한 뎁스맵이 패킹된 프레임 구성을 나타낼 수 있다. 나아가, 필드값 3는 기존의 타임 인터리빙 (time interleaving) 형태의 프레임 구성을 나타내는 frame_packing_arrangement_type 5의 의미를 확장한 것이다. 나아가, 본 발명의 다른 일 실시예는 2분할된 홀수 프레임 (odd frame)의 각 영역에 사이드 바이 사이드 또는 탑 앤 바텀 형태의 좌영상 및 우영상이 패킹되고, 2분할된 짝수 프레임 (even frame)의 각 영역에 사이드 바이 사이드 또는 탑 앤 바텀 형태의 좌영상에 대한 뎁스맵 및 우영상에 대한 뎁스맵이 패킹된 프레임을 구성할 수 있다. 본 발명의 일 실시예에 따른 이 필드값 4는 1920x1080 프레임에 720p 좌영상이 스케일링 (scaling) 과정 없이 그대로 배치되고, 우영상이 상기 좌영상을 배치하고 남는 자리에 잘려 배치되는 렉텡귤러 리전 어레인지먼트 (rectangular region arrangement)에 추가로 뎁스맵이 패킹된 프레임 구성을 나타낼 수 있다. 나아가, 필드값 4는 기존 Segmented rectangular frame packing arrangement SEI message에서 포함하는 frame packing arrangement를 확장한 것이다. 나아가, 본 발명의 다른 일 실시예는 홀수번째 (odd frame) 1920x1080 프레임에 720p 좌영상이 배치되고, 좌영상에 대한 뎁스맵이 상기 좌영상을 배치하고 남는 자리에 잘려 배치되고, 짝수번째 (even frame) 1920x1080 프레임에 720p 우영상이 배치되고, 우영상에 대한 뎁스맵이 상기 우영상을 배치하고 남는 자리에 잘려 배치되는 프레임을 구성할 수 있다. 또한, 본 발명의 다른 일 실시예는 홀수번째 (odd frame) 1920x1080 프레임에 720p 좌영상이 배치되고, 우영상이 상기 좌영상을 배치하고 남는 자리에 잘려 배치되고, 짝수번째 (even frame) 1920x1080 프레임에 좌영상에 대한 댑스맵이 배치되고, 우영상에 대한 뎁스맵이 상기 좌영상에 대한 댑스맵을 배치하고 남는 자리에 잘려 배치되는 프레임을 구성할 수 있다.
본 발명의 일 실시예는, case 1, 2 및 3의 실시예에 대한 내용을 시스템 레벨 (system level)에서 시그널링하는 방법을 제공할 수 있다.
본 발명의 일 실시예에 따르면, PMT (program map table) 내에서, 텍스처 영상을 전송하는 스트림의 stream_type은 HEVC와 동일한 0x24로 시그널링될 수 있고, HEVC temporal video subset를 이용하여 뎁스맵을 전송하는 경우, HEVC temporal video subset의 stream_type은 0x25로 시그널링될 수 있다. 나아가, 본 발명의 일 실시예는 PMT 내의 HEVC descriptor에 포함되는 내에 FPA_SEI_not_present_flag를 0으로 설정할 수 있다. 이로써, 본 발명의 일 실시예에 따른 수신기는 FPA_SEI_not_present_flag='0' 일 때, 전술한 비디오 레벨 (video level)의 시그널링을 통해 case 1, 2 및/또는 3의 전술한 내용을 알 수 있다.
본 발명의 다른 일 실시예에 따르면, PSIP 및/또는 SI 내에서, 컴포넌트 레벨 (component level)의 시그널링을 통하여 case 1, 2 및/또는 3의 전술한 내용을 시그널링할 수 있다. 여기서, 컴포넌트는 엘레먼터리 스트림을 의미할 수 있다.
도 13은 본 발명의 일 실시예에 따른 frame_packing_composition_info()의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 frame_packing_composition_info()는 텍스처 영상 및/또는 뎁스맵에 대한 정보를 포함할 수 있다. 보다 구체적으로, 텍스처 영상 및/또는 뎁스맵에 대한 해상도, 프레임레이트, 크로마 서브샘플링 및/또는 비트 뎁스를 포함할 수 있다. 나아가, 본 발명의 일 실시예에 따른 frame_packing_composition_info()는 원본 텍스처 영상과 뎁스맵 포맷이 컨테이너 포맷에 어떻게 매핑되는지에 대한 정보를 시그널링할 수 있다. 본 발명의 일 실시예에 따르면, 컨테이너 포맷에 대한 정보는 PMT 내의 HEVC_descriptor()의 프로파일 (profile), 레벨 (level) 및/또는 티어 (tier)에 대한 정보를 통하여 시그널링될 수 있다.
본 발명의 일 실시예에 따른 frame_packing_composition_info()는 texture_resolution 필드, texture_frame_rate 필드, texture_chroma_sub_sampling 필드, texture_bit_depth 필드, depth_map_resolution 필드, depth_frame_rate 필드, depth_map_bit_depth 필드 및/또는 pixel_composition_info() 필드를 포함할 수 있다.
texture_resolution 필드, texture_frame_rate 필드, texture_chroma_sub_sampling 필드, texture_bit_depth 필드는 텍스처 영상의 해상도, 프레임레이트, 크로마 서브샘플링, 비트 뎁스에 대한 정보를 나타낼 수 있다.
depth_map_resolution 필드, depth_frame_rate 필드, depth_map_bit_depth 필드는 뎁스맵의 해상도, 프레임레이트, 비트 뎁스에 대한 정보를 나타낼 수 있다.
pixel_composition_info() 필드는 컨테이너 프레임을 구성하는 각 픽셀의 YCbCr이 어떻게 구성되어 있는지에 대한 정보를 나타낼 수 있다. 예를 들어, 본 발명의 일 실시예에 따른 case 1 또는 case 2의 경우에, 전술한 수식에 따라 소스 텍스처 영상의 YCbCr 및/또는 뎁스맵의 뎁스값이 컨테이너 프레임을 구성하는 각 픽셀의 YCbCr에 매핑되는데, 이러한 매핑 방법 (구성 방법)에 대한 정보가 이 필드에 포함될 수 있다. 여기서, 프레임을 구성하는 모든 픽셀이 이 필드에서 정의되는 대로 구성될 수 있다.
도 14는 본 발명의 일 실시예에 따른 3D_operating_point()의 구성을 나타낸 도면이다.
본 발명의 일 실시예는, 전술한 case 3의 실시예에 대한 내용을 비디오 레벨에서 시그널링하기 위한 방법을 제공할 수 있다.
본 발명의 일 실시예는 비디오 엘레멘터리 스트림 (video elementary stream, 예를 들어, HEVC) 내에 새로운 operating point SEI message를 정의하고 이를 통하여 뎁스맵을 텍스처 영상과 다른 레이어를 통하여 전송하는 내용을 시그널링할 수 있다. 여기서, operating point SEI message는 3D operating point SEI message로 명명될 수 있다.
본 발명의 일 실시예에 따른 3D_operating_point SEI 메시지는 service_type 필드, service_frame_rate 필드, max_temporal_id 필드, temporal_id 필드, layer_type 필드, t_layer_dependency 필드, d_layer_dependency 필드, num_of_operating_points 필드, layer_combination_type 및/또는 layer_composition_info() 필드를 포함할 수 있다.
service_type 필드는 해당 서비스의 타입을 나타낼 수 있다. 이 필드값이 00이면, temporal scalability service를 나타내고, temporal scalability service는 여러 개의 템포럴 레이어 (temporal layer)에 텍스처 영상만 포함되는 서비스를 나타낼 수 있다. 이 필드값이 10이면, auto-stereoscopic service를 나타내고, auto-stereoscopic service는 여러 개의 템포럴 레이어 (temporal layer)에 텍스처 영상과 뎁스맵이 각 레이어에 포함되는 서비스를 나타낼 수 있다.
service_frame_rate 필드는 현재 서비스가 최종적으로 제공하는 프레임레이트를 나타낼 수 있다. 예를 들어, 이 필드값이 000이면 60p, 001이면 120p를 나타낼 수 있다.
max_temporal_id 필드는 현재 서비스가 포함하는 레이어의 최대 개수를 나타낼 수 있다. 다시말해, temporal id의 최대값을 나타낼 수 있다. 본 발명의 일 실시예에 따른 temporal video subset이 포함되는 경우에는 이 필드는 temporal video subset의 최대 템포럴 id까지 나타낼 수 있다.
temporal_id 필드는 각 레이어의 id를 나타낼 수 있다. 이 필드값은 nuh_temporal_id_plus1 필드값에서 1을 뺀 값을 나타낼 수 있다.
layer_type 필드는 각 레이어에 포함된 영상의 타입을 나타낼 수 있다. 본 발명의 일 실시예에 따르면 이 필드값이 0이면 텍스처 영상을 나타내고, 필드값이 1이면 뎁스맵을 나타낼 수 있다.
t_layer_dependency 필드는 텍스처 영상을 포함하는 레이어들 간에 예측 (prediction)을 위한 레퍼런스 (reference)가 될 수 있는 레이어를 나타낼 수 있다. 즉, 레이어 간에 디펜던시 (dependency)를 시그널링할 수 있다. 본 발명의 일 실시예는, 디펜던시 (dependency)에 대한 값을 오름차순으로 정렬함으로써, 만약 temporal id가 0인 레이어와 temporal id가 1인 레이어의 타입이 모두 텍스처 영상인 경우, 두 레이어의 디펜던시는 0000, 0001로 각각 표시하여 temporal id가 0인 layer는 temporal id가 1인 layer의 reference가 됨을 시그널링할 수 있다.
d_layer_dependency 필드는 뎁스맵을 포함하는 레이어들 간에 예측 (prediction)을 위한 레퍼런스 (reference)가 될 수 있는 레이어를 나타낼 수 있다. 즉, 레이어 간에 디펜던시 (dependency)를 시그널링할 수 있다. 구체적인 방법은 상술한 t_layer_dependency 필드에 대한 설명으로 대체한다.
num_of_operating_points 필드는 레이어 조합의 개수를 나타내는 operating point의 개수를 나타낼 수 있다.
layer_combination_type 필드는 해당 service type에 해당하는 서비스가 어떤 레이어 조합으로 제공될 수 있는 지를 나타낼 수 있다. 본 발명의 일 실시예는 operating point 마다의 레이어 조합 타입을 시그널링할 수 있다. 이에 대한 상세한 설명은 후술한다.
layer_composition_info() 필드는 전술한 frame_packing_composition_info()와 동일한 정보를 포함할 수 있고, 해당 레이어에 포함된 텍스처 영상 및/또는 뎁스맵에 대한 포맷 정보를 시그널링할 수 있다. 또한, 이 필드의 경우 레이어에 대한 정보를 포함할 수 있다. 나아가, 본 발명이 일 실시예에 따른 layer_composition_info() 필드는, 전술한 case 3-2의 실시예와 같이, 좌영상에 대한 뎁스맵과 우영상에 대한 뎁스맵의 포맷이 다른 경우를 위해서 이를 구분하는 플래그 필드 (뎁스 관련)를 포함할 수 있다. 상기 플래그 필드 (뎁스 관련)는 좌영상에 대한 뎁스맵과 우영상에 대한 뎁스맵의 포맷이 다른 경우 1 값을 갖고, 같은 경우 0 값을 가질 수 있다. 그리고, 이 플래그 필드 (뎁스 관련)가 1인 경우, layer_composition_info() 필드는 좌영상에 대한 뎁스맵의 포맷 정보 및 우영상에 대한 뎁스맵의 포맷 정보를 모두 포함할 수 있다. 마찬가지로, layer_composition_info() 필드는 좌영상과 우영상의 포맷이 다른 경우 양 포맷을 구분하는 플래그 필드 (텍스처 관련)를 포함할 수 있다. 이 플래그 필드 (텍스처 관련)도 좌영상과 우영상의 포맷이 다른 경우 1 값을 갖고, 같은 경우 0 값을 가질 수 있다. 그리고, 이 플래그 필드 (텍스처 관련)가 1인 경우, layer_composition_info() 필드는 좌영상 및 우영상에 대한 포맷 정보를 모두 포함할 수 있다. 즉, 좌영상 및 우영상의 포맷이 다름을 알려주는 플래그 필드가 1인 경우, layer_composition_info() 필드는 L_texture_resolution 필드, L_frame_rate 필드, L_texture_bit_depth 필드, L_texture_chroma_subsampling 필드, R_texture_resolution 필드, R_frame_rate 필드, R_texture_bit_depth 필드 및/또는 R_texture_chroma_subsampling 필드를 포함할 수 있다. 그리고, 상술한 필드는 좌영상 및 우영상의 해상도, 프레임레이트, 비트 뎁스, 크로마 서브샘플링에 대한 정보를 나타낼 수 있다. 좌영상에 대한 뎁스맵 및 우영상에 대한 뎁스맵의 포맷이 다름을 알려주는 플래그 필드가 1인 경우, layer_composition_info() 필드는 L_depth_map_resolution 필드, L_depth_map_frame_rate 필드, L_depth_map_bit_depth 필드, R_depth_map_resolution 필드, R_depth_map_frame_rate 필드 및/또는 R_depth_map_bit_depth 필드를 포함할 수 있다. 그리고, 상술한 필드는 좌영상에 대한 뎁스맵 및 우영상에 대한 뎁스맵의 해상도, 프레임레이트, 비트 뎁스에 대한 정보를 나타낼 수 있다. 본 발명의 일 실시예에 따른 layer_composition_info() 필드에 포함된, 텍스처 영상 및 뎁스맵의 포맷 정보를 나타내는 필드들은 텍스처 영상 및 뎁스맵의 프로파일, 레벨, 티어 정보 등을 통하여 시그널링될 수 있다. 본 발명의 일 실시예에 따른 layer_composition_info() 필드는 pixel_composition_info() 필드를 포함하는데, pixel_composition_info() 필드는 전술한 frame_packing_composition_info()에 포함된 pixel_composition_info() 필드와 동일하다.
도 15는 본 발명의 일 실시예에 따른 layer_combination_type을 설명한 도면이다.
본 발명의 일 실시예에 따라 총 8개의 레이어가 존재하는 경우, layer_combination_type는 현재 서비스에서 제공하는 레이어 조합을 나타낼 수 있다. 즉, temporal id가 0인 레이어부터 temporal id가 7인 레이어까지 비트를 할당한 후, layer_combination_type 필드값 1은 해당 서비스에 해당 레이어가 포함됨을 나타내고, 필드값 0은 해당 서비스에 해당 레이어가 포함되지 않음을 나타낼 수 있다.
예를 들어, 이 도면을 참고하여 설명하면, service_type이 00 (temporal scalability service)이고, layer_combination_type이 이 도면에서 도시된 바와 같이, 11110000이면, 본 발명의 일 실시예는 temporal id가 0인 레이어, temporal id가 1인 레이어, temporal id가 2인 레이어 및 temporal id가 3인 레이어를 디코딩하여 temporal scalability service를 제공할 수 있다.
도 16은 본 발명의 일 실시예 (case 1, case 2)에 따른 좌영상, 우영상, 좌영상에 대한 뎁스맵 및 우영상에 대한 뎁스맵을 하나의 컨테이너 프레임에 패킹하여 전송하는 과정을 나타낸 도면이다.
본 발명의 일 실시예에 따르면, 제작단계 (production)에서 제작된 4K급 좌영상 (L16010), 4K급 우영상 (L16020), 좌영상에 대한 4K급 뎁스맵 (L16030) 및/또는 우영상에 대한 4K급 뎁스맵 (L16040)는 각각 1/2의 너비 (width)를 갖는 프레임으로 서브샘플링 (subsampling, L16050)될 수 있다. 여기서, 제작단계의 좌영상 및/또는 우영상은 3840x2160 해상도를 갖고 progressive 주사 방식을 갖고 24/30/60hz의 프레임레이트를 갖는 비디오 영상에 해당할 수 있다. 서브샘플링된 좌영상, 우영상, 좌영상에 대한 뎁스맵 및/또는 우영상에 대한 뎁스맵은 하나의 컨테이너 프레임으로 패킹될 수 있다. (frame packing, L16060) 여기서, 본 발명의 다른 일 실시예에 따르면, 제작 단계의 좌영상, 우영상, 좌영상에 대한 뎁스맵 및/또는 우영상에 대한 뎁스맵이 HD 급으로 제작되는 경우에는 상술한 서브샘플링 과정이 없이 바로 하나의 4K급 프레임으로 패킹될 수도 있다. 여기서, 본 발명의 일 실시예에 따른 서브 샘플링은 다운 샘플링과 동일한 의미를 나타낼 수 있다. 패킹된 전송 프레임은 인코딩되어 수신단으로 전송될 수 있다. (compression, HEVC encoding, L16070) 본 발명의 일 실시예에 따른 수신단은 인코딩된 프레임을 수신하여 디코딩할 수 있다. (decompression, HEVC decoding, L16080) 본 발명의 일 실시예에 따른 텍스처 영상 및 뎁스맵 분리부 (texture/depth map splitter, L16100)는 디코딩된 프레임 (L16090)에서 텍스처 영상 및 뎁스맵을 분리할 수 있다. 분리된 텍스처 영상 및 뎁스맵은 스케일링 과정을 거쳐 각각 원래의 프레임 크기 (L16120)로 복원될 수 있다. (scaling, L16110) 본 발명의 일 실시예는 좌영상 및 좌영상에 대한 뎁스맵을 이용하여 합성된 좌영상 (L16130)을 생성할 수 있다. 본 발명의 일 실시예는 우영상 및 우영상에 대한 뎁스맵을 이용하여 합성된 우영상 (L16140)을 생성할 수 있다. 본 발명의 일 실시예에 따른 3D formatter (L16150)는 생성된 합성된 좌영상 및 합성된 우영상을 결합하여 3D 영상을 포맷팅하여 디스플레이할 수 있다. (L16160)
도 17은 본 발명의 일 실시예 (case 3)에 따른 텍스처 영상과 뎁스맵을 각각의 레이어로 전송하는 과정을 나타낸 도면이다.
본 발명의 일 실시예에 따르면, 제작단계 (production)에서 제작된 4K급 좌영상 (L17010), 4K급 우영상 (L17020), 좌영상에 대한 뎁스맵 (L17030) 및/또는 우영상에 대한 뎁스맵 (L17040)는 각각 1/2의 너비 (width)를 갖는 프레임으로 서브샘플링 (subsampling, L17050)될 수 있다. 여기서, 제작단계의 좌영상 및/또는 우영상은 3840x2160 해상도를 갖고 progressive 주사 방식을 갖고 24/30/60hz의 프레임레이트를 갖는 비디오 영상에 해당할 수 있다. 서브샘플링된 좌영상 및 우영상은 하나의 컨테이너 프레임에 사이드 바이 사이드 형태로 패킹될 수 있고, 좌영상에 대한 뎁스맵 및 우영상에 대한 뎁스맵은 사이드 바이 사이드 형태로 하나의 컨테이너 프레임으로 패킹될 수 있다. (frame packing, L17060, L17070) 이 때, 텍스처 영상은 temporal video sub-alyer에 포함되고, 뎁스맵은 temporal video subset에 포함될 수 있다. 즉, 텍스처 영상과 뎁스맵이 각각 다른 레이어에 포함될 수 있다. 여기서, 본 발명의 다른 일 실시예에 따르면, 제작 단계의 좌영상, 우영상, 좌영상에 대한 뎁스맵 및/또는 우영상에 대한 뎁스맵이 HD 급으로 제작되는 경우에는 상술한 서브샘플링 과정이 없이 바로 하나의 4K급 프레임으로 패킹될 수도 있다. 여기서, 본 발명의 일 실시예에 따른 서브 샘플링은 다운 샘플링과 동일한 의미를 나타낼 수 있다. 텍스처 영상을 포함하는 컨테이너 프레임 (L17060) 및 뎁스맵을 포함하는 컨테이너 프레임 (L17070)은 HEVC 인코딩되어 수신단으로 전송될 수 있다. (compression, HEVC encoding, L17080) 본 발명의 일 실시예에 따른 수신단은 인코딩된 프레임을 수신하여 디코딩할 수 있다. (decompression, HEVC decoding, L17090) 디코딩된 컨테이너 프레임들은 스케일링 과정을 거쳐 각각 원래의 프레임 크기 (L17110)로 복원될 수 있다. (scaling, L17100) 본 발명의 일 실시예는 좌영상 및 좌영상에 대한 뎁스맵을 이용하여 합성된 좌영상 (L17120)을 생성할 수 있다. 본 발명의 일 실시예는 우영상 및 우영상에 대한 뎁스맵을 이용하여 합성된 우영상 (L17130)을 생성할 수 있다. 본 발명의 일 실시예에 따른 3D formatter (L17140)는 생성된 합성된 좌영상 및 합성된 우영상을 결합하여 3D 영상을 포맷팅하여 디스플레이할 수 있다. (L17150)
도 18은 본 발명의 일 실시예에 따른 방송 신호 수신 방법을 나타낸 도면이다.
본 발명의 일 실시예에 따른 방송 신호 수신 방법은 좌영상 프레임, 우영상 프레임, 좌영상에 대한 뎁스맵 프레임 및 우영상에 대한 뎁스맵 프레임 중 적어도 하나를 패킹한 각각의 패킹 프레임들에 대한 스트림 및 상기 패킹 프레임들에 대한 시그널링 정보를 수신하는 단계 (SL18010) 및/또는 상기 시그널링 정보를 이용하여 상기 수신한 패킹 프레임들에 대한 스트림을 디코딩하는 단계 (SL18020)를 포함할 수 있다. 여기서, 패킹 프레임은 전송 프레임 또는 컨테이너 프레임로 명명될 수 있다. 이에 대한 상세한 설명은 도 3, 4, 5, 6, 7, 8, 16에서 전술하였다.
본 발명의 다른 일 실시예에 따르면, 상기 패킹 프레임들 중 좌영상 프레임 및 우영상 프레임을 패킹한 텍스처 패킹 프레임과 좌영상에 대한 뎁스맵 프레임 및 우영상에 대한 뎁스맵 프레임을 패킹한 뎁스맵 패킹 프레임은 서로 다른 레이어 (layer)에 포함되어 전송될 수 있다. 여기서, 텍스처 영상은 좌영상 및/또는 우영상을 의미할 수 있다. 이에 대한 상세한 설명은 도 9, 10, 11, 17에서 전술하였다.
본 발명의 다른 일 실시예에 따르면, 상기 시그널링 정보는 상기 패킹 프레임들이 어떻게 구성되어 있는지를 나타내는 프레임 패킹 어레인지먼트 정보를 포함하고, 상기 프레임 패킹 어레인지먼트 정보는 상기 패킹 프레임들의 구성 형태에 대한 정보를 포함하고, 상기 구성 형태는 4개의 영역으로 분할된 패킹 프레임에 좌영상 및 우영상이 수평방향으로 나란히 (side-by-side) 배치되고 남은 영역에 좌영상에 대한 뎁스맵 및 우영상에 대한 뎁스맵이 수평방향으로 나란히 (side-by-side) 배치되는 형태, 4개의 영역으로 분할된 패킹 프레임에 좌영상 및 우영상이 수직방향으로 나란히 (top-and-bottom) 배치되고 남은 영역에 좌영상에 대한 뎁스맵 및 우영상에 대한 뎁스맵이 수평방향으로 나란히 (top-and-bottom) 배치되는 형태 및/또는 2개의 영역으로 분할된 홀수번째 패킹 프레임에 좌영상 및 좌영상에 대한 뎁스맵이 수평방향 또는 수직방향으로 나란히 배치되고 2개의 영역으로 분할된 짝수번째 패킹 프레임에 우영상 및 우영상에 대한 뎁스맵이 수평방향 또는 수직방향으로 나란히 배치되는 형태를 포함할 수 있다. 여기서, 프레임 패킹 어레인지먼트 정보는 Frame_packing_arrangement_for_auto_stereoscopic()를 나타낼 수 있다. 여기서, 상기 패킹 프레임들의 구성 형태에 대한 정보는 frame_packing_arrangement_type_for_auto_stereoscopic를 나타낼 수 있다. 여기서, 상기 구성 형태들은 각각 사이드 바이 사이드, 탑 엔 바텀 및 타임 인터리빙 방식을 나타낼 수 있다. 이에 대한 상세한 설명은 도 12에서 전술하였다.
본 발명의 다른 일 실시예에 따르면, 상기 프레임 패킹 어레인지먼트 정보는 상기 좌영상 프레임, 우영상 프레임, 좌영상에 대한 뎁스맵 프레임 및/또는 우영상에 대한 뎁스맵 프레임의 포맷에 대한 정보를 포함하는 프레임 패킹 컴포지션 정보를 포함할 수 있다. 여기서, 프레임 패킹 컴포지션 정보는 frame_packing_composition_info()를 나타낼 수 있다. 이에 대한 상세한 설명은 도 13에서 전술하였다.
본 발명의 다른 일 실시예에 따르면, 상기 프레임 패킹 컴포지션 정보는 상기 패킹 프레임을 구성하는 각 픽셀에 대한 색공간 상 각 성분이 어떻게 구성되었는지를 나타내는 정보를 포함할 수 있다. 여기서, 상기 패킹 프레임을 구성하는 각 픽셀에 대한 색공간 상 각 성분이 어떻게 구성되었는지를 나타내는 정보는 pixel_composition_info()를 나타낼 수 있다. 여기서, 상기 색공간 상 각 성분은 YCbCr을 포함할 수 있다. 이에 대한 상세한 설명은 도 13에서 전술하였다.
본 발명의 다른 일 실시예에 따르면, 상기 시그널링 정보는 상기 텍스처 패킹 프레임 및 뎁스맵 패킹 프레임을 서로 다른 레이어로 전송하는 서비스에 대한 정보를 나타내는 3D 오퍼레이팅 포인트 정보를 포함하고, 상기 3D 오퍼레이팅 포인트 정보는 현재 서비스가 상기 텍스처 패킹 프레임 및 뎁스맵 패킹 프레임을 서로 다른 레이어로 전송하는 서비스임을 식별하는 정보 및/또는 상기 서비스에 포함되는 각각의 레이어들이 텍스처 패킹 프레임을 포함하는지 뎁스맵 패킹 프레임을 포함하는지를 나타내는 정보를 포함할 수 있다. 여기서, 3D 오퍼레이팅 포인트 정보는 3D_operating _point()를 나타낼 수 있다. 여기서, 상기 현재 서비스가 상기 텍스처 패킹 프레임 및 뎁스맵 패킹 프레임을 서로 다른 레이어로 전송하는 서비스임을 식별하는 정보는 service_type을 나타낼 수 있다. 여기서, 상기 서비스에 포함되는 각각의 레이어들이 텍스처 패킹 프레임을 포함하는지 뎁스맵 패킹 프레임을 포함하는지를 나타내는 정보는 layer_type을 나타낼 수 있다. 이에 대한 상세한 설명은 도 14에서 전술하였다.
도 19는 본 발명의 일 실시예에 따른 방송 신호 송신 장치의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 방송 신호 송신 장치 (L19010)는 인코더 (L19020), 방송 신호 생성부 (L19030) 및/또는 전송부 (L19040)를 포함할 수 있다.
인코더 (L19020)는 좌영상 프레임, 우영상 프레임, 좌영상에 대한 뎁스맵 프레임 및 우영상에 대한 뎁스맵 프레임 중 적어도 하나를 패킹한 각각의 패킹 프레임들 및 상기 패킹 프레임들에 대한 시그널링 정보를 인코딩할 수 있다.
방송 신호 생성부 (L19030)는 상기 인코딩된 패킹 프레임들 및 시그널링 정보를 포함하는 방송 신호를 생성할 수 있다.
전송부 (L19040)는 상기 생성된 방송 신호를 전송할 수 있다.
본 발명의 다른 일 실시예에 따르면, 상기 인코더는 상기 패킹 프레임들 중 좌영상 프레임 및 우영상 프레임을 패킹한 텍스처 패킹 프레임과 좌영상에 대한 뎁스맵 프레임 및 우영상에 대한 뎁스맵 프레임을 패킹한 뎁스맵 패킹 프레임을 서로 다른 레이어 (layer)로 인코딩할 수 있다.
도 20은 본 발명의 일 실시예에 따른 방송 신호 수신 장치의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 방송 신호 수신 장치 (L20010)는 수신부 (L20020) 및/또는 디코더 (L20030)를 포함할 수 있다.
수신부 (L20020)는 좌영상 프레임, 우영상 프레임, 좌영상에 대한 뎁스맵 프레임 및 우영상에 대한 뎁스맵 프레임 중 적어도 하나를 패킹한 각각의 패킹 프레임들에 대한 스트림 및 상기 패킹 프레임들에 대한 시그널링 정보를 수신할 수 있다.
디코더 (L20030)는 상기 시그널링 정보를 이용하여 상기 수신한 패킹 프레임들에 대한 스트림을 디코딩할 수 있다.
본 발명의 실시예들에 따른 모듈, 유닛 또는 블락은 메모리(또는 저장 유닛)에 저장된 연속된 수행과정들을 실행하는 프로세서/하드웨어일 수 있다. 전술한 실시예에 기술된 각 단계 또는 방법들은 하드웨어/프로세서들에 의해 수행될 수 있다. 또한, 본 발명이 제시하는 방법들은 코드로서 실행될 수 있다. 이 코드는 프로세서가 읽을 수 있는 저장매체에 쓰여질 수 있고, 따라서 본 발명의 실시예들에 따른 장치(apparatus)가 제공하는 프로세서에 의해 읽혀질 수 있다.
설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시 예들을 병합하여 새로운 실시 예를 구현하도록 설계하는 것도 가능하다. 그리고, 당업자의 필요에 따라, 이전에 설명된 실시 예들을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체를 설계하는 것도 본 발명의 권리범위에 속한다.
본 발명에 따른 장치 및 방법은 상술한 바와 같이 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상술한 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 발명의 영상 처리 방법은 네트워크 디바이스에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.
그리고, 당해 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양 발명의 설명은 보충적으로 적용될 수가 있다.
발명의 실시를 위한 형태
발명의 실시를 위한 형태는 전술한 바와 같이, 발명의 실시를 위한 최선의 형태로 상술되었다.
본 발명은 방송 산업 전반에서 이용 가능하다.

Claims (15)

  1. 좌영상, 우영상, 좌영상에 대한 뎁스 영상 및 우영상에 대한 뎁스 영상을 하나의 패킹 프레임으로 패킹하고, 상기 패킹 프레임을 인코딩하여 하나의 비디오 스트림을 생성하는 단계로서,
    상기 비디오 스트림은 상기 패킹 프레임의 구성을 시그널링하는 프레임 패킹 SEI (supplemental enhancement information) 메시지를 포함하고,
    상기 프레임 패킹 SEI 메시지는 상기 좌영상, 상기 우영상, 상기 좌영상에 대한 뎁스 영상 및 상기 우영상에 대한 뎁스 영상이 상기 패킹 프레임 내에서 어떻게 배치되어 있는지를 나타내는 프레임 패킹 타입 정보를 포함하고,
    상기 프레임 패킹 SEI 메시지는 상기 패킹 프레임에 패킹된 영상들의 영상 포맷 정보와 상기 패킹 프레임의 패킹 프레임 포맷 정보를 기술하는 프레임 패킹 구성 정보를 더 포함하고,
    상기 프레임 패킹 구성 정보는 상기 패킹 프레임의 각 픽셀이 갖는 색공간 성분이 프레임 패킹 전 어떤 영상의 어떤 정보를 나타내는지를 시그널링하는 픽셀 구성 정보를 포함하고;
    상기 비디오 스트림의 전송을 위한 시스템 정보를 생성하는 단계로서,
    상기 시스템 정보는 상기 비디오 스트림이 전송하는 프레임은 상기 좌영상, 상기 우영상, 상기 좌영상에 대한 뎁스 영상 및 상기 우영상에 대한 뎁스 영상이 하나의 프레임으로 패킹된 패킹 프레임을 시그널링하는 정보를 포함하고;
    상기 비디오 스트림 및 상기 시스템 정보를 포함하는 방송 신호를 생성하는 단계; 및
    상기 생성된 방송 신호를 전송하는 단계;
    를 포함하는 방송 신호 송신 방법.
  2. 제 1 항에 있어서,
    상기 픽셀 구성 정보에 따라, 상기 좌영상의 색공간 상 성분들이 나타내는 정보, 상기 우영상의 색공간 상 성분들이 나타내는 정보와 상기 좌영상에 대한 뎁스 영상이 나타내는 정보 및 상기 우영상에 대한 뎁스 영상이 나타내는 정보는 상기 패킹 프레임의 색공간 성분들에 매핑되는 방송 신호 송신 방법.
  3. 제 1 항에 있어서,
    상기 프레임 패킹 타입 정보는 4개의 영역으로 분할된 패킹 프레임에 좌영상 및 우영상이 수평방향으로 나란히 (side-by-side) 배치되고 남은 영역에 좌영상에 대한 뎁스맵 및 우영상에 대한 뎁스맵이 수평방향으로 나란히 (side-by-side) 배치되는 형태, 4개의 영역으로 분할된 패킹 프레임에 좌영상 및 우영상이 수직방향으로 나란히 (top-and-bottom) 배치되고 남은 영역에 좌영상에 대한 뎁스맵 및 우영상에 대한 뎁스맵이 수평방향으로 나란히 (top-and-bottom) 배치되는 형태 및 2개의 영역으로 분할된 홀수번째 패킹 프레임에 좌영상 및 좌영상에 대한 뎁스맵이 수평방향 또는 수직방향으로 나란히 배치되고 2개의 영역으로 분할된 짝수번째 패킹 프레임에 우영상 및 우영상에 대한 뎁스맵이 수평방향 또는 수직방향으로 나란히 배치되는 형태를 시그널링하는 방송 신호 송신 방법.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 좌영상, 우영상, 좌영상에 대한 뎁스 영상 및 우영상에 대한 뎁스 영상이 하나의 프레임으로 패킹된 패킹 프레임을 포함하는 비디오 스트림 및 상기 비디오 스트림의 전송을 위한 시스템 정보를 수신하는 단계로서,
    상기 비디오 스트림은 상기 패킹 프레임의 구성을 시그널링하는 프레임 패킹 SEI (supplemental enhancement information) 메시지를 포함하고,
    상기 프레임 패킹 SEI 메시지는 상기 좌영상, 상기 우영상, 상기 좌영상에 대한 뎁스 영상 및 상기 우영상에 대한 뎁스 영상이 상기 패킹 프레임 내에서 어떻게 배치되어 있는지를 나타내는 프레임 패킹 타입 정보를 포함하고,
    상기 프레임 패킹 SEI 메시지는 상기 패킹 프레임에 패킹된 영상들의 영상 포맷 정보와 상기 패킹 프레임의 패킹 프레임 포맷 정보를 기술하는 프레임 패킹 구성 정보를 더 포함하고,
    상기 프레임 패킹 구성 정보는 상기 패킹 프레임의 각 픽셀이 갖는 색공간 성분이 프레임 패킹 전 어떤 영상의 어떤 정보를 나타내는지를 시그널링하는 픽셀 구성 정보를 포함하고,
    상기 시스템 정보는 상기 비디오 스트림이 전송하는 프레임은 상기 좌영상, 상기 우영상, 상기 좌영상에 대한 뎁스 영상 및 상기 우영상에 대한 뎁스 영상이 하나의 프레임으로 패킹된 패킹 프레임을 시그널링하는 정보를 포함하고; 및
    상기 시스템 정보를 이용하여 상기 비디오 스트림을 디코딩하는 단계;
    를 포함하는 방송 신호 수신 방법.
  8. 제 7 항에 있어서,
    상기 픽셀 구성 정보에 따라, 상기 좌영상의 색공간 상 성분들이 나타내는 정보, 상기 우영상의 색공간 상 성분들이 나타내는 정보와 상기 좌영상에 대한 뎁스 영상이 나타내는 정보 및 상기 우영상에 대한 뎁스 영상이 나타내는 정보는 상기 패킹 프레임의 색공간 성분들에 매핑되는 방송 신호 수신 방법.
  9. 제 7 항에 있어서,
    상기 프레임 패킹 타입 정보는 4개의 영역으로 분할된 패킹 프레임에 좌영상 및 우영상이 수평방향으로 나란히 (side-by-side) 배치되고 남은 영역에 좌영상에 대한 뎁스맵 및 우영상에 대한 뎁스맵이 수평방향으로 나란히 (side-by-side) 배치되는 형태, 4개의 영역으로 분할된 패킹 프레임에 좌영상 및 우영상이 수직방향으로 나란히 (top-and-bottom) 배치되고 남은 영역에 좌영상에 대한 뎁스맵 및 우영상에 대한 뎁스맵이 수평방향으로 나란히 (top-and-bottom) 배치되는 형태 및 2개의 영역으로 분할된 홀수번째 패킹 프레임에 좌영상 및 좌영상에 대한 뎁스맵이 수평방향 또는 수직방향으로 나란히 배치되고 2개의 영역으로 분할된 짝수번째 패킹 프레임에 우영상 및 우영상에 대한 뎁스맵이 수평방향 또는 수직방향으로 나란히 배치되는 형태를 시그널링하는 방송 신호 수신 방법.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 좌영상, 우영상, 좌영상에 대한 뎁스 영상 및 우영상에 대한 뎁스 영상을 하나의 패킹 프레임으로 패킹하고, 상기 패킹 프레임을 인코딩하여 하나의 비디오 스트림을 생성하는 인코더로서,
    상기 비디오 스트림은 상기 패킹 프레임의 구성을 시그널링하는 프레임 패킹 SEI (supplemental enhancement information) 메시지를 포함하고,
    상기 프레임 패킹 SEI 메시지는 상기 좌영상, 상기 우영상, 상기 좌영상에 대한 뎁스 영상 및 상기 우영상에 대한 뎁스 영상이 상기 패킹 프레임 내에서 어떻게 배치되어 있는지를 나타내는 프레임 패킹 타입 정보를 포함하고,
    상기 프레임 패킹 SEI 메시지는 상기 패킹 프레임에 패킹된 영상들의 영상 포맷 정보와 상기 패킹 프레임의 패킹 프레임 포맷 정보를 기술하는 프레임 패킹 구성 정보를 더 포함하고,
    상기 프레임 패킹 구성 정보는 상기 패킹 프레임의 각 픽셀이 갖는 색공간 성분이 프레임 패킹 전 어떤 영상의 어떤 정보를 나타내는지를 시그널링하는 픽셀 구성 정보를 포함하고;
    상기 비디오 스트림의 전송을 위한 시스템 정보를 생성하는 시스템 정보 생성부로서,
    상기 시스템 정보는 상기 비디오 스트림이 전송하는 프레임은 상기 좌영상, 상기 우영상, 상기 좌영상에 대한 뎁스 영상 및 상기 우영상에 대한 뎁스 영상이 하나의 프레임으로 패킹된 패킹 프레임을 시그널링하는 정보를 포함하고;
    상기 비디오 스트림 및 상기 시스템 정보를 포함하는 방송 신호를 생성하는 방송 신호 생성부; 및
    상기 생성된 방송 신호를 전송하는 전송부;
    를 포함하는 방송 신호 송신 장치.
  14. 삭제
  15. 좌영상, 우영상, 좌영상에 대한 뎁스 영상 및 우영상에 대한 뎁스 영상이 하나의 프레임으로 패킹된 패킹 프레임을 포함하는 비디오 스트림 및 상기 비디오 스트림의 전송을 위한 시스템 정보를 수신하는 수신부로서,
    상기 비디오 스트림은 상기 패킹 프레임의 구성을 시그널링하는 프레임 패킹 SEI (supplemental enhancement information) 메시지를 포함하고,
    상기 프레임 패킹 SEI 메시지는 상기 좌영상, 상기 우영상, 상기 좌영상에 대한 뎁스 영상 및 상기 우영상에 대한 뎁스 영상이 상기 패킹 프레임 내에서 어떻게 배치되어 있는지를 나타내는 프레임 패킹 타입 정보를 포함하고,
    상기 프레임 패킹 SEI 메시지는 상기 패킹 프레임에 패킹된 영상들의 영상 포맷 정보와 상기 패킹 프레임의 패킹 프레임 포맷 정보를 기술하는 프레임 패킹 구성 정보를 더 포함하고,
    상기 프레임 패킹 구성 정보는 상기 패킹 프레임의 각 픽셀이 갖는 색공간 성분이 프레임 패킹 전 어떤 영상의 어떤 정보를 나타내는지를 시그널링하는 픽셀 구성 정보를 포함하고,
    상기 시스템 정보는 상기 비디오 스트림이 전송하는 프레임은 상기 좌영상, 상기 우영상, 상기 좌영상에 대한 뎁스 영상 및 상기 우영상에 대한 뎁스 영상이 하나의 프레임으로 패킹된 패킹 프레임을 시그널링하는 정보를 포함하고; 및
    상기 시스템 정보를 이용하여 상기 비디오 스트림을 디코딩하는 디코더;
    를 포함하는 방송 신호 수신 장치.
KR1020167034344A 2014-07-08 2015-07-07 3d 방송 서비스를 위한 방송 신호 송수신 방법 및 장치 KR101871728B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462021724P 2014-07-08 2014-07-08
US62/021,724 2014-07-08
PCT/KR2015/007006 WO2016006913A1 (ko) 2014-07-08 2015-07-07 3d 방송 서비스를 위한 방송 신호 송수신 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20170010375A KR20170010375A (ko) 2017-01-31
KR101871728B1 true KR101871728B1 (ko) 2018-06-27

Family

ID=55064473

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167034344A KR101871728B1 (ko) 2014-07-08 2015-07-07 3d 방송 서비스를 위한 방송 신호 송수신 방법 및 장치

Country Status (3)

Country Link
US (1) US9980013B2 (ko)
KR (1) KR101871728B1 (ko)
WO (1) WO2016006913A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3493160A1 (en) * 2016-07-29 2019-06-05 Sony Corporation Image processing device and image processing method
US11184602B2 (en) * 2017-02-13 2021-11-23 Sony Corporation Image processing apparatus and image processing method
KR20230144058A (ko) 2021-02-12 2023-10-13 프레제니우스 카비 입섬 에스. 알. 엘. 서브틸리신 변이체 및 그의 용도
CN113993163B (zh) * 2021-10-26 2023-07-25 新华三信息安全技术有限公司 一种业务处理方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014025239A1 (ko) * 2012-08-10 2014-02-13 엘지전자 주식회사 3d 영상을 위한 영상 컴포넌트 송수신 처리 방법 및 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110064093A (ko) * 2009-12-07 2011-06-15 엘지전자 주식회사 컨텐츠 레코딩 방법 및 그 방법을 채용한 디지털 방송 수신기
EP2432232A1 (en) * 2010-09-19 2012-03-21 LG Electronics, Inc. Method and apparatus for processing a broadcast signal for 3d (3-dimensional) broadcast service
JP2012138856A (ja) * 2010-12-27 2012-07-19 Toshiba Corp 映像送信装置及び３次元映像送信プログラム
JP5872676B2 (ja) * 2011-06-15 2016-03-01 メディアテック インコーポレイテッド ３ｄビデオコーディングにおけるテクスチャーイメージ圧縮方法および装置
KR101779181B1 (ko) 2011-11-29 2017-09-18 한국전자통신연구원 3ｄ 디지털방송 수신 장치 및 방법, 그리고 영상 모드 전환 장치 및 방법
WO2014056150A1 (en) * 2012-10-09 2014-04-17 Nokia Corporation Method and apparatus for video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014025239A1 (ko) * 2012-08-10 2014-02-13 엘지전자 주식회사 3d 영상을 위한 영상 컴포넌트 송수신 처리 방법 및 장치

Also Published As

Publication number Publication date
US9980013B2 (en) 2018-05-22
KR20170010375A (ko) 2017-01-31
WO2016006913A1 (ko) 2016-01-14
US20170188118A1 (en) 2017-06-29

Similar Documents

Publication Publication Date Title
CN109218734B (zh) 用于提供媒体内容的方法和装置
Vetro et al. 3D-TV content storage and transmission
JP6309993B2 (ja) 立体視および裸眼立体視ディスプレイのための奥行きマップ送達フォーマット
Chen et al. Overview of the MVC+ D 3D video coding standard
US20150222928A1 (en) Frame packing for video coding
JP5837606B2 (ja) フレームフォーマット変換方法及びその方法を使用する装置
Smolic et al. Development of a new MPEG standard for advanced 3D video applications
CA2808395C (en) Method for providing 3d video data in a 3dtv
KR20070041745A (ko) 비디오 정보를 전송하기 위한 시스템 및 방법
JP2012518367A (ja) ３ｄ映像フォーマット
KR101871728B1 (ko) 3d 방송 서비스를 위한 방송 신호 송수신 방법 및 장치
EP2995081A1 (en) Depth map delivery formats for multi-view auto-stereoscopic displays
Cagnazzo et al. 3D video representation and formats
Vetro Three-Dimensional Video Coding
Lee et al. Interlaced MVD format for free viewpoint video

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant