KR101844236B1 - 3d (3-dimentional) 방송 서비스를 위한 방송 신호 송수신 방법 및 장치 - Google Patents

3d (3-dimentional) 방송 서비스를 위한 방송 신호 송수신 방법 및 장치 Download PDF

Info

Publication number
KR101844236B1
KR101844236B1 KR1020167016821A KR20167016821A KR101844236B1 KR 101844236 B1 KR101844236 B1 KR 101844236B1 KR 1020167016821 A KR1020167016821 A KR 1020167016821A KR 20167016821 A KR20167016821 A KR 20167016821A KR 101844236 B1 KR101844236 B1 KR 101844236B1
Authority
KR
South Korea
Prior art keywords
frame
image
depth
packing
image frame
Prior art date
Application number
KR1020167016821A
Other languages
English (en)
Other versions
KR20160094998A (ko
Inventor
서종열
황수진
이교윤
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20160094998A publication Critical patent/KR20160094998A/ko
Application granted granted Critical
Publication of KR101844236B1 publication Critical patent/KR101844236B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N13/0003—
    • H04N13/0007—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H04N21/2356—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages by altering the spatial resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 3D (3-dimentional) 방송 서비스를 위한 방송 신호 송수신 방법 및/또는 장치의 제공에 관한 것이다. 본 발명의 일 실시예에 따른 방송 신호 송신 방법은 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임을 각각 다운샘플링하고, 상기 다운샘플링된 프레임들 중 적어도 하나의 프레임들을 하나의 프레임으로 패킹한 패킹 프레임을 인코딩하는 단계, 상기 인코딩된 패킹 프레임 및 상기 패킹 프레임에 관련된 영상에 대한 시그널링 정보를 포함하는 방송 신호를 생성하는 단계 및 상기 생성된 방송 신호를 전송하는 단계를 포함한다.

Description

3D (3-DIMENTIONAL) 방송 서비스를 위한 방송 신호 송수신 방법 및 장치{METHOD AND APPARATUS FOR TRANSMITTING/RECEIVING BROADCAST SIGNAL FOR 3-DIMENTIONAL (3D) BROADCAST SERVICE}
본 발명은 방송 신호의 송수신에 관한 것이다. 보다 상세하게는, 3D (3-dimentional) 방송 서비스를 위한 방송 신호의 송수신 방법 및/또는 장치에 관한 것이다.
디지털 기술 및 통신 기술의 발전으로 방송, 영화뿐만 아니라 인터넷 및 개인 미디어 등의 다양한 영역에서 오디오, 비디오 중심의 멀티미디어 컨텐츠 보급 및 수요가 급속도로 확대되고 있다. 나아가 방송 및 영화를 통하여 입체감을 제공하는 3DTV/3D 영화가 보편화되면서 사실감과 현장감을 제공하는 실감미디어에 대한 소 비자 요구가 증가되고 있다. 또한, 디스플레이 기술의 발전과 더불어 가정에서의 TV 화면이 대형화 됨에 따라 HD급 이상의 고화질에 실감나는 컨텐츠를 즐기고자 하는 소비가 증가되고 있다. 이에 따라 Post-HDTV 시장을 대비하여 3DTV와 더불어 UHDTV (Ultra High Definition TV)와 같은 실감방송이 차세대 방송 서비스로 관심을 받고 있으며, 특히 UHD (Ultra High Definition) 방송 서비스에 대한 논의가 증가되고 있는 추세이다.
한편, 3차원 텔레비젼(3-Dimensional Television, 3DTV)의 보급이 본격화됨에 따라 저장 매체에 의한 3차원(3D) 영상 컨텐츠 보급뿐만 아니라 디지털 방송에 의한 3차원 영상 컨텐츠의 전송이 활성화되고 있다.
일반적으로 3차원 영상은 두 눈의 스테레오(stereo) 시각 원리를 이용하여 입체감을 제공한다. 인간은 두 눈의 시차, 다시 말해 약 65mm 정도 떨어진 두 눈 사이의 간격에 의한 양안 시차(binocular parallax)를 통해 원근감을 느끼므로, 3D 영상은 좌안과 우안 각각이 연관된 평면 영상을 보도록 영상을 제공하여 입체감과 원근감을 제공할 수 있다.
이러한 3차원 영상 디스플레이 방법에는 스테레오스코픽(stereoscopic) 방식, 부피표현(volumetric) 방식, 홀로그래픽(holographic) 방식 등이 있다. 스테레오스코픽 방식의 경우, 좌안에서 시청되기 위한 좌영상 (left view; 레프트 뷰) 이미지와 우안에서 시청되기 위한 우영상 (right view; 라이트 뷰) 이미지를 제공하여, 편광 안경 또는 디스플레이 장비 자체를 통해 좌안과 우안이 각각 레프트 뷰 이미지와 우측 이미지를 시청함으로써 3차원 영상 효과를 인지할 수 있도록 한다.
한편, 3D 콘텐트 제작자가 의도한 입체 효과를, 방송 수신기에서 그대로 재현할 수 있다면 그것이 최적의 영상이 될 수 있으나, 스테레오 영상으로 구성된 3D 콘텐트는 시청조건에 따라 실제로 방송 수신기에서는 다른 입체 효과를 나타낸다. 현재 3DTV 수신기는 특정 시청조건에 고정된 제한적인 입체 영만을 제공한다. 따라서, 현재 시청자는 3D 콘텐트 제작자가 의도한 입체 효과를 제대로 즐기지 못하여, 시청자의 3D 콘텐트에 대한 만족도가 현저히 떨어져 있는 것이 현실이다.
본 발명이 이루고자 하는 기술적 과제는, 전술한 문제점을 해결하기 위한 것으로, 각 시청자의 시청조건의 변화에 관계 없이, 3D 콘텐트 제작자가 해당 콘텐트를 제작 시 의도한 입체 효과를 방송 수신기에서 제공하는 것에 있다.
나아가, 본 발명이 이루고자 하는 기술적 과제는, UHD 방송 송수신 시스템에서 3D 컨텐츠를 효율적으로 송수신하는 방법을 제공하는 것에 있다.
본 발명의 일 실시예에 따른 방송 신호 송신 방법은 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임을 각각 다운샘플링하고, 상기 다운샘플링된 프레임들 중 적어도 하나의 프레임들을 하나의 프레임으로 패킹한 패킹 프레임을 인코딩하는 단계, 상기 인코딩된 패킹 프레임 및 상기 패킹 프레임에 관련된 영상에 대한 시그널링 정보를 포함하는 방송 신호를 생성하는 단계 및 상기 생성된 방송 신호를 전송하는 단계를 포함할 수 있다.
바람직하게는, 상기 패킹 프레임은 상기 좌영상에 대한 깊이 영상 프레임에 포함된 깊이 정보 및 상기 우영상에 대한 깊이 영상 프레임에 포함된 깊이 정보를 상기 패킹 프레임을 나타내는 색공간의 성분에 비트단위로 맵핑하여 생성될 수 있다.
바람직하게는, 상기 시그널링 정보는 상기 방송 신호에 포함된 프레임이 패킹 프레임임을 나타내는 프레임 패킹 어레인지먼트 정보를 포함할 수 있다.
바람직하게는, 상기 시그널링 정보는 상기 좌영상에 대한 깊이 영상 프레임에 포함된 깊이 정보 및 상기 우영상에 대한 깊이 영상 프레임에 포함된 깊이 정보의 비트 심도 (bit depth)를 나타내는 뎁스 비트 심도 정보를 포함할 수 있다.
바람직하게는, 상기 시그널링 정보는 상기 좌영상 프레임 및 우영상 프레임이 수평적으로 플립핑 (flipping)되었는지 여부를 나타내는 프레임 플립핑 플래그 정보를 포함할 수 있다.
바람직하게는, 상기 시그널링 정보는 SEI (Supplemental Enhancement Information) message를 포함하고, 상기 프레임 패킹 어레인지먼트 정보, 상기 뎁스 비트 심도 정보 및 상기 프레임 플립핑 플래그 정보 중 적어도 어느 하나는 상기 패킹 프레임을 포함하는 비디오 스트림 내에 SEI message에 포함될 수 있다.
바람직하게는, 상기 시그널링 정보는 PMT (Program Map Table)를 포함하고, 상기 PMT는 상기 SEI message에 상기 프레임 패킹 어레인지먼트 정보가 포함되어 있는지 여부를 나타내는 프레임 패킹 플래그 정보를 포함할 수 있다.
바람직하게는, 상기 프레임 패킹 어레인지먼트 정보, 상기 뎁스 비트 심도 정보 및 상기 프레임 플립핑 플래그 정보 중 적어도 어느 하나는 시스템 레벨에서 시그널링될 수 있다.
본 발명의 다른 일 실시예에 따른 방송 신호 수신 방법은 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임 중 적어도 하나의 프레임들이 하나의 프레임으로 패킹된 패킹 프레임 및 상기 패킹 프레임에 관련된 영상에 대한 시그널링 정보를 포함하는 방송 신호를 수신하는 단계, 상기 수신한 패킹 프레임에서 상기 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임 중 적어도 하나의 프레임들을 추출하는 단계 및 상기 추출된 적어도 하나의 프레임들을 이용하여 3D 영상을 렌더링 (rendering)하는 단계를 포함할 수 있다.
바람직하게는, 상기 패킹 프레임은 상기 좌영상에 대한 깊이 영상 프레임에 포함된 깊이 정보 및 상기 우영상에 대한 깊이 영상 프레임에 포함된 깊이 정보를 상기 패킹 프레임을 나타내는 색공간의 성분에 비트단위로 맵핑하여 생성될 수 있다.
바람직하게는, 상기 시그널링 정보는 상기 방송 신호에 포함된 프레임이 상기 패킹 프레임임을 나타내는 프레임 패킹 어레인지먼트 정보를 포함할 수 있다.
바람직하게는, 상기 시그널링 정보는 상기 좌영상에 대한 깊이 영상 프레임에 포함된 깊이 정보 및 상기 우영상에 대한 깊이 영상 프레임에 포함된 깊이 정보의 비트 심도 (bit depth)를 나타내는 뎁스 비트 심도 정보를 포함할 수 있다.
바람직하게는, 상기 시그널링 정보는 상기 좌영상 프레임 및 우영상 프레임이 수평적으로 플립핑 (flipping)되었는지 여부를 나타내는 프레임 플립핑 플래그 정보를 포함할 수 있다.
바람직하게는, 상기 시그널링 정보는 SEI (Supplemental Enhancement Information) message를 포함하고, 상기 프레임 패킹 어레인지먼트 정보, 상기 뎁스 비트 심도 정보 및 상기 프레임 플립핑 플래그 정보 중 적어도 어느 하나는 상기 패킹 프레임을 포함하는 비디오 스트림 내에 SEI message에 포함될 수 있다.
바람직하게는, 상기 시그널링 정보는 PMT (Program Map Table)를 포함하고, 상기 PMT는 상기 SEI message에 상기 프레임 패킹 어레인지먼트 정보가 포함되어 있는지 여부를 나타내는 프레임 패킹 플래그 정보를 포함할 수 있다.
바람직하게는, 상기 프레임 패킹 어레인지먼트 정보, 상기 뎁스 비트 심도 정보 및 상기 프레임 플립핑 플래그 정보 중 적어도 어느 하나는 시스템 레벨에서 시그널링될 수 있다.
본 발명의 또 다른 일 실시예에 따른 방송 신호 송신 장치는 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임을 각각 다운샘플링하고, 상기 다운샘플링된 프레임들 중 적어도 하나의 프레임들을 하나의 프레임으로 패킹한 패킹 프레임을 인코딩하는 인코더, 상기 인코딩된 패킹 프레임 및 상기 패킹 프레임에 관련된 영상에 대한 시그널링 정보를 포함하는 방송 신호를 생성하는 방송 신호 생성부 및 상기 생성된 방송 신호를 전송하는 전송부를 포함할 수 있다.
본 발명의 또 다른 일 실시예에 따른 방송 신호 수신 장치는 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임 중 적어도 하나의 프레임들이 하나의 프레임으로 패킹된 패킹 프레임 및 상기 패킹 프레임에 관련된 영상에 대한 시그널링 정보를 포함하는 방송 신호를 수신하는 수신부, 상기 수신한 패킹 프레임에서 상기 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임 중 적어도 하나의 프레임들을 추출하는 추출부 및 상기 추출된 적어도 하나의 프레임들을 이용하여 3D 영상을 렌더링 (rendering)하는 렌더링부를 포함할 수 있다.
본 발명에 따르면, 시청자의 시청조건에 관계없이, 3D 콘텐트 제작자가 해당 콘텐트를 제작 시 의도한 입체 효과를 시청자에게 제공할 수 있는 효과가 있다.
본 발명에 따르면, 기존의 방송 시스템 구조와 호환을 유지하면서, 3D 콘텐트 제작자가 해당 콘텐트를 제작 시 의도한 입체 효과를 시청자에게 제공할 수 있는 효과가 있다.
본 발명에 따르면, 수신기가 최소한의 데이터 처리를 통하여, 3D 콘텐트 제작자가 해당 콘텐트를 제작 시 의도한 입체 효과를 시청자에게 제공할 수 있는 효과가 있다.
본 발명에 따르면, UHD 방송 송수신 시스템에서 3D 컨텐츠를 효율적으로 송수신할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 방송 신호 송신 방법을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 view synthesis module의 구성을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 viewing condition에 adaptive한 stereo view를 생성하는 과정을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 viewing condition adaptive stereo view 제공을 위한 수신기의 동작을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 스크린 사이즈에 따라 인지되는 입체감의 차이를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 스크린 사이즈 별로 IOD에 대응되는 픽셀 개수를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 IOD의 길이에 따라 인지되는 입체감의 차이를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 viewing distance가 달라지는 상황에서 vergence angle을 동일하게 유지하면서 스테레오 영상의 입체감을 유지하는 compensation 방법을 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 parallax angle를 동일하게 유지하면서 스테레오 영상의 입체감을 유지하는 compensation 방법에 사용되는 parallax angle를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 distance range를 동일하게 유지하면서 스테레오 영상의 입체감을 유지하는 compensation 방법에 사용되는 distance range를 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른 스테레오 영상의 시청 환경과 parallax 범위의 관계를 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 수신된 reference viewing condition 및/또는 target viewing condition가 수신단에서의 viewing condtion와 불일치할 경우 depth adjustment를 수행하는 방법을 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른 stereo 3D rendering info()를 포함하는 stereo_3D_rendering_info_descriptor()의 구성을 나타낸 도면이다.
도 14는 본 발명의 일 실시예에 따른 compensation_type의 구성을 나타낸 도면이다.
도 15는 본 발명의 일 실시예에 따른 view_pair_descriptor()의 구성을 나타낸 도면이다.
도 16은 본 발명의 일 실시예에 따른 PMT (program map table)의 구성을 나타낸 도면이다.
도 17은 본 발명의 일 실시예에 따른 TVCT (terrestrial virtual channel table)의 구성을 나타낸 도면이다.
도 18은 본 발명의 일 실시예에 따른 SDT (service description table)의 구성을 나타낸 도면이다.
도 19는 본 발명의 일 실시예에 따른 user_data_registered_itu_t_t35()의 구성을 나타낸 도면이다.
도 20은 본 발명의 일 실시예에 따른 DVB에서 사용하는 user_identifier 값과 이에 대응하는 user_structure()를 나타낸 도면이다.
도 21은 본 발명의 일 실시예에 따른 DVB1_data()의 구성을 나타낸 도면이다.
도 22는 본 발명의 일 실시예에 따른 stereo 3D rendering info를 포함하는 SEI 메시지의 구성을 나타낸 도면이다.
도 23은 본 발명의 일 실시예에 따른 stereo_3D_rendering_info_SEI_descriptor()의 구성을 나타낸 도면이다.
도 24는 본 발명의 일 실시예에 따른 screen size에 adaptive한 stereo view 제공을 위한 방송 서비스 구조를 나타낸 도면이다.
도 25는 본 발명의 일 실시예에 따른 방송 서비스의 시그널링 방법 및 시그널링 내용을 전송 채널의 타입에 따라 구분하여 나타낸 도면이다.
도 26은 본 발명의 일 실시예에 따른 stereo_3D_viewing_condition_info_descriptor()의 구성을 나타낸 도면이다.
도 27은 본 발명의 일 실시예에 따른 수신기의 구성을 나타낸 도면이다.
도 28은 본 발명의 일 실시예에 따른 frame compatible 과정을 나타낸 도면이다.
도 29는 본 발명의 일 실시예에 따른 뎁스맵 (depth map)을 8 비트 4K 프레임에 매핑하는 방법을 나타낸 도면이다.
도 30은 본 발명의 일 실시예에 따른 방송 신호 수신 방법을 나타낸 도면이다.
도 31은 본 발명의 일 실시예에 따른 방송 신호 송신 장치의 구성을 나타낸 도면이다.
도 32는 본 발명의 일 실시예에 따른 방송 신호 수신 장치의 구성을 나타낸 도면이다.
발명의 실시를 위한 최선의 형태
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
도 1은 본 발명의 일 실시예에 따른 방송 신호 송신 방법을 나타낸 도면이다.
본 발명의 일 실시예에 따른 방송 신호 송신 방법은 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임을 각각 다운샘플링하고, 상기 다운샘플링된 프레임들 중 적어도 하나의 프레임들을 하나의 프레임으로 패킹한 패킹 프레임을 인코딩하는 단계 (S1010), 상기 인코딩된 패킹 프레임 및 상기 패킹 프레임에 관련된 영상에 대한 시그널링 정보를 포함하는 방송 신호를 생성하는 단계 (S1020) 및/또는 상기 생성된 방송 신호를 전송하는 단계 (S1030)을 포함할 수 있다.
본 발명의 일 실시예에 따른 인코더는 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임을 각각 다운샘플링하고, 상기 다운샘플링된 프레임들 중 적어도 하나의 프레임들을 하나의 프레임으로 패킹한 패킹 프레임을 인코딩할 수 있다. 여기서, 인코더는 좌영상, 우영상, 좌영상에 대한 깊이 영상 및/또는 우영상에 대한 깊이 영상을 생성할 수 있고 상기 영상들을 하나의 프레임에 삽입하는 프래임 패킹을 수행할 수 있다. 여기서, 본 발명의 다른 일 실시예에 따르면, 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및/또는 우영상에 대한 깊이 영상 프레임은 다운샘플링되지 않고 바로 하나의 프레임으로 패킹될 수 있다. 이에 대한 상세한 설명은 도 28의 설명 부분에서 후술한다.
본 발명의 일 실시예에 따른 방송 신호 생성부는 인코딩된 패킹 프레임 및 상기 패킹 프레임에 관련된 영상에 대한 시그널링 정보를 포함하는 방송 신호를 생성할 수 있다. 여기서, 방송 신호 생성부는 하드 웨어에 해당하며 변조부를 포함할 수 있다. 이에 대한 상세한 설명은 도 28의 설명 부분에서 후술한다.
본 발명의 일 실시예에 따른 전송부는 생성된 방송 신호를 전송할 수 있다. 전송부는 방송 신호를 지상파 방송망, 케이블 망 및/또는 브로드밴드를 통하여 전송할 수 있다. 이에 대한 상세한 설명은 도 25 및 도 28의 설명 부분에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 패킹 프레임은 상기 좌영상에 대한 깊이 영상 프레임에 포함된 깊이 정보 및 상기 우영상에 대한 깊이 영상 프레임에 포함된 깊이 정보를 상기 패킹 프레임을 나타내는 색공간의 성분에 비트단위로 맵핑하여 생성될 수 있다. 이에 대한 상세한 설명은 도 29의 설명 부분에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 시그널링 정보는 상기 방송 신호에 포함된 프레임이 패킹 프레임임을 나타내는 프레임 패킹 어레인지먼트 정보를 포함할 수 있다. 이에 대한 상세한 설명은 도 28의 설명 부분에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 시그널링 정보는 상기 좌영상 프레임 및 우영상 프레임이 수평적으로 플립핑 (flipping)되었는지 여부를 나타내는 프레임 플립핑 플래그 정보를 포함할 수 있다. 이에 대한 상세한 설명은 도 28의 설명 부분에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 시그널링 정보는 SEI (Supplemental Enhancement Information) message를 포함하고, 상기 프레임 패킹 어레인지먼트 정보, 상기 뎁스 비트 심도 정보 및 상기 프레임 플립핑 플래그 정보 중 적어도 어느 하나는 상기 패킹 프레임을 포함하는 비디오 스트림 내에 SEI message에 포함될 수 있다. 이에 대한 상세한 설명은 도 19, 20, 21, 28의 설명 부분에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 시그널링 정보는 PMT (Program Map Table)를 포함하고, 상기 PMT는 상기 SEI message에 상기 프레임 패킹 어레인지먼트 정보가 포함되어 있는지 여부를 나타내는 프레임 패킹 플래그 정보를 포함할 수 있다. 이에 대한 상세한 설명은 도 16, 19, 20, 21, 28의 설명 부분에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 프레임 패킹 어레인지먼트 정보, 상기 뎁스 비트 심도 정보 및 상기 프레임 플립핑 플래그 정보 중 적어도 어느 하나는 시스템 레벨에서 시그널링될 수 있다. 이에 대한 상세한 설명은 도 25, 28의 설명 부분에서 후술한다.
도 2는 본 발명의 일 실시예에 따른 view synthesis module의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따르면, 이 도면에 도시된 바와 같이, 2개의 새로운 view를 생성하여 임의 시점의 3D view를 출력하는 경우, 각각의 view 및 depth map는 후술할 4개 단계의 처리 과정을 거칠 수 있다. 이 경우, 상술한 각각의 view 및/또는 depth map의 처리를 위하여 camera parameters, depth type, depth near, depth far 등의 관련 정보가 제공될 수 있다.
본 발명의 일 실시예에 따른 view synthesis module (2010)은 제 1 워핑부 (warping, 2020), 제 1 머징부 (merging, 2030), 제 1 홀 필링부 (hole-filling, 2040), 제 1 바운더리 노이즈 제거부 (boundary noise removal, 2050), 제 2 워핑부 (warping, 2060), 제 2 머징부 (merging, 2070), 제 2 홀 필링부 (hole-filling, 2080), 제 2 바운더리 노이즈 제거부 (boundary noise removal, 2090) 및/또는 3D 포맷터 (3D formatter, 2100)을 포함할 수 있다.
워핑부는 view synthesis module에 입력되는 레프트 뷰 (L_view), 레프트 뎁스 (L_depth), 라이트 뷰 (R_view) 및 라이트 뎁스 (R_depth)를 워핑 (warping) 처리할 수 있다. 워핑부는 레프트 뷰 및 레프트 뎁스를 워핑 처리하여 레프트 데이터로부터 워핑된 데이터 (warped from L)를 생성할 수 있고 라이트 뷰 및 라이트 뎁스를 워핑 처리하여 라이트 데이터로부터 워핑된 데이터 (warped from R)를 생성할 수 있다. 여기서, 레프트 데이터는 레프트 뷰 및 레프트 뎁스를 포함할 수 있고 라이트 데이터는 라이트 뷰 및 라이트 뎁스를 포함할 수 있다. 워핑부는 camera parameter, depth type, depth_near 및/또는 depth_far를 기초로 하여 레프트 뷰 (L_view), 레프트 뎁스 (L_depth), 라이트 뷰 (R_view) 및 라이트 뎁스 (R_depth)를 워핑 (warping) 처리할 수 있다. 여기서, camera parameter는 3D 컨텐츠가 제작되는 장소에서의 카메라에 대한 정보를 포함할 수 있다. depth type는 레프트 뷰 및/또는 라이트 뷰에 포함되는 물체들에 대한 디스패리티 값으로 깊이 정보를 제공할 수 있다. 여기서, 디스패리티 (disparity)란 3D 영상의 동일한 지점을 나타내기 위한 레프트 뷰 및 라이트 뷰의 각각의 지점 사이의 수평적 차이를 나타내며 이러한 차이는 픽셀 단위로 나타낼 수 있다. 여기서, 레프트 뷰는 좌영상으로 명명될 수 있고 라이트 뷰는 우영상으로 명명될 수 있다. 워핑부는 depth info 및/또는 hole info를 머징부, 홀 필링부 및/또는 바운더리 노이즈 제거부에 제공할 수 있다. 워핑부는 제 1 워핑부 및/또는 제 2 워핑부를 포함할 수 있다.
머징부는 워핑부에 의해 레프트 데이터로부터 워핑된 데이터 및 라이트 데이터로부터 워핑된 데이터를 머징 (merging)할 수 있다. 머징부는 워핑부에 의해 제공된 depth info 및/또는 hole info를 이용할 수 있다. 머징부는 제 1 머징부 및/또는 제 2 머징부를 포함할 수 있다.
홀 필링부는 머징부에 의해 머징된 데이터의 홀을 필링할 수 있다. 홀 필링부는 워핑부에 의해 제공된 depth info 및/또는 hole info를 이용할 수 있다. 홀 필링부는 제 1 홀 필링부 및/또는 제 2 홀 필링부를 포함할 수 있다.
바운더리 노이즈 제거부는 홀 필링부에 의해 홀이 제거된 데이터의 바운더리에 존재하는 노이즈를 제거하여 합성된 레프트 뷰 (synthesized left view) 및/또는 합성된 라이트 뷰 (synthesized right view)를 생성할 수 있다. 바운더리 노이즈 제거부는 워핑부에 의해 제공된 depth info 및/또는 hole info를 이용할 수 있다. 바운더리 노이즈 제거부는 제 1 바운더리 노이즈 제거부 및/또는 제 2 바운더리 노이즈 제거부를 포함할 수 있다.
3D 포맷터는 바운더리 노이즈 제거부에 의해 생성된 합성된 레프트 뷰 (synthesized left view) 및/또는 합성된 라이트 뷰 (synthesized right view)를 이용하여 임의의 시점의 합성된 3D 뷰 (synthesized 3D view)를 생성할 수 있다.
도 3은 본 발명의 일 실시예에 따른 viewing condition에 adaptive한 stereo view를 생성하는 과정을 나타낸 도면이다.
본 발명의 일 실시예에 따르면 수신단에서 자체적인 임의 시점의 view를 선택하여 view synthesis를 적용하는 경우, 본 발명의 일 실시예는 view synthesis에 필요한 기본 정보 (camera parameter, depth type, depth near 및/또는 depth far)만으로 렌더링을 수행할 수 있다. 하지만, 본 발명의 일 실시예는 상술한 view synthesis에 필요한 기본 정보만으로는 시청 조건 (viewing condition)에 맞는 3D view를 제공할 수 없다.
본 발명의 다른 일 실시예는 상술한 view synthesis에 필요한 기본 정보뿐만 아니라 현재 수신되는 스테레오 영상 (stereo view)이 어떤 시청 조건을 타겟으로 하는 것인지에 대한 정보 (target viewing condition), 다른 참고 시청 조건을 지원하는 경우의 가이드 라인에 대한 정보 (reference viewing conditions and related parameters) 및/또는 viewing condition에 대한 정보를 이용하여 시청 조건에 맞는 3D view를 제공할 수 있다.
이 도면에 도시된 바와 같이, 본 발명의 일 실시예에 따른 viewing condition adaptive view synthesis module (3070)은 view 1을 위한 비디오 엘레먼트 (video element for view 1, 3030), view 1을 위한 뎁스 엘레먼트 (depth element for view 1, 3040), view 2를 위한 비디오 엘레먼트 (video element for view 2, 3050), view 2를 위한 뎁스 엘레먼트 (depth element for view 2, 3060), view synthesis에 필요한 기본 정보 (view 1 및/또는 view 2에 대한 camera parameters (camera param (view 1, 2)), depth type, depth_near, depth_far, 3020), target viewing condition에 대한 정보 (3010), reference viewing conditions에 대한 정보 (3010), reference viewing condition related parameters (3010) 및/또는 viewing condition에 대한 정보 (3080)를 이용하여 해당 시청 조건에 adaptive한 레프트 뷰 (left-view adaptive to a corresponding viewing condition, 3090) 및/또는 라이트 뷰 (right-view adaptive to a corresponding viewing condition, 3100)를 생성할 수 있다. 여기서, target viewing condition에 대한 정보 (3010), reference viewing conditions에 대한 정보 (3010) 및/또는 reference viewing condition related parameters (3010)는 송신단으로부터 제공될 수 있다. viewing condition에 대한 정보 (3080)는 수신단에서 획득될 수 있다. Viewing condition은 screen size, IOD (inter ocular distance), viewing distance 등에 대한 정보를 포함할 수 있다.
도 4는 본 발명의 일 실시예에 따른 viewing condition adaptive stereo view 제공을 위한 수신기의 동작을 나타낸 도면이다.
본 발명의 일 실시예에 따른 view synthesis module (depth adjustment, 4010)은 stereo pair 1 (L_view1, R_view1), stereo depth pair 1 (L_depth1, R_depth1), target viewing condition 및/또는 viewing condition을 입력 받아 stereo pair 2 (L_view2, R_view2)를 생성할 수 있다. 여기서, stereo pair 1은 L_view1 및/또는 R_view1을 포함할 수 있다. stereo depth pair 1은 L_depth1 및/또는 R_depth1을 포함할 수 있다. stereo pair 2는 L_view2 및/또는 R_view2를 포함할 수 있다. target viewing condition은 reference viewing condition 1 (Ref. viewing condition 1), parameter 1, reference viewing condition 2 (Ref. viewing condition 2), parameter 2, reference viewing condition 3 (Ref. viewing condition 3), parameter 3, reference viewing condition 4 (Ref. viewing condition 4) 및/또는 parameter 4를 포함할 수 있다. target viewing condition은 더 많은 reference viewing condition 및 이에 해당하는 parameter를 포함할 수 있다. 여기서, parameter 1 내지 parameter 4는 각각의 reference viewing condition에 대응하는 parameter를 나타낼 수 있다. 예를 들어, parameter 1은 reference viewing condition 1에 대응하는 parameter에 해당할 수 있다. 여기서, view synthesis module은 본 발명의 일 실시예에 따른 수신기에 포함될 수 있다.
본 발명의 일 실시예에 따른 수신기는 수신단에 저장되어 있거나 수신단으로 입력된 viewing condition이 stereo pair 1의 target viewing condition과 일치하는 경우, 추가적인 depth adjustment를 수행하지 않고 입력 받은 stereo pair 1을 그대로 출력할 수 있다. 이 때, stereo pair 2는 stereo pair 1과 동일할 수 있다. target viewing condition은 stereo pair 1의 viewing condition을 나타낼 수 있다.
본 발명의 일 실시예에 따른 수신기는 수신단에 저장되어 있거나 수신단으로 입력된 viewing condition이 stereo pair 1의 target viewing condition과 일치하지 않는 경우, 수신한 reference viewing condition 중에 viewing condition과 일치하는 것이 있는지 검색할 수 있다. 일치하는 reference viewing condition이 존재하는 경우, 수신기는 일치하는 reference viewing condition에 대응하는 parameter 값을 참조하여 depth adjustment를 수행하고 새로운 stereo pair를 획득하고 출력할 수 있다. 일치하는 reference viewing condition이 존재하지 않는 경우, 수신한 reference viewing condition 중에서 가장 비슷한 조건을 참조하거나 수신한 reference viewing condition을 참조하여 적절한 parameter 값을 산출하여 stereo pair 2를 생성할 수 있다. 이에 대한 상세한 설명은 후술한다.
도 5는 본 발명의 일 실시예에 따른 스크린 사이즈에 따라 인지되는 입체감의 차이를 나타낸 도면이다.
본 발명의 일 실시예에 따르면, viewing condition은 주요 구성 요소로서 스크린 사이즈 (screen size), IOD (inter ocular distance) 및/또는 viewing distance를 포함할 수 있다. 상술한 구성 요소에 따라 동일한 컨텐츠의 입체감이 다르게 인지될 수 있다.
본 발명의 일 실시예에 따르면, 스크린 사이즈가 작으면 작을수록 동일한 입체 효과를 나타내기 위한 depth budget은 많아지고 반대로, 스크린 사이즈가 크면 클수록 동일한 입체 효과를 나타내기 위한 depth budget은 적어질 수 있다.
이 도면에 도시된 바와 같이, 동일한 스테레오 컨텐츠가 서로 다른 크기의 스크린 사이즈에 출력되는 경우 이에 대응되는 parallax 및/또는 viewing distance에 따라 인지되는 깊이감이 달라질 수 있다.
본 발명의 일 실시예에 따르면, 스크린 사이즈 별로 입체감이 달라지는 현상을 파악하기 위해 IOD에 대응되는 픽셀의 개수를 비교하는 방법이 사용될 수 있다. display 화면 상에서 IOD가 65mm인 parallax에 대응되는 depth (입체 효과)는 화면 뒤쪽으로 무한대의 깊이를 나타낼 수 있고 IOD가 0mm인 parallax에 대응되는 depth는 시청 조건에 상관 없이 화면 바로 위의 깊이를 나타낼 수 있다. 그 외의 IOD의 parallax에 대응되는 depth는 스크린 크기에 따라 다른 입체감을 나타낼 수 있다. 여기서, depth, 입체감 및 입체 효과는 동일한 의미로 사용될 수 있다.
도 6은 본 발명의 일 실시예에 따른 스크린 사이즈 별로 IOD에 대응되는 픽셀 개수를 나타낸 도면이다.
본 발명의 일 실시예에 따른 이 도면은 1920 * 1080 (full HD) 해상도의 left view 및 right view로 구성된 스테레오 영상에서 65mm IOD에 대응되는 픽셀의 개수를 나타낸 도면이다. 이 도면에서와 같이 다양한 스크린 사이즈 별로 IOD에 대응되는 픽셀 개수를 비교해 보면 동일한 입체 효과를 나타내기 위한 disparity의 픽셀 개수는 스크린 사이즈 별로 달라지는 것을 알 수 있다.
이 도면에 도시된 바와 같이, 스크린 사이즈가 14인치인 경우 무한대의 입체감을 나타내기 위해서는 402.7개의 픽셀이 필요하고, 스크린 사이즈가 23인치인 경우 무한대의 입체감을 나타내기 위해서는 245.1개의 픽셀이 필요하고, 32인치인 경우 176.2개의 픽셀, 42인치인 경우 134.2개의 픽셀, 52인치인 경우 108.4개의 픽셀이 필요하다.
도 7은 본 발명의 일 실시예에 따른 IOD의 길이에 따라 인지되는 입체감의 차이를 나타낸 도면이다.
본 발명의 일 실시예에 따르면, IOD의 길이에 따라 스테레오의 입체 효과가 달라질 수 있다. 예를 들어, 어린이와 같이 IOD가 작은 경우 동일한 입체 효과를 인지하기 위해 필요한 depth budget은 작고 반대로, 어린이보다 IOD가 큰 어른의 경우 동일한 입체 효과를 인지하기 위해 필요한 depth budget은 어린이에 비해 클 수 있다.
이 도면에 도시된 바와 같이, 다양한 IOD 값에 따라 동일한 parallax (p1)에 대해 인지되는 깊이감 (D1, D1')이 다를 수 있다. D1은 IOD가 80mm인 경우, parallax (p1)에 대해 인지되는 깊이감을 나타내고, D1'는 IOD가 40mm인 경우, parallax (p1)에 대해 인지되는 깊이감을 나타낼 수 있다.
본 발명의 일 실시예에 따르면, 2D에 대한 viewing distance는 각 해상도 별로 표준 단체에서 정한 권장 viewing distance가 존재하므로 송신단 및 수신단에서는 이를 기준으로 삼을 수 있다. 하지만, 스테레오 컨텐츠의 경우, viewing distance에 따라 인지되는 입체감에 차이가 발생하고 viewing distance에 대한 기준이 제시되어 있지 않다. 따라서, 송신다에서 기준으로 삼은 viewing distance에 대한 정보를 수신단에 전송할 수 있다.
전술한 바와 같이, 스크린 사이즈, IOD, viewing distance 등과 같은 시청 조건에 따라 스테레오 컨텐츠의 입체 효과는 달라질 수 있다. 본 발명의 일 실시예는 컨텐츠 제작자가 의도한 입체감을 제대로 전달하기 위하여 상술한 시청 조건에 adaptive한 컨텐츠를 제공할 수 있다. 이에 대한 상세한 설명은 후술한다.
도 8은 본 발명의 일 실시예에 따른 viewing distance가 달라지는 상황에서 vergence angle을 동일하게 유지하면서 스테레오 영상의 입체감을 유지하는 compensation 방법을 나타낸 도면이다.
본 발명의 일 실시예에 따르면 스테레오 영상의 입체감을 유지하고자 할 때 viewing condition을 구성하는 요소 중 같은 값을 유지하려는 요소에 따라 다양한 compensation 방법이 존재할 수 있다.
본 발명의 일 실시예에 따른 compensation 방법은 유지하고자 하는 요소가 무엇이냐에 따라 조정 값에 차이가 발생할 수 있으므로 수신기는 compensation type에 대한 정보를 이용하여 compensation할 수 있다. 여기서, compensation type에 대한 정보는 제공되는 reference viewing condition 및/또는 reference viewing condition에 대응되는 reference compensation parameter가 어떤 요소를 기반으로 산출된 것인지에 대한 정보를 포함할 수 있다.
본 발명의 일 실시예에 따른 compensation 방법은 vargence angle를 유지하는 방법, parallax angle를 유지하는 방법, view 기준으로 distance range를 유지하는 방법, screen 기준으로 distance range를 유지하는 방법 및/또는 상대적인 distance rage를 유지하는 방법을 포함할 수 있다. 여기서, parallax angle은 accommodation angle과 vergence angle의 차이값을 나타낼 수 있다. 이에 대한 상세한 설명은 후술한다.
이 도면에 도시된 바와 같이, 다른 시청 조건은 동일하고 viewing distance만 커지는 조건에서 vergence angle을 유지하는 경우, 본 발명의 일 실시예는 스테레오 영상의 입체감을 그대로 유지하기 위하여 disparity (parallax)의 절대값을 증가시킬 수 있다. 이 도면을 보면, 본 발명의 일 실시예에 따른 compensation 이전 (8010)과 compensation 이후 (8020)에 vergence angle (alpha)는 그대로 유지되고 viewing distance가 커짐에 따라 (Vd1에서 Vd2로) disparity의 절대값도 증가될 수 있다. 이 때, display width (w1), IOD (65mm) 등의 다른 시청 조건은 동일할 수 있다.
이 도면에 도시되어 있지 않지만, 다른 시청 조건은 동일하고 스크린 사이즈만 커지는 조건에서 vergence angle을 유지하는 경우 본 발명의 일 실시예는 스테레오 영상의 입체감을 그대로 유지하기 위하여 disparity의 절대값을 감소시킬 수 있다. 이 때, parallax는 그대로 유지될 수 있다. 이 도면에 도시되어 있지 않지만, 다른 시청 조건은 동일하고 IOD만 커지는 조건에서 vergence angle을 유지하는 경우 본 발명의 일 실시예는 스테레오 영상의 입체감을 그대로 유지하기 위하여 disparity (parallax)의 절대값을 감소시킬 수 있다.
도 9는 본 발명의 일 실시예에 따른 parallax angle를 동일하게 유지하면서 스테레오 영상의 입체감을 유지하는 compensation 방법에 사용되는 parallax angle를 나타낸 도면이다.
본 발명의 일 실시예에 따른 parallax angle (theta - beta)은 accommodation angle (theta)과 vergence angle (alpha, beta)의 차이값을 나타낼 수 있다. 여기서, accommodation angle은 스크린에 대한 양안의 시차각을 나타낼 수 있다. vergence angle는 object에 대한 양안의 시차각을 나타낼 수 있다.
본 발명의 일 실시예에 따르면, 다른 시청 조건은 동일하고 viewing distance만 커지는 조건에서 parallax angle을 유지하는 경우, 본 발명의 일 실시예는 스테레오 영상의 입체감을 그대로 유지하기 위하여 disparity (parallax)의 절대값을 증가시킬 수 있다. 이 때, 4m 이상의 viewing distance에 대해서는 maximum disparity의 값은 변하지 않을 수 있다. 또한, 다른 시청 조건은 동일하고 스크린 사이즈만 커지는 조건에서 parallax angle을 유지하는 경우, 본 발명의 일 실시예는 스테레오 영상의 입체감을 그대로 유지하기 위하여 disparity의 절대값을 감소시킬 수 있다. 이 때, parallax는 그대로 유지될 수 있다. 또한, parallax angle을 유지하는 경우 본 발명의 일 실시예는 IOD의 크기 변화에 상관없이 disparity (parallax)는 유지될 수 있다.
도 10은 본 발명의 일 실시예에 따른 distance range를 동일하게 유지하면서 스테레오 영상의 입체감을 유지하는 compensation 방법에 사용되는 distance range를 나타낸 도면이다.
본 발명의 일 실시예에 따르면, viewer 기준으로 distance range를 유지하는 방법 (10010)은 시청 조건이 변하더라도 target minimum distance (minimum distance, Dmin) 및 target maximum distance (maximum distance, Dmax)가 유지되는 방법을 의미할 수 있다. 여기서, target minimum distance는 viewer와 object의 최대 거리를 나타내고, target maximum distance는 viewer와 object의 최소 거리를 나타낼 수 있다.
viewer 기준으로 distance range를 유지하는 방법 (10010)에서, 다른 시청 조건은 동일하고 viewing distance만 커지는 조건에서 target minimum distance 및 target maximum distance를 유지하는 경우, 본 발명의 일 실시예는 스테레오 영상의 입체감을 그대로 유지하기 위하여 disparity (parallax)의 절대값을 증가시킬 수 있다. 또한, 다른 시청 조건은 동일하고 스크린 사이즈만 커지는 조건에서 target minimum distance 및 target maximum distance를 유지하는 경우, 본 발명의 일 실시예는 스테레오 영상의 입체감을 그대로 유지하기 위하여 disparity의 절대값을 감소시킬 수 있다. 이 때, parallax는 그대로 유지될 수 있다. 또한, 다른 시청 조건은 동일하고 IOD만 커지는 조건에서 target minimum distance 및 target maximum distance를 유지하는 경우, 본 발명의 일 실시예는 스테레오 영상의 입체감을 그대로 유지하기 위하여 disparity (parallax)의 절대값을 증가시킬 수 있다.
본 발명의 일 실시예에 따르면, screen 기준으로 distance range를 유지하는 방법 (10020)은 시청 조건이 변하더라도 distance range 즉, maximum distance와 minimum distance의 차이의 절대값이 유지되는 방법을 의미할 수 있다. 여기서, minimum distance는 viewer와 object의 최소 거리를 나타내고, maximum distance는 viewer와 object의 최대 거리를 나타낼 수 있다.
screen 기준으로 distance range를 유지하는 방법 (10020)에서, 다른 시청 조건은 동일하고 viewing distance만 커지는 조건에서 maximum distance와 minimum distance의 차이의 절대값을 유지하는 경우, 본 발명의 일 실시예는 스테레오 영상의 입체감을 그대로 유지하기 위하여 disparity (parallax)의 절대값을 증가시킬 수 있다. 또한, 다른 시청 조건은 동일하고 스크린 사이즈만 커지는 조건에서 maximum distance와 minimum distance의 차이의 절대값을 유지하는 경우, 본 발명의 일 실시예는 스테레오 영상의 입체감을 그대로 유지하기 위하여 disparity의 절대값을 감소시킬 수 있다. 이 때, parallax는 그대로 유지될 수 있다. 또한, 다른 시청 조건은 동일하고 IOD만 커지는 조건에서 maximum distance와 minimum distance의 차이의 절대값을 유지하는 경우, 본 발명의 일 실시예는 스테레오 영상의 입체감을 그대로 유지하기 위하여 disparity (parallax)의 절대값을 증가시킬 수 있다.
본 발명의 일 실시예에 따르면, 전술한 compensation type에 따라 렌더링을 위한 compensation parameter에 적용되는 값이 달라질 수 있다. 수신기는 상술한 compensation parameter에 적용되는 값을 활용하여 시청 환경에 맞는 compensation type에 관련된 정보를 선택하여 적용할 수 있다.
본 발명의 일 실시예에 따르면, 전술한 시청 조건의 변경에 따라 disparity를 조정하는 방법 (compensation 방법)은 depth adjustment를 위한 파라미터가 시그널링되지 않을 경우, 수신단에서 적합한 baseline 값을 도출하기 위해 적용될 수 있다.
도 11은 본 발명의 일 실시예에 따른 스테레오 영상의 시청 환경과 parallax 범위의 관계를 나타낸 도면이다.
본 발명의 일 실시예에 따른 viewer 기준 또는 screen 기준 distance range를 유지하기 위해 disparity를 조정하는 방법은 이 도면에 도시된 삼각형 비례식을 이용할 수 있다.
이 도면을 보면, alpha 및 beta는 vergence anlgle을 나타낼 수 있다. Dmax 및 Dmin은 viewer로부터 object의 상까지의 최대 및 최소 거리를 나타낼 수 있다. Vd는 viewer로부터 screen까지의 거리 (viewing distance)를 나타낼 수 있다. pmax는 viewew로부터 object의 상까지의 거리가 최대일 때에 parallax를 나타낼 수 있고, pmin은 viewew로부터 object의 상까지의 거리가 최소일 때에 parallax를 나타낼 수 있다.
본 발명의 일 실시예에 따르면, 각 viewing condition 간의 관계를 나타낸 그림 (11030)에 도시된 삼각형을 이용하여 비례식 (11010, 11020)을 생성할 수 있다. 상술한 비례식을 이용하여 특정 viewing condition의 요소가 고정된 값을 가질 때 나머지 viewing condition의 요소가 가질 수 있는 값이 도출될 수 있다.
도 12는 본 발명의 일 실시예에 따른 수신된 reference viewing condition 및/또는 target viewing condition가 수신단에서의 viewing condtion와 불일치할 경우 depth adjustment를 수행하는 방법을 나타낸 도면이다.
전술한 바와 같이, 시청 조건이 바뀜에 따라 디스페리티를 조정해야 하는 방법은 시그널링되는 depth adjustment를 위한 파라미터가 존재하지 않을 때, 수신단에서 적합한 베이스 라인 (baseline) 값을 도출하는 것에도 적용될 수 있다. 여기서 baseline 값은 3D 컨텐츠를 생성할 당시, 3D 컨텐츠에 포함되는 좌영상 및 우영상을 각각 촬영한 카메라 사이의 거리를 의미할 수 있다.
본 발명의 일 실시예에서는, 조정해야 하는 파라미터 (즉, 베이스라인)에 대한 정보가 없는 경우, 수신단에서는 시그널링된 target viewing condition (혹은 reference viewing condition) 및 이에 대응되는 렌더링 파라미터 값을 참조하여, 수신단의 viewing condition 에 적합한 새로운 파라미터를 도출해 낼 수 있다. 즉, 시청 거리 (viewing distance), 스크린 크기 및/또는 IOD의 값이 기존의 값과 달라진 경우, 이에 대응하여 디스페리티는 어떻게 적용되어야 하는지의 관계를 파악하여 새로운 디스페리티 (new disparity) 를 도출할 수 있으며, 새로운 디스페리티 값을 토대로 조정할 베이스라인 값을 도출 할 수 있다.
이 도면에 도시된 바와 같이, 기존 디스페리티 (old disparity)와 새로운 디스페리티의 관계를 기준으로, 삼각형 비례식을 이용하여, 베이스라인 값을 도출해 낼 수 있다. 도출된 베이스라인 값은 좌영상 및 우영상 각각에서의 특정 상을 나타내기 위한 픽셀의 위치 또는 픽셀의 수를 조정하기 위한 값으로 사용될 수 있다.
도 13은 본 발명의 일 실시예에 따른 stereo 3D rendering info()를 포함하는 stereo_3D_rendering_info_descriptor()의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따르면, 스테레오 컨텐츠의 입체감 즉, depth range를 조절하는 데 있어 가장 기본이 되는 compensation parameter는 두 view를 촬영한 카메라 사이의 거리를 나타내는 baseline 값일 수 있다. 따라서, 본 발명의 일 실시예는 target/reference viewing condition 및 이에 대응 하는 baseline distance를 시그널링할 수 있고 수신단은 target/reference viewing condition 및 이에 대응하는 baseline distance를 참고하여 수신단의 viewing condition에 optimized된 스테레오 영상을 렌더링할 수 있다. 여기서, baseline은 baseline distance와 동일한 의미를 가질 수 있다.
본 발명의 일 실시예에 따른 stereo_3D_rendering_info_descriptor()는 descriptor_tag 필드, descriptor_length 필드 및/또는 stereo 3D rendering info()를 포함할 수 있다. stereo_3D_rendering_info_descriptor()는 target/reference viewing condition 및 이에 대응되는 compensation parameter를 포함할 수 있다.
descriptor_tag 필드는 이 디스크립터가 stereo 3D rendering info()를 포함하는 디스크립터임을 나타낼 수 있다.
descriptor_length 필드는 이 디스크립터의 길이를 나타낼 수 있다.
stereo 3D rendering info()는 view_pair_ID, target_parameter_valid_flag, target_dispaly_size, target_IOD, target_viewing_distance, rendered_param(), num_of_references, ref_parameter_valid_flag, compensation_type, ref_display_size, ref_IOD, ref_viewing_distance 및/또는 ref_compensation_param()를 포함할 수 있다.
view_pair_ID는 현재 수신되는 stereo view응 식별할 수 있는 식별자를 나타낼 수 있다. 본 발명의 일 실시예는 view_pair_ID를 이용하여 left view 및/또는 right view가 어떤 ES 스트림으로 구성되는지 식별할 수 있다. view_pair_ID는 후술할 view_pair_descriptor와 연동하여 이용될 수 있다.
target_parameter_valid_flag는 base 및/또는 additional view video stream과 관련된 시청 조건에 관한 필드들의 유효성을 나타낼 수 있다.
target_dispaly_size는 송신하는 스테레오 컨텐츠에 최적화된 권장 display size를 나타낼 수 있다. target_display_size는 aspect ratio가 고정된 경우 대각선 길이를 나타내는 47인치, 55인치와 같은 값을 나타낼 수 있고 display width의 거리를 나타낼 수 있다. target_display_size는 전술한 target_parameter_valid_flag의 첫 번째 비트가 1일때에만 유효할 수 있다.
target_IOD는 송신하는 스테레오 컨텐츠에 최적화된 IOD를 나타낼 수 있다. target_IOD는 40mm 내지 80mm 범위에 분포할 수 있다. target_IOD는 전술한 target_parameter_valid_flag의 두 번째 비트가 1일때에만 유효할 수 있다.
target_viewing_distance는 송신하는 스테레오 컨텐츠를 시청하기에 최적화된 권장 viewing distance를 나타낼 수 있다. target_viewing_distance는 전술한 target_parameter_valid_flag의 세 번째 비트가 1일때에만 유효할 수 있다.
rendered_param()는 수신기에서 스테레오 컨텐츠를 새롭게 렌더링하는 경우에 참조할 수 있는 값을 나타낼 수 있다. 예를 들어, rendered_param()는 송신하는 스테레오 컨텐츠를 촬영했을 때 left, right 두 카메라 사이의 거리를 나타내는 baseline distance를 포함할 수 있다. rendered_param()는 스테레오 영상을 보상하기 위해 필요한 다른 parameter를 포함할 수 있다. rendered_param()는 전술한 target_parameter_valid_flag의 네 번째 비트가 1일때에만 유효할 수 있다.
num_of_references는 가상뷰를 생성하기 위해 필요한 가이드 정보의 개수를 나타낼 수 있다. 여기서, 가이드 정보는 시청 조건 및 이에 대응되는 파라미터 세트를 의미할 수 있다.
ref_parameter_valid_flag는 가상뷰의 생성과 관련된 시청 조건에 관한 필드들의 유효성을 시그널링할 수 있다.
compensation_type는 제공되는 reference viewing condition 및 compensation parameter가 어떤 factor를 기반으로 산출된 것인지를 나타낼 수 있다. 이에 대한 상세한 설명은 후술한다.
ref_display_size는 송신하는 스테레오 컨텐츠에 최적화된 값은 아니지만 수신단의 시청 조건에 따라 참조 가능한 display size를 나타낼 수 있다. ref_display_size는 전술한 ref_parameter_valid_flag의 첫 번째 비트가 1일때에만 유효할 수 있다.
ref_IOD는 송신하는 스테레오 컨텐츠에 최적화된 값은 아니지만 수신단의 시청 조건에 따라 참조 가능한 IOD를 나타낼 수 있다. ref_IOD는 전술한 ref_parameter_valid_flag의 두 번째 비트가 1일때에만 유효할 수 있다.
ref_viewing_distance는 송신하는 스테레오 컨텐츠에 최적화된 값은 아니지만 수신단의 시청 조건에 따라 참조 가능한 viewing distance를 나타낼 수 있다. ref_viewin_distances는 전술한 ref_parameter_valid_flag의 세 번째 비트가 1일때에만 유효할 수 있다.
ref_compensation_param()는 수신기에서 스테레오 컨텐츠를 새롭게 렌더링하는 경우 참조할 수 있는 값을 나타낼 수 있다. ref_compensation_param()는 reference viewing condition에 대응되는 compensation parameter를 의미할 수 있다. 예를 들어, ref_compensation_param()는 송신하는 스테레오 컨텐츠를 촬영했을 때 left, right 두 카메라 사이의 거리를 나타내는 baseline distance를 포함할 수 있다. 상술한 baseline distance는 ref_baseline_distance 필드에 포함될 수 있다. ref_baseline_distance 필드는 ref_compensation_param()에 포함될 수 있다. ref_compensation_param()는 스테레오 영상을 보상하기 위해 필요한 다른 parameter를 포함할 수 있다. ref_compensation_param()는 전술한 ref_parameter_valid_flag의 네 번째 비트가 1일때에만 유효할 수 있다.
본 발명의 일 실시예에 따르면, 전술한 view_pair_ID, target_parameter_valid_flag, target_dispaly_size, target_IOD, target_viewing_distance 및/또는 rendered_param()는 실제 서비스에 포함된 스트림에 대한 정보를 나타낼 수 있고, 전술한 num_of_references, ref_parameter_valid_flag, compensation_type, ref_display_size, ref_IOD, ref_viewing_distance 및/또는 ref_compensation_param()는 본 발명의 일 실시예에 따라 가상뷰를 생성하기 위해 필요할 수 있다.
도 14는 본 발명의 일 실시예에 따른 compensation_type의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 compensation_type이 0x00인 경우 이는 시청 조건을 구성하는 요소 중에서 vergence angle의 값을 그대로 유지하는 조건에서 스테레오 영상을 보상하는 방법을 나타낼 수 있다. 0x01인 경우 이는 시청 조건을 구성하는 요소 중에서 parallax angle의 값을 그대로 유지하는 조건에서 스테레오 영상을 보상하는 방법을 나타낼 수 있다. 0x02인 경우 이는 시청 조건을 구성하는 요소 중에서 viewer 기준의 distance range를 그대로 유지하는 조건에서 스테레오 영상을 보상하는 방법을 나타낼 수 있다. 0x03인 경우 이는 시청 조건을 구성하는 요소 중에서 screen 기준의 distance range를 그대로 유지하는 조건에서 스테레오 영상을 보상하는 방법을 나타낼 수 있다.
본 발명의 일 실시예에 따르면, compensation_type이 나타내는 factor를 기반으로 reference viewing condition 및/또는 이에 따른 compensation parameter가 결정될 수 있다.
도 15는 본 발명의 일 실시예에 따른 view_pair_descriptor()의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 view_pair_descriptor()는 3D view pair의 구성 정보를 포함할 수 있다.
본 발명의 일 실시예에 따른 view_pair_descriptor()는 descriptor_tag, descriptor_length, num_of_view_pairs, view_pair_ID, left_PID 및/또는 right_PID를 포함할 수 있다.
descriptor_tag는 이 디스크립터가 3D view pair에 대한 정보를 포함하는 디스크립터임을 나타낼 수 있다.
descriptor_length는 이 디스크립터의 길이를 나타낼 수 있다.
num_of_view_pairs는 프로그램 내에 포함되는 스트레오 pair의 개수를 나타낼 수 있다.
view_pair_ID는 각 stereo view pair를 식별할 수 있는 식별자를 나타낼 수 있다. 본 발명의 일 실시예는 view_pair_ID를 이용하여 left view 및/또는 right view가 어떤 ES 스트림으로 구성되는지 식별할 수 있다.
left_PID는 left view에 해당하는 영상의 PID를 나타낼 수 있다.
right_PID는 right view에 해당하는 영상의 PID를 나타낼 수 있다.
본 발명의 일 실시예에 따른 view_pair_descriptor()는 이 도면에 도시되어 있지 않지만 left depth 및/또는 right depth에 대한 정보를 포함하는 스트림을 식별할 수 있는 PID 정보를 나타내는 필드를 포함할 수 있다.
도 16은 본 발명의 일 실시예에 따른 PMT (program map table)의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따르면, 전술한 stereo_3D_rendering_info_descriptor()는 PMT의 프로그램 레벨에 포함되어 시그널링될 수 있다. (Option 1)
본 발명의 다른 일 실시예에 따르면, 전술한 stereo_3D_rendering_info_descriptor()는 PMT의 내에서 depth stream에 해당하는 elementary stream 레벨에 포함되어 시그널링될 수 있다. (Option 2)
본 발명의 또 다른 일 실시예에 따르면, 전술한 stereo_3D_rendering_info_descriptor()는 PMT의 내에서 depth에 대응되는 video elementary stream 레벨에 포함되어 시그널링될 수 있다. (Option 3)
본 발명의 일 실시예에 따르면, 프로그램 내에 포함된 스트레오 영상의 구성은 PMT의 프로그램 레벨 내에 포함된 view_pair_descriptor를 통해 시그널링될 수 있다.
도 17은 본 발명의 일 실시예에 따른 TVCT (terrestrial virtual channel table)의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따르면, 전술한 stereo_3D_rendering_info_descriptor()는 TVCT의 channel level descriptor에 포함되어 시그널링될 수 있다. (Option 1)
본 발명의 다른 일 실시예에 따르면, 전술한 stereo_3D_rendering_info_descriptor()의 필드들은 TVCT의 내의 component list descriptor에 포함되어 시그널링될 수 있다. (Option 2)
본 발명의 또 다른 일 실시예에 따르면, 전술한 stereo_3D_rendering_info_descriptor()의 필드들은 TVCT의 내에서 service location descriptor에 포함되어 시그널링될 수 있다. (Option 3)
본 발명의 일 실시예에 따르면, 프로그램 내에 포함된 스트레오 영상의 구성은 TVCT의 채널 레벨 내에 포함된 view_pair_descriptor를 통해 시그널링될 수 있다.
도 18은 본 발명의 일 실시예에 따른 SDT (service description table)의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따르면, 전술한 stereo_3D_rendering_info_descriptor()는 SDT의 service level descriptor에 포함되어 시그널링될 수 있다. 이 때, stereo_3D_rendering_info_descriptor()는 모든 view에 대한 정보를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 프로그램 내에 포함된 스트레오 영상의 구성은 SDT의 service level descriptor 내에 포함된 view_pair_descriptor를 통해 시그널링될 수 있다.
본 발명의 일 실시예에 따른 SDT는 table_id 필드, section_syntax_indicator 필드, section_length 필드, transport_stream_id 필드, version_number 필드, current_next_indicator 필드, section_number 필드, last_section_number 필드, original_network_id 필드, service_id 필드, EIT_schedule_flag 필드, EIT_present_following_flag 필드, running_status 필드, free_CA_mode 필드, descriptors_loop_length 필드, descriptor() 및/또는 CRC_32 필드를 포함한다.
table_id 필드는 테이블의 타입을 식별한다. table_id 필드는 당해 테이블 섹션이 SDT를 구성하는 섹션임을 나타내는 역할을 할 수 있다.
section_syntax_indicator 필드는 당해 필드 이후에 따라오는 테이블 섹션의 포맷을 나타낸다. 당해 필드의 값이 0이면 당해 테이블 섹션은 short 포맷임을 나타낸다. 당해 필드의 값이 1이면 당해 테이블 섹션은 일반적인 long 포맷을 따른다.
section_length 필드는 당해 테이블 섹션의 길이를 나타낸다. section_length 필드는 당해 필드 이후부터 당해 테이블 섹션의 끝까지의 길이를 나타낼 수 있다.
transport_stream_id 필드는 당해 테이블에서 설명하고자 하는 트랜스포트 스트림 (TS)을 식별한다.
version_number 필드는 프라이빗 테이블 섹션 (private table section)의 버전 넘버를 나타낸다. 수신기는 당해 필드와 후술할 current_next_indicator 필드를 이용해서 메모리에 저장되어 있는 테이블 섹션 중 가장 최근의 것을 찾아 낼 수 있다.
current_next_indicator 필드가 나타내는 값이 1이면 현재 전송되는 테이블이 유효하다는 것을 나타내고 0이면 현재 전송되는 테이블이 현재는 유효하지 않지만 이후에 유효할 것이라는 것을 나타낸다.
section_number 필드는 당해 섹션이 당해 테이블의 몇 번째 섹션인지를 나타낸다.
last_section_number 필드는 당해 테이블을 구성하고 있는 섹션 중에 마지막 섹션의 순번을 나타낸다.
original_network_id 필드는 당해 테이블에서 기술하는 서비스를 전송한 최초의 방송국을 식별할 수 있다.
service_id 필드는 트랜스포트 스트림 안에 존재하는 각 서비스를 식별한다. service_id 필드는 PMT에서 program_number 필드와 그 기능이 동일할 수 있다.
EIT_schedule_flag 필드가 나타내는 값이 1이면 현재 TS 안에 서비스를 위한 EIT 스케쥴 정보 (EIT schedule flag)가 존재함을 나타내고, 0이면 존재하지 않음을 나타낸다.
EIT_present_following_flag 필드가 나타내는 값이 1이면 현재 TS 안에 서비스를 위한 EIT_present_following 정보가 존재함을 나타내고, 0이면 존재하지 않음을 나타낸다.
running_status 필드는 서비스의 상태를 나타낸다. 예를 들어, running_status 필드의 값이 1이면 서비스가 "not running" 임을 나타내고, 2이면 "starts in a few seconds" 임을 나타내고, 3이면 "pausing" 임을 나타내고, 4이면 "running" 임을 나타내고, 5이면 "service off-air" 임을 나타낼 수 있다.
free_CA_mode 필드가 나타내는 값이 0이면 서비스를 구성하는 컴포넌트 스트림들이 스크램블되어 있지 않음을 나타내고, 1이면 하나 이상의 스트림에 대한 접근이 CA 시스템에 의해 조절됨을 나타낸다. CA 시스템은 Conditional Access System의 약어로서 방송의 시청을 계약자로 한정하기 위해서 방송 컨텐츠의 암호화 기능과 계약자만이 암호를 풀어 방송 컨텐츠를 시청할 수 있는 기능을 제공하는 시스템을 의미한다.
descriptors_loop_length 필드는 당해 필드 이후에 따라오는 디스크립터들의 길이를 더한 값을 나타낸다.
descriptor()는 각 서비스에 대하여 기술하는 디스크립터를 의미한다. 본 발명의 일 실시예에 따른 stereo_3D_rendering_info_descriptor() 및/또는 view_pair_descriptor()는 이 descriptor()에 해당할 수 있다.
CRC_32 필드는 당해 테이블 섹션에 포함된 데이터에 오류가 있는지 확인하기 위하여 사용되는 CRC 값을 나타낸다.
도 19는 본 발명의 일 실시예에 따른 user_data_registered_itu_t_t35()의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따르면, stereo 3D rendering info()는 전술한 내용과 달리 디스크립터 형태로 PSI/PSIP/DVB-SI 정보가 아니라, 비디오 스트림 또는 비디오 데이터 헤더의 SEI 메시지에 포함되어 전송될 수 있다.
이 도면을 보면, H.264 (또는 AVC) 비디오의 경우에는 SEI (Supplemental Enhancement Information) 영역에 해당 정보를 전송하며 user_data_registered_itu_t_135()에 user_identifier와 user_structure를 포함하도록 전송한다. 즉, user_data() 대신 SEI 페이로드들(payloads)에 해당 정보를 전송한다. SEI는 MPEG-2의 픽쳐 확장과 유저 데이터(picture extension and user data)의 역할을 수행하며 위치 또한 비슷하게 제한(constraint)할 수 있다. 즉, 이 도면은 stereo 3D rendering info()를 AVC/H.264 내에 포함하여 전송하는 방법을 나타낸 도면이다.
본 발명의 일 실시예에 따른 user_data_registered_itu_t_t35()는 itu_t_t35_country_code, itu_t_t35_provider_code, user_identifier 및/또는 user_structure()를 포함할 수 있다.
도 20은 본 발명의 일 실시예에 따른 DVB에서 사용하는 user_identifier 값과 이에 대응하는 user_structure()를 나타낸 도면이다.
본 발명의 일 실시예에 따르면, user_identifier가 0x47413934('GA94')이면 user_structure()는 DVB1_data()를 나타낼 수 있고, user_identifier가 0x44544731('DTG1')이면 user_structure()는 afd_data()를 나타낼 수 있다.
이 도면에 도시된 필드에 대한 상세한 설명은 기 공지된 내용 및 규격서의 내용으로 대체할 수 있다.
도 21은 본 발명의 일 실시예에 따른 DVB1_data()의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따르면, DVB1_data()는 user_data_type_code 및/또는 user_data_type_structure()를 포함할 수 있다.
user_data_type_code 는 user_data_type_structure()에 실리는 데이터의 종류를 나타낸다.
본 발명의 일 실시예에 따르면, user_data_type_structure ()는 전술한 스트레오 3D 렌더링 정보 디스크립터에 포함되는 정보를 포함할 수 있다.
이 도면에 도시된 필드에 대한 상세한 설명은 기 공지된 내용 및 규격서의 내용으로 대체할 수 있다.
도 22는 본 발명의 일 실시예에 따른 stereo 3D rendering info를 포함하는 SEI 메시지의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 stereo 3D rendering info를 포함하는 SEI 메시지는 stereo_3D_rendering_info_data() 또는 stereo 3D rendering info SEI message로 명명될 수 있다.
본 발명의 일 실시예에 따른 stereo_3D_rendering_info_data()는 stereo_3D_rendering_info_id, stereo_3D_rendering_info_cancel_flag 및/또는 stereo 3D rendering info()를 포함할 수 있다.
stereo_3D_rendering_info_id는 stereo_3D_rendering_info_data()에 포함된 정보 조합을 식별할 수 있다.
stereo_3D_rendering_info_cancel_flag의 값이 1인 경우, 이는 이전 picture까지 적용된 stereo 3D rendering info가 더 이상 적용되지 않음을 나타낼 수 있다.
본 발명의 일 실시예는 비디오 레벨에서 stereo 3D rendering 관련 정보를 시그널링하기 위해 stereo_3D_rendering_info_data()를 전송하는 방법을 제공할 수 있다.
본 발명의 일 실시예에 따르면, 특정 view의 비디오 데이터 또는 depth 스트림에 stereo_3D_rendering info SEI message가 포함되는 경우 본 발명의 일 실시예는 stereo_3D_rendering_info_data()를 통해 해당 스트림의 view에 대한 입체 정보 등을 시그널링할 수 있다. 본 발명의 일 실시예는 SEI RBSP (raw byte sequence payload)를 통하여 stereo_3D_rendering_info_data()를 수신할 수 있다. 본 발명의 일 실시예는 AVC NAL unit을 파싱하여 nal_unit_type 값이 6이고 payloadtype이 4인 user_data_registered_itu_t_t35 SEI message를 읽어 user_identifier 값을 확인할 수 있다. 여기서, nal_unit_type 값이 6이면, 이는 SEI 메시지임을 나타낼 수 있다. 본 발명의 일 실시예는 user_identifier 값이 0x47413934인 user_structure()를 읽고 user_data_type_code가 0x12인 data를 추출할 수 있다. 본 발명의 일 실시예는 user_data_type_code가 0x12인 stereo_3D_rendering_info_data()를 파싱하여 3D 취득 정보 및/또는 추후 가상뷰 생성을 위한 정보를 획득할 수 있다.
본 발명의 일 실시예에 따른 stereo 3D rendering info()는 view_pair_ID, target_parameter_valid_flag, target_dispaly_size, target_IOD, target_viewing_distance, rendered_param(), num_of_references, ref_parameter_valid_flag, compensation_type, ref_display_size, ref_IOD, ref_viewing_distance 및/또는 ref_compensation_param()를 포함할 수 있다. stereo 3D rendering info()에 포함된 상술한 필드들이 나타내는 의미는 전술하였다.
본 발명의 일 실시예에 따르면 view_pair_ID는 PSI/PSIP/SI 정보에서 program/channel/service 레벨의 view_pair_descriptor에 포함된 정보와 연동되어 사용될 수 있다. 본 발명의 다른 일 실시예 는 left view 및 right view를 구성하는 각 ES의 PID를 직접 시그널링할 수 있다.
도 23은 본 발명의 일 실시예에 따른 stereo_3D_rendering_info_SEI_descriptor()의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 stereo_3D_rendering_info_SEI_descriptor()는 PMT의 프로그램 레벨 또는 스트림 레벨에 포함될 수 있다. stereo_3D_rendering_info_SEI_descriptor()는 해당 비디오 데이터 내에 stereo 3D rendering info SEI message가 포함되어 있는지 여부에 대한 정보를 포함할 수 있다. 이로써, 수신기는 해당 비디오 데이터 내에 stereo 3D rendering info SEI message가 포함되어 있는지 여부를 시스템 레벨에서 미리 알 수 있다.
본 발명의 일 실시예에 따른 stereo_3D_rendering_info_SEI_descriptor()는 descriptor_tag, descriptor_length 및/또는 stereo_3D_rendering_info_SEI_message_exist_flag를 포함할 수 있다.
descriptor_tag는 이 디스크립터가 해당 비디오 데이터 내에 stereo 3D rendering info SEI message가 포함되어 있는지 여부에 대한 정보를 나타내는 디스크립터임을 나타낼 수 있다.
descriptor_length는 이 디스크립터의 길이를 나타낼 수 있다.
stereo_3D_rendering_info_SEI_message_exist_flag는 수신되는 비디오 스트림 내에 stereo 3D rendering 관련 정보를 상세히 알 수 있는 stereo 3D rendering SEI message가 포함되어 있는지 여부를 나타낼 수 있다.
도 24는 본 발명의 일 실시예에 따른 screen size에 adaptive한 stereo view 제공을 위한 방송 서비스 구조를 나타낸 도면이다.
본 발명의 일 실시예에 따르면, 사용량 분포도가 높은 시청 조건을 미리 선정하여 송신단에서 각 시청 조건에 맞는 컨텐츠를 미리 생성하는 경우 송신단은 하나의 view를 고정으로 전송하고 나머지 view를 가변적으로 전송할 수 있다. 이로써, 본 발며의 일 실시예는 각각의 시청 조건의 케이스에 대한 stereo view pair를 모두 생성하여 전송하는 경우보다 bandwidth 등의 자원을 의 소비를 줄일 수 있다.
이 도면을 보면, video element for view 1은 모든 수신기 (2D 및 3D 수신기 포함)에 적용되는 view를 나타낼 수 있다. video element for view 2 - 32"는 스크린 사이즈가 32인치인 수신기에 적용되는 view를 나타낼 수 있다. video element for view 2 - 42"는 스크린 사이즈가 42인치인 수신기에 적용되는 view를 나타낼 수 있다. video element for view 2 - 52"는 스크린 사이즈가 52인치인 수신기에 적용되는 view를 나타낼 수 있다. 여기서, video element for view 2 - 42" 및/또는 video element for view 2 - 52"는 broadband 및/또는 IP 망을 통해 전송될 수 있다.
도 25는 본 발명의 일 실시예에 따른 방송 서비스의 시그널링 방법 및 시그널링 내용을 전송 채널의 타입에 따라 구분하여 나타낸 도면이다.
본 발명의 일 실시예에 따르면 2D channel의 경우 base view video만 in-band 채널로 전송될 수 있고, 3D channel의 경우 base view video 및/또는 additional view video elements가 in-band 채널로 전송될 수 있다.
본 발명의 일 실시예에 따르면 additional view video element는 broadband 및/또는 other channle으로 전송될 수 있다.
본 발명의 일 실시예에 따르면 in-band로 전송되는 서비스는 PMT의 프로그램 레벨, TVCT의 채널 레벨, SDT의 서비스 레벨, EIT의 이벤트 레벨 및/또는 비디오 스트림의 헤더 (SEI message)에 의해 시그널링될 수 있다.
본 발명의 일 실시예에 따르면 broadband로 전송되는 서비스는 IP layer 및/또는 video 레벨에서 시그널링될 수 있다. 다른 채널로 전송되는 서비스는 PMT의 프로그램 레벨, TVCT의 채널 레벨, SDT의 서비스 레벨, EIT의 이벤트 레벨 및/또는 비디오 스트림의 헤더 (SEI message)에 의해 시그널링될 수 있다.
In-band로 전송되는 서비스의 경우, 본 발명의 일 실시예는 base view 및 additional view element의 조합에 대한 target viewing condition 및 이와 관련한 parameter를 시그널링할 수 있다. 본 발명의 일 실시예는 view synthesis로 rendering이 가능한 가상뷰에 대한 조건 정보를 시그널링할 수 있다. 본 발명의 일 실시예는 out-of-band (broadband 등을 포함)으로 수신 가능한 additional view video element에 대한 시그널링 정보를 시그널링할 수 있다. 여기서, 상술한 additional view video element에 대한 시그널링 정보는 additional view video element의 IP 주소, ES PID, schedule 정보 등을 포함할 수 있다.
Broadband 및/또는 other channel로 전송되는 서비스의 경우, 본 발명의 일 실시예는 base view에 대한 시그널링 정보를 시그널링할 수 있다. 여기서, base view에 대한 시그널링 정보는 base view의 channel, PID 등을 포함할 수 있다. 본 발명의 일 실시예는 view synthesis로 rendering이 가능한 가상뷰에 대한 조건 정보를 시그널링할 수 있다. 이에 대한 상세한 설명은 후술한다. 본 발명의 일 실시예는 Broadband 및/또는 other channel로 전송되는 서비스를 기존 legacy TV가 수신하지 못하도록 하는 필드를 설정할 수 있다. 여기서, 기존 legacy TV가 수신하지 못하도록 하는 필드는 hidden channel, unknown service type 등을 포함할 수 있다.
도 26은 본 발명의 일 실시예에 따른 stereo_3D_viewing_condition_info_descriptor()의 구성을 나타낸 도면이다.
분포도가 높은 시청 조건을 미리 선정하여, 송신단에서 각각에 맞는 콘텐트를 미리 생성하는 경우, 각 케이스에 대한 스트레오 영상 페어 (Stereo view pair) 를 모두 전송할 시 요구되는 Bandwidth 등의 자원을 최소화하기 위해, 송신단에서는 하나의 영상을 고정하여 전송하고 나머지 영상을 별도 독립적인 경로를 통해 실시간 또는 비실시간으로 전송할 수 있다.
이 경우, view pair descriptor() 는 추가 영상 비디오 가 전송되는 채널의 시그널링 섹션 정보에 포함되어 전송될 수 있으며, view pair descriptor()에는 3D 영상 페어의 구성 정보가 포함될 수 있다.
stereo_3D_viewing_condition_info_descriptor()는 base_channel_number 필드, base_program_number 필드, base_source_id 필드, base_network_id 필드, base_PID 필드 및/또는 num_of_view_pairs 필드를 포함할 수 있다.
base_channel_number 필드는 현재 채널 또는 기타 경로를 통하여 추가 영상 비디오만을 송신하는 경우, 이와 관련된 베이스 영상 비디오를 전송하는 채널 번호를 나타낸다.
base_program_number 필드는 현재 채널 또는 기타 경로를 통하여 추가 영상 비디오만을 송신하는 경우, 이와 관련된 베이스 영상 비디오의 프로그램 번호를 나타낸다.
base_source_id 필드는 현재 채널 또는 기타 경로를 통하여 추가 영상 비디오만을 송신하는 경우, 이와 관련된 베이스 영상 비디오의 소스를 식별하는 식별자이다.
base_network_id 필드는 현재 채널 또는 기타 경로를 통하여 추가 영상 비디오만을 송신하는 경우, 이와 관련된 베이스 영상 비디오를 제공하는 네트워크를 식별하는 식별자이다.
base_PID 필드는 현재 채널 또는 기타 경로를 통하여 추가 영상 비디오만을 송신하는 경우, 이와 관련된 베이스 영상 비디오를 전송하는 패킷의 PID를 나타낸다.
num_of_view_pairs 필드는 제공되는 스트레오 3D 영상의 개수를 나타낸다..
나머지 필드들에 대한 설명은 stereo_3D_rendering_info_descriptor()의 필드들에 대한 설명으로 대체한다.
도 27은 본 발명의 일 실시예에 따른 수신기의 구성을 나타낸 도면이다.
시청 조건에 맞는 3D 영상을 제공하는 수신기는 튜너 및 복조부 (27010), VSB 디코더 (27020), 트랜스포트 패킷 역다중화부 (27030), 제 2 디코더 (27040), MVC extension 레이어 디코더 (27050), AVC 레이어 디코더 (27060) 제 1 디코더 (25070), PSI/PSIP/SI 프로세서 (27080), 시청 분석 모듈 (27090), 제 1 가상 영상 생성부 (27100), 제 2 가상 영상 생성부 (27110) 및/또는 출력 포맷터 (27120)을 포함할 수 있다.
튜너 및 복조부 (27010)는 3D 방송 채널로 튜닝을 수행하고, 수신한 신호를 복조한다.
VSB 디코더 (27020)는 VSB 가 적용된 신호를 디코딩한다. 본 블록의 명칭은 VSB 디코더로 명명하였으나, OFDM 적용된 신호를 디코딩하는 블록으로 볼 수도 있다.
트랜스포트 패킷 역다중화부 (27030)는 방송 신호에서 트랜스포트 패킷을 분리한다. 특히, 패킷식별자를 필터링하는 역할을 한다.
제 2 디코더 (27040)는 제 2 영상을 위한 깊이 정보를 디코딩한다.
MVC extension 레이어 디코더 (27050)는 제 2 영상을 위한 데이터를 디코딩한다.
AVC 레이어 디코더 (27060)는 제 1 영상을 위한 데이터를 디코딩한다.
제 1 디코더 (27070)는 제 1 영상을 위한 깊이 정보를 디코딩한다.
PSI/PSIP/SI 프로세서 (27080)는 시그널링 신호에 대한 처리를 수행한다. 예를 들면, PSIP 또는 DVB SI에 포함된 여러 테이블을 처리하거나, 시그널링 패킷, 시그널링 세그먼트 등을 처리하는 역할을 한다. PSI/PSIP/SI 프로세서 (27080)는 전술한 디스크립터 등에 포함되는 정보를 처리하는 역할을 수행할 수 있다.
영상 분석 모듈 (27090)은 가상뷰를 생성할 수 있다. 이에 대한 상세한 설명은 view synthesis module에 대한 설명 부분에서 전술하였다.
제 1 가상 영상 생성부 (27100)는 영상 분석 모듈에서 분석된 정보 또는 데이터를 바탕으로 제 1 가상 영상을 렌더링한다. 예를 들면, 제 1 가상 영상은 3D 영상에 포함되는 좌영상일 수 있다.
제 2 가상 영상 생성부 (27110)는 영상 분석 모듈에서 분석된 정보 또는 데이터를 바탕으로 제 2 가상 영상을 렌더링한다. 예를 들면, 제 2 가상 영상은 3D 영상에 포함되는 우영상일 수 있다.
출력 포맷터 (27120)는 제 1 가상 영상 및 제 2 가상 영상을 결합하여 3D 영상을 포맷팅한다.
도 28은 본 발명의 일 실시예에 따른 frame compatible 과정을 나타낸 도면이다.
본 발명의 일 실시예에 따르면, 하나의 프레임은 좌영상, 우영상, 좌영상에 대한 깊이 정보 및/또는 우영상에 대한 깊이 정보를 포함할 수 있다. 여기서, 프레임은 UHD 프레임을 포함할 수 있다.
본 발명의 일 실시예는 이 도면에 도시된 프레임 구조를 이용하여 무안경 3D 서비스를 지원할 수 있다. 여기서, 프레임 구조는 single 4K frame 구조를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 제작단계 (production)에서 제작된 4K급 좌영상 (28010), 4K급 우영상 (28020), 4K급 좌영상에 대한 깊이 영상 (L depth, 28030) 및/또는 4K급 우영상에 대한 깊이 영상 (R depth, 28040)는 각각 1/2의 높이 (hight) 및 1/2의 너비 (width)를 갖는 프레임으로 서브샘플링 (subsampling, 28050, 28060, 28070, 28080)될 수 있다. 여기서, 제작단계의 좌영상 및/또는 우영상은 3840x2160 해상도를 갖고 progressive 주사 방식을 갖고 24/30/60hz의 프레임률을 갖는 비디오 영상에 해당할 수 있다. 서브샘플링된 좌영상, 우영상, 좌영상에 대한 깊이 영상 및/또는 우영상에 대한 깊이 영상은 하나의 프레임으로 패킹될 수 있다. (frame packing, 28090) 여기서, 본 발명의 다른 일 실시예에 따르면, 제작 단계의 좌영상, 우영상, 좌영상에 대한 깊이 영상 및/또는 우영상에 대한 깊이 영상이 HD 급으로 제작되는 경우에는 상술한 서브샘플링 과정이 없이 바로 하나의 4K급 프레임으로 패킹될 수도 있다. 여기서, 본 발명의 일 실시예에 따른 서브 샘플링은 다운 샘플링과 동일한 의미를 나타낼 수 있다. 패킹된 프레임은 인코딩되어 수신단으로 전송될 수 있다. (compression, HEVC encoding, 28100) 본 발명의 일 실시예에 따른 수신단은 인코딩된 프레임을 수신하여 디코딩할 수 있다. (decompression, HEVC decoding, 28110) 디코딩된 프레임 (28120)을 구성하는 좌영상, 우영상, 좌영상에 대한 깊이 영상 및/또는 우영상에 대한 깊이 영상은 각각 원래의 프레임 크기로 업샘플링 (upsampling)될 수 있다. (28130) 본 발명의 일 실시예는 좌영상 및 좌영상에 대한 깊이 영상을 이용하여 합성된 좌영상 (28140)을 생성할 수 있다. 본 발명의 일 실시예는 우영상 및 우영상에 대한 깊이 영상을 이용하여 합성된 우영상 (28150)을 생성할 수 있다. 본 발명의 일 실시예에 따른 3D formatter (28160)는 생성된 합성된 좌영상 및 합성된 우영상을 결합하여 3D 영상을 포맷팅하여 디스플레이할 수 있다. (28170) 여기서, 좌영상에 대한 깊이 영상 및/또는 우영상에 대한 깊이 영상은 뎁스맵 (depth map)으로 명명될 수 있다.
본 발명의 일 실시예는 무안경 방식의 3D 서비스를 제공하기 위하여 좌영상, 우영상 및/또는 뎁스맵을 포함하는 4K 프레임을 생성하는 방법을 제공할 수 있다.
본 발명의 일 실시예에 따르면 전송 포맷을 기준으로, 좌영상 및/또는 우영상은 FHD (FullHD) 해상도를 가질 수 있고 합성된 좌영상 및/또는 합성된 우영상도 FHD 해상도를 가질 수 있다.
본 발명의 일 실시예에 따르면 전송 포맷을 기준으로, 뎁스맵은 FHD 해상도보다 낮을 수 있다.
본 발명의 일 실시예에 따른 4K 프레임 (좌영상, 우영상 및/또는 뎁스맵을 포함)을 HEVC로 압축하여 전송하는 경우 bit rate는 15 내지 20Mbps일 수 있다. 즉, 2D 영상과 동일한 수준의 bit rate를 나타낼 수 있다. 본 발명의 일 실시예에 따르면, 상술한 bit rate는 동일한 뎁스맵의 경우 30% 수준의 bit rate로 가정하고 frame packing으로 인한 efficiency overhead를 20% 수준의 bit rate로 가정하였을 때 도출된 값일 수 있다.
본 발명의 일 실시예에 따른 4K 프레임 (좌영상, 우영상 및/또는 뎁스맵을 포함)은 지상파 방송망, 케이블망 및/또는 위성망을 통하여 전송될 수 있다. 여기서, 본 발명의 일 실시예는 4K 프레임을 지상파 방송망으로 전송하는 경우 DVB-T2를 따를 수 있다. 본 발명의 일 실시예는 4K 프레임을 케이블망으로 전송하는 경우 DVB-C2를 따를 수 있다. 본 발명의 일 실시예는 4K 프레임을 위성으로 전송하는 경우 DVB-S2를 따를 수 있다.
본 발명의 일 실시예는 전송되는 프레임이 좌영상, 우영상 및/또는 뎁스맵 (좌영상에 대한 깊이 영상 및/또는 우영상에 대한 깊이 영상)을 하나의 프레임에 포함하는 포맷을 가지고 있음을 시그널링할 수 있다.
본 발명의 일 실시예는 전송되는 프레임이 좌영상, 우영상 및/또는 뎁스맵을 하나의 프레임에 포함하는 프레임 포맷을 가지고 있음을 비디오 레벨 및/또는 시스템 레벨에서 시그널링할 수 있다.
본 발명의 일 실시예에 따라 비디오 레벨에서 시그널링을 하는 경우, 본 발명의 일 실시예는 비디오 ES (elementary stream, HEVC) 내의 Frame Packing Arrangement SEI message를 통하여 전송되는 프레임이 좌영상, 우영상 및/또는 뎁스맵을 하나의 프레임에 포함하는 프레임 포맷임을 시그널링 할 수 있다. 본 발명의 일 실시예에 따른 Frame Packing Arrangement SEI message는 frame_packing_arrangement_type 필드, frame_packing_arrangement_reserved_byte 필드, spatial_flipping_flag 필드 및/또는 frame0_flipped_flag 필드를 포함할 수 있다. 여기서, frame_packing_arrangement_type 필드는 해당 프레임이 좌영상, 우영상 및/또는 뎁스맵을 하나의 프레임에 포함하는 프레임 포맷임을 나타낼 수 있다. frame_packing_arrangement_reserved_byte 필드는 뎁스맵의 비트 심도를 나타낼 수 있다. spatial_flipping_flag 필드 및/또는 frame0_flipped_flag 필드는 좌영상 및/또는 우영상의 horizontal flipping 여부를 나타낼 수 있다.
본 발명의 일 실시예에 따른 시스템 레벨에서 시그널링을 하는 경우, 본 발명의 일 실시예는 PMT (program map table) 내에서, stream_type을 0x24로 HEVC와 동일하게 설정하고 HEVC descriptor 내에 FPA_SEI_not_present_flag 필드가 나타내는 값을 0으로 설정할 수 있다. 이 경우 즉, FPA_SEI_not_present_flag 필드의 값이 0일 때 수신기는 비디오 레벨 시그널링 정보를 통하여 좌영상, 우영상 및/또는 뎁스맵을 하나의 프레임에 포함하는 프레임 포맷에 대한 상세한 정보를 파악할 수 있다. 본 발명의 일 실시예는 PSIP/SI 정보 내에 component (ES) 레벨 시그널링을 통하여 해당 컴포넌트 (ES)가 좌영상, 우영상 및/또는 뎁스맵을 하나의 프레임에 포함하는 프레임 포맷을 포함함을 시그널링할 수 있다. 여기서, component는 ES (elementary stream)를 의미할 수 있다.
도 29는 본 발명의 일 실시예에 따른 뎁스맵 (depth map)을 8 비트 4K 프레임에 매핑하는 방법을 나타낸 도면이다.
본 발명의 일 실시예는 12 비트의 비트 심도를 갖는 뎁스맵의 픽셀 (12-bit depth pixel)을 8 비트의 비트 심도를 갖고 4:2:0의 YCbCr을 갖는 4K 프레임의 픽셀로 맵핑할 수 있다. (29010) 예를 들어, 본 발명의 일 실시예에 따르면, 이 도면에 도시된 D0의 4번째부터 11번째까지의 비트는 Y0의 0번째부터 7번째까지의 비트에 맵핑될 수 있고, D0의 0번째부터 3번째까지의 비트는 Cb0의 4번째부터 7번째까지의 비트에 맵핑될 수 있고, D1의 4번째부터 11번째까지의 비트는 Y1의 0번째부터 7번째까지의 비트에 맵핑될 수 있고, D1의 0번째부터 3번째까지의 비트는 Cb0의 0번째부터 3번째까지의 비트에 맵핑될 수 있고, D2의 4번째부터 11번째까지의 비트는 Y2의 0번째부터 7번째까지의 비트에 맵핑될 수 있고, D2의 0번째부터 3번째까지의 비트는 Cr0의 4번째부터 7번째까지의 비트에 맵핑될 수 있고, D3의 4번째부터 11번째까지의 비트는 Y3의 0번째부터 7번째까지의 비트에 맵핑될 수 있고, D3의 0번째부터 3번째까지의 비트는 Cr0의 0번째부터 3번째까지의 비트에 맵핑될 수 있다.
본 발명의 일 실시예는 10 비트의 비트 심도를 갖는 뎁스맵의 픽셀 (10-bit depth pixel)을 8비트의 비트 심도를 갖고 4:2:0의 YCbCr을 갖는 4K 프레임의 픽셀로 맵핑할 수 있다. (29020) 예를 들어, 본 발명의 일 실시예에 따르면, 이 도면에 도시된 D0의 2번째부터 9번째까지의 비트는 Y0의 0번째부터 7번째까지의 비트에 맵핑될 수 있고, D0의 0번째부터 1번째까지의 비트는 Cb0의 6번째부터 7번째까지의 비트에 맵핑될 수 있고, D1의 2번째부터 9번째까지의 비트는 Y1의 0번째부터 7번째까지의 비트에 맵핑될 수 있고, D1의 0번째부터 1번째까지의 비트는 Cb0의 4번째부터 5번째까지의 비트에 맵핑될 수 있고, D2의 2번째부터 9번째까지의 비트는 Y2의 0번째부터 7번째까지의 비트에 맵핑될 수 있고, D2의 0번째부터 1번째까지의 비트는 Cr0의 2번째부터 3번째까지의 비트에 맵핑될 수 있고, D3의 2번째부터 9번째까지의 비트는 Y3의 0번째부터 7번째까지의 비트에 맵핑될 수 있고, D3의 0번째부터 3번째까지의 비트는 Cr0의 0번째부터 1번째까지의 비트에 맵핑될 수 있다.
도 30은 본 발명의 일 실시예에 따른 방송 신호 수신 방법을 나타낸 도면이다.
본 발명의 일 실시예에 따른 방송 신호 수신 방법은 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임 중 적어도 하나의 프레임들이 하나의 프레임으로 패킹된 패킹 프레임 및 상기 패킹 프레임에 관련된 영상에 대한 시그널링 정보를 포함하는 방송 신호를 수신하는 단계 (S30010), 상기 수신한 패킹 프레임에서 상기 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임 중 적어도 하나의 프레임들을 추출하는 단계 (S30020) 및/또는 상기 추출된 적어도 하나의 프레임들을 이용하여 3D 영상을 렌더링 (rendering)하는 단계 (S30030)을 포함할 수 있다.
본 발명의 일 실시예에 따른 수신부는 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임 중 적어도 하나의 프레임들이 하나의 프레임으로 패킹된 패킹 프레임 및 상기 패킹 프레임에 관련된 영상에 대한 시그널링 정보를 포함하는 방송 신호를 수신할 수 있다. 이에 대한 상세한 설명은 도 28의 설명 부분에서 전술하였다.
본 발명의 일 실시예에 따른 추출부는 상기 수신한 패킹 프레임에서 상기 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임 중 적어도 하나의 프레임들을 추출할 수 있다. 이에 대한 상세한 설명은 도 28의 설명 부분에서 전술하였다.
본 발명의 일 실시예에 따른 렌더링부는 상기 추출된 적어도 하나의 프레임들을 이용하여 3D 영상을 렌더링 (rendering)할 수 있다. 렌더링부는 output formatter 및/또는 3D formatter로 명명될 수 있다. 이에 대한 상세한 설명은 도 27, 28의 설명 부분에서 전술하였다.
본 발명의 다른 일 실시예에 따르면, 상기 패킹 프레임은 상기 좌영상에 대한 깊이 영상 프레임에 포함된 깊이 정보 및 상기 우영상에 대한 깊이 영상 프레임에 포함된 깊이 정보를 상기 패킹 프레임을 나타내는 색공간의 성분에 비트단위로 맵핑하여 생성될 수 있다. 이에 대한 상세한 설명은 도 29의 설명 부분에서 전술하였다.
본 발명의 다른 일 실시예에 따르면, 상기 시그널링 정보는 상기 방송 신호에 포함된 프레임이 패킹 프레임임을 나타내는 프레임 패킹 어레인지먼트 정보를 포함할 수 있다. 이에 대한 상세한 설명은 도 28의 설명 부분에서 전술하였다.
본 발명의 다른 일 실시예에 따르면, 상기 시그널링 정보는 상기 좌영상 프레임 및 우영상 프레임이 수평적으로 플립핑 (flipping)되었는지 여부를 나타내는 프레임 플립핑 플래그 정보를 포함할 수 있다. 이에 대한 상세한 설명은 도 28의 설명 부분에서 전술하였다.
본 발명의 다른 일 실시예에 따르면, 상기 시그널링 정보는 SEI (Supplemental Enhancement Information) message를 포함하고, 상기 프레임 패킹 어레인지먼트 정보, 상기 뎁스 비트 심도 정보 및 상기 프레임 플립핑 플래그 정보 중 적어도 어느 하나는 상기 패킹 프레임을 포함하는 비디오 스트림 내에 SEI message에 포함될 수 있다. 이에 대한 상세한 설명은 도 19, 20, 21, 28의 설명 부분에서 전술하였다..
본 발명의 다른 일 실시예에 따르면, 상기 시그널링 정보는 PMT (Program Map Table)를 포함하고, 상기 PMT는 상기 SEI message에 상기 프레임 패킹 어레인지먼트 정보가 포함되어 있는지 여부를 나타내는 프레임 패킹 플래그 정보를 포함할 수 있다. 이에 대한 상세한 설명은 도 16, 19, 20, 21, 28의 설명 부분에서 전술하였다.
본 발명의 다른 일 실시예에 따르면, 상기 프레임 패킹 어레인지먼트 정보, 상기 뎁스 비트 심도 정보 및 상기 프레임 플립핑 플래그 정보 중 적어도 어느 하나는 시스템 레벨에서 시그널링될 수 있다. 이에 대한 상세한 설명은 도 25, 28의 설명 부분에서 전술하였다.
도 31은 본 발명의 일 실시예에 따른 방송 신호 송신 장치의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 방송 신호 송신 장치 (31040)는 인코더 (31010), 방송 신호 생성부 (31020) 및/또는 전송부 (31030)를 포함할 수 있다.
인코더 (31010)는 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임을 각각 다운샘플링하고, 상기 다운샘플링된 프레임들 중 적어도 하나의 프레임들을 하나의 프레임으로 패킹한 패킹 프레임을 인코딩할 수 있다.
방송 신호 생성부 (31020)는 상기 인코딩된 패킹 프레임 및 상기 패킹 프레임에 관련된 영상에 대한 시그널링 정보를 포함하는 방송 신호를 생성할 수 있다.
전송부 (31030)는 상기 생성된 방송 신호를 전송할 수 있다.
본 발명의 일 실시예에 따른 방송 신호 송신 장치 (31040)의 구성은 전술한 방송 신호 송신 방법의 대응되는 각 단계를 수행할 수 있다. 또한, 각 구성은 하드웨어에 해당하거나 하드웨어에 포함되어 처리될 수 있다.
도 32는 본 발명의 일 실시예에 따른 방송 신호 수신 장치의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 방송 신호 수신 장치 (32040)는 수신부 (32010), 추출부 (32020) 및/또는 렌더링부 (32030)를 포함할 수 있다.
수신부 (32010)는 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임 중 적어도 하나의 프레임들이 하나의 프레임으로 패킹된 패킹 프레임 및 상기 패킹 프레임에 관련된 영상에 대한 시그널링 정보를 포함하는 방송 신호를 수신할 수 있다.
추출부 (32020)는 상기 수신한 패킹 프레임에서 상기 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임 중 적어도 하나의 프레임들을 추출할 수 있다.
렌더링부 (32030)는 상기 추출된 적어도 하나의 프레임들을 이용하여 3D 영상을 렌더링 (rendering)할 수 있다. 렌더링부는 전술한 view synthesis module, output formatter 및/또는 3D formatter를 포함할 수 있다.
본 발명의 일 실시예에 따른 방송 신호 수신 장치 (32040)의 구성은 전술한 방송 신호 수신 방법의 대응되는 각 단계를 수행할 수 있다. 또한, 각 구성은 하드웨어에 해당하거나 하드웨어에 포함되어 처리될 수 있다.
설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시 예들을 병합하여 새로운 실시 예를 구현하도록 설계하는 것도 가능하다. 그리고, 당업자의 필요에 따라, 이전에 설명된 실시 예들을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체를 설계하는 것도 본 발명의 권리범위에 속한다.
본 발명에 따른 장치 및 방법은 상술한 바와 같이 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상술한 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 발명의 영상 처리 방법은 네트워크 디바이스에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.
그리고, 당해 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양 발명의 설명은 보충적으로 적용될 수가 있다.
발명의 실시를 위한 형태
발명의 실시를 위한 형태는 전술한 바와 같이, 발명의 실시를 위한 최선의 형태로 상술되었다.
본 발명은 방송 산업 전반에서 이용 가능하다.

Claims (18)

  1. 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임을 각각 다운샘플링하고, 상기 다운샘플링된 프레임들을 하나의 패킹 프레임으로 패킹하고, 상기 패킹 프레임을 인코딩하여 하나의 비디오 스트림을 생성하는 단계로서,
    상기 비디오 스트림은 상기 패킹 프레임에 대한 정보를 기술하는 패킹 프레임 SEI (Supplemental Enhancement Information) 메시지를 포함하고,
    상기 패킹 프레임 SEI 메시지는 상기 패킹 프레임이 상기 좌영상 프레임, 상기 우영상 프레임, 상기 좌영상에 대한 깊이 영상 프레임 및 상기 우영상에 대한 깊이 영상 프레임으로 구성된 프레임임을 식별하는 타입 정보 및 상기 패킹 프레임에 패킹된 깊이 데이터의 비트 심도를 나타내는 정보를 포함하고;
    상기 비디오 스트림 및 상기 비디오 스트림에 대한 정보를 시스템 레벨에서 시그널링하는 시스템 정보를 포함하는 방송 신호를 생성하는 단계로서,
    상기 시스템 정보는 상기 비디오 스트림이 상기 패킹 프레임을 전송하며 상기 패킹 프레임은 상기 좌영상 프레임, 상기 우영상 프레임, 상기 좌영상에 대한 깊이 영상 프레임 및 상기 우영상에 대한 깊이 영상 프레임으로 구성된 프레임임을 식별하는 정보를 포함하고; 및
    상기 생성된 방송 신호를 전송하는 단계;
    를 포함하는 방송 신호 송신 방법.
  2. 제 1 항에 있어서,
    상기 다운샘플링된 프레임들을 하나의 패킹 프레임으로 패킹하는 과정에서, 상기 좌영상에 대한 깊이 영상 프레임에 포함된 깊이 정보 및 상기 우영상에 대한 깊이 영상 프레임에 포함된 깊이 정보는 상기 패킹 프레임 내의 각 색공간 성분에 비트단위로 맵핑되는 방송 신호 송신 방법.
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 패킹 프레임 SEI 메시지는 상기 패킹 프레임 내의 좌영상 또는 우영상이 수평적으로 플립핑 (flipping)되었는지 여부를 나타내는 프레임 플립핑 플래그 정보를 포함하는 방송 신호 송신 방법.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 시스템 정보는 PMT (Program Map Table)를 포함하고,
    상기 PMT는 상기 비디오 스트림 내에 상기 패킹 프레임 SEI 메시지가 포함되어 있는지 여부를 나타내는 프레임 패킹 플래그 정보를 포함하는 방송 신호 송신 방법.
  8. 삭제
  9. 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임이 하나의 프레임으로 패킹된 패킹 프레임을 전송하는 하나의 비디오 스트림 및 상기 비디오 스트림에 대한 정보를 시스템 레벨에서 시그널링하는 시스템 정보를 포함하는 방송 신호를 수신하는 단계로서,
    상기 비디오 스트림은 상기 패킹 프레임에 대한 정보를 기술하는 패킹 프레임 SEI (Supplemental Enhancement Information) 메시지를 포함하고,
    상기 패킹 프레임 SEI 메시지는 상기 패킹 프레임이 상기 좌영상 프레임, 상기 우영상 프레임, 상기 좌영상에 대한 깊이 영상 프레임 및 상기 우영상에 대한 깊이 영상 프레임으로 구성된 프레임임을 식별하는 타입 정보 및 상기 패킹 프레임에 패킹된 깊이 데이터의 비트 심도를 나타내는 정보를 포함하고,
    상기 시스템 정보는 상기 비디오 스트림이 상기 패킹 프레임을 전송하며 상기 패킹 프레임은 상기 좌영상 프레임, 상기 우영상 프레임, 상기 좌영상에 대한 깊이 영상 프레임 및 상기 우영상에 대한 깊이 영상 프레임으로 구성된 프레임임을 식별하는 정보를 포함하고;
    상기 수신한 비디오 스트림을 디코딩하고, 상기 패킹 프레임에서 상기 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임을 추출하는 단계; 및
    상기 추출된 프레임들을 이용하여 3D 영상을 렌더링 (rendering)하는 단계;
    를 포함하는 방송 신호 수신 방법.
  10. 제 9 항에 있어서,
    상기 패킹 프레임은 상기 좌영상에 대한 깊이 영상 프레임에 포함된 깊이 정보 및 상기 우영상에 대한 깊이 영상 프레임에 포함된 깊이 정보를 상기 패킹 프레임 내의 각 색공간 성분에 비트단위로 맵핑하여 생성되는 방송 신호 수신 방법.
  11. 삭제
  12. 삭제
  13. 제 9 항에 있어서,
    상기 패킹 프레임 SEI 메시지는 상기 패킹 프레임 내의 좌영상 또는 우영상이 수평적으로 플립핑 (flipping)되었는지 여부를 나타내는 프레임 플립핑 플래그 정보를 포함하는 방송 신호 수신 방법.
  14. 삭제
  15. 제 9 항에 있어서,
    상기 시스템 정보는 PMT (Program Map Table)를 포함하고,
    상기 PMT는 상기 비디오 스트림 내에 상기 패킹 프레임 SEI 메시지가 포함되어 있는지 여부를 나타내는 프레임 패킹 플래그 정보를 포함하는 방송 신호 수신 방법.
  16. 삭제
  17. 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임을 각각 다운샘플링하고, 상기 다운샘플링된 프레임들을 하나의 패킹 프레임으로 패킹하고, 상기 패킹 프레임을 인코딩하여 하나의 비디오 스트림을 생성하는 인코더로서,
    상기 비디오 스트림은 상기 패킹 프레임에 대한 정보를 기술하는 패킹 프레임 SEI (Supplemental Enhancement Information) 메시지를 포함하고,
    상기 패킹 프레임 SEI 메시지는 상기 패킹 프레임이 상기 좌영상 프레임, 상기 우영상 프레임, 상기 좌영상에 대한 깊이 영상 프레임 및 상기 우영상에 대한 깊이 영상 프레임으로 구성된 프레임임을 식별하는 타입 정보 및 상기 패킹 프레임에 패킹된 깊이 데이터의 비트 심도를 나타내는 정보를 포함하고;
    상기 비디오 스트림 및 상기 비디오 스트림에 대한 정보를 시스템 레벨에서 시그널링하는 시스템 정보를 포함하는 방송 신호를 생성하는 방송 신호 생성부로서,
    상기 시스템 정보는 상기 비디오 스트림이 상기 패킹 프레임을 전송하며 상기 패킹 프레임은 상기 좌영상 프레임, 상기 우영상 프레임, 상기 좌영상에 대한 깊이 영상 프레임 및 상기 우영상에 대한 깊이 영상 프레임으로 구성된 프레임임을 식별하는 정보를 포함하고; 및
    상기 생성된 방송 신호를 전송하는 전송부;
    를 포함하는 방송 신호 송신 장치.
  18. 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임이 하나의 프레임으로 패킹된 패킹 프레임을 전송하는 하나의 비디오 스트림 및 상기 비디오 스트림에 대한 정보를 시스템 레벨에서 시그널링하는 시스템 정보를 포함하는 방송 신호를 수신하는 수신부로서,
    상기 비디오 스트림은 상기 패킹 프레임에 대한 정보를 기술하는 패킹 프레임 SEI (Supplemental Enhancement Information) 메시지를 포함하고,
    상기 패킹 프레임 SEI 메시지는 상기 패킹 프레임이 상기 좌영상 프레임, 상기 우영상 프레임, 상기 좌영상에 대한 깊이 영상 프레임 및 상기 우영상에 대한 깊이 영상 프레임으로 구성된 프레임임을 식별하는 타입 정보 및 상기 패킹 프레임에 패킹된 깊이 데이터의 비트 심도를 나타내는 정보를 포함하고,
    상기 시스템 정보는 상기 비디오 스트림이 상기 패킹 프레임을 전송하며 상기 패킹 프레임은 상기 좌영상 프레임, 상기 우영상 프레임, 상기 좌영상에 대한 깊이 영상 프레임 및 상기 우영상에 대한 깊이 영상 프레임으로 구성된 프레임임을 식별하는 정보를 포함하고;
    상기 수신한 비디오 스트림을 디코딩하고, 상기 패킹 프레임에서 상기 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임을 추출하는 추출부; 및
    상기 추출된 프레임들을 이용하여 3D 영상을 렌더링 (rendering)하는 렌더링부;
    를 포함하는 방송 신호 수신 장치.
KR1020167016821A 2014-02-10 2015-02-10 3d (3-dimentional) 방송 서비스를 위한 방송 신호 송수신 방법 및 장치 KR101844236B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461938087P 2014-02-10 2014-02-10
US61/938,087 2014-02-10
PCT/KR2015/001323 WO2015119477A1 (ko) 2014-02-10 2015-02-10 3d (3-dimentional) 방송 서비스를 위한 방송 신호 송수신 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160094998A KR20160094998A (ko) 2016-08-10
KR101844236B1 true KR101844236B1 (ko) 2018-04-02

Family

ID=53778219

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167016821A KR101844236B1 (ko) 2014-02-10 2015-02-10 3d (3-dimentional) 방송 서비스를 위한 방송 신호 송수신 방법 및 장치

Country Status (5)

Country Link
US (1) US9930382B2 (ko)
EP (1) EP3107288B1 (ko)
JP (1) JP6456980B2 (ko)
KR (1) KR101844236B1 (ko)
WO (1) WO2015119477A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6633739B2 (ja) * 2015-08-20 2020-01-22 エルジー エレクトロニクス インコーポレイティド 放送信号送信装置、放送信号受信装置、放送信号送信方法、及び放送信号受信方法
WO2018131803A1 (ko) * 2017-01-10 2018-07-19 삼성전자 주식회사 스테레오 스코픽 비디오 콘텐츠를 전송하기 위한 방법 및 장치
KR102503342B1 (ko) 2017-01-10 2023-02-28 삼성전자주식회사 스테레오 스코픽 비디오 콘텐츠를 전송하기 위한 방법 및 장치
US10701400B2 (en) * 2017-03-21 2020-06-30 Qualcomm Incorporated Signalling of summarizing video supplemental information
EP3816939A4 (en) 2018-06-15 2021-06-30 Panasonic Intellectual Property Corporation of America THREE-DIMENSIONAL DATA ENCODING PROCESS, THREE-DIMENSIONAL DATA DECODING PROCESS, THREE-DIMENSIONAL DATA ENCODING DEVICE, AND TRIDIMENSIONAL DATA DECODING DEVICE

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007166277A (ja) * 2005-12-14 2007-06-28 Nippon Telegr & Teleph Corp <Ntt> ３次元画像情報の伝送方法、送信側装置および受信側装置
JP5128963B2 (ja) * 2008-01-08 2013-01-23 日本電信電話株式会社 動画像の多重化方法とファイル読み込み方法及び装置，並びにそのプログラムとコンピュータ読み取り可能な記録媒体
JP5338166B2 (ja) * 2008-07-16 2013-11-13 ソニー株式会社 送信装置、立体画像データ送信方法、受信装置および立体画像データ受信方法
JP2010081001A (ja) * 2008-09-24 2010-04-08 National Institute Of Information & Communication Technology ２ｄ互換３ｄ表示装置及び３ｄ視装置
RU2689191C2 (ru) * 2009-01-26 2019-05-24 Томсон Лайсенсинг Упаковка кадров для кодирования видео
US9549228B2 (en) 2010-09-01 2017-01-17 Lg Electronics Inc. Broadcast signal processing method and device for 3-dimensional (3D) broadcasting service
US8896664B2 (en) 2010-09-19 2014-11-25 Lg Electronics Inc. Method and apparatus for processing a broadcast signal for 3D broadcast service
CN103202023A (zh) * 2010-10-25 2013-07-10 松下电器产业株式会社 编码方法、显示装置、解码方法
GB2500330A (en) 2010-12-03 2013-09-18 Lg Electronics Inc Receiving device and method for receiving multiview three-dimensional broadcast signal
CN103262549B (zh) * 2010-12-08 2017-02-22 Lg电子株式会社 用于接收数字广播信号的设备和方法
EP2654305A2 (en) 2010-12-13 2013-10-23 Electronics And Telecommunications Research Institute Signaling method for a stereoscopic video service and apparatus using the method
KR101748765B1 (ko) * 2010-12-17 2017-06-19 한국전자통신연구원 영상 모드에 따라 영상의 밝기를 자동으로 조정하는 디스플레이 장치 및 방법
JP2012138856A (ja) * 2010-12-27 2012-07-19 Toshiba Corp 映像送信装置及び３次元映像送信プログラム
JPWO2012111755A1 (ja) * 2011-02-18 2014-07-07 ソニー株式会社 画像処理装置および画像処理方法
US20130191250A1 (en) * 2012-01-23 2013-07-25 Augme Technologies, Inc. System and method for augmented reality using multi-modal sensory recognition from artifacts of interest
US9584793B2 (en) * 2012-04-09 2017-02-28 Intel Corporation Signaling three-dimensional video information in communication networks
US9241146B2 (en) * 2012-11-02 2016-01-19 Nvidia Corporation Interleaved approach to depth-image-based rendering of stereoscopic images

Also Published As

Publication number Publication date
EP3107288A1 (en) 2016-12-21
JP2017509278A (ja) 2017-03-30
EP3107288A4 (en) 2017-09-13
WO2015119477A1 (ko) 2015-08-13
KR20160094998A (ko) 2016-08-10
JP6456980B2 (ja) 2019-01-23
US20160337670A1 (en) 2016-11-17
EP3107288B1 (en) 2020-09-09
US9930382B2 (en) 2018-03-27

Similar Documents

Publication Publication Date Title
US9554198B2 (en) Digital broadcast receiving method providing two-dimensional image and 3D image integration service, and digital broadcast receiving device using the same
JP6034420B2 (ja) ３次元映像の再生のための付加情報が挿入された３次元映像データストリーム生成方法及びその装置、３次元映像の再生のための付加情報が挿入された３次元映像データストリーム受信方法及びその装置
KR101623020B1 (ko) 방송 수신기 및 3ｄ 비디오 데이터 처리 방법
KR101653319B1 (ko) 3d 영상을 위한 영상 컴포넌트 송수신 처리 방법 및 장치
KR101858090B1 (ko) 2d-호환성 스테레오스코픽 비디오 플로우들을 디코딩하기 위한 방법
JP6040932B2 (ja) 立体視に対応したビデオストリームを生成、再構築する方法、および関連する符号化および復号化デバイス
KR101960315B1 (ko) 3d 서비스 처리 방법 및 장치
KR20120041764A (ko) 3ｄ ｔｖ를 위한 스테레오뷰들의 사이멀캐스트
KR101844236B1 (ko) 3d (3-dimentional) 방송 서비스를 위한 방송 신호 송수신 방법 및 장치
CA2772927C (en) Cable broadcast receiver and 3d video data processing method thereof
WO2013105401A1 (ja) 送信装置、送信方法、受信装置および受信方法
KR20140004069A (ko) 3d (3-dimentional) 방송 서비스를 위한 방송 신호 처리 방법 및 장치
JP6141971B2 (ja) ３ｄ放送サービスのための放送信号処理方法及び装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant