KR20130087516A - 2d-호환성 스테레오스코픽 비디오 플로우들을 디코딩하기 위한 방법 - Google Patents

2d-호환성 스테레오스코픽 비디오 플로우들을 디코딩하기 위한 방법 Download PDF

Info

Publication number
KR20130087516A
KR20130087516A KR1020137002114A KR20137002114A KR20130087516A KR 20130087516 A KR20130087516 A KR 20130087516A KR 1020137002114 A KR1020137002114 A KR 1020137002114A KR 20137002114 A KR20137002114 A KR 20137002114A KR 20130087516 A KR20130087516 A KR 20130087516A
Authority
KR
South Korea
Prior art keywords
composite frame
metadata
stereoscopic
video stream
decoding
Prior art date
Application number
KR1020137002114A
Other languages
English (en)
Other versions
KR101774396B1 (ko
Inventor
지오반니 발로카
파올로 다마토
사베리오 세리아
Original Assignee
시스벨 테크놀로지 에스.알.엘.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=43448528&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20130087516(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 시스벨 테크놀로지 에스.알.엘. filed Critical 시스벨 테크놀로지 에스.알.엘.
Publication of KR20130087516A publication Critical patent/KR20130087516A/ko
Application granted granted Critical
Publication of KR101774396B1 publication Critical patent/KR101774396B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream

Abstract

본 발명은 미리 결정된 팩킹 포맷에 따라 스테레오스코픽 디지털 이미지들의 쌍을 함유하는 적어도 하나의 합성 프레임을 포함하는 비디오 스트림을 수신하는 단계; 합성 프레임의 포맷을 설명하는 메타데이터를 수신하는 단계; 시각화 디바이스 상에 재현(reproduce)될 수 있는 출력 비디오 스트림을 생성하는 단계를 포함하는, 디지털 이미지들의 비디오 스트림을 프로세싱하기 위한 방법에 관련되며, 상기 방법은, 메타데이터에 기반하여 합성 프레임 내에 스테레오스코픽 쌍 중 하나의 이미지에 의해 점유되는 합성 프레임의 영역을 결정하는 단계, 합성 프레임으로부터 상기 영역에 함유된 이미지를 추출하는 단계, 및 상기 추출된 이미지를 함유하는 출력 프레임을 생성하는 단계를 추가로 포함한다.

Description

2D-호환성 스테레오스코픽 비디오 플로우들을 디코딩하기 위한 방법 {METHOD FOR DECODING 2D-COMPATIBLE STEREOSCOPIC VIDEO FLOWS}
본 발명은 시각화 디바이스에서 적절히 프로세싱될 때, 시청자에 의하여 3-차원적인 것으로서 인식되는 이미지들의 시퀀스들을 제작하는 비디오 스트림, 즉, 스테레오스코픽 디지털 비디오 스트림을 디코딩하기 위한 방법에 관한 것이다.
이 방법은 종래의(즉, 넌-스테레오스코픽) 디코더 및/또는 텔레비전 세트의 사용자가, 2D 디스플레이를 위해 스테레오스코픽(3D) 디코더 및/또는 텔레비전 세트를 사용할 뿐 아니라, 2D 모드로 스테레오스코픽 이미지들을 시청(view)하도록 허용한다.
최근 몇 년간, 영상 제작 세계는 새로운 디지털 기술들에 의해 이용가능해진 새로운 제작 툴들의 자극 하에, 스테레오스코픽 3D 콘텐츠의 제작에 많은 주의를 기울였고 엄청난 자원들을 바쳐왔다.
3D에 있어서의 관심은 이제 가정 내 사용(domestic use)으로, 즉, 텔레비전 세트 상의 이미지들의 디스플레이로 확장되고 있다. 예를 들어, 몇몇 유료-TV 오퍼레이터들은 곧 3D 프로그램들을 방송할 것이다. 스테레오스코픽 비디오 콘텐츠를 표현하기 위한 가장 흔한 접근법은 각각 오른쪽 눈에 대해 그리고 왼쪽 눈에 대해 의도된 2개의 독립적인 비디오 스트림들을 디스플레이하는 단계를 수반하며, 상기 비디오 스트림들은 그 후 인간의 뇌에 의해 3-차원 대상물로 재조립된다.
가정 내 사용을 위한 스테레오스코픽 콘텐츠는 일반적으로 고화질 비디오 콘텐츠이며, 대용량 메모리 매체(DVD 또는 블루-레이 디스크들, 자기-광학 또는 솔리드-스테이트(solid-state) 매체들) 상에서 또는 (유선 또는 무선) 방송 채널들을 통해 또는 전자통신 네트워크(IP)를 통해 배포될 수 있다.
그러나 현존하는 구조들을 갖는 제작 환경에서, 2개의 상이한 관점들로부터의 장면을 촬영하는(shooting) 스테레오스코픽 비디오 카메라들에 의해 제작되는 2개의 스트림들을 개별적으로 전송하고 처리하는 것이 불가능할 수 있다.
최종 사용자들에 도달하는 배포 네트워크(distribution network)들은 너무 커서, 단일 서비스를 제공하기 위해 2개의 독립적 고화질 스트림들을 사용하는 것은 경제적이지 않다. 그 결과, 콘텐츠 전달 및 성과를 위해 요구되는 비트-레이트를 감소시키기 위해 제작 프로세스 동안 다수의 측정들이 행해져야만 한다.
2-차원 및 3-차원 이미지들의 세부사항들의 인지에 있어서의 차이에 대해 실행된 연구들의 결과들이, 사용자에 의해 인지되는 품질이 스테레오스코픽 콘텐츠의 해상도가 2-차원 콘텐츠의 해상도에 비해 더 낮은 경우조차 수용가능하게 유지되는 것으로 표시하는 것으로 보여지기 때문에, 스테레오스코픽 뷰(view)를 단일 프레임(프레임 팩킹(frame packing))으로 구성하는 2개의 이미지들을 팩킹하기 위해 상이한 기법들이 개발되어 왔다.
예를 들어, 단일 고화질 프레임 C(1920 x 1080 픽셀들)의 경우에, 왼쪽 및 오른쪽 채널들(이하에서 L 및 R로서 지칭됨)을 구성하는 2개의 이미지들은 고화질 프레임의 해상도의 절반과 동일한 수평 해상도로 획득되며, 그 후 도 1a에 도시된 바와 같이, 단일 프레임으로 사이드 바이 사이드(side by side) 방식으로 정렬된다(사이드-바이-사이드 포맷).
이러한 방식으로, 2개의 독립적 비디오 채널들을 전달하기 위하여 단일 고화질 스트림들을 사용하는 것이 가능하다: 디코딩 시, 2개의 하프-프레임들이 그 후 분리되고, 적절한 보간(interpolation) 기법들을 적용함으로써 16/9 포맷으로 되돌려진다.
유사하게, 수직 해상도를 절반이 되게 하고, 수평 해상도를 변화되지 않게 두며, 그 후 도 1b에 도시된 바와 같이, 2개의 프레임들 L 및 R을 차례로 쌓아(one on top of the other)(상단-바닥(top-bottom) 포맷) 정렬하는 것을 수반하는 대안적 프로세스가 사용될 수 있다.
합성 프레임들로 구성되는 스테레오스코픽 비디오 스트림은 그 후, 방송 네트워크, IP 네트워크 또는 대용량 메모리 매체를 통해 그것을 배포시키기 이전에 그것의 전송 비트-레이트를 감소시키기 위해 압축된다.
다양한 서비스 제공자들(특히, 공영 방송사(public service broadcaster)들)의 주의가 집중되는 가장 중요한 요건들 중 하나는 스테레오스코픽 신호들의 2D 호환성이다.
사실상, 고화질 디코더를 이미 소유한 그러한 사용자들이 방송 서비스들을 즐기도록 허용하기 위하여, 3D 프로그램들이 또한 2D 프로그램들로서 디스플레이될 수 있는 것이 바람직하다. 유사하게, DVD, 블루-레이 디스크 3D 또는 인터넷 사이트 상의 3D 콘텐츠는 2D 및 3D 텔레비전 세트들 및 모니터들 모두에 의해 디스플레이될 수 있는 것이 바람직하다.
이 결과는 2개의 방식들로, 즉, 하나의 프로그램의 2D 및 3D 버전들 모두를 동시에 방송함으로써, 또는 스테레오스코픽 스트림의 코딩을 위한 적절한 기법을 채택함으로써 달성될 수 있다.
물론, 제1 옵션은 대역폭을 낭비하는 것을 수반하며, 이는 서비스 제공자들이 오히려 피해야 할 것이다.
제2 옵션에 관해, 2D 호환성 스테레오스코픽 스트림들을 생성하기 위하여 본 기술분야에 몇 가지 기법들이 공지된다.
이들 기법들 중 하나는 예를 들어, 미국 특허 출원 번호 US 2004/0101043 및 US 2002/0048395에서 설명된 바와 같이, 소위 "깊이 맵(depth map)들"의 적용과 관련된다. 실제로, 신호는 깊이 맵들을 반송하는(carry) 보충(supplementary) 블랙 앤 화이트(black and white) 비디오의 형태로 2-차원 컬러 비디오와 연관된다. 적절한 디코더는 수신된 데이터로부터 시작되는 스테레오스코픽 비디오를 재건할 수 있다. 그러나 이 기법은 동일한 프로그램의 상기 언급된 2D 및 3D 전송에 대해 매우 동일한 문제들을 겪는다; 사실상, 2개의 비디오 신호들은 병렬식으로(in parallel) 전송되야 하고, 따라서 높은 전송 비트-레이트를 초래한다.
다른 2D-호환성 스테레오스코픽 스트림 코딩 기법은 예를 들어, "멀티뷰(multiview)"로서 지칭되는 기법이다.
스테레오스코픽 비디오 스트림을 만드는 오른쪽 및 왼쪽 이미지들의 쌍들이 높은 재조립 정도에 의해 특징화되기 때문에, 2-차원 스트림들을 코딩할 때 이용되는 공간-시간 리더던시(redundancy) 억제 기법들이 이 경우에 또한 사용될 수 있다. 사실상, 일단 촬영 포인트들 사이의 기하학적 거리(즉, 눈 사이(interocular) 거리)로 인한 특정 오프셋이 차감되면, 오른쪽 이미지와 왼쪽 이미지 간의 차이들은 작다.
MPEG2 표준은 멀티 뷰 프로파일(MVP: Multi View Profile)로 불리는 보충 사양(supplementary specification)으로 확장되었다; 유사하게, 후속 H.264/AVC 표준은 멀티 뷰 코딩(MVC: Multi View Coding) 사양을 포함함으로써 확장되었다.
이들 2개 사양들의 공통적 특징은 스케일러블(scalable) 비디오 코딩의 사용이다: 스테레오스코픽 비디오 스트림은 베이스 계층(2D 베이스 스트림) 더하기 향상 계층으로 압축되며, 이들은 제2 뷰를 전송한다. 코딩된 스트림의 신택스(syntax)는 그들이 MPEG2 또는 H.264/AVC 표준들에 따르는 한, 2D 비디오가 또한 구세대 디코더들에 의해 디코딩될 수 있음을 보장한다.
그러나 상기 설명된 포맷들 중 하나로 스테레오스코픽 스트림들을 코딩하기 위하여 필요한 비트 레이트는 이것이 방송 환경에서 사용되도록 허용하기에 여전히 너무 높으며, 그 결과, 프레임 팩킹 포맷들은 3D 서비스들을 시작하기 위하여 하나의 실현가능한 단기 해법을 유지한다.
그러므로 본 발명의 목적은 스테레오스코픽 디지털 비디오 스트림으로부터의 2D-호환성(2D) 비디오 신호를 추출하도록 허용하는 디코딩 방법, 그리고 특히 상기 합성 프레임들 내에 오른쪽 및 왼쪽 이미지들을 팩킹하기 위하여 이용되는 어떤 방법이든 적용가능한 합성 프레임들의 사용에 기반하여, 2D-호환성 스테레오스코픽 디지털 비디오 스트림을 디코딩하기 위한 방법을 제공하는 것이다.
본 발명의 이러한 그리고 다른 목적들은 첨부된 청구항들에서 진술된 피쳐들을 통합하는 스테레오스코픽 비디오 스트림을 디코딩하기 위한 방법을 통해 달성되며, 상기 청구항들은 본 발명의 설명의 필수적인 부분으로서 의도된다.
본 발명의 추가적인 목적들 및 장점들은 발명의 몇몇 실시예들에 대한 하기의 설명으로부터 더욱 명백해질 것이며, 이는 비제한적 예로서 공급된다.
상기 실시예들은 첨부된 도면들을 참고로 설명될 것이다.
- 위에서 이미 언급된 도 1a, 1b 및 1c는 각각, 사이드-바이-사이드 포맷으로, 상단-하단 포맷으로, 그리고 대안적 포맷으로 스테레오스코픽 비디오 스트림의 합성 프레임을 도시한다.
- 도 2a, 2b 및 2c는 본 발명에 따른 방법의 특정 단계를 예시하기 위하여 프레임 영역이 적절히 하이라이트 처리된, 도 1a, 1b 및 1c의 합성 프레임들을 각각 도시한다.
- 도 3은 본 발명에 따른 디코더 및 비디오 재생(playback) 디바이스를 포함하는, 이미지들의 비디오 스트림을 제작하고 디스플레이하기 위한 시스템을 도시한다.
이제 도 3을 참고하여, 각각 문자들 L 및 R로 지정된 왼쪽 및 오른쪽 스테레오스코픽 이미지들의 쌍들을 수신하도록 구성되는 스테레오플렉서(stereoplexer)(200)(합성 프레임을 제작하기 위한 디바이스, 또한 스테레오플렉싱으로 지칭됨)를 포함하는, 이미지들의 비디오 스트림을 제작하고 디스플레이하기 위한 시스템이 도시된다. 배포될 비디오 스트림에서, 하나의 쌍의 스테레오스코픽 이미지들은 특정 팩킹 포맷에 따라 단일 합성 프레임(FC)으로 조합된다. 이 실시예에 따라, 이미지들은 도 1a을 참고하여 이전에 설명된 팩킹 포맷을 사용함으로써 조합된다.
스테레오플렉서(200)의 출력 신호는 인코더(202)에 의하여 압축되고, 가능한, 다른 압축된 신호들과 멀티플렉싱되며, 그 후 방송 네트워크 상에서 방송될 수 있거나, 또는 이것은 전기통신 네트워크를 통해 또는 저장 매체 상에서 파일로서 배포될 수 있다. 스테레오플렉서(200)는 개별 디바이스일 수 있거나 또는 인코더(202)로 통합될 수 있음이 유념되어야 한다.
합성 프레임(FC)의 제작이 뒤따르는 프로세싱 단계들은, 본 발명의 범위 내에 있지 않으며, 본 명세서에 더 이상 추가로 설명되지 않을, 공지된 장치들 및 방법들에 의해 실행된다.
스테레오플렉싱, 압축 또는 멀티플렉싱 단계 동안에, 스테레오스코픽 스트림을 코딩하기 위하여 사용되는 프레임 팩킹 방법을 설명하도록, 결과적인 데이터 스트림으로 적절한 시그널링 메타데이터를 삽입하는 것이 일반적인 관행임이 지적되어야 한다. 그러한 메타데이터는 예를 들어, H.264 코딩의 SEI(Supplemental Enhancement Information) 메시지들로 또는 비디오 콘텐츠가 멀티플렉싱된 전송 스트림의 구성(composition)을 설명하는 서비스 정보로 입력될 수 있다. 대안적으로, 메타데이터는 특허 출원 IT2008MO000267에 설명된 방법에 따라, 바로(very) 합성 프레임(FC)으로 입력될 수 있다. 실제로, 상기 메타데이터는 임의의 형태 또는 모드로 입력될 수 있다 (예를 들어, XML 디스크립터(descriptor)들로서, 또는 적절한 이진 데이터 구조들로서, 또는 디코딩 디바이스에 공지된 룩-업(look-up) 테이블로부터 유도된 코드들로서 입력될 수 있다); 또한, 이것은 인-밴드(in-band) 또는 오프-밴드(off-band) 시그널링으로서 전송될 수 있으며, 콘텐츠 제작 및 배포 체인의 임의의 포인트에서 비디오 스트림과 연관될 수 있다. 이들 모드들은 본 발명의 일부가 아니며, 따라서 본 명세서에 더 이상 추가로 논의되지 않을 것이다.
비디오 스트림을 재현하기(reproduce) 위하여, 디코더(212)는 상기 설명된 메타데이터에서 전달된 프레임 팩킹 포맷 설명에 기반하여, 2개의 스테레오스코픽 이미지들(도 2a, 2b 및 2c에 도시됨) 중 하나에 의해 점유되는 영역을 결정할 수 있으며, 그 후 2D 시각화 장치로 그것을 송신하기 위해 그 영역을 컷팅한다.
이 결정은 명시적으로 또는 암시적으로 메타데이터로부터 출발하여 획득될 수 있다.
명시적 모드에서, 프레임 팩킹 포맷의 기하학적 구조는 (예를 들어, 각각의 스테레오스코픽 이미지에 의해 점유되는 영역들의 꼭지점들의 좌표들을 명확히 진술함으로써) 메타데이터에 철저히 설명된다.
암시적 모드에서, 대신, 프레임 팩킹 타입만이(예를 들어, 사이드-바이-사이드) 메타데이터에 진술되며, 상기 표시는 디코더가 그러한 영역들을 결정하기에 충분하다.
제1 실시예에서, 코딩되고, 압축되고, 방송되거나, 또는 저장 매체로부터 판독되는 스테레오스코픽 신호는 시각화 장치(222)(예를 들어, 종래의 텔레비전 세트)에 연결될 수 있는 디지털 디코더(212)에 도달한다.
디코더(212)는 그것이 스테레오스코픽 신호를 설명하는 시그널링을 획득하고 분석하도록 허용하는 적절한 소프트웨어 컴포넌트들을 구비한다. 예를 들어, 이들 소프트웨어 컴포넌트들은 상이한 방식들로, 예를 들어, 무선으로(over the air) 새로운 펌웨어 버전을 수신함으로써, 전기통신 네트워크를 통해 그것을 다운로드함으로써, 또는 USB 인터페이스를 통해 연결된 주변장치로부터 그것을 판독함으로써, 발생할 수 있는 업데이트 프로세스를 통해 후속하여 또는 제조 스테이지 동안에 설치될 수 있다. 상기 소프트웨어 컴포넌트들은 사용 시, 프레임 팩킹 포맷에 따라 스테레오스코픽 비디오를 만드는 2개의 이미지들 중 하나를 획득하기 위해 필요한 알고리즘들의 구현을 또한 포함한다.
예를 들어, 암시적 모드 및 사이드-바이-사이드 포맷 (도 1a)을 사용할 때, 본 발명에 따른 방법은 프레임 자신의 수직 축을 따라 동일한 영역을 갖는 2개 부분들로 프레임을 분할함으로써(도 2a) 스테레오스코픽 이미지들 중 하나에 의해 점유되는 영역을 결정한다. 반대로, 상단-하단 포맷(도 1b)의 경우에, 프레임은 수평 축을 따라 분할된다(도 2b).
프레임이 세분된 부분들 중 하나가 2개의 차원 이미지로서 선택되고, 그 후 적절히 프로세싱(재-크기설정)된 이후에 디스플레이된다. 시그널링이 프레임 팩킹 포맷(예를 들어, 도 1c의 포맷)의 명시적 설명을 포함한다면, 디코더(212)는 스테레오스코픽 비디오 스트림의 프레임들로부터 2개의 컴포넌트 이미지들 중 하나를 컷팅하는데 필요한 정보를 선택할 것이다. 예컨대, 시그널링은 스테레오스코픽 쌍을 구성하는 이미지들 중 하나를 동봉하는 다각형들의 꼭지점들의 좌표들을 표시할 수 있다(예를 들어, 도 2c의 포인트들 A, B, C, D): 이 경우에, 디코더(212)는 2개의 이미지들 중 하나에 속하는 데이터만을 선택하고, 사용 중인 프레임 팩킹 포맷에 대응하는 컷팅 알고리즘을 적용해야 한다.
선택된 섹션의 후속 재-크기설정은 디코더(212)의 스케일러(scaler)로 위임될 수 있거나, 또는 동등한 결과들로, 디바이스(222) 중 하나에 위임될 수 있다. 이 컴포넌트는 이미지를 다시 그것의 선택된 디스플레이 포맷으로 되돌리기 위하여 적절한 보간 알고리즘들을 적용하고, 따라서 미싱(missing) 픽셀들을 재건하거나 또는 픽셀 표현을 위해 사용되는 형태 인자를 변형시킨다.
하나의 대안적 실시예에서, 디코더(212)는 디바이스(222)로 통합된다.
2D 디스플레이 윈도우에 포함되지 않는 합성 프레임의 이들 부분들(즉, 도 2a, b, c의 백색 부분들)이 시각화 장치에 의해 사용되지 않으며, 원칙적으로, 심지어 디코딩되지 않을 수 있음이 유념되어야 한다. 따라서, 디코더가 팩킹 포맷 정보를 판독하는 경우, 이것은 심지어 2D 시각화를 위해 사용되지 않는 합성 프레임의 이들 부분들을 디코딩하는 것을 삼가할 수 있다. 예를 들어, 50 또는 60Hz 1080p 프레임들 뿐 아니라 1080i 프레임들을 프로세싱할 수 없는 디코더는 도 1c의 1080p 프레임으로 입력되는 2개의 뷰들 중 하나를 나타내는 720p 이미지를 디코딩하는 것이 가능할 수 있다.
발명의 추가적 실시예에서, 상기 설명된 방법은 (예를 들어, 그의/그녀의 눈이 스테레오스코픽 비전으로 인하여 피곤해지기 때문에) 사용자가 3D 디스플레이에서 2D 디스플레이로 일시적으로 스위칭하도록 결정하는 경우에, 디코더(212) 또는 3D 시각화 장치에 의하여 적용될 수 있다. 그러한 상황에서, 관객(spectator)은 적절한 명령을 발행함으로써(예를 들어, 특정 리모콘(remote control) 버튼을 누름으로써) 3D와 2D 디스플레이 사이에서 스위칭할 수 있다.
본 발명에 따른 디코더 및 방법은 종래의 2D 시각화 장치들 및 3D 시각화 장치들에 대한 3-차원 비디오 스트림들을 위한 2D 호환성을 보장한다.
디코더(212)는 본 발명에 따른 스테레오스코픽 비디오 스트림을 수신하고 디코딩할 수 있는 임의의 디바이스, 예를 들어, 디지털 텔레비전 수신기, 광학 또는 자기 디지털 매체의 판독기(DVD, 블루-레이 플레이어, 개인용 비디오 리코더)일 수 있다. 디코더(212)는 또한 디스플레이 디바이스를 포함하는 장치에 빌트인될 수 있다.
본 발명은 스테레오스코픽 비디오 스트림의 2D-호환성 디코딩을 위한 방법 및 관련 디바이스들로 제한되지 않으나, 하기의 청구항들에서 명확히 명시된 바와 같은 본 발명의 발상으로부터 벗어나지 않고 다수의 변형들, 개선들, 또는 동등한 부분들 및 엘리먼트들의 교체들이 적용될 수 있다.

Claims (11)

  1. 디지털 이미지들의 비디오 스트림을 프로세싱하기 위한 방법으로서,
    - 미리 결정된 팩킹 포맷에 따라, 스테레오스코픽 디지털 이미지들의 쌍(L, R)을 함유하는 적어도 하나의 합성 프레임(FC)을 포함하는 상기 비디오 스트림을 수신하는 단계;
    - 상기 합성 프레임(FC)의 포맷을 설명하는 메타데이터를 수신하는 단계;
    - 시각화 장치(222) 상에서 재현(reproduce)될 수 있는 출력 비디오 스트림을 생성하는 단계
    를 포함하며, 상기 방법은,
    - 상기 메타데이터에 기반하여 상기 합성 프레임 내에 상기 스테레오스코픽 쌍 중 하나의 이미지에 의하여 점유되는 상기 합성 프레임(FC)의 영역을 결정하는 단계;
    - 상기 합성 프레임(FC)으로부터 상기 영역에 함유되는 상기 이미지를 추출하는 단계; 및
    - 상기 추출된 이미지를 함유하는 출력 프레임을 생성하는 단계
    를 포함하는, 디지털 이미지들의 비디오 스트림을 프로세싱하기 위한 방법.
  2. 제1항에 있어서,
    상기 메타데이터는 상기 팩킹 포맷의 표시자를 포함하는, 디지털 이미지들의 비디오 스트림을 프로세싱하기 위한 방법.
  3. 제1항에 있어서,
    상기 메타데이터는 H.264 표준의 SEI 메시지들에 위치되는, 디지털 이미지들의 비디오 스트림을 프로세싱하기 위한 방법.
  4. 제1항에 있어서,
    상기 메타데이터는 전송 스트림의 서비스 정보에 위치되는, 디지털 이미지들의 비디오 스트림을 프로세싱하기 위한 방법.
  5. 제1항에 있어서,
    상기 메타데이터는 상기 합성 프레임(FC) 내에 위치되는, 디지털 이미지들의 비디오 스트림을 프로세싱하기 위한 방법.
  6. 제2항에 있어서,
    상기 메타데이터는 상기 팩킹 포맷의 명시적 설명(explicit description)을 포함하는, 디지털 이미지들의 비디오 스트림을 프로세싱하기 위한 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    추출될 이미지를 함유하는 상기 합성 프레임(FC)의 그 부분만이 디코딩되는, 디지털 이미지들의 비디오 스트림을 프로세싱하기 위한 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 따른 방법을 구현하는, 디지털 이미지들의 비디오 스트림들을 디코딩하기 위한 디바이스.
  9. 제8항에 있어서,
    사용자의 명령 시, 디코딩 방법이 활성화되는, 디지털 이미지들의 비디오 스트림들을 디코딩하기 위한 디바이스.
  10. 제9항에 있어서,
    상기 디코딩 방법은 특정 리모콘 버튼(remote control button)을 누름으로써 상기 사용자에 의해 활성화되는, 디지털 이미지들의 비디오 스트림들을 디코딩하기 위한 디바이스.
  11. 제8항 내지 제10항 중 어느 한 항에 따른 디코딩 디바이스를 포함하는, 비디오 재생 디바이스.
KR1020137002114A 2010-06-28 2011-06-27 2d-호환성 스테레오스코픽 비디오 플로우들을 디코딩하기 위한 방법 KR101774396B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
ITTO2010A000549 2010-06-28
ITTO2010A000549A IT1401731B1 (it) 2010-06-28 2010-06-28 Metodo per la decodifica 2d-compatibile di flussi video stereoscopici
PCT/IB2011/052810 WO2012001606A1 (en) 2010-06-28 2011-06-27 Method for decoding 2d-compatible stereoscopic video flows

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020177024126A Division KR101858090B1 (ko) 2010-06-28 2011-06-27 2d-호환성 스테레오스코픽 비디오 플로우들을 디코딩하기 위한 방법

Publications (2)

Publication Number Publication Date
KR20130087516A true KR20130087516A (ko) 2013-08-06
KR101774396B1 KR101774396B1 (ko) 2017-09-04

Family

ID=43448528

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177024126A KR101858090B1 (ko) 2010-06-28 2011-06-27 2d-호환성 스테레오스코픽 비디오 플로우들을 디코딩하기 위한 방법
KR1020137002114A KR101774396B1 (ko) 2010-06-28 2011-06-27 2d-호환성 스테레오스코픽 비디오 플로우들을 디코딩하기 위한 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020177024126A KR101858090B1 (ko) 2010-06-28 2011-06-27 2d-호환성 스테레오스코픽 비디오 플로우들을 디코딩하기 위한 방법

Country Status (8)

Country Link
US (1) US9578298B2 (ko)
EP (1) EP2586210A1 (ko)
JP (1) JP6037567B2 (ko)
KR (2) KR101858090B1 (ko)
CN (1) CN102986229B (ko)
BR (1) BR112012030771A2 (ko)
IT (1) IT1401731B1 (ko)
WO (1) WO2012001606A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8692695B2 (en) 2000-10-03 2014-04-08 Realtime Data, Llc Methods for encoding and decoding data
US10382514B2 (en) 2007-03-20 2019-08-13 Apple Inc. Presentation of media in an application
WO2013149655A1 (en) * 2012-04-04 2013-10-10 Naxos Finance Sa System for generating and receiving a stereoscopic-2d backward compatible video stream, and method thereof
CN107920243B (zh) 2012-04-06 2020-12-08 索尼公司 解码装置和编码装置
ITTO20120901A1 (it) * 2012-10-15 2014-04-16 Rai Radiotelevisione Italiana Procedimento di codifica e decodifica di un video digitale e relativi dispositivi di codifica e decodifica
US9607015B2 (en) 2013-12-20 2017-03-28 Qualcomm Incorporated Systems, methods, and apparatus for encoding object formations
CN110100435B9 (zh) * 2016-12-28 2021-10-12 索尼公司 生成装置、识别信息生成方法、再现装置和图像再现方法
JP6322740B1 (ja) * 2017-03-07 2018-05-09 株式会社ドワンゴ 画像送信装置及び画像送信方法、並びに、画像受信装置及び画像受信方法
JP6934052B2 (ja) * 2017-06-28 2021-09-08 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置、表示制御方法及びプログラム
WO2019131778A1 (ja) * 2017-12-26 2019-07-04 シャープ株式会社 画像復号装置及び画像符号化装置
JP2019133036A (ja) * 2018-01-31 2019-08-08 株式会社ジャパンディスプレイ 表示システム及び表示ユニット
US11743440B2 (en) * 2021-04-19 2023-08-29 Apple Inc. Transmission and consumption of multiple image subframes via superframe

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000011607A1 (en) * 1998-08-20 2000-03-02 Apple Computer, Inc. Deferred shading graphics pipeline processor
JP2004505393A (ja) 2000-08-09 2004-02-19 ダイナミック　ディジタル　デプス　リサーチ　プロプライエタリー　リミテッド イメージ変換および符号化技術
AU2002952873A0 (en) 2002-11-25 2002-12-12 Dynamic Digital Depth Research Pty Ltd Image encoding system
JP4251864B2 (ja) 2002-12-13 2009-04-08 シャープ株式会社 画像データ作成装置およびそのデータを再生する画像データ再生装置
US7650036B2 (en) * 2003-10-16 2010-01-19 Sharp Laboratories Of America, Inc. System and method for three-dimensional video coding
CN101203881B (zh) * 2005-06-23 2015-04-22 皇家飞利浦电子股份有限公司 图像和相关数据的组合交换
KR100818933B1 (ko) * 2005-12-02 2008-04-04 한국전자통신연구원 디지털방송 기반 ３차원 컨텐츠 서비스 제공 방법
KR101362941B1 (ko) 2006-11-01 2014-02-17 한국전자통신연구원 스테레오스코픽 콘텐츠 재생에 이용되는 메타 데이터의복호화 방법 및 장치
WO2008054100A1 (en) * 2006-11-01 2008-05-08 Electronics And Telecommunications Research Institute Method and apparatus for decoding metadata used for playing stereoscopic contents
PT3758381T (pt) * 2007-04-12 2021-04-13 Dolby Int Ab Disposição em mosaico na codificação e descodificação de vídeo
US8274551B2 (en) * 2007-06-11 2012-09-25 Samsung Electronics Co., Ltd. Method and apparatus for generating header information of stereoscopic image data
JP5575659B2 (ja) * 2007-12-14 2014-08-20 コーニンクレッカ フィリップス エヌ ヴェ ビデオ再生のための三次元モード選択メカニズム
US20100026783A1 (en) * 2008-08-01 2010-02-04 Real D Method and apparatus to encode and decode stereoscopic video data
IT1393713B1 (it) 2008-10-21 2012-05-08 S I R I Société Internationale De Rech Ind S A Sistema per codificare e decodificare immagini stereoscopiche
WO2010095440A1 (ja) * 2009-02-20 2010-08-26 パナソニック株式会社 記録媒体、再生装置、及び集積回路
CN102415101B (zh) * 2009-04-27 2014-07-16 Lg电子株式会社 广播发射机、广播接收机及其3d视频数据处理方法

Also Published As

Publication number Publication date
JP6037567B2 (ja) 2016-12-07
KR101774396B1 (ko) 2017-09-04
KR101858090B1 (ko) 2018-05-15
ITTO20100549A1 (it) 2011-12-29
KR20170102382A (ko) 2017-09-08
CN102986229A (zh) 2013-03-20
CN102986229B (zh) 2017-12-22
WO2012001606A1 (en) 2012-01-05
JP2013534782A (ja) 2013-09-05
IT1401731B1 (it) 2013-08-02
US20130083160A1 (en) 2013-04-04
EP2586210A1 (en) 2013-05-01
US9578298B2 (en) 2017-02-21
BR112012030771A2 (pt) 2020-09-01

Similar Documents

Publication Publication Date Title
KR101774396B1 (ko) 2d-호환성 스테레오스코픽 비디오 플로우들을 디코딩하기 위한 방법
KR101889459B1 (ko) 입체영상-호환 비디오 스트림을 생성하고 재구성하기 위한 방법, 및 관련 코딩 및 디코딩 디바이스들
CN102396236B (zh) 广播接收机及其视频数据处理方法
US20120106921A1 (en) Encoding method, display apparatus, and decoding method
US20120293619A1 (en) Generating a 3d video signal
US9930382B2 (en) Method and apparatus for transmitting/receiving broadcast signal for 3-dimensional (3D) broadcast service
EP2526689B1 (en) Method for transporting information and/or application data inside a digital video stream, and relative devices for generating and playing such video stream
WO2013153523A2 (en) Depth signaling data
Zhao et al. An overview of 3D-TV system using depth-image-based rendering
Teniou 3DTV Technology and Standardization

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant