KR20100063806A - 비디오 데이터 신호, 인코딩된 비디오 데이터 신호를 인코딩하는 방법 및 시스템, 및 비디오 데이터 신호 디코딩 방법 및 시스템 - Google Patents

비디오 데이터 신호, 인코딩된 비디오 데이터 신호를 인코딩하는 방법 및 시스템, 및 비디오 데이터 신호 디코딩 방법 및 시스템 Download PDF

Info

Publication number
KR20100063806A
KR20100063806A KR1020107008965A KR20107008965A KR20100063806A KR 20100063806 A KR20100063806 A KR 20100063806A KR 1020107008965 A KR1020107008965 A KR 1020107008965A KR 20107008965 A KR20107008965 A KR 20107008965A KR 20100063806 A KR20100063806 A KR 20100063806A
Authority
KR
South Korea
Prior art keywords
video data
data signal
frames
primary
signal
Prior art date
Application number
KR1020107008965A
Other languages
English (en)
Other versions
KR101564461B1 (ko
Inventor
빌헬무스 에이치. 에이. 브룰스
아르나우드 피. 에이치. 부르게
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20100063806A publication Critical patent/KR20100063806A/ko
Application granted granted Critical
Publication of KR101564461B1 publication Critical patent/KR101564461B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1881—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast with schedule organisation, e.g. priority, sequence management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02—Power saving arrangements
    • H04W52/0209—Power saving arrangements in terminal devices
    • H04W52/0212—Power saving arrangements in terminal devices managed by the network, e.g. network or access point is master and terminal is slave
    • H04W52/0216—Power saving arrangements in terminal devices managed by the network, e.g. network or access point is master and terminal is slave using a pre-established activity schedule, e.g. traffic indication frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W56/00—Synchronisation arrangements
    • H04W56/001—Synchronization between nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W56/00—Synchronisation arrangements
    • H04W56/001—Synchronization between nodes
    • H04W56/0015—Synchronization between nodes one node acting as a reference for the others
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/04—Wireless resource allocation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Abstract

비디오 데이터 신호들은 인코딩된 비디오 데이터 신호가 적어도 주 및 적어도 보조 비디오 데이터 신호를 포함하도록 인코딩된다. 주 및 보조 비디오 데이터 신호는 공동으로 압축된다. 주 비디오 데이터 신호는 자기-충족 방식으로 압축되고, 보조 비디오 데이터 신호는 주 비디오 데이터 신호로부터의 데이터를 이용하여 압축된다. 공동으로 압축된 비디오 데이터 신호는 개별적인 비트스트림들, 즉 주 비디오 데이터 신호에 대한 데이터를 포함하는 적어도 주 비트스트림 및 보조 비디오 데이터 신호에 대한 데이터를 포함하는 적어도 보조 비트스트림들로 분할(BSS)되고, 그 후, 주 및 보조 비트스트림들은 멀티플렉싱된 신호로 멀티플렉싱되고, 주 및 보조 신호들은 개별적인 코드들(0x1B, 0x20)이 제공된다.

Description

비디오 데이터 신호, 인코딩된 비디오 데이터 신호를 인코딩하는 방법 및 시스템, 및 비디오 데이터 신호 디코딩 방법 및 시스템{Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal}
본 발명은 비디오 인코딩 및 디코딩 분야에 관한 것이다. 이는 비디오 데이터 신호를 인코딩하는 방법 및 시스템을 제공한다. 또한, 본 발명은 인코딩된 비디오 데이터 신호에 관한 것이다. 또한, 본 발명은 비디오 데이터 신호를 디코딩하는 시스템 및 디코딩 방법에 관한 것이다.
최근 예를 들어, 비디오 3-D 이미지 디플레이들상에서 3-D 이미지들을 대해 증가된 비디오 가능성들을 제공하는데 많은 흥미가 존재해왔다. 3-D 이미징은 컬러 이미징 이후에, 이미징에 있어 차기의 대단한 혁신이 될 것이라 판단된다. 우리는 현재 소비자 시장에 있어서 오토-스테레오스코픽 디스플레이들의 도입에 직면하고 있다.
기본적으로, 3차원 임프레션은 스테레오 쌍들, 즉 시청자의 두 눈들을 향하는 2개의 미묘하게 다른 이미지들을 이용하여 생성될 수 있다.
어떤 형태의 디스플레이들이 이용되든지 간에, 3-D 이미지 정보는 디스플레이 디바이스에 제공되어야 한다. 이는 다수의 뷰들(views)이 생성되면, 종종 좌 및 우 뷰 또는 다수의 뷰들에 대한 데이터를 포함하는 디지털 데이터를 포함하는 비디오 데이터 신호의 형태로 보통 이루어진다.
증가된 비디오 가능성들의 다른 예는 고 주파수 비디오, 예를 들어, 2배의 표준 프레임 디스플레이 주파수를 갖는 비디오를 제공할 수 있는 비디오 데이터 신호를 제공하는 것이다.
또 다른 예는 개선된 해상도의 비디오 데이터 신호를 제공하는 것이다.
디지털 이미징에 있어 본질적인 대량의 데이터로 인해, 디지털 이미지 신호들의 처리 및/또는 전송은 상당히 곤란하다. 다수의 상황들에서, 가용한 처리 전력 및/또는 전송 용량은 고품질의 비디오 데이터 신호들을 처리 및/또는 전송하는데 불충분하다. 보다 구체적으로, 각 디지털 이미지 프레임은 화소들의 어레이로부터 형성된 정지 이미지(still image)이다. 이 문제는 3D 비디오 이미징을 위해 증가하는 것을 제외한 모든 비디오에 대해 존재하며, 2배 주파수의 비디오 데이터 신호가 생성될 때 또는 개선된 해상도의 비디오 데이터 신호가 생성될 때 문제가 되는 동일한 증가가 발생한다.
원 디지털 정보량은 보통 항상 이용 가능하지는 않은 큰 처리 전력 및/또는 큰 전송률들을 필요로 하는 대규모이다. 예를 들어, MPEG-2, MPEG-4 및 H.263을 포함하는 다양한 압축 방법들은 전송되는 데이터의 양을 감소시키기 위해 제안되었다.
알려진 압축 방법들은 원래 표준 2D 이미지들을 위해 제안되었다.
예를 들어, 3D 정보는 취득측에서 생성되는 경우, 이 정보는 전송될 필요가 있고, 비트율의 견지에 있어 낮은 추가의 오버헤드를 갖기 위해, 3D 정보의 압축이 필요로 된다. 바람직하게는, 3D 정보의 압축(또는 인코딩)은 3D 정보의 압축이 상대적으로 작은 조정들만을 갖는 기존의 압축 표준들을 이용하여 구현될 수 있는 방식으로 수행된다. 비디오 데이터 신호가 2배의 주파수 신호 또는 개선된 해상도에 관한 정보를 포함하는 정도까지 개선될 때에도 동일하다.
또한, 개선된 비디오 신호가 역방향 호환 가능한 것이 바람직하다. 즉 종래의 표준 비디오 장치가 개선된 비디오 신호로부터 "양호한" 비디오 이미지들을 디스플레이할 수 있는 것이 바람직하다. 예를 들어, 3D 스테레오 신호는 2D 역방향 호한 가능한 것이 바람직하다. 즉, 종래의 2D 장치가 3D 신호로부터 "양호한" 2D 이미지를 디스플레이할 수 있는 것이 바람직하다. 고주파수 100Hz 비디오 데이터 신호는, 장치 그 자체가 100Hz 신호들을 디스플레이할 수 없는 경우조차 표준 50Hz 비디오 장치상에서 디스플레이 될 수 있어야 한다. 유사하게, 개선된 해상도(HDTV, 고 해상도 TV)의 비디오 데이터 신호는 표준 TV 장치상에서 디스플레이될 수 있어야 한다.
2개로 분리하여 스테레오 이미지들을 단순히 압축하는 것은 비트율면에서 큰 증가를 야기한다. 스테레오 쌍의 좌(L) 및 우(R) 뷰들을 개별적으로 인코딩하는 것은, 하나가 동일한 품질을 보장하고자 하는 경우 모노 시스템(하나의 단일 뷰)에 비해 2배의 비트율을 야기한다. 따라서, 2D 디바이스가 이미지를 디스플레이할 수 있는 것을 보장하지만, 이러한 방법은 2배의 비트율을 필요로 한다.
데이터의 양은 2개 이상의 뷰가 생성되는 다중뷰 시스템이 사용될 때보다 많이 증가한다.
고주파수 비디오 데이터 신호들에 관한 정보를 포함함으로써 비디오 데이터 신호가 개선될 때에도 동일하다. 2배의 주파수는 데이터가 2배일 것이다. 해상도의 증가는 동일한 문제를 생성할 것이다.
코딩 효율에 관해 보다 양호한 방법은 2개의 스테레오(좌 및 우) 또는 보다 많은 뷰들을 공동으로 압축하거나, 고주파수 및 저주파수 비디오 데이터 신호들을 공동으로 압축하거나, 저해상도 및 고해상도 비디오 데이터 신호들을 공동으로 압축하는 것이다. 좌 및 우 프레임에 대해 이 해결책은 통상적으로 2개의 뷰들이 단일-뷰 경우보다 50% 많은 대역폭을 이용하여(개별적인 뷰 코딩의 경우에 100% 이상의 대역폭에 비교됨) 공동으로 압축되는 경우를 야기한다. 이는 "가짜의" 2D 시퀀스를 형성하기 위해 각 스테레오 뷰로부터 좌 및 우 프레임들을 인터리빙함으로써 종래의 2D 비디오 압축 인코더들을 이용하여 달성될 수 있다. 복구 측에서, 2D 프레임들은 디-인터리빙되고, 각 뷰는 복구 및 디스플레이된다. 예를 들어, 2개의 뷰들(L 및 R)은 비디오 인코더에 진입하기 전에 프레임 화상들로서 인터리빙될 수 있다.
그러나, 예를 들어, 스테레오 비디오를 위한 표준 기술들을 이용하는 것이 개별적인 뷰들을 압축하는 것보다 효율적으로(1.5 * 이득) 공동으로 압축될 수 있고 결과적인 비트-스트림이 적절한 3D 디바이스상에서 디스플레이될 수 있지만, 발명자들은 보통의 2D 시스템상에서 양호한 결과를 갖고 디스플레이될 수 없는 하나의 단일 비트-스트림이 발생한다는 것을 인지하였다. 단일의 인터리빙된 비트-스트림이 종래의 2D 수신기(2D 디코더 및 2D 스크린을 가짐)에 도달하면, 디스플레이되는 비디오 시퀀스는 스테레오인 것의 인터리빙으로부터 유래하기 때문에 가시적으로 불완전성들을 보여주어 열등하게 보일 것이다. 따라서, 이 방법은 역방향 호환성이 없다. 공동으로 압축되는 다중뷰 신호들 또는 다른 개선된 비디오 데이터 신호들에 대해서도 마찬가지다.
따라서, 본 발명의 목적은 인코딩된 데이터내의 데이터량이 한계 내에 있으면서 역방향 호환성을 제공하는, 전송측의 개선된 이미지 데이터를 인코딩하는 방법을 제공하는 것이다. 바람직하게는, 코딩 효율성이 크다. 또한, 바람직하게는, 상기 방법은 기존의 인코딩 표준들과 호환된다.
또한, 비디오 데이터 신호 및 비디오 데이터 신호를 인코딩하는 개선된 인코더를 제공하는 것이 목적이다.
이를 위해, 본 발명에 따른 비디오 데이터 신호들을 인코딩하는 방법은 비디오 데이터 신호가 인코딩되고, 인코딩된 비디오 데이터 신호는 적어도 주 및 적어도 보조 비디오 데이터 신호를 포함하고, 주 및 보조 비디오 데이터 신호는 공동으로 압축되고, 주 비디오 데이터 신호는 자기-충족 방식(self-contained manner)으로 압축되고, 보조 비디오 데이터 신호는 주 비디오 데이터 신호로부터의 데이터를 이용하여 압축되고, 공동으로 압축된 비디오 데이터 신호는 개별적인 비트스트림들로 분할되고, 비트스트림들은 주 비디오 데이터 신호에 대한 데이터를 포함하는 적어도 주 비트스트림 및 보조 비디오 데이터 신호에 대한 데이터를 포함하는 적어도 보조 비트스트림을 포함하고, 그 후 주 및 보조 비트스트림들은 멀티플렉싱된 신호로 멀티플렉싱(MUX)되고, 주 및 보조 신호들은 개별적인 코드들이 제공되는 방법이다.
본 발명의 방법은 종래 방법들의 이점을 조합하면서 그들 각자의 결점들을 회피한다. 2개 이상의 비디오 데이터 신호들을 공동으로 압축하고 나서, 단일의 압축된 비트스트림을 2개 이상의 (주 및 보조) 개별 비트-스트림들로 분할하는 것을 포함하고; "주" 비트스트림은 자기 충족적이고, 종래의 비디오 디코더들에 의해 판단 가능하고, 하나 이상의 "보조" 프레임들의 세트(소위 예비 비디오 표현 스트림이라 칭함)는 주 비트스트림에 의존한다. 주 및 보조 비트-스트림들이 개별적인 코드들이 제공된 개별적인 비트스트림들인 개별적인 비트스트림들은 멀티플렉싱되고 전송된다. 언뜻 보기에, 먼저 신호들을 공동으로 압축하고, 압축 이후 압축된 신호를 분할하여 개별적인 코드들을 제공하는 것이 불필요하고, 노력의 낭비로 여겨질 수 있다. 모든 알려진 기술들에서, 압축된 비디오 신호는 멀티플렉서에서 단일의 코드를 제공받는다. 언뜻 보기에, 본 발명은 비디오 데이터 신호의 인코딩에서 불필요한 복잡성을 부가하는 것처럼 보인다.
그러나, 본 발명자들은 멀티플렉싱된 신호에서 주 및 보조 비트스트림의 분할 및 개별적인 패키징(즉, 멀티플렉서에서 주 및 보조 비트스트림에 개별적인 코드들을 제공하는 것)이 다음과 같은 결과를 발생한다는 것을 인지하였다: 즉, 일 측면에서, 종래의 비디오 시스템의 표준 디멀티플렉서는 그 코드에 의해 주 비트스트림을 인지할 것이고 이를 디코더에 보내서, 표준 비디오 디코더가 주 스트림만을 수신하고, 보조 스트림은 디-멀티플렉서를 통과하지 못해서, 표준 비디오 디코더는 예를 들어, 표준 2D 비디오 데이터 신호 및/또는 표준 50Hz 비디오 데이터 신호, 또는 기본 해상도의 신호와 같은 표준 비디오 데이터 신호로서 이를 정확히 처리할 수 있는 반면, 다른 측면에서, 3D 시스템 또는 100Hz 디스플레이 시스템 또는 고해상도 비디오 디코더와 같은 특수한 시스템은 인코딩 처리를 완전히 반대로 하고, 이를 예를 들어, 스테레오 디코더 또는 100Hz 디코더 또는 HTV 디코더에 보내기 이전에 원래의 개선된 비트-스트림을 재생성할 수 있다.
대부분의 이른바 역방향으로 호환 가능한 시스템들 및 방법들은 인입하는 비트스트림을 적절히 분석하기 위해 일정 종류의 적응(adaptation)이 종래의 비디오 시스템들에게 이루어질 것을 본질적으로 필요로 하고, 이러한 적응 없이는, 적절한 디코딩이 곤란하거나 또는 불가능하다. 본 발명자들은, 이 문제의 근본은, 종래의 디코더가 장비되지 않은 개선된 비디오 데이터 신호를 수신하는 것이라는 것을 인지하였다. 디코더에 대한 적응에 있어서, 문제들은 단순히 디코더가 개선된 신호들(이에 따라 평상시보다 많은 비트들)을 수신하기 때문에 발생할 수 있고, 단순히 증가한 비트율을 처리할 수 없기 때문에 개선된 신호들을 처리할 수 없다는 것이다. 또한, 표준 디코더에 대한 임의의 적응은 비디오 데이터 신호에 대해 특정 개선(3D, 100Hz, 고해상도)에 대해 특정하게 되어야 하고, 이는 다른 개선들에 대해 작동하지 않거나 또는 심지어 개선되지 않은 비디오 데이터 신호가 수신될 때 동작을 열화시킬 것이다.
본 발명에서, 주 및 보조 비트스트림들은 주 비트스트림이 자기-충족 비트스트림인 개별적인 비트스트림들이다. 이는 주 비트스트림에 표준 비디오 데이터 신호에 대응하는 코드를 제공하고, 보조 비트스트림 또는 보조 비트스트림들에 표준 비디오 데이터 신호로서 표준 디멀티플렉서들에 의해 인지할 수 없는 코드들을 제공하는 것을 허용한다. 수신단 측에서, 표준 디멀티플렉싱 디바이스들은 주 비트스트림을 표준 비디오 데이터 신호로서 인식할 것이고, 이를 비디오 디코더로 보낼 것이다. 표준 디멀티플렉싱 디바이스들은 보조 비트-스트림들을, 표준 비디오 데이터 신호로서 인식하는 것이 아니라 거부할 것이다. 비디오 디코더 그 자체는 "표준 비디오 데이터 신호"만을 수신할 것이다. 따라서, 비디오 디코더 자체에 의해 수신된 비트들의 양은 자기-충족적이고, 표준 비디오 데이터 신호의 형태이며, 표준 비디오 디바이스들에 의해 해석 가능하고, 표준 비디오 디바이스들이 처리할 수 있는 비트레이트를 갖는 주 비트 스트림으로 제한된다. 비디오 디코더는 처리할 수 있는 비트들로 과부하되지 않는다.
주 비트스트림이 자기-충족적이기 때문에, 표준 비디오 디코더는 이를 표준 디코딩된 비디오 데이터 신호로 디코딩할 수 있다.
본 발명은 다양한 방식들로 구현될 수 있다. 2D-3D 또는 보통의 주파수-고주파수 사용에 특히 유용한 실시예들에서, 비디오 프레임들은 인코더에서 인터리빙되거나 또는 인코더는 인터리빙된 신호들이 제공된다.
이러한 실시예들에서, 코딩 방법은, 비디오 데이터 신호는 인코딩되고, 인코딩된 개선된 신호는 프레임들의 제 1 및 제 2 세트를 포함하고, 제 1 및 제 2 세트의 프레임들은 인터리빙된 비디오 시퀀스를 형성하도록 인터리빙되는 것을 특징으로 하거나, 또는 프레임들의 제 1 및 제 2 세트를 포함하는 인터리빙된 비디오 데이터 신호가 수신되고, 인터리빙된 비디오 시퀀스는 압축된 비디오 데이터 신호로 압축되고, 제 1 세트의 프레임들은 제 2 세트의 프레임들을 이용하지 않고 인코딩 및 압축되고, 제 2 세트의 프레임들은 제 1 세트의 프레임들을 이용하여 인코딩 및 압축되고, 이후 압축된 비디오 데이터 신호는 주 및 적어도 보조 비트-스트림으로 후속적으로 분할되고, 각 비트-스트림은 프레임들을 포함하고, 주 비트-스트림은 제 1 세트에 대한 압축된 프레임들을 포함하고, 보조 비트스트림은 제 2 세트에 대한 압축된 프레임들을 포함하고, 주 및 보조 비트스트림들은 개별적인 비트-스트림들을 형성하고, 이후, 주 및 보조 비트스트림들은 멀티플렉싱된 신호로 멀티플렉싱되고, 주 및 보조 비트스트림들은 개별적인 코드들이 제공되는 것을 특징으로 한다.
이 실시예에서, 광의의 견지의 본 발명에 있어서, 단일의 압축된 비트스트림들은 2개 이상(주 및 보조)의 개별적인 비트-스트림들로 분할되고: "주" 비트스트림은 프레임들의 세트들 중 하나에만을 완전히 포함하고(따라서, 자기 충족적이고), 종래의 비디오 디코더들에 의해 판단 가능하고 및 하나 이상의 "보조" 프레임들의 세트(소위 예비 비디오 표현 스트림이라 칭함)는 주 프레임들의 세트에 의존한다. 프레임들이 시스템 레벨에서 인터리빙되거나 또는 인터리빙된 포맷으로 시스템에 제공되고 멀티플렉싱되며, 주 및 보조 비트-스트림들이 개별적인 코드들이 제공되고 전송된 개별적인 비트스트림들이다.
중요한 요건은 인터리빙 이후 적어도 하나의 세트들 즉, 주 비트-스트림의 프레임들의 세트는 "자기-충족" 신호로서 압축된다는 것이다. 이는 이러한 자기-충족 프레임들의 세트에 속하는 프레임들이 다른 보조 비트스트림들로부터 어떠한 정보(예를 들어, 움직임 보상 또는 임의의 다른 예측 방식을 통해)도 필요로 하지 않는다는 것을 의미한다.
또한, 중요한 양태는, 주 및 보조 비트스트림들이 개별적인 비트스트림들을 형성하고, 상술한 이유들을 위해 개별적인 코드들로 멀티플렉싱된다는 것이다.
실시예들에서, 주 비트스트림은 3D 비디오 데이터 신호의 뷰의 하나의 프레임들에 대한 데이터를 포함하고, 보조 비트스트림은 3D 비디오 데이터 신호의 다른 뷰의 프레임들에 대한 데이터를 포함한다.
실시예들에서, 주 비트스트림은 3개 이상의 뷰들 중 하나의 프레임들에 대한 데이터를 포함하고, 다른 뷰들 중 하나의 프레임들에 대한 데이터를 포함하는 하나 이상의 보조 비트스트림이 생성된다.
실시예들에서, 주 비트스트림은 프레임들의 저주파수 세트에 대한 데이터를 포함하고, 보조 비트스트림은 고주파수 프레임들에 대한 데이터를 포함한다. 실시예들에서, 주 비트스트림은 보조 비트스트림들보다 낮은 양자화 팩터로 압축된다.
주 및 보조 비트-스트림이 2개의 스테레오 뷰들을 제공할 때, 주 비트-스트림은 2개의 뷰들, 좌 또는 우 중 어느 하나를 표현할 수 있다.
실시예들에서, 어느 뷰가 주 비트-스트림에 대응하는 뷰인지에 대한 지정은 변할 수 있다. 예를 들어, 장면 변화시에, 주 뷰는 좌로부터 우로 변할 수 있거나 그 반대일 수 있다. 이는 주 뷰가 보조 뷰와 상이한 양자화 팩터로 압축된 경우 특히 유리할 수 있다.
또한, 본 발명은 비디오 데이터 신호를 인코딩하는 인코딩 시스템에서 구현되며, 상기 인코딩 시스템은 적어도 주 및 보조 비디오 데이터 신호를 생성하는 생성기 또는 이를 수신하는 수신기; 주 및 보조 비디오 데이터 신호를 공동으로 압축하는 압축기로서, 상기 압축기는 주 비디오 데이터 신호를 자기-충족 방식으로 압축하고, 보조 비디오 데이터 신호를 주 비디오 데이터 신호로부터의 데이터를 이용하여 압축하는, 상기 압축기; 공동으로 압축된 비디오 데이터 신호를 개별적인 비트스트림들로 분할하는 분할기로서, 주 비트스트림은 주 비디오 데이터 신호에 대한 데이터를 포함하고, 보조 비트스트림은 보조 비디오 데이터 신호에 대한 데이터를 포함하는, 상기 분할기; 및 주 및 보조 비트스트림들을 멀티플렉싱된 신호로 멀티플렉싱하고, 주 및 보조 신호들에 개별적인 코드들을 제공하는 멀티플렉서를 포함한다.
본 발명의 실시예에 따른 인코딩 시스템은 인터리빙된 비디오 시퀀스를 형성하도록 제 1 및 제 2 뷰로부터의 프레임들을 인터리빙하는 인터리버(VI), 또는 프레임들의 제 1 및 제 2 세트를 포함하는 인터리빙된 비디오 시퀀스를 수신하는 수신기를 포함하고; 상기 인코딩 시스템은 인터리빙된 비디오 시퀀스를 인코딩하는 인코더로서, 상기 인코더는 제 2 뷰의 프레임들을 이용하지 않고 뷰들 중 제 1 뷰의 프레임들을 압축하고, 제 1 뷰의 프레임들을 이용하여 제 2 뷰의 프레임들을 압축하는 압축기를 포함하는, 상기 인코더를 포함하고; 상기 시스템은 상기 압축된 비디오 데이터 신호를 주 및 보조 비트 스트림으로 분할하는 분할기로서, 각 비트 스트림은 프레임들을 포함하고, 주 비트-스트림은 제 1 세트에 대한 압축된 프레임들을 포함하고, 보조 비트-스트림은 제 2 세트에 대한 압축된 프레임들을 포함하고, 주 및 보조 비트스트림은 개별적인 비트-스트림들을 형성하는, 상기 분할기를 포함하고, 상기 인코딩 시스템은 주 및 보조 비트스트림들을 멀티플렉싱하고, 주 및 보조 비트-스트림들에 개별적인 코드들을 제공하는 멀티플렉서를 더 포함한다.
바람직하게는, 압축기는 계층적 방식으로 프레임들을 압축하도록 배열되며, 보다 높은 레벨들은 뷰들 중 제 1 뷰의 프레임들에 대응하고, 보다 낮은 또는 최저 레벨은 제 2 뷰의 프레임들에 대응한다.
실시예들에서, 인코딩 시스템은 3D 비디오 데이터 신호의 뷰 중 하나의 프레임들에 대한 데이터를 포함하는 주 비트스트림, 3D 비디오 데이터 신호의 다른 뷰의 프레임들에 대한 데이터를 포함하는 보조 비트스트림을 제공하도록 구성된다.
본 발명의 상기 또는 다른 양태들은 첨부된 도면들을 참조하여 예시의 방식으로 보다 상세히 설명될 것이다.
본 발명은 인코딩된 데이터내의 데이터량이 한계 내에 있으면서 역방향 호환성을 제공하는, 전송측의 개선된 이미지 데이터를 인코딩하는 방법을 제공한다. 바람직하게는, 코딩 효율성이 크다. 또한, 바람직하게는, 상기 방법은 기존의 인코딩 표준들과 호환된다.
또한, 비디오 데이터 신호 및 비디오 데이터 신호를 인코딩하는 개선된 인코더를 제공한다.
도 1은 3D 비디오에 대한 종래 기술의 인코딩 방법의 예를 예시하는 도면.
도 2는 코딩 효율의 관점에서 개선된 방법을 예시하는 도면.
도 3a 및 도 3b는 본 발명의 인코딩 방법 및 디코딩 방법 및 인코더 및 디코더를 예시하는 도면.
도 4는 좌(L) 및 우(R) 2개의 뷰들의 인터리빙을 예시하는 도면.
도 5는 계층적 B 프레임들을 이용한 이른바 다이애딕 임시 구조를 예시하는 도면.
도 6은 비트 스트림 분할기에 대한 도면.
도 7은 단일의 인코딩된 비트 스트림 및 그 분할 버전의 예를 도시하는 도면.
도 8,도 9 및 도 10은 종래 기술 및 본 발명을 예시하는 도면.
도 11은 3개의 인터리빙된 뷰 신호들이 존재하는 상황을 예시하는 도면.
도 12, 도 13, 도 14a 및 도 14b는 고주파수 비디오에 대한 본 발명의 실시예를 예시하는 도면.
도 15, 도 16a 및 도 16b는 고해상도 비디오에 대한 본 발명의 실시예를 예시하는 도면.
도면들은 축적대로 그려지지 않았다. 일반적으로, 동일한 구성요소들은 도면들에서 동일한 참조 번호들에 의해 표시된다.
도 1은 두 개의 뷰들이 개별적으로 취급 및 압축되는 비디오 정보의 압축을 예시한다. 좌(L) 및 우(R) 뷰 비디오 데이터 신호들(1 및 2)은 2개의 실질적으로 2차원 이미지들 2D(L) 및 2D(R)을 각각 제공한다. 이 두 개의 신호들은 표준 2D 비디오 인코더들(3 및 4)에서 인코딩 및 압축된다. 2개의 신호들은 도 1에서 개략적으로 T로 표시된 것에 의해 전송되고, 수신기측에서 수신한다. 수신기는 2D 비디오 디코더들(3' 및 4')을 이용하여 2개의 신호들을 디코딩하고 2D 신호들(1' 및 2')을 제공한다. 그 후, 이 두 신호들은 3D 이미지를 제공하기 위해 3D 비디오 디스플레이에 조합될 준비가 된다. 임의의 2D 비디오 디스플레이 디바이스들은 좌 또는 우 뷰 중 어느 하나를 이용하여 단순하게 동작할 수 있다. 이 방식이 작동하지만, 동일한 품질을 보장하고자 하는 경우, 스테레오 쌍의 좌(L) 및 우(R) 뷰들을 개별적으로 인코딩하는 것은 실질적으로 모노 시스템(하나의 단일 뷰)에 비해 2배의 비트율을 야기한다. 따라서, 2D 디바이스가 이미지를 디스플레이할 수 있음을 보장할지라도, 이 표준 방법은 2배의 비트율을 필요로 한다.
도 2는 코딩 효율의 관점에서 개선된 방법을 예시한다. 2개의 뷰들의 프레임들을 인코딩하기 이전에, 조합된 L+R 비디오 데이터 신호를 제공하기 위해 뷰 인터리버(VI)에서 인터리빙된다. 인터리빙은 2개의 표준 2D 신호를 닮은 조합된 신호를 제공한다. 상기 신호는 2D 비디오 인코더(5)에서 종래의 2D 비디오 압축을 이용하여 압축될 수 있다. 그 후, 이 압축된 비디오 신호는 전송될 수 있다. 수신기측에서, 압축된 신호는 2D 비디오 디코더(6)에서 압축해제되고, 디-인터리버(DVI)를 이용하여 디-인터리빙된다. 예를 들어, 2개의 뷰들(L 및 R)은 비디오 인코더(5)에 진입하기 이전에 프레임 화상들로서 인터리빙될 수 있다. 그러므로, 소정의 매크로블록(MB)을 예측하는데 사용되는 임시 기준 화상에 의존하여, 예측은 "실제로(really)" 임시적(동일한 뷰로부터 상이한 시간들)이거나 또는 다른 뷰로부터 이루어질 수 있다. 이 메커니즘은 수신단의 스테레오 디코더가 다른 것으로부터 하나의 뷰를 구별하고, 디-인터리빙을 수행할 수 있도록 수행된 인터리빙에 관한 정보를 포함하도록 이른바 "스테레오 비디오 정보(Stereo Video Information)" SEI 메시지를 통해 시그널링될 수 있다.
이러한 방법은 비트율을 감소시킬 수 있지만(도 1의 방법에 비해 약 25% 만큼), 단일의 인코딩된 스트림이 종래의 2D 수신기(2D 디코더 및 2D 스크린을 가짐)에 도달하는 경우, 디스플레이되는 비디오 시퀀스는 스테레오 것의 인터리빙으로부터 기인한 것이기 때문에 열등하게 보일 것이다. 이 문제는 "스테레오 비디오 정보" SEI 메시지를 구비한 AVC(진보된 스테레오 코딩)의 경우에도 존재한다. 실제로, SEI 메시지들의 사용은 강제적이지 않고, 순응 디코더(compliant decoder)는 이들을 완전히 무시할 수 있다. 도 2의 방법으로부터의 단일의 비트-스트림은 보통의 2D 디스플레이 시스템상에서 정확하게 디스플레이될 수 없고, 이는 큰 단점이다. 따라서, 도 2의 방법은 2D 역방향 호환되지 않는다. 2D 역방향 호환성의 결여는, 압도적으로 대다수의 디스플레이들이 적어도 3D 비디오의 도입 동안 표준 2D 비디오 디바이스들로 남아 있을 것이기 때문에, 사람들이 3D 비디오 데이터 신호들 및 시스템들을 이용하는 것을 크게 저하시킬 것이다. 새로운 방법들은 역방향 호환 가능한 것이 바람직하다. 즉, 표준 비디오 디바이스들은 새로운 방법들에 의해 생성된 신호들을 처리할 수 있어야 한다.
그러므로, 본 발명의 목적은 일 측면에서, 2개의 뷰들을 완전히 및 개별적으로 인코딩하는 것에 비해 비트율을 감소시키고 다른 측면에서, 여전히 표준 비디오 역방향 호환성을 가질 수 있는 방법을 제공하는 것이다.
이를 위해, 본 발명에 따른 비디오 데이터 신호들을 인코딩하는 방법은 비디오 데이터 신호가 인코딩되고, 인코딩된 비디오 데이터 신호는 적어도 주 및 보조 비디오 데이터 신호를 포함하고, 주 및 보조 비디오 데이터 신호는 공동으로 압축되고, 주 비디오 데이터 신호는 자기-충족 방식으로 압축되고, 보조 비디오 데이터 신호는 주 비디오 데이터 신호로부터의 데이터를 이용하여 압축되고, 공동으로 압축된 비디오 데이터 신호는 개별적인 비트스트림들로 분할되고, 비트스트림들은 주 비디오 데이터 신호에 대한 데이터를 포함하는 적어도 주 비트스트림 및 보조 비디오 데이터 신호에 대한 데이터를 포함하는 적어도 보조 비트스트림을 포함하고, 그 후 주 및 보조 비트스트림들은 멀티플렉싱된 신호로 멀티플렉싱되고, 주 및 보조 신호들은 개별적인 코드들이 제공되는 방법이다.
본 발명의 방법은 종래 방법들의 이점을 조합하면서 그들 각자의 결점들을 회피한다. 2개 이상의 비디오 데이터를 공동으로 압축하고 나서, 단일의 압축된 비트스트림을 2개 이상의 (주 및 보조) 개별 비트-스트림들로 분할하는 것을 포함하고; "주" 비트스트림은 자기 충족적(self-contained)이고, 종래의 비디오 디코더들에 의해 판단 가능하고 및 하나 이상의 "보조" 프레임들의 세트(소위 예비 비디오 표현 스트림들이라 칭함)는 주 비트스트림에 의존한다. 주 및 보조 비트-스트림들이 개별적인 코드들이 제공된 개별적인 비트스트림들인 이 개별적인 비트스트림들은 멀티플렉싱 및 전송된다. 언뜻 보기에, 먼저 신호들을 공동으로 압축하고, 압축 이후 압축된 신호를 분할하여 개별적인 코드들을 제공하는 것이 불필요하고, 노력의 낭비로 여겨질 수 있다. 모든 알려진 기술들에서, 압축된 비디오 신호는 멀티플렉서에서 단일의 코드를 제공받는다. 언뜻 보기에, 본 발명은 비디오 데이터 신호의 인코딩에서 불필요한 복잡성을 부가하는 것처럼 보인다.
그러나, 본 발명자들은 멀티플렉싱된 신호에서 주 및 보조 비트스트림의 분할 및 개별적인 패키징(즉, 멀티플렉서에서 주 및 보조 비트스트림에 개별적인 코드들을 제공하는 것)이 다음과 같은 결과를 발생한다는 것을 인지하였다: 즉, 일 측면에서, 종래의 비디오 시스템의 표준 디멀티플렉서는 그 코드에 의해 주 비트스트림을 인지할 것이고 이를 디코더에 보내서, 표준 비디오 디코더가 주 스트림만을 수신하고, 보조 스트림은 디-멀티플렉서를 통과하지 못해서, 표준 비디오 디코더는 예를 들어, 표준 2D 비디오 데이터 신호 및/또는 표준 50Hz 비디오 데이터 신호, 또는 기본 해상도의 신호와 같은 표준 비디오 데이터 신호로서 이를 정확히 처리할 수 있는 반면, 다른 측면에서, 3D 시스템 또는 100Hz 디스플레이 시스템 또는 고해상도 비디오 디코더와 같은 특수화된 시스템은 인코딩 처리를 완전히 반전시키고, 이를 예를 들어, 스테레오 디코더 또는 100Hz 디코더 또는 HTV 디코더에 보내기 이전에 원래의 개선된 비트-스트림을 재생성할 수 있다.
본 발명의 방법의 일 실시예에서, 비디오 데이터 신호는 인코딩되고, 인코딩된 비디오 데이터 신호는 프레임들을 갖는 제 1 및 적어도 제 2 뷰를 포함하고, 제 1 및 제 2 뷰의 프레임들은 인터리빙되어 인터리빙된 비디오 시퀀스를 형성하고, 그 후 인터리빙된 비디오 시퀀스는 압축되고, 뷰들 중 제 1 뷰의 프레임들은 제 2 뷰의 프레임들을 사용하지 않고 인코딩 및 압축되고, 제 2 뷰의 프레임들은 제 1 뷰의 프레임들을 사용하여 인코딩 및 압축되고, 압축된 개선된 비디오 데이터 신호는 주 및 보조 비트스트림으로 분할되고, 각각의 비트스트림은 프레임들을 포함하고, 주 비트스트림은 뷰들의 제 1 뷰에 대한 압축된 프레임들을 포함하고, 뷰들 중 제 2 뷰에 대한 보조 비트스트림을 포함하고, 주 및 보조 비트-스트림은 개별적인 비트-스트림들을 형성하고, 그 후, 주 및 보조 비트-스트림은 멀티플렉스 신호로 멀티플렉싱되고, 주 및 보조 비트스트림에 개별적인 코드들이 제공된다.
도 3a 및 도 3b는 본 발명의 상기 실시예의 방법 및 인코딩 시스템 및 디코딩 시스템을 예시한다. 도 3a는 본 발명의 인코딩 시스템(7) 및 본 발명의 디코딩 시스템(8)이 사용되는 상황을 예시하며, 인코딩 및 디코딩 시스템의 특징들은 점선으로된 사각형내의 소자들에 의해 개략적으로 도시된다. 도 3b는 표준 디코더가 사용되는 상황을 예시한다.
좌 및 우 뷰의 프레임들은 VI에서 인터리빙되어 조합된 신호를 제공한다. 조합된 신호는 2D 신호를 닮는다. 2D 비디오 인코더(5)는 조합된 인터리빙된 신호를 인코딩 및 압축한다. 압축의 특정 특징은 뷰들 중 하나의 프레임들이 압축에 있어서 다른 뷰로부터 어떠한 정보도 압축에 사용되지 않는 자가-충족 시스템을 형성한다는 것이다. 다른 뷰의 프레임들은 제 1 뷰의 프레임들로부터의 정보를 이용하여 압축된다. 본 발명은 동일한 기반(footing)으로 2개의 뷰들을 취급하는 자연적인 경향과는 거리가 있다. 사실상, 2개의 뷰들은 압축 동안 동일하게 취급되지 않는다. 뷰들 중 하나는 압축 동안 어떠한 정보도 다른 뷰를 형성하는데 사용되지 않는 주 뷰가 되고, 다른 뷰는 보조 뷰이다. 주 뷰의 프레임들 및 보조 뷰의 프레임들은 비트스트림 분할기(BSS)에 의해 주 비트-스트림 및 보조 비트스트림으로 분할된다. 코딩 시스템은 비디오 비트스트림으로서 표준 비디오에 대해 인식 가능한 예를 들어, MPEG에 대해 0x01 또는 H.264에 대해 0x1B와 같은 코드를 주 비트스트림에 할당하고, 예를 들어, 0x20과 같은 상이한 코드를 보조 스트림에 할당하는 멀티플렉서(MUX)를 포함한다. 멀티플렉싱된 신호는 전송된다(T). 도 3a에서, 신호는 본 발명에 따른 디코딩 시스템에 의해 수신된다. 디멀티플렉서는 2개의 비트스트림들(0x01 또는 0x1B(주 스트림에 대해) 및 0x20(보조 스트림에 대해))을 인식하고, 주 및 보조 스트림을 재차 합치는 비트스트림 합성기(BSM)에 이들을 보내고, 조합된 비디오 시퀀스는 디코더에서 인코딩 방법을 거꾸로 함으로써 디코딩된다. 3D 디스플레이 디바이스와 조합한 디코딩 시스템(8)은 본 발명에 따라 디스플레이 디바이스의 예를 형성한다.
도 3b는 멀티플렉싱된 신호가 표준 비디오 시스템(9)에 의해 수신될 때의 상황을 예시한다. 표준 디멀티플렉서가 비디오 데이터 신호로서 비트스트림(0x01 또는 0x1B)을 인지하고 이를 표준 디코더에 전송한다. 비트스트림(0x20)은 도 3b에서 개략적으로 표시된 바와 같이 비트스트림을 휴지통(WB)에 송신함으로써 인지하지 않고 거부된다. 디코더에 의해 수신된 신호는 비트레이트를 갖고 표준 디코더는 조작할 수 있고 표준 디코더가 관리될 수 있는 형태이다.
주 비트스트림(0x1B)이 완전한 자기-충족 신호이기 때문에, 도 2의 방법에 연관된 문제는 표준 2D 비디오 시스템이 주 신호의 뷰를 디스플레이할 때 발생하지 않는다. 따라서, 도 3의 방법은 2D 역방향 호환 가능하다.
본 발명의 인코딩 방법은 2개의 뷰들을 개별적으로 압축하는 것에 비해 비트율이 감소하게 한다. 따라서, 비트율의 감소 및 2D 역방향 호환성이 달성된다.
도 4는 각각이 프레임들(0 내지 7)로 구성되는 2개의 뷰들(좌(L) 및 우(R))을 프레임들(0 내지 15)을 갖는 인터리빙된 조합된 신호로의 인터리빙을 예시한다. 신호의 인터리빙은 이미지 처리들에서 잘 알려진 처리이다.
도 5는 계층적 B 프레임들을 이용한 이른바 다이애딕 임시 구조를 예시한다. 종종 보통의 비디오 처리에서 I 프레임들, B 프레임들 및 P 프레임들과 같은 프레임들의 다른 형태로 구성된 것이 사용된다. 일부 프레임들은 인코딩을 위해 다른 프레임들을 필요로 한다. 도 5에 도시된 방식에서, 어느 프레임들이 다른 프레임들의 인코딩 및 압축에 사용되는지가 화살표들로 표시된다. 이들 방식들에서 I0/P0 프레임들은 B1 프레임들을 인코딩/압축하는데 사용되고, B1 프레임들은 B2 프레임들을 인코딩/압축하는데 사용되고, B2 프레임들은 B3 프레임들을 인코딩/압축하는데 사용된다. 따라서, 계층이 존재하며, 계층의 최저 레벨들이 B3 프레임이다. B3 프레임들은 인코딩(또는 수신기단에서의 디코딩)되기 위해서 보다 높은 계층적 프레임들(I0/P0, B1, B2)을 필요로 하지만, 그들 자체는 보다 높은 레벨의 계측정 프레임들을 인코딩 또는 디코딩하는데 필요로 되지 않는다.
도 4의 인터리빙 방식이 도 5의 종속 방식과 조합되면, 뷰들 중 하나(좌 또는 우 뷰 중 어느 하나)의 프레임들이 계층의 B3 레벨상의 프레임들에 대응하고, 다른 뷰들의 프레임들이 계층의 보다 높은 레벨에 대응한다는 것이 명백하게 된다. 이 뷰는 디코딩되기 위해 다른 뷰의 프레임들을 필요로 하지 않고, 따라서 자기-충족 신호이다. 도 5에서, 이는 B3 프레임으로부터 임의의 B2, B1 또는 I0/P0 프레임으로 어떠한 화살표도 향하지 않는다는 사실에 대응한다. 다른 뷰(B3)에 대한 프레임들은 자기-충족 신호를 형성하지 않고, 상기 뷰는 디코딩되기 위해 자기-충족 뷰의 정보를 필요로 한다. B3 프레임들은 상호 의존적(interdependent)일 수 있다.
좌 및 우 뷰의 프레임들을 인터리빙하고, 뷰들 중 하나에 대해 하나의 자기-충족 신호를 제공하는 압축 방식에 따라 이를 압축하고 나서, 신호를 재차 주 비트스트림(자기-충족 신호를 포함) 및 보조 비트-스트림(비-자기 충족 신호를 포함)으로 분할함으로써, 비트율 감소는 완전히 동작하는 2D 역방향 호환성 신호를 제공하면서 달성된다. 비트스트림 분할기는 제 1 뷰의 모든 액세스 유닛들(액세스 유닛들은 적어도 프레임에 대한 데이터를 포함함)을 주 스트림에 연결함으로써 주 스트림(0x1B)을 생성하고 제 2 뷰의 모든 액세스 유닛들(AU)을 보조 비트스트림에 연결함으로써 보조 스트림을 생성한다. 그 후, 멀티플렉서는 상이한 코드를 주 및 보조 스트림에 할당한다.
도 6은 빔 스트림 분할기에 대한 예시적인 도면을 예시한다. 이는 AVC(진보된 비디오 코딩) 코딩 방식과 호환 가능한 비트-스트림 분할 매커니즘을 제공한다. AVC 코딩 방식에서, SEI 메시지가 제공될 수 있다. "스테레오 비디오 정보" SEI 메시지는 수신기단의 스테레오 디코더가 다른 것으로부터 하나의 뷰를 구분하여 디-인터리빙을 수행할 수 있도록 수행된 인터리빙에 관한 정보를 포함한다.
본 발명의 이러한 실시예에서, SEI 메시지는 인코딩 시스템 내부에서 사용된다.
액세스 유닛은 단계(60)에서 취득된다.
제 1 단계(61)에서, 현재 액세스 유닛이 SEI 메시지를 포함하는지의 여부를 확인한다.
액세스 유닛이 SEI 메시지를 포함하지 않는 경우, 이 특정 예에서, 액세스 유닛이 속한 프레임들의 세트에 관한 정보는 이전 수신된 정보로부터 추론한다. 예를 들어, 이전 수신된 정보가 "하나의 액세스 유닛이 세트 A에 속하고, 다음이 세트 B에 속하는 경우", SEI 정보를 각각의 액세스 유닛에 제공할 필요는 없다.
액세스 유닛이 SEI 메시지를 포함하는 경우, SEI 메시지의 유효성이 단계(62)에서 이전의 SEI 메시지에 관해 확인된다.
SEI 메시지는 보통 알려진 시퀀스인 인터리빙에 관한 정보를 제공한다. SEI 메시지가 유효하지 않은 경우, 에러가 존재한다(63).
SEI 메시지가 유효한 경우, 다음 단계(64)로 진행한다.
각 액세스 유닛에 있어서, 이전 액세스 유닛에 대해 SEI 메시지에 어떠한 변화도 존재하지 않는 경우 어떠한 SEI 메시지도 존재하지 않는다는 사실에 의해, 또는 액세스 유닛이 유효한 SEI 메시지를 가졌다는 사실에 의해, 적절한 인터리빙 정보가 이제 이용 가능하다.
다음 단계(64)에서, 액세스 유닛이 주 뷰의 부분을 형성하는지가 확인되고, 만약 그렇다면, 단계(65)에서, 주 뷰 비트 스트림에 부가되고, 만약 그렇지 않다면, 단계(66)에서 보조 뷰 비디오 비트-스트림에 부가된다. 이 시퀀스가 반대로 될 수 있다는 것은 자명하다. 일단 액세스 유닛이 처리되어 주 또는 보조 비트-스트림에 부가되면, 다음 액세스 유닛이 단계(67)에서 취득되어 처리가 반복된다. 도 6은 분할기의 예시적인 실시예임을 주목한다. 다양한 방식들로, 인코딩된 신호가 분할될 수 있다. 분할에 관한 정보는 예를 들어, 고정된 시퀀스가 인코딩에 대해 사용된 경우 암시적일 수 있고, 또는 예를 들어, NAL 코드들의 SEI 메시지들을 이용함으로써 명시적일 수 있고, 또는 그 혼합일 수 있다. SEI 약어만 제외하고 본 발명과 관련이 없지만, 액세스 유닛(0 및 8)에서 다양한 약어들은 다음을 의미한다:
- SPS : 시퀀스 파라미터 세트
- PPS : 화상 파라미터 세트
- IDR : 동시적인 디코더 리프레시
- Slice : MB 그룹(매크로블록 16 * 16 화소들)
- SEI : 추가 개선 정보
도 7은 단일의 인코딩된 비트스트림 및 그 분할 버전의 예를 예시한다. 비디오 정보를 포함하는 액세스 유닛(0 및 8)은 주 비트스트림의 부분을 구성한다는 것이 주의된다. 주 비트스트림에 대한 모든 액세스 유닛들(AU8, AU0, AU4, AU2, AU6)은 스트림들 중 하나, 자기-충족된 신호에 대응하는 SEI 메시지를 갖고, 다른 액세스 유닛들은 보조 비트스트림에 속하는 SEI 메시지를 갖는다.
2개의 비트-스트림들은 예를 들어, MPEG-2 트랜스포트 스트림(브로드캐스트 애플리케이션) 또는 MPEG-4 파일 포멧(파일 저장 애플리케이션들)에서 DTS(디코딩 시간 스탬프) 플래그들에 의해 시스템 레벨에서 동기를 유지한다. 시스템들 레벨에서의 신택스 소자가 보조 비트스트림이 주 비트스트림에 의존한다는 것을 표시하는데 사용될 수 있다.
보조 스트림은 그 자체로 유효한 스트림이 아니란 것에 주의한다. 종종 이것은 문제가 되지 않을 것이다. 문제는 발생하는 경우는 공백(empty) 프레임들이 보조 스트림으로 삽입되어서 비트율이 거의 증가하지 않을 때이다. 이 합병 처리 이전에, 이 공백 프레임들이 먼저 제거되어야 할 것이다.
실시예들에서, 주 및 보조 신호의 정기적인 변경들이 이루어질 수 있다. 방법에서, 2개의 뷰들은 동일하게 취급되지 않고; 제 1 뷰는 자기-충족 뷰이고, 제 2 뷰는 제 1 뷰로부터 유도된다. 이는 좌 및 우 뷰간의 품질면에서 작은 차이를 야기할 수 있고, 이는 이미지들을 보는 좌 및 우 눈에 있어서 미묘하게 상이한 작용을 야기할 수 있다. 예를 들어, 장면 변화들에서 좌로부터 우로 주 뷰를 정기적으로 변경시킴으로써, 이것이 방지될 수 있다.
실시예들에서, 압축의 양자화 팩터는 주 및 보조 비트스트림들, 3D 예에서 주 및 보조 뷰들에 대해 상이할 수 있다. 특히, 아래에 설명될 것처럼 보다 많은 보조 뷰들이 존재하면, 보조 뷰보다 주 뷰에 보다 많은 대역폭을 할당하는 것이 유용할 수 있다.
도 8 내지 도 10은 종래 기술 및 본 발명을 개략적으로 예시한다. 도 8을 참조하여, 종래 기술에서, 비디오 인코더, 이 예에서는 AVC(진보된 비디오 코딩) 비디오 인코더(Venc)는 비디오 데이터 신호를 인코딩하고, 오디오 인코더는 오디오 신호를 인코딩한다. 멀티플렉서(MUX)는 비디오 스트림이 예를 들어, 0x1B와 같은 코드를 취득하고, 오디오 비트스트림이 코드(0x03)를 취득하는 멀티플렉싱된 신호를 생성한다. 2D 디멀티플렉서(2D demux)는 멀티플렉싱된 신호로부터 2개의 혼합 비트스트림들을 추출하고, 비디오 비트스트림을 비디오 디코더에 송신하고 오디오 비트스트림을 오디오 디코더에 송신한다. 따라서, 비디오 디코더는 처리할 수 있는 또는 처리할 수 없는 비디오 비트스트림 전체를 취득한다.
도 9는 인코딩측에서 본 발명의 인코딩 방법 및 인코딩 시스템이 사용되고, 디코딩측에서 표준 비디오 디바이스가 사용되는 상황을 예시한다.
인코딩 이후, 분할기는 인코딩된 스트림을 주 스트림(prim) 및 보조 스트림(sec)으로 분할한다. 멀티플렉서(mux)는 도 8의 경우에서와 같이, 주 뷰에 대해 비트스트림(0x1B)를 포함하고, 보조 뷰에 대해 개별적인 비트스트림(0x20), 및 오디오 비트스트림(0x03)을 포함하는 멀티플렉싱된 신호를 생성한다.
표준 디바이스는 멀티플렉싱된 신호로부터 주 비트스트림(0x1B)을 추출하고, 디멀티플렉서가 코드에 의해 비트스트림을 인식하기 때문에, 비트스트림(0x20)을 거부하는 디멀티플렉서를 포함한다. 비디오 디코더는 주 비트스트림(0x1B)을 수신한다. 주 비트스트림은 "보통의(normal)" 비트율을 가진 자기-충족 비트스트림이기 때문에, 비디오 디코더는 큰 어려움 없이 비트스트림을 디코딩할 수 있다. 따라서, 인코딩 방법 및 시스템은 역방향 호환 가능하다.
도 10은 본 발명에 따라 디코딩 시스템이 이용되는 상황을 예시한다.
디코더측에서, 디코더는 3D 디멀티플렉서(3D demux)를 포함한다. 이 디멀티플렉서는 오디오 비트스트림(0x03)을 오디오 디코더에 송신하고, 멀티플렉싱된 신호로부터 2개의 비디오 비트스트림들(0x1B(주 비트스트림) 및 0x02(보조 비트스트림)을 추출하고, 주 및 보조 스트림들을 재차 합병시키는 비트스트림 합병기(BSM)에서 2개의 비디오 비트스트림들을 그들 각자의 입력들에 송신한다. 합병된 비디오 스트림은 3D 비디오 데이터 신호를 제공하는 역 코딩 방법을 이용하여 합병된 비트스트림을 디코딩하는 디코더에 송신된다.
따라서, 특수화된 3D 비디오 디코딩 시스템은 3D 비디오 데이터 신호를 디코딩할 수 있으면서, 여전히 표준의 2D 비디오 디코딩 시스템은 또한 고품질의 이미지를 제공할 수 있다.
위에서 제공된 예들에서, 개선된 비디오 데이터 신호는 좌 및 우 뷰, 2개의 뷰들을 포함하는 3D 신호였다.
본 발명은 이런 상황에 매우 적절하지만, 이런 상황들로 제한되는 것은 아니다.
또한, 본 발명은 2개의 뷰들 대신, 다중뷰 신호가 생성될 때에도 역시 유용하다.
도 11은 도 5의 자기-충족 L 뷰 비트스트림에 견줄 수 있는 자기-충족된 주 중심 뷰, 각각이 중심 뷰 데이터에 의존하여 인코딩 및 압축되는 2개의 보조 뷰 비트-스트림들(B3 및 B3')인 3개의 인터리빙된 뷰 신호들이 존재하는 상황을 예시한다.
이 예에서, 3개의 뷰들, 즉 예를 들어, 중심 뷰와 같은 주 뷰, 및 예를 들어, 좌 및 우 뷰들과 같은 다수의 보조 뷰들이 존재한다. 중심 뷰에 대해, 자기-충족 비트스트림이 생성된다. 예를 들어, 좌 및 우 뷰와 같이 2개의 보조 뷰들에 대해, 보조(자기 충족이 아님) 비트스트림들이 생성된다.
이 실시예에서, 특히 다수의 보조 뷰들이 존재하는 경우, 압축에 있어서 보조 뷰 프레임들과 중심 뷰 프레임들에 대해 양자화 팩터를 다르게 사용하는 것이 유용할 수 있다.
이 실시예는 MVC(다중-뷰 인코딩) 인코더를 이용하여 다중 뷰 신호를 생성하는데 유용하다. 도 11의 예에서, 3개의 뷰들, 단일의 주 뷰 및 2개의 보조 뷰들이 생성된다. 2개 이상의 보조 뷰들은 생성될 뷰들의 다중도(multiplicity)에 의존하여 생성될 수 있다. 복합적인 실시예들에서, 하나 이상의 주 뷰 및 보다 많은 보조 뷰들이 생성될 수 있다.
본 발명의 다른 실시예가 도 12에서 예시된다.
개선된 비디오 데이터 신호들의 다른 카테고리는 보다 높은 주파수(예를 들어, 100Hz) 신호가 생성되는 것이다. 스테레오 신호들에 대해 상술한 문제는 이러한 비디오 데이터 신호들에 대해서도 존재한다. 대부분의 비디오 디스플레이 디바이스들은 표준 주파수들에서 동작하며, 디코더는 이러한 주파수들에 대해 설계된다.
도 12는 100Hz 프레임 레이트에서 매우 다수의 프레임들을 포함하는 고속 카메라(CAM 100Hz)에 의해 생성되는 신호를 예시한다. 이러한 신호는 표준 50Hz TV 시스템들에서 디스플레이하는데 적합하지 않다. 이는 보통의 프레임 분포 및 고속 프레임 분포를 포함하는 것으로 간주될 수 있다.
특수화된 비디오 디코더에서, 프레임들은 도 5에 도시된 방식과 동일한 방식으로 압축될 수 있다. 이는 도 13에서 도시된다. 고속 카메라로부터 발생한 신호는 인터리빙된 프레임들(즉, 홀수 및 짝수 번호 매겨짐)의 2 세트들의 신호를 제공하는 것으로서 보여질 수 있고, 이들 두 세트들은 압축되는데, 짝수 번호 프레임들은 50Hz 주파수의 자기-충족 프레임들의 세트를 형성하도록 압축되고, 홀수 번호 프레임들은 짝수 번호 프레임들의 세트에 의존하여 압축된다. 이 예는 프레임들의 세트들의 인터리빙이 인코더에 제공되는 신호에서 고유하다는 점에서 이전 예와는 다소 다르다. 그러나, 샘플 원리들을 적용한다. 짝수 프레임들은 주 비트스트림을 형성할 것이고, 홀수 프레임들은 보조 비트스트림을 형성할 것이고 또는 그 반대일 수 있다. 물론, 예를 들어, 200Hz 카메라가 사용되어 훨씬 높은 주파수 신호가 제공되면, 세트들의 수는 4개로 구성될 수 있고, 여기서, 단일의 주 50Hz 비트스트림 및 3개의 보조 비트스트림들이 생성된다.
도 14a 및 도 14b는 도 12 및 도 13에서 개략적으로 도시된 실시예에 대한 인코딩 및 디코딩 방식들을 도시한다. 이 방식들은 대부분 도 3a 및 도 3b의 방식들과 유사하다. 도 14a에서, 특수화된 디코더가 사용되는 상황이 개략적으로 도시된다. 100Hz 카메라(CAM 100Hz)는 SVC(스케일러블 비디오 코딩) 인코더에서, 도 13에서 개략적으로 도시된 인코딩 방식이 수행되기 때문에, 도 12에서 개략적으로 도시된 바와 같은 신호를 제공한다. 따라서, 카메라는 인코딩 시스템(7)에 의해 수신되는 인터리빙된(즉, 100Hz를 가진 짝수 및 홀수 프레임들) 신호를 제공하고, 인코딩 시스템(7)은 100Hz 카메라에 의해 제공된 인터리빙된 신호에 포함된 세트들 중 하나를 압축된 프레임들의 자기-충족 세트로 압축하는 인코더를 포함한다. 분할기(BSS)에서, 프레임들은 주 비트스트림(0x1B) 또는 보조 비트스트림(0x20) 중 어느 하나가 부가되고, 멀티플렉서에서 2개의 비트스트림들은 상이한 코드들이 제공된다. 그 역이 디코더(8)측에서 수행된다. STB는 셋톱 박스를 나타낸다. 최종의 디코딩된 신호는 100Hz TV에 공급된다. 본 발명의 이 실시예에 따른 디스플레이 디바이스는 디코딩 시스템(8) 및 100Hz TV를 포함한다. 본 발명의 이 실시예에 따른 기록 디바이스는 인코더(7) 및 카메라를 포함한다.
도 14b는 대응하는 종래의 디코딩 시스템을 구비한 50Hz TV가 이용될 때 상황을 예시한다. 표준 디멀티프렉서는 주 비트스트림을 인지 및 수용하여, 이를 50Hz TV를 향해 전방으로 송신할 것이다. 이러한 비트스트림은 자기-충족적이고, 적절한 포멧 및 주파수를 가지며, 50Hz Tv상에서 충분한 이미지 품질을 제공할 것이다. 보조 비트스트림은 거부되고, 50Hz TV 시스템의 정상 동작과 인터페이스하지 않는다.
위 실시예에서, SVC 스트림은 주파수(시간축)에 따라 분할한다. 또한, SVC는 해상도 및/또는 양자화 축(SNR, CGS(거친 입자 확장성), FGS(미세 입자 확장성)) 및/또는 컬러 샘플링 축(4:4:4, 4:2;0, 4:2:2)에 따라 프레임들을 분할하게 한다. 이러한 실시예들에서, 상술한 문제들 즉, 표준 비디오 디코더가 인입하는 비트스트림를 처리하는데 문제가 있다는 사실이 또한 발생한다; 다시 말해 호환성 문제들이 발생한다.
본 발명의 프레임워크 내에서, 그 광의의 견지에서, 비디오 스트림은 적어도 2개의 비트스트림들, 주 및 보조 비디오 스트림으로 분할되고(도 15 참조), 여기서 주 비디오 스트림은 자기 충족적이고, 보조 비디오 스트림은 디코딩하는데 주 비디오 스트림을 필요로 하고, 멀티플렉서에서, 주 비디오 스트림은 표준 코드(0x1B)가 제공되고, 보조 비디오 스트림은 상이한 코드(0x20)가 제공된다. 비디오 데이터 신호는 해상도 축에 따라 분할될 수 있는데, 여기서 멀티플렉싱된 신호의 주 비트스트림은 기저층에 대한 데이터를 포함하고, 상이한 코드가 제공된 멀티플렉싱된 신호의 보조 비트스트림은 개선층 또는 개선층들에 대한 비디오 데이터를 포함한다.
주 스트림에 제공된 코드는 표준 코드(예를 들어, 0x1B 또는 0x01)이고, 따라서, 보통의 표준 넌-스케일러블 MPEG(0x01용) 또는 H.264 비디오 디코더(0x1B용)(9)에 의해 판단 가능하고, 본 발명에 따른 특수화된 디코더(8)는 확장성 인코딩의 모든 이점을 이끌어낼 수 있다. 도 16a 및 도 16b는 도 16b에 도시된 바와 같이 SDTV(표준 해상도 TV)에 SDTV 비디오 데이터 신호를 공급하고, 도 16a에 도시된 바와 같이 HDTV(고해상도 TV)에 HDTV 비디오 데이터 신호를 공급하도록 적용될 수 있는 본 발명의 실시예를 제공한다.
또한, 본 발명은 본 발명에 따른 방법 또는 디바이스를 위해 임의의 컴퓨터 프로그램 제품에서 실시된다. 컴퓨터 프로그램 제품하에서 일련의 로딩 단계들(중간 언어 및 최종 처리기 언어로 변환하는 등의 중간 변환 단계들을 포함할 수 있음) 이후, 명령들을 처리기로 가져오거나, 본 발명의 특징 기능들 중 임의의 것을 실행하도록 처리기-특유의 또는 특수한 목적을 가능하게 하는 명령들의 집합의 임의의 물리적인 실현을 이해해야 한다. 구체적으로, 컴퓨터 프로그램 제품은 예를 들어, 디스크 또는 테이프와 같은 캐리어 상의 데이터, 메모리에 제공된 데이터, 유선 또는 무선의 네트워크 접속을 통해 이동하는 데이터, 또는 종이상의 프로그램 코드로서 실현될 수 있다. 프로그램 코드와 별개로, 프로그램에 필요한 특징 데이터는 컴퓨터 프로그램 제품으로서 또한 구현될 수 있다.
또한, 본 발명은 3D 비디오 기록 디바이스들 또는 고해상도 비디오 기록 디바이스들과 같이, 본 발명에 따른 인코딩 시스템을 포함하는 디바이스들에 관한 것이다.
또한, 본 발명은 본 발명에 따른 디코딩 시스템을 포함하는 디스플레이 디바이스들에 관한 것이다. 이러한 디바이스들은 예를 들어, 3D 비디오 디스플레이 디바이스들 또는 HDTV 디스플레이 디바이스 또는 증가된 해상도를 갖는 디스플레이 디바이스들일 수 있다.
또한, 본 발명은 개별의 코드들(0x01, 0x1B, 0x20)을 가진 적어도 2개의 관련된 비디오 데이터 신호들을 포함하는 멀티플렉싱된 비디오 데이터 신호에 관한 것이며, 여기서 제 1 비디오 데이터 신호(0x01, 0x1B)는 자기-충족 비디오 데이터 신호이고, 적어도 제 2 비디오 데이터 신호(0x20)는 그렇지 않다. 디멀티플렉서를 이용하여, 차별적으로 상이하게 디코더를 사용하지 않고 2개의 관련된(그러나 상이한) 비디오 데이터 신호들을 취급하는 것이 용이하다. 표준 2D 디스플레이 디바이스들 또는 SDTV 비트스트림들과 같은 표준 디바이스들에 있어서, 제 1 자기충족 신호는 제 2 신호로 디코더를 과부화시킴 없이, 디코더에 포워딩될 수 있다. 특수화된 비디오 시스템은 2개의 비디오 데이터 신호들의 데이터를 완전하게 이용할 수 있게 한다.
요약하면, 본 발명은 다음과 같이 기술될 수 있다:
비디오 데이터 신호들은 인코딩된 비디오 데이터 신호가 적어도 주 및 적어도 보조 비디오 데이터 신호를 포함하도록 인코딩된다. 주 및 보조 비디오 데이터 신호는 공동으로 압축된다. 주 비디오 데이터 신호는 자기-충족 방식으로 압축되고, 보조 비디오 데이터 신호는 주 비디오 데이터 신호로부터의 데이터를 이용하여 압축된다. 공동으로 압축된 비디오 데이터 신호는 개별적인 비트스트림들, 즉 주 비디오 데이터 신호에 대한 데이터를 포함하는 적어도 주 비트스트림 및 보조 비디오 데이터 신호에 대한 데이터를 포함하는 적어도 보조 비트스트림으로 분할되고, 그 후, 주 및 보조 비트스트림들은 멀티플렉싱된 신호로 멀티플렉싱되고, 주 및 보조 신호들은 개별적인 코드들이 제공된다.
상술한 실시예들은 본 발명을 제한하는 것이 아니라 예시하는 것이고, 당업자는 첨부된 청구범위들의 범위로부터 벗어남 없이 다수의 대안의 실시예들을 설계할 수 있을 것임을 주의해야 한다.
청구범위들에서, 괄호 사이에 위치한 임의의 참조 부호들은 청구항을 제한하는 것으로서 해석되어선 안된다.
단어 "포함하는"은 청구범위에 나열된 것 이외의 다른 소자들 또는 단계들의 존재를 배제하지 않는다. 본 발명은 상술한 바와 같이 다양한 상이한 바람직한 실시예들의 특징들의 임의의 조합에 의해 구현될 수 있다.
1 : 좌(L) 뷰 비디오 데이터 신호 2 : 우(R) 뷰 비디오 데이터 신호
5: 2D 비디오 인코더 6 : 2D 비디오 디코더
7 : 인코딩 시스템 8 : 디코딩 시스템
9 : 표준 비디오 시스템

Claims (27)

  1. 비디오 데이터 신호들을 인코딩하는 방법으로서, 비디오 데이터 신호는 인코딩되고, 상기 인코딩된 비디오 데이터 신호는 적어도 주 및 보조 비디오 데이터 신호를 포함하는, 상기 비디오 데이터 신호 인코딩 방법에 있어서,
    상기 주 및 보조 비디오 데이터 신호는 공동으로 압축되고, 상기 주 비디오 데이터 신호는 자기-충족 방식(self-contained manner)으로 압축되고, 상기 보조 비디오 데이터 신호는 상기 주 비디오 데이터 신호로부터의 데이터를 이용하여 압축되고, 상기 공동으로 압축된 비디오 데이터 신호는 개별적인 비트스트림들로 분할되고, 상기 비트스트림들은 상기 주 비디오 데이터 신호에 대한 데이터를 포함하는 주 비트스트림 및 상기 보조 비디오 데이터 신호에 대한 데이터를 포함하는 보조 비트스트림을 포함하고, 그 후 상기 주 및 보조 비트스트림들은 멀티플렉싱된 신호로 멀티플렉싱(MUX)되고, 상기 주 및 보조 신호들은 개별적인 코드들(0x1B, 0x20)이 제공되는, 비디오 데이터 신호 인코딩 방법.
  2. 제 1 항에 있어서,
    상기 비디오 데이터 신호는 인코딩되고, 상기 인코딩된 비디오 데이터 신호는 프레임들의 제 1(L,R) 및 적어도 제 2 세트(R,L)를 포함하고, 상기 제 1 및 제 2 세트의 프레임들은 인터리빙된 비디오 시퀀스(comb L+R)를 형성하도록 인터리빙(VI)되거나, 또는 프레임들의 제 1 및 제 2 세트를 포함하는 인터리빙된 비디오 데이터 신호(100Hz)가 수신되고, 상기 인터리빙된 비디오 시퀀스는 압축된 비디오 데이터 신호로 압축되고, 상기 제 1 세트의 프레임들은 상기 제 2 세트의 프레임들을 이용함 없이 인코딩 및 압축되고, 상기 제 2 세트의 프레임들은 상기 제 1 세트의 프레임들을 이용하여 인코딩 및 압축되고, 상기 압축된 비디오 데이터 신호는 주 및 적어도 보조 비트-스트림으로 후속적으로 분할(BSS)되고, 각 비트-스트림은 프레임들을 포함하고, 상기 주 비트-스트림은 상기 제 1 세트에 대한 압축된 프레임들을 포함하고, 상기 보조 비트-스트림은 상기 제 2 세트에 대한 압축된 프레임들을 포함하고, 상기 주 및 보조 비트-스트림들은 개별적인 비트-스트림들을 형성하고, 그 후 상기 주 및 보조 비트스트림들은 멀티플렉싱된 신호로 멀티플렉싱(MUX)되고, 상기 주 및 보조 신호들은 개별적인 코드들(0x1B, 0x20)이 제공되는, 비디오 데이터 신호 인코딩 방법.
  3. 제 2 항에 있어서,
    상기 비디오 데이터 신호는, 상기 주 비트스트림이 3D 비디오 데이터 신호의 뷰들(L,R) 중 하나의 프레임들에 대한 데이터를 포함하고, 상기 보조 비트스트림이 상기 3D 비디오 데이터 신호의 다른 뷰(R,L)의 프레임들에 대한 데이터를 포함하도록 인코딩되는, 비디오 데이터 신호 인코딩 방법.
  4. 제 2 항에 있어서,
    상기 비디오 데이터 신호는, 상기 주 비트스트림이 뷰들의 상이한 지점으로부터 3개 이상의 뷰들 중 하나의 프레임들에 대한 데이터를 포함하고, 하나 이상의 보조 비트스트림이 생성되도록 인코딩되고, 상기 보조 비트스트림은 다른 뷰들 중 하나의 프레임들에 대한 데이터를 포함하는, 비디오 데이터 신호 인코딩 방법.
  5. 제 2 항에 있어서,
    상기 비디오 데이터 신호는, 상기 주 비트스트림이 프레임들의 저주파수 세트에 대한 데이터를 포함하고, 상기 보조 비트스트림이 프레임들의 고주파수 세트에 대한 데이터를 포함하도록 인코딩되는, 비디오 데이터 신호 인코딩 방법.
  6. 제 1 항에 있어서,
    상기 멀티플렉싱된 신호의 상기 주 비트스트림은 기저층에 대한 데이터를 포함하고, 상이한 코드가 제공된 상기 멀티플렉싱된 신호의 상기 보조 비트스트림은 개선층 또는 개선층들에 대한 비디오 데이터를 포함하는, 비디오 데이터 신호 인코딩 방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 주 비트스트림은 상기 보조 비트스트림들보다 낮은 양자화 펙터(quantization factor)로 압축되는, 비디오 데이터 신호 인코딩 방법.
  8. 제 2 항에 있어서,
    프레임들의 상기 제 1 및 제 2 세트는 정기적으로 서로 교환되는, 비디오 데이터 신호 인코딩 방법.
  9. 비디오 데이터 신호를 인코딩하는 인코딩 시스템에 있어서,
    적어도 주 및 보조 비디오 데이터 신호를 생성하는 생성기 또는 이를 수신하는 수신기; 상기 주 및 상기 보조 비디오 데이터 신호를 공동으로 압축하는 압축기로서, 상기 주 비디오 데이터 신호를 자기-충족 방식으로 압축하고, 상기 보조 비디오 데이터 신호를 상기 주 비디오 데이터 신호로부터의 데이터를 이용하여 압축하는, 상기 압축기; 상기 공동으로 압축된 비디오 데이터 신호를 개별적인 비트스트림들로 분할하는 분할기(BSS)로서, 주 비트스트림은 상기 주 비디오 데이터 신호에 대한 데이터를 포함하고, 보조 비트스트림은 상기 보조 비디오 데이터 신호에 대한 데이터를 포함하는, 상기 분할기; 및 상기 주 및 보조 비트스트림들을 멀티플렉싱된 신호로 멀티플렉싱하고, 상기 주 및 보조 신호들에 개별적인 코드들(0x1B, 0x20)을 제공하는 멀티플렉서(MUX)를 포함하는, 비디오 데이터 신호 인코딩 시스템.
  10. 제 8 항에 따른 개선된 비디오 데이터 신호를 인코딩하는 인코딩 시스템으로서, 인터리빙된 비디오 시퀀스를 형성하도록 제 1 및 제 2 뷰로부터의 프레임들을 인터리빙하는 인터리버(VI), 또는 프레임들의 제 1 및 제 2 세트를 포함하는 인터리빙된 비디오 시퀀스를 수신하는 수신기를 포함하고, 상기 인터리빙된 비디오 신퀀스를 인코딩하는 인코더로서, 상기 인코더는 상기 제 2 뷰의 프레임들을 이용함 없이 상기 뷰들 중 제 1 뷰의 프레임들을 압축하고, 상기 제 1 뷰의 프레임들을 이용하여 상기 제 2 뷰의 프레임들을 압축하는 압축기를 포함하는 상기 인코더를 포함하는, 상기 개선된 비디오 데이터 신호 인코딩 시스템에 있어서,
    상기 압축된 비디오 데이터 신호를 주 및 보조 비트스트림으로 분할하는 분할기(BSS)로서, 각 비트스트림은 프레임들을 포함하고, 상기 주 비트-스트림은 상기 제 1 세트에 대한 압축된 프레임들을 포함하고, 상기 보조 비트-스트림은 상기 제 2 세트에 대한 압축된 프레임들을 포함하고, 상기 주 및 보조 비트스트림은 개별적인 비트-스트림들을 형성하는, 상기 분할기를 포함하고,
    상기 인코딩 시스템은 상기 주 및 보조 비트스트림들을 멀티플렉싱하고, 상기 주 및 보조 비트-스트림들에 개별적인 코드들(0x1B,0x20)을 제공하는 멀티플렉서(MUX)를 추가로 포함하는, 개선된 비디오 데이터 신호 인코딩 시스템.
  11. 제 10 항에 있어서,
    상기 인터리버는 스테레오 뷰들의 쌍의 좌 및 우 뷰를 인터리빙하도록 구성되는, 개선된 비디오 데이터 신호 인코딩 시스템.
  12. 제 11 항에 있어서,
    상기 인터리버는 2개 이상의 뷰들의 인터리빙된 프레임들을 위해 배열되는, 개선된 비디오 데이터 신호 인코딩 시스템.
  13. 제 9 항에 있어서,
    상기 시스템은 고주파수 카메라로부터의 프레임들을 수신하도록 구성되는, 비디오 데이터 신호 인코딩 시스템.
  14. 제 9 항 내지 제 13 항 중 어느 한 항에 따른 인코딩 시스템을 포함하는 기록 디바이스.
  15. 제 1 항 내지 제 8 항 중 어느 한 항에 따른 인코딩 방법을 수행하는 프로그램 코드 수단을 포함하는 컴퓨터 프로그램으로서, 상기 프로그램은 컴퓨터상에서 실행되는, 컴퓨터 프로그램.
  16. 제 1 항 내지 제 8 항 중 어느 한 항에 따른 인코딩 방법을 수행하는 컴퓨터 판독 가능 매체에 저장된 컴퓨터 코드 수단을 포함하는 컴퓨터 프로그램 제품.
  17. 비디오 데이터 신호를 디코딩하는 방법에 있어서,
    멀티플렉싱된 신호가 수신되고, 상기 멀티플렉싱된 신호는 개별적인 코드들(0x01, 0x1B, 0x20)을 가진 적어도 2개의 비디오 데이터 신호들을 포함하고, 제 1 비디오 데이터 신호(0x01, 0x1B)는 자기-충족 비디오 데이터 신호이고 적어도 제 2 비디오 데이터 신호(0x20)는 그렇지 않고, 그 후, 상기 2개의 신호들은 디멀티플렉싱 및 합병(BSM)되고, 상기 합병된 신호는 디코딩 및 압축해제되고, 상기 자기-충족 비디오 데이터 신호의 압축해제시에 상기 자기-충족 비디오 데이터 신호로부터의 데이터만이 사용되고, 상기 제 2 비디오 데이터 신호의 압축해제시에, 상기 제 1 비디오 데이터 신호의 데이터가 사용되는, 비디오 데이터 신호 디코딩 방법.
  18. 제 17 항에 있어서,
    상기 합병된 신호는 프레임들의 인터리빙된 세트를 형성하고, 압축해제 이후 상기 프레임들은 2개 이상의 뷰들을 제공하도록 디-인터리빙(VDI)되는, 비디오 데이터 신호 디코딩 방법.
  19. 제 18 항에 있어서,
    좌 및 우 뷰가 형성되는, 비디오 데이터 신호 디코딩 방법.
  20. 제 18 항에 있어서,
    다중 뷰의 하나 이상의 뷰가 형성되는, 비디오 데이터 신호 디코딩 방법.
  21. 제 17 항에 있어서,
    상기 제 1 비디오 데이터 신호(0x01, 0x1B)는 기저층에 관한 데이터를 포함하고, 상기 제 2 비디오 데이터 신호(0x20)는 개선층 또는 개선층들에 관한 데이터를 포함하는, 비디오 데이터 신호 디코딩 방법.
  22. 비디오 데이터 신호를 디코딩하는 디코딩 시스템에 있어서,
    멀티플렉싱된 신호를 수신하는 수신기로서, 상기 멀티플렉싱된 신호는 개별적인 코드들(0x01, 0x1B, 0x20)을 갖는 적어도 2개의 비디오 데이터 신호들을 포함하고, 제 1 비디오 데이터 신호(0x01, 0x1B)는 자기-충족 비디오 데이터 신호이고, 적어도 제 2 비디오 데이터 신호(0x20)는 그렇지 않은, 상기 수신기, 상기 멀티플렉싱된 신호를 디멀티플렉싱하는 디멀티플렉서, 적어도 2개의 디멀티플렉싱된 신호들을 조합된 신호로 합병하는 합병기(BSM), 및 상기 조합된 신호를 디코딩 및 압축해제하는 디코더를 포함하고, 상기 디코더는 자기-충족 비디오 데이터 신호의 압축해제시에 상기 자기-충족 비디오 데이터 신호로부터의 데이터만이 사용되고, 상기 제 2 비디오 데이터 신호의 압축해제시에 상기 제 1 비디오 데이터 신호의 데이터가 사용되도록 구성되는, 비디오 데이터 신호 디코딩 시스템.
  23. 제 22 항에 있어서,
    상기 합병된 신호는 인터리빙된 프레임들의 세트를 형성하고,
    상기 시스템은, 압축해제 이후 2개 이상의 뷰들을 제공하도록 상기 프레임들을 디-인터리빙하는 디-인터리버(VDI)를 포함하는, 비디오 데이터 신호 디코딩 시스템.
  24. 제 22 항 또는 제 23 항에 따른 디코딩 시스템을 포함하는 디스플레이 디바이스.
  25. 제 17 항 내지 제 21 항 중 어느 한 항에 따른 인코딩 방법을 수행하는 프로그램 코드 수단을 포함하는 컴퓨터 프로그램으로서, 상기 프로그램은 컴퓨터상에서 실행되는, 컴퓨터 프로그램.
  26. 제 17 항 내지 제 21 항 중 어느 한 항에 따른 인코딩 방법을 수행하는 컴퓨터 판독 가능 매체에 저장된 프로그램 코드 수단을 포함하는, 컴퓨터 프로그램 제품.
  27. 개별적인 코드들(0x01, 0x1B, 0x20)을 가진 적어도 2개의 관련된 비디오 데이터 신호들을 포함하는 멀티플렉싱된 비디오 데이터 신호에 있어서,
    제 1 비디오 데이터 신호(0x01, 0x1B)는 자기-충족 비디오 데이터 신호이고 적어도 제 2 비디오 데이터 신호(0x20)는 그렇지 않은, 멀티플렉싱된 비디오 데이터 신호.
KR1020107008965A 2007-09-24 2008-09-16 비디오 데이터 신호, 인코딩된 비디오 데이터 신호를 인코딩하는 방법 및 시스템, 및 비디오 데이터 신호 디코딩 방법 및 시스템 KR101564461B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP07117057.5 2007-09-24
EP07117057 2007-09-24

Publications (2)

Publication Number Publication Date
KR20100063806A true KR20100063806A (ko) 2010-06-11
KR101564461B1 KR101564461B1 (ko) 2015-11-06

Family

ID=39111361

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107008965A KR101564461B1 (ko) 2007-09-24 2008-09-16 비디오 데이터 신호, 인코딩된 비디오 데이터 신호를 인코딩하는 방법 및 시스템, 및 비디오 데이터 신호 디코딩 방법 및 시스템

Country Status (15)

Country Link
US (4) US8854427B2 (ko)
EP (2) EP2204043B1 (ko)
JP (1) JP2011515874A (ko)
KR (1) KR101564461B1 (ko)
CN (2) CN101816179A (ko)
BR (1) BRPI0817192B1 (ko)
CA (1) CA2700499C (ko)
EG (1) EG26406A (ko)
ES (1) ES2536776T3 (ko)
MX (1) MX2010003159A (ko)
MY (1) MY162861A (ko)
PL (1) PL2204043T3 (ko)
RU (1) RU2518408C2 (ko)
WO (1) WO2009040701A2 (ko)
ZA (1) ZA201002896B (ko)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102044130B1 (ko) 2007-04-12 2019-11-12 돌비 인터네셔널 에이비 비디오 인코딩 및 디코딩의 타일링
MY162861A (en) 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
WO2010010521A2 (en) 2008-07-24 2010-01-28 Koninklijke Philips Electronics N.V. Versatile 3-d picture format
US9357231B2 (en) * 2008-07-31 2016-05-31 Mitsubishi Electric Corporation Video encoding device, video encoding method, video reproducing device, video reproducing method, video recording medium, and video data stream
US20100177162A1 (en) * 2009-01-15 2010-07-15 Charles Macfarlane Method and system for enabling 3d video and image processing using one full resolution video stream and one lower resolution video stream
CN104702960B (zh) 2009-01-26 2018-01-02 汤姆森特许公司 用于视频解码的装置
JP4984183B2 (ja) * 2009-04-07 2012-07-25 ソニー株式会社 再生装置、再生方法、および記録方法
US9036700B2 (en) 2009-07-15 2015-05-19 Google Technology Holdings LLC Simulcast of stereoviews for 3D TV
KR101353115B1 (ko) * 2009-08-03 2014-01-21 제너럴 인스트루먼트 코포레이션 비디오 컨텐트를 인코딩하는 방법
US8428122B2 (en) * 2009-09-16 2013-04-23 Broadcom Corporation Method and system for frame buffer compression and memory resource reduction for 3D video
WO2011039679A1 (en) 2009-10-02 2011-04-07 Koninklijke Philips Electronics N.V. Selecting viewpoints for generating additional views in 3d video
JP2011087194A (ja) * 2009-10-16 2011-04-28 Sony Corp 画像処理装置および画像処理方法
US20110176616A1 (en) * 2010-01-21 2011-07-21 General Instrument Corporation Full resolution 3d video with 2d backward compatible signal
KR101694821B1 (ko) * 2010-01-28 2017-01-11 삼성전자주식회사 다시점 비디오스트림에 대한 링크 정보를 이용하는 디지털 데이터스트림 전송 방법와 그 장치, 및 링크 정보를 이용하는 디지털 데이터스트림 전송 방법과 그 장치
US9215445B2 (en) 2010-01-29 2015-12-15 Thomson Licensing Block-based interleaving
KR101787133B1 (ko) * 2010-02-15 2017-10-18 톰슨 라이센싱 비디오 콘텐츠 처리 장치 및 방법
EP2364031A1 (en) * 2010-03-01 2011-09-07 Telefonaktiebolaget L M Ericsson (Publ) Compression coding and compression decoding of video signals
JP2011216965A (ja) * 2010-03-31 2011-10-27 Sony Corp 情報処理装置、情報処理方法、再生装置、再生方法、およびプログラム
EP2591602A1 (en) 2010-07-06 2013-05-15 Koninklijke Philips Electronics N.V. Generation of high dynamic range images from low dynamic range images
WO2012020358A1 (en) 2010-08-09 2012-02-16 Koninklijke Philips Electronics N.V. Encoder, decoder, bit-stream, method of encoding, method of decoding an image pair corresponding with two views of a multi-view signal
CN102387359A (zh) * 2010-08-31 2012-03-21 中国电信股份有限公司 三维视频传输方法、系统及编解码装置
CN103181171B (zh) 2010-11-04 2016-08-03 皇家飞利浦电子股份有限公司 深度指示图的产生
KR101910192B1 (ko) * 2010-11-12 2018-10-22 한국전자통신연구원 3ｄｔｖ 서비스에서의 영상 압축 규격 결정 방법 및 장치
WO2012077987A2 (ko) * 2010-12-08 2012-06-14 엘지전자 주식회사 디지털 방송 신호 수신 장치 및 방법
CN105100822B (zh) * 2011-01-28 2018-05-11 华为技术有限公司 辅助视频补充信息承载方法、处理方法、装置与系统
WO2012112142A1 (en) 2011-02-15 2012-08-23 Thomson Licensing Apparatus and method for generating a disparity map in a receiving device
KR101187530B1 (ko) * 2011-03-02 2012-10-02 한국과학기술원 모노스코픽, 스테레오 스코픽 및 멀티뷰를 위한 렌더링 방법, 시스템 및 이를 위한 기록매체
KR20120105199A (ko) * 2011-03-15 2012-09-25 엘지디스플레이 주식회사 다중 시청 가능한 입체영상 표시장치 및 그 구동방법
US9143757B2 (en) * 2011-04-27 2015-09-22 Electronics And Telecommunications Research Institute Method and apparatus for transmitting and receiving stereoscopic video
ITTO20110414A1 (it) * 2011-05-11 2012-11-12 St Microelectronics Pvt Ltd Procedimento ed apparecchiatura per elaborare segnali video, prodotto informatico e segnale codificato relativi
GB2546641B (en) 2011-05-13 2017-12-27 Snell Advanced Media Ltd Video processing method and apparatus for use with a sequence of stereoscopic images
KR20130011994A (ko) * 2011-07-22 2013-01-30 삼성전자주식회사 송신 장치, 수신 장치 및 그 송수신 방법
TWI595770B (zh) 2011-09-29 2017-08-11 杜比實驗室特許公司 具有對稱圖像解析度與品質之圖框相容全解析度立體三維視訊傳達技術
EP2761877B8 (en) 2011-09-29 2016-07-13 Dolby Laboratories Licensing Corporation Dual-layer frame-compatible full-resolution stereoscopic 3d video delivery
US9479762B2 (en) * 2011-12-05 2016-10-25 Tektronix, Inc. Stereoscopic video temporal frame offset measurement
KR101654750B1 (ko) 2012-03-12 2016-09-06 돌비 레버러토리즈 라이쎈싱 코오포레이션 3d 시각적 다이나믹 레인지 코딩
US10021388B2 (en) 2012-12-26 2018-07-10 Electronics And Telecommunications Research Institute Video encoding and decoding method and apparatus using the same
JP2014175945A (ja) * 2013-03-11 2014-09-22 Toshiba Corp 映像蓄積装置、映像蓄積再生装置、映像蓄積方法及び映像蓄積再生方法
CN105103543B (zh) * 2013-04-12 2017-10-27 寰发股份有限公司 兼容的深度依赖编码方法
CN103888735A (zh) * 2014-03-26 2014-06-25 龙迅半导体科技(合肥)有限公司 一种多路视频监控图像数据处理方法及系统
US9723377B2 (en) * 2014-04-28 2017-08-01 Comcast Cable Communications, Llc Video management
CN105657426B (zh) * 2016-01-08 2018-12-07 全时云商务服务股份有限公司 一种视频编码系统和方法
US10944971B1 (en) * 2017-05-22 2021-03-09 Cinova Media Method and apparatus for frame accurate field of view switching for virtual reality
US11095908B2 (en) * 2018-07-09 2021-08-17 Samsung Electronics Co., Ltd. Point cloud compression using interpolation
US10630976B2 (en) * 2018-08-17 2020-04-21 Qualcomm Incorporated Display refresh blocks determination for video coding
WO2020251154A1 (ko) * 2019-06-12 2020-12-17 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN113271466B (zh) * 2020-02-14 2022-12-02 北京小鸟科技股份有限公司 图像编码方法、解码方法、传输方法以及存储装置和处理装置
CN114866801B (zh) * 2022-04-13 2023-10-27 中央广播电视总台 视频数据的处理方法、装置、设备及计算机可读存储介质

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8203110A (nl) * 1982-08-05 1984-03-01 Philips Nv Vierde-orde digitaal multiplex systeem voor transmissie van een aantal digitale signalen met een nominale bitsnelheid van 44 736 kbit/s.
JP2736779B2 (ja) 1988-02-03 1998-04-02 株式会社トプコン 眼底カメラの螢光撮影装置
US5233302A (en) * 1991-06-21 1993-08-03 General Electric Company Masking motion ghost artifacts in NMR images
GB2267194B (en) * 1992-05-13 1995-10-04 Sony Broadcast & Communication Apparatus and method for processing image data
JPH07123447A (ja) 1993-10-22 1995-05-12 Sony Corp 画像信号記録方法および画像信号記録装置、画像信号再生方法および画像信号再生装置、画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
US5612735A (en) * 1995-05-26 1997-03-18 Luncent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing two disparity estimates
GB2309572A (en) * 1996-01-26 1997-07-30 Sharp Kk Spatial light modulator display
JPH0942675A (ja) 1995-07-25 1997-02-14 Osaka Gas Co Ltd ガスこんろ
JPH09139937A (ja) * 1995-11-14 1997-05-27 Fujitsu Ltd 動画ストリーム変換装置
DE19547707A1 (de) * 1995-12-20 1997-07-03 Thomson Brandt Gmbh Verfahren, Encoder und Decoder zur Übertragung von hierarchisch in mehrere Teile gegliederten digitalen Signalen
DE19609735C2 (de) 1996-03-13 1998-01-29 Schott Glaswerke Bleifreie Kronflintgläser
US5886736A (en) * 1996-10-24 1999-03-23 General Instrument Corporation Synchronization of a stereoscopic video sequence
JPH10164347A (ja) 1996-11-26 1998-06-19 Ricoh Co Ltd 画像読取装置
JPH10243419A (ja) * 1997-02-26 1998-09-11 Toshiba Corp 立体視画像符号化・復号化方法及び装置
CN1190081C (zh) * 1997-03-17 2005-02-16 松下电器产业株式会社 发送和接收动态图像数据的方法及其设备
US6925250B1 (en) * 1997-08-29 2005-08-02 Matsushita Electric Industrial Co., Ltd. Optical disc for recording high resolution and normal image, optical disc player, optical disc recorder, and playback control information generator
JPH1198528A (ja) 1997-09-19 1999-04-09 Fujitsu Ltd 立体動画像圧縮方法及び装置
JPH11317039A (ja) * 1998-02-16 1999-11-16 Sanyo Electric Co Ltd ディスクカ―トリッジ及びディスクプレ―ヤ
US6157412A (en) * 1998-03-30 2000-12-05 Sharp Laboratories Of America, Inc. System for identifying video fields generated from film sources
US20030115608A1 (en) * 1998-04-16 2003-06-19 Richard L. Armstrong Signal distribution method and apparatus
CN1230076C (zh) * 1998-05-25 2005-12-07 汕头新天地保健实业总公司 电子驱虫器
JP3646849B2 (ja) * 1998-05-28 2005-05-11 Ｋｄｄｉ株式会社 ステレオ動画像用符号化装置
JP3776595B2 (ja) * 1998-07-03 2006-05-17 日本放送協会 多視点画像の圧縮符号化装置および伸長復号化装置
US6233389B1 (en) * 1998-07-30 2001-05-15 Tivo, Inc. Multimedia time warping system
FI106998B (fi) * 1999-01-15 2001-05-15 Nokia Mobile Phones Ltd Bittinopeuden ohjaus multimedialaitteessa
EP1039750A3 (en) * 1999-03-26 2005-05-25 Matsushita Electric Industrial Co., Ltd. Video storage and retrieval apparatus
WO2001022729A1 (en) * 1999-09-20 2001-03-29 Tivo, Inc. Closed caption tagging system
US20020009137A1 (en) 2000-02-01 2002-01-24 Nelson John E. Three-dimensional video broadcasting system
CN1205818C (zh) * 2000-04-11 2005-06-08 皇家菲利浦电子有限公司 视频编码和解码方法
JP2002142227A (ja) 2000-11-02 2002-05-17 Matsushita Electric Ind Co Ltd 映像信号の階層型符号化装置および階層型復号化装置
CN1145153C (zh) * 2001-02-26 2004-04-07 扬智科技股份有限公司 控制光盘机载体的控制系统及其方法
US20070230921A1 (en) * 2001-04-05 2007-10-04 Barton James M Multimedia time warping system
CN100375394C (zh) * 2001-08-23 2008-03-12 北方电讯网络有限公司 通过组合陪集和强编码陪集标识符实现正交幅度调制的系统和方法
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
RU2237283C2 (ru) * 2001-11-27 2004-09-27 Самсунг Электроникс Ко., Лтд. Устройство и способ представления трехмерного объекта на основе изображений с глубиной
KR100454194B1 (ko) 2001-12-28 2004-10-26 한국전자통신연구원 다중 디스플레이 방식을 지원하는 양안식 동영상 부호화/복호화 장치 및 그 방법
KR100959573B1 (ko) * 2002-01-23 2010-05-27 노키아 코포레이션 비디오 코딩시 이미지 프레임들의 그루핑
AU2003221435A1 (en) * 2002-03-22 2003-10-08 Pioneer Corporation Information recording medium, information recording device and method, information reproduction device and method, information recording/reproduction device and method, recording or reproduction control computer program, and data structure containing control signal
US20050231507A1 (en) * 2002-07-04 2005-10-20 Koninklijke Philips Electronics N.V. Topological image model
US20040151394A1 (en) * 2003-01-31 2004-08-05 Mikael Soderberg Symmetrical, highly deterministic, low complexity, temporal transform video codec and vehicle distribution system incorporating same
EP1599998B1 (en) * 2003-02-11 2011-04-06 NDS Limited Apparatus and methods for handling interactive applications in broadcast networks
KR100556826B1 (ko) * 2003-04-17 2006-03-10 한국전자통신연구원 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법
US7489342B2 (en) * 2004-12-17 2009-02-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for managing reference pictures in multiview videos
KR20060024449A (ko) * 2003-06-30 2006-03-16 코닌클리케 필립스 일렉트로닉스 엔.브이. 오버컴플릿 웨이브릿 도메인에서 비디오 코딩
US7650036B2 (en) * 2003-10-16 2010-01-19 Sharp Laboratories Of America, Inc. System and method for three-dimensional video coding
KR100987775B1 (ko) * 2004-01-20 2010-10-13 삼성전자주식회사 영상의 3차원 부호화 방법
JP2007525906A (ja) 2004-02-27 2007-09-06 ティディヴィジョン コーポレイション エス．エー． デ シー．ヴィ． 立体３ｄビデオイメージディジタルコーディングのシステムおよび方法
US20050251750A1 (en) * 2004-05-10 2005-11-10 Robert Vallone Television viewer interface system
KR100585966B1 (ko) * 2004-05-21 2006-06-01 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8374238B2 (en) * 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
US7728877B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Laboratories, Inc. Method and system for synthesizing multiview videos
KR20080006609A (ko) * 2005-04-13 2008-01-16 노키아 코포레이션 스케일링가능성 정보의 코딩, 저장, 및 시그널링
KR100657322B1 (ko) * 2005-07-02 2006-12-14 삼성전자주식회사 로컬 3차원 비디오를 구현하기 위한 인코딩/디코딩 방법 및장치
WO2007004633A1 (ja) * 2005-07-05 2007-01-11 Sanyo Electric Co., Ltd. 立体画像処理方法及び立体画像処理装置及びプログラム及びプログラムが格納された記録媒体
US8705617B2 (en) * 2005-09-27 2014-04-22 Qualcomm Incorporated Multiple layer video encoding
US8879857B2 (en) * 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
US9131247B2 (en) * 2005-10-19 2015-09-08 Thomson Licensing Multi-view video coding using scalable video coding
US7903737B2 (en) * 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency
KR100747598B1 (ko) * 2005-12-09 2007-08-08 한국전자통신연구원 디지털방송 기반의 3차원 입체영상 송수신 시스템 및 그방법
AU2007204168B2 (en) * 2006-01-11 2011-02-24 Nokia Technologies Oy Backward-compatible aggregation of pictures in scalable video coding
KR100754205B1 (ko) * 2006-02-07 2007-09-03 삼성전자주식회사 다시점 동영상 부호화 장치 및 방법
JP4983147B2 (ja) * 2006-08-18 2012-07-25 富士通セミコンダクター株式会社 多重化装置、多重化方法および多重化プログラム
KR100864826B1 (ko) * 2006-09-29 2008-10-23 한국전자통신연구원 디지털 방송기반의 3차원 정지영상 서비스 방법 및 장치
US8594180B2 (en) * 2007-02-21 2013-11-26 Qualcomm Incorporated 3D video encoding
US8249984B2 (en) * 2007-05-31 2012-08-21 International Business Machines Corporation System and method for fair-sharing in bandwidth sharing ad-hoc networks
MY162861A (en) 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal

Also Published As

Publication number Publication date
WO2009040701A2 (en) 2009-04-02
US8854427B2 (en) 2014-10-07
CA2700499A1 (en) 2009-04-02
CN101816179A (zh) 2010-08-25
CN104935956A (zh) 2015-09-23
CN104935956B (zh) 2019-01-22
EG26406A (en) 2013-10-21
CA2700499C (en) 2017-10-24
MX2010003159A (es) 2010-04-01
ZA201002896B (en) 2011-07-27
EP2863640A1 (en) 2015-04-22
JP2011515874A (ja) 2011-05-19
US20230276039A1 (en) 2023-08-31
ES2536776T3 (es) 2015-05-28
BRPI0817192B1 (pt) 2020-08-04
US10904509B2 (en) 2021-01-26
EP2204043B1 (en) 2015-04-01
PL2204043T3 (pl) 2015-08-31
RU2518408C2 (ru) 2014-06-10
US20140369423A1 (en) 2014-12-18
AU2008303276A1 (en) 2009-04-02
BRPI0817192A2 (pt) 2015-03-17
MY162861A (en) 2017-07-31
US20210105449A1 (en) 2021-04-08
US11677924B2 (en) 2023-06-13
RU2010116176A (ru) 2011-11-10
EP2204043A2 (en) 2010-07-07
KR101564461B1 (ko) 2015-11-06
US20100110163A1 (en) 2010-05-06
WO2009040701A3 (en) 2009-05-22

Similar Documents

Publication Publication Date Title
US11677924B2 (en) Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
CN102474635B (zh) 用于3d tv的立体视图的同播
JP4930810B2 (ja) 画像処理装置、画像処理方法、および記録媒体
US8665968B2 (en) Method and system for 3D video coding using SVC spatial scalability
US11653007B2 (en) Low complexity enhancement video coding
US20110134214A1 (en) Method and system for 3d video coding using svc temporal and spatial scalabilities
KR20030056267A (ko) 다중 디스플레이 방식을 지원하는 양안식 동영상 부호화장치와 복호화 장치 및 그 방법
KR20120026026A (ko) 방송 수신기 및 3ｄ 비디오 데이터 처리 방법
KR20120018281A (ko) 다계층 영상 부호화 및 복호화 방법 및 장치
TW201419874A (zh) 用於編碼及解碼數位視訊之方法及其相關編碼及解碼裝置
JPWO2013161442A1 (ja) 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
KR20080114500A (ko) 기본시점 복호 및 시점 임의 접근을 지원하기 위한 다시점비디오 부호화 시스템, 복호화 시스템 및 비트스트림 추출시스템
US20160295239A1 (en) Method and apparatus for integrated encoding/decoding of different multilayer video codec
KR100943634B1 (ko) 깊이 정보의 계층적 부호화를 통한 자유 시점 비디오콘텐츠 제공 방법 및 장치
AU2008303276B2 (en) Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
JP4499204B2 (ja) 画像信号多重化装置および方法、並びに伝送媒体
KR20150066301A (ko) 고화질 콘텐츠의 송수신 방법 및 장치
GB2613015A (en) Decoding a multi-layer video stream using a joint packet stream
WO2023089340A1 (en) Processing a multi-layer video stream
KR20120120619A (ko) 쓰리디 티브이 방송을 지원하는 동영상 부호화 방법, 복호화 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant