KR20110106466A - 다중 이미지들，예를 들면 스테레오스코픽을 서브―샘플링 및 인터리빙하기 위한 방법들 및 디바이스들 - Google Patents

다중 이미지들，예를 들면 스테레오스코픽을 서브―샘플링 및 인터리빙하기 위한 방법들 및 디바이스들 Download PDF

Info

Publication number
KR20110106466A
KR20110106466A KR1020117019713A KR20117019713A KR20110106466A KR 20110106466 A KR20110106466 A KR 20110106466A KR 1020117019713 A KR1020117019713 A KR 1020117019713A KR 20117019713 A KR20117019713 A KR 20117019713A KR 20110106466 A KR20110106466 A KR 20110106466A
Authority
KR
South Korea
Prior art keywords
images
data
image
sub
video
Prior art date
Application number
KR1020117019713A
Other languages
English (en)
Other versions
KR101405019B1 (ko
Inventor
알렉산드로스 투어라피스
월터 제이. 후사크
페샬라 브이. 파할라와타
아타나시오스 레온타리스
Original Assignee
돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 레버러토리즈 라이쎈싱 코오포레이션 filed Critical 돌비 레버러토리즈 라이쎈싱 코오포레이션
Publication of KR20110106466A publication Critical patent/KR20110106466A/ko
Application granted granted Critical
Publication of KR101405019B1 publication Critical patent/KR101405019B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation

Abstract

샘플링된 데이터는 인코딩 및 디코딩을 위한 체커보드 포맷으로 패키징된다. 샘플링된 데이터는 퀸컹스 샘플링된 멀티-이미지 비디오 데이터(예를 들면, 3D 비디오 또는 멀티-프로그램 스트림)일 수도 있고, 데이터는 또한 표준화된 비디오 인코더를 이용하여 인코딩된 다음 디코딩되는 비디오 스트림의 프레임들에서 멀티플렉싱되거나 인터리빙되는 각 이미지의 서브-이미지들로 분할될 수도 있다. 시청을 위한 시스템은 표준 비디오 디코더를 이용할 수도 있고, 각 프레임의 디코딩된 서브-이미지들을 디-인터리빙하는 포매팅 디바이스는 디스플레이 디바이스에 대한 이미지들을 재포매팅한다. 바람직한 품질 및 압축률이 달성되도록, 3D 비디오는 가장 유리한 인터리빙 포맷을 이용하여 인코딩될 수도 있다. 일 실시예에서, 본 발명은 다중 포맷들로 데이터를 수용하는 디스플레이 디바이스를 포함한다.

Description

다중 이미지들，예를 들면 스테레오스코픽을 서브―샘플링 및 인터리빙하기 위한 방법들 및 디바이스들{METHODS AND DEVICES FOR SUB-SAMPLING AND INTERLEAVING MULTIPLE IMAGES, EG STEREOSCOPIC}
본원은 참조로서 전체로 본원에 포함되는, 2009년 1월 29일 출원된 미국 가출원 제 61/148,051호를 우선권으로 청구한다.
본 발명은 디지털 데이터의 코딩 및 디코딩, 특히, 디지털 비디오 데이터에 관한 것이다.
최근에, 콘텐트 제공자들은 입체(3D) 콘텐트를 가정에 공급하는 것에 상당히 관심을 갖게 되었다. 이 관심은 3D 소재의 인기 및 제작의 증가 뿐만 아니라, 소비자가 이미 이용할 수 있는 여러 입체 디바이스들의 출현으로 인한 것이다. 입체 소재를 가정에 공급하기 위한 여러 시스템들이 제안되어 있다.
본 발명자들은 3D 및 다른 멀티-이미지 비디오 시스템들에 대한 더 양호한 인코딩 및 디코딩 필요성을 인식하였다. 다양한 실시예들에서, 본 발명은 비디오 데이터를 인코딩 및 디코딩하기 위한 방법들, 시스템들 및 아키텍처들을 제공한다. 예를 들면, 체커보드(CB) 인터리빙된 비디오 데이터를 이용하는 인코딩 및 디코딩이 있고, 여기서, 데이터는 "빨간색" 데이터가 "빨간색" 데이터에 선행하는 "검정색" 데이터에 이어지는 포맷에서 "빨간색" 또는 "검정색" 중 어느 하나이고("빨간색 데이터는 제 1 이미지, 뷰, 또는 장면의 이미지 데이터를 의미한다)(총괄하여 복수의 "뷰들" 또는 단수의 "뷰"라고 지칭된다), "검정색" 데이터는(예를 들면, 별개의 비디오 스트림의) 제 2 독립적인 뷰 또는 관련된 뷰(예를 들면, "빨간색" 및 "검정색" 데이터 모두로부터 렌더링되는 3D 이미지의 제 2 뷰, 또는 "빨간색" 데이터에서 전달되는 동일한 뷰의 또 다른 각도)의 이미지 데이터를 의미한다. 이들 개념들을 확장하면, 인터리빙된 비디오는 예를 들면, 다중 프로그램 스트림들로부터의 다중 이미지들, 동일 장면의 다중 각도들, 또는 동일하거나 상이한 장면, 비디오 게임, 또는 프로그램의 3D 뷰들의 다중 세트들 중 임의의 하나 이상을 포함할 수도 있다. 또한, 인코딩을 위한 프레임들의 준비는 퀸컹스 또는 다른 샘플링 기술들을 통해 실행되는 샘플링을 포함할 수도 있다. 샘플링된 데이터는 이어서 하나 이상의 패턴들로 인터리빙된 데이터의 그룹들(예를 들면, 서브-이미지들) 또는 직선 체커보드일 수 있는 유리한 포맷(예를 들면, 데이터 또는 인코더의 능력들/성향들을 고려하는 포맷)으로 배열된다. 예를 들면, MPEG-4 AVC 또는 또 다른 인코딩 기술을 통해 이어서 인코딩이 실행될 수도 있다.
일 실시예에서, 본 발명은 n개의 이미지들을 서브-샘플링하는 단계, 샘플링된 이미지들 각각을 서브-이미지들로 분할하는 단계, 서브-이미지들을 함께 이미지 프레임으로 패키징하는 단계, 및 비디오 인코더를 통해 단일 이미지 프레임을 인코딩하는 단계를 포함하는 방법을 제공한다. 서브-샘플링하는 단계는, 예를 들면, 퀸컹스 샘플링을 포함한다. 이미지들은 예를 들면, 3D 이미지의 왼쪽 및 오른쪽 뷰들 중 적어도 하나, 동일한 장면의 다중 뷰들, 및 다중 이미지들을 포함할 수도 있거나, (및 이미지들은 또한 깊이 및 폐색 정보 중 하나를 포함할 수도 있거나) 또는 이미지들은 이미지들 중 하나의 이미지로부터 하나 이상의 화소의 그룹을 포함할 수도 있다. 서브-이미지들은 보통의 이미지와 유사한 특성들을 갖는 이미지 내의 데이터를 포함할 수도 있거나, 서브-이미지들은 대응하는 이미지로부터의 패턴을 통해 선택된 데이터를 포함할 수도 있다.
분할하는 단계는 예를 들면, 샘플링된 이미지들을 행들 및 열들 중 적어도 하나에 기초하여 분할하는 것을 포함할 수도 있다. 분할하는 단계는 샘플링된 이미지들 각각으로부터 근처 데이터의 다중 블록들을 준비하는 것을 포함할 수도 있다. 패키징하는 단계는 미리 결정된 포맷으로 서브-이미지들을 인터리빙하는 것을 포함할 수도 있다. 미리 결정된 포맷은 예를 들면, 이미지들, 샘플링된 이미지들 및 분할된 이미지 샘플들 중 임의의 것에 기초하여 적응적으로 변경될 수도 있다. 이 방법은 또한 미리 결정된 포맷을 식별하는 맵을 인코딩하는 단계를 포함할 수도 있다. 맵은 예를 들면, 이미지 프레임의 영역에서 인코딩될 수도 있고, 서브-이미지들의 패키징은 이미지 프레임의 다른 영역들에서 실행된다. 맵은 사이드 정보로서 인코딩될 수도 있고/있거나 이미지 프레임의 일부를 구성할 수도 있다. 인터리빙은 예를 들면, 수평 인터리빙, 수직 인터리빙, 및 직사각형 블록 인터리빙 중 하나를 포함할 수도 있다.
서브-샘플링하는 단계는 퀸컹스 샘플링을 포함할 수도 있고, 분할하는 단계는 서브-샘플링된 이미지의 한 행 걸러 및 한 열 걸러 중 하나를 이용하여 서브-이미지들을 준비하는 것을 포함할 수도 있고, 패키징하는 단계는 행 및 열 기반 서브-이미지들 중 하나를 배열하는 것을 포함할 수도 있다. 이 방법은 또한 이미지 프레임 내에서 서브-이미지들의 배치의 식별자를 인코딩하는 단계를 포함할 수도 있다. 일 실시예에서, 식별자는 인코딩된 패턴화된 블록의 사이드 정보에 위치될 수도 있는 코드이다. 이것은 또한 또는 대안적으로 이미지 프레임에 위치될 수도 있다.
패키징하는 단계는 본원에 기술된 패턴들 또는 다른 것들 중 임의의 패턴에 따라 패키징하는 것을 포함할 수도 있다. 패키징은 예를 들면, 서브-샘플링된 이미지들 중 하나의 치수와 동등한 적어도 하나의 치수를 유지할 수도 있다. 패키징은 예를 들면, 인코딩된 이미지를 디코딩하기 위해 이용될 자원들의 효율적인 이용을 위해 선택된 패키징 포맷을 포함할 수도 있다. 패키징은 SNR/해상도 확장성, 및 2D-3D 확장성을 포함하는 진보된 확장성 특징들을 가능하게 하기 위해 선택된 패키징 포맷을 포함할 수도 있다. 패키징 포맷은 처리 능력들과 같은 이용 가능한 자원들에 기초하여 선택될 수도 있다. 패키징은 예를 들면, 서로 아주 근접하여 각 [서브-이미지]를 디코딩/업-샘플링하기 위한 높은 값의 화소들을 유지하는 것을 포함할 수도 있다. 인코딩하는 단계는 예를 들면, JPEG, JPEG-2000, MPEG-2, MPEG-4 AVC, 및 VC1 인코딩과 같은 임의의 하나의 이미지 또는 비디오 인코딩 시스템을 포함할 수도 있다.
일 실시예들에 있어서, 본 발명은 비디오 디바이스로서 구체화될 수도 있고, 이 비디오 디바이스는 비디오 신호에서 프레임마다 하나 이상의 이미지를 포함하는 인코딩된 비디오 신호를 디코딩하도록 구성된 디코더, 및 디코딩된 비디오 신호에서 프레임 포맷으로 인터리빙된 비디오 데이터의 그룹들을 디-인터리빙하도록 구성된 포맷 변환기를 포함하는 포맷 변환기를 포함하고, 비디오 데이터의 그룹들은 제 1 이미지로부터의 비디오 데이터의 하나 이상의 그룹들 및 제 2 이미지로부터의 비디오 데이터의 하나 이상의 그룹들을 포함한다. 포맷 변환기는 예를 들면, 다중 인터리빙 포맷들로부터의 데이터의 그룹들을 디-인터리빙하도록 구성된 디-인터리버를 포함할 수도 있다. 포맷 변환기는 예를 들면, 데이터의 그룹들의 인터리빙 포맷을 결정하도록 구성된 포맷 판독기를 포함할 수도 있다. 포맷 변환기는 인터리빙된 데이터 그룹들의 포맷에 기초하여 디-인터리빙을 실행하기 위해 알고리즘 및 전문 전자장치 중 하나를 선택하도록 구성된 선택 디바이스를 포함할 수도 있다. 포맷 변환기는, 예를 들면, 수평, 수직, 블록-기반, 및 맵-기반 인터리빙된 비디오 데이터의 그룹들 중 적어도 하나를 디-인터리빙하도록 구성될 수도 있다.
본 발명은 또한 이미지들 중 적어도 하나로부터 디-인터리빙된 데이터의 그룹들을 업-변환하도록 구성된 업-변환기를 포함할 수도 있다. 업-변환된 데이터는 예를 들면, 2D 이미지로서 출력될 수도 있다. 2D 이미지는 예를 들면, HDMI 호환성 신호로 포매팅될 수도 있다. 업-변환된 데이터는 3D 이미지의 제 1 뷰를 포함하는 제 1 이미지의 데이터 및 3D 이미지의 제 2 뷰를 포함하는 제 2 이미지의 데이터를 포함할 수도 있다.
비디오 디바이스는 예를 들면, 블루-레이 DVD 플레이어, 매체 플레이어, 셋-톱 박스, 케이블 박스, 컴퓨터 비디오 카드, 튜너, 또는 다른 전자 디바이스 중 적어도 하나의 일부일 수도 있다. 디코더는 MPEG-2, MPEG-4 AVC, VC1, 및 다른 디코더들 중 하나를 포함할 수도 있다.
또 다른 실시예에서, 본 발명은 인코딩 시스템으로서 구현될 수도 있고, 이 인코딩 시스템은 적어도 2개의 상이한 뷰들의 이미지들을 서브-샘플링하도록 구성된 서브-샘플러, 각 뷰로부터 이미지 데이터의 적어도 하나의 그룹을 선택하고 그룹들을 비디오 스트림의 단일 이미지 프레임으로 인터리빙하도록 구성된 포매터, 및 비디오 스트림을 인코딩하도록 구성된 인코더를 포함한다. 인코더는 예를 들면, MPEG-4 AVC 인코더를 포함할 수도 있다. 이미지 데이터의 그룹들은 예를 들면, 하나 이상의 화소의 그룹들을 포함한다. 포매터는 예를 들면, 짝수-홀수 행-열 선택기를 포함할 수도 있고, 이미지 데이터의 인터리빙 그룹들은 수평 재-배치, 수직 재-배치, 인터리빙된 수평 재-배치, 인터리빙된 수직 재-배치, 블록 재-배치, 인터리빙된 블록 재-배치, 수직 인터리빙된 재-배치, 및 수평 인터리빙된 재-배치 중 적어도 하나를 포함하는 그룹들을 포함한다.
인코더는 또한 데이터의 그룹들을 인터리빙하기 위한 배치를 선택하도록 구성된 선택 디바이스를 포함할 수도 있다. 인코더는 또한 포매팅시 2개의 이미지들로부터 데이터의 배치를 매핑하도록 구성된 매퍼를 포함할 수도 있다.
본 발명은 또한 비디오 스트림이 저장되어 있는 매체 저장소로서 구체화될 수도 있으며, 비디오 스트림은 대응하는 매체 플레이어에 의해 로드되어 판독될 때, 플레이어가 디코딩한 다음 비디오 스트림을 디-인터리빙하고 이어서 디스플레이 디바이스에 대해 비디오 스트림을 포매팅하도록 하는 적어도 2개의 뷰들로부터의 인터리빙된 데이터의 세트들을 포함한다. 데이터의 세트들은 예를 들면, 3D 이미지의 제 1 뷰에 대응하는 데이터의 다중 세트들 및 3D 이미지의 제 2 뷰에 대응하는 데이터의 다중 세트들을 포함할 수도 있다. 매체 저장소는 메모리 카드, 디스크, 및 전자기 캐리어의 물리적 속성들 중 적어도 하나를 포함할 수도 있다. 매체 저장소의 저장 콘텐트들은 비디오 스트림을 포함하고 암호화되어 있는, 메모리 카드, 전자기 캐리어 및 광학 디스크 중 적어도 하나의 물리적 특성들로 표현될 수도 있다.
본 발명은 또한 비디오 인코딩 시스템으로서 구체화될 수도 있고, 이 비디오 인코딩 시스템은 제 1 이미지에 대응하는 데이터의 적어도 하나의 패키지, 제 2 이미지에 대응하는 데이터의 적어도 하나의 패키지, 제 1 이미지의 해상도 및 동적 범위 강화 중 적어도 하나, 및 비디오 스트림의 이미지 데이터 프레임에 대한 제 2 이미지의 해상도 및 동적 범위 강화 중 적어도 하나를 포매팅하도록 구성된 포매터, 및 포매팅된 제 1 이미지 데이터와 강화들, 제 2 이미지와 강화들을 저장 및 브로드캐스트 중 적어도 하나를 위해 비디오 스트림으로 인코딩하도록 구성된 인코더를 포함한다. 인코더는 서브-이미지들이 다른 서브-이미지들에 대응하는 샘플들로부터 예측을 실행하는 것을 제한할 수도 있다. 인코더는 공간적으로 더 먼저 패키징된 서브-이미지들이 다른 서브-이미지들에 대응하는 샘플들로부터 예측을 실행하는 것을 제한할 수도 있다.
본 발명은 또한 비디오 디코딩 시스템으로서 구체화될 수도 있고, 이 비디오 디코딩 시스템은 비디오 스트림의 데이터 프레임을 디코딩하도록 구성된 디코더로서, 데이터 프레임은 적어도 2개의 이미지들로부터의 이미지 데이터 및 이미지들 중 적어도 하나에 대한 강화들을 포함하는 상기 디코더, 및 디코딩된 이미지 데이터에 의해 구체화된 원본 이미지의 저 해상도 버전을 생성하기 위해 이미지들 중 적어도 하나로부터 디코딩된 이미지 데이터를 재-포매팅하도록 구성된 재-포매터를 포함한다. 재-포매터는 예를 들면, 적어도 하나의 이미지에 대응하는 데이터를 디-인터리빙하도록 구성된 디-인터리버를 포함할 수도 있다. 재-포매터는 또한 제 2 이미지 데이터 및 이미지들 중 적어도 하나에 대한 강화들 중 적어도 하나를 폐기하도록 구성될 수도 있다. 비디오 디코딩 시스템은 또한 디코딩된 이미지를 강화하기 위해 디코딩된 강화들 중 적어도 일부를 이용하여 고 해상도 및 고 동적 범위 이미지 중 적어도 하나를 생성하도록 구성된 인핸서를 포함할 수도 있다. 강화들은 각 이미지에 계속해서 적용될 수도 있고, 비디오 디코딩 시스템이 실시간으로 그렇게 동작할 수 있는 정도로 적용될 수도 있다. 비디오 디코딩 시스템이 실시간으로 그렇게 동작할 수 있고 출력 디스플레이 디바이스가 강화된 이미지들을 디스플레이할 수 있다면, 강화들은 각 이미지에 계속해서 적용될 수도 있다.
디바이스 및 방법 모두의 부분들은 범용 컴퓨터 또는 네트워크된 컴퓨터들 상에서 프로그래밍될 때 알맞게 구현될 수도 있고, 그 결과들은 범용, 네트워크된 컴퓨터들 중 임의의 것에 접속된 출력 디바이스 상에 디스플레이될 수도 있거나 출력이나 디스플레이를 위해 원격 디바이스에 송신될 수도 있다. 또한, 컴퓨터 프로그램, 데이터 시퀀스들 및/또는 제어 신호들로 표현되는 본 발명의 임의의 구성요소들은 무선 브로드캐스트들, 및 동선(들), 광학 케이블(들), 및 동축 케이블(들) 등을 통한 송신들을 포함하지만 이들로 제한되지는 않는 임의의 매체에서 임의의 주파수로 브로드캐스트되는(또는 송신되는) 전자 신호로서 구체화될 수도 있다.
본 발명 및 그에 수반되는 많은 이점들의 보다 완벽한 응용은 이들이 첨부 도면들과 함께 고려될 때 다음 상세한 설명을 참조하여 더욱 잘 이해되게 될 것이기 때문에, 쉽게 얻어질 것이다.
도 1은 본 발명의 일 실시예에 따른 체커보드(CB) 멀티플렉싱 포맷을 도시하는 도면.
도 2는 본 발명의 일 실시예에 따른 프레임 모드에서 CB 데이터의 변환 기반 디-멀티플렉싱을 도시하는 도면.
도 3은 본 발명의 일 실시예에 따른 필드 모드에서 CB 데이터의 변환 기반 디-멀티플렉싱을 도시하는 도면.
도 4는 본 발명의 일 실시예에 따른 중첩을 고려하지 않는 블록 움직임 보상을 도시하는 도면.
도 5는 본 발명의 일 실시예에 따른 프레임 모드에서 CB 데이터의 변환 기반 디-멀티플렉싱을 도시하는 도면.
도 6은 본 발명의 일 실시예에 따른 비디오 인코더를 도시하는 도면.
도 7은 본 발명의 일 실시예에 따른 비디오 디-인코더를 도시하는 도면.
도 8은 본 발명의 일 실시예에 따라 인코딩되는 콘텐트의 종류에 의존하여 다이아몬드 또는 다른 블록들로 확장될 수도 있는 정사각형 블록들의 이용을 도시하는 도면.
도 9는 본 발명의 일 실시예에 따른 퀸컹스 샘플링된 이미지를 도시하는 도면.
도 10은 본 발명의 실시예들에 따른 코딩 효율을 향상시키기 위한 퀸컹스 샘플들의 수평 및 수직 재-배치(포매팅)를 도시하는 도면들.
도 11은 본 발명의 실시예들에 따라 코딩 효율을 향상시키기 위한 퀸컹스 샘플들의 수평 및 수직 "블록" 재-배치(포매팅)를 도시하는 도면들.
도 12는 본 발명의 일 실시예에 따른 퀸컹스 샘플링된 데이터와 함께 이용될 수도 있는(또는 다른 샘플링 기술들로 확장될 수도 있는) 다양한 배치들을 도시하는 도면.
도 13은 본 발명의 일 실시예에 따른 샘플링된 데이터의 블록들을 인터리빙하는 CB 배치를 도시하는 도면.
도 14는 본 발명의 일 실시예에 따른 배치 및 인터리빙된 샘플들의 각 서브-영역에서 배치를 명령하거나 식별하는 맵을 도시하는 도면.
도 15는 본 발명의 일 실시예에 따른 비디오 인코더를 도시하는 도면.
도 16은 본 발명의 일 실시예에 따른 비디오 디코더를 도시하는 도면.
일 실시예에서, 본 발명은 인코딩된 신호의 특성들을 더욱 적절히 고려하기 위해 MPEG-4 AVC 표준을 확장하여, 코딩 효율 및 성능을 개선하는 것을 가능하게 한다. 본 발명은 예를 들면, 인코더에서뿐만 아니라 디코더에서 구현될 수도 있다. 다른 인코딩/디코딩 표준들, 방법들, 디바이스들 및/또는 시스템들에 있어서 유사한 확장들이 이루어질 수도 있다. 애플리케이션들은 예를 들면, 블루-레이 비디오 디스크들을 포함하고, 또한 (다른 것들 중에서) 더 큰 대역폭 제약들인 브로드캐스트 및 다운로드 해결책들을 포함할 수도 있다. 본 발명은 또한 현재의 돌비 소비자 레벨 3D 비디오 코딩 시스템(또는 다른 3D 및/또는 멀티-뷰 시스템들)을 풀 해상도로 개선하거나 강화할 수 있는 확장 가능한 해결책에 이용될 수도 있다.
다양한 실시예들에서의 본 발명은 주로 돌비(또는 다른) 입체(3D) 포맷 비디오 인코더들 및 디코더들에 이용하기 위한 것이지만, 다른 돌비 및/또는 비-돌비 고유 장비 및/또는 다른 종류들의 비디오(예를 들면, 멀티-프로그램, 멀티-뷰, 멀티 3D 뷰들, 단독으로 또는 다른 것들과 함께)에서 이용될 수도 있다. 응용들은 예를 들면, 블루-레이 디스크들, 메모리 카드들, 브로드캐스트, 위성, 및 IPTV 시스템들 등을 포함한다.
본 발명자들은 소비자들 사이에서 3D 및 다른 기술들의 신속한 채택을 가능하게 하기 위해, 해결책이 셋-톱 박스들, DVD, 및 블루-레이 디스크 플레이어들과 같은 기존의 재생 디바이스들뿐만 아니라 기존의 3D 가능 디스플레이들에 대한 변경이 없거나 최소화되어 구현될 수 있는 것이어야 한다는 것을 인식하였다. 그러나, 구체적으로 새로운 또는 다중 포맷들로 적응되거나 설계되는 변환기 박스들, 하드웨어/펌웨어/소프트웨어 수정들, 디바이스들 및/또는 디스플레이들은 또한 본 발명과 일치한다. 재생 디바이스들의 변경 없이 3D 콘텐트를 공급하기 위한 한 가지 가능한 해결책은 체커보드 배치(도 1 참조)를 이용하여 2개의 뷰들을 멀티플렉싱함으로써 비디오 콘텐트 정보를 생성하고 코딩하고 공급하는 것이다. 이러한 시스템은 MPEG-4 AVC/H.264 비디오 코딩 표준 또는 다른 표준들(예를 들면, 마이크로소프트의 VC1)을 이용하여 구현될 수도 있다. 그러나, 표준화된 코덱들은 3D 인코딩된 비디오 신호의 본질을 고려하지 않고, 결과적으로는 부적당한 코딩 성능을 발생시킨다.
특히, 이들 코덱들은 프로그레시브 또는 행 인터리빙된(인터레이스된) 비디오 콘텐트(예를 들면, 단지 프로그레시브 또는 행 인터레이스된 비디오 콘텐트)를 갖는 툴들을 포함하도록 설계되었다. 이들은 움직임 추정, 움직임 보상, 변환 및 양자화와 같은 툴들을 포함한다. 그러나, 체커보드 인터리빙된 데이터는 프로그레시브 또는 인터레이스된 콘텐트와는 매우 상이한 특성들을 가질 수 있다. 본 발명의 다양한 실시예들에서, 이들 툴들은 데이터의 특성들 및/또는 데이터가 놓이는 배치를 적절히 고려하여 확장되고, 따라서, 콘텐트(예를 들면, 체커보드 포맷의 콘텐트)의 코딩 효율을 향상시킨다.
일 실시예에서, 체커보드 인터리빙된 콘텐트의 비디오 코딩 효율은 단지 체커보드 디-멀티플렉싱된 데이터에 적용될 변환 및 양자화 처리를 수정함으로써 달성될 수 있다. 특히, 도 2로부터 알 수 있는 바와 같이, 이 시나리오에서, 움직임 추정 및 보상은 블록들을 중첩시키기는 것을 고려하지 않는 전통적인 블록 기반 방법들을 이용하여 실행된다(도 4). 이 처리는 일반적으로 체커보드 멀티플렉싱된 데이터가 유사한 움직임을 특징으로 한다는 주장에 의해 정당화될 수 있다.
그러나, 움직임 보상 또는 인트라 예측이 실행된 후에, 나머지 데이터는 변환 및 양자화 전에 체커보드 디-멀티플렉싱된다. 기존의 코덱들에서 이용되는 보통의 변환 방법들이 스퀘어 또는 직교라고 하면, 이 시나리오에서의 디-멀티플렉싱은 상이한 뷰들에 대해서 뿐만 아니라, 행들에 대해서도 발생한다. 이것은 결과적으로, 예를 들면, 4x4 또는 8x8 정수 DCT 또는 다른 변환을 이용하여 변환되고, 양자화되고, 지그-재그 스캔되고, 인코딩되어야 할 수도 있는 4개의 블록들을 발생시킬 수도 있다. 또 다른 실시예에서, 인터레이스(즉, 필드) 화상들에 대해서, 데이터는 이미 이러한 동작들을 동작시키기에 적절히 배치되어 있기 때문에, 수직 디-멀티플렉싱만이 실행되어야 할 수도 있다. 이 처리는 시퀀스, 화상, 슬라이스, 매크로블록, 또는 블록 레벨에서 이루어질 수 있다. 양자화된 계수들의 스캐닝 순서는 또한 수평 및 수직 축에서 주파수 차이들을 고려하여 적절히 설계될 수 있다. 특히, 필드 콘텐트에 있어서, 변환된 계수들의 스캐닝 순서는 일반적으로 수평 및 수직 주파수들 간의 소정의 차이만큼 수직으로 바이어스된다. 그러나, 새로운 코딩 배치를 고려하면, 우리는 이러한 수정이 필요하지 않고 일반적인(즉, 지그-재그) 스캐닝 순서가 여전히 이용될 수 있다는 것을 제시한다.
대안적인 실시예에 있어서, 움직임 추정 및 보상 처리들은 또한, 콘텐트의 특성들을 고려하여 유사한 방식으로, 변환을 제외하고 수정된다. 더욱 구체적으로, 기준 및 소스 데이터 모두는 다중 세트들로 재배열되고, 각 세트는 뷰 및 패리티에 따라 데이터를 분할한다. 이것은 기본적으로 4개의 상이한 배치들(예를 들면, 짝수/상부 또는 홀수/하부 왼쪽 및 오른쪽 뷰들)을 발생시키는 결과를 가져온다. 이것은 상부 왼쪽 박스에서 시작하여 시계 방향으로, 왼쪽 뷰 화상의 짝수 행들로부터의 "x"들의 세트(또는 CBLT(왼쪽 상부)), 왼쪽 뷰의 홀수 행들로부터의 "x"들의 세트(또는 CBLB(왼쪽 하부)), 오른쪽 뷰 화상의 짝수 행들로부터의 "o"들의 세트(또는 CBRT(오른쪽 상부)), 및 오른쪽 뷰 화상의 홀수 행들로부터의 "o"들의 세트(또는 CBRB(오른쪽 하부))를 포함하는 기준 이미지 디-인터리빙 결과의 실시예의 예시를 포함하는 도 5에서 알 수 있다. 매칭 포맷에서의 디-인터리빙이 또한 소스 이미지에 대해 예시되어 있다.
소스로부터의 각 배치는 인트라 및 인터 예측 모두를 포함할 수 있는 예측을 위한 기준 데이터의 배치들 중 임의의 배치와 매칭될 수 있다. 소스 데이터가 예측된 후에, 나머지 데이터는 또한 동일한 배치에서 변환되고, 양자화되고, 코딩된다. 이 처리는 데이터가 홀수 및 짝수 필드/라인 데이터로 배열되는 인터레이스 인코딩이 실행되는 방법과 상당히 유사한 것으로서 이해될 수 있다. 그러나, 본 발명에서, 데이터는 또한 홀수 및 짝수 열에도 배열된다. (단독으로 또는 다른 기술들과 조합하여 이용될 수 있는) 우리의 변환 방법과 유사하게, 이 방법은 시퀀스, 화상, 슬라이스, 매크로블록, 또는 블록 레벨에서 이용하도록 시그널링될 수 있다.
화소 레벨 방법은 예를 들면, 4개의 상이한 화상들인 CBLT, CBLB, CBRT 및 CBRB의 인코딩을 실행하는 것으로서 이해될 수 있다. 이들 4개의 화상들은 버퍼에서 이용할 수 있는 임의의 이전에 인코딩된 화상을 참조할 수 있다. 디폴트 기준 리스트 순서는, 명백한 이유들로 인해, 이들 화상들의 토폴로지에 따라 바이어스되고, 즉, CBLT 화상은 이전 CBLT 화상들보다 더 높은 우선순위를 제공할 수도 있고, CBLB 화상은 이전 CBLB 화상들보다 더 높은 우선순위를 제공할 것이다. 각각의 이러한 화상은 기존의 코딩 툴들, 즉, AVC로 인코딩될 수 있다. 모든 화상들이 디코딩될 때, 이 화상들은 이어서 체커보드 이미지로서 추가적인 처리를 위해 프레임 버퍼에서 재조합된다. 디스에이블되면, MPEG-4 AVC 또는 VC1에서 이미 이용할 수 있는 것과 같은 기존의 예를 들면, 프로그레시브 또는 인터레이스 코딩 방법들이 이용된다. 다양한 시그널링 방법들은 화상, 슬라이스, 매크로블록, 및/또는 인터레이스 코딩에 대한 MPEG-4 AVC에 이미 존재하는 것과 유사한 블록 레벨에서 우리의 접근법과 레거시 방법들의 조합들을 가능하게 한다는 것을 유념해야 한다.
또 다른 실시예에서, 이러한 방법을 이용하는 화소 데이터의 디-블록화가 동일한 세트의 화소들에 대해서만 적용된다. 이러한 방법들을 이용하는 인코더 및 디코더는 각각 도 6 및 도 7에서 알 수 있다.
부가적인 실시예에 있어서, 예측, 변환 및 양자화를 위해 스퀘어 또는 직교 블록들을 이용하는 대신 콘텐트의 특성들을 고려하면, 대신 우리는 다이아몬드 블록들(도 8 참조, 여기서, 예시적인 오른쪽 뷰 화상의 어두운/빨간색 "o" 화소 성분들(다이아몬드 형상), 및 예시적인 왼쪽 뷰 화상의 각 어두운/빨간색 "o" 화소 성분(다이아몬드 형상) 바로 아래에 있는 어둡지 않은 "x" 화소 성분들이 도시되어 있다)을 고려할 수 있다. 즉, 움직임 추정 및 보상은 NxM 크기의 다이아몬드형 블록들과 함께 이용되고, 나머지 데이터의 변환은 나머지를 적절한 각도(예를 들면, 45도)만큼 먼저 회전시킴으로써 스퀘어 또는 직교 변환들을 이용하여 실행될 수 있다. 디-블록화는 다이아몬드 블록 데이터의 가장자리들에서 이 시나리오로 실행된다. 또한, 이미지 경계들은 데이터를 적절히 패딩함으로써 처리된다. 이 방법은 또한 시퀀스, 화상, 슬라이스, 매크로블록 또는 블록 레벨에서 인에이블될 수 있고, 상술된 방법들 중 임의의 방법과 조합될 수 있다. 그러나, 주로 복잡도 및 성능 이유들로 인해, 이 방법은 주로 시퀀스 또는 화상 레벨에서 고려되는 것이 바람직하다.
또 다른 실시예에서, 상기 방법들 중 임의의 방법이 체커보드 인터리빙된 이미지들뿐만 아니라 체커보드 인터리빙된 이미지들로부터의 나머지 데이터, 또는 주기적 스퀘어 타일링 방법을 이용하여 인터리빙되는 4개 이미지들의 조합의 인코딩을 위해 이용될 수 있다.
본 발명은 MPEG-4 AVC에 기초한 것과 같은 비디오 코딩 시스템들의 확장으로서 구성될 수 있다.
명백하게, 본 발명의 다중 수정들 및 변형들이 상기 교시들의 관점에서 가능하다. 따라서, 후속하는 이용 분야 특허 출원에 포함되는 청구항들의 범위 내에서, 본 발명은 본원에 구체적으로 기술되는 것과 달리 실시될 수도 있다는 것이 이해될 것이다.
다시 도면들을 참조하면, 동일한 참조 부호들은 동일하거나 대응하는 부분들을 나타내고, 특히, 도 9에는, 퀸컹스 샘플링과 관련된 이미지들 및 데이터에 대한 샘플링 방법이 도시되어 있다. 퀸컹스 샘플링에서, 데이터는 도 9에 도시되어 있는 것과 같이 퀸컹스 배치로 샘플링된다. 수평 및/또는 수직 샘플링과 달리, 이 방법의 이점은 정보의 ~30%만이 샘플링 처리 동안 손실된다는 것으로, 이는 신호의 재구성 동안 고 품질을 가능하게 한다. 이 방법은 예를 들면, 도 1의 CB 인터리빙된 화상으로 멀티플렉싱될 샘플들을 생성하기 위해 이용될 수도 있다. 그 경우에, 퀸컹스 샘플링은 예를 들면, 3D 이미지들을 압축하기 위해 부분적으로 이용된다. 더욱 구체적으로, 3D 이미지의 두 뷰들은 먼저 퀸컹스 샘플링된 다음 코덱(예를 들면, 다른 것들 중에서 MPEG-2, MPEG-4 AVC 및 VC-1과 같은 기존의 코덱들)을 이용하여 압축 전에 체커보드 배치를 이용하여 인터리빙될 수도 있다.
퀸컹스 샘플링된 데이터를 압축하는 것이 가능한 것으로 예시되었지만, 불행하게도 기존의 압축 알고리즘들은 그들의 특성들을 처리하기에는 부적당할 정도로 잘 설계되지 않았다. 최근의 발명은 향상된 코딩 효율 및 성능을 달성하면서 기존의 기반구조가 이용되는 것을 가능하게 할 수도 있는, 이러한 콘텐트를 인코딩하기 위한 상이한 방법들을 포함한다. 이것은 콘텐트 특성들[및 인코딩 메커니즘들]을 보다 잘 조화시키는 퀸컹스 샘플링된 데이터의 다양한 재배치들을 실행함으로써 행해진다.
특히, 우리는 퀸컹스 샘플들이 홀수 및 짝수 열(또는 행) 데이터에서 분할될 수 있다는 것을 알게 되었다. 홀수 열 데이터는, 그들의 주파수 특성들이 다소 상이할 수도 있지만, 그 자체만 본다면 보통의 이미지와 유사한 특성들을 갖는다. 또한, 짝수 열 데이터에 대해서도 앞에서 말한 것과 같을 수 있다. 따라서, 퀸컹스 샘플링된 이미지를 2개의 서브-이미지들, 즉, 홀수 열 서브-이미지 및 짝수 열 서브-이미지로 분할할 수 있다. 이들 서브-이미지들은 루마 및 크로마 정보, 투명도 및 깊이 정보 등과 같은 데이터와 연관된 모든 정보를 포함한다. 명백하게, 확장 가능한 이미지 시스템들에 있어서, 각 서브-이미지는 또한 SNR 층들과 같은 모든 관련된 확장성 정보를 포함할 수도 있다.
각 서브-이미지를 개별적으로 인코딩할 수 있다고 하더라도, 그것은 서브-이미지들을 단일 이미지로서 함께 유지하기 위해 몇몇 환경들 및/또는 애플리케이션들에서 바람직할 수도 있다. 예를 들면, 가능한 방법은 2개의 서브-이미지들을 수직으로(도 10a) 또는 수직으로(도 10b) 패키징하는 것이다. 그럼에도 불구하고, 몇몇 다른 애플리케이션들에 대해서, 2개의 서브-이미지들 또한 인터리빙하는 것을 고려하는 것이 가능하다(도 11). 인터리빙의 양은 고정되거나 조정될 수 있으며, 우리의 시스템 또는 아키텍처가 가질 수도 있는 다양한 요건들에 의존할 수 있다. 예를 들면, 압축이 더 중요하다면, 인터리빙은 최소로 할 수 있고, 따라서, 압축 동안 신호 특성들을 더 잘 이용할 수 있다(예를 들면, 이산 코사인 변환/DCT 및 양자화, 예측 등을 이용). 그러나, 메모리 액세스를 포함한 데이터의 재구성이 더 중요하다면, 뷰들 간에 몇몇 인터리빙이 이용될 수 있다. 예를 들면, 원래의 퀸컹스 배치를 이용하여 패킹된 데이터를 유지하는 대신, 데이터는 그들의 퀸컹스 패리티(홀수 또는 짝수)에 따라 NxM의 직사각형 블록들로 패킹될 수 있다. 두 가지 가장 극단적인 경우들에 있어서, {N=1, M=1} 및 {N=폭/2, M=높이/2}이며, 여기서, 폭 및 높이는 원래의 샘플링되지 않은 이미지의 폭 및 높이이다. 이들 직사각형 블록들은 수평으로 배열된 4x2 크기의 블록들(도 11a) 또는 수직으로 배열된 2x2 크기의 블록들(도 11b)과 같이 다양한 방식들로 배열될 수 있다. 특별한 예에서, 대부분의 기존 비디오 및 이미지 코덱들은 예측을 위한 16x16 크기의 블록들을 이용하는 것을 고려하면, 이러한 블록 크기, 또는 이 크기보다 큰 크기들(예를 들면, 32x32, 32x48, 48x48 등)이 또한 이용될 수 있다. 이러한 배치들에 있어서, 원래의 샘플링되지 않은 이미지와 동일한 해상도 치수들 중 하나를 유지하는 것이, 이러한 요건이 필요하지 않더라도, 바람직할 수도 있다는 것을 유념해야 한다.
상기 논의된 바와 같이, 퀸컹스 샘플링된 데이터의 특별한 경우는 3D 애플리케이션들에 대해 이용된다. 이 시나리오에서, 2개의 스테레오 이미지들은 먼저 퀸컹스 샘플링된 다음 함께 인터리빙되어 단일 스테레오 이미지를 생성한다. (예를 들면, 도 1에서와 같이) 단지 화소 레벨 체커보드 배치를 이용하여 이들 이미지들을 인터리빙하는 대신, 2개의 이미지들을 더 잘 분할하기 위해 상기 논의된 것과 같은 인터리빙 방법들이 이용될 수도 있고, 따라서, 압축을 위한 기존의 툴들을 더 잘 이용할 수 있다. 더욱 구체적으로, 왼쪽 및 오른쪽 뷰들을 왼쪽-홀수(Lo), 왼쪽-짝수(Le), 오른쪽-홀수(Ro), 및 오른쪽-짝수(Re) 데이터(Lo|Le|Ro|Re)로 분할할 수 있다.
일 실시예에서, 데이터의 각 세트는 상이한 서브-이미지를 나타낸다. Lo|Le|Ro|Re의 경우에, 이들 4개의 서브-이미지들은 예를 들면, 도 12에 도시된 바와 같이 다양한 배치들로 함께 타일링될 수 있다(배열된 이미지들의 다른 배치들 및 상이한 크기들이 또한 이용될 수도 있다). 타일링된 이미지들은 기존의 또는 새로 개발된 인코딩 알고리즘들을 이용하여 인코딩될 수 있는 새로운 이미지를 나타낸다. 예를 들면, 4개의 서브-이미지들을 도 12에 도시된 바와 같이 Lo|Le|Ro|Re 프레임 배치로 배열할 수 있거나 체커보드형 프레임 레벨 배치 B(Lo|Ro|Re|Le)로 배열할 수 있다. 서브-이미지들은 또한 모두 수평 또는 수직 서브-이미지 배치(배치 D 및 E)로 배열될 수 있다. 다른 배치들 또한 가능하다. 배치 형태는 애플리케이션 및 그 요건들에 의존할 수 있다. 예를 들면, 배치 A는 특히 풀 해상도에 대한 재구성이 요구된다면, 다른 것과는 별도로 하나의 뷰에 대한 모든 샘플들을 즉시 재구성할 수 있다는 이점을 제공하는 한편, 방법 B는 퀸컹스 데이터를 다른 배치들로 재구조화할 때 이점들을 제공할 수도 있다.
상이한 실시예에서, 인터리빙은 또한 단일 샘플들이나 전체 서브-이미지 대신 본질적으로 직사각형이나 심지어는 임의의 블록/영역을 포함하는 샘플들의 그룹들을 고려할 수 있다. 예를 들면, 블록들은 또한 상기 논의된 바와 같이 고정 크기 MxN(도 13)일 수 있거나, 이미지는 가변 형상들 및/또는 크기들의 블록들로 구성될 수 있다. 이러한 배치는 예를 들면, 맵과 같은 메타데이터 방법을 통해 시그널링될 수 있다. 맵은 전체 비디오 시퀀스에 대해 고정될 수 있거나, 필요할 때마다 적응되고 시그널링될 수 있다. 예로서, 4x4 크기의 서브-블록들이 인터리빙에 대하여 어떻게 구조화되는지에 관한 정보를 제공하는 맵이 도 14에 제공되어 있다. 동일하게 대응하는 것이 화소와 관련된 모든 샘플들, 예를 들면, 루마 및 크로마 정보, 투명도, 깊이/폐색 정보 등에 적용될 수 있지만, 또한 정보의 각 상이한 종류 또는 특정 그룹들에 대한 다중/별개의 맵들이 존재하는 것을 포함하여 상이한 배치들이 이용될 수 있다. 분할은 또한 이미지의 상이한 표현들, 또는 이미지의 상이한 층들(예를 들면, SNR, 비트 깊이 등)을 포함할 수도 있다.
또 다른 실시예에서, 체커보드 인터리빙된 이미지들뿐만 아니라 체커보드 인터리빙된 이미지들로부터의 나머지 데이터, 또는 주기적인 스퀘어 타일링 방법을 이용하여 인터리빙되는 임의의 이미지들의 조합의 인코딩을 위해 상기 방법들 중 임의의 방법이 이용될 수 있다. 방법은 또한, 깊이/폐색 정보를 포함하여, 다중 이미지들(2개 이상)의 인터리빙에서 쉽게 확장될 수 있다. 마지막으로, 제안된 인터리빙 방법들은 이미지를 인코딩할 때 뿐만 아니라, 움직임 보상된 비디오 코딩 환경에서 이용될 수 있는 예측 이미지들의 생성을 위해서도 이용될 수 있다.
퀸컹스 샘플링된 이미지 또는 스테레오 쌍을 적절한 포맷으로 변환하는 포맷 변환기를 이용하는 인코더가 도 15에 도시되어 있다. 이미지를 디코딩하고, 이 포맷을 디스플레이 또는 다른 처리들을 위해 필요할 수도 있는 상이한 포맷으로 변환하는 대응하는 디코더가 도 16에 도시되어 있다.
따라서, 본 발명은 많은 형태들을 취할 수도 있다. 예들로서 제공되는 본 발명의 예시적인 형태들인 열거된 예시 실시예들(EEE들)의 세트가 이하 제공된다. 이와 같이, EEE들은 상기 논의 중 임의의 것 또는 이하에서 또는 임의의 후속 출원들, 재발행들, 또는 외국 대응 특허들 및/또는 출원들에서 제시되는 임의의 청구항들을 제한하는 것으로서 여겨져서는 안 된다.
예시들은 다음과 같다:
EEE1. n개의 이미지들을 서브-샘플링하는 단계;
샘플링된 이미지들 각각을 서브-이미지들로 분할하는 단계;
서브-이미지들을 하나의 이미지 프레임으로 함께 패키징하는 단계; 및
단일 이미지 프레임을 비디오 인코더를 통해 인코딩하는 단계를 포함하는 방법.
EEE2. EEE1에 있어서, 서브-샘플링하는 단계는 퀸컹스 샘플링을 포함하는, 방법.
EEE3. EEE1에 있어서, 이미지들은 3D 이미지의 왼쪽 및 오른쪽 뷰들, 동일한 장면의 다중 뷰들 및 다중 이미지들 중 적어도 하나를 포함하는, 방법.
EEE3A. EEE3에 있어서, 이미지들은 깊이 및 폐색 정보 중 하나를 포함하는, 방법.
EEE4. EEE1에 있어서, 서브-이미지들은 일반적인 이미지와 유사한 특성들을 갖는 이미지 내의 데이터를 포함하는, 방법.
EEE5. EEE1에 있어서, 분할하는 단계는 샘플링된 이미지들을 행들 및 열들 중 적어도 하나에 기초하여 분할하는 것을 포함하는, 방법.
EEE6. EEE1에 다른 방법으로서, 서브-이미지들은 이미지들 중 하나의 이미지로부터 하나 이상의 화소의 그룹을 포함하는, 방법.
EEE7. EEE1에 있어서, 서브-이미지들은 대응하는 이미지로부터 패턴을 통해 선택된 데이터를 포함하는, 방법.
EEE8. EEE1에 있어서, 분할하는 단계는 샘플링된 이미지들 각각으로부터 근접한 데이터의 다중 블록들을 준비하는 것을 포함하는, 방법.
EEE9. EEE1에 있어서, 패키징하는 단계는 서브-이미지들을 미리 결정된 포맷으로 인터리빙하는 것을 포함하는, 방법.
EEE10. EEE9에 있어서, 미리 결정된 포맷은 이미지들, 샘플링된 이미지들 및 분할된 이미지 샘플들 중 적어도 하나에 기초하여 적응적으로 변경되는, 방법.
EEE11. EEE1에 있어서, 미리 결정된 포맷을 식별하는 맵을 인코딩하는 단계를 추가로 포함하는, 방법.
EEE11B. EEE11에 있어서, 맵은 이미지 프레임의 영역에서 인코딩되고, 서브-이미지들을 패키징하는 단계는 이미지 프레임의 다른 영역들에서 실행되는, 방법.
EEE12. EEE11에 있어서, 맵은 사이드 정보로서 인코딩되는, 방법.
EEE13. EEE9에 있어서, 인터리빙은 수평 인터리빙, 수직 인터리빙 및 직사각형 블록 인터리빙 중 하나를 포함하는, 방법.
EEE14. EEE1에 있어서, 서브-샘플링하는 단계는 퀸컹스 샘플링을 포함하고, 분할하는 단계는 서브-샘플링된 이미지의 한 행 걸러 및 한 열 걸러 중 하나를 이용하여 서브-이미지들을 준비하는 것을 포함하고, 패키징하는 단계는 행 기반 및 열 기반 서브-이미지들 중 하나를 배열하는 것을 포함하는, 방법.
EEE15. EEE1에 있어서, 이미지 프레임 내의 서브-이미지들의 배치의 식별자를 인코딩하는 단계를 추가로 포함하는, 방법.
EEE16. EEE1에 있어서, 서브-이미지들의 배치의 식별자를 인코딩하는 단계를 추가로 포함하고, 식별자는 인코딩된 패턴화된 블록의 사이드 정보에 위치된 코드인, 방법.
EEE17. EEE1에 있어서, 패키징하는 단계는 상술된 패턴들 중 적어도 하나를 포함하는, 방법.
EEE18. EEE1에 있어서, 패키징은 서브-샘플링된 이미지들 중 하나의 치수와 동일한 적어도 하나의 치수를 유지하는, 방법.
EEE19. EEE1에 있어서, 패키징은 인코딩된 이미지를 디코딩하기 위해 이용되는 자원들의 효율적인 이용을 위해 선택된 패키징 포맷을 포함하는, 방법.
EEE19B. EEE1에 있어서, 패키징은 SNR/해상도 확장성 및 2D-3D 확장성을 포함한 진보된 확장성 특징들을 가능하게 하도록 선택된 패키징 포맷을 포함하는, 방법.
EEE19C. EEE19B에 있어서, 패키징 포맷은 처리 능력들과 같은 이용 가능한 자원들에 기초하여 선택되는, 방법.
EEE20. EEE1에 있어서, 패키징은 아주 근접하여 있는 각 [서브-이미지]를 디코딩/업-샘플링하기 위해 높은 값의 화소들을 유지하는 것을 포함하는, 방법.
EEE21. EEE1에 있어서, 인코딩하는 단계는 JPEG, JPEG-2000, MPEG-2, MPEG-4 AVC 및 VC1 인코딩과 같은 임의의 하나의 이미지 또는 비디오 인코딩 시스템을 포함하는, 방법.
EEE22. 비디오 디바이스에 있어서:
비디오 신호에서 프레임마다 하나 이상의 이미지를 포함하는 인코딩된 비디오 신호를 디코딩하도록 구성된 디코더;
디코딩된 비디오 신호에서 프레임 포맷으로 인터리빙된 비디오 데이터의 그룹들을 디-인터리빙하도록 구성된 포맷 변환기를 포함하는 포맷 변환기로서, 비디오 데이터의 그룹들은 제 1 이미지로부터의 비디오 데이터의 하나 이상의 그룹들 및 제 2 이미지로부터의 비디오 데이터의 하나 이상의 그룹들을 포함하는, 상기 포맷 변환기를 포함하는, 비디오 디바이스.
EEE23. EEE22에 있어서, 포맷 변환기는 다중 인터리빙 포맷들로부터 데이터의 그룹들을 디-인터리빙하도록 구성된 디-인터리버를 포함하는, 비디오 디바이스.
EEE24. EEE22에 있어서, 포맷 변환기는 데이터의 그룹들의 인터리빙 포맷을 결정하도록 구성된 포맷 판독기를 포함하는, 비디오 디바이스.
EEE25. EEE22에 있어서, 포맷 변환기는 인터리빙된 데이터 그룹들의 포맷에 기초하여 디-인터리빙을 실행하기 위해 알고리즘 및 전문 전자장치 중 하나를 선택하도록 구성된 선택 디바이스를 포함하는, 비디오 디바이스.
EEE26. EEE22에 있어서, 포맷 변환기는 수평, 수직, 블록-기반, 및 맵-기반 인터리빙된 비디오 데이터의 그룹들 중 적어도 하나를 디-인터리빙하도록 구성된, 비디오 디바이스.
EEE27. EEE22에 있어서, 이미지들 중 적어도 하나의 이미지로부터의 디-인터리빙된 데이터의 그룹들을 업-변환하도록 구성된 업-변환기를 추가로 포함하는, 비디오 디바이스.
EEE28. EEE27에 있어서, 업-변환된 데이터는 2D 이미지로서 출력되는, 비디오 디바이스.
EEE29. EEE28에 있어서, 2D 이미지는 HDMI 호환 가능한 신호로 포매팅되는, 비디오 디바이스.
EEE30. EEE27에 있어서, 업-변환된 데이터는 3D 이미지의 제 1 뷰를 포함하는 제 1 이미지의 데이터 및 3D 이미지의 제 2 뷰를 포함하는 제 2 이미지의 데이터를 포함하는, 비디오 디바이스.
EEE31. EEE22에 있어서, 비디오 디바이스는 블루-레이 DVD 플레이어, 매체 플레이어, 셋-톱 박스, 케이블 박스, 컴퓨터 비디오 카드, 튜너 또는 다른 전자 디바이스 중 적어도 하나의 일부인, 비디오 디바이스.
EEE32. EEE22에 있어서, 디코더는 MPEG-2, MPEG-4 AVC, VC1 및 다른 디코더들 중 하나를 포함하는, 비디오 디바이스.
EEE33. 인코딩 시스템에 있어서:
적어도 2개의 상이한 뷰들의 이미지들을 서브-샘플링하도록 구성된 서브-샘플러;
각 뷰로부터 적어도 하나의 이미지 데이터의 그룹을 선택하고 그룹들을 비디오 스트림의 단일 이미지 프레임으로 인터리빙하도록 구성된 포매터; 및
비디오 스트림을 인코딩하도록 구성된 인코더를 포함하는, 인코딩 시스템.
EEE34. EEE33에 있어서, 인코더는 MPEG-4 AVC 인코더를 포함하는, 인코딩 시스템.
EEE35. EEE33에 있어서, 이미지 데이터의 그룹들은 하나 이상의 화소의 그룹들을 포함하는, 인코딩 시스템.
EEE36. EEE33에 있어서, 포매터는 짝수-홀수 행-열 선택기를 포함하고, 이미지 데이터의 인터리빙 그룹들은 수평 재-배치, 수직 재-배치, 인터리빙된 수평 재-배치, 인터리빙된 수직 재-배치, 블록 재-배치, 인터리빙된 블록 재-배치, 수직 인터리빙된 재-배치, 및 수평 인터리빙된 재-배치 중 적어도 하나를 포함하는 그룹들을 포함하는, 인코딩 시스템.
EEE37. EEE33에 있어서, 데이터의 그룹들을 인터리빙하기 위한 배치를 선택하도록 구성된 선택 디바이스를 추가로 포함하는, 인코딩 시스템.
EEE38. EEE33에 있어서, 포매팅시 2개의 이미지들로부터의 데이터의 배치를 매핑하도록 구성된 매퍼를 추가로 포함하는, 인코딩 시스템.
EEE39. 비디오 스트림이 저장되어 있는 매체 저장소로서, 비디오 스트림은 대응하는 매체 플레이어에 의해 로드되어 판독될 때, 플레이어가 비디오 스트림을 디코딩하여 디-인터리빙한 다음 디스플레이 디바이스에 대한 비디오 스트림을 포매팅하도록 하는, 적어도 2개의 뷰들로부터의 인터리빙된 데이터의 세트들을 포함하는, 매체 저장소.
EEE40. EEE39에 있어서, 데이터의 세트들은 3D 이미지의 제 1 뷰에 대응하는 다중 데이터의 세트들 및 3D 이미지의 제 2 뷰에 대응하는 다중 데이터의 세트들을 포함하는, 매체 저장소.
EEE41. EEE39에 있어서, 매체 저장소는 메모리 카드, 디스크, 및 전자기 캐리어의 물리적 속성들 중 적어도 하나를 포함하는, 매체 저장소.
EEE42. EEE39에 있어서, 메모리 카드, 전자기 캐리어, 및 광학 디스크 중 적어도 하나의 물리적 특성들에 의해 표현될 때 매체 저장소의 저장 콘텐트들이 암호화되는, 매체 저장소.
EEE43. 비디오 인코딩 시스템에 있어서:
제 1 이미지에 대응하는 데이터의 적어도 하나의 패키지, 제 2 이미지에 대응하는 데이터의 적어도 하나의 패키지, 제 1 이미지의 해상도 및 동적 범위 강화 중 적어도 하나, 및 제 2 이미지의 해상도 및 동적 범위 강화 중 적어도 하나를 비디오 스트림의 이미지 데이터 프레임으로 포매팅하도록 구성된 포매터; 및
포매팅된 제 1 이미지 데이터 및 강화들, 제 2 이미지 및 강화들을 저장 및 브로드캐스트 중 적어도 하나를 위한 비디오 스트림으로 인코딩하도록 구성된 인코더를 포함하는, 비디오 인코딩 시스템.
EEE44. EEE43에 있어서, 인코더는 서브-이미지들이 다른 서브-이미지들에 대응하는 샘플들로부터 예측을 실행하도록 하는, 비디오 인코딩 시스템.
EEE45. EEE43에 있어서, 인코더는 공간적으로 이전에 패키징된 서브-이미지들이 다른 서브-이미지들에 대응하는 샘플들로부터 예측을 실행하는 것을 제한하는, 비디오 인코딩 시스템.
EEE46. 비디오 디코딩 시스템에 있어서:
비디오 스트림의 데이터 프레임을 디코딩하도록 구성된 디코더로서, 데이터 프레임은 적어도 2개의 이미지들로부터의 이미지 데이터 및 이미지들 중 적어도 하나에 대한 강화들을 포함하는, 디코더; 및
디코딩된 이미지 데이터에 의해 구체화되는 원래 이미지의 저 해상도 버전을 생성하기 위해 이미지들 중 적어도 하나로부터 디코딩된 이미지 데이터를 재-포매팅하도록 구성된 재-포매터를 포함하는, 비디오 디코딩 시스템.
EEE47. EEE46에 있어서, 재-포매터는 적어도 하나의 이미지에 대응하는 데이터를 디-인터리빙하도록 구성된 디-인터리버를 포함하는, 비디오 디코딩 시스템.
EEE48. EEE46에 있어서, 재-포매터는 또한 제 2 이미지 데이터 및 이미지들 중 적어도 하나에 대한 강화들 중 적어도 하나를 폐기하도록 구성된, 비디오 디코딩 시스템.
EEE49. EEE46에 있어서, 디코딩된 이미지 데이터를 강화하기 위해 디코딩된 강화들 중 적어도 일부를 이용하여 고해상도 및 고 동적 범위 이미지 중 적어도 하나를 생성하도록 구성된 인핸서를 추가로 포함하는, 비디오 디코딩 시스템.
EEE50. EEE49에 있어서, 강화들은 비디오 디코딩 시스템이 실시간으로 그렇게 행할 수 있는 정도로 각 이미지에 계속해서 적용되는, 비디오 디코딩 시스템.
EEE60. EEE49에 있어서, 강화들은 비디오 디코딩 시스템이 실시간으로 그렇게 행할 수 있고 출력 디스플레이 디바이스가 강화된 이미지들을 디스플레이할 수 있다면, 각 이미지에 계속해서 적용되는, 비디오 디코딩 시스템.
도면들에 예시된 본 발명의 바람직한 실시예들을 기술하는데 있어서, 명확성을 위해서 특정 기술이 이용된다. 그러나, 본 발명은 그렇게 선택된 특정 기술로 제한되는 것은 아니며, 각 특정 요소는 유사한 방식으로 동작하는 모든 기술적 등가물들을 포함하는 것으로 이해될 것이다. 예를 들면, 인터리빙 기술(예를 들면, 블록, 수직, 수평 또는 다른 것들)을 설명할 때, 임의의 다른 동등한 인터리빙, 또는 나열된 변형들, 또는 본원에서 논의된 동일한 문제들을 다른 방식으로 처리하는 전혀 상이한 인터리빙 패턴들이 대신 이용될 수도 있다. 또한, 본 발명자들은 현재는 공지되어 있지 않은 새롭게 개발된 기술들이 본 발명의 하나 이상의 설명된 부분들을 대체할 수도 있으며, 또한 본 발명의 범위를 벗어나지 않는다는 것을 알고 있다. 인코더들, 샘플링, 인터리빙, 디코더들, 맵들, 패턴들/배치들/포맷들 등을 포함하지만 이들로 제한되지는 않는 모든 다른 설명된 항목들은 또한 임의의 모든 이용 가능한 등가물들의 관점에서 고려되어야 한다.
본 발명의 일부분들은 컴퓨터 분야의 당업자들에게 명백한 바와 같이, 본원의 교시들에 따라 프로그램된 종래의 범용 또는 전문 디지털 컴퓨터 또는 마이크로프로세서를 이용하여 편리하게 구현될 수도 있다.
적절한 소프트웨어 코딩은 소프트웨어 분야의 당업자들에게 명백한 바와 같이, 본원의 교시들에 기초하여 숙련된 프로그래머들에 의해 쉽게 준비될 수 있다. 본 발명은 또한, 본원에 기초하여 당업자들에게 명백한 바와 같이, 애플리케이션 고유의 집적 회로들의 준비에 의해 또는 종래의 구성요소 회로들의 적절한 네트워크를 상호 접속함으로써 구현될 수도 있다.
본 발명은 제어를 위해 또는 컴퓨터가 본 발명의 처리들 중 임의의 처리를 실행하도록 하기 위해 이용될 수 있는 명령들이 저장되어 있는 저장 매체인 컴퓨터 프로그램 제품을 포함한다. 저장 매체는 플로피 디스크들, 미니 디스크들(MD들), 광학 디스크들, DVD, HD-DVD, 블루-레이, CD-ROMS, CD 또는 DVD RW+/-, 마이크로-드라이브들을 포함한 임의의 종류의 디스크, 및 자기-광학 디스크들, ROM들, RAM들, EPROM들, EEPROM들, DRAM들, VRAM들, (플래시 카드들, 메모리 스틱들을 포함하는) 플래시 메모리 디바이스들, 자기 또는 광학 카드들, SIM 카드들, MEMS, (분자 메모리 IC들을 포함하는) 나노 시스템들, RAID 디바이스들, 원격 데이터 저장/기록/보관, 또는 명령들 및/또는 데이터를 저장하기에 적절한 임의의 종류의 매체 또는 디바이스를 포함할 수 있지만, 이들로 제한되는 것은 아니다.
컴퓨터 판독가능한 매체 중 임의의 매체에 저장될 때, 본 발명은 범용/전문 컴퓨터 또는 마이크로프로세서의 하드웨어 모두를 제어하기 위한, 및 컴퓨터나 마이크로프로세서가 본 발명의 결과들을 이용하는 인간 이용자 또는 다른 메커니즘과 상호작용할 수 있도록 하기 위한 소프트웨어를 포함한다. 이러한 소프트웨어는 디바이스 드라이버들, 운영 체제들 및 이용자 애플리케이션들을 포함할 수도 있지만 이들로 제한되는 것은 아니다. 궁극적으로, 이러한 컴퓨터 판독가능한 매체는 또한, 상술된 바와 같이, 본 발명을 실행하기 위한 소프트웨어를 포함한다.
범용/전문 컴퓨터 또는 마이크로프로세서의 프로그래밍(소프트웨어)에 포함되는 것은 샘플링, 서브-이미지들의 식별, 서브-이미지들의 배열, 인터리빙 방법들과 관련된 임의의 형태의 사이드 정보 또는 본 발명과 관련된 서브-이미지들의 인코딩, 디코딩 후의 재-포매팅, 및 본 발명의 처리들에 따른 결과들의 디스플레이, 저장 또는 통신을 포함하지만 이들로 제한되지는 않는, 본 발명의 교시들을 구현하기 위한 소프트웨어 모듈들이다.
본 발명은 본원에 기술된 것과 같은 임의의 요소(본 발명의 다양한 부분들 또는 특징들) 및 그들의 등가물들을 적절히 포함하거나, 그들로 구성되거나 본질적으로 구성될 수도 있다. 또한, 본원에 예시적으로 개시된 본 발명은 본원에 구체적으로 개시되어 있든 그렇지 않든, 임의의 요소 없이 실시될 수도 있다. 명백히, 본 발명의 다중 수정들 및 변형들은 상기 교시들을 고려하여 가능하다. 따라서, 첨부된 청구항들의 범위 내에서, 본 발명은 본원에 구체적으로 기술된 것 외에도 실시될 수도 있다는 것이 이해될 것이다.
103: 포맷 변환기 162: 디스패리티 추정
164: 화상 기준 저장소 166: 루프 필터
180: 레이트 왜곡 최적화

Claims (28)

  1. n개의 이미지들을 서브-샘플링하는 단계;
    상기 샘플링된 이미지들 각각을 서브-이미지들로 분할하는 단계;
    상기 서브-이미지들을 하나의 이미지 프레임으로 함께 패키징하는 단계; 및
    상기 단일 이미지 프레임을 비디오 인코더를 통해 인코딩하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 서브-샘플링하는 단계는 퀸컹스 샘플링을 포함하는, 방법.
  3. 제 1 항에 있어서,
    상기 분할하는 단계는 상기 샘플링된 이미지들을 행들 및 열들 중 적어도 하나에 기초하여 분할하는 것을 포함하는, 방법.
  4. 제 1 항에 있어서,
    상기 서브-이미지들은 대응하는 이미지로부터의 패턴을 통해 선택된 데이터를 포함하는, 방법.
  5. 제 1 항에 있어서,
    상기 분할하는 단계는 상기 샘플링된 이미지들 각각으로부터 근접한 데이터의 다중 블록들을 준비하는 것을 포함하는, 방법.
  6. 제 1 항에 있어서,
    상기 패키징하는 단계는 미리 결정된 포맷으로 상기 서브-이미지들을 인터리빙하는 것을 포함하는, 방법.
  7. 제 6 항에 있어서,
    상기 미리 결정된 포맷은 상기 이미지들, 상기 샘플링된 이미지들, 및 상기 분할된 이미지 샘플들 중 적어도 하나에 기초하여 적응적으로 변경되는, 방법.
  8. 제 6 항에 있어서,
    상기 미리 결정된 포맷을 식별하는 맵을 인코딩하는 단계를 추가로 포함하는, 방법.
  9. 제 1 에 있어서,
    상기 맵은 상기 이미지 프레임의 영역에서 인코딩되고, 상기 서브-이미지들을 패키징하는 단계는 상기 이미지 프레임의 다른 영역들에서 실행되는, 방법.
  10. 제 8 항에 있어서,
    상기 맵은 사이드 정보로서 인코딩되는, 방법.
  11. 제 1 항에 있어서,
    상기 서브-샘플링하는 단계는 퀸컹스 샘플링을 포함하고, 상기 분할하는 단계는 서브-샘플링된 이미지의 한 행 걸러 및 한 열 걸러 중 하나를 이용하여 서브-이미지들을 준비하는 것을 포함하고, 상기 패키징하는 단계는 행 및 열 기반 서브-이미지들 중 하나를 배열하는 것을 포함하는, 방법.
  12. 제 1 항에 있어서,
    상기 이미지 프레임 내의 서브-이미지들의 배치의 식별자를 인코딩하는 단계를 추가로 포함하는, 방법.
  13. 제 1 항에 있어서,
    상기 패키징은 상기 서브-샘플링된 이미지들 중 하나의 치수와 동등한 적어도 하나의 치수를 유지하는, 방법.
  14. 제 1 항에 있어서,
    상기 패키징은 SNR/해상도 확장성 및 2D-3D 확장성을 포함한 진보된 확장성 특징들을 가능하게 하도록 선택된 패키징 포맷을 포함하는, 방법.
  15. 제 1 항에 있어서,
    상기 인코딩하는 단계는 JPEG, JPEG-2000, MPEG-2, MPEG-4 AVC, 및 VC1 인코딩과 같은 임의의 하나의 이미지 또는 비디오 인코딩 시스템을 포함하는, 방법.
  16. 비디오 디바이스에 있어서:
    인코딩된 비디오 신호에서 프레임마다 하나 이상의 이미지를 포함하는 상기 인코딩된 비디오 신호를 디코딩하도록 구성된 디코더; 및
    상기 디코딩된 비디오 신호의 프레임 포맷으로 인터리빙된 비디오 데이터의 그룹들을 디-인터리빙하도록 구성된 포맷 변환기를 포함하는 포맷 변환기로서, 상기 비디오 데이터의 그룹들은 제 1 이미지로부터의 비디오 데이터의 하나 이상의 그룹들 및 제 2 이미지로부터의 비디오 데이터의 하나 이상의 그룹들을 포함하는, 상기 포맷 변환기를 포함하는, 비디오 디바이스.
  17. 제 1 항에 있어서,
    상기 포맷 변환기는 다중 인터리빙 포맷들로부터 상기 데이터의 그룹들을 디-인터리빙하도록 구성된 디-인터리버를 포함하는, 비디오 디바이스.
  18. 제 1 항에 있어서,
    상기 포맷 변환기는 상기 인터리빙된 데이터 그룹들의 포맷에 기초하여 상기 디-인터리빙을 실행하기 위해 알고리즘 및 전문 전자장치 중 하나를 선택하도록 구성된 선택 디바이스를 포함하는, 비디오 디바이스.
  19. 제 1 항에 있어서,
    상기 포맷 변환기는 수평, 수직, 블록-기반 및 맵-기반 인터리빙된 비디오 데이터의 그룹들 중 적어도 하나를 디-인터리빙하도록 구성된, 비디오 디바이스.
  20. 제 1 항에 있어서,
    상기 이미지들 중 적어도 하나로부터 상기 디-인터리빙된 데이터의 그룹들을 업-변환하도록 구성된 업-변환기를 추가로 포함하는, 비디오 디바이스.
  21. 제 20 항에 있어서,
    상기 업-변환된 데이터는 3D 이미지의 제 1 뷰를 포함하는 상기 제 1 이미지의 데이터 및 상기 3D 이미지의 제 2 뷰를 포함하는 상기 제 2 이미지의 데이터를 포함하는, 비디오 디바이스.
  22. 제 1 항에 있어서,
    상기 비디오 디바이스는 블루-레이 DVD 플레이어, 매체 플레이어, 셋-톱 박스, 케이블 박스, 컴퓨터 비디오 카드, 튜너, 또는 다른 전자 디바이스 중 적어도 하나의 일부인, 비디오 디바이스.
  23. 인코딩 시스템에 있어서:
    적어도 2개의 상이한 뷰들의 이미지들을 서브-샘플링하도록 구성된 서브-샘플러;
    각 뷰로부터 이미지 데이터의 적어도 하나의 그룹을 선택하고 상기 그룹들을 비디오 스트림의 단일 이미지 프레임으로 인터리빙하도록 구성된 포매터; 및
    상기 비디오 스트림을 인코딩하도록 구성된 인코더를 포함하는, 인코딩 시스템.
  24. 제 23 항에 있어서,
    상기 인코더는 MPEG-4 AVC 인코더를 포함하는, 인코딩 시스템.
  25. 제 23 항에 있어서,
    상기 이미지 데이터의 그룹들은 하나 이상의 화소의 그룹들을 포함하는, 인코딩 시스템.
  26. 제 23 항에 있어서,
    상기 포매터는 짝수-홀수 행-열 선택기를 포함하고, 상기 이미지 데이터의 인터리빙 그룹들은 수평 재-배치, 수직 재-배치, 인터리빙된 수평 재-배치, 인터리빙된 수직-재배치, 블록 재-배치, 인터리빙된 블록-재배치, 수직 인터리빙된 재-배치 및 수평 인터리빙된 재-배치 중 적어도 하나를 포함하는 그룹들을 포함하는, 인코딩 시스템.
  27. 제 23 항에 있어서,
    상기 데이터의 그룹들을 인터리빙하기 위한 배치를 선택하도록 구성된 선택 디바이스를 추가로 포함하는, 인코딩 시스템.
  28. 제 23 항에 있어서,
    포매팅시 상기 2개의 이미지들로부터 데이터의 배치를 매팽하도록 구성된 매퍼를 추가로 포함하는, 인코딩 시스템.
KR1020117019713A 2009-01-29 2010-01-28 다중 이미지들，예를 들면 스테레오스코픽을 서브―샘플링 및 인터리빙하기 위한 방법들 및 디바이스들 KR101405019B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14805109P 2009-01-29 2009-01-29
US61/148,051 2009-01-29
PCT/US2010/022445 WO2010088420A1 (en) 2009-01-29 2010-01-28 Methods and devices for sub-sampling and interleaving multiple images, eg stereoscopic

Publications (2)

Publication Number Publication Date
KR20110106466A true KR20110106466A (ko) 2011-09-28
KR101405019B1 KR101405019B1 (ko) 2014-06-11

Family

ID=42076914

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117019713A KR101405019B1 (ko) 2009-01-29 2010-01-28 다중 이미지들，예를 들면 스테레오스코픽을 서브―샘플링 및 인터리빙하기 위한 방법들 및 디바이스들

Country Status (7)

Country Link
US (11) US9025670B2 (ko)
EP (2) EP2392144A1 (ko)
JP (1) JP5406942B2 (ko)
KR (1) KR101405019B1 (ko)
CN (10) CN105357509B (ko)
HK (9) HK1211763A1 (ko)
WO (1) WO2010088420A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101483052B1 (ko) * 2013-07-11 2015-01-16 연세대학교 산학협력단 3d 동영상을 코딩/디코딩하기 위한 장치 및 그 방법
US8958642B2 (en) 2011-10-19 2015-02-17 Electronics And Telecommunications Research Institute Method and device for image processing by image division

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068729B2 (en) 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US9240810B2 (en) 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
EP2355360B1 (en) 2002-10-05 2020-08-05 QUALCOMM Incorporated Systematic encoding and decoding of chain reaction codes
US7139960B2 (en) 2003-10-06 2006-11-21 Digital Fountain, Inc. Error-correcting multi-stage code generator and decoder for communication systems having single transmitters or multiple transmitters
EP2202888A1 (en) 2004-05-07 2010-06-30 Digital Fountain, Inc. File download and streaming system
KR101292851B1 (ko) 2006-02-13 2013-08-02 디지털 파운튼, 인크. 가변적 ｆｅｃ 오버헤드 및 보호 구간을 이용하는 스트리밍및 버퍼링
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
US7971129B2 (en) 2006-05-10 2011-06-28 Digital Fountain, Inc. Code generator and decoder for communications systems operating using hybrid codes to allow for multiple efficient users of the communications systems
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9386064B2 (en) 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
CN101802797B (zh) 2007-09-12 2013-07-17 数字方敦股份有限公司 生成和传达源标识信息以实现可靠的通信
US9237327B2 (en) 2008-09-23 2016-01-12 Dolby Laboratories Licensing Corporation Encoding and decoding architecture of checkerboard multiplexed image data
US9025670B2 (en) 2009-01-29 2015-05-05 Dolby Laboratories Licensing Corporation Methods and devices for sub-sampling and interleaving multiple images, EG stereoscopic
WO2010120804A1 (en) * 2009-04-13 2010-10-21 Reald Inc. Encoding, decoding, and distributing enhanced resolution stereoscopic video
WO2012044487A1 (en) 2010-10-01 2012-04-05 Dolby Laboratories Licensing Corporation Optimized filter selection for reference picture processing
JP5562408B2 (ja) 2009-04-20 2014-07-30 ドルビー ラボラトリーズ ライセンシング コーポレイション 指揮された補間およびデータの後処理
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US9218644B2 (en) * 2009-12-17 2015-12-22 Broadcom Corporation Method and system for enhanced 2D video display based on 3D video input
US9215445B2 (en) * 2010-01-29 2015-12-15 Thomson Licensing Block-based interleaving
US9225961B2 (en) 2010-05-13 2015-12-29 Qualcomm Incorporated Frame packing for asymmetric stereo video
FR2962291B1 (fr) * 2010-07-01 2012-08-24 St Microelectronics Grenoble 2 Procede de traitement d'images 3d, et systeme correspondant
JP5693716B2 (ja) * 2010-07-08 2015-04-01 ドルビー ラボラトリーズ ライセンシング コーポレイション 参照処理信号を使った多層画像およびビデオ送達のためのシステムおよび方法
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
EP2596635B1 (en) * 2010-07-19 2020-05-20 Dolby Laboratories Licensing Corporation Enhancement methods for sampled and multiplexed image and video data
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US9319448B2 (en) 2010-08-10 2016-04-19 Qualcomm Incorporated Trick modes for network streaming of coded multimedia data
US8537201B2 (en) 2010-10-18 2013-09-17 Silicon Image, Inc. Combining video data streams of differing dimensionality for concurrent display
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
FR2974966A1 (fr) * 2011-05-05 2012-11-09 France Telecom Procede de codage et de decodage d'images integrales, dispositif de codage et de decodage d'images integrales et programmes d'ordinateur correspondants
US9521418B2 (en) 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
WO2013014177A1 (en) * 2011-07-25 2013-01-31 Sony Corporation In-painting method for 3d stereoscopic views generation
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
JP5849681B2 (ja) * 2011-12-16 2016-02-03 富士通株式会社 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、及び復号プログラム
US9106894B1 (en) * 2012-02-07 2015-08-11 Google Inc. Detection of 3-D videos
CN102595164A (zh) 2012-02-27 2012-07-18 中兴通讯股份有限公司 一种视频图像发送方法、装置及系统
US9674499B2 (en) * 2012-08-15 2017-06-06 Qualcomm Incorporated Compatible three-dimensional video communications
US9743064B2 (en) * 2012-09-11 2017-08-22 The Directv Group, Inc. System and method for distributing high-quality 3D video in a 2D format
CN103702172A (zh) * 2013-12-13 2014-04-02 乐视网信息技术（北京）股份有限公司 对音视频进行杜比转码的方法和系统
US9713982B2 (en) 2014-05-22 2017-07-25 Brain Corporation Apparatus and methods for robotic operation using video imagery
US9939253B2 (en) * 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
US10194163B2 (en) 2014-05-22 2019-01-29 Brain Corporation Apparatus and methods for real time estimation of differential motion in live video
US10057593B2 (en) * 2014-07-08 2018-08-21 Brain Corporation Apparatus and methods for distance estimation using stereo imagery
US10979689B2 (en) * 2014-07-16 2021-04-13 Arris Enterprises Llc Adaptive stereo scaling format switch for 3D video encoding
US9870617B2 (en) 2014-09-19 2018-01-16 Brain Corporation Apparatus and methods for saliency detection based on color occurrence analysis
EP4235564A3 (en) * 2015-07-15 2023-09-27 Blinxel Pty Ltd. System and method for image processing
US10197664B2 (en) 2015-07-20 2019-02-05 Brain Corporation Apparatus and methods for detection of objects using broadband signals
US10034026B2 (en) 2016-04-22 2018-07-24 Akila Subramaniam Device for and method of enabling the processing of a video stream
EP3249929A1 (en) * 2016-05-25 2017-11-29 Thomson Licensing Method and network equipment for establishing a manifest
US11272094B2 (en) * 2016-07-18 2022-03-08 Endless Technologies Ltd. System and method providing object-oriented zoom in multimedia messaging
CN106408641B (zh) * 2016-09-19 2019-10-18 上海玮舟微电子科技有限公司 一种图像数据的缓存方法和装置
US11082719B2 (en) 2017-07-03 2021-08-03 Nokia Technologies Oy Apparatus, a method and a computer program for omnidirectional video
CN107592539B (zh) * 2017-08-21 2019-10-22 北京奇艺世纪科技有限公司 一种视频编码方法和装置
EP3474550A1 (en) * 2017-10-20 2019-04-24 Thomson Licensing Stereo omnidirectional frame packing
US11729442B2 (en) * 2017-12-29 2023-08-15 Sling Media L.L.C. Multiplexed place shifting device
CN110503928B (zh) * 2018-05-18 2021-09-07 晶典有限公司 为具有可配置多电极像素的光调制底板产生五点形视频流
CN108419068A (zh) * 2018-05-25 2018-08-17 张家港康得新光电材料有限公司 一种3d图像处理方法和装置
CN111372038B (zh) * 2018-12-26 2021-06-18 厦门星宸科技有限公司 多串流影像处理装置及方法
US11323731B2 (en) * 2019-03-08 2022-05-03 Tencent America LLC Method and apparatus for video coding
CN111683216A (zh) * 2020-05-25 2020-09-18 福建云视听信息科技有限公司 一种交织模式下隔行视频处理方法、系统、设备及介质
CN112911336A (zh) * 2021-01-15 2021-06-04 武汉兴图新科电子股份有限公司 用于云视频平台的视频解码压缩网络动态调整系统及方法

Family Cites Families (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6022290B2 (ja) 1976-10-25 1985-06-01 株式会社日立製作所 血液塗抹法
US6661463B1 (en) 1983-05-09 2003-12-09 David Michael Geshwind Methods and devices for time-varying selection and arrangement of data points with particular application to the creation of NTSC-compatible HDTV signals
JPH0686260B2 (ja) 1986-03-07 1994-11-02 株式会社片岡機械製作所 巻芯各個駆動式分割巻取装置
IL83752A (en) 1987-09-02 1992-03-29 Ibm Israel Method and apparatus for transmitting and receiving 3-dimensional video images
FI89546C (fi) 1988-02-23 1993-10-11 Philips Nv Anordning foer spatialtemporal undersampling av digitala videosignaler representerade en foeljd av successiva bilder och anordning foer transmission av hdtv-bilder
JPH0413186A (ja) 1990-05-02 1992-01-17 Suzuki Gakki Seisakusho:Kk 電子リコーダー
JPH04183186A (ja) 1990-11-19 1992-06-30 Toshiba Corp 画像記録再生装置
EP0502545B1 (en) * 1991-03-07 1996-09-11 Mitsubishi Denki Kabushiki Kaisha Encoding apparatus for encoding a digital image signal
JPH062290A (ja) 1992-06-17 1994-01-11 Harumoto Tekkosho:Kk カバー体のケーブルへの取付け装置および方法
JPH0622290A (ja) 1992-07-03 1994-01-28 Sony Corp 画像信号符号化装置及び復号化装置
JPH0686260A (ja) 1992-08-31 1994-03-25 Victor Co Of Japan Ltd 直交変換符号化方法及び直交変換復号化方法
US5598514A (en) * 1993-08-09 1997-01-28 C-Cube Microsystems Structure and method for a multistandard video encoder/decoder
DE69604772T2 (de) 1995-08-21 2000-04-06 Matsushita Electric Ind Co Ltd Multimedia optische platte zur leichten durchführung verzweigter wiedergabe zum teil mit elternschloss mittels geringer menge von steuerungsinformation und wiedergabevorrichtung dafür
DE19531173A1 (de) 1995-08-24 1997-02-27 Boehringer Mannheim Gmbh Verfahren zum Stabilisieren des Gehalts glykierten Proteins einer Probe auf einem Matrixmaterial
US5650860A (en) 1995-12-26 1997-07-22 C-Cube Microsystems, Inc. Adaptive quantization
DE19619598A1 (de) 1996-05-15 1997-11-20 Deutsche Telekom Ag Verfahren zur Speicherung oder Übertragung von stereoskopischen Videosignalen
US6134269A (en) * 1996-09-25 2000-10-17 At&T Corp Fixed or adaptive deinterleaved transform coding for image coding and intra coding of video
JP2001502504A (ja) 1996-10-11 2001-02-20 サーノフ コーポレイション 立体視ビデオを符号化及び複号する装置及び方法
JP4034380B2 (ja) * 1996-10-31 2008-01-16 株式会社東芝 画像符号化／復号化方法及び装置
KR100238136B1 (ko) * 1996-11-28 2000-01-15 윤종용 디지털 비디오 재생장치
JP3454675B2 (ja) 1997-06-20 2003-10-06 三洋電機株式会社 立体映像伝送方法及び装置
US6118486A (en) 1997-09-26 2000-09-12 Sarnoff Corporation Synchronized multiple format video processing method and apparatus
US6804403B1 (en) * 1998-07-15 2004-10-12 Digital Accelerator Corporation Region-based scalable image coding
EP1032212A3 (en) * 1999-02-23 2004-04-28 Matsushita Electric Industrial Co., Ltd. Transcoder, transcoding system, and recording medium
EP1269761A1 (en) 2000-03-31 2003-01-02 Koninklijke Philips Electronics N.V. Encoding of two correlated sequences of data
US6944242B2 (en) * 2001-01-04 2005-09-13 Comsys Communication & Signal Processing Ltd. Apparatus for and method of converting soft symbol information to soft bit information
CN1367611A (zh) 2001-01-21 2002-09-04 爱尔得资讯股份有限公司 三维视频图像数字编码方法
KR100454194B1 (ko) * 2001-12-28 2004-10-26 한국전자통신연구원 다중 디스플레이 방식을 지원하는 양안식 동영상 부호화/복호화 장치 및 그 방법
US20040218269A1 (en) * 2002-01-14 2004-11-04 Divelbiss Adam W. General purpose stereoscopic 3D format conversion system and method
CN1620815A (zh) * 2002-01-22 2005-05-25 皇家飞利浦电子股份有限公司 无漂移的视频编码和解码方法以及相应的设备
US7319720B2 (en) 2002-01-28 2008-01-15 Microsoft Corporation Stereoscopic video
CA2380105A1 (en) * 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
JP4154569B2 (ja) * 2002-07-10 2008-09-24 日本電気株式会社 画像圧縮伸長装置
KR100523052B1 (ko) 2002-08-30 2005-10-24 한국전자통신연구원 다중 디스플레이 방식을 지원하는 다시점 동영상의 객체 기반 부호화 장치 및 그 방법과 그를 이용한 객체 기반 송수신 시스템 및 그 방법
JP4406914B2 (ja) * 2003-04-30 2010-02-03 日本電気株式会社 立体画像圧縮装置及び立体画像伸長装置
US7480416B2 (en) * 2003-05-09 2009-01-20 Telecommunications Research Laboratories Implementation of discrete wavelet transform using lifting steps
CN1236624C (zh) 2003-09-04 2006-01-11 上海大学 多种块模式的快速整像素运动估计方法
US7092576B2 (en) * 2003-09-07 2006-08-15 Microsoft Corporation Bitplane coding for macroblock field/frame coding type information
US7650036B2 (en) * 2003-10-16 2010-01-19 Sharp Laboratories Of America, Inc. System and method for three-dimensional video coding
US7379608B2 (en) * 2003-12-04 2008-05-27 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. Arithmetic coding for transforming video and picture data units
JP4183186B2 (ja) 2004-03-29 2008-11-19 京セラ株式会社 セラミックヒータ
EP1613091B1 (en) 2004-07-02 2009-08-26 Mitsubishi Electric Information Technology Centre Europe B.V. Intra-frame prediction for high-pass temporal-filtered frames in wavelet video coding
US20060015919A1 (en) * 2004-07-13 2006-01-19 Nokia Corporation System and method for transferring video information
FR2875974A1 (fr) * 2004-09-28 2006-03-31 Thomson Licensing Sa Procede et dispositif de codage d'une sequence d'images sources
WO2006080739A1 (en) * 2004-10-12 2006-08-03 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding multi-view video using image stitching
US20060282855A1 (en) * 2005-05-05 2006-12-14 Digital Display Innovations, Llc Multiple remote display system
WO2006125779A1 (en) * 2005-05-25 2006-11-30 Agfa Graphics Nv Image processing method and apparatus for improving the image quality of a dot matrix printer
JP5431726B2 (ja) * 2005-06-23 2014-03-05 コーニンクレッカ フィリップス エヌ ヴェ 画像および関連データの組み合わされた交換
JP5017825B2 (ja) * 2005-09-15 2012-09-05 ソニー株式会社 復号装置および復号方法
US9113147B2 (en) * 2005-09-27 2015-08-18 Qualcomm Incorporated Scalability techniques based on content information
JP4987322B2 (ja) * 2006-02-28 2012-07-25 株式会社東芝 動画像復号装置及び動画像復号方法
KR101101965B1 (ko) * 2006-10-16 2012-01-02 노키아 코포레이션 멀티뷰 비디오 코딩에 대한 병렬 디코딩가능 슬라이스들을 이용하기 위한 시스템 및 방법
JP2008193627A (ja) * 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
CN101290774B (zh) * 2007-01-31 2011-09-07 广州广晟数码技术有限公司 音频编码和解码系统
US8054886B2 (en) * 2007-02-21 2011-11-08 Microsoft Corporation Signaling and use of chroma sample positioning information
JP2008228199A (ja) * 2007-03-15 2008-09-25 Toshiba Corp 立体画像表示装置及び立体画像表示方法並びに立体画像用データの構造
BRPI0823512A2 (pt) 2007-04-12 2013-11-26 Thomson Licensing Ladrilhamento em codificação e decodificação de vídeo
US8373744B2 (en) 2007-06-07 2013-02-12 Reald Inc. Stereoplexing for video and film applications
US8487982B2 (en) * 2007-06-07 2013-07-16 Reald Inc. Stereoplexing for film and video applications
US8749615B2 (en) 2007-06-07 2014-06-10 Reald Inc. Demultiplexing for stereoplexed film and video applications
CN201066898Y (zh) 2007-07-17 2008-05-28 西安理工大学 一种实现菱形搜索算法的硬件结构
KR101556134B1 (ko) 2007-08-24 2015-09-30 엘지전자 주식회사 디지털 방송 송신기 및 그 제어 방법
KR101521655B1 (ko) * 2007-10-13 2015-05-20 삼성전자주식회사 ＬＡＳｅＲ 기반의 단말을 위한 스테레오스코픽 입체 영상 컨텐츠 제공 장치 및 방법
US8116381B2 (en) * 2007-10-22 2012-02-14 Lg Electronics Inc. Digital broadcasting system and data processing method in digital broadcasting system
US20090174704A1 (en) 2008-01-08 2009-07-09 Graham Sellers Graphics Interface And Method For Rasterizing Graphics Data For A Stereoscopic Display
CN101252686B (zh) * 2008-03-20 2010-04-14 上海交通大学 基于交织预测的视频帧内无损编解码方法及系统
US8111324B2 (en) * 2008-06-26 2012-02-07 Texas Instruments Incorporated Apparatus and method for film source reconstruction
US20100091244A1 (en) 2008-07-19 2010-04-15 Volk Donald A Real image forming eye examination lens utilizing two reflecting surfaces with non-mirrored central viewing area
CN106507117B (zh) * 2008-07-20 2020-01-21 杜比实验室特许公司 立体视频传送系统的编码器优化的方法和设备
US8629898B2 (en) 2008-09-03 2014-01-14 Sony Corporation Stereoscopic video delivery
US9237327B2 (en) 2008-09-23 2016-01-12 Dolby Laboratories Licensing Corporation Encoding and decoding architecture of checkerboard multiplexed image data
US9025670B2 (en) 2009-01-29 2015-05-05 Dolby Laboratories Licensing Corporation Methods and devices for sub-sampling and interleaving multiple images, EG stereoscopic
EP2446249B1 (en) * 2009-06-24 2020-08-05 Koninklijke Philips N.V. Optical biosensor with focusing optics
WO2011091309A1 (en) * 2010-01-21 2011-07-28 General Instrument Corporation Stereoscopic video graphics overlay
US9215445B2 (en) 2010-01-29 2015-12-15 Thomson Licensing Block-based interleaving
JP6022290B2 (ja) 2012-10-03 2016-11-09 ドゥーマンズ株式会社 ユニットのデータ構造，ユニット設計装置および方法，家具設計装置，家具設計システム，ならびに家具製造支援装置
CN104781979B (zh) 2012-11-12 2017-03-08 丰田自动车株式会社 非水电解质二次电池
JP2017228903A (ja) * 2016-06-21 2017-12-28 富士通株式会社 符号化プログラム、符号化方法、符号化装置、復号化プログラム、復号化方法及び復号化装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8958642B2 (en) 2011-10-19 2015-02-17 Electronics And Telecommunications Research Institute Method and device for image processing by image division
KR101483052B1 (ko) * 2013-07-11 2015-01-16 연세대학교 산학협력단 3d 동영상을 코딩/디코딩하기 위한 장치 및 그 방법

Also Published As

Publication number Publication date
US10362334B2 (en) 2019-07-23
HK1220563A1 (zh) 2017-05-05
CN105407341A (zh) 2016-03-16
US20220109874A1 (en) 2022-04-07
CN105357533A (zh) 2016-02-24
KR101405019B1 (ko) 2014-06-11
EP3226559A1 (en) 2017-10-04
CN105472369A (zh) 2016-04-06
US20210377565A9 (en) 2021-12-02
US20230217042A1 (en) 2023-07-06
CN102301715B (zh) 2015-12-16
US9877046B2 (en) 2018-01-23
US20180084278A1 (en) 2018-03-22
CN105357510A (zh) 2016-02-24
US20240080479A1 (en) 2024-03-07
CN104780384A (zh) 2015-07-15
US20190373288A1 (en) 2019-12-05
CN105357533B (zh) 2018-10-19
US10382788B2 (en) 2019-08-13
HK1220564A1 (zh) 2017-05-05
HK1221361A1 (zh) 2017-05-26
CN105376549B (zh) 2017-08-11
JP5406942B2 (ja) 2014-02-05
HK1211763A1 (en) 2016-05-27
HK1221360A1 (zh) 2017-05-26
US10701397B2 (en) 2020-06-30
CN102301715A (zh) 2011-12-28
CN104780385A (zh) 2015-07-15
CN104780385B (zh) 2018-01-16
WO2010088420A1 (en) 2010-08-05
HK1220301A1 (zh) 2017-04-28
HK1211768A1 (en) 2016-05-27
US20150326882A1 (en) 2015-11-12
CN105472369B (zh) 2017-09-12
US11622130B2 (en) 2023-04-04
US11284110B2 (en) 2022-03-22
US20200329256A1 (en) 2020-10-15
US9025670B2 (en) 2015-05-05
CN105357509A (zh) 2016-02-24
HK1222495A1 (zh) 2017-06-30
HK1220303A1 (zh) 2017-04-28
CN105357534A (zh) 2016-02-24
US9877047B2 (en) 2018-01-23
US20110280300A1 (en) 2011-11-17
US20150181234A1 (en) 2015-06-25
CN104780384B (zh) 2018-01-16
CN105357534B (zh) 2018-06-19
US9420311B2 (en) 2016-08-16
US20150237373A1 (en) 2015-08-20
CN105376549A (zh) 2016-03-02
CN105407341B (zh) 2017-05-17
CN105357509B (zh) 2017-09-15
JP2012516657A (ja) 2012-07-19
EP2392144A1 (en) 2011-12-07
CN105357510B (zh) 2017-08-11
US20180213256A1 (en) 2018-07-26

Similar Documents

Publication Publication Date Title
US11622130B2 (en) Coding and decoding of interleaved image data
US9877045B2 (en) Encoding and decoding architecture of checkerboard multiplexed image data
WO2009136681A1 (en) Method for encoding and decoding image, and apparatus for displaying image

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170526

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180524

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190528

Year of fee payment: 6