KR20150014496A - 지원 정보에 기반한 잔차 데이터의 인코딩 및 복원 - Google Patents

지원 정보에 기반한 잔차 데이터의 인코딩 및 복원 Download PDF

Info

Publication number
KR20150014496A
KR20150014496A KR1020147035186A KR20147035186A KR20150014496A KR 20150014496 A KR20150014496 A KR 20150014496A KR 1020147035186 A KR1020147035186 A KR 1020147035186A KR 20147035186 A KR20147035186 A KR 20147035186A KR 20150014496 A KR20150014496 A KR 20150014496A
Authority
KR
South Korea
Prior art keywords
values
sets
sequence
support
reconstructed
Prior art date
Application number
KR1020147035186A
Other languages
English (en)
Inventor
루카 로사토
귀도 메아르디
Original Assignee
루카 로사토
귀도 메아르디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 루카 로사토, 귀도 메아르디 filed Critical 루카 로사토
Publication of KR20150014496A publication Critical patent/KR20150014496A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/439—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using cascaded computational arrangements for performing a single operation, e.g. filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/62—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding by frequency transforming in three dimensions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94—Vector quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Abstract

컴퓨터 프로세서 하드웨어는 값들의 세트들의 시퀀스를 수신한다. 컴퓨터 프로세서 하드웨어는 지원 값들의 세트를 생성하기 위해 값들의 세트들의 시퀀스를 처리하고, 시퀀스에서의 다수의 세트들의 값들을 이용하며 지원 값들의 상기 세트는 시퀀스에서의 원시 세트들의 값들의 각각을 실질적으로 재생하기 위한 기준선을 형성하도록 결정된다. 컴퓨터 프로세서 하드웨어는 지원 값들의 상기 세트에 대응하는 복원 데이터를 생성한다.

Description

지원 정보에 기반한 잔차 데이터의 인코딩 및 복원{ENCODING AND RECONSTRUCTION OF RESIDUAL DATA BASED ON SUPPORT INFORMATION}
디지털 신호들의 인코딩 및 디코딩을 처리하기 위한 많은 기법들이 해당 기술 분야에 알려져 있다. 이는 오디오 신호들, 픽쳐들, 비디오 신호들 및 과학 및 의료 분야들에서 사용되는 입체(volumetric) 신호들과 같은 다른 다차원 신호들의 경우이다. 높은 압축비들을 달성하기 위해, 이들 기법들은 신호 내부의 공간 및 시간 상관관계를 이용한다. 종래의 방법들은 기준을 확인하고 현재 위치와 주어진 기준 사이의 신호의 차이를 결정하도록 시도한다. 이는 기준이 이미 수신되고 디코딩된 공간 평면의 일부인 공간 도메인, 및 신호의 시간(예를 들면, 프레임들의 시퀀스에서의 비디오 프레임)에서 단일 사례가 특정 기간 동안 기준으로서 취해지는 시간 도메인 양자에서 이루어진다. 이는, 예를 들면, MPEG-패밀리 압축 알고리즘들의 경우인데, 여기서, 사전-디코딩된 매크로 블록들이 공간 도메인에서 기준으로서 취해지고, I-프레임들 및 P-프레임들이 시간 도메인에서 기준으로서 사용된다.
알려진 기법들은 여러 면들에서 공간 상관관계 및 시간 상관관계를 이용하고, 차이들("잔차 데이터")을 식별, 단순화, 인코딩 및 전송하기 위해 몇몇의 상이한 기법들을 채택한다. 종래의 방법들에서, 공간 상관관계에 대하여 레버리지하기 위해(leverage) 도메인 변환이 수행되고(예를 들면, 주파수 도메인으로), 그 다음 정보의 손실 삭제 및 양자화가 수행된다. 시간 도메인에서, 대신, 종래의 방법들은 현재 샘플과 기준 샘플 사이의 양자화된 차이를 전송한다. 샘플들 사이의 유사성을 최대화하기 위해, 인코더들은 발생된 시간 대 기준신호를 따라 수정들의 추정을 시도한다. 이는 종래의 인코딩 방법들(예를 들면, MPEG 패밀리 기술들, VP8 등)에서, 움직임 추정(motion estimation)으로 지칭된다. 움직임 정보는 기준 샘플에 대하여 디코더에서 이미 이용가능한 정보를 레버리지함으로써(MPEG에서 이는 매크로 블록에 기초하여 움직임 벡터들을 이용하여 이루어진다) 현재 샘플의 복원을 가능하게 하기 위해 디코더로 전송된다.
종래의 기준-기반 인코딩 기술의 단점은 샘플에서의 에러들이 이전 샘플에 기반하여 각각 복원되는 다음 샘플들에서의 에러들과 누적되고, 손실 압축 기법들이 채택되자마자 매우 적은 순차적으로 예측된 샘플들 다음에 보이는 아티팩트(artifact)들을 생성한다는 것이다.
일반적인 접근법은 인코딩 및 디코딩 동작들의 복잡도를 감소시키기 위해 신호를 분할하는 것이다. 이는 예를 들면, 매크로 블록들 또는 슬라이스들의 개념을 이용하는 공간 도메인, 및 기술 분야 접근법의 현재 상태가 시간에 따라 GOP(Group of Pictures) 분할을 이용하는 시간 도메인 양자에서 이루어진다.
분할 프로세스는 일반적으로 급작스럽고 아티팩트들의 경향이 있다. 예는 MPEG 방법들에서 수행되는 매크로 블록 세그먼테이션(segmentation)이다. 압축 효율이 실제 달성되지만, 보이는 아티팩트들이 초래되는 것이 또한 사실이다. 이들 아티팩트들은, 많은 조건들에서, 그것들이 원시 신호와 관련없다는 사실에 기인하여 사람 관찰자들에게 많이 눈에 뜨인다(예를 들면, 2개의 주목할 만한 예들은 블록화(blockiness) 아티팩트들 및 퍼지는(ringing) 아티팩트들이다). 감소한 글로벌 인지된 품질 및 증가한 복잡도와 같은 약점을 갖지만, 이와 같은 아티팩트들의 가시성(visibility)을 감소시키기 위한 많은 시도들이 구현되어 왔다(예를 들면, 인코더 및 디코더 측 양자 상의 디-블로킹(de-blocking) 및 디-링잉(de-ringing) 필터들).
시간 차원을 따라, 종래의 방법들은 청크(chunk)들에서의 샘플들을 분할한다(예를 들면, 비디오 신호들에 대한 GOP, 여기서 시간에 따른 각각의 샘플은 픽쳐이다). 기준 샘플이 보통 순차적 순서에 기반하여 선택되고(기준 이미지), 청크에서의 샘플들은 기준(또는 양방향-예측된(bi-predicted) 프레임들의 경우에 2개의 기준들)에 대하여 구별하여 전송된다. 이는 신호의 시간 경과에서 아티팩트들을 초래한다(예를 들면, 상당한 움직임들에 대하여 인지된 품질은 종종 GOP의 에지들을 따라 명백한 불연속들을 겪는다).
공지 기술의 방법들에 의해 다루어진 하나의 필요조건은 압축 효율이다. 계산 복잡도는 항상 두 번째 우선 사항으로서 고려되어왔다 : 본질적으로, 알고리즘들은 낮은 계산 복잡도를 위해 설계되는 대신 단지 계산적으로 실현가능하도록 되어야 한다. 이는 하드웨어 제조사들이 진화(evolving) 기법들, 설계 특정 프로세서들 및 선택된 알고리즘들을 구현할 수 있는 전용 하드웨어 솔루션들을 연속적으로 적응하게 했다. 예는 MPEG2, MPEG4, H.264/AVC, H.265.HEVC 등에 대한 하드웨어 지원의 진화이다. 어떠한 인코딩 기술도 지금까지 이용가능한 계산 코어들의 수에 기반하여 자동으로 스케일되는 계산 성능들에 의해(즉, 코드를 적응시키지 않거나 얼마나 많은 계산 코어들이 이용가능할 것인지를 사전에 알지 못해도) 거대한 병렬 하드웨어 상에서 최적으로 실행되도록 설계되지 않았다. 현재 방법들로 달성할 수 없는 이런 특징은 오늘날의 하드웨어 기술이 계산 클록 레이트 및 전달 레이트 속도의 측면에서 실리콘의 점근성(asymptotic) 한계에 도달하고 있기 때문에 특히 중요하다 : 이용가능한 계산 능력을 증가시키기 위한 현재 추세는 단일 칩 또는 시스템에서 호스트된 개별 처리 유닛들("계산 코어들")의 수를 증가시키는 방향으로 이동하고 있다.
약간의 시도를 제외하면 공지 기술에서 간과한 다른 양상은 품질 확장성(scalability) 필요조건이다. 가변(scalable) 인코딩 방법은 압축된 신호의 단일 버전을 인코딩할 수 있고, 예를 들면, 대역폭 유용성, 디스플레이 해상도 및 디코더 복잡도에 따라 상이한 품질 레벨들로 전달할 수 있다. 확장성은 지금까지 계산 복잡도에 기인하여 상대적으로 불량한 채택, 및 일반적으로 말하면, 비-가변(non-scalable) 기법에 대하여 근본적으로 설계된 접근법들의 그들의 사용에 의해 MPEG-SVC 및 JPEG2000과 같은 공지된 방법들에서 고려되어 왔었다.
알려진 방법들에서 다루지 않은 다른 양상은 대칭이다. 종래의 방법들에 의해, 양방향(예를 들면, 시간 반전) 재생과 같은 유용한 기능들 및 더 일반적으로 신호에서의 임의의 샘플로의 랜덤 액세스(예를 들면, 비디오 신호들에 대한 프레임별(frame-by-frame) 편집)를 포기하는 대가로 압축 효율이 달성될 수 있다. 특히 시간 차원을 따른 예측 기법들은 디코더가 시간 반전 순서로 신호를 수신, 디코딩 및 제공하는 것을 방지한다. 채택된 예측 기법들은 또한 아티팩트들의 축적에 기인하여 매우 압축되거나 에러-경향의 전송들에서 거동에 영향을 미친다. 에러들에 의해 초래되는 아티팩트들은 특히 시간에서 그들의 지속에 기인하여 보일 수 있다.
공지 기술에서 채택된 예측-구동 기법들은 또한 압축된 스트림으로의 랜덤 액세스에 대한 강한 제약들을 초래한다. 임의의 지점에서 샘플로의 "탐색(seek)"과 같은 동작들, 상이한 신호 비트스트림으로의 "재핑(zapping)"시 랜덤 액세스(다음 시간-청크/GOP의 시작을 대기하지 않아야 함)는 현재 실현할 수 없다. 임의의 지점으로의 액세스를 시도할 때 사용자가 대기해야 하는 시간은 현재 압축 효율과 완전히 트레이드오프이다. 이런 현상의 예는 MPEG 패밀리 방법들에서의 GOP 제약이다 : 최소 시간 지연 및 시간에 따른 랜덤 액세스를 허용하기 위해, 하나의 샘플의 GOP(즉, 인트라-만의 인코딩) 가 사용되어야 한다.
마지막으로, 현재 방법들은 요구될 수 있는 계산 능력 및 대역폭의 양에 기인하여 매우 높은 샘플 레이트들(예를 들면, 비디오 신호들에 대한 매우 높은 프레임 레이트들)에 적합하지 않다. 예를 들면, 몇몇 연구들은 모든 사람들이 초당 300 프레임들까지의 비디오 신호들의 품질 차이들을 쉽게 인식할 수 있지만, 계산 및 대역폭 제한들은 현재 초당 25-60 프레임들 이상에서 고품질 비디오 신호들을 인코딩 및 전송하는 것을 매우 고가로 만든다는 것을 입증했다.
본 명세서에서 설명된 혁신적인 방법들은 신호의 다수의 샘플들에 관련된 잔차 데이터를 특히, 신호에 대한 중요한 상관관계의 차원들을 따라 인코딩, 전송 및 디코딩하기 위한 기법들에서의 개선들에 초점을 맞춘다.
그것의 최광의의 양상에 따르면, 본 명세서에서 설명된 본 발명의 비-한정적인 실시예들은 지원 버퍼(예를 들면, 지원 엘리먼트들의 세트, 그러나 이에 한정되지 않음)에 기반하여 다수의 세트들의 잔차 데이터를 인코딩 및 복원하기 위한 방법을 포함한다. 일부 비-한정적인 실시예들은 또한 지원 버퍼들의 층을 이룬(tiered) 계층을 생성함으로써 방법을 구현한다. 이런 방법은 인코딩 단계 - 그 동안, 세트들의 잔차 데이터가 처리되어, 지원 엘리먼트 정보 및 상대 잔차 데이터를 생성함 -, 및 그 동안, 지원 엘리먼트 정보가 상대 잔차 데이터와 결합되어 잔차 데이터를 복원하게 하는 잔차 데이터에 대한 예측들을 생성하기 위해 처리되는 디코딩 단계를 포함한다.
특정 관심은 상기 방법들이 티어드(tiered) 계층적 인코딩 방법들의 인코딩 및 디코딩 루프 내에서 사용되는 비-한정적인 실시예들에 주어질 것이고, 여기서, 신호는 둘 또는 그 초과의 티어들(tiers)을 포함하는 샘플들의 티어드 계층에서 인코딩되고, 티어들의 각각은 개별 품질 레벨(예를 들면, 신호 렌디션(rendition)의 충실도(fidelity)의 레벨에 대응하는)을 갖는다. 이와 같은 방법들은 그 동안, 주어진 품질 레벨의 이런 샘플들이 가장 낮은 품질 레벨을 갖는 티어의 샘플들로부터 시작함으로써 복원 연산들을 통하여 계산되는 디코딩 단계를 포함한다. 본 명세서에서 예시된 실시예들은 특히 당업자가 더 낮은 품질 레벨의 신호가 동일한 해상도 및 더 낮은 세부사항의 레벨(예를 들면, 엘리먼트 값들의 더 거친 양자화, 그러나 이에 한정되지 않음)을 갖는 신호인 경우에 동일한 방법들을 쉽게 적응시킬 수 있지만, 더 낮은 품질 레벨이 신호의 차원들의 하나 또는 그 초과에 걸친 더 낮은 해상도(즉, 더 거친 샘플링 그리드)인 비-한정적인 경우들에 초점을 맞춘다. 일부 경우들에서, 더 낮은 품질 레벨을 더 높은 "어그리게이션(aggregation)의 레벨"("LOA")로서 지칭할 것이고, 여기서, 단지 서브샘플링된 차원 대 더 높은 품질 레벨이 시간 차원이었다. 용어들 "티어(tier)"는 출원의 나머지에서 문맥에 따라 "품질 레벨"("LOQ") 또는 "어그리게이션의 레벨"("LOA") 중 어느 하나와 교환가능하게 사용될 것이다.
단순화를 위해, 본 명세서에서 예시된 비-한정적인 실시예들은 일반적으로 신호를 시간 차원을 따라 주어진 샘플 레이트로 발생하는 다차원 샘플들의 시퀀스(즉, 하나 또는 그 초과의 차원들을 갖는 어레이들로서 구조화된 하나 또는 그 초과의 엘리먼트들의 세트들)로서 지칭한다. 설명에서, 용어들 "이미지" 및/또는 "평면"("초평면", 즉, 임의의 수의 차원들을 갖는 엘리먼트들의 어레이의 최광의의 의미로 의도된)은 샘플들의 시퀀스를 따라 신호의 샘플의 디지털 렌디션을 식별하기 위해 종종 교환가능하게 사용될 것이고, 각각의 평면은 그것의 차원의 각각에 대하여 주어진 해상도를 가지며, 평면에서의 각각의 적합한 좌표들의 세트는 하나 또는 그 초과의 값들 또는 "설정들"(예를 들면, 비-한정적인 예로서, 적합한 색 공간에서의 색상 설정들, 밀도 레벨을 나타내는 설정들, 온도 레벨들을 나타내는 설정들, 오디오 피치(audio pitch)를 나타내는 설정들, 진폭을 나타내는 설정들 등)을 특징으로 하는 평면 엘리먼트(또는 "엘리먼트", 또는 종종 "픽셀"로 지칭된 2-차원 이미지들에 대하여, 종종 "복셀(voxel)"로 지칭된 입체 이미지들에 대하여, "화소" 등)를 식별한다. 비-한정적인 예들로서, 신호는 이미지, 오디오 신호, 다-채널 오디오 신호, 비디오 신호, 다시점 비디오 신호(예를 들면, 3D 비디오), 플레놉틱(plenoptic) 신호, 다중 스펙트럼 신호, 입체 신호(예를 들면, 의료 이미징, 과학 이미징, 홀로그램 이미징 등), 입체 비디오 신호, 또는 심지어 4차원 이상을 갖는 신호들일 수 있다.
본 명세서에서 예시된 실시예들은 특히 종래 기술의 부족에 기인하여 시간에 걸쳐 진화하는 신호들에 특히 초점이 맞춰질 것이다. 예를 들면, 또한 매우 높은 샘플 레이트들(예를 들면, 또한 초당 1,000 프레임들, 인코딩 및 디코딩에 대하여 현재 과도한 양의 계산 및 저장 자원들을 요구함)은 설명된 실시예들에 의해 쉽게 다루어질 것이다.
단순화를 위해, 본 명세서에서 예시된 비-한정적인 실시예들은 종종 예를 들면, 비디오 신호와 같은, 디스플레이되는 신호들을 설정들의 2D 평면들의 시퀀스들(예를 들면, 적합한 색 공간에서의 2D 이미지들)로 지칭한다. 그러나, 동일한 개념들 및 방법들이 또한 임의의 다른 유형들의 시간-기반 신호, 및 비-시간-기반 다-차원 신호들(예를 들면, 2 차원 픽쳐들, 입체/홀로그램 이미지들, 플렙토닉 이미지들 등)에 적용가능하다. 비-시간-기반 신호의 비-한정적인 예로서, 그에 따른 슬라이스들이 취해졌던 축이 시간 차원이었던 것과 같이(본 명세서에서 예시된 혁신적인 방법들에 따라 일정한 샘플 레이트 또는 심지어 가변 샘플 레이트를 가정함으로써), 일련의 CAT-스캔 또는 MRI(즉, 비-시간-기반 3차원 신호)의 2-차원 슬라이스들은 차원(즉, 그에 따라 슬라이스들이 취해졌던 축)을 따른 일련의 2차원 샘플들로서 적합하게 나타낼 수 있고, 본 명세서에서 예시된 방법들에 따라 인코딩/디코딩될 수 있다.
본 명세서에서 예시된 티어드 계층들의 비-한정적인 실시예들은 상이한 해상도들을 갖는 티어를 특징으로 하며, 더 높은 티어로부터 더 낮은 티어로의 다운샘플링 스케일 계수는 각 티어 및 각 차수(공간 및 시간 양자)에 대하여 변한다. 티어드 시간 계층에서 인코딩된 샘플들은 상이한 기간들을 가질 수 있다. 예를 들면, 더 높은 티어의 두 개의 상이한 샘플들의 시간 다운샘플링("블렌딩(blending)", 또는 공간 다운샘플링 및 시간 다운샘플링의 결합의 경우에서 "다운블렌딩")에 기인한 주어진 티어의 샘플은 더 높은 티어의 샘플들의 각각에 의해 표시되는 신호의 일부들의 기간들의 합인 기간("시간 스팬")을 갖는 신호의 일부를 나타낸다. 티어드 시간 계층들에 관한 문헌은 발견되지 않았다. 이런 문헌들에서, 용어 "신호의 스팬" 또는 "스팬"은 용어 "샘플"과 교환가능하게 사용될 것이다(더 적절하게, 각각의 주어진 샘플은 대응하는 시간 스팬을 갖고, 그것은 그의 시간 스팬과 동일한 기간 동안 "샘플 및 홀드"에 대응하는 것을 나타낸다고 말할 수 있지만). 주어진 품질 레벨의 신호의 "스팬"은 "주어진 샘플링 위치 및 주어진 지속 기간을 갖는, 시간의 주어진 순간에서 시작하여 재생/디스플레이될 신호의 일부"를 나타낸다. 더 높은 품질 레벨의 다수의 스팬들의 결합(블렌딩 또는 다운블렌딩)에 기인한 더 낮은 품질 레벨의 스팬은 상기 다수의 스팬들의 샘플링 위치들의 선형 또는 비-선형 결합인 샘플링 위치를 가질 것이다. 비-한정적인 바람직한 실시예들에서, 이와 같은 샘플링 위치는 주어진 스팬으로 블렌딩되었던 스팬들의 샘플링 위치들의 평균의 버림(round-down)이고, 즉, 주어진 스팬으로 다운샘플링된었던 더 높은 레벨의 스팬들의 샘플링 위치들의 산술 평균과 같거나 바로 낮은 가장 높은 품질 레벨의 정수 샘플링 위치이다. 상기 결과의 스팬은 또한 상기 다수의 스팬들의 지속 기간들의 합인 기간을 가질 것이다. 근본적으로, 용어 "스팬"은 특히 또한 시간 다운샘플링을 갖는 계층으로 다운될 때, 각각의 스팬은 매우 특정한 시간 위치에서의 간단한 "샘플" 대신 "샘플 및 홀드" - 주어진 시간 간격에 따른 신호의 값들, 즉, 신호의 "스팬"을 나타내는 -로서 더 잘 모델링되는 정보를 나타낸다는 사실을 반영한다. 또한 동일 티어의 상이한 스팬들은 상이한 기간들을 가질 것이고, 가변 샘플 레이트들을 효과적으로 나타낸다.
본 명세서에서 예시된 혁신적인 방법들의 비-한정적인 실시예들은 종종 움직임 추정 및 보상 기법들의 일부 형태를 레버리지한다. 종래의 방법들에서, 움직임 보상은 공간 상관관계에 기반한 이미지의 일부의 예측의 대안으로서 이용된다 : 즉, 이들 인코딩 기법들은, 복원된 스팬의 각각의 일부(예를 들면, 이미지)에 대하여, 공간 상관관계를 레버리지함에 의한 예측(즉, 동일 샘플의 이웃 부분들, 예를 들면, MPEG 방법들에서 인트라-예측) 또는 시간 상관관계를 레버리지함에 의한 예측(즉, 하나 또는 그 초과의 기준 샘플들의 일부들, 예를 들면, MPEG 방법들에서 P-예측 또는 B-예측) 중에서 선택한다.
본 명세서에서 설명된 혁신적인 실시예들에 대하여, 공간 및 시간은 격리를 고려하기 위한 완전히 독립적인 차원들이 아니다 : 공간 및 시간은 단지 더 넓은 다차원 공간, 소위 공간-시간의 개별 차원들이다. N-차원 샘플들의 시퀀스를 단일 (N+1)-차원 신호로서 나타냄으로써, 그리고 티어드 계층 방법으로 상기 (N+1)-차원 신호를 인코딩함으로써, 본 명세서에서 설명된 실시예들은 그의 공간-시간에서 신호를 효과적으로 인코딩-디코딩할 수 있고(적합한 공간-시간 인코딩-디코딩 동작들을 통하여), 동일 시간 공간 및 시간 상관관계에서 효과적으로 레버리지하며(즉, 둘 중에서 선택하지 않고), 또한 다수의 샘플들에 걸친 상관관계를 효과적으로 레버리지한다(즉, 단지 하나의 샘플에서 다른 것으로가 아님). 게다가, 동일 품질 레벨의 이웃한 샘플들에 기반하는 대신 더 낮은 품질 레벨(및/또는 더 높은 어그리게이션의 레벨)의 샘플들에 기반하여 샘플들을 예측함으로써, (N+1)-차원 신호의 선택된 부분들에서 취해진 손실 결정들은 그들 자체를 신호의 다른 부분들로(즉, 시퀀스에서 다른 샘플들/스팬들로) 반드시 전파하지는 않는다. 요약하면, 본 명세서에서 설명된 실시예들은 신호를 전체로 조작하고, 전체 신호에 걸쳐 상관관계를 레버리지하고, 다른 차원들과 동일한 레벨의 시간 차원을 고려한다. 종종, 본 명세서에서 설명된 방법들의 이런 매우 혁신적인 속성을 "대칭"으로 지칭한다.
본 발명은 다수의 세트들의 값들에서 모든 세트들에 공통인 단일 세트의 값들(동등하게 소위 "지원 정보", "지원 버퍼" 또는 "지원 평면"), 및 상기 다수의 세트들의 값들에서 각각의 세트에 특정한 추가 복원 데이터에 기반하여 상기 다수의 세트들의 값들을 인코딩, 전송 및/또는 디코딩하는 방법들에 관한 것이다.
본 명세서에서 설명된 일부 비-한정적인 실시예들에서, 상기 다수의 세트들에서 각각의 주어진 값들의 세트에 대하여, 상기 추가 복원 데이터는 상기 주어진 값들의 세트를 생성하기 위해 지원 평면에 기반하여 값들을 결합하기 위한 조정들("상대 잔차들")의 세트를 포함한다.
본 명세서에서 설명된 다른 비-한정적인 실시예들에서, 상기 다수의 세트들에서 각각의 주어진 값들의 세트에 대하여, 상기 추가 복원 데이터는 상기 주어진 값들의 세트를 생성하기 위해 기준 잔차들을 결합하기 위한 제 1 세트의 값들("기준 잔차들") 및 조정들("상대 잔차들")의 세트를 생성하도록 지원 평면 상에서 수행하기 위한 동작들을 나타내는 파라미터들("보상 데이터")의 세트를 포함한다.
본 명세서에서 설명된 비-한정적인 실시예들에 따르면, 신호 프로세서는 다수의 세트들의 값들("절대 잔차들")을 처리하도록 구성되고, 상기 세트들의 절대 잔차들의 각각은 주어진 품질 레벨의 신호의 엘리먼트들의 세트 사이의 차이에 대응하며, 상기 세트의 엘리먼트들의 각각은 스팬, 및 대응하는 예측된 스팬으로 지칭되고, 상기 방법은 코더 내에서 구현되는,
상기 절대 잔차들에 대응하는 정보 및/또는 상기 스팬들에 대응하는 정보에 관한 계산들을 수행함으로써 지원 평면(즉, 지원 엘리먼트들의 세트)을 생성하는 단계;
상기 지원 평면에 대응하는 지원 평면 복원 데이터를 생성하는 단계;
각각의 주어진 절대 잔차들의 세트에 대하여, 값들("상대 잔차들")의 세트를 생성하는 단계 - 상기 상대 잔차들은 상기 지원 평면에 적어도 부분적으로 기반하여 주어진 절대 잔차들의 세트와 값들("기준 잔차들")의 세트 사이의 차이들에 대응함 -;
상기 세트들의 상대 잔차들에 대응하는 상대 잔차 복원 데이터를 생성하는 단계; 및
디코더로 상기 지원 평면 복원 데이터 및 상기 상대 잔차 복원 데이터를 전송하는 단계를 포함한다.
본 명세서에서 설명된 일부 비-한정적인 실시예들에서, 상기 방법은 각각의 주어진 절대 잔차들의 세트에 대하여, 상기 주어진 절대 잔차들의 세트에 대응하는 기준 잔차들의 세트를 생성하기 위해 지원 평면 상에서 수행하기 위한 동작들에 대응하는 추가 정보("보상 데이터")를 생성하는 단계를 포함한다.
본 명세서에서 예시된 다른 비-한정적인 실시예들은 절대 잔차들의 세트를 전송하도록 하도록 구성된 인코더를 포함하고, 상기 절대 잔차들의 세트는 주어진 품질 레벨의 신호의 엘리먼트들의 세트 사이의 차이에 대응하며, 상기 세트의 엘리먼트들은 주어진 스팬, 및 대응하는 예측 스팬으로 지칭되고, 상기 인코더는,
상기 절대 잔차들, 및 상기 주어진 스팬을 포함하는 스팬들의 시퀀스에 속하는 하나 또는 그 초과의 스팬들에 대응하는 정보에 관한 계산들을 수행하도록 구성된 지원 평면의 생성기;
상기 지원 평면에 대응하는 지원 평면 복원 데이터의 생성기;
값들("상대 잔차들")의 세트의 생성기 - 상기 상대 잔차들은 상기 지원 평면에 적어도 부분적으로 기반하여 절대 잔차들의 세트와 값들("기준 잔차들")의 세트 사이의 차이들에 대응함 -;
상기 상대 잔차들의 세트들에 대응하는 상대 잔차 복원 데이터의 생성기; 및
상기 지원 평면 복원 데이터 및 상기 상대 잔차 복원 데이터를 디코더로 전송하도록 구성된 송신기를 포함한다.
본 명세서에서 설명된 다른 비-한정적인 실시예들은 값들("복원된 절대 잔차들")의 세트를 생성하도록 구성된 신호 프로세서를 포함하고, 상기 복원된 절대 잔차들의 세트는 주어진 품질 레벨의 신호의 엘리먼트들의 세트 사이의 차이에 대응하며, 상기 세트의 엘리먼트들은 스팬, 및 대응하는 예측된 스팬으로 지칭되고, 상기 방법은 디코더 내에서 수행되는,
지원 평면 복원 데이터 및 상대 잔차 복원 데이터를 수신하는 단계;
상기 지원 평면 복원 데이터를 디코딩함으로써 지원 평면의 복원된 렌디션을 생성하는 단계;
상대 잔차 복원 데이터를 처리하여, 값들("복원된 상대 잔차들")의 세트를 생성하는 단계 - 상기 복원된 상대 잔차들은 지원 평면의 상기 복원된 렌디션에 적어도 부분적으로 기반하여 값들의 세트에 대해 수행하기 위한 조정들에 대응함 -;
지원 평면의 상기 복원된 렌디션 및 상기 세트의 복원된 상대 잔차들에 적어도 부분적으로 기반하여 복원된 절대 잔차들의 세트를 생성하는 단계를 포함한다.
본 명세서에서 설명된 일부 비-한정적인 실시예들에서, 복원된 절대 잔차들의 세트를 생성하는 단계는,
그 주어진 복원된 절대 잔차들의 세트를 생성하기 위해 지원 평면의 복원된 렌디션에 관해 수행하기 위한 동작들에 대응하는 데이터("보상 데이터")를 수신하는 단계;
지원 평면의 복원된 렌디션 및 상기 보상 데이터에 적어도 부분적으로 기반하여 값들("보상된 지원 평면", 또는 "보상된 기준 잔차들")의 세트를 생성하는 단계; 및
상기 보상된 지원 평면을 상기 복원된 상대 잔차들의 세트와 결합함으로써 복원된 절대 잔차들의 세트를 생성하는 단계를 포함한다.
본 명세서에서 설명된 일부 비-한정적인 실시예들에서, 샘플들의 시퀀스에서 샘플들의 이웃하는 서브시퀀스들에 대응하는 다수의 지원 평면들은 또한 공통 지원 정보("더-고차 지원 평면")에 따라 디코딩되고, 상기 방법은,
더-고차 지원 평면 복원 데이터를 수신하는 단계;
상기 다수의 지원 평면들에서 주어진 지원 평면에 대하여, 지원 평면 상대 잔차 복원 데이터를 수신하는 단계;
상기 더-고차 지원 평면 복원 데이터를 디코딩함으로써 더-고차 지원 평면의 복원된 렌디션을 생성하는 단계;
지원 평면 상대 잔차 복원 데이터를 처리하여, 값들("복원된 지원 평면 상대 잔차들")의 세트를 생성하는 단계 - 상기 복원된 지원 평면 상대 잔차들은 더-고차 지원 평면의 상기 복원된 렌디션에 적어도 부분적으로 기반하여 값들의 세트에 관하여 수행하기 위한 조정들에 대응함 - ;
더-고차 지원 평면의 상기 복원된 렌디션 및 상기 복원된 지원 평면상대 잔차들의 세트에 적어도 부분적으로 기반하여 다수의 지원 평면들에서 주어진 지원 평면을 생성하는 단계를 포함한다.
이들 및 다른 실시예 변형예들이 아래에 더 상세하게 논의된다.
본 명세서에서의 실시예들은 소프트웨어 또는 하드웨어로 구현될 수 있거나, 소프트웨어 및 하드웨어의 결합을 이용하여 구현될 수 있고, 본 명세서에서 논의된 방법 동작들의 임의의 것 또는 모두를 수행 및/또는 지원하기 위해 하나 또는 그 초과의 컴퓨터화된 디바이스들, 라우터들, 네트워크, 워크스테이션들, 핸드헬드 또는 랩톱 컴퓨터들, 태블릿들, 모바일 폰들, 게임 콘솔들, 셋-톱 박스들 등의 구성을 포함할 수 있음에 주목하라. 다시 말하면, 하나 또는 그 초과의 컴퓨터화된 디바이스들 또는 프로세서들은 상이한 실시예들을 수행하기 위해 본 명세서에서 설명된 바와 같이 동작하도록 프로그래밍 및/또는 구성될 수 있다.
위에서 논의된 바와 같은 기법들에 더하여, 본 명세서에서의 또 다른 실시예들은 위에서 요약되고 아래에 더 상세하게 개시되는 단계들 및 동작들을 수행하기 위한 소프트웨어 프로그램들을 포함한다. 하나의 이와 같은 실시예는 프로세서 및 대응하는 메모리를 갖는 컴퓨터화된 디바이스에서 수행될 때, 프로세서가 본 명세서에서 개시된 동작들 중 임의의 것을 수행하도록 프로그램 및/또는 수행하게 하는, 그 상에 인코딩된 컴퓨터 프로그램 로직, 명령들 등을 포함하는 컴퓨터-판독가능한, 하드웨어 저장 자원(즉, 비-일시적인 컴퓨터 판독가능한 매체들)을 포함한다. 이와 같은 방식들은 광학 매체(예를 들면, CD-ROM, DVD-ROM 또는 BLU-RAY), 플래시 메모리 카드, 플로피 또는 하드 디스크 또는 펌웨어 또는 마이크로코드와 같은 컴퓨터 판독가능한 명령들을 하나 또는 그 초과의 ROM 또는 RAM 또는 PROM 칩들에 저장할 수 있는 임의의 다른 매체와 같은 컴퓨터 판독가능한 매체 상에 배열 또는 인코딩된 소프트웨어, 코드, 및/또는 다른 데이터(예를 들면, 데이터 구조들)로서 또는 주문형 집적 회로(ASIC)로서 제공될 수 있다. 소프트웨어 또는 펌웨어 또는 다른 이와 같은 구성들은 컴퓨터화된 디바이스가 본 명세서에서 설명된 기법들을 수행하게 하도록 컴퓨터화된 디바이스 상에 인스톨될 수 있다.
따라서, 본 개시물의 하나의 특정한 실시예는 신호 처리 동작들을 지원하기 위한, 그 상에 저장된 명령들을 포함하는 컴퓨터-판독가능한 하드웨어 저장 매체를 포함하는 컴퓨터 프로그램 물건에 관한 것이다.
단계들의 순서는 명료성을 위해 부가되었다. 이들 단계들은 임의의 적합한 순서로 수행될 수 있다.
본 개시물의 다른 실시예들은 위에서 요약되고 아래에 상세하게 개시된 방법 실시예 단계들 및 동작들의 임의의 것을 수행하기 위한 소프트웨어 프로그램들, 펌웨어, 및/또는 각 하드웨어를 포함한다.
또한, 본 명세서에서 언급된 바와 같은 시스템, 방법, 장치, 컴퓨터-판독가능한 저장 매체들 상의 명령들 등은 소프트웨어 프로그램으로서, 소프트웨어, 펌웨어, 및/또는 하드웨어의 하이브리드로서, 또는 프로세서 내에서 또는 운영 체제 내에서 또는 소프트웨어 애플리케이션들 내에서 등과 같은 하드웨어 단독으로서 완전히 구현될 수 있다는 것이 이해되어야 한다. 위에서 언급된 바와 같이, 본 명세서에서의 기법들은 신호들을 처리하여 인코딩된 데이터의 비트스트림들을 생성하거나, 인코딩된 데이터의 비트스트림들을 처리하여 신호들의 렌디션들을 생성하는 소프트웨어, 펌웨어, 및/또는 하드웨어 애플리케이션들에서의 사용에 완전히 적합하다. 그러나, 본 명세서에서의 실시예는 이와 같은 애플리케이션들에서의 사용하도록 한정되지 않고 본 명세서에서 논의된 기법들은 또한 다른 애플리케이션들에 완전히 적합하다는 것을 주목해야 한다.
게다가, 본 명세서에서의 상이한 피쳐들, 기법들, 구성들 등의 각각이 본 개시물의 상이한 위치들에서 논의될 수 있지만, 개념들의 각각은 서로 독립적으로 또는 서로 조합하여 실행될 수 있다는 것이 의도된다는 것에 주목하라. 따라서, 본 명세서에서 설명된 바와 같이, 하나 또는 그 초과의 본 발명들, 실시예들 등은 많은 상이한 방식들로 구현되거나 생각될 수 있다.
또한, 본 명세서에서의 실시예들의 이런 예비적인 논의는 각 실시예들 및/또는 본 개시물 또는 청구된 발명(들)의 점증적으로 신규한 양상을 특정하지 않음에 주목하라. 대신, 이런 요약 설명은 단지 일반적인 실시예들 및 종래의 기법들에 비해 대응하는 신규성의 관점들을 나타낸다. 본 발명(들)의 추가 세부사항들 및/또는 가능한 견해(치환들)에 대하여, 독자는 아래에 더 논의된 바와 같은 본 개시물의 상세한 설명 섹션 및 대응하는 도면들로 안내된다.
본 발명의 상술한 그리고 다른 목적들, 특징들, 및 장점들은 유사 참조 부호들이 상이한 도면들에 걸쳐 동일 부분들을 지칭하는 첨부한 도면들에 예시된 바와 같이, 본 명세서에서의 바람직한 실시예들의 다음의 더 상세한 설명으로부터 명백해질 것이다. 도면들은 실시예들, 원리들, 개념들 등을 예시할 때 배치되는 대신 강조로서 반드시 실척대로는 아니다.
도 1a는 멀티스케일 인코딩 및 디코딩 시스템을 예시하는 예시적 다이어그램이고;
도 1b는 시간 차원에 따른 어그리게이션의 예를 예시하는 예시적 다이어그램이며;
도 1c는 공간 다운샘플링 및 공간-시간 다운블렌딩의 예들을 예시하는 예시적 다이어그램이고;
도 1d는 시간 및 공간-시간 다운블렌딩에 따른 어그리게이션의 예들을 예시하는 예시적 다이어그램이며;
도 1e는 티어드 시간 계층에서 인코딩된 신호의 구조를 예시하는 예시적 다이어그램이고;
도 1F는 인코더의 구조를 예시하는 예시적 다이어그램이며;
도 1g는 디코더의 구조를 예시하는 예시적 다이어그램이고;
도 1h는 인코더의 구조를 더 상세하게 예시하는 예시적 다이어그램이며;
도 2a, 도 2b, 도 2c 및 도 2d는 두 개의 이미지들을 처리하기 위해 사용된 동작들이 다양한 단계들을 예시하고;
도 3a 및 도 3b는 지원 엘리먼트 정보에 기반한 인코딩을 예시하는 예시적 다이어그램들이며;
도 4a, 도 4b 및 도 4c는 이미지들의 시퀀스의 처리의 예시적인 다이어그램들이고;
도 5는 인코더 및 디코더의 구조를 예시하는 예시적 다이어그램이며;
도 6은 지원 엘리먼트 정보에 기반한 디코딩을 예시하는 예시적인 다이어그램들이고;
도 7a 및 도 7b는 지원 정보에 기반하여 잔차 데이터의 인코딩 및 디코딩을 예시하는 예시적인 다이어그램들이며;
도 8은 본 명세서에서 설명된 실시예들에 따른 데이터 처리를 제공하는 컴퓨터 시스템의 블록 다이어그램을 도시한다.
본 명세서에서 예시된 방법들은 사운드 신호들, 멀티채널 사운드 신호들, 픽쳐들, 2차원 이미지들, 비디오 신호들, 다시점 비디오 신호들, 3D 비디오 신호들, 입체 신호들, 입체 비디오 신호들, 의료 이미징 신호들, 4차원 이상을 갖는 신호들 등을 포함하지만 이에 한정되지 않는 임의의 유형의 다차원 신호들에 적합하다. 간단함을 위해, 설명에 따라 예시된 실시예들은 비디오 시퀀스들, 즉, 2D 이미지들의 시퀀스로 구성된 시간-기반 신호(인터레이스된 비디오 신호들의 경우에 일반적으로 "프레임들", 또는 "필드들"로 지칭되는)의 사용 사례를 적응시키고, 각 엘리먼트(이와 같은 비-한정적인 예시적인 사례에서 전형적으로 "픽셀"로 지칭되는)는 적합한 색 공간(예를 들면, YUV, RGB, HSV 등)에서 색 설정들의 세트를 특징으로 한다. 상이한 색 평면들(예를 들면, 휘도-Y 평면 및 두 개의 색차 - U 및 V - 평면들)은 종종 별도로, 종종 상이한 해상도들로 인코딩된다(색차 정보에 대한 사람 눈들의 더 낮은 민감도에 기인하여).
다른 경우에, 본 문헌에서 이전에 정의된 바와 같이, 신호를 N-차원 샘플들의 시퀀스 또는 "스팬들"로서 나타낼 것이고, 신호들의 완전한 표현은 (N+1)-차원 신호라는 사실을 나타낼 것이다(예를 들면, 차원들 중 하나가 시간이면, 이는 단일 시간-공간 렌디션으로 공간 렌디션들의 시퀀스의 표현에 대응한다). 이들은 본 명세서에서 설명된 혁신적인 방법들을 이용하여 필터링 및/또는 압축될 수 있는 가능한 종류들의 신호들의 비-한정적인 예들로 고려될 것이다. 비디오들 이외의 신호들에 대하여, 당업자는 비디오 신호의 사용 사례에 대하여 설명된 접근법들을 적합하게 적응시킴으로써 본 명세서에서 설명된 방법들을 용이하게 적용할 수 있다. 비-한정적인 예에서, 스팬들은 또한 2 이외의 상이한 수의 차원들(예를 들면, 1-차원 스팬들, 3-차원 스팬들 등)을 갖는 엘리먼트들의 초평면들일 수 있고, 및/또는 시간 차원에 대하여 본 명세서에서 설명된 것들에 대응하는 시간 접근법과 상이한 치수들에 적용하는 것이 가능하다.
신호의 시간에서의 각 스팬은 초평면(또는 더 간단하게 "평면", 그것의 최광의의 의미에서 "하나 또는 그 초과의 차원들을 갖는 어레이로서 구조화된 엘리먼트들의 세트"로 의도되는)으로 나타낸다 : 예를 들면, 멀티채널 사운드 신호, 2D HD 비디오 프레임, 또는 3D 입체 의료 이미지는 평면 엘리먼트들의 어레이들로 모두 나타낼 수 있다(특히, 멀티채널 사운드 신호에 대한 엘리먼트들의 1D 평면, HD 비디오 프레임에 대한 엘리먼트들의 2D 평면 및 입체 의료 이미지에 대한 엘리먼트들의 3-차원 초평면).
시간에 따라, 스팬들은 주어진 (국부적) 샘플 레이트로 발생한다. 종래의 방법들에서, 샘플 레이트는 항상 일정하다. 반대로, 본 명세서에서 예시된 혁신적인 방법들은 가변 샘플 레이트를 허용한다. 특히, 품질의 가장 높은 레벨보다 낮은 레벨들에 대하여, 주어진 품질 레벨의 스팬들의 기간(즉, 그 주어진 품질 레벨에 대한 샘플 레이트)은 가변될 수 있고, 가변 샘플 레이트들을 효과적으로 나타낼 수 있다. 상이한 지속 기간들을 갖는 스팬들에 의한 적합한 신호 재생을 허용하기 위해, 스팬들의 각각은 또한 "픽쳐 수" 또는 "픽쳐 식별자"를 특징으로 하고, 스팬이 디스플레이를 시작해야만 할 시간을 나타낸다.
본 명세서에서 예시된 방법들 및 실시예들은 서로 및/또는 다른 방법들과 함께 사용될 수 있다. 본 명세서에서 예시된 바람직한 실시예들의 대부분은 압축을 달성하는, 즉, 최소 양의 비트들로 신호의 적합한 렌디션의 인코딩 및/또는 디코딩하는 목표를 갖는 기법들 및 알고리즘들을 설명한다. 이는 또한 비-한정적인 예이다 : 다른 실시예들은 멀티스케일 인코딩 및 디코딩, 적응적 스트리밍, 강건하고 효율적인 필터링, 신호 잡음제거(denoising)(예를 들면, 이미지 잡음제거, 비디오 잡음제거 등), 신호 개선들(enhancements)(예를 들면, 신호 슈퍼샘플링, 디-인터레이싱(de-interlacing) 등), 신호 품질 메트릭들(metrics)의 생성, 콘텐츠 식별, 머신 비전, 신호 암호화(예를 들면, 안전한 통신) 등과 같은 상이한 목적들을 달성할 수 있다.
도 1a는 본 명세서에서의 실시예들에 따른 멀티스케일 인코딩 및 디코딩시스템을 설명하는 비-한정적인 예시적인 다이어그램이다.
일 실시예에서, 인코더(110)는 원시 신호(100)(신호들(100-1, 100-2 등의 시퀀스와 같은)을 수신하고, 신호(100)를 멀티스케일 데이터 스트림(115)으로 인코딩한다. 디코더(120-2)는 인코딩된 데이터의 데이터 스트림(115)을 수신하고 제 1 품질 레벨과 같은 더 낮은 LOQ(1001)로 복원된 신호를 생성한다. 디코더(120-1)는 데이터스트림(115)을 수신하고, 제 2 품질 레벨과 같은 더 높은 LOQ(1000)로 복원된 신호를 생성한다. 이런 예시적인 실시예에서, 제 2 품질 레벨은 제 1 품질 레벨보다 높다. 일 실시예에서, 품질의 제 2(또는 더 높은) 레벨은 품질의 제 1(더 낮은) 레벨의 해상도보다 높은 해상도 이미지(예를 들면, 디스플레이 스크린의 단위 면적당 더 많은 엘리먼트들)이다. 따라서, 시퀀스에서의 신호(1000-1)는 신호(1000-1)의 더 높은 해상도 렌디션이고, 시퀀스에서의 신호(1000-2)는 신호(1000-2)의 더 높은 해상도 렌디션이며, 기타 등등이다.
비-한정적인 실시예들에서, 또한 디코더(120-1)는 더 낮은 LOQ(1001)의 복원된 신호에 기반하여 더 높은 LOQ(1000)의 복원된 신호를 복원하기 위해 더 낮은 LOQ(1001)로 복원된 신호를 생성한다.
일부 비-한정적인 실시예들에서, 언급된 바와 같이, 제 2 품질 레벨은 제 1 품질 레벨보다 높은 해상도(공간의 및/또는 시간의)를 갖는다. 이와 같은 실시예들의 일부에서, 제 2 품질 레벨은 특정 스케일 계수(비-정수 스케일 계수들 및/또는 1과 같은 스케일 계수들을 포함하는)로 신호의 차원들의 각각을 업샘플링함으로써 획득된 해상도를 갖는다. 다시 말하면, 신호(1000-1)는 신호(1001-1)로부터 적어도 부분적으로 기반하여 업샘플링될 수 있고; 신호(1000-2)는 신호(1001-2)로부터 적어도 부분적으로 기반하여 업생플링될 수 있으며; 기타 등등이다. 유사한 방식으로, 신호(1001)에서의 각 신호는 더 높은 해상도의 신호로 업샘플링될 수 있다.
다른 비-한정적인 실시예에서, 디코더(120-2)는 데이터 스트림(115)을 디코딩하기 위해 레거시 디코딩 기법들(예를 들면, MPEG2, h.264 등)을 레버리지한다.
비-한정적인 예시적인 실시예에서, TV 디코더의 디코딩 신호 프로세서(예를 들면, 셋톱 박스, 그러나 이에 한정되지 않음)는 도 1a에 예시된 바와 같은 방법을 구현하도록 프로그래밍되고, 여기서, 데이터 스트림(115)은 수신된 브로드캐스트 신호에 대응한다. 이렇게 하여, 레거시 디코더들은 디코더(120)로서 동일한 데이터 스트림(115)을 수신하지만, 단지 더 높은 품질 레벨로 신호의 렌디션을 복원하는데 이용 가능한 데이터 스트림에서 추가 데이터를 무시한다.
다른 비-한정적인 실시예들에서, 스트리밍 서버는 인코딩된 데이터 스트림(115)을 처리하고, 디코더의 특성들 및/또는 대역폭 혼잡에 응답하여, 단지 주어진 품질 레벨(최대 가능한 품질 레벨과 대조적으로)까지 신호를 디코딩하기 위해 필요한 인코딩된 데이터를 포함하는 버전의 데이터 스트림을 생성한다.
도 1b는 본 명세서에서의 실시예들에 따른 시간 차원에 따른 어그리게이션의 비-한정적인 예를 예시하는 다이어그램이다.
비-한정적인 예로서, 3개의 평면들(130-1, 130-2, 130-3), 각각은 2x2 평면으로서 구조화된 4개의 엘리먼트들을 포함하고, 원시 평면들과 동일한 해상도를 갖는 지원 평면(131)으로 어그리게이션된다. 각각의 평면은 임의의 수의 엘리먼트들을 포함할 수 있다.
일 실시예에서, 지원 평면(131)의 엘리먼트들은 대응하는 평면들(130-1, 130-2 및 130-3)의 엘리먼트들에 기반하여 계산된다. 이론상으로 임의의 수의 평면들은 단일 지원 평면들로 어그리게이션될 수 있기 때문에, 동일한 지원 평면으로 어그리게이션된 평면들의 수는 비-한정으로서 고려되어야 한다. 이러한 비-한정적인 예시적 실시예에서, 지원 평면(131)은 평면들(130-1, 130-2 및 130-3)보다 "더 높은 어그리게이션의 레벨"(LOA)로 지칭된다.
일부 비-한정적인 실시예들에서, 지원 평면(131)은 평면들(130-1, 130-2 및 130-3)의 각각에 대한 특정 복원 데이터에 기반하여 평면들(130-1, 130-2 및 130-3)의 렌디션들을 복원하기 위해 처리된다.
다른 비-한정적인 실시예들에서, 평면들(130-1, 130-2 및 130-3)은 잔차 평면들이고, 신호의 복원된 렌디션을 생성하기 위해 대응하는 샘플들의 예비 렌디션들로 이루어질 조정들을 명시한다. 다시 말하면, 평면(130-1), 평면(130-2) 및 평면(130-3) 등과 같은 평면들은 소위 잔차 데이터를 나타낼 수 있다. 잔차 데이터는 복원된 신호가 신호의 원시 렌디션을 더 근접하게 일치시키도록 복원되고 있는 신호에서의 다수의 엘리먼트들의 각각을 어떻게 조정하는지를 명시하는 조정 데이터일 수 있다.
도 1b의 비-한정적인 실시예에서, 각각의 평면의 정보는 상이한 샘플링 위치(즉, 샘플 시간)에 대응한다. 예를 들면, 엘리먼트들의 평면(130-1)은 시퀀스에서 시간 T1에서 캡처된 원시 신호의 렌디션의 재생과 관련된 조정 정보를 나타낼 수 있고; 엘리먼트들의 평면(130-2)은 시퀀스에서 시간 T2에서 캡처된 원시 신호의 렌디션의 재생과 관련된 조정 정보를 나타낼 수 있으며; 엘리먼트들의 평면(130-3)은 시퀀스에서 시간 T3에서 캡처된 원시 신호의 렌디션의 재생과 관련된 조정 정보를 나타낼 수 있고; 기타 등등이다.
다른 비-한정적인 실시예들에서, 평면들(130-1, 130-2 및 130-3)은 더 낮은 어그리게이션의 레벨의 다른 평면들에 대한 지원 평면들이다. 예로서, 더 낮은 어그리게이션의 레벨의 다수의 평면들은 평면(130-1)을 생성하도록 어그리게이션될 수 있고; 더 낮은 어그리게이션의 레벨의 다수의 평면들은 평면(130-2)을 생성하도록 어그리게이션될 수 있으며; 더 낮은 어그리게이션의 레벨의 다수의 평면들은 평면(130-3)을 생성하도록 어그리게이션될 수 있고; 기타 등등이다. 따라서, 다수의 평면들(이미지들)과 관련된 조정 정보는 계층적 방식으로 단일 지원 평면에 결합될 수 있다.
도시된 바와 같이, 엘리먼트들의 단일 지원 평면(131)은 엘리먼트들의 다수의 시간 평면들의 각각의 속성들을 캡처한다. 예를 들면, 움직임 보상이 없는 이런 간단한 예에서, 평면(131)의 하부 좌측 엘리먼트는 이것이 평면들(130-1, 130-2, 130-3 등)에서 대응하는 엘리먼트들(예를 들면, 하부 좌측 엘리먼트들)의 지배적인 설정이기 D의 값으로 설정된다.
C의 값이 평면들(130-1, 130-2, 130-3 등)에서의 대응하는 엘리먼트들(예를 들면, 상부 우측 엘리먼트)의 지배적인 설정이기 때문에, 평면(131)에서의 상부 우측 엘리먼트는 C의 값으로 설정된다. 따라서, 지원 평면(131)은 다수의 개별 이미지 평면들의 블렌드를 포함한다.
다른 비-한정적인 실시예들에서, 상이한 평면들의 대응하는 엘리먼트들은 시간 경과에 따라 객체들의 움직임을 설명하기 위해 그들의 각 평면들의 상이한 위치들(움직임에 관한 적합한 설명 정보에 의해 명시된 바와 같이)에 상주할 수 있다.
본 명세서에서의 실시예들은 지원 평면(131)을 개별 평면(130-1), 평면(130-2), 평면(130-3) 등으로 다시 변환하기 위해 복원 데이터(잔차 데이터와 같은)를 생성하는 것을 포함한다. 예를 들면, 인코더는 지원 평면(131)에서의 엘리먼트들의 설정들을 원시 평면(130-1)에서의 엘리먼트들의 설정들과 비교한다. 이런 예에서, 평면(130-1)에 대한 복원 데이터는, 지원 평면(131)이 지원 평면(131)에서의 상부 우측 엘리먼트에 대한 조정에 의해 평면(130-1)으로 변환될 수 있다는 것을 나타낼 것이다. 즉, 평면(130-1)에서의 설정들은 상부 좌측 엘리먼트를 제외하면, 일반적으로 지원 평면(131)에서의 엘리먼트들의 설정들과 동일하다. 평면(130-1)과 관련된 복원 데이터는 설정 값 C를 평면(130-1)에서의 상부 우측 디스플레이 엘리먼트에 대하여 값 B로 변경하기 위해 적용되는 설정 값 C에 차이 정보를 포함할 수 있다. 게다가, 이런 예시적인 실시예에서, 인코더는 지원 평면(131)의 엘리먼트들의 설정들을 원시 평면(130-2)에서의 엘리먼트의 설정들과 비교한다. 이런 예에서, 평면(130-2)에 대한 복원 데이터는 지원 평면(131)에서의 설정들이 임의의 조정들 없이 평면(130-2)의 엘리먼트로 변환될 수 있다는 것을 나타낼 것이다.
게다가, 이런 예에서, 인코더는 지원 평면(131)의 엘리먼트들의 설정들을 원시 평면(130-3)의 엘리먼트들의 설정들과 비교한다. 이런 예에서, 평면(130-3)에 대한 복원 데이터는 지원 평면(131)에서의 하부 좌측 엘리먼트에 대한 조정에 의해 평면(130-3)으로 변환될 수 있다는 것을 나타낼 것이다. 즉, 평면(130-3)에서의 설정들은 상부 좌측 엘리먼트가 상이한 것을 제외하면, 일반적으로 지원 평면(131)에서의 엘리먼트들의 설정들과 동일하다. 평면(130-3)과 관련된 복원 데이터는 평면(130-3)에 대한 설정들을 복원할 때 설정 값 D를 하부 좌측 디스플레이 엘리먼트에 대하여 값 E로 변경하기 위해 지원 평면(131)에서의 설정 값 D에 적용되는 차이 정보를 포함할 수 있다.
도 1c는 본 명세서에서의 실시예들에 따른 공간 다운샘플링 및 공간-시간 다운샘플링의 비-한정적인 예들을 예시하는 예시적인 다이어그램이다. 다이어그램은 품질의 제 1(더 높은) 레벨의 평면들의 시퀀스 및 대응하는 제 2 품질 레벨의 평면들의 시퀀스를 예시하고, 제 2 품질 레벨은 제 1 품질 레벨보다 낮다.
특히, 제 2 품질 레벨의 시퀀스는 다음과 같이 획득되었다:
평면 11(135-1), 16개의 엘리먼트들로 이루어진 2-차원 평면은 그것의 공간 차원들의 양자에 따른 2개의 스케일 계수로 다운샘플링되어, 다운샘플링된 평면(136-1)을 생성하고; 평면들(135-2, 135-3 및 135-4), 16개의 엘리먼트들로 각각 이루어진 3개의 2-차원 평면들은 그들의 공간 차원들에 따른 2개의 스케일 계수 및 시간 차원에 따른 3개의 스케일 계수로 다운샘플링되어, 다운블렌딩된 평면(136-2)을 생성한다. 이런 예에서, 평면(135-1)은 시간 T1에서의 샘플링 이미지의 표시이고; 평면(135-2)은 시간 T2에서의 샘플링 이미지의 표시이며; 평면(135-3)은 시간 T3에서의 샘플링 이미지의 표시이고; 평면(135-4)은 시간 T4에서의 샘플링 이미지의 표시이며; 기타 등등이라고 가정한다.
공간-시간 다운샘플링의 동작(즉, 또한 시간 차원에 따른 다운샘플링)은 또한 본 출원서에서 "다운블렌딩"("다운샘플링+시간 블렌딩"에 대한 약칭)으로 지칭된다. 일 실시예에서, 다운샘플링은 신호의 렌디션의 해상도를 품질 레벨 계층 아래로 감소시키는 것을 나타내고; 블렌딩은 시간 경과에 따라 샘플링된 샘플 신호들의 속성들을 결합하는 것을 나타낸다. 이론상으로, 임의의 수의 평면들이 다운블렌딩된 평면으로 다운블렌딩될 수 있기 때문에, 동일한 다운블렌딩된 평면으로 다운블렌딩된 평면들의 수는 비-한정으로 고려되어야 한다.
본 명세서에서의 실시예들은 지원 평면(136)을 개별 평면(135-2), 평면(135-3), 및 평면(135-4)로 다시 변환하기 위해 복원 데이터(잔차 데이터와 같은)를 생성하는 것을 포함할 수 있다. 예를 들면, 인코더는 평면(136-2)을 평면들(135-2, 135-3 및 135-4)과 동일한 품질 레벨의 신호의 예비 렌디션으로 업샘플링한 다음에 이루어져야 하는 수정들을 결정하도록 구성될 수 있다. 인코더는 그 다음 평면(136-2)의 업샘플링된 렌디션에서 엘리먼트들을 평면(135-2)으로 어떻게 수정해야하는지를 나타내는 제 1 세트의 복원 데이터를 생성하고; 인코더는 그 다음 평면(136-2)의 업샘플링된 렌디션에서 엘리먼트들을 평면(135-3)으로 어떻게 수정해야하는지를 나타내는 제 2 세트의 복원 데이터를 생성하며; 인코더는 그 다음 평면(136-2)의 업샘플링된 렌디션에서 엘리먼트들을 평면(135-4)으로 어떻게 수정해야하는지를 나타내는 제 3 세트의 복원 데이터를 생성한다. 따라서, 디코더는 평면(135-2)에서의 설정들을 재생하기 위해 평면(136-2) 및 제 1 세트의 복원 데이터와 관련된 복원 데이터를 수신할 수 있고; 디코더는 평면(135-3)에서의 설정들을 재생하기 위해 평면(136-2) 및 제 2 세트의 복원 데이터와 관련된 복원 데이터를 수신할 수 있으며; 디코더는 평면(135-4)에서의 설정들을 재생하기 위해 평면(136-2) 및 제 3 세트의 복원 데이터와 관련된 복원 데이터를 수신할 수 있다.
도 1d는 본 명세서에서의 실시예들에 따른 움직임 보상과 함께 수행되는 어그리게이션 및 공간-시간 다운블렌딩의 비-한정적인 예들을 예시하는 예시적인 다이어그램이다.
평면 21(135-5) 및 평면 22(135-6)은 지원 평면(137)으로 어그리게이션되고, 여기서, 지원 평면(137)은 원시 평면들보다 많은 수의 엘리먼트들을 갖는다. 지원 평면(137)의 엘리먼트들은 평면들(135-5 및 135-6)의 대응하는 엘리먼트들에 기반하여 계산된다. 이런 비-한정적인 예시적인 실시예에서, 지원 평면(137)은 원시 평면들의 해상도보다 높은 해상도를 갖는 샘플링 그리드를 갖지 않는다는 것이 주목될 수 있다. 그것은 확장된 샘플링 영역(예를 들면, 원시 평면들(135-5, 135-6 등에서보다 많은 수의 디스플레이 엘리먼트들)이다. 평면(137)에서의 그리드는 "장면(scene)"의 더 큰 부분을 캡처하기 위해(즉, 더 큰 "시야"로) 평면들 21, 22, 31, 32에 대하여 확장된다. 지원 평면(137)과 관련된 디스플레이 엘리먼트들의 영역의 확장은 평면들 21 및 22에서의 디스플레이 엘리먼트들의 더 큰 부분을 지원 평면(137)으로 캡처하는 것을 허용한다. 따라서, 지원 평면(137)은 다수의 평면들로부터의 정보의 어그리게이션을 포함한다. 예를 들면, 도시된 바와 같이, 지원 평면(137)은 평면들 21 및 22의 각각에 표시된 객체들의 결합을 포함한다.
도시된 바와 같이, 지원 평면(137)은 제 1 객체(예를 들면, 평면들 21 및 22 양자에서 존재하는 검은 사각형으로서 시각적으로 예시된 정보)뿐만 아니라 제 2 객체(예를 들면, 단지 평면 22에서 삼각형으로서 시각적으로 예시된 정보)의 렌디션을 포함한다. 도면은 움직임 보상의 효과들을 나타내고, 여기서, 시간에 따라 위치가 변경되고 있는 검은 사각형으로 시각적으로 예시된 정보는 지원 평면(137)으로 블렌딩되기 전에 움직임 보상된다. 특히, 도면은 평면 21의 샘플링 위치에 대한 움직임 보상의 예를 나타낸다(즉, 지원 평면(137)에서, 검은 사각형은 그것이 평면 21에서 있었던 위치에 위치된다). 다시 말하면, 움직임 보상에 기인하여, 블렌딩된 평면(137)은 단지 다수의 원시 평면들의 간단한 오버레이에 의해 획득되지 않지만, 그것은 "비뚤어진" 평면들의 가중 평균이고, 비뚤어진 평면들의 각각은 지원 평면(137)의 샘플링 위치에 대하여 주어진 원시 평면을 움직임 보상함으로써 획득된다.
이런 예시적인 실시예에서, 평면 31(135-7) 및 평면 32(135-8)는 다운블렌딩된 평면(138)으로 다운블렌딩되고, 여기서, 다운블렌딩된 평면(138)은 공간 다운샘플링 동작들에 기인한 샘플링 그리드보다 많은 엘리먼트들을 갖는다. 지원 평면(137)과 유사하게, 또한 다운블렌딩된 평면(138)은 그것으로 다운블렌딩된 평면들의 모두에서 부분적으로 나타내는 그리고 평면들의 일부에서만 부분적으로 나타내는 정보를 포함한다. 이런 방식으로, 본 명세서에서의 실시예들은 표시하는 평면의 해상도를 감소시키기 위해 다운샘플링 알고리즘을 적용하는 것뿐만 아니라, 다수의 상이한 평면들에 존재하는 객체들의 렌디션의 캡처를 수용하기 위해 다운샘플링된 평면과 관련된 범위의 영역(예를 들면, 디스플레이 엘리먼트들의 수)을 확장하는 것을 포함한다.
따라서, 비디오와 관련된 이미지들(및 캡처된 이동하는 객체들)의 시퀀스는 원시 이미지들과 동일한 또는 상이한 해상도의 단일 이미지로 캡처될 수 있다. 일 실시예에서, 인코더 프로세서 하드웨어는 평면(21 및 22) 중에서 공동 이미지 엘리먼트 설정들의 세트를 포함하도록 지원 평면(137)을 생성한다. 지원 평면(137)은 다음을 포함하도록 구성될 수 있다 : ⅰ) 다수의 원시 이미지들의 제 1 평면(이미지)에서 검출된 바와 같은 제 1 객체(작은 원)의 렌디션, 및 ⅱ) 다수의 원시 이미지들의 제 2 평면(이미지)에서 검출된 바와 같은 제 2 객체(삼각형)의 렌디션. 제2 객체(삼각형)의 렌디션은 제 1 평면(21)에 없을 수 있다. 제 1 객체(작은 원)의 렌디션은 제 2 평면(22)에 없을 수 있다.
도 1e는 이런 예에서, N-차원의 시퀀스를 2-차원 비디오 프레임들의 시퀀스의 표시로 스팬하는 (N+1)-차원 신호를 예시하는 다이어그램이다. 가장 높은(원시) 품질 레벨(LOQ #0, 또는 동등하게 티어 #0)의 스팬들은 두 개의 "로트들(lots)" 로트1 및 로트2 또는 다시 말하면 스팬들의 2개의 서브시퀀스들로 구성된 "배치"(즉, 시간 청크)로 구조화된다. LOQ #0에서, 로트 1은 8개의 동일한 기간의 스팬들(샘플링 위치 1에서 스팬(100-1), 샘플링 위치 2에서 스팬(100-2), ...., 샘플링 위치 8에서 스팬(100-8))로 구성되고, 로트 2는 5개의 동일한 기간의 스팬들(샘플링 위치 9에서 스팬(100-9), 샘플링 위치 10에서 스팬(100-10), ...., 샘플링 위치 13에서 스팬(100-13))로 구성된다.
도 1e에 예시된 신호는 도면에 도시된 4개의 가장 높은 품질 레벨들(LOQ #0, LOQ #-1, LOQ #-2, 및 LOQ #-3)로 티어드 계층으로 인코딩된다. 이는 신호가 더 많은 수의 품질 레벨들로 인코딩될 수 있고, 이론상으로 가장 낮은 레벨은 단일 엘리먼트로 구성된 단일 스팬을 갖기 때문에 비-한정으로 의도된다.
품질 레벨 LOQ #-1은 로트 1에 대한 4개의 스팬들(스팬들(101-1, 101-3, 101-5, 101-7)) 및 로트 2에 대한 2개의 스팬들(스팬들(101-9, 101-12))로 구성된다. 이런 비-한정적인 실시예에서, LOQ #-1의 로트들은 LOQ #0의 동일한 로트들보다 작은 수의 스팬들을 갖고, 즉, LOQ #-1의 스팬들은 시간 다운샘플링에 의해 획득되었다. LOQ #-1의 스팬들에 대응하는 엘리먼트들의 초평면들(즉, 비디오 프레임들의 예에서, 픽셀들의 2차원 평면들)은 또한 LOQ #0의 스팬들에 대응하는 엘리먼트들의 초평면들에 대하여 각각의 공간 차원에 대한 적합한 스케일 계수들에 의해 다운샘플링된다 : 이런 비-한정적인 예에서, 초평면들은 2개의 차원들(예를 들면, 2-차원 이미지를 나타내는)을 갖고, 각각의 차원은 다음에 대한 계층의 모든 품질 레벨에 대하여 2의 계수에 의해 다운샘플링되고, 2에 의한 가분성(divisibility)을 보장하기 위해 그것이 필요할 때 패딩(padding)의 라인들 또는 열들을 유도한다.
LOQ #0의 상이한 수들의 스팬들은 LOQ #-1의 상이한 스팬들에 대응한다는 것에 주목하라 : 예를 들면, LOQ #-1의 다운블렌딩된 스팬(101-1)은 LOQ #0의 스팬들(100-1 및 100-2)(즉, 스팬(101-1)에서 스팬들(100-1 및 100-2)로의 시간 업샘플링은 2의 스케일 계수를 갖는다)에 대응하는(즉, 상이한 품질 레벨의 신호의 동일한 부분을 나타낸다) 한편, LOQ #-1의 다운블렌딩된 스팬(101-12)은 LOQ #0의 스팬들(100-11, 100-12 및 100-13)(즉, 스팬(101-12)에 대한 시간 업샘플링은 3의 스케일 계수를 갖는다)에 대응한다.
스팬들은 샘플링 위치(도 1e에서 눈금 표시 위에 각 스팬의 상부에 숫자로 나타낸), 시간 지속 기간(도 1e에서 스팬의 수평 길이로 나타낸), 및 픽쳐 수(도 1e에서 채워진 원 표시 아래에 각 스팬의 하부에 숫자로 나타낸)를 특징으로 한다. 예를 들면, LOQ #-3의 스팬(103-11)은 샘플링 위치 11(즉, 그것은 위치 11에 중심이 있다), 5 시간 단위의 지속 기간(즉, 그것은 LOQ #0의 5개의 스팬들에 대응한다) 및 9의 픽쳐 수(즉, 스팬이 디스플레이되어야 하면, 그것은 픽쳐 9에서 시작하여 픽쳐 13까지, 즉, 5개의 픽쳐의 그의 기간 동안 스크린 상에 체류할 것이다 - LOQ #0의 픽쳐 레이트로 -)를 특징으로 한다.
이런 비-한정적인 실시예에서, LOQ #0보다 낮은 품질 레벨의 스팬들의 샘플링 위치들은 LOQ #0의 샘플 레이트(이런 예에서, 일정한 샘플 레이트)에 따라 계산된다. 특히, LOQ #0의 다수의 스팬들에 대응하는 스팬의 샘플링 위치는 LOQ #0의 대응하는 스팬들의 샘플링 위치들의 평균보다 작거나 동일한 정수 샘플링 위치(즉, 버림)로서 계산된다. 예를 들면, LOQ #-2의 스팬(102-2)(LOQ #0의 스팬들(100-1, 100-2, 100-3 및 100-4)에 대응하는)은 2가 100-1, 100-2, 100-3 및 100-4의 샘플링 위치들의 평균(2.5일 것임)보다 작은 가장 근접한 정수 샘플링 위치이기 때문에 2의 샘플링 위치를 갖는다. 유사하게 LOQ #-3의 스팬(103-11)은 11이 스팬들(100-9, 100-10, 100-11, 100-12 및 100-13)의 샘플링 위치의 평균(이 경우에 바로 정수)이기 때문에 11의 샘플링 위치를 갖는다.
이런 비-한정적인 실시예에서, LOQ #0보다 낮은 품질 레벨들의 스팬들에 대한 픽쳐 수들은 LOQ #0의 샘플 레이트에 따라 다시 계산되고, 주어진 스팬의 픽쳐 수는 주어진 스팬에 대응하는 LOQ #0의 스팬들의 가장 낮은 샘플링 위치로서 계산된다.
인코더 실시예의 예시적인 설명
압축 지향 환경에서, 근본적으로 신호를 주어진 품질로 압축하는 인코더로서 구성된 신호 프로세서(이하 "인코더")는 인코딩된 복원 데이터의 세트들을 생성하는 신호를 처리한다. 디코더로서 구성된 신호 프로세서(이하 "디코더")는 복원 데이터의 세트들을 수신하고 원시 신호의 렌디션을 복원한다.
인코딩된 복원 데이터의 적합한 세트들을 생성하기 위해, 우선, 인코더는 배치에 포함될 신호의 시간 부분, 및 로트들에서 그것의 일부분을 식별한다. 배치들은 시간 차원이 종종 무한하다는(적어도 모든 현실적인 목적들을 위해) 현실적인 문제에 기인하여 필요하지만, 공간 차원은 명백하고 고정된 네이티브 한계들(예를 들면, 비디오 프레임의 수평 및 수직 해상도, 사운드 샘플을 나타내는 값들의 수, 입체 이미지의 x-y-z 해상도, 등)을 갖는다. 따라서, 시간에서 그의 모든 기간에 따른 신호를 분석하기 위해 이상적으로 최상의 선택임에도 불구하고, 그것은 종종 현실적으로 달성할 수 없다. 그러나, 신호 - 영화 및 촬영과 같은 현실적인 비-한정적인 예들에서 -는 종종 선천적으로 관련없는 청크들의 연쇄된 체인이다 : 예를 들면, 전형적으로 영화 콘텐츠들은 "장면들"로 분할되고, 즉, 매우 명확한 장면에 의해 분리되는 상관관계가 있는 스팬들의 시간-제한 양들이 변한다. 이런 "장면 배치들"은 인코딩 이전에 신호를 시간에서 분할하기 위한 유효한 기준으로서 역할을 할 수 있다. 이들 배치들이 매우 긴 경우, 그러나, 스팬들의 시퀀스를 더 분할하는 것이 필요하다. 적합한 대책들 없이, 장면을 "계산을 위한 독립적인 부분들"로 분할하는 것은 눈에 띄는 아티팩트들을 초래할 수 있다 : 노이즈 패턴들은 갑자기 변하고, 부드러운 움직임들은 불연속들을 나타내며, 기타 등등이다. 본 명세서에서 설명된 바람직한 비-한정적인 실시예에 의해 사용되는 신규한 방법론은 "로트들"(즉, 계층을 독립적으로 로트별(lot by lot) 다운샘플링) 및 "디코딩 웨이브(wave)" 접근법(즉, 계층을 로트들에 걸쳐 업샘플링)의 사용을 포함한다. 이와 같은 신규한 방법들에 의해, 장면은 계산을 현재 아키텍처들에 의해 현실적으로 만들기 위해 확실히 분할된다. 이와 같은 분할들은 디코딩 동안 "브리지"되고, 엄격한 분리들을 방지하고, 결과적으로 신호의 복원된 렌디션에서 불연속들을 방지한다.
배치가 단지 몇몇 스팬들로 구성되면, 그것을 더 분할할 필요가 없다. 많은 스팬들에 대하여 지속적인 배치 대신(즉, 주어진 임계값 이상), 인코더는 "로트들"에서 배치를 슬라이스한다고 가정한다. 위에서 나타낸 바와 같이, 로트는 스팬들의 연속한 수이다. 1에서 128개의 스팬들의 범위에서 로트 길이들 및 1 내지 5개의 로트들로 이루어진 배치들은 로트들 및 배치들의 기간들 동안 비-한정적인 예들이다. 실제적인 관점으로부터, 이와 같은 길이들은 주어진 실시예에서 사용되는 하드웨어, 메모리 및 처리 유닛들에 적응된다. 로트 차원에 관한 결정은 인코더 측에서 수행되는 전반적인 최적화 프로세스의 결과이다. 비-한정적인 기준은 디코더 자원 상의 주어진 임의의 필요조건들(특히, 메모리 필요조건들)이 주어지면, 인코더에 의해 생성된 주어진 프로파일로 크게 시간-상관관계가 있는 배치 내에서 로트 길이를 최대화하는 것이다. 다른 비-한정적인 기준은 고정된 로트 크기를 가능한 많이 유지하는 것이고, 특히 계산들을 단순화하도록 그것을 고정된 수의 이미지들 또는 하나의 이미지로 설정하는 것이다(예를 들면, 매우 상관없는 이미지들 이전 또는 이후).
인코더는 신호에 걸쳐 움직임 추정을 수행하여, 보조 맵들, 움직임 벡터들, 움직임 존 맵들, 움직임 매트릭스들 등과 같은 다수의 파라미터들을 포함하고, 신호 스팬들에서 나타낸 객체들의 움직임을 나타내는 적합한 설명 정보를 생성한다. 움직임 추정 결과들에 따라, 인코더는 예를 들면, 비디오 신호의 경우에 장면 변화들을 고려하여 배치들 및 로트들에 포함된 다수의 스팬들을 수정할 수 있다. 로트 길이는 시간에 따른 스팬들의 시간 상관관계가 주어진 임계들 아래로 감소할 때는 언제든지 인코더에 의해 단축된다. 움직임의 관점에서 배치 동안 신호의 활동에 대응하는 적합한 메트릭들에 기반하여, 로트 길이들은 따라서 근본적으로 반비례에 기초하여 할당된다. 비-한정적인 실시예에서, 로트 길이는 사전-설정된 실험적인 파라미터들뿐만 아니라 적합한 휴레스틱(heuristic)을 레버리지함으로써 상기 메트릭들에 기반하여 정의된다.
배치 내에서, 인코더는 따라서 스팬들을 하나 또는 그 초과의 "로트들"로 그룹핑한다.
일단 LOQ #0의 어떤 스팬들이 어떤 로트에 속하는지 식별되면, 인코더는 스팬들의 티어드 계층을 계산하고, 바로 더 높은 LOQ의 대응하는 다수의 스팬들을 다운샘플링함으로써 더 낮은 LOQ의 각각의 스팬을 생성한다. 더 높은 LOQ의 다수의 스팬들의 다운샘플링에 기인한 더 낮은 LOQ의 스팬은 또한, 이들 스팬들에 대하여 "지배하는(controlling)"(또는 "페런트") 스팬으로서 정의된다.
수학적으로, LOQ K의 스팬, 로트 L 및 샘플링 위치 t를
Figure pct00001
로 한다. 도 1e에서 예시된 비-한정적인 실시예에서, 스팬(101-1)은 스팬들(100-1 및 100-2)의 결합을 다운샘플링함으로써 획득된다. 더 명확하게, 더 높은 품질 레벨의 스팬들은 그들의 움직임-보상된 렌디션들의 가중 평균을 수행함으로써 결합되고, 여기서, 움직임 보상은 더 낮은 품질 레벨의 결과의 스팬의 샘플링 위치에 기반하여(관하여) 수행된다. 수학적으로 이는 다음과 같이 표현될 수 있다:
Figure pct00002
움직임 보상 함수 MC는 움직임에 관한 입력된 설명 정보(움직임 추정의 적합한 방법에 의해 생성된)로서 취하고, 원시 이미지(즉, 주어진 샘플링 위치에 중심이 있는 스팬)를 목적 샘플링 위치에 중앙이 있는 움직임-보상된 이미지로 변환하는 함수이다. 이런 비-한정적인 예시적인 실시예에서, 움직임-보상된 이미지들은 이전에 도 1d에서 예시된 바와 같이, 정보의 제한적 손실에도 불구하고 다수의 움직임-보상된 이미지들의 결합을 허용하기 위해 원시 이미지들보다 크다(즉, 평면 엘리먼트들의 더 많은 열들 및 행들을 갖는다). 문헌의 부재에 기인하여, 추가적인 열들 및 행들(동일한 품질 레벨에서의 스팬의 추가 대 원시 해상도) "프레이밍(framing)"을 정의했다. 프레이밍의 일부 엘리먼트들은 하나의 이미지로의 다수의 이미지들의 결합 동안 이들 엘리먼트들이 가중 평균들에 영향을 주는 것을 방지하기 위해 움직임 보상 함수에 의해 디폴트 값("유효하지 않은" 값)이 할당된다. 간단한 비-한정적인 예시적인 경우로서, 주어진 샘플링 위치 t에 대한 움직임 보상을 동일한 샘플링 위치 t를 갖는 스팬 XK(t)에 적용하는 것은 근본적으로 아이덴티티(identity) 함수 플러스 추가의 프레이밍에 대응하며, 여기서, 프레이밍의 엘리먼트들의 모두는 디폴트 "유효하지 않은" 값이 할당된다. 원시 결합된 스팬들의 크기에 관하여, 프레이밍은 스팬들이 시간에서 더 긴 기간을 갖는다는 사실에 기인하여 더 계층 아래로 내려가게 되고, 따라서 그것들은 "더 많은 양"의 전체 장면(특히 움직임에 기인한)을 포함할 수 있다.
이런 간단한 비-한정적인 실시예에서, 다운샘플링 함수는 양자의 차원들을 따라 2의 스케일 계수를 갖는 이중선형 다운샘플링 필터이고, 가중 파라미터들 a 및 b는 단지 더 낮은 품질 레벨의 스팬으로 다운샘플링되는 더 높은 품질 레벨의 스팬들의 관련 지속 기간들에 의존한다. 다른 비-한정적인 실시예들은 샘플링 위치로부터의 거리 및/또는 더 복잡한 파라미터들에 기반하여 스팬들을 고찰하지만, 간단한 평균은 스팬에 의해 전달된 "정보의 관련된 양"은 근본적으로 그것이 나타내는 신호의 시간 부분에 비례한다는 사실에 대응한다. 도 1e의 특정 예에서:
Figure pct00003
움직임 보상 동작이 디폴트 값(예를 들면, "유효하지 않은" 값)을 갖는 하나 또는 그 초과의 엘리먼트들을 포함하는 엘리먼트들의 평면을 생성할 때, 디폴트 값을 갖는 엘리먼트들은 가중 평균에 포함되지 않고, 잔여 값들의 가중치들(즉, "유효하지 않은"과 상이한)은 가중 평균에서의 잔여 값들의 가중치들의 합이 항상 1과 같다는 것을 보장하도록 정규화된다. 이런 비-한정적인 실시예에서, 정규화는 그들의 합이 일이 되도록 동일한 상수를 가중치들의 각각에 더함으로써 계산된다.
일단 인코더가 주어진 LOQ의 LOQ들을 생성했으면, 인코더는 디코더가 티어드 계층의 적합한 렌디션을 복원하게 할 수 있는 인코딩된 데이터의 생성을 개시한다. 특히, 디코더 측에서, 일단 주어진 LOQ N-1이 이용가능하면, 더 높은 LOQ N의 각각의 스팬의 각각의 엘리먼트의 실제 값의 복원은 하나 또는 그 초과의 세트들의 잔차들을 수신하고 디코딩하는 것을 필요로 하고, 이미 이용가능했던 더 낮은 품질 레벨들에 과한 정보에 기반하여 생성된 예측된 렌디션들을 수정하기 위해 디코더에 의해 처리된다.
수학적으로,
Figure pct00004
를 각각의 스팬
Figure pct00005
의 복원된 렌디션들로 지칭할 것이다. 주어진(복원된) Y가 그것의 대응하는 (원시) X와 상이할 수 있는 이유는 신호의 정보 엔트로피의 메트릭을 감소시키도록, 압축-지향 환경에서 인코더가 복원된 스팬들에서의 양자화 아티팩트들 및/또는 다른 손실 아티팩트들의 정도를 허용하도록 구성될 수 있기 때문이다.
더 낮은 LOQ 또는 가장 낮은 레벨의 하나 또는 그 초과의 스팬들에 대하여 그리고 단지 그것들에 대하여, 인코더는 XB의 양자화된 렌디션의 역양자화의 결과로서 각각의 스팬 YB를 생성한다. 이는 다음과 같이 수학적으로 표현된다:
Figure pct00006
(심볼 "^"은 "복원된 추정"을 나타냄)
계층에서 다음의(더 높은) 품질 레벨들의 스팬들에 대하여, 각각의 스팬에 대하여, 인코더는 적합한 업샘플링 동작들을 수행함으로써 예측 U를 생성하고, "예측기(predictor)"로서 더 낮은 품질 레벨의 하나 또는 그 초과의 스팬들을 레버리지한다. 인코더 측에서의 이와 같은 업샘플링 동작들의 목적은 인코더가 디코더 측에서 실행될 동작들을 시뮬레이션하는 것이다. 특히, 예측 동작을 시뮬레이션 함으로써, 인코더는 후속으로, 예측들을 보정하고 신호의 적합한 렌디션을 복원하기 위해 디코더에 의해 필요로 할 복원 데이터를 생성할 수 있다.
예측들 및 복원 데이터는 가장 낮은 레벨로부터 시작하여 인코더에 의해 LOQ별(LOQ by LOQ)로 생성된다. 계층에서의 위치에 기반하여(예를 들면, 품질 레벨, 배치의 시작 또는 끝으로부터의 거리 등), 인코더는 예측기들로서 더 낮은 품질 레벨의 상이한 수들의 스팬들을 처리한다. 예를 들면, 도 1e의 특정한 비-한정적인 예에서, 스팬 102-6에 대한 예측
Figure pct00007
은 예측기들로서 스팬들 103-4 및 103-11을 처리함으로써 생성되고, 스팬 100-8에 대한 예측
Figure pct00008
은 예측기들로서 스팬들 101-5, 101-7, 101-9 및 101-12를 처리함으로써 생성되며, 스팬 100-1에 대한 예측
Figure pct00009
은 예측기들로서 스팬들 101-1 및 101-3을 처리함으로써 생성된다. 특히, 이런 비-한정적인 실시예에서, 그리고 배치의 에지("펜스(fence)")에 근접한 스팬들의 예외에 의해, 예측기는 예측하기 위한 스팬으로서 가장 근접한 샘플링 위치들을 갖는 더 낮은 레벨의 2개의 스팬들(하나는 더 낮거나 동일하고, 하나는 더 크거나 동일한)로 품질 레벨 LOQ #-1까지 선택되고, 예측하기 위한 스팬으로서 가장 근접한 샘플링 위치들을 갖는 더 낮은 레벨의 4개의 스팬들(2개의 더 낮거나 같은 샘플링 위치들 및 2개의 더 크거나 같은 샘플링 위치들)로 LOQ #-1에서 LOQ #0까지 선택된다. 예측기들은 종종 상이한(이웃한) 로트들, 신규한 방법이 배치를 상이한 로트들로 분할했던 것으로부터의 결과로서의 아티팩트들을 감소하거나 심지어 삭제하게 하는 특성에 속하고, 근본적으로 다운샘플링 동안 생성되었던 인공적 분할들을 "고정(fixing)"시킨다. "펜스들"(즉, 배치의 시작 및 끝)에 근접한 스팬들에 대하여, 하나 또는 그 초과의 예측기들이 현재 배치와 상관관계가 없을 것 같은 선행의 또는 다음의 배치로부터 비롯되어야 한다는 사실에 기인하여 더 적은 예측기들이 사용된다.
인코더는 예측된 스팬들 U를 생성하기 위해, 또한 이웃하는 로트들에 속하는 스팬들을 레버리지한다 : 이는 실질적으로 다시 문헌의 부재에 대하여, 본 명세서에서 "디코딩 웨이브"로서 정의되는(티어드 계층으로서 인코딩된 긴 배치의 가능한 디코딩 패턴들의 시각적 겉보기(look)에 기반하여) 복원 방법의 비-한정적인 실시예이다. 이와 같은 신규한 방법의 장점은 그것이 문제가 될 때, 즉, 업샘플링 프로세스 동안 그것이 분할 아티팩트들을 정밀하게 해소한다는 것이다 : 사실상, 신호를 로트별 다운샘플링하는 요구에 기인한 분할 아티팩트들은 다운샘플링 및/또는 다운블렌딩 동안이 아니라 업샘플링 동안 유입될 것이다. 도 1e에서 LOT 1 및 LOT 2를 고려한다: 예를 들면, 시간 도메인에 초점을 맞추면, 인코더는 스팬(101-7)을 생성하기 위해 로트 1의 스팬들(100-7 및 100-8)을 다운블렌딩한다; 그것은 또한 스팬(101-9)을 생성하기 위해 로트 2의 스팬들(100-9 및 100-10)을 다운블렌딩한다. 스팬들(100-8과 100-9) 사이에 발생하는 임의의 시간-관련 현상(예를 들면, 객체의 속도의 가속, 작은 객체 출현/소멸 등)은 이와 같은 다운샘플링 처리함으로써 "부적절하게-캡처(ill-captured)"된다. 또한 시간의 업샘플링 동작들(즉, 스팬 예측 동작들)이 - 다운샘플링 동작들과 같이- 로트의 엄격한 한계들 내에서 수행되었으면, 이는 예측들의 생성 동안 명백하게 된다. 예를 들면, 디코더 측에서 스팬(100-8)을 생성하는 업샘플링 동작들이 단지 스팬(101-7) 및 아마도 또한 이전의 스팬들(예를 들면, 101-5)을 고려하면, 예측 동작은 스팬(100-8) 이후에 발생된 움직임들/현상들을 적절하게 고려하지 않을 것이다. 하나의 결과는 더 적은 정밀한 예측일 것이고, 그 결과, 100-8(및/또는 더 명백한 아티팩트들)에 대한 예측을 수정하고 적합한 렌디션을 생성하기 위해 필요한 잔차 데이터의 더 많은 양의 정보 엔트로피일 것이다. 이런 문제는, 그러나, 공간-시간 업샘플링 동작들 동안 인코더가 다운샘플링에 사용되는 경계들을 초과하는 커널(kernel) 스패닝을 채택하면 해결된다. 비-한정적인 예로서, 101-7에 대한 예측을 생성하기 위해 수행된 업샘플링은 예측기들(102-6 및 102-11)로 레버리지하고; 100-8에 대한 예측을 생성하기 위해 수행된 업샘플링은 예측기들(101-5, 101-7, 101-9 및 101-12)로 레버리지한다. 본질적으로, 업샘플링은 또한 상이한 로트들로부터의 정보를 레버리지하고, 업샘플링 "웨이브"를 효과적으로 생성함으로써- 높은 품질 레벨의 다음 스팬들을 디코딩할 때 - ,(여기서, 더 낮은 LOQ들의 디코딩은 더 높은 LOQ들의 디코딩을 "예상"한다) 수행된다: 주어진 샘플링 위치 및 주어진 LOQ의 스팬에 대한 예측된 렌디션을 복원하기 위해, 디코더(또는 인코딩 프로세스 동안 사용되는 시뮬레이션된 디코더)는 점진적으로 더 낮은 LOQ들에 대하여 점진적으로 더 큰 샘플링 위치들의 스팬들을 처리해야 한다. 도 1e에서 예시된 비-한정적인 실시예에서, 예측기 스팬들은 잘해야 이웃하는 로트에 속하고, 따라서, "디코딩 웨이브"의 더 낮은 부분의 최대 "연장"을 제한한다. 가능한 시간 커널들 및 업샘플링 시퀀스들의 몇몇 비-한정적인 예시적인 실시예들의 가능하고, 인코딩/디코딩 레이턴시(latency), 메모리 필요조건들 및 압축 효율 사이의 트레이드-오프들에 영향을 준다.
예측들(U)이 현재 로트, 이전 로트 및 다음 로트 중에서 선택된 하나 또는 그 초과의 더 낮은-LOQ 스팬들을 처리함으로써 생성되기 때문에, 수학적으로 다음과 같이 말할 수 있다(도 1e에 예시된 비-한정적인 실시예들에 대하여):
Figure pct00010
여기서, f는 업샘플링 함수이다.
특히, 이런 비-한정적인 실시예는 예측된 스팬의 샘플링 위치에 대하여 각각의 예측기 스팬을 움직임 보상함으로써 생성된 엘리먼트들의 평면들의 가중 평균의 업샘플링을 수행함으로써 예측들(U)을 생성한다. 수학적으로, 스팬(102-6)의 비-한정적인 예시적인 경우에 대하여:
Figure pct00011
도 1e에 예시된 비-한정적인 실시예에서, 예측기들의 가중 평균에 대해 사용된 가중치들은 예측된 스팬의 샘플링 위치로부터 각각의 예측기의 샘플링 위치들의 거리에(선형 필터링 - 2개의 예측기들의 경우에 대하여 - 및 큐빅(cubic) 필터링 - 4개의 예측기들의 경우에 대하여 - 가중치들에 따라) 기반한다. 하나 또는 그 초과의 예측기들이 생략되거나(예를 들면, 펜스의 근접에 기인하여), 가중 평균에서의 하나 또는 그 초과의 엘리먼트들이 디폴트 값(즉, 움직임 보상 동작의 결과로서 "유효하지 않은" 엘리먼트)이 할당되는 경우들에 대하여, 덧셈의 정규화(additive normalization) 방법에 따른(즉, 각각의 잔여 가중치에 동일한 상수를 더함으로써) 이런 비-한정적인 예시적인 경우에서, 잔여 값들의 가중치들은 1로 정규화되된다. 업샘플링 동작들 - 움직임 보상 동작들과 함께 수행되는 이런 실시예에서 - 은 상향 레벨들에 대하여 LOQ #-2까지 선형 필터링 및 커스텀(custom) 필터링(즉, 적합한 인코딩된 파라미터들을 갖는 인코더에 의해 디코더에서 특정된 커널들에 의해)을 레버리지하고, 디블렌딩 필터링과 선명하지 않은 마스킹으로 결합된다. 시간 및 공간 양자에서(즉, 더 많은 예측기들 및/또는 더 많은 업샘플링 커널들) 더 높은 품질 레벨에 대한 더 큰 커널들의 사용은 이웃하는 스팬들 중에서 및/또는 동일한 스팬들의 이웃하는 엘리먼트들 내에서 더 많은 품질 레벨들에서 발견할 수 있는 더 많은 양의 상관관계 대 이웃하는 스팬들 중에서 및/또는 동일한 스팬들의 이웃하는 엘리먼트들 내에서 더 낮은 품질 레벨들에서 발견될 수 있는 양에 대응하기 위해 캘리브레이션된다.
일단 주어진 품질 레벨에 대한 예측들(U)이 이용가능하면, 인코더는 임의의 주어진 스팬과 대응하는 예측된 스팬 사이의 차이에 대응하는 "절대 잔차들" R을 계산한다. 이는 다음 식에 의해 표현된다:
R = X - U
가장 낮은 LOQ에 대하여(그리고 가장 낮은 LOQ에 대해서만) :
UB = 0
RB = XB
절대 잔차들은 손실 없는 엔트로피 인코딩 단계 이전에 정보 엔트로피의 메트릭을 감소시키기 위해 인코더에 의해 변환된 잔차들(Tr(R))로 적합하게 변환되고 양자화된다(데이터를 적합한 그룹핑들 - 소위 "타일들(tiles)" -로 분할하고 각각의 타일에서 데이터의 특정 히스토그램에 기반하여 캘리브레이션된 파라미터들에 따라 산술 인코더를 적용함으로써 수행되는 실시예에서). ("변환된 잔차들"을) 인코딩하기 위한 실제 잔차 데이터의 계산은 전체 잔차들에 관한 산술적 연산들의 세트에 한정되지 않고, 그것은 인코딩/디코딩 알고리즘의 전반적인 압축/압축해제 효율의 개선을 목표로 하는 특정 함수들을 포함한다(예를 들면, 이런 비-한정적인 실시예에서, 더 낮은 LOQ에 기반한 방향성 압축해제).
그 결과, h(·)가 절대 잔차들을 통하여 수행된 동작들의 모두의 "반전(inverting)"(가능한 정도로)에 대응하는 함수이면, 각각의 LOQ의 각각의 스팬에 대하여, 다음과 같이 말할 수 있다:
Figure pct00012
특히, 가장 낮은 LOQ에 대하여
Figure pct00013
.
이런 비-한정적인 실시예에서, 계층에서 더 높은 품질 레벨들에 대하여, 절대 잔차들은 동일한 LOQ에 대해서조차도 디코더 측에서 복원되는 렌디션 Y의 상이한 레벨들의 압축 및 정확도("세부사항(detail)의 레벨" 또는 "LOD")를 가능하게 하도록 절대 잔차들의 다수의 세트들에서 계산되고 전송된다.
이런 잔차 데이터를 계산하고 적합하게 변환하였으면, 인코더는 상기 잔차 데이터 및 디코더 측에서 수행될 동작들의 설명 정보에 대응하는 인코딩된 복원 데이터의 세트들을 생성한다. 비-한정적인 실시예에서, 상기 설명 정보는 움직임에 대응하는 정보(움직임 보상 동작들 동안 디코더 측에서 레버리지된), 티어드 계층의 스팬들의 특성들에 대응하는 정보(특히, 각각의 로트의 각각의 LOQ의 각각의 스팬에 대한 id 번호들 및 키 파라미터들) 및 업샘플링 동작들에 대응하는 정보(특히, 더 높은 티어의 스팬에 대한 예측된 스팬을 생성하도록 처리될 스팬들의 id 번호들, 사용되는 가중치들에 대응하는 파라미터들, 사용될 업샘플링 동작들에 대응하는 파라미터들 - 업샘플링 커널들과 같은 그러나, 이에 한정되지 않는-)를 포함한다.
추가적인 비-한정적인 예시적인 실시예들
도 1e에 예시되고 위에서 설명된 인코더 실시예는 신규한 티어드 계층 방법들의 많은 가능한 구현들 중 단지 하나이고, 비-한정으로서 고려되어야 한다.
본질적으로, 인코딩 동안, 신호는 신호 프로세서에 의해 품질의 원시 레벨(LOQ #0)에서 시작하여 상이한 품질 레벨들(LOQ #0, LOQ #-1, LOQ #-2, ...)을 티어들로 변환된다. 티어들의 수는 임의적이고, 그것은 애플리케이션 및 특정 실시예에 의존할 수 있다. 비-한정적인 실시예는, 예를 들면, 압축 효율이 실시예의 목표인 경우, 가능한 LOQ들의 모두를 계산한다. 이론상으로, 달성할 수 있는 가장 낮은 LOQ은 신호의 차원들의 모두(예를 들면, 스팬들의 수, 스팬의 각각의 차원당 엘리먼트들의 수)가 1개의 엘리먼트와 동일한 해상도에 이를 때, 도달한다. 비-한정적인 실시예에서, 로트의 시간 해상도가 1의 해상도에 이를 때(즉, 그 LOQ에서 신호의 그 로트에 대하여, 단지 하나의 스팬이 존재한다), 다운샘플링은 공간 차원들에 따라서만 다운샘플링함으로써 지속된다; 가장 낮은 품질 레벨(LOQ)은 공간 차원들의 첫 번째가 1과 동일한 해상도에 이를 때 도달한다. 하나의 티어에서 다른 티어로 이동하기 위해, 임의의 다운샘플링 비율은 신호의 차원들의 각각에 적용될 수 있다. 위에서 예시된 비-한정적인 실시예는 임의의 스케일 계수들로 시간 차원을 그리고 2의 계수에 의한 스팬들의 공간 차원들의 모두(열들 및 행들의 프레이밍을 적용한 후)를 다운샘플링한다. 그러나, 다른 애플리케이션들 및 실시예들은 LOQ들의 티어들의 생성을 위해 또한 각각의 차원들 및 각각의 LOQ에 대한 상이한 스케일 계수들을 포함하는 상이한 설정들을 사용한다. 비-한정적인 실시예에서, 이와 같은 스케일 계수들은 인코더 및 디코더 양자에 알려진다. 다른 비-한정적인 실시예에서, 인코더는 디코더로 각각의 경우에 사용될 특정한 스케일 계수들 및 업샘플링 동작들에 대응하는 정보를 전송한다. 다른 비-한정적인 실시예에서, 상기 정보는 상속-기반 방법에 따라 인코딩되고, 즉, 주어진 LOQ의 상기 정보에 대한 디폴트 값이 적합한 상속 동작들을 통하여 더 낮은 LOQ에 대하여 복원된 정보에 기반하여 디코더에 의해 계산된다.
다른 비-한정적인 실시예들은 유사한 티어드-계층 방법을 구현하고, 여기서, 더 낮은 LOQ들이 스팬들의 샘플링 위치들은 상이한 수학적 동작들에 따라 계산되다. 비-한정적인 실시예에서, 더 낮은 LOQ들의 스팬들의 샘플링 위치들은 비-정수 숫자들을 포함한다.
다른 비-한정적인 실시예들에서, 인코더는 또한 더 낮은 LOQ들에 대한 샘플 레이트를 일정하게 유지하도록 로트 길이들 및 시간 다운샘플링 동작들을 선택한다(예를 들면, 비-한정적인 실시예는 주어진 LOQ의 로트에서 스팬들의 수가 시간 다운샘플링에 대한 다수의 스케일 계수가 아닐 때 패딩 정보를 더함으로써 "시간 패딩(padding)"의 방법을 레버리지한다). 다른 비-한정적인 실시예들에서, 대신, 샘플 에이트는 또한 신호의 가장 높은 LOQ들에 대하여 가변할 수 있다. 다른 비-한정적인 실시예들에서, 시간 다운샘플링은 주어진 LOQ 아래에서만 수행되는 반면, 그 주어진 레벨 위의 모든 LOQ들은 동일한 샘플 레이트를 갖는다.
다른 비-한정적인 실시예들에서, 더 낮은 LOQ의 스팬을 생성하기 위한 주어진 LOQ의 다수의 스팬들의 결합은 위에서 설명된 것과 상이하고, 공지 기술에서 다른 적합한 다운샘플링 및 움직임 보상 방법들 중에서 선택된 동작들을 포함한다.
위에서 설명된 비-한정적인 실시예에서, 다운샘플링 동작들은 시간 차원에 따른 둘 또는 그 초과의 스팬들 사이의 움직임을 적합하게 설명하기 위해 움직임 보상 정보를 레버리지한다. 이것이 특정 시간-기반 신호들에 대하여 유용할 수 있는 이유는 신호 이론 관점에서, 시간 샘플링이 나이퀴스트(Nyquist) 한계 아래일 수 있기 때문이다. 비디오 신호들의 예에서, 몇몇 실험들은 사람 관찰자들이 비디오들에서 전형적으로 묘사된 움직임들의 유형들에 대하여 300 fps까지 쉽게 인식할 수 있다는 것을 입증했지만, 25/30 fps은 현재로서 전형적인 샘플 레이트의 예이다. 이는 비디오 신호들은 일반적으로 나이퀴스트 한계 아래에서 시간 차원을 샘플링한다는 것을 의미한다. 이와 같은 경우들에서, 시간 차원에 따라서만 채택되는 특정 접근법(움직임 보상과 같은)은 불충분한 샘플링에 의해 유입된 손해들을 감소시키고, 본질적으로, 그들의 상관관계를 더 잘 이용하기 위해 스팬들을 "재편성(realigning)" 한다. 움직임에 관한 설명 정보는 시간 다운샘플링을 티어드 품질 레벨들을 따라 가이드하기 위해 사용된다. 움직임 추정은 인코더에 의해 채택되는 선택적인 단계이다 : 느린 움직임들, 높은 샘플링 레이트들 또는 매우 복잡한 움직임들은 움직임 추정 및 보상의 채택이 시간 차원에 임의의 "우선 처리"를 제공하지 않고 티어드 LOQ들을 단지 생성하는 것보다 효율적이지 않을 수 있거나 심지어 나쁠 수 있을 때의 비-한정적인 예들이다. 적합한 조건들이 움직임 추정이 도움이 되지 않는다고 나타내는 신호의 부분들에 대하여, 인코더는 움직임 정보를 폐기하고 대칭적인 다운샘플링(예를 들면, 비-한정적인 실시예에서, 간단한 삼중-선형(tri-linear) 서브샘플링)으로 처리한다.
다른 비-한정적인 실시예는 더 낮은 LOQ들의 스팬들에서 프레이밍 열들 및 행들을 유입하지 않는다. 다른 비-한정적인 실시예에서, 유입되는 프레이밍의 양은 움직임 정보와 상관관계이다.
다른 비-한정적인 실시예들은 그 자체의 다운샘플링을 위한 상이한 동작들을 이용한다. 비-한정적인 실시예에서, 인코더는 더 낮은 LOQ의 스팬들을 생성하기 위해 상이한 다운샘플링 동작들(비-선형 동작들을 포함하는)을 적용하고, 상이한 업샘플링 동작들을 적용하며, 잔차 데이터의 정보 엔트로피의 메트릭을 최소화하는 다운샘플링 동작들 및 업샘플링 동작들의 세트를 식별한다. 이와 같은 실시예들 중 하나에서, 인코더는 선택적으로 선형 다운샘플링 동작의 결과들을 수정("tweaking")하고, 잔차 데이터의 결과의 엔트로피에 기반하여 변경들을 최적화하는 변경된 필터링 방법을 레버리지한다.
다른 비-한정적인 실시예에서, 인코더는 더 높은 품질 레벨의 각각의 스팬을 그것들은 더 낮은 품질 레벨의 스팬으로 결합하기 전에 다운샘플링한다. 다른 비-한정적인 실시예에서, 인코더는 더 높은 품질 레벨의 각각의 스팬을 다운샘플링하고, 움직임 보상(프레이밍을 포함하는)을 적용하며 결과들을 더 낮은 품질 레벨의 스팬으로 결합한다. 다른 비-한정적인 실시예에서, 다운샘플링 동작들은 움직임 보상 동작들과 함께 수행된다(즉, 다운샘플링 프로세스 동안, 움직임 보상 동작들은 움직임 보상된 스팬들의 다운샘플링된 렌디션들을 생성한다).
다른 비-한정적인 실시예에서, 가중 평균의 가중치들이 그들의 합을 1과 같게 만들도록 정규화될 필요가 있을 때(예를 들면, 가중 평균들이 "유효하지 않은" 값들을 포함하는 동안, 및/또는 배치의 시작 또는 끝에 근접한 예측된 스팬들을 생성할 때), 인코더는 덧셈의 정규화(예를 들면, 동일한 상수를 모든 가중치들에 더하는) 대신 곱셈의 정규화(예를 들면, 모든 가중치들에 동일한 상수를 곱셈하는)를 적용한다.
다른 비-한정적인 실시예에서, 예측된 스팬들을 계산할 때, 인코더는 먼저 더 낮은 품질 레벨의 예측기 스팬들의 각각을 업샘플링하고, 그 다음 그것들을 움직임 보상하며, 그 다음 결과들을 결합한다. 다른 비-한정적인 실시예에서, 인코더는 먼저 각각의 스팬들을 움직임 보상하고, 그 다음 그것들을 결합하며, 마지막으로 결과들을 업샘플링한다. 다른 비-한정적인 실시예에서, 업샘플링 동작들은 움직임 보상 동작들과 함께 수행된다(즉, 업샘플링 프로세스 동안, 움직임 보상 동작들은 움직임 보상된 스팬들의 업샘플링된 렌디션들을 생성한다).
다른 비-한정적인 실시예에서, 업샘플링 동작들은 선형 필터들, 큐빅 필터들, 란초스(Lanczos) 필터들, 쌍방향 필터들, 가장 근접한 이웃 필터들을 포함하지만, 이에 한정되지 않는 세트 중에서 선택된다.
보다 광범위하게, 상이한 실시예들은 업샘플링 동작들에서 상이한 동작들 및 필터링을 이용한다. 업샘플링 동작들은 더 높은 LOQ의 신호의 스팬들의 엘리먼트의 설정들에 대한 예측을 생성한다. 비-한정적인 실시예들의 세트에서, 업샘플링(즉, 해상도를 증가시키는 동작) 이후, 필터링 동작의 추가 단계가 예측의 품질을 향상시키기 위해(예를 들면, 비-한정적인 예들에 의해, 다운샘플링 동안 매끄럽게 되었던 선명한 에지들을 향상시키거나, 다운샘플링 동안 블러링되었던(blurred) 세부사항들을 회복시키는) 수행된다(인코더 및 디코더 측 양자에서). 이러한 단계에 대한 비-한정적인 예시적인 실시예는 동일한 출원인들의 이전 특허 출원들에서 설명되고 "디블렌딩" 동작으로서 지칭된다. 다른 비-한정적인 예는 선명하지 않은 마스킹 동작을 레버리지하는 것이다. 다른 비-한정적인 실시예들에서, 업샘플링 동작들은 적합한 파라미터들에 의해 명시된 바와 같이, 또는 인코더 및 디코더 양자에 알려진 미리 결정된 디폴트 시퀀스에 따른 캐스케이드된 비-선형 동작들(예를 들면, 선형 필터들, 큐빅 필터들, 디블렌딩 필터들, 선명하지 않은 마스킹 필터들, 쌍방향 필터들, 프랙탈(fractal) 필터들, 가장 근접한 이웃 필터들 등을 포함하지만, 이에 한정되지 않는 목록 중에서 선택된 동작들의 적합한 시퀀스들)을 포함한다. 다른 비-한정적인 실시예에서, 인코더는 업샘플링 파라미터들을 디코더로 전송하고, 여기서 이와 같은 파라미터들은 사용될 특정 업샘플링 동작들에 대응한다.
다른 비-한정적인 실시예에서, 움직임 보상 동작들은 업샘플링 동작들과 함께 수행된다. 다른 비-한정적인 실시예들에서, 움직임 보상 동작들은 줌, 회전, 오프셋 및/또는 원근 변경과 같은 복잡한 움직임들을 처리하는 변환들을 포함하는 부동 소수점 동작들을 레버리지한다. 이와 같은 실시예들의 하나에서, 움직임 보상 동작들은 좌표들의 세트를 동종 좌표들로 변환하는 것, 적합한 매트릭스에 의한 상기 동종 좌표들의 동 소수점 곱셈을 수행하는 것, 및 동종 좌표들에서 결과의 벡터를 재정규화하는 것을 포함한다. 다른 비-한정적인 실시예에서, 더 낮은 품질 레벨의 상이한 스팬들을 더 높은 품질 레벨의 스팬으로 결합할 때, 인코더는 가중 평균 동작들을 통하여 그것들을 결합하고, 여기서, 가중치들은 선형 커널에 기반하여 샘플링 위치들의 거리에 의존한다. 다른 비-한정적인 실시예에서, 이와 같은 가중치들은 큐빅 커널에 기반하여 샘플링 위치들의 거리에 의존한다. 다른 비-한정적인 실시예들에서, 또 다른 커널들이 채택된다. 다른 비-한정적인 실시예에서, 상기 가중치들은 적어도 부분적으로 움직임 정보(상당한 움직임이 발생하였으면, 상이한 스팬에서 상관관계가 있는 정보의 양은 비교적 더 낮을 것이라는 사실을 설명하는)를 통하여 생성된다. 다른 비-한정적인 실시예에서, 상기 가중치 파라미터들은 적어도 부분적으로 스팬들의 각각의 특성들에 대응하는 파라미터들에 기초하여 생성된다(예를 들면, 비교적 초점이 벗어난 스팬들 등에 대하여 적합하게 설명하도록). 다른 비-한정적인 실시예에서, 상기 가중치들은 잔차 데이터의 엔트로피의 양을 감소시키기 위해 인코더에 의해 계산되고, 대응하는 설명 정보를 통하여 디코더로 전송된다.
다른 비-한정적인 실시예들에서, 더 높은 품질 레벨의 예측된 스팬을 생성하기 위해 처리되는 예측기들의 수는 임의적이고 설명 정보에 의해 디코더로 전송된다. 이와 같은 비-한정적인 실시예들 중 하나에서, 인코더는 예측기들의 수, 및 복원 데이터에 대한 적합한 정보 엔트로피 메트릭 및/또는 복원된 렌디션들에 대한 적합한 품질 메트릭을 최적화하는 목적을 갖는 반복 방법을 통하여 각각의 예측된 스팬들을 생성하기 위해 레버리지된 가중치 파라미터들을 최적화한다.
다른 비-한정적인 실시예에서, 처리되는 예측기들의 수에 대한 디폴트 값들은 주어진 LOQ까지의 선형 시간 필터링(즉, 하나 또는 둘의 예측기 스팬들) 및 주어진 LOQ에서 가장 높은 LOQ까지의 큐빅 시간 필터링(즉, 4개의 예측기 스팬들까지)을 포함한다. 다른 비-한정적인 실시예에서, 주어진 로트의 주어진 LOQ의 하나 또는 그 초과의 스팬들에 대하여, 더 낮은 LOQ의 예측기 스팬들은 주어진 로트 및 이웃하는 로트뿐만 아니라 이웃하는 로트 다음의 로트에도 속한다(즉, 주어진 스팬들에 대한 예측기들의 세트는 위에서 설명된 비-한정적인 실시예에서와 같이 두개로부터만 비롯되지 않고, 또한 3개의 로트들에서 비롯될 수 있다).
다른 비-한정적인 실시예들에서, 인코더는 적합한 싱크 마커들을 인코딩된 복원 데이터의 세트들에 할당하고, 신호 프로세서가 데이터 스트림 및/또는 특정한 시퀀스에서 인코딩된 복원 데이터의 특정한 세트들만을 포함하는 파일을 생성하게 하며, 특정 디코딩 시퀀스에서 특정 스팬들의 복원을 허용한다.
다른 비-한정적인 실시예들에서, 인코딩된 데이터를 생성할 때, 인코더는 하나 또는 그 초과의 싱크 마커들 이전에 패딩의 랜덤 비트들을 초래한다; 후속으로, 인코더는 헤더 정보 및/또는 싱크 마커 정보를 적합한 암호화 방법에 따라 암호화한다.
다른 비-한정적인 실시예들에서, 인코더는 LOQ들이 각각의 잔차들을 처리하고, 공간 차원에 따른 "방향성 압축해제" 방법들(실질적으로 동일 스팬에 대한 이웃하는 잔차들의 세트들을 그룹화하고, 그것들의 평균 값과 그것들의 예측된 평균값 사이의 차이에 대응하는 파라미터, 그것들의 수평 기울기에 대응하는 파라미터, 그것들의 수직 기울기에 대응하는 파라미터, 그것들의 대각선 기울기에 대응하는 파라미터를 인코딩하며, 적합한 양자화 방법들에 의한 각각의 파라미터를 양자화함으로써) 및/또는 시간 차원에 따른 "시간 압축해제" 방법들(본질적으로 더 낮은 LOQ의 동일한 스팬에 의해 제어되는 동일한 LOQ의 상이한 다음의 스팬들에 속하는 대응하는 잔차들의 세트들을 그룹화하고, 그것들의 평균에 대응하는 파라미터 및 시간 기울기들에 대응하는 파라미터들을 인코딩하는)에 따라 변환된 잔차들을 생성한다. 다른 비-한정적인 실시예들에서, 로트들의 각각에 대하여, 인코더는 LOQ들의 각각의 절대 잔차들을 처리하고, 지원 엘리먼트 잔차들의 세트들을 생성한다(주어진 로트의 주어진 LOQ에 대하여 "지원 평면"으로서 정의된 문헌들의 부족에 대하여); 인코더는 그 다음 절대 잔차들과 지원 엘리먼트 잔차들 사이의 차이에 대응하는 상대 잔차들의 세트들을 생성한다. 이는 도 3을 참조하여 더 상세하게 설명된다.
다른 비-한정적인 실시예들에서, 인코더는 잔차들의 변환 없이 절대 잔차들의 양자화 및 인코딩으로 진행한다.
다른 비-한정적인 실시예에서, 인코더는 잔차들의 각각의 세트에 특정한 양자화 방식들에 따라 잔차들을 양자화하고, 디코더로 사용되어야 하는 역양자화 방법들에 대응하는 설명 정보를 전송한다. 비-한정적인 실시예들에서, 이용할 수 있는 양자화 방식들은 상이한 데드 존(dead zone)들 및 일정한 양자화 스텝을 갖는 방식들(인코더가 데드 존 및/또는 양자화 스텝의 길이에 대응하는 파라미터들을 특정하기 위한), 상이한 데드 존들 및 가변 양자화 스텝들을 갖는 방식들(데드 존 및/또는 모든 양자화 스텝들을 계산하게 하는 함수에 대응하는 파라미터들을 특정하기 위한), 상이한 색 공간들에서 양자화를 갖는 방식들(예를 들면, 비-한정적인 예에 의해, 감마 공간과 같은 비-선형 공간들) 등을 포함하지만, 이에 한정되지 않는다. 다른 비-한정적인 실시예에서, 특정한 품질 레벨들(예를 들면,가장 높은 품질 레벨)에 대한 역양자화는 또한 양자화가 양자화 범위들에 따라 분배되기 전에 그 원시 잔차들을 더 잘 나타내도록 통계적인 복원 방법들(예를 들면, 디더링(dithering), 통계적 역양자화, 복원 및 일시적인 층의 결합 등)을 포함한다.
다른 비-한정적인 실시예들에서, 양자화 결정들이 글로벌 비트레이트 최적화의 면(배치 내의 로트 길이의 결정을 포함하는)에서 이전에-취해진 결정들에 영향을 미치기 때문에, 인코더는 본질적으로 글로벌 최적화를 달성하기 위해 루프들을 수행한다. 비-한정적인 실시예에서, 양자화 임계들의 변화들은 또한 잔차 계산 및 변환들(예를 들면, 지원 엘리먼트들/ 지원 체인들의 생성)에 영향을 미친다.
다른 비-한정적인 실시예들에서, 인코더는 상이한 세트들의 잔차들을 생성하고, 설명 파라미터를 각각의 세트에 할당하며, 상기 파라미터는 감지된 높은 품질로 신호의 렌디션을 복원하기 위해 대응하는 세트의 잔차들의 중요성의 레벨에 대응한다(예를 들면, 비-한정적인 실시예는 더 많은 수의 비트들 - 예를 들면, 더 섬세한 양자화 스텝들 -을 더 중요한 잔차들에 할당하고, 더 적은 수의 비트들 - 예를 들면, 더 거친 양자화 스텝들 -을 덜 중요한 잔차들에 할당한다).
다른 비-한정적인 실시예들에서, 잔차들은 상속-기반 방법들에 따라, 예를 들면, 더 낮은 품질 레벨의 잔차 데이터에 기반하여 그것들을 예측("상속")함으로써 인코딩되고, 더 낮은 LOQ의 적합한 잔차 정보에 의해 더 높은 LOQ의 제어된 잔차들의 "마무리(finalization)"(예를 들면, 인코더가 더 낮은 LOQ에서 모든 다음의 LOQ들의 신호의 그 일부에 대한 잔차 데이터가 0과 동일하게 될 것이라고, 즉, 예측들은 수정들을 전송할 필요 없이 충분하게 정확할 것이라고 정의하는 복원된 신호의 일부들)를 허용한다.
다른 비-한정적인 실시예들에서, 잔차들의 엔트로피 인코딩은 다음 방법들 중 적어도 하나를 포함하는 방법들의 결합을 레버리지한다 : 허프만(Huffman) 인코딩, 런(Run) 길이 인코딩, 산술 인코딩.
다른 비-한정적인 실시예들에서, 더 낮은 LOQ들의 신호 및/또는 싱크 마커 정보는 적합한 암호화 방법들에 의해 암호화된다. 이렇게 하여, 비교적 작은 부분의 데이터 스트림을 암호화/암호해제하기 위해 디코더에서 필요한 비교적 제한된 처리 전력에도 불구하고, 데이터 스트림의 특정 부분들과 신호의 특정 부분들 사이의 명백한 상관관계가 없기 때문에, 여전히 신호의 데이터 전송은 매우 안전하다. 다른 비-한정적인 실시예에서, 더 낮은 LOQ들은 심지어 매우 잡음 많은 통신 채널의 존재에서도 디코더가 적어도 낮은 품질 레벨의 신호의 렌디션을 적절하게 복원할 수 있을 것임을 보장하도록 적합한 리던던시 기법들을 레버리지함으로써 보호된다.
본 명세서에서 설명된 방법들은 또한 예를 들면, 화상 회의와 같은 낮은-레이턴시 환경에 적용될 수 있다. 비-한정적인 실시예에서, 인코더는 더 낮은 LOQ들의 스팬들에만 기반하여 더 낮은 샘플링 위치들(즉, 시간 상에서 이전)로 복원될 주어진 LOQ의 새로운 스팬들을 예측하는 스팬들의 "롤링(rolling) 계층"을 생성한다. 다른 비-한정적인 낮은-레이턴시 실시예에서, 주어진 스팬들에 대한 잔차들은 동일한 품질 레벨의 이전의 스팬들의 잔차들의 정보에 기반하여 변환된다.
디코더 실시예의 예시적인 설명
디코더로서 구성된 신호 프로세서(이하 "디코더")는 복원 데이터의 세트들을 수신하고 원시 신호의 렌디션을 복원한다.
언급했던 바와 같이, 인코더가 적합한 복원 데이터를 생성하기 위해 디코더 측에서 수행된 동작들을 시뮬레이션하기 때문에, 도 1e는 또한 중간 생성물들 및 디코더에 의해 생성되는 마지막 생성물들의 시퀀스를 예시한다.
티어드 계층 방법을 레버리지하는 디코더에 의해 수행된 복원 동작들의 시퀀스는 더 높은 LOQ들의 스팬의 예측을 생성하도록 레버리지되는 더 낮은 LOQ들의 예측기들의 수에 기반하여 몇몇 상이한 패턴들을 따를 수 있다.
본 명세서에서 설명된 비-한정적인 실시예에 대하여, 디코더는 전체 로트에 대한 인코딩된 데이터를 수신한다(즉, 복원 프로세스를 시작하기 위해 적어도 하나의 로트의 지연이 디코더 측에서 필요하다). 상기 인코딩된 데이터는 설명 정보에 대응하는 데이터 및 복원 데이터의 세트들에 대응하는 데이터를 포함한다.
디코더는 데이터 스트림을 수신/페치하고, 어떤 스팬들(잠재적으로 또한 수신된 로트가 그의 배치의 처음이 아니면, 이전의 로트로부터)이 이용가능한 인코딩된 데이터뿐만 아니라 디코딩 프로세스를 시작하기 위해 정확한(right) LOQ의 정확한 스팬에 의해 복원될 수 있는지를 식별하기 위해 싱크 마커 메타데이터를 서칭(searching)/파싱(parsing)함으로써 시작한다. 그 다음, 디코더는 로트의 가장 낮은 LOQ의 렌디션에 대응하는 정보를 생성하기 위해 엔트로피 디코딩을 수행한다.
가장 낮은 LOQ의 스팬들로부터 시작하여, 디코더는 복원 데이터를 생성하기 위해 인코더에서 시뮬레이션되었던 동일 동작들을 수행한다. 특히, 디코더 - LOQ별 -는 더 높은 LOQ에 대한 예측된 스팬들을 생성하기 위해 더 낮은 LOQ의 스팬들을 처리하고, 절대 잔차들의 렌디션들을 생성하도록 복원 데이터를 디코딩하며(수신된 변환된 잔차들을 역양자화 및 역변환), 마지막으로 예측된 스팬들과 대응하는 절대 잔차들을 결합하여 더 낮은 LOQ의 이용가능한 예측기 스팬들 및 이용가능한 인코딩된 데이터에 기반하여 복원될 수 있는 스팬들에 대한 렌디션들 Y를 복원한다. 위에서 설명했던 바와 같이, 주어진 로트의 스팬들에 대한 예측들은 또한 "디코딩 웨이브" 방법을 효과적으로 구현하는, 이웃하는 로트들의 예측기 스팬들을 레버리지할 수 있다.
수학적으로 :
Figure pct00014
특히, 인코더 실시예에 대하여 설명했던 것과 일관되게, 또한 디코더 실시예는 예측된 스팬의 샘플링 위치에 대하여 각각의 예측기 스팬을 움직임 보상함으로써 생성된 엘리먼트들의 평면들의 가중 평균의 업샘플링을 수행함으로써 예측들(U)을 생성한다. 인코더 실시예에 대하여 설명된 이와 같은 동작들(예를 들면, 가중치들의 정규화, "유효하지 않은" 디폴트 값 등)의 동일한 특이점들은 또한 디코더 실시예에 적용한다.
수학적으로, 스팬(102-6)의 비-한정적인 예시적인 경우에 대하여:
Figure pct00015
식에서 도시된 바와 같이, 위의 식들에서 도시된 바와 같이, 스팬(102-6)에 대한 예측이 또한 스팬(103-11)의 복원된 렌디션에 기반하기 때문에, 디코더는 예를 들면, 스팬(102-6)을 복원할 수 있기 전에 로트 2에 관한 인코딩된 데이터를 수신하기 위해 대기해야 한다.
일단 적합한 LOQ의 스팬들이 복원되면, 디코더는 디스플레이 디바이스에 표시하기 위한 데이터를 생성하고, 상기 데이터를 디스플레이 디바이스로 전송한다. 비-한정적인 실시예에서, 디코더가 가장 높은 LOQ보다 낮은 LOQ을 디스플레이할 필요가 있을 때, 각각의 스팬의 잠재적으로 상이한 기간들을 처리하기 위해, 그것은 그것의 픽쳐 수에 의해 나타낸 시간 위치에서 시작하여 각각의 스팬에 대하여 그의 지속 기간만큼 많은 복사들(replicas)을 생성함으로써 원시(즉, 가장 높은 LOQ)와 동일한 샘플 레이트를 갖는 신호를 생성한다.
비-한정적인 실시예에서, 디코더는 각각의 품질 레벨에 존재하는 스팬들의 ID 숫자들, 각각의 스팬의 지속 기간, 각각의 예측을 생성하기 위해 사용될 더 낮은 품질 레벨의 예측기 스팬(들)의 ID 숫자들, 및 각각의 예측을 생성하기 위해 수행된 동작들 동안 사용될 파라미터들을 포함하는 로트의 구조에 관한 설명 정보를 수신한다. 다른 비-한정적인 실시예에서, 더 낮은 품질 레벨의 하나 또는 그 초과의 예측기 스팬들 - 상기 스팬은 주어진 로트의 더 높은 품질 레벨로 주어진 스팬에 대한 예측을 생성하도록 처리됨 -은 또한 이웃하는 로트에 속할 수 있다.
비-한정적인 실시예에서, 디코더는 예를 들면, 수신되었던(예를 들면, 대역폭 혼잡들에 기인한) 인코딩된 데이터 및/또는 실시간 디코딩 제약들 및/또는 다른 제약들(예를 들면, 처리 전력 소비의 최소화, 전력 소비의 최소화, 병합된 대역폭의 최소화, 재생 속도의 최대화 등)에 따라 상이한 스팬들에 대한 상이한 LOQ들의 디코딩 동작들을 중지할 수 있다.
다른 비-한정적인 실시예에서, 적합한 파라미터들 및/또는 사용자 인터페이스 명령들에 기반하여, 디코더는 줌 기능을 효과적으로 구현하는 각각의 스팬의 선택된 부분들만을 디코딩할 수 있다. 비-한정적인 실시예에서, 주어진 LOQ에 대한 잔차 데이터의 세트들은 그룹화들로("타일들") 분할되고, 타일들의 각각은 주어진 LOQ의 신호의 주어진 일부(예를 들면, 공간 일부)를 복원하기 위해 실질적으로 디코더에 의해 처리된 잔차 데이터에 대응한다. 상향의 품질 레벨로부터, 디코더는 하나 또는 그 초과의 스팬들의 시퀀스에 대한 특정 타일들만을 수신하고, 그 결과, 주어진 품질 레벨로 상기 스팬들의 특정 공간 일부들만을 복원하며, 신호의 공간 일부만을 디스플레이 디바이스로 전송한다. 복원 동작들(예를 들면, 예측 동작들 등)은 복원된 일부들의 경계들을 넘어서 더 낮은 LOQ의 신호의 엘리먼트들을 여전히 레버리지하고 있다는 것이 주목되어야 한다. 다시 말하면, 이와 같은 비-한정적인 실시예들에서, 디코더는 주어진 LOQ로 전체 신호를 복원하기 위해 필요할 잔차들의 복원된 세트들의 특정 공간 일부들("타일들")에만 대응하는 복원 데이터를 수신한다. 그 결과, 디코더는 잔차들의 복원된 세트들의 일부들의 시퀀스만을 복원하고, 따라서, 신호의 일부에 대해서만 주어진 LOQ로 신호의 렌디션을 복원한다.
실시예에서, 높은 해상도 신호가 티어 기반 방법에 따라 저장된다. 비교적 낮은 디스플레이 해상도를 갖는 디스플레이 디바이스에 연결된 디코더는 신호 프로세서에 신호의 렌디션을 요청하고, 디코더가 제 1 품질 레벨까지 신호를 복원하게 하는 인코딩된 데이터로 구성된 데이터 스트림을 수신하며, 상기 제 1 품질 레벨은 신호에 대한 가장 높은 이용가능한 품질 레벨보다 낮다. 입력(예를 들면, 사용자 인터페이스 입력)에 대응하여, 디코더는 신호 프로세서로 신호의 특정 공간 일부의 더 높은 품질 렌디션을 요청한다. 디코더는 디코더가 제 2 품질 레벨에 따라 신호의 특정 공간 일부("타일")만을 복원하게 하는 인코딩된 데이터로 구성된 데이터 스트림을 수신하고, 여기서, 상기 제 2 품질 레벨은 제 1 품질 레벨보다 높다. 이렇게 하여, 디코더는 실질적으로 디스플레이될 신호의 일부들만을 수신하고 디코딩하는(따라서 소비된 대역폭 및 신호를 디코딩하기 위해 필요한 처리 전력을 최소화하는) 효율적인 줌 기능들을 구현한다.
추가의 비-한정적인 예시적인 실시예들
도 1e의 예시적인 실시예에 대하여 예시된 디코딩 동작들뿐만 아니라 사용되는 특정 동작들의 시퀀스는 비한정으로서 의도되어야 함을 다시 강조하기 원한다. 당업자는 인코더 실시예에 관한 비-한정적인 변형들을 설명할 때 예시된 상이한 예시적인 실시예들의 모두가 디코더 실시예에 간한 변형들에 직접 대응한다는 것을 이해할 것이다.
마지막으로, 도 1e에 예시된 비-한정적인 실시예들은 비디오 신호들의 예시적인 경우에 초점을 두었지만, 동일한 접근법들은 매우 상이한 도메인들뿐만 아니라 매우 상이한 유형들의 신호들에 용이하게 적용가능하다. 특히, 본 명세서에서 예시된 방법들은 임의의 유형의 다-차원 신호들(사운드 신호들, 다채널 사운드 신호들, 픽쳐들, 2-차원 이미지들, 비디오 신호들, 다-시점 비디오 신호들, 3D 비디오 신호들, 플레놉틱 신호들, 다중-스펙트럼 신호들, 입체 신호들, 입체 비디오 신호들, 의료 이미징 신호들, 4차원 이상을 갖는 신호들 등, 그러나, 이에 한정되지 않음)에 적합하다.
예를 들면, 비-한정적인 실시예는 티어드 계층 방법에 따라 3D 비디오 신호들을 인코딩 및 디코딩하고, 여기서, 인코더는 2개의 비디오 채널들에 대한 대응하는 티어드 계층을 생성한다. 2개의 비디오 채널들의 대응하는 스팬들에 대한 움직임에 관한 설명 정보의 세트들은 또한 지원 엘리먼트 데이터에 따라 인코딩되고, 2개의 비디오 채널들의 대응하는 스팬들에 대한 잔차 데이터는 지원 엘리먼트 잔차 데이터의 세트(본질적으로 "지원 평면" 방법을 또한 채널들에 걸쳐 적용하고, 적합한 설명 정보에 따라 2개의 채널들에 걸쳐 지원 엘리먼트 잔차 데이터를 움직임 보상하는)에 따라 인코딩된다.
다른 비-한정적인 실시예는 티어드 계층 방법에 따라 다채널 오디오 신호들을 인코딩 및 디코딩하고, 여기서, 채널들의 각각에 대한 스팬들은 엘리먼트들의 세트들(비-한정적인 실시예에서, 스팬에 대한 평균 진폭 값 및 평균 피치 값)로서 나타내고, 상이한 오디오 채널들의 대응하는 스팬들에 대한 잔차 데이터는 지원 엘리먼트 잔차 데이터의 세트에 따라 인코딩되며, 적합한 설명 정보(따라서 상이한 채널들에서 동일한 사운드의 상이한 시간 위치들을 설명하는 - 근본적으로 사운드 소스 대 마이크로폰의 3D 위치에 기반하여)에 따라 지원 엘리먼트 잔차 데이터를 오디오 채널들에 걸쳐 "움직임 보상"(즉, 상관관계가 있는 스팬들의 재편성에 본질적으로 대응하는 동작들을 적용하는)한다.
다른 비-한정적인 실시예는 방대한 입체 데이터를 인코딩 및 디코딩하고, 비디오 신호들의 시간 차원(예를 들면, 로트들로의 분할, 디코딩 웨이브, 잔차 데이터의 타일들, 지원 평면들 등)에 대하여 예시했던 동일한 방법들을 신호의 차원들 중 하나 또는 그 초과에 적용한다.
다른 비-한정적인 실시예들은 입체 비디오를 인코딩 및 디코딩하고, 2-차원 스팬들의 시퀀스에 대하여 설명했던 동일한 방법을 3-차원 스팬들의 시퀀스들에 적용한다.
다른 비-한정적인 실시예들은 본 명세서에서 설명된 방법들을 또한 비-시간-기반 신호들에 적용한다. 비-시간-기반 입력 신호들에 관하여 동작하는 비-한정적인 예시적인 실시예에서, 2-차원 슬라이스들의 시퀀스(예를 들면, CAT-스캔으로부터 비롯하는)는 인코더에 의해 처리되고, 인코더는 신호의 입체 계층적 렌디션을 복원 및 인코딩한다.
지금까지 설명한 티어드 계층 방법들은 그 자체로는 손실이 없거나 손실이 있다. 비-한정적인 예시적인 실시예들은 디지털 신호들을 효율적으로 인코딩, 전송 및 디코딩하기 위해 사용될 수 있다. 다른 비-한정적인 실시예들에서, 그러나, 인코더의 목적들은 압축 효율과 상이하고, 다중스케일 디코딩, 적응적 스트리밍, 잡음 제거(denoising), 신호 개선, 아티팩트 감소, 디-인터레이싱(de-interlacing), 해상도 증가("슈퍼-해상도"), 렌디션의 품질의 측정, 콘텐츠 식별, 머신 비젼, 신호 암호화(예를 들면, 보안 통신들) 등과 같은 신호 처리 목적들을 포함하지만, 이에 한정되지 않는다. 예를 들면, 합동의 공간-시간 계층적 접근법은 시간-관련된 현상들에 비롯한 성가신 아티팩트들의 대부분(잡음, 필름 그레인(film grain), 장면의 실제 과도 정보 - 대단히 엔트로픽하지만 사람 관찰자에게 상대적으로 중요하지 않을 수 있는 - 등을 포함하는 "과도 정보")을 신호의 코어 컴포넌트들로부터 분리할 수 있다. 또한, 링잉 아티팩트들 및 검정 아티팩트들은 본 명세서에서 설명된 방법들을 레버리지하는 비-한정적인 실시예들에 의해 식별되어 제거될 수 있다(또한 코어 신호로부터 분리될 수 있다). 비-한정적인 실시예에서, 적합한 품질 레벨로 복원된 Y는 특정 구성들에서, 또한 적합한 메타데이터(예를 들면, 과도 정보의 파라미터들 통계적 속성들)와 함께 다른 방법들로 더 인코딩된다.
도 1f는 도 1e에서 설명된 인코더 실시예를 더 예시하는 예시적인 다이어그램이다.
인코더를 구현하는 신호 프로세서는 LOQ #0의 N개의 스팬들의 시퀀스(100(X0)을 수신한다. 도 1a의 배치 1의 특정 예시적인 경우에서, 인코더는 13개의 스팬들(100-1, 100-2, 100-3,..., 100-13)의 시퀀스를 수신한다.
인코더는 또한 신호의 스팬들에 걸친 객체들의 움직임에 관한 설명 정보(읽기 쉬움을 유지하기 위해 도면에서 예시되지 않은; 이런 실시예어서, 움직임에 관한 상기 설명 정보는 잔차 계산기 블록들 이외의 블록들의 모두에 의해 수신되고 처리된다)를 수신한다.
다운샘플러(150)는 시퀀스(100)를 다운샘플링하고, LOQ #-1로 시퀀스(101(X-1))을 생성한다. 수학적으로, 다시
Figure pct00016
를 LOQ K, 로트 L 및 샘플링 위치 t의 스팬으로 지칭하자. 비-한정적인 실시예에서, 스팬들의 각각(101-t)은 더 높은 품질 레벨의 다수의 대응하는 스팬들의 결합을 다운샘플링함으로써 획득된다. 더 구체적으로, 더 높은 품질 레벨의 스팬들은 그것들의 움직임-보상된 렌디션들의 가중 평균을 수행함으로써 결합되고, 역서, 움직임 보상은 더 낮은 품질 레벨의 결과의 스팬의 샘플링 위치에 기반하여(즉, 관련하여) 수행된다. 예를 들면 :
Figure pct00017
이와 같은 다운샘플링 프로세스는 가장 낮은 품질 레벨(LOQ #B)의 스팬(들)(100+B)이 생성될 때까지 인코더에 의해 반복된다.
일단 인코더가 가장 낮은 LOQ #B로 렌디션(XB)을 생성했으면, 인코더는 디코더가 티어드 계층의 적합한 렌디션들(
Figure pct00018
)을 복원하게 할 수 있는 인코딩된 데이터의 생성을 시작하고, 여기서,
Figure pct00019
은 각각의 스팬의 복원된 렌디션(
Figure pct00020
)이다. 프로세스의 다운샘플링 단계 동안, 인코더는 신호 로트(예를 들면, 로트 1)의 LOQ #0의 스팬들의 시퀀스만을 처리함으로써 동작할 수 있지만, "시뮬레이션된 디코딩 및 복원 데이터 계산" 단계 동안, 인코더는 예측들을 생성하기 위해 필요한 데이터의 모두, 결과적으로 또한 다음의 로트에 속하는 데이터를 요구한다. 이론상 이것이 긴 인코딩 지연들 및/또는 계산 복잡도를 생성할 수 있기 때문에, 예시된 비-한정적인 실시예는 이웃하는 로트들로부터 바로 다음 로트만으로의 예측기들을 가질 가능성을 제한한다. 이렇게 하여, 신호의 로트 1을 성공적으로 인코딩하기 위해, 인코더는 "단지" 로트 1 및 로트 2에 대한 LOQ #0의 스팬들의 원시 시퀀스를 수신하는 것만 필요하다.
가장 낮은 레벨의 하나 또는 그 초과의 스팬들에 대하여, 그리고 이것들에 대해서만, 인코더는 U=0을 가정한 잔차 계산기(120+B)를 통하여 잔차를 직접 계산하고, 복원 데이터(180+B)를 생성한다.
인코더는 그 다음 디코더 측에서 수행될 디코딩 동작들을 시뮬레이션된 디코더(190+B)를 통하여 시뮬레이션하고, 렌디션(1000+B(YB))을 생성한다.
이는 수학적으로 다음과 같이 표현된다:
Figure pct00021
여기서 h()는 XB에 관하여 인코더에 의해 수행된 연산들 Tr()을 "반전"하는(적어도 가능한 정도로) 함수이다(예를 들면, 비-한정적인 예로서, 양자화가 따르는 분해 변환). 렌디션(YB)의 적합성(적합한 품질 메트릭에 따라) 및 복원 데이터(180+B)의 정보 엔트로피(적합한 정보 엔트로피 메트릭에 따라)에 기반하여, 인코더는 다음 품질 레벨로 진행할지 또는 복원 데이터(180+B)의 생성을 상이한 연산들 및 파라미터들에 따라 반복할지의 여부를 결정한다.
계층에서 다음의(더 높은) 품질 레벨들의 스팬들에 대하여, 각각의 스팬들에 대하여 인코더는 (시뮬레이션된 디코더들(190+B, ..., 191, 190)을 통하여) 예측들(U)을 생성한다. 특히, 시뮬레이션된 디코더 블록들은 적합한 업샘플링 동작들을 수행하고 "예측기들"로서 더 낮은 품질 레벨의 하나 또는 그 초과의 스팬들을 레버리지한다.
예측 동작들을 시뮬레이션함으로써, 인코더는 그 다음에 예측들을 수정하고 신호의 적합한 렌디션을 복원하기 위해 디코더에 의해 필요할 잔차 데이터를 생성할 수 있다. 예를 들면, 렌디션(101(X-1))을 예측(111(U-1))과 비교함으로써, 잔차 계산기(121)는 절대 잔차들(131(R-1))을 생성한다. 절대 잔차들(131)은 잔차 데이터(181)를 계산하는 복원 데이터의 생성기(171)에 의해 더 처리된다. 시뮬레이션된 디코더(191)는 복원 데이터(181)를 처리하고, 렌디션(1001(Y-1))을 생성한다. 다시 품질 메트릭에 따른 렌디션(1001)의 적합성에 기반하여 그리고 정보 엔트로피 메트릭에 따른 복원 데이터(181)의 정보 엔트로피의 적합성에 기반하여, 디코더는 다음(더 높은) 품질 레벨로 진행하여 예측들(110(U0))을 계산할지, 또는 상이한 동작들 및 파라미터들에 따라 복원 데이터(181)의 생성을 반복할지의 여부를 결정한다.
복원 데이터의 모두가 생성되었을 때, 인코더는 엔트로피 인코딩 단계로 진행하여 인코딩된 데이터의 세트들 및 적합한 메타데이터(예를 들면, 헤더들, 싱크 마커들 등)를 생성한다.
도 1g는 도 1e에서 설명된 디코더 실시예를 더 예시하는 예시적인 다이어그램이다.
디코더로서 구성된 신호 프로세서는 가장 높은 품질 레벨로 스팬들(1000)의 세트의 복원을 허용하는 복원 데이터 및 설명 정보를 수신한다. 다시, 읽기 쉬움을 용이하게 하기 위해, 도면들은 움직임에 관한 수신된 설명 정보를 명확하게 도시하지 않고, 이런 설명 정보는 이런 비-한정적인 실시예에서, 복원기 블록들(1090, 1091,...,1090+B)을 제외하고 모든 블록들에 의해 수신되고 처리된다. 가장 낮은 품질 레벨로부터 시작하고 LOQ별로 진행하여, 디코더는 복원 데이터를 생성하기 위해 인코더에 의해 시뮬레이션되었던 동일 동작들을 수행한다. 특히, 디코더는 복원 데이터(180+B)(즉, 가장 낮은 레벨에 대한 복원 데이터)를 잔차 디코더(1020+B)를 통하여 처리하여, 추정된 잔차들(1030+B)을 생성한다. 상기 추정된 잔차들(1030+B)은 디폴트 예측(110+B(UB=0))과 결합되어, 가장 낮은 품질 레벨로 하나 또는 그 초과의 스팬들(1000+B(YB))을 생성한다. 렌디션(1000+B(YB))은 그 다음 예측의 계산기(1010+B)에 의해 처리되어, 예측(110+B+1(UB+1))을 생성한다. 디코더는 그 다음 - 이용가능한 데이터에 기반하여 복원될 수 있는 가장 높은 품질 레벨의 스팬들까지 LOQ별로 - 더 높은 LOQ의 예측된 스팬들을 생성하는 프로세스에서, 절대 잔차들의 렌디션을 생성하도록 복원 데이터의 디코딩, 예측된 스팬들 및 대응하는 절대 잔차들의 결합, 따라서 더 높은 품질 레벨로 렌디션들(Y)의 복원을 진행한다.
다른 비-한정적인 실시예들에서, 특정 환경들(예를 들면, 디코딩 레이턴시, 이용가능한 디코딩 메모리 등)에 대처하기 위해, 디코더는 복원 프로세스를 LOQ별로 수행하는 대신, 그것이 필요한 인코딩된 데이터를 수신하자마자 그리고 그것이 주어진 스팬에 대한 예측을 생성하기 위해 필요한 더 낮은 품질 레벨의 스팬들의 복원을 완료하자마자 더 높은 품질 레벨의 주어진 스팬을 복원한다. 이렇게 하여, "티어별(tire by tire)"로 진행하는 대신, 복원 프로세스는 다양한 품질 레벨들에 걸쳐 위 아래로 이동하게 유지한다.
비-한정적인 실시예에서, 잔차 디코더들(1020+B, 1021, 1020)은 또한 잔차들에 대한 적합한 지원 정보("지원 평면들")를 디코딩함으로써 추정된 절대 잔차들(1030+B,...,1031, 1030)을 생성하고, 여기서, 동일 지원 평면은 주어진 LOQ의 다수의 스팬들에 대한 절대 잔차들을 생성하기 위해 레버리지된다. 다른 비-한정적인 실시예들에서, 절대 잔차들은 또한 역 분해 변환들(예를 들면, 역방향 분해 및/또는 역 시간 분해를 포함하지만, 이에 한정되지 않는)을 적용함으로써 계산된다.
다른 비-한정적인 실시예들에서, 디코더는 적어도 부분적으로 사용되어야 하는 역양자화 방법들에 대응하는 수신된 설명 정보에 기반하여 잔차들의 각각의 세트에 특정한 양자화 방식들에 따른 잔차들을 역양자화한다. 비-한정적인 실시예에서, 이용가능한 역양자화 방식들은 상이한 데드 존들 및 일정한 양자화 스텝을 갖는 방식들(인코더가 데드 존 및/또는 양자화 스텝의 길이에 대응하는 파라미터들을 특정하기 위한), 상이한 데드 존들 및 가변 양자화 스텝들을 갖는 방식들(인코더가 데드 존 및/또는 모든 양자화 스텝들을 계산하도록 허용하는 함수에 대응하는 파라미터들을 특정하기 위한), 상이한 색 공간들에서 양자화를 갖는 방식들(예를 들면, 비-한정적인 예로서, 감마 공간과 같은 비-선형 공간들)을 포함하지만, 이에 한정되지 않는다. 다른 비-한정적인 실시예들에서, 특정 품질 레벨들(예를 들면, 가장 높은 품질 레벨)에 대한 잔차들의 역양자화는 양자화가 양자화 범위들에 따라 분포되기 전에 그 원시 잔차들을 더 잘 나타내도록 통계적 복원 방법들(예를 들면, 디더링, 통계적 역양자화, 복원 및 일시 층의 결합 등)을 또한 포함한다.
비-한정적인 실시예에서, 디코더는 그것이 어떤 스팬들이 주어진 이용가능한 복원 데이터가 생성될 수 있는지를 계산하게 하는 계층의 구조에 대응하는 설명 정보(예를 들면, 각각의 LOQ의 각각의 스팬의 특성들 등)를 수신한다.
비-한정적인 실시예에서, 예측의 계산기들(1010+B,...., 1011 및 1010)은 주어진 스팬에 대한 예측기 스팬을 선택하고, 업샘플링 동작들을 인코더 및 디코더 양자에 알려진 디폴트 파라미터들에 따라 적용한다. 비-한정적인 실시예에서, 디폴트 업샘플링 동작들은 주어진 LOQ까지의 선형 필터링 및 가장 높은 LOQ들에 대한 큐빅 필터링을 포함하지만, 이에 한정되지 않는다. 다른 비-한정적인 실시예에서, 디코더는 업샘플링 동작들 동안 사용하기 위해 동작들 및 파라미터들에 대응하는 설명 정보(예를 들면, 업샘플링 커널들, 이미지 처리 동작들에 대한 파라미터들 등, 그러나 이에 한정되지 않음)를 수신하다.
도 1h는 예측 계산 방법의 비-한정적인 실시예를 더 예시하는 예시적인 다이어그램이다. 예측의 계산기(1010+K)는 로트들(L1,..., Ln)에 속하는 예측기 스팬들의 렌디션들(YK(t1), ...,YK(tn))을 수신한다. 예측의 계산기(1010+K)는 또한 각각의 예측기 스팬에 대한 움직임에 관한 정보뿐만 아니라 샘플링 위치들을 수신한다.
움직임 보상기들(10010-1,..., 10010-n)은 샘플링 위치(t0)에 대한 움직임 보상 동작들을 수행함으로써 움직임 보상된 렌디션들(MC(YK))의 세트를 생성한다. 마지막으로, 예측 생성기(10020)는 예측기 스팬들의 움직임 보상된 렌디션들을 결합하여 더 높은 품질 레벨로 업샘플링된 예측(UK +1(t0))을 생성한다.
다른 비-한정적인 실시예들에서, 업샘플링 동작들은 움직임 보상 동작들과 함께 수행되고, 그래서, 예측 생성기(10020)는 품질 레벨(K+1)로 업샘플링된 움직임 보상된 렌디션들을 결합한다. 또 다른 비-한정적인 실시예들에서, 예측기 스팬들의 렌디션들(YK(t1),..., YK(tn))은 움직임 보상되기 이전에 공간 차원들을 따라 업샘플링된다.
도 2a, 도 2b, 도 2c 및 도 2d는 엘리먼트들의 2개의 이중차원 평면들의 결합(즉, 도 1b, 도 1c, 및 도 1d에서 예시된 것에 따라, 어그리게이션 또는 다운블렌딩 중 어느 하나)을 구현하는 상이한 비-한정적인 실시예들을 예시하는 예시적인 다이어그램들이다. 간략화를 위해, 4개의 도면들의 모두는 그것들이 더 높은 LOQ의 2개의 스팬들(100-1 및 100-2)을 더 낮은 LOQ의 단일 스팬으로 다운블렌딩하는 것을 도시한다는 사실에도 불구하고 단지 시간 도메인에서의 다운샘플링을 시각적으로 예시한다. 다운블렌딩에 대하여 예시된 동일 고려사항들은, 그러나 또한 동일 LOQ 내의 어그리게이션에 대하여 유효하다.
LOQ #-1의 다운샘플링된 스팬(예를 들면, 101-1)을 생성하도록 스팬(100-1 및 100-2)을 다운블렌딩하는 예시적인 경우에 초점을 맞춘 4개의 도면들은 또한 상이한 움직임 보상 접근법(및 특히, 또한 문헌의 부재에 대하여, "비-대칭 평형된 움직임 보상"으로서 정의하는 신규한 방법들)을 적용하는 효과를 예시한다. 수학적으로, 3개의 예시적인 실시예들의 모두는 상이한 움직임 보상 동작들과 함께이긴 하지만 다음 식을 적용한다:
Figure pct00022
움직임 보상 동작들은 다운블렌딩된 스팬의 샘플링 위치에 대하여 수행된다. 움직임에 관한 설명 정보가 적합한 형태(예를 들면, 움직임 존들 및 움직임 매트릭스들로의 부동 소수점 움직임 보상의 신규한 방법들)로 인코딩되면, 상이한 샘플링 위치들에 대한 움직임 보상 동작들은 매우 효율적인 방식으로 표현되고 계산될 수 있다.
본 명세서에서 설명된 비-한정적인 실시예들의 세트에서, 움직임에 관한 설명 정보가 할당되는 신호의 부분들에 대하여, 움직임은 다수의 파라미터들로 추정되고, "평형된 움직임"(또는 "양방향 움직임")으로 계산된다 : 본질적으로, 다른 스팬에 대한 하나의 스팬으로부터의 움직임들을 특정하는 대신, 그것은 양방향 디코딩을 가능하게 하기 위해 공통의 기준 위치에 대하여 양자의 스팬들로부터의 움직임을 특정한다. 이와 같은 실시예들의 일부는 하나 또는 그 초과의 움직임 매트릭스들을 이용함으로써 움직임을 나타낸다(예를 들면, 병진 운동들, 즉, 오프셋들만을 나타내는 움직임 벡터들을 이용하는 종래의 방법들과는 대조적으로). 움직임 매트릭스들의 이용(즉, 특정 움직임을 나타내기 위해 2개의 파라미터들보다 많이 인코딩하는)은 이와 같은 비-한정적인 방법들의 신규성 및 중요한 특성이고, 줌, 회전들, 원근 변화들 등과 같은 더 정교한 움직임들의 추정 및 보상을 가능하게 한다. 움직임 매트릭스는 병진 운동이 충분히 고려되는(예를 들면, 알려진 샘플링 제한들 또는 복잡성 제한들에 기인하여) 실시예들에서 때때로 간단한 오프셋 벡터로 축약된다. 다른 비-한정적인 실시예들에서, 움직임은 움직임 보상된 좌표들이 동종 좌표들 방법들을 이용함으로써 계산되면서, 아핀(affine) 변환들에 대응하는 하나 또는 그 초과의 움직임 매트릭스들로 나타낸다. 움직임 매트릭스들의 각각은 신호의 특정하고 임의적으로 정의된 부분에 할당되고, 이는 "움직임 존"으로 정의한다. 다른 비-한정적인 실시예들에서, 움직임 매트릭스들은 훨씬 더 복잡한 세트들의 움직임들의 설명을 가능하게 하는 더 포괄적인 원근 변환들에 대응한다.
움직임 매트릭스들(및 그것들을 이용하는 실시예들에 대하여, 움직임 존들)은 디코더로 전송되고, 몇몇 장점들을 갖는다: 예를 들면, 그것들은 반전되고, 다수의 샘플링 위치들에 걸친 동일 움직임 존의 움직임은 각각의 시간 스텝에 대응하는 움직임 매트릭스들을 적절하게 결합(예를 들면, 곱셈)함으로써 계산될 수 있다. 그렇긴 해도, 움직임 매트릭스들 및 움직임 존들은 많은 움직임 추정 및 보상의 비-한정적인 실시예들 중 단지 하나이고, 본 명세서에서 설명된 방법들은 실질적으로 임의의 유형의 움직임 추정 및 보상 방법과 함께 기능할 수 있다.
도 2a는 움직임 보상을 적용하지 않고(또는, 동등하게, 일정한 아이덴티티 함수에 의해 움직임 보상하는), 그 결과 또한 "프레이밍"을 적용하지 않는 효과를 예시한다.
t=1에서 샘플링된 스팬(100-1) 및 t=2에서 샘플링된 스팬(100-2)은 t=(1+2)/2 = 1.5에서 샘플링된 스팬(101-1.5)으로 병합된다. 다운블렌딩된 스팬(101-1.5)의 샘플링 위치가 스팬들(100-1 및 100-2)의 원시 샘플링 위치들의 평균이라는 사실은 예시로부터 명백하다. 채워진 원형 객체(201-0)는 이미지의 하부 좌측(스팬(100-1), 샘플링 위치 1)으로부터 이미지의 상부 우측(스팬(100-2)의 객체(202-0), 샘플링 위치 2)로 이동하고 있다. 스팬들(100-1 및 100-2)의 2의 계수에 의한 선형 다운샘플링(예를 들면, 삼중선형 다운블렌딩)은 스팬(101-1.5)을 생성하고, 여기서, 수평 및 수직 차원들은 반으로 줄고, 채워진 원형 객체는 부분적으로 투명하게 나타나고 양자의 스팬 위치들에서 알아볼 수 있다: 본질적으로, 이런 스팬을 봄으로써, 관찰자는 본질적으로 2개의 극단들 사이에서 위치되고 있는(시간적 관점으로부터) 샘플링 위치 1 및 2 사이의 객체의 전체 움직임을 보고 있다. 이런 간단한 3-차원(즉, 공간-시간) 다운샘플링 접근법은 비-한정적인 실시예에서 그리고 복원된 렌디션들에서 움직임 블러링의 정도가 허용될 수 있는 상황에서 사용되고, 여기서, 보이는 객체들의 속도는 미리 결정정된 임계의 아래이다(즉, 시간 상관관계는 극히 높다). 비-한정적인 실제적인 예는 매우 높은 해상도 및 초당 1,000프레임들의 느리게 움직이는 장면 촬영(shot)의 비디오이다.
다른 실시예들에서, 움직임 추정 및 보상은 N-차원 다운샘플링을 수행하기 위해 유용하다.
움직임 보상이 수행될 때, 공간 다운샘플링 및 시간 다운샘플링("블렌딩")은 몇몇 가능한 조합들로 개별적으로 또는 공동으로 수행될 수 있다. 비-한정적인 예시적인 실시예에서, 스팬들은 움직임 보상되고, 그 다음 3-차원 다운샘플링이 적용된다. 다른 비-한정적인 실시예에서, 공간 다운샘플링이 수행되고, 이어서 움직임 보상 및 마지막으로 시간 다운샘플링이 수행된다. 다른 비-한정적인 실시예에서, 공간 다운샘플링은 움직임 보상, 이어서 시간 다운샘플링과 결합된다.
도 2b는 평형 움직임 보상의 비-한정적인 예를 예시하는 예시적인 다이어그램이다.
비-한정적인 예시적인 실시예는 객체들의 움직임을 결정하고, 2개의 원시 스팬들의 샘플링 위치들에 대하여 중간의 스팬 시간에서의 그것들의 위치를 추정한다. 대칭을 유지하기 위해, 움직임 보상은 시간 다운샘플링 동작과 함께 그것들을 "병합"하기 전에, 대단히 상관관계가 있는 중간의 위치에서 2개의 스팬들(본질적으로 2개의 원시 스팬들의 위치 1 및 위치 2에 대하여 중간 위치 - 즉, 샘플링 위치 1.5 - 에 있는 샘플링 위치에 대응하는)을 재위치시키도록 평형 방식으로 수행된다.
이런 간단한 경우에서, 객체는 간단한 병진 운동(즉, 오프셋)으로 움직이고 있다. 다른 벡터가 "보완(complement) 벡터"로서 계산되기 때문에, 2개의 움직임 보상 동작들에서 사용될 객체에 대한 움직임에 관한 설명 정보는 따라서 단일 벡터를 특징으로 한다.
이와 같은 평형 접근법의 이득은 기준 이미지 및/또는 움직임들에 대한 우선권이 있는 방향의 임의의 선택을 방지하는 것이다. 이렇게 하여 구성된 움직임 정보는 어느 쪽이든 시간 방향에서 재생이 움직이는 객체의 움직임을 추정하기 위해 사용될 수 있고, 본질적으로 양방향 재생(움직임 추정 및 보상에 기반한 인코딩 기법들에 의해 지금까지 결코 제공되지 않은 특징)을 할 수 있다.
움직임 보상 동작들을 적합하게 수행하기 위해, 다운샘플링된 스팬(101-1.5bis)이 디스플레이되어야 하면, 디스플레이 디바이스로 전성될 이미지에 대응하는 엘리먼트들의 목적지 평면(201-1.5bis)이 생성된다. 동시에, 목적지 평면의 바깥에 있음에도 불구하고, 스팬들(100-1 및 100-2)에 대한 예측들을 생성하기 위해서뿐만 아니라, 추가적인 다운샘플링 동작들 동안 유용할 수 있는(특히 추가 및/또는 역 움직임 보상 동작들 후에)엘리먼트들을 또한 포함하기 위해, 스팬(101-1.5bis)이 단지 목적지 평면(201-1.5bis)보다 큰 엘리먼트들의 평면의 할당으로부터 이익을 얻는다는 것은 도 2b로부터 자명하다.
문헌의 부재에 기인하여, 목적지 평면(201-1.5bis)에 대하여 스팬(101-1.5bis)의 추가적인 열들 및 행들을 정의하기 위해 새로운 용어 "프레이밍"을 생성했다.
스팬(101-1.5bis)은 따라서 평면들(220-1(그것의 시프트된 위치에서 스팬(100-1)을 나타내는) 및 220-2(그것의 시프트된 위치에서 스팬(100-2)을 나타내는))의 결합이다. 도 2b로부터 명백한 바와 같이, 스팬(101-1.5bis)은 매우 상이한 레벨들의 중요성을 갖는 평면 엘리먼트들을 포함한다. 영역들(220-1 및 220-2)에 속하는 엘리먼트들은 관련된 정보를 포함하는 "유효한" 평면 엘리먼트들이다. 모든 다른 엘리먼트들(대각선들을 갖는 영역들에 의한 다이어그램에서 예시되는)은 널(null) 엘리먼트, 또는 "유효하지 않은" 엘리먼트들(250-1)이다. 그것들은 디코더로 전송되지 않고(압축-지향 실시예에서), 디코더는 움직임 정보와 동일한 정확도가 알려지면서 영역들(220-1 및 220-2)의 위치 및 크기를 정확하게 안다. 이런 예에서, "유효하지 않은" 엘리먼트들은 "유효한" 값들을 갖는 엘리먼트들과 평균되지 않는다. "유효하지 않은" 엘리먼트들을 포함하는 엘리먼트들의 세트의 가중 평균을 수반하는 동작들의 모두(다운샘플링 동안 또는 업샘플링 동안)에서, "유효하지 않은" 엘리먼트들은 가중 평균으로부터 제거되고, 잔여 엘리먼트들에 대한 가중치는 그것들의 합이 1과 같도록 정규화된다(예시된 비-한정적인 실시예에서, 그것은 동일한 상수를 잔여 가중치들의 모두에 가산함으로써 달성된다).
값을 갖지만 목적지 평면(201-1.5bis)의 외부에 있는 엘리먼트들은 스팬이 디스플레이되어야 하면, 도시되지 않을 것이지만, 여전히 유용하다: 예를 들면, 디코딩 프로세스 동안 업샘플링 동작들을 지원하기 위해서뿐만 아니라 인코딩 프로세스 동안 다운샘플링 동작들을 더 지원하기 위해.
비-한정적인 바람직한 실시예에서, 목적지 평면의 크기와 관련된 프레이밍의 양은 더 낮은 LOQ의 스팬들이 더 많은 수의 움직임-보상된 스팬들(즉, 더 많은 양의 시간)의 결과들이고, 따라서 움직임의 더 많은 정도를 허용해야 한다는 사실에 대응하여 모든 연속하는 더 낮은 LOQ에서 증가한다.
도 2c는 평형 움직임 보상을 갖는 시간 다운샘플링의 하나 또는 그 초과의 예시적인 경우를 예시하고, 이런 시간은 더 정교한 유형의 움직임(특히, 스케일 변환, 즉, 줌)을 유입한다. 이전의 경우는 오프셋 정보를 포함하는 움직임 정보(전형적으로 최신식 움직임 추정 및 보상 방법들에 의해 나타나는 정보인)를 예시했다. 본 명세서에서 예시된 비-한정적인 실시예들은 평형 움직임 추정 및 보상 방법들을 레버리지하는 한편, 동시에 또한 오프셋들, 회전들, 줌/발산(divergence), 원근 변화들 등을 포함하지만, 이에 한정되지 않는 더 정교한 유형들의 움직임을 나타낸다. 특히, 본 명세서에서 예시된 비-한정적인 실시예는 4개의 ZRO 파라미터들(줌에 대한 하나의 파라미터, 회전에 대한 하나의 파라미터 및 오프셋에 대한 2개의 파라미터들)에 의해 식별되는 아핀(또는 "ZRO") 움직임 행렬로 움직임을 나타낸다.
도 2b에서 설명했던 것과 유사하게, 또한 도 2c에서, 결과들은 샘플링 위치(1.5)에 중심이 있는 스팬을 다운샘플링했다.
도 2b 및 도 2c 양자는 평형 움직임 보상의 이득을 도시함에도 불구하고, 또한 중간의(즉, 잠재적으로 비 정수) 샘플링 위치들에 다운샘플링된 스팬들을 중심에 두는 것의 제한들을 꽤 분명하게 도시한다. 더 높은 품질 레벨의 그것의 대응하는 스팬들 사이에서 다운샘플링된 스팬을 중심에 두는 것은 이론적으로 명쾌하지만, 단편적인 샘플링 위치들은 문제들을 발생시키고, 그것에 의해 그것은 가장 높은 LOQ보다 낮은 품질 레벨로 신호를 디스플레이하기 위해 필요하게 된다. 먼저, 가장 높은 품질 레벨(그것의 원시 샘플 레이트를 갖는)에서 더 낮은 품질 레벨(단편적인 샘플 레이트들을 갖는)로 역동적으로 전환하는 것은 객체들의 움직임에서 인지된 "저더(judder)" 및 "스터터(stutter)"를 야기한다. 두 번째로, 도 2b 및 도 2c로부터 명백한 바와 같이, 결과의 스팬의 목적지 평면(즉, 스팬이 디스플레이되어야 하면 디스플레이하기 위한 이미지)은 2개의 원시 스팬들 사이의 중간 위치일 것이고, 그 결과, 그것은 보이는 "유효하지 않은" 영역들을 특징으로 할 것이고, 적어도 위에 언급된 저더들만큼 보는 것이 불편할 가능성이 크다. 비-한정적인 실시예는 대칭적인 시간 다운샘플링을 홀수의 스팬들을 갖는 그룹들에만 적용함으로써 이와 같은 문제들을 해결한다(그래서 중간 샘플링 위치는 정수 샘플링 위치이고, 목적지 평면은 상기 홀수 그룹의 스팬들의 중간 스팬 상에 중심이 있다). 여전히 짝수들의 스팬들을 다운샘플링하도록 허용하지만, 이와 같은 문제들을 해결하는 다른 비-한정적인 실시예는 도 2d에 의해 예시된다.
도 2d는 -도 2b에서와 동일한 소스 신호에 대하여 - 중간(대칭) 샘플링 위치들의 위에서 언급된 제한들 없이 평형 움직임 보상의 이득들의 모두를 달성하는 "평형 비-대칭 움직임 보상"의 비-한정적인 예시적인 실시예를 도시한다.
스팬들(100-1 및 100-2)은 여전히 가역의 움직임 변환들(특정 비-한정적인 실시예에서, 각각의 관련된 움직임 존에 대한 적합한 ZRO 움직임 매트릭스들)에 따라 움직임 보상되지만, 샘플링 위치에 대한 이런 시간은 1.5 대신에 1과 같다. 따라서, 스팬(100-1)에 대한 움직임 보상 정보가 스팬(100-2)에 대한 움직임 보상 정보로부터 또는 그 반대로 직접 계산가능하다는 것은 여전히 사실이다 : 움직임 보상은 실제로 여전히 "평형"되고, 즉, 양방향이다.
동시에, 다운샘플링된 스팬(101-1)은 본질적으로 스팬(100-1)과 동일한 목적지 평면(201-1)(스팬(100-2)으로부터 비롯되는 일부 정보의 가능한 추가를 갖지만, 스팬(100-1)과 일치하도록 위치된)을 특징으로 한다. 그 결과, 스팬(101-1)이 디스플레이되어야 하면, 임의의 "유효하지 않은" 영역들이 없을 것이고, 또한 샘플 레이트의 관점에서, 어떤 "블렌딩" 효과에도 불구하고, 객체들의 움직임들에서 인지된 저더들은 없을 것이다.
도 3a는 "지원 평면"(Z)으로의 시간-상관관계가 있는 잔차 정보의 분리로 잔차 데이터의 다중-예측 인코딩을 구현하는 비-한정적인 실시예를 예시하는 예시적인 다이어그램이다.
다이어그램은 주어진 품질 레벨의 스팬들(100-1, 100-2,..., 100-n)의 시퀀스로 구성된 원시 신호를 도시한다. 적합한 방법들을 통하여, 인코더는 동일한 품질 레벨로 대응하는 예측들(U)(110-1, 110-2,..., 110-n)의 시퀀스를 생성한다. 인코더는 그 다음 각각의 스팬(100-t)을 그것의 대응하는 예측(U)(110-t)과 비교함으로써 획득된 결과들을 처리함으로써 적합한 세트들의 절대 잔차들(R)(130-1,...,130-n)을 계산한다. 예를 들면, 잔차 데이터 계산기(120-1)가 입력으로서 스팬(100-1) 및 대응하는 예측(U)(110-1)을 수신하고, 스팬(100-1) 과 예측(U)(110-1) 사이의 차이에 기반하여 절대 잔차들(R)(130-1)을 생성한다. 유사한 방식으로, 인코더는 시퀀스의 잔여 스팬들에 대응하는 절대 잔차들(R)(130-2,...130-n)의 세트들을 생성한다.
지원 평면 계산기로 또한 지칭된 신호 프로세서(140)는 절대 잔차들(R)(130-1,..., 130-n)의 세트들을 처리하고, 소위 지원 평면(Z)의 엘리먼트들의 세트(150)를 생성하도록 구성되며, 지원 평면(Z)은 본 실시예에서, 시간-상관관계 있는 잔차 정보를 요약한다.
도 3에 예시된 비-한정적인 예시적인 실시예에서, 지원 평면 계산기(140)는 또한 스팬들의 시퀀스에 걸친 움직임에 관한 정보를 포함하는 설명 정보(155)를 수신한다.
지원 평면(Z)(150)의 생성은 먼저 절대 잔차들(R)(130-t)의 각각의 세트의 움직임 보상된 렌디션들의 가중 평균(S)을 계산함으로써 수행되고, 모든 움직임 보상 동작들은 동일한 샘플링 위치에 대하여 계산된다(즉, 이런 비-한정적인 실시예에서, 첫 번째 정수 샘플링 위치는 시퀀스의 스팬들의 모든 샘플링 위치들의 평균보다 낮거나 같다). S를 계산하기 위한 식은 다음 식으로 표현된다:
Figure pct00023
간단한 비-한정적인 실시예에서, 모든 가중치들은 1/n과 같다(즉, 간단한 수학적 평균). 다른 비-한정적인 실시예에서, S는 가중 평균에 관한 "아웃라이어(outlier) 잔차들"의 영향을 감소시키도록 MC(R(i))의 통계적 모드로서 계산된다.
몇몇 상이한 샘플링 위치들에 걸친 적합한 가중 평균을 허용하기 위해(즉, 정보의 손실을 최소화), 움직임 보상 동작들은 입력된 세트들의 잔차들("프레이밍")보다 많은 열들 및 행들을 갖는 움직임-보상된 세트들의 엘리먼트들을 생성한다. 게다가, 움직임 보상 동작들은 디폴트 값(예를 들면, "유효하지 않은" 값)을 입력(예를 들면, 절대 잔차(R)의 특정 세트) 및 움직임 정보에 기반하여 임의의 적합한 값이 할당될 수 없는 엘리먼트들의 움직임-보상된 세트들의 엘리먼트에 할당한다.
디폴트 값을 갖는 엘리먼트들은 S를 계산하기 위해 사용되는 대응하는 가중 평균 동작에 고려되지 않고, 잔여 엘리먼트들의 가중치들은 그것들의 합을 1과 동일하게 만들도록 정규화된다. 비-한정적인 기준 실시예에서, 1에 대한 이런 정규화는 동일 상수를 잔여 엘리먼트들의 가중치들의 모두에 가산함으로써 달성된다. 다른 실시예들에서, 이와 같은 정규화는 모든 가중치들을 동일 상수로 곱함으로써 달성된다.
인코더는 그 다음 지원 엘리먼트의 복원을 허용하기 위해 디코더로 전송될 복원 데이터를 생성하고, 상기 복원 데이터의 디코딩을 시뮬레이션하여 지원 평면(Z)(150)의 렌디션을 복원한다:
Figure pct00024
인코더는 그 다음 각각의 주어진 세트에 대하여, 대응하는 절대 잔차들(R)의 세트와 상기 주어진 세트의 샘플링 위치에 대한 지원 엘리먼트(Z)("기준 잔차들")의 움직임-보상된 렌디션 사이의 차이를 계산함으로써, 상대 잔차들(RⅡ)의 세트들(즉, 엘리먼트들(160-1,..., 160-n)의 세트들)을 계산한다:
RⅡ = R - MC(Z)
마지막으로, 인코더는 상대 잔차들(RⅡ)의 세트들에 대응하는 복원 데이터의 세트들을 생성하고, 스팬들의 시퀀스의 렌디션(Y)을 복원하기 위해 디코더에 의해 수행될 동작들을 시뮬레이션한다. 특히, 각각의 주어진 스팬 X(t)(100-t)에 대하여, 인코더는 예측 U(t)(110-t), 샘플링 위치 t에 대하여 지원 평면 Z(150)의 움직임-보상된 렌디션, 및 대응하는 디코딩된 상대 잔차들 RⅡ(t)(160-t)의 세트를 결합함으로써, 복원된 렌디션 Y(t)를 생성한다:
Figure pct00025
예를 들면, 스팬(100-1)에 대한 렌디션 Y(1)의 복원을 시뮬레이션하기 위해, 인코더는 샘플링 위치 t=1과 관련하여 계산된 예측 U(110-1), 상대 잔차들 RⅡ(160-1) 및 지원 평면 Z(150)의 움직임-보상된 렌디션을 결합한다. 디코더 측에서, 디코더는 예측 U(110-1)을 생성하도록 허용하는 인코딩된 데이터, 움직임 정보에 대응하는 인코딩된 데이터, 지원 평면 Z(150)에 대응하는 인코딩된 데이터 및 상대 잔차들 RⅡ(160-1)에 대응하는 인코딩된 데이터를 수신하는 이들 동일 동작들을 수행할 것이다.
엘리먼트들 Z(150)의 세트를 그것이 절대 잔차 R의 복원을 "지원"하기 때문에, 주어진 품질 레벨의 스팬들의 주어진 시퀀스 "지원 평면"으로 지칭한다. 본질적으로, 그것은 또한 절대 잔차들의 시간 상관관계를 이용함으로써 상기 시퀀스를 복원하는데 필요한 복원 데이터의 정보 엔트로피(예를 들면, 인코딩된 비트들의 양의)의 감소를 지원한다. 단일 "잔차들의 슈퍼세트에 시간-상관관계가 있는 절대 잔차 데이터를 집중함으로써(즉, 직관적으로, 동일 잔차 정보를 다음의 스팬들에 대하여 다수회 반복하는 것을 방지하는 한편, 동시에 이전의 잔차들로부터 잔차들이 각각의 평면을 예측하는 것을 방지함으로써), 지원 평면은 양자화 후에 실질적으로 0과 같은 상대 잔차들의 수를 최대화하고, 결과적으로 잔차 데이터의 전반적인 정보 엔트로피에 대응하는 메트릭을 감소시킨다.
주어진 스팬에 대한 복원된 렌디션이 상대 잔차들을 2개의 예측들과 결합함으로써 획득되기 때문에, 또한 "다중 예측 인코딩" 방법으로서 접근법을 정의했다: 스팬에 대한 예측(임의의 적합한 방법으로 생성되는 제 1 예측) 및 절대 잔차들에 대한 예측(지원 평면을 움직임-보상함으로써 생성되는 제 2 예측).
위에서 설명된 바와 같이, 종래의 방법들(예를 들면, 비디오 신호들의 경우에서, MPEG-기반 기법들, VP8 등)은 차이들 대 이전 또는 다음 샘플을 인코딩/디코딩함으로써 시간 상관관계를 이용한다(따라서, 시간에 걸친 에러들의 누적 및 본질적으로 일-방향 복원/재생에 의해 서로에 대하여 인코딩된 샘플들의 "시간 캐스케이드"를 생성하는). "시간 다운샘플링" 및 "시간 어그리게이션"의 본 명세서에서 설명된 방법들은 - 지금까지 예시된 방법들의 모두를 포함하지만, 이에 한정되지 않는 - 공통 예측기들로서 기능하고 실질적으로 다수의 스팬들의 상관관계가 있는 정보를 요약하는 일시적으로 블렌딩되는 정보(티어드 시간 계층들의 경우에서, 동일한 해상도 또는 심지어 지원 평면들의 경우에서의 더 높은 해상도들로 서브샘플링된)의 인코딩/디코딩으로 구성되고, (1)스팬들의 더 긴 시퀀스들에 걸쳐 시간 상관관계를 레버지지하고(에러들의 누적의 부재에 기인하여), (2) 양방향 복원/재생을 수행하며, (3) 또한 시퀀스에서 임의의 스팬의 랜덤 액세스 복원을 수행하는 것을 허용한다. 비-한정적인 예로서, 주어진 스팬을 복원하도록 허용하는 상대 잔차들을 심하게 양자화하기 위한 결정(즉, 정보의 상당한 손실 및/또는 하나의 스팬에서의 아티팩트들을 생성하는 결정)은 더 낮은 LOQ의 동일 지원 평면 및 동일 세트의 예측기들에 기반하여 복원되는 동일한 LOQ의 다른 스팬들에 영향을 주지 않는다. 또한, 임의의 하나의 스팬의 복원이 시간 순서에서 이전의 스팬의 복원된 렌디션의 유효성을 필요로 하지 않기 때문에, 디코딩은 반대의 시간 순서(예를 들면, I-프레임에서 이전의 I-프레임으로 단지 스킵하는 현재 방법들과 대조적으로, 비디오의 매끄러운 역 재생)로 수행될 수 있다.
추가 비 -한정적인 예시적인 실시예들
도 3에 예시된 지원 평면 계산의 예는 비-한정으로 의도되어야 한다.
다른 비-한정적인 실시예들에서, 인코더는 상대 잔차 RⅡ(160) 및 지원 평면 Z(150)에 대한 정보 엔트로피의 메트릭을 최소화하록 가중 평균의 가중치들을 적응시킴으로써 지원 평면 Z(150)를 계산한다. 이와 같은 실시예 중 하나에서, 인코더는 지원 평면 Z(150)를 생성하기 위해 사용되는 가중 평균의 가중치들을 실질적으로 0과 같은(특히 적합한 양자화 프로세스 이후) 상대 잔차 RⅡ(160)의 수를 최대화하도록 선택한다. 이와 같은 실시예들의 다른 것에서, 인코더는 상대 잔차 RⅡ(160) 및 지원 평면 Z(150)에 대한 정보 엔트로피의 메트릭을 최소화하도록 반복적인 최적화 방법에 따라 지원 평면 Z(150)의 값을 조정하는 한편, 렌디션 Y에 대한 품질의 메트릭을 임계 위로 유지한다.
다른 비-한정적인 실시예들에서, 인코더는 지원 평면 Z(150)를 계산하기 전에 절대 잔차들 R(130)의 세트들을 처리한다. 이와 같은 실시예 중 하나에서, 상이한 스팬들에 대응하는 절대 잔차들 R(130)은 실질적으로 동일 장면에서 조명 조건들의 변화와 같은 경우에서 잔차 데이터의 시간 상관관계를 향상시키도록 적절하게 균등하게 된다. 지원 평면을 대응하는 상대 잔차 RⅡ(160)의 세트와 결합하기 이전에 디코더에 지원 평면 Z(150)의 적절한 처리를 위한 적합한 정보를 제공하기 위해, 인코더는 또한 적합한 세트들의 설명 정보를 생성한다.
다른 비-한정적인 실시예에서, 절대 잔차들 R(130)는 적절한 변환들(예를 들면, 비제한적으로 분리 변환들, 하다마르(Hadamard) 변환들, DCT 변환들, 웨이블릿 변환들 등을 포함하는 리스트로부터 선택됨)로 처리된다.
다른 비-한정적인 실시예들에서, 지원 평면 Z 및 상대 잔차 RⅡ 양자는 방향성 분해(예를 들면, 엘리먼트들의 서브세트들의 선택 및 그것들의 방향성 기울기들 및 그것들의 평균과 예측된 평균 사이의 차이에 대응하는 파라미터들의 인코딩), 시간 분해(예를 들면, 시간에 따른 엘리먼트들의 서브세트들의 선택 및 그것들의 시간 평균 및 시간 기울기(들)의 인코딩), 비-선형 양자화 방식들, 하다마르 변환들, DCT 변환들, FFT 변환들, 웨이블릿 변환들 등을 포함하지만, 이에 한정되지 않는 목록들 중에서 선택된 적합한 동작들에 의해 변환된다. 이들 비-한정적인 실시예들의 일부에서, 스팬에 대한 변환된 잔차들은 동일 출원인의 다른 특허 출원들에서 설명된 다중 스케일 변환 방법들에 기반하여, 적어도 부분적으로 더 낮은 품질 레벨의 스팬의 렌디션에 기반하여 인코딩 및 디코딩된다.
다른 비-한정적인 실시예들에서, 지원 평면 계산기(140)는 대응하는 잔차들(130-1,..., 130-n)의 세트들의 움직임-보상된 렌디션들의 가중 평균 대신, 원시 스팬들(100-1,..., 100-n)(적합하게 움직임 보상된)의 가중 평균을 처리함으로써 지원 평면 Z(150)를 계산한다. 원시 스팬들에 기반하여 지원 평면 Z(150)를 계산함으로써, 지원 평면이 상이한 정보를 포함하고, 따라서 상이한 결과들을 생성하지만, 상기 방법은 실질적으로 유사하다. 이와 같은 실시예들 중 하나에서, 다음의 수학식들은 인코더에서 수행되는 동작들 및 디코더에서 수행되는 복원 프로세스를 설명한다:
Figure pct00026
다른 비-한정적인 실시예들에서, 지원 평면 Z(150)는 그것이 지원하는 절대 잔차들 R(130-1,..., 130-n)의 세트들보다 높은 품질 레벨(예를 들면, 더 높은 해상도)을 갖는다. 이와 같은 실시예들에서, 지원 평면 Z(150)는 상이한 위치들(픽쳐들의 경우에서 서브-픽셀 위치들을 포함하는)에서 실질적으로 동일한 객체들을 나타낸 다수의 스팬들의 움직임 보상된 렌디션들에 기인하고, 지원 평면 Z(150)의 품질 레벨을 증가시킴으로써, 인코더는 지원 평면 Z(150)가 서브-엘리먼트 정밀도를 갖는 공통 잔차 정보를 저장하게 하여, 본질적으로 지원 평면 Z(150)에 저장된 시간 상관관계가 있는 정보의 양을 최대화한다.
다른 비-한정적인 실시예들에서, 인코더는 각각의 스팬(100-1, 100-2, ..., 100-n)에 대하여 지원 평면 Z(150)가 절대 잔차들 R(130)을 생성하기 위해 처리되지 않는 적합한 부분들(예를 들면, 이미지의 영역들)을 정의한다. 이와 같은 실시예들 중 하나에서, 인코더는 하나 또는 그 초과의 주어진 스팬들에 대하여, 잔차 정보가 다른 이웃하는 스팬들의 잔차 정보와 상관관계가 없는 이미지의 부분들을 식별한다(예를 들면, 비디오 신호의 예시적인 경우에서, 예를 들면, 이들 부분들이 상기 주어진 스팬의 시간 기간 동안 볼 수 있는 객체들에 대응하기 때문에). 그 결과, 인코더는 스팬의 상기 부분들에 대응하는 설명 정보를 생성한다. 지원 평면 Z(150)를 생성할 때, 상기 부분들의 콘텐츠들은 시간-상관관계가 없는 정보를 갖는 지원 엘리먼트의 "약화(diluting)"를 방지하도록 처리되지 않는다. 동시에, 절대 잔차들 R(130-1,..., 130-n)의 세트들을 복원할 때, 상기 부분들에 대응하는 상대 잔차들 RⅡ(160-1, ..., 160-n)의 서브세트들은 지원 평면 Z(150)의 움직임-보상된 렌디션의 대응하는 엘리먼트들과 먼저 결합되지 않고, 절대 잔차들 R(130)을 생성하도록 직접 처리될 것이다. 디코더 측에서(또는 인코딩 프로세스 동안 시뮬레이션된 디코더 내에서), 디코더는 주어진 스팬(100-1)에 대하여, 지원 평면 Z(150)가 절대 잔차들 R(130)의 복원을 지원하기 위해 레버리지되지 않아야 하는 부분들에 관한 설명 정보를 수신할 것이다. 그 결과, 디코더는 2개의 상이한 접근법들에 따라 절대 잔차들 R(130)을 복원할 것이다:
지원 평면 Z(150)가 적용되어야 하는 부분들에 대하여:
Figure pct00027
;
지원 평면 Z(150)가 적용되지 않아야 하는 상기 부분들에 대하여:
Figure pct00028
.
다른 비-한정적인 실시예들에서, 스팬들(100-1, 100-2,..., 100-n)의 시퀀스는 다수의 서브시퀀스들("로트들")로 분할되고, 인코더는 상기 로트들의 각각에 대한 지원 평면 Z를 생성한다. 주어진 로트의 스팬들에 대한 절대 잔차들은 적어도 부분적으로 상기 주어진 로트의 지원 평면 Z에 포함된 정보에 기반하여 디코더에 의해(또는 인코딩 프로세스 내의 시뮬레이션된 디코더에 의해) 복원된다. 특히, 주어진 로트의 주어진 스팬에 대한 절대 잔차들의 주어진 세트는 절대 잔차들의 세트를 상기 주어진 로트의 지원 평면 Z의 움직임-보상된 렌디션과 결합함으로써 생성된다(여기서, 움직임 보상은 상기 주어진 스팬의 샘플링 위치에 대하여 수행된다).
다른 비-한정적인 실시예들에서, 주어진 로트(L1)의 스팬들에 대한 절대 잔차들(R)은 디코더에 의해 적어도 부분적으로 상기 주어진 로트에 대한 지원 평면(ZL1) 및 하나 또는 그 초과의 이웃하는 로트들에 대한 지원 평면(ZLn)을 포함하는 다수의 지원 평면들(ZL1,..., ZLn)에 기반하여 복원된다. 이와 같은 실시예들 중 하나에서, 주어진 로트의 주어진 스팬에 대한 절대 잔차들(R)의 주어진 세트는 상대 잔차들(RⅡ)의 세트를 상기 주어진 로트의 지원 평면(Z)의 움직임-보상된 렌디션 및 이웃하는 로트의 지원 평면(Z)의 움직임-보상된 렌디션의 가중 평균을 결합함으로써 생성되고, 여기서, 양자의 움직임 보상 동작들은 상기 주어진 스팬의 샘플링 위치에 관하여 수행된다. 다른 실시예들에서, 심지어 2보다 많은 지원 평면들(Z)은 절대 잔차들(R)의 특정 세트들의 복원을 지원한다. 이웃하는 로트들의 지원 평면(Z)을 레버리지하는 것 - 인코더가 로트에 대하여 인코딩된 데이터를 완결할 수 있기 전에 다수의 로트들을 처리하는 것을 요구하기 때문에, 인코딩 지연을 잠재적으로 증가시키는 - 은 이와 같은 실시예들이 상이한 로트들에 속하는 스팬들 사이의 잠재적인 갑작스런 중단을 감소하게 한다.
다른 비-한정적인 실시예들에서, 주어진 로트(L1)의 스팬들에 대한 절대 잔차들(R)은 상기 주어진 로트의 지원 평면(ZL1)에 기반하여 디코더에 의해 복원되고, 둘 또는 그 초과의 이웃하는 로트들의 다수의 지원 평면들(ZL1,..., ZLn)은 훨씬 더 높은 어그리게이션의 레벨로 지원 평면(ZⅡ)에 기반하여 인코딩된다. 각각의 주어진 지원 평면들(ZL1,..., ZLn)은 지원 평면(ZⅡ)의 움직임-보상된 렌디션과(여기서, 움직임 보상은 각각의 주어진 지원 평면의 샘플링 위치를 참조하여 수행된다) 대응하는 상대 잔차들의 세트를 결합함으로써 복원된다. 이와 같은 비-한정적인 실시예들의 일부에서, 인코더는 지원 평면들에 대한 어그리게이션들의 레벨의 티어드 계층을 생성하고, 여기서, 또한 더 고차 지원 평면들은 훨씬 더 높은 어그리게이션의 레벨의 추가의 더 고차 지원 평면들에 기반하여 인코딩된다. 비-한정적인 실시예에서, 로트 크기는 2개의 스팬들과 같고, 인코더는 이용가능한 계산 자원들 및 최대 인코딩 지연에 기반하여 지원 평면들을 주어진 어그리게이션의 레벨까지 어그리게이션한다.
다른 비-한정적인 실시예들에서, 지원 평면 Z(150)는 움직임 보상 동작들을 수행하지 않고 생성된다. 그 결과, 디코더에서, 절대 잔차들 R(130)은 상대 잔차 RⅡ(160)과 지원 평면 Z(150)를 단지 결합함으로써 생성된다.
다른 비-한정적인 실시예들에서, 지원 평면 계산기(140) - 지원 평면 Z(150) 및 상대 잔차 RⅡ(160-1,..., 160-n)의 세트들을 생성하는 것을 제외하고 -는 또한 상대 잔차 RⅡ의 세트들의 하나 또는 그 초과에 대응하는 설명 정보의 세트들(즉, 메타-데이터)을 생성한다. 절대 잔차들 R의 주어진 세트에 대한 복원 동작들 동안, 디코더(또는 인코딩 프로세스 내의 시뮬레이션된 디코더)는 대응하는 설명 정보의 세트에 의해 특정된 동작들에 따라 지원 평면 Z(150) 및 대응하는 상대 잔차 RⅡ의 세트를 처리한다. 이와 같은 실시예들 중 하나에서, 상기 설명 정보는 움직임-보상된 지원 엘리먼트 정보를 적용하기 위한 곱셈 파라미터들을 포함하지만, 이에 한정되지 않는다(예를 들면, 실질적으로 동일한 장면에서 조명의 변화들을 용이하게 설명하도록).
비-한정적인 실시예에서, 지원 평면들 Z를 레버리지하는 곱셈 인코딩 방법은 이미지들의 시퀀스를 직접 인코딩하기 위해 레버리지되며, 즉, 예측들(U)이 모두 0과 동일하다고 가정한다.
다른 비-한정적인 실시예들에서, 곱셈 예측 인코딩 방법은 티어드 시간 계층 방법으로 인코딩된 신호의 맥락에서 사용된다. 이와 같은 실시예들 중 하나에서, 인코더는 신호의 각각의 로트 L의 각각의 LOQ K의 스팬들에 대한 지원 엘리먼트(
Figure pct00029
)를 생성한다; 동일한 LOQ K의 상이한 로트들의 지원 평면들은 지원 평면들의 어그리게이션의 레벨들의 티어드 계층에서 인코딩된다. 이와 같은 실시예에서, 각각의 품질 레벨로, 지원 평면(
Figure pct00030
)은 단일 세트의 엘리먼트들에서(즉, 각각의 로트에 대한 단일 2-차원 평면에서) 로트의 시간-상관관계가 있는 정보를 전달한다. 주어진 LOQ K의 스팬들은 더 낮은 LOQ(K-1)의 적합한 예측기 스팬들(적합한 동작들 및 스케일 계수들을 레버리지함으로써 공간 또는 시간 중 어느 하나 또는 양자에서 업샘플링된), LOQ K에 대한 지원 평면(
Figure pct00031
), 움직임에 관한 설명 정보, 및 상대 잔차 데이터 RⅡ의 적합한 세트들에 기반하여 복원된다. 지원 평면은 본질적으로 단일 세트의 엘리먼트들에서 주어진 로트의 잔차 데이터의 시간 상관관계가 있는 정보를 전달하고, 디코더가 주어진 LOQ의 스팬들의 복원을 허용하는 절대 잔차 데이터에 대한 적합한 예측들을 생성하게 한다. 로트들에 걸친 절대 잔차들의 상관관계는 어그리게이션의 레벨들의 티어드 계층에서 이웃하는 로트들의 지원 평면들을 인코딩함으로써 효과적으로 레버리지된다.
간단한 비-한정적인 예에 의해 잔차 데이터들에 대한 지원 평면의 계산 및 전송에서의 장점을 더 명확하게 하기 위해, 스틸 이미지의 비디오 클립을 나타내는(즉, 모든 스팬들이 동일한) 스팬들의 로트의 경우를 고려하는 것이면 충분하다. 임의의 품질 레벨로, 지원 평면은 로트의 스팬들의 모두를 복원하기 위해 필요한 정보를 완전하게 전달한다. 추가의 상대 잔차들은 스팬들의 모두를 디코딩 및 복원하기 위해 전송될 필요가 없을 것이다(즉, 상대 잔차들의 100%는 0과 같을 것이고, 적합한 엔트로피 인코더들이 매우 제한된 량의 정보로 인코딩할 수 있다). 그것은 물론 극단의 예시적인 경우이지만, 로트가 느린 동작 장면에 속하고 있을 때, 또는 장면의 많은 부분들이 정적일 때, 또는 움직임 보상 정보가 움직임-보상된 절대 잔차들에 대하여 느린 동작/정지 장면과 유사한 상관관계의 레벨을 재생할 수 있을 때, 지원 엘리먼트 정보에 기반하여 절대 잔차들의 인코딩/디코딩의 이득들을 이해하는 것은 용이하다.
일부 비-한정적인 실시예들에서, 디코더는 신호의 특정 공간 일부들(예를 들면, "타일들")에만 대응하는 상대 잔차 데이터를 수신하도록 구성되고, 따라서, 상기 주어진 일부들에 대해서만 주어진 LOQ로 신호의 렌디션을 복원하며, 줌 기능을 효과적으로 구현한다. 다시 말하면, 이와 같은 비-한정적인 실시예들에서, 디코더는 주어진 LOQ로 전체 신호를 복원하기 위해 필요할 절대 잔차들의 복원된 세트들의 특정 공간 일부들("타일들")에만 대응하는 복원 데이터를 수신한다. 그 결과, 디코더는 절대 잔차들의 세트들의 일부들의 시퀀스만을 복원하고, 다음을 포함하는 동작들을 수행한다: 제 1 세트의 복원 데이터의 처리, 지원 평면의 생성; 제 2 세트의 복원 데이터의 처리, 상대 잔차 서브-평면들(예를 들면, 상대 잔차들의 타일들과 같은)의 시퀀스의 생성, 상기 상대 잔차 서브-평면들의 각각은 절대 잔차들의 평면들의 시퀀스에서 절대 잔차들의 평면의 타일에 대응함; 상기 상대 잔차 서브-평면들의 각각과 상기 지원 평면에 적어도 부분적으로 기반하여 생성된 대응하는 기준 값들의 세트의 결합, 절대 잔차들의 타일들의 시퀀스의 생성.
다른 비-한정적인 실시예에서, 디코더(및 인코더 내에서 시뮬레이션된 디코더) - 단일 지원 평면에 기반하여 주어진 LOQ의 스팬들에 대한 절대 잔차들을 생성하는 대신 - 이웃하는 지원 평면들(즉, 이웃하는 로트들의 지원 평면들)의 움직임-보상된 렌디션들의 가중 평균에 기반하여 절대 잔차들을 생성한다.
다른 비-한정적인 실시예에서, 하나 또는 그 초과의 지원 평면들 Z는 티어드 계층의 특정 부분들에 대하여(예를 들면, 대응하는 품질 레벨의 대응하는 로트보다 작은 스팬들의 서브시퀀스에 대하여) 인코딩/디코딩된다.
비-한정적인 실시예에서, 지원 평면들은 신호의 특정 특성들 및 압축 필요조건들에 따라 인코더에 의해 생성된다(비-한정적인 예에 의해, 신호의 시간-관련된 특성들이 지원 평면의 전송이 이득을 제공하지 않을 정도일 때 지원 평면 계산을 생략하는 것은 인코더까지이다).
비-한정적인 실시예에서, 또한 주어진 로트(L)의 지원 평면들(
Figure pct00032
)의 티어드 계층은 티어드 계층 방법에 따라 인코딩된다. 이와 같은 실시예에서, 주어진 로트가 단일 스팬으로 구성된 품질 레벨들의 모두에 대하여, 지원 평면 Z는 그 스팬에 대한 절대 잔차들 R과 일치한다. 지원 평면 Z는 더 낮은 품질 레벨의 지원 평면의 렌디션에 기반하여 2-차원 티어드 계층에 따라 인코딩된다. 가장 낮은 레벨에서, 실시예는 양자화 함수 Q(·)를 잔차 데이터에 적용한다고 가정하면, 지원 평면 Z는 간단히 S의 양자화의 역양자화된 렌디션이거나, 수학적으로 :
Figure pct00033
다음(더 높은) 품질 레벨들에 대하여, 디코더(뿐만 아니라 인코더 내의 시뮬레이션된 디코더)는 예측 V를 생성하기 위해 - 적합한 업샘플링 동작들을 통하여 - 더 낮은 품질 레벨의 Z의 렌디션을 처리한다 :
Figure pct00034
모든 품질 레벨들에 대하여, 인코더는 이런 간단한 비-한정적인 실시예에서, 로트의 스팬들의 절대 잔차들의 세트들의 움직임-보상된 렌디션들의 간단한 산술 평균에 의해(각각의 움직임 보상 동작은 지원 엘리먼트 S에 대하여 선택된 샘플링 위치를 참조하여 수행된다) "이상적인"(예를 들면, 사전-양자화 및 사전-변환들) 지원 평면 S의 렌디션을 생성한다:
Figure pct00035
그 주어진 LOQ에 대한 지원 평면 잔차들 RⅠ은 그 다음 S와 그것의 예측 V 사이의 차이로서 계산된다:
Figure pct00036
그 결과, 디코더(뿐만 아니라 인코더 내의 시뮬레이션된 디코더)에서 복원된 지원 엘리먼트 Z의 렌디션은 다음과 같다:
Figure pct00037
인코더에 의해 수행되는 잔여 동작들은 다른 비-한정적인 실시예들에 대하여 이미 설명된 것들과 실질적으로 유사하다. 인코더는 R 및 Z에 기반하여 상대 잔차 RⅡ를 계산한다 :
Figure pct00038
디코더(뿐만 아니라 인코더 내의 시뮬레이션된 디코더)는 따라서 최종적으로 신호 Y의 렌디션을 복원할 수 있다 :
Figure pct00039
비-한정적인 실시예에서, 로트에 대한 지원 평면은 로트에 중심이 있는 평면들(즉, 로트의 가장 높은 스팬들의 샘플링 위치들의 평균과 동일한 샘플링 위치- 움직임 보상 동작들에 대하여 레버지리된 - 에 의해)의 티어드 계층이다.
다른 비-한정적인 실시예에서, 지원 평면은 가장 높은 품질 레벨의 로트의 스팬들의 샘플링 위치들의 평균보다 낮거나 동일한 가장 높은 품질 레벨(예를 들면, LOQ #0)의 정수 샘플링 위치를 갖는 평면들의 티어드 계층이다. 이렇게 하여, 지원 체인 평면은 항상 신호의 원시 샘플 레이트와 일치하는 샘플링 위치에 중심이 있고, 움직임 보상 동작들(평형 움직임 보상을 예시할 때 설명된 바와 같이, 샘플링 레이트 저더들, 프레이밍 및 "유효하지 않은" 엘리먼트들)을 단순화한다.
신호의 복원을 지원하는 것을 제외하면, 티어드 계층 방법으로 인코딩된 지원 평면은 실제로 그들 자신의 부산물이다(즉, 신호의 나머지와 독립적으로 복원될 수 있는 자급자족의 티어드 계층). 이는 몇몇 비-한정적인 실시예들에서 이용된다. 예를 들면, 비-한정적인 실시예에서, 디코더는 그것들의 처리를 단지 주어진 LOQ의 로트에 대한 지원 평면 복원 데이터의 디코딩으로 제한할 수 있고, 지원 평면에 기반하여 이미지를 디스플레이- 대응하는 로트의 시간 지속 기간 동안 -할 수 있다. 이와 같은 실시예의 예시적인 애플리케이션들은 지원 엘리먼트가 본질적으로 주어진 품질 레벨의 신호의 로트에 관한 평균 정보를 전달하기 때문에, 매우 낮은 대역폭 접속들의 경우 또는 작은 양의 자원들(예를 들면, 메모리 또는 계산 전력)을 갖는 디코더의 경우, 또는 심지어 신호의 빠르고 거의 정확한 렌더링이 요구되는 상황들(예를 들면, 가속화된 내비게이션, 고속 감기 또는 고속 되감기 재생, 등)의 경우이다.
다른 비-한정적인 실시예들에서, 인코더는 현재의 로트 및/또는 다음의 로트들을 레버리지하는 대신 이전에 인코딩 및 전송된 스팬들을 처리함으로써 지원 평면들을 계산한다. 이런 접근법은 지원 평면을 계산하기 위해 인코더 측에서 사용된 동일 스팬들이 이미 디코더 측에서 이용가능하고, 그래서 지원 평면 복원 데이터를 디코더로 전송할 필요가 없다는 장점을 갖는다. 또한, 상기 접근법은 인코더가 인코딩 프로세스를 시작하기 이전에 스팬들의 완전한 로트의 유용성을 대기할 수 없을 때, 낮은-레이턴시 조건들(예를 들면, 영상 회의 애플리케이션들, 그러나, 이에 한정되지 않음)에서 유용하다.
다른 비-한정적인 실시예들에서, 지원 평면은 스팬들의 이동 평균을 처리함으로써 계산되고, 이론상으로 디코더로 전송될 지원 평면들에 관한 어떤 정보도 필요하지 않다(다른 비-한정적인 실시예에서, 이와 같은 정보는 그럼에도 불구하고 인코더와 디코더 측에서 이용가능한 정보 사이의 정렬을 보장하기 위해 주기적으로 전송되지만). 비-한정적인 예로서, 이동 평균으로서 계산된 지원 평면은 영상-회의와 같은 실시간 낮은-레이턴시 애플리케이션들에서 유용하고, 여기서, 긴 지연들(예를 들면, 긴 로트들을 이용함으로써)을 도입하는 것이 가능하지 않지만, 여전히 시간 상관관계는 매우 높다. 이와 같은 실시예들에서, 디코더는 신호의 스팬들이 디코딩 및 복원됨에 따라 각각의 LOQ에 대한 지원 평면을 계산 및 업데이트한다. 비-한정적인 실시예에서, 간단한 이동 평균 방식이 채택된다. 다른 비-한정적인 실시예에서, 상이한 스팬들에 비롯한 정보는 지수 감소 가중화(weighting) 시스템을 레버리지함으로써 평균된다. 또 다른 비-한정적인 실시예에서, 정밀도-기반 가중화 접근법이 동일 출원인들의 이전 특허 출원들에서 설명된 방법들에 기반하여 사용되고, 여기서, 본질적으로 인코더는 디코더로 각각의 스팬에 대한 정밀도 값(예를 들면, 스팬들의 통계적 정밀도, 또는 역 분산(inverse variance)에 대응하는)을 할당 및 전송하고, 디코더는 2개의 버퍼들을 생성한다 : 지원 체인이 계산되었던 이전 샘플링 위치에 대한 지원 체인의 렌디션을 포함하는 버퍼(Zold), 및 각각의 대응하는 Zold의 엘리먼트에 대하여 각 값의 정밀도를 포함하는 버퍼(pold). 임의의 T=t에서, 샘플링 위치 t의 스팬들의 지원 체인(예를 들면, 그것들의 대응하는 절대 잔차들 R의 세트)에 대한 "기여"를 Znew로서 정의하면, 버퍼들에서의 새로운 값들은 다음과 같이 계산되고, 여기서, 작은 문자에서의 문자들은 큰 문자에서의 대응하는 평면의 주어진 좌표들(x,y)의 특정 엘리먼트들을 나타낸다:
Figure pct00040
움직임 보상 동작들은 계산되고 있는 새로운 지원 체인의 샘플링 위치에 관하여 계산된다.
MCxy(·)는 엘리먼트들 MC(·)의 평면의 좌표들(x,y)을 갖는 엘리먼트를 식별한다.
β, a 및 b는 적합한 파라미터들이다. 일 예시적인 실시예에서, a=b=1.
시간 상관관계에서의 불연속들을 설명하기 위해, 비-한정적인 실시예는 아래에 설명되는 동작을 추가하고, 이는 마지막 주어진 스팬의 값과 버퍼(zold)에 포함된 대응하는 움직임-보상된 값 사이의 차이가 적합한 임계보다 클 때, 좌표(x,y)에서의 pold의 값을 0으로 "리셋"한다:
Figure pct00041
이미 언급된 바와 같이, 지원 평면을 시간 차원을 따라 레버리지하는 것은 단지 일반적인 예측기 방법들(또는 "다중-예측 인코딩" 방법들)의 애플리케이션들에 대한 비-한정적인 예로서 의도되어야 한다. 몇몇 스팬들의 정보를 어그리게이션하고(예측기 초평면으로) 이와 같은 어그리게이션 정보를 처리함으로써 생성된 예측에 대하여 잔차들을 인코딩/디코딩하는 접근법은 또한 신호의 다른 차원들(즉, 반드시 시간은 아니고), 및 잠재적으로 또한 동일 신호의 차원들 중 하나 이상에 적용될 수 있다. 시간 차원을 적용될 때, 이전에 설명된 바와 같이, 움직임 추정 및 움직임 보상의 일부 형태를 이용하는 실시예들을 채택하는 것은 통례이다. 그러나, 또한, 다른 차원들 및 다른 유형들의 신호에 대하여, 지원 예측기 방법은 스팬들을 지원 평면으로 어그리게이션하기 이전에 스팬들의 "재편성"(따라서 그것들의 상관관계가 있는 정보를 정제하는)을 목적으로 하는 보상 처리의 형태들로 구현될 수 있다. 비-한정적인 실시예는, 예를 들면, 다채널 오디오 신호의 상이한 채널들에 걸쳐 지원 예측기 방법을 채택한다. 이와 같은 실시예는 티어드 계층 방법에 따라 다채널 오디오 신호들을 인코딩 및 디코딩하고, 여기서, 각각의 채널의 스팬들은 엘리먼트들의 세트들(예를 들면, 비-한정적인 예에 의해, 스팬에 대한 평균 진폭 값 및 평균 피치 값)로서 나타내고, 상이한 오디오 채널들의 대응하는 스팬들에 대한 잔차 데이터는 지원 엘리먼트 잔차 데이터의 세트에 따라 인코딩되며, 적합한 설명 정보에 따라(따라서 상이한 채널들에서 동일 사운드의 상이한 시간 위치들을 설명하는 - 본질적으로 사운드 소스 대 마이크로폰의 3D 위치에 기반하여) 채널들에 걸쳐 지원 엘리먼트 잔차 데이터를 "움직임 보상"(즉, 본질적으로 상관관계가 있는 스팬들을 재편성하는 것에 대응하는 동작들을 적용하는)한다.
다른 비-한정적인 실시예는 비디오 신호의 시간 차원에 대하여 예시되었던 방법과 유사한 다중-예측 방법들을 입체 신호의 차원들 중 하나 또는 그 초과에 적용함으로써 방대한 입체 데이터를 인코딩 및 디코딩한다.
다른 비-한정적인 실시예는 2-차원 스팬들의 시퀀스들에 대하여 예시되었던 방법과 유사한 방법들을 3-차원 스팬들의 시퀀스들에 적용함으로써(즉, 지원 평면 Z가 엘리먼트들의 3-차원 초평면이다) 입체 비디오를 인코딩 및 디코딩한다.
이전에 언급된 바와 같이, 하나 또는 그 초과의 지원 예측기 값들에 기반하여 인코딩/디코딩하는 신규한 방법들이 다수의 장점들을 갖는다는 것은 설명된 비-한정적인 실시예들로부터 자명하다. 우선, 지원 평면들은 잔차 데이터의 정보 엔트로피의 감소를 허용한다. 시간-기반 신호에 대하여 레버리지될 때, 시간 차원에 따른 지원 평면들은 특히 유용하고, 특히, 그에 의해 인코더는 로트 컷팅, 장면 커팅 및 (존재하면) 움직임 추정/보상을 적절하게 수행한다. 지원 평면들은 그것들이 티어드 계층 방법의 인코딩/디코딩 루프 내에 적용될 때 또한 매우 유용하다.
일반적으로, 스팬들의 시퀀스의 상관관계가 커질수록, 절대 잔차들의 예측시 지원 평면에 의해 제공되는 이점들은 더 커진다.
도 3b는 지원 엘리먼트 정보에 기반하여 엘리먼트들의 다-차원 평면들의 시퀀스의 인코딩을 구현하는 비-한정적인 실시예를 예시하는 예시적인 다이어그램이다.
평면들(300-1,..., 300-N)은 인코더(310)에 의해 처리되고, 인코더는 인코딩된 데이터의 스트림을 생성한다. 특히, 인코딩된 데이터의 상기 스트림은 인코딩된 데이터 #1(320), 설명 정보의 세트들(330-1,..., 330-N) 및 인코딩된 데이터 #2의 세트들(340-1,..., 340-N)을 포함한다.
인코딩된 데이터 #1(320)은 지원 복원기(350)에 의해 수신 및 처리되며, 지원 복원기는 지원 평면(355)을 생성한다.
지원 평면(355)은 디코더에 의해 원시 평면들(300-1, ..., 300-N)에 대응하는 적합한 렌디션들을 복원하기 위한 기준선으로서 레버리지된다. 특히, 지원 평면(355)은 기준 복원기(360)에 의해 처리되고, 기준 복원기는 기준 평면들(365-1, ..., 365-N)을 생성하며, 기준 평면들 각각은 지원 평면(355)을 대응하는 설명 정보(330-i)의 세트에 기반하여 처리함으로써 획득된다. 비-한정적인 실시예에서, 기준 평면들의 각각(365-i)을 획득하기 위한 이미지 처리 동작들은 설명 정보(330-i)의 세트에 대응하는 움직임 정보에 기반하여 지원 평면(355)에 관한 움직임 보상 동작들을 수행하는 것을 포함한다.
상대 잔차들 복원기(370)는 인코딩된 데이터 #2의 세트들(340-1,..., 340-N)을 수신 및 처리하여, 상대 잔차들의 세트들(375-1, ..., 375-N)을 생성한다.
디코더는 그 다음 기준 평면들(365-1, ..., 365-N)과 상대 잔차들 평면들(375-1, ..., 375-N)을 결합함으로써 복원된 평면들(380-1, ..., 380-N)을 생성한다.
도 4a는 다중예측 인코딩에 의해, 그리고 특히 잔차 데이터를 인코딩하기 위해 지원 평면들을 또한 레버리지함으로써 티어드 시간 계층에서 인코딩된 3-차원 시간-기반 신호의 비-한정적인 예시적인 실시예를 예시하는 예시적인 다이어그램이다. 예시적인 입력 신호는 도 1e에서 설명된 것과 동일하고, 이는 모든 실제 목적들을 위해, 2-차원 프레임들의 시퀀스로 구성된 비디오 신호로서 생각할 수 있다.
그래픽 표현은 도 4a가 스팬들의 각각에 대응하는 절대 잔차들 R의 세트들(스팬들 자체들과 대조적으로) 및 도시된 LOQ들의 각각의 로트들의 각각에 대한 지원 평면들을 도시하기 때문에, 도 1e에서 채택된 것과 상이하다(특히, 그것은 스팬들의 각각의 상이한 시간 지속 기간들 및 샘플링 위치들을 나타내지 않는다). 도 4a는 상이한 품질 레벨들의 스팬들에 대한 얼마나 많은 양의 잔차 데이터가 점점 더 낮은 공간 해상도들(즉, 엘리먼트들의 양들)을 갖는지를 예시하고, - 프레이밍이 지원 평면에 적용되는 LOQ들 및 로트들에 대하여 - 주어진 품질 레벨의 주어진 지원 평면의 렌디션은 상기 지원 평면에 의해 지원되는 동일한 품질 레벨의 스팬에 대응하는 절대 잔차들의 세트들보다 더 많은 양의 엘리먼트를 갖는다.
이런 비-한정적인 실시예에서, 로트에 대한 지원 평면은 LOQ #0의 로트의 스팬들의 샘플링 위치들의 평균보다 바로 낮거나 동일한 LOQ #0의 정수 샘플링 위치에 중심이 있다. 특히, 로트 1에 대한 지원 평면들(SP1)의 체인은 샘플링 위치 t=4에 중심이 있는 반면, 로트 2에 대한 지원 평면들(SP2)의 체인은 샘플링 위치 t=11에 중심이 있다.
특정 예시적인 경우에 대하여, 로트에 대한 절대 잔차들을 LOQ #-3까지 복원하는 것은 양자의 로트들에 대하여 단지 지원 체인의 복구와 같고, 즉, 절대 잔차들의 세트(134-4)는 지원 평면(SP1-4)과 일치하고, 절대 잔차들의 세트(133-4)는 지원 평면(1-3)과 일치하는 등등이다. 그와 반대로, 지원 평면은 품질 레벨들에 대한 그 자신의 개별의 아이덴티티를 갖고, 여기서, 로트는 하나보다 더 많은 스팬에 의해 나타낸다. 예를 들면, 로트 1의 LOQ #-2에 대하여, 지원 평면(SP1-2)은 절대 잔차들 R(132-2 및 132-6)의 세트들과 상이하다.
인코딩 및 디코딩 동작들은 위에서 예시된 방법들에 따라 작용한다. "인코더"로서 구성된 신호 프로세서("인코더")는 원시 품질 레벨("LOQ #0")의 신호의 렌디션(예를 들면, 일정한 샘플 레이트의 2-차원 스팬들의 시퀀스, 여기서 스팬들의 각각은 주어진 샘플링 위치 및 주어진 기간을 특징으로 한다)을 수신한다. 인코더는 신호를 처리하고 움직임 정보를 생성함으로써 시작한다. 적어도 부분적으로 상기 움직임 정보에 기반하여, 인코더는 이전 및 다음 시퀀스들(즉, "배치")과 무관하게 인코딩될 적합한 스팬들의 시퀀스를 식별한다; 인코더는, 적어도 부분적으로 적합한 인코딩 파라미터들에 기반하여, 또한 배치를 하나 또는 그 초과의 스팬들의 "로트들" 로 분할한다. 더 상세하게는, 도 4a에 예시된 바와 같이, 인코더는 13개의 스팬들의 배치를 식별하고, 그것을 8개의 스팬들로 구성된 로트 1, 및 5개의 스팬들로 구성된 로트 2로 분할한다.
각각의 로트 내에서, 인코더는 적합한 다운샘플링 및/또는 블렌딩 및/또는 다운블렌딩 동작들(또한, 스팬들에 걸친 움직임을 적합하게 다루기 위해 움직임 보상 동작들을 포함하는)의 수행을 개시하여, 신호에 대한 더 낮은 품질 레벨들을 생성한다. 더 낮은 품질 레벨의 스팬들이 더 높은 품질 레벨의 움직임-보상된 스팬들의 결합의 결과일 때(단지 더 높은 품질 레벨의 스팬의 공간 다운샘플링과 대조적으로), 인코더는 도시될 실제 이미지("목적지 평면")의 범위를 넘어 추가 열들 및 행들을 더 낮은 품질 레벨의 스팬들에 더함으로써 "프레이밍"의 정도를 도입하고, 그에 의해 신호가 그 품질 레벨로 디스플레이되어야 한다. 읽기 쉽게 하기 위해, 신호의 실제 스팬들은 도 4a에 도시되지 않는다.
로트의 다운샘플링된 렌디션의 차원들 중 하나가 1 엘리먼트의 해상도에 도달하면, 다음의 더 낮은 티어들에 대한 다운샘플링은 단지 잔여 차원들에 따른 다운샘플링함으로써 진행한다. 예를 들면, LOQ #-2에서 로트 2가 1 엘리먼트와 같은 시간 해상도에 도달하고(즉, 전체 로트가 단지 하나의 스팬에 의해 나타나는), 따라서 LOQ #-2에서 LOQ #-3까지의 로트 2의 다운샘플링은 공간 차원들(전형적으로 훨씬 더 높은 해상도를 갖는)에 따라서만 다운샘플링함으로써 진행한다.
각각의 로트내의 다운샘플링 프로세스는 가장 낮은 품질 레벨에 도달할 때까지 지속한다. 도 4의 비-한정적인 예에서, 가장 낮은 LOQ은 LOQ #-4이다.
일단 인코더가 가장 낮은 LOQ #-4를 생성하면, 인코더는 가장 낮은 레벨에 대하여 절대 잔차들(134-4 및 134-11)의 세트들을 생성한다(이런 간단한 비-한정적인 실시예에서, 가장 낮은 레벨의 2개의 스팬들의 엘리먼트들을 양자화함으로써); LOQ #-4에서, 절대 잔차들(134-4 및 134-11)의 상기 세트들은 또한 LOQ #-4의 로트 1 및 로트 2에 대하여 지원 평면들(SP1-4 및 SP2-4)과 각각 일치한다. 그 결과, LOQ #-4에서, 지원 평면 잔차들 RI는 절대 잔차들 R과 일치하고, 상대 잔차들 RⅡ는 모두 0과 같다.
인코더는 그 다음 적합한 업샘플링 동작들을 수행하고 LOQ #-3에 대한 예측 스팬들을 생성하는 디코더 측에서 수행된 동작들의 시뮬레이션을 시작한다. 이런 비-한정적인 실시예에서, 인코더는 LOQ #-1까지 차원당 2개의 엘리먼트들 및 LOQ #-1에서 LOQ #0까지 차원당 4개의 엘리먼트들을 포함하는 커널들에 의해 시간 업샘플링 동작들을 레버리지한다. 이전에 이미 언급된 바와 같이, 이는 더 낮은 LOQ들에서, 엘리먼트들은 시간 및 공간 양자에서 더 멀리 떨어지고, 그래서 엘리먼트들 사이의 상관관계는 비교적 국부적일 가능성이 있다(예를 들면, 그것은 제한된 이점들을 제공하고, 종종 상관관계가 없는 스팬들에 "공헌을 요청"하는 것은 훨씬 역효과이다)는 사실에 기인한다.
예측된 스팬들과 다운샘플링을 통하여 생성된 티어드 계층의 다운샘플링된 스팬들을 비교함으로써, 인코더는 절대 잔차들(133-4 및 133-11)의 세트들을 생성하는데, 이는 다시 LOQ #-3의 2개의 지원 평면들(SP1-3 및 SP2-3)과 일치한다. 인코더는 LOQ #-3에 대한 복원된 렌디션들에 기반하여, LOQ #-2에 대한 예측된 스팬들을 생성함으로써 진행한다. 예측된 스팬들을 다운샘플링을 통하여 생성된 티어드 계층의 다운샘플링된 스팬들과 비교함으로써, 인코더는 절대 잔차들(132-2, 132-6 및 132-11)의 세트들을 생성한다. LOQ #-2에서, 로트 1은 2개의 스팬으로 구성되고, 그래서 지원 평면은 절대 잔차들의 어떤 세트와도 더 이상 일치하지 않지만, 그것은 실질적으로 절대 잔차들(132-2 및 132-6)의 2개의 세트들을 예측하기 위해 사용될 지원 엘리먼트들의 세트이다. 인코더는 따라서 먼저 그것의 "이상적인" 렌디션 S를 계산(즉, 사전-인코딩 및 복원)함으로써, 지원 평면(SP1-2)의 계산을 진행한다 :
Figure pct00042
여기서, 움직임 보상 동작들은 지원 평면(SP1-2)의 샘플링 위치, 즉, t=4에 대하여 수행된다.
이런 비-한정적인 실시예에서 지원 평면들이 또한 티어드 계층 방법들에 따라 인코딩되기 때문에, 인코더는 그 다음 적합한 업샘플링 동작들을 LOQ #-3의 지원 평면(SP1-3)에 적용함으로써 예측된 지원 평면 V를 계산하는 것으로부터 시작하여 지원 평면들에 대하여 복원 데이터를 생성하는 것으로 진행한다. 인코더는 그 다음 지원 평면 잔차들 RI를 계산한다 :
RI = S - V
그 결과, 인코더(디코더에서 수행될 동작들을 시뮬레이션하는)는 지원 평면 (SP1-2)의 렌디션(수학적으로 "Z"로 설명된)을 복원한다:
Figure pct00043
인코더는 절대 잔차들 R(132-2 및 132-6)의 세트들과 지원 평면(SP1-2)의 움직임-보상된 렌디션들(각각의 대응하는 스팬의 샘플링 위치에 대하여) 사이의 차이를 계산함으로써, 이제 로트 1의 LOQ #-2(도면에 도시되지 않음)의 2개의 스팬들에 대한 상대 잔차들의 세트들을 생성할 수 있다.
인코더는 유사한 방식으로 가장 높은 LOQ까지 진행하여, 필요한 복원 데이터(예를 들면, 이런 비-한정적인 예시적인 경우에서, 각각의 로트의 각각의 LOQ에 대한 지원 평면 잔차들, 상대 잔차들 및 설명 정보)의 모두를 생성한다.
디코더 측에서, 디코더로서 구성된 신호 프로세서는 본질적으로 복원 데이터를 생성하기 위해 인코더 측에서 시뮬레이션된 동일 동작들을 수행한다. 디코더는 데이터 스트림을 수신하고, 또한 적합한 디코딩 파라미터들에 기반하여, 복원될 스팬들의 시퀀스를 식별하기 위해 싱크 마커 메타데이터를 디코딩함으로써 시작한다. 가장 낮은 LOQ로부터 시작하여, 디코더는 지원 평면 데이터와 상대 잔차 데이터를 적합하게 결합함으로써, 더 높은 LOQ의 스팬들에 대한 예측들을 복원하고, 지원 평면 데이터를 복원하며, 절대 잔차 데이터를 복원하고, 그 결과 더 높은 LOQ의 스팬들에 대한 렌디션들을 복원한다.
일단 적합한 LOQ을 복원하면, 신호 프로세서는, 예를 들면, 복원된 신호를 재생 디바이스로 전송함으로써 복원된 신호를 사용자에게 제공한다. 수신되었었던 복원 데이터 및/또는 실시간 디코딩 제한들 및/또는 다른 제한들(예를 들면, 계산 전력 소비의 최소화, 전력 소비의 최소화, 흡수 대역폭의 최소화, 재생 속도의 최대화 등)에 기반하여, 및/또는 특정 입력 파라미터들에 대응하여, 디코더는 또한 신호의 상이한 부분들에 대한 상이한 LOQ들로의 디코딩을 중지할 수 있다.
또 다시, 예시된 실시예는 비-한정으로서 고려되어야 하고, 당업자는 비-한정적인 실시예들 및 지금까지 논의된 방법들의 모두와 도 4a에 도시된 예시적인 실시예를 결합하는 방법을 용이하게 추론할 수 있다.
다른 비-한정적인 실시예들에서, 주어진 로트의 주어진 LOQ에 대한 지원 평면은 움직임 보상된 절대 잔차들의 시간에 따라 가중 평균을 수행하는 것이 아니라 실제 움직임 보상된 스팬들의 시간에 따른 가중 평균을 수행함으로써 계산된다. 주어진 스팬에 대한 절대 잔차들은 따라서 대응하는 상대 잔차들과 주어진 스팬에 대한 예측 스팬과 지원 평면의 움직임 보상된 렌디션 사이의 차이들을 결합함으로써 획득될 수 있다; 그래도 역시, 디코더가 움직임 보상된 지원 평면과 상대 잔차들을 단지 결합함으로써 주어진 LOQ의 신호의 렌디션을 생성할 수 있기 때문에 이들 실시예들은 디코더가 절대 잔차들을 생성하도록 요구하지 않는다. 이와 같은 실시예들에서, 주어진 LOQ에 대한 지원 평면은 실제로 로트의 상관관계 정보의 모두를 나타낸다(단지 상관관계가 있는 잔차 데이터와 대조적으로). 이들 비-한정적인 실시예들은 LOQ들의 티어드 계층의 부재시 특히 유용하다.
다른 비-한정적인 실시예들에서, 이웃하는 로트들의 지원 평면 정보는 스팬들의 절대 잔차들에 대한 예측들을 생성하기 위해 적합하게 레버리지된다(예를 들면, 지원 평면들의 움직임 보상된 렌디션들의 가중된 평균을 계산함으로써).
다른 비-한정적인 실시예들에서, 이웃하는 로트들의 지원 평면들은 어그리게이션의 레벨들의 티어드 계층으로 인코딩된다.
도 4b 및 도 4c는 주어진 LOQ의 절대 잔차들에 대한 지원 평면들의 비-한정적인 예시적인 실시예를 예시하는 예시적인 다이어그램이고, 여기서, 상기 지원 평면들은 어그리게이션의 레벨들의 티어드 계층으로 인코딩된다. 예시적인 입력 신호는 도 4a에 도시된 것과 동일하고, 이는 모든 실제 목적들을 위하여, 2-차원 프레임들의 시퀀스(상기 방법의 목적을 위해, 우리의 스팬들)로 구성된 비디오 신호로서 생각할 수 있다. 그러나, 로트들에서 신호의 배치의 분할은 사이하고, 또한 LOQ #0에 기반하여 Q #-1을 획득하기 위해 사용된 다운샘플링 동작은 상이하다. 특히, 도 4c에 예시된 바와 같이, 도 1e 및 도 4a에서 예시된 비-한정적인 실시예들과 다르게, 이런 비-한정적인 실시예에서, LOQ #-1은 간단한 공간 다운샘플링, 즉, LOQ #0으로서 동일 샘플 레이트를 유지하는 것을 통하여 획득된다. 유사한 구성은 바람직하고, 여기서, 가장 높은 LOQ의 샘플 레이트는 LOQ #-1의 렌디션의 품질에서 초과 드롭들을 방지하기 위해 비교적으로 낮다.
도 4a에서 유사하게, 도 4b는 스팬들의 각각에 대응하는 절대 잔차들 R의 세트들(스팬들 자신들을 도시하는 것과 대조적으로) 및 로트들의 각각에 대한 지원 평면들을 그래프로 도시한다. 도 4b는 읽기 쉬움 목적들을 위해, 신호의 가장 높은 LOQ #0만을 도시하는 반면, 도 4c는 다음 낮은 LOQ #-1의 지원 평면에 의해 발생하는 것을 도시한다. 이미 언급된 바와 같이, 이런 특정 비-한정적인 실시예에서, 도 4c에 도시된 신호의 다음 더 낮은 LOQ은 가장 높은 LOQ과 동일한 샘플 레이트를 갖지만, 더 낮은 공간 해상도를 갖는다.
도 4a에 도시된 것과 유사하게, 지원 평면들(SP1-0, SP2-0, ...., SP6-0)의 각각은 대응하는 로트의 절대 잔차들의 세트들의 복원을 지원한다. 도 4a에 도시된 것과 달리, 그러나, 더 낮은 품질 레벨의 동일한 로트의 대응하는 지원 평면에 기반한 복원(SPi-0) 대신, 이런 비-한정적인 실시예는 LOQ #0에 대하여 생성된 어그리게이션의 레벨들의 특정 티어드 계층에 기반하여 지원 평면들을 인코딩 및 디코딩한다(즉, 공간 다운샘플링의 수행 없지만, 단지 움직임-보상된 시간 블렌딩).
특히, 인코더로서 구성된 신호 프로세서는 LOQ #의 스팬들의 각각에 대하여 절대 잔차들 R(130-1, ..., 130-13)의 세트들을 생성하고, 지원 평면들(SP1-0, SP2-0, ..., SP6-0)을 생성하며, 여기서, 각각의 평면은 대응하는 로트의 절대 잔차들의 세트들의 움직임-보상된 렌디션들을 적합하게 결합함으로써 획득된다. 이런 간략화된 비-한정적인 실시예에서, 로트들은 최대 3개의 스팬들로 이루어지도록 선택되고, 지원 평면의 샘플링 위치는 각각의 주어진 로트의 제 1 스팬의 샘플링 위치와 같다. 지원 평면들(SP1-0, ...., SP6-0)은 어그리게이션의 레벨(LOA) #0의 LOQ #0에 대한 지원 평면들이라고 한다.
인코더는 그 다음 이어서 지원 평면들(SP1-0 및 SP2-0)을 더 높은 어그리게이션의 레벨(LOA #1)의 더 고차 지원 평면(SP1+3-0-1)에 따라 인코딩한다. 특히, 인코더는 SP1+3-0-1의 샘플링 위치(이런 실시예에서, SP1-0의 샘플링 위치에 대한 세트, 즉, 더 고차 지원 평면으로 결합되는 평면들의 샘플링 위치의 더 아래)에 따라 SP1-0 및 SP2-0의 움직임-보상된 렌디션들을 적합하게 결합함으로써 SP1+3-0-1을 생성한다. 인코더는 지원 평면들(SP1-0 및 SP2-0)의 각각에 대하여 상기 평면들과 지원 평면(SP1+3-0-1)의 움직임-보상된 렌디션 사이의 차이에 기반하여, 다음 식에 따라 지원 평면 잔차들 RI *(도면에 도시되지 않음)을 생성한다 :
Figure pct00044
여기서, S는 인코더에 의해 처음에 계산된 바와 같은 지원 평면(즉, SP1-0 또는 SP2-0 중 어느 하나)을 나타내고, Z는 디코더 측에서 상기 지원 평면의 복원된 렌디션(잔차 데이터를 적합하게 생성하기 위해 디코더가 복원할 수 있는 것에 기반하여 인코더에 의해 시뮬레이션된)을 나타낸다.
동일 방법들에 따르면, 인코더는 더 고차 지원 평면들(SP3+4-0-1 및 SP5+6-0-1)뿐만 아니라, 더 고차 지원 평면(SP3+4-0-1)에 기반하여 지원 평면들(SP3-0 및 SP4-0) 및 더 고차 지원 평면(SP5+6-0-1)에 기반하여 지원 평면들(SP5-0 및 SP6-0)을 복원하기 위해 필요한 지원 평면 잔차들 RI *의 세트들(각각의 지원 평면당 하나의 세트)을 생성한다.
다른 비-한정적인 실시예에서, 인코더는 또한 LOA #2의 하나 또는 그 초과의 훨씬 더 고차 지원 평면들 (예를 들면, 도 4b에 도시된 더 고차 지원 평면(SP1+2+3+4+5+6-0-2)에 따라 더 고차 지원 평면들을 LOA#1로 인코딩한다. 이들 실시예들에서, 인코더는 지원 평면 잔차들 RI *의 세트들을 생성하기 시작하기(디코더 측에서 가장 높은 어그리게이션의 레벨로부터 시작함으로써 복원 프로세스를 시뮬레이션하기) 전에, 가장 높은 어그리게이션의 레벨까지 지원 평면들을 생성한다.
디코더 측에서, 디코더는 가장 높은 어그리게이션의 레벨의 로트들의 배치에 대하여 더 고차 지원 평면들에 대응하는 복원 데이터를 수신 및 디코딩함으로써 LOA #0의 지원 평면들(즉, 절대 잔차들의 세트들을 복원하기 위해 필요한 지원 평면들)을 복원한다. 디코더는 그 다음 다음 더 낮은 어그리게이션의 레벨의 지원 평면들에 대한 예측들을 복원하고, 수신된 지원 평면 잔차들 RI *의 세트들에 기반하여 상기 예측들을 조정한다. 디코더는 가장 낮은 어그리게이션의 레벨까지(또는 더 좋게는, 그에 이르기까지) 지원 평면들의 지원 평면들의 티어드 계층을 복원한다.
도 4c에 도시된 바와 같이, 신호의 주어진 배치의 모든 LOQ는 지원 평면들의 어그리게이션의 레벨의 그 자신의 티어드 계층을 갖는다. 이런 비-한정적인 실시예에서, 주어진 LOQ의 지원 평면의 티어드 계층은 신호의 다른 LOQ들의 지원 평면들이 티어드 계층과 관계없다.
도 5는 지원 평면 Z(150)에 기반하여 평면들(130-1, ..., 130-n)의 인코딩 및 디코딩의 비-한정적인 실시예를 더 예시한다.
실시예는 본 출원의 다른 섹션들에서 이미 설명된 것들과 유사한 방법들에 따라 작용한다. 지원 평면 생성기(500)는 적어도 부분적으로 설명 정보(155)에 기반하여 입력 평면들(130-1, ..., 130-n)을 처리하여 지원 평면 Z(150)를 생성한다. 상대 잔차들의 생성기(510)는 입력 평면들(130-1, ..., 130-n), 설명 정보(155) 및 지원 평면 Z(150)를 처리하여 상대 잔차들 RII(160)의 세트들(여기서, 상기 세트들의 각각은 특정 입력 평면(130-i)에 대응한다)을 생성한다. 엔트로피 인코더(520)는 설명 정보(155), 지원 평면 Z(150) 및 상대 잔차들 RII(160)의 세트들을 처리하여, 인코딩된 데이터(530-155, 530-150 및 530-160)를 각각 생성한다.
지원 평면들의 디코더(540)는 인코딩된 데이터(530-150)를 처리하여 복원된 지원 평면(5-150)을 생성한다.
상대 잔차들의 디코더(545)는 인코딩된 데이터(530-160)를 처리하여 복원된 상대 잔차들(5-160)의 세트들을 생성하고, 상기 세트들의 각각은 특정 입력 평면(130-i)의 복원된 렌디션에 대응한다.
복원기(550)는 복원된 지원 평면(5-150) 및 복원된 상대 잔차들(5-160)을 처리하여 복원된 평면들(5-130-1, ..., 5-130-n)을 생성한다.
도 6은 지원 평면에 의해 복원된 절대 잔차들에 기반하여 신호의 엘리먼트들의 세트들의 디코딩의 비-한정적인 실시예를 더 예시한다.
움직임 보상기(630)는 지원 평면(610) 및 움직임에 관한 설명 정보(615)를 수신 및 처리하여 움직임-보상된 지원 평면(635)을 생성한다. 움직임-보상된 지원 평면(635)은 기준 잔차들(650)의 평면을 생성하는 기준 잔차의 계산기(640)에 의해 설명 정보(645)로 처리된다.
기준 잔차들(650)은 절대 잔차들(670)을 생성하는 결합기(660)에 의해 상대 잔차(620)와 결합된다.
절대 잔차들(670)은 렌디션 Y(690)를 생성하는 결합기(680)에 의해 예측(600)과 결합된다.
도 7a 및 도 7b는 지원 평면에 기반하여 절대 잔차들의 세트들의 인코딩 및 디코딩의 비-한정적인 실시예를 더 예시한다.
인코더로 구성된 신호 프로세서에서, 절대 잔차들(130-1 및 130-2)은 지원 평면 Z(750) 및 메타데이터(755)를 생성하는 지원 평면 생성기(700)에 의해 처리된다.
디코더로 구성된 신호 프로세서는 지원 평면 Z(750), 움직임에 관한 메타데이터(755-1) 및 상대 잔차들(760-1)을 수신한다. 기준 잔차들의 계산기(710)는 움직임에 관한 메타데이터(755-1)에 기반하여 지원 평면 Z(750)를 처리하여 기준 잔차들(740-1)의 평면을 생성한다. 결합기(720)는 그 다음 기준 잔차들(740-1)과 상대 잔차들(760-1)을 결합하여, 기준 잔차들 1의 렌디션(730-1)(즉, 절대 잔차들(130-1)의 인코딩된 평면에 대응하는 복원된 렌디션)을 생성한다.
도 8은 본 명세서의 실시예들에 따른 컴퓨터 처리를 제공하는 컴퓨터 시스템(800)의 블록 다이어그램이다.
컴퓨터 시스템(800)은 개인 컴퓨터, 처리 회로, 텔레비전, 재생 디바이스, 인코딩 디바이스, 워크스테이션, 휴대용 컴퓨팅 디바이스, 모바일 폰, 태블릿, 콘솔, 셋톱박스, 네트워크 단말, 처리 디바이스, 네트워크 디바이스와 같은 컴퓨터화된 디바이스일 수 있거나 이를 적어도 포함할 수 있고, 스위치, 라우터, 서버, 클라이언트 등으로 동작할 수 있다.
다음의 논의는 이전에 논의된 바와 같은 신호 프로세서와 관련된 기능을 어떻게 수행하는지를 나타내는 기본 실시예를 제공한다는 것에 유의하라. 그러나, 본 명세서에서 설명된 바와 같은 동작들을 수행하기 위한 실제 구성은 각각의 애플리케이션에 따라 변할 수 있다는 것에 유의해야 된다.
도시된 바와 같이, 본 예의 컴퓨터 시스템(800)은 통신 버스(811)를 포함하는데, 이는 비-일시적인 컴퓨터-판독가능한 저장 매체 등과 같은 컴퓨터 판독가능한 저장 매체(812)와의 통신을 제공하고, 이 매체에서 디지털 정보가 저장되고 검색될 수 있다.
컴퓨터 시스템(800)은 프로세서(813), I/O 인터페이스(814), 및 통신 인터페이스(817)를 더 포함할 수 있다.
일 실시예에서, I/O 인터페이스(814)는 저장소(880), 및 존재한다면, 스크린 디스플레이, 오디오 스피커들, 키보드, 컴퓨터 마우스 등과 같은 주변 장치들(816)에 대한 연결을 제공한다.
위에서 간략하게 언급한 바와 같이, 컴퓨터 판독가능한 저장 매체(812)는 메모리, 광 스토리지, 고체 상태 스토리지, 하드 드라이브, 플로피 디스크 등과 같은 임의의 적합한 디바이스 및/또는 하드웨어일 수 있다. 일 실시예에서, 저장 매체(812)는 신호 프로세서 애플리케이션(840-1)과 관련된 명령들을 저장하도록 구성된 비-일시적인 저장 매체(즉, 비-운송 파 매체)이다. 명령들은 본 명세서에서 논의된 바와 같은 동작들 중 임의의 것을 수행하기 위해 프로세서(813)와 같은 각각의 자원에 의해 실행된다.
통신 인터페이스(817)는 컴퓨터 시스템(800)이 원격 소스들로부터 정보를 검색하기 위해 그리고 다른 컴퓨터들, 스위치들, 클라이언트들, 서버들 등과 통신하기 위해 네트워크(890)를 통하여 통신할 수 있게 한다. I/O 인터페이스(814)는 또한 프로세서(813)가 저장소(880)로부터 저장된 정보를 검색할 수 있거나 검색을 시도할 수 있게 한다.
도시된 바와 같이, 컴퓨터 판독가능한 저장 매체(812)는 프로세스(840-2)로서 프로세서(813)에 의해 실행되는 신호 프로세서 애플리케이션(840-1)으로 인코딩될 수 있다.
컴퓨터 시스템(800)은 데이터 및/또는 로직 명령들을 저장하기 위한 컴퓨터 판독가능한 저장 매체(812)를 포함하도록 구현될 수 있다는 것에 유의하라.
신호 프로세서 애플리케이션(840-1)과 관련된 코드는 본 명세서에서 예시된 신호 프로세서들의 기능들 및/또는 본 명세서에서 논의된 본 발명을 구현하는데 필요한 다른 자원들을 구현할 수 있다.
일 실시예의 동작 동안, 프로세서(813)는 컴퓨터 판독가능한 저장 매체(812)에 저장된 신호 프로세서 애플리케이션(840-1)의 명령들을 개시(launch), 런(run), 실행, 변환 또는 그렇지 않으면 수행하기 위해 통신 버스(811)를 통하여 컴퓨터 판독가능한 저장 매체(812)에 액세스한다. 신호 프로세서 애플리케이션(840-1)의 실행은 프로세서(813)에서 처리 기능을 생성한다. 다시 말하면, 프로세서(813)와 관련된 신호 프로세서 프로세스(840-2)는 컴퓨터 시스템(800)의 프로세서(813) 내에서 또는 그 상에서 신호 프로세서 애플리케이션(840-1)을 실행하는 하나 또는 둘 이상의 양상들을 나타낸다.
당업자는 컴퓨터 시스템(800)이 신호 프로세서 애플리케이션(840-1)을 실행하기 위해 하드웨어 처리 자원들의 할당 및 사용을 제어하는 운영 체제 또는 다른 소프트웨어와 같은 다른 프로세스들 및/또는 소프트웨어 및 하드웨어 컴포넌트들을 포함할 수 있다는 것을 이해할 것이다.
상이한 실시예들에 따르면, 컴퓨터 시스템은 개인 컴퓨터 시스템, 데스크톱 컴퓨터, 랩톱, 노트북, 넷북 컴퓨터, 메인프레임 컴퓨터 시스템, 핸드헬드 컴퓨터, 워크스테이션, 네트워크 컴퓨터, 애플리케이션 서버, 저장 디바이스, 카메라, 캠코더, 셋톱 박스, 모바일 디바이스, 스마트폰, 태블릿, 비디오 게임 콘솔, 핸드헬드 비디오 게임 디바이스와 같은 가전 제품 디바이스, 스위치, 모뎀, 라우터와 같은 주변 장치, 또는 일반적으로, 임의의 유형의 컴퓨팅 또는 전자 디바이스를 포함하지만 이에 한정되지 않는 다양한 유형들의 디바이스들 중 임의의 것일 수 있다는 것에 유의하라.
본 명세서의 기법들은 계층 시스템에서의 인코딩 및 디코딩에 매우 적합하다는 것에 한 번 더 유의하라. 그러나, 본 명세서의 실시예들은 이와 같은 애플리케이션들에서 사용하도록 한정되지 않고, 본 명세서에서 논의된 기법들은 또한 다른 애플리케이션들에 대하여 매우 적합하다는 것에 유의해야 한다.
본 명세서에서 개시된 설명에 기반하여, 많은 특정 세부사항들이 청구된 요지의 완전한 이해를 제공하기 위해 개시되었다. 그러나, 청구된 요지가 이런 특정 세부사항들 없이 실시될 수 있다는 것이 당업자에 의해 이해될 것이다. 다른 예들에서, 당업자에 의해 알려질 수 있는 방법들, 장치들, 시스템들 등은 청구된 요지를 모호하게 하지 않도록 상세하게 설명되지 않았다. 상세한 설명의 몇몇 부분들은 컴퓨터 메모리와 같은 컴퓨팅 시스템 메모리 내에 저장된 데이터 비트들 또는 이진 디지털 신호들에 관한 동작들의 알고리즘 또는 기호 표현들의 면에서 나타내었다. 이런 알고리즘의 설명들 또는 표현들은 다른 당업자에게 그것들의 작용의 실체를 전달하기 위해 데이터 처리 분야의 당업자에 의해 사용되는 기법들의 예들이다. 본 명세서에서 설명된 바와 같은, 그리고 일반적으로 알고리즘은 원하는 결과를 초래하는 동작들 또는 유사한 처리의 자기-모순이 없는(self-consistent) 시퀀스로 고려된다. 이런 맥락에서, 동작들 또는 처리는 물리적 양들의 물질적 조작을 수반한다. 전형적으로, 반드시는 아니지만, 이와 같은 양들은 저장되거나, 전송되거나, 조합되거나, 비교되거나, 그렇지 않으면 조작될 수 있는 전기적 또는 자기적 신호들의 형태를 취할 수 있다. 이와 같은 신호들을 비트들, 데이터, 값들, 설정들, 엘리먼트들, 심볼들, 문자들, 용어들, 숫자들, 부호들(numerals) 등으로서 지칭하는 것이 주로 공동 이용의 이유들을 위해 때때로 편리한 것으로 증명되었다. 그러나, 이들 및 유사한 용어들의 전부는 적절한 물리적 양들과 관련되는 것이며, 단지 편의적인 라벨들이라는 것이 이해되어야 한다. 특별히 다르게 서술되지 않으면, 다음의 논의로부터 명백해지는 바와 같이, 본 명세서 전반에서 "처리", "컴퓨팅", "계산", "생성", "결정" 등과 같은 용어들을 이용하는 논의들은 컴퓨팅 플랫폼의 메모리들, 레지스터들 또는 다른 정보 저장 디바이스들, 전송 디바이스들 또는 디스플레이 디바이스들 내의 물리적 전기적 또는 자기적 양들로서 표현되는 데이터를 조작하거나 변환하는, 컴퓨터 또는 유사한 전자 컴퓨팅 디바이스와 같은 컴퓨팅 플랫폼의 동작들 또는 프로세스들을 지칭하는 것이 이해될 것이다.
본 발명은 이들의 바람직한 실시예들을 참조하여 특히 도시되고 설명되었지만, 형태 및 세부사항들의 다양한 변형들이 첨부된 청구범위들에 의해 정의된 바와 같은 본 출원의 사상 및 범위를 벗어나지 않고, 그 안에서 이루어질 수 있다는 것이 당업자에 의해 이해될 것이다. 이와 같은 변형들은 본 출원의 범위에 의해 커버되도록 의도된다. 이와 같이, 본 출원의 실시예들의 상술한 설명은 한정되도록 의도되지 않는다. 오히려, 본 발명에 대한 임의의 한정들은 다음의 청구범위에 제시된다.

Claims (43)

  1. 원시(original) 세트들의 값들의 시퀀스를 인코딩하기 위한 방법으로서,
    컴퓨터 처리 하드웨어를 통하여,
    제 1 세트의 지원 값들을 생성하기 위해, 상기 세트들의 값들의 시퀀스를 처리하고 상기 시퀀스에서의 다수의 세트들의 값들을 이용하는 단계 - 상기 제 1 세트의 지원 값들은 상기 시퀀스에서의 상기 원시 세트들의 값들 각각을 실질적으로 재생하기 위한 기준선을 형성하도록 결정됨 - ;
    상기 제 1 세트의 지원 값들에 대응하는 복원 데이터를 생성하는 단계를 포함하는,
    원시 세트들의 값들의 시퀀스를 인코딩하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 원시 세트들의 값들의 시퀀스에서 적어도 하나의 주어진 값들의 세트에 하여, 상기 방법은 상기 주어진 원시 세트의 값들 및 상기 제 1 세트의 지원 값들에 적어도 부분적으로 기반하여 추가 복원 데이터를 생성하는 단계를 더 포함하는,
    원시 세트들의 값들의 시퀀스를 인코딩하기 위한 방법.
  3. 제 2 항에 있어서,
    상기 추가 복원 데이터는 상대 잔차 복원 데이터(relative residual reconstruction data)를 포함하고,
    상기 방법은,
    상기 제 1 세트의 지원 값들에 적어도 부분적으로 기반하여 제 2 세트의 기준 값들을 결정하는 단계;
    제 3 세트의 잔차 값들을 결정하는 단계 - 상기 제 3 세트의 잔차 값들은 상기 주어진 값들의 세트와 상기 제 2 세트의 기준 값들 사이의 차이들에 대응함 -;
    상기 제 3 세트의 잔차 값들에 대응하는 상대 잔차 복원 데이터를 결정하는 단계;
    적어도 상기 상대 잔차 복원 데이터를 저장하는 단계 및 디코더로 전송하는 단계 중 적어도 하나의 단계를 포함하는,
    원시 세트들의 값들의 시퀀스를 인코딩하기 위한 방법.
  4. 제 3 항에 있어서,
    상기 제 2 세트의 기준 값들을 결정하는 단계는,
    상기 주어진 원시 세트의 값들에 대응하는 설명 정보를 처리하는 단계;
    상기 설명 정보에 기반하여 상기 제 1 세트의 지원 값들을 처리하여 상기 제 2 세트의 기준 값들을 생성하는 단계를 포함하는,
    원시 세트들의 값들의 시퀀스를 인코딩하기 위한 방법.
  5. 제 2 항에 있어서,
    상기 제 1 세트의 지원 값들을 결정하는 단계는,
    상기 원시 세트들의 값들의 시퀀스에서의 주어진 값들의 세트에 대응하는 설명 정보를 수신하는 단계;
    상기 설명 정보에 기반하여 상기 주어진 값들의 세트를 처리하여, 보상된 세트의 값들을 결정하는 단계;
    상기 보상된 세트의 값들에 적어도 부분적으로 기반하여 상기 제 1 세트의 지원 값들을 결정하는 단계를 포함하는,
    원시 세트들의 값들의 시퀀스를 인코딩하기 위한 방법.
  6. 제 5 항에 있어서,
    상기 제 1 세트의 지원 값들의 적어도 하나의 엘리먼트의 값을 결정하는 단계는,
    둘 또는 그 초과의 보상된 세트의 값들에 속하는 대응하는 엘리먼트들을 서로 관련시킴으로써(correlating) 상관관계가 있는 엘리먼트들의 서브세트를 결정하는 단계 - 상기 보상된 세트들의 값들 각각은 상기 원시 세트들의 값들의 시퀀스에서의 값들의 세트에 대응함 -;
    상기 적어도 하나의 엘리먼트에 대한 값을 획득하기 위해 상관관계가 있는 엘리먼트들의 상기 서브세트의 엘리먼트들의 결합을 수행하는 단계를 포함하는,
    원시 세트들의 값들의 시퀀스를 인코딩하기 위한 방법.
  7. 제 6 항에 있어서,
    상기 결합은 가중 평균, 산술 평균, 중앙값(median), 최빈값(mode)을 포함하는 연산들의 세트로부터 선택된 연산을 수행함으로써 계산되는,
    원시 세트들의 값들의 시퀀스를 인코딩하기 위한 방법.
  8. 제 6 항에 있어서,
    상기 상관관계가 있는 엘리먼트들 중 둘 사이의 차이가 임계값보다 높으면, 지원 평면의 엘리먼트는 디폴트 값이 할당되는,
    원시 세트들의 값들의 시퀀스를 인코딩하기 위한 방법.
  9. 제 4 항에 있어서,
    상기 제 2 세트의 기준 값들을 생성하기 위해 상기 제 1 세트의 지원 값들을 처리하는 단계는 리샘플링 계산들, 움직임-보상 연산들, 균등화 연산들을 포함하는 연산들의 세트로부터 선택된 적어도 하나의 연산을 포함하는,
    원시 세트들의 값들의 시퀀스를 인코딩하기 위한 방법.
  10. 제 5 항에 있어서,
    보상된 세트의 값들을 생성하기 위해 상기 원시 세트들의 값들의 시퀀스에서의 값들의 세트를 처리하는 단계는 리샘플링 계산들, 움직임-보상 연산들, 균등화 연산들을 포함하는 연산들의 세트로부터 선택된 적어도 하나의 연산을 포함하는,
    원시 세트들의 값들의 시퀀스를 인코딩하기 위한 방법.
  11. 제 5 항에 있어서,
    상기 원시 세트들의 값들의 시퀀스에서의 적어도 하나의 주어진 값들의 세트에 대하여, 상기 주어진 값들의 세트에 대응하는 상기 보상된 세트의 값들은 실질적으로 상기 주어진 값들의 세트와 동일한,
    원시 세트들의 값들의 시퀀스를 인코딩하기 위한 방법.
  12. 제 5 항에 있어서,
    보상된 세트의 값들을 생성하기 위해 주어진 값들의 세트를 처리하는 단계는 디폴트 값을 상기 보상된 세트의 값들의 엘리먼트들의 일부에 할당하는 단계를 포함하고, 디폴트 값들을 갖는 상기 엘리먼트들은 상기 제 1 세트의 지원 값들을 생성하는데 이용되지 않는,
    원시 세트들의 값들의 시퀀스를 인코딩하기 위한 방법.
  13. 제 1 항에 있어서,
    원시 세트들의 값들의 시퀀스에 대하여 계산된 상기 제 1 세트의 지원 값들은 상기 원시 세트들의 값들의 시퀀스에 속하지 않는 값들의 세트를 복원하기 위해 기준선(baseline)으로서 이용되는,
    원시 세트들의 값들의 시퀀스를 인코딩하기 위한 방법.
  14. 제 2 항에 있어서,
    상기 추가 복원 데이터에는 싱크-마킹(sync-marking) 정보가 할당되는,
    원시 세트들의 값들의 시퀀스를 인코딩하기 위한 방법.
  15. 제 3 항에 있어서,
    상기 제 1 세트의 지원 값들은 상기 원시 세트들의 값들의 시퀀스에서의 값들의 세트들 각각에 포함되는 엘리먼트들의 수와 상이한 엘리먼트들의 수를 포함하는,
    원시 세트들의 값들의 시퀀스를 인코딩하기 위한 방법.
  16. 제 3 항에 있어서,
    상기 원시 세트들의 값들 각각은 제 1 품질 레벨로 신호의 예비 렌디션(rendition)을 수행하기 위한 조정들에 대응하고, 상기 예비 렌디션은 제 2 품질 레벨의 상기 신호의 렌디션에 적어도 부분적으로 기반하여 생성되며, 상기 제 2 품질 레벨은 상기 제 1 품질 레벨보다 낮은,
    원시 세트들의 값들의 시퀀스를 인코딩하기 위한 방법.
  17. 제 3 항에 있어서,
    상기 추가 복원 데이터는 보상 복원 데이터를 포함하고,
    상기 방법은,
    상기 주어진 원시 세트의 값들에 대응하는 제 2 세트의 기준 값들을 생성하기 위해 상기 제 1 세트의 지원 값들에 대해 수행하기 위한 연산들에 대응하는 데이터를 생성하는 단계;
    상기 데이터에 대응하는 보상 복원 데이터를 생성하는 단계를 포함하는,
    원시 세트들의 값들의 시퀀스를 인코딩하기 위한 방법.
  18. 제 3 항에 있어서,
    상기 제 3 세트의 잔차 값들은 더 낮은 품질 레벨의 신호의 렌디션에 적어도 부분적으로 기반하여 더 처리되고,
    상기 방법은,
    상기 제 3 세트의 잔차 값들에 속하는 잔차 값들을 처리하는 단계 - 상기 잔차 값들은 제 1 품질 레벨의 신호의 제 1 렌디션에 대해 이루어지는 조정들에 대응함 -; 및
    제 4 세트의 변환된 잔차 값들을 생성하는 단계 - 상기 변환된 잔차 값들은 상기 잔차 값들 및 제 2 품질 레벨의 신호의 렌디션에 적어도 부분적으로 기반하고, 상기 제 2 품질 레벨은 상기 제 1 품질 레벨보다 낮음 -를 포함하는,
    원시 세트들의 값들의 시퀀스를 인코딩하기 위한 방법.
  19. 제 3 항에 있어서,
    상기 제 3 세트의 잔차 값들은 개별 서브세트들로 인코딩되고,
    상기 방법은,
    상기 제 3 세트의 잔차 값들을 처리하여, 잔차 값들의 복수의 서브세트들을 생성하는 단계; 및
    잔차 값들의 각각의 서브세트들을 개별적으로 인코딩하여, 상기 복수의 서브세트들에서의 다른 서브세트들과 독립적으로 각각 디코딩될 수 있는 복원 데이터의 대응하는 서브세트들을 생성하는 단계를 포함하는,
    원시 세트들의 값들의 시퀀스를 인코딩하기 위한 방법.
  20. 제 1 항에 있어서,
    인코더는 적어도 원시 세트들의 값들의 제 1 시퀀스 및 원시 세트들의 값들의 제 2 시퀀스를 처리하고,
    상기 방법은,
    제 1 세트의 지원 값들을 생성하기 위해, 원시 세트들의 값들의 상기 제 1 시퀀스를 처리하고 상기 제 1 시퀀스에서의 다수의 세트들의 값들을 이용하는 단계 - 상기 제 1 세트의 지원 값들은 상기 제 1 시퀀스에서의 원시 세트들의 값들 각각을 실질적으로 재생하기 위한 기준선임 -;
    제 2 세트의 지원 값들을 생성하기 위해, 원시 세트들의 값들의 상기 제 2 시퀀스를 처리하고 상기 제 1 시퀀스에서의 다수의 세트들의 값들을 이용하는 단계 - 상기 제 2 세트의 지원 값들은 상기 제 2 시퀀스에서의 원시 세트들의 값들 각각을 실질적으로 재생하기 위한 기준선임 -;
    n번째 세트의 지원 값들을 생성하기 위해, 절대 값들의 세트들의 임의의 추가 n번째 시퀀스를 처리하고 상기 시퀀스에서의 다수의 세트들의 값들을 이용하는 단계 - 상기 n번째 세트의 지원 값들은 상기 n번째 시퀀스에서의 원시 세트들의 값들 각각을 실질적으로 재생하기 위한 기준선임 - ;
    더 고차 세트의 지원 값들을 생성하기 위해, 생성된 세트들의 지원 값들을 처리하고 다수의 세트의 지원 값들의 값들을 이용하는 단계 - 상기 더 고차 세트의 지원 값들은 상기 생성된 세트들의 지원 값들의 각각을 실질적으로 재생하기 위한 기준선임 - ;
    상기 더 고차 세트의 지원 값들에 대응하는 더 고차 지원 복원 데이터를 생성하는 단계; 및
    상기 세트들의 지원 값들 각각에 대응하는 지원 복원 데이터를 생성하는 단계를 포함하는,
    원시 세트들의 값들의 시퀀스를 인코딩하기 위한 방법.
  21. 제 1 항에 있어서,
    상기 제 1 세트의 지원 값들은 품질 레벨들의 티어드(tiered) 계층에 따라 인코딩되며,
    상기 방법은,
    더 낮은 품질 레벨로 상기 세트의 지원 값들의 렌디션을 처리하는 단계;
    더 낮은 품질 레벨의 상기 세트의 지원 값들의 상기 렌디션에 적어도 부분적으로 기반하여, 상기 세트의 지원 값들의 예비 렌디션을 생성하는 단계;
    지원 평면 잔차 값들의 세트를 생성하는 단계 - 상기 지원 평면 잔차 값들은 상기 세트의 지원 값들과 상기 세트의 지원 값들의 상기 예비 렌디션 사이의 차이들에 대응함 -;
    상기 지원 평면 잔차 값들에 대응하는 지원 평면 복원 데이터를 생성하는 단계를 포함하는,
    원시 세트들의 값들의 시퀀스를 인코딩하기 위한 방법.
  22. 복원된 값들의 세트들의 시퀀스를 디코딩하기 위한 방법으로서,
    컴퓨터 처리 하드웨어를 통하여
    제 1 세트의 복원 데이터를 처리하여, 제 1 세트의 복원된 지원 값들을 생성하는 단계;
    제 2 세트의 복원 데이터를 처리하여, 복원된 잔차 값들의 세트들의 시퀀스를 생성하는 단계 - 상기 복원된 잔차 값들의 세트들 각각은 복원된 값들의 세트들의 시퀀스에서의 값들의 세트에 대응함 - ;
    상기 제 1 세트의 복원된 지원 값들에 적어도 부분적으로 기반하여 상기 복원된 잔차 값들의 세트들 각각과 대응하는 복원된 기준 값의 세트를 결합하여, 복원된 값들의 세트들의 시퀀스를 생성하는 단계를 포함하는,
    복원된 값들의 세트들의 시퀀스를 디코딩하기 위한 방법.
  23. 제 22 항에 있어서,
    복원된 값들의 세트들의 상기 시퀀스에서의 각각의 주어진 세트를 생성하는 단계는,
    상기 제 1 세트의 복원된 지원 값들에 적어도 부분적으로 기반하여 복원된 기준 값들의 세트를 생성하는 단계; 및
    복원된 기준 값들의 상기 세트와 대응하는 복원된 잔차 값들의 세트를 결합하는 단계를 포함하는,
    복원된 값들의 세트들의 시퀀스를 디코딩하기 위한 방법.
  24. 제 23 항에 있어서,
    복원된 기준 값들의 상기 세트를 생성하는 단계는,
    상기 복원된 값들의 세트들의 시퀀스에서의 상기 주어진 세트에 대응하는 설명 정보를 처리하는 단계; 및
    상기 설명 정보에 기반하여 상기 제 1 세트의 복원된 지원 값들을 처리하여, 복원된 기준 값들의 상기 세트를 생성하는 단계를 포함하는,
    복원된 값들의 세트들의 시퀀스를 디코딩하기 위한 방법.
  25. 제 24 항에 있어서,
    복원된 기준 값들의 세트를 생성하기 위해 상기 제 1 세트의 복원된 지원 값들을 처리하는 단계는 리샘플링 계산들, 움직임-보상 연산들, 균등화 연산들을 포함하는 세트에서 선택된 적어도 하나의 연산을 수행하는 단계를 포함하고, 상기 적어도 하나의 연산은 상기 설명 정보에 적어도 부분적으로 기반하는,
    복원된 값들의 세트들의 시퀀스를 디코딩하기 위한 방법.
  26. 제 25 항에 있어서,
    움직임-보상 연산들은 지원 평면의 일부를 선택하는 단계 및 움직임을 적용하는 단계를 포함하고, 상기 움직임은 다음 유형들의 움직임 : 오프셋, 스케일링, 회전 중 적어도 하나를 포함하는,
    복원된 값들의 세트들의 시퀀스를 디코딩하기 위한 방법.
  27. 제 24 항에 있어서,
    복원된 기준 값들의 주어진 세트를 생성하는 단계는,
    상기 주어진 세트에서의 각각의 주어진 엘리먼트에 대하여,
    상기 주어진 엘리먼트에 대한 대응하는 설명 값을 나타내는 설명 정보를 수신하는 단계;
    상기 설명 값에 적어도 부분적으로 기반하여, 상기 주어진 엘리먼트에 대응하는 상기 제 1 세트의 지원 값들에서의 엘리먼트들의 그룹을 결정하는 단계; 및
    상기 그룹 내의 상기 엘리먼트들의 값들에 적어도 부분적으로 기반하여, 상기 주어진 엘리먼트의 값을 결정하는 단계를 더 포함하는,
    복원된 값들의 세트들의 시퀀스를 디코딩하기 위한 방법.
  28. 제 22 항에 있어서,
    상기 제 1 세트의 복원된 지원 값들은 상기 복원된 값들의 세트들의 시퀀스에서의 값들의 세트들 각각에 포함된 엘리먼트들의 수보다 더 많은 수의 엘리먼트들을 포함하는,
    복원된 값들의 세트들의 시퀀스를 디코딩하기 위한 방법.
  29. 제 22 항에 있어서,
    상기 제 1 세트의 복원된 지원 값들은 상기 복원된 값들의 세트들의 시퀀스에서의 값들의 세트들 각각에 포함된 엘리먼트들의 수보다 더 적은 수의 엘리먼트들을 포함하는,
    복원된 값들의 세트들의 시퀀스를 디코딩하기 위한 방법.
  30. 제 22 항에 있어서,
    상기 복원된 값들의 세트들 각각은 제 1 품질 레벨로 신호의 예비 렌디션을 수행하기 위한 조정들에 대응하고, 상기 예비 렌디션은 제 2 품질 레벨의 신호의 렌디션에 적어도 부분적으로 기반하여 생성되며, 상기 제 2 품질 레벨은 상기 제 1 품질 레벨보다 낮은,
    복원된 값들의 세트들의 시퀀스를 디코딩하기 위한 방법.
  31. 제 30 항에 있어서,
    복원된 잔차 값들의 세트들의 시퀀스를 생성하기 위해 상기 제 2 세트의 복원 데이터를 처리하는 단계는, 복원된 잔차 값들의 세트들의 상기 시퀀스의 각각의 주어진 세트에 대하여,
    제 1 세트의 변환된 값들을 생성하는 단계;
    변환된 값들 및 상기 신호의 렌디션을 제 2 품질 레벨로 처리하여, 복원된 잔차 값들의 상기 주어진 세트를 결정하는 단계 - 상기 제 2 품질 레벨은 상기 제 1 품질 레벨보다 낮음 - 를 포함하는,
    복원된 값들의 세트들의 시퀀스를 디코딩하기 위한 방법.
  32. 제 22 항에 있어서,
    상기 제 1 세트의 복원된 지원 값들은 더 고차 복원된 지원 값들의 세트에 적어도 부분적으로 기반하여 생성되며,
    상기 방법은,
    제 1 세트의 복원 데이터를 처리하여, 더 고차 복원된 지원 값들의 세트를 생성하는 단계;
    제 2 세트의 복원 데이터를 처리하여, 조정 값들의 세트를 생성하는 단계; 및
    상기 조정 값들의 세트와, 더 고차 복원된 지원 값들의 상기 세트에 적어도 부분적으로 기반하여 생성된 더 고차 지원 평면 기준 값들의 세트를 결합함으로써 상기 제 1 세트의 복원된 지원 값들을 결정하는 단계를 포함하는,
    복원된 값들의 세트들의 시퀀스를 디코딩하기 위한 방법.
  33. 제 22 항에 있어서,
    복원된 값들의 세트들의 개별 서브시퀀스들에 대응하는 복원된 지원 값들의 다수의 세트들은 더 고차 복원된 지원 값들의 동일한 세트에 따라 디코딩되고,
    상기 방법은, 복원된 지원 값들의 상기 다수의 세트들에서의 복원된 지원 값들의 각각의 주어진 세트에 대하여,
    제 1 세트의 데이터를 처리하여, 제 1 세트의 더 고차 복원된 지원 값들을 생성하는 단계;
    제 2 세트의 데이터를 처리하여, 제 2 세트의 조정 값들을 생성하는 단계;
    상기 제 1 세트의 더 고차 복원된 지원 값들을 처리하여, 제 3 세트의 기준 값들을 생성하는 단계; 및
    상기 제 2 세트의 조정 값들과 상기 제 3 세트의 기준 값들을 결합하여, 복원된 지원 값들의 상기 주어진 세트를 생성하는 단계를 포함하는,
    복원된 값들의 세트들의 시퀀스를 디코딩하기 위한 방법.
  34. 제 22 항에 있어서,
    상기 제 1 세트의 복원된 지원 값들은 품질 레벨들의 티어드 계층에 따라 디코딩되고,
    상기 방법은,
    더 낮은 품질 레벨로 상기 복원된 지원 값들의 세트의 렌디션을 처리하는 단계;
    더 낮은 품질 레벨의 상기 복원된 지원 값들의 세트의 상기 렌디션에 적어도 부분적으로 기반하여, 상기 복원된 지원 값들의 세트의 예비 렌디션을 생성하는 단계;
    조정 값들의 세트를 결정하기 위해 인코딩된 데이터의 세트를 처리하는 단계; 및
    상기 조정 값들과 상기 복원된 지원 값들의 세트의 상기 예비 렌디션과 결합하여, 상기 제 1 세트의 복원된 지원 값들을 생성하는 단계를 포함하는,
    복원된 값들의 세트들의 시퀀스를 디코딩하기 위한 방법.
  35. 제 22 항에 있어서,
    디코더는 상기 복원된 값들의 세트들의 특정한 공간 일부들에만 대응하는 복원 데이터를 수신하고, 결과적으로 상기 복원된 값들의 세트들의 일부들의 시퀀스만을 복원하며,
    상기 방법은,
    제 1 세트의 복원 데이터를 처리하여, 제 1 세트의 복원된 지원 값들을 생성하는 단계;
    제 2 세트의 복원 데이터를 처리하여, 잔차 값들의 세트들의 시퀀스를 생성하는 단계 - 상기 잔차 값들의 세트들 각각은 복원된 값들의 세트들의 시퀀스에서의 값들의 세트의 일부에 대응함 -;
    잔차 값들의 상기 세트들 각각과, 상기 제 1 세트의 복원된 지원 값들에 적어도 부분적으로 기반하여 생성된 대응하는 기준 값들의 세트를 결합하여, 복원된 값들의 세트들의 일부들의 시퀀스를 생성하는 단계를 포함하는,
    복원된 값들의 세트들의 시퀀스를 디코딩하기 위한 방법.
  36. 제 22 항에 있어서,
    상기 복원된 값들의 세트들의 시퀀스에서의 값들의 상기 세트들 각각은 상기 세트들의 시퀀스에서의 다른 세트들과 독립적으로 디코딩되는,
    복원된 값들의 세트들의 시퀀스를 디코딩하기 위한 방법.
  37. 제 23 항에 있어서,
    상기 복원된 값들의 세트들의 시퀀스에서의 상기 값들의 세트들 중 임의의 것에 대응하는 상기 복원된 기준 값들의 세트는, 상기 복원된 값들의 세트들의 시퀀스에서의 상기 값들의 세트들 중 임의의 것을 결정하기 전에 결정되는,
    복원된 값들의 세트들의 시퀀스를 디코딩하기 위한 방법.
  38. 제 22 항에 있어서,
    복원된 값들의 세트들의 시퀀스에서의 상기 값들의 세트들 각각은 이미지에 대응하는,
    복원된 값들의 세트들의 시퀀스를 디코딩하기 위한 방법.
  39. 제 22 항에 있어서,
    상기 복원된 값들의 세트들의 시퀀스에서의 상기 값들의 세트들 각각은 입체 이미지에 대응하는,
    복원된 값들의 세트들의 시퀀스를 디코딩하기 위한 방법.
  40. 명령들이 저장된 컴퓨터-판독가능한 저장 하드웨어로서,
    상기 명령들은, 처리 디바이스에 의해 수행될 때, 상기 처리 디바이스로 하여금,
    제 1 세트의 지원 값들을 생성하기 위해, 값들의 세트들의 시퀀스를 처리하고 상기 시퀀스에서의 다수의 세트들의 상기 값들을 이용하는 동작들 - 상기 제 1 세트의 지원 값들은 상기 시퀀스에서의 원시 세트들의 값들 각각을 실질적으로 재생하기 위한 기준선을 형성하도록 결정됨 -; 및
    상기 제 1 세트의 지원 값들에 대응하는 복원 데이터를 생성하는 동작들을 수행하게 하는,
    컴퓨터-판독가능한 저장 하드웨어.
  41. 명령들이 저장된 컴퓨터-판독가능한 저장 하드웨어로서,
    상기 명령들은, 처리 디바이스에 의해 수행될 때, 상기 처리 디바이스로 하여금,
    제 1 세트의 복원 데이터를 처리하여, 제 1 세트의 복원된 지원 값들을 생성하는 동작들;
    제 2 세트의 복원 데이터를 처리하여, 복원된 잔차 값들의 세트들의 시퀀스를 생성하는 동작들; 및
    복원된 잔차 값들의 상기 세트들 각각과, 상기 제 1 세트의 복원된 지원 값들에 적어도 부분적으로 기반하여 결정된 대응하는 복원된 기준 값들의 세트와 결합하여, 복원된 값들의 세트들의 시퀀스를 생성하는 동작들을 수행하게 하는,
    컴퓨터-판독가능한 저장 하드웨어.
  42. 디바이스로서,
    프로세서;
    상기 프로세서에 의해 실행되는 애플리케이션과 관련된 명령들을 저장하는 메모리 유닛; 및
    상기 프로세서와 상기 메모리 유닛을 연결하는 상호연결부를 포함하고,
    상기 상호연결부는 상기 디바이스가 상기 애플리케이션을 실행할 수 있게 하고,
    제 1 세트의 지원 값들을 생성하기 위해, 값들의 세트들의 시퀀스를 처리하고 상기 시퀀스에서의 다수의 세트들의 값들을 이용하는 동작들 - 상기 제 1 세트의 지원 값들은 상기 시퀀스에서의 원시 세트들의 값들 각각을 실질적으로 재생하기 위한 기준선을 형성하도록 결정됨 -; 및
    상기 제 1 세트의 지원 값들에 대응하는 복원 데이터를 생성하는 동작들을 수행할 수 있게 하는,
    디바이스.
  43. 디바이스로서,
    프로세서;
    상기 프로세서에 의해 실행되는 애플리케이션과 관련된 명령들을 저장하는 메모리 유닛; 및
    상기 프로세서와 상기 메모리 유닛을 연결하는 상호연결부를 포함하고,
    상기 상호연결부는 상기 디바이스가 상기 애플리케이션을 실행할 수 있게 하고,
    제 1 세트의 복원 데이터를 처리하여, 제 1 세트의 복원된 지원 값들을 생성하는 동작들;
    제 2 세트의 복원 데이터를 처리하여, 복원된 잔차 값들의 세트들의 시퀀스를 생성하는 동작들; 및
    복원된 잔차 값들의 상기 세트들 각각과, 상기 제 1 세트의 복원된 지원 값들에 적어도 부분적으로 기반하여 결정된 대응하는 복원된 기준 값들의 세트를 결합하여, 복원된 값들의 세트들의 시퀀스를 생성하는 동작들을 수행할 수 있게 하는,
    디바이스.
KR1020147035186A 2012-05-14 2013-05-13 지원 정보에 기반한 잔차 데이터의 인코딩 및 복원 KR20150014496A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261646797P 2012-05-14 2012-05-14
US61/646,797 2012-05-14
US201261647426P 2012-05-15 2012-05-15
US61/647,426 2012-05-15
PCT/EP2013/059853 WO2013171175A1 (en) 2012-05-14 2013-05-13 Encoding and reconstruction of residual data based on support information

Publications (1)

Publication Number Publication Date
KR20150014496A true KR20150014496A (ko) 2015-02-06

Family

ID=48430778

Family Applications (6)

Application Number Title Priority Date Filing Date
KR1020147035175A KR102126886B1 (ko) 2012-05-14 2013-05-13 단계적 계층에서의 신호 인코딩, 디코딩 및 재구성 동안의 잔차 데이터의 압축해제
KR1020147035200A KR20150020568A (ko) 2012-05-14 2013-05-13 시간을 따라 샘플들의 시퀀스들의 블렌딩에 기초한 인코딩과 디코딩
KR1020147035186A KR20150014496A (ko) 2012-05-14 2013-05-13 지원 정보에 기반한 잔차 데이터의 인코딩 및 복원
KR1020147035179A KR20150014495A (ko) 2012-05-14 2013-05-14 계층화된 시간 계층에서 시간 기반 및/또는 다차원 신호들의 디코딩 및 재구성
KR1020147035198A KR20150018576A (ko) 2012-05-14 2013-05-14 연속적인 좌표 시스템을 레버리징하는 모션 보상 및 모션 추정
KR1020147035196A KR20150018575A (ko) 2012-05-14 2013-05-14 모션 존들을 통한 다차원 신호들의 모션 정보 및 보조 존들을 통한 보조 정보의 추정, 인코딩 및 디코딩

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020147035175A KR102126886B1 (ko) 2012-05-14 2013-05-13 단계적 계층에서의 신호 인코딩, 디코딩 및 재구성 동안의 잔차 데이터의 압축해제
KR1020147035200A KR20150020568A (ko) 2012-05-14 2013-05-13 시간을 따라 샘플들의 시퀀스들의 블렌딩에 기초한 인코딩과 디코딩

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020147035179A KR20150014495A (ko) 2012-05-14 2013-05-14 계층화된 시간 계층에서 시간 기반 및/또는 다차원 신호들의 디코딩 및 재구성
KR1020147035198A KR20150018576A (ko) 2012-05-14 2013-05-14 연속적인 좌표 시스템을 레버리징하는 모션 보상 및 모션 추정
KR1020147035196A KR20150018575A (ko) 2012-05-14 2013-05-14 모션 존들을 통한 다차원 신호들의 모션 정보 및 보조 존들을 통한 보조 정보의 추정, 인코딩 및 디코딩

Country Status (18)

Country Link
US (14) US9961345B2 (ko)
EP (7) EP2850830B1 (ko)
JP (6) JP2015520575A (ko)
KR (6) KR102126886B1 (ko)
CN (7) CN104641644A (ko)
AU (5) AU2013261845A1 (ko)
BR (5) BR112014028274A2 (ko)
CA (6) CA2873499A1 (ko)
DK (2) DK2850829T3 (ko)
EA (5) EA201492098A1 (ko)
ES (3) ES2907510T3 (ko)
HK (5) HK1203260A1 (ko)
IL (4) IL235574B (ko)
MX (5) MX341203B (ko)
PL (1) PL2850829T3 (ko)
SG (6) SG10201710075SA (ko)
WO (6) WO2013171173A1 (ko)
ZA (5) ZA201408539B (ko)

Families Citing this family (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977065B2 (en) * 2011-07-21 2015-03-10 Luca Rossato Inheritance in a tiered signal quality hierarchy
US8958472B2 (en) * 2011-09-08 2015-02-17 Google Technology Holdings LLC Methods and apparatus for quantization and dequantization of a rectangular block of coefficients
US9313495B2 (en) * 2012-05-14 2016-04-12 Luca Rossato Encoding and decoding based on blending of sequences of samples along time
KR102126886B1 (ko) * 2012-05-14 2020-06-26 루카 로사토 단계적 계층에서의 신호 인코딩, 디코딩 및 재구성 동안의 잔차 데이터의 압축해제
CA2886174C (en) * 2012-10-07 2018-07-10 Numeri Ltd. Video compression method
CN104144520A (zh) 2013-05-07 2014-11-12 李东舸 一种设备间建立连接的方法、装置与系统
CN104142939B (zh) * 2013-05-07 2019-07-02 杭州智棱科技有限公司 一种基于运动特征信息匹配特征码的方法与设备
BR112015031918A2 (pt) * 2013-06-25 2017-07-25 Numeri Ltd aumento de resolução espaço-temporal de múltiplos níveis de vídeo
CN105393532B (zh) * 2013-07-22 2019-04-19 索尼公司 信息处理设备和方法
JP5947269B2 (ja) * 2013-09-24 2016-07-06 ソニー株式会社 符号化装置、符号化方法、送信装置および受信装置
US9432338B2 (en) * 2013-10-23 2016-08-30 Google Inc. Secure communications using adaptive data compression
JP6463900B2 (ja) 2014-04-17 2019-02-06 キヤノン株式会社 画像符号化装置及びその制御方法
EP4270952A3 (en) 2015-04-13 2023-12-27 V-Nova International Limited Encoding a plurality of signals with data rate target of a signal depending on xomplexity information
GB2539241B (en) * 2015-06-11 2019-10-23 Advanced Risc Mach Ltd Video processing system
US10061552B2 (en) 2015-11-25 2018-08-28 International Business Machines Corporation Identifying the positioning in a multiple display grid
GB2544800A (en) 2015-11-27 2017-05-31 V-Nova Ltd Adaptive bit rate ratio control
FR3044507A1 (fr) * 2015-11-30 2017-06-02 Orange Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
US10630992B2 (en) * 2016-01-08 2020-04-21 Samsung Electronics Co., Ltd. Method, application processor, and mobile terminal for processing reference image
CN108701241B (zh) * 2016-02-23 2022-04-15 雀巢产品有限公司 用于制备饮料或食品的系统的代码和容器
CN107529957B (zh) * 2016-03-03 2019-10-25 Hoya株式会社 修正数据生成方法以及修正数据生成装置
KR102328374B1 (ko) * 2016-03-24 2021-11-18 포컬 포인트 포지셔닝 리미티드 디지털 신호 및 상관 코드를 상관시키기 위한 방법, 장치, 컴퓨터 프로그램, 칩 셋, 또는 데이터 구조
KR102520957B1 (ko) 2016-04-15 2023-04-12 삼성전자주식회사 인코딩 장치, 디코딩 장치 및 이의 제어 방법
KR101780782B1 (ko) * 2016-07-08 2017-09-21 엔트릭스 주식회사 클라우드 스트리밍 서비스 제공 방법 및 이를 위한 장치
US11570454B2 (en) 2016-07-20 2023-01-31 V-Nova International Limited Use of hierarchical video and image coding for telepresence
GB2552353B (en) * 2016-07-20 2022-04-20 V Nova Int Ltd Apparatuses, methods, computer programs and computer-readable media
GB2553086B (en) * 2016-07-20 2022-03-02 V Nova Int Ltd Decoder devices, methods and computer programs
KR102520502B1 (ko) 2016-08-02 2023-04-12 엑스-로고스, 엘엘씨 기하 대수학을 이용한 강화된 데이터-중심 암호화 시스템을 위한 방법 및 시스템
US11153594B2 (en) 2016-08-29 2021-10-19 Apple Inc. Multidimensional quantization techniques for video coding/decoding systems
GB2553556B (en) * 2016-09-08 2022-06-29 V Nova Int Ltd Data processing apparatuses, methods, computer programs and computer-readable media
GB2554065B (en) 2016-09-08 2022-02-23 V Nova Int Ltd Data processing apparatuses, methods, computer programs and computer-readable media
US10791342B2 (en) * 2016-09-26 2020-09-29 Sony Corporation Coding apparatus, coding method, decoding apparatus, decoding method, transmitting apparatus, and receiving apparatus
US20180109809A1 (en) * 2016-10-13 2018-04-19 Google Llc Voxel video coding
CN106529589A (zh) * 2016-11-03 2017-03-22 温州大学 采用降噪堆叠自动编码器网络的视觉目标检测方法
US10694202B2 (en) * 2016-12-01 2020-06-23 Qualcomm Incorporated Indication of bilateral filter usage in video coding
US10609367B2 (en) * 2016-12-21 2020-03-31 Qualcomm Incorporated Low-complexity sign prediction for video coding
WO2018147329A1 (ja) * 2017-02-10 2018-08-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
US10701390B2 (en) * 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
EP3613015A4 (en) * 2017-04-21 2021-02-24 Zenimax Media Inc. SYSTEMS AND PROCEDURES FOR TOY GENERATED MOTION VECTORS
KR102326456B1 (ko) 2017-04-21 2021-11-12 제니맥스 미디어 인크. 인코더-가이드 적응형-품질 렌더링을 위한 시스템들 및 방법들
CN113628240A (zh) 2017-04-21 2021-11-09 泽尼马克斯媒体公司 通过预期运动矢量的玩家输入运动补偿
US10638126B2 (en) * 2017-05-05 2020-04-28 Qualcomm Incorporated Intra reference filter for video coding
WO2018224004A1 (en) * 2017-06-07 2018-12-13 Mediatek Inc. Method and apparatus of intra-inter prediction mode for video coding
EP3422722A1 (en) * 2017-06-30 2019-01-02 Thomson Licensing Method for encoding a matrix of image views obtained from data acquired by a plenoptic camera
US10319114B2 (en) * 2017-07-13 2019-06-11 Google Llc Foveated compression of display streams
TWI650981B (zh) * 2017-09-29 2019-02-11 晨星半導體股份有限公司 符號率估計裝置與符號率估計方法
US11457239B2 (en) 2017-11-09 2022-09-27 Google Llc Block artefact reduction
EP3496403A1 (en) 2017-12-06 2019-06-12 V-Nova International Limited Hierarchical data structure
WO2019111004A1 (en) 2017-12-06 2019-06-13 V-Nova International Ltd Methods and apparatuses for encoding and decoding a bytestream
CN108133229B (zh) * 2017-12-11 2021-08-06 广州能量盒子科技有限公司 一种安卓apk文件的分类加密方法及系统
CN108040217B (zh) * 2017-12-20 2020-01-24 深圳岚锋创视网络科技有限公司 一种视频解码的方法、装置及相机
US10748306B2 (en) * 2018-03-19 2020-08-18 Fuji Xerox Co., Ltd. Encoding device, decoding device, and non-transitory computer readable medium
CN112106063A (zh) 2018-03-20 2020-12-18 Pcms控股公司 用于动态调整点云的细节级别系统及方法
CN112106370A (zh) * 2018-03-20 2020-12-18 Pcms控股公司 基于优先化排序的变换而优化动态点云的系统和方法
CN108449599B (zh) * 2018-03-23 2021-05-18 安徽大学 一种基于面透射变换的视频编码与解码方法
GB2574575A (en) * 2018-04-27 2019-12-18 V Nova Int Ltd Video decoder chipset
BR112021001807A2 (pt) * 2018-08-03 2021-04-27 V-Nova International Ltd codificação de entropia para codificação de aprimoramento de sinal
KR102471595B1 (ko) * 2018-08-08 2022-11-28 구글 엘엘씨 장면의 초해상도 이미지를 생성하기 위한 광학 이미지 안정화 움직임
US20220150529A1 (en) * 2018-09-17 2022-05-12 Electronics And Telecommunications Research Institute Image encoding/decoding method and apparatus, and recording medium storing bitstream
WO2020070495A1 (en) 2018-10-03 2020-04-09 V-Nova International Ltd Weighted downsampling and weighted transformations for signal coding
CN110163059B (zh) * 2018-10-30 2022-08-23 腾讯科技（深圳）有限公司 多人姿态识别方法、装置及电子设备
GB201817780D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media for processing configuration data
GB201817784D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media
GB201817783D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media for processing configuration data
US10841356B2 (en) 2018-11-28 2020-11-17 Netflix, Inc. Techniques for encoding a media title while constraining bitrate variations
US10880354B2 (en) * 2018-11-28 2020-12-29 Netflix, Inc. Techniques for encoding a media title while constraining quality variations
US20200186795A1 (en) * 2018-12-07 2020-06-11 Beijing Dajia Internet Information Technology Co., Ltd. Video coding using multi-resolution reference picture management
EP3895431A1 (en) 2018-12-14 2021-10-20 PCMS Holdings, Inc. System and method for procedurally colorizing spatial data
BR122023021035A2 (pt) * 2018-12-29 2024-02-27 Huawei Technologies Co., Ltd. Método de compactação do vetor de movimento, meio de armazenamento legível por computador não transitório, codificador, decodificador e meio de armazenamento
GB2583061B (en) * 2019-02-12 2023-03-15 Advanced Risc Mach Ltd Data processing systems
US11887366B2 (en) 2019-02-13 2024-01-30 V-Nova International Limited Object analysis
EP3713235B1 (en) 2019-03-19 2023-08-02 Axis AB Methods and devices for encoding a video stream using a first and a second encoder
WO2020188229A1 (en) * 2019-03-20 2020-09-24 V-Nova International Ltd Processing of residuals in video coding
CN114503573A (zh) 2019-03-20 2022-05-13 威诺瓦国际有限公司 低复杂性增强视频编码
WO2020188237A1 (en) * 2019-03-20 2020-09-24 V-Nova International Ltd Residual filtering in signal enhancement coding
GB201905400D0 (en) 2019-04-16 2019-05-29 V Nova Int Ltd Video coding technology
US11412262B2 (en) * 2019-06-24 2022-08-09 Qualcomm Incorporated Nonlinear extensions of adaptive loop filtering for video coding
GB2623002A (en) * 2019-07-05 2024-04-03 V Nova Int Ltd Quantization of residuals in video coding
US10942625B1 (en) * 2019-09-09 2021-03-09 Atlassian Pty Ltd. Coordinated display of software application interfaces
WO2021058594A1 (en) * 2019-09-24 2021-04-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiple stage residual coding in modern hybrid image and video coding solutions
CN110572673B (zh) * 2019-09-27 2024-04-09 腾讯科技（深圳）有限公司 视频编解码方法和装置、存储介质及电子装置
TWI812874B (zh) 2019-10-01 2023-08-21 美商杜拜研究特許公司 張量乘積之b平滑曲線預測子
CN114788283A (zh) 2019-10-02 2022-07-22 威诺瓦国际有限公司 用于向后兼容的分级改进的嵌入式信令以及超分辨率信令的用途
EP4059217A4 (en) 2019-11-27 2023-11-29 HFI Innovation Inc. METHOD AND APPARATUS FOR DERIVING UNIFORM WEIGHT AND MOVEMENT INDICES FOR GEOMETRIC FUSION MODE IN VIDEO CODING
US11711537B2 (en) * 2019-12-17 2023-07-25 Alibaba Group Holding Limited Methods for performing wrap-around motion compensation
CN111050181B (zh) * 2019-12-30 2022-06-07 哈尔滨工业大学 一种超光谱大气红外遥感图像的时间维压缩方法
US11348514B2 (en) 2020-02-06 2022-05-31 Varjo Technologies Oy LED-based display apparatus and method incorporating sub-pixel shifting
US11308900B2 (en) 2020-02-06 2022-04-19 Varjo Technologies Oy Display apparatus and method incorporating sub-pixel aware shifting and overlap compensation
US11307410B2 (en) 2020-02-06 2022-04-19 Varjo Technologies Oy Display apparatus and method incorporating adaptive pose locking
US11170678B2 (en) 2020-02-06 2021-11-09 Varjo Technologies Oy Display apparatus and method incorporating gaze-based modulation of pixel values
US11056030B1 (en) * 2020-02-06 2021-07-06 Varjo Technologies Oy Display apparatus and method of enhancing apparent resolution using liquid-crystal device
GB202001839D0 (en) 2020-02-11 2020-03-25 V Nova Int Ltd Use of tiered hierarchical coding for point cloud compression
WO2021168415A1 (en) * 2020-02-20 2021-08-26 Align Technology, Inc. Medical imaging data compression and extraction on client side
JP2023521295A (ja) 2020-03-26 2023-05-24 アリババ グループ ホウルディング リミテッド 映像符号化データをシグナリングするための方法
GB2598701B (en) 2020-05-25 2023-01-25 V Nova Int Ltd Wireless data communication system and method
US11403175B2 (en) * 2020-07-31 2022-08-02 EMC IP Holding Company LLC Rebuilding data previously stored on a failed data storage drive
US11764943B2 (en) 2020-08-10 2023-09-19 Algemetric, Inc. Methods and systems for somewhat homomorphic encryption and key updates based on geometric algebra for distributed ledger/blockchain technology
WO2022061184A2 (en) 2020-09-17 2022-03-24 X-Logos, LLC Methods and systems for encrypting rational numbers and adding randomness to rsa cryptosystems using p-adic numbers
GB2601990A (en) 2020-10-16 2022-06-22 V Nova Int Ltd Distributed analysis of a multi-layer signal encoding
CN116671117A (zh) * 2020-10-23 2023-08-29 摹恩帝株式会社 反应型图像制作方法、反应型图像服务提供方法及利用该方法的程序
GB2601362B (en) * 2020-11-27 2023-08-16 V Nova Int Ltd Video encoding using pre-processing
GB2601368B (en) * 2020-11-27 2023-09-20 V Nova Int Ltd Video decoding using post-processing control
CN112261491B (zh) * 2020-12-22 2021-04-16 北京达佳互联信息技术有限公司 视频时序标注方法、装置、电子设备及存储介质
GB202107036D0 (en) 2021-05-17 2021-06-30 V Nova Int Ltd Secure decoder and secure decoding methods
CN113900901A (zh) * 2021-10-21 2022-01-07 北京达佳互联信息技术有限公司 数据上报方法、数据监控方法、装置、设备及存储介质
GB2607123B (en) 2021-10-25 2023-10-11 V Nova Int Ltd Enhancement decoding implementation and method
GB2614054A (en) 2021-12-17 2023-06-28 V Nova Int Ltd Digital image processing
GB2614763B (en) 2022-03-29 2024-05-01 V Nova Int Ltd Upsampling filter for applying a predicted average modification
GB2611129B (en) 2022-03-31 2024-03-27 V Nova Int Ltd Signal processing with overlay regions
GB202215675D0 (en) 2022-10-21 2022-12-07 V Nova Int Ltd Distributed analysis of a multi-layer signal encoding

Family Cites Families (152)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4941193A (en) 1987-10-02 1990-07-10 Iterated Systems, Inc. Methods and apparatus for image compression by iterated function system
JP3545000B2 (ja) * 1992-11-02 2004-07-21 ソニー株式会社 画像信号符号化装置、画像信号復号化装置
US5649032A (en) * 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
US5825313A (en) * 1995-08-01 1998-10-20 Sony Corporation Information signal encoding apparatus, encoding method thereof, information signal decoding method, and information signal record medium thereof
EP2129133A3 (en) * 1995-08-29 2012-02-15 Sharp Kabushiki Kaisha Video coding device and video decoding device with a motion compensated interframe prediction
CN1097956C (zh) * 1995-09-06 2003-01-01 皇家菲利浦电子有限公司 分段图象序列编码的方法和系统以及解码的方法和系统
US5936671A (en) * 1996-07-02 1999-08-10 Sharp Laboratories Of America, Inc. Object-based video processing using forward-tracking 2-D mesh layers
JP4034380B2 (ja) * 1996-10-31 2008-01-16 株式会社東芝 画像符号化／復号化方法及び装置
US6173013B1 (en) * 1996-11-08 2001-01-09 Sony Corporation Method and apparatus for encoding enhancement and base layer image signals using a predicted image signal
US6535558B1 (en) * 1997-01-24 2003-03-18 Sony Corporation Picture signal encoding method and apparatus, picture signal decoding method and apparatus and recording medium
JP3217987B2 (ja) * 1997-03-31 2001-10-15 松下電器産業株式会社 動画像信号の復号方法および符号化方法
ATE425638T1 (de) * 1997-04-01 2009-03-15 Sony Corp Verfahren und vorrichtung zur bildkodierung und - dekodierung sowie verteilungsmedien dazu
US6993201B1 (en) * 1997-07-08 2006-01-31 At&T Corp. Generalized scalability for video coder based on video objects
US6233356B1 (en) * 1997-07-08 2001-05-15 At&T Corp. Generalized scalability for video coder based on video objects
JP4132664B2 (ja) * 1997-11-27 2008-08-13 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー トランスコーディング
US6546052B1 (en) 1998-05-29 2003-04-08 Canon Kabushiki Kaisha Image processing apparatus and method, and computer-readable memory
US6782132B1 (en) * 1998-08-12 2004-08-24 Pixonics, Inc. Video coding and reconstruction apparatus and methods
US6452969B1 (en) * 1998-09-28 2002-09-17 Thomson Licensing S.A. Transform domain inverse motion compensation having fractional pel accuracy
US6614429B1 (en) * 1999-05-05 2003-09-02 Microsoft Corporation System and method for determining structure and motion from two-dimensional images for multi-resolution object modeling
US6289052B1 (en) * 1999-06-07 2001-09-11 Lucent Technologies Inc. Methods and apparatus for motion estimation using causal templates
US6968008B1 (en) * 1999-07-27 2005-11-22 Sharp Laboratories Of America, Inc. Methods for motion estimation with adaptive motion accuracy
CA2279797C (en) * 1999-08-06 2010-01-05 Demin Wang A method for temporal interpolation of an image sequence using object-based image analysis
KR100611999B1 (ko) * 1999-08-27 2006-08-11 삼성전자주식회사 그리디 알고리듬을 이용한 객체 기반 콰드 트리 메쉬 움직임 보상방법
US6748362B1 (en) * 1999-09-03 2004-06-08 Thomas W. Meyer Process, system, and apparatus for embedding data in compressed audio, image video and other media files and the like
WO2001041451A1 (en) * 1999-11-29 2001-06-07 Sony Corporation Video/audio signal processing method and video/audio signal processing apparatus
US6888544B2 (en) * 2000-03-17 2005-05-03 Hewlett-Packard Development Company, L.P. Apparatus for and method of rendering 3D objects with parametric texture maps
US6907070B2 (en) * 2000-12-15 2005-06-14 Microsoft Corporation Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
KR100783396B1 (ko) * 2001-04-19 2007-12-10 엘지전자 주식회사 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티방법
EP1294196A3 (en) * 2001-09-04 2004-10-27 Interuniversitair Microelektronica Centrum Vzw Method and apparatus for subband encoding and decoding
WO2003026310A2 (de) * 2001-09-14 2003-03-27 Siemens Aktiengesellschaft Effiziente videocodierung für skalierbare simul-cast-speicherung und -übertragung
US7630566B2 (en) * 2001-09-25 2009-12-08 Broadcom Corporation Method and apparatus for improved estimation and compensation in digital video compression and decompression
US7653133B2 (en) * 2003-06-10 2010-01-26 Rensselaer Polytechnic Institute (Rpi) Overlapped block motion compression for variable size blocks in the context of MCTF scalable video coders
US8009739B2 (en) * 2003-09-07 2011-08-30 Microsoft Corporation Intensity estimation/compensation for interlaced forward-predicted fields
KR100571920B1 (ko) * 2003-12-30 2006-04-17 삼성전자주식회사 움직임 모델을 이용한 매쉬 기반의 움직임 보상방법을제공하는 영상의 부호화 방법 및 그 부호화 장치
KR100596705B1 (ko) * 2004-03-04 2006-07-04 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩 방법과 비디오 인코딩 시스템, 및 비디오 디코딩 방법과 비디오 디코딩 시스템
US20080144716A1 (en) 2004-03-11 2008-06-19 Gerard De Haan Method For Motion Vector Determination
US8503542B2 (en) * 2004-03-18 2013-08-06 Sony Corporation Methods and apparatus to reduce blocking noise and contouring effect in motion compensated compressed video
US7616782B2 (en) * 2004-05-07 2009-11-10 Intelliview Technologies Inc. Mesh based frame processing and applications
US8731054B2 (en) * 2004-05-04 2014-05-20 Qualcomm Incorporated Method and apparatus for weighted prediction in predictive frames
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US7424163B1 (en) 2004-07-13 2008-09-09 Itt Manufacturing Enterprises, Inc. System and method for lossless image compression
KR100678949B1 (ko) * 2004-07-15 2007-02-06 삼성전자주식회사 비디오 코딩 및 디코딩 방법, 비디오 인코더 및 디코더
DE102004059993B4 (de) * 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
KR100664932B1 (ko) * 2004-10-21 2007-01-04 삼성전자주식회사 비디오 코딩 방법 및 장치
KR100664929B1 (ko) * 2004-10-21 2007-01-04 삼성전자주식회사 다 계층 기반의 비디오 코더에서 모션 벡터를 효율적으로압축하는 방법 및 장치
US7792192B2 (en) * 2004-11-19 2010-09-07 Analog Devices, Inc. System and method for sub-pixel interpolation in motion vector estimation
JP2006174415A (ja) 2004-11-19 2006-06-29 Ntt Docomo Inc 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法
JP4241588B2 (ja) * 2004-11-30 2009-03-18 日本ビクター株式会社 動画像符号化装置、及び動画像復号化装置
US7924923B2 (en) * 2004-11-30 2011-04-12 Humax Co., Ltd. Motion estimation and compensation method and device adaptive to change in illumination
JP4317814B2 (ja) 2004-12-06 2009-08-19 株式会社ルネサステクノロジ 動画像情報の符号化装置及び符号化方法
US20060120612A1 (en) * 2004-12-08 2006-06-08 Sharath Manjunath Motion estimation techniques for video encoding
JP4284288B2 (ja) * 2005-03-10 2009-06-24 株式会社東芝 パターン認識装置及びその方法
KR100703770B1 (ko) * 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
US7876833B2 (en) * 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
DE102005016827A1 (de) 2005-04-12 2006-10-19 Siemens Ag Adaptive Interpolation bei der Bild- oder Videokodierung
KR100746007B1 (ko) * 2005-04-19 2007-08-06 삼성전자주식회사 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더
JP2007096541A (ja) * 2005-09-27 2007-04-12 Sanyo Electric Co Ltd 符号化方法
US8005308B2 (en) * 2005-09-16 2011-08-23 Sony Corporation Adaptive motion estimation for temporal prediction filter over irregular motion vector samples
DE102005051091A1 (de) 2005-10-25 2007-04-26 Siemens Ag Verfahren und Vorrichtungen zur Bestimmung und Rekonstruktion eines prädizierten Bildbereichs
EP1790680A1 (en) 2005-11-28 2007-05-30 Mnemoscience GmbH Verfahren zur Herstellung von Form-Gedächtnis Materialien aus standard thermoplastichen Polymeren
GB0600141D0 (en) * 2006-01-05 2006-02-15 British Broadcasting Corp Scalable coding of video signals
US7956930B2 (en) * 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US20070175333A1 (en) 2006-02-02 2007-08-02 Siemens Power Generation, Inc. System for recovering water from flue gas
EP1997318A4 (en) * 2006-03-22 2011-04-06 Korea Electronics Telecomm METHOD AND DEVICE FOR CODING AND DECODING THE COMPENSATED LIGHTING CHANGE
JP4844449B2 (ja) * 2006-04-17 2011-12-28 日本ビクター株式会社 動画像符号化装置、方法、プログラム、動画像復号化装置、方法、およびプログラム
JP4182442B2 (ja) * 2006-04-27 2008-11-19 ソニー株式会社 画像データの処理装置、画像データの処理方法、画像データの処理方法のプログラム及び画像データの処理方法のプログラムを記録した記録媒体
US9319708B2 (en) * 2006-06-16 2016-04-19 Via Technologies, Inc. Systems and methods of improved motion estimation using a graphics processing unit
US8340185B2 (en) * 2006-06-27 2012-12-25 Marvell World Trade Ltd. Systems and methods for a motion compensated picture rate converter
US8218640B2 (en) * 2006-10-31 2012-07-10 Sony Computer Entertainment Inc. Picture decoding using same-picture reference for pixel reconstruction
US8199812B2 (en) * 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
US20080181298A1 (en) * 2007-01-26 2008-07-31 Apple Computer, Inc. Hybrid scalable coding
KR101365575B1 (ko) * 2007-02-05 2014-02-25 삼성전자주식회사 인터 예측 부호화, 복호화 방법 및 장치
JP2008228282A (ja) * 2007-02-13 2008-09-25 Matsushita Electric Ind Co Ltd 画像処理装置
WO2008140656A2 (en) 2007-04-03 2008-11-20 Gary Demos Flowfield motion compensation for video compression
EP2132941B1 (en) * 2007-04-09 2017-05-17 Nokia Technologies Oy High accuracy motion vectors for video coding with low encoder and decoder complexity
EP1983759A1 (en) * 2007-04-19 2008-10-22 Matsushita Electric Industrial Co., Ltd. Estimation of separable adaptive interpolation filters for hybrid video coding
EP2149262A4 (en) * 2007-04-25 2010-09-01 Lg Electronics Inc METHOD AND DEVICE FOR DECODING / CODING A VIDEO SIGNAL
US8756482B2 (en) * 2007-05-25 2014-06-17 Nvidia Corporation Efficient encoding/decoding of a sequence of data frames
US8254455B2 (en) * 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
AU2007214319A1 (en) * 2007-08-30 2009-03-19 Canon Kabushiki Kaisha Improvements for Spatial Wyner Ziv Coding
KR101365596B1 (ko) * 2007-09-14 2014-03-12 삼성전자주식회사 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법
KR101345287B1 (ko) 2007-10-12 2013-12-27 삼성전자주식회사 스케일러블 영상 부호화 방법 및 장치와 그 영상 복호화방법 및 장치
US20090141809A1 (en) * 2007-12-04 2009-06-04 Sony Corporation And Sony Electronics Inc. Extension to the AVC standard to support the encoding and storage of high resolution digital still pictures in parallel with video
US8170097B2 (en) * 2007-12-04 2012-05-01 Sony Corporation Extension to the AVC standard to support the encoding and storage of high resolution digital still pictures in series with video
KR101375663B1 (ko) * 2007-12-06 2014-04-03 삼성전자주식회사 영상을 계층적으로 부호화/복호화하는 방법 및 장치
US8126054B2 (en) * 2008-01-09 2012-02-28 Motorola Mobility, Inc. Method and apparatus for highly scalable intraframe video coding
US8374247B2 (en) * 2008-01-14 2013-02-12 Broadcom Corporation Method and system for hierarchical motion estimation with multi-layer sub-pixel accuracy and motion vector smoothing
KR101003105B1 (ko) * 2008-01-29 2010-12-21 한국전자통신연구원 어파인 변환 기반의 움직임 보상을 이용한 비디오 부호화 및 복호화 방법 및 장치
US8351510B1 (en) 2008-02-01 2013-01-08 Zenverge, Inc. Motion compensated noise reduction using shared motion estimation engine
CN101933329B (zh) 2008-02-05 2013-05-29 汤姆逊许可公司 视频编码和解码中用于隐性块分割的方法与设备
US8711948B2 (en) 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
JP2010016453A (ja) * 2008-07-01 2010-01-21 Sony Corp 画像符号化装置および方法、画像復号装置および方法、並びにプログラム
US8761261B1 (en) * 2008-07-29 2014-06-24 Marvell International Ltd. Encoding using motion vectors
US8488680B2 (en) * 2008-07-30 2013-07-16 Stmicroelectronics S.R.L. Encoding and decoding methods and apparatus, signal and computer program product therefor
US9445121B2 (en) 2008-08-04 2016-09-13 Dolby Laboratories Licensing Corporation Overlapped block disparity estimation and compensation architecture
US8184196B2 (en) * 2008-08-05 2012-05-22 Qualcomm Incorporated System and method to generate depth data using edge detection
US8139650B2 (en) 2008-08-07 2012-03-20 California Institute Of Technology Fast noise reduction in digital images and video
EP2157800B1 (en) * 2008-08-21 2012-04-18 Vestel Elektronik Sanayi ve Ticaret A.S. Method and apparatus for increasing the frame rate of a video signal
CN102165490B (zh) * 2008-09-01 2014-01-22 日本电气株式会社 图像同一性尺度计算系统
GB0818561D0 (en) * 2008-10-09 2008-11-19 Isis Innovation Visual tracking of objects in images, and segmentation of images
US8275209B2 (en) * 2008-10-10 2012-09-25 Microsoft Corporation Reduced DC gain mismatch and DC leakage in overlap transform processing
JP2010122934A (ja) * 2008-11-20 2010-06-03 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US8599929B2 (en) * 2009-01-09 2013-12-03 Sungkyunkwan University Foundation For Corporate Collaboration Distributed video decoder and distributed video decoding method
JP4893758B2 (ja) * 2009-01-23 2012-03-07 ソニー株式会社 画像処理装置、画像処理方法および撮像装置
KR101597987B1 (ko) * 2009-03-03 2016-03-08 삼성전자주식회사 계층 독립적 잔차 영상 다계층 부호화 장치 및 방법
US8363721B2 (en) * 2009-03-26 2013-01-29 Cisco Technology, Inc. Reference picture prediction for video coding
FR2944937B1 (fr) 2009-04-24 2011-10-21 Canon Kk Procede et dispositif de restauration d'une sequence video
US8762441B2 (en) * 2009-06-05 2014-06-24 Qualcomm Incorporated 4X4 transform for media coding
CN102883160B (zh) 2009-06-26 2016-06-29 华为技术有限公司 视频图像运动信息获取方法、装置及设备、模板构造方法
KR101678968B1 (ko) * 2009-08-21 2016-11-25 에스케이텔레콤 주식회사 참조 픽처 보간 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US9626769B2 (en) * 2009-09-04 2017-04-18 Stmicroelectronics International N.V. Digital video encoder system, method, and non-transitory computer-readable medium for tracking object regions
JP5791618B2 (ja) * 2009-10-29 2015-10-07 ベステル エレクトロニク サナイー ベ ティカレト エー．エス． ビデオ・シーケンスを処理する方法及び装置
EP2495973B1 (en) * 2009-10-30 2019-02-27 Sun Patent Trust Decoding method, decoder apparatus, encoding method, and encoder apparatus
TR200908303A2 (tr) * 2009-11-03 2011-05-23 Vestel Elektroni̇k San. Ve Ti̇c. A.Ş. Hareket dengelemeli enterpolasyon.
US8705624B2 (en) * 2009-11-24 2014-04-22 STMicroelectronics International N. V. Parallel decoding for scalable video coding
WO2011064673A1 (en) 2009-11-30 2011-06-03 France Telecom Method of and apparatus for encoding video frames, method of and apparatus for decoding video frames
US8559519B2 (en) * 2010-01-08 2013-10-15 Blackberry Limited Method and device for video encoding using predicted residuals
GB2480224B (en) * 2010-01-29 2014-08-20 Canon Kk Decoding a sequence of digital images with error concealment
US9237355B2 (en) * 2010-02-19 2016-01-12 Qualcomm Incorporated Adaptive motion resolution for video coding
US9609342B2 (en) * 2010-02-19 2017-03-28 Skype Compression for frames of a video signal using selected candidate blocks
FR2956789B1 (fr) 2010-02-19 2012-11-16 Canon Kk Procede et dispositif de traitement d'une sequence video
US9595297B2 (en) * 2010-03-03 2017-03-14 Koninklijke Philips N.V. Apparatuses and methods for defining color regimes
US8665959B2 (en) 2010-04-12 2014-03-04 Qualcomm Incorporated Block and partition signaling techniques for video coding
DK2991355T3 (en) * 2010-04-13 2018-02-19 Ge Video Compression Llc Inheritance in sampler array multitree subdivision
WO2012020358A1 (en) 2010-08-09 2012-02-16 Koninklijke Philips Electronics N.V. Encoder, decoder, bit-stream, method of encoding, method of decoding an image pair corresponding with two views of a multi-view signal
WO2012037157A2 (en) * 2010-09-13 2012-03-22 Alt Software (Us) Llc System and method for displaying data having spatial coordinates
US8736767B2 (en) * 2010-09-29 2014-05-27 Sharp Laboratories Of America, Inc. Efficient motion vector field estimation
EP2445214A1 (en) * 2010-10-19 2012-04-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Video coding using temporally coherent dynamic range mapping
JP5625808B2 (ja) * 2010-11-26 2014-11-19 沖電気工業株式会社 データ更新装置及びプログラム、並びに、動画像復号装置及びプログラム、並びに、動画像配信システム
CA2722993A1 (fr) * 2010-12-01 2012-06-01 Ecole De Technologie Superieure Systeme d'ecodage video parallele multitrames et multitranches avec encodage simultane de trames predites
US9147260B2 (en) * 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects
GB2487197B (en) 2011-01-11 2015-06-17 Canon Kk Video encoding and decoding with improved error resilience
CN102857755B (zh) * 2011-07-01 2016-12-14 华为技术有限公司 确定变换块尺寸的方法和设备
US8977065B2 (en) * 2011-07-21 2015-03-10 Luca Rossato Inheritance in a tiered signal quality hierarchy
US8531321B1 (en) * 2011-07-21 2013-09-10 Luca Rossato Signal processing and inheritance in a tiered signal quality hierarchy
EP2745513B1 (en) * 2011-08-19 2020-03-11 Telefonaktiebolaget LM Ericsson (publ) Motion vector processing
HUE062143T2 (hu) 2011-10-18 2023-09-28 Lg Electronics Inc Eljárások intra predikcióra, valamint tárolóközeg
US9300980B2 (en) * 2011-11-10 2016-03-29 Luca Rossato Upsampling and downsampling of motion maps and other auxiliary maps in a tiered signal quality hierarchy
EP2805501A1 (en) * 2012-01-24 2014-11-26 Futurewei Technologies, Inc. Simplification of lm mode
EP2810438A1 (en) * 2012-01-31 2014-12-10 VID SCALE, Inc. Reference picture set (rps) signaling for scalable high efficiency video coding (hevc)
ES2865101T3 (es) 2012-02-03 2021-10-15 Sun Patent Trust Procedimiento de codificación de imágenes, procedimiento de decodificación de imágenes, dispositivo de codificación de imágenes, dispositivo de decodificación de imágenes y dispositivo de codificación/decodificación de imágenes
GB2498595B (en) * 2012-02-16 2015-03-04 Imagination Tech Ltd Methods and apparatus for decoding video images
KR102126886B1 (ko) 2012-05-14 2020-06-26 루카 로사토 단계적 계층에서의 신호 인코딩, 디코딩 및 재구성 동안의 잔차 데이터의 압축해제
US9313495B2 (en) * 2012-05-14 2016-04-12 Luca Rossato Encoding and decoding based on blending of sequences of samples along time
WO2014011595A1 (en) * 2012-07-09 2014-01-16 Vid Scale, Inc. Codec architecture for multiple layer video coding
EP2873237B1 (en) * 2012-07-13 2022-03-30 Koninklijke Philips N.V. Improved hdr image decoding methods and devices
WO2014047885A1 (en) * 2012-09-28 2014-04-03 Intel Corporation Enhanced reference region utilization for scalable video coding
US20140092971A1 (en) * 2012-09-28 2014-04-03 Kiran Mukesh Misra Picture processing in scalable video systems
WO2014056423A1 (en) * 2012-10-09 2014-04-17 Mediatek Inc. Method and apparatus for motion information prediction and inheritance in video coding
US20140153635A1 (en) * 2012-12-05 2014-06-05 Nvidia Corporation Method, computer program product, and system for multi-threaded video encoding
KR102301232B1 (ko) 2017-05-31 2021-09-10 삼성전자주식회사 다채널 특징맵 영상을 처리하는 방법 및 장치

Also Published As

Publication number Publication date
DK2850829T3 (da) 2022-03-07
CA2873501A1 (en) 2013-11-21
SG11201407417VA (en) 2014-12-30
EP2850836A1 (en) 2015-03-25
US11683491B2 (en) 2023-06-20
MX339635B (es) 2016-06-02
SG11201407419RA (en) 2014-12-30
ZA201408538B (en) 2016-08-31
AU2013261845A1 (en) 2014-12-11
EP2850829B1 (en) 2021-12-01
EP2850830A1 (en) 2015-03-25
US20220038700A1 (en) 2022-02-03
WO2013171175A1 (en) 2013-11-21
MX344994B (es) 2017-01-13
EP2850832A1 (en) 2015-03-25
SG11201407508RA (en) 2014-12-30
US20130322530A1 (en) 2013-12-05
JP2015522986A (ja) 2015-08-06
MX2014013836A (es) 2015-03-03
JP2015520575A (ja) 2015-07-16
US20170310968A1 (en) 2017-10-26
EP2850830C0 (en) 2023-08-30
WO2013171168A1 (en) 2013-11-21
US11595653B2 (en) 2023-02-28
CA2873496A1 (en) 2013-11-21
US20130321423A1 (en) 2013-12-05
US11272181B2 (en) 2022-03-08
US20210099706A1 (en) 2021-04-01
JP2015522985A (ja) 2015-08-06
BR112014028279A2 (pt) 2017-07-18
CN104620582A (zh) 2015-05-13
US20170041609A1 (en) 2017-02-09
ZA201408539B (en) 2016-08-31
WO2013171184A1 (en) 2013-11-21
SG11201407472SA (en) 2014-12-30
EP2850831A1 (en) 2015-03-25
CA2873487A1 (en) 2013-11-21
MX2014013838A (es) 2015-03-03
EA201492098A1 (ru) 2015-04-30
US20210176483A1 (en) 2021-06-10
CN110944210B (zh) 2022-03-01
KR102126886B1 (ko) 2020-06-26
MX2014013846A (es) 2015-05-08
AU2013261843B2 (en) 2018-02-15
HK1203265A1 (en) 2015-10-23
WO2013171183A1 (en) 2013-11-21
US20220191497A1 (en) 2022-06-16
EP2850832B1 (en) 2022-01-05
CN104620581A (zh) 2015-05-13
EP3968638A1 (en) 2022-03-16
CN104641643B (zh) 2018-06-19
US10178387B2 (en) 2019-01-08
BR112014028273A2 (pt) 2017-07-18
US9706206B2 (en) 2017-07-11
AU2013261854A1 (en) 2014-12-11
KR20150018575A (ko) 2015-02-23
ZA201408540B (en) 2016-08-31
JP2015519016A (ja) 2015-07-06
US11153567B2 (en) 2021-10-19
US20230379470A1 (en) 2023-11-23
MX341203B (es) 2016-08-11
KR20150014495A (ko) 2015-02-06
CA2873494A1 (en) 2013-11-21
AU2013261838A1 (en) 2014-12-04
EA201492099A1 (ru) 2015-04-30
SG10201710075SA (en) 2018-01-30
US20170188032A1 (en) 2017-06-29
EA201492093A1 (ru) 2015-04-30
CN110944210A (zh) 2020-03-31
AU2013261853A1 (en) 2014-12-11
US11622112B2 (en) 2023-04-04
CN104641644A (zh) 2015-05-20
ES2907510T3 (es) 2022-04-25
JP2015522988A (ja) 2015-08-06
BR112014028274A2 (pt) 2017-07-18
PL2850829T3 (pl) 2022-05-16
KR20150020568A (ko) 2015-02-26
CN104620583A (zh) 2015-05-13
JP2015522987A (ja) 2015-08-06
ES2909879T3 (es) 2022-05-10
IL235579A0 (en) 2015-01-29
IL235576A0 (en) 2015-01-29
WO2013171182A1 (en) 2013-11-21
MX2014013850A (es) 2015-05-08
CN104620582B (zh) 2020-01-14
IL235574A0 (en) 2015-01-29
EP2850835B1 (en) 2022-01-05
MX2014013835A (es) 2015-03-03
US20130322537A1 (en) 2013-12-05
US9509990B2 (en) 2016-11-29
CA2873499A1 (en) 2013-11-21
WO2013171173A1 (en) 2013-11-21
CN104641643A (zh) 2015-05-20
KR20150014494A (ko) 2015-02-06
BR112014028283A2 (pt) 2017-07-18
EA201492089A1 (ru) 2015-04-30
HK1203264A1 (en) 2015-10-23
EP2850829A1 (en) 2015-03-25
ZA201408541B (en) 2016-08-31
WO2013171182A8 (en) 2014-06-12
ZA201408537B (en) 2016-08-31
BR112014028276A2 (pt) 2017-07-11
EA201492090A1 (ru) 2015-05-29
ES2961397T3 (es) 2024-03-11
AU2013261843A1 (en) 2014-12-11
EP2850830B1 (en) 2023-08-30
US20130314496A1 (en) 2013-11-28
EP2850835A1 (en) 2015-03-25
HK1203261A1 (en) 2015-10-23
IL235578A0 (en) 2015-01-29
US10750178B2 (en) 2020-08-18
SG11201407484WA (en) 2014-12-30
US10750179B2 (en) 2020-08-18
HK1203263A1 (en) 2015-10-23
US20210099707A1 (en) 2021-04-01
HK1203260A1 (en) 2015-10-23
CN104620580A (zh) 2015-05-13
JP6336438B2 (ja) 2018-06-06
DK2850832T3 (da) 2022-04-11
CA2873490A1 (en) 2013-11-21
US9961345B2 (en) 2018-05-01
KR20150018576A (ko) 2015-02-23
US20190297322A1 (en) 2019-09-26
IL235574B (en) 2018-03-29
US9621887B2 (en) 2017-04-11

Similar Documents

Publication Publication Date Title
EP2850830B1 (en) Encoding and reconstruction of residual data based on support information
US9930350B2 (en) Encoding and decoding based on blending of sequences of samples along time
US20240073451A1 (en) Image prediction method and apparatus for performing intra prediction
KR20090002412A (ko) 매크로블록 단위의 변이 예측을 이용한 움직임 정보 공유방법 및 장치 및 그리고 이를 이용한 다시점 비디오 영상부호화/복호화 방법 및 장치
BR112021001890A2 (pt) codificador, decodificador, método de codificação e método de decodificação
BR122021025020A2 (pt) Codificador, decodificador e mídia legível por computador não transitória

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid