KR20150020568A - 시간을 따라 샘플들의 시퀀스들의 블렌딩에 기초한 인코딩과 디코딩 - Google Patents

시간을 따라 샘플들의 시퀀스들의 블렌딩에 기초한 인코딩과 디코딩 Download PDF

Info

Publication number
KR20150020568A
KR20150020568A KR1020147035200A KR20147035200A KR20150020568A KR 20150020568 A KR20150020568 A KR 20150020568A KR 1020147035200 A KR1020147035200 A KR 1020147035200A KR 20147035200 A KR20147035200 A KR 20147035200A KR 20150020568 A KR20150020568 A KR 20150020568A
Authority
KR
South Korea
Prior art keywords
image
images
sequence
image data
settings
Prior art date
Application number
KR1020147035200A
Other languages
English (en)
Inventor
루카 로사토
귀도 메아르디
Original Assignee
루카 로사토
귀도 메아르디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 루카 로사토, 귀도 메아르디 filed Critical 루카 로사토
Publication of KR20150020568A publication Critical patent/KR20150020568A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/439—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using cascaded computational arrangements for performing a single operation, e.g. filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/62—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding by frequency transforming in three dimensions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94—Vector quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Developing Agents For Electrophotography (AREA)
  • Detergent Compositions (AREA)
  • Peptides Or Proteins (AREA)
  • Polyurethanes Or Polyureas (AREA)
  • User Interface Of Digital Computer (AREA)
  • Dc Digital Transmission (AREA)
  • Pyridine Compounds (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Display Devices Of Pinball Game Machines (AREA)
  • Retry When Errors Occur (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

컴퓨터 프로세서 하드웨어는 시퀀스내 다중 오리지널 이미지들의 각각의 이미지를 위해 엘리먼트 세팅들을 특정하는 이미지 데이터를 수신한다. 컴퓨터 프로세서 하드웨어는 다중 오리지널 이미지들에 걸쳐서 엘리먼트 세팅들을 분석한다. 그 다음 컴퓨터 프로세서 하드웨어는 공통 이미지 엘리먼트 세팅들의 세트를 특정하는 제1 인코드된 이미지 데이터를 생산하기 위해 시퀀스내 다중 오리지널 이미지들의 엘리먼트 세팅들을 활용하며, 공통 이미지 엘리먼트 세팅들의 세트는 시퀀스내 오리지널 이미지들의 각각을 실질적으로 재생하기 위한 베이스라인이다.

Description

시간을 따라 샘플들의 시퀀스들의 블렌딩에 기초한 인코딩과 디코딩{ENCODING AND DECODING BASED ON BLENDING OF SEQUENCES OF SAMPLES ALONG TIME}
디지털 신호들의 인코딩과 디코딩을 다루기 위해 많은 기법들이 종래 기술에 알려져 있다. 본 발명은 오디오 신호들(audio signals), 화상들(pictures), 비디오 신호들(video signals) 그리고 과학적 영역과 의학적 영역들에서 사용된 입체 신호들(volumetric signals)과 같은 기타 다차원 신호들의 경우이다. 고압축 비율들을 달성하기 위해, 이들 기법들은 신호내에 공간과 시간 상관(spatial and time corrlation)을 활용한다.
종래의 방법들은 기준을 식별하고 현재 위치와 주어진 기준 사이의 신호의 차이를 결정하려 한다. 이러한 시도는 기준이 이미 수신되고 디코드된 공간 평면의 일부인 공간 도메인(spatial domain), 그리고 신호(예를 들어, 프레임들 시퀀스내 비디오 프레임)의 시간내 단일 인스턴스(single instance)가 특정한 지속기간 동안 기준으로서 취해지는 시간 도메인(time domain) 둘 다에서 이루어진다. 예를 들어, 이것은 MPEG-패밀리(Moving Pictures Expert Group) 압축 알고리즘들의 경우이며, 여기서 사전에-디코드된 매크로 블록들은 공간 도메인에서 기준으로서 취해지며 I-프레임들과 P-프레임들은 시간 도메인에서 기준으로서 사용된다.
알려진 기법들은 차이들("잔여 데이터(residual data)")을 식별하고, 단순화하며, 인코드하고 전송하기 위해 여러 다른 기법들을 채택하는 많은 방법들에서 공간 상관과 시간 상관을 이용한다.
종래의 방법들에 따라서, 공간 상관에 대한 영향력을 위해, 도메인 변환(domain transformation)이 (예를 들어 주파수 도메인(frequency domain) 내로)수행된 다음에 정보의 손실 삭제(lossy deletion)와 정량화가 수행된다. 대신에, 시간 도메인에서, 종래의 방법들은 현재 샘플과 기준 샘플 간의 정량화된 차이를 전송한다. 샘플들간의 유사성을 최대화하기 위해, 인코더들은 시간을 따라서 발생된 변경들 대 기준 신호를 추정하려한다. 종래의 인코딩 방법들(예를 들어, MPEG 패밀리 기술들, VP8, 등)에서, 이러한 시도는 모션 추정(motion estimation)으로 불리운다. 모션 정보는 (MPEG에서 이것은 매크로 블록 기초 모션 벡터들을 이용해 이루어진다) 기준 샘플을 위한 디코더에서 이미 활용가능한 정보에 영향을 끼침으로써 현재 샘플의 재구성을 가능하게 하기 위해 대응하는 디코더로 전송된다.
종래의 기준-기반 인코딩 기법들(reference-based encoding techniques)의 결점은 샘플내 에러들이 선행 샘플에 기초하여 각각 재구성되는 후속 샘플들내 에러들과 함께 축적되고, 손실 압축 기법들이 적용되자 마자 매우 적은 순차적인 예측 샘플들에 뒤이어 가시적인 결함들을 생성한다는 것이다.
공통 접근법(common approach)은 인코딩과 디코딩 동작들의 복잡성을 감소시키기 위해 신호를 분할하는 것이다. 이러한 분할은, 예를 들어 매크로 블록들(macro blocks) 또는 슬라이스들(slices)의 개념을 이용해, 공간 도메인과 시간 도메인 둘 다에서 이루어지며, 여기서 기술적 접근법의 현재 상태는 시간에 따라 화상 그룹(Group of Pictures : GOP)을 이용할 것이다.
분할 프로세스(partition process)는 통상적으로 돌발적이며 아티팩트들이 있기 쉽다. 예는 MPEG 방법들에서 수행된 매크로 블록 분할이다. 비록 압축 효율이 실제로 달성된다고 하더라도, 가시적 아티팩트들이 유도된다는 것 또한 사실이다. 이들 아티팩트들은, 많은 조건들에서, 아티팩트들(예를 들어, 2개의 주목할만한 예들은 "블록" 타입 아티팩트들과 링잉(ringing) 아티팩트들이다)이 오리지널 신호에 관련되지 않는다는 사실로 인해 인간 관측자들에게 매우 분명하다. 비록 감소된 글로벌 지각 품질(global perceived quality)과 증대된 복잡성과 같은 단점들을 갖는다고 하더라도 이와 같은 아티팩트들의 가시성을 감소시키기 위해 많은 시도들(예를 들어 인코더와 디코더 측 둘 다에 대한 디블로킹과 디-링잉 필터들(de-ringing filters))이 구현되었다. 시간 차원(time dimension)을 따라서, 종래의 방법들은 덩어리들(예를 들어, 비디오 신호들을 위한 GOP, 여기서 시간을 따라서 각각의 샘플은 화상이다)로 샘플들을 분할한다. 정상적으로 순차적인 순서에 기초하여 기준 샘플들이 선택(기준 이미지)되고, 덩어리내 샘플들은 기준에 대하여 (또는 이중 프레임들의 경우에 있어서, 2개의 기준들에 대하여) 다르게 전송된다. 이것은 (예를 들어, 상당한 움직임들을 위해 지각된 품질이 종종 GOP의 에지들을 따라 분명한 불연속성들로 인해 고통받는다) 신호의 시간 이볼루션(time evolution)에 있어서 아티팩트들을 유도한다.
알려진 기술의 방법들에 의해 다루어진 하나의 요건은 압축 효율이다. 계산 복잡성은 항상 2순위로서 고려되었다: 근본적으로, 알고리즘들은, 낮은 계산 복잡성을 위해 설계되기보다는, 그저 계산적으로 실행가능해야 했다. 이것은 하드웨어 제조업체들로 하여금 선택된 알고리즘들을 구현할 수 있는 진일보된 기법들, 특정 프로세서들 설계 및 전용 하드웨어 솔루션들(dedicated hardware solutions)을 채택하도록 지속적으로 강제한다. 예는 MPEG2, MPEG4, H.264/AVC, H.265/HEVC, 등을 위한 하드웨어 서포트(hardware support)의 진화이다. (즉, 코드를 채택할 필요가 없거나, 심지어 얼마나 많은 컴퓨팅 코어들이 활용될 것인지를 사전에 알지 못하고) 활용가능한 컴퓨팅 코어들의 수에 기초하여 자동적으로 크기조정되는 계산 성능과 더불어, 대규모로 병렬 하드웨어에 대해 최적으로 실행되도록 하기 위해 지금까지 인코딩 기술이 설계되지 않았다. 현재의 방법들과 함께 실행할 수 없는, 이러한 특징은 특별히 중요한데 이는 최근 하드웨어 기술이 컴퓨팅 클럭 레이트들(computing clock rates)과 전달 레이트 속도(transfer rate speed) 면에서 실리콘의 점근적 한계(asymptotic limit)에 도달하고 있기 때문이다: 활용가능한 컴퓨팅 능력을 증대하기 위한 현재의 트렌드는 단일 칩 또는 시스템에 호스트된 별개의 프로세싱 유닛들("컴퓨팅 코어들")의 수를 증가시키는 방향으로 이동중에 있다.
몇몇 시도들 이외에, 알려진 기술에서 무시된 또 다른 양상은 품질 확장성 요구이다. 가변 인코딩 방법(scalable encoding method)은 압축된 신호의 단일 버전을 인코드할 것이며, 상이한 레벨들의 품질, 예를 들어 대역폭 활용성에 따라서, 디스플레이 해상도 및 디코더 복잡성을 운반할 수 있다. 확장성은 MPEG-SVC 및 JPEG2000과 같은 알려진 방법들에서 고려되었으며, 계산 복잡성 및, 일반적으로, 비-확장 기법들을 위해 핵심적으로 설계된 이들의 접근법들의 사용으로 인해 지금까지 상대적으로 채택이 빈약하다.
알려진 방법들에 의해 다루어지지 않은 또 다른 양상은 대칭(symmetry)이다. 종래의 방법들과 더불어 압축 효율은 양방향(예를 들어, 시간 역전(time reverse)) 재생(play back) 그리고 보다 일반적으로 신호내 임의의 샘플(예를 들어, 비디오 신호들에 대한 프레임 단위 편집)에 대한 랜덤 액세스(random access)와 같은 유용한 기능들에 대한 포기의 대가로 달성될 수 있다. 특히 시간 차원을 따라서, 예측 기법들은 디코더가 수신하는 것을 방해하며, 시간 역전 순서로 신호를 디코드하고 제공한다. 채택된 예측 기법들은 또한, 아티팩트들의 축적으로 인해, 심하게 압축되거나 에러-경향 전송들(error-prone transmissions)에서 행위에 영향을 끼친다. 에러들에 의해 유도된 아티팩트들은, 특히 시간내 이들의 지속기간으로 인해, 가시적이다.
알려진 기술에 채택된 예측-구동 기법들(prediction-driven techniques)은 또한 압축된 스트림(compressed stream)에 대한 랜덤 액세스(random access)에 대해 강한 제약들을 유도한다. 임의의 포인트(arbitrary point)내 샘플을 향한 "탐색(seek)", (다음 시간-덩어리/GOP의 시작을 기다릴 필요없이) 상이한 신호 비트스트림에 대해 "잽핑(zapping)"할 때 랜덤 액세스와 같은 동작들은 현재 실행할 수 없다. 임의의 포인트를 액세스하려 시도할 때 사용자가 기다려야 하는 시간은 현재 압축 효율과 엄격히 트레이드 오프된다. 이러한 현상의 예는 MPEG 패밀리 방법들에서 GOP 제약이다: 최소 시간 지연과 시간을 따라서 랜덤 액세스를 허용하기 위해, 하나의 샘플의 GOP(즉, 인트라-전용 인코딩)가 사용되어야 한다.
최종적으로, 현재의 방법들은, 요구될 계산 능력과 대역폭의 양으로 인해, 매우 높은 샘플 레이트들(예를 들어, 비디오 신호들에 대한 매우 높은 프레임 레이트들)에 대해 적합하지 않다. 예를 들어, 여러 연구들은 모든 인간들이 초당 300 프레임들까지 비디오 신호들의 품질 차이들을 쉽게 인식할 수 있다는 것을 증명하였지만, 계산 및 대역폭 제약들은 현재 초당 25-60 프레임들을 초과하는 프레임들에서 고품질 비디오 신호들을 인코드하고 전송하는데 매우 많은 비용을 초래한다.
본 명세서에서 특정한 실시예들은 신호의 다중 샘플들에 관련된, 특히 신호를 위한 상당한 상관의 차원들을 따라서 잔여 데이터를 인코딩, 전송 그리고 디코딩하기 위한 기법들의 개선들에 집중한다.
하나의 비-제한적인 예시적인 실시예에 따라서, 방법은 소위 서포트 버퍼(support buffer)(예를 들어, 제한없이, 서포트 엘리먼트들의 세트)에 기초하여 잔여 데이터의 다중 세트들을 인코딩 및 재구성하는 단계를 포함한다. 몇몇 비-제한적인 실시예들은 또한 서포트 버퍼들의 단계적 계층(tiered hierarchy)을 발생함으로써 방법을 구현한다. 이러한 방법은 인코딩 단계 ― 인코딩 단계 동안 잔여 데이터의 세트들이 처리되고, 서포트 엘리먼트 정보 및 관련 잔여 데이터를 발생 ― 그리고 디코딩 단계를 포함하고 ― 디코딩 단계 동안 서포트 엘리먼트 정보가 잔여 데이터를 위한 예측들을 발생하기 위해 처리되며, 관련 잔여 데이터와 조합되어, 잔여 데이터의 재구성을 허용한다.
상기 방법들이 단계적 계층 인코딩 방법들의 인코딩과 디코딩 루프내에서 사용되는 비-제한적인 실시예들에 대해 특별한 주의가 제공될 것이며, 여기서 신호는 둘 또는 둘을 초과하는 티어들(tiers)을 포함하는 샘플들의 단계적 계층에서 인코드되며, 그리고 여기서 티어들의 각각은 (예를 들어, 신호 렌디션(rendition)의 충실도의 레벨에 대응하는) 별개의 품질 레벨을 갖는다. 이와 같은 방법들은 주어진 품질 레벨에서 샘플들이 최저 품질 레벨을 갖는 티어의 샘플들로부터 시작함으로써 재구성 동작들을 통해 계산되는 디코딩 단계를 포함한다. 비록 당업자들이 보다 낮은 품질 레벨에서 신호가 동일한 해상도와 보다 낮은 레벨의 섬세함을 갖는 신호(예를 들어, 제한없이, 엘리먼트 값들의 모 정량화(coarser quantization))인 경우들에 대해 동일한 방법들을 쉽게 채택할 수 있다고 하더라도, 본 명세서에 예시된 실시예들은 보다 낮은 품질 레벨이 신호의 차원들 중 하나 또는 하나를 초과하는 차원들에 걸쳐서 보다 낮은 해상도(즉, 모 샘플링 격자(coarser sampling grid))인 비-제한적인 경우들에 집중한다. 몇몇 경우들에서, 본 명세서에서 실시예들은 단지 서브샘플된 차원 대 보다 높은 품질 레벨이 시간 차원인 보다 높은 "집합 레벨(level of aggregation : LOA)"로서 보다 낮은 품질 레벨을 지칭한다. 용어들 "티어(tier)"는, 맥락에 따라서, 남아있는 어플리케이션에서 "품질의 레벨(level of quality : LQQ))" 또는 "집합 레벨(level of aggregation : LOA)"과 상호교환적으로 사용될 것이다.
단순함을 위해, 본 명세서에 예시된 비-제한적인 예들은 통상적으로 시간 차원을 따라서 주어진 샘플 레이트에서 발생하는 다차원 샘플들의 시퀀스(즉, 하나 또는 하나를 초과하는 차원들과 함께 어레이들로서 조직화된 하나 또는 하나를 초과하는 엘리먼트들의 세트들)로서 신호를 지칭한다. 상세한 설명에서 용어들 "이미지(image)" 및/또는 ("하이퍼평면(hyperplane)", 즉, 임의의 수의 차원들을 갖는 엘리먼트들의 어레이의 가장 넓은 의미로 의도된) "평면(plane)"은 종종 샘플들의 시퀀스를 따라서 신호의 샘플의 디지털 렌디션을 식별하기 위해 상호교환적으로 사용될 것이며, 각각의 평면은 각각의 자신의 차원의 각각을 위해 주어진 해상도를 가지며 그리고 평면내 좌표들의 각각의 적절한 세트는 하나 또는 하나를 초과하는 값들 또는 "세팅들"(예를 들어, 비-제한적인 예들로서, 적절한 컬러 공간내 컬러 세팅들, 밀도 레벨을 표시하는 세팅들, 온도 레벨들을 표시하는 세팅들, 오디오 피치를 표시하는 세팅들, 진폭을 표시하는 세팅들, 등)을 특징으로 하는 평면 엘리먼트(또는 "엘리먼트", 또는 종종 "픽셀(pixel)"로 불리우는 2차원 이미지들을 위한, 종종 "복셀(voxel)"로 불리우는 입체적 이미지들을 위한, "화소(pel)" 등)를 식별하는 평면내 좌표들의 각각의 적절한 세트를 갖는다. 비-제한적인 예들로서, 신호는 이미지, 오디오 신호, 멀티-채널 오디오 신호, 비디오 신호, 멀티-뷰 비디오 신호(예를 들어, 3D 비디오), 입체적 신호(예를 들어, 의학적 이미징, 과학적 이미징, 홀로그라픽 이미징, 등), 입체적 비디오 신호, 플레놉틱 이미지(plenoptic image), 또는 심지어 4 차원들을 초과하는 차원들을 갖는 신호들일 수 있다.
본 명세서에 예시된 실시예들은, 특별히 종래 기술의 부족으로 인해, 시간에 걸쳐 진화하는 신호들에 특히 집중될 것이다. 예를 들어, 또한 (예를 들어, 또한 초당 1,000 프레임들에 걸쳐서, 현재 인코딩과 디코딩을 위한 컴퓨팅과 스토리지 자원들의 과도한 양들을 요구하는) 매우 높은 샘플 레이트들은 기술된 실시예들에 의해 쉽게 다루어진다. 단순함을 위해, 본 명세서에 예시된 비-제한적인 실시예들은 종종, 예를 들어 다중 이미지들을 포함하는 비디오 신호와 같은, 세팅들의 2D 평면들(예를 들어, 적절한 컬러 공간내 2D 이미지들)의 시퀀스들로서 디스플레이되는 신호들을 지칭한다. 그러나, 동일한 개념들과 방법들은 또한 임의의 다른 형태들의 시간-기반 신호에 적용할 수 있으며, 그리고 또한 비-시간-기반 멀티-차원 신호들(예를 들어, 2차원 화상들, 입체/홀로그래픽 이미지들, 플레놉틱 이미지들, 등)에 적용할 수 있다. 비-시간-기반 신호의 비-제한적인 예로서, (본 명세서에 예시된 혁신적인 방법들에 따라서, 일정한 샘플 레이트나 심지어 가변 샘플 레이트인 것을 가정함으로써) 슬라이스들이 취해진 축이 시간 차원인 것처럼, CAT-스캔 또는 MRI의 2차원 슬라이스들의 시퀀스(즉, 비-시간-기반 3차원 신호)는 차원을 따라서(즉, 슬라이스들이 취해진 축을 따라서) 2차원 샘플들의 시퀀스로서 적절히 표시될 수 있으며, 그리고 본 명세서에 예시된 방법들을 따라서 인코드 되고/디코드 된다.
본 명세서에 예시된 단계적 계층들의 비-제한적인 실시예들은 상이한 해상도들을 갖는 티어들을 특징으로 하며, 여기서 보다 높은 티어에서 보다 낮은 티어까지 다운샘플링 스케일 인자는 각각의 티어 및 각각의 차원(공간과 시간 둘 다)에 대해 변할 수 있다. 단계적 시간 계층에서 인코드된 샘플들은 상이한 지속기간들을 가질 수 있다. 예를 들어, 보다 높은 티어의 2개의 상이한 샘플들의 시간 다운샘플링("블렌딩", 또는 공간 다운샘플링과 시간 다운샘플링의 조합의 경우에 "다운블렌딩")으로부터 야기된 주어진 티어의 샘플은 보다 높은 티어의 샘플들의 각각에 의해 표시된 신호의 부분들의 지속기간들의 합인 지속기간("시간 경간(temporal span)")을 갖는 신호의 일부를 나타낸다. 본 명세서에서 용어 "신호의 경간" 또는 "경간"은 (비록 보다 적절히 우리는 각각의 주어진 샘플이 자신의 시간 경간과 동일한 지속기간 동안 "샘플과 홀드"에 대응하는 것을 표시하는, 대응하는 경간을 갖는다고 말할 수 있다고 하더라도) 용어들 "샘플"과 (임의의 수의 차원들과 함께 엘리먼트들의 평면의 일반적인 의미와 함께) "이미지"와 상호교환적으로 사용될 것이다. 주어진 품질 레벨에서 신호의 "경간"은 "시간내 주어진 순간으로부터 시작되는 재생되고 디스플레이될, 주어진 샘플링 포지션과 주어진 시간 지속기간과 함께 신호의 일부"를 표시한다. 보다 높은 품질 레벨의 복수의 경간들의 조합(블렌딩 또는 다운샘플링)에 기인한 보다 낮은 품질 레벨의 경간은 상기 다중 경간들의 샘플링 포지션들의 선형 또는 비-선형 조합인 샘플링 포지션(sampling position)을 가질 것이다.
비-제한적인 실시예에서, 보다 높은 레벨의 경간들의 샘플링 포지션들의 수학적 평균과 동일하거나 보다 바로 아래인 최고 품질 레벨의 정수 샘플링 포지션은 주어진 경간으로 다운샘플되거나 ― 또는 실질적으로 평균의 라운드-다운(round-down)이다. 상기 결과적인 경간은 또한 상기 다중 경간들의 시간 지속기간들의 합인 지속기간을 가질 것이다. 핵심적으로, 용어 "경간"은, 특히 시간 다운샘플링과 함께 또한 계층을 다운시킬 때, 매우 특정한 시간 포지션에서 단순한 "샘플" 보다는 ― 각각의 경간이 ― 주어진 시간 인터벌을 따라서 신호의 값들을 나타내는, 즉 신호의 "경간"을 나타내는 ― "샘플과 홀드"로서 보다 잘 모델화되는 정보를 나타낸다. 또한, 동일한 티어의 상이한 경간들은 상이한 지속기간들을 가질 수 있으며, 가변 샘플 레이트들(variable sample rates)을 효과적으로 나타낸다.
본 명세서에 예시된 혁신적인 방법들의 비-제한적인 실시예들은 종종 모션 추정(motion estimation)과 보상 기법들의 몇몇 형태에 영향을 끼친다. 종래의 방법들에서, 모션 보상은 공간 상관에 기초하여 이미지의 일부를 예측하기 위한 대안으로서 활용된다: 즉, 재구성된 경간의 각각의 부분(예를 들어, 이미지)을 위해, 이들 인코딩 기법들은 공간 상관에 영향력을 끼침으로 예측하는 단계(즉, 동일한 샘플의 이웃하는 부분들, 예를 들어, MPEG 방법들내 인트라-예측) 또는 시간 상관에 영향력을 끼침으로서 예측하는 단계(즉, 하나 또는 하나를 초과하는 기준 샘플들의 부분들, 예를 들어, MPEG 방법들내 P-예측 또는 B-예측) 간에 선택한다.
본 명세서에 기술된 혁신적인 실시예들을 위해, 공간과 시간은 별개로 고려하기 위해 완전히 독립적인 차원들이 아니다: 공간과 시간은 단지 공간-시간으로 불리는 보다 넓은 멀티차원 공간의 별개의 차원들이다. 단일 (N+1)-차원 신호로서 N-차원 샘플들의 시퀀스를 표시함으로써, 그리고 단계적 계층 방법과 함께 상기 (N+1)-차원 신호를 인코딩함으로써, 본 명세서에 기술된 실시예들은 (적절한 공간-시간 인코딩-디코딩 동작들을 통해) 자신의 공간-시간에서 신호를 효과적으로 인코드-디코드할 수 있으며, 공간과 시간 상관에 동시(즉, 둘 사이를 선택할 필요없이)에 효과적으로 영향을 끼칠 수 있고, 그리고 다중 샘플들에 걸쳐서 또한 상관에 효과적으로 영향(즉, 단지 하나의 샘플에서 다른 샘플까지만이 아닌)을 끼칠 수 있다. 게다가, 동일한 품질 레벨에서 이웃하는 샘플들에 기초하는 대신에 보다 낮은 품질 레벨의 샘플들(및/또는 보다 높은 집합 레벨)에 기초하여 샘플들을 예측함으로써, (N+1)-차원 신호의 선택된 부분들에서 취해진 손실 결정들은 신호의 다른 부분들(즉, 시퀀스내 다른 샘플들/경간들)로 선택된 부분들을 반드시 전파할 필요는 없다. 간단히, 본 명세서에 기술된 실시예들은 통째로 신호를 조작하며, 전체 신호에 걸쳐서 상관에 영향력을 끼치며 다른 차원들과 동일한 레벨에서 시간 차원을 고려한다. 우리는 종종 "대칭(symmetry)"으로서 본 명세서에 기술된 방법들의 이러한 매우 혁신적인 속성을 지칭한다.
발명은 다중 오리지널 이미지들에 걸쳐서 엘리먼트 세팅들을 분석함으로써 생산된 공통 이미지 엘리먼트 세팅들에 기초하여 다중 오리지널 이미지들을 인코드, 전송 및/또는 디코드하는 방법에 관한 것이며, 공통 이미지 엘리먼트 세팅들의 상기 세트는 시퀀스내 오리지널 이미지들의 각각을 실질적으로 재생하기 위한 베이스라인(baseline)이다. 이미지들의 동일한 시퀀스의 이미지들을 따라서 "예측들의 캐스케이드"를 생성하는 대신에 ― 종래의 방법들과 같은 ― 본 명세서에 예시된 방법들은 동일한 "공통 예측기"(실시예 및/또는 목적에 따라 ― 오리지널 이미지들로서 동일한 품질의 해상도/레벨에서 이미지이거나 보다 낮은 품질의 해상도/레벨에서 이미지)로 이미지들의 시퀀스를 효과적으로 블렌드한 다음에, 디코더가 상기 공통 예측기에 적어도 부분적으로 기초하여 예비 렌디션들과 상기 조절값들을 조합함으로써 오리지널 이미지들의 적절한 렌디션들을 생산할 수 있도록 조절값들의 세트들을 생산한다.
본 명세서에 기술된 몇몇 비-제한적인 실시예들에 있어서, 공통 예측기내로 블렌드된 이미지들의 시간 상관을 최대화하기 위해, 공통 이미지 엘리먼트들 세팅들(즉, "공통 예측기 이미지")은 이미지들의 시퀀스내 이미지들의 각각에 대한 이미지 프로세싱 동작들을 1차로 수행함으로써 발생된다. 이와 같은 비-제한적인 실시예들의 몇몇에서, 상기 이미지 프로세싱은 적절한 모션 보상 방법들에 따라서 모션-보상 동작들을 포함한다.
본 명세서에 기술된 기타 비-제한적인 실시예들에서, 디코더는 단일 공통 예측기 이미지에 기초하여 오리지널 이미지들의 시퀀스를 재구성하며, 상기 방법은 :
제1 인코드된 이미지 데이터 ― 제1 인코드된 이미지 데이터는 상기 다중 오리지널 이미지들의 각각을 재생하기 위한 베이스라인으로서 사용될 공통 이미지 엘리먼트 세팅들(일 실시예에서, 공통 예측기 이미지)의 세트를 특정함 ― 를 수신하는 단계;
서술적 정보 ― 상기 서술적 정보는, 상기 공통 예측기 이미지에 기초하여, 상기 오리지널 이미지들의 시퀀스내 상기 오리지널 이미지들의 각각을 위한 예비 이미지 렌디션을 어떻게 재구성할지를 특정함 ― 를 처리하는 단계;
제2 인코드된 이미지 데이터 ― 상기 제2 인코드된 이미지 데이터는 상기 예비 이미지 렌디션들에 대해 만들어질 조절들(일 실시예에서, 소위 잔여 데이터)을 특정함 ― 를 수신하는 단계;
상기 조절들과 상기 예비 이미지 렌디션들을 조합함으로써 상기 시퀀스내 상기 다중 오리지널 이미지들을 실질적으로 재생하는 단계를 포함한다. 이들 및 기타 실시예 변화들은 이하 보다 상세히 논의된다.
주목할 것은 본 명세서의 실시예들은 소프트웨어 또는 하드웨어로 구현될 수 있거나, 또는 소프트웨어와 하드웨어의 조합을 이용해 구현될 수 있으며, 그리고 본 명세서에 개시된 방법 동작들의 임의의 또는 모두를 수행 및/또는 지원하기 위해 하나 또는 하나를 초과하는 컴퓨터화된 디바이스들, 라우터들, 네트워크, 워크스테이션들, 휴대형 또는 랩탑 컴퓨터들, 태블릿들, 모바일 폰들, 게임 콘솔들, 셋-탑 박스들 등의 구성을 포함할 수 있다. 즉, 하나 또는 하나를 초과하는 컴퓨터화된 디바이스들 또는 프로세서들은 상이한 실시예들을 수행하기 위해 본 명세서에 설명된 바와 같이 동작하도록 프로그램되고/되거나 구성될 수 있다. 상기 논의된 바와 같이 기법들에 더하여, 본 명세서의 또 다른 실시예들은 상기 요약되고 이하 상세히 개시된 단계들과 동작들을 수행하기 위해 소프트웨어 프로그램들을 포함한다. 하나의 이와 같은 실시예는, 프로세서와 대응하는 메모리를 갖는 컴퓨터화된 디바이스에서 수행될 때, 본 명세서에 개시된 동작들 중 임의의 동작들을 수행하기 위해 프로세서를 프로그램하고/하거나 프로세서로 하여금 컴퓨터-판독가능, 하드웨어 스토리지에 인코드된 컴퓨터 프로그램 로직, 명령들, 등을 포함하는 컴퓨터-판독가능, 하드웨어 스토리지 자원(즉, 비-일시적인 컴퓨터 판독가능 매체)을 포함한다. 이와 같은 배열들은 광학 매체(예를 들어, CD-ROM, DVD-ROM 또는 BLU-RAY), 플래시 메모리 카드, 플로피 또는 하드 디스크와 같은 컴퓨터 판독가능 매체 또는 펌웨어 또는 하나 또는 하나를 초과하는 ROM 또는 RAM 내의 마이크로코드 또는 PROM 칩들 또는 주문형 반도체(ASIC)와 같은 컴퓨터 판독가능 명령들을 저장할 수 있는 임의의 기타 매체 상에 정렬되거나 인코드된 소프트웨어, 코드 및/또는 기타 데이터(예를 들어, 데이터 구조들)로서 제공될 수 있다. 소프트웨어 또는 펌웨어 또는 기타 이와 같은 구성들은 컴퓨터화된 디바이스로 하여금 본 명세서에 설명된 기법들을 수행하도록 하기 위해 컴퓨터화된 디바이스 위에 인스톨될 수 있다.
본 명세서의 하나 또는 하나를 초과하는 실시예들은 컴퓨터 판독가능 스토리지 매체상에 저장된 명령들을 갖는 컴퓨터 판독가능 스토리지 매체 및/또는 시스템을 포함한다. 하나 또는 하나를 초과하는 컴퓨터 디바이스들의 컴퓨터 프로세서 하드웨어에 의해 실행될 때, 명령들은 컴퓨터 프로세서 하드웨어로 하여금 : 시퀀스내 다중 오리지널 이미지들의 각각의 이미지를 위한 엘리먼트 세팅들을 특정하는 이미지 데이터를 수신하는 단계; 다중 오리지널 이미지들에 걸쳐서 엘리먼트 세팅들을 분석하는 단계; 그리고 공통 이미지 엘리먼트 세팅들의 세트 ― 상기 공통 이미지 엘리먼트 세팅들의 세트는 시퀀스내 오리지널 이미지들의 각각을 실질적으로 재생하기 위한 베이스라인임 ― 를 특정하는 제1 인코드된 이미지 데이터를 생산하기 위해 시퀀스내 다중 오리지널 이미지들의 엘리먼트 세팅들을 활용하는 단계의 의 동작들을 수행하도록 한다.
본 명세서의 하나 또는 하나를 초과하는 실시예는 컴퓨터 판독가능 스토리지 매체 및/또는 컴퓨터 판독가능 스토리지 매체에 저장된 명령들을 갖는 시스템을 포함한다. 하나 또는 하나를 초과하는 컴퓨터 디바이스들의 컴퓨터 프로세서 하드웨어에 의해 실행될 때, 명령들은 컴퓨터 프로세서 하드웨어로 하여금 : 이미지들의 시퀀스를 수신하는 단계; 이미지들의 각각을 위한 세팅들을 획득하는 단계; 이미지들의 시퀀스를 나타내는 단일 이미지를 생산하기 위해 이미지들의 시퀀스에 걸쳐서 세팅들을 블렌딩하는 단계; 그리고 이미지들의 시퀀스내 각각의 주어진 이미지를 위해, 상기 예측기 이미지에 기초하여, 주어진 이미지의 렌디션을 어떻게 재구성할지를 특정하는 이미지 프로세싱 동작들 및/또는 조절들에 대응하는 데이터를 생산하는 단계의 동작들을 수행하도록 한다.
본 명세서의 하나 또는 하나를 초과하는 실시예들은 컴퓨터 판독가능 스토리지 매체 및/또는 컴퓨터 판독가능 스토리지 매체에 저장된 명령들을 갖는 시스템을 포함한다. 하나 또는 하나를 초과하는 컴퓨터 디바이스들의 컴퓨터 프로세서 하드웨어에 의해 실행될 때, 명령들은 컴퓨터 프로세서 하드웨어로 하여금 : 시퀀스내 다중 오리지널 이미지들로부터 유도된 제1 인코드된 이미지 데이터 ― 상기 제1 인코드된 이미지 데이터는 시퀀스내 다중 오리지널 이미지들의 각각을 재생하기 위한 베이스라인으로서 사용될 공통 이미지 엘리먼트 세팅들의 세트를 특정함 ― 를 수신하는 단계; 조절들을 특정하는 제2 인코드된 이미지 데이터를 수신하는 단계; 그리고 공통 이미지 엘리먼트들의 세트에 적어도 부분적으로 기초하여 재구성된 오리지널 이미지들의 예비 렌디션들에 대한 조절들의 어플리케이션에 기초하여 시퀀스내 다중 오리지널 이미지들을 실질적으로 재생하는 단계의 동작들을 수행하도록 한다.
본 명세서의 하나 또는 하나를 초과하는 실시예들은 컴퓨터 판독가능 스토리지 매체 및/또는 컴퓨터 판독가능 스토리지 매체에 저장된 명령들을 갖는 시스템을 포함한다. 하나 또는 하나를 초과하는 컴퓨터 디바이스들의 컴퓨터 프로세서 하드웨어에 의해 실행될 때, 명령들은 컴퓨터 프로세서 하드웨어로 하여금 : 시퀀스내 이미지들의 제1 그룹핑을 인코딩함으로써 유도된 제1 이미지 데이터를 수신하는 단계; 시퀀스내 이미지들의 제2 그룹핑 ― 이미지의 제1 그룹핑은 시퀀스내 이미지들의 제2 그룹핑에 인접해 배치됨 ― 을 인코딩함으로써 유도된 제2 이미지 데이터를 수신하는 단계; 그리고 시퀀스내 이미지들의 제1 그룹핑의 렌디션을 재구성하기 위해 제1 예측기 이미지 데이터와 제2 예측기 이미지 데이터의 조합을 활용하는 단계의 동작들을 수행하도록 한다.
본 개시의 하나의 특별한 실시예는 신호 프로세싱 동작들을 지원하기 위해 컴퓨터-판독가능 하드웨어 스토리지 매체에 저장된 명령들을 갖는 컴퓨터-판독가능 하드웨어 스토리지 매체를 포함하는 컴퓨터 프로그램 제품에 관련된다.
단계들의 정리는 명확함을 위해 추가되었다. 이들 단계들은 임의의 적절한 순서로 수행될 수 있다.
본 개시의 기타 실시예들은 상기 요약되고 이하 상세히 개시된 방법 실시예 단계들과 동작들 중 임의의 단계와 동작을 수행하기 위해 소프트웨어 프로그램들, 펌웨어, 및/또는 각각의 하드웨어를 포함한다.
또한, 본 명세서에 논의된 바와 같이 컴퓨터 판독가능 스토리지 매체 상의 시스템, 방법, 장치, 명령들 등은 소프트웨어 프로그램으로서, 소프트웨어, 펌웨어, 및/또는 하드웨어의 하이브리드로서, 또는 프로세서내, 또는 운영 체제내 또는 소프트웨어 어플리케이션내, 등과 같은 독자적인 하드웨어로서 엄격히 구현될 수 있다는 것이 이해될 것이다. 상기 논의된 바와 같이, 본 명세서의 기법들은 신호들을 처리하고 인코드된 데이터의 비트스트림들을 생산하거나, 또는 인코드된 데이터의 비트스트림들을 처리하고 신호들의 렌디션들을 생산하는 소프트웨어, 펌웨어, 및/또는 하드웨어 어플리케이션들에서 사용하기에 아주 적합하다. 그러나, 본 명세서의 실시예들은 이와 같은 어플리케이션들에서 사용하는 것으로 제한되지 않으며 본 명세서에 논의된 기법들은 마찬가지로 기타 어플리케이션들에 아주 적합하다는 것이 주목되어야 한다.
추가적으로, 주목할 것은 비록 본 명세서의 상이한 특징들, 기법들, 구성들, 등의 각각이 본 개시의 다른 장소들에서 논의될 수 있다고 하더라도, 이것은 개념들의 각각이 서로에 관계없이 또는 서로 조합으로 실행될 수 있다는 것이 의도된다. 따라서, 본 명세서에 기술된 바와 같이 하나 또는 하나를 초과하는 본 발명들, 실시예들, 등은 많은 다른 방법들로 구현되고 보여 질 수 있다.
또한, 주목할 것은 본 명세서의 실시예들의 이러한 예비 논의는 본 개시 또는 청구된 발명(들)의 모든 실시예 및/또는 증가적으로 신규한 양상을 특정하지 않는다. 대신에, 이러한 간단한 설명은 단지 종래 기법들에 비해 신규성의 일반적인 실시예들과 대응하는 포인트들만을 제공한다. 발명(들)의 추가적인 세부내용들 및/또는 가능한 관점들(치환들)을 위해, 독자는 상세한 설명 섹션과 이하 보다 더 논의되는 바와 같이 본 개시의 대응하는 도면들에 관련된다.
유사한 기준 문자들은 상이한 도면들 전반에 걸쳐서 동일한 부분들을 지칭하는 첨부 도면들에 예시된 바와 같이, 발명의 전술한 그리고 기타 목적들, 특징들, 및 장점들은 본 명세서의 바람직한 실시예들의 이어지는 보다 특별한 상세한 설명으로부터 분명해질 것이다. 도면들은 반드시 일정 축적일 필요는 없으며, 대신에 강조는 실시예들, 원리들, 개념들 등을 예시하는데 놓여진다.
도 1a는 멀티스케일 인코딩과 디코딩 시스템을 예시하는 예시적인 도표이다.
도 1b는 시간 차원에 따른 집합의 예를 예시하는 예시적인 도표이다.
도 1c는 공간 다운샘플링과 공간-시간 다운블렌딩의 예들을 예시하는 예시적인 도표이다.
도 1d는 시간과 공간-시간 다운블렌딩을 따른 집합의 예들을 예시하는 예시적인 도표이다.
도 2a, 2b, 2c 및 2d는 2개의 이미지들을 처리하기 위해 사용된 동작들의 다양한 단계들을 예시한다.
도 3은 공통 블렌드된 예측기에 기초하여 인코딩을 예시하는 예시적인 도표이다.
도 4a 및 도 4b는 이미지들의 시퀀스의 프로세싱의 예시적인 도표이다.
도 5a 및 도 5b는 이미지들의 시퀀스의 프로세싱의 예시적인 도표이다.
도 6은 공통 블렌드된 예측기 이미지에 기초하여 이미지들의 인코딩을 예시하는 예시적인 도표이다.
도 7은 공통 블렌드된 예측기 이미지에 기초하여 이미지들의 인코딩을 예시하는 예시적인 도표이다.
도 8은 본 명세서에 기술된 실시예들에 따라서 데이터 프로세싱을 제공하는 컴퓨터 시스템의 블록도를 도시한다.
도 9 내지 도 12는 본 명세서에 기술된 실시예들에 따라서 이미지들의 프로세싱을 예시하는 예시적인 흐름도들이다.
본 명세서에 예시된 방법들은 사운드 신호들, 멀티채널 사운드 신호들, 화상들, 2-차원 이미지들, 비디오 신호들, 멀티-뷰 비디오 신호들, 3D 비디오 신호들, 입체 신호들, 입체 비디오 신호들, 의학적 이미지 신호들, 4 차원들을 초과하는 신호들 등을 제한없이 포함하는, 임의의 형태의 멀티-차원 신호들에 적합하다. 단순함을 위해, 상세한 설명을 따라 예시된 실시예들은 통상적으로 비디오 시퀀스들의 사용 경우, 즉, 2D 이미지들의 시퀀스로 이루어진 (비월 비디오 신호(interlaced video signal)들의 경우 공통적으로 "프레임들", 또는 "필드들"로 불리우는) 시간-기반 신호를 채택하며, (전형적으로 "픽셀"로서 지칭된 이와 같은 비-제한적인 예의 경우에) 각각의 엘리먼트는 적절한 컬러 공간내 컬러 세팅들의 세트(예를 들어, YUV, RGB, HSV, 등)를 특징으로 한다. 상이한 컬러 평면들(예를 들어, 휘도-Y 평면과 2개의 색차 ― U-평면과 V-평면)은 종종 개별적으로, 그리고 (색차 정보에 대한 인간 눈들의 보다 낮은 민감도로 인해) 종종 상이한 해상도들에 의해 인코드된다.
기타 경우들에 있어서, 우리는 본 명세서에서 앞서 정의된 바와 같이 N-차원 샘플들 또는 "경간들"의 시퀀스로서 신호를 표현할 것이며, 그리고 신호의 완전한 표시는 (N+1)-차원 신호(예를 들어, 차원들 중 하나가 시간이면, 이것은 단일 시간-공간 렌디션과 함께 공간 렌디션들의 시퀀스를 나타내는 것에 대응한다)이다. 이들은 본 명세서에 기술된 혁신적인 방법들을 이용해 여과되고/되거나 압축될 수 있는 가능한 종류들의 신호들의 비-제한적인 예들로 고려될 수 있다. 비디오들 이외의 신호들에 대해, 당업자는 비디오 신호의 사용 경우를 위해 기술된 접근법들을 적절히 채택함으로써 본 명세서에 기술된 방법들을 손쉽게 적용할 수 있다. 비-제한적인 예에서, 경간들은 또한 2 외에 (예를 들어, 1-차원 경간들, 3-차원 경간들, 등) 상이한 수의 차원들과 함께 엘리먼트들의 하이퍼평면들(hyperplanes)일 수 있고/있거나 시간 차원을 위해 본 명세서에 기술된 시간 접근법들에 대응하는 시간 접근법들과 다른 차원들에 적용하는 것이 가능하다.
신호의 시간내 모든 경간은 하이퍼평면(또는 "하나 또는 하나를 초과하는 치수들을 갖는 어레이로서 조직된 엘리먼트들의 세트"로서 가장 넓은 의미로 의도된, 보다 간단히 "평면" )으로 표시된다: 예를 들어, 멀티채널 사운드 신호, 2D HD 비디오 프레임, 또는 3D 입체 의학적 이미지는 평면 엘리먼트들의 어레이들(특별히, 멀티채널 사운드 신호를 위한 엘리먼트들의 1D 평면, HD 비디오 프레임을 위한 엘리먼트들의 2D 평면 그리고 입체 의학적 이미지를 위한 엘리먼트들의 3-차원 하이퍼평면)로 모두 표시될 수 있다. 이미 언급한 바와 같이, 본 출원에 제한되지 않고 우리는 용어 "이미지"와 함께 ― 상기 상세히 설명된 바와 같이 넓게 정의된 ― 경간들을 종종 지칭할 것이다.
시간에 따라, 경간들은 주어진(로컬) 샘플 레이트에서 발생한다. 종래의 방법들에서, 샘플 레이트는 항상 일정하다. 반대로, 본 명세서에 예시된 혁신적인 방법들은 가변 샘플 레이트를 허용한다. 특히 최고 레벨보다 낮은 품질 레벨들을 위해, 주어진 품질 레벨의 경간들의 지속기간(즉, 그러한 주어진 품질 레벨을 위한 샘플 레이트)은 변할 수 있으며, 가변 샘플 레이트들을 효과적으로 표시한다. 상이한 시간 지속기간들을 갖는 경간들과 함께 적절한 신호 재생을 감안하기 위해, 각각의 경간은 또한 "화상 수"를 특징으로 하며, 경간이 디스플레이되기 시작해야 할 시간을 나타낸다.
본 명세서에 예시된 방법들과 실시예들은 서로 및/또는 기타 방법들과 함께 사용될 수 있다. 본 명세서에 예시된 실시예들 중 많은 실시예들은 압축을 달성, 즉, 최소량의 비트들로 신호의 적절한 렌디션을 인코딩 및/또는 디코딩할 목적으로 기법들과 알고리즘들을 기술한다. 이것은 또한 비-제한적인 예이다: 기타 실시예들은, 멀티스케일 인코딩과 디코딩, 적응 스트리밍, 강건하고 효율적인 필터링, 신호 잡음제어(예를 들어, 이미지 잡음제어, 비디오 잡음제어, 등), 신호 개선들(예를 들어, 신호 수퍼샘플링, 디-인터레이싱, 등), 신호 품질 매트릭스들의 발생, 컨텐트 식별, 머신 비전, 신호 암호화(예를 들어, 보안 통신), 등과 같은, 상이한 목적들을 달성할 수 있다.
도 1a는 본 명세서의 실시예들에 따라서 멀티스케일 인코딩과 디코딩 시스템을 기술하는 비-제한적인 예시도이다.
일 실시예에서, 인코더(110)는 (일련의 신호들(100-1, 100-2), 등과 같은) 오리지널 신호(100)를 수신하며, 그리고 신호(100)를 멀티스케일 데이터 스트림(115)으로 인코드한다. 디코더(120-2)는 인코드된 데이터의 데이터 스트림(115)을 수신하며 제1 품질 레벨과 같은 보다 낮은 LOQ(1001)에서 재구성된 신호를 생산한다.
디코더(120-1)는 데이터 스트림(115)을 수신하며 제2 품질 레벨과 같은 보다 높은 LOQ(1000)에서 재구성된 신호를 생산한다. 이러한 예시적인 실시예에서, 제2 품질 레벨은 제1 품질 레벨보다 높다. 일 실시예에서, 제2 (또는 보다 높은) 품질 레벨은 제1 (보다 낮은) 품질 레벨에서 해상도 보다 높은 해상도 이미지(예를 들어, 디스플레이 스크린의 유닛 영역 당 보다 많은 엘리먼트들)이다. 따라서, 시퀀스내 신호(1000-1)는 신호(1000-1)의 보다 높은 해상도 렌디션이며, 시퀀스내 신호(1000-2)는 신호(1000-2) 등의 보다 높은 해상도 렌디션이다.
비-제한적인 실시예에서, 또한 디코더(120-1)는 보다 낮은 LOQ(1001)에서 재구성된 신호에 기초하여, 보다 높은 LOQ(1000)에서 재구성된 신호를 재구성하기 위해 보다 낮은 LOQ(1001)에서 재구성된 신호를 생산한다.
몇몇 비-제한적인 실시예들에서, 언급한 바와 같이, 제2 품질 레벨은 제1 품질 레벨보다 높은 해상도(공간 및/또는 시간)를 갖는다. 이와 같은 실시예들의 몇몇에서, 제2 품질 레벨은 (비-정수 스케일 인자들 및/또는 1과 동일한 스케일 인자들을 포함하는) 특정한 스케일 인자와 함께 신호의 차원들의 각각을 업샘플링함으로써 획득된 해상도를 갖는다. 즉, 신호(1000-1)는 신호(1001-1)로부터 적어도 부분적으로 기초하여 업샘플될 수 있으며; 신호(1000-2)는 신호(1001-2) 등으로부터 적어도 부분적으로 기초하여 업샘플될 수 있다. 유사한 방식으로, 신호(1001)내 각각의 신호는 보다 높은 해상도에서 신호로 업샘플될 수 있다.
또 다른 비-제한적인 실시예에서, 디코더(120-2)는 데이터 스트림(115)을 디코드하기 위해 레거시 디코딩 기법들(legacy decoding techniques)(예를 들어, MPEG2, H.264, 등)에 영향을 끼친다.
비-제한적인 예시적인 실시예에서, TV 디코더(예를 들어, 제한없이, 셋 탑 박스)의 디코딩 신호 프로세서는 도 1a에 예시된 바와 같이 방법을 구현하기 위해 프로그램되며, 여기서 데이터 스트림(115)은 수신된 방송 신호에 대응한다. 이러한 방식으로, 레거시 디코더들은 디코더(120)로서 동일한 데이터 스트림(115)을 수신하지만, 그저 보다 높은 품질 레벨에서 신호의 렌디션을 재구성하는데 활용할 수 있는 데이터 스트림내 추가적인 데이터를 무시한다.
기타 비-제한적인 실시예들에서, 스트리밍 서버(streaming server)는 인코드된 데이터 스트림(115)을 처리하며, 그리고 디코더의 특성들 및/또는 대역폭 정체에 응답하여, (최대 가능한 품질 레벨과는 대조적으로) 주어진 품질 레벨까지 신호를 디코드하기 위해 필요한 인코드된 데이터만을 포함하는 데이터 스트림의 버전을 발생한다. 도 1b는 본 명세서의 실시예들에 따라서 시간 차원을 따라 집합의 비-제한적인 예를 예시하는 도표이다.
비-제한적인 예로서, 3개의 평면들(130-1, 130-2, 130-3), 각각은 2×2 평면으로서 조직된 4개의 엘리먼트들을 포함한다, 은 서포트 평면(131)으로 집합되며, 오리지널 평면들과 동일한 해상도를 갖는다. 각각의 평면은 임의의 수의 엘리먼트들을 포함할 수 있다. 일 실시예에서, 서포트 평면들(131)의 엘리먼트들은 평면들(130-1, 130-2 및 130-3)의 대응하는 엘리먼트들에 기초하여 계산된다. 동일한 서포트 평면내로 집합된 평면들의 수는 비-제한적인 것으로서 고려되어야 하는데, 이는 원칙적으로 임의의 수의 평면들이 단일 서포트 평면으로 집합될 수 있기 때문이다. 이러한 비-제한적인 예시적인 실시예에서, 서포트 평면(131)은 평면들(130-1, 130-2 및 130-3) "보다 높은 집합 레벨"(LOA)에서 존재하는 것으로 이야기된다.
몇몇 비-제한적인 실시예들에서, 서포트 평면(131)은, 평면들(130-1, 130-2 및 130-3)의 각각을 위한 특정한 재구성 데이터에 기초하여, 평면(130-1, 130-2 및 130-3)의 렌디션들을 재구성하기 위해 처리된다.
기타 비-제한적인 실시예들에서, 평면들(130-1, 130-2 및 130-3)은 잔여 평면들이며, 신호의 재구성된 렌디션을 생산하기 위해 대응하는 샘플들의 예비 렌디션들에 대해 만들어질 조절들을 특정한다. 즉, 평면(130-1), 평면(130-2), 평면(130-3) 등과 같은 평면들은 소위 잔여 데이터를 나타낼 수 있다. 잔여 데이터는 재구성된 신호가 신호의 오리지널 렌디션에 보다 가깝게 일치하도록 재구성되는 신호내 다중 엘리먼트들의 각각을 어떻게 조절할지를 특정하는 조절 데이터일 수 있다.
도 1b의 비-제한적인 실시예에서, 정보의 각각의 평면은 상이한 샘플링 포지션(즉, 샘플 시간)에 대응한다. 예를 들어, 엘리먼트들의 평면(130-1)은 시퀀스내 시간(T1)에서 캡처된 오리지널 신호의 렌디션을 재생하는 것과 연관된 조절 정보를 표시할 수 있으며; 엘리먼트들의 평면(130-2)은 시퀀스내 시간(T2)에서 캡처된 오리지널 신호의 렌디션을 재생하는 것과 연관된 조절 정보를 표시할 수 있고; 엘리먼트들의 평면(130-3)은 시퀀스내 시간(T3)에서 캡처된 오리지널 신호의 렌디션을 재생하는 것과 연관된 조절 정보를 표시할 수 있다; 등등.
다른 비-제한적인 실시예들에서, 평면들(130-1, 130-2 및 130-3)은 보다 낮은 집합 레벨에서 기타 평면들을 위한 평면들을 지원한다. 예로서, 보다 낮은 집합 레벨에서 다중 평면들은 평면(130-1)을 생산하기 위해 집합될 수 있으며; 보다 낮은 집합 레벨에서 다중 평면들은 평면(130-2)을 생산하기 위해 집합될 수 있고; 보다 낮은 집합 레벨에서 다중 평면들은 평면(130-3)을 생산하기 위해 집합될 수 있다; 등등. 따라서, 다중 평면들(이미지들)과 연관된 조절 정보는 단일 지원 평면내로 계층적 방식으로 조합될 수 있다.
도시된 바와 같이, 엘리먼트들의 단일 지원 평면(131)은 엘리먼트들의 다중 시간 평면들의 각각의 속성들을 캡처한다. 예를 들어, 모션 보상없는 이러한 단순한 예에서, 평면(131)내 바닥 좌측 엘리먼트는 D의 값으로 설정되는데 이는 D가 평면들(130-1, 130-2, 130-3), 등)내 대응하는 엘리먼트들(예를 들어, 보다 낮은 좌측 엘리먼트들)의 지배적인 세팅이기 때문이다.
평면(131)내 상단 우측 엘리먼트는 C의 값으로 설정되는데 이는 C가 평면들(130-1, 130-2, 130-3), 등)내 대응하는 엘리먼트들(예를 들어, 상단 우측 엘리먼트들)의 지배적인 세팅이기 때문이다. 따라서, 서포트 평면(131)은 혼합 다중 개별 이미지 평면들을 포함한다.
기타 비-제한적인 실시예들에서, 상이한 평면들의 대응하는 엘리먼트들은, 시간에 걸쳐서 객체들의 모션을 처리하기 위해, (모션에 대한 적절한 서술적 정보에 의해 특정된 바와 같이) 엘리먼트들의 개개의 평면들의 상이한 위치들에 상주할 수 있다. 본 명세서의 실시예들은 서포트 평면(131)을 개별적인 평면(130-1), 평면(130-2), 평면(130-3), 등으로 다시 변환하기 위해 (잔여 데이터와 같은) 재구성 데이터를 발생하는 단계를 포함할 수 있다. 예를 들어, 인코더는 오리지널 평면(130-1)내 엘리먼트들의 세팅들과 서포트 평면(131)내 엘리먼트들의 세팅들을 비교한다. 이러한 예에서, 평면(130-1)을 위한 재구성 데이터는 서포트 평면(131)내 상단 우측 엘리먼트에 대한 조절에 의해 평면(130-1)으로 변환될 수 있다는 것을 표시할 것이다. 즉, 평면(130-1)내 세팅들은 일반적으로 상단 좌측 엘리먼트를 제외하고 서포트 평면(131)내 엘리먼트들의 세팅들과 동일하다. 평면(130-1)과 연관된 재구성 데이터는 평면(130-1)내 상단 우측 디스플레이 엘리먼트를 위한 값(B)으로 세팅 값(C)을 변경하기 위해 세팅 값(C)에 인가된 차 정보를 포함할 수 있다. 게다가 이러한 예시적인 실시예에서, 인코더는 오리지널 평면(130-2)내 엘리먼트들의 세팅들과 서포트 평면(131)내 엘리먼트들의 세팅들을 비교한다. 이러한 예에서, 평면(130-2)을 위한 재구성 데이터는 서포트 평면(131)내 세팅들이 임의의 조절들 없이 평면(130-2)의 엘리먼트들로 변환될 수 있다는 것을 표시할 것이다.
게다가, 이러한 예에서, 인코더는 오리지널 평면(130-3)내 엘리먼트들의 세팅들과 서포트 평면(131)내 엘리먼트들의 세팅들을 비교한다. 이러한 예에서, 평면(130-3)을 위한 재구성 데이터는 서포트 평면(131)이 서포트 평면(131)내 하단 좌측 엘리먼트에 대한 조절에 의해 평면(130-3)으로 변환될 수 있다는 것을 표시할 것이다. 즉, 평면(130-3)내 세팅들은 일반적으로 상단 좌측 엘리먼트이 다른 것을 제외하고 서포트 평면(131)내 엘리먼트들의 세팅들과 동일하다. 평면(130-3)과 연관된 재구성 데이터는 평면(130-3)을 위해 세팅들을 재구성할 때 하단 좌측 디스플레이 엘리먼트를 위한 값(E)으로 세팅 값(D)을 변경하기 위해 서포트 평면(131)내 세팅 값(D)에 인가된 차 정보를 포함할 수 있다.
도 1c는 본 명세서의 실시예들에 따라서 공간 다운샘플링과 공간-시간 다운샘플링의 비-제한적인 예들을 예시하는 예시적인 도표이다. 도표는 제1 (보다 높은) 품질 레벨에서 평면들의 시퀀스 및 제2 품질 레벨에서 평면들의 대응하는 시퀀스를 예시하며, 제2 품질 레벨은 제1 품질 레벨보다 낮다. 특히, 제2 품질 레벨에서 시퀀스는 다음과 같이 획득되었다:
평면 11(135-1), 16개 엘리먼트들로 이루어진 2-차원 평면, 은 자신의 공간 차원들의 둘 다를 따라 2개의 스케일 인자에 의해 다운샘플되며, 다운샘플된 평면(136-1)을 생산하며; 평면들(135-2, 135-3 및 135-4), 16개의 엘리먼트들로 각각 이루어진 3개의 2-차원 평면들, 은 그들의 공간 차원들을 따라 2개의 스케일 인자와 시간 차원을 따라 3개의 스케일 인자에 의해 다운샘플되며, 다운샘플된 평면(136-2)을 생산한다. 이러한 예에서 평면(135-1)은 시간(T1)에서 샘플 이미지의 표시이며; 평면(135-2)은 시간(T2)에서 샘플 이미지의 표시이며; 평면(135-3)은 시간(T3)에서 샘플 이미지의 표시이며; 평면(135-4)은 시간(T4)에서 샘플 이미지의 표시인 것으로 가정한다; 등등.
공간-시간 다운샘플링(즉, 시간 차원을 따라 또한 다운샘플링)의 동작은 또한 본 출원에서 ("다운샘플링 + 시간 블렌딩"을 줄여서) "다운블렌딩"으로서 지칭된다. 일 실시예에서, 다운샘플링은 신호의 렌디션의 해상도를 품질 레벨 계층으로 감소시키는 것을 지칭하며; 블렌딩은 시간에 걸쳐서 샘플된 샘플 신호들의 속성들을 조합하는 것을 지칭한다. 동일한 다운블렌드된 평면으로 다운블렌드된 평면들의 수는 비-제한적인 것으로서 고려되어야 하는데, 이는 원칙적으로 임의의 수의 평면들이 다운블렌드된 평면으로 다운블렌드될 수 있기 때문이다.
본 명세서에서 실시예들은 서포트 평면(136)을 개별적인 평면(135-2), 평면(135-3), 그리고 평면(135-4)으로 다시 변환하기 위해 (잔여 데이터와 같은) 재구성 데이터를 발생하는 단계를 포함할 수 있다. 예를 들어, 인코더는 평면(136-2)을 평면들(135-2, 135-3, 그리고 135-4)과 동일한 품질 레벨에서 신호의 예비 렌디션으로 업샘플링한 후 이루어질 필요가 있는 변경들을 결정하기 위해 구성될 수 있다. 그 다음 인코더는 평면(135-2)내로 평면(136-2)의 업샘플된 렌디션내 엘리먼트들을 어떻게 수정할지를 표시하는 재구성 데이터의 제1 세트를 생산하며; 그 다음 인코더는 평면(135-3)내로 평면(136-2)의 업샘플된 렌디션내 엘리먼트들을 어떻게 수정할지를 표시하는 재구성 데이터의 제2 세트를 생산하며; 그 다음 인코더는 평면(135-4)내로 평면(136-2)의 업샘플된 렌디션내 엘리먼트들을 어떻게 수정할지를 표시하는 재구성 데이터의 제3 세트를 생산한다. 따라서, 디코더는 평면(135-2)내 세팅들을 재생하기 위해 평면(136-2)과 재구성 데이터의 제1 세트와 연관된 재구성 데이터를 수신할 수 있으며; 디코더는 평면(135-3)내 세팅들을 재생하기 위해 평면(136-2)과 재구성 데이터의 제2 세트와 연관된 재구성 데이터를 수신할 수 있으며; 디코더는 평면(135-4)내 세팅들을 재생하기 위해 평면(136-2)과 재구성 데이터의 제3 세트와 연관된 재구성 데이터를 수신할 수 있다.
도 1d는 본 명세서의 실시예들에 따라서 모션 보상과 함께 수행된 집합과 공간-시간 다운블렌딩의 비-제한적인 예들을 예시하는 예시적인 도표이다.
평면 21(135-5)과 평면 22(135-6)는 서포트 평면(137)으로 집합되며, 여기서 서포트 평면(137)은 오리지널 평면들 보다 높은 수의 엘리먼트을 갖는다. 서포트 평면(137)의 엘리먼트들은 평면들(135-5 및 135-6)의 대응하는 엘리먼트들에 기초하여 계산된다. 이러한 비-제한적인 예시적인 실시예들에서, 서포트 평면(137)은 오리지널 평면들의 해상도 보다 높은 해상도를 갖는 샘플링 격자(sampling grid)를 갖지 않는 것이 주목될 수 있다. 샘플링 격자는 확대된 샘플링 영역(예를 들어, 오리지널 평면(135-5, 135-6) 등에서 보다 많은 수의 디스플레이 엘리먼트들)이다. 평면(137)내 격자는 "장면"의 보다 큰(즉, 보다 큰 "시야"를 갖는) 부분을 캡처하기 위해 평면들(21, 22, 31, 32)에 대하여 확장된다. 서포트 평면(137)과 연관된 디스플레이 엘리먼트들의 영역을 확대하는 것은 서포트 평면(137)내로 평면들(21 및 22)내 디스플레이 엘리먼트들의 보다 큰 부분을 캡처하는 것을 허용한다. 따라서, 서포트 평면(137)은 다중 평면들로부터 정보의 집합을 포함한다. 예를 들어, 도시된 바와 같이, 서포트 평면(137)은 평면들(21 및 22)의 각각에 제공된 객체들의 조합을 포함한다.
도시된 바와 같이, 서포트 평면(137)은 제2 객체(예를 들어, 오직 평면(22)에서 삼각형으로서 시각적으로 예시된 정보) 뿐만 아니라 제1 객체(예를 들어, 평면들(21 및 22) 둘 다에 제공된 어두운 정사각형으로서 시각적으로 예시된 정보)의 렌디션을 포함한다. 도면은 모션 보상의 효과들을 도시하며, 여기서 정보는, 시간에 따라 위치가 변하는, 어두운 정사각형으로 시각적으로 예시된 정보는 서포트 평면(137)내로 블렌드되기에 앞서 모션 보상된다. 특히, 도면은 평면(21)의 샘플링 포지션에 대하여 모션 보상의 예를 도시한다(즉, 서포트 평면(137)에서, 어두운 정사각형은 평면(21)내에 있는 위치에 위치된다). 즉, 모션 보상으로 인해, 블렌드된 평면(137)은 그저 다중 오리지널 평면들의 단순한 중첩에 의해 획득되지 않고, 블렌드된 평면(137)은 "워프된(warped)" 평면들의 가중 평균이며, 워프된 평면들의 각각은 서포트 평면(137)의 샘플링 포지션에 대하여 주어진 오리지널 평면을 모션 보상함으로써 획득된다.
이러한 예시적인 실시예에서, 평면 31(135-7)과 평면 32(135-8)는 다운블렌드된 평면(138)으로 다운블렌드되며, 여기서 다운블렌드된 평면(138)은 공간 다운샘플링 동작들로 인한 샘플링 격자보다 많은 엘리먼트들을 갖는다. 서포트 평면(137)처럼, 또한 다운블렌드된 평면(138)은 다운블렌드된 평면(138)으로 다운블렌드된 평면들의 전부에 부분적으로 표시되며, 그리고 평면들의 몇몇에만 부분적으로 표시되는 정보를 포함한다. 이러한 방식으로, 본 명세서의 실시예들은 다수의 상이한 평면들에 제공된 객체들의 렌디션을 캡처하는 것을 수용하기 위해 다운샘플된 평면과 연관된 커버리지의 영역(예를 들어, 디스플레이 엘리먼트들의 수)을 확대할 뿐만 아니라 대표적인 평면의 해상도를 감소시키기 위해 다운샘플 알고리즘을 적용하는 단계를 포함한다.
따라서, 비디오와 연관된 이미지들의 시퀀스(및 캡처된 움직이는 객체들)는 오리지널 이미지들과 동일하거나 다른 해상도의 단일 이미지로 캡처될 수 있다. 일 실시예에서, 인코더 프로세서 하드웨어는 평면(21 및 22) 중에서 공통 이미지 엘리먼트 세팅들의 세트를 포함하기 위해 서포트 평면(137)을 생산한다. 서포트 평면(137)은 i) 다중 오리지널 이미지들의 제1 평면(이미지)에서 검출된 바와 같이 제1 객체(작은 원)의 렌디션, 그리고 ii) 다중 오리지널 이미지들의 제2 평면(이미지)에서 검출된 바와 같이 제2 객체(삼각형)의 렌디션을 포함하도록 구성될 수 있다. 제 2객체(삼각형)의 렌디션은 제1 평면(21)에 없을 수 있다. 제1 객체(작은 원)의 렌디션은 제2 평면(22)에 없을 수 있다.
도 2a, 2b, 2c 및 2d는 엘리먼트들의 2개의 양차원 평면들의 조합(즉, 도 1b, 1c 및 1d에 예시된 것에 따라서, 집합이나 다운블렌딩)을 구현하는 상이한 비-제한적인 실시예들을 예시하는 예시적인 도표들이다. 단순함을 위해, 4개의 도면들의 전부는 시간 도메인내 다운샘플링만을 시각적으로 예시한다고 하더라도, 실제로 이들은 보다 낮은 LOQ의 단일 경간으로 보다 높은 LOQ의 2개의 경간들(100-1 및 100-2)의 다운블렌딩을 도시한다. 그러나, 다운블렌딩을 위해 예시된 동일한 고려들은 동일한 LOQ내 집합을 위해 또한 유효하다.
LOQ #-1의 다운샘플된 경간(예를 들어, 101-1)을 발생하기 위해 다운블렌딩 경간(100-1 및 100-2)의 예시적인 경우에 집중하는, 4개의 도면들(2a, 2b, 2c 및 2d)은 또한 상이한 모션 보상 접근법들(및 특히, 문장의 부족으로 인해, 또한 "비-대칭 균형 모션 보상"으로서 정의된 신규한 방법들)의 적용의 효과들을 예시한다. 수학적으로, 비록 상이한 모션 보상 동작들을 갖는다고 하더라도, 3개의 예시적인 실시예들의 모두는 후속하는 공식을 적용한다:
Figure pct00001
여기서
Figure pct00002
는 LOT L, LOQ K 그리고 샘플링 포지션 t의 경간을 식별하고, 다운(·)은 공간 다운샘플링 동작을 식별하며, 그리고 MC(·)는 샘플링 포지션(t)을 참조하여 모션 보상 동작을 식별한다. 상기 식에서, 이러한 비-제한적인 실시예에서 LOQ 0의 경간들은 일정한 시간 경간을 갖는다는 사실로 인해, 시간 블렌딩은 밸런스된 가중치들에 의해 수행되며, 가중치들의 각각은 0.5와 동일하다.
모션 보상 동작들은 다운블렌드된 경간의 샘플링 포지션에 대해 상대적으로 수행된다. 모션에 대한 서술적 정보가 적절한 포맷으로 인코드되면(예를 들어, 특허 출원들 변호사 도켓 VNO12-08 및 VNO12-09에 더 기술된, 임의로-정의된 모션 구역들과 모션 매트릭스들에 의한 부동점 모션 보상의 우리의 신규한 방법들), 상이한 샘플링 포지션들에 대해 상대적으로 모션 보상 동작들은 매우 효율적인 방식으로 표현되고 계산될 수 있다.
본 명세서에 기술된 비-제한적인 실시예들의 세트에서, 모션에 대해 할당된 서술적 정보인 신호의 부분들을 위해, 모션은 복수의 파라미터들에 의해 추정되며 "밸런스된 모션"(또는 "양방향 모션")으로서 계산된다: 핵심적으로, 다른 경간에 대하여 하나의 경간으로부터 움직임들을 특정하는 대신에, 양방향 디코딩을 가능하게 하기 위해, 모션은 공통 기준 포지션에 대하여 경간들 둘 다로부터 모션을 특정한다. 이와 같은 실시예들의 몇몇은 하나 또는 하나를 초과하는 모션 매트릭스들을 이용함으로써(예를 들어, 오직 병진 운동들, 오프셋들만을 표시하는 모션 벡터들을 이용하는 종래의 방법들과 대조적으로) 모션을 나타낸다. 모션 매트릭스들의 사용(즉, 특정한 모션을 나타내기 위해 2개를 초과하는 파라미터들을 인코딩)은 이와 같은 비-제한적인 방법들의 신규하고 핵심적인 특성이며, 줌, 회전들, 관점 변경들(perspective changes) 등과 같은 보다 복잡한 움직임들의 추정과 보상을 가능하게 한다. 모션 매트릭스는 (예를 들어 알려진 샘플링 제약들로 인해 또는 복잡도 제약들로 인해) 병진 운동이 충분히 고려되는 실시예들에서 단순한 오프셋 벡터로 때때로 붕괴된다. 기타 비-제한적인 실시예들에서, 움직임은 아핀 변환들(affine transforms)에 대응하는 하나 또는 하나를 초과하는 모션 매트릭스들로 표현되며, 모션 보상된 좌표들은 동종 좌표들 방법들을 이용함으로써 계산된다. 모션 매트릭스들의 각각은 신호의 특정하고 임의적으로 정의된 부분으로 할당되며, 이것을 우리는 "모션 구역(motion zone)"으로서 정의한다. 기타 비-제한적인 실시예들에서, 모션 매트릭스들은 보다 일반적인 관점 변환들에 대응하며, 심지어 움직임들의 보다 복잡한 세트들을 기술하는 것을 허용한다.
모션 매트릭스들(그리고, 모션 매트릭스들을 사용하는 실시예들을 위해, 임의의 크기 및 모양의 모션 구역들)은 디코더로 전송되며, 그리고 여러 장점들을 갖는다: 예를 들어, 모션 매트릭스들은 역전될 수 있으며, 그리고 다수의 샘플링 포지션들에 걸쳐서 동일한 모션 구역의 모션은 각각의 시간 단계에 대응하는 모션 매트릭스들을 적절히 조합(예를 들어, 곱함)으로써 계산될 수 있다. 그렇긴 해도, 모션 매트릭스들과 모션 구역들은 단지 모션 추정과 보상의 많은 비-제한적인 실시예들 중 하나이며, 그리고 본 명세서에 기술된 방법들은 실질적으로 임의의 형태의 모션 추정과 보상 방법에 의해 적절히 작동할 수 있다.
도 2a는 모션 보상을 적용하지 않는 효과(또는, 등가적으로, 일정한 아이덴티티 기능에 의해 보상되는 모션)를 예시하며, 그리고 결론적으로 또한 "프레이밍(framing)"을 적용하지 않는 효과를 예시한다.
t=1에서 샘플된, 경간(100-1), 그리고 t=2에서 샘플된, 경간(100-2)은 t=(1+2)/2=1.5에서 샘플된, 경간(101-1.5)으로 병합된다. 다운블렌드된 경간(101-1.5)의 샘플링 포지션이 경간들(100-1 및 100-2)의 오리지널 샘플링 포지션들의 평균이라는 사실은 예시로부터 분명하다. 속이 찬 원형 객체(201-0)는 이미지(경간(100-1), 샘플링 포지션 1)의 좌측 하단에서 이미지의 우측 상단(경간(100-2)의 객체(202-0), 샘플링 포지션 2)으로 이동중이다. 경간들(100-1 및 100-2)의 2의 인자(예를 들어, 삼선 다운블렌딩)에 의한 선형 다운샘플링은 경간(101-1.5)을 생산하며, 여기서 수평 및 수직 치수들은 절반이 되고 속이 찬 원형 객체는 부분적으로 투명한 것으로서 보이고 두 경간 위치들에서 가시적이다: 핵심적으로, 이러한 경간에서 봄으로써, 관측자는 샘플링 포지션들(1 및 2) 사이의 객체의 전체 모션에서 보고 있으며, 핵심적으로 (시간적인 관점으로부터) 2개의 익스트림들 사이에 위치되고 있다. 이러한 단순한 3-차원(즉, 공간-시간) 다운샘플링 접근법은 가시적인 객체들의 속도가 사전결정된 임계치 미만(즉, 시간 상관이 극도로 높다)인 비-제한적인 실시예에서 그리고 재구성된 렌디션들내 모션 블러(motion blur)의 정도가 수용가능한 조건들에서 사용된다. 비-제한적인 실용적인 예는 매우 높은 해상도 및 초당 1,000 프레임들에서 슬로우-무빙 장면 샷(slow-moving scene shot)의 비디오이다. 기타 실시예들에서, 모션 추정과 보상은 N-차원 다운샘플링을 수행하기 위해 유용하다.
모션 보상이 수행될 때, 공간 다운샘플링과 시간 다운샘플링("블렌딩")은 개별적으로, 또는 공동으로, 여러 가능한 조합들에 의해 수행될 수 있다. 비-제한적인 예시적인 실시예에서, 경간들이 모션 보상되고 그 다음 3-차원 다운샘플링이 적용된다. 또 다른 비-제한적인 실시예에서, 공간 다운샘플링 수행되며, 모션 보상 그리고 마지막으로 시간 다운샘플링이 이어진다. 또 다른 비-제한적인 실시예에서, 공간 다운샘플링은 모션 보상과 조합되며, 그리고 시간 다운샘플링이 이어진다.
도 2b는 밸런스된 모션 보상의 비-제한적인 예를 예시하는 예시적인 도표이다.
비-제한적인 예시적인 실시예는 객체들의 모션을 결정하며 2개의 오리지널 경간들의 샘플링 포지션들에 대하여 중간인 경간 시간에서 객체들 포지션들을 추정한다. 대칭을 유지하기 위해, 시간 다운샘플링 동작과 함께 이들을 "병합"하기에 앞서 (핵심적으로 2개의 오리지널 경간들의 포진션 1과 포지션 2에 대하여 중간 포지션 ― 즉, 샘플링 포지션 1.5 ― 에 존재하는 포지션 샘플링에 대응하는) 높게 상관된 중간 포지션내 2개의 경간들을 재포지션함으로서, 모션 보상은 밸런스된 방식으로 수행된다. 객체(200-1)는 경간(100-1)내 객체(201-0)의 위치와 경간(100-2)내 객체(202-0)의 위치의 평균 위치에 위치된다.
이러한 단순한 경우에, 객체는 단순한 병진 모션(즉, 오프셋)과 함께 움직인다. 따라서 2개의 모션 보상 동작들에서 사용될 객체를 위한 움직임에 대한 서술적 정보는 단일 벡터(single vector)를 특징으로 하는데, 이는 기타 벡터가 "보완 벡터(complement vector)"로서 계산되기 때문이다.
이와 같은 밸런스된 접근법의 유익한 점은 기준 이미지들의 임의의 선택 및/또는 움직임들을 위한 우선적 방향(preferential direction)의 임의의 선택을 피한다는 것이다. 이러한 방식으로 구조화된 모션 정보는 재생이 움직이고 있는 어느 시간 방향으로나 객체의 움직임을 추정하기 위해 사용될 수 있으며, 핵심적으로 양방향 재생(모션 추정과 보상에 기초한 인코딩 기법들에 의해 지금까지 제공되지 않은 특징)을 가능하게 한다.
모션 보상 동작들을 적절히 수행하기 위해, 엘리먼트들(201-1.5bis)의 목적지 평면(destination plane)이 생산되며, 다운샘플된 경간(101-1.5bis)이 디스플레이되어야 했다면 디스플레이 디바이스로 보내질 이미지에 대응한다. 동시에, 경간들은 추가적인 다운샘플링 동작들 동안 뿐만 아니라, 목적지 평면의 외부에 존재함에도 불구하고, 경간들(100-1 및 100-2)을 위한 예측들을 발생하기 위해 (특히 추가적 및/또는 인버스 모션 보상 동작들 후에) 유용할 수 있는 엘리먼트들을 또한 포함하기 위해 바로 목적지 평면(201-1.5bis) 보다 큰 엘리먼트들의 평면의 할당으로부터 유익하다는 것이 도 2b로부터 분명하다.
문장의 부족으로 인해, 우리는 목적지 평면(201-1.5bis)에 대하여 경간(101-1.5bis)의 추가적인 행들과 열들을 정의하기 위해 새로운 용어 "프레이밍"을 만들었다. 따라서 경간(101-1.5bis)은 (자신의 시프트된 포지션내 경간(100-1)을 나타내는)평면들(220-1)과 (자신의 시프트된 포지션내 경간(100-2)을 나타내는) 평면들(220-1)의 조합이다. 도 2b로부터 분명한 바와 같이, 경간(101-1.5bis)은 매우 다른 레벨들의 중요성을 갖는 평면 엘리먼트들을 포함한다. 영역들(220-1 및 220-2)에 속하는 엘리먼트들은 "유효한" 평면 엘리먼트들이며, 관련 정보를 포함한다. (직교 선들을 갖는 영역들로 도표내에 예시된) 모든 기타 엘리먼트들은 널 엘리먼트들(null elements)이거나, 또는 "활용할 수 없는" 엘리먼트들(250-1)이다. 이들은 (압축-오리엔트된 실시예에서) 디코더로 전송되지 않으며, 그리고 디코더는 영역들(220-1 및 220-2)의 위치 및 크기를 정확히 알며, 모션 정보와 동일한 정확도가 알려져 있다. 이러한 예에서, "활용할 수 없는(Not Available)" 엘리먼트들은 "유효한" 값을 갖는 엘리먼트들에 의해 평균되지 않을 것이다. "활용할 수 없는" 엘리먼트들을 포함하는 엘리먼트들의 세트의 가중 평균을 포함하는 (다운샘플링동안이나 업샘플링동안) 동작들의 모두에 있어서, "활용할 수 없는" 엘리먼트들은 가중 평균으로부터 제거되며, 그리고 나머지 엘리먼트들을 위한 가중치들은 그들의 합이 1과 동일하도록 정규화된다(예시된 비-제한적인 실시예에서, 이것은 나머지 가중치들의 모두에 동일한 상수를 더함으로써 달성된다).
값을 갖지만 목적지 평면(201-1.5bis)의 바깥에 존재하는 엘리먼트들은 경간이 디스플레이되어야 하면 도시되지 않을 것이지만, 예를 들어, 인코딩 프로세스동안 추가 다운샘플링 동작들을 지원하기 위해 뿐만 아니라, 디코딩 프로세스동안 업샘플링 동작들을 지원하기 위해 여전히 유용하다.
비-제한적인 실시예에서, 목적지 평면의 크기에 비해 프레이밍의 양은 모든 연속적으로 보다 낮은 LOQ에서 증가하며, 보다 낮은 LOQ의 경간들은 모션-보상된 경간들의 보다 많은 수의 결과들이라는 사실에 대응하며(즉, 보다 많은 시간의 양을 포함), 따라서 보다 높은 움직임도를 감안해야 한다.
도 2c는 밸런스된 모션 보상과 함께 시간 다운샘플링의 하나를 초과하는 예시적인 경우를 예시하며, 이러한 시간은 보다 복잡한 형태의 움직임(특별히, 스케일 변화, 즉, 줌(zoom))을 소개한다. 이전 경우는 오프셋 정보(오프셋 정보는 예술 모션 추정과 보상 방법들의 상태에 의해 전형적으로 표시된 정보이다)를 포함하는 모션 정보를 예시한다. 본 명세서에 예시된 비-제한적인 실시예들은 밸런스된 모션 추정과 보상 방법들에 영향력을 끼치는 한편 동시에 또한 보다 복잡한 형태들의 모션을 나타내며, 제한없이 오프셋들, 회전들, 줌/발산, 관점 변경 등을 포함한다. 특히, 본 명세서에 예시된 비-제한적인 실시예는 아핀(또는 "ZRO") 모션 매트릭스와 함께 움직임을 표시하며, 4개의 ZRO 파라미터들(줌을 위한 하나의 파라미터, 회전을 위한 하나의 파라미터 및 오프셋을 위한 2개의 파라미터들)에 의해 식별된다.
도 2b에 기술된 것과 유사하게, 또한 도 2c에서 결과적인 다운샘플된 경간은 샘플링 포지션 1.5에 중심한다.
도 2b와 도 2c 둘 다, 밸런스된 모션 보상의 이익들을 도시함에도 불구하고, 또한 중간(즉, 잠재적으로 비 정수) 샘플링 포지션들에서 중심 다운샘플된 경간들의 제한들을 상당히 분명하게 도시한다. 비록 이론적으로 보다 높은 품질 레벨에서 자신의 대응하는 경간들 사이내 다운샘플된 경간을 중심시키기에 명쾌하다고 하더라도, 단편적인 샘플링 포지션들은 문제들을 발생시키고 이에 의해 최고 LOQ 보다 낮은 품질 레벨에서 신호를 디스플레이하기 필요해진다. 무엇보다도, (자신의 오리지널 샘플 레이트와 함께) 최고 품질 레벨에서 (단편적인 샘플 레이트들과 함께) 보다 낮은 품질 레벨로 동적으로 스위칭하는 것은 객체들의 모션시 지각된 "저더들(judders)"과 "스터터들(stutters)"을 불러일으킬 수 있다. 2차적으로, 도 2b와 도 2c로부터 분명한 바와 같이, 결과적인 경간의 목적지 평면(즉, 경간이 디스플레이되어야 하면 디스플레이하기 위한 이미지)은 2개의 오리지널 경간들 사이의 중간 위치에 있을 것이며, 결론적으로 이것은 가시적인 "활용할 수 없는" 영역들 일 것이며, 적어도 상기 언급된 저더들만큼 시청하기에 매우 불편할 것이다. 비-제한적인 실시예는 (중간 샘플링 포지션이 정수 샘플링 포지션이며, 그리고 목적지 평면이 상기 홀수 그룹의 경간들의 중간 경간에 중심이 위치되도록) 홀수의 경간들을 갖는 그룹들에 대해서만 대칭적인 시간 다운샘플링을 적용함으로써 이와 같은 문제들을 해결한다. 여전히 짝수들의 경간들을 다운샘플 하도록 허용하는 동안 이와 같은 문제들을 해결하는 또 다른 비-제한적인 실시예가 도 2d에 의해 예시된다.
도 2d는 ― 도 2b에서와 동일한 소스 신호를 위해 ― "밸런스된 비-대칭 모션 보상"의 비-제한적인 예시적인 실시예를 예시하며, 중간(대칭) 샘플링 포지션들의 상기 언급된 제한들 없이 밸런스된 모션 보상의 이익들의 전부를 달성한다.
경간들(100-1 및 100-2)은 여전히 (특정한 비-제한적인 실시예들에서, 각각의 관련 모션 구역을 위한 적절한 ZRO 모션 매트릭스들)가역 모션 변환들에 따라서 모션 보상되지만, 샘플링 포지션에 대하여 이러한 시간은 1.5 대신에 1과 동일하다. 따라서, 경간(100-1)을 위한 모션 보상 정보는 경간(100-2)을 위한 모션 보상 정보로부터 직접적으로 계산가능하거나, 또는 그 반대라는 것은 여전히 사실이다: 모션 보상은 실로 여전히 "밸런스된다", 즉, 양방향이다.
동시에, 다운샘플된 경간(101-1)은 (경간(100-2)으로부터 비롯되지만 경간(100-1)과 함께 지속적으로 위치된 몇몇 정보의 가능한 추가와 함께) 경간(100-1)과 실질적으로 동일한 목적지 평면(201-1)을 특징으로 한다. 결론적으로, 경간(100-1)이 디스플레이되어야 했다면, 임의의 "활용할 수 없는" 영역들이 존재하지 않을 것이며, 그리고 또한 샘플 레이트에 관하여, 특정한 "블렌딩" 효과에 불구하고, 객체들의 움직임들내 인식된 저더들이 존재하지 않을 것이다.
도 3은 (본 명세서에서 "서포트 평면"으로 불리우는) 공통 블렌드된 예측기에 기초하여 엘리먼트들의 멀티-차원 평면들의 시퀀스를 인코딩하는 것을 구현하는 비-제한적인 실시예를 예시하는 예시적인 도표이다.
평면들(300-1, ... , 300-N)은 인코더(310)에 의해 처리되며, 인코더(310)는 인코드된 데이터의 스트림을 발생한다. 특히, 인코드된 데이터의 상기 스트림은 인코드된 데이터 #1 (320), 서술적 정보(330-1, ... , 330-N)의 세트들 및 인코드된 데이터 #2 (340-1, ... , 340-N)의 세트들을 포한한다.
인코드된 데이터 #1 (320)은 서포트 재구성기(350)에 의해 수신되고 처리되며, 서포트 재구성기(350)는 서포트 평면(355)을 발생한다.
서포트 평면(355)은 오리지널 평면들(300-1, ... , 300-N)에 대응하는 적절한 렌디션들을 재구성하기 위한 베이스라인(baseline)으로서 디코더에 의해 영향을 받는다. 특히, 서포트 평면(355)은 기준 재구성기(360)에 의해 처리되며, 기준 재구성기(360)는 기준 평면들(365-1, ... , 365-N)을 발생하며, 각각 서술적 정보(330-i)의 대응하는 세트에 기초하여 서포트 평면(355)에 의해 획득된다. 비-제한적인 실시예에서, 기준 평면들(365-i)의 각각을 발생하기 위한 이미지 프로세싱 동작들은 서술적 정보(330-i)의 세트에 대응하는 모션 정보에 기초하여 서포트 평면(355)에 대한 모션 보상 동작들을 포함한다.
잔여들 재구성기(370)는 인코드된 데이터 #2 (340-1, ... , 340-N)의 세트들을 수신하고 처리하며, 잔여들(375-1, ... , 375-N)의 세트들을 발생한다.
그 다음 디코더는 기준 평면들(365-1, ... , 365-N)과 잔여 평면들(375-1, ... , 375-N)을 조합함으로써 재구성된 평면들(380-1, ... , 380-N)을 발생한다.
우리는 엘리먼트들(355)의 세트를 주어진 품질 레벨에서 주어진 시퀀스의 평면들을 위한 "서포트 평면"으로 부르는데 이는 "서포트 평면"이 시퀀스내 평면들의 모두의 재구성을 "지원"하기 때문이다.
핵심적으로, "서포트 평면"은, 시퀀스에 걸쳐서 평면들의 시간 상관을 이용함으로써, 상기 시퀀스를 재구성하기 위해 필요한 재구성 데이터의 정보 엔트로피(예를 들어, 낱낱이 인코드된 양)의 감소를 지원한다. 단일 "세팅들의 수퍼세트"내 시간-상관 엘리먼트 세팅들을 집중시킴으로써(즉, 직관적으로, 후속적인 평면들을 위해 동일한 정보를 다수 회 반복하는 것을 피하는 한편, 동시에 에러들의 출력을 발생할, 이전의 평면으로부터 각각의 평면을 예측하는 것을 피함으로써), 서포트 평면은 양자화 후 실질적으로 0과 동일하며, 결론적으로 잔여 데이터의 전반적인 정보 엔트로피에 대응하는 계량(metric)을 감소시키는 잔여들의 수를 최대화한다.
기타 비-제한적인 실시예들은 또한 발명자들이 "멀티예측 인코딩(multipredictive encoding)" 방법으로서 정의한 방법을 채택하는데, 이는 주어지 이미지를 위해 재구성된 렌디션이 잔여들과 2개의 예측들 ― 보다 낮은 품질 레벨에서 신호의 렌디션에 기초하여 발생된 제1 예측과 동일한 품질 레벨에서 서포트 평면의 모션-보상에 기초한 제2 예측 ― 을 조합함으로써 획득되기 때문이다.
상기 설명된 바와 같이, 종래의 방법들(예를 들어, 비디오 신호들의 경우에, MPEG-기반 기술들, VP8, 등)은 차이들 대 선행하거나 후속하는 샘플을 인코딩/디코딩함으로써(따라서 시간에 걸쳐 에러들의 축적 및 근본적으로 단-방향 재구성/재생과 더불어, 서로에 대하여 인코드된 샘플들의 "시간 캐스케이드"를 발생함으로써) 시간 상관을 이용한다. ― 지금까지 예시된 방법들의 모두를 포함하지만 제한되지 않는 ― "시간 다운샘플링" 및 "시간 집합"의 본 명세서에 기술된 방법들은 공통 예측기들로서 역할을 하며 그리고 (1) (에러들의 축적의 부재로 인해) 이미지들의 보다 긴 시퀀스들에 걸쳐서 시간 상관에 영향을 끼치며, (2) 양방향 재구성/재생을 수행하고 (3) 또한 시퀀스내 임의의 이미지의 랜덤 액세스 재구성을 수행하는 것을 허용하는, 실질적으로 복수의 이미지들의 상관된 정보를 요약하는 임시로 블렌드된(단계적 시간 계층들의 경우에 서브샘플된; 동일한 해상도에서 또는 심지어 서포트 평면들의 경우에 보다 높은 해상도들에서 조차) 정보를 인코딩/디코딩하는 단계로 이루어진다. 비-제한적인 예로서, 주어진 이미지를 재구성하는 것을 허용하는 잔여들을 심하게 정량화하기 위한 결정(즉, 하나의 이미지내 정보의 상당한 손실 및/또는 아티팩트들을 생성하는 결정)은 보다 낮은 LOQ에서 동일한 서포트 평면과 예측기들의 동일한 세트에 기초하여 재구성되는 동일한 LOQ에서 다른 이미지들에 영향을 끼치지 않는다. 또한, 디코딩은 역 시간 순서(예를 들어, I-프레임에서 이전 I-프레임으로 바로 스킵하는 현재의 방법들과 반대로, 비디오의 부드러운 역 플레잉)로 수행될 수 있는데, 이는 임의의 하나의 이미지의 재구성이 시간 순서로 이전 이미지의 재구성된 렌디션의 활용성을 요구하지 않기 때문이다.
도 4a 및 도 4b는 멀티예측 인코딩과 함께 단계적 시간 계층으로, 그리고 특히 잔여 데이터를 인코드하기 위해 서포팅 평면들에 또한 영향을 끼침으로써 인코드된 3-차원 시간-기반 신호의 비-제한적인 예시적인 실시예를 예시하는 예시적인 도표들이다. 예시적인 입력 신호는 이미지들의 시퀀스이며, 전부 실용적인 목적들을 위해 시간에 걸쳐 샘플된 2-차원 프레임들의 시퀀스로 이루어진 비디오 신호로서 생각할 수 있다. 디스플레이 엘리먼트들의 평면(100-1)은 시간(T1)에서 이미지 샘플 데이터(즉, 샘플링 포지션 T1)를 표시할 수 있으며; 디스플레이 엘리먼트들의 평면(100-2)은 시간(T2)에서 이미지 샘플 데이터를 표시할 수 있으며; 디스플레이 엘리먼트들의 평면(100-3)은 시간(T3)에서 이미지 샘플 데이터를 나타낼 수 있다; 등등. 최고(오리지널) 품질 레벨(LOQ#0, 또는 등가적으로 티어(tier) #0)의 이미지들은 2개의 "로트들(lots)" LOT 1 및 LOT 2 또는 즉 2개의 이미지들의 서브시퀀스들로 이루어진 "배치(batch)"(즉, 시간 덩어리)로 조직된다.
도 4a 및 도 4b에 예시된 신호는 단계적 계층으로 인코드되며, 4개의 최고 품질 레벨들 LOQ#0, LOQ#-1, LOQ#-2 및 LOQ#-3이 도면들에 도시된다. 이것은 비-제한적인 것으로서 의도되며, 이는 신호가 보다 높은 수의 품질 레벨들에 의해 인코드될 수 있으며 그리고 원칙적으로 최저 레벨은 단일 엘리먼트로 이루어진 단일 경간을 갖는다. 품질 레벨 LOQ#-1은 LOT 1을 위한 4개의 샘플들(샘플들(101-1, 101-3, 101-5, 101-7))과 LOT 2(샘플들(101-9 및 101-12))을 위한 2개의 샘플들로 이루어진다. 이러한 비-제한적인 실시예에서, LOQ#-1에서 로트들(lots)은 LOQ#0에서 동일한 로트보다 낮은 수의 샘플들을 갖는다, 즉 LOQ#-1의 샘플들은 시간 다운샘플링에 의해 획득되었다. LOQ#-1의 샘플들에 대응하는 엘리먼트들의 하이퍼평면들(즉, 비디오 프레임들의 예에서, 픽셀들의 2차원 평면들)이, 각각의 공간 차원을 위한 적절한 스케일 인자들과 함께, LOQ#0의 경간들에 대응하는 엘리먼트들의 하이퍼평면들에 대하여 또한 다운샘플된다: 이러한 비-제한적인 예에서, 하이퍼평면들은 (예를 들어, 2-차원 이미지를 나타내는) 2개의 차원들을 가지며, 그리고 각각의 차원은 2만큼 가분성을 보장하기 위해 필요할 때 패딩의 라인들 또는 열들을 유도하는, 다음에 대해 계층의 품질의 모든 레벨에 대해 2의 인자에 의해 다운샘플된다.
도 4a는, 시간 다운샘플링으로부터 야기된 이미지들이 어떻게 보다 긴 "시간 경간"을 갖는지를 예시하는, 그들 자신들 이미지들을 도시하는데, 이는 이미지들이 보다 높은 LOQ에서 다중 샘플들에 대응하기 때문이다. 예를 들어, LOQ#-2에서 이미지(102-2)는 LOQ#0에서 4개의 샘플들과 동일한 시간 경간을 갖는다.
도 4b는 그들 자신들 이미지들을 도시하지 않고, 대신에 이미지들의 각각에 대응하는 절대 잔여들 R의 세트들과 도시된 LOQ들의 각각에서 로트들의 각각을 위한 서포트 평면들을 도시한다. 도 4b는 상이한 품질 레벨들에서 이미지들을 위해 잔여 데이터의 양이 어떻게 보다 낮은 공간 해상도들(즉, 엘리먼트들의 양들)을 점점 더 갖는지를 예시하며, 그리고 ― 프레이밍이 서포트 평면에 적용되는 LOQ들과 로트들에 대해 ― 주어진 품질 레벨에서 주어진 서포트 평면의 렌디션은 상기 서포트 평면에 의해 지원된 동일한 품질 레벨의 이미지에 대응하는 절대 잔여들의 세트들보다 높은 양의 엘리먼트들을 갖는다.
이러한 비-제한적인 실시예에서, 로트를 위한 서포트 평면은 LOQ#0에서 로트의 이미지들의 샘플링 포지션들의 평균 바로 낮거나 동일한 LOQ#0의 정수 샘플링 포지션에 중심이 위치된다. 특히, 로트 1을 위한 서포트 평면(SP1)의 체인은 샘플링 포지션(t=4)에 중심이 위치되는 반면에, 로트 2를 위한 서포트 평면(SP2)의 체인은 샘플링 포지션(t=11)에 중심이 위치된다.
특정한 예시적인 경우에 대해, LOQ#-3까지 로트를 위한 절대 잔여들을 재구성하는 것은 서포팅 체인을 바로 재구성하기 위한 로트들 둘 다에 대해 등가이다, 즉, 절대 잔여들(134-4)의 세트는 서포트 평면(SP1-4)과 일치하며, 절대 잔여들(133-4)의 세트는 서포트 평면(SP1-3) 등과 일치한다. 반대로, 서포트 평면은 로트가 하나를 초과하는 이미지로 표현되는 품질 레벨들을 위해 자신의 뚜렷한 아이덴티티를 갖는다. 예를 들어, 로트 1의 LOQ#-2에 대해, 서포트 평면(SP1-2)은 절대 잔여들 R (102-2 및 102-6)의 세트들과 다르다.
인코드된 재구성 데이터의 적절한 세트들을 발생하기 위해, 우선적으로 주어진 샘플 레이트에서 이미지들의 시퀀스로 만들어진 신호를 수신하는 인코더로서 구성된 신호 프로세서는 배치에 포함될 신호의 시간부, 그리고 로트들내 자신의 세분을 식별한다. 배치들은 시간 차원이 종종 (적어도 모든 실용적인 목적들을 위해) 언바운스되는 실제적 문제로 인해 필요한 반면에, 공간 차원들은 분명하고 고정된 네이티브 경계들(예를 들어, 비디오 프레임의 수평 및 수직 해상도, 사운드 샘플을 나타내는 값들의 수, 입체 이미지의 x-y-z 해상도 등)을 갖는다. 따라서 비록 이상적으로 최상의 옵션이라고 하더라도, 이것은 종종 시간에 맞춰 자신의 전체 지속기간동안 신호를 분석하는 것은 거의 불가능하다. 그러나, 신호 ― 실용적으로 영화들과 촬영들(motion pictures and shootings)과 같은 비-제한적인 예들 ― 은 종종 선천적으로 관련없는 덩어리들의 연결 체인이다: 예를 들어, 영화 컨텐트들은 "장면들", 즉 매우 분명한 장면 변화들에 의해 분리된 상관된 이미지들의 시간-제한량들로 분할된다. 이들 "장면 배치들"은 인코딩에 앞서 신호를 제때에 분할하기 위한 유효 기준으로서 역할을 할 수 있다. 그러나, 이들 배치들은 매우 길 때, 이미지들의 시퀀스를 더 분할하는 것이 필요하다. 적절한 대응수단들이 없이, "계산을 위한 독립적인 부분들"로 장면을 분할하는 것은 분명한 아티팩트들을 초래할 수 있다: 잡음 패턴들이 갑자기 변하고, 부드러운 움직임들은 불연속성들 등을 보여준다. 본 명세서에 기술된 비-제한적인 실시예에 의해 사용된 신규한 방법론은 "로트들"의 사용(즉, 독립적으로 로트에 의해 계층적인 로트를 다운샘플링)을 포함하며 그리고 "디코딩 파(decoding wave)" 접근법(즉, 로트들에 걸쳐서 계층을 업샘플링)을 포함한다. 이와 같은 신규한 방법들에 의해, 장면은 실제로 현재의 구조들과 함께 계산을 실용적으로 만들기 위해 분할된다. 이와 같은 분할들은 디코딩동안 "브리지 되고", 엄격한 분리들을 회피하며, 그리고 결론적으로 신호의 재구성된 렌디션내 불연속성들을 회피한다.
배치는 단지 약간의 이미지들로 구성되며, 배치를 더 이상 분할할 필요가 없다. 대신에 많은 이미지들 동안 지속하는 배치(즉, 주어진 임계치)를 가정하면, 인코더는 "로트들"내 배치를 슬라이스한다. 상기 표시된 바와 같이, 로트는 연이은 수의 경간들이다. 1에서 128 경간들 범위내 로트 길이들과 1 내지 5 로트들로 만들어진 배치들은 로트들과 배치들의 지속기간들 동안 비-제한적인 예들이다. 실제적인 시점으로부터, 이와 같은 길이들은 주어진 실시예에 사용된 하드웨어, 메모리 및 프로세싱 유닛들에 대해 조절된다. 로트 차원에 대한 결정은 인코더 측에서 수행된 최적화 프로세스의 결과이다. 비-제한적인 기준은, 인코더에 의해 발생된 주어진 프로파일에서, 디코더 자원(특히 메모리 요건들)에 대한 임의의 요건들이 주어진, 매우 시간-상관된 배치내 로트 길이를 최대화하는 것이다. 또 다른 비-제한적인 기준은, 계산들을 단순히 하기 위해, 가능한 한 고정된 로트 크기 만큼 유지하며 특히 고정된 수의 이미지들이나 하나의 이미지(예를 들어, 매우 비상관된 이미지들의 전 또는 후)로 세팅한다. 인코더는 신호에 걸쳐서 모션 추정을 수행하며, 보조 맵들, 모션 벡터들, 모션 구역 맵들, 모션 매트릭스들 등과 같은 파라미터들의 수를 포함하는 적절한 서술적 정보를 발생하며 그리고 신호 경간들내 표현된 객체들의 모션을 나타낸다. 모션 추정 결과들에 따라, 인코더는, 예를 들어 비디오 신호의 경우에 장면 변화들을 고려하는, 배치들과 로트들에 포함된 이미지들의 수를 수정할 수 있다. 로트 길이는 시간에 따라서 이미지들의 시간 상관이 주어진 임계치들 아래로 감소할 때에는 언제나 인코더에 의해 단축된다. 모션의 면에서는 배치동안 신호의 활동에 대응하는 적절한 계량들에 기초하여, 따라서 로트 길이들은 근본적으로 인버스 비례의 원칙에 기초하여 할당된다. 비-제한적인 실시예에서, 로트 길이는 적절한 경험들뿐만 아니라 프리-세트 실험 파라미터들에 영향을 끼침으로서 상기 계량들에 기초하여 정의된다.
인코딩과 디코딩 동작들은 상기 예시된 방법들에 따라 작동한다. 인코더로서 구성된 신호 프로세서("인코더")는 오리지널 품질 레벨("LOQ#0")에서 신호의 렌디션(예를 들어, 일정한 샘플 레이트에서 2-차원 이미지들의 시퀀스, 여기서 이미지들의 각각은 주어진 샘플링 포지션과 주어진 지속기간을 특징으로 한다)을 수신한다. 인코더는 신호를 처리하고 모션 정보를 발생함으로써 시작한다. 상기 모션 정보에 적어도 부분적으로 기초하여, 인코더는 이전 및 후속적인 시퀀스에 독립적으로 인코드될 이미지들의 적절한 시퀀스(즉, "배치")를 식별한다; 적절한 인코딩 파라미터들에 적어도 부분적으로 기초하여, 인코더는 또한 배치를 하나 또는 하나를 초과하는 이미지들의 "로트들"로 분할한다. 특히, 도 4b에 예시된 바와 같이, 인코더는 13 이미지들의 배치를 식별하며 배치를 8개의 이미지들로 이루어진 로트 1, 그리고 5개의 이미지들로 이루어진 로트 2로 분할된다.
각각의 로트내에서, 인코더는 적절한 다운샘플링 및/또는 블렌딩 및/또는 (또한 이미지들에 걸쳐서 모션을 적절히 설명하기 위해 모션 보상 동작들을 포함하는)다운블렌딩 동작들을 수행하며, 신호를 위한 보다 낮은 품질 레벨들을 발생하기 시작한다. 보다 낮은 품질 레벨의 이미지들이 보다 높은 품질 레벨에서 모션-보상된 이미지들의 조합의 결과일 때(보다 높은 품질 레벨에서 이미지의 단지 공간 다운샘플링과 반대로), 신호가 그러한 품질 레벨에서 디스플레이되어야 함으로써 도시될 실제 이미지("목적지 평면")을 넘어서, 인코더는 보다 낮은 품질 레벨의 이미지들에 추가적인 행들과 열들에 더함으로써 "프레이밍"의 정도를 유도한다. 가독성을 위해, 신호의 실제 이미지들은 도 4b에 도시되지 않는다.
로트의 다운샘플된 렌디션의 차원들 중 하나가 1개의 엘리먼트의 해상도에 도달할 때, 후속적인 보다 낮은 티어들을 위한 다운샘플링은 나머지 차원들을 따라서만 다운샘플링에 의해 진행한다. 예를 들어, LOQ#-2에서 로트 2는 1개의 엘리먼트와 동일한 시간 해상도에 도달하며(즉, 전체적인 로트는 단지 하나의 이미지로 표현된다), 따라서 LOQ#-2에서 LOQ#-3까지 로트 2의 다운샘플링은 공간 차원들을 따라서만 다운샘플링(이것은 전형적으로 훨씬 보다 높은 해상도를 갖는다)함으로써 진행한다.
각각의 로트내 다운샘플링 프로세스는 바닥 품질 레벨에 도달할 때까지 지속한다. 도 4의 비-제한적인 예에서, 바닥 LOQ는 LOQ#-4이다. 일단 인코더가 바닥 LOQ#-4를 발생하면, 인코더는 (이러한 간단한 비-제한적인 실시예에서, 바닥 레벨의 2개의 이미지들의 엘리먼트들을 정량화함으로써) 바닥 레벨을 위해 절대 잔여들(134-4 및 135-11)의 세트들을 발생하며; LOQ#-4에서, 절대 잔여들(134-4 및 135-11)의 상기 세트들은 또한 각각 LOQ#-4에서 로트 1과 로트 2에 대한 서포트 ㅍ평면들(SP1-4 및 SP2-4)과 일치한다. 결과적으로, LOQ#-4에서 서포트 평면 잔여들(RI)은 절대 잔여들(R)과 일치하며, 그리고 상대적인 잔여들(RII)은 모두 영과 동일하다.
그 다음 인코더는 디코더 측에서 수행된 동작들을 시뮬레이팅하며, 적절한 업샘플링 동작들을 수행하며 LOQ#-3에 대해 예측된 이미지들을 발생하기 시작한다. 이러한 비-제한적인 실시예에서, 인코더는 LOQ#-1에 이르기까지 차원당 2개의 엘리먼트들과 LOQ#-1에서 LOQ#0까지 차원당 4개의 엘리먼트들을 포함하는 커널들과 함께 시간 업샘플링 동작들에 영향을 끼친다. 앞서 이미 언급된 바와 같이, 이것은 보다 낮은 LOQ들에서 엘리먼트들이 시간과 공간 둘 다에서 보다 멀리 떨어져 있다는 사실에 기인하며, 따라서 엘리먼트들 중 상관은 상대적으로 국부적이기 쉽다(예를 들어, 상관은 제한된 이득을 가져오며, 그리고 때때로 상관은 심지어 상관되지 않은 이미지들에 대한 "기여들을 위한 요청"에 대해 역효과를 낳는다).
예측된 이미지들과 다운샘플링을 통해 발생된 단계적 계층의 다운샘플된 이미지들을 비교함으로써, 인코더는 절대적인 잔여들(133-4 및 133-11)의 세트들을 발생하며, 절대적인 잔여들(133-4 및 133-11)의 세트들은 다시 LOQ#-3에서 2개의 서포트 평면들(SP1-3 및 SP2-3)과 일치한다. LOQ#-3에 대한 재구성된 렌디션들에 기초하여, 인코더는 LOQ#-2를 위해 예측된 이미지들을 발생함으로써 진행한다. 예측된 이미지들과 다운샘플링을 통해 발생된 단계적 계층의 다운샘플된 이미지들을 비교함으로써, 인코더는 절대적인 잔여들(132-2, 132-6 및 132-11)의 세트들을 발생한다. LOQ#-2에서, 로트 1은 2개의 이미지들로 이루어지며, 따라서 서포트 평면은 더 이상 절대 잔여들의 임의의 세트와 일치하지 않으며, 서포트 평면은 실질적으로 절대 잔여들(132-2 및 132-6)의 2개의 세트들을 예측하기 위해 사용될 서포트 엘리먼트들의 세트이다. 따라서 인코더는 서포트 평면(SP1-2)을 계산함으로써, 우선적으로 자신의 "이상적인"(즉, 프리-인코딩과 재구성) 렌디션 S를 계산함으로써 진행한다:
Figure pct00003
여기서 모션 보상 동작들(MC)은 서포트 평면(SP1-2)의 샘플링 포지션, 즉 t=4에 대해 상대적으로 수행된다.
이러한 비-제한적인 실시예에서 서포트 평면들은 또한 단계적 계층 방법에 따라서 인코드되기 때문에, 그 다음 인코더는, 계산으로부터 시작하여, LOQ#-3, 예측된 서포트 평면(V)에서 서포트 평면(SP1-3)에 적절한 업샘플링 동작들을 적용함으로써 서포트 평면에 대한 재구성 데이터를 발생하기 위해 진행한다. 그 다음 인코더는 서포트 평면 잔여들(RI)을 계산한다:
RI = S - V
결론적으로, (디코더에서 수행될 동작들을 시뮬레이트하는) 인코더는 ("Z"로서 수학적으로 기술된) 서포트 평면(SP1-2)의 렌디션을 재구성한다:
Figure pct00004
인코더는 이제, 서포트 평면(SP1-2)의 (각각의 대응하는 이미지의 샘플링 포지션에 대하여) 절대 잔여들 R(132-2 및 132-6)의 세트들과 모션-보상된 렌디션들 간의 차이를 계산함으로써, (도면에 도시되지 않은) 로트 1의 LOQ#-2의 2개의 이미지들을 위한 상대적인 잔여들의 세트들을 발생할 수 있다.
인코더는 최고 LOQ까지 유사한 방식으로 진행하며, 필요한 재구성 데이터의 모두(예를 들어, 이러한 비-제한적인 예시적인 경우에서, 서포트 평면 잔여들, 상대적인 잔여들 및 각각의 로트의 각각의 LOQ에 대한 서술적 정보)를 발생한다. 디코더 측에서, 디코더로서 구성된 신호 프로세서는 근본적으로 재구성 데이터를 발생하기 위해 인코더 측에서 시뮬레이트된 동일한 동작들을 수행한다. 디코더는, 또한 적절한 디코딩 파라미터들에 기초하여, 재구성될 이미지들의 시퀀스를 식별하기 위해 데이터 스트림을 수신하고 싱크 마커 메타데이터(synch marker metadata)를 수신함으로써 시작한다. 최저 LOQ로부터, 디코더는 보다 높은 LOQ의 이미지들을 위한 예측들을 재구성하며, 서포트 평면 데이터를 재구성하고, 서포트 평면 데이터와 상대적인 잔여 데이터를 적절히 조합함으로써 절대적인 잔여 데이터를 재구성하며, 그리고 결론적으로 보다 높은 LOQ의 이미지들을 위한 렌디션들을 재구성한다.
일단 적절한 LOQ를 재구성하면, 신호 프로세서는, 예를 들어 재구성된 신호를 재생 디바이스로 전송함으로써, 사용자에게 재구성된 신호를 제공한다. 수신된 재구성 데이터 및 실-시간 디코딩 제약들 및/또는 기타 제약들(예를 들어, 컴퓨팅 전력 소모를 최소화하는 것, 전력 소모를 최소화하는 것, 흡수된 대역폭을 최소화하는 것, 재생 속도를 최대화하는 것, 등) 및/또는 특정한 입력 파라미터들에 대응하는 것에 따라, 디코더는 또한 신호의 상이한 부분들에 대해 상이한 LOQ들에서 디코딩을 중단할 수 있다.
예시된 실시예는 비-제한적인 것으로서 고려되어야 하며, 그리고 당업자는 지금까지 논의된 비-제한적인 실시예들과 방법들의 모두와 도 4a 및 도 4b에 예시된 예시적인 실시예를 어떻게 조합할지를 쉽게 추론할 수 있다. 기타 비-제한적인 실시예들에서, 주어진 로트의 주어진 LOQ에 대한 서포트 평면은 모션 보상된 절대 잔여들의 시간에 따라 가중 평균을 수행함으로써 계산되지 않고, 실제 모션 보상된 이미지들의 시간에 따라 가중 평균을 수행함으로써 계산된다. 따라서 주어진 이미지를 위한 절대 잔여들은 대응하는 관련 잔여들과 주어진 이미지를 위해 예측된 이미지와 서포트 평면의 모션 보상된 렌디션 사이의 차이들을 조합함으로써 획득될 수 있다; 그렇긴 해도, 이들 실시예들은 절대 잔여들을 생산하기 위해 디코더를 요구하지 않는데, 이는 디코더가 바로 모션 보상된 서포트 평면과 상대적 잔여들을 조합함으로써 주어진 LOQ에서 신호의 렌디션을 발생할 수 있기 때문이다. 이와 같은 실시예들에서, 주어진 LOQ를 위한 서포트 평면은 실제로 (바로 상관된 잔여 데이터와 반대로) 로트의 상관된 정보의 모두를 나타낸다. 이들 비-제한적인 실시예들은 특별히 LOQ들의 단계적 계층의 부재시 유용하다.
기타 비-제한적인 실시예들에서, 이웃하는 로트들의 서포트 평면 정보는 이미지들의 절대 잔여들을 위한 예측들을 발생하기 위해 (예를 들어, 서포트 평면들의 모션 보상된 렌디션들의 가중 평균을 계산함으로써) 적절히 영향을 받는다.
기타 비-제한적인 실시예들에서, 이웃하는 로트들의 서포트 평면들은 집합 레벨들의 단계적 계층, 즉, 집합 레벨에서 둘 또는 둘을 초과하는 서포트 평면들이 보다 높은 집합 레벨에서 보다 높은-차수의 서포트 평면에 기초하여 인코드된다.
도 5a 및 도 5b는 주어진 LOQ의 절대 잔여들을 위한 서포트 평면들의 비-제한적인 예시적인 실시예를 예시하는 예시적인 도표들이며, 여기서 상기 서포트 평면들은 집합 레벨들의 단계적 계층으로 인코드된다. 예시적인 입력 신호는 도 4a 및 도 4b에 기술된 입력 신호와 동일하며, 모두 실용적인 목적을 위해 2-차원 프레임들의 시퀀스(방법을 위해, 우리의 이미지들)로 이루어진 비디오 신호로서 생각할 수 있다. 그러나, 로트들내 신호의 배치의 분할은 다르며, 그리고 또한 LOQ#0에 기초하여 LOQ#-1를 획득하기 위해 사용된 다운샘플링 동작들이 다르다. 특히, 도 4a 및 도 4b에 예시된 비-제한적인 실시예들과 다르게, 이러한 비-제한적인 실시예에서 LOQ#-1은 간단한 공간 다운샘플링을 통해, 즉, LOQ#0과 동일한 샘플 레이트를 유지함으로써 획득된다. 유사한 구성이 바람직하며 여기서 최고 LOQ의 샘플 레이트는, LOQ#-1에서 렌디션의 품질에서 과도한 저하들을 피하기 위해, 상대적으로 낮다.
도 4b에서와 마찬가지로 도 5a 및 도 5b는 (그들 자신들 이미지들을 도시하는 것과 반대로) 이미지들의 각각에 대응하는 절대 잔여들 R의 세트들과 로트들의 각각을 위한 서포트 평면들을 그래픽적으로 도시한다. 도 5a는 단지, 가독성을 위해, 신호의 최고 LOQ#1만을 도시하는 반면에, 도 5b는 다음의 보다 낮은 LOQ#-1의 서포트 평면들과 함께 발생하는 것을 도시한다. 이미 언급한 바와 같이, 이러한 특정한 비-제한적인 실시예에서, 도 5b에 도시된, 신호의 다음의 보다 낮은 LOQ는 최고 LOQ와 동일한 레이트를 갖지만, 보다 낮은 공간 해상도를 갖는다.
도 4에 도시된 것과 유사하게, 서포트 평면들(SP1-0, SP2-0, ... , SP6-0)의 각각은 대응하는 로트의 절대 잔여들의 세트들의 재구성을 지원한다.
그러나, 도 4에 도시된 것과 다르게, 보다 낮은 품질 레벨에서 동일한 로트의 대응하는 서포트 평면에 기초하여 SPi-0을 재구성하는 대신에, 이러한 비-제한적인 실시예는 LOQ#0을 위해 생산된 집합 레벨들의 특정한 단계적 계층에 기초하여 (즉, 공간 다운샘플링을 수행함이 없이, 단지 모션-보상된 시간 블렌딩을 수행함으로써) 서포트 평면들을 인코드하고 디코드한다.
특히, 인코더로서 구성된 신호 프로세서는 LOQ#0에서 이미지들의 각각을 위한 절대 잔여들 R (130-1, ... , 130-13)의 세트들을 생산하며 서포트 평면들(SP1-0, SP2-0, ... , SP6-0)을 발생하며, 여기서 각각의 평면은 대응하는 로트의 절대 잔여들의 세트들의 모션-보상된 렌디션들을 적절히 조합함으로써 획득된다. 이러한 단순화된 비-제한적인 실시예에서, 로트들은 최대 3개의 이미지들을 만들도록 선택되며, 그리고 서포트 평면의 샘플링 포지션은 각각의 주어진 로트의 제1 이미지의 샘플링 포지션과 동일하다. 서포트 평면들(SP1-0, ... , SP6-0)은 집합(LOA)#0 레벨에서 LOQ#0을 위한 서포트 평면들일 것으로 이야기된다.
그 다음 인코더는 보다 높은 집합 레벨(LOA #1)에서 보다 높은-차수 서포트 평면 (SP1+3-0-1)에 따라서 서포트 평면들(SP1-0 및 SP2-0)을 인코드하기 위해 진행한다. 특히, 인코더는, SP1+3-0-1의 샘플링 포지션(본 실시예에서 SP1-0의 샘플링 포지션에 대한 세트, 즉, 보다 높은-차수 서포트 평면으로 조합되는 평면들의 보다 낮은 샘플링 포지션들)에 따라서, SP1-0와 SP2-0의 모션-보상된 렌디션들을 적절히 조합함으로써 SP1+3-0-1을 발생한다. 이어지는 공식에 따라서, 인코더는 상기 평면들과 서포트 평면 SP1+3-0-1의 모션-보상된 렌디션 사이의 차이에 기초하여 서포트 평면들(SP1-0 및 SP2-0)의 각각을 위해 (도면에 도시되지 않은) 서포트 평면 잔여들(RI*)을 발생한다:
Figure pct00005
여기서 S는 인코더에 의해 초기에 계산된 바와 같이 서포트 평면(즉, SP1-0이나 SP2-0)을 나타내고 Z는 (디코더가 재구성할 수 있는 것에 기초하여, 잔여 데이터를 적절히 발생하기 위해 인코더에 의해 시뮬레이트된) 디코더 측에서 상기 서포트 평면의 재구성된 렌디션을 나타낸다.
동일한 방법들에 따라서, 인코더는, 보다 높은-차수의 서포트 평면(SP3+4-0-1), 그리고 보다 높은-차수의 서포트 평면(SP5+6-0-1)에 기초하여 서포트 평면들(SP3-0 및 SP4-0)을 재구성하는데 필요한 서포트 평면 잔여들(RI*)의 세트들 뿐만 아니라, 보다 높은-차수의 서포트 평면들(SP3+4-0-1 및 SP5+6-0-1)을 발생한다.
또 다른 비-제한적인 실시예에서, 인코더는 또한 LOA#2에서 하나 또는 하나를 초과하는 다른-보다 높은-차수의 서포트 평면들(예를 들어, 도 5에 도시된 보다 높은-차수의 서포트 평면(SP1+2+3+4+5+6-0-2))에 따라서 LOA#1에서 보다 높은-차수의 서포트 평면들을 인코드한다. 이들 실시예들에서, 인코더는 (최고 집합 레벨로부터 디코더 측에서 재구성 프로세스를 시뮬레이트하는) 서포트 평면 잔여들(RI *)의 세트들을 발생하기에 앞서 최고 집합 레벨까지 서포트 평면들을 발생한다.
디코더 측에서, 디코더는 최고 집합 레벨에서 로트들의 배치를 위해 보다 높은-차수의 서포트 평면들에 대응하는 재구성 데이터를 수신하고 디코딩함으로써 LOA#0에서 서포트 평면들(즉, 절대 잔여들의 세트들을 재구성하기 위해 필요한 서포트 평면들)을 재구성한다. 그 다음 디코더는 다음의 보다 낮은 집합 레벨에서 서포트 평면들을 위한 예측들을 재구성하며, 그리고 서포트 평면 잔여들(RI *)의 수신된 세트들에 기초하여 상기 예측들을 조절한다. 디코더는 최저 집합 레벨까지(또는 보다 나은, 까지 다운) 서포트 평면들의 단계적 계층을 재구성한다.
도 5b에 예시된 바와 같이, 신호의 주어진 배치의 모든 LOQ는 서포트 평면들의 집합 레벨들의 자신 소유의 단계적 계층을 갖는다. 이러한 비-제한적인 실시예에서, 주어진 LOQ의 서포트 평면들의 단계적 계층은 신호의 기타 LOQ들의 서포트 평면들의 단계적 계층들에 독립적이다.
도 6 및 도 7은 서포트 평면에 기초하여 절대 잔여들의 세트들의 인코딩과 디코딩의 비-제한적인 실시예를 더 예시한다.
인코더로서 구성된 신호 프로세서에서, 이미지들(600-1 및 600-2)은 블렌드된 예측기(600)의 발생기에 의해 처리되며, 서포트 평면(650)과 메타데이터(655)를 생산한다.
도 7에 예시된 바와 같이, 디코더로서 구성된 신호 프로세서는 서포트 평면(650), 모션(655-1)에 대한 메타데이터 및 상대적 잔여들(760-1)을 수신한다. 예비 이미지(710)의 계산기는 모션(655-1)에 대한 메타데이터에 기초하여 서포트 평면(650)을 처리하며, 예비 이미지(740-1)를 생산한다. 그 다음 조합기(720)는 예비 이미지(740-1)와 잔여들(760-1)을 조합하며, 이미지 1(7-600-1)의 렌디션(즉, 인코드된 이미지(600-1)에 대응하는 재구성된 렌디션)을 생산한다.
도 8은 본 명세서의 실시예들에 따라서 컴퓨터 프로세싱을 제공하는 컴퓨터 시스템(800)의 블록도이다.
컴퓨터 시스템(800)은 퍼스널 컴퓨터, 프로세싱 회로, 텔레비전, 재생 디바이스, 인코딩 디바이스, 워크스테이션, 포터블 컴퓨팅 디바이스, 모바일 폰, 태블릿, 콘솔, 셋 탑 박스, 네트워크 터미널, 프로세싱 디바이스, 스위치, 라우터, 서버, 클라이언트, 등으로서 동작하는 네트워크 디바이스와 같은 컴퓨터화된 디바이스일 수 있거나 적어도 포함할 수 있다.
주목할 것은 후속하는 논의는 앞서 논의된 바와 같이 신호 프로세서와 연관된 기능을 어떻게 수행할지를 표시하는 기본적인 실시예를 제공한다는 것이다. 그러나, 본 명세서에 기술된 바와 같이 동작들을 수행하기 위한 실제 구성은 각각의 어플리케이션에 따라 변할 수 있다는 것이 주목되어야 한다.
도시된 바와 같이, 본 예의 컴퓨터 시스템(800)은 통신 버스(811)를 포함하며, 통신 버스(811)는 비-일시적인 컴퓨터-판독가능 스토리지 매체, 등과 같은 컴퓨터 판독가능 스토리지 매체(812)에 통신을 제공하며, 컴퓨터 판독가능 스토리지 매체(812)에서 디지털 정보가 저장되고 검색될 수 있다.
컴퓨터 시스템(800)은 프로세서(813), I/O 인터페이스(814), 그리고 통신 인터페이스(817)를 더 포함할 수 있다.
일 실시예에서, I/O 인터페이스(814)는 저장소(880), 그리고 존재한다면, 스크린 디스플레이, 오디오 스피커들, 키보드, 컴퓨터 마우스, 등과 같은 주변 디바이스들(816)에 연결을 제공한다.
상기 간단히 언급된 바와 같이, 컴퓨터 판독가능 스토리지 매체(812)는 메모리, 광학 스토리지, 솔리드 스테이트 스토리지(solid state storage), 하드 드라이브(hard drive), 플로피 디스크, 등과 같은 임의의 적절한 디바이스 및/또는 하드웨어일 수 있다. 일 실시예에서, 스토리지 매체(812)는 신호 프로세서 어플리케이션(840-1)과 연관된 명령들을 저장하도록 구성된 비-일시적인 스토리지 매체(즉, 비-반송파 매체(non-carrier wave media))이다. 명령들은 본 명세서에 논의된 바와 같이 임의의 동작들을 수행하기 위해 프로세서(813)와 같은 각각의 자원에 의해 실행된다. 통신 인터페이스(817)는 컴퓨터 시스템(800)으로 하여금 원격 소스들로부터 정보를 검색하고 다른 컴퓨터들, 스위치들, 클라이언트들, 서버들, 등과 통신하기 위해 네트워크(890)를 통해 통신할 수 있게 한다. I/O 인터페이스(814)는 또한 프로세서(813)로 하여금 저장소(880)로부터 저장된 정보의 검색 또는 검색 시도를 할 수 있게 한다. 도시된 바와 같이, 컴퓨터 판독가능 스토리지 매체(812)는 프로세스(840-2)로서 프로세서(813)에 의해 실행된 신호 프로세서 어플리케이션(840-1)에 의해 인코드될 수 있다.
주목할 것은 컴퓨터 시스템(800)은 데이터 및/또는 로직 명령들을 저장하기 위해 컴퓨터 판독가능 스토리지 매체(812)를 포함하도록 구현될 수 있다.
신호 프로세서 어플리케이션(840-1)과 연관된 코드는 본 명세서에 예시된 신호 프로세서들의 기능들 및/또는 본 명세서에 논의된 발명을 구현하기 위해 필요한 기타 자원들을 구현할 수 있다.
일 실시예의 동작동안, 프로세서(813)는 컴퓨터 판독가능 스토리지 매체(812)에 저장된 신호 프로세서 어플리케이션(840-1)의 명령들을 론치, 구동, 실행, 해석 또는 기타 수행하기 위해 통신 버스(811)를 통해 컴퓨터 판독가능 스토리지 매체(812)를 액세스한다. 신호 프로세서 어플리케이션(840-1)의 실행은 프로세서(813)에서 프로세싱 기능을 생산한다. 즉, 프로세서(813)와 연관된 신호 프로세서 프로세스(840-2)는 컴퓨터 시스템(800)내 프로세서(813)내 또는 프로세서(813)에 대해 신호 프로세서 어플리케이션(840-1)을 실행하는 하나 또는 하나를 초과하는 양상들을 나타낸다. 당업자는 컴퓨터 시스템(800)이, 운영 체제 또는 신호 프로세서 어플리케이션(840-1)을 실행하기 위해 하드웨어 프로세싱 자원들의 할당과 사용을 제어하는 기타 소프트웨어와 같은, 기타 프로세스들 및/또는 소프트웨어 그리고 하드웨어 컴포넌트들을 포함할 수 있다는 것을 이해할 것이다.
상이한 실시예들에 따라서, 주목할 것은 컴퓨터 시스템은 퍼스널 컴퓨터 시스템, 데스크탑 컴퓨터, 랩탑, 노트북, 노트북 컴퓨터, 메인프레임 컴퓨터 시스템, 휴대형 컴퓨터, 워크스테이션, 네트워크 컴퓨터, 어플리케이션 서버, 스토리지 디바이스, 카메라, 캠코더, 셋 탑 박스, 모바일 디바이스, 스마트폰, 태블릿, 비디오 게임 콘솔, 휴대형 비디오 게임 디바이스, 스위치, 모뎀, 라우터, 또는 일반적으로, 임의의 형태의 컴퓨터 또는 전자 디바이스와 같은 주변 디바이스를 포함하지만, 이에 제한되지 않는 임의의 다양한 형태들의 디바이스들 일 수 있다는 것이다. 상이한 자원들에 의해 지원된 기능은 이제 도 9 내지 도 12의 흐름도들을 통해 논의될 것이다. 주목할 것은 이하 흐름도들내 단계들은 임의의 적절한 순서로 실행될 수 있다는 것이다.
도 9는 본 명세서에 예시된 실시예들에 따라서 예시적인 방법을 예시하는 흐름도(900)이다. 주목할 것은 상기 논의된 바와 같이 개념들에 대하여 몇몇 오버랩이 존재할 것이라는 것이다.
프로세싱 블록(910)에서, 컴퓨터 프로세서 하드웨어는 시퀀스내 다중 오리지널 이미지들의 각각의 이미지를 위한 엘리먼트 세팅들을 특정하는 이미지 데이터를 수신한다.
프로세싱 블록(920)에서, 컴퓨터 프로세서 하드웨어는 다중 오리지널 이미지들에 걸쳐서 엘리먼트 세팅들을 분석한다.
프로세싱 블록(930)에서, 컴퓨터 프로세서 하드웨어는 공통 이미지 엘리먼트 세팅들의 세트를 특정하는 제1 인코드된 이미지 데이터를 생산하기 위해 시퀀스내 다중 오리지널 이미지들의 엘리먼트 세팅들을 활용하며, 공통 이미지 엘리먼트 세팅들의 세트는 시퀀스내 오리지널 이미지들의 각각의 실질적으로 재생하기 위한 베이스라인이다.
도 10은 실시예들에 따른 예시적인 방법을 예시하는 흐름도(1000)이다. 주목할 것은 상기 기술된 바와 같이 개념들에 대하여 몇몇 오버랩일 것이라는 것이다. 프로세싱 블록(1010)에서, 컴퓨터 프로세서 하드웨어는 이미지들의 시퀀스를 수신한다. 프로세싱 블록(1020)에서, 컴퓨터 프로세서 하드웨어는 이미지들의 각각을 위한 세팅들을 획득한다.
프로세싱 블록(1030)에서, 컴퓨터 프로세서 하드웨어는 이미지들의 시퀀스를 나타내는 단일 이미지를 생산하기 위해 이미지들의 시퀀스에 걸쳐서 세팅들을 블렌드한다.
프로세싱 블록(1040)에서, 이미지들의 시퀀스내 각각의 주어진 이미지를 위해, 컴퓨터 프로세서 하드웨어는, 예측기 이미지에 기초하여, 주어진 이미지의 렌디션을 어떻게 재구성할지를 특정하는 이미지 프로세싱 동작 및/또는 조절들에 대응하는 데이터를 생산한다.
도 11은 실시예들에 따른 예시적인 방법을 예시하는 흐름도(1100)이다. 주목해야 할 것은 상기 논의된 바와 같이 개념들에 대하여 몇몇 오버랩일 것이라는 것이다. 프로세싱 블록(1110)에서, 컴퓨터 프로세서 하드웨어는 시퀀스내 다중 오리지널 이미지들로부터 유도된 제1 인코드된 이미지 데이터를 수신하며, 제1 인코드된 이미지 데이터는 시퀀스내 다중 오리지널 이미지들의 각각을 재생하기 위한 베이스라인으로서 사용될 공통 이미지 엘리먼트 세팅들의 세트를 특정한다.
프로세싱 블록(1120)에서, 컴퓨터 프로세서 하드웨어는 조절들을 특정하는 제1 인코드된 이미지 데이터를 수신한다.
프로세싱 블록(1130)에서, 컴퓨터 프로세서 하드웨어는 실질적으로 공통 이미지 엘리먼트들의 세트에 적어도 부분적으로 기초하여 재구성된 오리지널 이미지들의 예비 렌디션들에 대해 조절들의 어플리케이션에 기초하여 시퀀스내 다중 오리지널 이미지들을 재생한다.
도 12는 실시예들에 따른 예시적인 방법을 예시하는 흐름도(1200)이다. 주목할 것은 상기 논의된 바와 같이 개념들에 대하여 몇몇 오버랩이 존재할 것이라는 것이다. 프로세싱 블록(1210)에서, 컴퓨터 프로세서 하드웨어는 시퀀스내 이미지들의 제1 그룹핑을 인코딩함으로써 유도된 제1 이미지 데이터를 수신한다.
프로세싱 블록(1210)에서, 컴퓨터 프로세서 하드웨어는 시퀀스내 이미지들의 제2 그룹핑을 인코딩함으로써 유도된 제2 이미지 데이터를 수신하며, 이미지의 제1 그룹핑은 시퀀스내 이미지들의 제2 그룹핑에 인접해 배치된다.
프로세싱 블록(1210)에서, 컴퓨터 프로세서 하드웨어는 시퀀스내 이미지들의 제1 그룹핑의 렌디션을 재구성하기 위해 제1 예측기 이미지 데이터와 제2 예측기 이미지 데이터의 조합을 활용한다.
도 13은 본 명세서의 실시예들에 따라서 프로세싱 시스템을 예시하는 예시적인 도표이다. 후속적인 실시예는 상기 논의된 바와 같이 프로세싱의 예이다.
상기 실시예들의 관점에서, 인코더 프로세서 하드웨어(1330)는 인코드된 데이터(1340-1)를 생산하기 위해 다중 오리지널 이미지들의 엘리먼트 세팅들을 조합한다. 예를 들어, 인코더 프로세서 하드웨어(1330)와 같은 컴퓨터 프로세서 하드웨어는 (동영상의 비디오 시퀀스와 같은) 시퀀스내 다중 오리지널 이미지들(1320-1, 1320-2, 그리고 1320-3)의 각각의 이미지를 위해 엘리먼트 세팅들을 특정하는 이미지 데이터(1310)를 수신한다. 인코더 프로세서 하드웨어(1330)는 다중 오리지널 이미지들(1320)에 걸쳐서 엘리먼트 세팅들을 분석한다. 그 다음 인코더 프로세서 하드웨어(1330)는 (하나 또는 하나를 초과하는 서포트 평면들을 어떻게 재생할지를 표시하는 정보와 같은) 제1 인코드된 이미지 데이터(1340-1)를 생산하기 위해 시퀀스내 다중 오리지널 이미지들(1320)의 엘리먼트 세팅들을 활용한다. (서포트 평면 정보와 같은) 인코드된 이미지 데이터(1340-1)는 이미지들(1320)내 공통 이미지 엘리먼트 세팅들의 세트를 특정한다.
(서포트 평면과 같은) 공통 이미지 엘리먼트 세팅들의 세트는 시퀀스내 오리지널 이미지들(1320)의 각각을 실질적으로 재생하기 위해 정보의 베이스라인으로서 사용될 수 있다.
일 실시예에서, 시퀀스내 이미지들(1320)의 각각의 주어진 이미지를 위해: 인코더 프로세서 하드웨어(1330)는, 인코드된 이미지 데이터(1340-1)내 공통 이미지 엘리먼트 세팅들의 서포트 평면 정보에 기초하여, 이미지들(1320)의 각각의 예비 렌디션을 생산하기 위해 필요한 이미지 프로세싱 동작들을 특정하는 인코드된 이미지 데이터(1340-2)를 생산하며; 인코더 프로세서 하드웨어(1330)는 각각의 이미지의 렌디션을 실질적으로 재생하기 위해 각각의 재구성된 서포트 평면의 예비 렌디션의 세팅들에 적용하기 위해 조절값들을 특정하기 위해 인코드된 이미지 데이터(1340-3)를 생산하도록 구성될 수 있다.
일 실시예에서, 인코드된 이미지 데이터(1340-3)는 시퀀스내 다중 오리지널 이미지들(1320)을 재생하기 위해 공통 이미지 엘리먼트 세팅들(또는 서포트 평면)의 세트에 적용하기 위해 조절 값들을 특정한다. 일 실시예에서, 인코드된 이미지 데이터(1340-3)는 (1340-3-1, 1340-3-2, 1340-3-3과 같은) 인코드된 데이터의 뚜렷한 싱크-마크된 서브세트들을 포함하며, 서브세트들의 각각은 시퀀스내 다중 오리지널 이미지들(1320) 중 하나에 대응한다. 이러한 방식으로, 디코더는 임의의 서브세트들에 걸쳐서 독립적으로 액세스할 수 있으며, 그리고 시퀀스내 임의의 다른 다중 오리지널 이미지들(1320)을 재구성할 필요없이 시퀀스내 임의의 다중 오리지널 이미지들(1320)을 위해 렌디션을 재구성한다.
추가적인 비-제한적인 예로서, 인코드된 이미지 데이터(1340-1)는 하나 또는 하나를 초과하는 소위 예측기 이미지들을 생산하기 위해 사용될 수 있다. 언급한 바와 같이, 예측기 이미지들은 시퀀스내 다중 오리지널 이미지들 중 적어도 하나를 실질적으로 재생하기 위해 베이스라인으로서 역할을 한다.
본 명세서에 논의된 바와 같이, 추가 실시예들에 따라서, 인코드된 이미지 데이터(1340-1)는 인코드된 데이터의 다중 세트들을 포함하도록 구성될 수 있다. 데이터의 세트들의 각각은 다중 품질 레벨들에서 각각의 서포트 평면의 이미지 렌디션을 특정할 수 있다. 언급한 바와 같이, 서포트 평면의 각각의 보다 낮은 품질 레벨은 보다 적은 디스플레이 엘리먼트들을 포함할 수 있으며 따라서 보다 낮은 해상도에서 서포트 평면을 표시한다. 따라서, 일 실시예에서, 인코더 프로세서 하드웨어(1330)는 연속적으로 보다 낮은 해상도들일 연속적으로 보다 낮은 품질 레벨에서 이미지 렌디션들의 각각을 인코드한다.
인코더 프로세서 하드웨어(1330)는 보다 적은 이미지 렌디션들을 포함하기 위해 서포트 평면을 위한 하나 또는 하나를 초과하는 연속적으로 보다 낮은 품질 레벨 정보를 생산할 수 있다.
앞서 도 5a 및 도 5b에서 논의된 바와 같이, 본 명세서의 실시예들은 다중 집합 레벨들을 포함한다. 이와 같은 경우에, 인코더 프로세서 하드웨어(1330)는 인코드된 데이터의 다중 세트들을 포함하기 위해 제1 인코드된 이미지 데이터(1340-1)를 생산하며, 세트들의 각각은 각각의 품질 레벨을 위한 집합의 다중 연속적으로 보다 높은 레벨들에서 서포트 평면의 이미지 렌디션들을 특정할 수 있다. 예를 들어, 인코더 프로세서 하드웨어(1330)는 보다 적은 이미지 렌디션들을 포함하기 위해 상지 인코드된 데이터에 의해 특정된 집합의 각각의 연속적으로 보다 높은 레벨을 생산하도록 구성될 수 있다. 예를 들어, 도 5a에서, 서포트 평면을 위한 집합 #2의 레벨(최고 집합 레벨)은 집합 #0의 최저 레벨보다 적은 렌디션들을 포함하며, 집합 #0의 최저 레벨은 6개의 렌디션들을 포함한다.
일 실시예에서, 인코더 프로세서 하드웨어(1330)는 보다 낮은 집합 레벨에서 이미지 렌디션들과 동일한 해상도일 연속적으로 보다 높은 집합 레벨에서 이미지 렌디션들의 각각을 인코드한다. 따라서, 각각의 집합 레벨에서 서포트 평면의 렌디션은 실질적으로 동일할 수 있다.
대안으로서, 인코더 프로세서 하드웨어(1330)는 보다 낮은 레벨들과 다른 해상도일 연속적으로 보다 높은 집합 레벨에서 이미지 렌디션들의 각각을 인코드하도록 구성될 수 있다.
인코더 프로세서 하드웨어(1330)는 임의의 적절한 방식으로 인코드된 이미지 데이터(1340-1)를 발생하도록 구성될 수 있다. 예를 들어, 인코더 프로세서 하드웨어(1330)는 제1 세트의 서브-그룹핑들로 오리지널 레벨에서 다중 오리지널 이미지들을 세분하도록 구성될 수 있다. 제1 세트내 서브-그룹핑들 중 적어도 하나의 서브-그룹핑은 다중 오리지널 이미지들로부터 적어도 2개의 이미지들을 포함할 수 있다. 제1 세트내 각각의 서브-그룹핑들의 각각을 위해, 인코더 프로세서 하드웨어(1330)는 각각의 서브-그룹핑내 이미지들의 조합을 나타낼 제1 레벨(예를 들어, 집합 #0의 서포트 평면 레벨)에서 각각의 이미지 렌디션을 생산한다. 예를 들어, 인코더 프로세서 하드웨어(1330)는 서포트 평면(130-1)과 서포트 평면(130-2)을 선택하며 서포트 평면(SP1-0)을 생산한다. 인코더 프로세서 하드웨어(1330)는 서포트 평면(130-3) 및 서포트 평면(130-4)을 선택하고 서포트 평면(SP2-0)을 생성한다.
상기 예에서, 인코더 프로세서 하드웨어(1330)는 서포트 평면 집합 레벨 #0에서 각각의 조합된 서포트 평면을 발생하기 위해 한 쌍의 서포트 평면들을 선택한다. 일 실시예에서, 인코더 프로세서 하드웨어(1330)는 서로에 대해 오리지널 이미지들(서포트 평면들)의 유사성에 따라 각각의 개별적인 서브-그룹핑들에 포함된 이미지들의 수를 변하게 한다.
또 다른 추가 실시예에서, 원하는 경우, 인코더 프로세서 하드웨어(1330)는는 오리지널 이미지들의 시퀀스를 분석함으로써 발생된 모션 정보에 따라 각각의 개별적인 서브-그룹핑에 포함된 이미지들의 수를 변하게 한다.
인코더 프로세서 하드웨어(1330)는 제2 레벨에서 인코드된 이미지 데이터(1340-1)의 적어도 일부를 생산하도록 구성될 수 있다. 예를 들어, 인코더 프로세서 하드웨어(1330)는 집합 #0의 레벨에서 서포트 평면들로 제1 레벨에서 이미지 렌디션들(또는 서포트 평면들)을 세분하도록 구성될 수 있다. 집합 #0의 레벨에서 서포트 평면들의 렌디션은 제2 세트의 서브-그룹핑들로 분할될 수 있다. 예를 들어, 서브-그룹핑(SP1-0) 및 서브-그룹핑(SP2-0)은 서포트 평면(SP1+2-0-1)을 생산하기 위해 그룹되고 조합될 수 있다. 유사한 방식으로, 집합 #0의 서포트 평면 레벨에서 서브-그룹핑들의 각각은 다음의 보다 낮은 집합 레벨에서 서포트 평면의 렌디션을 생산하도록 조합될 수 있다. 집합의 마지막 레벨에서, 집합 #2의 서포트 평면 레벨에서 서포트 평면(SP1+2+3+4+5+6-0-2)의 렌디션을 생산하기 위해 인코더 프로세서 하드웨어는 서포트 평면(SP1+2-0-1, SP3+4-0-1, 그리고 SP5+6-0-1)의 렌디션을 집합하고 조합한다.
여전히 추가 실시예들에서, 인코더 프로세서 하드웨어는 다중 오리지널 이미지들(1320)(서포트 평면들)에 걸쳐서 엘리먼트 세팅들의 상관을 식별하도록 구성될 수 있다. 인코더 프로세서 하드웨어는 식별된 상관에 적어도 부분적으로 기초하여 인코드된 이미지 데이터(1340-1)를 생산한다.
다중 오리지널 이미지들은 잔여 데이터를 나타내는 잔여 이미지들일 수 있다. 잔여 이미지들의 각각은 재구성된 이미지를 생산하기 위해 대응하는 예비 이미지와 조합하기 위해 조절들을 특정하도록 구성될 수 있다.
추가적인 인코더 실시예들
도 13을 다시 참조하며, 그리고 본 명세서에 논의된 바와 같이 실시예들을 고려하여, 인코더 프로세서 하드웨어(1330)는 이미지들의 시퀀스(1320)를 수신하도록 구성될 수 있다. 인코더 프로세서 하드웨어(1330)는 이미지들(1320)의 각각을 위한 디스플레이 엘리먼트 세팅들을 획득한다. 인코더 프로세서 하드웨어(1330)는 이미지들의 시퀀스(1320)를 나타내는 단일 이미지("예측기 이미지")를 생산하기 위해 이미지들의 시퀀스(1320)에 걸쳐서 세팅들을 블렌드한다. 이미지들의 시퀀스(1320)내 각각의 주어진 이미지를 위해, 인코더 프로세서 하드웨어(1330)는, 예측기 이미지(서포트 평면)에 기초하여, 이미지들의 각각의 렌디션을 어떻게 재구성할지를 특정하는 이미지 프로세싱 동작들과 조절들("잔여들")에 대응하는 각각의 데이터를 생산한다.
일 실시예에서, 이미지들의 시퀀스에 걸쳐서 세팅들을 블렌딩하는 것은 : 서로에 대하여 이미지들을 중첩하는 단계; 그리고 이미지들(1320)의 시퀀스를 나타내는 (서포트 평면과 같은) 단일 이미지를 생산하기 위해 중첩된 이미지들을 조합하는 단계를 포함한다.
이미지를 중첩하는 단계는 모션-보상 동작들을 수행하는 단계를 포함하며, 모션-보상 동작들은 예측기 이미지의 샘플링 포지션(서포트 평면 또는 조합된 이미지)에 대하여 이미지에 의해 캡처된 객체들의 모션에 적어도 부분적으로 기초한다.
시퀀스내 이미지들(1320)의 각각은 제1 해상도에 따라서 수신될 수 있다. 인코더 프로세서 하드웨어(1330)는 제2 해상도 ― 제1 해상도보다 낮은 제2 해상도 ― 에서 존재할 예측기 이미지 또는 서포트 평면을 생산하도록 구성될 수 있다.
도 5에 대하여 앞서 논의된 바와 같이, 시퀀스내 이미지들(1320)의 각각은 하나 또는 하나를 초과하는 특별한 객체들의 렌디션을 포함할 수 있다. 이미지들(1320)과 연관된 세팅들 정보의 블렌딩은 : 다중 이미지들의 각각내 객체의 렌디션들의 조합에 기초하여 단일 이미지(서포트 평면 이미지)내 객체의 렌디션을 생산하는 단계를 포함할 수 있다. 따라서, 서포트 평면내 객체의 렌디션은 다중 이미지들내 객체의 렌디션들의 조합에 기초할 수 있다.
앞서 논의된 바와 같이, 시퀀스내 이미지들(1320) 중 하나의 이미지는 시퀀스내 임의의 기타 이미지들에서 발견되지 않은 각각의 고유한 시각적 아티팩트(artifact)에 대응하는 디스플레이 엘리먼트 세팅들을 포함할 수 있다. 비-제한적인 예로서, 인코더 프로세서 하드웨어(1330)는 고유한 시각적 아티팩트에 대응하는 세팅들을 포함하기 위해 예측기 이미지 또는 서포트 평면을 발생함으로써 이미지들내 엘리먼트들의 세팅들을 블렌드한다.
추가 실시예들에 따라서, 서포트 평면을 생산하기 위해 이미지들(1320)과 연관된 세팅들의 블렌딩은 시퀀스내 이미지들의 각각에 의해 캡처되는 공통 객체에 대응하는 세팅들을 식별하는 단계를 포함할 수 있다. 인코더 프로세서 하드웨어(1330)는 공통 객체에 적어도 부분적으로 기초하여 시퀀스내 이미지들의 부분들을 정렬하도록 구성될 수 있다. 언급한 바와 같이, 이미지들은 다중 이미지들(1320)을 나타내는 서포트 평면을 생산하기 위해 함께 조합되거나 스위치될 수 있다. 프로세싱 동안, 인코더 프로세서 하드웨어(1330)는 시퀀스내 이미지들의 모두 보다 적은 이미지에 의해 캡처되는 고유한 객체에 대응하는 세팅들을 식별할 수 있다. 인코더 프로세서 하드웨어(1330)는 공통 객체의 렌디션과 고유한 객체의 렌디션을 포함하기 위해 예측기 이미지 또는 서포트 평면 이미지를 생산하도록 구성될 수 있다.
앞서 논의된 바와 같이, 이미지들의 시퀀스는 적어도 제1 이미지(1320-1)와 제2 이미지(1320-2)를 포함할 수 있다. 인코더 프로세서 하드웨어(1330)는 제1 이미지내 엘리먼트의 세팅을 검색할 수 있으며; 제1 이미지(1320-1)내 엘리먼트는 제1 이미지(1320-1)내 객체의 특별한 부분을 표시할 수 있다. 인코더 프로세서 하드웨어(1330)는 제2 이미지(1320-2)내 엘리먼트의 세팅을 검색하도록 구성될 수 있으며; 제2 이미지(1320-2)내 엘리먼트는 객체의 특별한 부분을 표시할 수 있다. 인코더 프로세서 하드웨어(1330)는 제1 이미지(1320-1)내 엘리먼트의 세팅과 제2 이미지(1320-2)내 엘리먼트의 세팅의 조합에 적어도 부분적으로 기초하여 예측기 이미지(서포트 평면)내 객체의 특별한 부분을 위한 세팅을 계산함으로써 엘리먼트들의 세팅들을 블렌드할 수 있다.
또 다른 추가 실시예들에 따라서, 예측기 이미지(서포트 평면 또는 조합된 이미지)는 시퀀스내 이미지들의 해상도 보다 낮은 해상도이다. 인코더 프로세서 하드웨어는 이미지들의 시퀀스를 검색하고; 이미지들의 각각을 위한 세팅들을 획득하며; 그리고 시퀀스를 나타내는 단일 이미지("예측기 이미지" 또는 서포트 평면 이미지)를 생산하기 위해 시퀀스내 이미지들(1320)을 조합하도록 구성될 수 있다. 단일 이미지는 시퀀스내 이미지들(1320)의 해상도보다 낮은 해상도일 수 있다.
이미지들을 조합하는 단계는 : 시퀀스내 이미지들(1320)의 각각에 의해 적어도 부분적으로 캡처된 공통 객체에 대응하는 세팅들을 식별하는 단계; 이미지들의 각각내 공통 객체에 대응하는 세팅들을 정렬하기 위해 시퀀스내 이미지들(1320)에 이미지 프로세싱 동작을 적용하는 단계를 포함할 수 있다. 본 명세서의 추가 실시예들은 : 시퀀스내 이미지들(1320)의 모두 보다 적은 이미지에 의해 캡처되는 고유한 객체에 대응하는 세팅들을 식별하는 단계; 그리고 공통 객체의 렌디션 및 고유한 객체의 렌디션을 포함하기 위해 예측기 이미지(서포트 평면 이미지)를 생산하는 단계를 포함할 수 있다.
앞서 논의된 바와 같이, 인코더 프로세서 하드웨어는 도 13의 이미지들(1320)을 정렬시키기 위해 이미지-프로세싱 동작들을 적용할 수 있다. 일 실시예에서, 인코더 프로세서 하드웨어(1320)는 주어진 이미지의 제1 부분에 이미지 프로세싱 동작들의 제1 세트를 적용하며; 인코더 프로세서 하드웨어(1330)는 주어진 이미지의 제2 부분에 이미지 프로세싱 동작들의 제2 세트를 적용하고, 주어진 이미지의 제2 부분은 주어진 이미지의 제1 부분과 다른 엘리먼트들의 수를 가질 수 있다.
시퀀스내 이미지들(1320)의 각각은 특별한 객체의 렌디션에 대응하는 세팅들을 포함할 수 있다. 인코더 프로세서 하드웨어(1330)는 이미지들(1320)의 시퀀스내 객체의 상이한 렌디션들과 대응하는 세팅들의 조합에 기초하여 예측기 이미지(서포트 평면 정보)내 특별한 객체의 렌디션을 생산하기 위한 이미지들을 조합하도록 구성될 수 있다.
앞서 논의된 바와 같이, 스위칭을 허용하기 위해, 단일 이미지 또는 서포트 평면은 이미지들(1320)의 각각에 의해 표시된 시야보다 넓은 시야를 나타낼 수 있다. 추가 실시예들에 따라서, 인코더 프로세서 하드웨어(1330)는 : 서로에 대하여 이미지들(1320)을 스택하는 단계; 이미지들(1320)내 대응하는 객체들의 세팅들을 정렬하기 위해 스택내 이미지들 중 하나 또는 하나를 초과하는 이미지를 처리하는 단계를 통해 이미지 세팅들을 조합하며; 그 다음 예측기 이미지 또는 서포트 평면 정보를 생산하기 위해 스택내 이미지들의 대응하는 엘리먼트들의 세팅들을 조합하도록 구성될 수 있다.
앞서 논의된 바와 같이, 도 13에서 이미지들의 시퀀스는 적어도 제1 이미지(1320-1)와 제2 이미지(1320-2)를 포함할 수 있다. 인코더 프로세서 하드웨어(1330)는 제1 이미지(1320-1)내 엘리먼트의 세팅을 검색함으로써 세팅들을 획득하도록 구성될 수 있으며, 제1 이미지내 엘리먼트들의 세팅은 제1 이미지에서 만들어진 객체의 특별한 부분에 대응하며; 그리고 인코더 프로세서 하드웨어(1330)는 제2 이미지(1320-2)내 엘리먼트의 세팅을 검색함으로써 세팅들을 획득하도록 구성될 수 있으며, 제2 이미지내 엘리먼트들의 세팅은 객체의 특별한 부분에 대응한다. 이미지들을 조합하는 단계는 : 제1 이미지(1320-1)내 엘리먼트의 세팅과 제2 이미지(1320-2)내 엘리먼트의 세팅의 조합에 적어도 부분적으로 기초하여 예측기 이미지(서포트 평면)내 객체의 특별한 영역을 위한 세팅을 계산하는 단계를 포함할 수 있다. 여전히 추가 실시예들에서, 인코더 프로세서 하드웨어(1330)는 많은 이미지들(1320)들이 예측기 이미지 또는 서포트 평면을 유도하기 위해 어떻게 사용되었는지를 표시하는 메타 정보(인코드된 이미지 데이터)를 생산하도록 구성될 수 있다.
도 14는 본 명세서의 실시예들에 따라서 디코더 프로세싱을 예시하는 예시적인 도표이다. 본 명세서에 논의된 바와 같이 실시예들을 고려하여, 디코더 프로세싱 하드웨어(1430)는 실질적으로 다중 오리지널 이미지들의 시퀀스를 재생한다.
예를 들어, 디코더 프로세싱 하드웨어(1430)는 시퀀스내 다중 오리지널 이미지들(1320-1)로부터 유도된 제1 인코드된 이미지 데이터(1340-1)를 수신한다. 제1 인코드된 이미지 데이터(1340-1)는 시퀀스내 다중 오리지널 이미지들(1320)의 각각의 재생하기 위한 베이스라인으로서 사용될 공통 이미지 엘리먼트 세팅들의 세트를 특정한다. 디코더 프로세싱 하드웨어(1430)는 "잔여들"과 같은 조절들을 특정하는 인코드된 이미지 데이터(1340-3)를 수신한다. 디코더 프로세싱 하드웨어(1430)는 는 공통 이미지 엘리먼트들의 세트에 적어도 부분적으로 기초하여 재구성된 바와 같이 오리지널 이미지들의 예비 렌디션들에 대해 조절들의 어플리케이션에 기초하여 시퀀스내 다중 오리지널 이미지들(1320)의 렌디션을 재생한다. 즉, 디코더 프로세싱 하드웨어(1430)는 공통 세팅들의 서포트 평면을 이용해 이미지들의 예비 렌디션을 생산한다. 디코더 프로세싱 하드웨어(1430)는 각각의 개별적인 이미지(1320)를 재생하기 위해 공통 이미지 엘리먼트 세팅들에 조절들을 적용한다.
일 실시예에서, 디코더 프로세싱 하드웨어(1430)는 실질적으로 : 공통 이미지 엘리먼트 세팅들의 세트에 적어도 부분적으로 기초한 값들로 다중 이미지들의 제1 이미지내 이미지 엘리먼트들을 초기에 세팅하며; 그리고 공통 이미지 엘리먼트 세팅들의 세트에 적어도 부분적으로 기초한 값들로 다중 이미지들의 제2 이미지내 이미지 엘리먼트들을 초기에 설정함으로써 오리지널 이미지들의 렌디션들을 재생한다. 그 다음 디코더 프로세싱 하드웨어(1430)는 인코드된 이미지 데이터(1340-3)로부터 조절 정보의 제1 세트를 검색한다. 조절 정보의 제1 세트는 인코드된 이미지 데이터(1340-1)(서포트 평면)로부터 유도된 제1 이미지의 예비 렌디션내 이미지 엘리먼트들의 예비 렌디션의 세팅들을 어떻게 수정할지를 표시한다. 디코더 프로세싱 하드웨어(1430)는 제1 이미지(1320-1)의 렌디션을 재생하기 위해 조절 정보의 제1 세트에 의해 특정된 바와 같이 이미지의 예비 렌디션내 이미지 엘리먼트들의 세팅들을 조절한다.
디코더 프로세싱 하드웨어(1430)는 인코드된 데이터(1340-3)로부터 조절 정보의 제2 세트를 검색하며; 조절 정보의 제2 세트는 서포트 평면(인코드된 이미지 데이터(1340-1))로부터 유도된 바와 같이 제2 이미지(1320-2)의 렌디션내 이미지 엘리먼트들의 세팅들을 어떻게 수정하는지를 표시한다. 디코더 프로세싱 하드웨어(1430)는 제2 이미지(1320-2)의 렌디션을 재생하기 위해 조절 정보의 제2 세트에 의해 특정된 바와 같이 제2 이미지의 예비 렌디션에 대해 이미지 엘리먼트들의 세팅들을 조절한다.
추가 실시예들에 따라서, 인코드된 이미지 데이터(1340-1)에 의해 캡처된 바와 같이 공통 세팅들 또는 조합된 속성들의 세트는 시퀀스의 둘 또는 둘을 초과하는 이미지들에 걸쳐서 오리지널 이미지들내 이미지 엘리먼트들의 세팅들에 적용된 동작들로부터 유도된다. (인코드된 이미지 데이터(1340-1)에 의해 정의된) 서포트 평면내 캡처된 바와 같이 공통 엘리먼트 세팅들은 하나 또는 하나를 초과하는 이미지 렌디션들 "예측기 이미지들"에 대응할 수 있다.
또 다른 추가 실시예들에 따라서, 인코드된 이미지 데이터(1340)는 다중 이미지들(1320)과 연관된 공통 엘리먼트 세팅들에 대응하는 정보 이외에, 또한 인코드된 이미지 데이터(1340-1)에 의해 특정된 바와 같이 공통 엘리먼트 세팅들에 적어도 부분적으로 기초하여 시퀀스내 다중 이미지들의 예비 렌디션들을 재구성하기 위해 사용될 동작들을 특정한 인코드된 이미지 데이터(1340-2)와 같은 ("메타-정보(meta-information)"와 같은) 메타데이터 정보를 포함할 수 있다. 따라서, 일 실시예에서, 디코더 프로세싱 하드웨어(1430)는 개개의 이미지들(1320)을 재생하는데 사용될 동작들을 식별하기 위해 인코드된 이미지 데이터(1340-2)를 이용한다.
각각의 주어진 예비 이미지 렌디션을 위한 인코드된 이미지 데이터(1340-2)내 메타-정보는 (인코드된 이미지 데이터(1340-1)에 의해 캡처된 바와 같이) 공통 엘리먼트 세팅들의 어떤 부분이 이미지(1340)를 위해 예비 이미지 렌디션을 생산하도록 처리되는지를 특정할 수 있다.
주어진 예비 이미지 렌디션들 재구성하기 위해 (인코드된 이미지 데이터(1340-2)에 의해 특정된 바와 같이) 동작들은 (인코드된 이미지 데이터(1340-1)에 의해 캡처된 바와 같이) 공통 엘리먼트 세팅들에 대한 모션 보상 동작들을 포함할 수 있다. 이와 같은 경우에, 메타-정보(인코드된 이미지 데이터(1340-2)로 특정된 바와 같이, 디코더 프로세싱 하드웨어(1430)는 공통 엘리먼트 세팅들의 제1 부분(인코드된 이미지 데이터(1340-1))에 이미지 프로세싱 동작들의 제1 세트를 적용한다. 메타-정보 인코드된 이미지 데이터(1340-2)에 의해 특정된 바와 같이, 디코더 프로세싱 하드웨어(1430)는 공통 엘리먼트 세팅들(인코드된 이미지 데이터(1340-1))의 제2 부분에 이미지 프로세싱 동작들의 제2 세트를 적용한다.
일 실시예에서, 공통 이미지 엘리먼트들(인코드된 이미지 데이터(1340-1))의 세트에 적어도 부분적으로 기초하여 재구성된 임의의 예비 이미지 렌디션들은 시퀀스내 오리지널 이미지들(1320) 중 임의의 이미지에 의해 실질적으로 재생되기에 앞서 시퀀스내 오리지널 이미지들(1320) 중 임의의 이미지를 위해 발생된다.
앞서 논의된 바와 같이, 일 실시예에서, 다중 오리지널 이미지들(1320)은 조절 정보에 대응하거나 조절 정보를 나타낸다. 조절 정보는 이미지들(1320)의 렌디션을 생산하기 위해 기타 주어진 이미지들과 조합될 조절들("잔여 이미지들")을 특정할 수 있다.
추가적인 디코더 실시예들
본 명세서에서 논의된 바와 같이 실시예들을 고려하여, 디코더 프로세싱 하드웨어(1430)는 시퀀스내 이미지들(1320)의 제1 그룹핑의 (인코더 프로세서 하드웨어(1330)에 의한) 인코딩으로부터 유도된 바와 같이 "제1 예측기 이미지 데이터" 또는 서포트 평면과 같은 제 이미지 데이터를 수신하도록 구성될 수 있다. 디코더 프로세싱 하드웨어(1430)는 시퀀스 내의 이미지들의 제 2 그룹핑을 인코딩함으로써 도출된 "제2 예측기 이미지 데이터" 같은 제2 이미지 데이터를 수신한다. 이미지들의 제1 그룹핑은 시퀀스내 이미지들의 제2 그룹핑에 인접하여 배치될 수 있다. 비-제한적인 예로서, 디코더 프로세싱 하드웨어(1430)는 시퀀스내 이미지들의 제1 그룹핑의 렌디션을 재구성하기 위해 제1 예측기 이미지 데이터와 제2 예측기 이미지 데이터의 조합을 활용한다.
추가 실시예들에 따라서, 이미지들의 제1 그룹핑은 시퀀스내 인접한 이미지들(나란히)의 제1 세트일 수 있다. 이미지들의 제2 그룹핑은 시퀀스내 인접한 이미지들(나란히)의 제2 세트일 수 있다.
일 실시예에서, 디코더 프로세싱 하드웨어(1430)는 최저 공간-시간 해상도에서 최고 공간-시간 해상도까지 디코드된 이미지 데이터의 제1 계층으로서 제1 예측기 이미지 데이터를 수신할 수 있다. 디코더 프로세싱 하드웨어(1430)는 최저 공간-시간 해상도에서 최고 공간-시간 해상도까지 디코드된 이미지 데이터의 제2 계층으로서 제2 예측기 이미지 데이터를 수신할 수 있다. 이와 같은 경우에, 디코더 프로세싱 하드웨어(1430)는 시퀀스내 이미지들의 제1 그룹핑을 재구성하기 위해 제1 예측기 이미지 데이터와 제2 예측기 이미지 데이터의 적어도 일부의 조합을 활용한다. 이러한 동작은 : 제1 계층내 주어진 티어에서 이미지 렌디션을 생산하기 위해 제1 예측기 이미지 데이터를 활용하는 단계; 제2 계층내 주어지 티어에서 이미지 렌디션을 생산하기 위해 제2 예측기 이미지 데이터를 활용하는 단계; 그리고 적어도 제1 계층내 주어진 티어에서 이미지 렌디션과 제2 계층내 주어진 티어에서 이미지 렌디션을 조합하는 것에 기초하여 주어진 티어 위에 다음으로 높은 티어에서 적어도 하나의 이미지 렌디션을 생산하는 단계를 포함할 수 있다. 적어도 제1 계층내 주어진 티어에서 이미지 렌디션과 제2 계층내 주어진 티어에서 이미지 렌디션을 조합하는 단계는 이미지-프로세싱 동작들을 수행하는 단계를 포함할 수 있다.
추가 실시예들을 고려하여, 디코더 프로세싱 하드웨어(1430)는 이미지들의 제1 그룹핑내 이미지들 중 적어도 하나를 재생하기 위해 제1 인코드된 데이터로부터 유도된 이미지 렌디션과 제2 인코드된 데이터로부터 유도된 이미지 렌디션을 조합하도록 구성될 수 있다.
앞서 논의된 바와 같이, 디코더 프로세싱 하드웨어(1430)는 시퀀스내 이미지들의 제1 그룹핑을 재구성하기 위해 제1 예측기 이미지 데이터와 제2 예측기 이미지 데이터의 조합을 활용할 수 있다. 이러한 동작은 : 이미지들의 제1 그룹핑내 적어도 하나의 주어진 이미지를 위해, 적어도 제1 계층내 이미지 렌디션에 대한 업샘플링 동작들을 수행하는 단계를 포함하는 이미지 프로세싱 동작들에 의해 수행되는 제1 이미지와 이미지들의 제1 그룹핑내 주어진 이미지를 재생하기 위해 제2 계층내 이미지 렌디션에 대한 업샘플링 동작들을 포함하는 이미지 프로세싱 동작들에 의해 생산된 제2 이미지를 조합하는 단계를 더 포함할 수 있다. 디코더 프로세싱 하드웨어(1430)는 메타 정보를 더 수신할 수 있다. 디코더 프로세싱 하드웨어(1430)는 보다 높은 티어의 주어진 이미지를 생산하기 위해 프로세스에 대해 보다 낮은 티어의 이미지들을 식별하기 위해 메타 정보를 활용한다.
다시 주목할 것은 본 명세서의 기법들은 계층적 시스템들에서 인코딩과 디코딩을 위해 아주 적합하다는 것이다. 그러나, 본 명세서의 실시예들은 이와 같은 어플리케이션들에서 사용되는 것에 제한되지 않으며 본 명세서에 논의된 기법들은 또한 기타 어플리케이션들에 아주 적합하다는 것이 주목되어야 한다.
본 명세서에 설명된 상세한 설명에 기초하여, 수 많은 특정 세부내용들은 청구된 요지의 완전한 이해를 제공하기 위해 설명되었다. 그러나, 청구된 요지는 이들 특정 세부내용들 없이 실행될 수 있다는 것이 당업자에게 자명할 것이다. 기타 예들에서, 당업자에게 알려진 기타 예들, 방법들, 장치들, 시스템들, 등은 청구된 요지를 모호하게 하지 않기 위해 상세히 기술되지 않았다. 상세히 설명된 설명의 몇몇 부분들은, 컴퓨터 메모리와 같은, 컴퓨팅 시스템내에 저장된 데이터 비트들 또는 2진 디지털 신호들에 대한 동작들의 알고리즘들 또는 부호 표시들에 관하여 제공되었다. 이들 알고리즘적 상세한 설명들 또는 표현들은 발명자들의 작업의 핵심을 당업자에게 전달하기 위해 당업자에 의해 사용된 기법들의 예들이다. 본 명세서에 기술된 바와 같이 알고리즘은, 그리고 일반적으로, 원하는 결과를 가져오는 동작들 또는 유사한 프로세싱의 일관성있는 시퀀스인 것으로 고려된다. 이러한 맥락에서, 동작들 또는 프로세싱은 물리적인 양들의 물리적 조작을 포함한다. 전형적으로, 비록 필요하지는 않다고 하더라도, 이와 같은 양들은 저장되고, 전달되며, 조합되고, 비교되거나 기타 조작될 수 있는 전기적 또는 자기적 신호들의 형태를 취할 수 있다. 원칙적으로 공통 이용법의 이유들 때문에, 때때로 이와 같은 신호들을 비트들, 데이터, 값들, 엘리먼트들, 부호들, 캐릭터들, 용어들, 번호들, 숫자들 등으로 편의상 지칭하였다. 그러나, 이들 및 유사한 용어들의 모두가 적절한 물리적 양들과 연관될 것이며 단지 편의상의 라벨들이라는 것이 주목되어야 한다. 기타 달리 특별히 언급되지 않는 한, 이어지는 논의로부터 분명한 바와 같이, 본 명세서 전반에 걸쳐서 이와 같은 "프로세싱", "컴퓨팅", "계산", "결정" 등과 같은 용어들을 활용하는 논의들은 메모리들, 레지스터들, 또는 기타 정보 스토리지 디바이스들, 전송 디바이스들, 또는 컴퓨팅 플랫폼의 디스플레이 디바이스들내 물리적 전자 또는 자기량들로서 표시된 데이터를 조작하거나 변환하는, 컴퓨터 또는 유사한 전자 컴퓨팅 디바이스와 같은, 컴퓨팅 플랫폼의 조치들 또는 프로세스들을 지칭한다는 것이 이해된다.
비록 본 명세서의 실시예들이 특히 본 명세서의 바람직한 실시예를 참조하여 도시되고 기술되었다고 하더라도, 당업자는 형태와 세부내용들에 있어서 다양한 변경들이 첨부된 청구항들에 의해 정의된 바와 같이 본 출원의 사상 및 범주를 벗어남이 없이 이루어질 수 있다는 것이 이해될 것이다. 이와 같은 변경들은 본 출원서의 범주에 의해 커버되도록 하기 위함이다. 마찬가지로, 본 출원서의 실시예들의 전술한 상세한 설명은 제한되도록 하기 위함이 아니다. 오히려, 발명의 임의의 제한들은 후속하는 청구항들에 제공된다.

Claims (60)

  1. 방법으로서,
    시퀀스내 다중 오리지널 이미지들의 각각의 이미지를 위한 엘리먼트 세팅들을 특정하는 이미지 데이터를 수신하는 단계;
    상기 다중 오리지널 이미지들에 걸쳐서 상기 엘리먼트 세팅들을 분석하는 단계; 그리고
    공통 이미지 엘리먼트 세팅들의 세트 ― 상기 공통 이미지 엘리먼트 세팅들의 세트는 상기 시퀀스내 상기 오리지널 이미지들의 각각을 실질적으로 재생하기 위한 베이스라인임 ― 를 특정하는 제1 인코드된 이미지 데이터를 생산하기 위해 상기 시퀀스내 상기 다중 오리지널 이미지들의 상기 엘리먼트 세팅들을 활용하는 단계
    를 포함하는,
    방법.
  2. 제1항에 있어서,
    상기 시퀀스내 각각의 주어진 이미지를 위해 :
    상기 공통 이미지 엘리먼트 세팅들에 기초하여, 상기 주어진 이미지의 예비 렌디션(rendition)을 발생하는데 필요한 이미지 프로세싱 동작들을 특정하는 제2 인코드된 이미지 데이터를 생산하는 단계;
    상기 주어진 이미지의 렌디션을 실질적으로 재생하기 위해 상기 주어진 이미지의 상기 예비 렌디션의 상기 세팅들에 적용하기 위해 조절값들을 특정하는 제3 인코드된 이미지 데이터를 생산하는 단계
    를 더 포함하는,
    방법.
  3. 제1항에 있어서,
    상기 시퀀스내 상기 다중 오리지널 이미지들을 재생하기 위해 상기 공통 이미지 엘리먼트 세팅들의 세트에 적용하기 위해 조절값들을 특정하는 제2 인코드된 이미지 데이터를 생산하는 단계
    를 더 포함하는,
    방법.
  4. 제1항에 있어서,
    상기 공통 엘리먼트 세팅들은 하나 또는 하나를 초과하는 이미지들에 대응하며, 예측기 이미지들의 각각은 상기 시퀀스내 상기 다중 오리지널 이미지들중 적어도 하나의 이미지에서 실질적으로 재생하기 위한 베이스라인인,
    방법.
  5. 제1항에 있어서,
    인코드된 데이터의 다중 세트들 ― 상기 세트들은 다중 품질 레벨들에서 이미지 렌디션들을 특정함 ― 을 포함하기 위해 상기 제1 인코드된 이미지 데이터를 생산하는 단계를 더 포함하는,
    방법.
  6. 제5항에 있어서,
    보다 적은 이미지 렌디션들을 포함하기 위해 상기 제1 인코드된 데이터에 의해 특정된 연속적으로 보다 낮은 품질 레벨 중 적어도 하나를 생산하는 단계를 더 포함하는,
    방법.
  7. 제6항에 있어서,
    연속적으로 보다 낮은 해상도들일 상기 연속적으로 보다 낮은 품질 레벨에서 상기 이미지 렌디션들의 각각을 인코딩하는 단계를 더 포함하는,
    방법.
  8. 제1항에 있어서,
    인코드된 데이터의 다중 세트들 ― 상기 세트들은 다중 연속적으로 보다 높은 집합 레벨들에서 이미지 렌디션들을 특정함 ― 을 포함하기 위해 상기 제1 인코드된 이미지 데이터를 생산하는 단계를 더 포함하는,
    방법.
  9. 제8항에 있어서,
    보다 적은 이미지 렌디션들을 포함하기 위해 상기 제1 인코드된 데이터에 의해 특정된 각각의 연속적으로 보다 높은 집합 레벨을 생산하는 단계를 더 포함하는,
    방법.
  10. 제9항에 있어서,
    상기 보다 낮은 집합 레벨에서 이미지 렌디션들과 동일한 해상도일 상기 연속적으로 보다 높은 집합 레벨에서 상기 이미지 렌디션들의 각각을 인코딩하는 단계를 더 포함하는,
    방법.
  11. 제1항에 있어서,
    오리지널 레벨에서 상기 다중 오리지널 이미지들을 제1 세트의 서브-그룹핑들 ― 여기서 상기 제1 세트내 상기 서브-그룹핑들 중 적어도 하나의 서브-그룹핑은 상기 다중 오리지널 이미지들로부터 적어도 2개의 이미지들을 포함함 ― 로 세분하는 단계; 그리고
    상기 제1 세트에서 개개의 서브-그룹핑들의 각각을 위해, 상기 개개의 서브-그룹핑내 상기 이미지들의 조합을 나타낼 제1 레벨에서 개개의 이미지 렌디션을 생산하는 단계
    를 통해 상기 제1 인코드된 이미지 데이터를 생산하는 단계
    를 더 포함하는,
    방법.
  12. 제11항에 있어서,
    서로에 대해 상기 오리지널 이미지들의 유사성에 따라 각각 개개의 서브-그룹핑에 포함된 이미지들의 수를 변화시키는 단계를 더 포함하는,
    방법.
  13. 제11항에 있어서,
    상기 오리지널 이미지들의 시퀀스를 분석함으로써 발생된 모션 정보에 따라 각각 개개의 서브-그룹핑에 포함된 이미지들의 수를 변화시키는 단계를 더 포함하는,
    방법.
  14. 제11항에 있어서,
    상기 제1 레벨에서 상기 이미지 렌디션들을 제2 세트의 서브-그룹핑들 ― 상기 제2 세트내 상기 서브-그룹핑들 중 적어도 하나의 개개의 서브-그룹핑은 상기 제1 레벨로부터 적어도 2개의 이미지 렌디션들을 포함함 ― 로 세분하는 단계; 그리고
    상기 제2 세트에서 상기 개개의 서브-그룹핑들의 각각을 위해, 상기 개개의 서브-그룹핑에서 상기 이미지 렌디션들의 조합을 나타내는 개개의 이미지 렌디션을 생산하는 단계
    를 통해 제2 레벨에서 상기 제1 인코드된 이미지 데이터를 생산하는 단계
    를 더 포함하는,
    방법.
  15. 제1항에 있어서,
    상기 이미지 데이터를 분석하는 단계는 :
    상기 다중 오리지널 이미지들에 걸쳐서 상기 엘리먼트 세팅들의 상관을 식별하는 단계; 그리고
    상기 식별된 상관에 기초하여 제1 인코드된 이미지 데이터를 생산하는 단계
    를 포함하는,
    방법.
  16. 제1항에 있어서,
    상기 제1 인코드된 데이터를 생산하기 위해 상기 다중 오리지널 이미지들의 상기 엘리먼트 세팅들을 조합하는 단계
    를 더 포함하는,
    방법.
  17. 제1항에 있어서,
    상기 다중 오리지널 이미지들은 잔여 이미지들이며, 상기 잔여 이미지들의 각각은 재구성된 이미지를 생산하기 위해 대응하는 예비 이미지와 조합하기 위해 조절들을 특정하는,
    방법.
  18. 이미지들의 시퀀스를 수신하는 단계;
    상기 이미지들의 각각을 위한 세팅들을 획득하는 단계;
    상기 이미지들의 시퀀스를 나타내는 단일 이미지("예측기 이미지")를 생산하기 위해 상기 이미지들의 시퀀스에 걸쳐서 상기 세팅들을 블렌딩(blend)하는 단계; 그리고
    이미지들의 시퀀스내 각각의 주어진 이미지를 위해, 상기 예측기 이미지에 기초하여, 상기 주어진 이미지의 렌디션을 어떻게 재구성할 것인지를 특정하는 이미지 프로세싱 동작들과 조절들("잔여들")에 대응하는 데이터를 생산하는 단계
    를 포함하는,
    이미지 데이터를 인코딩하는 방법.
  19. 제18항에 있어서,
    상기 이미지들의 시퀀스에 걸쳐서 상기 세팅들을 블렌딩하는 단계는 :
    서로에 대하여 상기 이미지들을 중첩하는 단계; 그리고
    상기 시퀀스를 나타내는 상기 단일 이미지를 생산하기 위해 상기 중첩된 이미지들을 조합하는 단계
    를 포함하는,
    이미지 데이터를 인코딩하는 방법.
  20. 제19항에 있어서,
    상기 이미지들 중 적어도 하나를 위해 상기 이미지를 중첩하는 단계는, 상기 예측기 이미지의 샘플링 포지션에 대하여 상기 이미지에 의해 캡처된 객체들의 모션에 대해 적어도 부분적으로 기초하여, 모션-보상 동작들을 수행하는 단계를 포함하는,
    이미지 데이터를 인코딩하는 방법.
  21. 제18항에 있어서,
    상기 시퀀스내 상기 이미지들의 각각은 제1 해상도에 따라서 수신되며, 상기 이미지 데이터를 인코딩하는 방법은 :
    상기 제1 해상도보다 낮은 제2 해상도에서 존재할 상기 예측기 이미지를 생산하는 단계를 더 포함하는,
    이미지 데이터를 인코딩하는 방법.
  22. 제21항에 있어서,
    상기 시퀀스내 상기 이미지들의 각각은 특별한 객체의 렌디션을 포함하며; 그리고
    여기서 상기 세팅들을 블렌딩하는 단계는 : 다중 이미지들의 각각내 개체의 렌디션들의 조합에 기초하여 상기 단일 이미지내 상기 객체의 렌디션을 생산하는 단계를 포함하는,
    이미지 데이터를 인코딩하는 방법.
  23. 제18항에 있어서,
    상기 시퀀스내 이미지들중 하나는 상기 다른 이미지들에서 발견되지 않는 개개의 고유한 시각적 아티팩트(artifact)에 대응하는 세팅들을 포함하며; 그리고
    여기서 이미지들내 엘리먼트들의 세팅들을 블렌딩하는 단계는 상기 고유한 시각적 아티팩트에 대응하는 세팅들을 포함하기 위해 상기 예측기 이미지를 생산하는 단계
    를 포함하는,
    이미지 데이터를 인코딩하는 방법.
  24. 제18항에 있어서,
    상기 세팅들을 블렌딩하는 단계는 :
    상기 시퀀스내 상기 이미지들의 각각에 의해 캡처되는 공통 객체에 대응하는 세팅들을 식별하는 단계; 그리고
    상기 공통 객체에 적어도 부분적으로 기초하여 상기 시퀀스내 상기 이미지들의 부분들을 정렬하는 단계
    를 포함하는,
    이미지 데이터를 인코딩하는 방법.
  25. 제24항에 있어서,
    상기 시퀀스내 상기 이미지들의 전부 보다 적은 이미지에 의해 캡처되는 고유한 객체에 대응하는 세팅들을 식별하는 단계; 그리고
    상기 공통 객체의 렌디션과 상기 고유한 객체의 렌디션을 포함하기 위해 상기 예측기 이미지를 생산하는 단계
    를 더 포함하는,
    이미지 데이터를 인코딩하는 방법.
  26. 제18항에 있어서,
    상기 이미지들의 시퀀스는 적어도 제1 이미지와 제2 이미지를 포함하며;
    여기서 세팅들을 획득하는 단계는 :
    상기 제1 이미지내 엘리먼트 ― 상기 제1 이미지내 상기 엘리먼트는 상기 제1 이미지내 객체의 특별한 부분을 나타냄 ― 의 세팅을 검색하는 단계;
    상기 제2 이미지내 엘리먼트 ― 상기 제2 이미지내 상기 엘리먼트는 상기 제2 이미지내 객체의 특별한 부분을 나타냄 ― 의 세팅을 검색하는 단계
    를 포함하는,
    이미지 데이터를 인코딩하는 방법.
  27. 제26항에 있어서,
    엘리먼트들의 상기 세팅들을 블렌딩하는 단계는 : 상기 제1 이미지내 상기 엘리먼트의 상기 세팅과 상기 제2 이미지내 상기 엘리먼트의 상기 세팅의 조합에 적어도 부분적으로 기초하여 상기 예측기 이미지내 상기 객체의 상기 특별한 부분을 위한 세팅을 계산하는 단계
    를 포함하는,
    이미지 데이터를 인코딩하는 방법.
  28. 제18항에 있어서,
    상기 예측기 이미지는 상기 시퀀스내 상기 이미지들의 해상도보다 낮은 해상도이며, 상기 이미지 데이터를 인코딩하는 방법은 :
    이미지들의 시퀀스를 수신하는 단계;
    상기 이미지들의 각각을 위한 세팅들을 획득하는 단계; 그리고
    상기 시퀀스를 나타내는 단일 예측기 이미지 ― 상기 단일 이미지는 상기 시퀀스내 상기 이미지들의 해상도 보다 낮은 해상도임 ― 를 생산하기 위해 상기 시퀀스내 상기 이미지들을 조합하는 단계
    를 포함하는,
    이미지 데이터를 인코딩하는 방법.
  29. 제28항에 있어서,
    상기 이미지들을 조합하는 단계는 :
    상기 시퀀스내 상기 이미지들의 각각에 의해 적어도 부분적으로 캡처된 공통 객체에 대응하는 세팅들을 식별하는 단계; 그리고
    상기 이미지들의 각각에서 상기 공통 객체에 대응하는 세팅들을 정렬하기 위해 상기 시퀀스 이미지들내 상기 이미지들에 이미지 프로세싱 동작을 적용하는 단계
    를 포함하는,
    이미지 데이터를 인코딩하는 방법.
  30. 제29항에 있어서,
    상기 시퀀스내 상기 이미지들의 전부보다 적은 이미지에 의해 캡처되는 고유한 객체에 대응하는 세팅들을 식별하는 단계; 그리고
    상기 공통 객체의 렌디션과 상기 고유한 객체의 렌디션을 포함하기 위해 상기 예측기 이미지를 생산하는 단계
    를 더 포함하는,
    이미지 데이터를 인코딩하는 방법.
  31. 제29항에 있어서,
    상기 시퀀스내 주어진 이미지의 세팅들을 정렬하기 위해 이미지 프로세싱 동작을 적용하는 단계는 :
    상기 주어진 이미지의 제1 부분에 이미지 프로세싱 동작들의 제1 세트를 적용하는 단계; 그리고
    상기 주어진 이미지의 제2 부분 ― 상기 주어진 이미지의 상기 제2 부분은 상기 주어진 이미지의 상기 제1 부분과 다른 수의 엘리먼트들을 가짐 ― 에 이미지 프로세싱 동작들의 제2 세트를 적용하는 단계
    를 더 포함하는,
    이미지 데이터를 인코딩하는 방법.
  32. 제28항에 있어서,
    상기 시퀀스내 상기 이미지들의 각각은 특별한 객체의 렌디션에 대응하는 세팅들을 포함하며; 그리고
    여기서 상기 이미지들을 조합하는 단계는 : 상기 이미지들의 시퀀스내 상기 객체의 상이한 렌디션들과 부합하는 세팅들의 조합에 기초하여 상기 예측기 이미지내 상기 특별한 객체의 렌디션을 생산하는 단계를 포함하는,
    이미지 데이터를 인코딩하는 방법.
  33. 제28항에 있어서,
    상기 단일 이미지는 상기 이미지들의 각각에 의해 표시된 시야 보다 큰 시야를 나타내는,
    이미지 데이터를 인코딩하는 방법.
  34. 제28항에 있어서,
    상기 이미지들의 세팅들을 조합하는 단계는 :
    서로에 대하여 상기 이미지들을 스택하는 단계;
    이미지들내 대응하는 객체들의 세팅들을 정렬하기 위해 스택내 이미지들중 하나 또는 하나를 초과하는 이미지를 처리하는 단계; 그리고
    상기 스택내 상기 이미지들의 대응하는 엘리먼트들의 세팅들을 조합하여, 상기 예측기 이미지를 생산하는 단계
    를 포함하는,
    이미지 데이터를 인코딩하는 방법.
  35. 제28항에 있어서,
    상기 이미지들의 시퀀스는 적어도 제1 이미지와 제2 이미지를 포함하며;
    여기서 상기 세팅들을 획득하는 단계는 :
    상기 제1 이미지내 엘리먼트의 세팅 ― 상기 제1 이미지내 상기 엘리먼트의 상기 세팅은 상기 제1 이미지에서 만들어진 객체의 특별한 부분에 대응함 ― 을 검색하는 단계; 그리고
    상기 제2 이미지내 엘리먼트 ― 상기 제2 이미지내 상기 엘리먼트는 상기 객체의 상기 특별한 부분에 대응함 ― 의 세팅을 검색하는 단계
    를 포함하는,
    이미지 데이터를 인코딩하는 방법.
  36. 제35항에 있어서,
    상기 이미지들을 조합하는 단계는 :
    상기 제1 이미지내 상기 엘리먼트를 위한 상기 세팅과 상기 제2 이미지내 상기 엘리먼트의 상기 세팅의 조합에 적어도 부분적으로 기초하여 상기 예측기 이미지내 상기 객체의 특별한 영역을 위한 세팅을 계산하는 단계
    를 포함하는,
    이미지 데이터를 인코딩하는 방법.
  37. 제18항에 있어서,
    많은 상기 이미지들이 상기 예측기 이미지를 유도하기 위해 어떻게 사용되었는지를 표시하는 메타 정보를 생산하는 단계
    를 더 포함하는,
    이미지 데이터를 인코딩하는 방법.
  38. 다중 오리지널 이미지들의 시퀀스를 실질적으로 재생하기 위한 방법으로서,
    시퀀스내 다중 오리지널 이미지들로부터 유도된 제1 인코드된 이미지 데이터 ― 상기 제1 인코드된 이미지 데이터는 상기 시퀀스내 상기 다중 오리지널 이미지들의 각각을 재생하기 위한 베이스라인으로서 사용될 공통 이미지 엘리먼트 세팅들의 세트를 특정함 ― 를 수신하는 단계;
    조절들을 특정하는 제2 인코드된 이미지 데이터를 수신하는 단계; 그리고
    공통 이미지 엘리먼트들의 상기 세트에 적어도 부분적으로 기초하여 재구성된 상기 오리지널 이미지들의 예비 렌디션들에 대한 상기 조절들의 적용에 기초하여 상기 시퀀스에서 상기 다중 오리지널 이미지들을 실질적으로 재생하는 단계
    를 포함하는,
    다중 오리지널 이미지들의 시퀀스를 실질적으로 재생하기 위한 방법.
  39. 제38항에 있어서,
    상기 오리지널 이미지들을 실질적으로 재생하는 단계는 :
    공통 이미지 엘리먼트 세팅들의 상기 세트에 적어도 부분적으로 기초하여 값들로 상기 다중 이미지들의 제1 이미지내 이미지 엘리먼트들을 초기에 세팅하는 단계; 그리고
    공통 이미지 엘리먼트 세팅들의 상기 세트에 적어도 부분적으로 기초하여 값들로 상기 다중 이미지들의 제2 이미지내 이미지 엘리먼트들을 초기에 세팅하는 단계
    를 포함하는,
    다중 오리지널 이미지들의 시퀀스를 실질적으로 재생하기 위한 방법.
  40. 제39항에 있어서,
    오리지널 이미지들을 실질적으로 재생하는 단계는 :
    상기 제2 인코드된 이미지 데이터로부터 조절 정보의 제1 세트 ― 상기 조절 정보의 제1 세트는 상기 제1 이미지내 상기 이미지 엘리먼트들의 세팅들을 어떻게 수정하는지를 표시함 ― 를 검색하는 단계;
    상기 시퀀스내 상기 다중 이미지들의 제1 이미지를 재생하기 위해 조절 정보의 상기 제1 세트에 의해 특정된 바와 같이 상기 제1 이미지내 상기 이미지 엘리먼트들의 세팅들을 조절하는 단계;
    상기 제2 인코드된 데이터로부터 조절 정보의 제2 세트 ― 상기 조절 정보의 제2 세트는 상기 제2 이미지내 상기 이미지 엘리먼트들의 세팅들을 어떻게 수정할 것인지를 표시함 ― 를 검색하는 단계; 그리고
    상기 시퀀스내 상기 다중 이미지들의 제2 이미지를 재생하기 위해 상기 조절 정보의 제2 세트에 의해 특정된 바와 같이 상기 제2 프레임내 상기 이미지 엘리먼트들의 세팅들을 조절하는 단계
    를 포함하는,
    다중 오리지널 이미지들의 시퀀스를 실질적으로 재생하기 위한 방법.
  41. 제38항에 있어서,
    상기 공통 엘리먼트 세팅들의 세트는 상기 시퀀스의 둘 또는 둘을 초과하는 이미지들에 대한 상기 오리지널 이미지들내 이미지 엘리먼트들의 세팅들에 대한 동작들로부터 유도되는,
    다중 오리지널 이미지들의 시퀀스를 실질적으로 재생하기 위한 방법.
  42. 제38항에 있어서,
    공통 엘리먼트 세팅들은 하나 또는 하나를 초과하는 이미지 렌디션들에 대응하는,
    다중 오리지널 이미지들의 시퀀스를 실질적으로 재생하기 위한 방법.
  43. 제38항에 있어서,
    공통 엘리먼트 세팅들에 대응하는 정보 이외에, 제1 인코드된 데이터는 또한 상기 공통 엘리먼트 세팅들에 적어도 부분적으로 기초하여 상기 시퀀스내 상기 다중 이미지들의 예비 렌디션들을 재구성하기 위해 사용될 동작들을 특정하는 정보를 포함하는,
    다중 오리지널 이미지들의 시퀀스를 실질적으로 재생하기 위한 방법.
  44. 제43항에 있어서,
    각각의 주어진 예비 이미지 렌디션을 위한 상기 정보는 상기 공통 엘리먼트 세팅들의 무슨 부분이 상기 주어진 이미지를 위한 예비 이미지 렌디션을 생산하기 위해 처리되는지를 특정하는 정보를 포함하는,
    다중 오리지널 이미지들의 시퀀스를 실질적으로 재생하기 위한 방법.
  45. 제43항에 있어서,
    주어진 예비 이미지 렌디션을 재구성하기 위한 동작들은 공통 엘리먼트 세팅들에 대한 모션 보상 동작들을 포함하며, 상기 다중 오리지널 이미지들의 시퀀스를 실질적으로 재생하기 위한 방법은 :
    상기 정보에 의해 특정된 바와 같이, 공통 엘리먼트 세팅들의 제1 부분에 이미지 프로세싱 동작들의 제1 세트를 적용하는 단계; 그리고
    상기 정보에 의해 특정된 바와 같이, 공통 엘리먼트 세팅들의 제2 부분에 이미지 프로세싱 동작들의 제2 세트를 적용하는 단계
    를 포함하는,
    다중 오리지널 이미지들의 시퀀스를 실질적으로 재생하기 위한 방법.
  46. 제38항에 있어서,
    상기 공통 이미지 엘리먼트들의 세트에 적어도 부분적으로 기초하여 재구성된 상기 예비 이미지 렌디션들 중 임의의 렌디션이 상기 시퀀스내 상기 오리지널 이미지들 중 임의의 이미지를 실질적으로 재생하기에 앞서 상기 시퀀스내 상기 오리지널 이미지들 중 임의의 이미지를 위해 생성되는,
    다중 오리지널 이미지들의 시퀀스를 실질적으로 재생하기 위한 방법.
  47. 제38항에 있어서,
    상기 다중 오리지널 이미지들은 다중 재구성된 이미지들을 생산하기 위해 기타 주어진 이미지들과 조합하기 위해 조절들에 대응하는,
    다중 오리지널 이미지들의 시퀀스를 실질적으로 재생하기 위한 방법.
  48. 이미지 데이터를 디코딩하는 방법으로서,
    시퀀스내 이미지들의 제1 그룹핑을 인코딩함으로써 유도된 제1 예측기 이미지 데이터를 수신하는 단계;
    상기 시퀀스내 이미지들의 제2 그룹핑 ― 이미지의 상기 제1 그룹핑은 상기 시퀀스내 이미지들의 상기 제2 그룹핑에 인접해 배치됨 ― 을 인코딩함으로써 유도된 제2 예측기 이미지 데이터를 수신하는 단계; 그리고
    상기 시퀀스내 이미지들의 상기 제1 그룹핑의 렌디션을 재구성하기 위해 상기 제1 예측기 이미지 데이터와 상기 제2 예측기 이미지 데이터의 조합을 활용하는 단계
    를 포함하는,
    이미지 데이터를 디코딩하는 방법.
  49. 제48항에 있어서,
    이미지들의 상기 제1 그룹핑은 상기 시퀀스내 인접한 이미지들의 제1 세트이며; 그리고
    이미지들의 상기 제2 그룹핑은 상기 시퀀스내 인접한 이미지들의 제2 세트인,
    이미지 데이터를 디코딩하는 방법.
  50. 제48항에 있어서,
    최저 공간-시간 해상도에서 최고 공간-시간 해상도까지 디코드된 이미지 데이터의 제1 계층으로서 상기 제1 예측기 이미지 데이터를 수신하는 단계; 그리고
    최저 공간-시간 해상도에서 최고 공간-시간 해상도까지 디코드된 이미지 데이터의 제2 계층으로서 상기 제2 예측기 이미지 데이터를 수신하는 단계
    를 더 포함하는,
    이미지 데이터를 디코딩하는 방법.
  51. 제50항에 있어서,
    상기 시퀀스내 이미지들의 제1 그룹핑을 재구성하기 위해 상기 제1 예측기 이미지 데이터와 상기 제2 예측기 이미지 데이터의 적어도 일부의 상기 조합을 활용하는 단계는 :
    상기 제1 계층내 주어진 티어(tier)에서 이미지 렌디션을 생산하기 위해 상기 제1 예측기 이미지 데이터를 활용하는 단계;
    상기 제2 계층내 주어진 티어에서 이미지 렌디션을 생산하기 위해 상기 제2 예측기 이미지 데이터를 활용하는 단계; 그리고
    적어도 상기 제1 계층내 상기 주어진 티어에서 상기 이미지 렌디션과 상기 제2 계층내 상기 주어진 티어에서 상기 이미지 렌디션을 조합하는 것에 기초하여 상기 주어진 티어 위에 다음으로 높은 티어에서 적어도 하나의 이미지 렌디션을 생산하는 단계
    를 포함하는,
    이미지 데이터를 디코딩하는 방법.
  52. 제51항에 있어서,
    적어도 상기 제1 계층내 상기 주어진 티어에서 상기 이미지 렌디션과 상기 제2 계층내 상기 주어진 티어에서 상기 이미지 렌디션을 조합하는 단계는 이미지 프로세싱 동작들을 수행하는 단계
    를 포함하는,
    이미지 데이터를 디코딩하는 방법.
  53. 제48항에 있어서,
    상기 이미지들의 제1 그룹핑내 상기 이미지들 중 적어도 하나를 재생하기 위해 상기 제1 인코드된 데이터로부터 유도된 이미지 렌디션과 상기 제2 인코드된 데이터로부터 유도된 이미지 렌디션을 조합하는 단계
    를 더 포함하는,
    이미지 데이터를 디코딩하는 방법.
  54. 제50항에 있어서,
    이미지들의 상기 제1 그룹핑내 적어도 하나의 주어진 이미지를 위해, 상기 시퀀스내 이미지들의 상기 제1 그룹핑을 재구성하기 위해 상기 제1 예측기 이미지 데이터와 상기 제2 예측기 이미지 데이터의 상기 조합을 활용하는 단계는 :
    이미지들의 상기 제1 그룹핑내 상기 주어진 이미지를 재생하기 위해 적어도 상기 제1 계층내 이미지 렌디션에 대한 업샘플링 동작들을 수행하는 단계를 포함하는 이미지 프로세싱 동작들에 의해 생산된 제1 이미지와 상기 제2 계층내 이미지 렌디션에 대한 업샘플링 동작들을 수행하는 단계를 포함하는 이미지 프로세싱 동작들에 의해 생산된 제2 이미지를 조합하는 단계
    를 포함하는,
    이미지 데이터를 디코딩하는 방법.
  55. 제54항에 있어서,
    메타 정보를 수신하는 단계; 그리고
    보다 높은 티어의 주어진 이미지를 생산하기 위해 보다 낮은 티어의 상기 이미지들을 식별하기 위해 상기 메타 정보를 활용하는 단계
    를 더 포함하는,
    이미지 데이터를 디코딩하는 방법.
  56. 명령들이 저장되어 있는 컴퓨터-판독가능 스토리지 하드웨어로서,
    상기 명령들은, 프로세싱 디바이스에 의해 수행될 때, 상기 프로세싱 디바이스로 하여금 :
    제1 인코드된 이미지 데이터 ― 상기 제1 인코드된 이미지 데이터는 시퀀스내 다중 오리지널 이미지들의 각각을 재생하기 위한 베이스라인으로서 사용될 공통 이미지 엘리먼트 세팅들의 세트를 특정함 ― 를 수신하고;
    조절들을 특정하는 제2 인코드된 이미지 데이터를 수신하고; 그리고
    공통 이미지 엘리먼트들의 상기 세트에 적어도 부분적으로 기초하여 재구성된 상기 오리지널 이미지들의 예비 렌디션들에 대한 상기 조절들의 적용에 기초하여 상기 시퀀스내 상기 다중 오리지널 이미지들을 실질적으로 재생하는
    동작들을 수행하도록 하는,
    컴퓨터-판독가능 스토리지 하드웨어.
  57. 명령들이 저장되어 있는 컴퓨터-판독가능 스토리지 하드웨어로서,
    상기 명령들은, 프로세싱 디바이스에 의해 수행될 때, 상기 프로세싱 디바이스로 하여금 :
    시퀀스내 이미지들의 제1 그룹핑을 인코딩함으로써 유도된 제1 예측기 이미지 데이터를 수신하고;
    상기 시퀀스내 이미지들의 제2 그룹핑 ― 이미지의 상기 제1 그룹핑은 상기 시퀀스내 이미지들의 상기 제2 그룹핑에 인접해 배치됨 ― 을 인코딩함으로써 유도된 제2 예측기 이미지 데이터를 수신하고; 그리고
    상기 시퀀스내 이미지들의 상기 제1 그룹핑의 렌디션을 재구성하기 위해 상기 제1 예측기 이미지 데이터와 상기 제2 예측기 이미지 데이터의 조합을 활용하는
    동작들을 수행하도록 하는,
    컴퓨터-판독가능 스토리지 하드웨어.
  58. 디바이스로서,
    프로세서;
    상기 프로세서에 의해 실행된 어플리케이션과 연관된 명령들을 저장하는 메모리 유닛; 그리고
    상기 프로세서와 상기 메모리 유닛을 결합하는 상호 연결부를 포함하고, 상기 디바이스는 상기 어플리케이션을 실행하게 하고 :
    제1 인코드된 이미지 데이터 ― 상기 제1 인코드된 이미지 데이터는 시퀀스내 다중 오리지널 이미지들의 각각을 재생하기 위한 베이스라인으로서 사용될 공통 이미지 엘리먼트 세팅들의 세트를 특정함 ― 를 수신하고;
    조절들을 특정하는 제2 인코드된 이미지 데이터를 수신하고; 그리고
    공통 이미지 엘리먼트들의 상기 세트에 적어도 부분적으로 기초하여 재구성된 상기 오리지널 이미지들의 예비 렌디션들에 대한 상기 조절들의 어플리케이션에 기초하여 상기 시퀀스내 상기 다중 오리지널 이미지들을 실질적으로 재생하는
    동작들을 수행할 수 있게 하는,
    디바이스.
  59. 디바이스로서,
    프로세서;
    상기 프로세서에 의해 실행된 어플리케이션과 연관된 명령들을 저장하는 메모리 유닛; 그리고
    상기 프로세서와 상기 메모리 유닛을 결합하는 상호 연결부를 포함하고, 상기 디바이스는 상기 어플리케이션을 실행하게 하고 :
    시퀀스내 이미지들의 제1 그룹핑을 인코딩함으로써 유도된 제1 이미지 데이터를 수신하고;
    상기 시퀀스내 이미지들의 제2 그룹핑 ― 이미지의 상기 제1 그룹핑은 상기 시퀀스내 이미지들의 상기 제2 그룹핑에 인접해 배치됨 ― 을 인코딩함으로써 유도된 제2 이미지 데이터를 수신하고; 그리고
    상기 시퀀스내 이미지들의 상기 제1 그룹핑의 렌디션을 재구성하기 위해 상기 제1 이미지 데이터와 상기 제2 이미지 데이터의 조합을 활용하는
    동작들을 수행할 수 있게 하는,
    디바이스.
  60. 제1항에 있어서,
    i) 상기 다중 오리지널 이미지들의 제1 이미지에서 검출된 바와 같이 제1 객체의 렌디션, 그리고 ii) 상기 다중 오리지널 이미지들의 제2 이미지에서 검출된 바와 같이 제2 객체의 렌디션을 포함하기 위해 공통 이미지 엘리먼트 세팅들의 상기 세트를 생산하는 단계를 더 포함하며,
    여기서 상기 제2 객체의 렌디션은 상기 제1 이미지로부터 부재하며; 그리고
    상기 제1 객체의 렌디션은 상기 제2 이미지로부터 부재하는,
    디바이스.
KR1020147035200A 2012-05-14 2013-05-13 시간을 따라 샘플들의 시퀀스들의 블렌딩에 기초한 인코딩과 디코딩 KR20150020568A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261646797P 2012-05-14 2012-05-14
US61/646,797 2012-05-14
US201261647426P 2012-05-15 2012-05-15
US61/647,426 2012-05-15
PCT/EP2013/059833 WO2013171168A1 (en) 2012-05-14 2013-05-13 Encoding and decoding based on blending of sequences of samples along time

Publications (1)

Publication Number Publication Date
KR20150020568A true KR20150020568A (ko) 2015-02-26

Family

ID=48430778

Family Applications (6)

Application Number Title Priority Date Filing Date
KR1020147035200A KR20150020568A (ko) 2012-05-14 2013-05-13 시간을 따라 샘플들의 시퀀스들의 블렌딩에 기초한 인코딩과 디코딩
KR1020147035175A KR102126886B1 (ko) 2012-05-14 2013-05-13 단계적 계층에서의 신호 인코딩, 디코딩 및 재구성 동안의 잔차 데이터의 압축해제
KR1020147035186A KR20150014496A (ko) 2012-05-14 2013-05-13 지원 정보에 기반한 잔차 데이터의 인코딩 및 복원
KR1020147035179A KR20150014495A (ko) 2012-05-14 2013-05-14 계층화된 시간 계층에서 시간 기반 및/또는 다차원 신호들의 디코딩 및 재구성
KR1020147035196A KR20150018575A (ko) 2012-05-14 2013-05-14 모션 존들을 통한 다차원 신호들의 모션 정보 및 보조 존들을 통한 보조 정보의 추정, 인코딩 및 디코딩
KR1020147035198A KR20150018576A (ko) 2012-05-14 2013-05-14 연속적인 좌표 시스템을 레버리징하는 모션 보상 및 모션 추정

Family Applications After (5)

Application Number Title Priority Date Filing Date
KR1020147035175A KR102126886B1 (ko) 2012-05-14 2013-05-13 단계적 계층에서의 신호 인코딩, 디코딩 및 재구성 동안의 잔차 데이터의 압축해제
KR1020147035186A KR20150014496A (ko) 2012-05-14 2013-05-13 지원 정보에 기반한 잔차 데이터의 인코딩 및 복원
KR1020147035179A KR20150014495A (ko) 2012-05-14 2013-05-14 계층화된 시간 계층에서 시간 기반 및/또는 다차원 신호들의 디코딩 및 재구성
KR1020147035196A KR20150018575A (ko) 2012-05-14 2013-05-14 모션 존들을 통한 다차원 신호들의 모션 정보 및 보조 존들을 통한 보조 정보의 추정, 인코딩 및 디코딩
KR1020147035198A KR20150018576A (ko) 2012-05-14 2013-05-14 연속적인 좌표 시스템을 레버리징하는 모션 보상 및 모션 추정

Country Status (18)

Country Link
US (14) US9621887B2 (ko)
EP (7) EP3968638A1 (ko)
JP (6) JP2015519016A (ko)
KR (6) KR20150020568A (ko)
CN (7) CN104620583A (ko)
AU (5) AU2013261845A1 (ko)
BR (5) BR112014028279A2 (ko)
CA (6) CA2873496A1 (ko)
DK (2) DK2850829T3 (ko)
EA (5) EA201492090A1 (ko)
ES (3) ES2961397T3 (ko)
HK (5) HK1203261A1 (ko)
IL (4) IL235574B (ko)
MX (5) MX341203B (ko)
PL (1) PL2850829T3 (ko)
SG (6) SG11201407417VA (ko)
WO (6) WO2013171168A1 (ko)
ZA (5) ZA201408541B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022086299A1 (ko) * 2020-10-23 2022-04-28 모멘티 인코포레이션 반응형영상 제작 및 서비스 제공방법 및 이를 이용한 프로그램

Families Citing this family (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977065B2 (en) * 2011-07-21 2015-03-10 Luca Rossato Inheritance in a tiered signal quality hierarchy
MX2014002749A (es) * 2011-09-08 2014-04-16 Motorola Mobility Llc Metodos y aparato para cuantificacion y descuantificacion de un bloque rectangular de coeficientes.
CN104620583A (zh) * 2012-05-14 2015-05-13 卢卡·罗萨托 基于支持信息的残差数据的编码和重构
US9313495B2 (en) * 2012-05-14 2016-04-12 Luca Rossato Encoding and decoding based on blending of sequences of samples along time
KR20150068402A (ko) * 2012-10-07 2015-06-19 뉴메리 엘티디. 동영상 압축 방법
CN104144520A (zh) 2013-05-07 2014-11-12 李东舸 一种设备间建立连接的方法、装置与系统
CN104142939B (zh) * 2013-05-07 2019-07-02 杭州智棱科技有限公司 一种基于运动特征信息匹配特征码的方法与设备
AU2014300624A1 (en) 2013-06-25 2015-12-10 Numeri Ltd. Multi-level spatial-temporal resolution increase of video
AU2014294215B2 (en) * 2013-07-22 2018-10-04 Sony Corporation Image processing device and method
JP5947269B2 (ja) * 2013-09-24 2016-07-06 ソニー株式会社 符号化装置、符号化方法、送信装置および受信装置
US9432338B2 (en) * 2013-10-23 2016-08-30 Google Inc. Secure communications using adaptive data compression
JP6463900B2 (ja) 2014-04-17 2019-02-06 キヤノン株式会社 画像符号化装置及びその制御方法
WO2016166532A1 (en) * 2015-04-13 2016-10-20 Richard Clucas Encoding a plurality of signals with data rate target of a signal depending on complexity information
GB2539241B (en) * 2015-06-11 2019-10-23 Advanced Risc Mach Ltd Video processing system
US10061552B2 (en) 2015-11-25 2018-08-28 International Business Machines Corporation Identifying the positioning in a multiple display grid
GB2544800A (en) 2015-11-27 2017-05-31 V-Nova Ltd Adaptive bit rate ratio control
FR3044507A1 (fr) * 2015-11-30 2017-06-02 Orange Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
US10630992B2 (en) * 2016-01-08 2020-04-21 Samsung Electronics Co., Ltd. Method, application processor, and mobile terminal for processing reference image
EP3420497B1 (en) * 2016-02-23 2021-10-06 Société des Produits Nestlé S.A. Code and container of system for preparing a beverage or foodstuff
JP6427280B2 (ja) * 2016-03-03 2018-11-21 Hoya株式会社 補正データ生成方法及び補正データ生成装置
WO2017163041A1 (en) * 2016-03-24 2017-09-28 Focal Point Positioning Limited A method, apparatus, computer program, chip set, or data structure for correlating a digital signal and a correlation code
KR102520957B1 (ko) 2016-04-15 2023-04-12 삼성전자주식회사 인코딩 장치, 디코딩 장치 및 이의 제어 방법
KR101780782B1 (ko) * 2016-07-08 2017-09-21 엔트릭스 주식회사 클라우드 스트리밍 서비스 제공 방법 및 이를 위한 장치
GB2552353B (en) * 2016-07-20 2022-04-20 V Nova Int Ltd Apparatuses, methods, computer programs and computer-readable media
US11570454B2 (en) 2016-07-20 2023-01-31 V-Nova International Limited Use of hierarchical video and image coding for telepresence
GB2553086B (en) * 2016-07-20 2022-03-02 V Nova Int Ltd Decoder devices, methods and computer programs
EP3494663B8 (en) 2016-08-02 2023-11-01 Algemetric, Inc. Methods and systems for enhanced data-centric encryption systems using geometric algebra
US11153594B2 (en) 2016-08-29 2021-10-19 Apple Inc. Multidimensional quantization techniques for video coding/decoding systems
GB2553556B (en) * 2016-09-08 2022-06-29 V Nova Int Ltd Data processing apparatuses, methods, computer programs and computer-readable media
GB2554065B (en) 2016-09-08 2022-02-23 V Nova Int Ltd Data processing apparatuses, methods, computer programs and computer-readable media
WO2018056181A1 (ja) * 2016-09-26 2018-03-29 ソニー株式会社 符号化装置、符号化方法、復号化装置、復号化方法、送信装置および受信装置
US20180109809A1 (en) * 2016-10-13 2018-04-19 Google Llc Voxel video coding
CN106529589A (zh) * 2016-11-03 2017-03-22 温州大学 采用降噪堆叠自动编码器网络的视觉目标检测方法
US10694202B2 (en) * 2016-12-01 2020-06-23 Qualcomm Incorporated Indication of bilateral filter usage in video coding
US10609367B2 (en) * 2016-12-21 2020-03-31 Qualcomm Incorporated Low-complexity sign prediction for video coding
JP7159057B2 (ja) * 2017-02-10 2022-10-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
US10701390B2 (en) * 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
GB2595197B (en) 2017-04-21 2022-02-23 Zenimax Media Inc Systems and methods for encoder-guided adaptive-quality rendering
EP3613014B1 (en) 2017-04-21 2023-10-18 Zenimax Media Inc. Player input motion compensation by anticipating motion vectors
CA3173525A1 (en) 2017-04-21 2018-10-25 Zenimax Media Inc. Systems and methods for game-generated motion vectors
US10638126B2 (en) * 2017-05-05 2020-04-28 Qualcomm Incorporated Intra reference filter for video coding
EP3625963A4 (en) * 2017-06-07 2020-11-18 MediaTek Inc. INTRA-INTER PREDICTION MODE METHOD AND APPARATUS FOR VIDEO CODING
EP3422722A1 (en) * 2017-06-30 2019-01-02 Thomson Licensing Method for encoding a matrix of image views obtained from data acquired by a plenoptic camera
US10319114B2 (en) * 2017-07-13 2019-06-11 Google Llc Foveated compression of display streams
TWI650981B (zh) * 2017-09-29 2019-02-11 晨星半導體股份有限公司 符號率估計裝置與符號率估計方法
US11457239B2 (en) 2017-11-09 2022-09-27 Google Llc Block artefact reduction
CN117811585A (zh) 2017-12-06 2024-04-02 V-诺瓦国际有限公司 字节流及对其进行分级编码和解码的方法和设备、介质
EP3496403A1 (en) 2017-12-06 2019-06-12 V-Nova International Limited Hierarchical data structure
CN108133229B (zh) * 2017-12-11 2021-08-06 广州能量盒子科技有限公司 一种安卓apk文件的分类加密方法及系统
CN108040217B (zh) * 2017-12-20 2020-01-24 深圳岚锋创视网络科技有限公司 一种视频解码的方法、装置及相机
US10748306B2 (en) * 2018-03-19 2020-08-18 Fuji Xerox Co., Ltd. Encoding device, decoding device, and non-transitory computer readable medium
US11328474B2 (en) 2018-03-20 2022-05-10 Interdigital Madison Patent Holdings, Sas System and method for dynamically adjusting level of details of point clouds
KR20200144543A (ko) * 2018-03-20 2020-12-29 피씨엠에스 홀딩스, 인크. 우선 변환에 기반한 동적 포인트 클라우드를 최적화하는 시스템 및 방법
CN108449599B (zh) * 2018-03-23 2021-05-18 安徽大学 一种基于面透射变换的视频编码与解码方法
GB2574575A (en) * 2018-04-27 2019-12-18 V Nova Int Ltd Video decoder chipset
CA3108402A1 (en) 2018-08-03 2020-02-06 V-Nova International Ltd Entropy coding for signal enhancement coding
US11611697B2 (en) 2018-08-08 2023-03-21 Google Llc Optical image stabilization movement to create a super-resolution image of a scene
KR20200032021A (ko) * 2018-09-17 2020-03-25 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2020070495A1 (en) 2018-10-03 2020-04-09 V-Nova International Ltd Weighted downsampling and weighted transformations for signal coding
CN110163059B (zh) 2018-10-30 2022-08-23 腾讯科技（深圳）有限公司 多人姿态识别方法、装置及电子设备
GB201817784D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media
GB201817783D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media for processing configuration data
GB201817780D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media for processing configuration data
US10841356B2 (en) 2018-11-28 2020-11-17 Netflix, Inc. Techniques for encoding a media title while constraining bitrate variations
US10880354B2 (en) 2018-11-28 2020-12-29 Netflix, Inc. Techniques for encoding a media title while constraining quality variations
US20200186795A1 (en) * 2018-12-07 2020-06-11 Beijing Dajia Internet Information Technology Co., Ltd. Video coding using multi-resolution reference picture management
EP3895431A1 (en) 2018-12-14 2021-10-20 PCMS Holdings, Inc. System and method for procedurally colorizing spatial data
EP3844960A4 (en) * 2018-12-29 2021-12-15 Huawei Technologies Co., Ltd. ENCODER, DECODER, AND RELATED METHODS USING COMPACT MOTION VECTOR STORAGE
GB2583061B (en) * 2019-02-12 2023-03-15 Advanced Risc Mach Ltd Data processing systems
GB2596002B (en) * 2019-02-13 2023-11-22 V Nova Int Ltd Object analysis
EP3713235B1 (en) 2019-03-19 2023-08-02 Axis AB Methods and devices for encoding a video stream using a first and a second encoder
EP3942818A1 (en) * 2019-03-20 2022-01-26 V-Nova International Ltd Residual filtering in signal enhancement coding
GB2617790B (en) 2019-03-20 2024-03-13 V Nova Int Ltd Low complexity enhancement video coding
CA3133774A1 (en) * 2019-03-20 2020-09-24 V-Nova International Ltd Processing of residuals in video coding
GB201905400D0 (en) 2019-04-16 2019-05-29 V Nova Int Ltd Video coding technology
US11412262B2 (en) * 2019-06-24 2022-08-09 Qualcomm Incorporated Nonlinear extensions of adaptive loop filtering for video coding
GB2623001A (en) * 2019-07-05 2024-04-03 V Nova Int Ltd Quantization of residuals in video coding
US10942625B1 (en) * 2019-09-09 2021-03-09 Atlassian Pty Ltd. Coordinated display of software application interfaces
EP4035376A1 (en) * 2019-09-24 2022-08-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiple stage residual coding in modern hybrid image and video coding solutions
CN110572673B (zh) * 2019-09-27 2024-04-09 腾讯科技（深圳）有限公司 视频编解码方法和装置、存储介质及电子装置
TWI812874B (zh) 2019-10-01 2023-08-21 美商杜拜研究特許公司 張量乘積之b平滑曲線預測子
CN114788283A (zh) 2019-10-02 2022-07-22 威诺瓦国际有限公司 用于向后兼容的分级改进的嵌入式信令以及超分辨率信令的用途
CN114556935A (zh) 2019-11-27 2022-05-27 寰发股份有限公司 视频编码的几何合并模式中的统合权重和运动索引推导方法和装置
WO2021127118A1 (en) * 2019-12-17 2021-06-24 Alibaba Group Holding Limited Methods for performing wrap-around motion compensation
CN111050181B (zh) * 2019-12-30 2022-06-07 哈尔滨工业大学 一种超光谱大气红外遥感图像的时间维压缩方法
US11056030B1 (en) 2020-02-06 2021-07-06 Varjo Technologies Oy Display apparatus and method of enhancing apparent resolution using liquid-crystal device
US11308900B2 (en) 2020-02-06 2022-04-19 Varjo Technologies Oy Display apparatus and method incorporating sub-pixel aware shifting and overlap compensation
US11170678B2 (en) 2020-02-06 2021-11-09 Varjo Technologies Oy Display apparatus and method incorporating gaze-based modulation of pixel values
US11348514B2 (en) 2020-02-06 2022-05-31 Varjo Technologies Oy LED-based display apparatus and method incorporating sub-pixel shifting
US11307410B2 (en) 2020-02-06 2022-04-19 Varjo Technologies Oy Display apparatus and method incorporating adaptive pose locking
GB202001839D0 (en) 2020-02-11 2020-03-25 V Nova Int Ltd Use of tiered hierarchical coding for point cloud compression
EP4107964A1 (en) * 2020-02-20 2022-12-28 Align Technology, Inc. Medical imaging data compression and extraction on client side
KR20220160038A (ko) 2020-03-26 2022-12-05 알리바바 그룹 홀딩 리미티드 비디오 코딩 데이터를 시그널링하기 위한 방법들
GB2598701B (en) 2020-05-25 2023-01-25 V Nova Int Ltd Wireless data communication system and method
US11403175B2 (en) * 2020-07-31 2022-08-02 EMC IP Holding Company LLC Rebuilding data previously stored on a failed data storage drive
US11764943B2 (en) 2020-08-10 2023-09-19 Algemetric, Inc. Methods and systems for somewhat homomorphic encryption and key updates based on geometric algebra for distributed ledger/blockchain technology
WO2022061184A2 (en) 2020-09-17 2022-03-24 X-Logos, LLC Methods and systems for encrypting rational numbers and adding randomness to rsa cryptosystems using p-adic numbers
GB2601990A (en) 2020-10-16 2022-06-22 V Nova Int Ltd Distributed analysis of a multi-layer signal encoding
GB2601368B (en) * 2020-11-27 2023-09-20 V Nova Int Ltd Video decoding using post-processing control
GB2601362B (en) 2020-11-27 2023-08-16 V Nova Int Ltd Video encoding using pre-processing
CN112261491B (zh) * 2020-12-22 2021-04-16 北京达佳互联信息技术有限公司 视频时序标注方法、装置、电子设备及存储介质
GB202107036D0 (en) 2021-05-17 2021-06-30 V Nova Int Ltd Secure decoder and secure decoding methods
CN113900901A (zh) * 2021-10-21 2022-01-07 北京达佳互联信息技术有限公司 数据上报方法、数据监控方法、装置、设备及存储介质
GB2607123B (en) 2021-10-25 2023-10-11 V Nova Int Ltd Enhancement decoding implementation and method
GB2614054A (en) 2021-12-17 2023-06-28 V Nova Int Ltd Digital image processing
GB2614763B (en) 2022-03-29 2024-05-01 V Nova Int Ltd Upsampling filter for applying a predicted average modification
GB2611129B (en) 2022-03-31 2024-03-27 V Nova Int Ltd Signal processing with overlay regions

Family Cites Families (152)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4941193A (en) 1987-10-02 1990-07-10 Iterated Systems, Inc. Methods and apparatus for image compression by iterated function system
JP3545000B2 (ja) * 1992-11-02 2004-07-21 ソニー株式会社 画像信号符号化装置、画像信号復号化装置
US5649032A (en) * 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
US5825313A (en) * 1995-08-01 1998-10-20 Sony Corporation Information signal encoding apparatus, encoding method thereof, information signal decoding method, and information signal record medium thereof
DE69630643T2 (de) * 1995-08-29 2004-10-07 Sharp Kk Videokodierungsvorrichtung
DE69618759T2 (de) * 1995-09-06 2002-09-12 Koninkl Philips Electronics Nv Verfahren und system zur kodierung einer sequenz von segmentierten bildern , kodiertes signal und speichermedium, verfahren und system zur dekodierung des kodierten signals
US5936671A (en) * 1996-07-02 1999-08-10 Sharp Laboratories Of America, Inc. Object-based video processing using forward-tracking 2-D mesh layers
JP4034380B2 (ja) * 1996-10-31 2008-01-16 株式会社東芝 画像符号化／復号化方法及び装置
US6173013B1 (en) * 1996-11-08 2001-01-09 Sony Corporation Method and apparatus for encoding enhancement and base layer image signals using a predicted image signal
US6535558B1 (en) * 1997-01-24 2003-03-18 Sony Corporation Picture signal encoding method and apparatus, picture signal decoding method and apparatus and recording medium
JP3217987B2 (ja) * 1997-03-31 2001-10-15 松下電器産業株式会社 動画像信号の復号方法および符号化方法
ID20680A (id) * 1997-04-01 1999-02-11 Sony Corp Alat dan metode pemberian kode bayangan, alat dan metode penguraian kode bayangan, dan media pendistribusinya
US6993201B1 (en) * 1997-07-08 2006-01-31 At&T Corp. Generalized scalability for video coder based on video objects
US6233356B1 (en) * 1997-07-08 2001-05-15 At&T Corp. Generalized scalability for video coder based on video objects
KR100592651B1 (ko) * 1997-11-27 2006-06-23 브리티쉬 텔리커뮤니케이션즈 파블릭 리미티드 캄퍼니 트랜스코딩 방법 및 장치
US6546052B1 (en) 1998-05-29 2003-04-08 Canon Kabushiki Kaisha Image processing apparatus and method, and computer-readable memory
US6782132B1 (en) * 1998-08-12 2004-08-24 Pixonics, Inc. Video coding and reconstruction apparatus and methods
US6452969B1 (en) * 1998-09-28 2002-09-17 Thomson Licensing S.A. Transform domain inverse motion compensation having fractional pel accuracy
US6614429B1 (en) * 1999-05-05 2003-09-02 Microsoft Corporation System and method for determining structure and motion from two-dimensional images for multi-resolution object modeling
US6289052B1 (en) * 1999-06-07 2001-09-11 Lucent Technologies Inc. Methods and apparatus for motion estimation using causal templates
US6968008B1 (en) * 1999-07-27 2005-11-22 Sharp Laboratories Of America, Inc. Methods for motion estimation with adaptive motion accuracy
US6625333B1 (en) * 1999-08-06 2003-09-23 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry Through Communications Research Centre Method for temporal interpolation of an image sequence using object-based image analysis
KR100611999B1 (ko) * 1999-08-27 2006-08-11 삼성전자주식회사 그리디 알고리듬을 이용한 객체 기반 콰드 트리 메쉬 움직임 보상방법
US6748362B1 (en) * 1999-09-03 2004-06-08 Thomas W. Meyer Process, system, and apparatus for embedding data in compressed audio, image video and other media files and the like
DE69934605T2 (de) * 1999-11-29 2007-10-11 Sony Corp. Verfahren und Vorrichtung zur Bearbeitung von Videosignalen durch Charakteristischen Punkten Extraktion im komprimierten Bereich.
US6888544B2 (en) * 2000-03-17 2005-05-03 Hewlett-Packard Development Company, L.P. Apparatus for and method of rendering 3D objects with parametric texture maps
US6907070B2 (en) * 2000-12-15 2005-06-14 Microsoft Corporation Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
KR100783396B1 (ko) * 2001-04-19 2007-12-10 엘지전자 주식회사 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티방법
US7876820B2 (en) * 2001-09-04 2011-01-25 Imec Method and system for subband encoding and decoding of an overcomplete representation of the data structure
WO2003026310A2 (de) * 2001-09-14 2003-03-27 Siemens Aktiengesellschaft Effiziente videocodierung für skalierbare simul-cast-speicherung und -übertragung
US7630566B2 (en) * 2001-09-25 2009-12-08 Broadcom Corporation Method and apparatus for improved estimation and compensation in digital video compression and decompression
US7653133B2 (en) * 2003-06-10 2010-01-26 Rensselaer Polytechnic Institute (Rpi) Overlapped block motion compression for variable size blocks in the context of MCTF scalable video coders
US8009739B2 (en) * 2003-09-07 2011-08-30 Microsoft Corporation Intensity estimation/compensation for interlaced forward-predicted fields
KR100571920B1 (ko) * 2003-12-30 2006-04-17 삼성전자주식회사 움직임 모델을 이용한 매쉬 기반의 움직임 보상방법을제공하는 영상의 부호화 방법 및 그 부호화 장치
KR100596705B1 (ko) * 2004-03-04 2006-07-04 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩 방법과 비디오 인코딩 시스템, 및 비디오 디코딩 방법과 비디오 디코딩 시스템
US20080144716A1 (en) 2004-03-11 2008-06-19 Gerard De Haan Method For Motion Vector Determination
US8503542B2 (en) * 2004-03-18 2013-08-06 Sony Corporation Methods and apparatus to reduce blocking noise and contouring effect in motion compensated compressed video
US8731054B2 (en) * 2004-05-04 2014-05-20 Qualcomm Incorporated Method and apparatus for weighted prediction in predictive frames
US7616782B2 (en) * 2004-05-07 2009-11-10 Intelliview Technologies Inc. Mesh based frame processing and applications
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US7424163B1 (en) 2004-07-13 2008-09-09 Itt Manufacturing Enterprises, Inc. System and method for lossless image compression
KR100678949B1 (ko) * 2004-07-15 2007-02-06 삼성전자주식회사 비디오 코딩 및 디코딩 방법, 비디오 인코더 및 디코더
DE102004059978B4 (de) * 2004-10-15 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz und zum Decodieren einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Restwerte-Prädiktion sowie ein Computerprogramm und ein computerlesbares Medium
KR100664929B1 (ko) * 2004-10-21 2007-01-04 삼성전자주식회사 다 계층 기반의 비디오 코더에서 모션 벡터를 효율적으로압축하는 방법 및 장치
KR100664932B1 (ko) * 2004-10-21 2007-01-04 삼성전자주식회사 비디오 코딩 방법 및 장치
US7792192B2 (en) * 2004-11-19 2010-09-07 Analog Devices, Inc. System and method for sub-pixel interpolation in motion vector estimation
JP2006174415A (ja) 2004-11-19 2006-06-29 Ntt Docomo Inc 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法
US7924923B2 (en) * 2004-11-30 2011-04-12 Humax Co., Ltd. Motion estimation and compensation method and device adaptive to change in illumination
JP4241588B2 (ja) * 2004-11-30 2009-03-18 日本ビクター株式会社 動画像符号化装置、及び動画像復号化装置
JP4317814B2 (ja) 2004-12-06 2009-08-19 株式会社ルネサステクノロジ 動画像情報の符号化装置及び符号化方法
US20060120612A1 (en) * 2004-12-08 2006-06-08 Sharath Manjunath Motion estimation techniques for video encoding
JP4284288B2 (ja) * 2005-03-10 2009-06-24 株式会社東芝 パターン認識装置及びその方法
KR100703770B1 (ko) * 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
US7876833B2 (en) * 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
DE102005016827A1 (de) 2005-04-12 2006-10-19 Siemens Ag Adaptive Interpolation bei der Bild- oder Videokodierung
KR100746007B1 (ko) * 2005-04-19 2007-08-06 삼성전자주식회사 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더
JP2007096541A (ja) * 2005-09-27 2007-04-12 Sanyo Electric Co Ltd 符号化方法
US8005308B2 (en) * 2005-09-16 2011-08-23 Sony Corporation Adaptive motion estimation for temporal prediction filter over irregular motion vector samples
DE102005051091A1 (de) 2005-10-25 2007-04-26 Siemens Ag Verfahren und Vorrichtungen zur Bestimmung und Rekonstruktion eines prädizierten Bildbereichs
EP1790680A1 (en) 2005-11-28 2007-05-30 Mnemoscience GmbH Verfahren zur Herstellung von Form-Gedächtnis Materialien aus standard thermoplastichen Polymeren
GB0600141D0 (en) * 2006-01-05 2006-02-15 British Broadcasting Corp Scalable coding of video signals
US7956930B2 (en) * 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US20070175333A1 (en) 2006-02-02 2007-08-02 Siemens Power Generation, Inc. System for recovering water from flue gas
WO2007108661A1 (en) * 2006-03-22 2007-09-27 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding the compensated illumination change
JP4844449B2 (ja) * 2006-04-17 2011-12-28 日本ビクター株式会社 動画像符号化装置、方法、プログラム、動画像復号化装置、方法、およびプログラム
JP4182442B2 (ja) * 2006-04-27 2008-11-19 ソニー株式会社 画像データの処理装置、画像データの処理方法、画像データの処理方法のプログラム及び画像データの処理方法のプログラムを記録した記録媒体
US9319708B2 (en) * 2006-06-16 2016-04-19 Via Technologies, Inc. Systems and methods of improved motion estimation using a graphics processing unit
US8340185B2 (en) * 2006-06-27 2012-12-25 Marvell World Trade Ltd. Systems and methods for a motion compensated picture rate converter
US8218640B2 (en) * 2006-10-31 2012-07-10 Sony Computer Entertainment Inc. Picture decoding using same-picture reference for pixel reconstruction
US8199812B2 (en) * 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
US20080181298A1 (en) * 2007-01-26 2008-07-31 Apple Computer, Inc. Hybrid scalable coding
KR101365575B1 (ko) * 2007-02-05 2014-02-25 삼성전자주식회사 인터 예측 부호화, 복호화 방법 및 장치
JP2008228282A (ja) * 2007-02-13 2008-09-25 Matsushita Electric Ind Co Ltd 画像処理装置
WO2008140656A2 (en) 2007-04-03 2008-11-20 Gary Demos Flowfield motion compensation for video compression
CA2681210C (en) * 2007-04-09 2021-03-02 Nokia Corporation High accuracy motion vectors for video coding with low encoder and decoder complexity
EP1983759A1 (en) * 2007-04-19 2008-10-22 Matsushita Electric Industrial Co., Ltd. Estimation of separable adaptive interpolation filters for hybrid video coding
WO2008133455A1 (en) * 2007-04-25 2008-11-06 Lg Electronics Inc. A method and an apparatus for decoding/encoding a video signal
US8756482B2 (en) * 2007-05-25 2014-06-17 Nvidia Corporation Efficient encoding/decoding of a sequence of data frames
US8254455B2 (en) * 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
AU2007214319A1 (en) * 2007-08-30 2009-03-19 Canon Kabushiki Kaisha Improvements for Spatial Wyner Ziv Coding
KR101365596B1 (ko) * 2007-09-14 2014-03-12 삼성전자주식회사 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법
KR101345287B1 (ko) 2007-10-12 2013-12-27 삼성전자주식회사 스케일러블 영상 부호화 방법 및 장치와 그 영상 복호화방법 및 장치
US8170097B2 (en) * 2007-12-04 2012-05-01 Sony Corporation Extension to the AVC standard to support the encoding and storage of high resolution digital still pictures in series with video
US20090141809A1 (en) * 2007-12-04 2009-06-04 Sony Corporation And Sony Electronics Inc. Extension to the AVC standard to support the encoding and storage of high resolution digital still pictures in parallel with video
KR101375663B1 (ko) * 2007-12-06 2014-04-03 삼성전자주식회사 영상을 계층적으로 부호화/복호화하는 방법 및 장치
US8126054B2 (en) * 2008-01-09 2012-02-28 Motorola Mobility, Inc. Method and apparatus for highly scalable intraframe video coding
US8374247B2 (en) * 2008-01-14 2013-02-12 Broadcom Corporation Method and system for hierarchical motion estimation with multi-layer sub-pixel accuracy and motion vector smoothing
KR101003105B1 (ko) * 2008-01-29 2010-12-21 한국전자통신연구원 어파인 변환 기반의 움직임 보상을 이용한 비디오 부호화 및 복호화 방법 및 장치
US8351510B1 (en) 2008-02-01 2013-01-08 Zenverge, Inc. Motion compensated noise reduction using shared motion estimation engine
CN101933329B (zh) 2008-02-05 2013-05-29 汤姆逊许可公司 视频编码和解码中用于隐性块分割的方法与设备
US8711948B2 (en) 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
JP2010016453A (ja) * 2008-07-01 2010-01-21 Sony Corp 画像符号化装置および方法、画像復号装置および方法、並びにプログラム
US8761261B1 (en) * 2008-07-29 2014-06-24 Marvell International Ltd. Encoding using motion vectors
US8488680B2 (en) * 2008-07-30 2013-07-16 Stmicroelectronics S.R.L. Encoding and decoding methods and apparatus, signal and computer program product therefor
WO2010017166A2 (en) 2008-08-04 2010-02-11 Dolby Laboratories Licensing Corporation Overlapped block disparity estimation and compensation architecture
US8184196B2 (en) * 2008-08-05 2012-05-22 Qualcomm Incorporated System and method to generate depth data using edge detection
US8139650B2 (en) 2008-08-07 2012-03-20 California Institute Of Technology Fast noise reduction in digital images and video
ES2386327T3 (es) * 2008-08-21 2012-08-17 Vestel Elektronik Sanayi Ve Ticaret A.S. Método y aparato para aumentar la frecuencia de trama de una señal de video
JP5482655B2 (ja) * 2008-09-01 2014-05-07 日本電気株式会社 画像同一性尺度算出システム
GB0818561D0 (en) * 2008-10-09 2008-11-19 Isis Innovation Visual tracking of objects in images, and segmentation of images
US8275209B2 (en) 2008-10-10 2012-09-25 Microsoft Corporation Reduced DC gain mismatch and DC leakage in overlap transform processing
JP2010122934A (ja) * 2008-11-20 2010-06-03 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US8599929B2 (en) * 2009-01-09 2013-12-03 Sungkyunkwan University Foundation For Corporate Collaboration Distributed video decoder and distributed video decoding method
JP4893758B2 (ja) * 2009-01-23 2012-03-07 ソニー株式会社 画像処理装置、画像処理方法および撮像装置
KR101597987B1 (ko) * 2009-03-03 2016-03-08 삼성전자주식회사 계층 독립적 잔차 영상 다계층 부호화 장치 및 방법
US8363721B2 (en) * 2009-03-26 2013-01-29 Cisco Technology, Inc. Reference picture prediction for video coding
FR2944937B1 (fr) * 2009-04-24 2011-10-21 Canon Kk Procede et dispositif de restauration d'une sequence video
US8762441B2 (en) * 2009-06-05 2014-06-24 Qualcomm Incorporated 4X4 transform for media coding
CN101931803B (zh) * 2009-06-26 2013-01-09 华为技术有限公司 视频图像运动信息获取方法、装置及设备、模板构造方法
KR101678968B1 (ko) * 2009-08-21 2016-11-25 에스케이텔레콤 주식회사 참조 픽처 보간 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US9626769B2 (en) * 2009-09-04 2017-04-18 Stmicroelectronics International N.V. Digital video encoder system, method, and non-transitory computer-readable medium for tracking object regions
WO2011050998A1 (en) * 2009-10-29 2011-05-05 Thomas Sikora Method and device for processing a video sequence
KR101751559B1 (ko) * 2009-10-30 2017-06-27 선 페이턴트 트러스트 복호방법, 복호장치, 부호화 방법 및 부호화 장치
TR200908303A2 (tr) * 2009-11-03 2011-05-23 Vestel Elektroni̇k San. Ve Ti̇c. A.Ş. Hareket dengelemeli enterpolasyon.
US8705624B2 (en) * 2009-11-24 2014-04-22 STMicroelectronics International N. V. Parallel decoding for scalable video coding
WO2011064673A1 (en) 2009-11-30 2011-06-03 France Telecom Method of and apparatus for encoding video frames, method of and apparatus for decoding video frames
US8559519B2 (en) * 2010-01-08 2013-10-15 Blackberry Limited Method and device for video encoding using predicted residuals
GB2480224B (en) * 2010-01-29 2014-08-20 Canon Kk Decoding a sequence of digital images with error concealment
FR2956789B1 (fr) 2010-02-19 2012-11-16 Canon Kk Procede et dispositif de traitement d'une sequence video
US9609342B2 (en) * 2010-02-19 2017-03-28 Skype Compression for frames of a video signal using selected candidate blocks
US9237355B2 (en) * 2010-02-19 2016-01-12 Qualcomm Incorporated Adaptive motion resolution for video coding
BR112012021792B1 (pt) * 2010-03-03 2021-09-28 Koninklijke Philips N.V. Método de adição de informações de especificação de renderização de exibição a um sinal de imagem de entrada, aparelho de análise de imagem para adicionar informações de definição de imagem às informações de pixel de imagem de um sinal de imagem de entrada, método de processamento de um sinal de imagem de entrada a ser renderizado com base nas informações de definição de imagem relacionadas ao sinal de imagem de entrada, e aparelho para processar um sinal de imagem de entrada a ser exibido com base nas informações de definição de imagem relacionadas ao sinal de imagem de entrada
US8665959B2 (en) 2010-04-12 2014-03-04 Qualcomm Incorporated Block and partition signaling techniques for video coding
CN106454376B (zh) * 2010-04-13 2019-10-01 Ge视频压缩有限责任公司 解码器、重建数组的方法、编码器、编码方法及数据流
WO2012020358A1 (en) 2010-08-09 2012-02-16 Koninklijke Philips Electronics N.V. Encoder, decoder, bit-stream, method of encoding, method of decoding an image pair corresponding with two views of a multi-view signal
WO2012037157A2 (en) * 2010-09-13 2012-03-22 Alt Software (Us) Llc System and method for displaying data having spatial coordinates
US8736767B2 (en) * 2010-09-29 2014-05-27 Sharp Laboratories Of America, Inc. Efficient motion vector field estimation
EP2445214A1 (en) * 2010-10-19 2012-04-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Video coding using temporally coherent dynamic range mapping
JP5625808B2 (ja) * 2010-11-26 2014-11-19 沖電気工業株式会社 データ更新装置及びプログラム、並びに、動画像復号装置及びプログラム、並びに、動画像配信システム
CA2722993A1 (fr) * 2010-12-01 2012-06-01 Ecole De Technologie Superieure Systeme d'ecodage video parallele multitrames et multitranches avec encodage simultane de trames predites
US9147260B2 (en) * 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects
GB2487197B (en) 2011-01-11 2015-06-17 Canon Kk Video encoding and decoding with improved error resilience
CN102857755B (zh) * 2011-07-01 2016-12-14 华为技术有限公司 确定变换块尺寸的方法和设备
US8977065B2 (en) * 2011-07-21 2015-03-10 Luca Rossato Inheritance in a tiered signal quality hierarchy
US8531321B1 (en) * 2011-07-21 2013-09-10 Luca Rossato Signal processing and inheritance in a tiered signal quality hierarchy
US9736472B2 (en) * 2011-08-19 2017-08-15 Telefonaktiebolaget Lm Ericsson (Publ) Motion vector processing
KR102407474B1 (ko) 2011-10-18 2022-06-10 엘지전자 주식회사 인트라 예측 방법 및 그 장치
US9300980B2 (en) * 2011-11-10 2016-03-29 Luca Rossato Upsampling and downsampling of motion maps and other auxiliary maps in a tiered signal quality hierarchy
WO2013112739A1 (en) * 2012-01-24 2013-08-01 Futurewei Technologies, Inc. Simplification of lm mode
US11445172B2 (en) * 2012-01-31 2022-09-13 Vid Scale, Inc. Reference picture set (RPS) signaling for scalable high efficiency video coding (HEVC)
CN107396101B (zh) 2012-02-03 2019-12-20 太阳专利托管公司 图像编码方法及图像编码装置
GB2498595B (en) * 2012-02-16 2015-03-04 Imagination Tech Ltd Methods and apparatus for decoding video images
CN104620583A (zh) 2012-05-14 2015-05-13 卢卡·罗萨托 基于支持信息的残差数据的编码和重构
US9313495B2 (en) * 2012-05-14 2016-04-12 Luca Rossato Encoding and decoding based on blending of sequences of samples along time
TWI649999B (zh) * 2012-07-09 2019-02-01 美商Ｖｉｄ衡器股份有限公司 視訊編碼方法及視訊編碼系統
RU2652465C2 (ru) * 2012-07-13 2018-04-26 Конинклейке Филипс Н.В. Усовершенствованные способы и устройства для кодирования и декодирования hdr изображений
US20140092971A1 (en) * 2012-09-28 2014-04-03 Kiran Mukesh Misra Picture processing in scalable video systems
US9769475B2 (en) * 2012-09-28 2017-09-19 Intel Corporation Enhanced reference region utilization for scalable video coding
EP2966868B1 (en) * 2012-10-09 2018-07-18 HFI Innovation Inc. Method for motion information prediction and inheritance in video coding
US20140153635A1 (en) * 2012-12-05 2014-06-05 Nvidia Corporation Method, computer program product, and system for multi-threaded video encoding
KR102301232B1 (ko) 2017-05-31 2021-09-10 삼성전자주식회사 다채널 특징맵 영상을 처리하는 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022086299A1 (ko) * 2020-10-23 2022-04-28 모멘티 인코포레이션 반응형영상 제작 및 서비스 제공방법 및 이를 이용한 프로그램

Also Published As

Publication number Publication date
KR20150018575A (ko) 2015-02-23
WO2013171168A1 (en) 2013-11-21
MX2014013846A (es) 2015-05-08
US20220038700A1 (en) 2022-02-03
MX2014013836A (es) 2015-03-03
AU2013261838A1 (en) 2014-12-04
US11683491B2 (en) 2023-06-20
MX2014013838A (es) 2015-03-03
US10750179B2 (en) 2020-08-18
JP2015522986A (ja) 2015-08-06
ZA201408537B (en) 2016-08-31
EP2850836A1 (en) 2015-03-25
KR102126886B1 (ko) 2020-06-26
WO2013171173A1 (en) 2013-11-21
WO2013171183A1 (en) 2013-11-21
KR20150014496A (ko) 2015-02-06
US9961345B2 (en) 2018-05-01
EP2850830A1 (en) 2015-03-25
WO2013171182A1 (en) 2013-11-21
US9509990B2 (en) 2016-11-29
HK1203264A1 (en) 2015-10-23
ZA201408540B (en) 2016-08-31
CN110944210A (zh) 2020-03-31
EP2850831A1 (en) 2015-03-25
EA201492099A1 (ru) 2015-04-30
MX2014013850A (es) 2015-05-08
CN104620580A (zh) 2015-05-13
SG11201407417VA (en) 2014-12-30
IL235574B (en) 2018-03-29
WO2013171175A1 (en) 2013-11-21
US9706206B2 (en) 2017-07-11
PL2850829T3 (pl) 2022-05-16
US20130322537A1 (en) 2013-12-05
KR20150014495A (ko) 2015-02-06
KR20150018576A (ko) 2015-02-23
ZA201408538B (en) 2016-08-31
MX2014013835A (es) 2015-03-03
AU2013261843B2 (en) 2018-02-15
CN104641644A (zh) 2015-05-20
SG11201407472SA (en) 2014-12-30
ES2907510T3 (es) 2022-04-25
JP2015522988A (ja) 2015-08-06
US20190297322A1 (en) 2019-09-26
ZA201408541B (en) 2016-08-31
US20170310968A1 (en) 2017-10-26
US20130322530A1 (en) 2013-12-05
US20210099706A1 (en) 2021-04-01
HK1203261A1 (en) 2015-10-23
WO2013171182A8 (en) 2014-06-12
ES2909879T3 (es) 2022-05-10
CA2873490A1 (en) 2013-11-21
CN104620582A (zh) 2015-05-13
EA201492093A1 (ru) 2015-04-30
EP2850829A1 (en) 2015-03-25
MX341203B (es) 2016-08-11
SG11201407484WA (en) 2014-12-30
WO2013171184A1 (en) 2013-11-21
EP2850830B1 (en) 2023-08-30
US10178387B2 (en) 2019-01-08
CN104620581A (zh) 2015-05-13
JP2015522985A (ja) 2015-08-06
US20170041609A1 (en) 2017-02-09
US20220191497A1 (en) 2022-06-16
ZA201408539B (en) 2016-08-31
US20170188032A1 (en) 2017-06-29
MX339635B (es) 2016-06-02
US20210099707A1 (en) 2021-04-01
BR112014028279A2 (pt) 2017-07-18
EP2850830C0 (en) 2023-08-30
EP2850835A1 (en) 2015-03-25
EP2850832A1 (en) 2015-03-25
SG11201407508RA (en) 2014-12-30
CN104620583A (zh) 2015-05-13
CN104641643A (zh) 2015-05-20
CA2873501A1 (en) 2013-11-21
JP2015520575A (ja) 2015-07-16
CA2873487A1 (en) 2013-11-21
KR20150014494A (ko) 2015-02-06
ES2961397T3 (es) 2024-03-11
EA201492098A1 (ru) 2015-04-30
US11595653B2 (en) 2023-02-28
IL235579A0 (en) 2015-01-29
MX344994B (es) 2017-01-13
BR112014028276A2 (pt) 2017-07-11
US10750178B2 (en) 2020-08-18
IL235578A0 (en) 2015-01-29
SG11201407419RA (en) 2014-12-30
US9621887B2 (en) 2017-04-11
HK1203263A1 (en) 2015-10-23
AU2013261845A1 (en) 2014-12-11
US20130321423A1 (en) 2013-12-05
BR112014028283A2 (pt) 2017-07-18
EA201492090A1 (ru) 2015-05-29
IL235576A0 (en) 2015-01-29
EP2850832B1 (en) 2022-01-05
CN110944210B (zh) 2022-03-01
US20130314496A1 (en) 2013-11-28
US11153567B2 (en) 2021-10-19
DK2850829T3 (da) 2022-03-07
EP2850835B1 (en) 2022-01-05
HK1203260A1 (en) 2015-10-23
EA201492089A1 (ru) 2015-04-30
CA2873496A1 (en) 2013-11-21
US20210176483A1 (en) 2021-06-10
HK1203265A1 (en) 2015-10-23
CA2873494A1 (en) 2013-11-21
EP2850829B1 (en) 2021-12-01
AU2013261854A1 (en) 2014-12-11
BR112014028274A2 (pt) 2017-07-18
JP2015519016A (ja) 2015-07-06
CN104641643B (zh) 2018-06-19
CA2873499A1 (en) 2013-11-21
US11272181B2 (en) 2022-03-08
EP3968638A1 (en) 2022-03-16
JP6336438B2 (ja) 2018-06-06
SG10201710075SA (en) 2018-01-30
AU2013261843A1 (en) 2014-12-11
BR112014028273A2 (pt) 2017-07-18
CN104620582B (zh) 2020-01-14
AU2013261853A1 (en) 2014-12-11
JP2015522987A (ja) 2015-08-06
DK2850832T3 (da) 2022-04-11
US11622112B2 (en) 2023-04-04
US20230379470A1 (en) 2023-11-23
IL235574A0 (en) 2015-01-29

Similar Documents

Publication Publication Date Title
US11683491B2 (en) Encoding and decoding based on blending of sequences of samples along time
US10771796B2 (en) Encoding and decoding based on blending of sequences of samples along time
WO2019226370A1 (en) Adaptive panoramic video streaming using composite pictures

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid