KR102548323B1 - 화상의 블록 기반 예측 코딩 및 디코딩 - Google Patents

화상의 블록 기반 예측 코딩 및 디코딩 Download PDF

Info

Publication number
KR102548323B1
KR102548323B1 KR1020227027539A KR20227027539A KR102548323B1 KR 102548323 B1 KR102548323 B1 KR 102548323B1 KR 1020227027539 A KR1020227027539 A KR 1020227027539A KR 20227027539 A KR20227027539 A KR 20227027539A KR 102548323 B1 KR102548323 B1 KR 102548323B1
Authority
KR
South Korea
Prior art keywords
block
version
predetermined block
pictures
data stream
Prior art date
Application number
KR1020227027539A
Other languages
English (en)
Other versions
KR20220116352A (ko
Inventor
조나단 파프
마틴 빈켄
크리스티안 루닷
헤이코 슈바르츠
토마스 비에그란트
데트레브 마르페
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority to KR1020237020996A priority Critical patent/KR20230096143A/ko
Publication of KR20220116352A publication Critical patent/KR20220116352A/ko
Application granted granted Critical
Publication of KR102548323B1 publication Critical patent/KR102548323B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

예측될 미리 결정된 블록의 이웃의 이전에 인코딩 또는 재구성된 버전이 이용되어, 예측 블록의 보다 효율적인 예측 코딩이 된다. 특히, 이 이웃 및 미리 결정된 블록의 예측 채움의 제1 버전으로 구성된 영역의 스펙트럼 분해는 잡음 감소의 대상이 되는 제1 스펙트럼을 야기하고, 이에 따라 결과적인 제2 스펙트럼은 스펙트럼 구성의 대상이 될 수 있으며, 이로써 미리 결정된 블록의 예측 채움의 제2 버전을 포함하는, 이러한 영역의 수정된 버전을 야기할 수 있다. 미리 결정된 블록의 이미 처리된, 즉 인코딩된/재구성된 이웃의 활용 때문에, 미리 결정된 블록의 예측 채움의 제2 버전은 코딩 효율을 향상시키는 경향이 있다.

Description

화상의 블록 기반 예측 코딩 및 디코딩 {BLOCK-BASED PREDICTIVE CODING AND DECODING OF A PICTURE}
본 출원은 이를테면, 예를 들어 하이브리드 비디오 코덱들에 적용 가능한 화상들의 블록 기반 예측 코딩 및 디코딩에 관한 것이다.
요즘 많은 비디오 코덱들과 정지 화상 코덱들은 화상 콘텐츠를 표현하는 데 사용되는 데이터를 압축하기 위해 블록 기반 예측 코딩을 사용한다. 예측이 양호할수록, 예측 잔차를 코딩하는 데 필요한 데이터가 낮아진다. 예측의 사용으로부터의 전반적인 이익은 예측을 인코더와 디코더 간에 동기화된 상태로 유지하는 데 필요한 데이터, 즉 예측 파라미터화에 필요한 데이터의 양에 좌우된다.
본 발명의 목적은 개선된 코딩 효율의 달성을 가능하게 하는, 화상의 블록 기반 예측 인코딩/디코딩에 대한 개념을 제공하는 것이다.
이러한 목적은 본 출원의 독립 청구항들의 요지에 의해 달성된다.
예측될 미리 결정된 블록의 이웃의 이전에 인코딩 또는 재구성된 버전이 활용되어 예측 블록의 보다 효율적인 예측 코딩을 야기할 수 있다는 것이 본 출원의 기본적인 결론이다. 특히, 이 이웃 및 미리 결정된 블록의 예측 채움(predicted filling)의 제1 버전으로 구성된 영역의 스펙트럼 분해는 잡음 감소의 대상이 되는 제1 스펙트럼을 야기하고, 이에 따라 결과적인 제2 스펙트럼은 스펙트럼 구성의 대상이 될 수 있으며, 이로써 미리 결정된 블록의 예측 채움의 제2 버전을 포함하는, 이러한 영역의 수정된 버전을 야기할 수 있다. 미리 결정된 블록의 이미 처리된, 즉 인코딩된/재구성된 이웃의 활용 때문에, 미리 결정된 블록의 예측 채움의 제2 버전은 코딩 효율을 향상시키는 경향이 있다.
본 출원의 실시예들에 따르면, 예측 채움의 제1 버전의 사용과 예측 채움의 제2 버전의 사용 사이에서 선택하기 위해 데이터 스트림에서 제1 신호 전달(signalization)이 소비될 수 있다. 이러한 제1 신호 전달에 필요한 추가 데이터량에도 불구하고, 예측 채움의 제1 버전과 제2 버전 사이에서 선택하는 능력은 코딩 효율을 향상시킬 수 있다. 제1 신호 전달은 하위 화상 세분성(sub-picture granularity)으로 제1 버전과 제2 버전 사이의 선택이 발생할 수 있도록 그 하위 화상 세분성으로 데이터 스트림 내에서 전달될 수 있다.
마찬가지로, 추가로 또는 대안으로, 본 출원의 추가 실시예에 따라 데이터 스트림에 제2 신호 전달이 소비될 수 있는데, 제2 신호 전달은 미리 결정된 블록을 확장하고 스펙트럼 분해, 잡음 감소 및 스펙트럼 구성이 수행되는 영역을 형성하는 데 사용되는 이웃의 크기를 설정하는 데 사용된다. 제2 신호 전달은, 역시 하위 화상 세분성으로 변화하는 방식으로 데이터 스트림 내에서 전달될 수 있다.
그리고 더 나아가, 추가로 또는 대안으로, 추가 신호 전달이 데이터 스트림 내에서 전달될 수 있는데, 제3 신호 전달은 이를테면, 예를 들어 스펙트럼 분해로부터 야기되는 제1 스펙트럼에 인가될 임계치를 표시함으로써 잡음 감소의 강도를 시그널링한다. 제3 신호 전달은, 역시 하위 화상 세분성으로 변화하는 방식으로 데이터 스트림 내에서 전달될 수 있다.
제1 신호 전달, 제2 신호 전달 및/또는 제3 신호 전달은 공간 예측을 사용하여 그리고/또는 공간적 콘텍스트를 사용하는 엔트로피 코딩을 사용하여, 즉 각각의 신호 전달이 데이터 스트림에 포함되는 영역의 공간적 이웃에 의존하는 가능한 신호 전달 값들에 대한 확률 분포 추정치를 사용하여 데이터 스트림으로 코딩될 수 있다.
본 출원의 유리한 구현들이 종속 청구항들의 대상이다. 본 출원의 바람직한 실시예들은 다음 중의 도면들에 관해 아래에 설명된다.
도 1은 본 출원의 일 실시예에 따른 인코딩 장치의 블록도를 도시한다.
도 2는 일 실시예에 따라, 예측될 블록들을 포함하는 화상을 예시하는 개략도를 도시하는데, 현재 예측될 블록에 대해 우측에는, 나중에 이 블록에 대한 예측 채움의 대안적인 버전을 달성하기 위한 시작점이 되는 영역을 야기하도록 그 블록이 어떻게 확장되는지에 관해 예시한다.
도 3은 일 실시예에 따른 잡음 감소를 예시하는 개략도를 도시하는데, 특히 임계치를 사용하여 이러한 잡음 감소를 수행하는 두 가지 대안적인 방법들을 예시한다.
도 4는 일 실시예에 따른 가능한 잡음 감소 강도 사이의 선택을 예시하는 개략도를 도시한다.
도 5는 일 실시예에 따라, 도 1의 장치에 맞는 디코딩 장치의 블록도를 도시한다.
도 1은 데이터 스트림(14)으로의 화상(12)의 블록 기반 예측 인코딩을 위한 장치(10)를 도시한다. 도 1의 장치는 예측 제공기(16), 스펙트럼 분해기(18), 잡음 감소기(20), 스펙트럼 구성기(22) 및 인코딩 스테이지(24)를 포함한다. 아래에서 보다 상세히 개요가 서술되는 방식으로, 이러한 컴포넌트들(16 내지 24)은 이들의 언급된 순서로 인코더(10)의 예측 루프에 직렬로 접속된다. 예시 목적으로, 도 1은 내부적으로 인코딩 스테이지(24)가, 언급되는 순서를 따라 앞서 언급한 예측 루프에 직렬로 접속되는 가산기(26), 변환기(28) 및 양자화 스테이지(30)를 포함할 수 있음을 나타낸다. 특히, 가산기(26)의 반전 입력은 스펙트럼 구성기(22)의 출력에 직접적으로 또는 아래에서 추가로 개요가 서술되는 바와 같이 선택기를 통해 간접적으로 접속되는 한편, 가산기(26)의 비-반전 입력은 인코딩될 신호, 즉 화상(12)을 수신한다. 도 1에 추가로 나타낸 바와 같이, 인코딩 스테이지(24)는 양자화기(30)의 출력과 화상(12)을 나타내는 코딩된 데이터 스트림(14)이 출력되는 장치(10)의 출력 사이에 접속된 엔트로피 인코더(32)를 더 포함할 수 있다. 도 1에 추가로 예시된 바와 같이, 장치(10)는 앞서 언급한 예측 루프를 따라 인코딩 스테이지(24)와 예측 제공기(16) 사이에 접속되어, 이전에 인코딩된 부분들, 즉 인코더(10)에 의해 이전에 인코딩된 화상(12)의 부분들 또는 화상(12)이 속하는 비디오, 그리고 특히, 양자화 스테이지(30) 내의 양자화에 의해 도입된 코딩 손실을 고려하더라도 디코더 측에서 재구성 가능한, 이러한 부분들의 버전을 예측 제공기(16)에 제공하는 재구성 스테이지(34)를 포함할 수 있다. 도 1에 예시된 바와 같이, 재구성 스테이지(34)는 언급되는 순서로 앞서 언급한 예측 루프에 순차적으로 접속된 역양자화기(36), 역변환기(38) 및 가산기(40)를 포함할 수 있으며, 역양자화기의 입력은 양자화기의 출력에 접속된다. 특히, 가산기(40)의 출력은 예측 제공기(16)의 입력 그리고 추가로, 아래에서 보다 상세히 개요가 서술되는 바와 같이, 예측 제공기(16)의 출력에 접속된 스펙트럼 분해기(18)의 입력에 추가로 존재하는 스펙트럼 분해기(18)의 추가 입력에 접속된다. 가산기(40)의 제1 입력이 역변환기(38)의 출력에 접속되는 동안, 가산기(40)의 추가 입력은 스펙트럼 구성기(22)의 출력을 통해 최종 예측 신호를 직접 또는 ― 선택적으로 ― 간접적으로 수신한다. 도 1에 도시된 바와 같이, 선택적으로 인코더(10)는 스펙트럼 구성기(22)에 의해 출력되는 예측 신호를 가산기(40)의 각각의 입력에 또는 예측 제공기(16)의 출력에 적용하는 것 간에 선택하도록 구성된 선택기(42)를 포함한다.
인코더(10)의 내부 구조를 설명한 후에, 인코더(10)의 구현은 소프트웨어, 펌웨어 또는 하드웨어 또는 이들의 임의의 조합으로 이루어질 수 있다는 점이 주목되어야 한다. 이에 따라, 도 1에 도시된 임의의 블록 또는 모듈은 컴퓨터 상에서 실행되는 컴퓨터 프로그램의 특정 부분, 필드 프로그래밍 가능 어레이와 같은 펌웨어의 특정 부분, 또는 주문형 IC와 같은 전자 회로의 특정 부분에 대응할 수 있다.
도 1의 장치(10)는 블록 기반 예측을 사용하여 화상(12)을 데이터 스트림(14)으로 인코딩하도록 구성된다. 이에 따라, 이러한 블록 기반으로, 예측 제공기(16) 및 후속 모듈들(18, 20, 22)이 동작한다. 도 2의 블록(46)은 이러한 예측 블록이다. 그러나 장치(10)는 다른 작업들에 대해서도 또한 블록 기반으로 동작할 수 있다. 예컨대, 인코딩 스테이지(24)에 의해 수행되는 잔차 인코딩은 또한 블록 기반으로 수행될 수 있다. 그러나 예측 제공기(16)가 동작하는 예측 블록들은 인코딩 스테이지(24)가 동작하는 단위들의 나머지 블록들과 다를 수 있다. 즉, 화상(12)은 잔차 블록들로의 세분과는 다르게 예측 블록들로 세분될 수 있다. 예를 들어, 그러나 배타적이지는 않게, 잔차 블록들로의 세분은 각각의 잔차 블록이 대응하는 예측 블록의 일부분이 되도록, 또는 특정 예측 블록과 일치하지만, 이웃하는 예측 블록들에 오버레이하지 않도록 예측 블록들로의 세분의 확장을 나타낼 수 있다. 더욱이, 예측 제공기(16)는 예측을 수행하기 위해 상이한 코딩 모드들을 사용할 수 있고, 이러한 모드들 간의 전환은 코딩 블록들로 불릴 수 있는 블록들에서 발생할 수 있는데, 이러한 블록들은 예측 블록들 및/또는 잔차 블록들과 또한 다를 수 있다. 예를 들어, 코딩 블록들로의 화상(12)의 세분은 각각의 예측 블록이 단지 하나의 대응하는 코딩 블록을 오버레이하지만, 이 대응하는 코딩 블록보다 더 작을 수 있게 이루어질 수 있다. 방금 언급한 코딩 모드들은 공간 예측 모드들 및 시간 예측 모드들을 포함할 수 있다.
장치(10)의 기능 또는 동작 모드를 추가로 설명하기 위해, 화상(12)이 비디오에 속하는 화상일 수도 있음을, 즉 시간 시퀀스의 화상들(44) 중 하나의 화상일 수 있음을 예시하는 도 2가 참조되지만, 이는 단지 예시일 뿐이며 장치(10)는 또한 정지 화상들(12)에도 적용 가능할 수 있다는 점이 주목되어야 한다. 도 2는 구체적으로, 화상(12) 내의 하나의 예측 블록(46)을 예시한다. 이 예측 블록은 예측 제공기(16)가 현재 예측을 수행할 블록일 것이다. 블록(46)을 예측하기 위해, 예측 제공기(16)는 화상(12) 및/또는 비디오(44)의 이전에 인코딩된 부분들 또는 대안으로 말하자면, 블록(46)에 대해 동일한 예측을 수행하려고 시도할 때 데이터 스트림(14)으로부터 디코더에 대해 이미 재구성 가능한 부분들을 사용한다. 이를 위해, 예측 제공기(16)는 재구성 가능한 버전, 즉 디코더 측에서 또한 재구성 가능한 버전을 사용한다. 다른 코딩 모드들이 이용 가능하다. 예컨대, 예측 제공기(16)는 기준 화상(48)에 기초하여 모션 보상 예측과 같은 시간 예측에 의해 블록(46)을 예측할 수 있다. 대안으로, 예측 제공기(16)는 공간 예측을 사용하여 블록(46)을 예측할 수 있다. 예컨대, 예측 제공기(16)는 블록(46)의 이전에 인코딩된 이웃을 특정 외삽 방향을 따라 블록(46)의 내부로 외삽할 수 있다. 모션 보상 예측의 경우에, 모션 벡터는 데이터 스트림(14) 내의 블록(46)에 대해 예측 파라미터로서 디코더에 시그널링될 수 있다. 마찬가지로, 외삽 방향은 예측 파라미터로서 공간 예측의 경우에 블록(46)에 대해 디코더에 데이터 스트림(14) 내에서 시그널링될 수 있다.
즉, 예측 제공기(16)는 미리 결정된 블록(46)의 예측 채움을 출력한다. 예측 채움은 도 1에서 48에 예시된다. 이는 아래에서 추가로 설명되는 바와 같이 컴포넌트들(18, 20, 22)의 후속 시퀀스에 의해 "개선"될 것이므로, 이는 실제로 이 예측 채움의 제1 버전(48)이다. 즉, 예측 제공기(16)는 블록(46) 내의 각각의 샘플(50)에 대한 예측 샘플 값을 예측하는데, 이 예측 채움은 제1 버전(48)을 나타낸다.
도 1에 도시된 바와 같이, 블록(46)은 직사각형 또는 심지어 정방형일 수 있다. 그러나 이는 단지 일례일 뿐이고, 본 출원의 대안 실시예들을 제한하는 것으로서 취급되지 않아야 한다.
스펙트럼 분해기는 블록(46)에 대한 예측 채움의 제1 버전(48) 및 그 확장, 즉 블록(46)의 이웃(54)의 이전에 인코딩된 버전으로 구성된 영역(52)을 스펙트럼 분해하도록 구성된다. 즉, 기하학적으로, 스펙트럼 분해기(20)는 블록(46)에 추가하여, 블록(46)의 이웃(54)을 포함하는 영역(52)으로의 스펙트럼 분해를 수행하는데, 블록(46)에 대응하는 영역(52)의 부분은 블록(46)의 예측 채움의 제1 버전(48)으로 채워지고, 이웃(54)은 디코딩 측에서 데이터 스트림(14)으로부터 재구성 가능한 샘플 값들로 채워진다. 스펙트럼 분해기(18)는 예측 제공기(16)로부터 예측 채움(48)을 수신하고 재구성 스테이지(34)로부터 이웃(54)에 대한 재구성된 샘플 값들을 수신한다.
도 2는 예컨대, 특정 코딩/디코딩 순서(58)에 따라 화상(12)이 장치(10)에 의해 데이터 스트림(14)으로 코딩되는 것을 예시한다. 이 코딩 순서는 예컨대, 화상(12)을 좌측 상부 코너에서부터 우측 하부 코너로 가로지를 수 있다. 가로지르는 것은 도 2에 예시된 바와 같이 행 방향으로 실행될 수 있지만, 대안으로 열 방향으로 또는 대각선 방향으로 실행될 수 있다. 그러나 이러한 모든 예들은 단지 예시일 뿐이며 제한하는 것으로 또한 취급되지 않아야 한다. 화상(12)의 좌측 상부에서부터 우측 바닥까지의 코딩/디코딩 순서의 이러한 일반적인 전파 때문에, 대부분의 예측 블록들(46)의 경우, 블록(46)의 최상부에 대한 또는 그 최상부 면(461)에 인접한 그리고 블록(46)의 좌측에 대한 또는 그 좌측 면(464)에 인접한 블록(46)의 이웃은 이미 데이터 스트림(14)으로 인코딩되었고, 블록(46)의 인코딩/재구성을 수행할 때 디코딩 측에서 데이터 스트림(14)으로부터 이미 디코딩 가능하다. 따라서 도 2의 예에서, 이웃(54)이 블록(46)의 면들(461, 464)을 넘는 블록(46)의 공간 확장을 나타냄으로써, 블록(46)과 함께 하부 면 및 우측 면이 블록(46)의 좌측 면(462) 및 바닥 면(463)과 일치하거나 공동 선형인 직사각형 영역(52)이 되는 L자형 영역을 기술한다.
즉, 스펙트럼 분해기(18)는 영역(52)에 대응하는 샘플 어레이로의 스펙트럼 분해를 수행하는데, 이웃(54)에 대응하는 샘플들은 인코딩 스테이지(24)에 의해 데이터 스트림(14)으로 코딩된 예측 잔차를 사용하여 데이터 스트림(14)으로부터 재구성 가능한 샘플 값들인 한편, 블록(46) 내의 영역(52)의 샘플들은 예측 제공기(16)의 예측 채움(48)의 샘플 값들이다. 스펙트럼 분해기(18)가 이 영역(52) 상에서 수행하는 스펙트럼 분해, 즉 그 변환 타입은 DCT, DST 또는 웨이블릿 변환일 수 있다. 선택적으로, 그러나 배타적이지는 않게, 스펙트럼 분해기(18)에 의해 사용되는 변환(T2)은 변환기(28)에 의해 출력된 예측 잔차를 스펙트럼 도메인으로 변환하기 위한 변환기(28)에 의해 사용된 변환(T1)과 동일한 형태일 수 있다. 이들이 동일한 타입이라면, 스펙트럼 분해기(18) 및 변환기(28)는 해당 타입의 변환들을 수행하도록 설계된 또는 그러한 변환들의 수행을 담당하는 특정 회로 및/또는 컴퓨터 코드를 공유할 수 있다. 그러나 스펙트럼 분해기(18) 및 변환기(28)에 의해 수행되는 변환들은 대안으로 상이할 수 있다.
따라서 스펙트럼 분해기(18)의 출력은 제1 스펙트럼(60)이다. 스펙트럼(60)은 스펙트럼 계수들의 어레이일 수 있다. 예컨대, 스펙트럼 계수들의 수는 영역(52) 내의 샘플들의 수와 동일할 수 있다. 스펙트럼 컴포넌트가 속하는 공간 주파수는 수평축(x)을 따른 공간 주파수들이 관련되는 한 좌측에서 우측으로 그리고 y 축을 따라 영역(52) 내의 공간 주파수들이 관련되는 한 최상부에서 바닥으로 열 방향으로 증가할 수 있다. 그러나 T2는 상기 예들에 대해 대안으로 "오버컴플릿(overcomplete)"일 수 있어, T2로부터 야기되는 변환 계수들의 수는 심지어 영역(52) 내의 샘플들의 수보다 더 클 수 있다는 점이 주목되어야 한다.
그 다음, 잡음 감소기(20)는 스펙트럼(60)에 잡음 감소를 수행하여 제2 또는 잡음 감소된 스펙트럼(62)을 얻는다. 잡음 감소기(20)에 의한 잡음 감소가 어떻게 수행될 수 있는지의 일례가 다음에 제공될 것이다. 특히, 잡음 감소(20)는 스펙트럼 계수들의 임계치 설정을 수반할 수 있다. 특정 임계값보다 더 낮은 스펙트럼 계수들은 0으로 설정될 수 있거나, 임계값과 동일한 양만큼 0 쪽으로 시프트될 수 있다. 그러나 이러한 모든 예들은 단지 예시적일 뿐이며, 스펙트럼(62)이 되도록 스펙트럼(60)에 대해 잡음 감소를 수행하는 것과 관련하여 많은 대안들이 존재한다.
그 다음, 스펙트럼 구성기(22)는 스펙트럼 분해기(18)에 의해 수행된 스펙트럼 분해의 역을 수행한다. 즉, 스펙트럼 분해기(18)와 비교하여 스펙트럼 구성기(22)에 의해 역변환이 사용된다. 스펙트럼 구성기(22)는, 대안으로 합성이라고 불릴 수 있는 스펙트럼 구성의 결과로, 도 1의 64에서 해칭으로 나타낸 블록(46)에 대한 예측 채움의 제2 버전을 출력한다. 구성기(22)의 스펙트럼 구성은 전체 영역(52)의 수정된 버전이 된다고 이해되어야 한다. 그러나 한편으로는 블록(46) 그리고 다른 한편으로는 이웃(54)에 대해 서로 다른 해칭들로 나타낸 바와 같이, 블록(46)에 대응하는 부분만이 관심 대상이 되어 블록(46)의 예측 채움의 제2 버전을 형성한다. 이는 도 1에서 교차 해칭으로 표시된다. 이웃(54) 내의 영역(52)의 스펙트럼 구성은 도 1에서는 단순한 해칭을 사용하여 예시되며, 심지어 스펙트럼 구성기(22)에 의해 계산되지 않을 수 있다. 스펙트럼 구성기(22)에 의해 수행된 스펙트럼 분해(T2 -1)가 T2의 역, 즉 T2 -1 · T2 = 1로 남아있을 때 "반전성(inversity)"이 이미 충족될 수 있다는 것이 여기서 간략하게 주목된다. 즉, 양면 반전성이 필요하지 않다. 예를 들어, 위의 변환 예들에 추가하여, T2는 시어릿(shearlet) 또는 컨투어릿(contourlet) 변환일 수 있다. T2에 어떤 변환 타입이 사용되든, T2의 모든 기저 함수들이 전체 영역(52)에 걸쳐 확장된다면, 또는 모든 기저 함수들이 영역(52)의 적어도 큰 부분을 커버한다면, 유리하다.
주목할 만하게는, 이미 인코딩된, 그리고 관련 디코딩 측에 관한 한 재구성 가능한 버전을 또한 커버하는 영역(52)을 변환, 잡음 감소 및 재변환함으로써 스펙트럼(62)이 얻어졌다는 사실 때문에, 예측 채움의 제2 버전(64)은 더 낮은 예측 오차를 야기할 가능성이 있으며, 따라서 인코딩 스테이지(24)에 의해 블록(46)을 데이터 스트림(14)으로 최종 코딩하기 위한, 즉 잔차 코딩을 수행하기 위한 개선된 예측자를 나타낼 수 있다.
이미 위에서 언급했듯이, 선택기(42)가 선택적으로 인코더(10)에 존재할 수 있다. 존재하지 않는다면, 블록(46)의 예측 채움의 제2 버전(64)은 감산기(26)의 반전 입력에 들어가는 블록(46)의 최종 예측자를 필연적으로 나타내는데, 감산기(26)는 이에 따라 블록(46) 내의 화상(12)의 실제 콘텐츠로부터 최종 예측자를 감산함으로써 예측 잔차 또는 예측 오차를 계산한다. 그 다음, 인코딩 스테이지(24)는 스펙트럼 도메인으로 이 예측 잔차를 변환하는데, 여기서 양자화기(30)가 이 예측 잔차를 나타내는 각각의 스펙트럼 계수들로 양자화를 수행한다. 특히, 엔트로피 인코더(32)가 이러한 양자화 계수 레벨들을 데이터 스트림(14)으로 엔트로피 인코딩한다. 이미 앞서 언급한 바와 같이, 코딩/디코딩 순서(58)로 인해, 블록(46)의 예측 전에, 이웃(54) 내의 예측 잔차에 관한 스펙트럼 계수들이 이미 데이터 스트림(14) 내에 존재한다. 양자화기(36) 및 역변환기(28)는 디코딩 측에서 또한 재구성 가능한 버전으로 블록(46)의 예측 잔차를 복원하고, 가산기(40)는 이 예측 잔차를 최종 예측자에 더함으로써, 이미 앞서 언급한 바와 같이, 이웃(54)을 또한 포함하는, 즉 이웃(54)의 재구성된 버전(56)을 포함하는, 이미 인코딩된 부분들의 재구성된 버전을 드러내며, 이를 사용하여 영역(52)의 부분이 채워지고, 그 다음에 스펙트럼 분해기(18)에 의해 스펙트럼 분해된다.
그러나 선택적인 선택기(42)가 존재한다면, 선택기(42)는 블록(46)에 대한 예측 채움의 제1 버전(48)과 제2 버전(64) 사이의 선택을 수행할 수 있고 이러한 두 버전들 중 하나를 감산기(26)의 반전 입력 및 가산기(40)의 각각의 입력에 각각 들어가는 최종 예측자로서 사용할 수 있다.
블록(46)에 대한 예측 채움의 제2 또는 개선된 버전(64)이 블록들(18 내지 22) 및 선택적인 선택(42)에 의해 도출되는 방식은 인코더(10)에 대해 파라미터화 가능할 수 있다. 즉, 인코더(10)는 다음 옵션들 중 하나 이상에 대해 이러한 방식으로 파라미터화할 수 있는데, 파라미터화는 각각의 신호 전달에 의해 디코더에 시그널링된다. 예컨대, 인코더(10)는 버전(48 또는 64)의 선택을 결정하여 데이터 스트림으로의 신호 전달(70)에 의해 선택 결과를 시그널링할 수 있다. 다시, 선택(70)이 수행되는 세분성은 하위 화상 세분성일 수 있고, 예컨대 화상(12)이 세분되는 영역들 또는 블록들에서 이루어질 수 있다. 특히, 인코더(10)는 블록(46)과 같은 각각의 예측 블록에 대한 선택을 개별적으로 수행할 수 있고 그러한 각각의 예측 블록에 대한 데이터 스트림(14)으로의 신호 전달(70)을 통해 선택을 시그널링할 수 있다. 데이터 스트림(14) 내의 블록(46)과 같은 각각의 블록에 대해 단순한 플래그가 시그널링될 수 있다. 데이터 스트림(14)으로 신호 전달(70)을 코딩하기 위해 공간 예측이 사용될 수 있다. 예를 들어, 플래그는 이웃하는 블록(46)의 이웃하는 블록들에 대한 데이터 스트림(14)에 포함된 신호 전달(70)에 기초하여 공간적으로 예측될 수 있다. 추가로 또는 대안으로, 신호 전달(70)을 데이터 스트림으로 코딩하기 위해 콘텍스트 적응 엔트로피 코딩이 사용될 수 있다. 특정 블록(46)에 대한 코드 신호 전달(70)을 데이터 스트림(14)으로 엔트로피 코딩하는 데 사용되는 콘텍스트는 이웃하는 블록(46)에 대한 데이터 스트림(14)에 포함된 속성들, 이를테면 이러한 이웃하는 블록들에 대한 데이터 스트림(14)으로 시그널링되는 신호 전달(70)에 대해 결정될 수 있다.
추가로 또는 대안으로, 인코더(10)에 대한 추가 파라미터화 옵션은 영역(52)의 크기 또는 대안으로 말하자면, 이웃(54)의 크기일 수도 있다. 예를 들어, 인코더(10)는 블록(46)의 대응하는 코너에 동일하게 위치된 블록(46)의 코너(74)에 대향하는, 영역(52)의 코너의 위치를 설정할 수 있다. 신호 전달(72)은 이용 가능한 코너 위치들 또는 크기들의 리스트로의 인덱스에 의해 이 코너(76)의 위치 또는 영역(52)의 크기를 각각 나타낼 수 있다. 코너 위치들은 블록(46)의 상부 좌측 코너에 대해, 즉 영역(52)과 블록(46) 사이에서 공유되는 코너에 대향하는 블록(46)의 코너에 대한 벡터로서 표시될 수 있다. 영역(52)의 크기의 설정은 화상(12)이 세분되는 영역들 또는 블록들과 같은 하위 화상 세분성으로 또한 장치(10)에 의해 수행될 수 있으며, 이러한 영역들 또는 블록들은 예측 블록과 일치할 수 있는데, 즉 인코더(10)가 각각의 블록(46)에 대한 영역(52)의 크기의 설정을 개별적으로 수행할 수 있다. 신호 전달(72)은 신호 전달(70)과 관련하여 설명된 예측 코딩을 사용하여 그리고/또는 신호 전달(70)과 유사한 공간적 콘텍스트를 사용하는 콘텍스트 적응 엔트로피 코딩을 사용하여 데이터 스트림(14)으로 코딩될 수 있다.
신호 전달들(70, 72)에 대한 대안으로 또는 추가로, 장치(10)는 또한 잡음 감소기(20)에 의해 수행된 잡음 감소의 강도를 결정하도록 구성될 수 있다. 예컨대, 신호 전달(78)(도 3)에 의해, 장치(10)는 결정된 또는 선택된 강도를 시그널링할 수 있다. 예컨대, 신호 전달(78)은 임계치(κ)를 나타낼 수 있는데, 이는 본 명세서에서 아래에 설명되는 보다 수학적으로 제시되는 구현 예에서 또한 언급된다. 도 3은 잡음 감소기(20)가 이 임계치(κ)를 사용하여, κ에 이어지는 스펙트럼(60)의 모든 스펙트럼 컴포넌트들 또는 계수들을 0으로 설정하여 스펙트럼(62)이 되도록 하거나, 스펙트럼(60)을 임계치(κ) 아래로 클립하여 붕괴시키거나, 도 3에 예시된 바와 같이 0에서부터 시작하도록 임계치(κ)를 초과하는 스펙트럼(60)의 부분을 0으로 시프트할 수 있음을 예시한다. 신호 전달들(70, 72)에 관해 위에서 지적한 것과 같은 사실이 신호 전달(78)에 대해 참을 유지한다. 즉, 장치(10)는 잡음 감소 강도 또는 임계치(κ)의 설정을 화상 전역적으로 또는 하위 화상의 세분성으로 수행할 수 있다. 후자의 경우, 인코더(10)는 각각의 블록(46)에 대한 설정을 선택적으로 개별적으로 수행할 수 있다. 도 4와 관련하여 예시된 특정 실시예들에 따르면, 인코더(10)는 잡음 감소 강도 또는 임계치(κ)를 κ에 대한 한 세트의 가능한 값들 중에서 선택할 수 있는데, 그 세트 자체는 복수의 세트들(80) 중에서 선택된다. 세트들(80) 사이의 선택은 양자화 파라미터(Q)에 기초하여 수행될 수 있는데, 이를 기초로 양자화기(30)가 예측 잔차 신호의 양자화를 수행하고 역양자화기(36)가 역양자화를 수행한다. 그 다음, 선택된 세트(80)에서 κ에 대한 가능한 값들 중에서 실제로 사용될 실제 잡음 감소 강도 또는 임계치(κ)의 선택이 신호 전달(78)에 의해 시그널링된다. 양자화 파라미터(Q)는 데이터 스트림(14)에서 신호 전달(78)이 시그널링되는 세분성과는 다른 세분성으로 데이터 스트림(14)에서 시그널링될 수 있다고 이해되어야 한다. 예컨대, 양자화 파라미터(Q)는 슬라이스 기반 또는 화상 기반으로 데이터 스트림(14)에서 시그널링될 수 있는 한편, 시그널링(78)은 방금 개요가 서술된 바와 같이, 각각의 블록(46)에 대해 데이터 스트림(14)에서 시그널링될 수 있다. 위의 지적들과 유사하게, 신호 전달(78)은 예측 코딩 및/또는 공간적 콘텍스트를 사용하는 콘텍스트 적응 엔트로피 코딩을 사용하여 데이터 스트림 내에서 전달될 수 있다.
도 5는 도 1의 장치에 맞는 데이터 스트림(14)으로부터 화상(12), 화상(12)의 재구성된 버전을 블록 기반 예측 디코딩하기 위한 장치를 도시한다. 대체로, 도 5의 디코더(100)의 내부 구조는 도 1의 장치(10)에 의해 최종적으로 선택된 이러한 코딩 파라미터들에 관한 작업에 관한 한 인코더(10)의 내부 구조와 일치한다. 이에 따라, 도 5는 도 5의 장치(100)가 컴포넌트들(40, 16, 18, 20, 22) 및 선택 신호(42)가 도 1과 관련하여 위에서 설명되고 도시된 방식으로 직렬로 접속되는 예측 루프를 포함한다는 것을 보여준다. 재구성될 신호의 재구성된 부분들, 즉 화상(12)이 가산기(40)의 출력에서 발생할 때, 이 출력은 디코더(100)의 출력을 나타낸다. 선택적으로, 후 필터들과 같은 화상 개선 모듈들이 출력 앞에 위치될 수 있다.
장치(10)가 특정 코딩 파라미터를 선택할 자유가 있을 때마다, 장치(10)는 예컨대, 특정 최적화 기준, 이를테면 예컨대, 레이트/왜곡 비용 측정을 최대화하기 위해 이 코딩 파라미터를 선택한다는 점이 고려되어야 한다. 데이터 스트림(14)에서의 신호 전달은 이후에 인코더(10) 및 디코더(100)에 의해 수행된 예측을 동기화되게 하는 데 사용된다. 디코더(100)의 대응하는 모듈들 또는 컴포넌트들은 인코더(10)에 의해 데이터 스트림(14)에 포함된 그리고 선택된 코딩 파라미터를 시그널링하는 각각의 신호 전달에 의해 제어될 수 있다. 예컨대, 디코더(100)의 예측 제공기(16)는 데이터 스트림(14)의 코딩 파라미터들을 통해 제어된다. 이러한 코딩 파라미터들은 예컨대, 예측 모드 그리고 예컨대, 표시된 예측 모드에 대한 예측 파라미터들을 나타낸다. 코딩 파라미터들은 장치(10)에 의해 선택된다. 예측 파라미터들(102)에 대한 일례가 위에서 언급되었다. 코딩 파라미터들(102) 및 예측 파라미터들에 대해 각각 방금 개요가 설명된 것과 동일한 상황은 신호 전달들(70, 72, 78) 각각에 대해서도 사실이며, 이들은 모두 선택적인데, 즉 전혀 존재하지 않거나, 이들 중 하나, 둘 또는 전부가 존재할 수 있다. 장치(10)의 인코딩 측에서, 각각의 신호 전달은 어떤 기준들을 최적화하도록 선택되고, 선택된 파라미터는 각각의 신호 전달에 의해 표시된다. 신호 전달(70, 72, 78)은 예측 채움 버전 사이의 선택과 관련하여 선택적인 선택기(42), 이를테면, 영역(52)의 좌측 상부 꼭지점에 대한 상대 벡터를 나타내는 것을 통한 영역(52)의 크기에 관련된 스펙트럼 분해기(18), 및 이를테면, 사용될 임계치를 나타내는 것을 통한 잡음 감소의 강도에 관한 잡음 감소기(20)의 제어를 조정한다. 재구성기(34)의 가산기(40)에 이어 예측 제공기(16), 스펙트럼 분해기(18), 잡음 감소기(20) 및 스펙트럼 구성기(22) 그리고 선택적으로 선택기(42)가 직렬로 접속되는, 방금 개요가 서술된 루프에는 가산기(40)의 다른 입력, 즉 선택기(42)에 접속되지 않은 입력을 통해 새로운 잔차 데이터가 계속해서 공급된다. 특히, 엔트로피 코더(132)는 엔트로피 인코더(32)의 역을 수행하는데, 즉 엔트로피 코더(132)가 앞서 언급한 코딩/디코딩 순서(58)를 따라 직렬로 블록들(46)과 관련되는 방식으로 데이터 스트림(14)으로부터 스펙트럼 도메인의 잔차 신호, 즉 계수 레벨들을 동일하게 엔트로피 디코딩한다. 엔트로피 디코더(132)는 이러한 계수 레벨들을 재구성 스테이지(34)로 전달하는데, 재구성 스테이지(34)는 역양자화기(36)에서 계수 레벨들을 역양자화하고 이를 역변환기(38)에 의해 공간 도메인으로 변환하며, 이와 같이 얻어진 잔차 신호는 예측 채움의 제1 버전(48) 또는 제2 버전(64)인 최종 예측 신호에 더해진다.
위의 내용을 요약하면, 디코더(100)는 예측 제공기(16)에 의한 예측을 수행하기 위한 동일한 정보 기반에 액세스하며, 데이터 스트림(14)으로부터 획득된 예측 신호를 사용하여 현재 예측된 블록(46)의 이웃(54) 내의 샘플들을 블록들(32, 36, 38)의 시퀀스를 통해 이미 재구성하였다. 존재한다면, 신호 전달들(70, 78, 72)은 인코더와 디코더(100) 사이의 동기화를 가능하게 한다. 위에서 개요가 기술된 바와 같이, 디코더(100)는 대응하는 파라미터, 즉 선택기(42)에 의한 선택, 스펙트럼 분해기(18)에서의 영역(52)의 크기 및/또는 잡음 감소기(20)에서의 잡음 감소 강도를, 세분성이 앞서 이미 언급된 바와 같이, 이러한 파라미터들 사이에 서로 다를 수 있는 하위 화상 세분성으로 달라지도록 구성될 수 있다. 디코더(100)는 이러한 파라미터들을 이러한 세분성으로 변화시키는데, 신호 전달(70, 72 및/또는 78)은 그 세분성으로 데이터 스트림(14)에서 시그널링될 수 있다. 위에서 개요가 기술된 바와 같이, 공간 디코딩은 데이터 스트림(14)으로부터의 신호 전달(70, 72, 78) 중 임의의 신호 전달을 디코딩하기 위해 장치(100)에 의해 사용될 수 있다. 추가로 또는 대안으로, 공간적 콘텍스트를 사용하는 콘텍스트 적응 엔트로피 디코딩이 사용될 수 있다. 또한, 신호 감소(78), 즉 잡음 감소(20)를 제어하는 신호 전달과 관련하여, 장치(100)는 도 4와 관련하여 위에서 개요가 서술된 바와 같이, 양자화 파라미터(Q)에 기초하여 가능한 잡음 감소 강도들의 여러 서브세트들 중 하나를 선택하도록 구성될 수 있는데, 장치(100)는 현재 예측된 블록(46)이 위치하는 영역에 대해 데이터 스트림(14)으로부터 결정한 다음, 미리 선택된 세트의 가능한 잡음 감소 강도들 중에서 하나를 선택하는 신호 전달(78)을 기초로 블록(46)에 대한 잡음 감소에 실제로 사용될 잡음 감소 강도를 결정한다. 예를 들어, 각각의 세트(80)는 8개의 가능한 잡음 감소 강도들을 포함할 수 있다. 하나보다 많은 세트(80)가 선택되기 때문에, 모든 세트들(80)에 의해 커버되는 가능한 잡음 감소 강도들의 전체 수는 세트들(80)의 수의 8배일 수 있다. 그러나 세트들(80)은 오버랩될 수 있는데, 즉 일부 가능한 잡음 감소 강도들은 하나보다 많은 세트(80)의 멤버일 수 있다. 당연히, 여기서는 8개가 단지 예로서 사용되었으며, 세트(80)당 가능한 잡음 감소 강도들의 수는 8개와는 다를 수 있으며, 심지어 세트들(80) 사이에 다를 수 있다.
위에서 개요가 기술된 실시예들에 관련하여 많은 변형들이 가능하다. 예컨대, 인코딩 스테이지(24) 및 재구성 스테이지(34)는 변환 기반일 필요는 없다. 즉, 예측 잔차는 스펙트럼 도메인을 사용하는 것 이외의 방식으로 데이터 스트림(14)으로 코딩될 수 있다. 또한, 가능하게는, 개념은 무손실로 작동할 수 있다. 분해기(18)와 변환기(28) 사이의 관계에 관해 앞서 설명한 바와 같이, 역변환기(38)에 의한 역변환은 구성기(22)에 의해 수행되는 변환과 동일한 타입일 수 있다.
위의 개념은 초기 예측자 및 주변의 재구성된 샘플들에 의존하는 비선형 변환 도메인 기반 예측을 야기하는 방식으로 구현될 수 있다. 위에서 개요가 기술된 개념은 비디오 코딩에서 예측 신호를 발생시키는 데 사용될 수 있다. 다시 말해서, 이 개념의 기반이 되는 원리는 다음과 같이 설명될 수 있다. 첫 번째 단계에서, 화상 또는 비디오 디코더는 어떤 기반이 되는 화상 또는 비디오 압축 표준에서와 같이, 예컨대 움직임 보상 또는 인트라 또는 공간 화상 예측에 의해 시작 예측 신호를 발생시킨다. 두 번째 단계에서, 디코더는 다음 단계들로 진행한다. 먼저, 이는 예측 신호와 이미 재구성된 신호의 결합으로 구성된 확장된 신호를 정의한다. 그 다음, 디코더는 확장된 예측 신호에 선형 분석 변환을 적용한다. 다음으로, 디코더는 예를 들어, 비선형 임계치 설정을 변환된 확장된 예측 신호에 적용한다. 마지막 단계에서, 디코더는 이전 단계의 결과에 선형 합성 변환을 적용하고, 시작 예측 신호를 예측 신호의 도메인으로 제한된 합성 변환의 결과로 대체한다.
다음 섹션에서는, 개념의 보다 수학적으로 제시된 설명을 구현 예로서 제공한다.
각각의 컬러 컴포넌트(cmp)에 대해 블록(46)(도 2)
Figure 112022083238541-pat00001
상의 비디오 프레임의 콘텐츠가 디코더에 의해 생성될 하이브리드 비디오 코딩 표준을 일례로 고려하며,
여기서 k 1,cmp , k 2,cmp , l 1,cmp , l 1,cmp ∈ Z(k 1,cmp < k 2,cmp 그리고 l 1,cmp < l 2,cmp )이다. 모든 컬러 컴포넌트(cmp)에 대해, 후자의 콘텐츠는
Figure 112022083238541-pat00002
함수로 주어진다.
하이브리드 비디오 코딩 표준은 현재 블록(B cmp)에 대한 예측 코딩에 의해 동작한다고 가정한다.
이것에 의해, 표준의 일부로서, 모든 컴포넌트(cmp)에 대해, 디코더는 이미 디코딩된 비트스트림에 의해 고유하게 결정되는 방식으로 도 2의 예측 신호(48)(
Figure 112022083238541-pat00003
)를 구성하는 것을 의도한다. 이 예측 신호는 예를 들면, 인트라 화상 예측에 의해 또는 움직임 보상 예측에 의해 발생될 수 있다. 이 예측 코딩의 다음과 확장에 대한 그리고 이에 따라 새로운 예측 신호(predcmp)의 다음의 발생에 대한 저작권을 적용한다.
1. 비트스트림으로부터 디코더가 모든 컴포넌트(cmp)에 대해 다음 두 옵션들 중 정확히 하나가 참임을 결정할 수 있도록 표준이 변경된다:
(ⅰ) 옵션 1: 새로운 예측 방법은 적용되지 않는다.
(ⅱ) 옵션 2: 새로운 예측 방법이 적용된다.
2. 디코더가 단계 1에서, 주어진 컴포넌트(cmp)에 대해 옵션 2가 참이라고 결정한다면, 디코더가 비트스트림으로부터 다음 데이터를 결정하는 것이 가능하도록 표준이 변경되는데:
(ⅰ) 블록 또는 L자형 이웃(54)(도 2) 상에서 다음과 같도록 고유한 정수들
Figure 112022083238541-pat00004
:
Figure 112022083238541-pat00005
,
이미 구성된 이미지(
Figure 112022083238541-pat00006
)가 디코더가 이용 가능하다.
Figure 112022083238541-pat00007
는 이웃(54)의 크기를 정의하며 72에 의해 시그널링될 수 있다.
(ⅱ)
Figure 112022083238541-pat00008
인 고유한 정수, 선형 맵인 고유 분석 변환 T
Figure 112022083238541-pat00009
그리고 선형 맵인 고유 합성 변환 S
Figure 112022083238541-pat00010
S는 도 1 및 도 5에서 60이다. 예를 들어, T는 이산 코사인 또는 이산 사인 변환일 수 있는데, 이 경우
Figure 112022083238541-pat00011
그리고 S = T -1이다.
그러나 또한 오버컴플릿 변환들이 사용될 수 있으며, 이 경우
Figure 112022083238541-pat00012
이다.
(ⅲ) 고유한 임계치
Figure 112022083238541-pat00013
및 고유한 임계치 설정 연산자
Figure 112022083238541-pat00014
, 이는 임계치
Figure 112022083238541-pat00015
에 의한 하드 임계치 설정 연산자로서 주어지거나, 여기서
Figure 112022083238541-pat00016
는 다음에 의해 정의되고:
Figure 112022083238541-pat00017
아니면 임계치
Figure 112022083238541-pat00018
에 의한 소프트 임계치 설정 연산자로서 주어지는데, 여기서
Figure 112022083238541-pat00019
는 다음에 의해 정의된다:
Figure 112022083238541-pat00020
여기서
Figure 112022083238541-pat00021
이다. 임계치 설정은 도 1 및 도 5의 잡음 감소(20)의 일부로서 이루어질 수 있고, κ는 78에 의해 시그널링될 수 있다.
예를 들어, 마지막 3개의 항목들에 도입된 파라미터들이 현재 비트스트림으로부터 디코더에 의해 다음과 같이 결정될 수 있도록 기본 코덱이 변경될 수 있다. 디코더는 현재 비트스트림으로부터 인덱스를 결정하고, 이 인덱스를 사용하여 디코더는 미리 정의된 룩업 테이블로부터 정수들(
Figure 112022083238541-pat00022
), 변환들(T 및 S)뿐만 아니라 임계치(κ) 및 특정 임계치 설정 연산을 결정한다. 후자의 룩업 테이블은 디코더에 이미 이용 가능한 일부 추가 파라미터들, 예를 들어 양자화 파라미터에 의존할 수도 있다. 즉, 70, 72 및 78에 추가하여 또는 대안으로, 구성기(22) 및 분해기(18)에 의해 사용되는 변환 및 그 역을 변화시킬 신호 전달이 있을 수 있다. 신호 전달 및 변화는 화상 전역적으로 또는 하위 화상의 세분성으로 그리고 공간 예측을 사용하여 그리고/또는 공간적 콘텍스트를 사용하는 엔트로피 코딩/디코딩을 사용하여 이루어질 수 있다.
3. 디코더가 1 단계에서, 주어진 컴포넌트(cmp)에 대해 옵션 2가 참이라고 결정한다면, 디코더가 블록(Bcmp)을 다음과 같이 더 큰 블록으로 확장하도록 표준이 변경되는데:
Figure 112022083238541-pat00023
,
여기서 k' 1,cmp , l' 1,cmp 는 단계 2에서와 같고, 확장된 예측 신호(
Figure 112022083238541-pat00024
)를 다음에 의해 정의하며:
Figure 112022083238541-pat00025
,
여기서 Brec,cmp 및 reccmp는 단계 2에서와 같다. 신호(predcmp,ext)는 정식으로
Figure 112022083238541-pat00026
내의 벡터로 간주될 수 있다.
다음에, 디코더는 도 1 및 도 5에서 새로운 예측 신호(64)를 정의하는데,
Figure 112022083238541-pat00027
에 의해
Figure 112022083238541-pat00028
이 되며,
여기서 분석 변환(T), 임계치(κ), 임계치 설정 연산자(
Figure 112022083238541-pat00029
) 및 합성 변환(S)은 단계 2에서와 같다.
4. 디코더가 단계 1에서, 주어진 컴포넌트(cmp)에 대해 옵션 2가 참이라고 결정했다면, 디코더는 예측 신호
Figure 112022083238541-pat00030
를
Figure 112022083238541-pat00031
로 대체하도록 통상의 코덱이 변경되며, 여기서
Figure 112022083238541-pat00032
는 이전 단계에서와 같다. 신호 전달(70)은 도 1 및 도 5에 도시된 바와 같이 사용될 수 있다.
이미 위에서 언급했듯이, 코덱은 비디오 코덱일 필요가 없다.
일부 양상들은 장치와 관련하여 설명되었지만, 이러한 양상들은 또한 대응하는 방법의 설명을 나타내며, 여기서 블록 또는 디바이스는 방법 단계 또는 방법 단계의 특징에 대응한다는 점이 명백하다. 비슷하게, 방법 단계와 관련하여 설명한 양상들은 또한 대응하는 장치의 대응하는 블록 또는 항목 또는 특징의 설명을 나타낸다. 방법 단계들의 일부 또는 전부가 예를 들어, 마이크로프로세서, 프로그래밍 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 사용하여) 실행될 수 있다. 일부 실시예들에서, 가장 중요한 방법 단계들 중 하나 또는 그보다 많은 단계가 이러한 장치에 의해 실행될 수 있다.
본 발명의 인코딩된 화상(또는 비디오) 신호는 디지털 저장 매체 상에 저장될 수 있고 또는 송신 매체, 예컨대 무선 송신 매체 또는 유선 송신 매체, 예컨대 인터넷을 통해 송신될 수 있다.
특정 구현 요건들에 따라, 본 발명의 실시예들은 하드웨어로 또는 소프트웨어로 구현될 수 있다. 구현은 각각의 방법이 수행되도록 프로그래밍 가능 컴퓨터 시스템과 협력하는(또는 협력할 수 있는) 전자적으로 판독 가능 제어 신호들이 저장된 디지털 저장 매체, 예를 들어 플로피 디스크, DVD, 블루레이, CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리를 사용하여 수행될 수 있다. 따라서 디지털 저장 매체는 컴퓨터 판독 가능할 수 있다.
본 발명에 따른 일부 실시예들은 본 명세서에서 설명한 방법들 중 하나가 수행되도록, 프로그래밍 가능 컴퓨터 시스템과 협력할 수 있는 전자적으로 판독 가능 제어 신호들을 갖는 데이터 반송파를 포함한다.
일반적으로, 본 발명의 실시예들은 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행될 때, 방법들 중 하나를 수행하기 위해 작동하는 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있다. 프로그램 코드는 예를 들어, 기계 판독 가능 반송파 상에 저장될 수 있다.
다른 실시예들은 기계 판독 가능 반송파 상에 저장된, 본 명세서에서 설명한 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.
즉, 본 발명의 방법의 한 실시예는 이에 따라, 컴퓨터 상에서 컴퓨터 프로그램이 실행될 때 본 명세서에서 설명한 방법들 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
따라서 본 발명의 방법들의 추가 실시예는 본 명세서에서 설명한 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함하여 그 위에 기록된 데이터 반송파(또는 디지털 저장 매체, 또는 컴퓨터 판독 가능 매체)이다. 데이터 반송파, 디지털 저장 매체 또는 레코딩된 매체는 통상적으로 유형적이고 그리고/또는 비-일시적이다.
따라서 본 발명의 방법의 추가 실시예는 본 명세서에서 설명한 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 신호들의 데이터 스트림 또는 시퀀스이다. 신호들의 데이터 스트림 또는 시퀀스는 예를 들어, 데이터 통신 접속을 통해, 예를 들어 인터넷을 통해 전송되도록 구성될 수 있다.
추가 실시예는 처리 수단, 예를 들어 본 명세서에서 설명한 방법들 중 하나를 수행하도록 구성 또는 적응된 컴퓨터 또는 프로그래밍 가능 로직 디바이스를 포함한다.
추가 실시예는 본 명세서에서 설명한 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
본 발명에 따른 추가 실시예는 본 명세서에서 설명한 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 수신기에(예를 들어, 전자적으로 또는 광학적으로) 전송하도록 구성된 장치 또는 시스템을 포함한다. 수신기는 예를 들어, 컴퓨터, 모바일 디바이스, 메모리 디바이스 등일 수 있다. 장치 또는 시스템은 예를 들어, 컴퓨터 프로그램을 수신기에 전송하기 위한 파일 서버를 포함할 수 있다.
일부 실시예들에서, 프로그래밍 가능 로직 디바이스(예를 들어, 필드 프로그래밍 가능 게이트 어레이)는 본 명세서에서 설명한 방법들의 기능들 중 일부 또는 전부를 수행하는 데 사용될 수 있다. 일부 실시예들에서, 필드 프로그래밍 가능 게이트 어레이는 본 명세서에서 설명한 방법들 중 하나를 수행하기 위해 마이크로프로세서와 협력할 수 있다. 일반적으로, 방법들은 바람직하게 임의의 하드웨어 장치에 의해 수행된다.
본 명세서에서 설명한 장치는 하드웨어 장치를 사용하여, 또는 컴퓨터를 사용하여, 또는 하드웨어 장치와 컴퓨터의 결합을 사용하여 구현될 수 있다.
본 명세서에서 설명된 장치 또는 본 명세서에서 설명된 장치의 임의의 컴포넌트들은 적어도 부분적으로는 하드웨어로 그리고/또는 소프트웨어로 구현될 수 있다.
본 명세서에서 설명한 방법들은 하드웨어 장치를 사용하여, 또는 컴퓨터를 사용하여, 또는 하드웨어 장치와 컴퓨터의 결합을 사용하여 수행될 수 있다.
본 명세서에서 설명한 방법들 또는 본 명세서에서 설명한 장치의 임의의 컴포넌트들은 적어도 부분적으로는 하드웨어에 의해 그리고/또는 소프트웨어에 의해 수행될 수 있다.
앞서 설명한 실시예들은 단지 본 발명의 원리들에 대한 예시일 뿐이다. 본 명세서에서 설명한 배열들 및 세부사항들의 수정들 및 변형들이 다른 당업자들에게 명백할 것이라고 이해된다. 따라서 이는 본 명세서의 실시예들의 묘사 및 설명에 의해 제시된 특정 세부사항들로가 아닌, 첨부된 특허청구범위로만 한정되는 것을 취지로 한다.

Claims (49)

  1. 화상(12)의 블록 기반 예측 디코딩을 위한 장치로서,
    적어도 하나의 프로세서 및 메모리를 포함하고, 상기 메모리와 함께 작동하는 상기 프로세서는:
    상기 화상(12)의 미리 결정된 블록(46)의 예측 채움의 제1 버전(48)을 얻기 위해 공간 및/또는 시간 예측을 사용하여 상기 미리 결정된 블록(46)을 예측하고;
    상기 미리 결정된 블록(46)의 예측 채움의 제1 버전(48) 및 상기 미리 결정된 블록(46)의 이웃(54)의 재구성된 버전으로 구성된 영역(52)의 제1 스펙트럼(60)을 얻기 위해 상기 영역(52)을 스펙트럼 분해하고;
    제2 스펙트럼(62)을 얻기 위해 상기 제1 스펙트럼(60)에 대해 잡음 감소를 수행하고;
    상기 미리 결정된 블록(46)의 예측 채움의 제2 버전(64)을 포함하는, 상기 영역(52)의 수정된 버전을 얻기 위해 상기 제2 스펙트럼(62)을 스펙트럼 구성하도록 구성되며,
    데이터 스트림으로 부터 제1 잔차 신호를 디코딩하고 또한 상기 미리 결정된 블록의 상기 이웃(54)의 상기 재구성된 버전을 획득하기 위해 사기 제1 잔차 신호를 사용하는 상기 이웃에 대한 예측 신호를 수정하고, 또한
    상기 데이터 스트림으로 부터 제2 잔차 신호를 디코딩하고 상기 미리 결정된 블록의 상기 재구성된 버전을 획득하기 위해 상기 제2 잔차 신호를 사용하여 상기 미리 결정된 블록의 상기 예측 채움의 상기 제2 버전을 수정하여 ,
    상기 예측 채움의 제2 버전(64)에 기초하여 데이터 스트림으로부터 상기 미리 결정된 블록(46)의 재구성된 버전을 디코딩하도록 구성되는,
    화상(12)의 블록 기반 예측 디코딩을 위한 장치.
  2. 삭제
  3. 제1 항에 있어서,
    상기 프로세서는 상기 미리 결정된 블록(46)의 이웃(54)이 상기 미리 결정된 블록(46)의 원주의 연속한 절반 이상으로의 상기 미리 결정된 블록(46)의 공간 확장이 되도록 구성되는,
    화상(12)의 블록 기반 예측 디코딩을 위한 장치.
  4. 제1 항에 있어서,
    상기 미리 결정된 블록(46)은 직사각형이고, 상기 미리 결정된 블록(46)의 원주는 상기 미리 결정된 블록(46)의 원주를 따라 시계 방향으로 순차적으로 배열된 제1 면, 제2 면, 제3 면 및 제4 면(461 - 464)으로 구성되며,
    상기 미리 결정된 블록(46)의 상기 이웃(54)은 제1 면(461) 및 제4 면(464)을 넘는 상기 미리 결정된 블록(46)의 공간 확장인,
    화상(12)의 블록 기반 예측 디코딩을 위한 장치.
  5. 제4 항에 있어서,
    상기 영역(52)은 직사각형이고, 상기 영역(52)의 원주는 상기 미리 결정된 블록(46)의 제2 면 및 제3 면을 포함하는,
    화상(12)의 블록 기반 예측 디코딩을 위한 장치.
  6. 제1 항에 있어서,
    상기 프로세서는 스펙트럼 분해와 스펙트럼 구성이 서로 역이 되도록 구성되며,
    상기 스펙트럼 분해는 DST, DCT 또는 웨이블릿 변환인,
    화상(12)의 블록 기반 예측 디코딩을 위한 장치.
  7. 제1 항에 있어서,
    상기 프로세서는 상기 제1 스펙트럼(60)을 임계치 설정하도록 구성되는,
    화상(12)의 블록 기반 예측 디코딩을 위한 장치.
  8. 제1 항에 있어서,
    상기 프로세서는 상기 데이터 스트림(14)으로부터의 잔차 신호를 디코딩하고 상기 잔차 신호를 사용하여 상기 미리 결정된 블록(46)의 예측 채움의 제2 버전(64)을 보정하도록 구성되는,
    화상(12)의 블록 기반 예측 디코딩을 위한 장치.
  9. 제8 항에 있어서,
    상기 프로세서는 스펙트럼 도메인에서 상기 데이터 스트림(14)으로부터의 상기 잔차 신호를 디코딩하고, 상기 잔차 신호를 공간 도메인으로 변환하고, 그리고 상기 공간 도메인에서 상기 보정을 수행하도록 구성되는,
    화상(12)의 블록 기반 예측 디코딩을 위한 장치.
  10. 제9 항에 있어서,
    상기 프로세서는 상기 스펙트럼 구성을 위해 스펙트럼 구성기(22)에 의해 또한 사용되는 변환 타입을 사용하여 상기 잔차 신호의 변환을 수행하도록 구성되는,
    화상(12)의 블록 기반 예측 디코딩을 위한 장치.
  11. 제1 항에 있어서,
    상기 프로세서는 상기 데이터 스트림(14)에서의 제1 신호 전달(signalization)(70)에 따라 상기 예측 채움의 제1 버전(48)의 사용과 상기 예측 채움의 제2 버전(64)의 사용 간에 전환하도록 구성되는,
    화상(12)의 블록 기반 예측 디코딩을 위한 장치.
  12. 제11 항에 있어서,
    상기 프로세서는 하위 화상 세분성(sub-picture granularity)으로 상기 데이터 스트림(14)으로부터 상기 제1 신호 전달(70)을 디코딩하도록 구성되는,
    화상(12)의 블록 기반 예측 디코딩을 위한 장치.
  13. 제11 항에 있어서,
    상기 프로세서는 공간 예측을 사용하여 그리고/또는 공간 의존 콘텍스트를 사용하는 엔트로피 디코딩을 사용하여 상기 데이터 스트림(14)으로부터 상기 제1 신호 전달(70)을 디코딩하도록 구성되는,
    화상(12)의 블록 기반 예측 디코딩을 위한 장치.
  14. 제1 항에 있어서,
    상기 프로세서는 상기 데이터 스트림(14)에서의 제2 신호 전달(72)에 따라 상기 이웃(54)의 크기를 설정하도록 구성되는,
    화상(12)의 블록 기반 예측 디코딩을 위한 장치.
  15. 제14 항에 있어서,
    상기 프로세서는 하위 화상 세분성으로 상기 데이터 스트림(14)으로부터 상기 제2 신호 전달(72)을 디코딩하도록 구성되는,
    화상(12)의 블록 기반 예측 디코딩을 위한 장치.
  16. 제14 항에 있어서,
    상기 프로세서는 공간 예측을 사용하여 그리고/또는 공간 의존 콘텍스트를 사용하는 엔트로피 디코딩을 사용하여 상기 데이터 스트림(14)으로부터 상기 제2 신호 전달(72)을 디코딩하도록 구성되는,
    화상(12)의 블록 기반 예측 디코딩을 위한 장치.
  17. 제1 항에 있어서,
    상기 프로세서는 상기 데이터 스트림(14)에서의 제3 신호 전달(78)에 따라 상기 잡음 감소의 강도를 설정하도록 구성되는,
    화상(12)의 블록 기반 예측 디코딩을 위한 장치.
  18. 제17 항에 있어서,
    상기 프로세서는 하위 화상 세분성으로 상기 데이터 스트림(14)으로부터 상기 제3 신호 전달(78)을 디코딩하도록 구성되는,
    화상(12)의 블록 기반 예측 디코딩을 위한 장치.
  19. 제17 항에 있어서,
    상기 프로세서는 공간 예측을 사용하여 그리고/또는 공간 의존 콘텍스트를 사용하는 엔트로피 디코딩을 사용하여 상기 데이터 스트림(14)으로부터 상기 제3 신호 전달(78)을 디코딩하도록 구성되는,
    화상(12)의 블록 기반 예측 디코딩을 위한 장치.
  20. 제17 항에 있어서,
    상기 프로세서는 상기 잡음 감소의 강도의 설정시, 상기 데이터 스트림(14)으로부터 상기 미리 결정된 블록을 재구성하기 위해 재구성기(34)에 의해 적용되는 양자화 파라미터에 기초하여 한 세트(80)의 가능한 강도들을 선택하고, 그리고 상기 제3 신호 전달(78)을 상기 선택된 세트(80)의 가능한 강도들에 대한 인덱스로서 사용함으로써 상기 강도가 상기 한 세트(80)의 가능한 강도들 중 하나로 설정되게 상기 설정을 수행하도록 구성되는,
    화상(12)의 블록 기반 예측 디코딩을 위한 장치.
  21. 제1 항에 있어서,
    상기 미리 결정된 블록(46)의 상기 이웃(54)은 상기 미리 결정된 블록(46)에 공간적으로 인접하는 상기 화상(12) 내의 영역인,
    화상(12)의 블록 기반 예측 디코딩을 위한 장치.
  22. 제21 항에 있어서,
    상기 영역은 L자형이며 또한 상기 미리 결정된 블록(46)의 상부 및 좌측 면에 인접하는,
    화상(12)의 블록 기반 예측 디코딩을 위한 장치.
  23. 제1 항에 있어서,
    상기 스펙트럼 분석기(18)는 상기 스펙트럼이 상기 영역의 이산 코사인 변환, 상기 영역의 이산 사인 변환, 또는 상기 영역의 웨이블릿 변환 이도록 상기 영역을 스펙트럼 분해하도록 구성되는,
    화상(12)의 블록 기반 예측 디코딩을 위한 장치.
  24. 화상(12)의 블록 기반 예측 인코딩을 위한 장치로서,
    상기 장치는 적어도 하나의 프로세서 및 메모리를 포함하고, 상기 메모리와 함께 작동하는 상기 프로세서는:
    상기 화상(12)의 미리 결정된 블록(46)의 예측 채움의 제1 버전(48)을 얻기 위해 공간 및/또는 시간 예측을 사용하여 상기 미리 결정된 블록(46)을 예측하고;
    상기 미리 결정된 블록(46)의 예측 채움의 제1 버전(48) 및 상기 미리 결정된 블록(46)의 이웃(54)의 이전에 인코딩된 버전으로 구성된 영역(52)의 제1 스펙트럼(60)을 얻기 위해 상기 영역(52)을 스펙트럼 분해하고;
    제2 스펙트럼(62)을 얻기 위해 상기 제1 스펙트럼(60)에 대해 잡음 감소를 수행하고;
    상기 미리 결정된 블록(46)의 예측 채움의 제2 버전(64)을 포함하는, 상기 영역(52)의 수정된 버전을 얻기 위해 상기 제2 스펙트럼(62)을 스펙트럼 구성하도록 구성되며,
    상기 미리 결정된 블록의 상기 이웃의 상기 이전에 인코딩된 버전을 획득하기 위하여 상기 이웃에 대한 예측 신호를 수정하는 데이터 스트림 내로 제1 잔차 신호를 인코딩하고, 또한
    상기 미리 결정된 블록의 인코딩된 버젼을 획득하기 위하여 상기 미리 결정된 블록의 상기 예측 채움의 상기 제2 버전을 수정하는 상기 데이터 스트림 내조 제2 잔차 신호를 인코딩하여,
    상기 예측 채움의 상기 제2 버전(64)에 기초하여 상기 미리 결정된 블록(46)을 데이터 스트림(14)으로 인코딩하도록 구성되는,
    화상(12)의 블록 기반 예측 인코딩을 위한 장치.
  25. 삭제
  26. 제24 항에 있어서,
    상기 프로세서는 상기 미리 결정된 블록(46)의 이웃(54)이 상기 미리 결정된 블록(46)의 원주의 연속한 절반 이상으로의 상기 미리 결정된 블록(46)의 공간 확장이 되도록 구성되는,
    화상(12)의 블록 기반 예측 인코딩을 위한 장치.
  27. 제24 항에 있어서,
    상기 미리 결정된 블록(46)은 직사각형이고, 상기 미리 결정된 블록(46)의 원주는 상기 미리 결정된 블록(46)의 원주를 따라 시계 방향으로 순차적으로 배열된 제1 면, 제2 면, 제3 면 및 제4 면(461 - 464)으로 구성되며,
    상기 미리 결정된 블록(46)의 상기 이웃(54)은 제1 면(461) 및 제4 면(464)을 넘는 상기 미리 결정된 블록(46)의 공간 확장인,
    화상(12)의 블록 기반 예측 인코딩을 위한 장치.
  28. 제27 항에 있어서,
    상기 영역(52)은 직사각형이고, 상기 영역(52)의 원주는 상기 미리 결정된 블록(46)의 제2 면(462) 및 제3 면(463)을 포함하는,
    화상(12)의 블록 기반 예측 인코딩을 위한 장치.
  29. 제24 항에 있어서,
    상기 프로세서는 스펙트럼 분해와 스펙트럼 구성이 서로 역이 되도록 구성되며,
    상기 스펙트럼 분해는 DST, DCT 또는 웨이블릿 변환인,
    화상(12)의 블록 기반 예측 인코딩을 위한 장치.
  30. 제24 항에 있어서,
    상기 프로세서는 상기 제1 스펙트럼(60)을 임계치 설정하도록 구성되는,
    화상(12)의 블록 기반 예측 인코딩을 위한 장치.
  31. 제24 항에 있어서,
    상기 프로세서는 잔차 신호를 데이터 스트림(14)으로 인코딩하도록 구성되며,
    상기 잔차 신호는 상기 미리 결정된 블록의 예측 채움의 제2 버전의 예측 오차를 보정하는,
    화상(12)의 블록 기반 예측 인코딩을 위한 장치.
  32. 제31 항에 있어서,
    상기 프로세서는 공간 도메인에서 상기 예측 오차를 결정하고, 상기 예측 오차를 스펙트럼 도메인으로 변환하고, 그리고 상기 잔차 신호를 상기 스펙트럼 도메인에서의 상기 데이터 스트림(14)으로 인코딩하도록 구성되는,
    화상(12)의 블록 기반 예측 인코딩을 위한 장치.
  33. 제32 항에 있어서,
    상기 프로세서는 상기 스펙트럼 분해를 위해 상기 스펙트럼 분해기(18)에 의해 또한 사용되는 변환 타입을 사용하여 상기 잔차 신호의 변환을 수행하도록 구성되는,
    화상(12)의 블록 기반 예측 인코딩을 위한 장치.
  34. 제24 항에 있어서,
    상기 프로세서는 상기 예측 채움의 제1 버전(48)의 사용과 상기 예측 채움의 제2 버전(64)의 사용 간에 선택하고 그리고 상기 데이터 스트림(14)에서의 제1 신호 전달(70)에 의해 상기 선택을 시그널링하도록 구성되는,
    화상(12)의 블록 기반 예측 인코딩을 위한 장치.
  35. 제34 항에 있어서,
    상기 장치는 상기 선택을 수행하고 그리고 하위 화상 세분성으로 상기 제1 신호 전달(70)을 상기 데이터 스트림(14)으로 인코딩하도록 구성되는,
    화상(12)의 블록 기반 예측 인코딩을 위한 장치.
  36. 제34 항에 있어서,
    상기 프로세서는 공간 예측을 사용하여 그리고/또는 공간적 콘텍스트를 사용하는 엔트로피 인코딩을 사용하여 상기 데이터 스트림(14)으로 상기 제1 신호 전달(70)을 인코딩하도록 구성되는,
    화상(12)의 블록 기반 예측 인코딩을 위한 장치.
  37. 제24 항에 있어서,
    상기 프로세서는 이웃(54)의 크기를 설정하고 그리고 상기 데이터 스트림(14)에서의 제2 신호 전달(72)에 의해 상기 크기를 시그널링하도록 구성되는,
    화상(12)의 블록 기반 예측 인코딩을 위한 장치.
  38. 제37 항에 있어서,
    상기 프로세서는 상기 설정을 수행하고 그리고 하위 화상 세분성으로 상기 제2 신호 전달(72)을 상기 데이터 스트림(14)으로 인코딩하도록 구성되는,
    화상(12)의 블록 기반 예측 인코딩을 위한 장치.
  39. 제37 항에 있어서,
    상기 프로세서는 공간 예측을 사용하여 그리고/또는 공간적 콘텍스트를 사용하는 엔트로피 인코딩을 사용하여 상기 제2 신호 전달(72)을 상기 데이터 스트림(14)으로 인코딩하도록 구성되는,
    화상(12)의 블록 기반 예측 인코딩을 위한 장치.
  40. 제24 항에 있어서,
    상기 프로세서는 상기 잡음 감소의 강도를 설정하고 그리고 상기 데이터 스트림(14)에서의 제3 신호 전달(78)에 의해 상기 강도를 신호 전달하도록 구성되는,
    화상(12)의 블록 기반 예측 인코딩을 위한 장치.
  41. 제40 항에 있어서,
    상기 프로세서는 상기 강도의 설정을 수행하고 그리고 하위 화상 세분성으로 상기 제3 신호 전달(78)을 상기 데이터 스트림(14)으로 인코딩하도록 구성되는,
    화상(12)의 블록 기반 예측 인코딩을 위한 장치.
  42. 제40 항에 있어서,
    상기 프로세서는 공간 예측을 사용하여 그리고/또는 공간적 콘텍스트를 사용하는 엔트로피 인코딩을 사용하여 상기 제3 신호 전달(78)을 상기 데이터 스트림(14)으로 인코딩하도록 구성되는,
    화상(12)의 블록 기반 예측 인코딩을 위한 장치.
  43. 제40 항에 있어서,
    상기 프로세서는 상기 잡음 감소의 강도의 설정시, 상기 미리 결정된 블록을 상기 데이터 스트림(14)으로 인코딩하기 위해 상기 인코딩 스테이지(24)에 의해 적용되는 양자화 파라미터에 기초하여 한 세트(80)의 가능한 강도들을 선택하고, 그리고 상기 강도가 상기 한 세트(80)의 가능한 강도들 중 하나로 설정되고 상기 제3 신호 전달(78)이 상기 선택된 세트(80)의 가능한 강도들에 대한 인덱스를 나타내게 상기 설정을 수행하도록 구성되는,
    화상(12)의 블록 기반 예측 인코딩을 위한 장치.
  44. 제24 항에 있어서,
    상기 미리 결정된 블록(46)의 상기 이웃(54)은 상기 미리 결정된 블록(46)에 공간적으로 인접하는 상기 화상(12) 내의 영역인,
    화상(12)의 블록 기반 예측 인코딩을 위한 장치.
  45. 제44 항에 있어서,
    상기 영역은 L자형이며 또한 상기 미리 결정된 블록(46)의 상부 및 좌측 면에 인접하는,
    화상(12)의 블록 기반 예측 인코딩을 위한 장치.
  46. 제24 항에 있어서,
    상기 스펙트럼 분석기(18)는 상기 스펙트럼이 상기 영역의 이산 코사인 변환, 상기 영역의 이산 사인 변환, 또는 상기 영역의 웨이블릿 변환 이도록 상기 영역을 스펙트럼 분해하도록 구성되는,
    화상(12)의 블록 기반 예측 인코딩을 위한 장치.
  47. 화상(12)의 블록 기반 예측 디코딩을 위한 방법으로서,
    상기 화상(12)의 미리 결정된 블록(46)의 예측 채움의 제1 버전(48)을 얻기 위해 공간 및/또는 시간 예측을 사용하여 상기 미리 결정된 블록(46)을 예측하는 단계;
    상기 미리 결정된 블록(46)의 예측 채움의 제1 버전(48) 및 상기 미리 결정된 블록(46)의 이웃(54)의 재구성된 버전으로 구성된 영역(52)의 제1 스펙트럼(60)을 얻기 위해 상기 영역(52)을 스펙트럼 분해하는 단계;
    제2 스펙트럼(62)을 얻기 위해 상기 제1 스펙트럼(60)에 대해 잡음 감소를 수행하는 단계;
    상기 미리 결정된 블록(46)의 예측 채움의 제2 버전(64)을 포함하는, 상기 영역(52)의 수정된 버전을 얻기 위해 상기 제2 스펙트럼(62)을 스펙트럼 구성하는 단계;
    상기 예측 채움의 제2 버전(64)에 기초하여 데이터 스트림(14)으로부터 상기 미리 결정된 블록(46)의 재구성된 버전을 디코딩하는 단계를 포함하고,
    제1 잔차 신호는 상기 데이터 스트림으로 부터 디코딩되고 또한 상기 이웃에 대한 예측 신호는 상기 미리 결정된 블록(46)의 상기 이웃의 상기 재구성된 버전을 획득하기 위해 상기 제1 잔차 신호를 사용하여 수정되고,
    제2 잔차 신호는 상기 데이터 스트림으로 부터 디코딩되고 또한 상기 미리 결정된 블록의 상기 예측 채움의 상기 제2 버전은 상기 미리 결정된 블록의 상기 재구성된 블록을 획득하기 위해 상기 제2 잔차 신호를 사용하여 수정되고,
    화상(12)의 블록 기반 예측 디코딩을 위한 방법.
  48. 화상(12)의 블록 기반 예측 인코딩을 위한 방법으로서,
    상기 화상(12)의 미리 결정된 블록(46)의 예측 채움의 제1 버전(48)을 얻기 위해 공간 및/또는 시간 예측을 사용하여 상기 미리 결정된 블록(46)을 예측하는 단계;
    상기 미리 결정된 블록(46)의 예측 채움의 제1 버전(48) 및 상기 미리 결정된 블록(46)의 이웃(54)의 이전에 인코딩된 버전으로 구성된 영역(52)의 제1 스펙트럼(60)을 얻기 위해 상기 영역(52)을 스펙트럼 분해하는 단계;
    제2 스펙트럼(62)을 얻기 위해 상기 제1 스펙트럼(60)에 대해 잡음 감소를 수행하는 단계;
    상기 미리 결정된 블록(46)의 예측 채움의 제2 버전(64)을 포함하는, 상기 영역(52)의 수정된 버전을 얻기 위해 상기 제2 스펙트럼(62)을 스펙트럼 구성하는 단계;
    상기 예측 채움의 제2 버전(64)을 기초로 상기 미리 결정된 블록(46)을 데이터 스트림(14)으로 인코딩하는 단계를 포함하고,
    제1 잔차 신호는 상기 미리 결정된 블록의 상기 이웃의 상기 이전에 인코딩된 버전을 획득하기 위해 상기 이웃에 대한 예측 신호를 수정하는 상기 데이터 스트림 내로 인코딩되고,
    제2 잔차 신호는 상기 미리 결정된 블록의 인코딩된 버전을 획득하기 위해 상기 미리 결정된 블록의 상기 예측 채움의 상기 제2 버전을 수정하는 상기 데이터 스트림 내로 인코딩되는,
    화상(12)의 블록 기반 예측 인코딩을 위한 방법.
  49. 컴퓨터 판독가능 저장 매체로서,
    컴퓨터 상에서 실행될 때, 제47 항 또는 제48 항에 따른 방법을 수행하기 위한 프로그램 코드를 포함하는, 컴퓨터 프로그램을 저장하는,
    컴퓨터 판독가능 저장 매체.
KR1020227027539A 2017-01-05 2017-12-20 화상의 블록 기반 예측 코딩 및 디코딩 KR102548323B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237020996A KR20230096143A (ko) 2017-01-05 2017-12-20 화상의 블록 기반 예측 코딩 및 디코딩

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP17150454.1 2017-01-05
EP17150454 2017-01-05
PCT/EP2017/083789 WO2018127418A1 (en) 2017-01-05 2017-12-20 Block-based predictive coding and decoding of a picture
KR1020197022992A KR102432580B1 (ko) 2017-01-05 2017-12-20 화상의 블록 기반 예측 코딩 및 디코딩

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020197022992A Division KR102432580B1 (ko) 2017-01-05 2017-12-20 화상의 블록 기반 예측 코딩 및 디코딩

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237020996A Division KR20230096143A (ko) 2017-01-05 2017-12-20 화상의 블록 기반 예측 코딩 및 디코딩

Publications (2)

Publication Number Publication Date
KR20220116352A KR20220116352A (ko) 2022-08-22
KR102548323B1 true KR102548323B1 (ko) 2023-06-28

Family

ID=57749847

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020227027539A KR102548323B1 (ko) 2017-01-05 2017-12-20 화상의 블록 기반 예측 코딩 및 디코딩
KR1020237020996A KR20230096143A (ko) 2017-01-05 2017-12-20 화상의 블록 기반 예측 코딩 및 디코딩
KR1020197022992A KR102432580B1 (ko) 2017-01-05 2017-12-20 화상의 블록 기반 예측 코딩 및 디코딩

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020237020996A KR20230096143A (ko) 2017-01-05 2017-12-20 화상의 블록 기반 예측 코딩 및 디코딩
KR1020197022992A KR102432580B1 (ko) 2017-01-05 2017-12-20 화상의 블록 기반 예측 코딩 및 디코딩

Country Status (5)

Country Link
US (3) US11115682B2 (ko)
KR (3) KR102548323B1 (ko)
CN (2) CN115190301A (ko)
TW (2) TWI729579B (ko)
WO (1) WO2018127418A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180296636A1 (en) 2014-11-25 2018-10-18 Albert Einstein College Of Medicine, Inc. Btnl9 and ermap as novel inhibitors of the immune system for immunotherapies

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5188875B2 (ja) * 2007-06-04 2013-04-24 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム
US7965900B2 (en) * 2007-09-26 2011-06-21 Hewlett-Packard Development Company, L.P. Processing an input image to reduce compression-related artifacts
CN101159875B (zh) * 2007-10-15 2011-10-05 浙江大学 二重预测视频编解码方法和装置
EP2192786A1 (en) 2008-11-27 2010-06-02 Panasonic Corporation Frequency domain filters for video coding
KR102379609B1 (ko) * 2012-10-01 2022-03-28 지이 비디오 컴프레션, 엘엘씨 향상 레이어 모션 파라미터들에 대한 베이스-레이어 힌트들을 이용한 스케일러블 비디오 코딩
CN104737542B (zh) * 2013-01-30 2018-09-25 英特尔公司 用于下一代视频的内容自适应熵编码
WO2016204360A1 (ko) * 2015-06-16 2016-12-22 엘지전자 주식회사 영상 코딩 시스템에서 조도 보상에 기반한 블록 예측 방법 및 장치
MX2018011412A (es) * 2016-03-24 2019-01-10 Lg Electronics Inc Metodo y aparato para inter-prediccion en sistema de codificacion de video.

Also Published As

Publication number Publication date
CN115190301A (zh) 2022-10-14
TW201840189A (zh) 2018-11-01
US20220132167A1 (en) 2022-04-28
KR20190103315A (ko) 2019-09-04
WO2018127418A1 (en) 2018-07-12
TWI729579B (zh) 2021-06-01
US20230353788A1 (en) 2023-11-02
KR102432580B1 (ko) 2022-08-17
TWI681667B (zh) 2020-01-01
KR20230096143A (ko) 2023-06-29
CN110692250B (zh) 2022-07-01
KR20220116352A (ko) 2022-08-22
US11729426B2 (en) 2023-08-15
US11115682B2 (en) 2021-09-07
US20190327492A1 (en) 2019-10-24
TW202037171A (zh) 2020-10-01
CN110692250A (zh) 2020-01-14

Similar Documents

Publication Publication Date Title
US11936858B1 (en) Constrained position dependent intra prediction combination (PDPC)
US10419757B2 (en) Cross-component filter
CN107211148B (zh) 在视频译码中调色板块大小的限制
CN105409218B (zh) 解码器和解码方法
US9288501B2 (en) Motion vector predictors (MVPs) for bi-predictive inter mode in video coding
US8340179B2 (en) Methods and devices for coding and decoding moving images, a telecommunication system comprising such a device and a program implementing such a method
JP2018520581A (ja) スライスレベルのイントラブロックコピーおよび他のビデオコーディングの改善
WO2018125988A1 (en) Unequal weight planar prediction
US20240146935A1 (en) System and method for constructing a plane for planar prediction
TW201943275A (zh) 用以選擇內預測模式以供填補之設備
US20230353788A1 (en) Block-based predictive coding and decoding of a picture
CN113508588A (zh) 编码和解码图像
US20210084313A1 (en) Refined block-based predictive coding and decoding of a picture
JP2022096655A (ja) 復号装置、プログラム、及び復号方法
CN112204963B (zh) 逐块图像编码的帧内预测模式概念

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent