KR20230066148A - 변환 기반 잔차 코딩을 이용한 예측 화상 코딩 - Google Patents

변환 기반 잔차 코딩을 이용한 예측 화상 코딩 Download PDF

Info

Publication number
KR20230066148A
KR20230066148A KR1020237015429A KR20237015429A KR20230066148A KR 20230066148 A KR20230066148 A KR 20230066148A KR 1020237015429 A KR1020237015429 A KR 1020237015429A KR 20237015429 A KR20237015429 A KR 20237015429A KR 20230066148 A KR20230066148 A KR 20230066148A
Authority
KR
South Korea
Prior art keywords
transform
spectral
space
data stream
picture
Prior art date
Application number
KR1020237015429A
Other languages
English (en)
Inventor
산티아고 드 룩산 에르난데스
데트레브 마르페
클라우스-로베르트 뮐러
하이코 슈바르츠
토마스 비간트
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Publication of KR20230066148A publication Critical patent/KR20230066148A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

변환 기반 잔차 코딩을 사용하는 예측 화상 코덱의 코딩 효율이 코덱이 변환 기반 잔차 코딩을 위해 변환 세트 사이에서 스위칭할 수 있게 함으로써 향상된다. 인코더에서 디코더로의 변환 세트 외에서 사용될 실제 변환을 시그널링하기 위해 인코더로부터 디코더로의 명시적인 시그널링을 사용하는 경우에도, 코딩 효율의 증가가 초래될 수 있다는 것이 밝혀졌다. 대안으로, 변환 세트 사이의 스위칭은 명시적인 시그널링 없이 또는 명시적인 시그널링과 스위칭의 일종의 예측의 조합을 사용하여 수행될 수 있다.

Description

변환 기반 잔차 코딩을 이용한 예측 화상 코딩{PREDICTIVE PICTURE CODING USING TRANSFORM-BASED RESIDUAL CODING}
본 출원은 예를 들어 하이브리드 비디오 코딩과 같은 변환 기반 잔차 코딩을 사용하는 예측 화상 코딩에 관한 것이다.
지금까지 많은 압축 기술과 표준이 알려져 있다. 예를 들어 많은 정지 화상 코덱은 코딩될 샘플을 비상관시키기 위해 특정 스펙트럼 변환을 사용한다. 비디오 코덱에서, 스펙트럼 변환은 인트라 코딩, 즉 공간적으로 또는 시간 예측에 의한 것과 같은 인터 코딩을 사용하여 획득될 수 있는 예측 잔차를 나타내는 잔차 샘플을 비상관시키기 위해 종종 사용된다.
예를 들어, H.264/고급 비디오 코딩(Advanced Video Coding, AVC) 및 H.265/고효율 비디오 코딩(High Efficiency Video Coding, HEVC)와 같은 블록 기반 하이브리드 비디오 코더 표준에서 비디오 시퀀스의 화상은 블록으로 나누어지고, 그 다음에 각각의 블록은 공간적으로 또는 시간적으로 예측된다. 그 시점에서, 잔차 신호는 블록의 원래 샘플과 그 예측 사이의 차이로서 도출된다 [1]. 이후, 변환, 양자화, 및 엔트로피 코딩 방법이 이용되어 잔차의 중복을 더 감소시킨다.
특히, HEVC의 경우, 변환 스테이지는 4 × 4 인트라 예측된 블록에 대해 2D 분리 가능한 이산 사인 변환(Discrete Sine Transform, DST) 유형 Ⅶ(DST-Ⅶ및 다른 모든 블록에 대한 2차원 분리 가능 이산 코사인 변환(Discrete Cosine Transform, DCT) 유형 II(DCT-II)를 수행함으로써 이행된다 [1]. 또한, 변환 단계를 스킵하고 공간 도메인에서 잔차 샘플을 직접 양자화하는 방법은 인코더에서도 이용할 수 있지만, 이 모드는 4_4 블록으로 제한된다 [1].
이미지 및 비디오 코딩 애플리케이션에서 DCT-II를 주요 변환으로 사용하는 이유는 1차 고정식 마르코프 프로세스를 사용하여 잔차 신호를 모델링하는 데 있다. 카루넨 루베 변환(Karhunen-Loeve Transform, KLT)은 이러한 프로세스에 대한 최적의 변환이며, DCT-II 기본 벡터는 상관 계수가 매우 높을 때 KLT의 벡터에 매우 가깝다 [2]. 게다가, KLT와 달리, DCT-II는 빠른 알고리즘을 사용하여 분리 가능한 방식으로 2차원(행과 열)으로 구현될 수 있는 신호 독립 변환이라는 이점을 가지고 있다 [2].
그럼에도 불구하고, [3]과 [4]에서 지적했듯이, KLT는 일반적으로 반드시 레이트 왜곡의 의미에서 최적의 변환인 것은 아니다. 이 사실은 특히 인트라 예측된 잔차의 경우에, 주 변환으로서의 적합성, 그리고 더 나아가, DCT-II의 적합성에 의문을 제기한다 [5].
어떤 블록이 주어지면, 인트라 예측은 특정 패턴, 즉 33개의 각 모드와 DC 및 평면 모드에 따라 이웃하는 블록의 디코딩된 경계 샘플을 외삽함으로써 HEVC에서 행해진다 [1]. 인트라 코딩 프로세스를 개선하기 위해, 이 논문에서는 인코더가 각각의 변환 단위(Transform Unit, TU)에 대한 레이트 왜곡 루프에서 주어진 세트의 상이한 변환을 테스트할 수 있는 방법을 개발한다. 그러면, 레이트 왜곡 비용을 최소화하는 것이 디코더에 시그널링된다. 새로운 변환은 분리 가능하며, 먼저 TB의 행에 대해 1D 변환을 적용하고 그 다음에 해당 열에 다른 1D 변환을 적용하여 구성된다. 이용 가능한 1차원 변환은 이전에 언급된 HEVC의 변환 스킵 모드와 동등한 이산 삼각법 변환(Discrete Trigonometric Transform, DTT) 및 ID 변환(Identity Transform, IT)으로 알려진 DCT-II 및 DST-VII 계열의 멤버이다.
HEVC 인코더의 변환 코딩 성능을 개선시키기 위해 다양한 제안이 문헌에 제시되어 있다. 그들은 인트라 예측된 잔차 블록에 별개의 변환의 상이한 조합을 적용하여 비트 레이트 감소를 달성할 수 있음을 보여준다.
HEVC는 35 개의 인트라 예측 모드(Intra Prediction Modes, IPMs를 모두 지원하기 때문에, 상이한 모든 의존적 방향성 변환(Mode Dependent Directional Transform, MDDT) 알고리즘이 제안되었다. MDDT에서, 잔차를 매핑하는 데 사용되는 변환의 선택은 IPM에 따라 다르다. 예를 들어, [6]에서, 저자는 IPM에 따라 행과 열 변환으로 DCT-II와 DST-VII의 조합을 선택하는 체계를 도출했다.
놀랍게도, 그들의 작업은 HEVC에서 4x4 인트라 예측된 블록의 핵심 변환으로 DSTVII를 도입하게 했다.
다른 한편, 참고 문헌 [7]은 하나의 레이트 왜곡 최적화된 변환(Rate-Distortion Optimized Transform, RDOT)이 각각의 IPM에 이용되는 다른 MDDT 접근법을 제안했다. 이는 각각의 변환의 계수가 레이트 왜곡 기준을 최소화하도록 설계된 알고리즘을 사용하여 오프라인으로 트레이닝되었음을 의미한다.
그러나, [5]에 의해 지시된 바와 같이, 동일한 IPM으로부터 오는 잔차는 매우 상이한 통계치를 가질 수 있고, 따라서 각각의 IPM에 대한 단일 변환은 매우 다양한 신호의 에너지 압축을 최대화하기에 불충분하다. 따라서, [5]와 [8]에 의해 달성된 작업은 모든 IPM에 이용할 수 있는 일련의 데이터 구동(data-driven) RDOT를 구현한다. 따라서, 인코더는 이용 가능한 모든 변환을 테스트하고 가장 낮은 레이트 왜곡 비용을 산출하는 것을 선택해야 한다. 그 후에, 이 결정은 결과적인 오버헤드 비트로 디코더에 전송되어야 한다.
마지막으로, [9]와 [10]의 저자는 두 가지 접근법을 결합하고, 각각의 IPM에 대해 상이한 다중 변환 세트를 제공하는 알고리즘을 개발한다. [9]에서 행해진 연구는 데이터 구동 RDOT의 사용에 다시 초점을 맞추는 반면, [10]의 작업은 상이한 DTT 세트를 채택하는 시스템을 구현한다.
변환 기반 잔차 코딩을 적용하는 그러한 예측 화상 코딩 기술의 코딩 효율을 추가로 증가시키는 개념이 수반되는 것이 바람직할 것이다.
따라서, 본 발명의 목적은 코딩 효율 또는 압축 효율을 각각 높이는 변환 기반 잔차 코딩/디코딩을 사용하여 화상을 예측적으로 코딩/디코딩하는 개념을 제공하는 것이다.
이 목적은 첨부된 독립항의 주제에 의해 달성된다.
본 발명은 변환 기반 잔차 코딩을 사용하는 예측 화상 코덱의 코딩 효율이 코덱이 변환 기반 잔차 코딩을 위해 변환 세트 사이에서 스위칭할 수 있게 함으로써 향상될 수 있다는 발견에 기초한다. 인코더에서 디코더로의 변환 세트 외에서 사용될 실제 변환을 시그널링하기 위해 인코더로부터 디코더로의 명시적인 시그널링을 사용하는 경우에도, 코딩 효율의 증가가 초래될 수 있다는 것이 밝혀졌다. 대안으로, 변환 세트 사이의 스위칭은 명시적인 시그널링 없이 또는 명시적인 시그널링과 스위칭의 일종의 예측의 조합을 사용하여 수행될 수 있다.
본 출원의 실시예에 따르면, 변환 세트 사이의 스위칭은 화상이 세분되는 세그먼트의 단위로 수행된다. 예를 들어 인코더로부터 디코더로의 스위칭의 선택적인 명시적인 시그널링과 연관된 오버헤드가 세그먼트 단위로 스위칭을 수행함으로써 증가할 수 있지만, 코딩 효율은 상이한 화상의 부분이 변환 기반의 잔차 코딩/디코딩에서 상이한 변환에 대해 더 양호한 비상관 거동을 나타내는 경향이 있다는 사실을 이용함으로써 더 증가될 수 있다.
일 실시예에 따르면, 변환 기반 잔차 코딩을 위한 변환 사이의 스위칭은 인트라 코딩된 세그먼트, 즉 인트라 코딩 모드를 사용하여 코딩된 세그먼트 또는 블록으로 제한되는 반면, 인터 코딩된 세그먼트, 즉 시간 예측, 인터 뷰 예측, 및/또는 인터 레이어 예측을 사용하여 코딩된 것과 같은 인터 코딩 모드를 사용하여 코딩된 세그먼트에 대해서는, 하나의 변환이 정적으로 또는 꾸준히 변환 기반 잔차 코딩/디코딩에 적용되거나, 상이한 변환 세트 사이의 스위칭이 후자의 인터 코딩된 세그먼트에 대해 사용된다. 그렇게 함으로써, 변환 기반 잔차 코딩/디코딩에 있어서, 변환 세트 사이의 스위칭을 제어하기 위한 선택적인 명시적인 시그널링으로서 코딩 효율을 추가로 증가시킬 수 있으며, 그와 연관된 시그널링 오버헤드가, 이 측정에 의해, 인터 코딩된 세그먼트와 비교하여 예측 잔차 신호가 보다 많은 에너지를 갖는 경향이 있는 세그먼트로 제한되며, 따라서 변환 세트와 변환 기반 잔차 코딩/디코딩 사이에 스위칭함으로써 코딩 이득을 달성 가능하며, 임의의 선택적 시그널링 오버헤드가 각각 인트라 코딩된 세그먼트와 인터 코딩된 세그먼트 사이에서 동일하다고 가정하면 인터 코딩된 세그먼트와 비교하여 인트라 코딩된 세그먼트에 대해서는 더 높을 수 있다.
일 실시예에 따르면, 명시적인 시그널링은 변환 기반 잔차 코딩/디코딩에서의 변환 사이의 스위칭을 위해 사용된다. 변환 클래스 시그널라이제이션(signalization)은 변환 사이의 스위칭이 적용되는 각각의 세그먼트에 대해, 세그먼트의 코딩 모드와 독립적인 방식으로, 변환 세트의 모든 변환이 선택 가능하게 할 수 있다. 다시 말해, 세그먼트에 대한 데이터 스트림에 포함된 변환 클래스 시그널라이제이션은 주관적 일 수 있다, 즉, 변환 클래스 시그널라이제이션이 취할 수 있는 값의 도메인으로부터의 매핑의 이미지는 인트라 코딩된 세그먼트의 경우에 인트라 코딩 모드와 같은 각각의 세그먼트의 코딩 모드와 무관하게 변환 세트와 일치한다. 인트라 코딩 모드는 예를 들어 방향성 모드를 포함할 수 있으며, 방향성 모드에 따라, 인트라 코딩된 세그먼트는 변환 기반 잔차 코딩/디코딩에 주관적인 예측 잔차 신호가 예측 잔차를 형성하는 예측을 획득하기 위해 각각의 인트라 코딩된 세그먼트의 이웃을 각각의 인트라 코딩된 세그먼트에 공간적으로 외삽함으로써 예측된다. 변환 클래스 시그널라이제이션의 주관적 특성과 함께 오는 추가적인 오버헤드는 예측 잔차 신호의 최적 비상관에 대한 최적 변환을 선택하는 가능성에 의해 코딩 효율의 증가에 의해 과다 보상된다는 것이 밝혀졌다.
일 실시예에 따르면, 변환 클래스 시그널라이제이션은 각각의 인트라 코딩된 세그먼트의 인트라 코딩 모드에 의존하는 컨텍스트를 사용하는 컨텍스트 기반 엔트로피 코딩/디코딩을 사용하여 코딩된다. 이 측정에 의해, 한편으로 명시적인 시그널라이제이션의 주관적 특성이 달성될 수 있고, 그럼에도 불구하고 한편으로는 이러한 변환 세트 그리고 다른 한편으로는 각각의 인트라 코딩된 세그먼트에 대해 선택된 인트라 코딩 모드 사이에서 최적의 변환에 대한 임의의 통계적 의존성의 이점을 이용한다.
다른 실시예에 따르면, 변환 클래스 시그널라이제이션은 프리픽스(prefix) 부분 및 서픽스(suffix) 부분을 포함할 수 있다. 프리픽스 부분은 공간 및/또는 시간 예측에 의한 변환을 선택할 수 있게 한다. 공간 및/또는 시간 예측이 프리픽스 부분에 의해 사용되도록 시그널링되는 경우, 변환 클래스 시그널라이제이션은 서픽스 부분을 포함하지 않는다, 즉 서픽스 부분 없이 간다. 공간 및/또는 시간 예측이 사용되지 않는다고 시그널링된다면, 변환 세트 사이에서 변환하는 변환 클래스 시그널라이제이션 신호의 서픽스 부분은 예측된 것을 제외한 것 중에서, 또는 모든 것들 중에서 공간 및/또는 신호 예측을 위한 변환 세트에 대한 서픽스 부분의 매핑의 의존성을 피하기 위해 사용된다. 유리하게는, 프리픽스 부분 및 서픽스 부분으로의 분할은 변환 클래스 시그널라이제이션의 효율을 추가로 증가시킬 수 있다.
일 실시예에 따르면, 변환 세트는 수평 변환 세트 중 하나와 수직 변환 세트 중 하나의 상이한 쌍을 포함한다. 수평 및 수직 변환 세트는 동일한 변환 시간으로 구성될 수 있다. 즉, 변환 세트는 수평으로 적용된 1차원 변환 세트 중 제1 변환과 수직으로 적용된 동일한 1차원 변환 세트 중 동일한 세트의 제2 변환의 연결을 포함할 수 있다. 변환 기반 잔차 코딩/디코딩에서의 변환 사이의 스위칭은 따라서 각각 수직 방향 및 수평 방향과 개별적으로 비상관 특성을 구체적으로 적응시키도록 변환의 방향 특정 적응을 가능하게 한다. 변환 세트에서 증가된 변환 수로 인한 추가적인 오버헤드는 예측 잔차 신호의 샘플의 최적 비상관을 발견할 수 있는 능력으로 인한 코딩 효율 증가에 의해 훨씬 보상되는 것으로 판명되었다.
본 발명의 유리한 양태는 종속항의 주제이다. 본 출원의 바람직한 실시예는 도면과 관련하여 하에서 설명되며,
도 1은 본 발명의 일 실시예에 따라 화상을 예측 코딩하기 위한 장치의 블록도를 도시한다;
도 2는 도 1의 장치에 적합한, 본 발명의 일 실시예에 따른 화상을 예측 디코딩하기 위한 장치의 블록도를 도시한다;
도 3은 코딩 모드 선택, 변환 선택, 및 변환 성능 각각에 대한 세분을 설정하는 가능성을 설명하기 위해 예측 잔차 신호, 예측 신호, 및 재구성된 신호 사이의 관계에 대한 일 예를 도시하는 개략도를 도시한다;
도 4는 변환 스위칭에서 명시적인 시그널링을 사용하는 일 예를 도시하는 개략도를 도시한다;
도 5는 프리픽스 및 서픽스를 포함하는 변환 스위칭의 명시적인 시그널라이제이션에 대한 일 예를 도시하는 개략도를 도시한다;
도 6은 가능한 이진화로부터 변환으로의 매핑이 일대일(bijective) 프리픽스 및 서픽스를 포함하는 변환 스위칭의 명시적인 시그널라이제이션에 대한 일 예를 도시하는 개략도를 도시한다;
도 7은 x 및 y가 각각 x 및 y에 적용된 변환인 변환 세트 {x, y}, 및 x,y ∈{DCT-II, DST-N, DCT-IV, IT}을 사용하는 예시적인 경우의 모든 가능한 변환 쌍의 4x4 기저 함수를 나타내는 그레이 스케일 다이어그램을 도시한다; 그리고
도 8a 내지 도 8d는 1D 신호의 예를 위해 다양한 DTT에 대한 대칭 확장의 다이어그램을 도시한다. 이 기본 순서는 연속적으로 그리고 점선으로 된 대칭 확장으로 표현된다. 또한, (a), (b), 및 (c)의 기본 신호는 4 샘플의 길이를 가지지만, (d) 및 (e)의 길이는 대칭 확장이 하나의 샘플을 0으로 요구하므로 단지 3 샘플이다 [11].
도 1은 변환 기반 잔차 코딩을 사용하여 데이터 스트림(14)으로 화상(12)을 예측 코딩하기 위한 장치를 도시한다. 장치 또는 인코더는 참조 부호 10을 사용하여 표시된다. 도 2는 대응하는 디코더(20), 즉 변환 기반 잔차 디코딩을 또한 사용하여 데이터 스트림(14)으로부터 화상(12')을 예측 디코딩하도록 구성된 장치(20)를 도시하며, 여기서 아포스트로피(apostrophe)는 디코더(20)에 의해 재구성된 화상(12')이 예측 잔차 신호의 양자화에 의해 도입된 코딩 손실의 관점에서 장치(10)에 의해 원래 인코딩된 화상(12)으로부터 벗어남을 나타내는 데 사용된다.
인코더(10)는 예측 잔차 신호를 공간-스펙트럼 변환하고, 그 다음에 획득된 예측 잔차 신호를 데이터 스트림(14)으로 인코딩하도록 구성된다. 후술되는 바와 같이, 인코더는 예측 잔차 신호를 공간-스펙트럼 변환할 시에 변환 세트 사이의 스위칭을 지원한다. 마찬가지로, 디코더(20)는 데이터 스트림(14)으로부터의 예측 잔차 신호를 디코딩하고, 이렇게 얻어진 예측 잔차 신호를 스펙트럼-공간 변환하도록 구성된다. 인코더(10)와 마찬가지로, 디코더(20)는 예측 잔차 신호를 스펙트럼-공간 변환할 시에 변환 세트 사이에 스위칭하는 것을 지원한다.
내부적으로, 인코더(10)는 원래의 신호, 즉 화상(12)으로부터 예측 신호(26)의 편차를 측정하기 위해 예측 잔차 신호(24)를 생성하는 예측 잔차 신호 형성기(22)를 포함할 수 있다. 예측 잔차 신호 형성기(22)는 예를 들어 원래의 신호, 즉 화상(12)으로부터 예측 신호를 감산하는 감산기일 수 있다. 인코더(10)는 그 다음에 예측 잔차 신호(24)가 공간-스펙트럼 변환되게 하여 스펙트럼 도메인 예측 잔차 신호(24')를 획득하는 변환기(28)를 더 포함하며, 스펙트럼 도메인 예측 잔차 신호(24')는 그 다음에 역시 인코더(10)에 포함된 양자화기(32)에 의해 양자화된다. 이렇게 양자화된 예측 잔차 신호(24")는 비트스트림(14)으로 코딩된다. 이를 위해, 인코더(10)는 선택적으로 엔트로피 코더(34)를 포함할 수 있으며, 엔트로피 코더(34)는 변환 및 양자화된 예측 잔차 신호를 데이터 스트림(14)으로 엔트로피 코딩한다. 예측 잔차(26)는 데이터 스트림(14)으로 디코딩되고 데이터 스트림(14)으로부터 디코딩 가능한 예측 잔차 신호(24")에 기초하여 인코더(10)의 예측 스테이지(36)에 의해 생성된다. 이를 위해, 도 1에 도시된 바와 같이, 예측 스테이지(36)는 내부적으로 양자화해제기(38)를 포함하며, 양자화해제기(38)는 예측 잔차 신호(24'')를 양자화해제하여 스펙트럼 도메인 예측 잔차 신호(24''')를 얻고, 스펙트럼 도메인 예측 잔차 신호(24''')는 양자화 손실을 제외하고 신호(24')에 대응하고, 양자화해제기에 뒤이어 역 변환기(40)가 오며, 역 변환기(40)는 후자의 예측 잔차 신호(24''')를 역 변환되게 하여, 즉 스펙트럼-공간 변환하여, 예측 잔차 신호(24'''')를 획득하고, 예측 잔차 신호(24'''')는 양자화 손실을 제외하고 원래의 예측 잔차 신호(24)에 대응한다. 그 다음, 예측 스테이지(36)의 결합기(42)는 예컨대 예측 신호(26) 및 예측 잔차 신호(24'''')를 가산함으로써 재결합하여 재구성된 신호(46), 즉 원래의 신호(12)의 재구성을 획득한다. 재구성된 신호(46)는 신호(12')에 대응할 수 있다. 예측 스테이지(36)의 예측 모듈(44)은 그 다음에 예를 들어 공간 및/또는 시간 예측을 사용함으로써 신호(46)에 기초하여 예측 신호(26)를 생성한다.
마찬가지로, 디코더(20)는 내부적으로 예측 스테이지(36)에 대응하는 구성 요소로 구성되며, 예측 스테이지(36)에 대응하는 방식으로 상호 접속될 수 있다. 특히, 디코더(20)의 엔트로피 디코더(50)는 데이터 스트림으로부터 양자화된 스펙트럼 도메인 예측 잔차 신호(24'')를 엔트로피 디코딩할 수 있으며, 예측 스테이지(36)의 모듈과 관련하여 전술한 방식으로 상호 접속되고 협력하는 양자화해제기(52), 역 변환기(54), 결합기(56), 및 예측 모듈(58)은 예측 잔차 신호(24'')에 기초하여 재구성된 신호를 복원하고, 도 2에 도시된 바와 같이, 결합기(56)의 출력은 재구성된 신호, 즉 화상(12')이다.
상기에서 구체적으로 기술되지는 않았지만, 인코더(10)가 예를 들어 어떤 레이트 및 왜곡 관련 기준을 최적화하는 방식과 같은 몇몇 최적화 체계에 따라, 예를 들어, 예측 모드, 모션 파라미터 등을 포함하는 일부 코딩 파라미터를 설정할 수 있음이 명백하다. 예를 들어, 인코더(10) 및 디코더(20) 및 대응하는 모듈(44, 58) 각각은 인트라 코딩 모드 및 인터 코딩 모드와 같은 상이한 예측 모드를 지원할 수 있다. 인코더 및 디코더가 이들 예측 모드 사이에서 스위칭하는 입상도는 각각 화상 세그먼트(12 및 12')의 코딩 세그먼트 또는 코딩 블록으로의 세분에 대응할 수 있다. 예를 들어, 이러한 코딩 세그먼트의 단위로, 화상은 인트라 코딩된 세그먼트 및 인터 코딩된 세그먼트로 세분될 수 있다. 인트라 코딩된 세그먼트는 예를 들어 각각의 세그먼트의 공간적, 이미 코딩된/디코딩된 이웃에 기초하여 예측된다. 몇몇 인트라 코딩 모드가 존재할 수도 있고, 예를 들어 방향성 인트라 코딩 모드를 포함하는 각각의 인트라 코딩된 세그먼트에 대해 선택될 수 있으며, 방향성 인트라 코딩 모드에 따라, 각각의 방향성 인트라 코딩 모드에 대해 특정한 특정 방향을 따라 이웃의 샘플 값을 각각의 인트라 코딩된 세그먼트로 외삽하여 각각의 세그먼트가 채워진다. 인트라 코딩 모드는 예를 들어 ACD 코딩 모드 및/또는 평면 인트라 코딩 모드와 같은 하나 이상의 다른 모드를 또한 포함할 수 있으며, ADC 코딩 모드에 따라, 각각의 인트라 코딩된 세그먼트에 대한 예측은 각각의 인트라 코딩된 세그먼트 내의 모든 샘플에 DC 값을 할당하며, 평면 인트라 코딩 모드에 따라, 각각의 세그먼트의 예측은 각각의 인트라 코딩된 세그먼트의 샘플 위치에 대한 2차원 선형 함수에 의해 기술된 샘플 값의 공간 분포로 근사되거나 결정된다. 이와 비교하여, 인터 코딩된 세그먼트는 예를 들어 시간적으로 예측될 수 있다. 인터 코딩된 세그먼트에 대해, 모션 벡터가 데이터 스트림 내에서 시그널링될 수 있으며, 모션 벡터들은 화상(12)이 속하는 비디오의 이전에 코딩된 화상의 부분의 공간적 변위를 나타내며, 여기서 이전에 코딩된/디코딩된 화상은 각각의 인터 코딩된 세그먼트에 대한 예측 신호를 획득하기 위해 샘플링된다. 이는 양자화된 스펙트럼 도메인 예측 잔차 신호(24'')를 나타내는 엔트로피 코딩된 변환 계수 레벨과 같은 데이터 스트림(14)에 의해 포함된 잔차 신호 코딩에 더해, 데이터 스트림(14)이 코딩 모드를 다양한 세그먼트를 할당하기 위한 인코딩된 코딩 모드 파라미터, 인터 코딩된 세그먼트에 대한 모션 파라미터와 같은 세그먼트 중 일부에 대한 예측 파라미터, 및 각각 화상(12 및 12')의 세분을 제어하고 시그널링하는 파라미터와 같은 선택적인 추가적 파라미터를 세그먼트로 가질 수 있다. 디코더(20)는 이들 파라미터를 사용하여 인코더와 동일한 방식으로 화상을 세분하고, 동일한 예측 모드를 세그먼트에 할당하고, 동일한 예측을 수행하여 동일한 예측 신호를 얻는다.
도 3은 한편으로는 재구성된 신호, 즉 재구성된 화상(12')과, 다른 한편으로는 데이터 스트림에서 시그널링된 예측 잔차 신호(24''''')와 예측 신호(26)의 조합을 도시한다. 이미 위에서 언급한 바와 같이, 그 조합은 추가일 수 있다. 예측 신호(26)는도 3에 예시적으로 해칭을 사용하여 도시된 인트라 코딩된 세그먼트로의 화상 영역과 예시적으로 해칭을 사용하지 않고 도시된 인터 코딩된 세그먼트로의 세분으로서 도시된다. 세분은 임의의 세분, 예컨대 블록 또는 세그먼트의 행 및 열로의 화상 영역의 규칙적인 세분, 또는 쿼드 트리 세분 등과 같은 가변 크기의 리프 세그먼트로의 화상(12)의 멀티 트리 세분으로의 세분일 수 있으며, 여기서 화상 영역은 우선 트리 루트 블록의 행과 열로 세분되며, 트리 루트 블록은 그 다음에 재귀적 멀티 트리 세분에 따라 더 세분된다. 다시, 데이터 스트림(14)은 인트라 코딩된 세그먼트(80)에 대해 코딩된 인트라 코딩 모드를 가질 수 있으며, 인트라 코딩된 세그먼트(80)는 몇몇 인트라 코딩된 모드들 중 하나를 각각의 인트라 코딩된 세그먼트에 할당한다. 인터 코딩된 세그먼트(82)에 있어서, 데이터 스트림(14)은 그 안에 코딩된 하나 이상의 모션 파라미터를 가질 수 있다. 일반적으로 말하면, 인터 코딩된 세그먼트(82)는 시간적으로 코딩되는 것에 제한되지 않는다. 대안으로, 인터 코딩된 세그먼트(82)는 예를 들어 화상(12)이 속하는 비디오의 이전에 코딩된 화상, 또는 인코더 및 디코더가 각각 스케일링 가능한 인코더 및 디코더일 경우 화상(12)이 속하는 화상 뷰의 다른 화상 또는 계층적 하위 화상과 같이 현재 화상(12) 자체를 넘어 이전에 코딩된 부분으로부터 예측된 임의의 세그먼트일 수 있다. 도 3의 예측 잔차 신호(24'''')는 또한 화상 영역을 세그먼트(84)로 세분하는 것으로 도시되어 있다. 이들 세그먼트는 코딩 세그먼트(80 및 82)로부터의 동일한 것과 구별하기 위해 변환 세그먼트로 불릴 수 있다. 사실상, 도 3은 인코더(10) 및 디코더(20)가 각각 화상(12) 및 화상(12')이 세그먼트로의, 2개의 상이한 세분, 즉 각각 코딩 세그먼트(80 및 82)로 세분하고 세그먼트(84)로 다른 세분은 세그먼트(84)로의 세분을 사용할 수 있음을 도시한다. 세분 양자 모두는 동일할 수 있다, 즉 각각의 코딩 세그먼트(80 및 82)는 변환 세그먼트(84)를 동시에 형성할 수 있다, 그러나 도 3 은 예를 들어 세그먼트(80 및 82)의 2개의 세그먼트 사이의 임의의 경계가 2 세그머트(84) 사이의 경계에 중첩하도록 변환 세그먼트(84)로의 세분이 코딩 세그먼트(8ß로의 세분의 확장을 형성하는 경우, 또는 달리 말하면, 각각의 세그먼트(80/82)가 변환 세그먼트(84) 중 하나와 일치하거나 변환 세그먼트(84)의 클러스터와 일치하는 경우를 도시한다. 그러나, 세분은 또한 서로 독립적으로 결정되거나 선택될 수 있어서, 변환 세그먼트(84)는 대안적으로 세그먼트(80/82) 사이의 세그먼트 경계를 횡단할 수 있다. 변환 세그먼트(84) 로의 세분에 관한 한, 세그먼트(80/82)로의 세분과 관련하여 앞서 제시된 것과 유사하다, 즉 세그먼트(84)는 재귀적인 멀티 트리의 결과가 화상 영역을 세분하는, 화상 영역을 행 및 열로 배열된 세그먼트/블록, 또는 그의 조합이나 임의의 다른 종류의 세그먼트로 규칙적으로 세분한 결과일 수 있다. 마찬가지로, 세그먼트(80, 82, 및 84)는 2차, 직사각형, 또는 임의의 다른 형상으로 제한되지 않음에 유의한다.
도 3은 예측 신호(26)와 예측 잔차 신호(24'''')의 조합이 재구성된 신호(12')를 직접 유도하는 것을 도시한다. 그러나, 대안적인 실시예에 따르면 하나를 초과하는 예측 신호(26)가 예측 잔차 신호(24'''')와 결합되어 화상(12')을 생성할 수 있음에 있음에 유의해야 한다.
도 3에서, 변환 세그먼트(84)는 이하의 의미를 가질 수 있다. 변환기(28) 및 역 변환기(54)는 이들 변환 세그먼트(84) 단위로 변환을 수행한다. 예를 들어, 많은 코덱은 모든 변환 블록(84)에 대해 일종의 DST 또는 DCT를 사용할 수 있다. 일부 코덱은 변환 세그먼트(84)의 일부에 대해 예측 잔차 신호가 공간 도메인에서 직접 코딩되도록 변환을 스킵할 수 있게 한다. 그러나, 후술되는 실시예에 따르면, 인코더(10) 및 디코더(20)는 몇몇 변환을 지원하는 방식으로 구성된다. 예를 들어, 인코더(10) 및 디코더(20c)에 의해 지원되는 변환은 다음을 포함할 수 있다:
Figure pat00001
DCT-II(또는 DCT-III), 여기서 DCT는 Discrete Cosine Transform을 의미함
Figure pat00002
DST-IV, 여기서 DST는 Discrete Sine Transform를 의미함
Figure pat00003
DCT-IV
Figure pat00004
항등 변환(Identity Transformation, IT)
당연히, 변환기(28)는 이들 변환의 모든 순방향 변환 버전을 지원하지만, 디코더(20) 또는 역 변환기(54)는 대응하는 역방향 또는 역 버전을 지원할 것이다:
Figure pat00005
역 DCT-II(또는 역 DCT-III)
Figure pat00006
역 DST-IV
Figure pat00007
역 DCT-IV
Figure pat00008
항등 변환(Identity Transformation, IT)
또한, 변환기가 인코더(10) 및 디코더(20)에 의해 지원될 수 있는 보다 구체적인 실시예가 아래에 제공된다. 임의의 경우에, 지원되는 변환 세트는 임의의 경우에 2개의 스펙트럼공간 또는 공간-스펙트럼 변환을 포함하고, 한편 항등 변환 또는 항등 변형의 포함은 선택적이다.
다양한 변환 사이의 스위칭은 변환의 비상관 속성을 실제 필요에 맞게 조정할 수 있게 한다. 이하에서 보다 상세히 설명되는 실시예에 따르면, 스위칭은 변환 세그먼트(84) 자체의 단위로 수행된다. 그러나, 덜 정교한 실시예에 따르면, 인코더(10) 및 디코더(20)가 다른 단위, 예를 들어 완전한 화상 단위, 화상의 슬라이스 단위로 다양한 지원되는 변환 사이에서 스위칭할 수 있음에 유의해야 하며, 화상의 슬라이스 단위는 결과적으로 세그먼트(84) 등 중 하나 이상으로 구성된 서브세트를 나타낼 것이다. 즉, 이용 가능한 변환 사이에서의 스위칭의 가능한 구현에 관하여 아래에서 설명되는 세부 사항은 이들 세부 사항이 선택된 변환이 각각 변환기(28) 및 역 변환기(52)에서 최종적으로 변환기(28)가 적용되는 단위로 변환 세그먼트와 상이한 세그먼트에 적용된다는 점에서 수정될 수 있다.
따라서, 이하에서 더 설명되는 실시예에서, 인코더(10) 및 디코더(20)는 세그먼트(84)의 단위로 이용 가능한 변환 세트의 이용 가능한 변환 사이에서 스위칭하도록 구성된다. 특정 세그먼트(84)가 인트라 코딩된 세그먼트(80)의 일부인지, 즉 예측 신호가 인트라 예측에 의해 결정되는지, 또는 특정 세그먼트(84)가 인터 코딩된 세그먼트(82)의 일부이거나 인터 코딩된 세그먼트(82)에 중첩하는지, 즉 예측 신고가 인터 코딩 모드를 사용하여 결정되는지에 따라, 특정 세그먼트(84)는 인트라 코딩된 세그먼트 및 인터 코딩된 세그먼트로 분류될 수 있다. 도 3에서, 인트라 코딩된 세그먼트(84)는 인트라 코딩된 세그먼트(80)의 원주의 위치를 나타내는 파선(86)을 사용하여 둘러싸여 있다. 다음으로, 인트라 코딩된 세그먼트(84)는 참조 부호 84a를 사용하여 참조되는 반면, 인터 코딩된 세그먼트는 참조 부호 84b를 사용하여 지시된다. 인트라 코딩된 세그먼트 및 인터 코딩된 세그먼트(84) 각각에 대해, 하나의 대표적인 것이 도 3에 구체적으로 도시되어 있다.
이하에서 보다 상세히 설명되는 세부 사항은 인코더(10) 및 디코더(20)가 세그먼트(84)에 대한 변환, 즉 각각 순방향 변환 및 대응하는 역 변환을 어떻게 선택할 수 있는지에 대한 가능한 예에 관한 것이다. 이하에서 더 설명되는 실시예에서, 명시적인 시그널라이제이션이 이 목적을 위해 사용되지만, 대안적으로 순수 고유 시그널라이제이션이 또한 사용될 수 있음에 유의해야 한다. 후자의 경우, 예를 들어, 인코더(10) 및 디코더(20)는 각각의 세그먼트(84)에 대해, 데이터 스트림(14)에 포함된 정보에 의해 각각의 세그먼트(84)에 대한 이용 가능한 변환 세트 중에서 선택된 변환을 예측하거나 도출할 수 있으며, 그러나 정보는 실제로 다른 용도로 사용된다. 예를 들어, 특정 세그먼트(84)에 대해 선택된 변환은 이웃하는 세그먼트(84)에 대해 행해진 선택에 기초하여 선택될 변환을 공간적으로 예측함으로써 인코더(10) 및 디코더(20)에 의해 결정될 수 있다. 부가 적으로 또는 대안적으로, 현재 세그먼트(84)의 코딩 모드 및/또는 이웃하는 세그먼트의 코딩 모드는 이용 가능한 변환 세트로부터 각각의 세그먼트에 대한 변환을 선택하기 위해 고려될 수 있다. 추가의 설명은 다음의 실시예는 단지 인터 코딩된 세그먼트(84b)에 대해 이용 가능하지만, 단지 하나의 스펙트럼-공간 변환 및 그 대응하는 공간-스펙트럼 변환이 인터 코딩된 세그먼트(84b)에 대해 변환을 스킵할 기회를 갖거나 갖지 않고 인터 코딩된 세그먼트(84b)에 대해 이용 가능하다는 것에 관한 것이다. 즉, 후술되는 실시예는 변환 스위칭을 인트라 코딩된 세그먼트(84a)로 제한하는 특정 실시예에 관한 것이지만, 이러한 변환 스위칭이 인터 코딩된 세그먼트에도 또한 적용되는 정도로 수정될 수 있다.
도 4는 인코더(10) 및 디코더(20)가 세그먼트(84a) 단위로 변환 기반 잔차 코딩/디코딩을 위해 이용 가능한 변환 사이에서 동기식으로 스위칭하는 방식을 도시한다. 도 4는 인코더(10)에 의해 지원되는 변환 세트(92)를 90에서 도시한다. 도 4는 i = 1 ... N인 N개의 변환 Ti가 있음을 도시한다. 이하에서 설명되는 실시예에서, N은 16이다. 그러나, 이미 전술한 바와 같이, 다른 예가 적용될 수 있다. 디코더(20)가 세그먼트(84a)에 대한 스위칭을 지원하는 변환(96)의 대응하는 세트(94)는 도 4의 다른 측면에 도시되어 있다. 즉, 변환 Ti -1은 변환 T1의 역이며, 일반적으로 변환 Ti -1은 i = 1 ... N인 변환 Ti의 역이다. 다음에서, 세트(90 및 94)는 세트(94)의 변환(96)이 단순히 세트(90)의 변환(92)의 역인 것을 알면서도 서로 명확히 구별되지 않는다.
도 4는 인코더(10)가 특정 세그먼트(84a)에 대해 변환(2) 중 하나를 선택하는 것을 도시한다. 선택은 곡선의 양방향 화살표(98)로 도시되어 있다. 선택(98)은 이미 전술한 바와 같은 몇몇 최적화 기준을 사용하여 인코더(10)에 의해 수행될 수 있다. 도 4의 실시예는 인코더(10)가 각각의 세그먼트(84a)에 대해 완전한 세트(90), 즉 세트(90)의 모든 변환(92)이 선택될 수 있도록(98) 설계되었음을 도시한다. 또한, 도 4는 본 발명의 일 실시예에 따라, 세그먼트(84a) 각각에 대한 세트(90)의 임의의/모든 변환(92)을 선택하는 가능성이 각각 인코더(10) 및 디코더(20)에 의해 지원되는 인트라 코딩 모드(104)의 이용 가능한 세트9102) 중에서 각각의 세그먼트(84a)에 대한 코딩 모드의 선택(100)에 상관없이 적용될 수 있음을 도시하고자 한다. 인트라 코딩 모드(104)는 도 4에서 CM1, CM2, ... CMM을 사용하여 표시된다. 인트라 코딩 모드의 수 M은 예를 들어 7보다 클 수도 있고 심지어 15보다 클 수 있다. 인트라 코딩 모드(104)는 이미 전술한 바와 같이, 방향성 모드, 및 선택적으로, DC 모드 및/또는 평면 모드와 같은 하나 이상의 비방향성 모드를 포함할 수 있다. 결정(98)이 선택(100)에 관계없이 세트(90)의 N개의 변환(92) 중 임의의 것을 선택할 수 있기 때문에, 인코더(10)는 인트라 코딩 모드(104) 및 변환(92)의 N × M 조합의 임의의 조합을 세그먼트(84a)에 할당할 수 있다. 그러나, 인트라 코딩 모드(104) 중에서 선택(100)에 관계없이 세그먼트(84a)에 대해 임의의 변환(92)이 선택될 수 있는데, 이는 선택(98 및 100)이 서로 독립적인 인코더(10)에 의해 수행됨을 의미하지 않는다는 점을 강조해야 한다. 오히려, 인코더(10)는 인트라 코딩 모드(104) 및 변환(92)의 최적의 조합이 세그먼트(84a)에 할당되도록 신호되거나 또는 세그먼트(84a)에 대해 선택되도록 시그널링되는 방식으로 선택(98 및 100)을 수행할 것이다.
선택은 각각의 세그먼트(84a)에 대한 데이터 스트림(14)에 포함된 변환 클래스 시그널라이제이션(106)에 의해 세그먼트(84a)에 대한 인코더(10)로부터 시그널링된다. 도 4는 변환 클래스 신호(106)에 더하여, 데이터 스트림(14)이 또한 세그먼트(84a)에 대한 인트라 코딩 모드 시그널라이제이션(108)를 포함하는 경우를 도시한다. 도 4는 또한 세그먼트(84a)에 대한 디코더(20)에서 수행되는 변환(96)의 선택을 도시한다. 변환(96) 중 디코더(110)에 의해 수행된 선택은 양방향 화살표(110)를 사용하여 도 4에 도시된다. 선택은 변환 클래스 시그널라이제이션(106)에 따라 수행된다. 이를 위해, 디코더(20)는 변환 클래스 시그널라이제이션(106)이 취할 수 있는 값의 도메인을 주관적으로 변환(96)의 세트(94) 상에 매핑한다. 즉, 세트(94)의 모든 변환(96)은 변환 클래스 시그널라이제이션(106)이 취할 수 있는 대응하는 값을 매핑함으로써 연관된다. 당연히, 시그널라이제이션(106)을 설정하기 위해 인코더(10)에 의해 동일한 매핑이 사용된다. 유사한 방식으로, 디코더(20)는 예를 들어 인트라 코딩 모드 시그널라이제이션(108)를 사용하여 세트(102) 내의 세그먼트(84a)에 사용될 인트라 코딩 모드(104)를 선택한다(112). 세그먼트(84a)에 대한 모든 변환(92)을 선택할 수 있는 실시예의 경우, 인코더(10)가 코딩 모드(104) 중 선택(100)과 관계없이, 변환 클래스 시그널라이제이션(106)이 가정하는 값으로부터 세트(94)의 변환(96)으로의 매핑의 주관적 특성은 또한 인트라 코딩 모드 시그널라이제이션(108)에 기초하여 선택된(112) 인트라 코딩 모드와 무관하게 적용된다. 그러나, 후자의 상황은 반드시 변환 클래스 시그널라이제이션(106)에 따라 세그먼트(84a)에 대한 변환(96)을 선택하기(110) 위해 디코더(20)에 의해 적용된 매핑이 인트라 코딩 모드 시그널라이제이션((108)과 독립적일 수 있음을 의미하는 것은 아님에 유의해야 한다. 오히려, 이하보다 상세히 설명되는 바와 같이, 세그먼트(84a)에 대해 수행된 코딩 모드 선택(112)은 데이터 스트림(14) 내에서 변환 클래스 시그널라이제이션(106)을 보다 효율적으로 송신하기 위해 인코더(10) 및 디코더(20)에 의해 고려될 수 있다. 예를 들어, 세그먼트(84a)에 대해 선택된 인트라 코딩 모드는 컨텍스트 적응 엔트로피 코딩에서 컨텍스트를 설정하도록 사용될 수 있으며, 변환 클래스 시그널라이제이션(106) 및/또는 변환 클래스 시그널라이제이션은 매핑이 변화하는 가변 길이 코드, 즉 세그먼트(84)의 인트라 코딩 모드에 따라, 한편으로는 변환 클래스 시그널라이제이션(106)이 취할 수 있고 다른 한편으로는 세트(94)의 변환(96)인 값을 사용하여 송신된다.
후자의 양태가 도 5 및 도 6을 참조하여 설명된다. 변환 클래스 시그널라이제이션이 프리픽스(130) 및 조건부 코딩된 서픽스(132)로 구성된 가변 길이 코드를 사용하여 코딩되는 실시예. 변환 클래스 시그널라이제이션(106)의 값은 도 5에서 대문자 A 내지 O를 사용하여 구별된다. 즉, 값들의 수는 도 5의 경우에 예시적으로 17이다. 변환의 수 N은 예시적으로 16이다. 도 5의 실시예에 따르면, 1과 같은 제1 상태를 가정하는 시그널라이제이션(106)의 프리픽스(130)는 그것은 변환 클래스 시그널라이제이션(106)이 속하는 세그먼트(84a)에 사용될 변환이 공간 및/또는 시간 예측을 사용하여 선택되거나 또는 각각의 세그먼트에 대해 데이터 스트림(14)에서 시그널링된 특성에 기초하여 선택되어야 함을 나타낸다. 예를 들어, 제1 상태를 가정하는 프리픽스(130)의 경우, 이웃하는 세그먼트, 추가적으로 또는 선택적으로, 제1 상태가 관련되어 있다고 가정하는 프리픽스(130)에 대해 선택된 변환에 기초하여, 선택된 변환(92/96)이 결정될 수 있거나, 인트라 코딩 모드 시그널라이제이션(108)과 같이 변환 클래스 시그널라이제이션(106)이 속하는 세그먼트(84a)에 대한 데이터 스트림에서 시그널링되는 특성에 기초하여 선택된 변환이 결정된다는 것을 나타낸다. 다시 말해, 제1 상태(1)를 취하는 프리픽스(130)에 대응하는 값 A는 방금 간략히 설명된 공간 및/또는 시간 예측 및/또는 곡선 화살표(134)를 사용하여 도에서 표시되는 이 가변적인 연관성을 갖는 특성에 따라 변환(92/96) 중 하나와 가변적으로 관련된다. 제1 상태를 가정하는 프리픽스(130)의 경우, 변환 클래스 시그널라이제이션(106)은 어떠한 프릭픽스(132)도 포함하지 않는다. 변환 클래스 시그널라이제이션(106)의 모든 다른 값(B 내지 O)은 프리픽스가 0과 같은 다른 (제2) 상태를 가정하는 프리픽스(130) 및 서픽스(132)를 포함하는 변환 클래스 시그널라이제이션(106)에 대응한다. 도 5에 도시된 예에서, 서픽스는 고정 길이 이진화에 대응하며, 시그널라이제이션(106)에 대응하는 값의 수는 N과 동일한 프리픽스(130) 및 서픽스(132)로 구성되며, 각각의 값은 변환(92/96) 중 상이한 하나에 대응한다. 즉, 값 A를 제외한 나머지 값 B 내지 O는 세트(90/94)의 변환(92/96)에 일대일 매핑된다. 이러한 일대일 매핑(136)은 예를 들어 변수 연관(134)에 의해 값 A와 연관된 변환으로부터 고정되거나 독립적이다.
도 6은 도 5의 변형예를 도시하며, 이에 따르면 변환 클래스 시그널라이제이션(106)이 취할 수 있는 값의 수는 N+1개가 아니라 정확하게 N개인데, 이는 도5의 경우와 같으며, 값 B 내지 N은 "나머지 변환"에 일대일 매핑된다, 즉 세트(90/94)의 모든 변환 - 1은 변환 클래스 시그널라이제이션(106)의 값 A에 가변적으로 연관된다. 도 6에 따르면, 프리픽스(130) 및 서픽스(132)를 포함하는 변환 클래스 시그널라이제이션(106)의 값의 연관 또는 매핑(136)은 변환 클래스 시그널라이제이션(106)의 프리픽스 전용 값과 가변적으로 연관된 변환(134)에 의존한다.
이하, 전술한 실시예를 구현하기 위한 구현예가 이하에 설명된다. 지금까지 설명된 바와 같이, 전술한 실시예는 압축된 비디오 비트스트림의 코딩/디코딩을 포함하며, 여기서 다양한 변환이 예측 잔차를 변환 또는 역 변환하는 데 사용된다. 실시예에 따라 설명된 바와 같은 다양한 변환의 사용은 인트라 코딩된 또는 인트라 예측된 세그먼트로 제한될 수 있거나, 또는 다른 세그먼트로도 확장될 수 있다. 인트라 코딩된 세그먼트로 제한된다면, 상기 실시예는 변환 기반 잔차 디코딩/코딩을 위해 꾸준히 하나의 특정 변환의 사용 또는 자유롭게 선택될 수 있는 규칙 및 의존성에 따른 상이한 세트의 변환의 사용으로 하여 다른 세그먼트를 포함할 수 있다. 임의의 경우에, 본 출원의 실시예에 따른 선택된 변환은 역 양자화 후에 각각의 세그먼트를 역 변환하고, 양자화 전에 변환 기반 잔차 코딩을 위해 대응하는 변환을 선택하는 데 사용된다.
변환(92/96)의 세트(90/94)에 관한 한, 다음과 같다. 상기에서 구체적으로 설명되지는 않았지만, 이 세트는 항등 변환을 추가로 포함하거나 배제하면서 서로 상이한 적어도 2개의 변환을 포함할 수 있다. 적어도 2개의 변환은 DCT 및 DST 중 임의의 것일 수 있다. 바람직하게는, 변환(92 및 94)은 하나는 수평적으로 적용되고 다른 하나는 수직으로 적용되는 1차원 변환의 연결에 대응한다. 후술하는 실시예에서, 세트(90/94)는 변환을 포함하는데, 그 중에서 하나의 변환은 공간적으로 수평으로 남아있는 1차원 변환의 적용을 포함하고, 그 중 제2 변환은 공간 도메인에 남아 있으면서 동안 수평으로 동일한 차원 변환을 적용하는 것을 포함한다. 일반적으로 말해서, 아래에 설명된 특정 실시예는 하나의 수평 변환과 하나의 수직 변환의 상이한 쌍으로 구성되는 변환 세트, 즉 세트 90/94를 사용한다. 특히, 변환 세트는 수평으로 적용된 1차원 변환 세트 중 제1 변환과 수직으로 적용된 동일한 1차원 변환 세트 중 동일한 세트의 제2 변환의 연결로 구성된다. 1차원 변환 세트는 항등 변환 또는 항등 변형 및 3개의 이산 코사인/사인 변환으로 구성된다. 그러나, 이산 코사인/사인 변환의 수는 1, 2, 또는 심지어 3을 초과하는 것과 같은 임의의 다른 수일 수도 있다.
전술한 바와 같이, 인코더에서 이용 가능한 변환은 다음과 같을 수 있다:
DCT-II(or DCT-III)
DST-IV
DCT-IV
항등 변환(Identity Transformation, IT)
명백하게, 디코더에서 이용 가능한 역 변환은 그러면 대응하는 역 변환일 것이다.
다시 말해, 전술한 세트(90 및 94)는 항등 변환, DCT-II, DCT-IV, 및 DST-IV, 또는 항등 변환, DCT-III, DCT-IV, 및 DST-IV로 구성될 것이다.
일 실시예에 따르면, 세트(90/94)는 행 및 열에 적용되는, 즉 수직 및 수평으로 적용되는 전술한 4개의 변환의 임의의 가능한 조합을 포함한다. 따라서, 이 실시예에 따르면, 가능한 조합의 총 수, 즉 변환(92/96)의 수는 16이다. 당연히, 변형은 가능하지만, 시뮬레이션을 통해 이러한 16개의 변환 세트 중 하나를 사용하면 코딩 효율이 향상된다는 것을 알 수 있다.
전술한 설명에 부가하여, N개의 변환(92/96) 사이의 스위칭은 모든 크기의 세그먼트(84)에 대해 또는 미리 결정된 크기 세트의 세그먼트에 대해서만 인코더(10) 및 디코더(20)에 의해 지원될 수 있음에 유의한다. 모든 크기에 대해 수행된다면, 시그널라이제이션을 포함하여 세그먼트 크기와 독립적으로 스위칭이 이루어질 수 있다. 미리 결정된 크기 세트에 대해서만 수행된다면, 예를 들어, 각각의 세그먼트에 의해 상속된 샘플의 수와 같은 측정된 미리 결정된 크기에 후속하는 세그먼트(84)에 대해, 디폴트 변환이 각각 인코더 및 디코더에서 사용될 수 있고, 필연적으로 임의의 변환을 우회하고 대신 공간 도메인에 남아 있게 허용하거나 허용하지 않는다.
도 5 및 도 6의 실시예의 또 다른 변형예로서, 변환 클래스 시그널라이제이션(106)은 대안적으로 고정 길이 구문 요소만으로 구성될 수 있다, 즉 단지 서픽스(132)는 고정 길이 코드를 사용하여 시그널링되는 변환 클래스 시그널라이제이션(106)으로 변환 클래스 시그널라이제이션을 나타낼 것임에 유의한다. 구문 요소는 transformClass로 표시될 수 있다. 세트(90 및 94)에서 16개의 변환을 사용하는 특정 예의 경우, 변환 클래스 시그널라이제이션 또는 구문 요소 변환 클래스는 고정된 수의 빈, 즉 4개의 빈을 포함할 수 있다.
변환 클래스 구문 요소의 4개의 빈, 즉 프리픽스(130)를 사용하는 경우의 서픽스(132)의 빈, 또는 프리픽스(130)를 떠나 버리는 경우의 변환 클래스 시그널라이제이션의 고정된 수의 빈이 컨텍스트 적응형 이진 산술 코딩(context-adaptive binary arithmetic coding), 즉 CABAC를 이용하여 코딩될 수 있다. 컨텍스트 적응형인 임의의 다른 엔트로피 코딩 체계가 또한 사용될 수 있다. 컨텍스트는 구문 요소 변환 클래스가 속하는 각각의 세그먼트(84)에 대해 선택되고 이 세그먼트(84)의 예측 잔차 신호를 계산하는 데 사용되는 인트라 - 모드(104)에 따라 선택된다. 이러한 컨텍스트 의존성은 변환 클래스의 통계에 대한 보다 나은 적응을 허용할 수 있다.
예를 들어, 제1 예(예 1)로서, 디코더(20)는 값 ic을 사용하여 비트스트림(14)으로부터 4개의 빈을 판독할 수 있으며, 값 ic는 현재 인트라 - 모드, 즉 변환 클래스 시그널라이제이션을 형성하는 4개의 빈이 판독되는 세그먼트(84)에 대해 선택된 인트라 코딩 모드이다. 다시 말해, 디코더는 변환 클래스 시그널라이제이션(106)의 각각의 빈(b0 ... b3)을 엔트로피 디코딩하는 데 사용되는 컨텍스트를 인덱싱하기 위해 값 ic을 사용할 수 있다. 다음 표는 결과 컨텍스트 선택을 보여준다.
Figure pat00009
또 다른 예(예 2)에 따르면, 현재의 인트라 모드가 ic이면, 디코더는 2개의 빈을 비트스트림으로부터 판독하여 행 변환 및 다른 2개의 빈을 디코딩하여 열 변환을 디코딩 할 수 있으며, 여기서 각각의 카테고리의 제1 빈에 대한 컨텍스트는 ic이고 각 카테고리의 제2 빈에 대한 컨텍스트는 제1 빈의 값에 따라 다르다.
Figure pat00010
'transformClass' 값과 빈 사이의 매핑은 다음과 같이 행해질 수 있다:
제1 예(예 1):
Figure pat00011
제2 예(예 2):
Figure pat00012
Figure pat00013
현재 세그먼트(TU)의'transformClass'의 코딩 효율은 인접 TB 및 그 자체의 예측 유형, 인트라 모드, 코딩된 블록 플래그(Coded Block Flag, CBF), 블록 크기, 및 'transformClass'의 값을 사용하여 개선될 수 있다. 예를 들어, il 및 ic를 각각 왼쪽 및 현재 TB의 인트라 모드로 하고, tl 및 tc를 각각에 대해 선택된 변환으로 한다. 그 다음에, il = ic이고 tl = tc이면, 디코더에서 사용되어야 하는 역 변환, 즉 프리픽스(130)의 빈을 시그널링하기 위해 단지 하나의 빈이 필요할 것이다.
상기 실시예 및 개념은 인코더가 각각의 TU(Transform unit, 변환 유닛) 또는 TB(Transform Block, 변환 블록)로부터 주어진 세트로부터 각각 가장 적절한(즉, 가장 낮은 레이트 왜곡 비용을 달성하는) 변환을 인코더가 선택하도록 허용함으로써, 예를 들어 HEVC와 같은 비디오 코덱을 인트라 코딩 성능을 개선시키는 데 사용될 수 있다. 단지 루마 블록, TB, 또는 세그먼트 각각은 본 명세서에서 기술된 변환 스위칭 개념의 대상이 될 수 있다. 크로마 TB는 통상적으로 저주파 성분에 에너지를 집중시키므로 DCT-II를 보완할 필요가 없다는 점을 고려하면 고려되지 않을 수 있다, 즉 IT 변환을 사용하여 공간 도메인에 남아 있도록 허용하거나 허용하지 않고, 단일 변환이 크로마 블록에 대해 독점적으로 적용될 수 있다. 변환의 구현은 HEVC의 핵심 변환과 같은 분리 가능한 방식으로 실행된다. 분리 가능성은 2차원 변환을 계산하는 데 필요한 연산의 수를 줄이는 빠른 1차원 알고리즘의 사용을 허용하므로 변환 코딩의 맥락에서 유리한 특성이다. 게다가, 블록의 수직 및 수평 방향을 분리하므로, 각각의 차원에서 상이한 ID 변환을 사용을 허용하며, 이는 컨텐츠에 더 잘 적응할 수 있게 한다. 이러한 이유로, 본 발명의 실시예에 따른 예시적인 구현 예에서, 행에 대해 4개의 변환이 가능하고, 열에 4개의 변환이 이용 가능하다. 이들 중 임의의 조합이 허용되기 때문에, 이것은 16개의 상이한 가능한 변환이 모두 있음을 의미한다. 새로운 변환 쌍은 HEVC의 예시적인 경우, 4 x 4, 8 x 8, 16 x 16, 및 32 x 32와 같은 임의의 TB 크기에 이용 가능할 수 있다.
위에서 소개된 사용 가능한 변환 세트 중 특정 하나에 대한 설명이 아래에 제공된다.
변환 풀은 다음의 옵션으로 구성된다:
_ DCT-II
_ DST-IV
_ DCT-IV
_ IT
보시다시피, 그 중 세 개는 DTT이고 다른 하나는 IT이다. (DCT-II, DST-IV),(DCT-IV, DCT-IV), 또는 (IT, DCTII)는 가능한 변환 쌍의 예이다. 도 7은 가능한 모든 변환 쌍의 전체 목록과 함께 기본 함수의 표현을 도시한다.
이러한 변환을 선택하기 위해서는 상이한 기준이 고려되었다. 첫째, DCT-II는 수년간 이미지 및 비디오 코딩 애플리케이션의 디폴트 변환이었기 때문에 잔차 통계가 1차 마르코프 프로세스 모델에 적용될 경우 매우 잘 작동하므로 확실한 선택이었다.
반면에, 위에서 언급한 바와 같이, [6]의 발견은 DSTVII를 상이한 유형의 잔차 블록에 대한 적절한 변형으로 고려하고 도입하게 하며, 이것이 변환 풀에 대한 유용한 후보가 될 수 있는 이유이다. 그러나, 우리는 이 역할을 위해 대신 DSTIV를 채택하기로 결정했다. 이 배경의 논리를 이해하려면, [11]에서 설명한대로, DTT가 이산 푸리에 변환(Discrete Fourier Transform, DFT)과 밀접한 관련이 있는 계열을 형성해야 한다는 점을 고려해야 한다. 실제로, 이들 각각은 일반화된 DFT(Generalized DFT, GDFT)의 특수한 경우를 나타내며, 여기서 각각의 DTT의 차이는 DFT를 적용하기 전에 신호에서 수행되는 주기적 및 대칭 확장 유형에 있다 [11]. 예를 들어, 잘 알려진 DCTII의 경우, 도 8a의 1D 예에서와 같이 신호의 절반 샘플 짝수 대칭 복사를 사용하여 신호의 양 끝을 패딩하여 확장이 행해진다. 같은 예가 도 8b 및 도 8d의 DST-VII와 DST-IV에 대해 각각 제시된다. 두 경우 모두에서 볼 수 있듯이, 대칭 확장은 각각 왼편과 오른편에서 홀수이고 짝수이다. 차이점은 왼쪽 끝에서 사용되는 대칭 축의 위치에 있다. DST-IV의 경우 두 개의 샘플 중간에 있지만, DST-VII의 경우 정확히 하나의 샘플에 놓인다. 이 특성과 왼쪽의 홀수 대칭의 조합은 한 샘플을 0으로 만든다. 그럼에도 불구하고, 대칭 확장은 여전히 실질적으로 동일하므로, 두 변형 모두 매우 유사하고 점근적으로 동등하며, DST-IV는 DCTI와 같이 짝수 DTT라는 이점이 있다. 따라서, 문헌에는, 기존의 DCT-II와 유사한 빠른 알고리즘을 구현하는 많은 관련 알고리즘이 있다 [2].
변환 풀에 DCT-II 및 DST-IV를 포함시킨 후, DCT-IV도 선택하기로 결정했다. 도 8c에서 볼 수 있듯이, 대칭 확장은 DST-IV와 정확히 반대이다. 이 사실은 두 변환 사이에 매우 흥미로운 관계를 가져온다 [2]:
Figure pat00014
(1)
여기서
Figure pat00015
및
Figure pat00016
는 각각 N 포인트 DST-IV와 DCT-IV 행렬이며, JN은 항대각선(IT의 반영)에 있는 항대각선 행렬이고, DN은 엔트리
Figure pat00017
인 대각선 행렬이다(여기서 k = 0;1; …N - 1) [2]. 이러한 이유로, DCT-IV의 사용은 일부 이점을 제공한다: 첫째, DST-IV와 비교할 때, 그것의 기저 함수는 도 7f와 도 7p에 나타난 것과 반대의 행동을 보이며, 이는 DST-IV가 적절한 변환이 아닌 나머지 유형의 잔차를 효율적으로 모델링하는 데 유용하다. 또한,(1)에 의해 표현된 관계는 DST-IV 상의 특정 요소의 순서 변경과 부호 변화만을 포함한다. 이 결과로, DCTIV를 변환 풀에 포함시키기 위해 더 이상의 저장소 요구 사항이 필요하지 않다. 그리고 마지막으로, DCT-IV는 심지어 짝수 DTT이기 때문에, 이미 논의된 다른 두 가지 변환과 같은 빠른 방법으로 구현될 수 있다.
IT는 신호를 전혀 변환하지 않는 옵션을 나타낸다. 따라서, 변환 쌍(IT, IT)은 실제로 HEVC의 변환 스킵 모드와 동일하다 [1] (그러나, 잔차 샘플은 여전히 양자화 전에 스케일링된다). 그럼에도 불구하고, 일 실시예에 따르면, 4 × 4 블록에 대한 제한이 없으며, IT는 풀의 다른 변환 중 임의의 것과 결합될 수 있다. 따라서, 신호의 한 차원(행 또는 열만)을 변환할 수 있으며, 이는 특정 잔차의 에너지 압축을 개선시키는 데 매우 유용할 수 있다. 유사한 접근법이 [12]에서 DCTII와 결합하여 인터 예측 잔차에 대해 제안되었다. 인코더에서의 불필요한 중복을 회피하기 위해, HEVC의 변환 스킵 모드는 인트라 예측된 블록에 대해 결과적으로 디스에이블될 수 있고, 따라서 이러한 유형의 TB에 대한 변환 스킵 플래그가 디코더에 전송되지 않을 수 있다. 이 문서의 다중 코어 변환 프레임워크의 맥락에서 1D 변환으로 제시되었음에도 불구하고, IT 구현이 실제로 행렬 곱셈을 수행할 필요가 없다는 것은 의심할 여지가 없다. 표준 HEVC 변환 스킵 모드에서처럼, 변환 스테이지는 단순히 스킵된다. 그러나, 여전히 잔차 샘플은 양자화 전에 스케일링된다.
인코더에서, 각각의 루마 TB에 대한 변환의 선택 프로세스는 레이트 왜곡 루프 내에서 발생한다. 이렇게 하는 데 필요한 단계는 다음에 요약되어 있다:
1) Ti와 Tj를 각각 가능한 행과 열 변환이라고 한다(여기서 i, j =(1, 2, 3, 4)).
2) 그러면, 각각의 변환 쌍 pij =(Ti, Tj)에 대해:
a) 루마 TB를 변환하고 양자화한다.
b) 엔트로피는 양자화된 변환 계수 및 변환을 시그널링하는 데 필요한 오버헤드 비트를 코딩한다.
c) 변환 쌍 pij의 레이트 왜곡 비용 Jij를 구한다.
3) 마지막으로, 최적 변환 쌍 p*ij =(Ti, Tj)가 Jij를 최소화하는 것으로 선택된다.
동일한 절차가 IPM에 관계없이 모든 인트라 예측된 루마 TB에 대해 행해진다. 알고리즘에서 사용된 비율 왜곡 비용 J는 다음의 공식을 사용하여 계산된다:
J = D + λR (2)
여가서, D는 원래의 블록과 재구성된 블록 사이의 차의 제곱의 합으로서 획득되는 왜곡이고, R은 양자화된 계수 및 인코딩 파라미터를 디코더에 전송하는 데 필요한 비트 수이고, λ는 왜곡과 레이트 사이의 트레이드오프를 조절하는 상수이다 [13].
변환 시그널라이제이션은 인코더에 의해 취해진 변환 쌍 결정이 디코더에 통신되는 것을 처리한다. 가능한 조합은 모두 16개이므로, 4개의 빈이 코딩된다. 각각의 TB에 대한 컨텍스트 적응형 이진 산술 코딩(CABAC) [1]가 사용될 수 있다. 컨텍스트는 현재 TB의 잔차 신호를 계산하는 데 사용된 IPM에 따라 달라질 수 있는데, 이는 컨텐츠의 통계를 보다 잘 적용할 수 있게 하기 때문이다.
복잡성에 관해서는, 상기에서 이미 언급한 바와 같이, 인코더는 최적의 변환 쌍을 찾기 위해 전체 검색 전략을 적용할 수 있다. 이러한 프로세스는 레이트 왜곡 비용의 최소화를 보장하지만, 변환, 양자화, 및 엔트로피 코딩 연산이 루마 TB마다 16번 계산된다는 점에서 알고리즘 복잡성이 매우 크게 증가한다는 것을 의미한다. 그러나, 디코더 측에서는 알고리즘의 복잡성이 크게 증가하지 않는다. 변환 선택을 파싱하는 것만 요구되며, 인코더와 달리, 각각의 루마 TB에 대해 하나의 변환 만 수행된다. 게다가, 0과 동일한 코딩된 블록 플래그(coded block flag, CBF)를 수신하는 경우, 모든 잔차 계수가 0임을 의미하기 때문에 변환 연산이 전혀 필요하지 않다.
위의 개념은 HEVC 테스트 모델(HEVC Test Model, HM) 참조 소프트웨어(버전 16.6)에서 구현되었다. 이 수정으로 인해 루마 TB만 영향을 받았다. 변환 스케일링 연산은 [14]에서 설명한대로 HEVC의 DCT-II와 동일한 방식으로 수행되었다. 공통 테스트 조건 [15]에 제시된 것처럼, 고효율(High Efficiency, HE) 10 비트 프로필과 올 인트라(All-Intra, AI) 구성을 사용하여 몇 가지 테스트가 수행되었다.
표 I : AI-HE10 구성을 사용하여 모든 시퀀스에 대한 비트 절약.
Figure pat00018
표 I은 테스트 결과를 보여준다. 각각의 클래스는 상이한 해상도를 갖는 화면 컨텐츠 시퀀스가 그룹화되는 클래스 F의 경우를 제외하고는 상이한 유형의 해상도를 나타낸다. 화면 컨텐츠 비디오는 컴퓨터 생성 그래픽, 텍스트, 또는 애니메이션을(단독으로 또는 카메라로 촬영한 장면과 함께) 디스플레이한다. 알 수 있듯이, 이 도구의 평균 성능은 3% 비트 레이트 감소이다. 게다가, 모든 클래스는 시퀀스가 가장 좋은 결과를 얻는 클래스 F의 경우를 제외하고는 비슷한 행동을 보인다. 변환 풀에 IT를 구현하여 변환 스킵 모드의 기능을 확장한 것을 고려하면 놀라운 사실이 아니다.
앞에서는 DST-IV와 DST-VII 사이의 차이점과 유사점에 대해 논의했다. 두 변환 사이의 성능 비교를 획득하기 위해, DST-IV를 DST-VII로 대체한 테스트를 이용 가능한 1D 변환 중 하나로 반복했다. 평균 비트 절감 결과는 실제적으로 동일하며(DST-IV의 경우 -3.04% 및 DST-VII의 경우 -3.07%), 이는 복잡성과 저장의 측면에서 이점으로 인해 DST-IV를 우리 시스템에서 DST-Ⅶ의 대체품으로 사용할 것을 제안한다.
마지막으로, 피크 신호대 잡음비(Peak Signal to Noise ratio, PSNR) 대 레이트 곡선이 시퀀스 Basketball Drill의 예로 제시된다. 관찰할 수 있듯이, 이득은 가장 높은 레이트 포인트 주위에 더 집중되어 있다. 이것은 아마도 이 경우 인코더가 각각의 루마 TB에 대한 변환을 시그널링하기 위해 더 많은 비트를 소비할 수 있기 때문에 컨텐츠에 대한 더 높은 적응이 존재한다는 사실 때문일 것이다.
상기 결론을 통해, 전술한 실시예는 변환 코딩 목적을 위한 DCT-II의 준최적성을 다루었다. 일 실시예에 따르면, DTT 패밀리 및 IM의 더 많은 변환의 사용이 제안되었다.
일부 양태가 장치의 맥락에서 설명되었지만, 이러한 양상이 또한 대응하는 방법의 설명을 나타내는 것이 명백하며, 여기서 블록 및 디바이스는 방법 단계 또는 방법 단계의 특징에 대응한다. 유사하게, 방법 단계의 문맥에서 설명된 양태는 또한 대응하는 블록 또는 아이템의 설명 또는 대응하는 장치의 특징을 나타낸다. 방법 단계의 일부 또는 전부는 예를 들어 마이크로프로세서, 프로그램 가능 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 사용하여) 실행될 수 있다. 일부 실시예에서, 가장 중요한 방법 단계 중 하나 이상이 그러한 장치에 의해 실행될 수 있다.
본 발명의 송신되거나 인코딩된 오디오 신호는 디지털 저장 매체에 저장될 수 있거나 인터넷과 같은 유선 송신 매체 또는 무선 송신 매체와 같은 송신 매체를 통해 송신될 수 있다.
특정 구현 요건에 따라, 본 발명의 실시예는 하드웨어로 또는 소프트웨어로 구현될 수 있다. 구현은 각각의 방법이 수행되도록 프로그래밍 가능한 컴퓨터 시스템과 협력하는(또는 협력할 수 있는) 전기적으로 판독 가능한 제어 신호가 저장된, 디지털 저장 매체, 예를 들어, 플로피 디스크, DVD, 블루 레이, CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리를 사용하여 수행될 수 있다. 따라서, 디지털 저장 매체는 컴퓨터 판독 가능할 수 있다.
본 발명에 따른 일부 실시예는 본 명세서에 설명된 방법 중 하나가 수행되도록 프로그래밍 가능 컴퓨터 시스템과 협력할 수 있는 전자적으로 판독 가능한 제어 신호를 갖는 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시예는 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행되는 경우 방법들 중 하나를 수행하도록 동작하는 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있다. 프로그램 코드는 예를 들어 머신 판독 가능 캐리어에 저장될 수 있다.
다른 실시예는 기계 판독 가능 캐리어 상에 저장된, 본원에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.
다시 말해, 본 발명의 방법의 실시예는, 따라서, 컴퓨터 프로그램이 컴퓨터 상에서 실행되는 경우, 본원에 설명된 방법 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
따라서, 본 발명의 방법의 다른 실시예는 그 위에 기록된, 본원에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함하는 데이터 캐리어(또는 디지털 저장 매체 또는 컴퓨터 판독 가능 매체)이다. 데이터 캐리어, 디지털 저장 매체 또는 기록 매체는 통상적으로 유형 및/또는 비일시적이다.
따라서, 본 발명의 방법의 다른 실시예는 본원에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 신호의 시퀀스이다. 데이터 스트림 또는 신호의 시퀀스는 데이터 통신 접속을 통해, 예를 들어 인터넷을 통해 전송되도록 구성될 수 있다.
다른 실시예는 본원에 설명된 방법 중 하나를 수행하도록 구성되거나 적응된 프로세싱 수단, 예를 들어 컴퓨터 또는 프로그램 가능 논리 디바이스를 포함한다.
다른 실시예는 본원에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
본 발명에 따른 다른 실시예는 본원에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 수신기에(예를 들어, 전자적으로 또는 광학적으로) 전송하도록 구성된 장치 또는 시스템을 포함한다. 수신기는 예를 들어 컴퓨터, 모바일 디바이스, 메모리 디바이스 등일 수 있다. 장치 또는 시스템은 예를 들어 컴퓨터 프로그램을 수신기에 전송하기 위한 파일 서버를 포함할 수 있다.
일부 실시예에서, 프로그램 가능 논리 디바이스(예를 들어, 필드 프로그램 가능 게이트 어레이)는 본원에 설명된 방법의 기능 중 일부 또는 전부를 수행하는 데 사용될 수 있다. 일부 실시예에서, 필드 프로그램 가능 게이트 어레이는 본원에 설명된 방법 중 하나를 수행하기 위해 마이크로프로세서와 협력할 수 있다. 일반적으로, 방법은 바람직하게는 임의의 하드웨어 장치에 의해 수행된다.
본 명세서에 설명된 장치는 하드웨어 장치를 사용하거나, 컴퓨터를 사용하거나, 하드웨어 장치와 컴퓨터의 조합을 사용하여 구현될 수 있다.
본 명세서에 기재된 장치 또는 본 명세서에 설명된 장치의 임의의 구성 요소는 적어도 부분적으로 하드웨어 및/또는 소프트웨어로 구현될 수 있다.
본 명세서에 설명된 방법은 하드웨어 장치를 사용하거나, 컴퓨터를 사용하거나, 하드웨어 장치와 컴퓨터의 조합을 사용하여 수행될 수 있다.
본 명세서에 설명된 방법 또는 본 명세서에 설명된 장치의 임의의 구성 요소는 적어도 부분적으로 하드웨어 및/또는 소프트웨어에 의해 수행될 수 있다.
위에서 설명된 실시예는 본 발명의 원리를 예시하기 위한 것일 뿐이다. 본 명세서에 설명된 구성 및 세부사항의 수정 및 변형은 본 기술분야의 통상의 기술자에게 명백할 것임을 이해한다. 따라서, 곧 있을 청구범위의 범위에 의해서만 제한되고 본원의 실시예에 대한 기술 및 설명에 의해 제공된 특정 세부사항에 의해서만 한정되는 것은 아니다.
참조문헌
[1] G. Sullivan, J. Ohm, W.-J. Han, and T. Wiegand, "Overview of the High Efficiency Video Coding (HEVC) Standard," Circuits and Systems for Video Technology, IEEE Transactions on, vol. 22, no. 12, pp. 1649-1668, Dec 2012.
[2] V. Britanak, P. C. Yip, and K. Rao, Discrete Cosine and Sine Transforms: General Properties, Fast Algorithms and Integer Approximations. Oxford: Academic Press, 2007.
[3] M. Effros, H. Feng, and K. Zeger, "Suboptimality of the Karhunen-Lo`eve transform for transform coding," in Data Compression Conference, 2003. Proceedings. DCC 2003, March 2003, pp. 293-302.
[4] V. K. Goyal, "Theoretical Foundations of Transform Coding," IEEE Signal Processing Magazine, vol. 18, no. 5, pp. 9-21, September 2001.
[5] F. Zou, O. C. Au, C. Pang, J. Dai, X. Zhang, and L. Fang, "Rate-Distortion Optimized Transforms Based on the Lloyd-Type Algorithm for Intra Block Coding," IEEE Journal of Selected Topics in Signal Processing, vol. 7, no. 6, pp. 1072-1083, Dec 2013.
[6] A. Saxena and F. C. Fernandes, "DCT/DST-Based Transform Coding for Intra Prediction in Image/Video Coding," IEEE Transactions on Image Processing, vol. 22, no. 10, pp. 3974-3981, Oct 2013.
[7] A. Arrufat, P. Philippe, and O. D´eforges, "Non-separable mode dependent transforms for intra coding in HEVC," in Visual Communications and Image Processing Conference, 2014 IEEE, Dec 2014, pp. 61-64.
[8] "Rate-distortion optimised transform competition for intra coding in hevc," in Visual Communications and Image Processing Conference, 2014 IEEE, Dec 2014, pp. 73-76.
[9] "Mode-dependent transform competition for HEVC," in Image Processing (ICIP), 2015 IEEE International Conference on, Sept 2015, pp. 1598-1602.
[10] J. Chen, Y. Chen, M. Karczewicz, X. Li, H. Liu, L. Zhang, and X. Zhao, "Coding tools investigation for next generation video coding based on HEVC," in Proc. SPIE, Applications of Digital Image Processing XXXVIII, vol. 9599, 2015, pp. 95 991B-95 991B-9. [Online]. Available: http://dx.doi.org/10.1117/12.2193681
[11] S. A. Martucci, "Symmetric convolution and the discrete sine and cosine transforms," IEEE Transactions on Signal Processing, vol. 42, no. 5, pp.1038-1051, May 1994.
[12] A. Gabriellini, M. Naccari, M. Mrak, D. Flynn, and G. V. Wallendael, "Adaptive transform skipping for improved coding of motion compensated residuals," Signal Processing: Image Communication, vol. 28, no. 3, pp. 197 - 208, 2013. [Online]. Available: http://www.sciencedirect.com/science/article/pii/S0923596512002093
[13] H. Schwarz, T. Schierl, and D. Marpe, "Block Structures and Parallelism Features in HEVC," in High Efficiency Video Coding (HEVC), ser. Integrated Circuits and Systems, V. Sze, M. Budagavi, and G. J. Sullivan, Eds. Springer International Publishing, 2014, pp. 49-90.
[14] M. Budagavi, A. Fuldseth, G. Bjøntegaard, V. Sze, and M. Sadafale, "Core Transform Design in the High Efficiency Video Coding (HEVC) Standard," Selected Topics in Signal Processing, IEEE Journal of, vol. 7, no. 6, pp. 1029-1041, Dec 2013. [14] F. Bossen, "Common Test Conditions and Software Reference Configurations," document JCTVC-L1100 of JCT-VC, Geneva, CH, Jan 2013.
[15] F. Bossen, "Common Test Conditions and Software Reference Configurations," document JCTVC-L1100 of JCT-VC, Geneva, CH, Jan 2013.
본 분할출원은 원출원 최초 청구항 내용을 실시예로 포함하였다.
[실시예 1]
데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치에 있어서,
상기 장치는 상기 데이터 스트림으로부터 상기 화상의 예측 잔차 신호를 디코딩하고, 상기 예측 잔차 신호가 스펙트럼-공간 변환되게 하며, 상기 예측 잔차 신호를 스펙트럼-공간 변환할 시에 변환 세트 사이의 스위칭을 지원하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
[실시예 2]
제1실시예에 있어서,
상기 장치는 상기 화상이 세분되는 세그먼트 단위로 상기 변환 세트 사이의 스위칭을 지원하는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
[실시예 3]
제2실시예에 있어서,
상기 장치는 인트라 코딩된 세그먼트에 대해 상기 변환 세트 사이의 스위칭을 지원하고, 하나의 변환을 꾸준히 사용하거나, 또는 상기 예측 잔차 신호를 스펙트럼-공간 변환할 시에 인터 코딩된 세그먼트에 대해 상이한 변환 세트 사이의 스위칭을 사용하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
[실시예 4]
제2실시예 또는 제3실시예에 있어서,
상기 장치는 상기 변환 세트 사이에서 스위칭할 시에, 세그먼트 세트 각각에 대해, 변환 클래스 시그널라이제이션이 취할 수 있는 값의 도메인의 상기 변환 세트로의 전사(surjective) 매핑을 사용하여, 상기 세그먼트 세트의 각각에 대해, 각각의 세그먼트에 대한 데이터 스트림에 포함된 변환 클래스 시그널라이제이션에 따라 상기 변환 세트 중 하나의 변환을 선택하여, 상기 변환 세트 각각에 대해, 세그먼트의 코딩 모드와 독립적인 방식으로, 상기 변환 세트의 모든 변환이 선택 가능하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
[실시예 5]
제2실시예 내지 제4실시예 중 어느 한 실시예에 있어서,
상기 장치는 상기 변환 세트 사이에서 스위칭할 시에, 상기 세그먼트 세트 각각에 대해, 상기 각각의 세그먼트의 이웃에 대해 상기 데이터 스트림으로부터 도출된 특성에 따라 선택하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
[실시예 6]
제2실시예 내지 제5실시예 중 어느 한 실시예에 있어서,
상기 장치는 상기 변환 세트를 스위칭할 시에, 인트라 코딩된 세그먼트 각각에 대해, 각각의 인트라 코딩된 세그먼트에 대한 데이터 스트림에 포함된 변환 클래스 시그널라이제이션에 따라 상기 변환 세트 중 하나를 선택하고, 상기 각각의 인트라 코딩된 세그먼트의 인트라 코딩 모드에 의존하는 컨텍스트를 사용하는 컨텍스트 기반 엔트로피 디코딩을 사용하여 상기 데이터 스트림으로부터 상기 변환 클래스 시그널라이제이션을 도출하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
[실시예 7]
제2실시예 내지 제6실시예 중 어느 한 실시예에 있어서,
상기 장치는 상기 변환 세트를 스위칭할 시에, 상기 세그먼트 세트의 각각에 대해, 상기 변환 클래스 시그널라이제이션의 프리픽스 부분에 따라, 공간 및/또는 시간 예측에 의한 변환을 선택함으로써, 또는 상기 각각의 세그먼트에 대한 데이터 스트림에서 시그널링된 특성에 기초하여, 상기 서픽스 부분에 기초하여 상기 변환을 선택함으로써,상기 각각의 세그먼트에 대한 데이터 스트림에 포함된 변환 클래스 시그널라이제이션에 따라 상기 변환 세트 중 하나의 변환을 선택하고, 상기 변환 클래스 시그널라이제이션의 서픽스 부분 없이, 또는 상기 데이터 스트림으로부터의 변환 클래스 시그널라이제이션의 서픽스 부분을 도출함으로써 상기 데이터 스트림을 계속 파싱하고, 상기 서픽스 부분에 기초하여 상기 변환을 선택하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
[실시예 8]
제7실시예 중 어느 한 실시예에 있어서,
상기 장치는 각각 공간 및/또는 시간 예측 및 특성과 독립적인 방식으로, 상기 변환 클래스 시그널라이제이션의 서픽스 부분이 취할 수 있는 값의 도메인을 상기 변환 세트에 매핑하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
[실시예 9]
제1실시예 내지 제8실시예 중 어느 한 실시예에 있어서,
상기 변환 세트는 제1 스펙트럼-공간 변환 및 상기 제1 스펙트럼-공간 변환과 상이한 제2 스펙트럼-공간 변환을 포함하는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
[실시예 10]
제1실시예 내지 제9실시예 중 어느 한 실시예에 있어서,
상기 변환 세트는 수평으로 적용된 제1 1차원 스펙트럼-공간 변환과 수직으로 적용된 제2 1차원 스펙트럼-공간 변환의 연결인 스펙트럼-공간 변환을 포함하고, 상기 제1 1차원 스펙트럼-공간 변환 및 상기 제2 1차원 스펙트럼-공간 변환은 서로 상이한 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
[실시예 11]
제1실시예 내지 제10실시예 중 어느 한 실시예에 있어서,
상기 변환 세트는
공간 도메인에서 수직으로 유지하면서 수평으로 적용된 1차원 스펙트럼-공간 변환인 제1 스펙트럼-공간 변환, 및
공간 도메인에서 수평으로 유지하면서 수직으로 적용된 1차원 스펙트럼-공간 변환인 제1 스펙트럼-공간 변환을 포함하는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
[실시예 12]
제1실시예 내지 제11실시예 중 어느 한 실시예에 있어서,
상기 변환 세트는 수평 변환 세트와 수직 변환 세트 중 하나의 상이한 쌍으로 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
[실시예 13]
제1실시예 내지 제12실시예 중 어느 한 실시예에 있어서,
상기 변환 세트는 수평으로 적용된 1차원 스펙트럼-공간 변환 세트 중 제1 1차원 스펙트럼-공간 변환과 수직으로 적용된 1차원 스펙트럼-공간 변환 세트 중 제2 1차원 스펙트럼-공간 변환의 연결로 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
[실시예 14]
제13실시예에 있어서,
상기 1차원 스펙트럼-공간 변환 세트는 항등 변환 및 하나 이상의 이산 코사인/사인 변환으로 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
[실시예 15]
제14실시예에 있어서,
상기 1차원 스펙트럼-공간 변환 세트는 항등 변환, DCT-II, DCT-IV, 및 DST-IV, 또는 항등 변환, DCT-III, DCT-IV, 및 DST-IV로 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
[실시예 16]
제14실시예 또는 제15실시예에 있어서,
상기 장치는 상기 데이터 스트림 내의 변환 클래스 시그널라이제이션에 따라 상기 변환 세트 사이의 스위칭을 수행하도록 구성되고, 상기 변환 클래스 시그널라이제이션은 짝수 개의 빈을 포함하고, 상기 장치는 수평으로 적용된 1차원 스펙트럼-공간 변환 세트 중 상기 제1 1차원 스펙트럼-공간 변환을 인덱싱하기 위해 상기 빈의 제1 절반, 및 수직으로 적용된 1차원 스펙트럼-공간 변환 세트 중 제2 1차원 스펙트럼-공간 변환 세트를 인덱싱하기 위해 상기 빈의 제2 절반을 사용하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
[실시예 17]
제16실시예에 있어서,
상기 빈의 제1 절반과 상기 1차원 스펙트럼-공간 변환 세트 사이의 연관 및 상기 빈의 제2 절반과 상기 1차원 스펙트럼-공간 변환 세트 사이의 연관은 서로 동일한 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
[실시예 18]
제15실시예에 있어서,
상기 장치는 상기 데이터 스트림 내의 변환 클래스 시그널라이제이션에 따라 상기 변환 세트 사이의 스위칭을 수행하도록 구성되고, 상기 변환 클래스 시그널라이제이션은 짝수 개의 빈을 포함하고, 상기 장치는 한편으로는 {항등 변환, DST-IV}와 다른 한편으로는 {DCT-II/III, DCT-IV} 사이를 구별하기 위해 상기 빈의 제1 절반의 제1 빈 및 상기 빈의 제2 절반의 제1 빈을, 그리고 한편으로는 {항등 변환, DCT-II/III}와 다른 한편으로는 {DCT-IV, DST-IV} 사이를 구별하기 위해 상기 빈의 제1 절반의 제2 빈과 상기 빈의 제2 절반의 제2 빈을 사용함으로써, 수평으로 적용된 상기 1차원 스펙트럼-공간 변환 세트 중 제1 1차원 스펙트럼-공간 변환을 인덱싱하기 위해 상기 빈의 제1 절반을 그리고 수직으로 적용된 상기 1차원 스펙트럼-공간 변환 세트 중 제2 1차원 스펙트럼-공간 변환 세트를 인덱싱하기 위해 상기 빈의 제2 절반을 사용하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
[실시예 19]
제18실시예에 있어서,
상기 장치는 각각 상기 제2 절반의 제2 빈 및 상기 제2 절반의 제2 빈에 따라 상기 제1 절반의 제1 빈 및 상기 제2 절반의 제1 빈을 컨텍스트 적응 엔트로피 디코딩하기 위한 컨텍스트를 선택하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
[실시예 20]
제18실시예 또는 제19실시예에 있어서,
상기 장치는 상기 변환 클래스 시그널라이제이션이 상기 데이터 스트림에 포함되는 세그먼트의 인트라 코딩 모드에 따라 상기 제1 절반의 제2 빈 및 상기 제2 절반의 제2 빈을 컨텍스트 적응 엔트로피 디코딩하기 위한 컨텍스트를 선택하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
[실시예 21]
화상을 데이터 스트림으로 예측 인코딩하기 위한 장치에 있어서,
상기 장치는 예측 잔차 신호를 공간-스펙트럼 변환할 시에 변환 세트 사이의 스위칭을 지원하여 상기 화상의 예측 잔차 신호가 공간-스펙트럼 변환되게 하고, 상기 예측 잔차 신호를 상기 데이터 스트림으로 인코딩하도록 구성되는 것을 특징으로 하는 화상을 데이터 스트림으로 예측 인코딩하기 위한 장치.
[실시예 22]
제21실시예에 있어서,
상기 장치는 상기 화상이 세분되는 세그먼트 단위로 상기 변환 세트 사이의 스위칭을 지원하는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
[실시예 23]
제22실시예에 있어서,
상기 장치는 상기 예측 잔치 신호를 공간-스펙트럼 변환할 시에, 인트라 코딩된 세그먼트에 대해 상기 변환 세트 사이의 스위칭을 지원하고, 인터 코딩된 세그먼트에 대해 하나의 변환을 꾸준히 사용하거나 상이한 변환 세트 사이의 스위칭을 사용하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
[실시예 24]
제22실시예 또는 제23실시예에 있어서,
상기 장치는 상기 변환 세트 사이에서 스위칭할 시에, 세그먼트 세트의 각각에 대해, 상기 데이터 스트림 내의 각각의 세그먼트에 대한 변환 클래스 시그널라이제이션으로 상기 변환 세트 중 하나의 변환을 시그널링하도록 구성되며, 상기 세그먼트 세트 각각에 대해, 상기 변환 클래스 시그널라이제이션이 취할 수 있는 값의 도메인의 상기 변환 세트로의 전사 매핑을 사용하여, 상기 세그먼트 세트 각각에 대해, 상기 변환 세트의 모든 변환이 각각의 세그먼트 코딩 모드와 독립적인 방식으로 시그널링될 수 있도록 되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
[실시예 25]
제24실시예에 있어서,
상기 장치는 또한 각각의 세그먼트의 이웃에 대해 상기 데이터 스트림에서 시그널링된 특성에 따라 시그널링을 수행하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
[실시예 26]
제22실시예 내지 제25실시예 중 어느 한 실시예에 있어서,
상기 장치는 상기 변환 세트 사이에서 스위칭할 시에, 인트라 코딩된 세그먼트 각각에 대해, 상기 데이터 스트림에서 각각의 인트라 코딩된 세그먼트에 대한 변환 클래스 시그널라이제이션으로 상기 변환 세트 중 하나를 시그널링하도록 구성되며, 상기 각각의 인트라 코딩된 세그먼트의 인트라 코딩 모드에 의존하는 컨텍스트를 사용하는 컨텍스트 기반 엔트로피 인코딩을 사용하여 상기 변환 클래스 시그널라이제이션을 상기 데이터 스트림으로 인코딩하는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
[실시예 27]
제22실시예 내지 제26실시예 중 어느 한 실시예에 있어서,
상기 장치는 상기 변환 세트를 스위칭할 시에, 상기 변환 클래스 시그널라이제이션의 프리픽스 부분으로 시그널링함으로써 상기 데이터 스트림에서 각각의 세그먼트에 대한 변환 클래스 시그널라이제이션으로, 상기 세그먼트 세트 각각에 대해, 상기 변환 세트 중 하나의 변환을 시그널링하도록 구성되며, 상기 변환은 공간 및/또는 시간 예측되거나 상기 각각의 세그먼트에 대해 상기 데이터 스트림에서 시그널링된 특성에 기초하며, 상기 각각의 세그먼트에 대한 변환 클래스 시그널라이제이션은 서픽스 부분 없이 남아 있고, 또는 상기 각각의 세그먼트에 대한 변환 클래스 시그널라이제이션의 서픽스 부분은 상기 데이터 스트림에 포함되어 있고 상기 변환은 상기 서픽스 부분에 기초하여 선택될 것인 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
[실시예 28]
제27실시예 중 어느 한 실시예에 있어서,
상기 장치는 각각 공간 및/또는 시간 예측 및 특성과 독립적인 방식으로, 상기 변환 클래스 시그널라이제이션의 서픽스 부분이 취할 수 있는 값의 도메인의 상기 변환 세트로의 매핑을 사용하여 상기 서픽스 부분을 설정하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
[실시예 29]
제21실시예 내지 제29실시예 중 어느 한 실시예에 있어서,
상기 변환 세트는 제1 공간-스펙트럼 변환 및 상기 제1 공간-스펙트럼 변환과는 상이한 제2 공간-스펙트럼 변환을 포함하는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
[실시예 30]
제21실시예 내지 제29실시예 중 어느 한 실시예에 있어서,
상기 변환 세트는 수평으로 적용된 제1 1차원 공간-스펙트럼 변환과 수직으로 적용된 제2 1차원 공간-스펙트럼 변환의 연결인 공간-스펙트럼 변환을 포함하고, 상기 제1 1차원 공간-스펙트럼 변환과 상기 제2 1차원 공간-스펙트럼 변환은 서로 상이한 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
[실시예 31]
제21실시예 내지 제30실시예 중 어느 한 실시예에 있어서,
상기 변환 세트는
공간 도메인에서 수직으로 유지되면서 수평으로 적용된 1차원 공간-스펙트럼 변환인 제1 공간-스펙트럼 변환, 및
공간 도메인에서 수평으로 유지되면서 수직으로 적용된 1차원 공간-스펙트럼 변환인 제1 공간-스펙트럼 변환을 포함하는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
[실시예 32]
제21실시예 내지 제31실시예 중 어느 한 실시예에 있어서,
상기 변환 세트는 상기 수평 변환 세트와 상기 수직 변환 세트 중 하나의 상이한 쌍으로 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
[실시예 33]
제21실시예 내지 제32실시예 중 어느 한 실시예에 있어서,
상기 변환 세트는 수평으로 적용된 1차원 스펙트럼-공간 변환 세트 중 제1 1차원 스펙트럼-공간 변환과 수직으로 적용된 1차원 스펙트럼-공간 변환 세트 중 제2 1차원 스펙트럼-공간 변환의 연결로 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
[실시예 34]
제33실시예에 있어서,
상기 1차원 스펙트럼-공간 변환 세트는 항등 변환 및 하나 이상의 이산 코사인/사인 변환으로 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
[실시예 35]
제34실시예에 있어서,
상기 1차원 공간-스펙트럼 변환 세트는 항등 변환, DCT-II, DCT-IV, 및 DST-IV, 또는 항등 변환, DCT-III, DCT-IV, 및 DST-IV로 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
[실시예 36]
제34실시예 또는 제35실시예에 있어서,
상기 장치는 데이터 스트림 내의 변환 클래스 시그널라이제이션에 따라 상기 변환 세트 사이의 스위칭을 시그널링하도록 구성되고, 상기 변환 클래스 시그널라이제이션은 짝수 개의 빈을 포함하고, 상기 장치는 수평으로 적용된 상기 1차원 공간-스펙트럼 변환 세트 중 1차원 공간-스펙트럼 변환을 인덱싱하기 위해 상기 빈의 제1 절반을, 그리고 수직으로 적용된 상기 1차원 공간-스펙트럼 변환 세트 중 제2 1차원 공간-스펙트럼 변환을 인덱싱하기 위해 상기 빈의 제2 절반을 사용하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
[실시예 37]
제36실시예에 있어서,
상기 빈의 제1 절반과 상기 1차원 공간-스펙트럼 변환 세트 사이의 연관 및 상기 빈의 제2 절반과 상기 1차원 공간-스펙트럼 변환 세트 사이의 연관은 서로 동일한 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
[실시예 38]
제35실시예에 있어서,
상기 장치는 상기 데이터 스트림 내의 변환 클래스 시그널라이제이션에 따라 상기 변환 세트 사이의 스위칭을 시그널링하도록 구성되고, 상기 변환 클래스 시그널라이제이션은 짝수 개의 빈을 포함하고, 상기 장치는 한편으로는 {항등 변환, DST-IV}와 다른 한편으로는 {DCT-II/III, DCT-IV} 사이를 구별하기 위해 상기 빈의 제1 절반의 제1 빈 및 상기 빈의 제2 절반의 제1 빈을, 그리고 한편으로는 {항등 변환, DCT-II/III}와 다른 한편으로는 {DCT-IV, DST-IV} 사이를 구별하기 위해 상기 빈의 제1 절반의 제2 빈과 상기 빈의 제2 절반의 제2 빈을 사용함으로써, 수평으로 적용된 상기 1차원 스펙트럼-공간 변환 세트 중 제1 1차원 스펙트럼-공간 변환을 인덱싱하기 위해 상기 빈의 제1 절반을 그리고 수직으로 적용된 상기 1차원 스펙트럼-공간 변환 세트 중 제2 1차원 스펙트럼-공간 변환 세트를 인덱싱하기 위해 상기 빈의 제2 절반을 사용하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
[실시예 39]
제38실시예에 있어서,
상기 장치는 각각 상기 제2 절반의 제2 빈 및 상기 제2 절반의 제2 빈에 따라 상기 제1 절반의 제1 빈 및 상기 제2 절반의 제1 빈을 컨텍스트 적응 엔트로피 인코딩하기 위한 컨텍스트를 선택하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
[실시예 40]
제38실시예 또는 제39실시예에 있어서,
상기 장치는 상기 변환 클래스 시그널라이제이션이 상기 데이터 스트림에 포함되는 세그먼트의 인트라 코딩 모드에 따라 상기 제1 절반의 제2 빈 및 상기 제2 절반의 제2 빈을 컨텍스트 적응 엔트로피 인코딩하기 위한 컨텍스트를 선택하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
[실시예 41]
예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림에 있어서,
변환은 일련의 상기 예측 잔차 신호의 공간-스펙트럼 변환 코딩이 변환 세트 사이에서 스위칭하는 것에 기초하는 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
[실시예 42]
제41실시예에 있어서,
상기 변환 세트 사이의 스위칭은 상기 화상이 세분되는 세그먼트 단위로 발생하는 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
[실시예 43]
제42실시예에 있어서,
상기 변환 세트 사이의 스위칭은 인트라 코딩된 세그먼트에 적용되고, 하나의 변환은 인터 코딩된 세그먼트에 대해 상기 예측 잔차 신호의 공간-스펙트럼 변환 코딩에서 사용되는 상이한 변환 세트 사이의 스위칭을 꾸준히 기초하거나 사용하는 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
[실시예 44]
제42실시예 또는 제43실시예에 있어서,
상기 데이터 스트림은 세그먼트 세트 각각에 대해, 각각의 세그먼트의 코딩 모드와 독립적인 방식으로, 상기 변환 클래스 시그널라이제이션이 취할 수 있는 값의 도메인의 상기 변환 세트로의 전사 매핑을 사용하여, 상기 세그먼트 세트 각각에 대해, 각각의 세그먼트에 대한 상기 변환 세트 중 하나의 변환을 시그널링하는 변환 클래스 시그널라이제이션을 포함하는 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
[실시예 45]
제44실시예에 있어서,
시그널링은 또한 각각의 세그먼트의 이웃에 대해 상기 데이터 스트림에서 시그널링되는 특성에 의존하는 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
[실시예 46]
제42실시예 내지 제45실시예 중 어느 한 실시예에 있어서,
상기 데이터 스트림은 인트라 코딩된 세그먼트 각각에 대해, 각각의 세그먼트에 대한 상기 변환 세트 중 하나의 변환을 시그널링하는 변환 클래스 시그널링을 포함하고, 상기 변환 클래스 신호는 각각의 인트라 코딩된 세그먼트의 인트라 코딩 모드에 의존하는 컨텍스트를 사용하는 컨텍스트 기반 엔트로피 인코딩을 이용하여 데이터 스트림으로 인코딩되는 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
[실시예 47]
제42실시예 내지 제46실시예 중 어느 한 실시예에 있어서,
상기 데이터 스트림은 세그먼트 세트 각각에 대해, 각각의 세그먼트에 대한 상기 변환 세트 중 하나의 변환을 시그널링하는 변환 클래스 시그널링을 포함하고, 상기 변환 클래스 시그널라이제이션의 프리픽스 부분은 변환은 서픽스 부분 없이 유지되면서 각각의 세그먼트에 대한 변환 클래스 시그널라이제이션으로 공간 및/또는 시간 예측될 것이고, 및/또는 상기 각각의 세그먼트에 대한 변환 클래스 신호의 서픽스 부분은 상기 데이터 스트림에 포함되고, 상기 변환은 상기 서픽스 부분에 기초하여 선택될 것인 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
[실시예 48]
제47실시예 중 어느 한 실시예에 있어서,
상기 서픽스 부분은 공간 및/또는 시간 예측 및 특성과 독립적인 방식으로, 상기 변환 클래스 시그널라이제이션의 서픽스 부분이 취할 수 있는 값의 도메인의 상기 변환 세트로의 매핑을 사용하여 설정되는 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
[실시예 49]
제41실시예 내지 제49실시예 중 어느 한 실시예에 있어서,
상기 변환 세트는 제1 공간-스펙트럼 변환 및 상기 제1 공간-스펙트럼 변환과는 상이한 제2 공간-스펙트럼 변환을 포함하는 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
[실시예 50]
제41실시예 내지 제49실시예 중 어느 한 실시예에 있어서,
상기 변환 세트는 수평으로 적용된 제1 1차원 공간-스펙트럼 변환과 수직으로 적용된 제2 1차원 공간-스펙트럼 변환의 연결인 공간-스펙트럼 변환을 포함하고, 상기 제1 1차원 공간-스펙트럼 변환과 상기 제2 1차원 공간-스펙트럼 변환은 서로 상이한 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
[실시예 51]
제41실시예 내지 제50실시예 중 어느 한 실시예에 있어서,
상기 변환 세트는
공간 도메인에서 수직으로 유지하면서 수평으로 적용된 1차원 공간-스펙트럼 변환인 제1 공간-스펙트럼 변환, 및
공간 도메인에서 수평으로 유지하면서 수직으로 적용된 1차원 공간-스펙트럼 변환인 제1 공간-스펙트럼 변환을 포함하는 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
[실시예 52]
제41실시예 내지 제51실시예 중 어느 한 실시예에 있어서,
상기 변환 세트는 수평 변환 세트와 수직 변환 세트 중 하나의 상이한 쌍으로 구성되는 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
[실시예 53]
제41실시예 내지 제52실시예 중 어느 한 실시예에 있어서,
상기 변환 세트는 수평으로 적용된 1차원 공간-스펙트럼 변환 세트 중 제1 1차원 공간-스펙트럼 변환과 수직으로 적용된 1차원 공간-스펙트럼 변환 세트 중 제2 1차원 공간-스펙트럼 변환의 연결로 구성되는 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
[실시예 54]
제53실시예에 있어서,
상기 1차원 공간-스펙트럼 변환 세트는 항등 변환 및 하나 이상의 이산 코사인/사인 변환으로 구성으로 구성되는 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
[실시예 55]
제54실시예에 있어서,
상기 1차원 공간-스펙트럼 변환 세트는 항등 변환, DCT-II, DCT-IV, 및 DST-IV, 또는 항등 변환, DCT-III, DCT-IV, 및 DST-IV로 구성되는 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
[실시예 56]
제54실시예 또는 제55실시예에 있어서,
상기 데이터 스트림은 상기 변환 세트 사이의 스위칭을 시그널링하는 변환 클래스 시그널라이제이션을 포함하고, 상기 변환 클래스 시그널라이제이션은 짝수 개의 빈을 포함하고, 상기 빈의 제1 절반은 수평으로 적용된 1차원 공간-스펙트럼 변환 세트 중 제1 1차원 공간-스펙트럼 변환, 그리고 상기 빈의 제2 절반은 수직으로 적용된 1차원 공간-스펙트럼 변환 세트 중 제2 1차원 공간-스펙트럼 변환을 인덱싱하는 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
[실시예 57]
제56실시예에 있어서,
상기 빈의 제1 절반과 상기 1차원 공간-스펙트럼 변환 세트 사이의 연관 및 상기 빈의 제2 절반과 상기 1차원 공간-스펙트럼 변환 세트 사이의 연관은 서로 동일한 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
[실시예 58]
제55실시예에 있어서,
상기 데이터 스트림은 상기 변환 세트 사이의 스위칭을 시그널링하는 변환 클래스 시그널라이제이션을 포함하고, 상기 변환 클래스 시그널라이제이션은 짝수 개의 빈을 포함하고, 상기 빈의 제1 절반은 수평으로 적용된 상기 1차원 공간-스펙트럼 변환 세트 중 제1 1차원 공간-스펙트럼 변환을 인덱싱하고, 상기 빈의 제2 절반은 수직으로 적용된 상기 1차원 공간-스펙트럼 변환 세트 중 제2 1차원 공간-스펙트럼 변환 세트를 인덱싱하고, 상기 빈의 제1 절반의 제1 빈 및 상기 빈의 제2 절반의 제1 빈은 {항등 변환, DST-IV}와 다른 한편으로는 {DCT-II/III, DCT-IV} 사이를 구별하고, 상기 빈의 제1 절반의 제2 빈과 상기 빈의 제2 절반의 제2 빈은 한편으로는 {항등 변환, DCT-II/III}와 다른 한편으로는 {DCT-IV, DST-IV} 사이를 구별하는 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
[실시예 59]
제58실시예에 있어서,
상기 제1 절반의 제1 빈 및 상기 제2 절반의 제1 빈이 상기 데이터 스트림으로 컨텍스트 적응 엔트로피 인코딩되는 컨텍스트는 각각 상기 제2 절반의 제2 빈 및 사익 제2 절반의 제2 빈에 따라 설정되는 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
[실시예 60]
제58실시예 또는 제59실시예에 있어서,
상기 제1 절반의 빈 및 상기 제2 절반의 빈이 상기 데이터 스트림으로 컨텍스트 적응 엔트로피 인코딩된 컨텍스트는 상기 변환 클래스 시그널라이제이션이 상기 데이터 스트림에 포함되는 세그먼트의 인트라 코딩 모드에 따라 설정되는 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
[실시예 61]
데이터 스트림으로부터 화상을 예측 디코딩하는 방법에 있어서,
상기 방법은 상기 데이터 스트림으로부터 상기 화상의 예측 잔차 신호를 디코딩하는 단계, 및 상기 예측 잔차 신호를 스펙트럼-공간 변환할 시에 변환 세트 사이의 스위칭을 지원하여 상기 예측 잔차 신호가 스펙트럼-공간 변환되게 하는 단계를 포함하는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하는 방법.
[실시예 62]
화상을 데이터 스트림으로 예측 인코딩하는 방법에 있어서,
상기 방법은 예측 잔차 신호를 공간-스펙트럼 변환할 시에 변환 세트 사이의 스위칭을 지원하여 상기 화상의 예측 잔차 신호가 공간-스펙트럼 변환되게 하는 단계, 및 상기 예측 잔차 신호를 상기 데이터 스트림으로 인코딩하는 단계를 포함하는 것을 특징으로 하는 화상을 데이터 스트림으로 예측 인코딩하는 방법.
[실시예 63]
컴퓨터 상에서 실행될 때, 제61실시예 또는 제62실시예에 따른 방법을 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램.

Claims (63)

  1. 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치에 있어서,
    상기 장치는 상기 데이터 스트림으로부터 상기 화상의 예측 잔차 신호를 디코딩하고, 상기 예측 잔차 신호가 스펙트럼-공간 변환되게 하며, 상기 예측 잔차 신호를 스펙트럼-공간 변환할 시에 변환 세트 사이의 스위칭을 지원하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
  2. 제1항에 있어서,
    상기 장치는 상기 화상이 세분되는 세그먼트 단위로 상기 변환 세트 사이의 스위칭을 지원하는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
  3. 제2항에 있어서,
    상기 장치는 인트라 코딩된 세그먼트에 대해 상기 변환 세트 사이의 스위칭을 지원하고, 하나의 변환을 꾸준히 사용하거나, 또는 상기 예측 잔차 신호를 스펙트럼-공간 변환할 시에 인터 코딩된 세그먼트에 대해 상이한 변환 세트 사이의 스위칭을 사용하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
  4. 제2항 또는 제3항에 있어서,
    상기 장치는 상기 변환 세트 사이에서 스위칭할 시에, 세그먼트 세트 각각에 대해, 변환 클래스 시그널라이제이션이 취할 수 있는 값의 도메인의 상기 변환 세트로의 전사(surjective) 매핑을 사용하여, 상기 세그먼트 세트의 각각에 대해, 각각의 세그먼트에 대한 데이터 스트림에 포함된 변환 클래스 시그널라이제이션에 따라 상기 변환 세트 중 하나의 변환을 선택하여, 상기 변환 세트 각각에 대해, 세그먼트의 코딩 모드와 독립적인 방식으로, 상기 변환 세트의 모든 변환이 선택 가능하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
  5. 제2항 내지 제4항 중 어느 한 항에 있어서,
    상기 장치는 상기 변환 세트 사이에서 스위칭할 시에, 상기 세그먼트 세트 각각에 대해, 상기 각각의 세그먼트의 이웃에 대해 상기 데이터 스트림으로부터 도출된 특성에 따라 선택하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
  6. 제2항 내지 제5항 중 어느 한 항에 있어서,
    상기 장치는 상기 변환 세트를 스위칭할 시에, 인트라 코딩된 세그먼트 각각에 대해, 각각의 인트라 코딩된 세그먼트에 대한 데이터 스트림에 포함된 변환 클래스 시그널라이제이션에 따라 상기 변환 세트 중 하나를 선택하고, 상기 각각의 인트라 코딩된 세그먼트의 인트라 코딩 모드에 의존하는 컨텍스트를 사용하는 컨텍스트 기반 엔트로피 디코딩을 사용하여 상기 데이터 스트림으로부터 상기 변환 클래스 시그널라이제이션을 도출하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
  7. 제2항 내지 제6항 중 어느 한 항에 있어서,
    상기 장치는 상기 변환 세트를 스위칭할 시에, 상기 세그먼트 세트의 각각에 대해, 상기 변환 클래스 시그널라이제이션의 프리픽스 부분에 따라, 공간 및/또는 시간 예측에 의한 변환을 선택함으로써, 또는 상기 각각의 세그먼트에 대한 데이터 스트림에서 시그널링된 특성에 기초하여, 상기 서픽스 부분에 기초하여 상기 변환을 선택함으로써,상기 각각의 세그먼트에 대한 데이터 스트림에 포함된 변환 클래스 시그널라이제이션에 따라 상기 변환 세트 중 하나의 변환을 선택하고, 상기 변환 클래스 시그널라이제이션의 서픽스 부분 없이, 또는 상기 데이터 스트림으로부터의 변환 클래스 시그널라이제이션의 서픽스 부분을 도출함으로써 상기 데이터 스트림을 계속 파싱하고, 상기 서픽스 부분에 기초하여 상기 변환을 선택하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
  8. 제7항 중 어느 한 항에 있어서,
    상기 장치는 각각 공간 및/또는 시간 예측 및 특성과 독립적인 방식으로, 상기 변환 클래스 시그널라이제이션의 서픽스 부분이 취할 수 있는 값의 도메인을 상기 변환 세트에 매핑하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 변환 세트는 제1 스펙트럼-공간 변환 및 상기 제1 스펙트럼-공간 변환과 상이한 제2 스펙트럼-공간 변환을 포함하는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 변환 세트는 수평으로 적용된 제1 1차원 스펙트럼-공간 변환과 수직으로 적용된 제2 1차원 스펙트럼-공간 변환의 연결인 스펙트럼-공간 변환을 포함하고, 상기 제1 1차원 스펙트럼-공간 변환 및 상기 제2 1차원 스펙트럼-공간 변환은 서로 상이한 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 변환 세트는
    공간 도메인에서 수직으로 유지하면서 수평으로 적용된 1차원 스펙트럼-공간 변환인 제1 스펙트럼-공간 변환, 및
    공간 도메인에서 수평으로 유지하면서 수직으로 적용된 1차원 스펙트럼-공간 변환인 제1 스펙트럼-공간 변환을 포함하는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 변환 세트는 수평 변환 세트와 수직 변환 세트 중 하나의 상이한 쌍으로 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    상기 변환 세트는 수평으로 적용된 1차원 스펙트럼-공간 변환 세트 중 제1 1차원 스펙트럼-공간 변환과 수직으로 적용된 1차원 스펙트럼-공간 변환 세트 중 제2 1차원 스펙트럼-공간 변환의 연결로 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
  14. 제13항에 있어서,
    상기 1차원 스펙트럼-공간 변환 세트는 항등 변환 및 하나 이상의 이산 코사인/사인 변환으로 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
  15. 제14항에 있어서,
    상기 1차원 스펙트럼-공간 변환 세트는 항등 변환, DCT-II, DCT-IV, 및 DST-IV, 또는 항등 변환, DCT-III, DCT-IV, 및 DST-IV로 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
  16. 제14항 또는 제15항에 있어서,
    상기 장치는 상기 데이터 스트림 내의 변환 클래스 시그널라이제이션에 따라 상기 변환 세트 사이의 스위칭을 수행하도록 구성되고, 상기 변환 클래스 시그널라이제이션은 짝수 개의 빈을 포함하고, 상기 장치는 수평으로 적용된 1차원 스펙트럼-공간 변환 세트 중 상기 제1 1차원 스펙트럼-공간 변환을 인덱싱하기 위해 상기 빈의 제1 절반, 및 수직으로 적용된 1차원 스펙트럼-공간 변환 세트 중 제2 1차원 스펙트럼-공간 변환 세트를 인덱싱하기 위해 상기 빈의 제2 절반을 사용하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
  17. 제16항에 있어서,
    상기 빈의 제1 절반과 상기 1차원 스펙트럼-공간 변환 세트 사이의 연관 및 상기 빈의 제2 절반과 상기 1차원 스펙트럼-공간 변환 세트 사이의 연관은 서로 동일한 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
  18. 제15항에 있어서,
    상기 장치는 상기 데이터 스트림 내의 변환 클래스 시그널라이제이션에 따라 상기 변환 세트 사이의 스위칭을 수행하도록 구성되고, 상기 변환 클래스 시그널라이제이션은 짝수 개의 빈을 포함하고, 상기 장치는 한편으로는 {항등 변환, DST-IV}와 다른 한편으로는 {DCT-II/III, DCT-IV} 사이를 구별하기 위해 상기 빈의 제1 절반의 제1 빈 및 상기 빈의 제2 절반의 제1 빈을, 그리고 한편으로는 {항등 변환, DCT-II/III}와 다른 한편으로는 {DCT-IV, DST-IV} 사이를 구별하기 위해 상기 빈의 제1 절반의 제2 빈과 상기 빈의 제2 절반의 제2 빈을 사용함으로써, 수평으로 적용된 상기 1차원 스펙트럼-공간 변환 세트 중 제1 1차원 스펙트럼-공간 변환을 인덱싱하기 위해 상기 빈의 제1 절반을 그리고 수직으로 적용된 상기 1차원 스펙트럼-공간 변환 세트 중 제2 1차원 스펙트럼-공간 변환 세트를 인덱싱하기 위해 상기 빈의 제2 절반을 사용하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
  19. 제18항에 있어서,
    상기 장치는 각각 상기 제2 절반의 제2 빈 및 상기 제2 절반의 제2 빈에 따라 상기 제1 절반의 제1 빈 및 상기 제2 절반의 제1 빈을 컨텍스트 적응 엔트로피 디코딩하기 위한 컨텍스트를 선택하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
  20. 제18항 또는 제19항에 있어서,
    상기 장치는 상기 변환 클래스 시그널라이제이션이 상기 데이터 스트림에 포함되는 세그먼트의 인트라 코딩 모드에 따라 상기 제1 절반의 제2 빈 및 상기 제2 절반의 제2 빈을 컨텍스트 적응 엔트로피 디코딩하기 위한 컨텍스트를 선택하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하기 위한 장치.
  21. 화상을 데이터 스트림으로 예측 인코딩하기 위한 장치에 있어서,
    상기 장치는 예측 잔차 신호를 공간-스펙트럼 변환할 시에 변환 세트 사이의 스위칭을 지원하여 상기 화상의 예측 잔차 신호가 공간-스펙트럼 변환되게 하고, 상기 예측 잔차 신호를 상기 데이터 스트림으로 인코딩하도록 구성되는 것을 특징으로 하는 화상을 데이터 스트림으로 예측 인코딩하기 위한 장치.
  22. 제21항에 있어서,
    상기 장치는 상기 화상이 세분되는 세그먼트 단위로 상기 변환 세트 사이의 스위칭을 지원하는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
  23. 제22항에 있어서,
    상기 장치는 상기 예측 잔치 신호를 공간-스펙트럼 변환할 시에, 인트라 코딩된 세그먼트에 대해 상기 변환 세트 사이의 스위칭을 지원하고, 인터 코딩된 세그먼트에 대해 하나의 변환을 꾸준히 사용하거나 상이한 변환 세트 사이의 스위칭을 사용하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
  24. 제22항 또는 제23항에 있어서,
    상기 장치는 상기 변환 세트 사이에서 스위칭할 시에, 세그먼트 세트의 각각에 대해, 상기 데이터 스트림 내의 각각의 세그먼트에 대한 변환 클래스 시그널라이제이션으로 상기 변환 세트 중 하나의 변환을 시그널링하도록 구성되며, 상기 세그먼트 세트 각각에 대해, 상기 변환 클래스 시그널라이제이션이 취할 수 있는 값의 도메인의 상기 변환 세트로의 전사 매핑을 사용하여, 상기 세그먼트 세트 각각에 대해, 상기 변환 세트의 모든 변환이 각각의 세그먼트 코딩 모드와 독립적인 방식으로 시그널링될 수 있도록 되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
  25. 제24항에 있어서,
    상기 장치는 또한 각각의 세그먼트의 이웃에 대해 상기 데이터 스트림에서 시그널링된 특성에 따라 시그널링을 수행하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
  26. 제22항 내지 제25항 중 어느 한 항에 있어서,
    상기 장치는 상기 변환 세트 사이에서 스위칭할 시에, 인트라 코딩된 세그먼트 각각에 대해, 상기 데이터 스트림에서 각각의 인트라 코딩된 세그먼트에 대한 변환 클래스 시그널라이제이션으로 상기 변환 세트 중 하나를 시그널링하도록 구성되며, 상기 각각의 인트라 코딩된 세그먼트의 인트라 코딩 모드에 의존하는 컨텍스트를 사용하는 컨텍스트 기반 엔트로피 인코딩을 사용하여 상기 변환 클래스 시그널라이제이션을 상기 데이터 스트림으로 인코딩하는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
  27. 제22항 내지 제26항 중 어느 한 항에 있어서,
    상기 장치는 상기 변환 세트를 스위칭할 시에, 상기 변환 클래스 시그널라이제이션의 프리픽스 부분으로 시그널링함으로써 상기 데이터 스트림에서 각각의 세그먼트에 대한 변환 클래스 시그널라이제이션으로, 상기 세그먼트 세트 각각에 대해, 상기 변환 세트 중 하나의 변환을 시그널링하도록 구성되며, 상기 변환은 공간 및/또는 시간 예측되거나 상기 각각의 세그먼트에 대해 상기 데이터 스트림에서 시그널링된 특성에 기초하며, 상기 각각의 세그먼트에 대한 변환 클래스 시그널라이제이션은 서픽스 부분 없이 남아 있고, 또는 상기 각각의 세그먼트에 대한 변환 클래스 시그널라이제이션의 서픽스 부분은 상기 데이터 스트림에 포함되어 있고 상기 변환은 상기 서픽스 부분에 기초하여 선택될 것인 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
  28. 제27항 중 어느 한 항에 있어서,
    상기 장치는 각각 공간 및/또는 시간 예측 및 특성과 독립적인 방식으로, 상기 변환 클래스 시그널라이제이션의 서픽스 부분이 취할 수 있는 값의 도메인의 상기 변환 세트로의 매핑을 사용하여 상기 서픽스 부분을 설정하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
  29. 제21항 내지 제29항 중 어느 한 항에 있어서,
    상기 변환 세트는 제1 공간-스펙트럼 변환 및 상기 제1 공간-스펙트럼 변환과는 상이한 제2 공간-스펙트럼 변환을 포함하는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
  30. 제21항 내지 제29항 중 어느 한 항에 있어서,
    상기 변환 세트는 수평으로 적용된 제1 1차원 공간-스펙트럼 변환과 수직으로 적용된 제2 1차원 공간-스펙트럼 변환의 연결인 공간-스펙트럼 변환을 포함하고, 상기 제1 1차원 공간-스펙트럼 변환과 상기 제2 1차원 공간-스펙트럼 변환은 서로 상이한 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
  31. 제21항 내지 제30항 중 어느 한 항에 있어서,
    상기 변환 세트는
    공간 도메인에서 수직으로 유지되면서 수평으로 적용된 1차원 공간-스펙트럼 변환인 제1 공간-스펙트럼 변환, 및
    공간 도메인에서 수평으로 유지되면서 수직으로 적용된 1차원 공간-스펙트럼 변환인 제1 공간-스펙트럼 변환을 포함하는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
  32. 제21항 내지 제31항 중 어느 한 항에 있어서,
    상기 변환 세트는 상기 수평 변환 세트와 상기 수직 변환 세트 중 하나의 상이한 쌍으로 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
  33. 제21항 내지 제32항 중 어느 한 항에 있어서,
    상기 변환 세트는 수평으로 적용된 1차원 스펙트럼-공간 변환 세트 중 제1 1차원 스펙트럼-공간 변환과 수직으로 적용된 1차원 스펙트럼-공간 변환 세트 중 제2 1차원 스펙트럼-공간 변환의 연결로 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
  34. 제33항에 있어서,
    상기 1차원 스펙트럼-공간 변환 세트는 항등 변환 및 하나 이상의 이산 코사인/사인 변환으로 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
  35. 제34항에 있어서,
    상기 1차원 공간-스펙트럼 변환 세트는 항등 변환, DCT-II, DCT-IV, 및 DST-IV, 또는 항등 변환, DCT-III, DCT-IV, 및 DST-IV로 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
  36. 제34항 또는 제35항에 있어서,
    상기 장치는 데이터 스트림 내의 변환 클래스 시그널라이제이션에 따라 상기 변환 세트 사이의 스위칭을 시그널링하도록 구성되고, 상기 변환 클래스 시그널라이제이션은 짝수 개의 빈을 포함하고, 상기 장치는 수평으로 적용된 상기 1차원 공간-스펙트럼 변환 세트 중 1차원 공간-스펙트럼 변환을 인덱싱하기 위해 상기 빈의 제1 절반을, 그리고 수직으로 적용된 상기 1차원 공간-스펙트럼 변환 세트 중 제2 1차원 공간-스펙트럼 변환을 인덱싱하기 위해 상기 빈의 제2 절반을 사용하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
  37. 제36항에 있어서,
    상기 빈의 제1 절반과 상기 1차원 공간-스펙트럼 변환 세트 사이의 연관 및 상기 빈의 제2 절반과 상기 1차원 공간-스펙트럼 변환 세트 사이의 연관은 서로 동일한 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
  38. 제35항에 있어서,
    상기 장치는 상기 데이터 스트림 내의 변환 클래스 시그널라이제이션에 따라 상기 변환 세트 사이의 스위칭을 시그널링하도록 구성되고, 상기 변환 클래스 시그널라이제이션은 짝수 개의 빈을 포함하고, 상기 장치는 한편으로는 {항등 변환, DST-IV}와 다른 한편으로는 {DCT-II/III, DCT-IV} 사이를 구별하기 위해 상기 빈의 제1 절반의 제1 빈 및 상기 빈의 제2 절반의 제1 빈을, 그리고 한편으로는 {항등 변환, DCT-II/III}와 다른 한편으로는 {DCT-IV, DST-IV} 사이를 구별하기 위해 상기 빈의 제1 절반의 제2 빈과 상기 빈의 제2 절반의 제2 빈을 사용함으로써, 수평으로 적용된 상기 1차원 스펙트럼-공간 변환 세트 중 제1 1차원 스펙트럼-공간 변환을 인덱싱하기 위해 상기 빈의 제1 절반을 그리고 수직으로 적용된 상기 1차원 스펙트럼-공간 변환 세트 중 제2 1차원 스펙트럼-공간 변환 세트를 인덱싱하기 위해 상기 빈의 제2 절반을 사용하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
  39. 제38항에 있어서,
    상기 장치는 각각 상기 제2 절반의 제2 빈 및 상기 제2 절반의 제2 빈에 따라 상기 제1 절반의 제1 빈 및 상기 제2 절반의 제1 빈을 컨텍스트 적응 엔트로피 인코딩하기 위한 컨텍스트를 선택하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
  40. 제38항 또는 제39항에 있어서,
    상기 장치는 상기 변환 클래스 시그널라이제이션이 상기 데이터 스트림에 포함되는 세그먼트의 인트라 코딩 모드에 따라 상기 제1 절반의 제2 빈 및 상기 제2 절반의 제2 빈을 컨텍스트 적응 엔트로피 인코딩하기 위한 컨텍스트를 선택하도록 구성되는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 인코딩하기 위한 장치.
  41. 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림에 있어서,
    변환은 일련의 상기 예측 잔차 신호의 공간-스펙트럼 변환 코딩이 변환 세트 사이에서 스위칭하는 것에 기초하는 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
  42. 제41항에 있어서,
    상기 변환 세트 사이의 스위칭은 상기 화상이 세분되는 세그먼트 단위로 발생하는 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
  43. 제42항에 있어서,
    상기 변환 세트 사이의 스위칭은 인트라 코딩된 세그먼트에 적용되고, 하나의 변환은 인터 코딩된 세그먼트에 대해 상기 예측 잔차 신호의 공간-스펙트럼 변환 코딩에서 사용되는 상이한 변환 세트 사이의 스위칭을 꾸준히 기초하거나 사용하는 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
  44. 제42항 또는 제43항에 있어서,
    상기 데이터 스트림은 세그먼트 세트 각각에 대해, 각각의 세그먼트의 코딩 모드와 독립적인 방식으로, 상기 변환 클래스 시그널라이제이션이 취할 수 있는 값의 도메인의 상기 변환 세트로의 전사 매핑을 사용하여, 상기 세그먼트 세트 각각에 대해, 각각의 세그먼트에 대한 상기 변환 세트 중 하나의 변환을 시그널링하는 변환 클래스 시그널라이제이션을 포함하는 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
  45. 제44항에 있어서,
    시그널링은 또한 각각의 세그먼트의 이웃에 대해 상기 데이터 스트림에서 시그널링되는 특성에 의존하는 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
  46. 제42항 내지 제45항 중 어느 한 항에 있어서,
    상기 데이터 스트림은 인트라 코딩된 세그먼트 각각에 대해, 각각의 세그먼트에 대한 상기 변환 세트 중 하나의 변환을 시그널링하는 변환 클래스 시그널링을 포함하고, 상기 변환 클래스 신호는 각각의 인트라 코딩된 세그먼트의 인트라 코딩 모드에 의존하는 컨텍스트를 사용하는 컨텍스트 기반 엔트로피 인코딩을 이용하여 데이터 스트림으로 인코딩되는 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
  47. 제42항 내지 제46항 중 어느 한 항에 있어서,
    상기 데이터 스트림은 세그먼트 세트 각각에 대해, 각각의 세그먼트에 대한 상기 변환 세트 중 하나의 변환을 시그널링하는 변환 클래스 시그널링을 포함하고, 상기 변환 클래스 시그널라이제이션의 프리픽스 부분은 변환은 서픽스 부분 없이 유지되면서 각각의 세그먼트에 대한 변환 클래스 시그널라이제이션으로 공간 및/또는 시간 예측될 것이고, 및/또는 상기 각각의 세그먼트에 대한 변환 클래스 신호의 서픽스 부분은 상기 데이터 스트림에 포함되고, 상기 변환은 상기 서픽스 부분에 기초하여 선택될 것인 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
  48. 제47항 중 어느 한 항에 있어서,
    상기 서픽스 부분은 공간 및/또는 시간 예측 및 특성과 독립적인 방식으로, 상기 변환 클래스 시그널라이제이션의 서픽스 부분이 취할 수 있는 값의 도메인의 상기 변환 세트로의 매핑을 사용하여 설정되는 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
  49. 제41항 내지 제49항 중 어느 한 항에 있어서,
    상기 변환 세트는 제1 공간-스펙트럼 변환 및 상기 제1 공간-스펙트럼 변환과는 상이한 제2 공간-스펙트럼 변환을 포함하는 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
  50. 제41항 내지 제49항 중 어느 한 항에 있어서,
    상기 변환 세트는 수평으로 적용된 제1 1차원 공간-스펙트럼 변환과 수직으로 적용된 제2 1차원 공간-스펙트럼 변환의 연결인 공간-스펙트럼 변환을 포함하고, 상기 제1 1차원 공간-스펙트럼 변환과 상기 제2 1차원 공간-스펙트럼 변환은 서로 상이한 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
  51. 제41항 내지 제50항 중 어느 한 항에 있어서,
    상기 변환 세트는
    공간 도메인에서 수직으로 유지하면서 수평으로 적용된 1차원 공간-스펙트럼 변환인 제1 공간-스펙트럼 변환, 및
    공간 도메인에서 수평으로 유지하면서 수직으로 적용된 1차원 공간-스펙트럼 변환인 제1 공간-스펙트럼 변환을 포함하는 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
  52. 제41항 내지 제51항 중 어느 한 항에 있어서,
    상기 변환 세트는 수평 변환 세트와 수직 변환 세트 중 하나의 상이한 쌍으로 구성되는 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
  53. 제41항 내지 제52항 중 어느 한 항에 있어서,
    상기 변환 세트는 수평으로 적용된 1차원 공간-스펙트럼 변환 세트 중 제1 1차원 공간-스펙트럼 변환과 수직으로 적용된 1차원 공간-스펙트럼 변환 세트 중 제2 1차원 공간-스펙트럼 변환의 연결로 구성되는 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
  54. 제53항에 있어서,
    상기 1차원 공간-스펙트럼 변환 세트는 항등 변환 및 하나 이상의 이산 코사인/사인 변환으로 구성으로 구성되는 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
  55. 제54항에 있어서,
    상기 1차원 공간-스펙트럼 변환 세트는 항등 변환, DCT-II, DCT-IV, 및 DST-IV, 또는 항등 변환, DCT-III, DCT-IV, 및 DST-IV로 구성되는 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
  56. 제54항 또는 제55항에 있어서,
    상기 데이터 스트림은 상기 변환 세트 사이의 스위칭을 시그널링하는 변환 클래스 시그널라이제이션을 포함하고, 상기 변환 클래스 시그널라이제이션은 짝수 개의 빈을 포함하고, 상기 빈의 제1 절반은 수평으로 적용된 1차원 공간-스펙트럼 변환 세트 중 제1 1차원 공간-스펙트럼 변환, 그리고 상기 빈의 제2 절반은 수직으로 적용된 1차원 공간-스펙트럼 변환 세트 중 제2 1차원 공간-스펙트럼 변환을 인덱싱하는 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
  57. 제56항에 있어서,
    상기 빈의 제1 절반과 상기 1차원 공간-스펙트럼 변환 세트 사이의 연관 및 상기 빈의 제2 절반과 상기 1차원 공간-스펙트럼 변환 세트 사이의 연관은 서로 동일한 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
  58. 제55항에 있어서,
    상기 데이터 스트림은 상기 변환 세트 사이의 스위칭을 시그널링하는 변환 클래스 시그널라이제이션을 포함하고, 상기 변환 클래스 시그널라이제이션은 짝수 개의 빈을 포함하고, 상기 빈의 제1 절반은 수평으로 적용된 상기 1차원 공간-스펙트럼 변환 세트 중 제1 1차원 공간-스펙트럼 변환을 인덱싱하고, 상기 빈의 제2 절반은 수직으로 적용된 상기 1차원 공간-스펙트럼 변환 세트 중 제2 1차원 공간-스펙트럼 변환 세트를 인덱싱하고, 상기 빈의 제1 절반의 제1 빈 및 상기 빈의 제2 절반의 제1 빈은 {항등 변환, DST-IV}와 다른 한편으로는 {DCT-II/III, DCT-IV} 사이를 구별하고, 상기 빈의 제1 절반의 제2 빈과 상기 빈의 제2 절반의 제2 빈은 한편으로는 {항등 변환, DCT-II/III}와 다른 한편으로는 {DCT-IV, DST-IV} 사이를 구별하는 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
  59. 제58항에 있어서,
    상기 제1 절반의 제1 빈 및 상기 제2 절반의 제1 빈이 상기 데이터 스트림으로 컨텍스트 적응 엔트로피 인코딩되는 컨텍스트는 각각 상기 제2 절반의 제2 빈 및 사익 제2 절반의 제2 빈에 따라 설정되는 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
  60. 제58항 또는 제59항에 있어서,
    상기 제1 절반의 빈 및 상기 제2 절반의 빈이 상기 데이터 스트림으로 컨텍스트 적응 엔트로피 인코딩된 컨텍스트는 상기 변환 클래스 시그널라이제이션이 상기 데이터 스트림에 포함되는 세그먼트의 인트라 코딩 모드에 따라 설정되는 것을 특징으로 하는 예측 잔차 신호의 예측 코딩 및 공간-스펙트럼 변환 코딩의 사용에 의해 인코딩된 화상을 갖는 데이터 스트림.
  61. 데이터 스트림으로부터 화상을 예측 디코딩하는 방법에 있어서,
    상기 방법은 상기 데이터 스트림으로부터 상기 화상의 예측 잔차 신호를 디코딩하는 단계, 및 상기 예측 잔차 신호를 스펙트럼-공간 변환할 시에 변환 세트 사이의 스위칭을 지원하여 상기 예측 잔차 신호가 스펙트럼-공간 변환되게 하는 단계를 포함하는 것을 특징으로 하는 데이터 스트림으로부터 화상을 예측 디코딩하는 방법.
  62. 화상을 데이터 스트림으로 예측 인코딩하는 방법에 있어서,
    상기 방법은 예측 잔차 신호를 공간-스펙트럼 변환할 시에 변환 세트 사이의 스위칭을 지원하여 상기 화상의 예측 잔차 신호가 공간-스펙트럼 변환되게 하는 단계, 및 상기 예측 잔차 신호를 상기 데이터 스트림으로 인코딩하는 단계를 포함하는 것을 특징으로 하는 화상을 데이터 스트림으로 예측 인코딩하는 방법.
  63. 컴퓨터 상에서 실행될 때, 제61항 또는 제62항에 따른 방법을 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램.
KR1020237015429A 2016-07-14 2017-07-13 변환 기반 잔차 코딩을 이용한 예측 화상 코딩 KR20230066148A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP16179405 2016-07-14
EP16179405.2 2016-07-14
KR1020227002822A KR102531124B1 (ko) 2016-07-14 2017-07-13 변환 기반 잔차 코딩을 이용한 예측 화상 코딩
PCT/EP2017/067708 WO2018011345A1 (en) 2016-07-14 2017-07-13 Predictive picture coding using transform-based residual coding

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020227002822A Division KR102531124B1 (ko) 2016-07-14 2017-07-13 변환 기반 잔차 코딩을 이용한 예측 화상 코딩

Publications (1)

Publication Number Publication Date
KR20230066148A true KR20230066148A (ko) 2023-05-12

Family

ID=56413512

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020197002727A KR102357329B1 (ko) 2016-07-14 2017-07-13 변환 기반 잔차 코딩을 이용한 예측 화상 코딩
KR1020237015429A KR20230066148A (ko) 2016-07-14 2017-07-13 변환 기반 잔차 코딩을 이용한 예측 화상 코딩
KR1020227002822A KR102531124B1 (ko) 2016-07-14 2017-07-13 변환 기반 잔차 코딩을 이용한 예측 화상 코딩

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020197002727A KR102357329B1 (ko) 2016-07-14 2017-07-13 변환 기반 잔차 코딩을 이용한 예측 화상 코딩

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020227002822A KR102531124B1 (ko) 2016-07-14 2017-07-13 변환 기반 잔차 코딩을 이용한 예측 화상 코딩

Country Status (6)

Country Link
US (1) US20190149845A1 (ko)
EP (1) EP3485637A1 (ko)
JP (1) JP6833009B2 (ko)
KR (3) KR102357329B1 (ko)
CN (1) CN109716767B (ko)
WO (1) WO2018011345A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2018311237B2 (en) 2017-08-04 2021-07-29 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and apparatus for configuring transform for video compression
CN112567745A (zh) * 2018-03-29 2021-03-26 弗劳恩霍夫应用研究促进协会 用于视频编码的候选变换集合的确定
CN108665067B (zh) * 2018-05-29 2020-05-29 北京大学 用于深度神经网络频繁传输的压缩方法及系统
US11290748B2 (en) 2018-05-31 2022-03-29 Lg Electronics Inc. Method and device for designing low complexity DST7
AU2018204786A1 (en) * 2018-06-29 2020-01-16 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a transformed block of video samples
KR20220030999A (ko) * 2019-06-14 2022-03-11 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 스케일링에 기초하는 개선된 변환을 갖는 인코더, 디코더, 방법 및 컴퓨터 프로그램
KR102573511B1 (ko) 2020-11-23 2023-08-31 서울대학교산학협력단 영상 데이터 처리 장치 및 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220123340A (ko) * 2009-01-27 2022-09-06 인터디지털 브이씨 홀딩스 인코포레이티드 비디오 인코딩 및 디코딩에서 변환 선택을 위한 방법 및 장치
CN102045560B (zh) * 2009-10-23 2013-08-07 华为技术有限公司 一种视频编解码方法及设备
US9172968B2 (en) * 2010-07-09 2015-10-27 Qualcomm Incorporated Video coding using directional transforms
US8885701B2 (en) * 2010-09-08 2014-11-11 Samsung Electronics Co., Ltd. Low complexity transform coding using adaptive DCT/DST for intra-prediction
US10992958B2 (en) * 2010-12-29 2021-04-27 Qualcomm Incorporated Video coding using mapped transforms and scanning modes
JP2012169762A (ja) * 2011-02-10 2012-09-06 Sony Corp 画像符号化装置と画像復号化装置およびその方法とプログラム

Also Published As

Publication number Publication date
CN109716767B (zh) 2021-09-21
JP2019525589A (ja) 2019-09-05
KR102357329B1 (ko) 2022-02-03
CN109716767A (zh) 2019-05-03
WO2018011345A1 (en) 2018-01-18
US20190149845A1 (en) 2019-05-16
KR20190033541A (ko) 2019-03-29
JP6833009B2 (ja) 2021-02-24
KR102531124B1 (ko) 2023-05-10
KR20220017528A (ko) 2022-02-11
EP3485637A1 (en) 2019-05-22

Similar Documents

Publication Publication Date Title
KR102531124B1 (ko) 변환 기반 잔차 코딩을 이용한 예측 화상 코딩
US11616989B2 (en) Entropy decoding method, and decoding apparatus using same
KR102543505B1 (ko) 종속 양자화
KR100964641B1 (ko) 복합형 비디오 부호화에서의 예측 에러의 적응 부호화 기술
US9762900B2 (en) Method and apparatus for encoding/decoding video in intra prediction mode
EP3300371B1 (en) Method for encoding and decoding and apparatus for encoding an image by using a large transform unit
US9706214B2 (en) Image and video decoding implementations
US20140133559A1 (en) Method for encoding image information and method for decoding same
KR102636388B1 (ko) 변환 계수 블록 코딩
KR20140037264A (ko) 비디오 코딩에서의 계수 스캐닝
JP2015508617A (ja) 映像の符号化における係数の符号化
KR20120005984A (ko) 변환 계수의 엔트로피 부호화/복호화 방법 및 장치
KR20110112180A (ko) 저복잡도 엔트로피 부호화/복호화 방법 및 장치
TWI789668B (zh) 脈絡適應性二進制算術寫碼用參數化體系決定技術
KR20200139116A (ko) 영상 정보 부호화 방법 및 복호화 방법
WO2020056779A1 (en) Adaptive construction of most probable modes candidate list for video data encoding and decoding
KR101377529B1 (ko) 적응적 움직임 벡터 부호화/복호화를 이용한 영상 부호화/복호화 방법 및 장치
JP6528635B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
KR102327323B1 (ko) 적어도 하나의 이미지를 나타내는 데이터 스트림을 인코딩하고 디코딩하는 방법 및 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right