KR102551317B1 - 선택적 양자화 파라미터 송신 - Google Patents

선택적 양자화 파라미터 송신 Download PDF

Info

Publication number
KR102551317B1
KR102551317B1 KR1020207027822A KR20207027822A KR102551317B1 KR 102551317 B1 KR102551317 B1 KR 102551317B1 KR 1020207027822 A KR1020207027822 A KR 1020207027822A KR 20207027822 A KR20207027822 A KR 20207027822A KR 102551317 B1 KR102551317 B1 KR 102551317B1
Authority
KR
South Korea
Prior art keywords
video
frames
data stream
dqp
spatial
Prior art date
Application number
KR1020207027822A
Other languages
English (en)
Other versions
KR20200128080A (ko
Inventor
크리스티안 헴리히
하이코 슈바르츠
데트레브 마르페
토마스 비간트
아담 와잇카우스키
벤자민 브로스
미샤 지크만
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Publication of KR20200128080A publication Critical patent/KR20200128080A/ko
Application granted granted Critical
Publication of KR102551317B1 publication Critical patent/KR102551317B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 비디오를 데이터 스트림(140')으로 인코딩하기 위한 비디오 인코더(141)에 관한 것으로, 여기서 비디오 인코더(141)는 상기 비디오는 데이터 스트림(140')으로 인코딩되는 비디오의 프레임(142'a 내지 142'e)과 시간적 계층형 레이어의 연관성에 따라 양자화 파라미터(Quantization Parameter, QP)가 적용되는 입도를 변경하도록 구성된다. 본 발명은 또한 각각의 디코더(241), 인코딩 및 디코딩을 위한 각각의 방법, 및 상기 방법을 구현하기 위한 컴퓨터 프로그램에 관한 것이다.

Description

선택적 양자화 파라미터 송신
본 발명은 스틸 이미지 코덱 및/또는 예를 들어 하이브리드 비디오 코덱과 같은 비디오 코덱에서 사용하기 위한 코딩 개념에 관한 것이다.
현대의 지각 이미지 및 비디오 코더는 레이트 제어를 위해 양자화 파라미터(quantization parameter, QP)를 적용하는데, 인코더에서는 양자화 이전에 변환 계수를 정규화하기 위한 제수로 사용되며, 디코더에서는 재구성을 위해 양자화된 계수 값을 스케일링한다.
일부 코덱에서, 예를 들어 [1]에 명시된 바와 같은 소위 고효율 비디오 코딩(High Efficiency Video Coding, HEVC)에서, QP 값은 차등 적으로 코딩될 수 있는데, 즉 이전에 코딩된 QP 값과의 차이로, 거의 1dB의 스텝 크기로 로그 스케일에서 N × N 블록당 한 번(N = 8, 16, 32, 또는 64):
인코더:
Figure 112020102451188-pct00001
, 디코더:
Figure 112020102451188-pct00002
(1)
여기서 q는 코딩된 QP 인덱스이고'는 재구성을 나타낸다. 차등(differential) q 인덱스는 예를 들어 Huffman 또는 산술 코딩 기술을 사용하여 일반적으로 엔트로피 코딩된다. QP'는 QP 양자화로 인한 오류 전파 효과를 피하기 위해 인코더 측 정규화에도 사용된다. 지각 QP 적응 방법은 주어진 비트 레이트, 즉 비트스트림 크기에 대해 상기 이미지(들)의 지각 재구성 품질을 개선하기 위해 입력 이미지(들)의 특성에 기초하여 로컬에서 q를 조정한다. 유럽 특허 출원 17192477 [2]에 예시적인 접근 방식이 제공된다.
위에서 언급한 코딩 개념은 감소된 비트스트림 크기를 제공한다.
그러나, 비트스트림 크기를 더욱 줄이기 위한 코딩 개념을 제공하는 것이 유리할 것이다.
따라서, 본 발명의 목적은 보다 효율적인 스틸 이미지(still image) 및/또는 비디오 코딩을 위한 개념을 제공하는 것이다.
이 목적은 본 출원의 독립 청구항의 주제에 의해 달성된다.
제1 양태는 비디오를 데이터 스트림으로 인코딩하는 비디오 인코더에 관한 것이며, 여기서 비디오 인코더는 비디오가 데이터 스트림으로 인코딩되는 시간적 계층형 레이어에 대한 비디오 프레임의 연관성에 따라 양자화 파라미터(QP)가 적용되는 입도를 변경하도록 구성된다.
제2 양태는 데이터 스트림에서 비디오를 디코딩하기 위한 비디오 디코더에 관한 것이며, 여기서 비디오 디코더는 시간적 계층형 레이어(temporally hierarchical layer)에 대한 비디오 프레임의 연관성에 따라 양자화 파라미터(QP)가 적용되는 입도를 변경하도록 구성된다.
제3 양태는 비디오를 데이터 스트림으로 인코딩하는 방법에 관한 것으로, 방법은 비디오 인코딩 시에 양자화 파라미터(QP)를 적용하는 단계, 및 비디오가 데이터 스트림으로 인코딩되는 시간적 계층형 레이어에 대한 비디오 프레임의 연관성에 따라 양자화 파라미터(QP)가 적용되는 입도를 변경하는 단계를 포함한다.
제4 양태는 데이터 스트림에서 비디오를 디코딩하는 방법에 관한 것으로, 여기서 방법은 비디오 디코딩 시에 양자화 파라미터(QP)를 적용하는 단계, 및 비디오 프레임과 시간적 계층형 레이어의 연관성에 따라 양자화 파라미터(QP)가 적용되는 입도를 변경하는 단계를 포함한다.
제5 양태에 따르면, 컴퓨터 프로그램이 제공되며, 여기서 각각의 컴퓨터 프로그램은 컴퓨터 또는 신호 프로세서에서 실행될 때 전술한 방법을 구현하도록 구성되어, 전술한 방법은 컴퓨터 프로그램 중 하나에 의해 구현된다.
본 발명은 양자화 파라미터(QP)를 프레임 또는 프레임의 공간적 또는 색채(chromatic) 서브 세트에 선택적으로 송신하고 적용하는 것이 전체 비트스트림 크기를 작지만 상당한 양만큼 줄일 수 있다는 발견에 기초한다. 일반적으로, QP는 각각의 프레임에 전역적으로 적용될 수 있다. 이러한 전역 QP는 미리 결정된 고정 값을 포함할 수 있다. QP는 또한 로컬 QP로서 프레임 또는 프레임의 공간적 또는 색채 서브 세트에 로컬로 적용될 수 있다. 용어 서브 세트가 여기에서 사용되는 한, 그것은 공간 서브 세트와 색채 서브 세트를 포함한다. 프레임의 공간 서브 세트는 예를 들어 블록 기반 변환 코덱에서 사용될 수 있는 슬라이스 또는 블록일 수 있는 반면, (휘도/루마 채널 또는 컴포넌트 또는 평면 또는 다른 색상 채널 또는 컴포넌트 또는 평면과 반대로) 프레임의 색채 서브 세트는 특정 컬러 채널, 컬러 컴포넌트 또는 상기 프레임의 컬러 평면일 수 있다. 더욱이, QP, 및 특히 로컬 QP는 이전에 코딩된 QP와의 차이로서 차등적으로 코딩될 수 있다. 이러한 차등 코딩된 QP는 차등 양자화 파라미터(Differential Quantization Parameter, DQP)라고도 한다. 본 발명에 따르면, 코딩 시에 프레임 또는 프레임의 서브 세트에 QP가 적용될 수 있는 입도는 각각의 프레임에 대해 또는 프레임의 각각의 서브 세트에 대해 선택적으로 변경되게 할 수 있다. 상기 다양한 입도는 인코더가 QP를 프레임 또는 프레임의 서브 세트에 적용 할 수 있는 그러데이션(gradation), 예를 들어, 로컬 QP 적응 목적을 위한 로컬 QP 또는 코딩 시에 로컬 QP가없는 전역 QP만 적용될 수 있는지 여부를 정의할 수 있다. 후자의 경우, 로컬 QP 적응이 실행되지 않을 수 있다. 다시 말해, 데이터 스트림의 로컬 QP 정보는 각각의 프레임의 로컬 QP 적응 또는 상기 프레임의 공간적 또는 색채 서브 세트(예를 들어, 슬라이스 또는 채널 또는 평면)에 사용될 수 있다. 위에서 언급한 바와 같이, 예를 들어 DQP는 로컬 QP일 수 있다. 본 발명에 따르면, 본 발명의 인코더는 QP 적응을 적용하지 않도록 선택적으로, 특히 로컬 QP 적응을 프레임 중 선택된 프레임에 적용하지 않거나 상기 프레임의 적어도 선택된 서브 세트에 적용하지 않도록 선택할 수 있다. 따라서, QP 적응이 의도되지 않은 하나 이상의 선택된 프레임에 대한 데이터 스트림에서 로컬 QP 정보가 이용 가능하지 않을 수 있다. 다시 말해, 본 발명의 인코더는 비디오의 프레임들 중 선택된 프레임들에 대해, 또는 상기 프레임들의 적어도 선택된 서브 세트에 대해 적응 적 QP 기반 코딩, 특히 적응 적 로컬 QP 기반 코딩을 선택적으로 비활성화할(disable) 수 있다. 따라서, 본 발명의 인코더는 전체 비트스트림 크기의 저장으로 이어질 수 있는 데이터 스트림으로 QP 정보, 특히 로컬 QP 정보를 인코딩하지 않도록 구성될 수 있다. 예를 들어, 본 발명의 인코더는 전역 QP 정보를 데이터 스트림으로 인코딩할 수 있지만, 예를 들어 DQP와 같은 로컬 QP 정보를 데이터 스트림으로 인코딩하는 것을 선택적으로 생략할 수 있다. 결과적으로, 로컬 QP 적응은 프레임 중 선택된 프레임 또는 상기 프레임의 공간적 또는 색채 서브 세트에 대해 선택적으로 생략될 수 있다. 본 발명의 인코더는 코딩 중에 QP, 예를 들어 전역 QP 및/또는 로컬 QP를 적용하는 상기 입도를 변경하도록 구성될 수 있다. 즉, 인코더는 (로컬) QP 기반 코딩 방식을 사용할 수 있고 (로컬) QP 기반 코딩 방식이 선택적으로 비활성화된 개별 프레임 또는 상기 프레임의 서브 세트를 선택할 수 있다. 결과적으로, 인코딩된 데이터 스트림은 예를 들어 (로컬) QP 기반 코딩 방식, 예를 들어 DQP 기반 코딩 방식을 사용하여 인코딩되었을 수 있는 프레임 또는 프레임의 서브 세트를 포함할 수 있고, 데이터 스트림은 동시에 (로컬) QP 기반 코딩 방식을 사용하여 인코딩되지 않았을 수 있는 프레임 또는 프레임의 서브 세트를 포함할 수 있다. 따라서, 데이터 스트림은 예를 들어 (로컬) QP 정보, 예를 들어 일부 프레임 또는 프레임의 서브 세트에 대한 DQP 값을 포함할 수 있고, 데이터 스트림은(로컬) QP 정보를 사용할 수 없는 일부 다른 프레임을 포함할 수 있다. 종래 기술에서는 (로컬) QP 기반 코딩 방식을 사용하는 단순한 능력만이 스트림 시작 시에 시그널링될 수 있다. 따라서, 종래 기술(로컬) QP 기반 코딩에서, 예를 들어. DQP 기반 코딩은 코딩 전에 전체 스트림에 대해서만 활성화(enable) 또는 비활성화될 수 있는 반면, 본 발명은 단일 프레임에 대해 선택적으로 개별적으로(로컬) QP 코딩을 비활성화하거나 데이터 스트림에 포함된 프레임의 단일 공간적 또는 색채 서브 세트에 대해 비활성화된다. 더욱이, 본 발명의 인코더는 코딩 중에 그렇게 할 수 있다. 본 발명의 인코더는 계층적 순서에 기초하여 상기 개별 또는 단일 프레임을 선택하도록 구성될 수 있다. 예를 들어, 시간적 계층형 이미지 및 비디오 코딩 애플리케이션에서, 입력 프레임, 또는 프레임의 공간적 또는 색채 서브 세트는 상이한 시간적 계층형 레이어에 연관될 수 있다. 상기 상이한 시간적 계층형 레이어는 프레임, 또는 프레임의 공간적 또는 색채 서브 세트가 인코딩될 수 있는 시간적 순서를 나타낼 수 있다. 예를 들어, 제1 시간적 계층형 레이어와 연관된 프레임 또는 프레임의 서브 세트는 제2 시간적 계층형 레이어와 연관된 프레임 또는 프레임의 서브 세트보다 먼저 인코딩될 수 있다. 전형적인 예는 인트라 전용 프레임이라고도 하는 랜덤 액세스 포인트(Random-Access-Point, RAP) 프레임으로, 이전에 디코딩된 프레임에 의존하지 않고 인코딩 및 디코딩 가능해야 한다. 따라서. 일반적으로 시간 계층 구조의 가장 낮은 순서(일반적으로 0)를 나타낸다. 본 발명의 인코더는 제1 시간적 계층형 레이어와 연관된 프레임 또는 프레임의 서브 세트에 대해(로컬) QP 기반 코딩 방식을 활성화할 수 있고, 제2 시간적 계층형 레이어와 연관된 프레임 또는 프레임의 서브 세트에 대한(로컬) QP 기반 코딩 방식을 비활성화할 수 있다. 일반적으로 말하면, 제2 시간적 계층형 레이어는 제1 시간적 계층형 레이어보다 높은 차수를 가질 수 있고, 따라서, 제1 시간적으로 계층적 순서(제1 시간적 계층형 순서)와 연관되는 프레임은 프레임이 제2 시간적 계층형 레이어와 연관되기 전에 인코딩 및/또는 디코딩될 수 있다. 예를 들어, 본 발명의 인코더는 예를 들어 로컬 QP를 적용할 수 있는데, DQP 값, 해당 프레임 또는 프레임의 서브 세트에 대한 하위, 즉 제1 시간적 계층형 레이어와 연관되고, 더 높은, 즉 제2 시간적 계층형 레이어와 관련된 프레임 또는 프레임의 서브 세트에 대해 로컬 QP를 적용하지 않을 수 있다. 결과적으로, 본 발명의 인코더는 비디오가 데이터 스트림으로 인코딩되는 시간적 계층형 레이어에 대한 비디오의 프레임 또는 프레임의 서브 세트의 연관성에 따라 QP가 적용되는 입도를 선택적으로 변경할 수 있다.
본 발명의 유리한 양태는 종속항의 주제이다. 본 출원의 바람직한 실시예는 도면과 관련하여 하에서 설명되며:
도 1은 본 출원의 실시예들에 따른 인트라 예측 개념이 구현될 수 있는 인코더에 대한 예로서 픽처를 예측 코딩하기 위한 장치의 블록도를 도시한다;
도 2는 본 출원의 실시예들에 따른 인트라 예측 개념이 구현될 수 있는 디코더의 예로서, 도 1의 장치에 적합한 픽처를 예측 디코딩하기 위한 장치의 블록도를 도시한다;
도 3은 코딩 모드 선택, 변환 선택, 및 변환 성능 각각에 대한 세분을 설정하는 가능성을 설명하기 위해 예측 잔차 신호, 예측 신호, 및 재구성된 신호 사이의 관계에 대한 일 예를 도시하는 개략도를 도시한다;
도 4는 실시예에 따른 인코더의 개략적인 블록도를 도시한다;
도 5a 및 도 5b는 시간 계층적 코딩 방식으로 프레임 순서를 변경하는 예를 도시한다;
도 6은 실시예에 따른 인코더의 개략적인 블록도를 도시한다;
도 7은 실시예에 따른 디코더의 개략적인 블록도를 도시한다;
도 8은 실시예에 따른 디코더의 개략적인 블록도를 도시한다;
도 9는 일 실시예에 따라 비디오를 데이터 스트림으로 인코딩하는 방법의 개략적인 블록도를 도시한다; 그리고
도 10은 일 실시예에 따른 데이터 스트림으로부터 비디오를 디코딩하는 방법의 개략적인 블록도를 도시한다.
동일 또는 등가의 요소 또는 동일한 또는 동등한 기능을 가진 요소는 동일 또는 유사한 참조 숫자로 다음의 설명에서 표시된다.
도면의 다음 설명은 실시예가 내장되어 있을 수 있는 코딩 프레임워크에 대한 예를 형성하기 위해 비디오의 픽처를 코딩하기 위한 블록 기반 예측 코덱의 인코더 및 디코더에 대한 설명으로 시작한다. 이전의 인코더 및 디코더는 도 1 내지 도 3과 관련하여 설명된다. 이하, 본 출원의 개념의 실시예에 대한 설명이 이러한 개념이 각각 도 1 및 도 2의 인코더 및 디코더에 구축될 수 있는 방법에 대한 설명과 함께 제공되며, 이후의 도 4 및 다음에서 설명되는 실시예는 도 1 및 2의 인코더 및 디코더의 기본이 되는 코딩 프레임워크에 따라 작동하지 않는 인코더 및 디코더를 형성하는 데에도 사용될 수 있다.
도 1은 변환 기반 잔차 코딩을 사용하여 데이터 스트림(14)으로 픽처(12)를 예측 코딩하기 위한 장치를 도시한다. 장치 또는 인코더는 참조 부호 10을 사용하여 표시된다. 도 2는 대응하는 디코더(20), 즉 변환 기반 잔차 디코딩을 또한 사용하여 데이터 스트림(14)으로부터 픽처(12')를 예측 디코딩하도록 구성된 장치(20)를 도시하며, 여기서 아포스트로피(apostrophe)는 디코더(20)에 의해 재구성된 픽처(12')가 예측 잔차 신호의 양자화에 의해 도입된 코딩 손실의 관점에서 장치(10)에 의해 원래 인코딩된 픽처(12)로부터 벗어남을 나타내는 데 사용된다. 도 1 및 도 2는 본 출원의 실시예가 이러한 종류의 예측 잔차 코딩에 제한되지 않지만, 변환 기반 예측 잔차 코딩을 예시적으로 사용한다. 이는 이후에 설명되는 것처럼 도 1 및 2와 관련하여 설명된 다른 세부 사항에 대해서도 마찬가지이다.
인코더(10)는 예측 잔차 신호를 공간-스펙트럼 변환하고, 그 다음에 획득된 예측 잔차 신호를 데이터 스트림(14)으로 인코딩하도록 구성된다. 마찬가지로, 디코더(20)는 데이터 스트림(14)으로부터의 예측 잔차 신호를 디코딩하고, 이렇게 얻어진 예측 잔차 신호를 스펙트럼-공간 변환하도록 구성된다.
내부적으로, 인코더(10)는 원래의 신호, 즉 픽처(12)로부터 예측 신호(26)의 편차를 측정하기 위해 예측 잔차 신호(24)를 생성하는 예측 잔차 신호 형성기(22)를 포함할 수 있다. 예측 잔차 신호 형성기(22)는 예를 들어 원래의 신호, 즉 픽처(12)로부터 예측 신호를 감산하는 감산기일 수 있다. 인코더(10)는 그 다음에 예측 잔차 신호(24)가 공간-스펙트럼 변환되게 하여 스펙트럼 도메인 예측 잔차 신호(24')를 획득하는 변환기(28)를 더 포함하며, 스펙트럼 도메인 예측 잔차 신호(24')는 그 다음에 역시 인코더(10)에 포함된 양자화기(32)에 의해 양자화된다. 이렇게 양자화된 예측 잔차 신호(24")는 비트스트림(14)으로 코딩된다. 이를 위해, 인코더(10)는 선택적으로 엔트로피 코더(34)를 포함할 수 있으며, 엔트로피 코더(34)는 변환 및 양자화된 예측 잔차 신호를 데이터 스트림(14)으로 엔트로피 코딩한다. 예측 잔차(26)는 데이터 스트림(14)으로 디코딩되고 데이터 스트림(14)으로부터 디코딩 가능한 예측 잔차 신호(24")에 기초하여 인코더(10)의 예측 스테이지(36)에 의해 생성된다. 이를 위해, 도 1에 도시된 바와 같이, 예측 스테이지(36)는 내부적으로 양자화해제기(38)를 포함하며, 양자화해제기(38)는 예측 잔차 신호(24'')를 양자화해제하여 스펙트럼 도메인 예측 잔차 신호(24''')를 얻고, 스펙트럼 도메인 예측 잔차 신호(24''')는 양자화 손실을 제외하고 신호(24')에 대응하고, 양자화해제기에 뒤이어 역 변환기(40)가 오며, 역 변환기(40)은 후자의 예측 잔차 신호(24''')를 역 변환되게 하여, 즉 스펙트럼-공간 변환하여, 예측 잔차 신호(24'''')를 획득하고, 예측 잔차 신호(24'''')는 양자화 손실을 제외하고 원래의 예측 잔차 신호(24)에 대응한다. 그 다음, 예측 스테이지(36)의 결합기(42)는 예컨대 예측 신호(26) 및 예측 잔차 신호(24'''')를 가산함으로써 재결합하여 재구성된 신호(46), 즉 원래의 신호(12)의 재구성을 획득한다. 재구성된 신호(46)는 신호(12')에 대응할 수 있다. 예측 스테이지(36)의 예측 모듈(44)은 예를 들어 공간 예측, 즉 인트라 예측 및/또는 시간적 예측, 즉 인터 예측, 및/또는 색채 예측, 즉 교차 성분 예측을 사용하여 신호(46)에 기초하여 예측 신호(26)를 생성한다.
마찬가지로, 디코더(20)는도 2에 도시된 바와 같이 예측 단계(36)에 대응하는 컴포넌트로 내부적으로 구성되고 예측 스테이지(36)에 대응하는 방식으로 상호 연결될 수 있다. 특히, 디코더(20)의 엔트로피 디코더(50)는 데이터 스트림으로부터 양자화된 스펙트럼 도메인 예측 잔차 신호(24'')를 엔트로피 디코딩할 수 있으며, 예측 스테이지(36)의 모듈과 관련하여 전술한 방식으로 상호 접속되고 협력하는 양자화해제기(52), 역 변환기(54), 결합기(56), 및 예측 모듈(58)은 예측 잔차 신호(24'')에 기초하여 재구성된 신호를 복원하고, 도 2에 도시된 바와 같이, 결합기(56)의 출력은 재구성된 신호, 즉 픽처(12')이다.
상기에서 구체적으로 기술되지는 않았지만, 인코더(10)가 예를 들어 어떤 레이트 및 왜곡 관련 기준을 최적화하는 방식과 같은 몇몇 최적화 체계에 따라, 예를 들어, 예측 모드, 모션 파라미터 등을 포함하는 일부 코딩 파라미터를 설정할 수 있음이 명백하다. 예를 들어, 인코더(10) 및 디코더(20) 및 대응하는 모듈(44, 58) 각각은 인트라 코딩 모드 및 인터 코딩 모드와 같은 상이한 예측 모드를 지원할 수 있다. 인코더 및 디코더가 이들 예측 모드 타입들 사이에서 스위칭하는 입도는 각각 픽처 세그먼트(12 및 12')의 코딩 세그먼트 또는 코딩 블록으로의 세분에 대응할 수 있다. 예를 들어, 이러한 코딩 세그먼트의 단위로, 픽처는 인트라 코딩되고 인터 코딩되는 블록들로 세분될 수 있다. 인트라 코딩된 블록은 아래에 더 자세히 설명된 것처럼 각각의 블록의 공간적이고 이미 코딩/디코딩된 이웃을 기반으로 예측된다. 몇몇 인트라 코딩 모드가 존재할 수도 있고, 방향성 인트라 코딩 모드를 포함하는 각각의 인트라 코딩된 세그먼트에 대해 선택될 수 있으며, 방향성 인트라 코딩 모드에 따라, 각각의 방향성 인트라 코딩 모드에 대해 특정한 특정 방향을 따라 이웃의 샘플 값을 각각의 인트라 코딩된 세그먼트로 외삽하여 각각의 세그먼트가 채워진다. 인트라 코딩 모드는 또한 각각의 인트라 코딩된 블록에 대한 예측은 각 인트라 코딩된 세그먼트 내의 모든 샘플에 DC 값을 할당하는 DC 코딩 모드, 및/또는 각각의 블록의 예측은 인접 샘플을 기반으로 한 2 차원 선형 함수에 의해 정의된 평면의 기울기 및 오프셋을 구동하는 각각의 인트라 코딩된 블록의 샘플 위치에 대해 2 차원 선형 함수에 의해 설명된 샘플 값의 공간 분포인 것으로 추정되거나 결정되는 평면 인트라 코딩 모드와 같은 하나 이상의 추가 모드를 포함할 수 있다. 그와 비교하여, 인터 코딩된 세그먼트는 예를 들어 시간적으로 예측될 수 있다. 인터 코딩된 블록에 대해, 모션 벡터가 데이터 스트림 내에서 시그널링될 수 있으며, 모션 벡터들은 픽처(12)이 속하는 비디오의 이전에 코딩된 픽처의 부분의 공간적 변위를 나타내며, 여기서 이전에 코딩된/디코딩된 픽처는 각각의 인터 코딩된 블록에 대한 예측 신호를 획득하기 위해 샘플링된다. 이는 양자화된 스펙트럼 도메인 예측 잔차 신호(24'')를 나타내는 엔트로피 코딩된 변환 계수 레벨과 같은 데이터 스트림(14)에 의해 포함된 잔차 신호 코딩에 더해, 데이터 스트림(14)이 코딩 모드를 다양한 세그먼트를 할당하기 위한 인코딩된 코딩 모드 파라미터, 인터 코딩된 세그먼트에 대한 모션 파라미터와 같은 세그먼트 중 일부에 대한 예측 파라미터, 및 각각 픽처(12 및 12')의 세분을 제어하고 시그널링하는 파라미터와 같은 선택적인 추가적 파라미터를 세그먼트로 가질 수 있다. 디코더(20)는 이들 파라미터를 사용하여 인코더와 동일한 방식으로 픽처를 세분하고, 동일한 예측 모드를 세그먼트에 할당하고, 동일한 예측을 수행하여 동일한 예측 신호를 얻는다.
도 3은 한편으로는 재구성된 신호, 즉 재구성된 픽처(12')와, 다른 한편으로는 데이터 스트림에서 시그널링된 예측 잔차 신호(24''''')와 예측 신호(26)의 조합을 도시한다. 이미 위에서 언급한 바와 같이, 그 조합은 추가일 수 있다. 예측 신호(26)는 도 3에 예시적으로 해칭을 사용하여 도시된 인트라 코딩된 블록으로의 픽처 영역과 예시적으로 해칭을 사용하지 않고 도시된 인터 코딩된 블록로의 세분으로서 도시된다. 세분은 임의의 세분, 예컨대 블록 또는 블록의 행 및 열로의 픽처 영역의 규칙적인 세분, 또는 쿼트 트리 세분 등과 같은 가변 크기의 리프 블록으로의 픽처(12)의 멀티 트리 세분으로의 세분일 수 있으며, 여기서 픽처 영역은 우선 트리 루트 블록의 행과 열로 세분되며, 트리 루트 블록은 그 다음에 재귀적 멀티 트리 세분에 따라 더 세분된다. 다시, 데이터 스트림(14)은 인트라 코딩된 블록(80)에 대해 인트라 코딩된 모드를 가질 수 있으며, 인트라 코딩된 블록(80)는 몇몇 인트라 코딩된 모드들 중 하나를 각각의 인트라 코딩된 블록에 할당한다. 자세한 내용은 아래에 설명되어 있다. 인터 코딩된 블록(82)에 있어서, 데이터 스트림(14)은 그 안에 코딩된 하나 이상의 모션 파라미터를 가질 수 있다. 일반적으로 말하면, 인터 코딩된 블록(82)은 시간적으로 코딩되는 것에 제한되지 않는다. 대안적으로, 인터 코딩된 블록(82)은 예를 들어 픽처(12)가 속하는 비디오의 이전에 코딩된 픽처, 또는 인코더 및 디코더가 각각 스케일링 가능한 인코더 및 디코더일 경우 픽처(12)가 속하는 픽처 뷰의 다른 픽처 또는 계층적 하위 픽처와 같이 현재 픽처(12) 자체를 넘어 이전에 코딩된 부분으로부터 예측된 임의의 블록일 수 있다. 도 3의 예측 잔차 신호(24'''')는 또한 픽처 영역을 블록(84)으로 세분하는 것으로 도시되어 있다. 이러한 블록은 코딩 블록(80 및 82)과 동일한 것을 구별하기 위해 변환 블록이라고 불릴 수 있다. 사실상, 도 3은 인코더(10) 및 디코더(20)가 각각 픽처(12) 및 픽처(12')가 블록으로의, 2개의 상이한 세분, 즉 각각 코딩 블록(80 및 82)로 세분하고 블록(84)으로 다른 세분은 블록(84)으로의 세분을 사용할 수 있음을 도시한다. 세분 양자 모두는 동일할 수 있다, 즉 각각의 코딩 블록(80 및 82)는 변환 블록(84)를 동시에 형성할 수 있다, 그러나 도 3 은 예를 들어 세그먼트(80 및 82)의 2개의 블록 사이의 임의의 경계가 2개의 블록(84) 사이의 경계에 중첩하도록 변환 블록(84)으로의 세분이 코딩 블록(80/82)로의 세분의 확장을 형성하는 경우, 또는 달리 말하면, 각각의 블록(80/82)이 변환 블록(84) 중 하나와 일치하거나 변환 블록(84)의 클러스터와 일치하는 경우를 도시한다. 그러나, 세분은 또한 서로 독립적으로 결정되거나 선택될 수 있어서, 변환 블록(84)은 대안적으로 블록(80/82) 사이의 블록 경계를 횡단할 수 있다. 변환 블록(84)으로의 세분화에 관한 한, 따라서 블록 80/82로 세분화와 관련하여 제시된 것과 유사한 진술이 사실인데, 즉 블록(84)은 픽처 영역을 블록으로 규칙적으로 세분한 결과(행과 열로의 배열이 있거나 없음), 픽처 영역의 재귀 적 다중 트리 세분화의 결과, 또는 이들의 조합 또는 임의의 다른 종류의 블록화일 수 있다. 마찬가지로, 세그먼트(80, 82, 및 84)은 2차, 직사각형, 또는 임의의 다른 형상으로 제한되지 않음에 유의한다.
도 3은 예측 신호(26)와 예측 잔차 신호(24'''')의 조합이 재구성된 신호(12')를 직접 유도하는 것을 도시한다. 그러나, 대안적인 실시예에 따르면 하나를 초과하는 예측 신호(26)가 예측 잔차 신호(24'''')와 결합되어 픽처(12')을 생성할 수 있음에 있음에 유의해야 한다.
도 3에서, 변환 세그먼트(84)는 이하의 의미를 가질 수 있다. 변환기(28) 및 역 변환기(54)는 이들 변환 세그먼트(84) 단위로 변환을 수행한다. 예를 들어, 많은 코덱은 모든 변환 블록(84)에 대해 일종의 DST 또는 DCT를 사용할 수 있다. 일부 코덱은 변환 세그먼트(84)의 일부에 대해 예측 잔차 신호가 공간 도메인에서 직접 코딩되도록 변환을 스킵할 수 있게 한다. 그러나, 후술되는 실시예에 따르면, 인코더(10) 및 디코더(20)는 몇몇 변환을 지원하는 방식으로 구성된다. 예를 들어, 인코더(10) 및 디코더(20c)에 의해 지원되는 변환은 다음을 포함할 수 있다:
o DCT-II(또는 DCT-III), 여기서 DCT는 Discrete Cosine Transform을 의미함
o DST-IV, 여기서 DST는 Discrete Sine Transform를 의미함
o DCT-IV
o DST-VII
o 항등 변환(Identity Transformation, IT)
당연히, 변환기(28)는 이들 변환의 모든 순방향 변환 버전을 지원하지만, 디코더(20) 또는 역 변환기(54)는 대응하는 역방향 또는 역 버전을 지원할 것이다:
o 역 DCT-II(또는 역 DCT-III)
o 역 DST-IV
o 역 DCT-IV
o 역 DST-VII
o 항등 변환(Identity Transformation, IT)
후속 설명은 인코더(10) 및 디코더(20)에 의해 지원될 수 있는 변환에 대한 더 많은 세부 사항을 제공한다. 임의의 경우에, 지원되는 변환 세트는 하나의 스펙트럼-공간 또는 공간-스펙트럼 변환과 같은 변환만을 포함할 수 있다는 점에 유의해야 한다.
위에서 이미 설명된 바와 같이, 도 1 내지 3은 본 출원에 따른 인코더 및 디코더에 대한 특정 예를 형성하기 위해 아래에서 추가로 설명되는 인트라 예측 개념이 구현될 수 있는 예로서 제시되었다. 지금까지, 도 1 및 도 2의 인코더 및 디코더는 각각 아래에서 설명되는 인코더 및 디코더의 가능한 구현을 나타낸다. 아래에서 더 상세히 설명되는 바와 같이, 본 출원에 따른 인트라 예측을 위한 후속 설명 실시예가 도 1 및 도 2의 인코더 및 디코더에 내장된 경우, 도 1의 인코더 및 도 2의 디코더는 적어도 하나의 옵션으로서 아래에 더 상세히 설명된 방식으로 인트라 예측 블록(80)을 프로세싱하도록 지원한다. 따라서, 이하에서 설명되는 실시예는 아래에 더 상세히 설명된 방식으로 인트라 코딩된 블록(80)을 처리하는 도 1의 인코더(10)와 동일한 인코더를 참조하고, 도 2의 디코더에 대해서도 동일하게 적용되며, 따라서, 인트라 코딩된 블록이 아래에서 더 상세히 설명되는 방식으로 처리되는 실시예에 따른 디코더에 대한 예를 나타낸다. 그러나, 도 1 및 도 2는 단지 예일 뿐이다. 본 출원의 실시예들에 따른 인코더는 아래에 더 상세히 설명되고 예를 들어, 동일한 비디오 인코더가 없고, 인터 예측을 지원하지 않고, 또는 블록(80)으로의 세분화는 도 3에 예시된 것과 다른 방식으로 수행되고, 또는 심지어 이 인코더는 예를 들어 공간 영역에서 직접적으로 예측 잔차를 코딩하는 변환 예측 잔차 코딩을 사용하지 않는다는 점에서 도 1의 인코더와 다른 개념을 사용하여 픽처(12)의 블록 기반 인코딩을 수행할 수 있다. 마찬가지로, 본 출원의 실시예에 따른 디코더는 아래에서 추가로 설명되는 인트라 예측 코딩 개념을 사용하여 데이터 스트림(14)으로부터 픽처(12')의 블록 기반 디코딩을 수행할 수 있으나, 예를 들어, 비디오 디코더는 없지만 스틸 픽처 디코더는 동일하거나, 내부 예측을 지원하지 않거나, 도 3과 관련하여 설명된 것과 다른 방식으로 픽처(12')를 블록으로 세분화하거나, 및/또는 예를 들어 변환 도메인에서 데이터 스트림(14)으로부터 예측 잔차를 유도하지 않지만, 공간 도메인에서는 유도한다는 점에서 도 2의 인코더(20)와 상이할 수 있다.
도 4는 본 개시에 따른 인코더(141)의 실시예를 도시한다. 픽처 그룹(group of picture, GOP, 143)은 하나 이상의 픽처(142a 내지 142e)를 포함할 수 있다. 상기 픽처(142a 내지 142e)는 또한 프레임으로 지칭될 수 있다. 프레임(142a 내지 142e)은 공간 서브 세트로 세분될 수 있다. 예를 들어, 프레임(142a)은 하나 이상의 슬라이스(1441, 1442)로 세분될 수 있다. 대안 적으로 또는 추가적으로, 프레임(142a)은 또한 예를 들어 하나 이상의 색채 채널 또는 컴포넌트 또는 평면(1441, 1442)으로, YCbCr(또는 YUV) 코딩의 경우 하나의 휘도(루마(luma))와 하나 이상의 색채(크로마(chroma)) 서브 프레임으로, RGB(빨강, 녹색, 파랑) 코딩의 경우 3색 서브 프레임으로 세분될 수 있다. 상기 하나 이상의 색채 채널 또는 컴포넌트 또는 평면(1441, 1442)은 또한 프레임(142a)의 서브 세트로 지칭될 수 있다.
GOP(143)는 인코더(141)에 입력으로서 공급될 수 있다. 인코더(141)는 인코더(141)의 출력인 데이터 스트림(140')으로 GOP(143)를 인코딩할 수 있다. 따라서, 인코딩된 데이터 스트림(140')은 인코딩된 GOP(143')를 포함할 수 있다. 인코더(141)는 QP 기반 코딩 방식이라고도 지칭될 수 있는 양자화 파라미터(QP)를 사용하는 코딩 방식을 사용할 수 있다.
따라서, 데이터 스트림(140')은 인코딩된 GOP(143')를 포함할 수 있으며, 인코딩된 GOP(143')는 특정 코딩 방식, 이 예에서는 QP 기반 코딩 방식을 사용하여 데이터 스트림(140')으로 인코딩된 인코딩된 프레임(142'a 내지 142'e)을 포함할 수 있다. 더욱이, 예시적인 인코딩된 프레임(142'a)은 또한 QP 기반 코딩 방식을 사용하여 인코딩될 수 있는 인코딩된 공간적 또는 색채 서브 세트/슬라이스(144'1, 144'2)를 포함할 수 있다.
코딩 방식은 하나 이상의 시간적 계층형 레이어를 포함하는 시간적으로 계층적 코딩 순서를 포함할 수 있다. 인코딩된 프레임(142'a 내지 142'e)은 상기 시간적 계층형 레이어 중 하나와 연관될 수 있다. 예를 들어, 처음 3개의 인코딩된 프레임(142'a, 142'b, 143'c)은 제1 시간적 계층형 레이어와 연관될 수 있다. 상기 제1 시간적 계층형 레이어는 둘러싸인 숫자 1에 의해 기호화되는 1의 인덱스(i = 1)를 포함할 수 있다. 마지막 2개의 인코딩된 프레임(142'd, 142'e)은 제2 시간적 계층형 레이어와 연관될 수 있다. 상기 제2 시간적 계층형 레이어는 둘러싸인 숫자 2로 상징되는 2의 인덱스(i = 2)를 포함할 수 있다.
제1 시간적 계층형 레이어와 연관되는 인코딩된 프레임(142'a, 142'b, 143'c)은 제2 시간적 계층형 레이어와 연관되는 다른 프레임(142'd, 142'e)보다 먼저 인코딩될 수 있다.
또한, 제1 시간적 계층형 레이어와 연관되는 인코딩된 프레임(142'a, 142'b, 143'c)은 로컬 QP 기반 코딩 방식을 사용하여 인코딩될 수 있는데, 즉 인코더(141)는 상기 인코딩된 프레임(142'a, 142'b, 143'c)에 대한 로컬 QP 정보를 데이터 스트림(140')으로 인코딩할 수 있다. 이 로컬 QP 정보에 기초하여, 인코딩된 프레임(142'a, 142'b, 143'c)은 로컬 QP 적응을 받을 수 있다. 로컬 QP 적응은 전체 프레임 또는 프레임의 공간적 또는 색채 서브 세트에서 실행될 수 있다.
그러나, 제2 시간적 계층형 레이어와 연관되는 인코딩된 프레임(142'd, 142'e)은 로컬 QP 기반 코딩 방식과 다른 코딩 방식으로 인코딩될 수 있다. 따라서, 인코더(141)는 로컬 QP 정보를 데이터 스트림(140')으로 인코딩하는 것을 생략할 수 있다. 따라서, 인코딩된 프레임(142'd, 142'e)은 로컬 QP 적응을 받지 않을 수 있다.
전술한 바와 같이, 제2 시간적 계층형 레이어와 연관된 인코딩된 프레임(142'd, 142'e)은 로컬 QP 기반 코딩 방식과 다른 코딩 방식, 예를 들어 전체 QP라고도 하는 전역 QP가 인코딩된 각 프레임(142'a 내지 142'e)에 적용되는 전역 QP 기반 인코딩 방식과 같은 것을 사용하여 인코딩될 수 있다. 예를 들어, 인코딩된 프레임(142'a 내지 142'e)은 로컬 QP 기반 코딩 방식과 다른 임의의 다른 코딩 방식을 사용하여 미리 결정되거나 고정된 양자화로 인코딩될 수 있다.
다시 말해, 본 발명의 인코더(141)는 코딩 중에 QP가 적용되는 입도를 선택적으로 변경하도록 구성될 수 있는데, 즉 인코더(141)는 QP 기반 코딩 방식이 프레임 레벨에서 전역적으로 적용되는지 또는 프레임 레벨 및/또는 공간적 또는 색채 서브 세트 레벨에서 로컬로 적용되는지를 결정하도록 구성될 수 있다. 상기 입도는 각각의 인코딩된 프레임(142'a 내지 142'e)이 연관된 각각의 시간적 계층형 레이어에 기초하여 선택될 수 있다.
인코더(141)는 인코딩된 GOP(143')의 각각의 인코딩된 프레임(142'a 내지 142'e)에 대해 개별적으로 그리고 코딩 동안에 상기 입도를 선택하도록 구성될 수 있다.
다시 말해, 일 실시예에 따른 인코더(141)는 시간적으로 계층적 코딩 방식을 사용하도록 구성될 수 있으며, 여기서 적어도 하나의 프레임(142'a) 또는 공간적 또는 색채 서브 세트, 예를 들어 상기 적어도 하나의 프레임(142'a)의 슬라이스 또는 채널 또는 컴포넌트 또는 평면(144'1, 144'2)은 제1 시간적 계층형 레이어(원으로 둘러싸인 숫자 1)와 연관될 수 있고, 여기서 적어도 하나의 추가 프레임(142'd) 또는 상기 하나의 추가 프레임(142'd)의 공간적 또는 색채 서브 세트(도시되지 않음)는 제2 시간적 계층형 레이어(둘로 둘러싸인 숫자)와 연관될 수 있다.
시간적으로 계층적 코딩 방식은 QP 기반 코딩 방식을 포함할 수 있고, QP 기반 코딩 방식은 DQP 기반 코딩 방식을 포함할 수 있으며, 이는 다음에 설명될 것이다.
비디오 인코더(141)는 예측 QP 코딩을 사용하도록 구성될 수 있는데, 즉 QP 값은 이전에 코딩된 QP 값과의 차이로 차등적으로 코딩될 수 있다. 따라서, 인코딩 동안 잔차, 즉 차등 양자화 파라미터(DQP)만이 적용될 수 있고, 대응하는 DQP 정보가 데이터 스트림(140')으로 인코딩될 수 있다. 이는 또한 DQP 기반 코딩 방식으로 지칭될 수 있으며, 여기서 DQP 기반 코딩 방식은 로컬 QP 기반 코딩 방식의 예일 수 있다.
다시 말해, DQP는 QP의 서브 세트일 수 있고, QP 기반 코딩 방식은 DQP 기반 코딩 방식을 포함할 수 있다. 따라서, QP 기반 코딩과 관련하여 여기에 설명된 모든 것은 따라서 DQP 기반 코딩에도 적용될 수 있다.
따라서, 일 실시예에 따르면, 비디오 인코더(141)는 DQP 기반 코딩 방식을 사용하도록 구성될 수 있으며, 인코더(141)는 특정 프레임에 대한 DQP 코딩을 선택적으로 비활성화하고, 미리 결정된 시간적 계층형 레이어, 예를 들어 제2 시간적 계층형 레이어(둘로 둘러싸인 숫자로 표시됨)과 연관되는, 적어도 프레임(142'd, 142'e) 또는 프레임의 서브 세트에 대한 데이터 스트림(140')으로의 DQP 정보 인코딩을 선택적으로 생략하도록 구성될 수 있다.
DQP 코딩은 로컬로 적용될 수 있는데, 즉 로컬 DQP는 이전에 인코딩된 프레임에 기초하여 전체 프레임을 차등적으로 코딩하기 위해, 또는 프레임의 이전에 인코딩된 공간적 또는 색채 서브 세트(예를 들어, 슬라이스)를 기반으로 프레임의 공간적 또는 색채 서브 세트(예를 들어, 슬라이스)를 차등적으로 코딩하기 위해 사용될 수 있다.
도 5a 및 도 5b는 QP 기반 코딩 방식 및/또는 DQP 기반 코딩 방식과 함께 인코더(141)에 의해 사용될 수 있는 시간적으로 계층적 코딩 방식의 예를 도시한다.
종래의 시간적으로 계층적 이미지 및 비디오 코딩 애플리케이션에서, 입력 프레임/슬라이스는 재정렬될 수 있고, 각각의 프레임/슬라이스는 그것이 속한 시간적으로 계층적 레벨에 기초하여 특정 전체 양자화 설정으로 코딩될 수 있다 [3].
도 5a 및 5b는 본 발명에서 적용될 수 있는 시간적으로 계층적 코딩 방식의 예, 즉 랜덤 액세스(random-access, RA) 코딩 방식을 나타낸다. 이 코딩 방식에서, 인덱스 #0, #1, #2, #3, ..., #7, #8(도 5A)을 갖는 입력 이미지 또는 비디오 프레임(142a 내지 142i)은 #0, #8, #4, #2, #1, #3, #6, #5, #7(도 5b) 및 해당 순서로 코딩/디코딩되며 가능한 경우 이전에 코딩된 프레임의 예측을 사용한다.
이 특정 예에서, 짝수 인덱스 프레임 142'a(#0), 142'i(#8), 142'e(#4), 142'c(#2), 142'g(#6)는 둘러싼 숫자 1에 의해 기호화되는 첫 번째 시간적 계층형 레이어와 연관된다. 홀수 인덱싱된 프레임(142'b(#1), 142'd(#3), 142'f(#5), 142'h(#7))은 둘러싸인 숫자 2이다. 상기 시간적으로 계층적 순서에 따르면, 제1 시간적 계층형 레이어와 연관된 짝수 인덱싱된 프레임은 제2 시간적 계층형 레이어와 연관된 홀수 인덱싱된 프레임보다 먼저 코딩될 수 있다. 또한, 제1 시간적 계층형 레이어와 연관된 짝수 인덱싱된 프레임은 로컬 QP 기반 코딩 방식을 사용하여 코딩될 수 있으며, 예를 들어 DQP 기반 코딩 방식을 사용하여 차등 코딩될 수 있다.
RA 코딩 설계를 사용하여 상위 또는 가장 높은 계층 수준과 관련된 홀수 인덱스 프레임 142'b(#1), 142'd(#3), 142'f(#5), 142'h(#7) , 현지 QP 적응을 받지 않을 수 있는데, 이는 이전에 코딩된 프레임에서 이미 효율적인 예측으로 인해, 그러한 QP 적응은 주관적 재구성 품질의 미미한 향상만을 가져올 수 있기 때문이다.
따라서, 차등 QP(즉, DQP) 정보는 상기 홀수 인덱싱된 프레임(142'b(#1), 142'd(#3), 142'f(#5), 142'h(#7))에 대한 데이터 스트림(141')에 포함될 수 없다.
일반적으로 여기에 설명된 모든 실시예에 대해, 시간적 계층형 레이어 순서가 예시적으로 설명된 2개의 시간적 계층형 레이어보다 더 많이 포함할 수 있다는 것이 사실이다.
더 일반적인 예로서, 마지막으로 코딩된 프레임, 즉 가장 높은 시간적 계층형 레이어와 관련되는 프레임은 로컬 QP 적응을 받지 않을 수 있는데, 이는 이전에 코딩된 프레임의 효율적인 예측으로 인해, 이러한 QP 적응은 주관적 재구성 품질의 미미한 향상만을 가져올 수 있기 때문이다. 따라서, 가장 높은 계층형 레이어와 연관되는 상기 프레임에 대한 어떠한 차등 QP(DQP) 정보도 데이터 스트림(141')에 포함될 수 없다.
이것은 추가 예들에서 또한 가장 높은 및 두 번째로 높은 시간적으로 계층적 레이어들과 연관되는 프레임들에 대해 유효할 수 있거나, 심지어 가장 높은 시간적 계층형 레이어, 두 번째로 높은 시간적 계층형 레이어, 및 세 번째로 높은 시간적 계층형 레이어와 연관되는 프레임들에 대해서도 유효할 수 있다.
예를 들어, 본 발명의 원리는 고효율 비디오 코딩(High Efficiency Video Coding, HEVC)와 같은 코덱에서 사용될 수 있다.
그러나, HEVC와 같은 오늘날의 코덱에서는 일반 DQP 코딩 기능만 스트림 시작 시에 시그널링되며 코딩 중 특정 프레임에 대해 비활성화할 수 없다. 결과적으로 DQP 코딩이 필요하지 않아 사용되지 않는 위에서 언급한 홀수 인덱싱된 프레임의 경우에도 마찬가지이며, 0의 일부 기본 DQP 값은 비트스트림에 포함되어야 하며, 이는 불필요하게 전체 비트스트림 크기의 상당 부분을 소비할 수 있다(모든 두 번째 프레임이 실제로 영향을 받기 때문임).
본 발명은 예를 들어 로컬 QP 데이터의, 예를 들어 압축된 이미지 또는 비디오 비트스트림의 일부 지정된 프레임에서 DQP 데이터의 불필요한(중복이기 때문임) 송신을 방지한다. 따라서, 전체 비트스트림 크기는 작지만 상당한 부분으로 축소될 수 있다.
보다 구체적으로, 본 발명은 주어진 프레임(142'a-142'i) 또는 슬라이스 또는 채널 또는 컴포넌트 또는 평면(144'1, 144'2)이 속한(즉, 연관된) 계층형 레이어의 인덱스가 미리 정의된 임계치 위에 있는 경우, 시간적으로 계층적 이미지 및 비디오 코딩 애플리케이션에서 임의의 DQP 값을 비트스트림(140')으로 인코딩하고 디코딩할 필요성을 피한다. 위의 랜덤 액세스(RA) 코딩 구성의 예에서, 가장 높은 인덱스 계층형 레이어(예를 들어, 원으로 둘러싸인 숫자 2)과 연관될 수 있는 홀수 픽처 순서 카운트(picture order count, POC)를 가진 모든 프레임은 본 발명에 따라 비트스트림(140')에서 송신될 필요가 없을 수 있는 제로 값 '0'의 DQP만을 갖는 것으로 가정된다.
따라서, 본 발명의 원리는 선택적 로컬 QP 송신 또는 선택적 DQP 송신으로 지칭될 수도 있다.
즉, 본 발명의 인코더(141)는 비디오의 프레임 중 선택된 프레임에 대해, 또는 적어도 상기 프레임의 선택된 서브 세트에 대해, QP 기반(또는 DQP 기반) 코딩, 특히 로컬 QP 기반(또는 DQP 기반) 코딩을 선택적으로 활성화시킬 수 있으며, 여기서 QP 정보(또는 DQP 정보), 특히 로컬 QP 정보는 선택된 프레임 또는 프레임의 서브 세트에 대해서만 비트스트림(140')으로 인코딩된다. 상기 선택은 시간적으로 계층적 순서에 대한 프레임의 연관에 기초한다.
반대로 말하면, 본 발명의 인코더(141)는 비디오의 프레임 중 선택된 프레임에 대해, 또는 적어도 상기 프레임의 선택된 서브 세트에 대해, QP 기반(또는 DQP 기반) 코딩, 특히 로컬 QP 기반(또는 DQP 기반) 코딩을 선택적으로 비활성화할 수 있으며, 여기서 인코더(141)는 QP 정보(또는 DQP 정보), 특히 로컬 QP 정보를 선택된 프레임 또는 프레임의 서브 세트에 대한 비트스트림으로 인코딩하기 위해 생략된다. 상기 선택은 시간적으로 계층적 순서에 대한 프레임의 연관에 기초한다.
도 6은 전술한 발명 원리를 벗어나기 위한 발명 인코더(141)의 예의보다 상세한 도면을 도시한다. 불필요한 반복을 피하기 위해, 이 예는 도 4를 참조하여 앞서 논의된 바와 같이 예시 프레임(142'a 내지 142'e) 및 공간적 또는 색채 서브 세트(144'1, 144'2)를 참조할 수 있다.
도 6에서 볼 수 있는 바와 같이, 프레임(142'a 내지 142'e)은 상이한 시간적 계층형 레이어와 연관될 수 있다. 프레임(142'a, 142'b, 142'c)은 제1 시간적 계층형 레이어와 연관될 수 있으며, 이는 다시 원으로 둘러싸인 인덱스 숫자 1에 의해 기호화된다. 다른 프레임(142'd, 142'e)은 원으로 둘러싸인 인덱스 숫자 2에 의해 기호화되는 제2 시간적 계층형 레이어와 연관될 수 있다.
인덱스 1 및 인덱스 2를 갖는 시간적 계층형 레이어는 본 명세서에서 비제한적인 예로서만 설명될 수 있다. 본 발명의 원리는 또한 2개 이상의 상이한 시간적 계층형 레이어와 연관된 프레임과 함께 사용될 수 있다.
시간적 계층형 레이어의 수와 무관하게, 인코더(141)는 프레임 또는 프레임의 공간적 또는 색채 서브 세트가 연관되는 시간적 계층형 레이어의 인덱스를 결정하도록 구성될 수 있다. 즉, 인코더(141)는 프레임(142'a 내지 142'e)이 연관될 수 있는 시간적 계층형 레이어의 인덱스를 결정하기 위한 인덱스 결정 단계(160)를 보완할 수 있다.
프레임(142'a 내지 142'e)은 또한 도 5a 및 도 5b를 참조하여 이전에 설명된 바와 같이 코딩 중에 재정렬될 수 있다.
인코더(141)는 또한 프레임(142'a 내지 142'e)의 결정된 인덱스를 미리 결정된 인덱스 임계 값과 비교하도록 구성될 수 있다. 이를 위해, 인코더(141)는 비교기 스테이지(161)를 포함할 수 있다. 이 예에서, 인덱스 임계 값은 예시적으로 값 1로 설정될 수 있다. 그러나, 인덱스 임계 값은 1이 아닌 다른 숫자일 수 있다.
트랜지션(transition, 162)에서 비교 결과는 부정적이다, 즉 이들 프레임의 인덱스는 인덱스 임계 값(1)을 초과할 수 없다. 이는 인덱스가 1 인 프레임, 즉 프레임 142'a, 142'b, 142'c의 경우일 수 있다.
따라서, 트랜지션(163)로 도시된 바와 같이, 인코더는 상기 프레임(142'a, 142'b, 142'c)을 인코딩하기 위해 로컬 QP 기반 또는 DQP 기반 코딩 방식을 사용할 수 있으며, 각각의 로컬 QP 또는 DQP 정보가 데이터 스트림(140')으로 인코딩될 수 있다. 따라서, 이들 프레임(142'a, 142'b, 142'c)은 전술한 바와 같이 로컬 QP 적응을 받기 위한 후보일 수 있다.
즉, 프레임(142'a 내지 142'e)이 연관될 수 있는 계층형 레이어의 인덱스가 인덱스 임계 값(1) 이하이면, 인코더(141)는 DQP 코딩 방식을 활성화하고, 인덱스 임계 값 이하인 인덱스를 갖는 시간적 계층형 레이어와 연관된 프레임(142'a, 142'b, 142'c)에 대한 DQP 정보를 데이터 스트림(140')으로 인코딩하도록 구성될 수 있다.
트랜지션(164)에서 임계 값 비교의 결과는 양수이며, 즉 이러한 프레임의 인덱스는 인덱스 임계 값(1)을 초과할 수 있다. 이는 인덱스가 2 인 프레임, 즉 프레임 142'd, 142'e의 경우일 수 있다.
인코더(141)는 이들 프레임(142'd, 142'e)에 대한 로컬 QP 기반 또는 DQP 기반 코딩을 비활성화할 수 있다. 즉, 인코더(141)는 로컬 QP 또는 DQP 정보를 데이터 스트림(140')으로 인코딩하는 것을 생략할 수 있다. 인코더(141)는 플래그(165)를 설정함으로써 로컬 QP 기반 또는 DQP 기반 코딩의 비활성화를 시그널링할 수 있다. 따라서, 인코더(141)는 선택된 프레임(142'd, 142'e)을 데이터 스트림(140')으로 인코딩하기 위해 로컬 QP 기반 또는 DQP 기반 코딩 방식과 다른 코딩 방식을 사용할 수 있다. 또한, 인코더(141)는 데이터 스트림(140')에 플래그(165)를 설정할 수 있다.
다시 말해, 프레임(142'a 내지 142'e)이 연관될 수 있는 시간적 계층형 레이어의 인덱스가 인덱스 임계 값(1)보다 큰 경우, 인코더(141)는 로컬 QP 기반 또는 DQP 기반 코딩을 비활성화하고, 로컬 QP 또는 DQP 정보를 데이터 스트림(140')으로 인코딩하는 것을 생략하고, 데이터 스트림(140')에 데이터 스트림(140')이 인덱스 임계 값을 초과하는 인덱스를 갖는 시간적 계층형 레이어와 연관되는 프레임(142'd, 142'e)에 대한 로컬 QP 또는 DQP 정보를 포함하지 않음을 나타내는 플래그(165)를 설정하도록 구성된다.
따라서, 데이터 스트림(140')은 플래그(165)를 포함할 수 있고, 데이터 스트림(140')은 두 프레임 유형, 즉 로컬 QP 또는 DQP 정보가 데이터 스트림(140')으로 추가로 인코딩된 프레임(142'a, 142'b, 142'c), 및 로컬 QP 또는 DQP 정보가 데이터 스트림(140')으로 인코딩되지 않은 프레임(142'd, 142'e)을 포함하는 인코딩된 GOP(143')를 포함할 수 있다.
플래그(165)는 데이터 스트림(141)으로 엔트로피 인코딩되고 데이터 스트림(141)의 시작에서 송신될 수 있다. 대안으로, 예를 들어, 전술한 바와 같이 RA 코딩 방식이 사용되는 경우, 플래그(165)는 데이터 스트림(140')의 랜덤 액세스 포인트의 시작에서 송신될 수 있다.
예를 들어, 인코더(141)에서, 1 비트 플래그 useSelectiveDQP는 엔트로피 인코딩되어 비트스트림(140')의 시작에서(또는 대안 적으로, RA 코딩 방식이 사용되는 경우, 스트림의 각 랜덤 액세스 포인트의 시작에서 송신될 수 있음). 이 1 비트 플래그는 본 발명의 원리(즉, 로컬 QP 또는 DQP 정보 인코딩 생략)가 적용되는지(값 1) 또는 적용되지 않는지(값 0)를 나타내는 데 사용될 수 있다.
인코딩 중에 DQP 코딩이 사용되지 않는 프레임 142'd, 142'e(또는 슬라이스)에서(프레임/슬라이스 인덱스로 표시됨), 어떤 DQP 값도 인코딩될 수 없으며, 결과적으로, DQP 데이터는 비트스트림(140')에서 송신될 수 없으며, 후속 알고리즘 동작은 각 DQP 값이 0이라고 가정할 수 있다(즉, 각 실제 QP 값은 연관된 예측 QP 값과 동일할 수 있음).
종래 기술은 DQP 코딩이 실제로 허용되는지 여부에 관계없이 각각의 프레임/슬라이스에 대한 sliceQP 값을 송신한다. 따라서, DQP 코딩이 허용될 때, 프레임/슬라이스의 제1 QP 값과 관련된 예측된 QP 값은 이 제1 예측을 개선하기 위해 상기 sliceQP 값에 기초한다(단순히 다음과 같은 제1 예측된 QP 값을 가정하는 대신 0). DQP 코딩이 허용되지 않으면, 로컬(D) QP 정보를 사용할 수 없으며 해당 sliceQP는 전체 프레임/슬라이스에서 로컬 QP로 사용된다.
보다 일반적인 용어로 요약하면, 인코더(141)는 제1 시간적 계층형 레이어와 연관된 프레임(142'a, 142'b, 142'c)에 QP를 적용하는 제1 입도를 사용할 수 있으며, 인코더(141)는 QP를 프레임(142'd, 142'e)에 적용하는 제2 입도를 사용할 수 있으며, 이는 제2 시간적 계층형 레이어와 연관될 수 있다. 따라서, 인코더(241)는 특정 프레임(또는 프레임의 서브 세트)에 QP가 적용될 수 있는 입도를 변경할 수 있다. 예를 들어, 프레임(142'a, 142'b, 142'c)이 제1 시간적 계층형 레이어와 연관되는 경우, 로컬 QP 정보가 데이터 스트림(140')에서 이용 가능할 수 있다. 따라서, 이들 프레임(142'a, 142'b, 142'c)은 코딩 동안 로컬 QP 적응을 받기 위한 후보일 수 있다. 프레임(142'd, 142'e)이 제2 시간적 계층형 레이어와 연관되는 경우, 데이터 스트림(140')에서 로컬 QP 정보가 이용 가능하지 않을 수 있다. 예를 들어, 전역 또는 고정된 QP 정보만 이용할 수 있다. 따라서, 이들 프레임(142'd, 142'e)은 코딩 동안 로컬 QP 적응을 받지 않을 수 있다.
도 7은 일 실시예에 따른 본 발명의 디코더(241)를 도시한다. 디코더(241)는 인코더(141)를 참조하여 전술한 인코딩된 데이터 스트림(140')을 수신할 수 있다. 인코딩된 데이터 스트림(140')은 인코딩된 GOP(143')를 포함할 수 있으며, 여기서 인코딩된 GOP(143')는 인코딩된 프레임(142'a 내지 142'e)을 포함할 수 있으며, 여기서 인코딩된 프레임(142'a) 중 일부는 블록 또는 슬라이스와 같은 하나 이상의 공간적 또는 색채 서브 세트(144'1, 144'2)로 세분될 수 있다.
더욱이, 인코딩된 프레임(142'a 내지 142'e)은 시간적 계층형 레이어를 나타내는 인덱스를 포함할 수 있다. 다시 말해, 인코딩된 프레임(142'a 내지 142'e)은 인코더(141)와 관련하여 전술한 바와 같이 시간적 계층형 레이어와 연관될 수 있다.
계층형 레이어의 인덱스는 인코딩된 프레임(142'a 내지 142'e)을 디코딩할 때 로컬 QP 기반 또는 DQP 기반 코딩 방식을 적용할지 여부를 디코더(241)에 지시할 수 있다. 로컬 QP 기반 또는 DQP 기반 코딩 방식은 로컬 QP 적응을 제공할 수 있다. 위의 예를 들어, 제1 계층형 레이어(원으로 둘러싸인 숫자 1)과 연관될 수 있는 인코딩된 프레임(142'a, 142'b, 142'c)은 로컬 QP 기반 또는 DQP 기반 코딩 방식을 사용하여 디코딩될 수 있다. 제2 계층형 레이어(원으로 둘러싸인 숫자 2)과 연관될 수 있는 인코딩된 프레임(142'd, 142'e)은 로컬 QP 기반 또는 DQP 기반 코딩 방식이 아닌 다른 코딩 방식, 예를 들어 로컬 QP 적응을 허용하지 않을 수 있는 전역 QP 기반 코딩 방식으로 디코딩될 수 있다.
따라서, 프레임(142'a 내지 142'e)의 시간적 계층형 레이어의 인덱스는 이는 로컬 QP 기반 또는 DQP 기반 코딩 방식을 적용할지 아니면 예를 들어, 로컬 QP 기반 또는 DQP 기반 코딩 방식 이외의 코딩 방식, 예를 들어 고정된 또는 전역 QP 기반 코딩 방식을 적용할지 여부를 디코더(241)에 표시할 수 있다.
다시 말해, 본 발명의 디코더(241)는 프레임(142'a 내지 142'e) 또는 프레임의 공간적 또는 색채 서브 세트를 디코딩하는 동안 QP가 적용될 수 있는 입도를 변경하도록 구성될 수 있으며, 여기서 입도를 변경하는 것은 비디오의 프레임(142'a 내지 142'e)과 시간적 계층형 레이어의 연관에 의존할 수 있다.
디코더(241)는 전술한 코딩 방식을 사용하여 인코딩된 프레임(142'a 내지 142'e)을 디코딩할 수 있고, 재구성된 프레임(142'a ~ 142'e)을 포함하는 재구성된 GOP(143')를 생성할 수 있으며, 여기서 일부 재구성된 프레임(142'a)은 블록 또는 슬라이스와 같은 재구성된 공간적 또는 색채 서브 세트(144''1, 144''2)를 포함할 수 있다.
따라서, 디코더(241)는 인코딩된 비디오의 디코딩 및 재구성된 프레임(142'a 내지 142'e)을 포함하는 출력 비디오 스트림(140'')을 디코딩할 수 있으며, 여기서 재구성된 프레임(142'a 내지 142'e)은 양자화 손실을 제외하고 원래 프레임(142a 내지 142e)(도 4)과 동일할 수 있다.
디코더(241)는 시간적으로 계층적 코딩 방식을 사용하도록 구성될 수 있으며, 여기서 적어도 하나의 수신된 인코딩된 프레임(142'a) 또는 상기 적어도 하나의 프레임(142'a)의 공간적 또는 색채 서브 세트(144'1, 144'2)는 제1 시간적 계층형 레이어(원으로 둘러싸인 숫자 1)과 연관될 수 있고, 여기서 적어도 하나의 수신된 인코딩된 추가 프레임(142'd) 또는 상기 하나의 추가 프레임의 공간적 또는 색채 서브 세트는 제2 시간적 계층형 레이어(원으로 둘러싸인 숫자 2)과 연관될 수 있다.
수신된 프레임(142'a 내지 142'e)은 도 5a 및 도 5b를 참조하여 전술한 바와 같이 재정렬될 수 있다. 디코더(241)는 디코딩 동안 프레임(142'a 내지 142'e)을 원래 순서로 재정렬하도록 구성될 수 있다. 결과적으로, 디코딩 및 재구성된 프레임(142'a 내지 142''e)은 원래 프레임(142a 내지 142e)과 동일한 순서를 포함할 수 있다.
프레임(142'd, 142'e)이 제2 시간적 계층형 레이어와 연관되어 있는 경우, 디코더(241)는 데이터 스트림(140')으로부터 로컬 QP 정보 또는 DQP 정보의 디코딩을 생략할 수 있는데, 이는 이들 프레임들에 대해, 인코더(141)는 임의의 로컬 QP 정보 또는 DQP 정보를 데이터 스트림(140')으로 인코딩하지 않았을 수 있기 때문이다. 디코더(241)는 디코딩할 시에 로컬 QP 정보 또는 DQP 정보를 디코딩할지 여부를 결정할 수 있다.
일반적으로 말해서, 이 실시예의 비디오 디코더(241)는 디코딩 중에, 하나 이상의 프레임(142'd, 142'e) 또는 미리 결정된 시간적 계층형 레이어와 연관되는 상기 프레임의 공간적 또는 색채 서브 세트에 대해, 데이터 스트림(140')으로부터 로컬 QP 정보 또는 DQP 정보를 디코딩하는 것을 생략하도록 구성될 수 있다.
따라서, 일부 실시예에서, 디코더(241)는 QP를 차등적으로 디코딩하도록 구성될 수 있다. 예를 들어, 디코더(241)는 차등 양자화 파라미터(DQP) 기반 코딩 방식을 사용하도록 구성될 수 있으며, 여기서 디코더(241)는 상기 프레임 142'd, 142'e 또는 상기 프레임 142'd, 142'e의 상기 공간적 또는 색채 서브 세트가 미리 결정된 시간적 계층형 레이어와 연관된다면, 하나 이상의 프레임(142'd, 142'e) 또는 상기 하나 이상의 프레임(142'd, 142'e)의 공간적 또는 색채 서브 세트에 대해, DQP 기반 코딩을 선택적으로 비활성화하고 데이터 스트림(140')으로부터 DQP 정보의 디코딩을 생략하도록 구성될 수 있다.
상기 DQP 기반 코딩은 데이터 스트림(140')으로부터 로컬 DQP 정보를 디코딩하기 위한 로컬 DQP 기반 코딩일 수 있다. 상기 로컬 DQP 정보로, 프레임의 각각의 프레임 또는 공간적 또는 색채 서브 세트는 로컬 QP 적응의 대상이 될 수 있다. 그러나, 디코더(241)가 전술한 바와 같이 하나 이상의 프레임(142'd, 142'e)에 대해 데이터 스트림(140')으로부터 이러한 DQP 정보를 디코딩하는 것을 생략 할 수 있다면, 상기 프레임(142'd, 142'e)은 로컬 QP 적응을 받지 않을 수 있다.
따라서, 일부 실시예에서, 디코더(241)는 DQP 기반 코딩을 비활성화하고, 하나 이상의 프레임(142'a 내지 142'e) 또는 시간적으로 가장 높은 계층형 레이어와 관련된, 상기 하나 이상의 프레임의 공간적 또는 색채 서브 세트에 대한 데이터 스트림(140')으로부터의 DQP 정보 디코딩을 생략하도록 구성될 수 있다. 위에서 언급한 바와 같이, 시간적으로 계층적 순서는 2개 이상의 시간적 계층형 레이어를 포함할 수 있으며, 이는 본 명세서에서 비제한적인 예로서만 언급된다.
또 다른 실시예에 따르면, 디코더(241)는 DQP 기반 코딩을 비활성화하고, 홀수 픽처 순서 카운트(POC)를 포함하고, 예를 들어 본 명세서에서 예시적으로 설명되는 제2 시간적 계층형 레이어와 같은 미리 결정된 시간적 계층형 레이어와 연관되는, 하나 이상의 프레임(142'a 내지 142'e) 또는 상기 하나 이상의 프레임의 공간적 또는 색채 서브 세트에 대한 데이터 스트림(140')으로부터의 DQP 정보 디코딩을 생략하도록 구성될 수 있다. POC에 대한 자세한 내용은 도 5a 및 도 5b와 위의 해당 설명을 참조한다.
도 8은 디코더(241)가 인코딩된 프레임을 재구성하고 디코딩 및 재구성된 비디오 스트림(140'')을 제공하기 위해 인코딩된 데이터 스트림(140')을 내부적으로 디코딩할 수 있는 방법의 예를 도시한다.
알 수 있는 바와 같이, 디코더(241)는 인코딩된 프레임(142'a 내지 142'e)을 포함하는 인코딩된 GOP(143')를 포함할 수 있는 인코딩된 데이터 스트림(140')을 수신할 수 있다. 인코더(141)에 대해 위에서 설명한 바와 같이, 인코딩된 데이터 스트림(140')은 또한 프레임(142'a 내지 142'e)을 인코딩할 때 어떤 코딩 방식이 적용되었는지, 예를 들어 하나 이상의 프레임(142'd, 142'e)이 로컬 QP 정보 또는 DQP 정보가 데이터 스트림(140')으로 인코딩되지 않았을 수 있는 데이터 스트림(140')에 포함될 수 있는지 여부를 나타내는 플래그(165)를 포함할 수 있다.
따라서, 디코더(241)는 상기 플래그(165)가 설정되었는지 여부를 결정하도록 구성된 결정 스테이지(261)를 포함할 수 있다. 트랜지션(262)에 의해 표시된 바와 같이 플래그(165)가 설정되지 않으면, 디코더(241)는 디코딩 동안 로컬 QP 또는 DQP를 적용할 수 있다. 즉, 디코더(241)는 제1 시간적 계층형 레이어와 연관되는 프레임(142'a, 142'b, 142'c)(또는 프레임의 서브 세트)을 디코딩하기 위해 로컬 QP 기반 또는 DQP 기반 코딩 방식을 사용할 수 있다. 이러한 프레임(142'a, 142'b, 142'c)에 대해 로컬 QP 정보 또는 DQP 정보가 데이터 스트림(140')에 포함될 수 있다. 따라서, 디코더(241)는 데이터 스트림(140')으로부터 상기 프레임(142'a, 142'b, 142'c)에 대한 상기 QP 정보 또는 DQP 정보를 디코딩할 수 있으며, 디코더(241)는 대응하는 QP 또는 DQP 정보를 사용하여 상기 프레임(142'a, 142'b, 142'c)을 디코딩할 수 있다. 코딩 중에, 상기 프레임(142'a, 142'b, 142'c)은 로컬 QP 적응을 받을 수 있다.
결정 단계(261)가 플래그(165)가 설정된 것으로 결정할 수 있는 경우, 트랜지션(263)에 의해 표시된 바와 같이, 디코더(241)는 인코딩된 GOP(143')가 미리 결정된 시간적 계층형 레이어(예를 들어, 두 번째 계층)과 연관된 하나 이상의 프레임(142'd, 142'e)(또는 프레임의 서브 세트)을 보완할 수 있다는 것을 통지 받을 수 있으며, 여기서 데이터 스트림(140')은 이들 프레임(142'd, 142'e)에 대한 로컬 QP 정보 또는 DQP 정보를 포함하지 않을 수 있다.
그러나, 데이터 스트림(140')은 또한 QP 정보 또는 DQP 정보가 데이터 스트림(140')에서 인코딩되는 하나 이상의 프레임(142'a, 142'b, 142'c)을 추가로 포함할 수 있다.
따라서, 트랜지션(263)은 제1 브랜치(263a) 및 제2 브랜치(263b)로 분할된다. 제1 브랜치(263a)에서, 디코더(241)는 전술한 방식으로 제1 시간적 계층형 레이어와 연관되어있는 프레임(142'a, 142'b, 142'c)을 디코딩할 수 있다. 즉, 디코더(241)는 해당 프레임(142'a, 142'b, 142'c)이 로컬 QP 적응을 받을 수 있도록 데이터 스트림(140')으로부터 로컬 QP 정보 또는 DQP 정보를 디코딩할 수 있다.
제2 브랜치(263b)에서 디코더(241)는 미리 결정된 시간적 계층형 레이어(예를 들어, 제2 계층)과 연관되고 데이터 스트림(140')에서 로컬 QP 정보 또는 DQP 정보를 사용할 수 없는 프레임(142'd, 142'e)을 디코딩할 수 있다. 따라서, 제2 브랜치(263b)에서 디코더(241)는 로컬 QP 기반 또는 DQP 기반 디코딩을 비활성화할 수 있고, 이러한 프레임(142'd, 142'e)에 대한 데이터 스트림(140')으로부터 로컬 QP 정보 또는 DQP 정보의 디코딩을 생략할 수 있다. 따라서, 이들 프레임(142'd, 142'e)은 로컬 QP 적응을 받지 않을 수 있다.
다시 말해, 디코더(241)는 데이터 스트림(140')으로부터 플래그(165)를 도출하도록 구성될 수 있으며, 여기서 플래그(165)는 프레임(142'a 내지 142'e) 또는 상기 프레임의 공간적 또는 색채 서브 세트가 연관되는 시간적 계층형 레이어의 인덱스에 기초하여 프레임(142'a 내지 142'e) 또는 상기 프레임의 공간적 또는 색채 서브 세트를 디코딩하는 방법을 나타낸다.
다시 말해, 디코더(241)는 일반적으로 QP 기반 또는 DQP 기반 코딩, 특히 로컬 QP 기반 또는 DQP 기반 코딩을 활성화시키고, 데이터 스트림(140')으로부터 QP 또는 DQP 정보를 디코딩하고, QP 또는 DQP 정보에 기초한 양자화를 사용하여 프레임(142'a, 142'b, 142'c) 또는 프레임의 공간적 또는 색채 서브 세트를 양자화해제하도록 구성될 수 있다. 예를 들어, 디코더(241)는 데이터 스트림(140')으로부터 로컬 QP 또는 DQP 정보를 디코딩하고 제1 시간적 계층형 레이어와 연관된 프레임(142'a, 142'b, 142'c)을 디코딩하기 위해 상기 로컬 QP 또는 DQP 정보를 적용할 수 있다. 따라서, 상기 프레임(142'a, 142'b, 142'c) 또는 상기 프레임의 공간적 또는 색채 서브 세트는 로컬 QP 적응을 받을 수 있다.
추가적으로 또는 대안 적으로, 예를 들어 플래그(165)가 설정되면, 디코더(241)는 QP 기반 또는 DQP 기반 코딩, 특히 로컬 QP 기반 또는 DQP 기반 코딩을 비활성화하고, 특정 하나 이상의 프레임(142'd, 142'e)(예를 들어, 프레임 142'd의 경우, 142'e는 제2 시간적 계층형 레이어와 연관됨)에 대해 데이터 스트림(140')으로부터 QP 또는 DQP 정보를 디코딩하는 것을 생략하고, 미리 결정된 양자화, 예를 들어 전역 QP를 사용하여 이러한 하나 이상의 프레임 142'd, 142'e 또는 이러한 하나 이상의 프레임(142'd, 142'e)의 공간적 또는 색채 서브 세트를 양자화해제하도록 구성될 수 있다. 예를 들어, 디코더(241)는 예를 들어 미리 결정된, 예를 들어 제2 시간적 계층형 레이어와 연관되는 프레임(142'd, 142'e)에 대한 데이터 스트림(140')으로부터의 로컬 QP 또는 DQP 정보를 디코딩하지 않을 수 있다. 따라서, 이들 프레임(142'd, 142'e) 또는 이들 프레임의 공간적 또는 색채 서브 세트는 로컬 QP 적응을 받지 않을 수 있다.
결과적으로, 디코더(241)는 전술한 방식으로 디코딩된 재구성된 프레임(142'a 내지 142'e)을 포함하는 재구성된 GOP(143'')를 포함하는 재구성된 비디오 스트림(140'')을 생성할 수 있으며, 여기서 사용된 코딩 방식은 플래그(165)에 기초할 수 있고, 즉 각각의 프레임이 연관된 시간적 계층형 레이어의 인덱스에 기초할 수 있다.
다시 말해, 디코더(241)에서는 수신된 비트스트림(140')으로부터 동일한 1비트 플래그(165, useSelectiveDQP)를 읽고 엔트로피 디코딩할 수 있으며, 그 값은 본 발명의 원리가 적용되는지(1) 또는 적용되지 않는지(0)를 제어할 수 있다.
디코딩 동안, DQP 코딩이 사용되지 않는 프레임(142'd, 142'e)(또는 색상 채널 또는 평면과 같은 슬라이스 또는 색채 서브 세트)에서(디코더(241)에 알려진 프레임/슬라이스 인덱스에 의해 표시됨), DQP 값이 판독되지 않아, 결과적으로 비트스트림(140')에서 DQP 값이 디코딩되지 않고, 후속 알고리즘 연산은 각각의 DQP 값이 0이라고 가정한다(즉, 실제 QP 값 = 예측된 QP 값).
인코더(141)에서와 같이, 종래 기술은 DQP 코딩이 실제로 허용되는지 여부에 관계없이 각각의 프레임/슬라이스에 대한 sliceQP 값을 송신한다. 따라서, DQP 코딩이 허용될 때, 프레임/슬라이스의 제1 QP 값과 관련된 예측된 QP 값은 상기 sliceQP 값에 기초한다. 이러한 방식으로, 인코더(141) 및 디코더(241)는 완전히 동기화된 방식으로 동작할 수 있는 동시에, 일부 제로 값 DQP를 송신하지 않아도 됨으로써 비트스트림 크기가 감소된다.
보다 일반적인 용어로 요약하면, 디코더(241)는 제1 시간적 계층형 레이어와 연관된 프레임(142'a, 142'b, 142'c)에 QP를 적용하는 제1 입도를 사용할 수 있으며, 디코더(241)는 제2 시간적 계층형 레이어와 연관된 프레임(142'd, 142'e)에 QP를 적용하는 제2 입도를 사용할 수 있다. 따라서, 디코더(241)는 특정 프레임(또는 프레임의 서브 세트)에 QP가 적용될 수 있는 입도를 변경할 수 있다. 예를 들어, 프레임(142'a, 142'b, 142'c)이 제1 시간적 계층형 레이어와 연관되는 경우, 전역 및 로컬 QP 정보가 이용 가능할 수 있다. 따라서, 이들 프레임(142'a, 142'b, 142'c)은 코딩 동안 로컬 QP 적응을 받을 수 있다. 프레임(142'd, 142'e)이 제2 시간적 계층형 레이어와 연관되는 경우, 로컬 QP 정보가 이용 가능하지 않을 수 있다. 따라서, 이들 프레임(142'd, 142'e)은 코딩 동안 로컬 QP 적응을 받지 않을 수 있다.
위의 예는 QP 기반 코딩 방식을 참조하여 설명되었을 수 있다. 그러나, DQP 기반 코딩 방식도 사용될 수 있다. 즉, 인코딩 동안과 디코딩 동안에 로컬 QP는 차등적으로 코딩될 수 있다. 따라서, 인코더(141) 및 디코더(241)는 DQP 기반 코딩 방식을 사용할 수 있고, 이들은 각각 데이터 스트림(140')으로 또는 데이터 스트림으로부터 로컬 DQP 정보를 인코딩 또는 디코딩할 수 있다. 위에서 언급한 바와 같이, 이러한 DQP 기반 코딩은 QP 값의 예측을 포함할 수 있으며, 여기서 예측된 QP 값은 실제 QP 값에서 차감되어 인코더 측에서 코딩하기 위한 차등 QP(DQP) 값을 얻고, 여기서 동일한 예측된 QP 값이 디코더 측에서 디코딩하는 동안 DQP 값에 다시 추가되어 (이미지 디코딩 동안 사용하기 위해) 비차등 표현으로 실제 QP 값을 재구성한다. QP 예측자는 공간 예측 자 또는 색채(교차 성분) 예측자일 수 있다.
도 9는 일 실시예에 따라 비디오 스트림을 인코딩하는 방법의 개략적인 블록도를 도시한다.
블록 191에서, 양자화 파라미터(QP)가 비디오를 인코딩할 때 적용된다.
블록(192)에서, 비디오가 데이터 스트림(140')으로 인코딩되는 시간적 계층형 레이어에 대한 비디오의 프레임(142'a 내지 142'e)의 연관성에 따라 양자화 파라미터(QP)가 적용되는 입도가 변한다.
도 10은 실시예에 따라 비디오 스트림을 디코딩하기 위한 방법의 개략적인 블록도를 도시한다.
블록 193에서 양자화 파라미터(QP)가 비디오를 디코딩할 때 적용된다.
블록 194에서, 비디오가 데이터 스트림(140')으로 인코딩되는 시간적 계층형 레이어에 대한 비디오의 프레임(142'a 내지 142'e)의 연관성에 따라 양자화 파라미터(QP)가 적용되는 입도가 변한다.
일부 양태가 장치의 맥락에서 설명되었지만, 이러한 양태가 또한 대응하는 방법의 설명을 나타내는 것이 명백하며, 여기서 블록 및 디바이스는 방법 단계 또는 방법 단계의 특징에 대응한다. 유사하게, 방법 단계의 문맥에서 설명된 양태는 또한 대응하는 블록 또는 아이템의 설명 또는 대응하는 장치의 특징을 나타낸다. 방법 단계의 일부 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 사용하여) 실행될 수 있다. 일부 실시예에서, 가장 중요한 방법 단계 중 하나 이상이 그러한 장치에 의해 실행될 수 있다.
특정 구현 요건에 따라, 본 발명의 실시예는 하드웨어 또는 소프트웨어로, 또는 적어도 부분적으로는 하드웨어로, 또는 적어도 부분적으로는 소프트웨어로 구현될 수 있다. 구현은 각각의 방법이 수행되도록 프로그래밍 가능한 컴퓨터 시스템과 협력하는 (또는 협력할 수 있는) 전기적으로 판독 가능한 제어 신호가 저장된, 디지털 저장 매체, 예를 들어, 플로피 디스크, DVD, 블루 레이, CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리를 사용하여 수행될 수 있다. 따라서, 디지털 저장 매체는 컴퓨터 판독 가능할 수 있다.
본 발명에 따른 일부 실시예는 본원에 설명된 방법 중 하나가 수행되도록 프로그래밍 가능 컴퓨터 시스템과 협력할 수 있는 전자적으로 판독 가능한 제어 신호를 갖는 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시예는 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행되는 경우 방법들 중 하나를 수행하도록 동작하는 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있다. 프로그램 코드는 예를 들어 머신 판독 가능 캐리어에 저장될 수 있다.
다른 실시예는 기계 판독 가능 캐리어 상에 저장된, 본원에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.
다시 말해, 본 발명의 방법의 실시예는, 따라서, 컴퓨터 프로그램이 컴퓨터 상에서 실행되는 경우, 본원에 설명된 방법 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
따라서, 본 발명의 방법의 다른 실시예는 그 위에 기록된, 본원에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함하는 데이터 캐리어 (또는 디지털 저장 매체 또는 컴퓨터 판독 가능 매체)이다. 데이터 캐리어, 디지털 저장 매체 또는 기록 매체는 통상적으로 유형 및/또는 비일시적이다.
따라서, 본 발명의 방법의 다른 실시예는 본원에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 신호의 시퀀스이다. 데이터 스트림 또는 신호의 시퀀스는 데이터 통신 접속을 통해, 예를 들어 인터넷을 통해 전송되도록 구성될 수 있다.
다른 실시예는 본원에 설명된 방법 중 하나를 수행하도록 구성되거나 적응된 프로세싱 수단, 예를 들어 컴퓨터 또는 프로그램 가능 논리 디바이스를 포함한다.
다른 실시예는 본원에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
본 발명에 따른 다른 실시예는 본원에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 수신기에 (예를 들어, 전자적으로 또는 광학적으로) 전송하도록 구성된 장치 또는 시스템을 포함한다. 수신기는 예를 들어 컴퓨터, 모바일 디바이스, 메모리 디바이스 등일 수 있다. 장치 또는 시스템은 예를 들어 컴퓨터 프로그램을 수신기에 전송하기 위한 파일 서버를 포함할 수 있다.
일부 실시예에서, 프로그램 가능 논리 디바이스(예를 들어, 필드 프로그램 가능 게이트 어레이)는 본원에 설명된 방법의 기능 중 일부 또는 전부를 수행하는 데 사용될 수 있다. 일부 실시예에서, 필드 프로그램 가능 게이트 어레이는 본원에 설명된 방법 중 하나를 수행하기 위해 마이크로프로세서와 협력할 수 있다. 일반적으로, 방법은 바람직하게는 임의의 하드웨어 장치에 의해 수행된다.
본원에 설명된 장치는 하드웨어 장치를 사용하거나, 컴퓨터를 사용하거나, 하드웨어 장치와 컴퓨터의 조합을 사용하여 구현될 수 있다.
본원에 설명된 방법은 하드웨어 장치를 사용하거나, 컴퓨터를 사용하거나, 하드웨어 장치와 컴퓨터의 조합을 사용하여 수행될 수 있다.
위에서 설명된 실시예는 본 발명의 원리를 예시하기 위한 것일 뿐이다. 본원에 설명된 구성 및 세부사항의 수정 및 변형은 본 기술분야의 통상의 기술자에게 명백할 것임을 이해한다. 따라서, 곧 있을 청구범위의 범위에 의해서만 제한되고 본원의 실시예에 대한 기술 및 설명에 의해 제공된 특정 세부사항에 의해서만 한정되는 것은 아니다.
출처
[1] ITU-T, Recommendation H.265 and ISO/IEC, Int. Standard 23008-2,"High efficiency video coding," Geneva, Switzerland, Jan. 2017, online: http://www.itu.int/rec/T-REC-H.265
[2] EP17192477,"Method for varying a coding quantization parameter across a picture," 2017.
[3] V. Sze, M. Budagavi, and G. J. Sullivan, High Efficiency Video Coding(HEVC) - Algorithms and Architectures, Cham, Switzerland: Springer International Publishing, 2014.

Claims (23)

  1. 비디오를 데이터 스트림(140')으로 인코딩하기 위한 비디오 인코더(141)에 있어서,
    상기 비디오 인코더(141)는 공간적 측면에서 상기 비디오가 상기 데이터 스트림(140')으로 인코딩되는 시간적 계층형 레이어들에 대한 상기 비디오의 프레임들(142'a 내지 142'e)의 연관성에 따라 양자화 파라미터(Quantization Parameter, QP)가 적용되는 입도를 변경하도록 구성되어, 상기 양자화 파라미터가 상기 프레임들(142'a 내지 142'e)에서 변하는 입도가 상기 시간적 계층형 레이어들에 대한 상기 비디오의 프레임들(142'a 내지 142'e)의 연관성에 의존하도록 하는 것을 특징으로 하는 비디오를 데이터 스트림(140')으로 인코딩하기 위한 비디오 인코더(141).
  2. 제1항에 있어서,
    상기 비디오 인코더(141)는 시간적으로 계층적 코딩 방식을 사용하도록 구성되고, 적어도 하나의 프레임(142'a) 또는 상기 상기 적어도 하나의 프레임(142'a)의 공간적 또는 색채 서브 세트(144'1, 144'2)는 제1 시간적 계층형 레이어와 연관되고, 적어도 하나의 추가 프레임(142'd) 또는 상기 하나의 추가 프레임(142'd)의 공간적 또는 색채 서브 세트는 제2 시간적 계층형 레이어와 연관되는 것을 특징으로 하는 비디오를 데이터 스트림(140')으로 인코딩하기 위한 비디오 인코더(141).
  3. 제1항에 있어서,
    상기 비디오 인코더(141)는 코딩 중에, 미리 결정된 시간적 계층형 레이어와 연관되는 하나 이상의 프레임들(142'a 내지 142'e) 또는 상기 하나 이상의 프레임들의 공간적 또는 색채 서브 세트에 대한 QP 정보를 상기 데이터 스트림(140')으로 인코딩하는 것을 생략하도록 구성되는 것을 특징으로 하는 비디오를 데이터 스트림(140')으로 인코딩하기 위한 비디오 인코더(141).
  4. 제1항에 있어서,
    상기 비디오 인코더(141)는 차등 양자화 파라미터(Differential Quantization Parameter, DQP) 기반 코딩 방식을 사용하도록 구성되고, 상기 비디오 인코더(141)는 DQP 기반 코딩을 비활성화하고, 코딩 중에, 미리 결정된 시간적 계층형 레이어와 연관되는 하나 이상의 프레임들(142'a 내지142'e) 또는 상기 하나 이상의 프레임들의 공간적 또는 색채 서브 세트에 대한 DQP 정보를 상기 데이터 스트림(140')으로 인코딩하는 것을 생략하도록 구성되는 것을 특징으로 하는 비디오를 데이터 스트림(140')으로 인코딩하기 위한 비디오 인코더(141).
  5. 비디오를 데이터 스트림(140')으로 인코딩하기 위한 비디오 인코더(141)에 있어서,
    상기 비디오 인코더(141)는 상기 비디오가 상기 데이터 스트림(140')으로 인코딩되는 시간적 계층형 레이어들에 대한 상기 비디오의 프레임들(142'a 내지 142'e)의 연관성에 따라 양자화 파라미터(Quantization Parameter, QP)가 적용되는 입도를 변경하도록 구성되며,
    상기 비디오 인코더(141)는 차등 양자화 파라미터(Differential Quantization Parameter, DQP) 기반 코딩 방식을 사용하도록 구성되고, 상기 비디오 인코더(141)는 DQP 기반 코딩을 비활성화하고, 코딩 중에, 미리 결정된 시간적 계층형 레이어와 연관되는 하나 이상의 프레임들(142'a 내지142'e) 또는 상기 하나 이상의 프레임들의 공간적 또는 색채 서브 세트에 대한 DQP 정보를 상기 데이터 스트림(140')으로 인코딩하는 것을 생략하도록 구성되고,
    상기 비디오 인코더(141)는 가장 높은 시간적 계층형 레이어와 연관되는 하나 이상의 프레임들(142'a 내지 142'e) 또는 상기 하나 이상의 프레임들의 공간적 또는 색채 서브 세트에 대한 DQP 정보를 상기 데이터 스트림(140')으로 인코딩하는 것을 생략하도록 구성되는 것을 특징으로 하는 비디오를 데이터 스트림(140')으로 인코딩하기 위한 비디오 인코더(141).
  6. 비디오를 데이터 스트림(140')으로 인코딩하기 위한 비디오 인코더(141)에 있어서,
    상기 비디오 인코더(141)는 상기 비디오가 상기 데이터 스트림(140')으로 인코딩되는 시간적 계층형 레이어들에 대한 상기 비디오의 프레임들(142'a 내지 142'e)의 연관성에 따라 양자화 파라미터(Quantization Parameter, QP)가 적용되는 입도를 변경하도록 구성되며,
    상기 비디오 인코더(141)는 차등 양자화 파라미터(Differential Quantization Parameter, DQP) 기반 코딩 방식을 사용하도록 구성되고, 상기 비디오 인코더(141)는 DQP 기반 코딩을 비활성화하고, 코딩 중에, 미리 결정된 시간적 계층형 레이어와 연관되는 하나 이상의 프레임들(142'a 내지142'e) 또는 상기 하나 이상의 프레임들의 공간적 또는 색채 서브 세트에 대한 DQP 정보를 상기 데이터 스트림(140')으로 인코딩하는 것을 생략하도록 구성되고,
    상기 비디오 인코더(141)는
    프레임(142'a 내지 142'e) 또는 상기 프레임의 공간적 또는 색채 서브 세트가 연관되는 시간적 계층형 레이어의 인덱스를 결정하고,
    상기 인덱스를 미리 결정된 인덱스 임계 값과 비교하도록 구성되고,
    상기 인덱스가 상기 인덱스 임계 값 이하인 경우, 상기 비디오 인코더(141)는 상기 DQP 기반 코딩 방식을 활성화하고, 상기 인덱스 임계 값 이하의 인덱스를 갖는 시간적 계층형 레이어와 연관되는 프레임들(142'a, 142'b, 142'c)에 대한 DQP 정보를 상기 데이터 스트림(140')으로 인코딩하도록 구성되고, 또는
    상기 인덱스가 상기 인덱스 임계 값보다 큰 경우, 상기 비디오 인코더(141)는 DQP 기반 코딩을 비활성화하고 DQP 정보를 상기 데이터 스트림(140')으로 인코딩하는 것을 생략하고, 상기 데이터 스트림(140')이 상기 인덱스 임계 값보다 큰 인덱스를 갖는 시간적 계층형 레이어와 연관되는 프레임들(142'd, 142'e)에 대한 DQP 정보를 포함하지 않음을 나타내는 플래그(165)를 상기 데이터 스트림(140')에 설정하도록 구성되는 것을 특징으로 하는 비디오를 데이터 스트림(140')으로 인코딩하기 위한 비디오 인코더(141).
  7. 제6항에 있어서,
    상기 비디오 인코더(141)는 랜덤 액세스(Random Access, RA) 코딩 방식을 사용하도록 구성되고, 상기 비디오 인코더(141)는 상기 프레임들(142'a 내지 142'e)을 재정렬하고, 홀수 픽처 순서 카운트(picture order count, POC)를 포함하고 및/또는 상기 미리 결정된 인덱스 임계 값보다 높은 인덱스를 갖는 시간적 계층형 레이어와 연관되는 하나 이상의 프레임들(142'a 내지 142'e) 또는 상기 하나 이상의 프레임들의 공간적 또는 색채 서브 세트에 대한 DQP 정보를 상기 데이터 스트림(140')으로 인코딩하는 것을 생략하도록 구성되는 것을 특징으로 하는 비디오를 데이터 스트림(140')으로 인코딩하기 위한 비디오 인코더(141).
  8. 제6항에 있어서,
    상기 비디오 인코더(141)는 상기 플래그(165)를 엔트로피 인코딩하여 상기 데이터 스트림(140')의 시작에서 상기 플래그(165)를 송신하고, 또는 랜덤 액세스 코딩 방식이 사용되는 경우 상기 데이터 스트림(140')의 랜덤 액세스 포인트의 시작에서 상기 플래그(165)를 송신하도록 구성되는 것을 특징으로 하는 비디오를 데이터 스트림(140')으로 인코딩하기 위한 비디오 인코더(141).
  9. 데이터 스트림(140')으로부터 비디오를 디코딩하기 위한 비디오 디코더(241)에 있어서,
    상기 비디오 디코더(241)는 공간적 측면에서 시간적 계층형 레이어들에 대한 상기 비디오의 프레임들(142'a 내지 142'e)의 연관성에 따라 양자화 파라미터(QP)가 적용되는 입도를 변경하도록 구성되어, 상기 양자화 파라미터가 상기 프레임들(142'a 내지 142'e)에서 변하는 입도가 상기 시간적 계층형 레이어들에 대한 상기 비디오의 프레임들(142'a 내지 142'e)의 연관성에 의존하도록 하는 것을 특징으로 하는 데이터 스트림(140')으로부터 비디오를 디코딩하기 위한 비디오 디코더(241).
  10. 제9항에 있어서,
    상기 비디오 디코더(241)는 시간적으로 계층적 코딩 방식을 사용하도록 구성되고, 적어도 하나의 프레임(242'a) 또는 상기 상기 적어도 하나의 프레임(242'a)의 공간적 또는 색채 서브 세트(144'1, 144'2)는 제1 시간적 계층형 레이어와 연관되고, 적어도 하나의 추가 프레임(142'd) 또는 상기 하나의 추가 프레임의 공간적 또는 색채 서브 세트는 제2 시간적 계층형 레이어와 연관되는 것을 특징으로 하는 데이터 스트림(140')으로부터 비디오를 디코딩하기 위한 비디오 디코더(241).
  11. 제9항에 있어서,
    상기 비디오 디코더(241)는 디코딩 중에, 미리 결정된 시간적 계층형 레이어와 연관되는 하나 이상의 프레임들(142'd, 142'e) 또는 상기 하나 이상의 프레임들의 공간적 또는 색채 서브 세트에 대한 QP 정보를 상기 데이터 스트림(140')으로부터 디코딩하는 것을 생략하도록 구성되는 것을 특징으로 하는 데이터 스트림(140')으로부터 비디오를 디코딩하기 위한 비디오 디코더(241).
  12. 제9항에 있어서,
    상기 비디오 디코더(241)는 차등 양자화 파라미터(Differential Quantization Parameter, DQP) 기반 코딩 방식을 사용하도록 구성되고, 상기 비디오 디코더(241)는 상기 DQP 기반 코딩을 비활성화하고, 디코딩 중에, 미리 결정된 시간적 계층형 레이어와 연관되는 하나 이상의 프레임들(142'd, 142'e) 또는 상기 하나 이상의 프레임들의 공간적 또는 색채 서브 세트에 대한 DQP 정보를 상기 데이터 스트림(140')으로부터 디코딩하는 것을 생략하도록 구성되는 것을 특징으로 하는 데이터 스트림(140')으로부터 비디오를 디코딩하기 위한 비디오 디코더(241).
  13. 제9항에 있어서,
    상기 비디오 디코더(241)는 DQP 기반 코딩 방식을 사용하도록 구성되고, 상기 비디오 디코더(241)는 상기 DQP 기반 코딩을 비활성화하고, 디코딩 중에, 가장 높은 시간적 계층형 레이어와 연관되는 하나 이상의 프레임들(142'd, 142'e) 또는 상기 하나 이상의 프레임들의 공간적 또는 색채 서브 세트에 대한 DQP 정보를 상기 데이터 스트림(140')으로부터 디코딩하는 것을 생략하도록 구성되는 것을 특징으로 하는 데이터 스트림(140')으로부터 비디오를 디코딩하기 위한 비디오 디코더(241).
  14. 데이터 스트림(140')으로부터 비디오를 디코딩하기 위한 비디오 디코더(241)에 있어서,
    상기 비디오 디코더(241)는 시간적 계층형 레이어들에 대한 상기 비디오의 프레임들(142'a 내지 142'e)의 연관성에 따라 양자화 파라미터(QP)가 적용되는 입도를 변경하도록 구성되며,
    상기 비디오 디코더(241)는 DQP 기반 코딩 방식을 사용하도록 구성되고, 상기 비디오 디코더(241)는 상기 DQP 기반 코딩을 비활성화하고, 홀수 픽처 순서 카운트(POC)를 포함하고 및/또는 미리 결정된 시간적 계층형 레이어와 연관되는 하나 이상의 프레임들(142'd, 142'e) 또는 상기 하나 이상의 프레임들의 공간적 또는 색채 서브 세트에 대한 DQP 정보를 상기 데이터 스트림(140')으로부터 디코딩하는 것을 생략하도록 구성되는 것을 특징으로 하는 데이터 스트림(140')으로부터 비디오를 디코딩하기 위한 비디오 디코더(241).
  15. 데이터 스트림(140')으로부터 비디오를 디코딩하기 위한 비디오 디코더(241)에 있어서,
    상기 비디오 디코더(241)는 시간적 계층형 레이어들에 대한 상기 비디오의 프레임들(142'a 내지 142'e)의 연관성에 따라 양자화 파라미터(QP)가 적용되는 입도를 변경하도록 구성되며,
    상기 비디오 디코더(241)는 상기 데이터 스트림(140')으로부터 플래그(165)를 도출하도록 구성되고, 상기 플래그(165)는 프레임(142'a 내지142'e) 또는 상기 프레임의 공간적 또는 색채 서브 세트가 연관되는 시간적 계층형 레이어의 인덱스에 기초하여 상기 프레임(142'a 내지 142'e) 또는 상기 프레임의 공간적 또는 색채 서브 세트를 디코딩하는 방법을 나타내고,
    상기 플래그(165)가 설정되어 있는 경우, 상기 디코더(241)는 DQP 기반 코딩을 비활성화하고 DQP 정보를 상기 데이터 스트림(140')으로부터 디코딩하는 것을 생략하고, 미리 결정된 양자화를 사용하여 상기 프레임(142'd, 142'e) 또는 상기 프레임의 공간적 또는 색채 서브 세트를 양자화해제하도록 구성되는 것을 특징으로 하는 데이터 스트림(140')으로부터 비디오를 디코딩하기 위한 비디오 디코더(241).
  16. 제15항에 있어서,
    상기 비디오 디코더(241)는 상기 플래그(165)를 엔트로피 디코딩하여 상기 데이터 스트림(140')의 시작으로부터 상기 플래그(165)를 도출하고, 또는 랜덤 액세스 코딩 방식이 사용되는 경우 상기 데이터 스트림(140')의 랜덤 액세스 포인트의 시작으로부터 상기 플래그(165)를 도출하도록 구성되는 것을 특징으로 하는 데이터 스트림(140')으로부터 비디오를 디코딩하기 위한 비디오 디코더(241).
  17. 비디오를 데이터 스트림(140')으로 인코딩하는 방법에 있어서,
    상기 비디오 인코딩할 시에 양자화 파라미터(QP)를 적용하는 단계, 및
    공간적 측면에서 상기 비디오가 상기 데이터 스트림(140')으로 인코딩되는 시간적 계층형 레이어들에 대한 상기 비디오의 프레임들(142'a 내지 142'e)의 연관성에 따라 상기 양자화 파라미터(QP)가 적용되는 입도를 변경하는 단계 - 상기 양자화 파라미터가 상기 프레임들(142'a 내지 142'e)에서 변하는 입도가 상기 시간적 계층형 레이어들에 대한 상기 비디오의 프레임들(142'a 내지 142'e)의 연관성에 의존하게 됨 - 를 포함하는 것을 특징으로 하는 비디오를 데이터 스트림(140')으로 인코딩하는 방법.
  18. 비디오를 데이터 스트림(140')으로부터 디코딩하는 방법에 있어서,
    상기 비디오 디코딩할 시에 양자화 파라미터(QP)를 적용하는 단계, 및
    공간적 측면에서 시간적 계층형 레이어들에 대한 상기 비디오의 프레임들(142'a 내지 142'e)의 연관성에 따라 상기 양자화 파라미터(QP)가 적용되는 입도를 변경하는 단계 - 상기 양자화 파라미터가 상기 프레임들(142'a 내지 142'e)에서 변하는 입도가 상기 시간적 계층형 레이어들에 대한 상기 비디오의 프레임들(142'a 내지 142'e)의 연관성에 의존하게 됨 - 를 포함하는 것을 특징으로 하는 비디오를 데이터 스트림(140')으로 인코딩하는 방법.
  19. 컴퓨터 또는 신호 프로세서 상에서 실행될 때 제17항 또는 제18항의 방법을 구현하기 위한 컴퓨터 프로그램.
  20. 제1항에 있어서,
    상기 비디오 인코더(141)는 차등 양자화 파라미터(Differential Quantization Parameter, DQP) 기반 코딩 방식을 사용하도록 구성되고, 상기 비디오 인코더(141)는 양자화 파라미터가 프레임들(142'a 내지142'e)에서 변하는 입도에서 프레임들(142'a 내지142'e)에 대해 DQP 정보를 데이터 스트림(140')에 인코딩하도록 구성되는 것을 특징으로 하는 비디오를 데이터 스트림(140')으로 인코딩하기 위한 비디오 인코더(141).
  21. 제1항에 있어서,
    상기 비디오의 상기 프레임들(142'a 내지142'e)은 공간적 서브 세트(144'1, 144'2)를 포함하고 상기 비디오 인코더(141)는 차등 양자화 파라미터(Differential Quantization Parameter, DQP) 기반 코딩 방식을 사용하고, 제 1 시간적 계층형 레이어와 연관되는, 제 1 프레임들 내의 미리 결정된 공간적 서브 세트(144'1, 144'2)에 대해 DQP 정보를 데이터 스트림(140')으로 인코딩하고, 제 2 시간적 계층형 레이어와 연관되는, 제 2 프레임들 내의 미리 결정된 공간적 서브 세트(144'1, 144'2)에 대해 DQP 정보를 데이터 스트림(140')으로 인코딩하는 것을 생략하도록 구성되는 것을 특징으로 하는 비디오를 데이터 스트림(140')으로 인코딩하기 위한 비디오 인코더(141).
  22. 제9항에 있어서,
    상기 비디오 디코더(241)는 차등 양자화 파라미터(Differential Quantization Parameter, DQP) 기반 코딩 방식을 사용하도록 구성되고, 상기 비디오 디코더(241)는 양자화 파라미터가 프레임들(142'a 내지142'e)에서 변하는 입도에서 프레임들(142'a 내지142'e)에 대해 DQP 정보를 데이터 스트림(140')으로부터 디코딩하도록 구성되는 것을 특징으로 하는 데이터 스트림(140')으로부터 비디오를 디코딩하기 위한 비디오 디코더(241).
  23. 제9항에 있어서,
    상기 비디오의 상기 프레임들(142'a 내지142'e)은 공간적 서브 세트(144'1, 144'2)를 포함하고 상기 비디오 디코더(241)는 차등 양자화 파라미터(Differential Quantization Parameter, DQP) 기반 코딩 방식을 사용하고, 제 1 시간적 계층형 레이어와 연관되는, 제 1 프레임들 내의 미리 결정된 공간적 서브 세트(144'1, 144'2)에 대해 DQP 정보를 데이터 스트림(140')으로부터 디코딩하고, 제 2 시간적 계층형 레이어와 연관되는, 제 2 프레임들 내의 미리 결정된 공간적 서브 세트(144'1, 144'2)에 대해 DQP 정보를 데이터 스트림(140')으로부터 디코딩하는 것을 생략하도록 구성되는 것을 특징으로 하는 데이터 스트림(140')으로부터 비디오를 디코딩하기 위한 비디오 디코더(241).
KR1020207027822A 2018-02-26 2019-02-18 선택적 양자화 파라미터 송신 KR102551317B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18158707 2018-02-26
EP18158707.2 2018-02-26
PCT/EP2019/053967 WO2019162231A1 (en) 2018-02-26 2019-02-18 Selective quantization parameter transmission

Publications (2)

Publication Number Publication Date
KR20200128080A KR20200128080A (ko) 2020-11-11
KR102551317B1 true KR102551317B1 (ko) 2023-07-04

Family

ID=61283114

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207027822A KR102551317B1 (ko) 2018-02-26 2019-02-18 선택적 양자화 파라미터 송신

Country Status (6)

Country Link
US (1) US11297338B2 (ko)
EP (1) EP3759913A1 (ko)
JP (1) JP2021515470A (ko)
KR (1) KR102551317B1 (ko)
CN (1) CN112020860B (ko)
WO (1) WO2019162231A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114422802B (zh) * 2022-03-28 2022-08-09 浙江智慧视频安防创新中心有限公司 一种基于码本的自编码机图像压缩方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120140825A1 (en) * 2010-12-07 2012-06-07 Mediatek Inc. Method and Apparatus of Video Coding Using Picture Structure with Low-Delay Hierarchical B Group

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7369709B2 (en) * 2003-09-07 2008-05-06 Microsoft Corporation Conditional lapped transform
US8295343B2 (en) * 2005-11-18 2012-10-23 Apple Inc. Video bit rate control method
EP1809042A1 (en) * 2006-01-13 2007-07-18 THOMSON Licensing Method and apparatus for coding interlaced video data
US8711925B2 (en) * 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
US20130272390A1 (en) * 2012-04-16 2013-10-17 Qualcomm Incorporated Uniform granularity for quantization matrix in video coding
JP6497874B2 (ja) * 2014-08-28 2019-04-10 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US20170094288A1 (en) * 2015-09-25 2017-03-30 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
JP6437475B2 (ja) 2016-03-16 2018-12-12 株式会社三共 遊技機

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120140825A1 (en) * 2010-12-07 2012-06-07 Mediatek Inc. Method and Apparatus of Video Coding Using Picture Structure with Low-Delay Hierarchical B Group

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Benjamin Bross, et al., "High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS &Consent)", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Geneva, CH, 2013.01.17., JCTVC-L1003_v1.*
C. Rosewarne, et al., "High Efficiency Video Coding (HEVC) Test Model 16 (HM 16) Improved Encoder Description Update 6", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 24th Meeting: Geneva, CH, 2016.10.11., JCTVC-X1002.*

Also Published As

Publication number Publication date
CN112020860B (zh) 2022-09-02
CN112020860A (zh) 2020-12-01
EP3759913A1 (en) 2021-01-06
US20200389657A1 (en) 2020-12-10
JP2021515470A (ja) 2021-06-17
WO2019162231A1 (en) 2019-08-29
KR20200128080A (ko) 2020-11-11
US11297338B2 (en) 2022-04-05

Similar Documents

Publication Publication Date Title
CN108605126B (zh) 滤波视频数据的经解码块的方法和装置及存储介质
US11368689B2 (en) Adaptive color space transform coding
CN107211148B (zh) 在视频译码中调色板块大小的限制
US9516349B2 (en) Pixel-based intra prediction for coding in HEVC
KR102052292B1 (ko) 기준 모드 값의 도출 및 예측 모드를 나타내는 정보의 인코딩 및 디코딩
DK2984837T3 (en) Inter-component prediction
KR102103967B1 (ko) 복수의 이웃 양자화 파라미터들로부터 양자화 파라미터 예측 변수들을 결정하기 위한 방법들 및 장치
US20130051457A1 (en) Quantization in video coding
US20200120345A1 (en) Luma and chroma reshaping of hdr video encoding
US20220103820A1 (en) Encoder, decoder, methods and computer programs with an improved transform based scaling
Heindel et al. Low-complexity enhancement layer compression for scalable lossless video coding based on HEVC
US20130128971A1 (en) Transforms in video coding
JP2024032017A (ja) 画像及びビデオコード化のための選択的成分間変換（ｉｃｔ）
KR102551317B1 (ko) 선택적 양자화 파라미터 송신
KR102507024B1 (ko) 디지털 이미지/비디오 자료를 인코딩 및 디코딩하는 방법 및 장치
CN116527942A (zh) 一种图像编解码方法及装置
CN116389755A (zh) 一种图像解码方法、编码方法及装置
TWI771705B (zh) 用於改良式無損壓縮之編碼器、解碼器、方法及電腦程式
CN116074531A (zh) 解码方法、编码方法及装置
CN114731421A (zh) 现代混合图像和视频编码方案中的多级残差编码

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant