KR102462009B1 - 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체 - Google Patents

영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체 Download PDF

Info

Publication number
KR102462009B1
KR102462009B1 KR1020220001418A KR20220001418A KR102462009B1 KR 102462009 B1 KR102462009 B1 KR 102462009B1 KR 1020220001418 A KR1020220001418 A KR 1020220001418A KR 20220001418 A KR20220001418 A KR 20220001418A KR 102462009 B1 KR102462009 B1 KR 102462009B1
Authority
KR
South Korea
Prior art keywords
quantization matrix
quantization
matrix
block
value
Prior art date
Application number
KR1020220001418A
Other languages
English (en)
Other versions
KR20220006134A (ko
Inventor
임성창
김휘용
이진호
최진수
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20220006134A publication Critical patent/KR20220006134A/ko
Priority to KR1020220140749A priority Critical patent/KR102583640B1/ko
Application granted granted Critical
Publication of KR102462009B1 publication Critical patent/KR102462009B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94—Vector quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Abstract

영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체가 개시된다. 상기 영상 부호화 방법은 양자화 시 사용되는 양자화 행렬을 구성하는 단계 및 상기 양자화 행렬에 대한 정보를 부호화하는 단계를 포함하며, 상기 양자화 행렬에 대한 정보는 양자화 행렬의 예측 방법을 지시하는 정보, 양자화 행렬의 참조 양자화 행렬 식별자 정보, 양자화 행렬의 DC 값을 나타내는 정보 및 양자화 행렬 계수의 차분값을 나타내는 정보 중 적어도 하나를 포함한다.

Description

영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체{METHOD FOR IMAGE ENCODING AND COMPUTER READABLE REDORDING MEDUIM THEREOF}
본 발명은 영상의 부호화/복호화에 관한 것으로, 보다 상세하게는 양자화 행렬 계수의 부호화/복호화에 관한 것이다.
최근 HD(High Definition) 해상도를 가지는 방송 서비스가 국내뿐만 아니라 세계적으로 확대되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있으며 이에 따라 많은 기관들이 차세대 영상기기에 대한 개발에 박차를 가하고 있다. 또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 보다 높은 해상도, 고화질의 영상에 대한 압축기술이 요구되고 있다.
영상 압축을 위해, 시간적으로 이전 및/또는 이후의 픽처로부터 현재 픽처에 포함된 픽셀값을 예측하는 인터(inter) 예측 기술, 현재 픽처 내의 픽셀 정보를 이용하여 현재 픽처에 포함된 픽셀값을 예측하는 인트라(intra) 예측 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 부호화 기술 등이 사용될 수 있다.
본 발명은 영상 부호화/복호화 효율을 향상시킬 수 있는 영상 부호화/복호화 방법 및 장치를 제공한다.
본 발명은 영상 부호화/복호화 효율을 향상시킬 수 있는 양자화 행렬 계수의 부호화/복호화 방법 및 장치를 제공한다.
본 발명은 영상 부호화/복호화 효율을 향상시킬 수 있는 양자화 행렬을 스캔하는 방법 및 장치를 제공한다.
본 발명의 일 양태에 따르면, 영상 부호화 방법이 제공된다. 상기 영상 부호화 방법은 양자화 시 사용되는 양자화 행렬을 구성하는 단계 및 상기 양자화 행렬에 대한 정보를 부호화하는 단계를 포함하며, 상기 양자화 행렬에 대한 정보는 양자화 행렬의 예측 방법을 지시하는 정보, 양자화 행렬의 참조 양자화 행렬 식별자 정보, 양자화 행렬의 DC 값을 나타내는 정보 및 양자화 행렬 계수의 차분값을 나타내는 정보 중 적어도 하나를 포함한다.
상기 양자화 행렬이 사용되는 변환 계수 블록의 크기가 16x16 크기 또는 32x32 크기일 경우, 상기 양자화 행렬의 DC 값을 나타내는 정보를 부호화할 수 있다.
상기 양자화 행렬의 DC 값을 나타내는 정보는 -7~247 사이의 값으로 부호화될 수 있다.
상기 양자화 행렬에 대한 정보를 부호화하는 단계는, 상기 양자화 행렬에 대해 스캔을 수행하여 양자화 행렬 계수를 도출하는 단계 및 상기 도출된 양자화 행렬 계수의 차분값을 나타내는 정보를 생성하여 부호화하는 단계를 포함할 수 있다.
상기 양자화 행렬에 대해 대각 스캔을 수행하여 상기 양자화 행렬 계수를 도출할 수 있다.
상기 도출된 양자화 행렬 계수의 차분값을 나타내는 정보는 상기 양자화 행렬 내에서 현재 양자화 행렬 계수와 상기 현재 양자화 행렬 계수 이전에 부호화된 이전 양자화 행렬 계수 간의 차분값일 수 있다.
상기 양자화 행렬이 4x4 크기의 변환 계수 블록에 사용되는 경우, 상기 양자화 행렬에 대해 4x4 크기의 대각 스캔을 수행하며, 상기 양자화 행렬이 8x8, 16x16 및 32x32 중 하나의 크기를 가지는 변환 계수 블록에 사용되는 경우, 상기 양자화 행렬에 대해 8x8 크기의 대각 스캔을 수행할 수 있다.
본 발명의 다른 양태에 따르면, 영상 부호화 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체가 제공된다. 상기 프로그램은, 양자화 시 사용되는 양자화 행렬을 구성하는 단계 및 상기 양자화 행렬에 대한 정보를 부호화하는 단계를 포함하며, 상기 양자화 행렬에 대한 정보는 양자화 행렬의 예측 방법을 지시하는 정보, 양자화 행렬의 참조 양자화 행렬 식별자 정보, 양자화 행렬의 DC 값을 나타내는 정보 및 양자화 행렬 계수의 차분값을 나타내는 정보 중 적어도 하나를 포함한다.
상기 양자화 행렬이 사용되는 변환 계수 블록의 크기가 16x16 크기 또는 32x32 크기일 경우, 상기 양자화 행렬의 DC 값을 나타내는 정보를 부호화할 수 있다.
상기 양자화 행렬의 DC 값을 나타내는 정보는 -7~247 사이의 값으로 부호화될 수 있다.
상기 양자화 행렬에 대한 정보를 부호화하는 단계는, 상기 양자화 행렬에 대해 스캔을 수행하여 양자화 행렬 계수를 도출하는 단계 및 상기 도출된 양자화 행렬 계수의 차분값을 나타내는 정보를 생성하여 부호화하는 단계를 포함할 수 있다.
상기 양자화 행렬에 대해 대각 스캔을 수행하여 상기 양자화 행렬 계수를 도출할 수 있다.
상기 도출된 양자화 행렬 계수의 차분값을 나타내는 정보는 상기 양자화 행렬 내에서 현재 양자화 행렬 계수와 상기 현재 양자화 행렬 계수 이전에 부호화된 이전 양자화 행렬 계수 간의 차분값일 수 있다.
상기 양자화 행렬이 4x4 크기의 변환 계수 블록에 사용되는 경우, 상기 양자화 행렬에 대해 4x4 크기의 대각 스캔을 수행하며, 상기 양자화 행렬이 8x8, 16x16 및 32x32 중 하나의 크기를 가지는 변환 계수 블록에 사용되는 경우, 상기 양자화 행렬에 대해 8x8 크기의 대각 스캔을 수행할 수 있다.
본 발명에서는 양자화 행렬 계수를 스캔할 수 있는 방법을 제공함으로써, 부호화기 및 복호화기에서 지그재그 스캔 구현에 필요한 로직을 감소시킬 수 있으며, 지그재그 스캔 배열을 저장하기 위한 메모리 공간을 절약할 수 있다.
도 1은 본 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 하나의 유닛이 복수의 하위 유닛으로 분할되는 실시예를 개략적으로 나타내는 개념도이다.
도 4는 본 발명의 실시예에 따른 양자화 행렬의 부호화 방법을 개략적으로 나타내는 순서도이다.
도 5는 본 발명의 실시예에 따른 양자화 행렬 계수를 예측 부호화하는 방법을 개략적으로 나타내는 순서도이다.
도 6은 본 발명의 실시예에 따라 4x4 및 8x8 크기의 양자화 행렬에 적용될 수 있는 대각 스캔(diagonal scan)의 일예를 나타내는 도면이다.
도 7은 본 발명의 실시예에 따라 4x4 및 8x8 크기의 양자화 행렬에 적용될 수 있는 수평 스캔(horizontal scan)의 일예를 나타내는 도면이다.
도 8은 본 발명의 실시예에 따라 4x4 및 8x8 크기의 양자화 행렬에 적용될 수 있는 수직 스캔(vertical scan)의 일예를 나타내는 도면이다.
도 9는 본 발명의 실시예에 따라 8x8 크기의 양자화 행렬에 적용될 수 있는 블록 기반 대각 스캔(block-based diagonal scan)의 일예를 나타내는 도면이다.
도 10은 본 발명의 실시예에 따라 8x8 크기의 양자화 행렬에 적용될 수 있는 블록 기반 수평 스캔(block-based horizontal scan)의 일예를 나타내는 도면이다.
도 11은 본 발명의 실시예에 따라 8x8 크기의 양자화 행렬에 적용될 수 있는 블록 기반 수직 스캔(block-based vertical scan)의 일예를 나타내는 도면이다.
도 12는 본 발명의 실시예에 따라 8x8 크기의 양자화 행렬에 적용될 수 있는 블록 기반 수평 스캔(block-based horizontal scan)의 다른 예를 나타내는 도면이다.
도 13은 본 발명의 실시예에 따라 8x8 크기의 양자화 행렬에 적용될 수 있는 블록 기반 수직 스캔(block-based vertical scan)의 다른 예를 나타내는 도면이다.
도 14는 본 발명의 실시예에 따른 양자화 행렬의 복호화 방법을 개략적으로 나타내는 순서도이다.
도 15는 본 발명이 적용될 수 있는 양자화 행렬을 업샘플링하는 방법을 설명하기 위한 도면이다.
도 16은 본 발명이 적용될 수 있는 양자화 행렬을 서브샘플링하는 방법을 설명하기 위한 도면이다.
도 17은 본 발명의 실시예에 따른 양자화 행렬 계수를 예측 복호화하는 방법을 개략적으로 나타내는 순서도이다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 해당 설명을 생략할 수도 있다.
본 명세서에서 어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있는 것을 의미할 수도 있고, 중간에 다른 구성 요소가 존재하는 것을 의미할 수도 있다. 아울러, 본 명세서에서 특정 구성을 "포함"한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성들을 설명하는데 사용될 수 있지만, 상기 구성들은 상기 용어에 의해 한정되지 않는다. 상기 용어들은 하나의 구성을 다른 구성으로부터 구별하는 목적으로 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성은 제2 구성으로 명명될 수 있고, 유사하게 제2 구성도 제1 구성으로 명명될 수 있다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성 단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 하나의 구성부를 이루거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
우선, 설명의 편의를 도모하고 발명의 이해를 돕기 위해, 본 명세서에서 사용되는 용어들에 대하여 간략하게 설명한다.
유닛(unit)은 영상 부호화 및 복호화의 단위를 의미한다. 다시 말하면, 영상 부호화/복호화 시, 부호화 혹은 복호화 단위라 함은 하나의 영상을 세분화된 유닛으로 분할하여 부호화 혹은 복호화 할 때 그 분할된 단위를 말한다. 블록(block), 매크로 블록(Macro Block; MB), 부호화 유닛(Coding Unit; CU), 예측 유닛(Prediction Unit; PU), 변환 유닛(Transform Unit; TU), 부호화 블록(Coding Block; CB), 예측 블록(Prediction Block; PB), 변환 블록(Transform Block; TB) 등으로 부를 수 있다. 하나의 유닛은 크기가 더 작은 하위 유닛으로 분할될 수 있다.
블록(block)은 샘플(sample)의 MxN 배열을 말하며, M과 N은 양의 정수 값을 가진다. 블록은 흔히 2차원 형태의 배열을 의미할 수 있다.
변환 유닛(Transform Unit; TU)은 변환, 역변환, 양자화, 역양자화, 변환 계수 부호화/복호화와 같이 잔여 신호(residual signal)의 부호화/복호화를 수행할 때의 기본 유닛이며, 하나의 변환 유닛은 분할되어 크기가 작은 다수의 변환 유닛으로 분할될 수 있다.
양자화 행렬(quantization matrix)은 영상의 주관적 화질 혹은 객관적 화질을 향상시키기 위해서 양자화 혹은 역양자화 과정에서 이용하는 행렬을 의미한다. 양자화 행렬은 스케일링 리스트(scaling list)라고도 불린다.
기본 행렬(default matrix)은 부호화기/복호화기에서 미리 정의되어 있는 소정의 양자화 행렬을 의미할 수 있다. 비기본 행렬(non-default matrix)은 부호화기/복호화기에서 미리 정의되지 않고, 사용자에 의해서 전송/수신되는 양자화 행렬을 의미할 수 있다.
양자화 행렬 계수(quantization matrix coefficient)는 양자화 행렬 내의 각 원소(element)를 의미하며, 행렬 계수(matrix coefficient)라고도 한다.
스캔(scan)은 블록 혹은 행렬 내 계수의 순서를 정렬하는 방법을 말한다. 예컨대, 2차원 배열을 1차원 배열 형태로 정렬하는 것을 스캔이라고 하며, 1차원 배열을 2차원 배열 형태로 정렬하는 것도 스캔이라고 부를 수 있다.
스케일링(scaling)은 변환 계수 레벨에 인수를 곱하는 과정을 의미하며, 결과로 변환 계수를 생성한다. 스케일링은 역양자화(dequantization)라고도 한다.
변환 계수(transform coefficient)는 변환을 수행하고 나서 생성된 계수값을 말한다. 본 명세서에서는 변환 계수에 양자화를 적용한 양자화된 변환 계수 레벨(transform coefficient level)도 변환 계수라 통칭하여 사용한다.
지그재그 스캔(zigzag scan)은 최저 공간적 주파수에 해당하는 계수(양자화 행렬 계수, 변환 계수 레벨)로부터 최고 공간적 주파수에 해당하는 계수를 순차적으로 정렬하기 위한 특정 스캔 방법이다.
양자화 매개변수(quantization parameter)는 양자화 및 역양자화에서 변환 계수 레벨을 스케일링할 때 사용되는 값을 의미한다. 이때, 양자화 매개변수는 양자화 스텝 크기(step size)에 매핑된 값일 수 있다.
파라미터 세트(parameter set)는 비트스트림 내의 구조 중 헤더 정보에 해당하며, 시퀀스 파라미터 세트(sequence parameter set), 픽처 파라미터 세트(picture parameter set), 적응 파라미터 세트(adaptation parameter set) 등을 통칭하는 의미를 가진다.
도 1은 본 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 1을 참조하면, 영상 부호화 장치(100)는 움직임 예측부(111), 움직임 보상부(112), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 영상 버퍼(190)를 포함한다.
영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림을 출력할 수 있다. 인트라 모드인 경우 스위치(115)가 인트라로 전환되고, 인터 모드인 경우 스위치(115)가 인터로 전환될 수 있다. 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측을 의미한다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분(residual)을 부호화할 수 있다. 이때, 입력 영상은 원 영상(original picture)를 의미할 수 있다.
인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화/복호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 모드인 경우, 움직임 예측부(111)는, 움직임 예측 과정에서 참조 픽처 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구할 수 있다. 움직임 보상부(112)는 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다. 여기서, 움직임 벡터는 인터 예측에 사용되는 2차원 벡터이며, 현재 부호화/복호화 대상 영상과 참조 영상 사이의 오프셋을 나타낼 수 있다.
감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔차 블록(residual block)을 생성할 수 있다.
변환부(130)는 잔차 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 그리고 양자화부(140)는 입력된 변환 계수를 양자화 파라미터(quantization parameter, 또는 양자화 매개변수)에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다.
엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 기초로 엔트로피 부호화를 수행하여 비트스트림(bit stream)을 출력할 수 있다. 엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼(symbol)에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다. 엔트로피 부호화부(150)는 엔트로피 부호화를 위해 지수-골롬(Exponential-Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법을 사용할 수 있다.
도 1의 실시예에 따른 영상 부호화 장치(100)는 인터 예측 부호화, 즉 화면 간 예측 부호화를 수행하므로, 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다. 따라서 양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환된다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록이 생성된다.
복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(180)는 적응적 인루프(in-loop) 필터로 불릴 수도 있다. 디블록킹 필터는 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. SAO는 코딩 에러를 보상하기 위해 픽셀값에 적정 오프셋(offset) 값을 더해줄 수 있다. ALF는 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. 필터부(180)를 거친 복원 블록은 참조 픽처 버퍼(190)에 저장될 수 있다.
도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2를 참조하면, 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 가산기(255), 필터부(260) 및 참조 픽처 버퍼(270)를 포함한다.
영상 복호화 장치(200)는 부호화기에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다.
영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 잔차 블록(reconstructed residual block)을 얻고 예측 블록을 생성한 후 복원된 잔차 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.
엔트로피 복호화부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient) 형태의 심볼을 포함한 심볼들을 생성할 수 있다.
엔트로피 복호화 방법이 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 각 심볼들에 대한 비트열의 크기가 감소될 수 있다.
양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환 된 결과, 복원된 잔차 블록이 생성될 수 있다.
인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 복호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다. 인터 모드인 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 픽처 버퍼(270)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.
잔차 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거칠 수 있다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 복원 영상은 참조 픽처 버퍼(270)에 저장되어 인터 예측에 사용될 수 있다.
도 3은 하나의 유닛이 복수의 하위 유닛으로 분할되는 실시예를 개략적으로 나타내는 개념도이다.
블록 분할 정보에는 유닛의 깊이(depth)에 관한 정보가 포함될 수 있다. 깊이 정보는 유닛이 분할되는 회수 및/또는 정도를 나타낼 수 있다.
하나의 유닛은 트리 구조(tree structure)를 기초로 깊이 정보(depth)를 가지고 계층적으로 분할될 수 있다. 각각의 분할된 하위 유닛은 깊이 정보를 가질 수 있다. 이때, 깊이 정보는 유닛이 분할된 회수 및/또는 정도를 나타내므로, 하위 유닛의 크기에 관한 정보를 포함할 수도 있다.
도 3의 310을 참조하면, 가장 상위 노드는 루트 노드(root node)로 불릴 수 있고, 가장 작은 깊이 값을 가질 수 있다. 이때, 가장 상위 노드는 레벨 0의 깊이를 가질 수 있으며, 분할되지 않은 최초의 유닛을 나타낼 수 있다.
레벨 1의 깊이를 갖는 하위 노드는 최초 유닛이 한 번 분할된 유닛을 나타낼 수 있으며, 레벨 2의 깊이를 갖는 하위 노드는 최초의 유닛이 두 번 분할된 유닛을 나타낼 수 있다. 예를 들어, 도 3의 320에서 노드 a에 대응하는 유닛 a는 최초 유닛에서 한 번 분할된 유닛이고, 레벨 1의 깊이를 가질 수 있다.
레벨 3의 리프 노드(leaf node)는 최초 유닛이 3번 분할된 유닛을 나타낼 수 있다. 예를 들어, 도 3의 320에서 노드 d에 대응하는 유닛 d는 최초 유닛에서 세 번 분할된 유닛이고, 레벨 3의 깊이를 가질 수 있다. 따라서, 가장 하위 노드인 레벨 3의 리프 노드는 가장 깊은 깊이를 가질 수 있다.
*한편, 영상의 주관적 혹은 객관적 화질을 향상시키기 위해서, 부호화기에서는 양자화(quantization) 과정에서 공간적 주파수(spatial frequency)별로 다른 값을 이용해서 변환 계수를 양자화할 때 양자화 행렬(quantization matrix)을 사용하며, 복호화기에서는 역양자화(dequantization) 과정에서 공간적 주파수별로 다른 값을 이용해서 변환 계수를 역양자화할 때 양자화 행렬을 사용한다.
양자화 및 역양자화 과정에서, 부호화기와 복호화기에서는 미리 정의된 기본 행렬(default matrix)을 양자화 행렬로 사용할 수 있으며, 또는 부호화기에서 사용자가 정의한 양자화 행렬을 사용할 수도 있다. 사용자가 정의한 양자화 행렬은 비기본 행렬(non-default matrix)이라고 부를 수 있다. 이때, 부호화기에서는 양자화 행렬(비기본 행렬)을 비트스트림(bitstream)에 부호화하여 복호화기로 전송할 수 있다.
이하, 본 발명에서는 양자화 행렬 계수를 스캔하는 방법 및 장치에 대해 설명한다.
도 4는 본 발명의 실시예에 따른 양자화 행렬의 부호화 방법을 개략적으로 나타내는 순서도이다. 도 4의 방법은 상술한 도 1의 영상 부호화 장치에서 수행될 수 있다.
도 4를 참조하면, 부호화 장치는 양자화 행렬(quantization matrix)을 구성할 수 있다(S410). 즉, 부호화 장치는 양자화/역양자화 과정에서 변환 계수 블록(또는, 변환 블록)에 사용될 양자화 행렬을 구성할 수 있다.
예컨대, 부호화기 및 복호화기에서 미리 정의된 기본(default) 행렬을 이용해서 양자화/역양자화 과정에 필요한 양자화 행렬을 구성할 수 있다. 또는 사용자가 부호화기에 입력한 비기본(non-default) 행렬을 이용해서 양자화/역양자화 과정에 필요한 양자화 행렬을 구성할 수도 있다.
이때, 부호화 장치는 변환 계수 블록의 예측 모드(화면내 예측 모드 혹은 화면간 예측 모드 등), 색 성분(휘도 성분 혹은 색차 성분 등), 블록 크기(4x4, 8x8, 16x16, 32x32, 16x4, 4x16, 32x8, 8x32 등)에 따라 서로 다른 양자화 행렬을 사용하도록 양자화 행렬을 구성할 수 있다. 상기 구성된 양자화 행렬은 다양한 양자화 행렬들을 포함할 수 있다.
16x16 및 32x32 크기를 가지는 변환 계수 블록에 사용될 양자화 행렬은 양자화/역양자화 시 16x16과 32x32 크기의 양자화 행렬로 사용되지만, 8x8 크기의 양자화 행렬로 표현하여 부호화될 수 있다.
예를 들어, 16x16 혹은 32x32 크기의 양자화 행렬을 부호화기에서 입력 받은 경우, 양자화/역양자화 시 상기 입력된 16x16 혹은 32x32 크기의 양자화 행렬을 이용하고, 서브샘플링(subsampling) 혹은 다운샘플링(downsampling) 등을 통해 상기 입력된 16x16 혹은 32x32 크기의 양자화 행렬을 8x8 크기의 양자화 행렬로 구성하여 부호화할 수 있다. 또는, 8x8 크기의 양자화 행렬을 부호화기에서 입력 받은 경우, 양자화/역양자화 시 상기 입력된 8x8 크기의 양자화 행렬을 업샘플링(upsampling) 혹은 인터폴레이션(interpolation) 등을 통해 16x16 혹은 32x32 크기의 양자화 행렬로 구성하여 이용할 수 있으며, 상기 입력된 8x8 크기의 양자화 행렬을 부호화할 수 있다.
표 1은 상술한 변환 계수 블록의 예측 모드, 색 성분, 블록 크기에 따라 사용될 수 있는 양자화 행렬의 일예를 나타낸다.
Figure 112022001254404-pat00001
부호화 장치는 양자화 행렬의 존재 유무에 대한 정보를 부호화할 수 있다(S420). 예컨대, 부호화 장치는 양자화 행렬의 존재 유무를 나타내는 정보를 파라미터 세트(parameter set)에 부호화할 수 있다. 이때, 파라미터 세트는 적응 파라미터 세트(adaptation parameter set)일 수 있다.
표 2는 양자화 행렬의 존재 유무에 대한 정보를 부호화하기 위한 파라미터 세트의 구문 요소를 나타내는 일예이다.
Figure 112022001254404-pat00002
표 2를 참조하면, 비트스트림 내 양자화 행렬의 존재 유무를 나타내는 정보는 플래그를 이용하여 파라미터 세트에 부호화될 수 있다. 예컨대, 양자화 행렬의 존재 유무를 지시하는 플래그는 scaling_list_present_flag로 나타내어질 수 있다. 만일 양자화 행렬이 존재하지 않는 경우, 예컨대 모든 양자화 행렬을 기본 행렬로 결정한 경우, scaling_list_present_flag의 값을 0으로 설정하여 부호화할 수 있으며, 부호화된 양자화 행렬이 존재하는 경우 scaling_list_present_flag의 값을 1로 설정하여 부호화할 수 있다.
표 2에서 sizeID의 값은 변환 계수 블록의 크기 혹은 양자화 행렬의 크기를 의미할 수 있고, matrixID의 값은 예측 모드(prediction mode) 및 색 성분(color component)에 따른 양자화 행렬의 종류를 의미할 수 있다.
일예로, 표 3은 양자화 행렬의 크기에 따른 sizeID 값을 나타내며, 표 4는 예측 모드 및 색 성분에 따른 matrixID 값을 나타낸다.
Figure 112022001254404-pat00003
Figure 112022001254404-pat00004
표 2에서는 양자화 행렬의 존재 유무에 대한 정보를 나타내는 플래그로 scaling_list_present_flag를 이용하였으나, 이는 하나의 예시일 뿐이며, 상기 플래그의 명칭은 변경 가능하다. 예컨대, sps_scaling_list_data_present_flag 등을 이용하여 양자화 행렬의 존재 유무에 대한 정보를 지시할 수도 있다.
부호화 장치는 양자화 행렬의 예측 방법에 대한 정보를 부호화할 수 있다(S430). 예컨대, 부호화 장치는 양자화 행렬의 예측 방법의 종류에 대해 결정하고, 결정된 양자화 행렬의 예측 방법에 대한 정보를 파라미터 세트에 부호화할 수 있다. 이때, 파라미터 세트는 적응 파라미터 세트일 수 있다.
상기 표 2를 참조하면, 양자화 행렬의 예측 방법에 대한 정보는 플래그를 이용하여 파라미터 세트에 부호화할 수 있다. 예컨대, 양자화 행렬의 예측 방법을 지시하는 플래그는 scaling_list_pred_mode_flag로 나타내어질 수 있다. 이때, 양자화 행렬 내 계수를 예측 부호화하기 위해 양자화 행렬을 스캔하여 DPCM(Differential Pulse Code Modulation)과 지수-골롬(Exponential-Golomb) 코드를 사용하기로 결정한 경우, scaling_list_pred_mode_flag의 값을 1로 설정하여 부호화할 수 있다. 또는, 양자화 행렬 간 예측을 위해 참조 양자화 행렬과 부호화 대상 양자화 행렬이 동일한 값을 가지도록 결정한 경우, scaling_list_pred_mode_flag의 값을 0으로 설정하여 부호화할 수 있다. 여기서, 참조 양자화 행렬과 부호화 대상 양자화 행렬이 동일한 값을 가진다는 것은, 참조 양자화 행렬의 계수 값을 부호화 대상 양자화 행렬의 계수 값으로 복사하는 양자화 행렬 예측 방법일 수 있다.
표 2에서는 양자화 행렬의 예측 방법에 대한 정보를 나타내는 플래그로 scaling_list_pred_mode_flag를 이용하였으나, 이는 하나의 예시일 뿐이며, 상기 플래그의 명칭은 변경 가능하다.
부호화 장치는 양자화 행렬의 예측 방법에 대한 정보를 기초로 양자화 행렬 간 예측을 위해 양자화 행렬 식별자를 부호화하거나 혹은 양자화 행렬 내 계수를 예측 부호화할 수 있다(S440).
일예로, 양자화 행렬의 예측 방법이 양자화 행렬 간 예측을 위해 참조 양자화 행렬과 동일한 계수 값을 가지도록 부호화 대상 양자화 행렬을 결정한 경우(예컨대, scaling_list_pred_mode_flag=0)이면, 부호화 대상 양자화 행렬의 참조 양자화 행렬 식별자를 파라미터 세트에 부호화할 수 있다. 이때, 파라미터 세트는 적응 파라미터 세트일 수 있다.
상기 표 2를 참조하면, 부호화 대상 양자화 행렬의 참조 양자화 행렬 식별자를 지시하는 scaling_list_pred_matrix_id_delta를 이용하여 파라미터 세트에 부호화할 수 있다. 이때, 부호화 대상 양자화 행렬을 지시하는 matrixID와 참조 양자화 행렬을 지시하는 RefMatrixID를 이용하여 양자화 행렬 식별자(scaling_list_pred_matrix_id_delta)를 결정할 수 있다. 예컨대, 수학식 1과 같이 양자화 행렬 식별자(scaling_list_pred_matrix_id_delta)를 결정할 수 있다.
Figure 112022001254404-pat00005
부호화 대상 양자화 행렬의 계수 값을 참조 양자화 행렬의 계수 값과 동일하게 결정하는 방법은, RefMatrixID가 지시하는 참조 양자화 행렬을 부호화 대상 양자화 행렬의 참조 양자화 행렬로 결정하고, 참조 양자화 행렬의 계수 값을 부호화 대상 양자화 행렬의 계수 값으로 복사하는 양자화 행렬 예측 방법일 수 있다.
다른 예로, 양자화 행렬의 예측 방법이 양자화 행렬 간 예측을 위해 참조 양자화 행렬 혹은 기본 행렬과 동일한 계수 값을 가지도록 부호화 대상 양자화 행렬을 결정한 경우(예컨대, scaling_list_pred_mode_flag=0)이면, 부호화 대상 양자화 행렬의 참조 양자화 행렬 식별자와 기본 행렬 사용 여부를 지시하는 정보를 파라미터 세트에 부호화할 수 있다. 이때, 파라미터 세트는 적응 파라미터 세트일 수 있다.
상기 표 2를 참조하면, 부호화 대상 양자화 행렬의 계수 값을 참조 양자화 행렬의 계수 값과 동일한 값으로 결정한 경우, 혹은 부호화 대상 양자화 행렬의 계수 값을 기본 행렬의 계수 값과 동일한 값으로 결정한 경우, 부호화 대상 양자화 행렬의 참조 양자화 행렬 식별자를 지시하는 scaling_list_pred_matrix_id_delta를 이용하여 파라미터 세트에 부호화할 수 있다. 이때, 부호화 대상 양자화 행렬을 지시하는 matrixID와 참조 양자화 행렬 및 기본 행렬을 지시하는 RefMatrixID를 이용해서 양자화 행렬 식별자(scaling_list_pred_matrix_id_delta)를 결정할 수 있다. 예컨대, 수학식 2와 같이 양자화 행렬 식별자(scaling_list_pred_matrix_id_delta)를 결정할 수 있다.
Figure 112022001254404-pat00006
부호화 대상 양자화 행렬의 계수 값을 부호화기 및 복호화기에서 미리 정해진 기본 행렬의 계수 값과 동일한 값으로 결정한 경우, RefMatrixID 값과 matrixID 값을 동일하게 하여, scaling_list_pred_matrix_id_delta 값을 0으로 부호화할 수 있다. 이때, 기본 행렬은 sizeID와 matrixID가 지시하는 기본 행렬을 의미한다.
부호화 대상 양자화 행렬의 계수 값을 참조 양자화 행렬의 계수 값과 동일한 값으로 결정한 경우, scaling_list_pred_matrix_id_delta 값을 0이 아닌 값으로 부호화하여, RefMatrixID 값과 matrixID 값이 동일하지 않게 한다.
또 다른 예로, 양자화 행렬의 예측 방법이 양자화 행렬 내 계수를 예측 부호화하기 위해 양자화 행렬을 스캔하여 DPCM과 지수-골롬 코드를 사용하기로 결정한 경우(예컨대, scaling_list_pred_mode_flag=1)이면, 양자화 행렬 내에서 이전에 부호화된 양자화 행렬 계수 값과 현재 부호화 대상 양자화 행렬 계수 값 간의 차분값을 파라미터 세트에 부호화할 수 있다. 이때, 파라미터 세트는 적응 파라미터 세트일 수 있다.
표 5는 양자화 행렬 내 계수를 예측 부호화하기 위한 파라미터 세트의 구문 요소를 나타내는 일예이다.
Figure 112022001254404-pat00007
표 5를 참조하면, 부호화 대상 양자화 행렬의 크기가 16x16(sizeID=2) 혹은 32x32(sizeID=3)일 경우, DC 행렬 계수 값을 나타내는 scaling_list_dc_coef_minus8를 파라미터 세트에 부호화할 수 있다. scaling_list_dc_coef_minus8의 값은 8비트로 표현할 수 있는 -7~247 사이의 값으로 한정될 수 있으며, -7~247 사이의 값으로 부호를 가진 지수-골롬 코드(Signed Exponental-Golomb code)를 이용해서 부호화할 수 있다.
또는, 양자화 행렬 내에서 이전에 부호화된 양자화 행렬 계수 값과 현재 부호화 대상 양자화 행렬 계수 값 간의 차분값을 나타내는 scaling_list_delta_coef를 파라미터 세트에 부호화할 수 있다. 예컨대, 기본 행렬을 사용할 경우, scaling_list_delta_coef를 1개 값만 부호화할 수 있다. 또는, 4x4 크기의 양자화 행렬을 부호화할 경우, 4x4 크기의 양자화 행렬 내 계수들의 개수인 총 16개 값을 scaling_list_delta_coef를 이용하여 부호화할 수 있다. 또는, 8x8 크기 이상의 변환 계수 블록에 사용하는 양자화 행렬을 부호화할 경우, 8x8 크기의 양자화 행렬 내 계수들의 개수인 총 64개 값을 scaling_list_delta_coef를 이용하여 부호화할 수 있다. 양자화 행렬 내 계수 간의 차분값(scaling_list_delta_coef)을 이용하여 양자화 행렬 계수를 예측 부호화하는 방법은 도 5 내지 도 13을 참조하여 상세히 후술하도록 한다.
한편, scaling_list_dc_coef_minus8 혹은 nextCoef를 계산하는데 사용되는 scaling_list_delta_coef를 이용하여 기본 행렬 사용 여부를 부호화할 수 있다. 예컨대, scaling_list_dc_coef_minus8의 값을 -8로 부호화하여 기본 행렬을 사용함을 복호화기에 지시할 수 있다. 또는, 첫 번째 nextCoef 값이 0이 되도록 scaling_list_delta_coef를 부호화하여 기본 행렬을 사용함을 복호화기에 지시할 수도 있다.
도 5는 본 발명의 실시예에 따른 양자화 행렬 계수를 예측 부호화하는 방법을 개략적으로 나타내는 순서도이다. 도 5의 방법은 상술한 도 1의 영상 부호화 장치에서 수행될 수 있다. 또한, 도 5의 방법은 상술한 도 4의 단계 S440에서 양자화 행렬 내 계수 간의 차분값(scaling_list_delta_coef)을 기반으로 양자화 행렬 계수를 예측하여 부호화하는 과정일 수 있다.
도 5를 참조하면, 부호화 장치는 양자화 행렬 계수를 스캔한다(S510). 즉, 부호화 장치는 2차원 양자화 행렬 내 계수를 1차원 형태의 계수 배열로 정렬하기 위한 스캔을 수행한다.
도 6 내지 도 13은 양자화 행렬 계수 스캔 방법의 실시예를 나타낸다.
도 6은 본 발명의 실시예에 따라 4x4 및 8x8 크기의 양자화 행렬에 적용될 수 있는 대각 스캔(diagonal scan)의 일예를 나타내는 도면이다.
도 6에 도시된 바와 같이, 4x4 및 8x8 크기의 2차원 양자화 행렬 내 계수들을 대각 스캔을 사용하여 1차원 형태의 계수 배열로 정렬할 수 있다. 이때, 대각 스캔 방향은 도 6에서와 같이 좌하단에서 우상단 방향일 수 있다. 또는, 우상단에서 좌하단 방향일 수 있다. 스캔 방향이 좌하단에서 우상단 방향일 경우, 우상단 스캔(up-right scan, 또는 업-라이트 스캔)이라고 부를 수 있다. 또는, 스캔 방향이 우상단에서 좌하단 방향일 경우, 좌하단 스캔(down-left scan, 또는 다운-레프트 스캔)이라고 부를 수 있다. 도 6에 도시된 대각 스캔은 우상단 스캔의 예를 나타내고 있다.
도 7은 본 발명의 실시예에 따라 4x4 및 8x8 크기의 양자화 행렬에 적용될 수 있는 수평 스캔(horizontal scan)의 일예를 나타내는 도면이다.
도 7에 도시된 바와 같이, 4x4 및 8x8 크기의 2차원 양자화 행렬 내 계수들을 수평 스캔을 사용하여 1차원 형태의 계수 배열로 정렬할 수 있다. 수평 스캔은 2차원 양자화 행렬 내의 각 행에 대해 첫 번째 행부터 마지막 행까지 순차적으로 스캔하되, 각 행 내에서는 좌측에서 우측 방향으로 계수들을 스캔하는 방식일 수 있다.
도 8은 본 발명의 실시예에 따라 4x4 및 8x8 크기의 양자화 행렬에 적용될 수 있는 수직 스캔(vertical scan)의 일예를 나타내는 도면이다.
도 8에 도시된 바와 같이, 4x4 및 8x8 크기의 2차원 양자화 행렬 내 계수들을 수직 스캔을 사용하여 1차원 형태의 계수 배열로 정렬할 수 있다. 수직 스캔은 2차원 양자화 행렬 내의 각 열에 대해 첫 번째 열부터 마지막 열까지 순차적으로 스캔하되, 각 열 내에서는 상단에서 하단 방향으로 계수들을 스캔하는 방식일 수 있다.
도 9는 본 발명의 실시예에 따라 8x8 크기의 양자화 행렬에 적용될 수 있는 블록 기반 대각 스캔(block-based diagonal scan)의 일예를 나타내는 도면이다.
도 9에 도시된 바와 같이, 8x8 크기의 2차원 양자화 행렬 내 계수들을 4x4 크기의 블록을 기반으로 대각 스캔을 사용하여 1차원 형태의 계수 배열로 정렬할 수 있다. 이때, 각 4x4 크기의 블록 내 계수에 대해 대각 스캔을 수행하며, 또한 각 4x4 크기의 블록 간에도 대각 스캔 방향을 적용할 수 있다.
대각 스캔 방향은 도 9에서와 같이 좌하단에서 우상단 방향일 수 있다. 또는, 우상단에서 좌하단 방향일 수도 있다. 도 9에 도시된 블록 기반 대각 스캔은 4x4 크기의 블록 단위로 우상단 스캔(up-right scan)하는 방법의 예를 나타내고 있다.
도 10은 본 발명의 실시예에 따라 8x8 크기의 양자화 행렬에 적용될 수 있는 블록 기반 수평 스캔(block-based horizontal scan)의 일예를 나타내는 도면이다.
도 10에 도시된 바와 같이, 8x8 크기의 2차원 양자화 행렬 내 계수들을 4x4 크기의 블록을 기반으로 수평 스캔을 사용하여 1차원 형태의 계수 배열로 정렬할 수 있다. 이때, 각 4x4 크기의 블록 내 계수에 대해 수평 스캔을 수행하며, 또한 각 4x4 크기의 블록 간에도 수평 스캔 방향을 적용할 수 있다.
도 11은 본 발명의 실시예에 따라 8x8 크기의 양자화 행렬에 적용될 수 있는 블록 기반 수직 스캔(block-based vertical scan)의 일예를 나타내는 도면이다.
도 11에 도시된 바와 같이, 8x8 크기의 2차원 양자화 행렬 내 계수들을 4x4 크기의 블록을 기반으로 수직 스캔을 사용하여 1차원 형태의 계수 배열로 정렬할 수 있다. 이때, 각 4x4 크기의 블록 내 계수에 대해 수직 스캔을 수행하며, 또한 각 4x4 크기의 블록 간에도 수직 스캔 방향을 적용할 수 있다.
도 12는 본 발명의 실시예에 따라 8x8 크기의 양자화 행렬에 적용될 수 있는 블록 기반 수평 스캔(block-based horizontal scan)의 다른 예를 나타내는 도면이다.
도 12에 도시된 바와 같이, 8x8 크기의 2차원 양자화 행렬 내 계수들을 8x2 크기의 블록을 기반으로 수평 스캔을 사용하여 1차원 형태의 계수 배열로 정렬할 수 있다. 이때, 각 8x2 크기의 블록 내 계수에 대해 수평 스캔을 수행하며, 또한 각 8x2 크기의 블록 간에도 수평 스캔 방향을 적용할 수 있다.
도 13은 본 발명의 실시예에 따라 8x8 크기의 양자화 행렬에 적용될 수 있는 블록 기반 수직 스캔(block-based vertical scan)의 다른 예를 나타내는 도면이다.
도 13에 도시된 바와 같이, 8x8 크기의 2차원 양자화 행렬 내 계수들을 2x8 크기의 블록을 기반으로 수직 스캔을 사용하여 1차원 형태의 계수 배열로 정렬할 수 있다. 이때, 2x8 크기의 블록 내 계수에 대해 수직 스캔을 수행하며, 또한 각 2x8 크기의 블록 간에도 수직 스캔 방향을 적용할 수 있다.
한편, 블록(block)은 특정 블록 크기에서 분할된 하위 블록(sub block, 또는 부블록 또는 서브 블록)일 수 있다. 만약, 상술한 블록 기반 스캔이 사용될 경우, 특정 블록 크기 내의 서브 블록들 간에도 대각 스캔, 수직 스캔, 수평 스캔 등과 같은 스캔 방식을 이용해서 서브 블록들을 스캔할 수 있다. 예를 들어, 도 9에서와 같이 블록 기반 대각 스캔이 사용되는 경우, 8x8 크기의 블록을 4개의 4x4 크기의 서브 블록으로 분할한 뒤, 4x4 크기의 서브 블록들 간에 대각 스캔을 이용해서 스캔하며, 각 4x4 크기의 서브 블록 내의 계수들도 대각 스캔을 이용해서 스캔할 수 있다.
상술한 도 6 내지 도 13의 (a)에 도시된 스캔 방법은 4x4 변환 계수 블록을 위한 4x4 크기의 양자화 행렬에 사용될 수 있으며, 도 6 내지 도 13의 (b)에 도시된 스캔 방법은 8x8/16x16/32x32 변환 계수 블록을 위한 8x8 크기 이상의 양자화 행렬에 사용될 수 있다. 상술한 도 6 내지 도 13에 도시된 스캔 방법은 최대 8x8 크기의 양자화 행렬에 대해 적용되는 것으로 나타내었으나, 8x8보다 큰 크기의 양자화 행렬에 대해서도 동일하게 적용될 수 있다. 또한, 상술한 도 6 내지 도 13에 도시된 스캔 방법은 정방형(square) 형태의 양자화 행렬뿐만 아니라 비정방형(non-square) 형태의 양자화 행렬에도 적용될 수 있다.
다시 도 5를 참조하면, 부호화 장치는 스캔된 양자화 행렬 계수를 기반으로 양자화 행렬 계수 간의 차분값(예를 들어, scaling_list_delta_coef)을 생성한다(S520). 즉, 부호화 장치는 상술한 스캔 방법에 의해서 1차원 형태의 계수 배열 내에서 현재 양자화 행렬 계수와 이전 양자화 행렬 계수 간의 차분값(예를 들어, scaling_list_delta_coef)을 생성한다. 이때, 상기 차분값은 DPCM을 이용해서 계산된 값일 수 있다.
현재 양자화 행렬 계수는 1차원 형태의 계수 배열 상에서 현재 부호화 대상 양자화 행렬 계수일 수 있으며, 이전 양자화 행렬 계수는 1차원 형태의 계수 배열 상에서 현재 양자화 행렬 계수의 바로 이전 배열 순서에 위치하는 계수일 수 있다. 또한, 1차원 형태의 계수 배열 내 첫 번째 계수는 예측 대상이 되는 이전 양자화 행렬 계수가 없으므로, 소정의 상수 값을 이용해서 차분값을 생성할 수 있다. 소정의 상수 값은 예컨대, 1~255 사이의 값일 수 있으며, 특히 8 혹은 16일 수 있다.
부호화 장치는 현재 양자화 행렬 계수와 이전 양자화 행렬 계수 간의 차분값(예를 들어, scaling_list_delta_coef)을 부호화한다(S530).
예컨대, 부호화 장치는 상기 차분값(예를 들어, scaling_list_delta_coef)을 지수-골롬 코드로 부호화할 수 있다. 상기 차분값(예를 들어, scaling_list_delta_coef)이 부호(sign) 정보를 가지는 경우, 상기 차분값(예를 들어, scaling_list_delta_coef)은 부호를 가진 지수-골롬 코드로 부호화될 수 있다. 이때, 상기 차분값(예를 들어, scaling_list_delta_coef)은 -128~127 사이의 값으로 한정될 수 있으며, -128~127 사이의 값으로 부호화될 수 있다.
도 14는 본 발명의 실시예에 따른 양자화 행렬의 복호화 방법을 개략적으로 나타내는 순서도이다. 도 14의 방법은 상술한 도 2의 영상 복호화 장치에서 수행될 수 있다.
도 14를 참조하면, 복호화 장치는 양자화 행렬의 존재 유무에 대한 정보를 복호화할 수 있다(S1410). 예컨대, 복호화 장치는 양자화 행렬의 존재 유무를 나타내는 정보를 파라미터 세트에서 복호화할 수 있다. 이때, 파라미터 세트는 적응 파라미터 세트일 수 있다.
일예로, 복호화 장치는 부호화기로부터 전송된 비트스트림 내 양자화 행렬의 존재 유무를 나타내는 플래그(예를 들어, 표 2에 도시된 scaling_list_present_flag)를 파라미터 세트에서 복호화할 수 있다. 만일, scaling_list_present_flag 값이 0이면 양자화 행렬이 존재하지 않음을 나타내며, scaling_list_present_flag 값이 1이면 부호화된 양자화 행렬이 존재하는 것을 나타낸다. 이때, 양자화 행렬이 존재하지 않는 경우(scaling_list_present_flag=0), 모든 양자화 행렬을 기본 행렬로 결정할 수 있다.
복호화 장치는 양자화 행렬의 예측 방법에 대한 정보를 복호화할 수 있다(S1420). 예컨대, 복호화 장치는 양자화 행렬의 예측 방법에 대한 정보를 파라미터 세트에서 복호화하여, 양자화 행렬의 예측 방법의 종류에 대해 결정할 수 있다. 이때, 파라미터 세트는 적응 파라미터 세트일 수 있다.
일예로, 복호화 장치는 부호화기로부터 전송된 양자화 행렬 예측 방법에 대한 정보를 나타내는 플래그(예를 들어, 표 2에 도시된 scaling_list_pred_mode_flag)를 파라미터 세트에서 복호화할 수 있다. 만일, scaling_list_pred_mode_flag 값이 1이면, 양자화 행렬 내 계수를 예측하기 위해 양자화 행렬 계수를 지수-골롬 코드, 역 DPCM(inverse DPCM), 스캔을 이용하여 복호화할 수 있다. scaling_list_pred_mode_flag 값이 0이면, 양자화 행렬 간 예측을 위해 복호화 대상 양자화 행렬 계수 값을 참조 양자화 행렬 계수 값과 동일한 값을 가지도록 결정하거나 혹은 복호화 대상 양자화 행렬 계수 값을 기본 행렬 계수 값과 동일한 값을 가지도록 결정할 수 있다. 이때, 양자화 행렬 간 계수 값이 동일하다는 것은 특정 양자화 행렬 계수 값을 복호화 대상 양자화 행렬 계수 값으로 복사하는 양자화 행렬 예측 방법일 수 있다.
복호화 장치는 양자화 행렬의 예측 방법에 대한 정보를 기초로 양자화 행렬 간 예측을 위해 양자화 행렬 식별자를 복호화하거나 혹은 양자화 행렬 내 계수를 예측 복호화할 수 있다(S1430).
일예로, 양자화 행렬의 예측 방법이 양자화 행렬 간 예측을 위해 참조 양자화 행렬과 동일한 계수 값을 가지도록 복호화 대상 양자화 행렬을 결정한 경우(예컨대, scaling_list_pred_mode_flag=0)이면, 복호화 대상 양자화 행렬의 참조 양자화 행렬 식별자를 파라미터 세트에서 복호화할 수 있다. 이때, 파라미터 세트는 적응 파라미터 세트일 수 있다.
상기 표 2의 구문 요소 예에서와 같이, 복호화 대상 양자화 행렬의 참조 양자화 행렬 식별자를 지시하는 정보(scaling_list_pred_matrix_id_delta)를 파라미터 세트에서 복호화할 수 있다. 이때, 참조 양자화 행렬 식별자를 지시하는 scaling_list_pred_matrix_id_delta와 복호화 대상 양자화 행렬을 지시하는 matrixID를 이용하여, 복호화 대상 양자화 행렬의 참조 양자화 행렬(RefMatrixID)을 결정할 수 있다. 예컨대, 수학식 3과 같이 참조 양자화 행렬(RefMatrixID)을 결정할 수 있다.
Figure 112022001254404-pat00008
상기 수학식 3과 같은 방법으로 결정된 RefMatrixID가 지시하는 양자화 행렬을 복호화 대상 양자화 행렬의 참조 양자화 행렬로 결정하고, 복호화 대상 양자화 행렬 계수 값을 참조 양자화 행렬 계수 값과 동일하게 설정할 수 있다. 복호화 대상 양자화 행렬 계수 값을 참조 양자화 행렬 계수 값과 동일하게 설정하는 것은, RefMatrixID가 지시하는 참조 양자화 행렬 계수 값을 복호화 대상 양자화 행렬 계수 값으로 복사하는 양자화 행렬 예측 방법일 수 있다.
다른 예로, 양자화 행렬의 예측 방법이 양자화 행렬 간 예측을 위해 참조 양자화 행렬 혹은 기본 행렬과 동일한 계수 값을 가지도록 복호화 대상 양자화 행렬을 결정한 경우(예컨대, scaling_list_pred_mode_flag=0)이면, 복호화 대상 양자화 행렬의 참조 양자화 행렬 식별자와 기본 행렬 사용 여부를 지시하는 정보를 파라미터 세트에서 복호화할 수 있다. 이때, 파라미터 세트는 적응 파라미터 세트일 수 있다.
상기 표 2의 구문 요소 예에서와 같이, 복호화 대상 양자화 행렬의 참조 양자화 행렬 식별자와 기본 행렬 사용 여부를 지시하는 정보(scaling_list_pred_matrix_id_delta)를 파라미터 세트에서 복호화할 수 있다. 이때, 참조 양자화 행렬 식별자를 지시하는 scaling_list_pred_matrix_id_delta와 복호화 대상 양자화 행렬을 지시하는 matrixID를 이용하여, 복호화 대상 양자화 행렬의 참조 양자화 행렬(RefMatrixID)을 결정할 수 있다. 예컨대, 수학식 4와 같이 참조 양자화 행렬(RefMatrixID)을 결정할 수 있다.
Figure 112022001254404-pat00009
RefMatrixID 값이 matrixID 값과 동일하면, 복호화 대상 양자화 행렬 계수 값은 부호화기 및 복호화기에서 미리 정해진 기본 행렬 계수 값과 동일하게 결정된다. 이때, 기본 행렬은 sizeID와 matrixID가 지시하는 기본 행렬을 의미한다. 그리고, scaling_list_pred_matrix_id_delta 값이 0이면, RefMatrixID 값과 matrixID 값은 동일한 것을 의미한다.
RefMatrixID 값이 matrixID 값과 동일하지 않으면, RefMatrixID가 지시하는 양자화 행렬을 복호화 대상 양자화 행렬의 참조 양자화 행렬로 결정하고, 복호화 대상 양자화 행렬 계수 값을 참조 양자화 행렬 계수 값과 동일하게 설정한다. 복호화 대상 양자화 행렬 계수 값을 참조 양자화 행렬 계수 값과 동일하게 설정하는 것은, RefMatrixID가 지시하는 참조 양자화 행렬 계수 값을 복호화 대상 양자화 행렬 계수 값으로 복사하는 양자화 행렬 예측 방법일 수 있다.
또 다른 예로, 양자화 행렬의 예측 방법이 양자화 행렬 내 계수를 예측 복호화하기 위해 지수-골롬 코드, 역 DPCM, 스캔을 이용하기로 결정한 경우(예컨대, scaling_list_pred_mode_flag=1)이면, 양자화 행렬 내에서 이전에 복호화된 양자화 행렬 계수 값과 현재 복호화 대상 양자화 행렬 계수 값 간의 차분값을 파라미터 세트에서 복호화할 수 있다. 이때, 파라미터 세트는 적응 파라미터 세트일 수 있다.
*상기 표 5의 구문 요소 예에서와 같이, 복호화 대상 양자화 행렬의 크기가 16x16(sizeID=2) 혹은 32x32(sizeID=3)일 경우, DC 행렬 계수 값을 나타내는 정보(scaling_list_dc_coef_minus8)를 파라미터 세트에서 복호화할 수 있다. scaling_list_dc_coef_minus8의 값은 8비트로 표현할 수 있는 -7~247 사이의 값으로 한정될 수 있으며, 부호를 가진 지수-골롬 코드를 이용해서 -7~247 사이의 값으로 복호화할 수 있다. 이때, DC 행렬 계수 값은 차후 (scaling_list_dc_coef_minus8 + 8)의 값으로 계산되며, 상기 계산된 값은 1~255 사이의 값일 수 있다.
또는, 상기 표 5의 구문 요소 예에서와 같이, 양자화 행렬 내에서 이전에 복호화된 양자화 행렬 계수 값과 현재 복호화 대상 양자화 행렬 계수 값 간의 차분값을 나타내는 정보(scaling_list_delta_coef)를 파라미터 세트에서 복호화할 수 있다. 예컨대, 기본 행렬을 사용할 경우, scaling_list_delta_coef가 1개만 복호화될 수 있다. 또는, 4x4 크기의 양자화 행렬을 복호화할 경우, scaling_list_delta_coef는 4x4 크기의 양자화 행렬 내 계수들의 개수인 총 16개 값이 복호화될 수 있다. 또는, 8x8 크기 이상의 변환 계수 블록에 사용하는 양자화 행렬을 복호화할 경우, scaling_list_delta_coef는 8x8 크기의 양자화 행렬 내 계수들의 개수인 총 64개 값이 복호화될 수 있다. 양자화 행렬 내 계수 간의 차분값(scaling_list_delta_coef)을 이용하여 양자화 행렬 계수를 예측 복호화하는 방법은 도 17을 참조하여 상세히 후술하도록 한다.
한편, scaling_list_dc_coef_minus8 혹은 nextCoef를 계산하는데 사용되는 scaling_list_delta_coef를 이용하여 기본 행렬 사용 여부를 결정할 수 있다. 예컨대, scaling_list_dc_coef_minus8의 값이 -8로 복호화되면 복호화 대상 양자화 행렬을 기본 행렬로 결정할 수 있으며, scaling_list_delta_coef를 복호화하여 계산된 첫번 째 nextCoef 값이 0이면 복호화 대상 양자화 행렬을 기본 행렬로 결정할 수 있다.
복호화 장치는 양자화 행렬을 복원할 수 있다(S1440). 이때, 복호화 장치는 업샘플링, 인터폴레이션, DC 행렬 계수 대체, 혹은 서브샘플링 등을 이용하여 2차원 양자화 행렬로 복원할 수도 있다.
일예로, 4x4, 8x8, 16x16, 32x32 등의 정방형 변환 계수 블록에 사용되는 양자화 행렬의 경우, 정렬된 2차원 양자화 행렬을 그대로 양자화/역양자화 시 사용하거나 혹은 정렬된 2차원 양자화 행렬을 업샘플링하여 복원한 후 양자화/역양자화 시 사용할 수 있다.
4x4 크기의 변환 계수 블록의 역양자화 시에 사용되는 양자화 행렬(RQM)은 정렬된 2차원 4x4 크기의 양자화 행렬(QM)을 그대로 이용할 수 있다. 이는 수학식 5와 같이 나타낼 수 있다.
Figure 112022001254404-pat00010
8x8 크기의 변환 계수 블록의 역양자화 시에 사용되는 양자화 행렬(RQM)은 정렬된 2차원 8x8 크기의 양자화 행렬(QM)을 그대로 이용할 수 있다. 이는 수학식 6과 같이 나타낼 수 있다.
Figure 112022001254404-pat00011
16x16 크기의 변환 계수 블록의 역양자화 시에 사용되는 양자화 행렬(RQM)은 정렬된 2차원 8x8 크기의 양자화 행렬(QM)을 업샘플링하여 16x16 크기의 양자화 행렬로 복원될 수 있다. 이때, 양자화 행렬(RQM) 내 DC 위치, 즉 (0, 0) 위치에 존재하는 양자화 행렬 계수는 DC 행렬 계수 값인 (scaling_list_dc_coef_minus8 + 8)의 값으로 대체될 수 있다. 이는 수학식 7과 같이 나타낼 수 있다.
Figure 112022001254404-pat00012
32x32 크기의 변환 계수 블록의 역양자화 시에 사용되는 양자화 행렬(RQM)은 정렬된 2차원 8x8 크기의 양자화 행렬(QM)을 업샘플링하여 32x32 크기의 양자화 행렬로 복원될 수 있다. 이때, 양자화 행렬(RQM) 내 DC 위치, 즉 (0, 0) 위치에 존재하는 양자화 행렬 계수는 DC 행렬 계수 값인 (scaling_list_dc_coef_minus8 + 8)의 값으로 대체될 수 있다. 이는 수학식 8과 같이 나타낼 수 있다.
Figure 112022001254404-pat00013
양자화 행렬을 업샘플링하는 방법은 도 15에 도시된 것과 같이 수행될 수 있다. 예를 들어, 도 15에 도시된 바와 같이, 8x8 크기의 양자화 행렬을 16x16 크기의 양자화 행렬로 업샘플링할 경우, 16x16 크기의 양자화 행렬 내에서 업샘플링 되어야 하는 위치의 계수는 가장 가까운 이웃 계수로부터 복사될 수 있다. 물론, 8x8 크기의 양자화 행렬을 이용하여 32x32 크기의 양자화 행렬로 업샘플링할 경우에 대해서도 도 15에서와 같은 방법을 동일하게 적용할 수 있다.
이때, 상기와 같이 가장 가까운 이웃 계수로부터 복사하는 업샘플링 방법은 최근접 이웃 보간법(nearest neighbor interpolation) 혹은 0차 인터폴레이션(zeroth order interpolation) 방법이라고 부를 수 있다.
다른 예로, 16x4, 4x16, 32x8, 8x32 등의 비정방형 변환 계수 블록에 사용되는 양자화 행렬의 경우, 정렬된 2차원 양자화 행렬을 서브샘플링(혹은 다운샘플링)하여 복원한 후 양자화/역양자화 시 사용할 수 있다.
16x4 크기의 변환 계수 블록의 역양자화 시에 사용되는 양자화 행렬(RQM)은 16x16 크기의 양자화 행렬(QM)을 서브샘플링하여 16x4 크기의 양자화 행렬로 복원될 수 있다.
여기서, 양자화 행렬을 서브샘플링하는 방법은 도 16에 도시된 것과 같이 수행될 수 있다. 예를 들어, 도 16의 (a)에 도시된 바와 같이, 16x16 크기의 양자화 행렬을 16x4 크기의 양자화 행렬로 서브샘플링할 경우, 16x16 크기의 복원된 양자화 행렬을 y 위치, 즉 행 방향(수직 방향)에 대해 서브샘플링을 수행하여 16x4 크기의 양자화 행렬을 유도할 수 있다.
이러한 16x16 크기의 양자화 행렬을 서브샘플링하여 16x4 크기의 양자화 행렬로 복원하는 과정은 수학식 9와 같이 나타낼 수 있다.
Figure 112022001254404-pat00014
4x16 크기의 변환 계수 블록의 역양자화 시에 사용되는 양자화 행렬(RQM)은 16x16 크기의 양자화 행렬(QM)을 서브샘플링하여 4x16 크기의 양자화 행렬로 복원될 수 있다.
여기서, 양자화 행렬을 서브샘플링하는 방법은 도 16에 도시된 것과 같이 수행될 수 있다. 예를 들어, 도 16의 (b)에 도시된 바와 같이, 16x16 크기의 양자화 행렬을 4x16 크기의 양자화 행렬로 서브샘플링할 경우, 16x16 크기의 복원된 양자화 행렬을 x 위치, 즉 열 방향(수평 방향)에 대해 서브샘플링을 수행하여 4x16 크기의 양자화 행렬을 유도할 수 있다.
이러한 16x16 크기의 양자화 행렬을 서브샘플링하여 4x16 크기의 양자화 행렬로 복원하는 과정은 수학식 10과 같이 나타낼 수 있다.
Figure 112022001254404-pat00015
32x8 크기의 변환 계수 블록의 역양자화 시에 사용되는 양자화 행렬(RQM)은 32x32 크기의 양자화 행렬(QM)을 서브샘플링하여 32x8 크기의 양자화 행렬로 복원될 수 있다. 이때, 도 16의 (a)에 도시된 것과 같은 방식으로, 32x32 크기의 복원된 양자화 행렬을 y 위치, 즉 행 방향(수직 방향)에 대해 서브샘플링을 수행하여 32x8 크기의 양자화 행렬을 유도할 수 있다.
이러한 32x32 크기의 양자화 행렬을 서브샘플링하여 32x8 크기의 양자화 행렬로 복원하는 과정은 수학식 11과 같이 나타낼 수 있다.
Figure 112022001254404-pat00016
8x32 크기의 변환 계수 블록의 역양자화 시에 사용되는 양자화 행렬(RQM)은 32x32 크기의 양자화 행렬(QM)을 서브샘플링하여 8x32 크기의 양자화 행렬로 복원될 수 있다. 이때, 도 16의 (b)에 도시된 것과 같은 방식으로, 32x32 크기의 복원된 양자화 행렬을 x 위치, 즉 열 방향(수평 방향)에 대해 서브샘플링을 수행하여 8x32 크기의 양자화 행렬을 유도할 수 있다.
이러한 32x32 크기의 양자화 행렬을 서브샘플링하여 8x32 크기의 양자화 행렬로 복원하는 과정은 수학식 12와 같이 나타낼 수 있다.
Figure 112022001254404-pat00017
한편, 기본 행렬에 대해서도 업샘플링 혹은 서브샘플링을 수행하여 양자화/역양자화 시 사용할 수 있다. 예를 들어, 8x8 크기의 기본 행렬을 업샘플링하여 16x16 또는 32x32 크기의 양자화 행렬로 복원할 수 있다.
16x16 크기의 변환 계수 블록의 역양자화 시에 사용되는 기본 행렬(RQM)은 도 15에 도시된 것과 같은 방식으로, 8x8 크기의 기본 행렬(DQM)을 업샘플링하여 16x16 크기의 양자화 행렬로 복원될 수 있다. 이는 수학식 13과 같이 나타낼 수 있다.
Figure 112022001254404-pat00018
32x32 크기의 변환 계수 블록의 역양자화 시에 사용되는 기본 행렬(RQM)은 도 15에 도시된 것과 같은 방식으로, 8x8 크기의 기본 행렬(DQM)을 업샘플링하여 32x32 크기의 양자화 행렬로 복원될 수 있다. 이는 수학식 14와 같이 나타낼 수 있다.
Figure 112022001254404-pat00019
상기와 같이, 8x8 크기의 기본 행렬에 대해 업샘플링을 수행하여 16x16 혹은32x32 크기의 양자화 행렬로 복원할 경우, 부호화기 및 복호화기에 기본 행렬을 저장하기 위해 필요한 메모리 공간을 절약할 수 있다. 즉, 16x16 및/또는 32x32 크기의 기본 행렬을 저장하는 대신 8x8 크기의 기본 행렬을 메모리에 저장하면 되므로 부호화기 및 복호화기의 저장 공간을 절약할 수 있다.
상기 수학식 5 내지 수학식 14에서, x는 2차원 양자화 행렬 내 계수들의 x 좌표를 나타내는 값일 수 있고, y는 2차원 양자화 행렬 내 계수들의 y 좌표를 나타내는 값일 수 있다.
도 17은 본 발명의 실시예에 따른 양자화 행렬 계수를 예측 복호화하는 방법을 개략적으로 나타내는 순서도이다. 도 17의 방법은 상술한 도 2의 영상 복호화 장치에서 수행될 수 있다. 또한, 도 17의 방법은 상술한 도 14의 단계 S1430에서 양자화 행렬 내 계수 간의 차분값(scaling_list_delta_coef)을 기반으로 양자화 행렬 계수를 예측하여 복호화하는 과정일 수 있다.
도 17을 참조하면, 복호화 장치는 양자화 행렬 계수의 차분값(예를 들어, scaling_list_delta_coef)을 복호화한다(S1710).
예컨대, 복호화 장치는 양자화 행렬 계수의 차분값(예를 들어, scaling_list_delta_coef)을 지수-골롬 코드를 이용해서 복호화할 수 있다.
상기 차분값(예를 들어, scaling_list_delta_coef)은 -128~127 사이의 한정된 값일 수 있다. 이때, 상기 차분값(예를 들어, scaling_list_delta_coef)은 부호(sign) 정보를 가지므로, 부호를 가진 지수-골롬 코드를 이용해서 -128~127 사이의 값으로 복호화될 수 있다.
복호화 장치는 복호화된 상기 차분값(예를 들어, scaling_list_delta_coef)을 기반으로 양자화 행렬 계수를 생성한다(S1720).
이때, 복호화된 상기 차분값(예를 들어, scaling_list_delta_coef)은 복호화된 순서대로 1차원 형태의 계수 배열 혹은 2차원 형태의 행렬에 저장될 수 있다. 따라서, 복호화 장치는 1차원 형태의 계수 배열 혹은 2차원 형태의 행렬 내에서 현재 양자화 행렬 계수의 복호화된 차분값(예를 들어, scaling_list_delta_coef)과 이전 양자화 행렬 계수를 더해서 양자화 행렬 계수를 복원할 수 있다. 이때, 복원된 양자화 행렬 계수는 역 DPCM을 이용해서 계산된 값일 수 있다.
현재 양자화 행렬 계수는 복원될 1차원 형태의 양자화 배열 혹은 2차원 행렬 내에서 현재 복호화 대상 양자화 행렬 계수일 수 있으며, 이전 양자화 행렬 계수는 복원될 1차원 형태의 양자화 배열 혹은 2차원 행렬 내에서 현재 양자화 행렬 계수의 바로 이전 배열 순서 혹은 행렬 순서에 위치하는 계수일 수 있으며 복원된 값을 가질 수 있다.
또한, 양자화 행렬의 첫 번째 계수는 예측 대상이 되는 이전 양자화 행렬 계수가 없으므로, 소정의 상수 값을 이용해서 복원될 수 있다. 소정의 상수 값은 예컨대, 1~255 사이의 값일 수 있으며, 특히 8 혹은 16일 수 있다. 따라서, 복원된 양자화 행렬 계수는 1~255 사이의 값일 수 있다.
예를 들어, 표 5에서와 같이, 복호화 장치는 복호화된 차분값(예를 들어, scaling_list_delta_coef)과 이전 양자화 행렬 계수를 더해서 현재 양자화 행렬 계수인 nextCoef 혹은 scalingList[i]를 복원할 수 있다. 여기서, i는 1차원 형태의 양자화 배열 내에서 위치(순서)를 지시하기 위한 인덱스 값일 수 있다.
복호화 장치는 복원된 양자화 행렬 계수를 스캔하여 양자화 행렬로 정렬한다(S1730).
예를 들어, 상술한 도 6 내지 도 13에서 도시된 바와 같은 대각 스캔, 수평 스캔, 수직 스캔, 블록 기반 대각 스캔, 블록 기반 수평 스캔, 블록 기반 수직 스캔 등을 사용할 수 있다. 상기의 스캔 방법에 대해서는 도 6 내지 도 13을 참조하여 전술하였으므로 상세한 설명은 생략하도록 한다. 여기서, 복호화 장치에서는 부호화 장치의 양자화 행렬 스캔과 반대로 복원된 양자화 행렬 계수를 스캔하여 2차원 양자화 행렬로 정렬할 수 있다. 이때, 복원된 양자화 행렬 계수는 1차원 배열에 존재하는 상태에서 2차원 양자화 행렬로 정렬될 수 있다.
일예로, 복호화 장치에서는 부호화 장치로부터 시그널링된 스캔 방법을 이용하여 양자화 행렬 계수를 스캔할 수 있다. 이때, 부호화 장치에서는 상술한 도 6 내지 도 13에서 도시된 바와 같은 스캔 방법 중 하나를 이용하여 양자화 행렬 계수를 스캔한 다음 이 정보를 시그널링할 수 있다. 또는, 복호화 장치에서는 소정의 조건에 따라 양자화 행렬 계수의 스캔 방법을 결정할 수도 있다.
한편, 상술한 본 발명의 실시예에 따른 양자화 행렬의 복호화 과정에서는 지그재그 스캔의 초기화 과정이 없어질 수 있다.
예를 들어, 8x8, 16x16, 32x32 크기의 변환 계수 블록에 사용될 수 있는 부호화기와 복호화기에서 미리 정의된 8x8 크기의 기본 행렬에 상술한 본 발명의 일 실시예에 따른 블록 기반 대각 스캔 방법을 적용하게 되면, 표 6과 같은 배열 색인에 따라 양자화 행렬 계수가 재정렬될 수 있다. 표 6은 변환 계수 블록의 크기, 예측 모드, 색 성분에 따른 8x8 크기의 기본 행렬의 계수 값을 나타낸다.
Figure 112022001254404-pat00020
표 6을 참조하면, i는 스캔 순서를 나타내며, ScalingList[sizeID][matrixID][i]는 sizeID, matrixID, i가 지시하는 기본 행렬 계수를 나타낸다. sizeID는 상술한 표 3에서와 같이 변환 계수 블록의 크기 혹은 양자화 행렬의 크기를 지시하는 값일 수 있고, matrixID는 상술한 표 4에서와 같이 예측 모드 및 색 성분에 따른 양자화 행렬 식별자를 지시하는 값일 수 있다.
이하에서는 본 발명의 일 실시예에 따른 블록 기반 대각 스캔을 적용할 경우, ScalingList[sizeID][matrixID][i]를 이용하여 4x4, 8x8, 16x16, 32x32 크기의 양자화 행렬을 복원하는 방법에 대해 설명한다. 이때, 복원된 양자화 행렬은 ScalingFactor[sizeId][MatrixID][x][y]로 나타낼 수 있으며, sizeID와 MatrixID에 따른 ScalingFactor의 배열을 의미할 수 있다.
4x4 크기의 양자화 행렬의 원소 ScalingFactor[0][MatrixID][0][]는 수학식 15와 같이 유도될 수 있다.
Figure 112022001254404-pat00021
여기서, x=DiagScan[i][0]이고, y=DiagScan[i][1]일 수 있다. 이때, DiagScan[][]은 상술한 도 9의 (a)에 도시된 것과 같은 대각 스캔 방법일 수 있으며, 우상단 대각 스캐닝 배열 초기화 과정(Up-right diagonal scanning array initialization process)에 블록 너비(blkWidth) 값으로 4와 블록 높이(blkHeight) 값으로 4를 입력하여 생성된 배열일 수 있다.
8x8 크기의 양자화 행렬의 원소 ScalingFactor[1][MatrixID][0][]는 수학식 16과 같이 유도될 수 있다.
Figure 112022001254404-pat00022
여기서, x=DiagScan[i][0]이고, y=DiagScan[i][1]일 수 있다. 이때, DiagScan[][]은 상술한 도 9의 (b)에 도시된 것과 같은 블록 기반 대각 스캔 방법일 수 있으며, 우상단 대각 스캐닝 배열 초기화 과정(Up-right diagonal scanning array initialization process)에 블록 너비(blkWidth) 값으로 8과 블록 높이(blkHeight) 값으로 8을 입력하여 생성된 배열일 수 있다.
16x16 크기의 양자화 행렬의 원소 ScalingFactor[2][MatrixID][0][]는 수학식 17과 같이 유도될 수 있다. 그리고, 16x16 크기의 양자화 행렬 내 (0,0) 위치에 존재하는 양자화 행렬의 원소는 수학식 18과 같이 유도될 수 있다.
Figure 112022001254404-pat00023
여기서, x=DiagScan[i][0]이고, y=DiagScan[i][1]일 수 있다. 이때, DiagScan[][]은 상술한 도 9의 (b)에 도시된 것과 같은 블록 기반 대각 스캔 방법일 수 있으며, 우상단 대각 스캐닝 배열 초기화 과정(Up-right diagonal scanning array initialization process)에 블록 너비(blkWidth) 값으로 8과 블록 높이(blkHeight) 값으로 8을 입력하여 생성된 배열일 수 있다.
Figure 112022001254404-pat00024
32x32 크기의 양자화 행렬의 원소 ScalingFactor[3][MatrixID][0][]는 수학식 19와 같이 유도될 수 있다. 그리고, 32x32 크기의 양자화 행렬 내 (0,0) 위치에 존재하는 양자화 행렬의 원소는 수학식 20과 같이 유도될 수 있다.
Figure 112022001254404-pat00025
여기서, x=DiagScan[i][0]이고, y=DiagScan[i][1]일 수 있다. 이때, DiagScan[][]은 상술한 도 9의 (b)에 도시된 것과 같은 블록 기반 대각 스캔 방법일 수 있으며, 우상단 대각 스캐닝 배열 초기화 과정(Up-right diagonal scanning array initialization process)에 블록 너비(blkWidth) 값으로 8과 블록 높이(blkHeight) 값으로 8을 입력하여 생성된 배열일 수 있다.
Figure 112022001254404-pat00026
상술한 우상단 대각 스캐닝 배열 초기화 과정(Up-right diagonal scanning array initialization process)은 아래와 같이 수행될 수 있다.
여기서, 입력은 블록 너비(blkWidth)와 블록 높이(blkHeight)일 수 있다. 출력은 배열 DiagScan[sPos][sComp]일 수 있다. 배열 색인 sPos는 0부터 (blkWidthSize　*　blkHeightSize)　- 1 사이의 값일 수 있으며, 스캔 위치를 나타낸다. 예컨대, 배열 색인 sComp이 0이면 수평 성분을 나타내며, 배열 색인 sComp이 1이면 수직 성분을 나타낸다. 블록 너비(blkWidth)와 블록 높이(blkHeight)의 값에 따라서 배열 DiagScan[sPos][sComp]은 아래와 같이 유도될 수 있다.
블록 너비(blkWidth)가 8보다 작고 블록 높이(blkHeight)가 8보다 작으면 표 7과 같이 우상단 대각 스캐닝 배열 초기화 과정이 수행되어 배열 DiagScan[sPos][sComp]이 유도될 수 있다. 그렇지 않으면(블록 너비(blkWidth)가 4보다 크거나 블록 높이(blkHeight)가 4보다 클 때), 표 8과 같이 우상단 대각 스캐닝 배열 초기화 과정이 수행되어 배열 DiagScan[sPos][sComp]이 유도될 수 있다.
Figure 112022001254404-pat00027
Figure 112022001254404-pat00028
이상 본 발명의 일 실시예에 따른 블록 기반 대각 스캔을 적용할 경우, 4x4, 8x8, 16x16, 32x32 크기의 양자화 행렬을 복원하는 방법에 대해 설명하였지만, 본 발명은 블록 기반 대각 스캔에만 한정되는 것은 아니며, 상술한 도 6 내지 도 13에서 도시된 바와 같은 대각 스캔, 수평 스캔, 수직 스캔, 블록 기반 대각 스캔, 블록 기반 수평 스캔, 블록 기반 수직 스캔 등을 사용하여 4x4, 8x8, 16x16, 32x32 크기의 양자화 행렬을 복원할 수 있다. 또한, 이러한 방법으로 복원된 양자화 행렬은 부호화기에서 양자화/역양자화 시에 사용되며, 복호화기에서 역양자화 시에 사용된다.
상술한 실시예들에 따르면, 부호화기에서 양자화 시 변환 계수에 양자화 행렬을 사용하여 변환 계수 레벨을 생성하며, 복호화기에서 역양자화 시 변환 계수 레벨에 양자화 행렬을 사용하여 변환 계수를 생성한다. 하지만, 본 발명에서는 변환 계수와 변환 계수 레벨을 모두 변환 계수로 통칭하여 표현하였다.
상술한 실시예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 특허청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (3)

  1. 대상 블록에 대한 변환을 수행하는 단계;
    상기 변환된 대상 블록의 양자화에 적용되는 양자화 행렬을 결정하는 단계;
    상기 양자화 행렬을 기반으로 상기 변환된 대상 블록에 대한 양자화를 수행하는 단계; 및
    상기 양자화 행렬에 대한 정보를 부호화하는 단계를 포함하며,
    상기 양자화 행렬에 대한 정보는 양자화 행렬의 예측 방법을 지시하는 정보, 양자화 행렬의 참조 양자화 행렬 식별자 정보, 양자화 행렬의 DC 값을 나타내는 정보 및 양자화 행렬 계수의 차분값을 나타내는 정보 중 적어도 하나를 포함하고,
    상기 변환된 대상 블록의 양자화에 적용되는 양자화 행렬을 결정하는 단계는,
    정사각형 블록에 대한 양자화 행렬을 결정하는 단계; 및
    상기 대상 블록이 비정사각형일 때, 상기 정사각형 블록에 대한 양자화 행렬로부터, 상기 비정사각형인 대상 블록에 대한 양자화 행렬을 도출하는 단계를 포함하고,
    상기 양자화 행렬에 대한 정보를 부호화하는 단계는,
    상기 정사각형 블록에 대한 양자화 행렬에 대한 대각 스캔을 수행함으로써, 양자화 행렬 계수를 도출하는 단계; 및
    상기 도출된 양자화 행렬 계수로부터 상기 양자화 행렬에 대한 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  2. 양자화 행렬에 대한 정보를 복호화하는 단계;
    상기 양자화 행렬에 대한 정보를 기초로 양자화 행렬을 복원하는 단계;
    상기 복원된 양자화 행렬을 기반으로 대상 블록에 대한 역양자화를 수행하는 단계; 및
    상기 역양자화된 대상 블록에 대한 역변환을 수행하는 단계를 포함하며,
    상기 양자화 행렬에 대한 정보는 양자화 행렬의 예측 방법을 지시하는 정보, 양자화 행렬의 참조 양자화 행렬 식별자 정보, 양자화 행렬의 DC 값을 나타내는 정보 및 양자화 행렬 계수의 차분값을 나타내는 정보 중 적어도 하나를 포함하고,
    상기 양자화 행렬을 복원하는 단계는,
    상기 양자화 행렬 계수의 차분값을 나타내는 정보를 이용하여 양자화 행렬 계수를 도출하는 단계;
    상기 양자화 행렬 계수들에 대한 대각 스캔을 수행함으로써, 정사각형 블록에 대한 양자화 행렬을 복원하는 단계; 및
    상기 대상 블록이 비정사각형일 때, 상기 정사각형 블록에 대한 양자화 행렬로부터, 상기 비정사각형인 대상 블록에 대한 양자화 행렬을 도출하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  3. 영상 부호화 방법에 의해 생성된 비트스트림을 저장하는 컴퓨터 판독가능한 기록매체로서,
    상기 영상 부호화 방법은,
    대상 블록에 대한 변환을 수행하는 단계;
    상기 변환된 대상 블록의 양자화에 적용되는 양자화 행렬을 결정하는 단계;
    상기 양자화 행렬을 기반으로 상기 변환된 대상 블록에 대한 양자화를 수행하는 단계; 및
    상기 양자화 행렬에 대한 정보를 부호화하는 단계를 포함하며,
    상기 양자화 행렬에 대한 정보는 양자화 행렬의 예측 방법을 지시하는 정보, 양자화 행렬의 참조 양자화 행렬 식별자 정보, 양자화 행렬의 DC 값을 나타내는 정보 및 양자화 행렬 계수의 차분값을 나타내는 정보 중 적어도 하나를 포함하고,
    상기 변환된 대상 블록의 양자화에 적용되는 양자화 행렬을 결정하는 단계는,
    정사각형 블록에 대한 양자화 행렬을 결정하는 단계; 및
    상기 대상 블록이 비정사각형일 때, 상기 정사각형 블록에 대한 양자화 행렬로부터, 상기 비정사각형인 대상 블록에 대한 양자화 행렬을 도출하는 단계를 포함하고,
    상기 양자화 행렬에 대한 정보를 부호화하는 단계는,
    상기 정사각형 블록에 대한 양자화 행렬에 대한 대각 스캔을 수행함으로써, 양자화 행렬 계수를 도출하는 단계; 및
    상기 도출된 양자화 행렬 계수로부터 상기 양자화 행렬에 대한 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 판독가능한 기록매체.
KR1020220001418A 2012-04-16 2022-01-05 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체 KR102462009B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220140749A KR102583640B1 (ko) 2012-04-16 2022-10-27 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20120039270 2012-04-16
KR1020120039270 2012-04-16
KR1020200111067A KR102349176B1 (ko) 2012-04-16 2020-09-01 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020200111067A Division KR102349176B1 (ko) 2012-04-16 2020-09-01 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220140749A Division KR102583640B1 (ko) 2012-04-16 2022-10-27 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체

Publications (2)

Publication Number Publication Date
KR20220006134A KR20220006134A (ko) 2022-01-14
KR102462009B1 true KR102462009B1 (ko) 2022-11-03

Family

ID=49635805

Family Applications (14)

Application Number Title Priority Date Filing Date
KR1020130041807A KR101527445B1 (ko) 2012-04-16 2013-04-16 영상 부호화/복호화 방법 및 장치
KR1020130109761A KR101691978B1 (ko) 2012-04-16 2013-09-12 영상 부호화/복호화 방법 및 장치
KR1020130109763A KR101726680B1 (ko) 2012-04-16 2013-09-12 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020130109762A KR101710994B1 (ko) 2012-04-16 2013-09-12 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020170045145A KR101868122B1 (ko) 2012-04-16 2017-04-07 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020180066369A KR101952182B1 (ko) 2012-04-16 2018-06-08 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020180066370A KR101952183B1 (ko) 2012-04-16 2018-06-08 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020180066372A KR101979681B1 (ko) 2012-04-16 2018-06-08 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020180066371A KR101952184B1 (ko) 2012-04-16 2018-06-08 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020190055455A KR102152975B1 (ko) 2012-04-16 2019-05-13 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020200111067A KR102349176B1 (ko) 2012-04-16 2020-09-01 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020220001418A KR102462009B1 (ko) 2012-04-16 2022-01-05 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020220140749A KR102583640B1 (ko) 2012-04-16 2022-10-27 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020230123713A KR20230141670A (ko) 2012-04-16 2023-09-18 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체

Family Applications Before (11)

Application Number Title Priority Date Filing Date
KR1020130041807A KR101527445B1 (ko) 2012-04-16 2013-04-16 영상 부호화/복호화 방법 및 장치
KR1020130109761A KR101691978B1 (ko) 2012-04-16 2013-09-12 영상 부호화/복호화 방법 및 장치
KR1020130109763A KR101726680B1 (ko) 2012-04-16 2013-09-12 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020130109762A KR101710994B1 (ko) 2012-04-16 2013-09-12 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020170045145A KR101868122B1 (ko) 2012-04-16 2017-04-07 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020180066369A KR101952182B1 (ko) 2012-04-16 2018-06-08 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020180066370A KR101952183B1 (ko) 2012-04-16 2018-06-08 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020180066372A KR101979681B1 (ko) 2012-04-16 2018-06-08 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020180066371A KR101952184B1 (ko) 2012-04-16 2018-06-08 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020190055455A KR102152975B1 (ko) 2012-04-16 2019-05-13 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020200111067A KR102349176B1 (ko) 2012-04-16 2020-09-01 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020220140749A KR102583640B1 (ko) 2012-04-16 2022-10-27 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020230123713A KR20230141670A (ko) 2012-04-16 2023-09-18 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체

Country Status (10)

Country Link
US (9) US9571841B2 (ko)
EP (7) EP3343920B1 (ko)
JP (1) JP6140269B2 (ko)
KR (14) KR101527445B1 (ko)
CN (6) CN104488273A (ko)
BR (5) BR122021002351B1 (ko)
ES (3) ES2837009T3 (ko)
PL (4) PL3346706T3 (ko)
PT (1) PT2840791T (ko)
WO (1) WO2013157825A1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10277915B2 (en) * 2011-11-07 2019-04-30 Qualcomm Incorporated Signaling quantization matrices for video coding
JP6312879B2 (ja) * 2011-11-07 2018-04-18 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP6120490B2 (ja) * 2011-11-07 2017-04-26 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP2015002462A (ja) * 2013-06-17 2015-01-05 ソニー株式会社 画像圧縮回路、画像圧縮方法、および伝送システム
US10863188B2 (en) * 2014-09-19 2020-12-08 Futurewei Technologies, Inc. Method and apparatus for non-uniform mapping for quantization matrix coefficients between different sizes of quantization matrices in image/video coding
TWI561060B (en) * 2015-01-15 2016-12-01 Mstar Semiconductor Inc Signal processing apparatus and signal processing method including quantization or inverse-quantization process
US9780891B2 (en) * 2016-03-03 2017-10-03 Electronics And Telecommunications Research Institute Method and device for calibrating IQ imbalance and DC offset of RF tranceiver
CN116233457A (zh) 2018-03-30 2023-06-06 松下电器（美国）知识产权公司 编码装置、解码装置以及存储介质
WO2020003740A1 (ja) * 2018-06-29 2020-01-02 キヤノン株式会社 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム
WO2020084929A1 (ja) * 2018-10-23 2020-04-30 日本電気株式会社 映像符号化又は復号装置、映像符号化又は復号方法、プログラム、及び記録媒体
JP2020098984A (ja) * 2018-12-17 2020-06-25 キヤノン株式会社 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム
JP2020098983A (ja) * 2018-12-17 2020-06-25 キヤノン株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法
CN113228651A (zh) * 2018-12-26 2021-08-06 韩国电子通信研究院 量化矩阵编码/解码方法和装置以及存储比特流的记录介质
US11570439B2 (en) * 2019-05-15 2023-01-31 Hyundai Motor Company Inverse quantization device and method used in video decoding device
WO2020256391A1 (ko) * 2019-06-18 2020-12-24 엘지전자 주식회사 영상 디코딩 방법 및 그 장치
US20230084787A1 (en) * 2019-08-14 2023-03-16 Interdigital Vc Holdings France, Sas Quantization matrix prediction for video encoding and decoding
CN114342398A (zh) * 2019-08-20 2022-04-12 北京字节跳动网络技术有限公司 默认缩放矩阵和用户定义缩放矩阵的使用
US20220345694A1 (en) * 2019-09-23 2022-10-27 Lg Electronics Inc. Image encoding/decoding method and apparatus using quantization matrix, and method for transmitting bitstream
US11575896B2 (en) * 2019-12-16 2023-02-07 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
US11451779B2 (en) 2020-03-05 2022-09-20 Qualcomm Incorporated Scaling list signalling for video coding
WO2023009608A1 (en) * 2021-07-27 2023-02-02 Beijing Dajia Internet Information Technology Co., Ltd. Coding enhancement in cross-component sample adaptive offset

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004222288A (ja) 2003-01-14 2004-08-05 Samsung Electronics Co Ltd 動映像符号化及び復号化方法、並びにその装置
KR101024282B1 (ko) 2009-10-30 2011-03-29 중앙대학교 산학협력단 압축 영역에서의 영상 복원 장치 및 방법

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3855286B2 (ja) 1995-10-26 2006-12-06 ソニー株式会社 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録媒体
KR100210384B1 (ko) 1996-05-14 1999-07-15 전주범 양자화기
US6999511B1 (en) 1999-02-23 2006-02-14 International Business Machines Corporation Dynamically switching quant matrix tables within an MPEG-2 encoder
US7738554B2 (en) 2003-07-18 2010-06-15 Microsoft Corporation DC coefficient signaling at small quantization step sizes
US7912122B2 (en) * 2004-01-20 2011-03-22 Panasonic Corporation Picture coding method, picture decoding method, picture coding apparatus, picture decoding apparatus
WO2005076614A1 (en) 2004-01-30 2005-08-18 Matsushita Electric Industrial Co., Ltd. Moving picture coding method and moving picture decoding method
EP1675402A1 (en) 2004-12-22 2006-06-28 Thomson Licensing Optimisation of a quantisation matrix for image and video coding
JP4146444B2 (ja) 2005-03-16 2008-09-10 株式会社東芝 動画像符号化の方法及び装置
KR100677616B1 (ko) * 2005-09-28 2007-02-02 삼성전자주식회사 동영상 부호화 및 복호화 방법과 그 장치
CN101083769B (zh) * 2006-06-02 2011-05-25 三星电子株式会社 处理n比特视频数据的编/解码器和编/解码方法
CN100551072C (zh) * 2006-06-05 2009-10-14 华为技术有限公司 一种编码中量化矩阵选择方法、装置及编解码方法及系统
JP2008003520A (ja) 2006-06-26 2008-01-10 Toshiba Corp フォトマスク及び半導体装置の製造方法
KR100694166B1 (ko) * 2006-11-28 2007-03-12 삼성전자주식회사 동영상 부호화 방법과 그 장치
JP4569840B2 (ja) 2007-09-12 2010-10-27 ソニー株式会社 画像符号化装置、画像符号化方法
CN101453643B (zh) * 2007-12-04 2011-05-18 华为技术有限公司 量化模式、图像编码、解码方法、编码器、解码器及系统
KR100992675B1 (ko) * 2007-12-21 2010-11-05 한국전자통신연구원 오디오 부호화 및 복호화 방법과 그 장치
BRPI1015982A2 (pt) * 2009-06-19 2016-04-19 Mitsubishi Eletric Corp dispositivos e métodos de codificação de imagem e de decodificação de imagem.
EP2464013A4 (en) * 2009-08-06 2012-07-18 Panasonic Corp ENCODING METHOD, DECODING METHOD, ENCODING DEVICE, AND DECODING DEVICE
AU2010312983B2 (en) * 2009-10-30 2015-10-29 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus, program, and integrated circuit
KR20110065092A (ko) * 2009-12-09 2011-06-15 삼성전자주식회사 회전 변환을 이용한 영상 부호화, 복호화 방법 및 장치
MX342691B (es) 2010-06-04 2016-10-10 Sony Corp Dispositivo y metodo de procesamiento de imagenes.
EP2405656B1 (en) 2010-07-06 2015-09-02 BlackBerry Limited Methods and devices for data compression using adaptive reconstruction levels
US9167252B2 (en) * 2010-12-01 2015-10-20 Texas Instruments Incorporated Quantization matrix compression in video coding
US8953690B2 (en) * 2011-02-16 2015-02-10 Google Technology Holdings LLC Method and system for processing video data
JP6120490B2 (ja) * 2011-11-07 2017-04-26 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004222288A (ja) 2003-01-14 2004-08-05 Samsung Electronics Co Ltd 動映像符号化及び復号化方法、並びにその装置
KR101024282B1 (ko) 2009-10-30 2011-03-29 중앙대학교 산학협력단 압축 영역에서의 영상 복원 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
M. Budagavi, "Delta QP signaling at sub-LCU level",20-28 January,2011, JCTVC-D038.

Also Published As

Publication number Publication date
BR122021010845B1 (pt) 2023-03-14
KR102152975B1 (ko) 2020-09-07
US20150078442A1 (en) 2015-03-19
EP3343920B1 (en) 2019-06-26
CN111064966A (zh) 2020-04-24
KR101952184B1 (ko) 2019-02-26
EP3343920A1 (en) 2018-07-04
BR122020023544B1 (pt) 2023-03-14
US10448018B2 (en) 2019-10-15
PL3346707T3 (pl) 2021-05-04
US10477213B2 (en) 2019-11-12
BR122021002351B1 (pt) 2023-03-14
US10455232B2 (en) 2019-10-22
PT2840791T (pt) 2018-04-16
KR101979681B1 (ko) 2019-05-17
EP3346708A1 (en) 2018-07-11
KR101691978B1 (ko) 2017-01-02
KR101952182B1 (ko) 2019-02-26
ES2664693T3 (es) 2018-04-23
KR101527445B1 (ko) 2015-06-11
US10455233B2 (en) 2019-10-22
CN111147852A (zh) 2020-05-12
US10455234B2 (en) 2019-10-22
CN111064966B (zh) 2022-05-31
CN111131838B (zh) 2022-05-31
KR102349176B1 (ko) 2022-01-10
KR20130116844A (ko) 2013-10-24
KR101952183B1 (ko) 2019-02-26
KR20180068921A (ko) 2018-06-22
ES2837009T3 (es) 2021-06-29
BR112014022670B1 (pt) 2023-03-28
KR101710994B1 (ko) 2017-02-28
US20180324431A1 (en) 2018-11-08
CN104488273A (zh) 2015-04-01
CN111147851B (zh) 2022-09-13
US9571841B2 (en) 2017-02-14
EP3346706A1 (en) 2018-07-11
CN111131838A (zh) 2020-05-08
JP2015516754A (ja) 2015-06-11
CN111147852B (zh) 2022-05-31
KR20130116831A (ko) 2013-10-24
KR102583640B1 (ko) 2023-09-27
KR101726680B1 (ko) 2017-04-13
EP2840791A1 (en) 2015-02-25
EP3346707B1 (en) 2020-11-11
PL3346706T3 (pl) 2021-04-06
PL3346705T3 (pl) 2021-04-06
KR20180068918A (ko) 2018-06-22
US10057579B2 (en) 2018-08-21
KR20130116845A (ko) 2013-10-24
US11553183B2 (en) 2023-01-10
KR20220151140A (ko) 2022-11-14
US20200045315A1 (en) 2020-02-06
JP6140269B2 (ja) 2017-05-31
EP3346705B1 (en) 2020-10-28
ES2743227T3 (es) 2020-02-18
EP3346708B1 (en) 2020-11-25
US10924742B2 (en) 2021-02-16
EP2840791B1 (en) 2018-03-28
US20180324433A1 (en) 2018-11-08
US20180324430A1 (en) 2018-11-08
EP3346706B1 (en) 2020-10-28
US20180324429A1 (en) 2018-11-08
US20210136383A1 (en) 2021-05-06
KR20130116843A (ko) 2013-10-24
KR20170042526A (ko) 2017-04-19
WO2013157825A1 (ko) 2013-10-24
CN111131820A (zh) 2020-05-08
KR20220006134A (ko) 2022-01-14
PL3346708T3 (pl) 2021-03-08
US20180324432A1 (en) 2018-11-08
KR20180068919A (ko) 2018-06-22
US20170041610A1 (en) 2017-02-09
EP3346707A1 (en) 2018-07-11
KR20230141670A (ko) 2023-10-10
BR112014022670A2 (ko) 2017-06-20
EP3346705A1 (en) 2018-07-11
CN111147851A (zh) 2020-05-12
CN111131820B (zh) 2022-05-31
KR20180068920A (ko) 2018-06-22
KR20190053827A (ko) 2019-05-20
EP3787292A1 (en) 2021-03-03
KR20200105787A (ko) 2020-09-09
KR101868122B1 (ko) 2018-06-18
BR122021005953B1 (pt) 2023-03-14
EP2840791A4 (en) 2015-12-23

Similar Documents

Publication Publication Date Title
KR102462009B1 (ko) 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR20230035009A (ko) 양자화 행렬의 부호화 방법 및 복호화 방법과 이를 이용하는 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right