KR20160099106A - 부호화 장치, 복호화 장치, 부호화 방법, 복호화 방법, 및 컴퓨터 판독가능 기억 매체 - Google Patents

부호화 장치, 복호화 장치, 부호화 방법, 복호화 방법, 및 컴퓨터 판독가능 기억 매체 Download PDF

Info

Publication number
KR20160099106A
KR20160099106A KR1020167020968A KR20167020968A KR20160099106A KR 20160099106 A KR20160099106 A KR 20160099106A KR 1020167020968 A KR1020167020968 A KR 1020167020968A KR 20167020968 A KR20167020968 A KR 20167020968A KR 20160099106 A KR20160099106 A KR 20160099106A
Authority
KR
South Korea
Prior art keywords
quantization matrix
elements
difference value
quantization
matrix
Prior art date
Application number
KR1020167020968A
Other languages
English (en)
Other versions
KR101759461B1 (ko
Inventor
마사토 시마
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20160099106A publication Critical patent/KR20160099106A/ko
Application granted granted Critical
Publication of KR101759461B1 publication Critical patent/KR101759461B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H04N19/00042—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission

Abstract

본 발명의 화상 부호화 장치는, 입력 화상을 복수의 블록으로 분할하도록 구성되는 블록 분할 유닛과, 부호화된 화소에 기초하여 예측을 행하여 예측 오차를 생성하도록 구성되는 예측 유닛과, 상기 예측 오차에 직교 변환을 행하여 변환 계수를 생성하도록 구성되는 변환 유닛과, 상기 변환 계수를 양자화하는 데에 이용되는 양자화 매트릭스를 생성하도록 구성되는 양자화 매트릭스 생성 유닛과, 상기 양자화 매트릭스를 주사하여 차분값을 산출하고, 상기 차분값을 부호화하도록 구성되는 양자화 매트릭스 부호화 유닛과, 상기 양자화 매트릭스를 이용하여 생성된 상기 변환 계수를 양자화함으로써 양자화 계수를 생성하도록 구성되는 양자화 유닛과, 상기 양자화 계수를 부호화하도록 구성되는 계수 부호화 유닛을 포함하고, 상기 양자화 매트릭스 부호화 유닛은 상기 양자화 매트릭스의 계수를 단방향으로 주사하여 상기 차분값을 산출하도록 구성된다.

Description

부호화 장치, 복호화 장치, 부호화 방법, 복호화 방법, 및 컴퓨터 판독가능 기억 매체{CODING APPARATUS, DECODING APPARATUS, CODING METHOD, DECODING METHOD, AND COMPUTER-READABLE STORAGE MEDIUM}
본 발명은 화상 부호화 장치, 화상 부호화 방법, 화상 복호화 장치, 화상 복호화 방법 및 기억 매체에 관한 것이다. 특히, 본 발명은 화상 중의 양자화 매트릭스의 부호화/복호화 방법에 관한 것이다.
동화상의 압축 기록 표준으로서, H.264/MPEG-4 AVC(이하, H.264)이 알려져 있다. (ITU-T H.264(03/2010) 범용 오디오 비주얼 서비스를 위한 고급 영상 부호화(Advanced video coding for generic audiovisual services)) H.264에서는, 스케일링 리스트 정보를 부호화함으로써, 양자화 매트릭스의 각 요소를 임의의 값으로 변경할 수 있다. H.264의 7.3.2.1.1.1절의 기재에 따르면, 어떤 요소와 그 이전 요소 간의 차분값인 델타 스케일을 가산함으로써, 양자화 매트릭스의 각 요소는 임의의 값을 취할 수 있다.
H.264에서는, 2차원의 양자화 매트릭스의 좌측 상부 코너의 저주파 성분에 대응하는 요소로부터, 우측 하부 코너의 고주파 성분에 대응하는 요소로의 방향으로 양자화 매트릭스의 요소를 주사한다. 예를 들면, 도 6a에 도시되는 2차원의 양자화 매트릭스를 부호화하는 경우, 도 13a에 도시되는 지그재그 스캔이라고 불리는 주사 방법을 이용한다. 이 처리에 따르면, 양자화 매트릭스는 도 6b에 도시되는 1차원의 행렬로 배치한다. 그리고, 행렬 내의 부호화할 요소와 직전의 요소 사이의 차분을 산출하고, 도 6d에 도시되는 차분값의 행렬을 얻는다. 또한, 상기 차분값은 도 5a에 도시되는 사인드(signed) Exp-Golomb 부호화라고 불리는 방식을 이용해서 델타 스케일로서 부호화한다. 예를 들면, 매트릭스 내의 요소와 그 직전의 요소의 차분이 0이면 이진 부호 1을 부호화한다. 차분이 -2이면 이진 부호 00101을 부호화한다.
그러나, H.264에서 이용되는 지그재그 스캔에서는, 대각선 방향으로 양자화 매트릭스의 각 요소를 주사하기 때문에, 양자화 매트릭스의 특성에 따라 양자화 매트릭스의 부호량이 많아진다.
본 발명은 양자화 매트릭스의 부호화에 수평/수직 스캔과 같은 단방향 주사 방법을 도입함으로써, 고효율의 양자화 매트릭스 부호화/복호화를 실현하는 것에 관한 것이다.
본 발명의 일 양태에 따르면, 화성 부호화 장치는, 입력 화상을 복수의 블록으로 분할하도록 구성되는 블록 분할 수단과, 부호화된 화소에 기초하여 예측을 행하여 예측 오차를 생성하도록 구성되는 예측 수단과, 상기 예측 오차에 직교 변환을 행하여 변환 계수를 생성하도록 구성되는 변환 수단과, 상기 변환 계수를 양자화하는 데에 이용되는 양자화 매트릭스를 생성하도록 구성되는 양자화 매트릭스 생성 수단과, 상기 양자화 매트릭스를 주사하여 차분값을 산출하고, 상기 차분값을 부호화하도록 구성되는 양자화 매트릭스 부호화 수단과, 상기 양자화 매트릭스를 이용해서 상기 생성된 변환 계수를 양자화해서 양자화 계수를 생성하도록 구성되는 양자화 수단과, 상기 양자화 계수를 부호화하도록 구성되는 계수 부호화 수단을 포함하고, 상기 양자화 매트릭스 부호화 수단은 상기 양자화 매트릭스의 계수를 단방향으로 주사하여 상기 차분값을 산출하도록 구성된다.
본 발명의 예시적인 실시형태에 따르면, 양자화 매트릭스의 부호화 시에 필요한 부호량을 감소시키고, 고효율의 부호화/복호화가 가능하게 된다.
본 발명의 추가적인 특징 및 양태가 첨부된 도면을 참조하여 아래의 예시적인 실시형태의 상세한 설명으로부터 명확해질 것이다.
본 명세서에 포함되어 그 일부를 이루는 첨부된 도면은 본 발명의 예시적인 실시형태, 특징 및 양태를 설명한다.
도 1은 본 발명의 제1 실시형태, 제5 실시형태 및 제7 실시형태에 따른 화상 부호화 장치의 구성을 도시하는 블록도.
도 2는 본 발명의 제2 실시형태, 제6 실시형태 및 제8 실시형태에 따른 화상 복호화 장치의 구성을 도시하는 블록도.
도 3은 본 발명의 제3 실시형태에 따른 화상 부호화 장치의 구성을 도시하는 블록도.
도 4는 본 발명의 제4 실시형태에 따른 화상 복호화 장치의 구성을 도시하는 블록도.
도 5a는 정부(plus-minus) 대칭의 부호화 테이블의 일례를 도시하는 도면.
도 5b는 정부 비대칭의 부호화 테이블의 일례를 도시하는 도면.
도 6a는 양자화 매트릭스의 일례를 도시하는 도면.
도 6b는 양자화 매트릭스의 일례를 도시하는 도면.
도 6c는 양자화 매트릭스의 일례를 도시하는 도면.
도 6d는 차분 매트릭스의 일례를 도시하는 도면.
도 6e는 차분 매트릭스의 일례를 도시하는 도면.
도 7은 양자화 매트릭스의 부호화 예를 도시하는 도면.
도 8a는 비트스트림 구조의 일례를 도시하는 도면.
도 8b는 비트스트림 구조의 일례를 도시하는 도면.
도 9는 제1 실시형태, 제5 실시형태, 제7 실시형태에 따른 화상 부호화 장치에서의 화상 부호화 처리를 나타내는 플로우차트.
도 10은 제2 실시형태, 제6 실시형태, 제8 실시형태에 따른 화상 복호화 장치에서의 화상 복호화 처리를 나타내는 플로우차트.
도 11은 제3 실시형태에 따른 화상 부호화 장치에서의 화상 부호화 처리를 나타내는 플로우차트.
도 12는 제4 실시형태에 따른 화상 복호화 장치에서의 화상 복호화 처리를 나타내는 플로우차트.
도 13a는 양자화 매트릭스의 계수의 주사 방법 및 차분 산출 방법의 예를 도시하는 도면.
도 13b는 양자화 매트릭스의 계수의 주사 방법 및 차분 산출 방법의 예를 도시하는 도면.
도 13c는 양자화 매트릭스의 계수의 주사 방법 및 차분 산출 방법의 예를 도시하는 도면.
도 13d는 양자화 매트릭스의 계수의 주사 방법 및 차분 산출 방법의 예를 도시하는 도면.
도 13e는 양자화 매트릭스의 계수의 주사 방법 및 차분 산출 방법의 예를 도시하는 도면.
도 14은 본 발명의 실시형태에 따른 화상 부호화 장치 및 복호화 장치에 적용가능한 컴퓨터의 하드웨어의 구성예를 도시하는 블록도.
도 15는 제5 실시형태 및 제6 실시형태에 따른 양자화 매트릭스의 부호화 예를 도시하는 도면.
도 16a는 제5 실시형태 및 제6 실시형태에 따른 양자화 매트릭스의 계수의 주사 방법 및 차분 산출 방법의 예를 도시하는 도면.
도 16b는 제5 실시형태 및 제6 실시형태에 따른 양자화 매트릭스의 계수의 주사 방법 및 차분 산출 방법의 예를 도시하는 도면.
도 16c는 제5 실시형태 및 제6 실시형태에 따른 양자화 매트릭스의 계수의 주사 방법 및 차분 산출 방법의 예를 도시하는 도면.
도 17a는 제5 실시형태 및 제6 실시형태에 따른 양자화 매트릭스의 일례를 도시하는 도면.
도 17b는 제5 실시형태 및 제6 실시형태에 따른 차분 매트릭스의 일례를 도시하는 도면.
도 17c는 제5 실시형태 및 제6 실시형태에 따른 차분 매트릭스의 일례를 도시하는 도면.
도 18a는 제7 실시형태 및 제8 실시형태에 따른 양자화 매트릭스의 계수의 주사 방법의 일례를 도시하는 도면.
도 18b는 제7 실시형태 및 제8 실시형태에 따른 양자화 매트릭스의 계수의 주사 방법의 일례를 도시하는 도면.
도 18c는 제7 실시형태 및 제8 실시형태에 따른 양자화 매트릭스의 계수의 주사 방법의 일례를 도시하는 도면.
도 19a는 제7 실시형태 및 제8 실시형태에 따른 양자화 매트릭스의 일례를 도시하는 도면.
도 19b는 제7 실시형태 및 제8 실시형태에 따른 차분 매트릭스의 일례를 도시하는 도면.
도 20a는 제7 실시형태 및 제8 실시형태에 따른 양자화 매트릭스의 계수의 주사 방법의 일례를 도시하는 도면.
도 20b는 제7 실시형태 및 제8 실시형태에 따른 양자화 매트릭스의 계수의 주사 방법의 일례를 도시하는 도면.
도 20c는 제7 실시형태 및 제8 실시형태에 따른 양자화 매트릭스의 계수의 주사 방법의 일례를 도시하는 도면.
도 20d는 제7 실시형태 및 제8 실시형태에 따른 양자화 매트릭스의 계수의 주사 방법의 일례를 도시하는 도면.
이하, 도면을 참조하여 본원 발명의 다양한 실시형태, 특징 및 양태를 설명할 것이다.
본 명세서에서는, 도 13b에 도시되는 2차원 매트릭스의 주사 방법을 수평 스캔이라고 하고, 도 13d에 도시되는 2차원 매트릭스의 주사 방법을 수직 스캔이라고 한다.
도 1은 본 발명의 제1 실시형태에 따른 화상 부호화 장치를 도시하는 블록도이다.
도 1에서, 블록 분할 유닛(101)은 입력 화상을 복수의 블록으로 분할한다.
예측 유닛(102)은 블록 분할 유닛(101)에 의해 분할된 각 블록에 대한 블록 단위의 예측을 행하고, 예측 방법을 결정하고, 결정된 예측 방법에 따라서 차분값을 산출하고, 또한, 예측 오차를 산출한다. 동화상의 인트라 프레임 또는 정지 화상이 처리되는 경우, 인트라 예측이 행해진다. 동화상의 인터 프레임이 처리되는 경우, 인트라 예측뿐만 아니라 움직임 보상 예측도 행해진다. 인트라 예측은, 일반적으로, 주위의 화소 데이터로부터 예측값을 산출할 때에, 복수의 방법으로부터 최적의 예측 방법을 선택하여 실현된다.
변환 유닛(103)은 각 블록의 예측 오차에 대하여 직교 변환을 행한다. 변환 유닛(103)은 블록 단위로 직교 변환을 행하여 변환 계수를 산출한다. 블록의 사이즈는 입력된 블록 사이즈 또는 입력된 블록 사이즈를 더 세분화하여 얻어진 사이즈이다. 이하의 설명에서는, 직교 변환에 의해 변환되는 블록을 변환 블록으로 부른다. 직교 변환의 방법은 특별히 한정하지 않지만, 이산 코사인 변환이나 아다마르 변환(Hadamard transform) 등을 이용할 수 있다. 또한, 본 실시형태에 따르면, 설명을 간단하게 하기 위해서, 8×8 화소의 블록 단위의 예측 오차를 종횡의 2개의 부분으로 분할하여, 생성된 4×4 화소의 변환 블록 단위가 직교 변환에 이용된다. 그러나, 변환 블록의 사이즈 및 형상은 이러한 예에 한정되지 않는다. 예를 들면, 동일한 사이즈의의 변환 블록, 또는 블록을 종횡의 2개의 부분으로 분할할 때에 얻어지는 것보다 더 작은 부분으로 블록을 분할하여 얻어지는 변환 블록을 이용해서 직교 변환을 행할 수 있다.
양자화 매트릭스 저장 유닛(106)은 양자화 매트릭스를 생성하고, 저장한다. 양자화 매트릭스 저장 유닛(106)에 저장되는 양자화 매트릭스의 생성 방법은 특별히 한정되지 않는다. 따라서, 유저가 양자화 매트릭스를 입력해도 되고, 입력 화상의 특성으로부터 양자화 매트릭스를 산출해도 되고, 초기값으로서 미리 지정된 양자화 매트릭스이어도 된다. 본 실시형태에 따르면, 도 6a에 도시된 것과 같은 4×4 화소의 변환 블록에 대응하는 2차원의 양자화 매트릭스가 생성되어 저장된다.
양자화 유닛(104)은 양자화 매트릭스 저장 유닛(106)에 저장된 양자화 매트릭스를 이용하여 변환 계수를 양자화한다. 이 양자화 처리에 의해 양자화 계수를 얻는다.
계수 부호화 유닛(105)은 이렇게 얻어진 양자화 계수를 부호화해서 양자화 계수 부호 데이터를 생성한다. 부호화의 방법은 특별히 한정되지 않지만, 허프만 부호화 및 산술 부호화 등의 부호화가 이용될 수 있다.
양자화 매트릭스 주사 유닛(109)은 양자화 매트릭스 저장 유닛(106)에 저장된 2차원의 양자화 매트릭스를 주사해서, 각 요소의 차분을 산출하고, 1차원 매트릭스로 배치한다. 본 실시형태에 따르면, 이 1차원의 행렬로 배치된 차분을 차분 매트릭스로 부른다.
양자화 매트릭스 부호화 유닛(107)은 양자화 매트릭스 주사 유닛(109)에 의해 배열된 차분 매트릭스(1차원 매트릭스)를 부호화하고, 양자화 매트릭스 부호 데이터를 생성한다. 통합 부호화 유닛(108)은 헤더 정보와, 예측 또는 변환에 관한 부호를 생성함과 함께, 계수 부호화 유닛(105)에 의해 생성된 양자화 계수 부호 데이터 및 양자화 매트릭스 부호화 유닛(107)에 의해 생성된 양자화 매트릭스 부호 데이터를 통합한다. 예측 또는 변환에 관한 부호는, 예를 들면 예측 방법의 선택 또는 변환 블록의 분할에 관한 부호이다.
상기 화상 부호화 장치에 의해 행해지는 화상의 부호화 동작을 이하에 설명한다. 본 실시형태에 따르면, 동화상 데이터를 프레임 단위로 입력하는 구성으로 되어 있지만, 1 프레임의 정지 화상 데이터를 입력하는 구성도 가능하다. 또한, 본 실시형태에 따르면, 설명을 간단하게 하기 위해서, 인트라 예측 부호화의 처리만을 설명한다. 그러나, 본 발명은 인터 예측 부호화의 처리에도 적용이 가능하다. 본 실시형태에 따르면, 블록 분할 유닛(101)이 입력된 화상을 8×8 화소의 블록으로 분할하지만, 블록의 사이즈는 이러한 예에 한정되지 않는다.
다음으로, 화상의 부호화에 앞서 양자화 매트릭스의 요소의 부호화를 행한다. 최초에, 양자화 매트릭스 저장 유닛(106)은 양자화 매트릭스를 생성한다. 부호화될 블록의 사이즈에 따라서 양자화 매트릭스가 결정된다. 양자화 매트릭스의 요소의 결정 방법은 한정하지 않는다. 예를 들면, 소정의 초기값을 이용해도 되고, 개별적으로 설정된 값을 이용해도 된다. 또한, 이 값은 화상의 특성에 따라서 생성 및 설정될 수 있다.
양자화 매트릭스 저장 유닛(106)에는 이러한 방식으로 생성된 양자화 매트릭스가 유지되어 있다. 도 6a는 4×4 화소의 변환 블록에 대응하는 양자화 매트릭스의 일례이다. 두꺼운 프레임(600)은 양자화 매트릭스를 나타내고 있다. 설명을 간단하게 하기 위해서, 양자화 매트릭스는 4×4 화소의 변환 블록에 대응하는 16 화소의 사이즈를 가지며, 매트릭스의 각각의 셀은 요소를 나타낸다. 본 실시형태에 따르면, 도 6a에 도시된 양자화 매트릭스는 2차원 형상으로 유지되지만, 양자화 매트릭스 내의 요소는 이러한 예에 한정되지 않는다. 예를 들면, 본 실시형태의 블록 사이즈 이외에 8×8 화소의 변환 블록이 이용되는 경우, 8×8 화소의 변환 블록에 대응하는 상이한 양자화 매트릭스를 유지할 필요가 있다.
양자화 매트릭스 주사 유닛(109)은 양자화 매트릭스 저장 유닛(106)에 저장된 2차원 양자화 매트릭스를 순서대로 판독하고, 각 요소를 주사하여 차분을 산출하고, 1차원의 행렬로 요소를 배치한다. 본 실시형태에 따르면, 도 13d에 도시된 수직 스캔을 이용하여 요소와 직전의 요소의 차분을 주사순으로 각 요소에 대해 산출한다. 그러나, 주사 방법 및 차분의 산출 방법은 이러한 예에 한정되지 않는다. 도 13b에 도시된 수평 스캔을 주사 방법으로서 이용하여 각 요소에 대해 주사순으로 요소와 직전의 요소의 차분을 산출해도 된다. 또한, 도 13b에 도시된 주사 방법을 이용하면서, 도 13c에 도시된 것 같이 상부 요소 간의 차분을 취득하여 좌측 끝의 요소에 관한 차분을 산출할 수 있다. 따라서, 좌측 끝의 요소를 제외하고는, 요소와 직전의 요소 간의 차분을 도 13b에서 행해진 것과 같이 산출할 수 있다. 또한, 도 13d의 주사 방법을 이용하면서, 도 13e에 도시된 것 같이 상단의 요소의 차분은 좌측 요소 간의 차분을 취득하여 산출할 수 있다. 따라서, 상단의 요소를 제외하고는, 도 13d에서 행해지는 것과 같이 요소와 직전의 요소 간의 차분을 산출할 수 있다. 본 실시형태에 따르면, 도 6a에 도시되는 2차원 양자화 매트릭스를 도 13d에 도시되는 수직 스캔을 이용해서 주사하고, 각각의 요소와 직전의 요소의 차분을 산출해서 도 6e에 도시되는 차분 매트릭스를 생성한다. 또한, 행렬의 최초의 요소에 대응하는 차분값은 최초의 요소의 값과 소정의 초기값의 차분을 산출하여 취득한다. 본 실시형태에 따르면, 초기값을 8로 설정하였지만, 임의의 값을 초기값으로 이용하거나, 최초의 요소의 값 자체가 부호화될 수 있다.
양자화 매트릭스 부호화 유닛(107)은 상기 차분 매트릭스를 양자화 매트릭스 주사 유닛(109)으로부터 순서대로 판독하고, 차분 매트릭스를 부호화해서 양자화 매트릭스 부호 데이터를 생성한다. 본 실시형태에 따르면, 도 5a에 도시되는 부호화 테이블을 이용해서 차분 매트릭스를 부호화한다. 그러나, 부호화 테이블은 이러한 예에 한정되지 않고, 예를 들면 도 5b에 도시된 부호화 테이블을 이용해도 된다.
도 7은, 도 13a, 도 13d의 주사 방법을 이용해서 도 6a에 도시된 양자화 매트릭스의 차분 매트릭스를 산출하고, 도 5a에 도시된 부호화 테이블을 이용해서 차분 매트릭스를 부호화하여 얻어진 결과의 일례를 나타낸다. 도 7의 요소의 행은 도 6a의 양자화 매트릭스의 각 요소를 주사하여 얻어진 결과를 나타내고, 차분값의 행은 요소와 소정의 초기값 8 또는 직전의 요소의 차분값을 나타낸다. 지그재그 스캔의 부호의 행은 도 13a에 도시된 종래 방법의 지그재그 스캔을 이용했을 경우의 부호를 나타내고, 합계 68 비트가 필요하다. 한편, 수직 스캔의 코드의 행은 도 13d에 도시된 수직 스캔을 이용했을 경우의 부호를 나타내고, 합계 60 비트가 필요하다. 따라서, 수직 스캔을 이용함으로써, 보다 적은 부호량으로 동일한 양자화 매트릭스를 부호화할 수 있다. 이러한 방식으로 생성된 양자화 매트릭스의 부호 데이터는 통합 부호화 유닛(108)에 입력된다. 통합 부호화 유닛(108)에서는 화상 데이터의 부호화에 필요한 헤더 정보를 부호화하고, 양자화 매트릭스의 부호 데이터를 통합한다.
다음으로, 화상 데이터의 부호화가 행하여진다. 1 프레임분의 화상 데이터가 블록 분할 유닛(101)에 입력되면, 8×8 화소의 블록 단위로 분할된다. 분할된 화상 데이터는 예측 유닛(102)에 입력된다.
예측 유닛(102)에서는 블록 단위의 예측이 행하여져, 예측 오차가 생성된다. 변환 유닛(103)에서는 예측 유닛(102)에 의해 생성된 예측 오차를 변환 블록 사이즈의 블록으로 분할해서 직교 변환을 행하여, 변환 계수를 취득한다. 그리고, 얻어진 변환 계수를 양자화 유닛(104)에 입력한다. 본 실시형태에 따르면, 8×8 화소의 블록 단위의 예측 오차를 4×4 화소의 변환 블록 단위로 분할해서 직교 변환을 행한다.
도 1로 돌아가서, 양자화 유닛(104)에서는, 양자화 매트릭스 저장 유닛(106)에 저장되어 있는 양자화 매트릭스를 이용해서 변환 유닛(103)으로부터 출력된 변환 계수를 양자화해서 양자화 계수를 생성한다. 생성된 양자화 계수는 계수 부호화 유닛(105)에 입력된다.
계수 부호화 유닛(105)에서는, 양자화 유닛(104)에 의해 생성된 양자화 계수를 부호화하고, 양자화 계수 부호 데이터를 생성하고, 생성된 양자화 계수 부호 데이터를 통합 부호화 유닛(108)에 출력한다. 통합 부호화 유닛(108)은 블록 단위로 예측 및 변환에 관한 부호를 생성하고, 상기 헤더의 부호화 데이터와 함께, 블록 단위의 부호, 계수 부호화 유닛(105)에 의해 생성된 양자화 계수 부호 데이터를 통합하고, 비트스트림을 생성한다. 그 후에, 통합 부호화 유닛(108)은 생성된 비트스트림을 출력한다.
도 8a는 제1 실시형태에 따라 출력되는 비트스트림의 일례이다. 시퀀스 헤더에 양자화 매트릭스의 부호 데이터가 포함되고, 따라서 각 요소의 부호화 결과가 포함된다. 단, 부호화 데이터의 위치는 이러한 예에 한정되지 않는다. 예를 들면, 부호 데이터는 픽쳐 헤더부나 그 밖의 헤더부에 포함될 수 있다. 또한, 1개의 시퀀스 안에서 양자화 매트릭스의 변경을 행할 경우, 양자화 매트릭스를 새롭게 부호화함으로써 양자화 매트릭스를 갱신하는 것도 가능하다. 이러한 경우에, 모든 양자화 매트릭스를 재기입해도 된다. 또한, 재기입하는 양자화 매트릭스의 주사 방법과 변환 블록 사이즈를 지정하면, 그 지정에 따라 양자화 매트릭스의 일부를 변경하는 것도 가능하다.
도 9는 제1 실시형태에 따른 화상 부호화 장치에 의해 행해지는 화상 부호화 처리를 나타내는 플로우차트이다. 스텝 S901에서, 양자화 매트릭스 저장 유닛(106)은 양자화 매트릭스를 생성한다.
스텝 S902에서, 양자화 매트릭스 주사 유닛(109)은 스텝 S901에서 생성된 양자화 매트릭스를 주사하여 요소 간의 차분을 산출하고, 차분 매트릭스를 생성한다. 본 실시형태에 따르면, 도 6a에 도시되는 양자화 매트릭스를 도 13d에 도시되는 주사 방법으로 주사하고, 도 6e에 도시되는 차분 매트릭스를 생성한다. 그러나, 양자화 매트릭스 및 주사 방법은 이러한 예에 한정되지 않는다.
스텝 S903에서, 양자화 매트릭스 부호화 유닛(107)은 스텝 S902에서 생성된 차분 매트릭스를 부호화한다. 본 실시형태에 따르면, 양자화 매트릭스 부호화 유닛(107)은 도 5a에 도시되는 부호화 테이블을 이용해서 도 6e에 도시되는 차분 매트릭스를 부호화한다. 그러나, 부호화 테이블은 이러한 테이블에 한정되지 않는다.
스텝 S904에서, 통합 부호화 유닛(108)은 비트스트림의 헤더부를 부호화해서 출력한다. 스텝 S905에서, 블록 분할 유닛(101)은 프레임 단위의 입력 화상을 블록 단위로 분할한다. 스텝 S906에서, 예측 유닛(102)은 블록 단위의 예측을 행하고, 예측 오차를 생성한다.
스텝 S907에서, 변환 유닛(103)은 스텝 S906에서 생성된 예측 오차를 변환 블록 사이즈의 블록으로 분할해서 직교 변환을 행하고, 변환 계수를 생성한다. 스텝 S908에서, 양자화 유닛(104)은 스텝 S907에서 생성된 변환 계수를, 스텝 S901에서 생성되어서 양자화 매트릭스 저장 유닛(106)에 저장된 양자화 매트릭스를 이용해서 양자화해서 양자화 계수를 생성한다.
스텝 S909에서, 계수 부호화 유닛(105)은 스텝 S908에서 생성된 양자화 계수를 부호화하여, 양자화 계수 부호 데이터를 생성한다. 스텝 S910에서, 화상 부호화 장치는, 해당 블록 내의 모든 변환 블록의 부호화가 종료하였는지의 여부의 판정을 행한다. 모든 변환 블록의 부호화가 종료하였으면(스텝 S910에서 예), 처리는 스텝 S911로 진행한다. 모든 변환 블록의 부호화 아직 종료하지 않았으면(스텝 S910에서 아니오), 처리는 스텝 S907로 돌아가서 다음 변환 블록이 처리된다.
스텝 S911에서, 화상 부호화 장치는 모든 블록의 부호화가 종료하였는지의 여부의 판정을 행한다. 모든 블록의 부호화가 종료하였으면(스텝 S911에서 예), 화상 부호화 장치는 모든 동작을 정지해서 처리를 종료한다. 모든 블록의 부호화가 종료하지 않았으면(단계 S911에서 아니오), 처리는 스텝 S905로 돌아가서 다음 블록이 처리된다.
이상의 구성과 동작에 의해, 특히 스텝 S902의 양자화 매트릭스를 단방향 주사에 의해 차분 매트릭스를 산출하는 처리에 의해, 양자화 매트릭스의 부호량이 보다 적은 비트스트림을 생성할 수 있다.
본 실시형태에 따르면, 인트라 예측만을 이용하는 프레임을 설명하였지만, 인터 예측을 사용할 수 있는 프레임에도 본 발명을 적용할 수 있음은 명확하다.
또한, 본 실시형태에 따르면, 8×8 화소의 블록 및 4×4 화소의 변환 블록을 이용하였지만, 본 발명이 이러한 예에 한정되지는 않는다. 예를 들면, 블록 사이즈는 16×16 화소 또는 32×32 화소일 수 있다. 또한, 블록의 형상은 정방형에 한정되지 않고, 예를 들어 16×8 화소의 직사각형이 이용될 수 있다.
또한, 본 실시형태에서는 변환 블록 사이즈는 블록 사이즈의 종횡 각각 반이지만, 변환 블록 사이즈는 블록 사이즈와 동일할 수 있으며, 블록 사이즈의 종횡 각각 반보다도 더욱 작은 사이즈일 수 있다.
또한, 본 실시형태에 따르면, 차분 매트릭스를 생성해서 부호화하였다. 그러나, 양자화 매트릭스 부호화 유닛(107)은 양자화 매트릭스로부터 소정의 주사 방법을 이용해서 직접 차분값을 산출해서 이 차분값을 부호화한다. 그 경우, 양자화 매트릭스 주사 유닛(109)은 생략가능하다.
또한, 변환 계수의 주사 방법에 따라서 다른 양자화 매트릭스를 이용하는 경우, 변환 계수의 주사 방법에 따라서 양자화 매트릭스의 요소의 주사 방법이 결정될 수 있다.
또한, 본 실시형태에 따르면, 양자화 매트릭스가 1개인 경우에 대해서 설명했지만, 양자화 매트릭스가 반드시 1개인 것은 아니다. 예를 들면, 휘도/색도에 대해 다른 양자화 매트릭스를 제공할 경우, 공통인 양자화 매트릭스 주사 방법을 이용해도 되고, 상이한 주사 방법이 제공될 수 있다.
도 2는 본 발명의 제2 실시형태에 따른 화상 복호화 장치의 구성을 도시하는 블록도이다. 본 실시형태에 따르면, 제1 실시형태에서 생성된 비트스트림의 복호화에 대해서 설명한다.
도 2에서, 복호화/분리 유닛(201)은 입력된 비트스트림의 헤더 정보를 복호화하고, 비트스트림으로부터 필요한 부호를 분리해서 분리된 부호를 후단에 출력한다. 복호화/분리 유닛(201)은 도 1의 통합 부호화 유닛(108)에 의해 행해진 동작의 역동작을 행한다. 양자화 매트릭스 복호화 유닛(206)은 비트스트림의 헤더 정보로부터 양자화 매트릭스 부호 데이터를 복호화하고, 차분 매트릭스를 생성한다.
양자화 매트릭스 역주사 유닛(208)은 양자화 매트릭스 복호화 유닛(206)에 의해 생성된 차분 매트릭스를 역주사해서 양자화 매트릭스를 재생한다. 양자화 매트릭스 역주사 유닛(208)은 도 1의 양자화 매트릭스 주사 유닛(109)에 의해 수행된 동작의 역동작을 행한다. 양자화 매트릭스 저장 유닛(207)은 양자화 매트릭스 역주사 유닛(208)에 의해 재생된 양자화 매트릭스를 저장한다.
한편, 계수 복호화 유닛(202)은 복호화/분리 유닛(201)에 의해 분리된 부호로부터 양자화 계수를 복호화하고, 양자화 계수를 재생한다. 역양자화 유닛(203)은 양자화 매트릭스 저장 유닛(207)에 저장된 양자화 매트릭스를 이용해서 양자화 계수의 역양자화를 행하고, 변환 계수를 재생한다. 역변환 유닛(204)은 도 1의 변환 유닛(103)에 의해 행해지는 동작의 역동작인 직교 역변환을 행하고, 예측 오차를 재생한다. 예측 재구성 유닛(205)은 재생된 예측 오차와 이미 복호화된 주위의 화상 데이터로부터 블록 화상 데이터를 재생한다.
상기 화상 복호화 장치에서의 화상의 복호화 동작을 이하에 설명한다. 본 실시형태에 따르면, 제1 실시형태에서 생성된 동화상 비트스트림을 프레임 단위로 입력하지만, 1 프레임분의 정지 화상의 비트스트림을 입력하여도 된다. 또한, 본 실시형태에 따르면, 설명을 쉽게 하기 위해서, 인트라 예측 복호화 처리만을 설명하였다. 그러나, 본 발명은 인터 예측 복호화 처리에도 적용가능하다.
도 2의 설명과 관련하여, 1 프레임분의 비트스트림이 복호화/분리 유닛(201)에 입력되어, 화상을 재생하는 데에 필요한 헤더 정보가 복호화된다. 또한, 후단에서 사용되는 부호가 헤더 정보로부터 분리되어 출력된다. 헤더 정보에 포함되는 양자화 매트릭스 부호 데이터는 양자화 매트릭스 복호화 유닛(206)에 입력되어, 1차원의 차분 매트릭스가 재생된다. 본 실시형태에 따르면, 도 5a에 도시되는 복호화 테이블을 이용해서 양자화 매트릭스의 각 요소의 차분값을 복호화하고, 차분 매트릭스가 재생된다. 그러나, 복호화 테이블은 도 5a에 도시된 테이블에 한정되지 않는다. 재생된 차분 매트릭스는 양자화 매트릭스 역주사 유닛(208)에 입력된다.
양자화 매트릭스 역주사 유닛(208)은 입력된 차분 매트릭스 내의 각각의 차분값으로부터 양자화 매트릭스의 각 요소를 산출하고, 역주사를 행해서, 2차원의 양자화 매트릭스를 재생한다. 재생된 양자화 매트릭스는 양자화 매트릭스 저장 유닛(207)에 입력되어 저장된다. 또한, 복호화/분리 유닛(201)에 의해 분리된 부호 중, 양자화 계수 부호 데이터는 계수 복호화 유닛(202)에 입력된다. 또한, 계수 복호화 유닛(202)은 변환 블록마다 양자화 계수 부호 데이터를 복호화하고, 양자화 계수를 재생하고, 재생된 양자화 계수를 역양자화 유닛(203)에 출력한다.
역양자화 유닛(203)은 계수 복호화 유닛(202)에 의해 재생된 양자화 계수 및 양자화 매트릭스 저장 유닛(207)에 저장되어 있는 양자화 매트릭스를 입력한다. 그리고, 역양자화 유닛(203)은 상기 양자화 매트릭스를 이용해서 역양자화를 행하고, 변환 계수를 재생하고, 재생된 변환 계수를 역변환 유닛(204)에 출력한다. 역변환 유닛(204)은, 입력된 변환 계수를 이용하여, 도 1에 도시된 변환 유닛(103)에 의해 행해지는 동작의 역동작인 직교 역변환을 행하고, 예측 오차를 재생하고, 이 예측 오차를 예측 재구성 유닛(205)에 출력한다. 예측 재구성 유닛(205)은 입력된 예측 오차에 기초하고, 복호화된 주위의 화소 데이터를 이용하여 예측을 행하고, 블록 단위의 화상 데이터를 재생하고, 화상 데이터를 출력한다.
도 10은 제2 실시형태에 따른 화상 복호화 장치에서의 화상 복호화 처리를 나타내는 플로우차트이다.
스텝 S1001에서, 복호화/분리 유닛(201)이 헤더 정보를 복호화하고, 후단에 출력될 부호를 분리한다. 스텝 S1002에서, 양자화 매트릭스 복호화 유닛(206)은 헤더 정보에 포함되는 양자화 매트릭스 부호 데이터를, 도 5a에 도시되는 복호화 테이블을 이용해서 복호화하고, 양자화 매트릭스 재생에 필요한 차분 매트릭스를 생성한다. 스텝 S1003에서, 양자화 매트릭스 역주사 유닛(208)은 스텝 S1002에서 생성된 차분 매트릭스로부터 양자화 매트릭스의 각 요소를 산출하고, 역주사를 행해서 2차원의 양자화 매트릭스를 재생한다.
스텝 S1004에서, 계수 복호화 유닛(202)은 변환 블록 단위로 양자화 계수 부호 데이터를 복호화하고, 양자화 계수를 재생한다. 스텝 S1005에서, 역양자화 유닛(203)은 스텝 S1003에서 재생된 양자화 매트릭스를 이용해서 스텝 S1004에서 재생된 양자화 계수에 대해 역양자화를 행하고, 변환 계수를 재생한다. 스텝 S1006에서, 역변환 유닛(204)은 스텝 S1005에서 재생된 변환 계수에 대하여 직교 역변환을 행하고, 예측 오차를 재생한다. 스텝 S1007에서, 화상 복호화 장치는 해당 블록 내의 모든 변환 블록의 복호화가 종료하였는지의 여부의 판정을 행한다. 모든 변환 블록의 복호화가 종료하였으면(스텝 S1007에서 예), 처리는 스텝 S1008로 진행한다. 모든 변환 블록의 복호화가 종료하지 않았으면(스텝 S1007에서 아니오), 처리는 스텝 S1004로 돌아가서 다음 변환 블록이 처리된다.
스텝 S1008에서, 예측 재구성 유닛(205)은 이미 복호화된 주위의 화소 데이터를 이용하여 예측을 행하고, 스텝 S1006에서 재생된 예측 오차에 그 결과를 가산하고, 블록의 복호 화상을 재생한다. 스텝 S1009에서, 화상 복호화 장치는 모든 블록의 복호화가 종료하였는지의 여부의 판정을 행한다. 모든 블록의 복호화가 종료하였으면(스텝 S1009에서 예), 모든 동작을 정지해서 처리를 종료한다. 모든 블록의 복호화가 아직 종료하지 않았으면(스텝 S1009에서 아니오), 처리는 스텝 S1003으로 돌아가서 다음 블록이 처리된다.
상술된 처리에 따라, 제1 실시형태에 따라 생성된, 양자화 매트릭스의 부호량이 보다 적은 비트스트림의 복호화를 행하고, 재생 화상을 얻을 수 있다. 또한, 제1 실시형태와 마찬가지로, 블록의 사이즈, 변환 블록의 사이즈, 블록의 형상은 상기 예에 한정되지 않는다.
또한, 본 실시형태에 따르면, 도 5a에 도시되는 복호화 테이블을 이용해서 양자화 매트릭스의 각 요소의 차분값을 복호화한다. 그러나, 복호화 테이블은 이러한 예에 한정되지 않는다.
또한, 1개의 시퀀스의 비트스트림에 양자화 매트릭스 부호 데이터가 복수 개 포함되어 있을 경우, 양자화 매트릭스를 갱신하는 것도 가능하다. 그러한 경우, 복호화/분리 유닛(201)은 양자화 매트릭스 부호 데이터를 검출하고, 양자화 매트릭스 복호화 유닛(206)에 의해 양자화 매트릭스 부호 데이터를 복호화하고, 차분 매트릭스를 생성한다. 생성된 차분 매트릭스를 양자화 매트릭스 역주사 유닛(208)에 의해 역주사해서 양자화 매트릭스를 재생한다. 그리고, 양자화 매트릭스 저장 유닛(207)에 저장된 양자화 매트릭스의 대응 데이터는, 양자화 매트릭스의 재생된 데이터에 의해 재기입된다. 이 경우, 모든 양자화 매트릭스는 재기입될 수 있다. 대안적으로, 재기입하는 부분을 판별함으로써 양자와 매트릭스의 일부를 재기입할 수 있다.
본 실시형태에 따르면, 1 프레임분의 부호 데이터를 축적하고 나서 처리를 행하였지만, 본 발명은 이러한 예에 한정되지 않는다. 예를 들면, 블록 단위나 슬라이스 단위로 데이터가 입력될 수 있다. 슬라이스는 복수의 볼록을 포함한다. 또한, 블록을 대신하여, 고정 길이의 패킷으로 분할되어 있는 데이터도 입력될 수 있다.
또한, 본 실시형태에 따르면, 차분 매트릭스를 생성하고 나서 양자화 매트릭스를 재생하였지만, 양자화 매트릭스 복호화 유닛(206)이 차분값을 복호화한 후, 소정의 주사 방법을 이용해서 직접 양자화 매트릭스를 재생할 수 있다. 그 경우, 양자화 매트릭스 역주사 유닛(208)은 생략가능하다.
또한, 변환 계수의 주사 방법에 따라서 다른 양자화 매트릭스를 이용하는 경우, 변환 계수의 주사 방법에 따라서 양자화 매트릭스의 요소의 주사 방법을 결정해도 된다.
도 3은 본 발명의 제3 실시형태의 화상 부호화 장치를 도시하는 블록도이다. 도 3에서, 제1 실시형태의 도 1과 마찬가지의 구성요소에 대해서는 같은 번호를 부여하고, 그 설명을 생략한다.
주사 제어 정보 생성 유닛(321)은 각 양자화 매트릭스의 주사 방법 정보인 양자화 매트릭스 주사 방법 정보를 생성한다. 양자화 매트릭스 주사 유닛(309)은 주사 제어 정보 생성 유닛(321)에 의해 생성된 양자화 매트릭스 주사 방법 정보에 근거해서 주사 방법을 결정하고, 양자화 매트릭스 저장 유닛(106)에 저장된 양자화 매트릭스를 주사하여 차분값을 산출하고, 차분 매트릭스를 생성한다.
통합 부호화 유닛(308)은, 도 1의 통합 부호화 유닛(108)에 의해 행해지는 것과 마찬가지로 헤더 정보와, 예측 및 변환에 관한 부호를 생성한다. 상기 통합 부호화 유닛(308)은, 주사 제어 정보 생성 유닛(321)에 의해 생성된 양자화 매트릭스 주사 방법 정보를 입력하고, 이것을 부호화하는 점에서 통합 부호화 유닛(108)과 상이하다.
상기 화상 부호화 장치에 의해 행해지는 화상의 부호화 동작을 이하에 설명한다.
부호화 제어 정보 생성 유닛(321)은 각 양자화 매트릭스의 주사 방법 및 상이한 값의 산출 방법을 나타내는 양자화 매트릭스 주사 방법 정보를 생성한다. 본 실시형태에 따르면, 상기 양자화 매트릭스 주사 방법 정보가 0이면, 양자화 매트릭스를 도 13a에 도시된 주사 방법을 이용해서 주사한다. 그 후에, 요소와 주사순으로 직전의 요소의 차분값을 모든 요소에 대해 산출해서 차분 매트릭스를 생성한다. 또한, 상기 양자화 매트릭스 주사 방법 정보가 1이면, 양자화 매트릭스를 도 13b에 도시된 주사 방법을 이용해서 주사한다. 그 후에, 요소와 주사순으로 직전의 요소의 차분값을 모든 요소에 대해 산출해서 차분 매트릭스를 생성한다. 또한, 양자화 매트릭스 주사 방법 정보가 2이면, 양자화 매트릭스를 도 13d에 도시된 주사 방법을 이용해서 주사한다. 그 후에, 요소와 주사순으로 직전의 요소의 차분값을 모든 요소에 대해 산출해서 차분 매트릭스를 생성한다. 양자화 매트릭스의 각 요소의 주사 방법 및 차분 산출 방법은 상기 예에 한정되지 않고, 도 13a, 도 13b, 도 13d를 참조하여 설명한 것 이외의 방법이 이용될 수 있다. 예를 들면, 도 13c, 도 13e에 도시된 차분 산출 방법이 이용될 수 있다. 또한, 양자화 매트릭스 주사 방법 정보와 양자화 매트릭스의 주사 방법의 조합은 상기 예에 한정되지 않는다. 양자화 매트릭스 주사 방법 정보의 생성 방법에 대해서는 특별히 한정하지 않는다. 따라서, 상기 정보는 유저가 입력한 값, 고정값으로서 미리 지정된 값, 또는 양자화 매트릭스 저장 유닛(106)에 저장되어 있는 양자화 매트릭스의 특성으로부터 산출한 값일 수 있다. 생성된 양자화 매트릭스 주사 방법 정보는 양자화 매트릭스 주사 유닛(309)과 통합 부호화 유닛(308)에 입력된다.
양자화 매트릭스 주사 유닛(309)은, 입력된 양자화 매트릭스 주사 방법 정보에 기초하여, 양자화 매트릭스 저장 유닛(106)에 저장된 각 양자화 매트릭스를 주사하여 차분값을 산출하고, 차분 매트릭스를 생성해서 그 차분 매트릭스를 양자화 매트릭스 부호화 유닛(107)에 출력한다.
통합 부호화 유닛(308)은, 주사 제어 정보 생성 유닛(321)에 의해 생성된 양자화 매트릭스 주사 방법 정보를 부호화하고, 양자화 매트릭스 주사 방법 정보 부호를 생성하고, 생성된 양자화 매트릭스 주사 방법 정보 코드를 헤더 정보 내에 내장해서 출력한다. 부호화의 방법은 특별히 한정하지 않지만, 허프만 부호화 및 산술 부호화를 이용할 수 있다. 도 8b는 양자화 매트릭스 주사 정보 부호를 포함하는 비트스트림의 예를 나타낸다. 양자화 매트릭스 주사 방법 정보 부호는 시퀀스 헤더 또는 픽쳐 헤더 중 어느 하나에 포함될 수 있다. 그러나, 각 양자화 매트릭스 부호 데이터 전에 존재할 필요가 있다.
도 11은 제3 실시형태에 따른 화상 부호화 장치의 화상 부호화 처리를 나타내는 플로우차트이다. 도 11에서, 제1 실시형태의 도 9와 마찬가지인 구성요소는 같은 참조 번호를 부여하고, 설명을 생략한다.
스텝 S1151에서, 주사 제어 정보 생성 유닛(321)은 스텝 S1152에서 행해질 양자화 매트릭스 주사 방법을 결정하고, 양자화 매트릭스 주사 방법 정보를 생성한다. 스텝 S1152에서, 양자화 매트릭스 주사 유닛(309)은 스텝 S1151에서 결정한 양자화 매트릭스 주사 방법을 이용하여 스텝 S901에서 생성된 양자화 매트릭스를 주사하여 차분값을 산출하고, 차분 매트릭스를 생성한다. 스텝 S1153에서, 양자화 매트릭스 부호화 유닛(107)은 스텝 S1152에서 생성된 차분 매트릭스를 부호화한다. 스텝 S1154에서, 양자화 매트릭스 부호화 유닛(107)은 양자화 매트릭스 주사 방법 정보를 부호화하고, 양자화 매트릭스 주사 방법 정보 부호를 생성하고, 다른 부호와 마찬가지로 헤더부에 내장해서 출력한다.
상술된 구성과 동작에 의해, 각 양자화 매트릭스가 최적의 주사 방법에 의해 주사되어, 양자화 매트릭스의 부호량이 보다 적은 비트스트림을 생성할 수 있다. 또한, 변환 계수의 주사 방법에 따라서 다른 양자화 매트릭스를 이용하는 경우, 변환 계수의 주사 방법에 따라서 양자화 매트릭스의 요소의 주사 방법을 결정해도 된다. 다른 주사 방법을 이용할 경우, 그 방법을 나타내는 플래그와 사용하는 양자화 매트릭스 주사 방법 정보를 부호화해도 된다.
또한, 본 실시형태에 따르면, 1개의 양자화 매트릭스가 이용되는 경우에 대해서 설명했지만, 양자화 매트릭스는 반드시 1개일 필요는 없다. 예를 들면, 휘도/색도에 대해 상이한 양자화 매트릭스를 제공할 경우, 공통의 양자화 매트릭스 주사 방법 부호 정보가 이용될 수 있고, 또는 상이한 주사 방법이 제공되고 부호화되어 이용될 수 있다.
또한, 주사 제어 정보 생성 유닛(321)은 양자화 매트릭스 저장 유닛(106)에 의해 생성된 양자화 매트릭스를 참조해서 주사 방법을 생성할 수 있다. 또한, 상기한 바와 같이, 복수의 주사 방법을 미리 준비해 둔 경우, 이 주사 방법으로부터 원하는 주사 방법을 선택해서 양자화 매트릭스 주사 정보로서 사용할 수 있다. 또한, 주사되는 요소의 순번이 부호화될 수 있다. 도 13a의 양자화 매트릭스에 대하여, 1, 2, 6, 7, 3, 5, 8, 13, 4, 9, 12, 14, 10, 11, 15, 16과 같은 순번을 부호화해서 보내도 된다.
도 4는 본 제4 실시형태의 화상 복호화 장치를 도시하는 블록도이다. 도 4에서, 제2 실시형태의 도 2와 마찬가지의 구성요소에 관해서는 같은 참조 번호를 부여하고, 그 설명을 생략한다. 본 실시형태에 따르면, 제3 실시형태에서 생성된 비트스트림의 복호화에 대해서 설명한다.
복호화/분리 유닛(401)은 입력된 비트스트림의 헤더 정보를 복호화하고, 비트스트림으로부터 필요한 부호를 분리해서 그 코드를 후단에 출력한다. 복호화/분리 유닛(401)은 비트스트림의 헤더 정보로부터 양자화 매트릭스 주사 방법 정보 부호를 분리해서 그것을 후단에 출력하는 점에서 도 2의 복호화/분리 유닛(201)과 상이하다.
주사 제어 정보 복호화 유닛(421)은 복호화/분리 유닛(401)에 의해 분리된 양자화 매트릭스 주사 방법 정보 부호를 복호화하고, 양자화 매트릭스 주사 방법 정보를 재생한다. 양자화 매트릭스 역주사 유닛(408)은 양자화 매트릭스 복호화 유닛(206)에 의해 생성된 차분 매트릭스를 상기 양자화 매트릭스 주사 방법 정보에 근거해서 역주사해서 양자화 매트릭스를 재생한다.
상기 화상 복호화 장치에서의 화상의 복호화 동작을 이하에 설명한다.
도 4에서, 입력된 1 프레임분의 비트스트림은 복호화/분리 유닛(401)에 입력되어, 화상을 재생하는 데에 필요한 헤더 정보가 복호화된다. 또한, 후단에서 사용되는 부호가 분리되어 출력된다. 헤더 정보에 포함되는 양자화 매트릭스 주사 방법 정보 부호는 주사 제어 정보 복호화 유닛(421)에 입력되어, 양자화 매트릭스 주사 방법 정보가 재생된다. 그리고, 재생된 양자화 매트릭스 주사 방법 정보는 양자화 매트릭스 역주사 유닛(408)에 입력된다. 한편, 헤더 정보에 포함되는 양자화 매트릭스 부호 데이터는 양자화 매트릭스 복호화 유닛(206)에 입력된다.
양자화 매트릭스 복호화 유닛(206)은 양자화 매트릭스 부호 데이터를 복호화하고, 차분 매트릭스를 재생한다. 재생된 차분 매트릭스는 양자화 매트릭스 역주사 유닛(408)에 입력된다. 양자화 매트릭스 역주사 유닛(408)은, 상기 양자화 매트릭스 주사 방법 정보에 기초하여, 양자화 매트릭스 복호화 유닛(206)으로부터 입력된 차분 매트릭스를 역주사하고, 요소 단위로 차분을 가산하고, 양자화 매트릭스를 재생한다. 재생된 양자화 매트릭스는 양자화 매트릭스 저장 유닛(207)에 저장된다.
도 12는 제4 실시형태에 따른 화상 복호화 장치에서의 화상 복호화 처리를 나타내는 플로우차트이다. 도 12에서, 제2 실시형태의 도 10와 마찬가지의 구성요소에 관해서는 같은 참조 번호를 부여하고, 그 설명을 생략한다.
스텝 S1001에서, 복호화/분리 유닛(401)은 헤더 정보를 복호화한다. 스텝 S1251에서, 주사 제어 정보 복호화 유닛(421)은 헤더 정보에 포함되는 양자화 매트릭스 주사 방법 정보 부호를 복호화하고, 양자화 매트릭스 주사 방법 정보를 재생한다. 스텝 S1253에서, 양자화 매트릭스 역주사 유닛(408)은 스텝 S1251에서 재생된 양자화 매트릭스의 주사 방법의 정보를 이용해서, 스텝 S1252에서 재생된 차분 매트릭스를 역주사하고, 양자화 매트릭스를 재생한다.
이상의 구성과 동작에 의해, 제3 실시형태에 따라 생성된 각 양자화 매트릭스가 최적의 주사 방법에 의해 주사되어, 양자화 매트릭스의 부호량이 보다 적은 비트스트림의 복호화를 행하고, 재생 화상을 얻을 수 있다.
또한, 직교 변환 계수의 주사 방법에 따라서 다른 양자화 매트릭스를 이용하는 경우, 변환 계수의 주사 방법에 따라서 양자화 매트릭스의 요소의 주사 방법을 결정해도 된다. 다른 주사 방법을 이용할 경우, 그러한 방법을 나타내는 플래그와, 사용하는 양자화 매트릭스 주사 방법 정보를 부호화해도 된다.
본 발명의 제5 실시형태에서, 화상 부호화 장치는 도 1에 도시된 제1 실시형태의 화상 부호화 장치와 마찬가지의 구성을 가진다. 단, 양자화 매트릭스 주사 유닛(109)의 동작이 상이하다. 따라서, 양자화 매트릭스 주사 유닛(109)의 처리 이외의 처리는 제1 실시형태와 마찬가지여서, 그러한 처리의 설명을 생략한다.
양자화 매트릭스 주사 유닛(109)은 2차원 형상의 양자화 매트릭스를 양자화 매트릭스 저장 유닛(106)으로부터 순서대로 판독하고, 각 요소와 그 예측값의 차분을 산출하고, 산출된 차분을 주사하여 취득된 결과를 1차원의 행렬로 배치한다. 차분의 산출 방법은 제1 실시형태의 양자화 매트릭스 주사 유닛(109)에 의해 이용되는 방법과는 상이하다.
본 실시형태에 따르면, 도 16c에 도시된 것 같이, 좌측 및 상측의 요소를 참조해서 예측값을 산출하고, 산출한 예측값을 도 16a에 도시된 수평 스캔을 이용해서 주사한다. 그 후에, 취득된 결과를 1차원의 매트릭스로 배치한다. 예측값의 산출 방법에 대해서는, 본 실시형태에 따르면 좌측 및 상측의 요소 중 값이 더 큰 요소를 예측값으로 사용하지만, 본 발명은 이러한 예에 한정되지 않는다. 예를 들면, 더 작은 값을 예측값으로 사용해도 되고, 또는, 2개의 요소의 평균값을 예측값으로 사용해도 된다. 매트릭스의 제1 행의 요소의 부호화에 관하여, 좌측의 요소를 예측값으로 간주한다. 또한, 매트릭스의 가장 좌측의 열의 요소의 부호화에 관하여, 상측 요소가 예측값으로 간주된다. 또한, 매트릭스의 최초의 요소에 대응하는 차분값은 상기 최초의 값과 소정의 초기값의 차분을 산출하여 취득된다. 본 실시형태에 따르면, 초기값을 8로 설정하였지만, 임의의 값을 이용하거나, 최초의 요소의 값 자체를 이용해도 된다. 또한, 주사 방법은 수평 스캔에 한정되지 않는다. 즉, 단방향의 주사 방법이기만 하면, 도 16b에 도시된 수직 스캔과 같은 상이한 주사 방법이 이용될 수 있다.
본 실시형태에 따른 화상 부호화 처리를 나타내는 플로우차트는, 스텝 S902의 동작을 제외하고는 도 9에 도시된 제1 실시형태에 따른 플로우차트와 마찬가지이다. 스텝 S902에서 행해진 것 이외의 동작은 제1 실시형태에서 설명한 것과 마찬가지이므로, 그 설명을 생략한다.
스텝 S902에서, 양자화 매트릭스 주사 유닛(109)은 스텝 S901에서 생성된 양자화 매트릭스의 각 요소의 차분을 산출하고, 산출된 차분을 주사하여 차분 매트릭스를 생성한다. 본 실시형태에서는, 도 17a에 도시된 양자화 매트릭스를 스텝 S901에서 생성하는 경우를 설명한다. 도 16c에 도시된 생성된 양자화 매트릭스의 상측 및 좌측의 요소 중 최대값을 예측값으로 이용하여 도 17b에 도시되는 2차원의 차분값 매트릭스를 산출한다. 그리고, 취득된 차분값 매트릭스를 도 16a에 도시되는 수평 스캔에 의해 주사하고, 도 17c에 도시되는 차분 매트릭스를 생성한다. 상측 및 좌측의 요소가 이용되는 경우, 차분값 산출 방법에 이용되는 값은 최대값으로 한정되지 않으며, 최소값 또는 평균값이 이용될 수 있다. 또한, 주사 방법은 수평 스캔에 한정되지 않고, 단방향의 주사 방법이기만 하면 차분 주사 방법이 이용될 수 있다.
도 15는 도 16c에 도시된 바와 같이 상측 및 좌측의 요소 중 최대값을 예측값으로 사용하여 도 17a에 도시된 양자화 매트릭스의 차분값을 산출하고, 그 차분값을 도 16a에 도시된 주사 방법을 이용해서 주사하고, 도 5a에 도시된 부호화 테이블을 이용해서 부호화해서 취득된 테이블이다. 도 15의 차분값의 행은 소정의 초기값(8) 또는 좌측 및 상측의 요소 중 최대값이 예측값인 경우의, 예측값과 각 요소의 차분값을 수평 스캔하여 취득된 결과를 나타낸다. 이 테이블 내의 값은 도 17c의 차분 매트릭스의 값과 동일하다. 도 15의 부호의 열은 차분값을 도 5a의 부호화 테이블을 이용해서 부호화해서 취득된 부호를 나타내며, 총 50 비트가 필요하다. 이것은 도 7에 도시된 종래 방법에서 필요한 68 비트보다 적은 부호량으로 부호화될 수 있음을 나타낸다. 또한, 이것은 제1 실시형태에서 필요한 60 비트보다 더 적은 부호량이다.
상술된 구성과 동작에 따라, 양자화 매트릭스에 대해 훨씬 적은 비트를 요구하는 비트스트림을 생성할 수 있다.
본 실시형태에 따르면, 죄측 및 상측의 요소를 이용하여 예측값을 산출했지만, 예측값은, 예를 들면 좌측 상부의 요소를 대신 이용해서 산출될 수도 있다. 또한, 그러한 요소 이외의 요소를 이용할 수도 있다. 그러한 경우, 최대값, 최소값, 평균값 외에 중간값을 대신 이용할 수도 있다.
본 발명의 제6 실시형태에서는 화상 복호화 장치는 도 2에 도시된 제2 실시형태의 화상 복호화 장치와 마찬가지의 구성을 가진다. 단, 양자화 매트릭스 역주사 유닛(208)의 동작이 상이하다. 본 실시형태의 처리는, 양자화 매트릭스 역주사 유닛(208)에 의해 행해지는 동작을 제외하고는 제2 실시형태의 동작과 마찬가지이므로, 마찬가지의 처리의 동작의 설명을 생략한다. 본 실시형태에 따르면, 제5 실시형태에 따라 생성된 비트스트림의 복호화에 대해서 설명한다.
양자화 매트릭스 역주사 유닛(208)은 제5 실시형태의 양자화 매트릭스 주사 유닛(109)의 역동작을 행한다. 양자화 매트릭스 역주사 유닛(208)에 입력된 차분 매트릭스는, 각각의 차분값을 역주사해서 2차원의 차분값 매트릭스를 재생한다. 또한, 양자화 매트릭스의 각 요소를 산출해서 2차원의 양자화 매트릭스를 재생한다. 본 실시형태에 따르면, 차분 매트릭스를 도 16a에 도시되는 수평 스캔을 이용해서 역주사해서 2차원의 차분값 매트릭스를 재생한다. 또한, 도 16c에 도시된 바와 같이 좌측 및 상측의 요소와 차분값으로부터 양자화 매트릭스의 각 요소를 산출하고, 2차원의 양자화 매트릭스를 재생한다. 역주사 방법은 수평 스캔에 한정되지 않고, 도 16b에 도시된 수직 스캔도 이용될 수 있다. 즉, 단방향의 주사 방법이기만 하면 어떠한 주사 방법도 이용될 수 있다. 양자화 매트릭스의 각 요소의 산출 방법에 대해서는, 본 실시형태에 따르면 좌측 및 상부의 요소 중 더 큰 값을 가지는 요소를 예측값으로 결정하고, 예측값과 차분값의 합을 양자화 매트릭스의 각 요소의 값으로 간주한다. 그러나, 각 요소의 예측값은 이러한 값에 한정되지 않는다. 예를 들면, 좌측 및 상측의 요소 중 더 작은 값, 또는 2개의 요소의 평균값을 예측값으로 이용할 수 있다. 그리고, 예측값과 차분값의 합을 양자화 매트릭스의 각 요소의 값으로 결정한다. 또한, 매트릭스의 상단의 행의 요소의 재생에 관하여, 그 좌측의 요소를 예측값으로 이용한다. 또한, 매트릭스의 좌측 끝의 요소의 재생에 관하여, 그 상부 요소가 예측값으로 이용된다. 그리고, 예측값과 차분값의 합을 각 요소의 값으로 결정한다. 또한, 매트릭스의 최초의 요소의 재생에 관하여, 소정의 초기값이 예측값으로서 이용된다. 그리고, 예측값과 차분값의 합을 매트릭스의 최소의 요소의 값으로서 결정할 수 있다. 본 실시형태에 따르면, 초기값을 8로 설정하였지만, 임의의 값을 초기값으로서 이용하거나, 최소의 요소 자체의 값을 부호화할 수 있다. 또한, 주사 방법은 수평 스캔에 한정되지 않는다. 즉, 도 16b에 도시된 수직 스캔 등의 상이한 스캔 방법도, 단방향의 주사 방법이기만 하면, 이용될 수 있다.
본 실시형태에 따른 화상 복호화 처리를 나타내는 플로우차트는 스텝 S1003의 동작을 제외하고는 도 10에 도시된 제2 실시형태의 플로우차트와 마찬가지이다. 따라서, 스텝 S1003 이외의 동작은 제2 실시형태의 동작과 마찬가지여서, 그 설명은 생략한다.
스텝 S1003에서, 양자화 매트릭스 역주사 유닛(208)은 스텝 S1002에서 생성된 차분 매트릭스로부터 취득된 각각의 차분값을 역주사해서 2차원의 차분값 매트릭스를 재생한다. 또한, 양자화 매트릭스의 각 요소를 산출해서 2차원의 양자화 매트릭스를 재생한다. 본 실시형태에 따르면, 도 17c에 도시되는 차분 매트릭스가 이 처리를 설명하는 데에 이용된다. 차분 매트릭스는 도 16a에 도시되는 수평 스캔에 의해 역주사되고, 도 17b에 도시되는 2차원의 차분값 매트릭스를 산출한다. 그리고 상부 및 좌측의 요소 중 더 큰 값을 예측값으로 결정한다. 또한, 각 예측값과 각 차분값의 합을 양자화 매트릭스의 각 요소의 값으로 한다. 단방향의 역주사 방법이기만 하면, 역주사 방법은 수평 스캔에 한정되지 않는다. 또한, 양자화 매트릭스의 각 요소의 재생에 사용된 각 요소의 값을 취득하는 데에, 좌측 및 상측의 요소 중 더 작은 값의 요소, 또는 용소의 평균값을 대신 예측값으로서 사용할 수 있다.
상술된 구성과 동작에 따르면, 제5 실시형태에 따라 생성된 양자화 매트릭스의 부호량이 더욱 적은 비트스트림의 복호화를 행해서 재생 화상을 얻을 수 있다.
본 실시형태에 따르면, 좌측 및 상측 요소를 이용해서 예측값을 산출했지만, 예측값은, 예를 들어 좌측 상부의 요소를 대신 이용해서 산출될 수도 있다. 또한, 그러한 요소 이외의 요소를 이용할 수도 있다. 그러한 경우에, 최대값, 최소값, 평균값 외에, 이를 대신하여 중간값을 이용할 수도 있다.
본 발명의 제7 실시형태에서는, 화상 부호화 장치는 도 1에 도시된 제1 실시형태의 화상 부호화 장치와 마찬가지의 구성을 가진다. 단, 양자화 매트릭스 주사 유닛(109)의 동작이 상이하다. 양자화 매트릭스 주사 유닛(109)의 처리 이외의 처리는 제1 실시형태의 처리와 마찬가지이므로, 그 설명을 생략한다.
양자화 매트릭스 주사 유닛(109)은 2차원 형상의 양자화 매트릭스를 양자화 매트릭스 저장 유닛(106)으로부터 순서대로 판독하고, 각 요소와 예측값의 차분을 산출하고, 산출된 차분을 주사하여 취득된 결과를 1차원의 행렬로 배치한다. 차분값의 산출 방법은 제1 실시형태의 양자화 매트릭스 주사 유닛(109)에 의해 이용된 방법과는 상이하다.
본 실시형태에 따르면, 도 18a에 도시된 것과 같은 대각선 방향의 단방향 스캔을 이용하여 요소마다 주사순으로 요소와 그 직전의 요소의 차분을 산출한다. 그러나, 주사 방법은 그러한 예에 한정되지 않는다. 예를 들면, 도 18b에 도시된 대각선 방향의 단방향 스캔이 대신 이용될 수도 있다. 도 18b의 주사 방향과 도 18a의 주사 방향은 대각선에 대하여 대칭적이다. 즉, 단방향 주사 방법이기만 하면, 어떠한 주사 방법이라도 이용될 수 있다. 또한, 본 실시형태에서 8×8 화소의 변환 블록 사이즈가 추가로 이용되는 경우에는, 도 18c에 도시된 것과 같은 8×8 화소 변환 블록에 대응하는 대각선 방향의 단방향 스캔을 이용한다.
본 실시형태에 따른 화상 부호화 처리를 나타내는 플로우차트는 스텝 S902의 동작을 제외하고는 도 9에 도시된 제1 실시형태의 플로우차트와 마찬가지이다. 스텝 S902에서 행해지는 것 이외의 동작은 제1 실시형태에서 설명한 것과 마찬가지이므로, 그 설명을 생략한다.
스텝 S902에서, 양자화 매트릭스 주사 유닛(109)은 스텝 S901에서 생성된 양자화 매트릭스를 주사한다. 그 후에, 각 요소의 차분을 산출하고, 차분 매트릭스를 생성한다. 본 실시형태에 따르면, 도 19a에 도시되는 양자화 매트릭스를 도 18a에 도시되는 주사 방법으로 주사하고, 도 19b에 도시되는 차분 매트릭스를 생성한다. 그러나, 양자화 매트릭스 및 주사 방법은 이러한 예에 한정되지 않는다.
이상의 구성과 동작에 의해, 도 13a에 도시되는 지그재그 스캔을 대신하여 도 18a에 도시되는 대각선 방향의 주사를 이용하여 양자화 계수를 부호화하는 비디오 부호화 방법에서, 주사 방법을 공유함으로써, 메모리를 절약하면서 유사한 효율, 또는 보다 고효율로 비트스트림을 생성할 수 있다.
최근, ISO/IEC와 ITU-T로부터의 전문가에 의해 JCT-VC(Joint Collaborative Team on Video Coding)이 설립되어, H.264의 후계로서 새로운 국제적인 비디오 부호화 표준을 개발하고 있다. JCT-VC에의 기고 JCTVC-J0150에 따르면, 본 실시형태의 방법과 동일한 방법인 대각선 방향의 주사 방법을 양자화 매트릭스의 부호화에 이용함으로써, 동일하거나 약간 향상된 효율을 확인할 수 있다고 보고되어 있다. 또한, 현재 JCT-VC에서 표준화가 진척되어 있는 HEVC(High Efficiency Video Coding)에서는 지그재그 스캔이 이용되어 있지 않기 때문에, 주사 방법을 공유하여 메모리를 절약하는 효과도 상기 기고에서 보고되어 있다.<http://phenix.int-evry.fr/jct/doc_end_user/documents/10_Stockholm/wg11/>
또한, 도 20a 내지 도 20d에 도시된 바와 같이, 양자화 매트릭스를 몇 개의 작은 매트릭스로 분할하면, 그 작은 매트릭스는 단방향 주사에 의해 주사될 수 있다. 이러한 방식으로, 4×4 양자화 매트릭스의 주사 방법을 큰 사이즈의 양자화 매트릭스에 적용할 수 있고, 주사 순서 정보를 저장하는 데에 필요한 메모리를 감소시킬 수 있다.
본 발명의 제8 실시형태에 따르면, 화상 복호화 장치는 도 2에 도시된 제2 실시형태의 화상 복호화 장치와 마찬가지의 구성을 가진다. 단, 양자화 매트릭스 역주사 유닛(208)의 동작이 상이하다. 본 실시형태의 처리는 양자화 매트릭스 역주사 유닛(208)에 의해 행해지는 동작을 제외하고는 제2 실시형태의 처리와 마찬가지여서, 그 마찬가지의 처리의 설명을 생략한다. 본 실시형태에 따르면, 제7 실시형태에 따라 생성된 비트스트림의 복호화에 대해서 설명한다.
양자화 매트릭스 역주사 유닛(208)은 제7 실시형태의 양자화 매트릭스 주사 유닛(109)의 역동작을 행한다. 양자화 매트릭스 역주사 유닛(208)에 입력된 차분 매트릭스는, 각각의 차분값으로부터 양자화 매트릭스의 각 요소를 산출한다. 그런 다음, 산출된 요소를 역주사해서 2차원의 양자화 매트릭스를 재생한다.
본 실시형태에 따르면, 차분 매트릭스의 각각의 차분값으로부터 양자화 매트릭스의 각 요소를 산출하고, 취득된 요소를 도 18a에 도시되는 주사 방법을 이용해서 역주사해서 2차원의 양자화 매트릭스를 재생한다. 역주사 방법은 도 18a에 도시된 방법에 한정되지 않고, 대안적으로 도 18b에 도시된 대각선 방향의 단방향 주사일 수 있다. 도 18b의 주사 방향과 도 18a의 주사 방향은 대각선에 대하여 대칭이다. 즉, 단방향 주사 방법이기만 하면, 어떠한 주사 방법도 이용될 수 있다.
본 실시형태에 따른 화상 복호화 처리를 나타내는 플로우차트는 스텝 S1003의 동작을 제외하고는 도 10에 도시된 제2 실시형태의 플로우차트와 마찬가지이다. 따라서, 스텝 S1003 이외의 동작은 제2 실시형태와 마찬가지여서, 그 설명을 생략한다.
스텝 S1003에서, 양자화 매트릭스 역주사 유닛(208)은 스텝 S1002에서 생성된 차분 매트릭스로부터 양자화 매트릭스의 각 요소를 산출하고, 각 요소의 역주사를 행하여 2차원의 양자화 매트릭스를 재생한다. 본 실시형태에 따르면, 도 19b에 도시되는 차분 매트릭스로부터 양자화 매트릭스의 각 요소를 산출하고, 산출된 각각의 요소를 도 18a에 도시되는 역주사 방법을 이용해서 역주사한다. 결과적으로, 도 19a에 도시된 양자화 매트릭스를 재생한다. 차분 매트릭스 및 역주사 방법은 이러한 예에 한정되지 않는다.
이상의 구성과 동작에 의해, 주사 방법을 공유함으로써 메모리를 절약하면서, 제7 실시형태에 의해 생성된 동일하거나 약간 나은 부호화 효율로 비트스트림의 복호화하여 재생 화상을 얻을 수 있다.
상기 실시형태에서는, 도 1 내지 도 4에 나타낸 각 처리 유닛은 하드웨어 성분에 의해 구현된다. 그러나, 도 1 내지 도 4에 나타낸 각 처리 유닛에 의해 행해지는 처리는 컴퓨터 실행가능 프로그램에 의해 행해질 수 있다.
도 14는, 상기 각 실시형태에 따른 화상 처리 장치에 적용가능한 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.
CPU(중앙 처리 유닛)(1401)는 RAM(랜덤 액세스 메모리)(1402)이나 ROM(판독 전용 메모리)(1403)에 저장되어 있는 컴퓨터 프로그램이나 데이터에 따라 컴퓨터 전체의 제어를 행한다. 또한, CPU(1401)는 상기 실시형태에 따른 화상 처리 장치가 행하는 상기 처리를 실행한다. 즉, CPU(1401)는 도 1 내지 도 4에 나타낸 각 처리 유닛으로서 기능한다.
RAM(1402)은 외부 기억 장치(1406)로부터 로딩된 컴퓨터 프로그램이나 데이터, I/F(인터페이스)(1407)를 개재해서 외부로부터 취득한 데이터를 일시적으로 기억하는 데에 사용되는 영역을 포함한다. 또한, RAM(1402)은, CPU(1401)가 각종의 처리를 실행할 때에 이용하는 워크 에어리어를 포함한다. 즉, RAM(1402)은 프레임 메모리로서 할당되거나, 기타의 각종 영역을 적절히 제공할 수 있다.
ROM(1403)에는, 컴퓨터의 설정 데이터 및 부트 프로그램 등의 프로그램이 저장되어 있다. 조작 유닛(1404)은 키보드나 마우스를 포함한다. 컴퓨터의 유저가 조작 유닛(1404)을 조작함으로써, 각종의 지시가 CPU(1401)에 입력된다. 출력 유닛(1405)은 CPU(1401)에 의해 실행되는 처리 결과를 출력한다. 출력 유닛(1405)은, 예를 들면 액정 디스플레이와 같은 표시 장치이며, 처리 결과를 표시할 수 있다.
외부 기억 장치(1406)는, 하드디스크 드라이브 장치로 대표되는, 대용량 정보 기억 유닛이다. 외부 기억 장치(1406)에는, OS(오퍼레이팅 시스템) 및 도 1 내지 도 4에 나타낸 각 유닛의 기능을 CPU(1401)가 구현하는 때에 사용되는 컴퓨터 프로그램이 저장된다. 또한, 외부 기억 장치(1406)에는, 처리 대상으로서의 각 화상 데이터가 저장될 수 있다.
외부 기억 장치(1406)에 저장된 컴퓨터 프로그램이나 데이터는, CPU(1401)의 제어에 따라 적절히 RAM(1402)에 로딩되어, CPU(1401)에 의해 처리된다. I/F(1407)에는, LAN(로컬 에어리어 네트워크)이나 인터넷 등의 네트워크, 투영 장치나 표시 장치 등의 다른 기기에 접속될 수가 있어, 컴퓨터는 이 I/F(1407)를 개재해서 각종 정보를 송수신할 수 있다. 버스(1408)는 상술의 각 유닛을 연결한다.
상술한 구성으로 구현되는 동작은 주로 CPU(1401)에 의해 행해진다. 전술한 플로우차트를 참조하여 설명한 처리는 CPU(1401)에 의해 제어된다.
본 발명은, 전술한 기능을 실현하는 컴퓨터 프로그램의 코드를 기록한 기억 매체를 시스템에 공급하고, 그 시스템이 컴퓨터 프로그램의 코드를 판독하여 실행하는 때에 실시될 수 있다. 이 경우에, 기억 매체로부터 판독된 프로그램 코드 자체가 전술한 실시형태의 기능을 실현하고, 그 프로그램 코드를 기억하는 기억 매체는 본 발명을 구성한다. 또한, 그 프로그램의 코드의 지시에 기초하여, 컴퓨터상에서 가동하고 있는 OS 등이 실제의 처리의 일부 또는 전부를 행하여, 전술한 기능의 기능이 실현되는 경우도 본 발명에 포함된다.
또한, 본 발명은 이하의 구성에 의해 실현해도 된다. 구체적으로, 기억 매체로부터 판독된 컴퓨터 프로그램 코드를, 컴퓨터에 삽입된 기능 확장 카드나 컴퓨터에 접속된 기능 확장 유닛에 구비되는 메모리에 기입하고, 컴퓨터 프로그램 코드로부터의 지시에 기초하여, 그 기능 확장 카드나 기능 확장 유닛에 구비되는 CPU가 실제의 처리의 일부 또는 전부를 행하여, 전술한 기능을 실현한다. 전술한 구성 또한 본 발명에 포함된다.
본 발명을 상기 기억 매체에 적용할 경우, 그 기억 매체에는, 앞서 설명한 플로우차트에 대응하는 컴퓨터 프로그램의 코드가 저장된다.
본 발명이 실시형태를 참조하여 설명되었지만, 본 발명이 개시된 실시형태에 한정되지 않음을 이해하여야 한다. 아래의 특허청구범위의 범위는 모든 변경, 등가 구조 및 기능을 포함하도록 가장 넓은 해석과 일치하여야 한다.
본 출원은, 2011년 11월 7일에 출원된 일본 특허 출원 제2011-243942호, 2012년 1월 18일에 출원된 일본 특허 출원 제2012-008199호, 2012년 3월 14일에 출원된 일본 특허 출원 제2012-057424호, 및 2012년 4월 16일에 출원된 일본 특허 출원 제2012-093113호의 우선권을 주장하며, 이들은 전체로서 본 명세서에서 참조로 인용된다.

Claims (25)

  1. 화상 데이터를 양자화하기 위해 이용될 양자화 매트릭스를 이용하여 화상 데이터를 부호화하기 위한 화상 부호화 장치로서,
    상기 양자화 매트릭스에 포함되는 요소들 사이의 차분값들을 취득하기 위한 취득 수단; 및
    상기 취득 수단에 의해 취득된 상기 차분값들로 구성된 1차원 차분값 배열을 생성하기 위한 생성 수단을 포함하고,
    상기 취득 수단은, 상기 양자화 매트릭스의 좌측 상단에 위치되는 요소와 미리 정해진 초기값 사이의 제1 차분값, 상기 양자화 매트릭스의 좌측 상단에 위치되는 요소에 아래로 인접하는 요소와 상기 양자화 매트릭스의 좌측 상단에 위치되는 요소 사이의 제2 차분값, 및 상기 양자화 매트릭스의 좌측 상단에 위치되는 요소에 우측으로 인접하는 요소와 상기 양자화 매트릭스의 좌측 상단에 위치되는 요소에 아래로 인접하는 요소 사이의 제3 차분값을 적어도 취득하고,
    상기 생성 수단은 상기 제1 차분값을 상기 1차원 차분값 배열의 첫 번째 차분값으로 취하고, 상기 제2 차분값을 상기 1차원 차분값 배열의 두 번째 차분값으로 취하고, 상기 제3 차분값을 상기 1차원 차분값 배열의 세 번째 차분값으로 취하는, 화상 부호화 장치.
  2. 제1항에 있어서,
    상기 취득 수단은, 상기 양자화 매트릭스의 좌측 상단에 위치되는 요소에 두 개 아래의 요소와 상기 양자화 매트릭스의 좌측 상단에 위치되는 요소에 우측으로 인접하는 요소 사이의 제4 차분값을 취득하고,
    상기 생성 수단은, 상기 제4 차분값을 상기 1차원 차분값 배열의 네 번째 차분값으로 취득하는, 화상 부호화 장치.
  3. 제1항에 있어서,
    상기 취득 수단은, 상기 양자화 매트릭스의 좌측 하단에 위치되는 요소와 상기 양자화 매트릭스의 우측 상단에 위치되는 요소에 좌측으로 인접하는 요소 사이의 차분값을 취득하는, 화상 부호화 장치.
  4. 제1항에 있어서,
    상기 취득 수단은, 상기 양자화 매트릭스의 좌측 끝에 위치되는 요소들 중에서 상기 좌측 상단에 위치되는 요소를 제외한 각 요소와, 상기 양자화 매트릭스의 좌측 끝에 위치되는 상기 각 요소로부터 미리 정해진 대각선 방향으로 위치되는 요소의 좌측에 위치되고 상기 양자화 매트릭스의 상단에 위치되는 각 요소 사이의 차분값을 취득하고,
    상기 양자화 매트릭스의 하단에 위치되는 요소들 중 상기 우측 하단에 위치되는 요소 및 좌측 하단에 위치되는 요소를 제외한 각 요소와, 상기 양자화 매트릭스의 하단에 위치되는 각 요소로부터 미리 정해진 대각선 방향으로 위치되는 요소의 위에 위치되고 상기 양자화 매트릭스의 우측 끝에 위치되는 각 요소 사이의 차분값을 취득하는, 화상 부호화 장치.
  5. 제1항에 있어서,
    상기 취득 수단은, 상기 양자화 매트릭스의 적어도 일부 요소들에 대하여 상기 양자화 매트릭스의 미리 정해진 대각선 방향에서 서로 인접하는 요소들 사이의 차분값들을 취득하는, 화상 부호화 장치.
  6. 제1항에 있어서,
    상기 취득 수단은, 상기 양자화 매트릭스의 좌측 끝에 위치되는 요소들 중 상기 좌측 상단에 위치되는 요소를 제외한 요소들로부터 미리 정해진 대각선 방향으로 상기 양자화 매트릭스의 상단에 위치되는 요소들을 향하여 순차로, 또는 상기 양자화 매트릭스의 하단에 위치되는 요소들 중 우측 하단에 위치되는 요소를 제외한 요소들로부터 상기 미리 정해진 대각선 방향으로 상기 양자화 매트릭스의 우측 끝에 위치되는 요소들을 향하여 순차로 상기 양자화 매트릭스의 요소들을 스캔하고, 스캔 순서로 상기 요소들 사이의 차분값들을 취득하는, 화상 부호화 장치.
  7. 제4항 내지 제6항 중 어느 한 항에 있어서,
    상기 미리 정해진 대각선 방향은 상기 양자화 매트릭스의 좌측 하단과 우측 상단을 연결하는 대각선에 평행한, 화상 부호화 장치.
  8. 제1항에 있어서,
    상기 양자화 매트릭스는 2차원 배열로 표시되는, 화상 부호화 장치.
  9. 제1항에 있어서,
    화상 데이터에 예측 처리를 행하고 예측 오차를 도출하기 위한 예측 수단;
    상기 예측 오차에 직교 변환을 행하고 직교 변환 계수를 도출하기 위한 직교 변환 수단;
    상기 양자화 매트릭스를 이용하여 상기 직교 변환 계수를 양자화하고 양자화 계수를 도출하기 위한 양자화 수단; 및
    상기 양자화 계수를 부호화하기 위한 부호화 수단을 더 포함하는, 화상 부호화 장치.
  10. 제1항에 있어서,
    상기 양자화 매트릭스는 미리 정해진 양자화 매트릭스가 분할된 서브 양자화 매트릭스인, 화상 부호화 장치.
  11. 제1항에 있어서,
    상기 생성 수단은, 상기 차분값들이 상기 취득 수단에 의해 취득된 순서로 배열된 상기 차분값 배열을 생성하는, 화상 부호화 장치.
  12. 양자화 계수를 역양자화하기 위해 이용될 양자화 매트릭스를 이용하여 비트스트림으로부터 화상 데이터를 복호화하기 위한 화상 복호화 장치로서,
    상기 비트스트림으로부터 상기 양자화 매트릭스에 포함되는 요소들 사이의 차분값들을 복호화하기 위한 복호화 수단;
    상기 복호화 수단에 의해 복호화된 복수의 차분값들로 구성된 차분값 배열의 첫 번째 차분값과 미리 정해진 초기값을 합산함으로써 상기 양자화 매트릭스의 첫 번째 요소를 도출하고, 상기 차분값 배열의 n(n은 2이상의 자연수) 번째 차분값과 상기 양자화 매트릭스의 (n-1) 번째 요소를 합산함으로써 상기 양자화 매트릭스의 n 번째 요소를 도출하여 1차원 배열의 요소들을 도출하기 위한 도출 수단; 및
    상기 도출 수단에 의해 도출된 상기 1차원 배열의 요소들을 2차원 배열의 양자화 매트릭스의 요소들에 대응시키기 위한 대응 수단을 포함하고,
    상기 대응 수단은, 상기 1차원 배열의 첫 번째 요소를 상기 양자화 매트릭스의 좌측 상단에 위치되는 요소에 대응시키고, 상기 1차원 배열의 두 번째 요소를 상기 양자화 매트릭스의 상기 좌측 상단에 위치되는 요소에 아래로 인접하는 요소에 대응시키고, 상기 1차원 배열의 세 번째 요소를 상기 양자화 매트릭스의 상기 좌측 상단에 위치되는 요소에 우측으로 인접하는 요소에 대응시키는, 화상 복호화 장치.
  13. 제12항에 있어서,
    상기 대응 수단은, 상기 1차원 배열의 네 번째 요소를 상기 양자화 매트릭스의 상기 좌측 상단에 위치되는 요소의 두 개 아래의 요소에 대응시키는, 화상 복호화 장치.
  14. 제12항에 있어서,
    상기 대응 수단이 상기 1차원 배열의 p(p는 1이상의 자연수) 번째 요소를 상기 양자화 매트릭스의 우측 상단에 위치되는 요소에 좌측으로 인접하는 요소에 대응시키는 경우, 상기 대응 수단은 상기 1차원 배열의 p+1 번째 요소를 상기 양자화 매트릭스의 좌측 하단에 위치되는 요소에 대응시키는, 화상 복호화 장치.
  15. 제12항에 있어서,
    상기 양자화 매트릭스의 크기는 상기 화상 데이터를 포함하는 비트스트림의 헤더 정보에 포함된 정보에 기초하는, 화상 복호화 장치.
  16. 제12항에 있어서,
    상기 대응 수단이 상기 1차원 배열의 p(p는 3이상의 자연수) 번째 요소를 상기 양자화 매트릭스의 상단에 위치되는 요소에 대응시키는 경우, 상기 대응 수단은 상기 1차원 배열의 p+1 번째 요소를 상기 양자화 매트릭스의 좌측 끝에 위치되는 요소들 중 상기 양자화 매트릭스에서 상기 p 번째 요소가 대응된 위치로부터 미리 정해진 대각선 방향으로 위치된 요소의 아래로 인접하는 요소에 대응시키는, 화상 복호화 장치.
  17. 제12항에 있어서,
    상기 대응 수단이 상기 1차원 배열의 p(p는 3이상의 자연수) 번째 요소를 상기 양자화 매트릭스의 우측 끝에 위치되는 요소에 대응시키는 경우, 상기 대응 수단은 상기 1차원 배열의 p+1 번째 요소를 상기 양자화 매트릭스의 하단에 위치되는 요소들 중 상기 양자화 매트릭스에서 상기 p 번째 요소가 대응된 위치로부터 미리 정해진 대각선 방향으로 위치된 요소의 우측으로 인접하는 요소에 대응시키는, 화상 복호화 장치.
  18. 제12항에 있어서,
    상기 대응 수단은 상기 도출 유닛에 의해 도출된 상기 1차원 배열의 요소들을 2차원 양자화 매트릭스의 요소들에, 상기 양자화 매트릭스의 좌측 끝에 위치되는 요소들 중 상기 좌측 상단에 위치되는 요소를 제외한 요소들로부터 미리 정해진 대각선 방향으로 상기 양자화 매트릭스의 상단에 위치되는 요소들을 향하여 순차로, 또는 상기 양자화 매트릭스의 하단에 위치되는 요소들 중 우측 하단에 위치되는 요소를 제외한 요소들로부터 상기 미리 정해진 대각선 방향으로 상기 양자화 매트릭스의 우측 끝에 위치되는 요소들을 향하여 순차로 대응시키는, 화상 복호화 장치.
  19. 제16항 내지 제18항 중 어느 한 항에 있어서,
    상기 미리 정해진 대각선 방향은 상기 양자화 매트릭스의 좌측 하단과 우측 상단을 연결하는 대각선에 평행한, 화상 복호화 장치.
  20. 제12항에 있어서,
    상기 양자화 매트릭스는 2차원 배열로 표시되는, 화상 복호화 장치.
  21. 제12항에 있어서,
    상기 양자화 매트릭스를 이용하여 화상 데이터와 관련된 양자화 계수를 역양자화하고 직교 변환 계수를 도출하기 위한 역양자화 수단;
    상기 직교 변환 계수에 역직교 변환 처리를 행하고 예측 오차를 도출하기 위한 역직교 변환 수단; 및
    상기 예측 오차에 예측 처리를 행하고 화상 데이터를 도출하기 위한 예측 수단을 더 포함하는, 화상 복호화 장치.
  22. 화상 데이터를 양자화하기 위해 이용될 양자화 매트릭스를 이용하여 화상 데이터를 부호화하기 위한 화상 부호화 방법으로서,
    상기 양자화 매트릭스에 포함되는 요소들 사이의 차분값들을 취득하기 위한 취득 단계; 및
    상기 취득 단계에서 취득된 상기 차분값들로 구성된 1차원 차분값 배열을 생성하기 위한 생성 단계를 포함하고,
    상기 취득 단계는, 상기 양자화 매트릭스의 좌측 상단에 위치되는 요소와 미리 정해진 초기값 사이의 제1 차분값, 상기 양자화 매트릭스의 좌측 상단에 위치되는 요소에 아래로 인접하는 요소와 상기 양자화 매트릭스의 좌측 상단에 위치되는 요소 사이의 제2 차분값, 및 상기 양자화 매트릭스의 좌측 상단에 위치되는 요소에 우측으로 인접하는 요소와 상기 양자화 매트릭스의 좌측 상단에 위치되는 요소에 아래로 인접하는 요소 사이의 제3 차분값을 적어도 취득하고,
    상기 생성 단계는, 상기 제1 차분값을 상기 1차원 차분값 배열의 첫 번째 차분값으로 취하고, 상기 제2 차분값을 상기 1차원 차분값 배열의 두 번째 차분값으로 취하고, 상기 제3 차분값을 상기 1차원 차분값 배열의 세 번째 차분값으로 취하는, 화상 부호화 방법.
  23. 양자화 계수를 역양자화하기 위해 이용될 양자화 매트릭스를 이용하여 비트스트림으로부터 화상 데이터를 복호화하기 위한 화상 복호화 방법으로서,
    상기 비트스트림으로부터 상기 양자화 매트릭스에 포함되는 요소들 사이의 차분값들을 복호화하기 위한 복호화 단계;
    상기 복호화 단계에서 복호화된 복수의 차분값들로 구성된 차분값 배열의 첫 번째 차분값과 미리 정해진 초기값을 합산함으로써 상기 양자화 매트릭스의 첫 번째 요소를 도출하고, 상기 차분값 배열의 n(n은 2이상의 자연수) 번째 차분값과 상기 양자화 매트릭스의 (n-1) 번째 요소를 합산함으로써 상기 양자화 매트릭스의 n 번째 요소를 도출하여 1차원 배열의 요소들을 도출하기 위한 도출 단계; 및
    상기 도출 단계에서 도출된 상기 1차원 배열의 요소들을 2차원 배열의 양자화 매트릭스의 요소들에 대응시키기 위한 대응 단계를 포함하고,
    상기 대응 단계는, 상기 1차원 배열의 첫 번째 요소를 상기 양자화 매트릭스의 좌측 상단에 위치되는 요소에 대응시키고, 상기 1차원 배열의 두 번째 요소를 상기 양자화 매트릭스의 상기 좌측 상단에 위치되는 요소에 아래로 인접하는 요소에 대응시키고, 상기 1차원 배열의 세 번째 요소를 상기 양자화 매트릭스의 상기 좌측 상단에 위치되는 요소에 우측으로 인접하는 요소에 대응시키는, 화상 복호화 방법.
  24. 컴퓨터 프로그램 코드를 기록한 컴퓨터 판독가능 기억 매체로서, 상기 컴퓨터 프로그램 코드는 컴퓨터에서 실행될 경우 상기 컴퓨터로 하여금,
    화상 데이터를 양자화하기 위해 이용될 양자화 매트릭스에 포함되는 요소들 사이의 차분값들을 취득하기 위한 취득 기능; 및
    상기 차분값들로 구성된 1차원 차분값 배열을 생성하기 위한 생성 기능을 실행하도록 구성되고,
    상기 취득 기능은, 상기 양자화 매트릭스의 좌측 상단에 위치되는 요소와 미리 정해진 초기값 사이의 제1 차분값, 상기 양자화 매트릭스의 좌측 상단에 위치되는 요소에 아래로 인접하는 요소와 상기 양자화 매트릭스의 좌측 상단에 위치되는 요소 사이의 제2 차분값, 및 상기 양자화 매트릭스의 좌측 상단에 위치되는 요소에 우측으로 인접하는 요소와 상기 양자화 매트릭스의 좌측 상단에 위치되는 요소에 아래로 인접하는 요소 사이의 제3 차분값을 적어도 취득하고,
    상기 생성 기능은, 상기 제1 차분값을 상기 1차원 차분값 배열의 첫 번째 차분값으로 취하고, 상기 제2 차분값을 상기 1차원 차분값 배열의 두 번째 차분값으로 취하고, 상기 제3 차분값을 상기 1차원 차분값 배열의 세 번째 차분값으로 취하는, 컴퓨터 판독가능 기억 매체.
  25. 컴퓨터 프로그램 코드를 기록한 컴퓨터 판독가능 기억 매체로서, 상기 컴퓨터 프로그램 코드는 컴퓨터에서 실행될 경우 상기 컴퓨터로 하여금,
    비트스트림으로부터, 양자화 계수를 역양자화하기 위해 이용될 양자화 매트릭스에 포함되는 요소들 사이의 차분값들을 복호화하기 위한 복호화 기능;
    상기 차분값들로 구성된 차분값 배열의 첫 번째 차분값과 미리 정해진 초기값을 합산함으로써 상기 양자화 매트릭스의 첫 번째 요소를 도출하고, 상기 차분값 배열의 n(n은 2이상의 자연수) 번째 차분값과 상기 양자화 매트릭스의 (n-1) 번째 요소를 합산함으로써 상기 양자화 매트릭스의 n 번째 요소를 도출하여 1차원 배열의 요소들을 도출하기 위한 도출 기능; 및
    상기 1차원 배열의 요소들을 2차원 배열의 양자화 매트릭스의 요소들에 대응시키기 위한 대응 기능을 실행하도록 구성되고,
    상기 대응 기능은, 상기 1차원 배열의 첫 번째 요소를 상기 양자화 매트릭스의 좌측 상단에 위치되는 요소에 대응시키고, 상기 1차원 배열의 두 번째 요소를 상기 양자화 매트릭스의 상기 좌측 상단에 위치되는 요소에 아래로 인접하는 요소에 대응시키고, 상기 1차원 배열의 세 번째 요소를 상기 양자화 매트릭스의 상기 좌측 상단에 위치되는 요소에 우측으로 인접하는 요소에 대응시키는, 컴퓨터 판독가능 기억 매체.
KR1020167020968A 2011-11-07 2012-10-23 부호화 장치, 복호화 장치, 부호화 방법, 복호화 방법, 및 컴퓨터 판독가능 기억 매체 KR101759461B1 (ko)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JPJP-P-2011-243942 2011-11-07
JP2011243942 2011-11-07
JPJP-P-2012-008199 2012-01-18
JP2012008199 2012-01-18
JP2012057424 2012-03-14
JPJP-P-2012-057424 2012-03-14
JP2012093113A JP6120490B2 (ja) 2011-11-07 2012-04-16 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JPJP-P-2012-093113 2012-04-16
PCT/JP2012/006784 WO2013069216A1 (en) 2011-11-07 2012-10-23 Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020147015304A Division KR101672607B1 (ko) 2011-11-07 2012-10-23 부호화 장치, 복호화 장치, 부호화 방법, 복호화 방법, 및 컴퓨터 판독가능 기억 매체

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020177019241A Division KR20170084361A (ko) 2011-11-07 2012-10-23 부호화 장치, 복호화 장치, 부호화 방법, 복호화 방법, 및 컴퓨터 판독가능 기억 매체

Publications (2)

Publication Number Publication Date
KR20160099106A true KR20160099106A (ko) 2016-08-19
KR101759461B1 KR101759461B1 (ko) 2017-07-18

Family

ID=47215690

Family Applications (6)

Application Number Title Priority Date Filing Date
KR1020197015236A KR102086310B1 (ko) 2011-11-07 2012-10-23 부호화 장치, 복호화 장치, 부호화 방법, 복호화 방법, 및 컴퓨터 판독가능 기억 매체
KR1020177019241A KR20170084361A (ko) 2011-11-07 2012-10-23 부호화 장치, 복호화 장치, 부호화 방법, 복호화 방법, 및 컴퓨터 판독가능 기억 매체
KR1020187018749A KR102041744B1 (ko) 2011-11-07 2012-10-23 부호화 장치, 복호화 장치, 부호화 방법, 복호화 방법, 및 컴퓨터 판독가능 기억 매체
KR1020167020968A KR101759461B1 (ko) 2011-11-07 2012-10-23 부호화 장치, 복호화 장치, 부호화 방법, 복호화 방법, 및 컴퓨터 판독가능 기억 매체
KR1020147015304A KR101672607B1 (ko) 2011-11-07 2012-10-23 부호화 장치, 복호화 장치, 부호화 방법, 복호화 방법, 및 컴퓨터 판독가능 기억 매체
KR1020187018745A KR101985004B1 (ko) 2011-11-07 2012-10-23 부호화 장치, 복호화 장치, 부호화 방법, 복호화 방법, 및 컴퓨터 판독가능 기억 매체

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020197015236A KR102086310B1 (ko) 2011-11-07 2012-10-23 부호화 장치, 복호화 장치, 부호화 방법, 복호화 방법, 및 컴퓨터 판독가능 기억 매체
KR1020177019241A KR20170084361A (ko) 2011-11-07 2012-10-23 부호화 장치, 복호화 장치, 부호화 방법, 복호화 방법, 및 컴퓨터 판독가능 기억 매체
KR1020187018749A KR102041744B1 (ko) 2011-11-07 2012-10-23 부호화 장치, 복호화 장치, 부호화 방법, 복호화 방법, 및 컴퓨터 판독가능 기억 매체

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020147015304A KR101672607B1 (ko) 2011-11-07 2012-10-23 부호화 장치, 복호화 장치, 부호화 방법, 복호화 방법, 및 컴퓨터 판독가능 기억 매체
KR1020187018745A KR101985004B1 (ko) 2011-11-07 2012-10-23 부호화 장치, 복호화 장치, 부호화 방법, 복호화 방법, 및 컴퓨터 판독가능 기억 매체

Country Status (15)

Country Link
US (5) US9826241B2 (ko)
EP (5) EP3745723B1 (ko)
JP (1) JP6120490B2 (ko)
KR (6) KR102086310B1 (ko)
CN (7) CN107087170B (ko)
BR (5) BR122020000394B1 (ko)
ES (3) ES2817844T3 (ko)
HR (1) HRP20230620T1 (ko)
HU (3) HUE059081T2 (ko)
IN (1) IN2014CN03856A (ko)
PL (3) PL2777264T3 (ko)
PT (3) PT4075802T (ko)
RS (3) RS65220B1 (ko)
RU (8) RU2627301C1 (ko)
WO (1) WO2013069216A1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101442127B1 (ko) * 2011-06-21 2014-09-25 인텔렉추얼디스커버리 주식회사 쿼드트리 구조 기반의 적응적 양자화 파라미터 부호화 및 복호화 방법 및 장치
JP6120490B2 (ja) * 2011-11-07 2017-04-26 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
CN111131820B (zh) 2012-04-16 2022-05-31 韩国电子通信研究院 图像解码方法和图像编码方法
KR101782280B1 (ko) 2013-12-18 2017-10-23 에이치에프아이 이노베이션 인크. 팔레트 테이블 예측을 위한 방법 및 장치
CN105981380B (zh) * 2013-12-18 2019-08-20 寰发股份有限公司 利用调色板编码的编码视频数据区块的方法和装置
CN105850136B (zh) 2013-12-22 2019-10-15 Lg电子株式会社 使用预测信号和变换编译信号预测视频信号的方法和装置
US10182242B2 (en) 2013-12-27 2019-01-15 Mediatek Inc. Method and apparatus for palette coding with cross block prediction
US10743031B2 (en) 2013-12-27 2020-08-11 Hfi Innovation Inc. Method and apparatus for syntax redundancy removal in palette coding
WO2015096647A1 (en) 2013-12-27 2015-07-02 Mediatek Inc. Method and apparatus for major color index map coding
EP3061247A4 (en) 2014-01-07 2016-08-31 Mediatek Inc METHOD AND APPARATUS FOR COLOR INDEX PREDICTION
TWI561060B (en) * 2015-01-15 2016-12-01 Mstar Semiconductor Inc Signal processing apparatus and signal processing method including quantization or inverse-quantization process
US11144820B2 (en) * 2017-02-28 2021-10-12 Microsoft Technology Licensing, Llc Hardware node with position-dependent memories for neural network processing
CN115442607A (zh) * 2017-07-31 2022-12-06 韩国电子通信研究院 对图像编码和解码的方法及存储比特流的计算机可读介质
KR20230008911A (ko) * 2017-12-15 2023-01-16 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
GB2578633B (en) * 2018-11-02 2021-10-13 Advanced Risc Mach Ltd Encoding data arrays
WO2020141892A1 (ko) 2019-01-01 2020-07-09 엘지전자 주식회사 이차 변환에 기반한 영상 코딩 방법 및 그 장치
JP7267785B2 (ja) * 2019-03-11 2023-05-02 キヤノン株式会社 画像復号装置、画像復号方法、及びプログラム
JP2020150338A (ja) * 2019-03-11 2020-09-17 キヤノン株式会社 画像復号装置、画像復号方法、及びプログラム
JP2020150340A (ja) * 2019-03-11 2020-09-17 キヤノン株式会社 画像符号化装置、画像符号化方法、及びプログラム
WO2021054380A1 (ja) * 2019-09-20 2021-03-25 日本放送協会 符号化装置、復号装置、及びプログラム
CN114322847B (zh) * 2022-03-15 2022-05-31 北京精雕科技集团有限公司 单方向扫描传感器测量数据矢量化方法及装置

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04247770A (ja) * 1991-02-04 1992-09-03 Fujitsu Ltd 画像データ圧縮方法および画像データ圧縮装置ならびに画像データ復元装置
GB2259421B (en) * 1991-09-04 1995-01-18 Sony Broadcast & Communication Image data recording and transmission
US6680975B1 (en) 1992-02-29 2004-01-20 Samsung Electronics Co., Ltd. Signal encoding and decoding system and method
JP2679769B2 (ja) * 1992-11-16 1997-11-19 富士ゼロックス株式会社 画像信号の符号化装置
US5500678A (en) * 1994-03-18 1996-03-19 At&T Corp. Optimized scanning of transform coefficients in video coding
EP0808069B1 (en) * 1996-05-14 2003-05-02 Daewoo Electronics Corporation A Quantizer for video signal encoding system
JP4099682B2 (ja) * 1998-09-18 2008-06-11 ソニー株式会社 画像処理装置および方法、並びに記録媒体
WO2001076255A1 (en) * 2000-04-04 2001-10-11 Koninklijke Philips Electronics N.V. Video encoding method using a wavelet transform
KR100525785B1 (ko) * 2001-06-15 2005-11-03 엘지전자 주식회사 이미지 화소 필터링 방법
JP2003143414A (ja) * 2001-11-05 2003-05-16 Canon Inc 画像処理装置および画像処理方法
US7082450B2 (en) 2001-08-30 2006-07-25 Nokia Corporation Implementation of a transform and of a subsequent quantization
US6882685B2 (en) * 2001-09-18 2005-04-19 Microsoft Corporation Block transform and quantization for image and video coding
US7336713B2 (en) * 2001-11-27 2008-02-26 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding data
US7130472B2 (en) * 2002-01-21 2006-10-31 Canon Kabushiki Kaisha Image distribution apparatus, communication terminal apparatus, and control method thereof
JP2003250156A (ja) * 2002-02-25 2003-09-05 Matsushita Electric Ind Co Ltd 画像通信装置
JP2004040673A (ja) * 2002-07-08 2004-02-05 Toko Inc 監視カメラの画像にタイムコードを付加する方法及び装置
US7376280B2 (en) 2002-07-14 2008-05-20 Apple Inc Video encoding and decoding
JP4014087B2 (ja) * 2002-09-19 2007-11-28 株式会社リコー 画像処理装置、画像処理方法、プログラム及び記憶媒体
KR101169895B1 (ko) * 2004-01-20 2012-07-31 파나소닉 주식회사 화상 부호화 방법, 화상 복호화 방법, 화상 부호화 장치, 화상 복호화 장치 및 그 프로그램
CN100542262C (zh) * 2004-01-30 2009-09-16 松下电器产业株式会社 逆量化方法图像解码方法和设备及处理器
PL2384002T3 (pl) * 2004-01-30 2016-07-29 Panasonic Ip Corp America Sposób dekodowania ruchomych obrazów przy użyciu dodatkowych macierzy kwantyzacji
JP2006060656A (ja) * 2004-08-23 2006-03-02 Victor Co Of Japan Ltd 画像信号符号化方法及び画像信号符号化装置
JP2006157481A (ja) * 2004-11-30 2006-06-15 Canon Inc 画像符号化装置及びその方法
US20060153294A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Inter-layer coefficient coding for scalable video coding
US8218634B2 (en) * 2005-01-13 2012-07-10 Ntt Docomo, Inc. Nonlinear, in-the-loop, denoising filter for quantization noise removal for hybrid video compression
EP1860886A4 (en) * 2005-03-14 2011-08-03 Panasonic Corp CODING DEVICE AND DYNAMIC IMAGE RECORDING SYSTEM WITH THE CODING DEVICE
US7873105B2 (en) * 2005-04-01 2011-01-18 Broadcom Corporation Hardware implementation of optimized single inverse quantization engine for a plurality of standards
KR100868476B1 (ko) * 2005-10-21 2008-11-12 한국전자통신연구원 적응적 스캐닝을 이용한 동영상 부호화/복호화 장치 및 그방법
CN100477796C (zh) * 2005-12-27 2009-04-08 中国科学院计算技术研究所 用于视频转换的变换系数块的转换方法
BRPI0621340A2 (pt) * 2006-02-13 2011-12-06 Toshiba Kk Toshiba Corp método e aparelho e programa de codificação/decodificação de vìdeo
CN101039421A (zh) * 2006-03-16 2007-09-19 华为技术有限公司 在编解码中的实现量化的方法和装置
JP4417919B2 (ja) * 2006-03-31 2010-02-17 株式会社東芝 画像符号化装置及び画像復号化装置
CN100409693C (zh) * 2006-07-13 2008-08-06 王国秋 用于图像和视频压缩的正交变换方法
JP4747975B2 (ja) * 2006-07-14 2011-08-17 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
BRPI0809255A2 (pt) * 2007-04-16 2014-09-23 Toshiba Kk Toshiba Corp Método e aparelho para a codificação e decodificação de vídeo
CN101127909B (zh) * 2007-09-29 2010-07-07 华为技术有限公司 一种图像码率控制方法及装置
EP2046053A1 (en) * 2007-10-05 2009-04-08 Thomson Licensing Method and device for adaptively quantizing parameters for image coding
US8798137B2 (en) * 2008-02-29 2014-08-05 City University Of Hong Kong Bit rate estimation in data or video compression
JP5241622B2 (ja) * 2008-07-02 2013-07-17 キヤノン株式会社 符号化装置および符号化方法
JP5680283B2 (ja) * 2008-09-19 2015-03-04 株式会社Ｎｔｔドコモ 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び動画像復号プログラム
JP4698743B2 (ja) * 2009-01-22 2011-06-08 シャープ株式会社 画像圧縮方法、画像圧縮装置、画像形成装置、コンピュータプログラム及び記録媒体
CN101604975A (zh) * 2009-07-08 2009-12-16 复旦大学 一种低功耗多模qc-ldpc码解码器及其工作方法
CN102577131A (zh) * 2009-08-06 2012-07-11 松下电器产业株式会社 编码方法、解码方法、编码装置及解码装置
EP2375751A1 (en) * 2010-04-12 2011-10-12 Panasonic Corporation Complexity reduction of edge-detection based spatial interpolation
CN108471538B (zh) 2010-04-13 2022-05-17 Ge视频压缩有限责任公司 解码显著性图的装置、方法及编码显著性图的装置
KR101152402B1 (ko) 2010-05-20 2012-06-05 에스케이하이닉스 주식회사 매립비트라인을 구비한 반도체장치 및 그 제조 방법
JP2012008199A (ja) 2010-06-22 2012-01-12 Fujitsu Ten Ltd 表示制御装置、表示システム及び表示制御方法
JP5582609B2 (ja) 2010-09-13 2014-09-03 株式会社ニッカリ 噛合式軌条走行車の軌条架設構造
JP2012093113A (ja) 2010-10-25 2012-05-17 Panasonic Corp 静電容量式加速度センサ
US10992958B2 (en) * 2010-12-29 2021-04-27 Qualcomm Incorporated Video coding using mapped transforms and scanning modes
US9338449B2 (en) * 2011-03-08 2016-05-10 Qualcomm Incorporated Harmonized scan order for coding transform coefficients in video coding
WO2012176465A1 (ja) 2011-06-24 2012-12-27 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
KR102006032B1 (ko) * 2011-06-29 2019-07-31 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
KR20130049523A (ko) * 2011-11-04 2013-05-14 오수미 인트라 예측 블록 생성 장치
JP6120490B2 (ja) * 2011-11-07 2017-04-26 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US10277915B2 (en) * 2011-11-07 2019-04-30 Qualcomm Incorporated Signaling quantization matrices for video coding
JP5871628B2 (ja) * 2011-11-07 2016-03-01 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
CN111131820B (zh) * 2012-04-16 2022-05-31 韩国电子通信研究院 图像解码方法和图像编码方法
EP3754962B1 (en) * 2014-07-01 2022-12-21 Canon Kabushiki Kaisha Image processing apparatus, image processing method, printing medium and storage medium

Also Published As

Publication number Publication date
PT4075802T (pt) 2024-01-02
EP4075801B1 (en) 2023-12-06
CN108810536A (zh) 2018-11-13
CN107087170A (zh) 2017-08-22
BR122020000395B1 (pt) 2021-03-23
RS65220B1 (sr) 2024-03-29
EP3745723A1 (en) 2020-12-02
CN108769678B (zh) 2021-01-12
RU2733206C1 (ru) 2020-09-30
CN103931190A (zh) 2014-07-16
KR20180078343A (ko) 2018-07-09
JP2013219727A (ja) 2013-10-24
RU2626176C1 (ru) 2017-07-24
RU2586888C2 (ru) 2016-06-10
PL2777264T3 (pl) 2021-01-11
KR102086310B1 (ko) 2020-03-06
HUE059081T2 (hu) 2022-10-28
US10652554B2 (en) 2020-05-12
US20190075303A1 (en) 2019-03-07
CN108769678A (zh) 2018-11-06
EP3742731A1 (en) 2020-11-25
RS64287B1 (sr) 2023-07-31
EP4075802A1 (en) 2022-10-19
RU2685247C1 (ru) 2019-04-17
KR20140089584A (ko) 2014-07-15
US20190075305A1 (en) 2019-03-07
KR20170084361A (ko) 2017-07-19
US20170078675A1 (en) 2017-03-16
JP6120490B2 (ja) 2017-04-26
ES2913855T3 (es) 2022-06-06
BR112014010794A2 (pt) 2017-04-25
ES2944463T3 (es) 2023-06-21
KR20180078342A (ko) 2018-07-09
CN103931190B (zh) 2018-04-10
RU2014123380A (ru) 2015-12-20
EP2777264B1 (en) 2020-07-29
CN108366261B (zh) 2020-12-25
WO2013069216A1 (en) 2013-05-16
IN2014CN03856A (ko) 2015-09-04
RU2663199C1 (ru) 2018-08-02
US10165287B2 (en) 2018-12-25
EP2777264A1 (en) 2014-09-17
CN108337511A (zh) 2018-07-27
EP4075802B1 (en) 2023-12-06
US9826241B2 (en) 2017-11-21
EP3742731B1 (en) 2022-05-04
KR20190062618A (ko) 2019-06-05
BR122020000397B1 (pt) 2021-03-23
US10645401B2 (en) 2020-05-05
HUE051945T2 (hu) 2021-03-29
CN107087170B (zh) 2020-02-28
ES2817844T3 (es) 2021-04-08
CN108810536B (zh) 2021-06-11
CN107071419B (zh) 2019-12-20
KR101759461B1 (ko) 2017-07-18
HUE061988T2 (hu) 2023-09-28
KR102041744B1 (ko) 2019-11-06
PL3742731T3 (pl) 2022-08-01
RS65236B1 (sr) 2024-03-29
BR122020000396B1 (pt) 2021-03-23
CN108366261A (zh) 2018-08-03
US20190075304A1 (en) 2019-03-07
EP3745723B1 (en) 2023-04-12
BR112014010794B1 (pt) 2020-03-24
PT3745723T (pt) 2023-07-10
PT4075801T (pt) 2023-12-28
BR122020000394B1 (pt) 2021-03-23
PL3745723T3 (pl) 2023-08-21
EP4075801A1 (en) 2022-10-19
KR101985004B1 (ko) 2019-06-03
CN107071419A (zh) 2017-08-18
HRP20230620T1 (hr) 2023-09-29
KR101672607B1 (ko) 2016-11-03
US10750192B2 (en) 2020-08-18
RU2624456C1 (ru) 2017-07-04
US20140307782A1 (en) 2014-10-16
RU2706236C1 (ru) 2019-11-15
RU2627301C1 (ru) 2017-08-07
CN108337511B (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
KR101759461B1 (ko) 부호화 장치, 복호화 장치, 부호화 방법, 복호화 방법, 및 컴퓨터 판독가능 기억 매체
KR102043579B1 (ko) 화상 코딩 장치, 화상을 코딩하는 방법, 화상 디코딩 장치, 화상을 디코딩하는 방법 및 컴퓨터 판독가능 매체
JP6679777B2 (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant