KR101035754B1 - 동화상 부호화/복호화 방법 및 장치 - Google Patents

동화상 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
KR101035754B1
KR101035754B1 KR1020087019760A KR20087019760A KR101035754B1 KR 101035754 B1 KR101035754 B1 KR 101035754B1 KR 1020087019760 A KR1020087019760 A KR 1020087019760A KR 20087019760 A KR20087019760 A KR 20087019760A KR 101035754 B1 KR101035754 B1 KR 101035754B1
Authority
KR
South Korea
Prior art keywords
quantization matrix
quantization
function
matrix
encoding
Prior art date
Application number
KR1020087019760A
Other languages
English (en)
Other versions
KR20080085909A (ko
Inventor
아키유키 타니자와
타케시 츄조
Original Assignee
가부시끼가이샤 도시바
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시끼가이샤 도시바 filed Critical 가부시끼가이샤 도시바
Publication of KR20080085909A publication Critical patent/KR20080085909A/ko
Application granted granted Critical
Publication of KR101035754B1 publication Critical patent/KR101035754B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

각 주파수 위치에 대응한 변환계수의 양자화 매트릭스를 이용해서 변환계수의 양자화를 수행하는 동화상 부호화 방법에 있어서, 양자화 매트릭스를 생성하기 위해 사용되는 생성함수 및 생성 파라미터를 이용해서 양자화 매트릭스를 생성하는 양자화 매트릭스 생성단계와, 생성된 상기 양자화 매트릭스를 이용해서 상기 변환계수를 양자화하는 양자화 단계와, 양자화 변환계수를 부호화하여 부호화 신호를 생성하는 부호화 단계로 이루어진다.

Description

동화상 부호화/복호화 방법 및 장치 {MOVING IMAGE ENCODING/DECODING METHOD AND DEVICE}
본 발명은, 양자화 매트릭스를 이용하는 동화상 부호화/복호화 방법과 장치 및 프로그램에 관한 것이다.
화상신호를 직교변환(예컨대 이산 코사인 변환(DCT))한 후에 얻어지는 DCT 계수의 주파수 특성을 이용해서, 주파수 위치마다 비트 할당을 수행함으로써 양자화를 수행하는 방식이 제안되어 있다(비특허문헌 1). 이 종래 방식에 의하면, 저역 주파수영역에서는 많은 비트를 부여하여 계수정보를 유지하고, 고역주파수영역에서는 역으로 비트 정밀도를 낮춤으로써 DCT 계수가 효율적으로 양자화되고 있다. 그러나, 이 종래 방식은, 양자화의 거칠기(coarseness)에 따라 할당테이블을 유지할 필요가 있어, 견고한 양자화라고 하는 의미에서 반드시 효과적인 방식이 아니다.
또, ITU-T 및 ISO/IEC 등에서 권고되어 있는 ITU-TT.81 및 ISO/IEC 10918-1(이하 JPEG : Joint Photographic Experts Group)에서는, 변환계수를 같은 양자화 스케일로 양자화하는 경우, 전 주파수영역에 대해 균등하게 양자화가 수행된다. 그러나, 인간의 시각특성에서는, 고주파수영역 부분에 비교적 둔감한다. 그래서, JPEG에서는 주파수영역마다 가중(weighting)을 행하고, 양자화 스케일을 변경함으로써 시각적으로 민감한 저주파수영역에 많은 비트를 할당하며, 고주파수영역은 역으로 비트 레이트(bit rate)를 삭감함으로써 주관 화질을 높이는 방식이 제안되어 있다. 이 방식은, 변환 양자화 블럭마다 양자화 처리를 수행하고 있다. 이 양자화에 이용되는 테이블은 양자화 매트릭스라 불리고 있다.
더욱이 근래, 종래보다 대폭 부호화 효율을 향상시킨 동화상 부호화 방법이, ITU-T와 ISO/IEC의 공동으로 ITU-T Rec. H.264 및 ISO/IEC 14496-10(이하, H.264라 함)으로서 권고되어 있다. ISO/IEC MPEG-1, 2, 4, ITU-TH.261, H.263이라고 하는 종래의 부호화 방식에서도, 직교변환 후의 DCT 계수에 대해 양자화를 수행하여 변환계수의 부호량 삭감을 행하고 있다. H.264 메인 프로파일에서는, 양자화 파라미터와 양자화 스케일의 관계가 로그 스케일 상에서 등간격으로 되도록 설계가 되어 있기 때문에, 양자화 매트릭스는 도입되어 있지 않다. 그러나, 보다 높은 해상도의 화상에 대해 주관 화질을 향상시키기 위해 H.264 하이 프로파일(high profile)에서는, 새롭게 양자화 매트릭스를 도입하는 것으로 되었다(비특허문헌 2: 지우후아이 루에 의한 「"Proposal of quantization weighting for H.264/MPEG-4 AVC Profeesional Profiles", JVT of ISO/IEC MPEG & ITU-T VCEG, JVT-K029, March, 2004」).
H.264 하이 프로파일에서는, 2개의 변환 양자화 블럭 사이즈(4x4 화소블럭과 8x8 화소블럭)에 대응해서, 부호화 모드마다(프레임 내부 예측과 프레임간 예측) 및 신호마다(휘도신호, 색차신호) 합계 8종류의 다른 양자화 매트릭스를 설치하는 것이 가능하다.
양자화 매트릭스는, 양자화 시에 각 주파수 성분 위치에 따라 화소에 중량을 가하기 위해 사용되기 때문에, 역양자화 시에도 같은 양자화 매트릭스가 필요하게 된다. H.264 하이 프로파일의 엔코더에서는, 이용한 양자화 매트릭스를 부호화, 다중화한 후에 디코더로 송신하고 있다. 구체적으로는, 양자화 매트릭스의 DC성분으로부터 지그재그 스캔 혹은 필드스캔 순으로 차분값을 계산하고, 얻어진 차분 데이터를 가변길이 부호화해서, 부호화 데이터로서 다중화하고 있다.
한편, H.264 하이 프로파일의 디코더는, 보내 온 부호화 데이터를 엔코더와 마찬가지 로직으로 복호하고, 양자화 매트릭스로서 복원해서 역양자화시에 이용한다. 양자화 매트릭스의 부호량은, 최종적으로는 가변길이 부호화되지만, 신택스 상 최소로 8비트, 최대로 1500비트 이상 필요하게 된다.
H.264 하이 프로파일의 양자화 매트릭스 송신방법은, 특히 휴대나 모바일 기기용의 저비트 레이트에서 이용되는 어플리케이션에 있어서, 양자화 매트릭스를 부호화하기 위한 오버헤드가 증가하여 부호화 효율을 대폭 저하시키는 경우가 있다.
양자화 매트릭스를 적은 오버헤드로 갱신하기 위해, 베이스로 되는 양자화 매트릭스를 먼저 송신하고, 그 양자화 매트릭스로부터의 변화의 경사를 나타내는 계수 k를 디코더로 송신함으로써, 양자화 매트릭스의 값을 조정하는 방법이 제안되어 있다(특허문헌 3: 일본국 특개 2003-189308).
일본국 특개 2003-189308 「동화상 부호화 장치, 부호화 방법, 복호화 장치, 복호화 방법 및 동화상 부호열 전송방법」에서는, 적은 부호량으로 화면 타입(picture type)마다 양자화 매트릭스를 갱신하는 것을 목적으로 하고 있는 바, 고작 8비트 정도로 베이스로 되는 양자화 매트릭스의 갱신이 가능하다. 그러나, 베이스의 양자화 매트릭스로부터의 변화의 경사만을 보내는 방식이기 때문에, 양자화 매트릭스의 진폭은 변경할 수 있지만, 그 특성을 변경하는 것은 불가능하다. 또, 베이스로 되는 양자화 매트릭스를 송신할 필요가 있어, 부호화의 상황에 따라서는 큰 부호량 증가로 될 수 있는 경우가 있다.
H.264 하이 프로파일에 규정되어 있는 방법으로, 양자화 매트릭스를 부호화해서 디코더로 송신하는 경우, 양자화 매트릭스를 부호화하기 위한 부호량이 증대하고, 화면마다 양자화 매트릭스를 재차 송신하면, 양자화 매트릭스를 부호화하기 위한 부호량이 더 증대한다. 또, 양자화 매트릭스의 변화의 경사도를 송신하는 경우, 양자화 매트릭스의 변경의 자유도가 대폭 제한된다. 이들의 결과, 양자화 매트릭스를 적응적으로 이용하는 것이 곤란하다고 하는 문제가 있었다.
본 발명의 한 국면은, 각 주파수 위치에 대응한 변환계수의 양자화 매트릭스를 이용해서 변환계수의 양자화를 수행하는 동화상 부호화 방법에 있어서, 양자화 매트릭스를 생성하기 위해 사용되는 생성함수 및 생성 파라미터를 이용해서 양자화 매트릭스를 생성하는 양자화 매트릭스 생성단계와, 생성된 상기 양자화 매트릭스를 이용해서 상기 변환계수를 양자화하는 양자화 단계와, 양자화 변환계수를 부호화하여 부호화 신호를 생성하는 부호화 단계를 갖춘 것을 특징으로 하는 동화상 부호화 방법을 제공한다.
도 1은 본 발명의 제1의 실시형태에 따른 동화상 부호화 장치의 구성을 나타낸 블럭도이다.
도 2는 제1의 실시형태에 따른 양자화 매트릭스 생성부의 구성을 나타낸 블럭도이다.
도 3은 제1의 실시형태에 따른 화상 부호화 장치의 플로우차트이다.
도 4a는 제1의 실시형태에 관계된 예측순서·블럭형상의 개략을 나타낸 도면이다.
도 4b는 16x16 화소의 블럭 형상을 나타낸 도면이다.
도 4c는 4x4 화소의 블럭 형상을 나타낸 도면이다.
도 4d는 8x8 화소의 블럭 형상을 나타낸 도면이다.
도 5a는 제1의 실시형태에 관계된 4x4 화소블럭에 대응하는 양자화 매트릭스를 나타낸 도면이다.
도 5b는 8x8 화소블럭에 대응하는 양자화 매트릭스를 나타낸 도면이다.
도 6a는 제1의 실시형태에 관계된 양자화 매트릭스 생성방법을 나타낸 도면이다.
도 6b는 다른 양자화 매트릭스 생성방법을 나타낸 도면이다.
도 6c는 다른 양자화 매트릭스 생성방법을 나타낸 도면이다.
도 7은 제1의 실시형태에 따른 신택스 구조의 개략도를 나타낸 도면이다.
도 8은 제1의 실시형태에 따른 시퀀스 파라미터 세트 신택스의 데이터 구조를 나타낸 도면이다.
도 9는 제1의 실시형태에 따른 화면 파라미터 세트 신택스의 데이터 구조를 나타낸 도면이다.
도 10은 제1의 실시형태에 따른 화면 파라미터 세트 신택스의 데이터 구조를 나타낸 도면이다.
도 11은 제1의 실시형태에 따른 보충 신택스의 데이터 구조를 나타낸 도면이다.
도 12는 본 발명의 제2의 실시형태에 따른 멀티패스 부호화의 플로우차트이다.
도 13은 슬라이스 헤더 신택스 내의 신택스 구조를 나타낸 도면이다.
도 14는 슬라이스 헤더 신택스를 나타낸 도면이다.
도 15는 슬라이스 헤더 신택스를 나타낸 도면이다.
도 16은 CurrSliceType의 1예를 나타낸 도면이다.
도 17은 슬라이스 헤더 신택스를 나타낸 도면이다.
도 18은 본 발명의 제3의 실시형태에 따른 동화상 복호화 장치의 구성을 나타낸 블럭도이다.
도 19는 본 발명의 제3의 실시형태에 따른 동화상 복호화 장치의 플로우차트이다.
이하에 첨부도면을 참조해서, 본 발명의 실시형태를 상세히 설명한다.
(제1의 실시형태 : 부호화)
도 1에 나타낸 제1의 실시형태에 따르면, 동화상 신호는 소화소블럭마다 분할되고, 입력화상신호(116)로서 동화상 부호화 장치(100)로 입력된다. 동화상 부호화 장치(100)에서는, 예측부(101)가 수행하는 예측모드로서, 블럭 사이즈나 예측화상신호의 생성방법이 다른 복수의 프레임 예측모드가 준비되어 있다. 본 실시형태에서는, 도 4a에 나타낸 바와 같이 왼쪽 위(左上)로부터 오른쪽 아래(右下)를 향해 부호화 처리가 이루어지는 것으로 한다.
동화상 부호화 장치(100)로 입력되는 입력화상신호(116)는 도 4b에 나타낸 바와 같이 1블럭당 16x16 화소의 복수의 블럭으로 분할되어 있다. 입력화상신호(116)의 일부가 예측부(101)로 입력되고, 후술하는 모드 판정부(102), 변환부(103), 양자화부(104)를 매개로, 최종적으로 부호화 처리부(111)에 의해 부호화된다. 이 부호화 화상신호는 출력버퍼(120)에 축적된 후에, 부호화 제어부(110)가 관리하는 출력 타이밍에서 부호화 데이터(115)로서 출력된다.
도 4b에 나타낸 16x16 화소블럭은 매크로블럭이라 불리고, 이하의 부호화 처리의 기본적인 처리 블럭 사이즈로 되고 있다. 동화상 부호화 장치(100)는, 이 매 크로블럭 단위로 입력화상신호(116)를 읽어들여 부호화 처리를 수행한다. 매크로블럭이 32x32 화소블럭 단위이어도 8x8 화소블럭 단위어도 좋다.
예측부(101)는 참조화상 메모리(107)에 일시 보존되어 있는 부호화된 참조화상(encoded reference image)을 이용해서, 당해 매크로블럭에서 선택 가능한 모든 모드로 예측화상신호(118)를 생성한다. 예측부(101)는 대상 화소블럭에서 취할 수 있는 부호화 모드의 모든 예측화상신호를 생성한다. 다만, H.264의 프레임 내 예측(4x4 화소 예측(도 4c 참조) 또는 8x8 화소 예측(도 4d 참조))과 같이 매크로블럭 내에서 국소 복호화상을 작성하지 않으면 다음의 예측이 수행되지 않는 경우에는, 예측부(101)가 직교변환 및 양자화, 역양자화 및 역변환을 수행해도 좋다.
예측부(101)에서 생성되어 있는 예측화상신호(118)는 입력화상신호(116)와 더불어 모드 판정부(102)로 입력된다. 모드 판정부(102)는 예측화상신호(118)를 역변환부(106)로 입력함과 더불어, 입력화상신호(116)로부터 예측화상신호(118)를 차감한 예측오차신호(119)를 생성하여 변환부(113)로 입력한다. 동시에 모드 선택부(102)는 예측부(101)에서 예측되어 있는 모드정보와 생성되어 있는 예측오차신호(119)를 기초로 모드판정을 수행한다. 보다 구체적으로 설명하면, 본 실시형태에서는 다음 식 (1)과 같은 비용(cost; K)을 이용해서 모드판정을 수행한다.
K = SAD + λ× OH (1)
단, OH는 모드정보, SAD는 예측오차신호의 절대합, λ는 정수이다. 정수(λ)는 양자화 폭이나 양자화 파라미터의 값에 기초해서 구해진다. 이와 같이 해서 얻어진 비용(K)을 기초로 모드가 결정된다. 비용(K)이 가장 작은 값을 부여하 는 모드가 최적 모드로서 선택된다.
본 실시형태에서는, 모드정보와 예측오차의 절대합을 이용했지만, 다른 실시형태로서 모드정보만, 또는 예측오차신호의 절대합만을 이용해서 모드를 판정해도 좋고, 이들에 대해 아다마르 변환(Hadamard transform) 등을 수행하여 근사한 값을 이용해도 좋다. 또, 입력화상신호의 활동도(activity)를 이용해서 비용을 작성해도 좋고, 양자화 폭, 양자화 파라미터를 이용해서 비용함수를 작성해도 좋다.
비용을 산출하기 위한 다른 실시형태로서, 가부호화부를 준비하고, 이 가부호화부의 부호화 모드에 기초해서 생성되고 있는 예측오차신호를 실제로 부호화했을 때 얻어지는 부호화 데이터의 부호량과, 부호화 데이터를 국부복호해서 얻어지는 국부복호 화상신호(113)와 입력화상신호(116)의 제곱 오차를 이용해서 모드를 판정해도 좋다. 이 경우의 모드판정식은 다음 식 (2)에 의해 나타내어진다.
J = D + λ× R (2)
단, J는 비용, D는 입력화상신호(116)와 국부복호 화상신호(113)의 제곱 오차를 나타내는 부호화 왜곡, R은 가부호화에 의해 추정된 부호량을 나타낸다. 이 비용(J)을 이용한 경우는, 부호화 모드마다 가부호화와 국부복호(역양자화 처리나 역변환처리)가 필요하게 되기 때문에, 회로규모는 증대하지만, 정확한 부호량과 부호화 왜곡을 사용하는 것이 가능하게 되어, 부호화 효율을 높게 유지하는 것이 가능하다. 부호량만, 또는 부호화 왜곡만을 이용해서 비용을 산출해도 좋고, 이들 파라미터에 근사한 값을 이용해서 비용함수를 작성해도 좋다.
모드 판정부(102)는 변환부(103) 및 역변환부(106)에 접속되어 있고, 모드 판정부(102)에서 선택되어 있는 모드정보와 예측오차신호(118)는 변환부(103)로 입력된다. 변환부(103)는 입력되어 있는 예측오차신호(118)를 변환하여 변환계수 데이터를 생성한다. 여기에서는, 예측오차신호(118)는 예컨대 이산 코사인 변환 등을 이용해서 직교변환된다. 변형례로서, 웨이브렛 변환(wavelet transform)이나 독립 성분 해석 등의 수법을 이용해서 변환계수를 작성해도 좋다.
변환부(103)로부터 얻어지는 변환계수는 양자화부(104)로 보내진다. 양자화부(104)는 변환계수를 양자화한다. 양자화에 필요하게 되는 양자화 파라미터는 부호화 제어부(110)에 의해 설정되어 있다. 양자화부(104)는 양자화 매트릭스 생성부(109)로부터 입력되는 양자화 매트릭스(114)를 이용해서 변환계수를 양자화하여 양자화 변환계수(112)를 생성한다.
양자화 변환계수(112)는 모드정보, 양자화 파라미터 등의 예측방법에 관한 정보와 함께 부호화 처리부(111)로 입력된다. 부호화 처리부(111)는 입력되고 있는 모드정보 등과 더불어, 양자화 변환계수(112)를 엔트로피 부호화(entropy-encoding; 예컨대 허프만 부호화(Huffman encoding)나 산술 부호화 등)한다. 부호화 처리부(111)에 의한 엔트로피 부호화에 의해 얻어지는 부호화 데이터(115)는 동화상 부호화부(100)로부터 출력버퍼(120)로 출력되어 다중화 등이 수행된다. 다중화 정보는 출력버퍼(120)를 통해 송신된다.
양자화 시에 이용되는 양자화 매트릭스(114)를 생성하는 경우, 부호화 제어부(110)에 의해 양자화 매트릭스의 사용의 유무를 나타내는 지시정보가 생성 파라미터 설정부(108)로 공급된다. 생성 파라미터 설정부(108)는 이 지시정보에 따라 양자화 매트릭스 생성 파라미터(117)를 설정하여 양자화 매트릭스 생성부(109) 및 부호화 처리부(111)로 출력한다.
양자화 매트릭스 생성 파라미터(117)는 부호화 제어부(110)로 제어되는 외부 파라미터 설정부(도시하지 않음)에 의해 설정할 수 있고, 또 부호화 화상의 블럭 단위, 슬라이스 단위, 화면 단위로 갱신할 수 있다. 생성 파라미터 설정부(108)는 양자화 매트릭스 생성 파라미터(117)의 설정타이밍을 설정하는 기능도 가진다.
양자화 매트릭스 생성부(109)는 양자화 매트릭스 생성 파라미터(117)에 정해진 방법으로 양자화 매트릭스(114)를 생성하여 양자화부(104) 및 역양자화부(105)로 출력한다. 동시에 부호화 처리부(111)로 입력되고 있는 양자화 매트릭스 생성 파라미터(117)는 양자화부(104)로부터 입력되어 온 모드정보나 변환계수(112)와 함께 엔트로피 부호화된다.
역양자화부(105)는 양자화부(104)에 의해 양자화되어 있는 변환계수(112)를 부호화 제어부(110)에서 설정되어 있는 양자화 파라미터, 및 양자화 매트릭스 생성부(109)로부터 입력되는 양자화 매트릭스(114)에 따라 역양자화한다. 역양자화되어 있는 변환계수는 역변환부(106)로 보내진다. 역변환부(106)는 역양자화 변환계수에 대해 역변환(예컨대 역이산 코사인 변환 등)을 수행하여 예측오차신호를 복원한다.
역변환부(106)에 의해 복원되어 있는 예측오차신호(116)는 모드 판정부(102)로부터 공급되는 판정모드의 예측화상신호(118)와 가산된다. 예측화상신호(118)가 가산되어 있는 신호는 국부복호신호(113)로 되어 참조화상 메모리(107)로 입력된 다. 참조화상 메모리(107)는 국부복호신호(113)를 복원화상으로서 축적한다. 이와 같이 참조화상 메모리(107)에 축적되어 있는 화상이, 예측부(101)에 의한 예측오차신호 등의 생성 시에 참조되는 참조화상으로 된다.
부호화 루프(도 1에서의 예측부(101) → 모드 판정부(102) → 변환부(103) → 양자화부(104) → 역양자화부(105) → 역변환부(106) → 참조화상 메모리(107)라는 순서로 흐르는 처리)는 그 매크로블럭에서 선택 가능한 모든 모드에 대해 처리를 수행한 경우에 1회의 루프로 된다. 대상 매크로블럭에 대해 부호화 루프가 종료되면, 다음의 블럭의 입력화상신호(116)가 입력되고, 부호화가 수행된다. 양자화 매트릭스 생성부(109)는 매크로블럭마다 생성할 필요는 없다. 생성 파라미터 설정부(108)에서 설정되어 있는 양자화 매트릭스 생성 파라미터(117)가 갱신되지 않는 한, 생성된 양자화 매트릭스를 유지한다.
부호화 제어부(110)는 발생 부호량의 피드백 제어 및 양자화 특성 제어, 모드 판정제어 등을 수행한다. 또, 부호화 제어부(110)는 발생 부호량의 제어를 행하는 레이트 제어(rate control), 예측부(101)의 제어, 외부 입력 파라미터의 제어를 수행한다. 동시에 출력버퍼(120)의 제어를 수행하여 적절한 타이밍에서 부호화 데이터를 외부로 출력하는 기능을 가진다.
도 2에 나타낸 양자화 매트릭스 생성부(109)는 입력되는 양자화 매트릭스 생성 파라미터(117)에 기초해서 양자화 매트릭스(114)를 생성한다. 양자화 매트릭스란 도 5에 나타낸 것과 같은 행렬의 것으로, 양자화나 역양자화 시에 주파수 위치마다 대응하는 가중이 이루어져 양자화된다. 도 5a는 4x4 화소블럭에 대응하는 양 자화 매트릭스의 1예를 나타내고, 도 5b는 8x8 화소블럭에 대응하는 양자화 매트릭스의 1예를 나타낸다. 양자화 매트릭스 생성부(109)는, 생성 파라미터 해석부(201)와 절체기(switch; 202), 적어도 1개 이상의 매트릭스 생성부(203)를 가진다. 생성 파라미터 해석부(201)는, 입력되고 있는 양자화 매트릭스 생성 파라미터(117)를 해독하고, 각각의 매트릭스 생성방법에 따라 절체기(202)의 절체정보를 출력한다. 이 절체정보는 양자화 매트릭스 생성 제어부(210)에서 설정되어 절체기(202)의 출력단을 절체한다.
절체기(202)는, 생성 파라미터 해석부(201)로부터 공급되고, 양자화 매트릭스 생성 제어부(210)에 의해 설정되어 있는 절체정보에 따라 절체된다. 예컨대, 양자화 매트릭스 생성 파라미터(117)의 매트릭스 생성타입이 제1타입인 경우에는, 절체기(202)는 생성 파라미터 해석부(201)의 출력단을 제1매트릭스 생성부(203)로 접속한다. 한편, 양자화 매트릭스 생성 파라미터(117)의 매트릭스 생성타입이 제N타입인 경우에는, 절체기(202)는 생성 파라미터 해석부(201)의 출력단을 제N매트릭스 생성부(203)로 접속한다.
양자화 매트릭스 생성 파라미터(117)의 매트릭스 생성타입이 제M타입(N < M)이고, 양자화 매트릭스 생성부(109) 내에 제M매트릭스 생성부(203)가 존재하지 않는 경우에는, 절체기(202)는 생성 파라미터 해석부(201)의 출력단을 미리 규정되어 있는 방법으로, 대응하는 매트릭스 생성부에 접속한다. 예컨대, 양자화 매트릭스 생성부(109)에 존재하지 않는 타입의 양자화 매트릭스 생성 파라미터가 입력되어 있는 경우는, 절체기(202)는 항상 제1매트릭스 생성부로 출력단을 접속한다. 유사 한 매트릭스 생성타입을 알고 있는 경우에는, 입력되고 있는 제M타입의 매트릭스 생성타입에 가장 가까운 제L매트릭스 생성부에 접속해도 좋다. 어쨌든, 양자화 매트릭스 생성부(109)는 미리 결정된 접속방법으로, 입력되고 있는 양자화 매트릭스 생성 파라미터(117)에 따라, 생성 파라미터 해석부(201)의 출력단을 제1 내지 제N매트릭스 생성부(203)의 1개에 접속한다.
각 매트릭스 생성부(203)에서는, 대응하는 양자화 매트릭스 생성 파라미터의 정보에 따라, 양자화 매트릭스(114)를 생성한다. 구체적으로는, 양자화 매트릭스 생성 파라미터 정보(117)는, 매트릭스 생성타입(T), 양자화 매트릭스의 변화도(A), 왜곡도(B), 보정항(C)의 정보로 구성되어 있다. 이들 파라미터는, 다른 명칭이 부여되어 있으나, 실제로는 어떠한 종류의 방법을 사용해도 좋다. 이들을 다음 식 (3)과 같은 파라미터 세트로서 정의한다.
QMP = (T, A, B, C) (3)
QMP는 양자화 매트릭스 생성 파라미터를 나타내고 있다. 매트릭스 생성타입(T)은, 어느 타입에 대응하는 매트릭스 생성부(203)를 이용하는지를 나타내고 있다. 한편, 변화도(A), 왜곡도(B), 보정항(C)의 사용방법은 매트릭스 생성타입마다 자유롭게 정의할 수 있다. 도 6a를 참조해서 제1매트릭스 생성타입을 설명한다.
매트릭스 생성타입이 1인 경우의 매트릭스 생성함수의 예를 다음 식 (4), (5) 및 (6)과 같이 나타낸다.
Figure 112008057644053-pct00001
(4)
Figure 112008057644053-pct00002
(5)
Figure 112008057644053-pct00003
(6)
더욱이 제1 매트릭스 타입의 경우에 이용되는 변화도(A), 왜곡도(B), 보정항(C)의 테이블 변환예를 다음 식 (7), (8) 및 (9)에 나타낸다.
a = 0.1 × A (7)
B = 0 (8)
c = 16 + C (9)
여기서, 변화도(A)는 양자화 매트릭스의 주파수 위치에서의 DC성분으로부터 양자화 매트릭스의 각 요소까지의 거리(또, 양자화 매트릭스의 각 요소의 주파수 위치를 의미하기도 하는 바, 이하에서는 '주파수의 위치'라고도 칭함)를 r로 했을 때의 변화의 기울기를 나타내고 있다. 예컨대, 변화도(A)가 정(正)의 값이면, 주파수 위치(r)가 커질수록 매트릭스의 값이 커져 고역으로 큰 값을 설정할 수 있다. 역으로 변화도(A)가 부(負)의 값이면, r이 커질수록 매트릭스의 값은 작아져, 저역에 있어서 양자화 스텝을 거칠게 설정할 수 있다. 제1매트릭스 생성타입에서는, 왜곡도(B)는 이용하지 않고, 항상 0의 값이 설정되어 있다. 한편, 보정항(C)은 변화의 기울기(A)로 나타내어지는 직선의 절편을 나타내고 있다. 제1매트릭스 생성함수는 승산과 가산, 감산, 쉬프트 연산만으로 처리가 가능하기 때문에, 하드웨어 비용을 작게 할 수 있는 이점이 있다. 식 (7), (8) 및 (9)를 이용해서 QMP = (1, 40, 0, 0)의 경우에 생성되는 양자화 매트릭스를 다음 식 (10)에 나타낸다.
Figure 112008057644053-pct00004
(10)
변화도(A), 왜곡도(B), 보정항(C)의 각각의 변수의 정밀도는 하드웨어 규모에 영향을 미치기 때문에, 결정된 범위 내에서 효율이 좋은 테이블을 소지하는 것이 중요한다. 식 (7)에서는, 변화도(A)를 6비트의 비부정수(nonnegative integer)로 하면 0으로부터 6.4까지의 기울기를 취하는 것이 가능하지만, 부의 값을 취할 수가 없다. 따라서, 다음 식 (11)과 같이 7비트를 이용해서 변환 테이블를 이용함으로써, -6.3으로부터 6.4비트까지의 범위를 취하는 것이 가능하다.
a = 0.1 × (A - 63) (11)
매트릭스 생성타입(T)에 대응한 변화도(A), 왜곡도(B), 보정항(C)의 변환 테이블이 설치되고, 매트릭스 생성타입(T)마다 변화도(A), 왜곡도(B), 보정항(C)의 정밀도를 가짐으로써, 부호화 상황 및 이용하는 환경에 따라 적절한 양자화 매트릭스 생성 파라미터를 설정하는 것이 가능해진다. 식 (4), (5) 및 (6)으로 나타내어지는 제1매트릭스 생성타입은, 왜곡도(B)가 항상 0으로 되기 때문에, 이에 대응하는 파라미터를 송신할 필요는 없고, 매트릭스 생성타입에 따라서는 이용하는 파라미터의 수를 감소시켜도 좋다. 이 경우, 이용하지 않는 파라미터는 부호화되지 않다.
다음에, 제2매트릭스 생성타입으로서 2차 함수를 이용한 양자화 매트릭스 생 성함수를 나타낸다. 이 매트릭스 생성타입의 개념도를 도 6c에 나타낸다.
Figure 112008057644053-pct00005
(12)
Figure 112008057644053-pct00006
(13)
상기 함수 a, b, c에 각각 관련한 (A), (B) 및 (C)는 2차 함수의 변화의 정도, 왜곡, 보정값을 각각 나타내고 있다. 이 함수에서는, 특히 거리가 커짐에 따라 대폭 값이 커지는 경향이 있다. 예컨대, 식 (4), (8) 및 (10)을 이용해서 QMP = (2, 10, 1, 0)일 때의 양자화 매트릭스를 계산하면, 다음 식 (14)의 양자화 매트릭스를 생성할 수 있다.
Figure 112008057644053-pct00007
(14)
더욱이 제3매트릭스 생성타입의 매트릭스 생성함수의 예를 다음 식 (15) 및 (16)에 의해 나타낸다.
Figure 112008057644053-pct00008
(15)
Figure 112008057644053-pct00009
(16)
제1매트릭스 타입에 도 6b에서 나타내는 왜곡항이 더해지고 있다. 왜곡도(B)는 정현함수(正弦函數)의 진폭의 크기를 나타내고 있고, b가 정의 값을 취하면 직선이 하측(下側)으로 왜곡되는 효과가 나타난다. 한편, b가 부의 값일 때는, 직선은 상측(上側)으로 왜곡되는 효과가 나타난다. 4x4 화소블럭 혹은 8x8 화소블럭에 의해, 대응하는 위상을 변경할 필요가 있다. 위상을 변경함으로써, 여러 가지 왜곡을 생성할 수 있다. 식 (4) 및 (15)를 이용해서 QMP = (3, 32, 7, -6)일 때의 양자화 매트릭스를 계산하면, 다음 식 (17)의 양자화 매트릭스를 생성할 수 있다.
Figure 112008057644053-pct00010
(17)
본 실시형태에서는, 정현함수를 이용했지만, 여현함수(餘弦函數)나 다른 함수가 이용되어도 좋고, 위상이나 주기 등이 변경되어도 좋다. 왜곡도(B)는 예컨대, 시그모이드(Sigmoid: S자 모양) 함수나 가우스(Gauss) 함수, 대수함수나 N차 함수 등 여러 가지 것을 이용 가능하다. 또, 정현함수로 나타내어지는 왜곡 진폭(B)을 포함한 변화도(A), 보정항(C)의 변수가 정수값으로 부여되는 경우, 정현함수 등의 처리부하가 높은 계산처리를 회피하기 위해, 변환 테이블을 미리 소지하고 있어도 좋다.
매트릭스 생성타입을 위해 이용되는 함수는, 실수 연산으로 되어 매회 부호화시에 정현함수 연산을 수행하면 연산처리가 증가한다. 또, 정현함수 연산을 수행하기 위한 하드웨어를 준비할 필요가 생긴다. 그래서, 이용하는 파라미터의 정밀도에 따른 변환 테이블을 소지하고 있어도 좋다.
부동소수 연산은 정수 연산에 비해 처리비용이 증대하기 때문에, 양자화 매트릭스 생성 파라미터는 정수값으로 정의되고, 매트릭스 생성타입에 따른 개별의 변환 테이블에서 대응하는 값을 취출한다.
실수정밀도의 연산이 가능한 경우, 다음 식 (18)을 이용해서 거리를 계산해도 좋다.
Figure 112008057644053-pct00011
(18)
거리에 따라 가중을 행함으로써 양자화 매트릭스의 종방향, 횡방향의 값을 변경하는 것도 가능하다. 예컨대, 수직방향을 중시하는 경우에는, 다음 식 (19)와 같은 거리함수를 이용한다.
r = ｜2x + y｜ (19)
위의 식을 써서 QMP = (2, 1, 2, 8)를 이용해서 양자화 매트릭스를 생성하면, 다음 식 (20)으로 나타내어지는 양자화 매트릭스가 얻어진다.
Figure 112008057644053-pct00012
(20)
제1 내지 제N매트릭스 생성부(203)에서 생성되는 양자화 매트릭스(204)가 선택적으로 양자화 매트릭스 생성부(109)로부터 출력된다. 양자화 매트릭스 생성 제어부(210)는, 절체기(202)를 제어하고 있는 바, 생성 파라미터 해석부(201)에서 해석되어 있는 매트릭스 생성타입별로 절체기(202)의 출력단을 절체한다. 또, 양자화 매트릭스 생성 파라미터에 대응한 양자화 매트릭스가 바르게 생성되고 있는지의 체크 등을 수행한다.
이상에 의해 본 실시형태에 따른 동화상 부호화 장치(100) 및 양자화 매트릭스 생성부(109)의 구성을 설명한다. 이하에, 본 발명의 실시형태에 따른 동화상 부호화 방법을, 동화상 부호화 장치(100) 및 양자화 매트릭스 생성부(109)에 의해 실시하는 예를 도 3의 플로우차트를 참조해서 설명한다.
먼저, 외부 메모리(도시하지 않음)로부터 1프레임분의 화상신호가 읽어 내어져 동화상 부호화 장치(100)로 입력화상신호(116)로서 입력된다(단계 S00l). 이때, 입력화상신호(116)는 16x16 화소의 매크로블럭 단위로 분할되어 입력된다. 또, 이때, 양자화 매트릭스 생성 파라미터의 설정이 행해진다(단계 S002). 즉, 부호화 제어부(110)는, 현프레임에서 양자화 매트릭스를 이용할 것인지 어떤지의 정보를 생성 파라미터 설정부(108)로 보낸다. 이 정보를 받아 생성 파라미터 설정 부(108)는 양자화 매트릭스 생성 파라미터를 양자화 매트릭스 생성부(109)로 보낸다. 양자화 매트릭스 생성부(109)는, 입력되어 있는 양자화 매트릭스 생성 파라미터의 방식에 따라 양자화 매트릭스를 생성한다.
입력화상신호(116)가 입력되면, 블럭단위로 부호화가 개시된다(단계 S003). 이때, 입력화상신호(116)의 1블럭이 예측부(101)로 입력되면, 모드 판정부(102)는 부호화 모드를 나타내는 인덱스나 비용을 초기화한다(단계 S004). 그 후, 입력화상신호(116)를 이용해서, 예측부(102)에 의해 생성된 블럭에서 선택 가능한 1개의 모드에서의 예측화상신호(118)가 생성된다(단계 S005). 이 예측화상신호(118)와 입력화상신호(116)의 차분이 계산되고, 그 결과 예측오차신호(119)가 생성된다. 이 예측오차신호(119)의 절대치합(SAD)과 예측모드의 부호량(OH)으로부터 비용(cost)이 계산된다(단계 S006). 또는, 국부복호를 수행하여 국부복호신호(113)를 생성하고, 국부복호신호(113)와 입력화상신호(116)의 차분값으로부터 계산되는 부호량(D)과, 일시적인 부호화를 수행하여 산출되는 부호량(R)으로부터 비용(cost)을 계산한다. 모드 판정부(102)는 계산되어 있는 비용(cost)이, 최소비용 min_cost보다 작은지 아닌지를 판별하여(단계 S007), 작은 경우(YES)에는 그 비용으로 최소비용을 갱신함과 더불어, 그 때의 부호화 모드를 best_mode 인덱스로서 유지한다(단계 S008). 동시에 예측화상의 보존을 수행한다(단계 S009). 계산되어 있는 비용(cost)이 최소비용 min_cost보다 큰 경우(NO), 모드번호를 나타내는 index를 증가시키고, 증가 후의 index가 모드의 최후인지 어떤지를 판정한다(단계 S010).
index가 모드의 마지막 번호인 MAX보다 큰 경우(YES), best_mode의 부호화 모드 정보 및 예측오차신호(119)가 변환부(103) 및 양자화부(104)로 건네지고, 변환 및 양자화가 수행된다(단계 S011). 양자화되어 있는 변환계수(112)가 부호화 처리부(111)로 입력되고, 예측정보와 함께 부호화 처리부(111)에서 엔트로피 부호화된다(단계 S012). 한편, index가 모드의 마지막 번호인 MAX보다 작은 경우(NO), 다음의 index로 나타내어지는 부호화 모드의 예측화상신호(118)가 생성된다(단계 S005).
best_mode에서의 부호화가 행해지면, 양자화되어 있는 변환계수(112)가 역양자화부(105) 및 역변환부(106)로 입력되어 역양자화 및 역변환이 행해진다(단계 S013). 이에 따라, 예측오차신호가 복호된다. 이 복호 예측오차신호가 모드 판정부(102)로부터 제공되는 best_mode의 예측화상신호와 가산되어 국부복호신호(113)가 생성된다. 이 국부복호신호(113)가 참조화상으로서 참조화상 메모리(107)에 보존된다(단계 S014).
1프레임의 부호화가 종료하고 있는지 어떤지의 판정이 행해진다(단계 S015). 처리가 완료하고 있는 경우(YES), 다음 프레임의 입력화상신호가 읽어 들여지고, 단계 S002로 돌아가서 부호화 처리가 수행된다. 한편, 1프레임의 부호화 처리가 완료하고 있지 않은 경우(NO), 단계 S003으로 돌아가서 다음의 화소블럭이 입력되고, 부호화 처리가 계속된다.
이상이 본 발명의 실시형태에서의 동화상 부호화 장치(100) 및 동화상 부호화 방법의 개요이다.
본 발명의 상기 실시형태에 있어서는, 양자화 매트릭스 생성부(108)가 1개의 프레임을 부호화하기 위해 1개의 양자화 매트릭스를 생성하여 이용하는 예를 나타냈다. 그러나, 1개의 프레임 내에서, 복수의 양자화 매트릭스 생성 파라미터를 입력해서 복수의 양자화 매트릭스를 생성하는 것도 가능하다. 이 경우, 제1 내지 제N매트릭스 생성부(203)에 의해 다른 매트릭스 생성타입에서 생성되고 있는 양자화 매트릭스를, 1개의 프레임 내에서 절체하는 것이 가능하게 되기 때문에, 보다 유연한 양자화를 수행하는 것이 가능하게 된다. 구체적으로는, 제1매트릭스 생성부에서는 똑같은 중량을 갖는 양자화 매트릭스를 생성하고, 제2매트릭스 생성부에서는 고역으로 큰 값을 갖는 양자화 매트릭스를 생성한다. 이 2개의 매트릭스를 부호화 대상 블럭마다 변경함으로써, 보다 작은 범위에서 양자화의 제어가 가능해진다. 양자화 매트릭스를 생성하기 위해, 송신하는 부호량은 고작 수비트 정도이기 때문에, 부호화 효율을 높게 유지하는 것이 가능하다.
본 발명의 실시형태에 있어서는, 휘도성분에 관한 양자화 매트릭스의 생성에 관해 4x4 화소블럭 사이즈와 8x8 화소블럭 사이즈의 양자화 매트릭스 생성수법에 관해 설명하고 있으나, 색차성분에 관해서도 마찬가지의 구조로 양자화 매트릭스의 생성이 가능하다. 이때, 색차성분의 양자화 매트릭스 생성 파라미터를 신택스로 다중화하기 위한 오버헤드의 증가를 회피하기 위해, 휘도성분과 같은 양자화 매트릭스를 이용해도 좋고, 각 주파수 위치에 대응하는 오프셋을 붙인 양자화 매트릭스를 작성하여 이용해도 좋다.
본 발명의 본 실시형태에 있어서는, 제N매트릭스 생성부(203)에서 삼각함수 (정현함수)를 이용한 양자화 매트릭스 생성법에 대해 설명했으나, 이용하는 함수는 시그모이드 함수나 가우스 함수라도 좋고, 함수 타입에 따라 보다 복잡한 양자화 매트릭스를 작성하는 것이 가능해진다. 더욱이, 양자화 매트릭스 생성 제어부(210)로부터 부여되는 양자화 매트릭스 생성 파라미터(QMP) 중 대응하는 매트릭스 생성타입(T)이 동화상 부호화 장치에서 이용할 수 없을 때, 그 매트릭스 생성타입(T)에 더할 나위 없이 닮은 매트릭스 생성타입으로 대용해서 양자화 매트릭스를 생성하는 것도 가능하다. 구체적으로는, 제2매트릭스 생성타입은 제1매트릭스 생성타입에 정현함수를 이용한 왜곡도가 더해져 있는 함수로서, 생성되는 양자화 매트릭스의 경향도 비슷하다. 그래서, T=3이 입력되어 있을 때, 부호화 장치 내에서 제3매트릭스 생성부를 이용할 수 없는 경우에는, 제1매트릭스 생성부를 이용한다.
본 발명의 실시형태에 있어서는, 매트릭스 생성타입(T), 양자화 매트릭스의 변화도(A), 왜곡도(B), 보정항(C)의 4개의 파라미터를 이용하고 있었지만, 이 이외의 파라미터를 이용해도 좋고, 매트릭스 생성타입(T)에 의해 결정된 수의 파라미터를 이용할 수 있다. 또, 동시에 매트릭스 생성타입(T)에 의해 미리 결정된 파라미터의 변환 테이블을 가지고 있어도 좋다. 송신하는 양자화 매트릭스 생성 파라미터의 수가 적고, 정밀도가 낮을수록, 이 파라미터를 부호화하기 위한 부호량이 적어지지만, 동시에 양자화 매트릭스의 자유도가 감소되기 때문에, 적용하는 프로파일이나 하드웨어 규모 등의 밸런스를 고려해서, 양자화 매트릭스 생성 파라미터의 수 및 정밀도를 선택하면 좋다.
본 발명의 실시형태에 있어서는, 처리대상 프레임을 16x16 화소 사이즈 등의 사각형 블럭으로 분할하고, 화면 왼쪽 위의 블럭으로부터 오른쪽 아래를 향해 순서대로 부호화하는 경우에 대해 설명하고 있지만, 처리순서는 다른 순서여도 좋다. 예컨대, 오른쪽 아래로부터 왼쪽 위로 처리를 수행해도 좋고, 화면 중앙으로부터 소용돌이 모양으로 처리를 수행해도 좋다. 오른쪽 위로부터 왼쪽 아래로 수행해도 좋고, 화면의 주변부로부터 중심부를 향해 처리를 수행해도 좋다.
본 발명의 실시형태에 있어서는, 변환 양자화 블럭 사이즈를 16x16 화소단위의 매크로블럭으로 분할하고, 더욱이 프레임 내부 예측의 처리단위로서 8x8 화소블럭이나 4x4 화소블럭의 경우에 대해 설명하고 있지만, 처리대상 블럭은 균일한 블럭 형상으로 할 필요는 없고, 16x8 화소, 8x16 화소, 8x4 화소, 4x8 화소 등의 블럭 사이즈에 관해서도 적용가능하다. 예컨대, 8x4 화소블럭이나 2x2 화소블럭에 대해서도, 마찬가지의 구조로 실현이 가능하다. 더욱이, 1개의 매크로블럭 중에서, 균일한 블럭 사이즈를 취할 필요는 없고, 각각 다른 블럭의 크기를 선택해도 좋다. 예컨대, 매크로블럭 내에서 8x8 화소블럭과 4x4 화소블럭을 혼재시켜도 좋다. 이 경우, 분할 블럭수가 증가하면, 분할 블럭을 부호화하기 위한 부호량이 증가하지만, 보다 정밀도가 높은 예측이 가능하고, 예측오차를 삭감하는 것이 가능하다. 따라서, 변환계수의 부호량과 국소 복호화상과의 밸런스를 고려해서 블럭 사이즈를 선택하면 좋다.
본 발명의 실시형태에 있어서는, 변환부(103) 및 양자화부(104), 역양자화부(105) 및 역변환부(106)가 설치되어 있다. 그러나, 반드시 모든 예측오차신호에 대해 변환 양자화 및 역양자화·역변환을 수행할 필요는 없고, 예측오차신호를 그 대로 부호화 처리부(109)에서 부호화해도 좋은 바, 양자화 및 역양자화 처리를 생략해도 좋다. 마찬가지로, 변환처리와 역변환처리를 수행하지 않아도 좋다.
(제2의 실시형태 : 부호화)
도 12의 플로우차트를 참조해서 본 발명의 제2의 실시형태에 따른 멀티패스(multi-path: 다중 경로) 부호화를 설명한다. 본 실시형태에 있어서는, 도 3의 제1의 실시형태와 마찬가지의 기능을 가진 부호화 플로우, 즉 단계 S002 내지 S015에 관해서는, 설명을 생략한다. 화면마다 최적의 양자화 매트릭스를 설정하는 경우, 양자화 매트릭스의 최적화가 필요하게 된다. 이를 위해서는 멀티패스 부호화가 유효하다. 이 멀티패스 부호화에 의하면, 양자화 매트릭스 생성 파라미터의 효율적인 선택을 행할 수 있다.
본 실시형태에 있어서는, 멀티패스 부호화를 위해, 도 12에 나타낸 바와 같이 제1의 실시형태의 단계 S002의 앞에 단계 S101 내지 S108이 추가된다. 즉, 먼저, 동화상 부호화 장치(100)에 1프레임분의 입력화상신호(116)가 입력되고(단계 S101), 16x16 화소의 매크로블럭 단위로 분할되어 부호화된다. 이때, 부호화 제어부(110)는, 현프레임에서 이용하는 양자화 매트릭스 생성 파라미터의 인덱스를 0으로 초기화하고, 최소비용을 나타내는 min_costQ를 초기화한다(스텝 S102). 이때, 양자화 매트릭스 생성 제어부(210)는, 양자화 매트릭스 생성 파라미터 세트 중에서 PQM_idx로 나타내어지는 양자화 매트릭스 생성 파라미터의 인덱스를 선택해서 양자화 매트릭스 생성부(109)로 보낸다. 양자화 매트릭스 생성부(109)는, 입력되고 있 는 양자화 매트릭스 생성 파라미터의 방식에 따라 양자화 매트릭스를 생성한다(단계 S103). 이때 생성되어 있는 양자화 매트릭스를 이용해서 1프레임분의 부호화가 행해진다(단계 S104). 여기서 매크로블럭마다 비용이 누적 가산되어 1프레임의 부호화 비용이 산출된다(단계 S105).
계산되어 있는 비용(cost)이 최소비용 min_costQ보다 작은지 아닌지를 판별하고(단계 S106), 산출비용이 최소비용보다 작은 경우(YES)에는, 그 산출비용으로 최소비용이 갱신된다. 그 때의 양자화 매트릭스 생성 파라미터의 인덱스를 Best_PQM_idx 인덱스로서 유지한다(단계 S107). 계산되어 있는 비용(cost)이 최소비용 min_costQ보다 큰 경우(NO), PQM_index를 증가시키고, 증가 후의 PQM_idx가 최후인지 어떤지를 판정한다(단계 S108). 이러한 판정이 NO의 경우, 양자화 매트릭스 생성 파라미터의 인덱스가 갱신되고, 부호화가 더 계속된다. 한편, 판정이 YES의 경우는, Best_PQM_idx가 재차 양자화 매트릭스 생성부(109)로 입력되고, 본 부호화 플로우(단계 S002 내지 S015)가 수행된다. 멀티패스 처리 시에 Best_PQM_idx에서 부호화했을 때의 부호화 데이터를 유지하고 있는 경우, 본 부호화 플로우를 행할 필요는 없고, 부호화 데이터의 갱신에 의해 당해 프레임의 부호화를 종료하는 것이 가능하다.
제2의 실시형태에 있어서, 멀티패스로 부호화하는 경우, 반드시 1프레임 전체의 부호화를 수행할 필요는 없고, 블럭 단위의 변환계수 분포로부터 이용하는 양자화 매트릭스 생성 파라미터를 결정하는 것이 가능하다. 예컨대, 저레이트 시에 생성되어 있는 변환계수가 거의 0인 경우는, 양자화 매트릭스를 이용하지 않더라도 출력되는 부호화 데이터의 성질이 변하지 않기 때문에, 처리를 대폭 삭감하는 것이 가능하다.
양자화 매트릭스 생성 파라미터의 부호화 방법에 대해 설명한다. 도 7은 상기 실시형태에서 이용되는 신택스의 구조의 개략을 나타낸다. 신택스는 주로 3개의 부분으로 이루어진다. 하이레벨 신택스(401)는 슬라이스 이상의 상위 레이어의 신택스 정보가 담겨 있다. 슬라이스 레벨 신택스(402)에서는 슬라이스마다 필요한 정보가 명기되어 있고, 매크로블럭 레벨 신택스(403)에서는 매크로블럭마다 필요하게 되는 양자화 파라미터의 변경값이나 모드정보 등이 명기되어 있다. 이들 신택스는, 더 상세한 신택스로 구성되어 있다. 즉, 하이레벨 신택스(401)는, 시퀀스 파라미터 세트 신택스(404)와 화면 파라미터 세트 신택스(405) 등의 시퀀스, 화면 레벨의 신택스로 구성되어 있다. 슬라이스 레벨 신택스(402)는, 슬라이스 헤더 신택스(406), 슬라이스 데이터 신택스(407) 등으로 이루어진다. 더욱이, 매크로블럭 레벨 신택스(403)는, 매크로블럭 헤더 신택스(408), 매크로블럭 데이터 신택스(409) 등으로 구성되어 있다.
앞에서 설명한 신택스는 복호화 시에 필요 불가결한 구성요소로서, 이들의 신택스 정보가 부족하면 복호화 시에 올바르게 데이터를 복원할 수 없게 된다. 한편, 복호화 시에 반드시 필요로 되지 않는 정보를 다중화하기 위한 보조적인 신택스로서 보충 신택스(supplementary syntax)가 존재한다. 이 신택스에서는, 화상의 통계 데이터나 카메라 파라미터 등이 기술되어 있고, 복호화 시에 필터를 건다거나 조정을 실시할 수 있는 것과 같은 역할로서 준비되어 있다.
본 실시형태에서, 필요하게 되는 신택스 정보는 시퀀스 파라미터 세트 신택스(404), 화면 파라미터 세트 신택스(405)로서, 각각의 신택스를 이하에서 설명한다.
도 8의 시퀀스 파라미터 세트 신택스 내에 나타낸 ex_seq_scaling_matrix_flag는, 양자화 매트릭스를 이용할 것인지 어떤지를 나타내는 플래그로서, 이 플래그가 TRUE일 때는 양자화 매트릭스를 시퀀스 단위로 절체하는 것이 가능하다. 한편, 플래그가 FALSE일 때는, 시퀀스 내에서는 양자화 매트릭스를 이용할 수 없다. ex_seq_scaling_matrix_flag가 TRUE일 때는, 더욱이 ex_matrix_type, ex_matrix_A, ex_matrix_B, ex_matrix_C가 보내진다. 이들은 각각, 매트릭스 생성타입(T), 양자화 매트릭스의 변화도(A), 왜곡도(B), 보정항(C)에 대응하고 있다.
도 9의 화면 파라미터 세트 신택스 내에 나타낸 ex_pic_scaling_matrix_flag는, 화면마다 양자화 매트릭스를 변경할 것인지 어떤지를 나타내는 플래그로서, 이 플래그가 TRUE일 때는 화면 단위로 양자화 매트릭스를 절체하는 것이 가능하다. 한편, 플래그가 FALSE일 때는, 화면마다 양자화 매트릭스를 변경할 수 없다. ex_pic_scaling_matrix_flag가 TRUE일 때는 더욱이 ex_matrix_type, ex_matrix_A, ex_matrix_B, ex_matrix_C가 송신된다. 이들은 각각, 매트릭스 생성타입(T), 양자화 매트릭스의 변화도(A), 왜곡도(B), 보정항(C)에 대응하고 있다.
화면 파라미터 세트 신택스의 다른 예로서, 도 10에 복수의 양자화 매트릭스생성 파라미터를 보내는 경우의 예를 나타낸다. 화면 파라미터 세트 신택스 내에 나타낸 ex_pic_scaling_matrix_flag는, 화면마다 양자화 매트릭스를 변경할 것인지 어떤지를 나타내는 플래그로서, 당해 플래그가 TRUE일 때는 화면 단위로 양자화 매트릭스를 절체하는 것이 가능하다. 한편, 플래그가 FALSE일 때는, 화면마다 양자화 매트릭스를 변경할 수 없다. ex_pic_scaling_matrix_flag가 TRUE일 때는 더욱이 ex_num_of_matrix_type이 보내진다. 이 값은, 양자화 매트릭스 생성 파라미터의 세트수를 나타내고 있고, 이 조합에 의해 복수의 양자화 매트릭스를 보내는 것이 가능해진다. 계속해서 보내지는 ex_matrix_type, ex_matrix_A, ex_matrix_B, ex_matrix_C는, ex_num_of_matrix_type의 값만큼 송출되고, 결과로서 화면 내에서 복수의 양자화 매트릭스를 설치할 수 있게 된다. 더욱이 양자화 매트릭스를 블럭 단위로 변경하고자 하는 경우에는, 대응하는 양자화 매트릭스의 수만큼 블럭마다 비트를 송신하고, 절체하면 좋다. 예컨대, ex_num_of_matrix_type이 2인 경우, 매크로블럭 헤더 신택스에서 1비트의 신택스를 부가하고, 이 값이 TRUE인지 FALSE인지에 따라 양자화 매트릭스를 절체한다.
본 실시형태에 있어서, 앞에서 설명한 바와 같이 복수의 양자화 매트릭스 생성 파라미터를 1개의 프레임 내에서 유지하는 경우, 그들은 보조적인 신택스로 다중화할 수 있다. 도 11에 보충 신택스를 이용해서 복수의 양자화 매트릭스 생성 파라미터를 보내는 경우의 예를 나타낸다. 보충 신택스 내에 나타낸 ex_sei_scaling_matrix_flag는, 복수의 양자화 매트릭스를 절체할 것인지 어떤지를 나타내는 플래그로서, 이 플래그가 TRUE일 때는 복수의 양자화 매트릭스를 절체하는 것이 가능하다. 한편, 플래그가 FALSE일 때는, 양자화 매트릭스를 절체할 수 없다. ex_sei_scaling_matrix_flag가 TRUE일 때는 더욱이 ex_num_of_matrix_type이 보내진다. 이 값은, 양자화 매트릭스 생성 파라미터의 세트수를 나타내고 있고, 이 조합에 의해 복수의 양자화 매트릭스를 보내는 것이 가능해진다. 계속해서 보내지는 matrix_type, ex_matrix_A, ex_matrix_B, ex_matrix_C는, ex_num_of_matrix_type의 값만큼 송출되고, 결과로서 화면 내에서 복수의 양자화 매트릭스를 설치할 수 있게 된다.
본 발명의 본 실시형태에 있어서, 도 7에 나타낸 슬라이스 레벨 신택스 중의 슬라이스 헤더 신택스에 의해 양자화 매트릭스의 재송신을 수행하는 것이 가능하다. 이와 같은 경우의 예를, 도 13을 이용해서 설명한다. 도 13은 슬라이스 헤더 신택스 내의 신택스 구조를 나타내고 있다. 도 13의 슬라이스 헤더 신택스 내에 나타낸 slice_ex_scaling_matrix_flag는, 당해 슬라이스에 있어서 양자화 매트릭스를 이용할 것인지 어떤지를 나타내는 플래그로서, 당해 플래그가 TRUE일 때는 양자화 매트릭스를 당해 슬라이스에서 변경할 수 있다. 한편, 플래그가 FALSE일 때는, 당해 슬라이스 내에서 양자화 매트릭스를 변경할 수 없다. slice_ex_scaling_matrix_flag가 TRUE일 때는 더욱이 slice_ex_matrix_type이 송신된다. 이 신택스는 매트릭스 생성타입(T)에 대응하고 있다. 계속해서 slice_ex_matrix_A, slice_ex_matrix_B, slice_ex_matrix_C가 송신된다. 이들은 각각, 양자화 매트릭스의 변화도(A), 왜곡도(B), 보정항(C)에 대응하고 있다. 도 13 중의 NumOfMatrix는, 당해 슬라이스에서 이용가능한 양자화 매트릭스의 수를 나타내고 있다. 이 값은, 슬라이스 레벨 내의 더 작은 영역에서 양자화 매트릭스를 변경하는 경우, 휘도성분과 색성분에서 양자화 매트릭스를 변경하는 경우, 양자화 블럭 사이즈에서 양자화 매트릭스를 변경하는 경우, 부호화 모드마다 양자화 매트릭스를 변경하는 경우 등에, 각각 대응하는 양자화 매트릭스의 모델화 파라미터를 송신하는 것이 가능하다. 예로서 당해 슬라이스에서, 4x4 화소블럭 사이즈와, 8x8 화소블럭 사이즈의 2종류의 양자화 블럭이 존재하고, 각각에 대해 다른 양자화 매트릭스를 이용할 수 있는 경우, NumOfMatrix값은 2가 설정된다.
본 발명의 본 실시형태에 있어서, 도 14와 같은 슬라이스 헤더 신택스를 이용해서 슬라이스 레벨에서 양자화 매트릭스를 변경하는 것도 가능하다. 도 14에서는, 도 13과 비교해서 송신하는 모델화 파라미터가 3개로 되어 있다. 예컨대 수식 (5)를 이용한 양자화 매트릭스의 생성을 행하는 경우, 왜곡도(B)는 항상 0으로 설정되어 있기 때문에 송신할 필요가 없다. 그 때문에, 내부 매개변수로서 초기값을 0으로 유지함으로써, 부호화기와 복호화기에서 완전히 같은 양자화 매트릭스를 생성하는 것이 가능하게 된다.
본 발명의 본 실시형태에 있어서, 도 15에서 나타낸 슬라이스 헤더 신택스를 이용해서 파라미터를 송신하는 것도 가능하다. 도 15는 도 13에 더하여, PrevSliceExMatrixType, PrevSliceExMatrix_A, PrevSliceExMatrix_B(더욱이 PrevSliceExMatrix_C)가 추가되어 있다. 보다 구체적으로 설명하면 slice_ex_scaling_matrix_flag는, 당해 슬라이스에서 양자화 매트릭스를 이용할 것인지 어떤지를 나타내는 플래그로서, 이 플래그가 TRUE일 때는 도 13, 도 14에 나타낸 바와 같이 모델화 파라미터를 디코더로 송신한다. 한편, 당해 플래그가 FALSE인 경우, PrevSliceExMatrixType, PrevSliceExMatrix_A, PrevSliceExMatrix_B, (더욱이 PrevSliceExMatrix_C)가 설정된다. 이들의 의미는 다음과 같이 해석된다.
PrevSliceExMatrixType은, 부호화 순으로 당해 슬라이스의 1개 전의 같은 슬라이스 타입으로 부호화된 때에 사용된 생성타입(T)을 나타내고 있다. 본 변수는, 슬라이스의 부호화가 종료되기 직전에 갱신된다. 초기값은 0으로 설정되어 있다.
PrevSliceExMatrix_A는 부호화 순으로 당해 슬라이스의 1개 전의 같은 슬라이스 타입으로 부호화된 때에 사용된 변화도(A)를 나타내고 있다. 본 변수는, 슬라이스의 부호화가 종료되기 직전에 갱신된다. 초기값은 0으로 설정되어 있다.
PrevSliceExMatrix_B는 부호화 순으로 당해 슬라이스의 1개 전의 같은 슬라이스 타입으로 부호화된 때에 사용된 왜곡도(B)를 나타내고 있다. 본 변수는, 슬라이스의 부호화가 종료되기 직전에 갱신된다. 초기값은 0으로 설정되어 있다.
PrevSliceExMatrix_C는 부호화 순으로 당해 슬라이스의 1개 전의 같은 슬라이스 타입으로 부호화된 때에 사용된 보정항(C)을 나타내고 있다. 본 변수는, 슬라이스의 부호화가 종료되기 직전에 갱신된다. 초기값은 16으로 설정되어 있다.
CurrSliceType는 당해 부호화 슬라이스의 슬라이스 타입을 나타내고 있는 바, 예컨대 I-Slice, P-Slice, B-Slice마다 대응하는 인덱스가 할당되어 있다. 도 16에 CurrSliceType의 1예를 나타낸다. 각각의 슬라이스 타입마다 값이 할당되어 있다. 예컨대 화면내 예측만을 이용하는 I-Slice에서는 0이 할당되어 있다. 또, 시간 순으로 앞에 부호화한 부호화 프레임으로부터의 단방향 예측과 화면내 예측을 이용할 수 있는 P-Slice에는 1이 할당되어 있다. 한편, 쌍방향 예측, 단방향 예측, 화면내 예측을 이용할 수 있는 B-Slice에서는 2가 할당되어 있다.
이와 같이, 직전의 같은 슬라이스 타입으로 부호화된 양자화 매트릭스의 모델화 파라미터를 호출해서 재설정함으로써, 모델화 파라미터의 송신에 필요하게 되는 부호량을 삭감할 수 있게 된다.
본 발명의 본 실시형태에 있어서, 도 17을 이용할 수도 있다. 도 17은 도 15 중의 NumOfMatrix가 삭제된 구조로 되어 있다. 부호화 슬라이스에서 이용가능한 양자화 매트릭스가 1개뿐인 경우, 도 15보다 간단화된 본 신택스를 이용한다. 본 신택스는 도 15에서 NumOfMatrix가 1인 경우와 거의 같은 동작을 나타낸다.
복호화기에서 복수의 양자화 매트릭스를 동일 화면 내에서 유지할 수 있는 경우, 보충 신택스로부터 양자화 매트릭스 생성 파라미터를 읽어내어 대응하는 양자화 매트릭스를 생성한다. 한편, 복수의 양자화 매트릭스를 동일 화면 내에서 유지할 수 없는 경우, 보충 신택스를 복호화하지 않고, 화면 파라미터 세트 신택스에 기술되어 있는 양자화 매트릭스 생성 파라미터에 의해 생성되고 있는 양자화 매트릭스를 이용한다.
이상 설명한 바와 같이 상기 실시형태에서는, 대응하는 매트릭스 생성 타입에 따라, 양자화 매트릭스를 생성하고, 이 양자화 매트릭스의 생성 파라미터를 부호화함으로써, 양자화 매트릭스를 보내기 위한 부호량을 삭감할 수 있고, 또한 화면 내에서도 적응적 양자화 매트릭스 선택이 가능하게 되어, 주관화질을 고려한 양자화나, 부호화 효율을 고려한 부호화 등의 여러 가지 용도로 대응 가능한 부호화 를 이룰 수 있다. 즉 화소블럭의 내용 등에 따라 적합한 부호화를 이룰 수 있다.
앞에서 설명한 바와 같이 선택되어 있는 모드에서의 부호화 시에, 복호화상신호의 생성은 선택되어 있는 모드에 대해서만 행하면 좋고, 예측모드 판정을 위한 루프 내에서는, 반드시 수행하지 않아도 좋다.
다음에, 상기 동화상 부호화 장치에 대응하는 동화상 복호화 장치에 대해 설명한다.
(제3의 실시형태 : 복호화)
도 18에 나타낸 본 실시형태에 따른 동화상 복호화 장치(300)에 의하면, 입력버퍼(309)는 도 1의 동화상 부호화 장치(100)로부터 송출되고, 전송계 또는 축적계를 거쳐 보내온 부호화 데이터를 일단 보존한다. 보존된 부호화 데이터는 1프레임마다 신택스에 기초해서 분리되어 복호화 처리부(301)에 입력한다. 복호화 처리부(301)는, 도 7에 나타낸 신택스 구조에 따라, 하이레벨 신택스, 슬라이스 레벨 신택스, 매크로블럭 레벨 신택스의 각각에 대해, 순차로 부호화 데이터의 각 신택스의 부호열을 복호한다. 이 복호에 의해 양자화되어 있는 변환계수, 양자화 매트릭스 생성 파라미터, 양자화 파라미터, 예측모드 정보, 예측 절체정보 등이 복원된다.
복호화 처리부(301)는, 복호된 신택스로부터, 대응하는 프레임에서 양자화 매트릭스를 이용할 것인지 어떤지를 나타내는 플래그를 생성하고, 그것을 생성 파라미터 설정부(306)로 입력한다. 이 플래그가 TRUE일 때는, 더욱이 복호화 처리 부(301)로부터 양자화 매트릭스 생성 파라미터(311)가 생성 파라미터 설정부(306)로 입력된다. 생성 파라미터 설정부(306)는 양자화 매트릭스 생성 파라미터(311)의 갱신기능을 가지고 있고, 복호화 처리부(301)에서 복호되어 있는 신택스에 기초해서 양자화 매트릭스 생성 파라미터(311)의 세트를 양자화 매트릭스 생성부(307)로 입력한다. 양자화 매트릭스 생성부(307)는, 입력되고 있는 양자화 매트릭스 생성 파라미터(311)에 대응하는 양자화 매트릭스(318)를 생성하여 역양자화부(302)로 출력한다.
부호화 처리부(301)로부터 출력되는 양자화되어 있는 변환계수는 역양자화부(302)에 입력되고, 복원되어 있는 각 정보를 기초로 양자화 매트릭스(318), 양자화 파라미터 등을 이용해서 역양자화부(302)에서 역양자화된다. 역양자화되어 있는 변환계수는 역변환부(303)로 입력된다. 역변환부(303)는 역양자화되어 있는 변환계수를 역변환(예컨대 역이산 코사인 변환 등)하여 오차신호(313)를 생성한다. 여기서는, 역직교변환에 대해 설명했지만, 부호화기에서 웨이브렛 변환이나 독립 성분분석 등이 행해지고 있는 경우, 역변환부(303)에서는 대응하는 역웨이브렛 변환이나 역독립 성분해석 등이 수행되어도 좋다. 역변환부(303)에서 역변환되어 있는 계수는 오차신호(313)로서, 가산기(308)로 보내진다. 가산기(308)는 예측부(305)로부터 출력되는 예측신호(315)와 오차신호(313)를 가산하고, 가산신호를 복호신호(314)로서 참조 메모리(304)로 입력한다. 복호화상(314)은 더욱이 동화상 복호화부(300) 밖으로 송출되고, 출력버퍼(도시하지 않음) 등에 축적된다. 출력버퍼에 격납되어 있는 복호화상은, 복호화 제어부(310)가 관리하는 타이밍에서 읽어 내어진다.
한편, 복호화 처리부(301)에서 복호되어 있는 예측정보(316), 모드정보 등이 예측부(305)로 입력된다. 또, 이미 부호화되어 있는 참조신호(317)가 참조 메모리(304)로부터 예측부(305)로 공급된다. 예측부(305)는, 입력되어 있는 모드정보 등을 기초로, 예측신호(315)를 생성하여 가산기(308)로 공급한다.
복호화 제어부(310)는, 입력버퍼(307), 출력타이밍의 제어나, 복호화 타이밍의 제어 등을 수행한다.
제3의 실시형태의 동화상 복호화 장치(300)는 앞에서 설명한 바와 같이 구성되어 있고, 이하에 동화상 복호 장치(300)에 의해 실시할 수 있는 동화상 복호화 방법을 도 19의 플로우차트를 참조해서 설명한다.
입력버퍼(309)로부터 1프레임의 부호화 데이터를 읽어 들이고(단계 S201), 신택스 구조에 따라 부호화 데이터를 복호화한다(단계 S202). 복호화되어 있는 신택스에 기초해서 읽어 들인 프레임에 대해 양자화 매트릭스를 이용할 것인지 아닌지를 플래그에 의해 판정한다(단계 S203). 이 판정이 YES이면, 양자화 매트릭스 생성 파라미터를 양자화 매트릭스 생성부(307)에 설정한다(단계 204). 양자화 매트릭스 생성부(307)는 생성 파라미터에 대응하는 양자화 매트릭스를 생성한다(단계 205). 이 양자화 매트릭스 생성에는, 앞에서 설명한 동화상 부호화 장치에서 이용한, 도 2에 나타낸 양자화 매트릭스 생성부(109)와 같은 구성의 양자화 매트릭스 생성부(307)가 사용되고, 같은 처리를 매개로 양자화 매트릭스가 생성된다. 이 양자화 매트릭스 생성부(109)에 생성 파라미터를 설정하는 생성 파라미터 생성 부(306)도 부호화 장치의 생성 파라미터 설정부(108)와 같은 구성의 것이 사용된다.
즉, 생성 파라미터 생성부(306)에 있어서도, 도 7에 나타낸 바와 같이 신택스는 주로 3개의 부분, 즉 하이레벨 신택스(401), 슬라이스 레벨 신택스(402) 및 매크로블럭 레벨 신택스(403)로 이루어진다. 또, 이들 신택스는 부호화 장치의 것과 마찬가지로 더 상세한 신택스로 구성되어 있다.
앞에서 설명한 신택스는 복호화 시에 필요 불가결한 구성요소로서, 이들 신택스 정보가 부족하면 복호화 시에 올바르게 데이터를 복원할 수 없게 된다. 한편, 복호화 시에 반드시 필요로 되지 않는 정보를 다중화하기 위한 보조적인 신택스로서 보충 신택스가 존재한다.
본 실시형태에서, 필요하게 되는 신택스 정보는 시퀀스 파라미터 세트 신택스(404), 화면 파라미터 세트 신택스(405)이고, 각각의 신택스는 동화상 부호화 장치에 있어서의 설명과 마찬가지로 도 8 및 도 9에 각각 나타낸 바와 같이 시퀀스 파라미터 세트 신택스 및 화면 파라미터 세트 신택스가 구성되어 있다.
화면 파라미터 세트 신택스의 다른 예로서도 동화상 부호화 장치에 있어서 설명한 바와 같이 도 10에 나타낸 것과 같은 복수의 양자화 매트릭스 생성 파라미터를 보내는 경우의 화면 파라미터 세트 신택스를 사용할 수 있다. 다만, 양자화 매트릭스를 블럭단위로 변경하고자 하는 경우에는, 대응하는 양자화 매트릭스의 수만큼, 블럭마다 비트를 송신하고, 절체하면 좋다. 예컨대, ex_num_of_matrix_type이 2인 경우, 매크로블럭 헤더 신택스에서 1비트의 신택스를 부가하고, 이 값이 TRUE인지 FALSE인지에 따라, 양자화 매트릭스를 절체한다.
본 실시형태에 있어서, 앞에서 설명한 바와 같이 복수의 양자화 매트릭스 생성 파라미터를 1개의 프레임 내에서 유지하는 경우, 보조적인 신택스에 다중화되어 있는 데이터를 이용하는 것이 가능하다. 이에 대해서도 동화상 부호화 장치에 있어서 설명한 바와 같이 도 11에 나타낸 보충 신택스을 이용해서 복수의 양자화 매트릭스 생성 파라미터를 사용할 수 있다.
본 발명의 본 실시형태에 있어서, 도 7에 나타낸 슬라이스 레벨 신택스 중의 슬라이스 헤더 신택스에 의해, 양자화 매트릭스의 재수신을 수행하는 것이 가능하다. 이와 같은 경우의 예를, 도 13을 이용해서 설명한다. 도 13은 슬라이스 헤더 신택스 내의 신택스 구조을 나타내고 있다. 도 13의 슬라이스 헤더 신택스 내에 나타낸 slice_ex_scaling_matrix_flag는, 당해 슬라이스에 있어서 양자화 매트릭스를 이용할 것인지 어떤지를 나타내는 플래그로서, 당해 플래그가 TRUE일 때는 양자화 매트릭스를 당해 슬라이스에서 변경할 수 있다. 한편, 플래그가 FALSE일 때는, 당해 슬라이스 내에서는 양자화 매트릭스를 변경할 수 없다. slice_ex_scaling_matrix_flag가 TRUE일 때는 더욱이 slice_ex_matrix_type이 수신된다. 이 신택스는 매트릭스 생성타입(T)에 대응하고 있다. 계속해서 slice_ex_matrix_A, slice_ex_matrix_B, slice_ex_matrix_C가 수신된다. 이들은 각각, 양자화 매트릭스의 변화도(A) , 왜곡도(B), 보정항(C)에 대응하고 있다. 도 13 중의 NumOfMatrix는, 당해 슬라이스에서 이용가능한 양자화 매트릭스의 수를 나타내고 있다. 이 값은, 슬라이스 레벨 내의 더 작은 영역에서 양자화 매트릭스를 변경하는 경우, 휘도성분과 색성분에서 양자화 매트릭스를 변경하는 경우, 양자화 블럭 사이즈에서 양자화 매트릭스를 변경하는 경우, 부호화 모드마다 양자화 매트릭스를 변경하는 경우 등에, 각각 대응하는 양자화 매트릭스의 모델화 파라미터를 수신하는 것이 가능하게 된다. 예로서 당해 슬라이스에서, 4x4 화소블럭 사이즈와 8x8 화소블럭 사이즈의 2종류의 양자화 블럭이 존재하고, 각각에 대해 다른 양자화 매트릭스를 이용할 수 있는 경우, NumOfMatrix 값은 2가 설정된다.
본 발명의 본 실시형태에 있어서, 도 14에 나타낸 슬라이스 헤더 신택스를 이용해서 슬라이스 레벨에서 양자화 매트릭스를 변경하는 것도 가능하다. 도 14에서는, 도 13과 비교해서 수신하는 모델화 파라미터가 3개로 되어 있다. 예컨대 수식 (5)를 이용한 양자화 매트릭스의 생성을 수행하는 경우, 왜곡도(B)는 항상 0으로 설정되어 있기 때문에 수신할 필요가 없다. 그 때문에, 내부 매개변수로서 초기값을 0으로 유지함으로써 부호화기와 복호화기에서 완전히 같은 양자화 매트릭스를 생성하는 것이 가능하게 된다.
또, 본 발명의 본 실시형태에 있어서, 도 15에서 나타낸 슬라이스 헤더 신택스를 이용해서 파라미터를 수신하는 것도 가능하다. 도 15는 도 13에 더하여, PrevSliceExMatrixType, PrevSliceExMatrix_A, PrevSliceExMatrix_B(더욱이 PrevSliceExMatrix_C)가 추가되어 있다. 보다 구체적으로 설명하면 slice_ex_scaling_matrix_flag는, 당해 슬라이스에 있어서 양자화 매트릭스를 이용할 것인지 어떤지를 나타내는 플래그로서, 이 플래그가 TRUE일 때는 도 13, 도 14에 나타낸 바와 같이 모델화 파라미터를 수신한다. 한편, 당해 플래그가 FALSE인 경우, PrevSliceExMatrixType, PrevSliceExMatrix_A, PrevSliceExMatrix_B, (더욱이 PrevSliceExMatrix_C)가 설정된다. 이들의 의미는 다음과 같이 해석된다.
PrevSliceExMatrixType은, 복호화 순으로 당해 슬라이스의 1개 전의 같은 슬라이스 타입으로 복호화된 때에 사용되는 생성타입(T)을 나타내고 있다. 본 변수는, 슬라이스의 복호화가 종료되기 직전에 갱신된다. 초기값은 0으로 설정되어 있다.
PrevSliceExMatrix_A는 복호화 순으로 당해 슬라이스의 1개 전의 같은 슬라이스 타입으로 복호화된 때에 사용된 변화도(A)를 나타내고 있다. 본 변수는, 슬라이스의 복호화가 종료되기 직전에 갱신된다. 초기값은 0으로 설정되어 있다.
PrevSliceExMatrix_B는 복호화 순으로 당해 슬라이스의 1개 전의 같은 슬라이스 타입으로 복호화된 때에 사용된 왜곡도(B)를 나타내고 있다. 본 변수는, 슬라이스의 복호화가 종료되기 직전에 갱신된다. 초기값은 0으로 설정되어 있다.
PrevSliceExMatrix_C는 복호화 순으로 당해 슬라이스의 1개 전의 같은 슬라이스 타입으로 복호화된 때에 사용된 보정항(C)을 나타내고 있다. 본 변수는, 슬라이스의 복호화가 종료되기 직전에 갱신된다. 초기값은 16으로 설정되어 있다.
여기서, CurrSliceType은 당해 슬라이스의 슬라이스 타입을 나타내고 있는 바, 예컨대 I-Slice, P-Slice, B-Slice마다 대응하는 인덱스가 할당되어 있다. 도 16에 CurrSliceType의 1예를 나타낸다. 각각의 슬라이스 타입마다 값이 할당되어 있다. 예컨대 화면내 예측만을 이용하는 I-Slice에서는 0이 할당되어 있다. 또, 시간 순으로 앞에 부호화한 부호화 프레임으로부터의 단방향 예측과 화면내 예측을 이용할 수 있는 P-Slice에는 1이 할당되어 있다. 한편, 쌍방향 예측, 단방향 예측, 화면내 예측을 이용할 수 있는 B-Slice에서는 2가 할당되어 있다.
이와 같이, 직전의 같은 슬라이스 타입에서 복호화된 양자화 매트릭스의 모델화 파라미터를 호출해서 재설정함으로써, 모델화 파라미터의 수신에 필요하게 되는 부호량을 삭감하는 것이 가능하게 된다.
본 발명의 본 실시형태에 있어서, 도 17을 이용하는 것도 가능하다. 도 17은 도 15 중의 NumOfMatrix가 삭제된 구조로 되어 있다. 당해 슬라이스에서 이용가능한 양자화 매트릭스가 1개뿐인 경우, 도 16보다 간단화된 본 신택스를 이용한다. 본 신택스는 도 15에서 NumOfMatrix가 1인 경우와 거의 같은 동작을 나타낸다.
앞에서 설명한 바와 같이 양자화 매트릭스가 생성되면, 복호되어 있는 변환계수(312)는 양자화 매트릭스를 이용해서 역양자화되고(단계 S206), 더욱이 역변환부(303)에 의해 역변환된다(단계 S207). 이에 따라, 오차신호가 재생된다. 이때, 예측부(305)에 의해 예측정보(316)에 기초해서 예측화상이 생성되고(S209), 이 예측화상과 오차신호가 가산된다(단계 S209). 이 결과, 복호화상신호가 재생된다. 이 복호화상신호는 참조 메모리(304)에 기억됨과 더불어 외부장치에 출력된다.
이상 설명한 바와 같이 본 실시형태에서는, 입력되어 온 부호화 데이터를 기초로 대응하는 매트릭스 생성타입에 따라 양자화 매트릭스를 생성하고, 역양자화에서 이용함으로써, 양자화 매트릭스 자체의 부호량을 삭감할 수 있다.
앞에서 설명한 각 부의 기능은, 컴퓨터에 기억되어 있는 프로그램에 의해 실 현할 수 있다.
본 실시형태에 있어서는 동화상 부호화를 예로 들어 설명했지만, 정지화상 부호화에도 본 발명을 적용할 수 있다. 또, 비디오 장치에 한정되지 않고, 오디오 장치에도 적용할 수 있다.
본 발명에 의하면, 양자화 매트릭스를 생성하기 위한 생성함수의 인덱스, 양자화 매트릭스의 변화의 정도를 나타내는 변화도, 왜곡도, 보정항 중 어느 1개 이상의 파라미터를 이용해서 복수의 양자화 매트릭스를 생성하고, 당해 양자화 매트릭스를 이용해서 양자화 및 역양자화를 수행하며, 최적의 양자화 매트릭스 생성 파라미터 세트를 부호화해서 송신함으로써, 종래의 양자화 매트릭스 송신방법보다 높은 부호화 효율을 실현할 수 있다.
본 발명에 의하면, 저비트 레이트 시에서의 부호화 효율을 향상시키는 것이 가능한 동화상 부호화·복호화 방법 및 장치를 실현할 수 있다.
비디오, 오디오 장치, 모바일 기기, 방송, 정보단말, 네트워크 등의 각 분야에 걸쳐 동화상, 정지화상, 음성 등의 부호화 및 복호화에 적용할 수 있다.

Claims (35)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 양자화 매트릭스를 이용해서 변환계수를 양자화하는 동화상 부호화 방법에 있어서,
    화소블럭에 대응하는 양자화 매트릭스의 주파수 위치에서의 DC성분으로부터 양자화 매트릭스의 각 요소까지의 거리를 산출하는 거리산출단계와,
    상기 거리로부터 양자화 매트릭스의 각 요소의 값을 구하기 위한 일차함수에, 변화의 기울기와 직선의 절편의 2개의 파라미터를 설정함으로써, 생성함수를 구하는 단계와,
    상기 생성함수를 이용해서, 상기 양자화 매트릭스의 각 요소까지의 상기 거리로부터 상기 양자화 매트릭스의 각 요소의 값을 구함으로써 양자화용 양자화 매트릭스를 생성하는 양자화 매트릭스 생성단계와,
    생성된 상기 양자화용 양자화 매트릭스를 이용해서, 입력화상신호에 관한 변환계수를 양자화하여 양자화 변환계수를 생성하는 양자화 단계와,
    상기 양자화 변환계수, 상기 변화의 기울기 및 상기 직선의 절편의 정보를 다중화하여 부호화함으로써 부호화 신호를 생성하는 부호화 단계를 포함하는 것을 특징으로 하는 동화상 부호화 방법.
  6. 삭제
  7. 청구항 5에 있어서, 상기 생성함수를 구하는 단계는, 정현함수, 여현함수, N차 함수, 시그모이드 함수, 가우스 함수의 어느 하나를 이용해서 정의된 상기 함수에, 상기 파라미터를 설정함으로써 상기 생성함수를 구하는 것을 특징으로 하는 동화상 부호화 방법.
  8. 청구항 5에 있어서, 상기 양자화 매트릭스 생성단계는, 양자화 매트릭스를 생성할 때의 연산 정밀도를, 상기 생성함수에 설정된 상기 파라미터의 정밀도에 대응해서 변경하는 단계를 포함하는 것을 특징으로 하는 동화상 부호화 방법.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 청구항 5에 있어서, 상기 부호화 단계는, 부호화 시퀀스, 부호화 화면, 또는 부호화 슬라이스의 어느 것인가의 헤더정보로서, 상기 파라미터의 정보를 부호화하는 것을 특징으로 하는 동화상 부호화 방법.
  15. 삭제
  16. 삭제
  17. 변환계수의 각 주파수 위치에 대응한 양자화 매트릭스를 이용해서 양자화 변환계수의 역양자화를 수행하는 동화상 복호화 방법에 있어서,
    입력 부호화 신호를 복호하여
    (A) 화소블럭에 대응하는 양자화 매트릭스의 주파수 위치에서의 DC성분으로부터 산출된 양자화 매트릭스의 각 요소까지의 거리로부터 양자화 매트릭스의 각 요소의 값을 구하기 위한 일차함수에, 변화의 기울기와 직선의 절편의 2개의 파라미터를 설정함으로써 구해진 생성함수를 이용해서 상기 양자화 매트릭스의 각 요소까지의 상기 거리로부터 구해지는 상기 양자화 매트릭스의 각 요소의 값에 의해 생성되는 양자화용 양자화 매트릭스를 이용해서, 입력화상신호에 관한 변환계수를 양자화하여 생성되는 양자화 변환계수, 및
    (B) 상기 변화의 기울기와 상기 직선의 절편을 포함하는 파라미터의 정보
    를 획득하는 복호단계와,
    미리 준비된 함수에 상기 파라미터를 설정해서 상기 생성함수를 구하는 단계와,
    상기 생성함수를 이용해서 상기 양자화용 양자화 매트릭스를 생성하는 양자화 매트릭스 생성단계와,
    상기 양자화 매트릭스를 이용해서 상기 양자화 변환계수를 역양자화하여 변환계수를 구하는 역양자화 단계와,
    상기 변환계수에 기초해서 복호화상을 생성하는 복호화상 생성단계를 포함하는 것을 특징으로 하는 동화상 복호화 방법.
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 청구항 17에 있어서, 상기 생성함수를 구하는 단계는, 정현함수, 여현함수, N차 함수, 시그모이드 함수, 가우스 함수의 어느 하나를 이용해서 정의된 상기 함수에, 상기 파라미터를 설정함으로써 상기 생성함수를 구하는 것을 특징으로 하는 동화상 복호화 방법.
  23. 청구항 17에 있어서, 상기 양자화 매트릭스 생성단계는, 양자화 매트릭스를 생성할 때의 연산 정밀도를, 상기 생성함수에 설정된 상기 파라미터의 정밀도에 대응해서 변경하는 단계를 포함하는 것을 특징으로 하는 동화상 복호화 방법.
  24. 삭제
  25. 삭제
  26. 청구항 17에 있어서, 상기 양자화 매트릭스 생성단계는, 복호된 양자화 매트릭스의 생성 파라미터 내의 생성함수 인덱스에 대응하는 생성함수가 복호화 시에 이용할 수 없을 때 이용가능한 생성함수로 대용해서 양자화 매트릭스를 생성하는 단계를 포함하는 것을 특징으로 하는 동화상 복호화 방법.
  27. 삭제
  28. 삭제
  29. 청구항 17에 있어서, 부호화 시퀀스, 부호화 화면, 또는 부호화 슬라이스의 어느 것인가의 헤더정보로서, 상기 파라미터의 정보를 부호화하는 것을 특징으로 하는 동화상 복호화 방법.
  30. 삭제
  31. 삭제
  32. 양자화 매트릭스를 이용해서 변환계수를 양자화하는 동화상 부호화 장치에 있어서,
    화소블럭에 대응하는 양자화 매트릭스의 주파수 위치에서의 DC성분으로부터 양자화 매트릭스의 각 요소까지의 거리를 산출하는 거리산출부와,
    상기 거리로부터 양자화 매트릭스의 각 요소의 값을 구하기 위한 일차함수에, 변화의 기울기와 직선의 절편의 2개의 파라미터를 설정함으로써, 생성함수를 구하는 생성함수 취득부와,
    상기 생성함수를 이용해서, 상기 양자화 매트릭스의 각 요소까지의 상기 거리로부터 상기 양자화 매트릭스의 각 요소의 값을 구함으로써 양자화용 양자화 매트릭스를 생성하는 양자화 매트릭스 생성부와,
    생성된 상기 양자화용 양자화 매트릭스를 이용해서, 입력화상신호에 관한 변환계수를 양자화하여 양자화 변환계수를 생성하는 양자화부와,
    상기 양자화 변환계수, 상기 변화의 기울기 및 상기 직선의 절편의 정보를 다중화하여 부호화함으로써 부호화 신호를 생성하는 부호화부를 포함하는 것을 특징으로 하는 동화상 부호화 장치.
  33. 변환계수의 각 주파수 위치에 대응한 양자화 매트릭스를 이용해서 양자화 변환계수의 역양자화를 수행하는 동화상 복호화 장치에 있어서,
    입력 부호화 신호를 복호하여
    (A) 화소블럭에 대응하는 양자화 매트릭스의 주파수 위치에서의 DC성분으로부터 산출된 양자화 매트릭스의 각 요소까지의 거리로부터 양자화 매트릭스의 각 요소의 값을 구하기 위한 일차함수에, 변화의 기울기와 직선의 절편의 2개의 파라미터를 설정함으로써 구해진 생성함수를 이용해서 상기 양자화 매트릭스의 각 요소까지의 상기 거리로부터 구해지는 상기 양자화 매트릭스의 각 요소의 값에 의해 생성되는 양자화용 양자화 매트릭스를 이용해서, 입력화상신호에 관한 변환계수를 양자화하여 생성되는 양자화 변환계수, 및
    (B) 상기 변화의 기울기와 상기 직선의 절편을 포함하는 파라미터의 정보
    를 획득하는 복호부와,
    미리 준비된 함수에 상기 파라미터를 설정해서 상기 생성함수를 구하는 생성함수 취득부와,
    상기 생성함수를 이용해서, 상기 양자화용 양자화 매트릭스를 생성하는 양자화 매트릭스 생성부와,
    상기 양자화용 양자화 매트릭스를 이용해서, 상기 양자화 변환계수를 역양자화하여 변환계수를 구하는 역양자화부와,
    상기 변환계수에 기초해서 복호화상을 생성하는 복호화상 생성부를 포함하는 것을 특징으로 하는 동화상 복호화 장치.
  34. 삭제
  35. 삭제
KR1020087019760A 2006-02-13 2006-10-19 동화상 부호화/복호화 방법 및 장치 KR101035754B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006035319 2006-02-13
JPJP-P-2006-00035319 2006-02-13

Publications (2)

Publication Number Publication Date
KR20080085909A KR20080085909A (ko) 2008-09-24
KR101035754B1 true KR101035754B1 (ko) 2011-05-20

Family

ID=38368548

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087019760A KR101035754B1 (ko) 2006-02-13 2006-10-19 동화상 부호화/복호화 방법 및 장치

Country Status (10)

Country Link
US (1) US20070189626A1 (ko)
EP (1) EP1986440A4 (ko)
JP (1) JPWO2007094100A1 (ko)
KR (1) KR101035754B1 (ko)
CN (1) CN101401435A (ko)
AU (1) AU2006338425B2 (ko)
BR (1) BRPI0621340A2 (ko)
CA (1) CA2642491A1 (ko)
RU (1) RU2414093C2 (ko)
WO (1) WO2007094100A1 (ko)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8422546B2 (en) * 2005-05-25 2013-04-16 Microsoft Corporation Adaptive video encoding using a perceptual model
CN101317463B (zh) * 2006-03-16 2012-10-17 华为技术有限公司 在编解码中的实现量化的方法和装置
US8059721B2 (en) 2006-04-07 2011-11-15 Microsoft Corporation Estimating sample-domain distortion in the transform domain with rounding compensation
US7995649B2 (en) 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
US8130828B2 (en) * 2006-04-07 2012-03-06 Microsoft Corporation Adjusting quantization to preserve non-zero AC coefficients
US8503536B2 (en) 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
JP4956612B2 (ja) * 2006-10-12 2012-06-20 株式会社東芝 画像符号化装置及び画像符号化方法
US8238424B2 (en) 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US8498335B2 (en) 2007-03-26 2013-07-30 Microsoft Corporation Adaptive deadzone size adjustment in quantization
US20080240257A1 (en) * 2007-03-26 2008-10-02 Microsoft Corporation Using quantization bias that accounts for relations between transform bins and quantization bins
US8243797B2 (en) 2007-03-30 2012-08-14 Microsoft Corporation Regions of interest for quality adjustments
US20080253449A1 (en) * 2007-04-13 2008-10-16 Yoji Shimizu Information apparatus and method
WO2008132890A1 (ja) * 2007-04-16 2008-11-06 Kabushiki Kaisha Toshiba 画像符号化と画像復号化の方法及び装置
US8442337B2 (en) 2007-04-18 2013-05-14 Microsoft Corporation Encoding adjustments for animation content
US8331438B2 (en) 2007-06-05 2012-12-11 Microsoft Corporation Adaptive selection of picture-level quantization parameters for predicted video pictures
US8213502B2 (en) * 2007-12-31 2012-07-03 Ceva D.S.P. Ltd. Method and system for real-time adaptive quantization control
US8189933B2 (en) 2008-03-31 2012-05-29 Microsoft Corporation Classifying and controlling encoding quality for textured, dark smooth and smooth video content
US8897359B2 (en) * 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
JP5680283B2 (ja) * 2008-09-19 2015-03-04 株式会社Ｎｔｔドコモ 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び動画像復号プログラム
JP4697557B2 (ja) * 2009-01-07 2011-06-08 ソニー株式会社 符号化装置、符号化方法、記録媒体及び画像処理装置
JP2011029956A (ja) * 2009-07-27 2011-02-10 Sony Corp 画像符号化装置および画像符号化方法
KR20110045949A (ko) * 2009-10-28 2011-05-04 삼성전자주식회사 회전 변환을 이용한 영상 부호화, 복호화 방법 및 장치
EA021750B1 (ru) * 2009-10-30 2015-08-31 Панасоник Интеллекчуал Проперти Корпорэйшн оф Америка Способ декодирования, декодирующее устройство, способ кодирования и кодирующее устройство
WO2011052213A1 (ja) * 2009-10-30 2011-05-05 パナソニック株式会社 画像復号方法、画像符号化方法、それらの装置、プログラムおよび集積回路
AU2010312983B2 (en) * 2009-10-30 2015-10-29 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus, program, and integrated circuit
US9313526B2 (en) * 2010-02-19 2016-04-12 Skype Data compression for video
JP2011259362A (ja) * 2010-06-11 2011-12-22 Sony Corp 画像処理装置および方法
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
AU2015202011B2 (en) * 2011-02-10 2016-10-20 Sony Group Corporation Image Processing Device and Image Processing Method
WO2012108237A1 (ja) 2011-02-10 2012-08-16 ソニー株式会社 画像処理装置及び画像処理方法
KR101566366B1 (ko) * 2011-03-03 2015-11-16 한국전자통신연구원 색차 성분 양자화 매개 변수 결정 방법 및 이러한 방법을 사용하는 장치
WO2012118359A2 (ko) * 2011-03-03 2012-09-07 한국전자통신연구원 색차 성분 양자화 매개 변수 결정 방법 및 이러한 방법을 사용하는 장치
US20120230395A1 (en) * 2011-03-11 2012-09-13 Louis Joseph Kerofsky Video decoder with reduced dynamic range transform with quantization matricies
US20120230422A1 (en) * 2011-03-11 2012-09-13 Korodi Gergely Ferenc Method and System Using Prediction and Error Correction for the Compact Representation of Quantization Matrices In Video Compression
US9641840B2 (en) * 2011-05-20 2017-05-02 Sony Corporation Processing device and image processing method for encoding and decoding image
JP5907367B2 (ja) * 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP2013038768A (ja) * 2011-07-13 2013-02-21 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US9131245B2 (en) 2011-09-23 2015-09-08 Qualcomm Incorporated Reference picture list construction for video coding
JP5698644B2 (ja) * 2011-10-18 2015-04-08 株式会社Ｎｔｔドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
JP6120490B2 (ja) 2011-11-07 2017-04-26 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
KR20130050149A (ko) 2011-11-07 2013-05-15 오수미 인터 모드에서의 예측 블록 생성 방법
CN102395031B (zh) * 2011-11-23 2013-08-07 清华大学 一种数据压缩方法
US9432665B2 (en) * 2011-12-02 2016-08-30 Qualcomm Incorporated Coding least significant bits of picture order count values identifying long-term reference pictures
WO2013086724A1 (en) 2011-12-15 2013-06-20 Mediatek Singapore Pte. Ltd. Method of clippling transformed coefficients before de-quantization
CN103988508B (zh) * 2011-12-19 2018-10-12 索尼公司 图像处理设备和方法
CN105519108B (zh) * 2012-01-09 2019-11-29 华为技术有限公司 量化矩阵编码的加权预测方法和装置
US20130188691A1 (en) * 2012-01-20 2013-07-25 Sony Corporation Quantization matrix design for hevc standard
AU2012370448B2 (en) 2012-02-23 2017-09-07 Northwestern University Improved suture
KR102121594B1 (ko) * 2012-09-06 2020-06-10 선 페이턴트 트러스트 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치 및 화상 부호화 복호 장치
BR112015011913A2 (pt) * 2012-11-30 2017-07-11 Sony Corp dispositivo de processamento de imagem, e, método de processamento de imagem
WO2015093908A1 (en) 2013-12-22 2015-06-25 Lg Electronics Inc. Method and apparatus for encoding, decoding a video signal using additional control of quantization error
US10142642B2 (en) * 2014-06-04 2018-11-27 Qualcomm Incorporated Block adaptive color-space conversion coding
TWI561060B (en) * 2015-01-15 2016-12-01 Mstar Semiconductor Inc Signal processing apparatus and signal processing method including quantization or inverse-quantization process
CN109661820A (zh) * 2016-09-13 2019-04-19 联发科技股份有限公司 用于视频编解码的多个量化矩阵集合的方法
CN110166781B (zh) * 2018-06-22 2022-09-13 腾讯科技（深圳）有限公司 一种视频编码方法、装置、可读介质和电子设备
JP7090490B2 (ja) * 2018-06-28 2022-06-24 キヤノン株式会社 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法
CN112771865A (zh) * 2018-08-23 2021-05-07 交互数字Vc控股法国公司 使用参数化模型对量化矩阵进行编解码
CN114885163B (zh) * 2018-09-02 2024-04-23 Lg电子株式会社 用于对图像信号编码和解码的方法及计算机可读记录介质
CN114073076B (zh) * 2019-07-06 2023-12-12 寰发股份有限公司 量化矩阵的发信技术
JP7402016B2 (ja) * 2019-11-06 2023-12-20 オッポ広東移動通信有限公司 画像復号装置及び画像符号化装置
CN114745107A (zh) * 2022-03-22 2022-07-12 西安电子科技大学 一种基于矩阵编码的编码层隐秘通信方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003046789A (ja) * 2001-08-02 2003-02-14 Canon Inc 画像符号化装置及び画像復号化装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3012698B2 (ja) * 1991-01-29 2000-02-28 オリンパス光学工業株式会社 画像データの符号化装置および符号化方法
US5493513A (en) * 1993-11-24 1996-02-20 Intel Corporation Process, apparatus and system for encoding video signals using motion estimation
KR100355375B1 (ko) * 1995-11-01 2002-12-26 삼성전자 주식회사 영상부호화장치에있어서양자화간격결정방법및회로
US6031929A (en) * 1996-07-18 2000-02-29 University Of Pittsburgh Image facsimile with real time image segmentation
JPH10150659A (ja) * 1996-11-18 1998-06-02 Sony Corp 画像符号化装置
JP2955266B2 (ja) * 1998-03-05 1999-10-04 株式会社エイ・ティ・アール環境適応通信研究所 画像符号化のための量子化テーブルの最適化方法及び装置並びに記録媒体
CN1155261C (zh) * 1998-05-04 2004-06-23 通用仪器公司 用于mpeg-4视频数据逆量化的方法和设备
JP3395892B2 (ja) * 1999-05-06 2003-04-14 日本電気株式会社 動画像符号化装置
DE60039689D1 (de) * 2000-07-10 2008-09-11 St Microelectronics Srl Verfahren zur Kompression digitaler Bilder
US6944226B1 (en) * 2000-10-03 2005-09-13 Matsushita Electric Corporation Of America System and associated method for transcoding discrete cosine transform coded signals
US20030031371A1 (en) * 2001-08-02 2003-02-13 Shinichi Kato Image encoding apparatus and image decoding apparatus
JP3948266B2 (ja) * 2001-12-14 2007-07-25 日本ビクター株式会社 動画像符号化装置、符号化方法、復号化装置、復号化方法及び動画像符号列伝送方法
ES2405131T3 (es) * 2004-06-02 2013-05-30 Panasonic Corporation Aparato de codificación de imagen y aparato de decodificación de imagen
JP4146444B2 (ja) * 2005-03-16 2008-09-10 株式会社東芝 動画像符号化の方法及び装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003046789A (ja) * 2001-08-02 2003-02-14 Canon Inc 画像符号化装置及び画像復号化装置

Also Published As

Publication number Publication date
CA2642491A1 (en) 2007-08-23
RU2414093C2 (ru) 2011-03-10
AU2006338425B2 (en) 2010-12-09
WO2007094100A1 (ja) 2007-08-23
BRPI0621340A2 (pt) 2011-12-06
CN101401435A (zh) 2009-04-01
AU2006338425A1 (en) 2007-08-23
JPWO2007094100A1 (ja) 2009-07-02
US20070189626A1 (en) 2007-08-16
KR20080085909A (ko) 2008-09-24
RU2008136882A (ru) 2010-03-20
EP1986440A1 (en) 2008-10-29
EP1986440A4 (en) 2010-11-17

Similar Documents

Publication Publication Date Title
KR101035754B1 (ko) 동화상 부호화/복호화 방법 및 장치
KR100977101B1 (ko) 화상 부호화/화상 복호화 방법 및 화상 부호화/화상 복호화장치
KR101538704B1 (ko) 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치
US7792193B2 (en) Image encoding/decoding method and apparatus therefor
EP2678944B1 (en) Methods and devices for data compression using offset-based adaptive reconstruction levels
CN101911702B (zh) 针对支持cabac的视频编码过程而量化视频块的系数的方法和装置
AU2006346583B2 (en) Image encoding and decoding method and apparatus
KR20090115176A (ko) 화상 부호화와 화상 복호화의 방법 및 장치
KR101089325B1 (ko) 디지털 화상 시퀀스를 위한 인코딩 방법, 디코딩 방법 및 인코딩 장치
JP2018056685A (ja) 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、画像復号装置、画像復号方法、及び画像復号プログラム
CN101946515A (zh) Cabac译码器的二回合量化
JP2007312362A (ja) 動画像符号化装置、方法、プログラム、動画像復号化装置、方法、およびプログラム
KR101960470B1 (ko) 오프라인 cabac을 지원하는 비디오 코딩 프로세스의 비트 예측 기반 비트 레이트 컨트롤 방법 및 그 장치
CN103959786B (zh) 用于使用非均匀重构空间进行数据压缩的方法和设备
KR101739580B1 (ko) 적응적 스캔 장치 및 그 스캔 방법
JP4768779B2 (ja) 動画像符号化／復号化の方法及び装置
Wong et al. Piecewise linear model for real-time rate control [video coding applications]
MX2008010316A (en) Moving image encoding/decoding method and device and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee