KR101136629B1 - 화상 부호화 방법, 화상 복호화 방법, 화상 부호화 장치,화상 복호화 장치, 및 그 프로그램 - Google Patents

화상 부호화 방법, 화상 복호화 방법, 화상 부호화 장치,화상 복호화 장치, 및 그 프로그램 Download PDF

Info

Publication number
KR101136629B1
KR101136629B1 KR1020067008061A KR20067008061A KR101136629B1 KR 101136629 B1 KR101136629 B1 KR 101136629B1 KR 1020067008061 A KR1020067008061 A KR 1020067008061A KR 20067008061 A KR20067008061 A KR 20067008061A KR 101136629 B1 KR101136629 B1 KR 101136629B1
Authority
KR
South Korea
Prior art keywords
remainder
quantization
value
orthogonal transform
inverse
Prior art date
Application number
KR1020067008061A
Other languages
English (en)
Other versions
KR20060115998A (ko
Inventor
타오 첸
지우후아이 루
요시이치로 가시와기
신야 가도노
청 순 림
Original Assignee
파나소닉 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 파나소닉 주식회사 filed Critical 파나소닉 주식회사
Publication of KR20060115998A publication Critical patent/KR20060115998A/ko
Application granted granted Critical
Publication of KR101136629B1 publication Critical patent/KR101136629B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

본 발명에 따르는 화상 복호화방법은, 역양자화 처리로서, 부호화된 화상을 역양자화(IQ1) 및 역직교변환에 의해 복호화하는 화상 복호화 방법이고, 역양자화 처리로서, 각 성분에 대한 양자화 스텝의 스케일링 비를 정의하는 양자화 매트릭스와 주파수 변환 또는 양자화에 대한 계수인 승수(IQ11)가 승산되고, 또한, 승산의 결과와 양자화된 값이 승산된다.

Description

화상 부호화 방법, 화상 복호화 방법, 화상 부호화 장치, 화상 복호화 장치, 및 그 프로그램{PICTURE CODING AND DECODING METHOD, APPARATUS, AND PROGRAM THEREOF}
본 출원은 다음의 미국 가출원: 2004년 1월 30일에 출원된 No. 60/540,636, 2004년 3월 9일에 출원된 No. 60/551,690, 2004년 3월 12일에 출원된 No. 60/552,907, 및 2004년 4월 12일에 출원된 No. 60/561,351의 장점을 청구하며, 그 내용이 완전히 여기에 참고로 포함되어 있다.
본 발명은 동화상을 효율적으로 압축하는 화상 부호화 방법 및 이 압축된 동화상을 정확히 복호화하는 화상 복호화 방법, 및 화상 부호화 장치와 화상 복호화 장치, 및 그 프로그램에 관한 것이다.
최근, 오디오, 비디오 및 화소 값들을 통합적으로 다루는 멀티미디어의 시대가 도래해서, 현존하는 정보 매체, 즉, 사람들에게 정보를 전달하는 신문, 잡지, 텔레비젼, 라디오, 전화기 및 다른 수단이 최근 멀티미디어의 범위에 포함되어 오고 있다. 일반적으로, 멀티미디어란 문자뿐만 아니라 그래픽 심볼, 오디오, 특히 화상 등이 서로 관련되어 표현되는 것을 말한다. 그러나, 상기 서술한 현존의 정보 미디어를 멀티미디어의 범위에 포함시키기 위해, 이러한 정보를 디지털 형태로 표 현하는 것이 필요 조건으로서 나타난다.
그러나, 각각의 상기 서술된 정보 미디어에 포함된 정보의 양을 디지털 형태로 계산할 때, 문자당 정보의 양은 1～2바이트가 요구되고, 오디오는 초당 64Kbits(전화 품질)가 요구되고, 동화상의 경우 초당 100Mbits(현재 텔레비젼 수신 품질)가 요구된다. 그러므로, 앞에 서술된 정보 미디어가 이러한 거대한 양의 정보를 디지털 형태로 취급하는 것이 현실적이지 않다. 예를 들면, 비디오 폰은 64Kbits/s ～ 1.5Mbits/s의 전송 속도를 갖는 ISDN(Integrated Services Digital Network)을 이용하여 이미 실제 사용중이지만, TV 스크린에 캡쳐된 픽쳐 또는 TV 카메라에 의해 촬영된 것을 ISDN을 통해 직접 전송하는 것이 불가능하다.
그러므로, 정보 압축 기술이 요구되고, 예를 들면 비디오 폰의 경우에, ITU-T(International Telecommunication Union-Telecommunication Standardization Sector)에 의해 국제적으로 표준화된 H.261 및 H.263 표준을 따르는 비디오 압축 기술이 이용된다. MPEC-1 표준에 따르는 정보 압축 기술에 의하면, 픽쳐 정보 뿐 아니라 오디오 정보를 통상의 음악 CD(Compact Disk)에 저장하는 것이 가능하다.
여기서, MPEG(Moving Picture Experts Group)은 동화상 신호의 압축의 국제적인 표준이고, MPEG-1은 비디오 신호를 1.5Mbit/s로 압축하는, 즉, 텔레비젼 신호에 포함된 정보를 대략 100분의 일로 압축하는 표준이다. MPEG-1 표준에서 목표된 품질은 대략 1.5Mbit/s의 주요 전송률을 실현하기 위한 것이고, 그러므로, 더 높은 화상 품질에 대한 요구를 만족하기 위한 표준인 MPEG-2는, 동화상 신호를 2 ～ 15Mbit/s의 전송율로 전송하는 텔레비젼 방송의 품질을 실현한다.
현재의 환경에서, MPEG-1, MPEG-2의 표준을 미리 담당하는 작업 그룹(ISO/IEC JTC1/SC29/WG11)은 MPEG-1/MPEG-2에 의해 얻어진 것보다 높은 압축율을 갖는 표준 MPEG-4를 더 갖추고, 오브젝트 단위로 부호화/복호화 조작을 가능하게 하고, 멀티미디어 시대에 요구되는 새로운 기능을 제공할 수 있다. 우선, MPEG-4의 표준화 처리에서는, 저비트 레이트의 부호화 방법을 지향했지만, 고비트 레이트 부호화 뿐만 아니라 인터레이스 이미지를 다루는 보다 일반적인 부호화를 지원하는 표준으로서 확장되어 오고 있다. 현재, 더 높은 압축률을 제공하는 차세대의 화상 부호화 방법으로서 MPEG-4 AVC 및 ITU-T H.264를 표준화하기 위한 노력이 ISO/IEC 및 ITU-T에 의해 연합으로 행해져 오고 있다. 2002년 8월 시점에서, 차세대의 화상 부호화 방법에 대해서 CD(committee draft)가 발행되었다.
일반적으로, 동화상의 부호화에서, 정보의 양은 시간과 공간의 방향으로 용장성(redundancy)를 줄임으로써 압축된다. 그러므로, 시간적인 용장성을 줄이기 위한 화면간 예측 부호화에서, 움직임 추정 및 예측 화상의 생성이 전방 또는 후방의 픽쳐를 참조하여 블록 단위로 행해지고, 그 다음, 얻어진 예측 이미지와 부호화되는 현재의 픽쳐의 이미지 사이의 차이 값에서 부호화가 실행된다. 여기서, "픽쳐"는 하나의 이미지를 지칭하는 용어이다. 프로그레시브 이미지의 경우, "픽쳐"는 프레임을 의미하고, 인터레이스 이미지의 경우 프레임 또는 필드를 의미한다. 여기서, "인터레이스 이미지"는 캡쳐 시간이 분리된 2개의 필드로 구성된 프레임의 이미지이다. 인터레이스 이미지의 부호화 및 복호화에서, 하나의 프레임을 그대로 다루거나, 2개의 필드로서 다루거나, 또는 프레임 내의 블록마다의 프레임 구조 또는 필드 구조로서 다루는 것이 가능하다.
어떠한 화상도 참조하지 않고 화면내 예측 부호화되는 화상을 I 픽쳐로 칭한다. 단지 하나의 화상을 참조하여 화면내 예측 부호화되는 화상을 P 픽쳐로 칭한다. 그리고, 동시에 2개의 화상을 참조하여 화면내 예측 부호화되는 화상을 B 픽쳐로 칭한다. B 픽쳐는 표시 순서에서 전방/후방 픽쳐가 임의로 결합될 수 있는 2개의 화상을 참조하는 것이 가능하다. 참조 이미지(참조 픽쳐)는 부호화 및 복호화의 기본 단위로서 블록마다 지정될 수 있다. 부호화된 비트스트림에서 앞에 나타낸 참조 픽쳐를 제1 참조 픽쳐로 부르고, 비트스트림에서 뒤에 나타낸 참조 픽쳐를 제2 참조 픽쳐로 부름으로써, 이러한 참조 화소 사이의 구분이 이루어진다.이들 유형의 픽쳐들을 부호화 및 복호화하기 위한 조건으로서, 참조로 사용되는 픽쳐들이 미리 부호화되고 복호화되는 것이 요구된다.
P픽쳐 및 B픽쳐는 움직임 보상 화면간 예측을 이용하여 부호화된다. 움직임 보상된 화면간 예측의 사용에 의한 부호화는 화면간 예측 부호화에서 보상된 움직임을 이용하는 부호화 방법이다. 참조 픽쳐의 화소값에 기초하여 간단히 예측을 행하는 방법과 달리, 움직임 추정은 픽쳐 내의 각 부분의 움직임의 양(이후 "움직임 벡터"라고 칭한다)을 추정하고, 또한 이러한 움직임 양을 고려하여 예측을 행함으로써, 데이터의 양을 저감시킬 뿐 아니라 예측의 정확도를 개선할 수 있는 기술이다. 예를 들면, 부호화되는 현재의 픽쳐의 움직임 벡터를 추정하고, 그 다음 각각의 움직임 벡터의 양만을 시프팅하여 얻어진 예측치와 부호화되는 현재의 화상 사이의 예측 잔차를 부호화함으로써 움직임 보상을 통해 데이터의 양을 저감할 수 있 다. 이 기술에서, 복호화시에 움직임 벡터 정보가 요구되므로, 움직임 벡터 또한 부호화된 형태로 기록되거나 전송된다.
움직임 벡터는 매크로블록 단위로 추정된다. 더 구체적으로, 매크로블록은 부호화되는 현재 화상에 미리 고정되어 있고, 참조 픽쳐에서 탐색 영역내에 고정된 매크로블록의 가장 유사한 참조 블록의 위치를 찾음으로써 움직임 벡터를 추정하도록 한다.
도 1은 비트스트림의 일 예의 데이터 구조를 나타내는 다이어그램이다. 도 1에 나타낸 것같이, 비트스트림은 다음과 같이 계층 구조를 갖는다. 비트스트림(스트림)은 하나 이상의 GOP(group of picture)로 형성되어 있다. 기본 부호화 단위로서 GOP를 이용하여, 임의로 액세스할 뿐아니라 동화상을 편집하는 것도 가능하게 된다. 각각의 GOP는 복수의 픽쳐로 이루어지고, 각각은 I 픽쳐, P 픽쳐, B 픽쳐중 하나이다. 또한 각 픽쳐는 복수의 슬라이스로 이루어진다. 각 픽쳐내의 스트립형상의 영역인 각 슬라이스는 복수의 매크로블록으로 이루어진다. 또한, 각 스트림, GOP, 픽쳐 및 슬라이스는 각 단위의 엔딩 포인트를 나타내는 동기 신호(sync)와 상기 각 단위에 공통인 데이터인 헤더(header)를 포함한다.
데이터가 스트림 시퀀스인 비트 스트림으로 전송되지 않고, 조각 단위인 패킷등으로 전송되는 경우, 헤더와, 헤더 이외의 부분인 데이터부는 분리되어 전송될 수 있다. 이러한 경우, 도 1에 나타낸 것같이 헤더 및 데이터 부가 동일한 비트 스트림에 조합되지 않는다. 그러나, 패킷의 경우에, 헤더 및 데이터부가 인접하여 송신되지 않을 때에도, 데이터부에 대응하는 헤더가 다른 패킷에서 전송되고 있는 것 이다. 그러므로, 헤더 및 데이터 부가 동일한 비트 스트림에 조합되지 않을 때에도, 도 1을 참조하여 서술된 부호화된 비트스트림의 개념은 또한 패킷으로 응용가능하다.
일반적으로, 사람의 시각적 시스템은 고주파수 성분보다 저주파수 성분에 더 민감하다. 또한, 화상 신호에서 저주파수 성분의 에너지가 고주파수 성분 보다 크기 때문에, 화상 부호화가 저주파수 성분으로부터 고주파수 성분까지의 순서로 행해진다. 그 결과, 저주파수 성분의 부호화에 요구되는 비트의 수는 고주파수 성분에 대해서 요구되는 것보다 크다.
상기 사항들을 고려하여, 직교 변환에 의해 각 주파수의 변환계수를 양자화할 때 얻어지는 현재의 부호화 방법은 고주파수 성분에 대해서 저주파수 성분보다 더 큰 양자화 스텝를 사용한다. 이 기술은 종래의 부호화 방법이, 시청자의 입장에서 화상 품질의 손실이 작고, 압축비의 증가가 큰 것을 가능하게 한다.
한편, 저주파수 성분에 대한 고주파수 성분의 양자화 스텝 크기가 화상 신호에 의거하기 때문에, 각 주파수 성분에 대한 양자화 스텝의 크기를 화상 단위로 변화시키기 위한 기술이 종래 사용되어 오고 있다. 각 주파수 성분의 양자화 스텝를 도출하기 위해 양자화 매트릭스가 사용된다. 도 2는 양자화 매트릭스의 일예를 나타낸다. 이 도면에서, 상부 좌측 성분은 DC 성분인 반면, 우측 성분은 수평의 고주파수 성분이고, 하측 성분은 수직의 고주파수 성분이다. 도 2의 양자화 매트릭스는 더 큰 값에 더 큰 양자화 스텝가 적용된다는 것을 나타낸다. 통상, 각 화상에 대해서 다른 양자화 매트릭스를 사용하는 것이 가능하다. 각 주파수 성분의 양자화 스 텝의 크기를 나타내는 값은 고정 길이 부호화이다. 양자화 매트릭스의 각 성분 및 각 양자화 스텝의 값은 대략 서로 비례하는 것이 일반적이지만, 그들 사이의 일치가 명백히 규정되어 있지 않는 한, 이러한 관계를 유지하는 것은 필요하지 않다.
도 3은 MPEG-2 및 MPEG-4에서 제시된 것으로 종래의 화상 부호화장치 또는 화상 복호화장치에 의해 실행된 역양자화를 나타내는 플로우챠트이다.
도면에 나타낸 것같이, 종래의 화상 부호화장치 또는 화상 복호화장치는 가중 매트릭스 Wi,j와 양자화 파라미터 QP를 얻고(S11 및 S12), 양자화 스텝 QStep을 계산하여, 양자화값(즉, 양자화 주파수 계수)fi,j를 얻는다(S14). 그 후, 화상 부호화 장치는 fi,j x QStep x Wi,j를 계산하여 역양자화값을 도출한다(S15-S17).
화상 부호화장치에 의해 실행된 양자화의 처리에서, 직교 변환의 결과로서 얻어진 주파수 계수는 QStep x Wi,j의 계산 결과 값의 역수가 승산된다.
그러나, 많은 수의 분할 및 승산이 처리에 있어서 실행되는 것이 요구되므로, 양자화 및 역양자화의 종래의 처리는 계산에 대해서 많은 부하를 준다.
본 발명의 목적은, 양자화 및 역양자화의 계산에 필요한 부하량을 삭감하기 위한, 화상 부호화 방법과 화상 복호화 방법, 화상 부호화 장치와 화상 복호화 장치 및 그 프로그램을 제공하는 것이다.
상기 목적을 달성하기 위해, 본 발명에 따른 화상 부호화 방법은 부호화된 화상을 블록 단위로 실행된 역양자화 및 역직교변환에 의해 복호화하는 화상 복호화 방법이다. 이 방법은 역양자화 처리로서, 각 주파수 성분에 대한 양자화 스텝의 스케일링 비를 나타내는 양자화 매트릭스와 직교 변환 또는 양자화 스텝에 대한 계수인 승수를 승산하는 것과, 승산의 결과와 양자화된 값을 승산하는 것을 포함한다.
상기 승수는 역직교 변환에서 사용된 정규화 팩터에 관련한다.
상기 구성에 따르면, 역직교 변환의 처리에서 주파수 계수에 필요한 승산을 실행할 필요가 없기 때문에, 계산에 필요한 로드량은 삭감될 수 있다. 즉, 양자화 스텝를 도출하기 위해 필요한 승산을 미리 계산함으로써, 양자화에서 계산에 대한 로드량을 증가시키지 않도록, 역직교 변환에 대해서 필요한 승산을 삭감할 수 있다.
양자화 매트릭스와 승수 사이의 승산은 소정 유닛의 각 부호화된 데이터에 대해서 행해지고, 그 곱과 양자화된 값 사이의 승산은 블록 단위로 행해지고, 소정 유닛의 부호화된 데이터는 부호화 블록을 포함하고, 그 곱은 부호화 불록에 공통이다.
양자화 매트릭스와 승수 사이의 승산에 의한 곱은 메모리에 저장될 수 있고, 그 곱과 양자화된 값 사이의 승산은 메모리를 참조하게 된다.
소정 유닛의 부호화된 데이터는 화상에 따르는 데이터일 수 있다.
상기 구성에 따르면, 처리를 픽쳐 단위의 승산 및 블록 단위의 승산의 2개로 분할하여, 계산의 로드량을 더 줄이도록, 연산수를 줄일 수 있다.
본 발명에 따르는 화상 부호화 방법, 화상 복호화 방법, 화상 부호화 장치, 프로그램 및 반도체 장치는 상기 서술된 것과 동일한 구조를 가지고 동일한 효과를 얻는다.
본 발명의 이들 및 다른 목적, 장점 및 특징들은 본 발명의 특정 실시예를 나타내는 첨부 도면과 함께 취해진 다음의 설명으로부터 분명해진다.
도 1은 비트스트림의 데이터 구조의 일예를 나타내는 다이어그램이다.
도 2는 양자화 매트릭스의 일 예를 나타낸다.
도 3은 MPEG-2 및 MPEG-4에서 제시된 것같이 종래의 화상 부호화 장치에 의해 행해진 역양자화를 나타내는 플로우챠트이다.
도 4는 본 발명의 제1 실시예에 따르는 화상 부호화 장치의 구조를 나타내는 블록도이다.
도 5는 매크로 블록의 루미넌스 블록에서 16x16 인트라-픽쳐 예측 부호화가 행해지는 경우에, 블록 구조와 블록에서 행해지는 직교변환을 나타낸다.
도 6은 매크로 블록의 루미넌스 블록에서 4x4 인트라-픽쳐 예측 부호화 및 4x4 인터-픽쳐 예측 부호화가 행해지는 경우에, 블록 구조와 블록에서 행해지는 직교변환을 나타낸다.
도 7은 매크로블록의 크로미넌스 블록의 구조와 블록에서 행해지는 직교변환을 나타낸다.
도 8은 하다마드 변환에서 사용된 식을 나타낸다.
도 9a는 정수 예측 DCT에서 사용된 식을 나타낸다.
도 9b는 정수 예측 역DCT에서 사용된 식을 나타낸다.
도 10a～10d는 양자화 매트릭스에서 부호화 순서의 일 예를 각각 나타낸다.
도 11a는 각 가중 성분이 직교변환에 대해서 정의되어 있는 양자화 매트릭스에서, 가중 성분의 어레이를 나타낸다.
도 11b 및 11c는 양자화 매트릭스에서 각 성분을 부호화함으로써 얻어진 각 데이터가 어떻게 헤더에 놓여지는지를 각각 나타낸다.
도 12는 양자화의 입출력 특성을 나타낸다.
도 13은 양자화 파라미터에 따라서 변화하는 양자화 스텝의 특성을 나타낸다.
도 14는 양자화 파라미터에 따라서 변화하는 S/N비의 특성을 나타낸다.
도 15a～15c는 정규화 및 역양자화의 처리를 설명하는 다이어그램이다.
도 16a는 양자화부의 제1 구조예를 나타내는 블록도이다.
도 16b는 역양자화부의 제1 구조예를 나타내는 블록도이다.
도 17a는 가중 매트릭스에 적용되는 양자화부의 제2 구조예를 나타내는 블록도이다.
도 17b는 가중 매트릭스를 사용하는 역양자화부의 제2 구조예를 나타내는 블록도이다.
도 18a는 가중 매트릭스를 사용하는 양자화부의 제3 구조예를 나타내는 블록도이다.
도 18b는 가중 매트릭스를 사용하는 역양자화부의 제3 구조예를 나타내는 블록도이다.
도 19는 주파수 변환에 대하여 승산을 포함하는 각 양자화 스텝의 계산이 양자화 파라미터 QP에 기초하여 (i,j)의 각 성분에 대해서 행해지는 경우에, 역양자화의 처리를 나타내는 플로우챠트이다.
도 20은 주파수 변환에 대하여 승산을 포함하는 각 양자화 스텝의 계산이 양자화 파라미터 QP에 기초하여 미리 행해지는 경우에, 양자화를 나타내는 플로우챠트이다.
도 21은 주파수 변환에 대하여 승산을 포함하는 각 양자화 스텝의 계산이 양자화 파라미터 QP에 기초하여 필요에 따라서 행해지는 경우에, 양자화를 나타내는 플로우챠트이다.
도 22는 화상 복호화 장치의 구조를 나타내는 블록도이다.
도 23a～도 23c는 프로그램을 저장하는 기록매체를 도시한 것이다.
도 24는 콘텐츠 공급 시스템의 전체 구성을 나타내는 블록도이다.
도 25는 화상 부호화 및 복호화 방법을 사용하는 휴대 전화의 구체적인 예를 나타낸다.
도 26은 휴대전화를 나타내는 블록도이다.
도 27은 디지털 방송 시스템의 예를 나타낸다.
도 28～31은 제2 실시예에 따라서 8x8 가중 매트릭스에 기초하여 양자화 매트릭스를 도출하는 예를 나타낸다.
도 32～35은 제3 실시예에 따라서 역양자화부를 나타내는 블록도이다.
도 37은 가중 매트릭스의 예를 나타낸다.
도 38은 역양자화의 처리를 나타내는 다이어그램이다.
도 39 및 40은 역양자화의 처리를 나타내는 다이어그램이다.
도 41 및 42는 테이블의 예를 각각 나타낸다.
도 43은 4x4 크로마 DC 블록에서 행해진 역양자화를 나타내는 다이어그램이다.
(제1 실시예)
도 4는 본 발명의 제1 실시예에 따른 화상 부호화 장치의 구조를 나타내는 블록도이다.
화상 부호화 장치(1)는 입력된 화상 신호(Vin)를 압축 부호화하고, 부호화된 화상 신호를 비트 스트림, 예를 들면, 가변 길이 코드로 변환함으로써 취득된, 부호화된 화상 신호(Str)를 출력하는 장치이다. 이러한 화상 부호화 장치(1)는 움직임 추정부(ME), 움직임 보상부(MC), 감산기(Sub), 직교 변환부(T), 양자화부(Q), 역양자화부(IQ), 역직교변환부(IT), 가산기(Add), 픽쳐 메모리(PicMem), 스위치(SW) 및 가변 길이 부호화부(VLC)로 구성되어 있다.
화상신호(Vin)가 감산기(Sub) 및 움직임 추정부(ME)에 입력된다. 감산기(Sub)는 입력 화상신호(Vin)의 각각의 이미지와 각 예측 이미지 사이의 잔차 이미지를 계산하고, 계산된 잔차 이미지를 직교 변환부(T)에 출력한다.
직교 변환부(T)는 잔차 이미지에 직교 변환을 행하여, 직교변환 계수 또는 주파수 계수로 변환하여, 양자화부(Q)에 출력한다.
양자화부(Q)는 직교변환부(T)로부터 입력된 각 블록의 주파수 계수를, 외부로부터 입력된 양자화 매트릭스(WM)를 참조하여 도출된 양자화 스텝를 이용하여 양자화하고, 결과의 양자화된 값(Qcoef)을 가변 길이 부호화부(VLC)에 출력한다.
역양자화부(IQ)는 양자화 매트릭스(WM)를 참조하여 도출된 양자화 스텝를 이용하여 양자화된 값(Qcoef)에 역양자화를 행하여, 주파수 계수로 변환하도록 하고, 역직교 변환부(IT)에 출력한다. 본 실시예에 따르는 역양자화부(IQ)는 2단계로 역양자화를 행한다: 첫번째 단계는 직교 변환 또는 양자화 스텝에 대한 계수인 승수를 각 주파수 성분에 대한 각 양자화 스텝의 스케일링비를 나타내는 양자화 매트릭스와 승산하여, 승산의 결과를 메모리에 저장하는 것이고, 두번째 단계는 메모리에 저장된 결과를 각 양자화값과 승산하는 것이다. 제1 단계는 픽쳐 단위로 행해지고, 두번째 단계는 블록 단위로 행해진다. 주파수 변환에 대한 승수는 역직교변환에 대한 정규화 팩터를 포함한다. 이 경우, 메모리에 저장된 승산의 결과는 각 양자화 스텝와 역직교변환에 대한 정규화 팩터를 승산함으로써 얻어진 값이다.
역직교 변환부(IT)는 주파수 계수에 역주파수 변환을 행하여 잔차 이미지로 변환하여, 가산기(Add)에 출력한다. 가산기(Add)는 각각의 잔차 이미지와, 움직임 보상부(MC)로부터 출력된 각각의 예측 이미지를 가산하여 복호화 화상을 취득한다. 이러한 복호화 화상이 저장되어야 하는 것을 나타내는 경우 스위치(SW)는 온으로 되고, 그래서 복호화 화상이 픽쳐 메모리(PicMem)에 저장된다.
화상 신호(Vin)가 매크로블록 단위로 입력되는 움직임 추정부(ME)는 픽쳐 메모리(PicMem)에 저장된 복호화 화상 내에서 입력 화상 신호(Vin)와 가장 비슷한 화 상 영역을 검출하고, 이러한 화상 영역의 위치를 표시하는 움직임 벡터(MV)를 결정한다. 움직임 벡터의 추정은 매크로 블록을 더 분할함으로써 얻어진 각각의 블록에 대해서 실행된다.
움직임 보상부(MC)는 상기 처리에서 검출된 움직임 벡터를 사용하여, 픽쳐 메모리(PicMem)에 저장된 복호화 화상 중에서 최적의 화상 영역을 예측 화상으로서 독출한다.
가변 길이 부호화부(VLC)는 각각의 양자화 매트릭스(WM), 양자화값(Qcoef),및 움직임 벡터(MV)에 가변 길이 부호화를 행하여 비트스트림(Str)을 얻도록 한다.
도 5 및 도 6은 MPEC-4 AVC에 따르는 직교변환부(T)에 의해 실행된 직교 변환을 각각 나타낸다. 16 x 16 픽셀로 구성된 루미넌스 매크로 블록에 있어서, 직교 변환 및 이 직교 변환을 사용한 블록 분할은, 16 x 16 매크로 블록 단위로 인트라-픽쳐 예측 부호화하는 경우 및 다른 유형의 부호화의 경우에 대하여 다르게 실행된다.
도 5는 루미넌스 블록에 행해지는 16 x 16 인트라-픽쳐 예측 부호화의 경우에, 매크로블록 루미넌스 블록 및 직교 변환의 구조를 나타낸다. 이 경우에 직교 변환(T)은 다음의 (1) ～ (4)에서와 같이 직교 변환을 행한다. (1) 16 x 16 픽셀의 루미넌스는 4 x 4 픽셀의 16 블록으로 분할된다. (2) 정수 프리시젼 4 x 4 DCT에 기초한 직교 변환은 분할의 결과의 각각의 4 x 4 블록에서 행해진다. 여기서, 정수 프리시젼 DCT는, 그 값들이 반올림(rounded off)되기 때문에 DCT와 동일한 성질을 갖지 않지만, DCT에 근접한 변환으로서 여전히 사용될 수 있다.(3) 각 직교 변환된 블록에서 직류(DC) 성분으로 구성된 A4 x 4DC 블록 (4) 하다마드(Hadamard) 변환이 4 x 4 DC 블록에 대해서 행해진다. 하다마드 변환은 바람직하게는 "Discrete Hadamard Transform(DHT)"라고 칭해지고, 가산과 감산만을 행하는 간단한 직교 변환이다.
도 6은 4 x 4 인트라-픽쳐 예측 부호화 및 4 x 4 인터-픽쳐 예측 부호화의 경우에, 루미넌스 블록 및 이 루미넌스 블록에 행해지는 직교 변환의 구조를 나타낸다. 이 경우에 직교 변환부(T)는 다음의 (1) 및 (2)에서와 같이 직교 변환을 행한다. (1) 16 x 16 픽셀의 루미넌스 매크로 블록은 4 x 4 픽셀의 16 블록으로 분할된다. (2) 정수 프리시젼 DCT에 기초한 직교 변환은 분할의 결과의 각각의 4 x 4 블록에 행해진다.
도 7은 크로미넌스 블록 및 이 크로미넌스 블록에서 행해지는 직교 변환의 구조를 나타낸다. 이 경우에 직교 변환부(T)는 다음의 (1) ～ (4)에서와 같이 직교 변환을 행한다. (1) 8 x 8 픽셀로 구성된 크로미넌스 매크로 블록은 4 x 4 픽셀의 4 블록으로 분할된다. (2) 정수 프리시젼 4 x 4 DCT에 기초한 직교 변환은 분할의 결과의 각각의 4 x 4 블록에서 행해진다. (3) 각 직교 변환된 블록에서 직류(DC) 성분으로 구성된 2 x 2 픽셀의 DC 블록이 생성된다. (4) 하다마드 변환이 2 x 2 DC 블록에 대해서 행해진다.
그래서, 직교 변환부(T)는 DC 블록에 대해서 가산과 감산을 행함으로써 실현될 수 있는 가장 간단한 직교 변환중 하나인 하다마드 변환을 사용할 수 있다.
도 8은 하다마드 변환에서 사용된 식과, 각 식을 나타내는 각각의 웨이브 형 성된 이미지들을 나타낸다. 다이어그램에서, "h0"-"h3"는 4개의 입력 신호를 나타내고, "H0"-"H3"는 하다마드 변환이 행해지는 성분을 각각 나타낸다. "H0"는 하다마드 변환이 행해진 DC 성분이고, "H3"는 하다마드 변환이 행해진 최고의 주파수 성분이다. 하다마드 변환의 역변환은 하다마드 변환이다. 즉, "h0"-"h3"는 "H0"-"H3"에 다시 하다마드 변환을 행함으로써 얻어질 수 있다.
2 x 2 DC 루미넌스 블록에 행해진 하다마드 변환이 다음의 식을 사용하여 얻어질 수 있다. 즉, 다음 식들이 2 x 2 DC 블록에서 각 로우와 각 칼럼에 대해서 다시 사용된다.
H0=(h0+h1)/√2
H1=(h0-h1)/√2
도 9a는 정수 프리시젼(DCT)에 대해서 직교변환부(T)에 의해 사용된 식과, 각 식을 나타내는 각각의 웨이브 형성된 이미지들을 나타낸다. "d0"-"d3"는 4개의 입력 신호를 나타내고, "D0"-"D3"는 정수 프리시젼(DCT)이 행해지는 성분을 나타낸다. 정수 프리시젼 4 x 4 DCT에서, 도 9a에 나타낸 4개의 입력된 DCT는 4 x 4 픽셀 블록에서 각 로우와 각 칼럼에 대해서 다시 사용된다.
"D0"는 DC 성분이고, "D3"는 최고의 주파수 성분이다. 정수 프리시젼(DCT)과 도 8에 나타낸 하다마드 변환의 웨이브 형성된 이미지들 사이의 차이는 주파수 성분(H1과 D1) 사이에서 현저하다. 즉, 주파수 성분(H1)과 비교하여, 주파수 성분(D1)(최저 주파수의 전류 성분)은 보다 평활하게 표현된다(즉, 최대치로부터 최소치까지 점점 변화한다).
도 9b는 정수 프리시젼 인버스 DCT에 대해서 직교변환부(T)에 의해 사용된 식을 나타낸다. 다이어그램에서, 주파수 성분(D1 및 D3)을 사용하여 D1' 및 D3'를 얻기 위해, 실제의 동작들이 필요하다. 본 실시예에서, 역양자화처리에서 양자화단계는 정수 프리시젼 인버스 DCT에서 실제적인 동작들을 피하는 것을 고려하여, 값들(상기 서술된 것같이 역 양자화부 IQ에 의해 취해진 첫번째 단계)이 미리 승산된다. 그래서, 정수 프리시젼 인버스 DCT에 대해서 실행된 승산의 수는 감소하고 계산에 필요한 부하의 양도 또한 감소한다. 그 결과, 역양자화처리에서, 기수 차의 주파수 성분에 대한 양자화 스텝는 우수 차의 주파수 성분의 (√8/√5)배 또는 8/5배이다.
도 10a-10d는 양자화 매트릭스의 부호화 순서의 일 예를 각각 나타낸다. 이 순서는 양자화 매트릭스를 부호화 또는 복호화하는데 사용되고, 양자화 매트릭스는 양자화 및 역양자화의 처리에서 실제로 동작되는 성분들의 순서로 재배열된다. 화상 부호화에서 행해진 직교 변환에서, 4 x 4 픽셀 및 8 x 8 픽셀은 2개의 가장 빈번하게 사용되는 단위이다. 도 10a 및 10c는 4 x 4 픽셀의 단위를 사용하는 예들을 나타내고, 도 10b 및 10d는 8 x 8 픽셀의 단위를 사용하는 예들을 나타낸다. 도 10a 및 10b에 나타낸 것같이, 낮은 주파수 성분에서 시작하여 높은 주파수 성분측으로 향하는 부호화에서 압축 효율이 높지만, 몇몇 경우에, 도 10c 및 도 10d에 나타낸 것같이, 수평 순서의 부호화가 사용될 수 있다.
도 11a-11c는 양자화 매트릭스(즉, 가중 매트릭스)와, 스트리밍 동안의 부호화된 양자화 매트릭스의 데이터 구조를 나타낸다. 다이어그램에서, "헤더"는 도 1 에 나타낸 "GOP" 또는 "픽쳐"의 헤더, 또는 등가 정보를 나타낸다. 도 11a는 양자화 매트릭스에서 주파수 성분의 어레이를 나타낸다. "Wi,j"는 양자화 매트릭스에서 로우 "i" 및 칼럼 "j"의 성분을 표시한다. 도 11b 및 11c는 양자화 매트릭스의 각 성분에 대해서 부호화된 데이터가 어떻게 헤더에 놓여지는지의 예를 각각 나타낸다. "가중매트릭스"는 양자화 매트릭스를 부호화하여 얻어진 비트 스트림을 나타낸다. 도 11b는 도 10b에 나타낸 순서로 양자화 매트릭스를 부호화하여 얻어진 스트림을 나타내고, 도 11c는 도 10d에 나타낸 순서로 양자화 매트릭스를 부호화하여 얻어진 스트림을 나타낸다. 도 11b 및 11c에 나타낸 비트 스트림에서 "Wi,j"는 양자화 매트릭스내에서 "Wi,j"에 의해 표시된 위치에서 부호화된 가변 길이 부호를 나타낸다.
도 12는 양자화부(Q) 및 역양자화부(IQ)에 의해 행해진 양자화(또는 역양자화)의 입출력 특성을 나타내는 다이어그램이다. 양자화는 직교 변환된 주파수 성분(도 12에서 양자화되는 값)을 양자화 스텝에 의해 분할한 결과를 반올림하여 주파수 성분을 정수로 바꾸도록 하는 것을 의미한다. 반올림된 정수는 양자화값으로 불려진다. 역으로, 양자화되는 값을 주파수 성분으로 되돌리는 것을 "역양자화"라고 부른다. 양자화 스텝의 크기를 변화시킴으로써, 부호화의 결과의 비트량을 증가시키거나 감소시킬 수 있다. 그래서, 양자화 스텝의 크기를 변화시킴으로써, 동일한 압축비(즉, 단위 시간당 부호의 양)를 유지할 수 있다.
도 13은 양자화 파라미터에 대한 양자화 스텝의 특성을 나타낸다. 양자화 파라미터는 양자화 스텝를 도출하기 위해 기능하고, 코드량이 비트 레이트에 대응하 도록 조정된다. 양자화단계는 직접 부호화되지 않기 때문에, 역양자화부(IQ) 및 양자화부(Q)는 부호화되는 양자화 파라미터를 이용하여 양자화단계를 도출한다. 도 13에 나타낸 예에서, 양자화 파라미터 QP가 6만큼 증가되면, 양자화 스텝는 2배가 된다. 그 결과, 양자화 파라미터 QP는 SN 비에 비례하게 되고, 양자화 파라미터 QP가 변화하는 경우에 양자화 파라미터 QP의 값에 상관없이 도 14에 나타낸 것같이, SN 비에서 변화량은 동일한 레벨로 유지된다.
양자화 파라미터가 0에서 51까지의 범위의 값을 나타내는 경우, 양자화 스텝의 최대값은 최소값의 256배의 값을 나타낸다.
도 15a ～15c는 정규화 및 역양자화를 설명하는 다이어그램이다. 다음은 역양자화의 처리에서, 도 9b에 나타낸 직교 변환에서 정규화에 있어서 (√8/√5)를 이용한 승산을 단순화하는 방법을 설명한다. 도 9b에 나타낸 것같이, 성분 D1 및 D3는 N(N은 기수)번째에 위치한다. 수평 및 수직 방향으로 N번째에 위치하는 성분들은 (√8/√5)가 2번 승산된다. 이것은 이 성분들과 8/5이 승산된 것을 의미한다. 이것에 기초하여, 다음의 (a)～(c)에 나타낸 것같이, 역양자화 처리에 앞서 동작된 정규화에 있어서 양자화 스텝는 미리 승산되어야 한다.
(a) 성분이 수평 및 수직 방향으로 M(M은 우수)번째에 위치하는 경우에 정규화에 대한 승산이 실행되지 않는다.
(b) 성분이 수평 또는 수직 방향으로 N(N은 기수)번째에 위치하는 경우에 성분을 (√8/√5)와 승산한다.
(c) 성분이 수평 및 수직 방향으로 N(N은 기수)번째에 위치하는 경우에 성분 을 (8/5)와 승산한다.
여기서, γ=α x √8/√5, β=α x 8/5 로 주어지면, (a)～(c)는 다음의 (A)～(C)로 변화된다.
(A) 성분이 수평 및 수직 방향으로 M(M은 우수)번째에 위치하는 경우에, 성분을 α와 승산한다.
(B) 성분이 수평 또는 수직 방향으로 N(N은 기수)번째에 위치하는 경우에 성분을 γ와 승산한다.
(C) 성분이 수평 및 수직 방향으로 N(N은 기수)번째에 위치하는 경우에 성분을 β와 승산한다.
이러한 간단한 규칙으로, 역양자화의 처리에서 정규화를 함께 실현할 수 있다. 정규화를 위해 특별한 승산은 역DCT 및 양자화의 처리에서 불필요하게 된다.
양자화 파라미터 QP가 6만큼 증가될 때, 양자화단계는 두배가 된다. 그러므로, 양자화 파라미터 QP 및 정규화를 위한 승산을 포함하는 계산에 의해 얻어진 양자화 스텝 사이의 관계는 다음식으로 표시된다.
양자화 스텝=(QP%6의 양자화 스텝) x (2( qP /6))
이에 기초해서, 정규화에 관련된 양자화 스텝가 도 15b에 나타낸 것같이, 임의의 양자화 파라미터 QP에 대응하는 양자화단계(즉, 정규화를 위한 승산에 관련하는 양자화단계)로서, "QP%6의 양자화단계"를 "QP/6"비트만큼 좌측 시프트함으로써, 쉽게 얻어질 수 있다. 이것은 도 15c에 나타낸 것같이, 각각 α, β, γ에 대응하 는 "QP%6의 양자화단계"에 대해서 전체 18의 양자화 스텝만을 유지함으로써 실현될 수 있다. 본 실시예에서, 루미넌스 신호용 양자화 파라미터의 크기와 크로미넌스 신호용 양자화 파라미터의 크기 사이의 비는 슬라이스 단위로 변화한다. 색(특히 레드)의 열화는 루미넌스보다 시각적으로 분명하고, 크로미넌스 신호의 양자화 파라미터 QP는 루미넌스 신호보다 작은 것이 바람직하다.
명백하게, 양자화 및 역양자화는, 양자화 스텝가 Q/P6 비트만큼 시프팅함으로써 표현될 수 있는 사실로 인해 승산 및 시프트 동작의 조합으로 표현될 수 있다. 도 16a 및 도 16b는 양자화부(Q) 및 역양자화부(IQ)의 제1 구조예를 나타내는 블록도이다. 제1 예에서, 가중 매트릭스가 사용되지 않는 경우에 승산 및 시프트 동작만이 사용된다. 양자화부(Q1)는 승산부(Q11) 및 우측 시프터(Q12)를 포함한다. 승산부(Q11)는 직교 변환된 계수와 Q1을 승산한다. "Q1"은 양자화 스텝의 역수의 승산이다(QP%6의 양자화단계). 양자화에서 행해진 분할에 대해서 양자화 스텝가 통상적으로 사용되지만, 분할의 동작이 요구된 승산보다 더 복잡하기 때문에, 양자화 스텝의 역수가 미리 계산되어 승산된다. 역양자화부(IQ1)는 승산부(IQ11) 및 좌측 시프터(IQ12)를 포함한다.
양자화부(Q1)는 다음과 같이 동작한다. 우측 시프터(Q12)는, 승산부(Q11)에 의해 실행된 승산의 결과를 S1 비트 만큼 우측으로 시프트한다. 즉, 우측 시프터(Q12)는 승산부(Q11)에 의해 실행된 승산의 결과를 2S1로 분할한다. S1의 값은 QP/6에 비례하여 변화한다. 역양자화부(IQ1)는 다음과 같이 동작한다. 승산부(IQ11)는 직교변환된 계수를 Q2와 승산한다. "Q2"의 값은 QP%6의 양자화단계에 비례하여 변화한다. 좌측 시프터(Q12)는 승산부(Q11)에 의해 실행된 승산의 결과를 S1비트만큼 좌측으로 시프트한다. 즉, 좌측 시프터(Q12)는 승산부(Q11)에 의해 실행된 승산의 결과를 2S2와 승산한다. S2의 값은 QP/6에 비례하여 변화한다.
여기서, "S1" 및 "S2"는 각각 양자화 파라미터 QP에 따라서 변화하는, 모든 주파수 계수에 대해서 고정된 값이다. "Q1" 및 "Q2"는 양자화 파라미터 QP 및 주파수 계수의 위치에 의거한 값을 가진다. 이 경우, Q1 x (2- S1) x Q2 x (2S2) = 1에 의해 표시된 관계가 만족되는 것이 필요하다. 이 경우, Q1 x Q2는 2진수가 되고, S2-S1은 고정치로서 얻어진다.
도 17a 및 17b는 가중 매트릭스를 사용하는 경우에 양자화부(Q) 및 역양자화부(IQ)의 제2 구조예를 나타내는 블록도이다. 양자화부(Q2)는 다음을 포함한다: 주파수 계수를 Q1과 승산하는 승산부(Q21); 승산부(Q21)에 의해 실행된 승산의 결과를 Qa와 승산하는 승산부(Q22); 승산부(Q22)에 의해 실행된 승산의 결과를 S1 비트 만큼 우측으로 시프트하는 우측 시프터(Q23); 우측 시프터(Q23)에 의해 실행된 시프팅 결과를 Sa 비트 만큼 우측으로 시프트하는 우측 시프터(Q24). 역양자화부(IQ2)는 다음을 포함한다: 양자화된 주파수 계수를 Q2와 승산하는 승산부(IQ21); 승산의 결과를 S2 비트 만큼 좌측으로 시프트하는 좌측 시프터(Q22); 좌측 시프터(Q22)에 의해 실행된 시프팅의 결과를 Qb와 승산하는 승산부(IQ23); 및 좌측 시프터(Q22)에 의해 실행된 시프팅의 결과를 Sb 비트 만큼 우측으로 시프트하는 우측 시프터(IQ24).
여기서, "Qa" 및 "Sa"는 특정화된 가중 매트릭스에서 가중 성분 Wi, j에 대응하고, 다음의 관계가 성립될 수 있다: Qa x 2-Sa x Qb x 2- Sb = 1
도 18a 및 18b는, 도 17a 및 17b에 나타낸 구조가 승산 및 시프팅 동작을 함께 실행하도록 단순화된 양자화부(Q) 및 역양자화부(IQ)의 제3 구조예를 나타내는 블록도이다. 도면에서 양자화부(Q3)는 직교변환된 계수를 Q1a와 승산하는 승산부(Q31); 승산부(Q31)에 의해 실행된 승산의 결과를 "S1+Sa"만큼 우측으로 시프트하는 우측 시프터(Q32)를 포함한다. 역양자화부(IQ3)는 양자화된 직교변환된 계수를 Qa와 승산하는 승산부(IQ31); 승산부(Q31)에 의해 실행된 승산의 결과를 "Sb-S2"만큼 우측으로 시프트하는 우측 시프터(IQ32)를 포함한다. 승산부(IQ31)는 Q1a를 승산하는 한번의 승산을 행함으로써, 도 17a에 나타낸 각각 Q1 및 Qa을 승산하는 두번의 승산을 실행할 수 있다. 즉, 다음 식을 이용하여 실행될 수 있다: Q1b = Q1 x Qb. 우측 시프터(Q32)는 한번의 시프팅을 행함으로써 S1 비트 및 Sa 비트만큼의 각각 2번의 우측 시프팅을 행할 수 있다. 즉, 다음 식을 이용하여 실행될 수 있다: Q2b = Q2 x Qb. 우측 시프터(IQ32)는 한번의 시프팅을 행함으로써 S2비트만큼의 좌측 시프팅과 Sb비트 만큼의 우측 시프팅을 행할 수 있다.
도 19는 양자화 파라미터 QP에 기초한 (i, j)의 각 성분에 대해서 주파수 변환의 승산을 포함하는 양자화 스텝에 대한 계산이 실행되는 경우의 역양자화를 나타내는 플로우챠트이다. 역양자화는 예를 들면 역양자화부(IQ3)(또는 IQ2)에 의해 블록단위로 실행된다.
우선, 역양자화부(IQ3)는 가중 매트릭스 {Wi, j}와 양자화 파라미터 QP(S31, S32)를 얻는다. 그러면, 역양자화부(IQ3)는 양자화 파라미터 QP로부터 주파수 변환에 대한 승산을 포함하는 계산에 의해 얻어진 양자화 스텝로서 {Q2i, j} 및 S2를 더 도출하고(S33), 양자화값(양자화 주파수 계수){fi, j}을 얻는다(S34). 여기서, {Q2i, j}는 QP%6의 양자화단계로서 얻어진다. S2b는 QP/6을 사용하여 얻어진다.
다음에, 역양자화부(IQ3)는 루프1(S35-40)에서, 블록에서 각 주파수 계수에 대해서 양자화를 실행한다. 즉, 역양자화부(IQ3)는 가중 매트릭스 {Wi,j}에 기초하여 {Qbi,j}와 Sb를 도출하고(S36), Qbi,j와 Q2i,j를 승산하여 레벨 스케일 LSi,j를 얻는다(S37). 역양자화부(IQ3)는 Sb에서 S2를 감산하여, 한번에 모든 시프팅에 대해서 시프트되는 비트의 수, S2b를 더 구하고(S38), 양자화값 fi,j와 레벨 스케일 LSi,j을 승산함으로서 역양자화값을 계산하고, 승산의 결과를 S2b 비트만큼 좌측 시프트한다(S40).
그래서, 가중 파라미터 QP를 이용한 양자화 스텝를 계산하면서, 주파수 변환에 대하여 승산을 포함한 계산에 의해 얻어진 양자화 스텝에 역양자화를 행하는 단순한 방법에 의해 역양자화가 실행될 수 있다.
도 20은 주파수 변환에 대한 승산을 포함하는 계산에 의해 얻어진 양자화 스텝가 양자화 파라미터 QP를 사용하여 미리 계산되는 경우에 양자화 처리를 나타내는 플로우챠트이다. 예를 들면 역양자화부(IQ3(또는 IQ2))에 의해 역양자화가 실행된다. 도 20 및 도 19 사이의 차이는 주파수 변환에 대하여 승산을 포함하는 계산 에 의해 얻어진 모든 양자화 스텝 LSi,j가 픽쳐 단위로 테이블로서 메모리에 저장되고(루프1에서 S43c), LSi,j가 테이블로부터 독출되는(루프2에서 S49a) 것이다. 다른 동작은 도 19에서와 거의 동일하므로 그 설명을 생략한다. 본 실시예의 역양자화에 따르면, 주파수 변환에 대하여 승산을 포함하는 계산에 의해 얻어진 모든 양자화 스텝 LSi,j는 루프1에서 테이블로서 메모리에 저장되고, 블록단위로 역양자화값을 고속으로 계산하는데 적합하다.
도 21은 양자화 파라미터 QP에 기초하여 필요에 따라서 주파수 변환에 대하여 승산을 포함하는 계산에 의해 얻어진 양자화 스텝가 계산되는 경우에 양자화 처리를 나타내는 플로우챠트이다. 예를 들면 역양자화부(IQ3(또는 IQ2))에 의해 역양자화가 실행된다. 도 19 및 도 21 사이의 차이는 초기화시에 메모리에 테이블용 빈 영역이 할당되어 있는 것과, 주파수 변환에 대하여 승산을 포함하는 계산에 의해 얻어진 양자화 스텝 LSi,j가 테이블에 저장되어 있는지 아닌지에 관한 것이다(S56). 양자화 스텝 LSi,j와 시프트되는 비트의 수 S2b가 저장되어 있지 않다고 판단되는 경우에, LSi,j 및 S2b가 계산된다(S57a-S57c), 반면에 양자화 스텝 LSi,j가 저장되어 있다고 판단되는 경우에, LSi,j 및 S2b가 테이블로부터 독출된다(S57e). 본 실시예의 역양자화에 따르면, 도 20과 비교하여, 양자화 파라미터 QP가 공통으로 사용되는 다음의 블록들에 대해서 최소한의 요구로 계산량을 줄일수 있고, 그럼에도 불구하고, 제1 블록에 대해서는, 계산량은 성분에 따라서 보다 많게 혹은 보다 적게 변동한다.
도 22는 본 발명에 따르는 화상복호화장치의 구조를 나타내는 블록도이다. 도면에서, 도 4의 블록도에 나타낸 화상 부호화장치에 포함된 것과 동일한 방법으로 동작하는 유닛에 대해서는 동일한 수치를 붙이고, 그 설명은 생략한다. 역양자화부(IQ) 및 역직교변환부(IT)는 도 4에 나타낸 것과 동일하고, 그 동작은 이미 설명하였다.
더욱이, 플렉서블 디스크 등의 기록매체에 상기 실시예의 각각에 기술된 동화상 부호화/복호화 방법을 구현하는 프로그램을 기록함으로서 상기 실시예에서 나타낸 처리는 독립적인 컴퓨터 시스템에서 쉽게 실행될 수 있다.
도 23a, 23b, 23c는 컴퓨터 시스템에서 플렉서블 디스크 등의 기록 매체에 기록된 프로그램을 사용하여 상기 실시예에서 기술된 동화상 부호화/복호화 방법을 구현하는 것에 대해서 도시한 것이다.
도 23b는 플렉서블 디스크의 전체 외관, 그 단면 구조 및 플렉서블 디스크 자체만을 나타내고, 도 23a는 저장 매체의 주체로서 플렉서블 디스크의 물리적인 포맷의 예를 나타낸다. 플렉서블 디스크(FD)는 케이스(F)에 내장되어 있으며, 디스크의 표면에 외주로부터 내면까지 동심원상으로 형성된 복수개의 트랙(Tr)을 가지며, 각 트랙은 각(角)방향으로 16섹터(Se)로 분할된다. 그래서, 프로그램으로서 동화상 부호화 방법 및 동화상 복호화 방법이 플렉서블 디스크(FD)상에 할당된 영역에 기록된다.
도 23c는 플렉서블 디스크(FD)상에 프로그램을 기록 및 재생하는 구성을 나타낸다. 프로그램이 플렉서블 디스크(FD)에 기록될 때, 컴퓨터 시스템(Cs)은 플렉서블 디스크 드라이브(FDD)를 통해 프로그램으로서 동화상 부호화/복호화 방법을 기입한다. 동화상 부호화/복호화 방법이 플렉서블 디스크의 프로그램을 이용하여 컴퓨터 시스템에 구성될 때, 그 프로그램은 플렉서블 디스크로부터 독출되어 플렉서블 디스크 드라이브(FDD)에 의해 컴퓨터 시스템에 이송된다.
기록매체가 플렉서블 디스크라고 가정하여 상기 설명하였지만, 동일한 처리가 광디스크를 사용하여 실행될 수 있다. 또한, 기록매체는 플렉서블 디스크, 광디스크에 한정되지 않고, 프로그램을 기록할 수 있는 IC 카드 또는 ROM 카세트 등의 다른 매체가 사용될 수 있다.
다음은 상기 서술된 실시예에서 설명된 동화상 부호화 및 복호화 방법과 이를 이용한 시스템의 응용에 대한 설명이다.
도 24는 콘텐츠 배송 서비스를 실현하는 콘텐츠 공급 시스템(ex100)의 전체 구성을 나타내는 블록도이다. 통신 서비스를 제공하는 영역은 원하는 크기의 셀들로 분할되고, 고정된 무선국인 셀 사이트(ex107～ex110)가 각 셀들에 놓여진다.
이 콘텐츠 공급 시스템(ex100)은, 컴퓨터(ex111), PDA(Personal Digital Assistant)(ex112), 카메라(ex113), 휴대전화(ex114) 및 카메라 장착 휴대전화(ex115) 등의 장치에, 예를 들면, 인터넷(ex101), 인터넷 서비스 프로바이더(ex102), 전화망(ex104) 및 셀 사이트(ex107～ex110)를 통하여 연결된다.
그러나, 콘텐츠 공급 시스템(ex100)은 도 24에 나타낸 구성에 한정되지 않고, 이들을 임의로 조합한 것에 연결될 수 있다. 또한, 각각의 장치는 셀 사이트(ex107～ex110)를 통하지 않고, 전화망(ex104)에 직접 연결될 수 있다.
카메라(ex113)는 화상을 촬영할 수 있는 디지털 비디오 카메라와 같은 장치 이다. 휴대전화는 다음의 시스템 중의 휴대전화이다: PDC(Personal Digital Communication) 시스템, CDMA(Code Division Multiple Access) 시스템, W-CDMA(Wideband-Code Division Multiple Access) 시스템, 또는 GSM(Global System for Mobile Communication) 시스템, PHS(Personal Handyphone System).
스트리밍 서버(ex103)는 전화망(ex104) 및 셀 사이트(ex109)를 통해 카메라(ex113)에 연결되어, 사용자에 의해 송신된 부호화 데이터에 기초하여 카메라(ex113)를 이용하여 라이브 배송 등을 실현한다. 데이터 송신 처리가 가능한 카메라(ex113) 또는 서버는 데이터를 부호화할 수 있다. 또한, 카메라(ex116)에 의해 촬영된 동화상 데이터는 스트리밍 서버(ex103)에 컴퓨터(ex111)를 통해 송신될 수 있다. 이 경우, 카메라(ex116) 또는 컴퓨터(ex111)는 동화상 데이터를 부호화할 수 있다. 컴퓨터(ex111) 또는 카메라(ex116)에 포함된 LSI(ex117)는 부호화 처리를 행한다. 동화상을 부호화 및 복호화하는 소프트웨어는 컴퓨터(ex111) 등에 의해 판독가능한 기록 매체인 (CD-ROM, 플렉서블 디스크 및 하드 디스크와 같은) 특정 유형의 저장 매체에 통합될 수 있다. 또한, 카메라 장착 휴대전화(ex115)는 동화상 데이터를 송신할 수 있다. 이 동화상 데이터는 휴대전화(ex115)에 포함된 LSI에 의해 부호화된 데이터이다.
이 콘텐츠 공급 시스템(ex100)은, 카메라(ex113), 카메라(ex116) 등을 이용하는 사용자에 의해 촬영된 콘텐츠(음악 라이브 비디오와 같은)를 상기 서술한 실시예에서 나타낸 것과 동일한 방법으로 부호화하여, 스트리밍 서버(ex103)에 송신하고, 스트리밍 서버(ex103)는 콘텐츠 데이터를 클라이언트에 그들의 요구대로 스 트림 배송한다. 콘텐츠 공급 시스템(ex100)에서, 클라이언트는 상기 부호화된 데이터를 수신하여 재생할 수 있고, 또한 그 데이터를 실시간으로 복호화하고 재생하여 개인용 방송을 실현한다.
이 시스템에서 각 장치가 부호화 또는 복호화를 행할 때, 상기 실시예에 나타낸 동화상 부호화장치 또는 동화상 복호화장치가 사용될 수 있다.
그 장치의 일 예로서 휴대 전화를 설명한다.
도 25는 상기 실시예에서 설명된 화상 부호화 방법 및 화상 복호화 방법을 이용하는 휴대 전화(ex115)를 나타내는 다이어그램이다. 휴대전화(ex115)는 무선파를 통해 셀 사이트(ex110)와 통신하는 안테나(ex201), 동화상 및 정지 화상을 촬영할 수 있는 CCD 카메라와 같은 카메라부(ex203), 이 카메라부(ex203)에 의해 촬영되거나 안테나(ex201)에 의해 수신된 복호화된 화상 등의 데이터를 표시하는 액정 디스플레이와 같은 표시부(ex202), 조작키 세트(ex204)가 갖춰진 본체, 음성을 입력하는 마이크로폰과 같은 음성 입력부(ex205), 카메라에 의해 촬영된 동화상 또는 정지 화상의 데이터, 수신된 이메일의 데이터 및 동화상 또는 정지 화상의 데이터와 같이 부호화되거나 복호화된 데이터를 저장하는 기록매체(ex207), 및 기록 매체(ex207)를 휴대전화(ex115)에 부착하는 것을 가능하게 하는 슬롯부(ex206)를 갖는다. 기록 매체(ex207)는 그 자체가 저장하는 플래시 메모리 소자로서, SD 카드와 같은 플라스틱 케이스에 저장된 전기적으로 소거 및 기입 가능한 비휘발성 메모리인 EEPROM(Electrically Erasable and Programmable Read Only Memory)이다.
다음에, 도 26을 참조하여, 휴대전화(ex115)에 대해서 설명한다. 휴대전화 (ex115)에서, 표시부(ex202) 및 조작키(ex204)를 갖는 본체의 각 부를 전체적으로 제어하는 주제어부(ex311)는 전원 회로부(ex310), 조작입력 제어부(ex304), 화상 부호화부(ex312), 카메라 인터페이스부(ex303), LCD(Liquid Crystal Display) 제어부(ex302), 화상 복호화부(ex309), 멀티플렉싱/디멀티플렉싱부(ex308), 독출/기입부(ex307), 모뎀회로부(ex306) 및 음성처리부(ex305)에 동기 버스(ex313)를 통해 서로 연결되어 있다.
통화-종료키 또는 파워키가 사용자 조작에 의해 온으로 될 때, 전원 공급 회로부(ex310)는 배터리 팩에서 각 부에 전원을 공급하고, 카메라 장착 디지털 휴대전화(ex115)를 준비상태로 만들도록 활성화시킨다.
휴대전화(ex115)에서, 음성 처리부(ex305)는 CPU, ROM, RAM을 포함하는 주제어부(ex311)의 제어하에서, 통화 모드에서 음성 입력부(ex205)에 의해 수신된 음성 신호를 디지털 음성 데이터로 변환하고, 모뎀 회로부(ex306)는 디지털 음성 데이터에 대해서 확산 스펙트럼 처리를 행하고, 통신 회로부(ex301)는 데이터에 대해서 디지털-아날로그 변환 및 주파수 변환을 행하여, 그것을 안테나(ex201)를 통해 송신한다. 또한, 휴대전화(ex115)에서, 통신회로부(301)는 통화 모드에서 안테나(ex201)에 의해 수신된 데이터를 증폭하고, 데이터에 주파수 변환 및 아날로그-디지털 변환을 행하고, 모뎀 회로부(ex306)는 데이터에 역확산 스펙트럼 처리를 행하고, 음성 처리부(ex305)는 이것을 아날로그 음성 데이터로 변환하여, 음성 출력부(ex208)를 통하여 출력한다.
더욱이, 데이터 통신모드에서 이메일을 송신할 때, 본체의 조작키(ex204)를 조작하여 입력된 이메일의 텍스트 데이터는 조작 입력 제어부(ex304)를 통하여 주제어부(ex311)에 보내진다. 주제어부(ex311)에서, 모뎀 회로부(ex306)가 텍스트 데이터에 확산 스펙트럼 처리를 행하고, 통신 회로부(ex301)는 텍스트 데이터에 대해서 디지털 아날로그 변환 및 주파수 변환을 행하고, 데이터는 안테나(ex201)를 통해 셀 사이트(ex110)에 송신된다.
화상 데이터가 데이터 통신모드에서 송신될 때, 카메라부(ex203)에 의해 촬영된 화상 데이터는 카메라 인터페이스부(ex303)를 통해 화상 부호화부(ex312)에 공급된다. 화상데이터가 송신되지 않을 때, 카메라부(ex203)에 의해 촬영된 이 화상 데이터를 카메라 인터페이스부(ex303) 및 LCD 제어부(ex302)를 통해 표시부(ex202)에 직접 표시할 수도 있다.
본 발명에 있어서 서술된 것같이 동화상 부호화 장치를 포함하는 화상 부호화부(ex312)는 상기 서술된 실시예에 나타낸 것같은 동화상 부호화장치에 의해 사용된 부호화 방법을 이용하여, 카메라부(ex203)로부터 공급된 화상 데이터를 압축 부호화하고, 부호화된 화상 데이터를 변환하여, 멀티플렉싱/디멀티플렉싱부(ex308)에 보내도록 한다. 이 때, 휴대전화(ex115)는 카메라부(ex203)로 촬영하는 동안, 음성 입력부(ex205)에 의해 수신된 음성을 멀티플렉싱/디멀티플렉싱부(ex308)에 디지털 음성 데이터로서 음성처리부(ex305)를 통해 보낸다.
멀티플렉싱/디멀티플렉싱부(ex308)는 화상 부호화부(ex312)로부터 공급된 부호화된 화상 데이터 및 음성 처리부(ex305)로부터 공급된 음성 데이터를 소정 방법을 이용하여 다중화하고, 모뎀 회로부(ex306)는 다중화의 결과로 얻어진 다중화된 데이터에 확산 스펙트럼 처리를 행하고, 최종적으로 통신 회로부(ex301)는 안테나(ex201)를 통해 송신하기 위해, 송신용 데이터에 디지털-아날로그 변환과 주파수 변환 처리를 행한다.
데이터 통신 모드에서, 웹페이지 등에 연결된 동화상 파일의 데이터를 수신하는 것에 관해서, 모뎀 회로부(ex306)는 안테나(ex201)를 통하여 셀 사이트(ex110)로부터 수신된 데이터에 대해서 역확산 스펙트럼 처리를 행하고, 역확산 스펙트럼 처리의 결과로서 얻어진 다중화된 데이터를 보낸다.
안테나(ex201)를 통하여 수신된 다중화된 데이터를 복호화하기 위해, 멀티플렉싱/디멀티플렉싱부(ex308)는 다중화된 데이터를 화상 데이터 및 음성 데이터의 부호화된 스트림으로 디멀티플렉스하고, 이러한 부호화된 화상을 화상 복호화부(ex309)에, 이러한 음성 데이터를 음성 처리부(ex305)에 동기화 버스(ex313)를 통하여 각각 공급한다.
다음에, 본 발명에 설명된 것같은 동화상 복호화 장치를 포함하는 화상 복호화부(ex309)는 상기 서술된 실시예에 나타낸 것같이 부호화 방법에 대응하는 복호화 방법을 이용하여 화상 데이터의 부호화 비트스트림을 복호화하여, 재생 동화상 데이터를 생성하고, 이 데이터를 LCD 제어부(ex302)를 통하여 표시부(ex202)에 공급하고, 따라서, 예를 들면 웹 페이지에 연결된 동화상 파일에 포함된 화상 데이터가 표시된다. 동시에, 음성 처리부(ex305)는 음성 데이터를 아날로그 음성 신호로 변환하고, 이 데이터를 음성 출력부(ex208)에 공급하고, 따라서, 예를 들면 웹페이지에 연결된 동화상 파일에 포함된 음성 데이터가 재생된다.
본 발명은 상기 서술된 시스템에 한정되지 않고, 위성/지상파 디지털 방송이 최근의 화제가 되어 오고 있기 때문에, 상기 실시예에 서술된 적어도 동화상 부호화 장치 또는 동화상 복호화 장치는, 도 27에 나타낸 것같이 디지털 방송 시스템에 통합될 수 있다. 더 상세하게, 비디오 정보의 부호화 비트 스트림은 무선파를 통해 방송국(ex409)으로부터 방송 위성(ex410)에 송신되거나, 이것과 통신한다. 이것을 수신하면, 방송 위성(ex410)은 방송용 무선파를 송신한다. 그리고, 위성 방송 수신 시설을 갖춘 집의 안테나(ex406)는 무선파를 수신하고, 텔레비젼(수신기)(ex401) 또는 셋탑박스(STP)(ex407)는 부호화된 비트 스트림을 재생을 위해 복호화한다. 상기 서술된 실시예에 나타낸 것같이 동화상 복호화장치는 CD 및 DVD와 같은 기록 매체인 저장 매체(ex402)에 기록된 부호화된 비트 스트림을 독출하여 복호화하는 재생 장치(ex403)에서 실행될 수 있다. 이 경우, 재생된 동화상 신호는 모니터(ex404)에 표시된다. 또한, 텔레비젼(ex401)의 모니터(ex408)에 재생하도록 케이블 텔레비젼용 케이블(ex405) 또는 위성 및/또는 지상파 방송용 안테나(ex406)에 연결된 STB(ex407)에 동화상 복호화장치를 실현하는 것도 고려된다. 동화상 복호화장치는 셋탑 박스가 아니라 텔레비젼에 조합될 수 있다. 또한, 자동차(ex412)에 설치된 카네비게이션 시스템(ex413)과 같은 표시장치에 동화상을 재생할 수 있도록, 안테나(ex411)를 갖는 자동차(ex412)는 위성(ex410), 셀 사이트(ex107)로부터 신호를 수신할 수 있다.
더욱이, 상기 서술된 실시예에 나타낸 것같이 화상 부호화 장치는 화상 신호를 부호화하여, 기록매체에 기록할 수 있다. 구체적인 예로서, 화상 신호를 DVD 디 스크(ex421)에 기록하는 DVD 레코더 및 화상 신호를 하드 디스크에 기록하는 디스크 레코더와 같은 레코더(ex420)가 사용될 수 있다. 화상 신호는 SD 카드(ex422)에 기록될 수 있다. 레코더(ex420)가 상기 서술된 실시예에 나타낸 것같이 동화상 복호화장치를 구비하면, DVD 디스크(ex421) 또는 SD 카드(ex422)에 기록된 화상 신호는 모니터(ex408)에 표시하기 위해 재생될 수 있다.
카네비게이션 시스템(ex413)의 구성에 대해서, 도 26에 나타낸 성분 중에서, 카메라부(ex203) 및 카메라 인터페이스부(ex303)를 가지지 않는 구성이 가능하다. 동일한 것을 컴퓨터(ex111), 텔레비젼(수신기)(ex401) 등에 적용할 수 있다.
또한, 휴대전화(ex114) 등의 단말에 대해서 3가지 유형의 실시가 가능하다: 부호화기 및 복호화기를 갖고 실시된 송수신 단말, 부호화기만을 갖고 실시된 송신단말 및 복호화기만을 갖고 실시된 수신 단말.
도 4, 16a, 16b, 17a, 17b, 18a, 18b 및 22에 나타낸 블록도에서 각각의 기능 블록은 집적 회로 장치인 LSI로 실현될 수 있다. 이러한 LSI는 하나 또는 복수의 칩 형태로 조립될 수 있다(예를 들면, 메모리 이외의 기능 블록이 단일 칩에 조립될 수 있다). 여기서, LSI를 일 예로 들었지만, 집적 정도에 따라서 "IC", "system LSI", "super LSI" 및 "ultra LSI"로 칭할 수 있다.
집적회로에 조립하는 방법은 LSI에 제한되지 않고, 전용선 또는 일반적인 프로세서로 실현될 수 있다. LSI의 제조 후, 프로그램 가능한 FPGA(Field Programmable Gate Array), 또는 LSI에서 회로 셀에 대한 연결 및 설정을 재구성할 수 있는 재구성가능한 프로세서가 활용될 수 있다.
더욱이, 반도체 기술의 진전에 의해 LSI를 대체하는 집적 회로를 조립하는 기술의 도래 또는 그로부터 파생된 다른 기술에 따르면, 기능 블록은 새롭게 도래된 기술을 이용하여 집적될 수 있다. 바이오 기술의 응용은 이 예의 하나로서 인용될 수 있다.
기능 블록중에서, 단지 데이터를 저장하는 유닛만이 칩 형태로 조립되지 않고, 본 실시예에서 서술된 저장 매체(115)로서 분리하여 구성될 수 있다.
도 4 및 22에 나타낸 기능 블록 또는 도 19 ～ 21에 나타낸 플로우 챠트에서 주요 부분은 프로세서 또는 프로그램으로 구현될 수 있다.
상기 서술된 것같이, 상기 서술된 장치 및 시스템 중 임의의 하나에 상기 실시예에 제시된 화상 부호화 방법 및 화상 복호화 방법을 사용할 수 있다. 따라서, 상기 서술된 실시예에서 서술된 효과를 달성하는 것이 가능해진다.
(제2 실시예)
다음은 본 발명의 제2 실시예를 서술한다.
<정수-기반의 무분할 양자화 방식>
계산상의 복잡성을 줄이기 위해, q-매트릭스의 양자화는 승산 및 시프트 동작만을 이용하는 것이 바람직하다. 즉, 계산적으로 인텐시브 분할 동작이 실제로 방지된다. 효율적인 정수-기반의 무분할 비균일 양자화에 대해서 제안된 방법은 비디오 부호화 시스템에서 임의의 크기의 블록 변환 및 양자화에 일반적으로 응용가능하다.
도 16a 및 16b에, 단지 승산 및 시프트 동작이 사용된, 변환 계수의 양자화 및 역양자화의 동작이 도시되어 있다. 주어진 QP에 대해서, S1 및 S2의 값들이 모든 계수들에 대해서 고정되고, Q1, Q2의 값들이 QP값 및 계수 위치에 의거한다(참고문헌 참조, 참고문헌1: ISO/IEC MPEG & ITU-T VCEG의 Joint Video Team(JVT), "Draft of ITU-T Recommendation and Final Draft International Standard of Joint Video Specification(ITU-T Rec. H.264 ｜ISO/IEC 14496-10 AVC)", JVT-G050r1.doc, Geneva, Switzerland, May 2003). 정수 변환의 로우들이 직교하지만 비디오 부호화 표준에서 동일한 놈(norm)을 가지지 않기 때문에, 이것은 가중된 양자화 메카니즘이 아니라, 단순히 정규화 문제이다(참고문헌 1 참고).
무분할 양자화 및 역양자화로의 q매트릭스의 통합은 다른 쌍의 승산 및 시프트를 양 처리에서 도입하는 것을 우선 생각할 수 있다. 이들이 도 17a 및 17b에 도시되어 있다. Qa 및 Qb의 값들은 특정 값의 Sa뿐 아니라 특정 q매트릭스 입력에 따른다.
계산적인 복잡성을 줄이기 위해, 분할 동작은 승산 및 시프트 동작만을 이용하여 근사될 수 있다. 특정 q매트릭스 입력 Mq 및 Sa의 주어진(또는 부호화기 및 복호화기 모두에 의해 일치된) 값에 대해서, 정수(Qa)의 값이 (1<<(Sa+Bn))/Mq로서 정의된다. 따라서, 정수 Qb의 값은 Mq<<(Sa-Bn)으로 정의된다. 예를 들면, Bn은 4로 설정될 수 있다. 이 경우, 16과 동일한 모든 입력을 q-매트릭스를 이용한 양자화는 비디오 부호화 표준에서 균일한 양자화와 동일하다(참고문헌 1 참조). Sa>Bn 이고 항상 Sa>=8이다. Qa 및 Qb가 정수이기 때문에, 이 설계는 정수 계산에서 특정 레벨의 정밀도를 유지한다. q매트릭스를 갖는 양자화의 이 설계를 고려하면, 모든 동작들 및 메모리 억세스가 16비트로 계산될 수 있는 것이 검증될 수 있다. 저장 전에 데이터가 스케일/시프트되면, 중간 결과들이 16비트를 초과하는 것이 허가된다. Sa의 값이 더 크면 양자화에 대한 정수 계산이 보다 정밀하지만, 하드웨어 설계에 대한 중간 결과들의 동적 범위에 대하여 그 값이 제한된다.
<역양자화 및 정규화 역변환에 대한 단일 승산>
도 17a 및 17b에 기초하여, 승산 및 시프트 연산을 결합하므로, 계산상의 복잡성을 줄이는 것이 바람직하다. 도 18a 및 18b는 q매트릭스의 양자화에 대한 다른 통합 레벨을 나타낸다. 정확하게는, 정수 Q1a는 Q1*(1<<(Sa+Bn))/Mq로서 정의되고, 정수 Q2a는 Q2*Mq<<(Sa-Bn))과 같다. Q1 및 Q2는 룩업 테이블로부터 얻어지기 때문에, q매트릭스의 통합은 기본적으로 실행 시의 룩업 테이블이 갱신되도록 한다.
테이블은 특정화된 q매트릭스에 기초하여 초기 단계에서 쉽게 변화가능하다. 정수 S2의 값은 QP/6로서 정의되고, QP가 비디오 부호화 표준에서 [0,51]의 범위에 있어야 하기 때문에 항상 8보다 작다(참고문헌 1 참조). 중요하게, 제안된 통합은 각 q 매트릭스 입력의 다른 값들에 대해서 Q1a의 값들을 구별하게 도와준다(예를 들면, 전형적으로 [1,255]). 양자화를 고려할 때 더 미세한 튜닝의 유연성이 허용되기 때문에, 부호화기 설계의 관점으로부터 바람직한 성질이다.
<q매트릭스에 기초하여 도출된 새로운 룩업 테이블의 예>
양자화 및 역양자화에 대해서 일반적인 형태의 다음의 식을 갖는다.
양자화:
Cij=sign(Xij)*(abs(Xij)*Qq(QP%6,i,j)+(1<<n)*f)>>n
역양자화:
Yij=sign(cij)*((abs(cij)*Qq(QP%6,i,j))>>m)
여기서, Xij, Cij, Yij는 원래의, 양자화된, 역양자화된 계수들을 각각 나타낸다. Qq 및 Qd는 양자화 및 역양자화에서 사용된 매트릭스이다. 정수 변환의 정규화를 고려하면, Qq 및 Qd는 다르다. 균일한 양자화의 경우에, Qq 및 Qd는 플랫 매트릭스이다. x가 포지티브이면, sign(x)는 1이고, x=0이면 0, x가 네가티브이면 -1이다. abs(x)는 x의 절대치이다. m 및 n의 값들은 QP, 블록 변환 크기, 및 Sa의 값에 의존한다. f의 값은 통상 블록 부호화 타입에 의존하고, 예를 들면, 인트라-부호화에 대해서는 3/8이고, 인터-부호화된 블록에 대해서는 1/6이다.
<8x8 q매트릭스에 관련된 새로운 룩업 테이블/매트릭스>
Bn=4 및 Sa=8을 고려하면, 매트릭스(Qq 및 Qd)는 도 30 및 31로부터 도출된다. 로우들이 직교하고, 동일한 놈(norm)을 갖는 8x8 정수 변환에 대해서, q매트릭스를 사용하는 룩업 테이블의 도출이 용이하다. 도 28에 나타낸 8x8 q매트릭스를 가정한다.
8x8 정수 변환에 기초하여, 도 29에 나타낸 것같이 각각 양자화 및 역양자화 스케일링 팩터 테이블을 갖는다.
QP=20의 경우에, 스케일링 팩터(승산기로서 사용된)는 양자화에 대해서 1979이고, 역양자화에 대해서 19이다. 균일한 양자화의 경우에, 이들 값들은 모든 변환 계수에 대해서 동일하다. q매트릭스를 사용할 때, 스케일링 팩터는 반드시 도 30 및 31에 나타낸 것같이 각각 변경된다. q매트릭스가 특정될 때 각 스케일링 팩터에 대해서 매트릭스는 초기화될 수 있다.
<4x4 q매트릭스에 관련된 새로운 룩업 테이블/매트릭스>
Bn=4 및 Sa=8을 고려하면, 매트릭스(Qq 및 Qd)는 도 34 및 35로부터 도출된다. 로우들이 직교하지만, 다른 놈(norm)을 갖는 4x4 정수 변환에 대해서(참고문헌 1 참조), q매트릭스를 사용하는 룩업 테이블의 도출이 매트릭스에서 계수들의 위치들을 고려하기 위해 필요하다. 도 32에 나타낸 4x4 q매트릭스를 가정한다. 양자화 및 역양자화 스케일링 팩터의 테이블은(정수 변환의 정규화를 고려하여) 도 33에 나타낸 것같이 특정된다.
QP=20의 경우에, 양자화 및 역양자화에 대해서 스케일링 팩터의 매트릭스(승산기로서 사용된)는 각각 도 34 및 35에 나타낸 것같다.
4x4 q매트릭스가 특정될 때, 도 33에 나열된 매트릭스 w, v의 각 열들에 대해서 이들 매트릭스가 초기화될 수 있다.
<DC 블록 양자화의 분리 처리>
q-매트릭스를 갖는 제안된 양자화는 제2 레벨변환, 즉, 하다마드 변환이 사 용되는 루마(luma) 및 크로마(chroma) 모두에 대한 DC성분의 변환에 적용되지 않는다. 부호화기에서 양자화는 변환을 따르고, 대신에 복호화기에서는 역양자화는 역변환을 따른다. 역변환 동안에, 이것은 가능한 동적 범위(정수 계산에서 정확도)를 유지하는 것이다. 그 결과, 양자화 및 역양자화는 실제로 다른 도메인에 있다. 이것은 균일한 양자화에 대해서는 문제가 아니지만, 가중 q-매트릭스를 사용하는데 계수에 대한 스케일링 팩터의 비정렬의 원인이 된다. 또한, 하다마드 변환 자체는 제1 레벨에서와 동일한 성질의 DCT(또는 근접한 정수 변환)를 반드시 유지하지 않는다. 하다마드 변환 도메인에서 가중 양자화는 그렇게 문제가 되지 않는다.
정수 동작을 유지하고 복잡성을 최소로 유지하면서, 이 새로운 방법은 균일한 양자화 방식을 q-매트릭스를 사용하는 가중 양자화 방식으로 확장된다. 중요한 예로서, 이 솔루션은 양자화 매트릭스 방식을, 무시할 정도로 복잡성이 증가하고, 최소의 신택스가 변화하면서, 현재의 비디오 부호화 시스템에 통합가능하게 한다(참고문헌 1 참조).
(제3 실시예)
다음은 본 발명의 제3 실시예를 설명한다.
비디오 부호화 시스템에서, 복호화기가 양자화 방식 및 매트릭스를 실행하도록 양자화 매트릭스의 세트는 디폴트로 정의된다. 부호화된 비트-스트림이 양자화 가중 방식을 사용할 때에 복호화에 대해서 사용된다. 사용자는 자신의 양자화 매트릭스를 정의하여 복호화기에 전송할 수 있다. 이 새로운 방법은 양자화 매트릭스가 어떻게 복호화기에 전달될 수 있는지를 특정한다.
이 새로운 방법은 각종 부호화 모드 선택에서 변환의 선택을 또한 정의한다.
양자화 가중 방식에서는, 다음의 주요 특징들이 있다.
1. 완전하게 정수 기반, 무분할을 사용하고, 복호화기에서 16비트 메모리 동작만을 요구하는 양자화 가중 방식의 사양은, 균일한 양자화 방식과 비교하여 복잡성이 증가되지 않게 한다.
2. 제안된 비균일 양자화 방식은, 보다 나은 화상 텍스쳐를 보존하는 변환이라고 고려되기 때문에 루마의 8 x 8 변환에 기초하고, 고품질 화상의 주관적인 인상에 영향을 주는 가장 중요한 콘텐츠 소자들 중 하나이다.
비균일 양자화 가중이 인트라-예측 및 인터-예측 모두에서 잔차에 적용된다. 이 새로운 방법은 새로운 부호화 툴 세트를 제공하고, 정수 연산을 유지하고, 복잡성을 최소로 유지하면서, 균일한 양자화 방식을 q매트릭스를 사용하는 가중된 양자화 방식으로 연장한다. 이것은 고품질 및 고비트레이트 부호화 애플리케이션에서 비디오 부호화를 특별히 효율좋게 한다.
AVC의 프로페셔널 익스텐션 프로파일(파이델리티 레인지 프로파일)은 HD 화상을 포함하는 고해상도 화상의 부호화를 목표로 한다. 이로써, 시각적인 고성능이 HD 화상이 제시될 때 높게 평가된다. AVC 프로페셔널 익스텐션 프로파일이 사용될 때, AVC의 뛰어난 부호화 효율은 시각적임 품질을 크게 확장하는데 직접 이익을 주는 것이 바람직하다. HD의 실질적인 품질을 개선시키고자 하는 목표로, 비균일 양자화 가중을 블록 변환 계수로 가능하게 하는 양자화가중 방식을 제안한다. 비균일 양자화 툴이 다음의 이유로 크리티컬하게 되는 것으로 고려된다.
1. 복호화된 화상의 시각적인 파이델리티의 개선
2. 비균일 양자화는 사람의 시각적인 감각에 비례하여 양자화 조정이 이루질 수 있도록 하여, 화상의 파이델리티의 부호화 효율을 개선한다.
3. 고품질 콘텐츠 생성 산업에 의해 강하게 요구되는, 최종 화상 품질을 제어하는데 유연한 선택을 제공한다.
여기서 제안된 양자화 가중 방식은 다음의 주요 특징들을 포함한다.
1. 완전한 정수 기반, 무분할을 사용하고, 복호화기에서 16비트 메모리 동작만을 요구하는 양자화 가중 방식의 특정화는, 균일한 양자화 방식과 비교하여 복잡성의 증가를 유도하지 않는다.
2. 제안된 불균일한 양자화 방식은, 더 좋은 화상 텍스쳐를 보존하는 변환이기 때문에, 루마의 8x8 변환에 기초하고, 고품질 화상의 주관적 인상에 영향을 주는 가장 중요한 콘텐츠 소자중 하나이다.
3. 불균일한 양자화 가중이 인트라 예측 및 인터 예측의 잔차에 적용된다.
각종 HD 표시 장치에서 시뮬레이션 및 시청은, 모든 비디오 시퀀스에서 실질적인 품질 개선과, JVT 시퀀스들 중 몇몇을 포함하는 많은 테스트 비디오와 영화 스튜디오로부터 얻은 필름 콘텐츠에서 현저한 개선을 나타낸다.
<8x8변환과 양자화 가중 매트릭스에서 제안의 범위>
JVT에 제시된 이전의 많은 JVT 컨트리뷰션이 양호한 부호화 효율을 나타내는 것에 기초하여 8 x 8 변환을 포함하여 제안하고자 한다. 더 중요하게는, 8 x 8 변환의 사용으로부터 실질적인 품질은 화상 텍스쳐의 보다 나은 보존을 제공한다. 이전 컨트리뷰션 및 이전 AVC 커미티 드래프트가 기초하고 있는 8 x 8변환(참고문헌 2 참조, 참고문헌 2: S.Gordon, D. Marpe, T. Wiegand, "Simplified use of 8x8 Transform", ISO/IEC JTC1/SC29/WG11 및 ITU-T Q6/SG16, 문헌 JVT-J029, 2003년 12월)이 사용되기 때문에, 본 발명에서는 그 변환이 사용되도록 선택한다. 그러나, 8x8 정수 변환 매트릭스의 다른 선택들이 이용된다고 하여도, 결과에서 큰 차이가 기대되지는 않는다.
<8x8 루마 인트라-예측>
여기서, 8x8 루마 인트라-예측을 위해, 현존하는 모드 인트라 16x16, 인트라 4x4에 추가하여 새로운 매크로블록 모드 mb_type I_8x8이 제안된다. 9개의 인트라 8x8 예측모드들이 있다. 그들은 참고 문헌 2에 특정되어 있다. 예측 효율을 개선시키기 위해 로패스 필터링이 참조셀에 적용된다. 이 필터링은 또한 참고문헌 2에서 ABT 8x8 인트라-예측 부분에서 특정된다.
<크로마 인트라-예측>
크로마 샘플링 포맷에 기초하여, 다른 양자화 가중이 사용되어야 한다. 4:2:0 및 4:2:2 포맷에 대해서, 4x4 양자화 가중이 사용되고, 여기서 양자화 방식은 아래에 정의되어 있다. 4:4:4 포맷에 대해서, 크로마 샘플들이 동일한 변환 및 양자화 방식으로 적용된다.
<8x8 인터-예측>
8x8 변환이 16x16, 16x8, 8x16의 모든 P, B 매크로블록 유형들에 사용된다. 또한, P슬라이스에 대해서 P_L0_8x8, 또는 B슬라이스에 대해서 B_Direct_8x8, B_L0_8x8, B_L1_8x8, B_Bi_8x8과 같은 sub_mb_type을 갖는 임의의 8x8 서브 매크로블록에 대해서 8x8 변환이 사용된다.
<양자화 가중 매트릭스에 대한 신택스 요소>
양자화 가중 매트릭스에 대한 부가적인 신택스 요소는 비트 스트림의 초기에 사용자-정의 가중 매트릭스의 정의를 포함한다. 픽쳐 파라미터 세트에서 매트릭스 ID에 의해 양자화 가중 매트릭스를 참조한다.
<양자화 가중 매트릭스>
복호화기에서 역변환 직전의 양자화 스텝에 양자화 가중 매트릭스가 적용된다. 각각의 계수 인덱스에서 가중은 균일한 양자화를 제공하는데 있어서 다를 수 있다. 가중은 신택스에서 정의된 QP에 부가되므로, 적용된 양자화는 실제로 양자화 가중과 QP의 조합이다(도 36). 가중 매트릭스는 QP에 대한 양자화량을 감소 및 증가시킬 수 있다.
AVC 사양에서, 역양자화는 역양자화 스케일링의 승산에 의해 실행되고 시프 트되고, 역양자화 스케일링이 QP mod 6에 의해 계산된다. 역양자화 연산 당 하나의 정수 승산이 있다. 양자화 가중 매트릭스가 사용될 때, 양자화는 유사하게 정의된다.
양자화 가중 매트릭스에서, 1보다 큰 것으로부터 1보다 작은 것까지 가중의 범위를 유지한다. 양자화 가중 매트릭스의 값은 16배의 실제의 가중치가 실제로 반올림된 정수값이다. 예를 들면, 양자화 가중치 1.2는 19의 양자화 가중 매트릭스 값에 대응한다. 양자화 가중 매트릭스의 예를 도 37에 도시한다.
<8x8 루마에 대한 양자화 가중>
8x8 루마에 대해서, di ,j는 양자화 변환 계수를 나타낸다. W(i,j)는 양자화 가중 매트릭스를 나타낸다. 그러면 도 38에 나타낸 것같이 역양자화 연산을 갖는다.
<4x4 블록 변환에 대한 양자화 가중>
4:2:0 및 4:2:2 크로마 포맷에 대하여, 크로마는 4x4 DCT 도메인으로 변환된다. 4x4 양자화 가중 매트릭스는 AC 계수에만 적용된다. 각각의 8x8 크로마 블록에 대해서, 2x2 DC 블록이 형성되고, 변환은 계수가 균일하게 양자화되는 것에 적용된다. 이것은 현재의 사양과 동일하다.
참고 문헌 3(ITU-T 추천 H.264 및 ISO/IEC 국제 표준 14496-10 AVC, 문헌 JVT-J010d7, 2003년 10월)에서 크로마 QP의 도출 처리는 여기에 동일하게 남아 있다. 그러나, 2x2 크로마 DC에 대해서 역양자화는 다음과 같이 주어진다.
dcCij=(fij*M(QPc%6,0,0)<<QPc/6-5, for QPc/6≥5 (5)
dcCij=(fij*M(QPc%6,0,0)+1<<(4-QPc/6))>>5-QPc/6, for QPc/6<5 (6)
여기서,
M(QPc%6,0,0)=W(0,0)=W(0,0)*LevelScale(QPc%6,0,0) (7)
가중 매트릭스는 양자화 계수의 AC 부분에만 적용된다. LevelScale 기능이 도 39, 40에 나타낸 참고문헌 3의 8.5.8에서와 같이 정의되어 있는 것을 제외하고, 역양자화는 도 38에서 식(1), (2)와 유사하게 정의된다.
복호화처리의 나머지는 참고문헌 3의 사양과 동일하다. 4:4:4 크로마 샘플링 경우에, 각각의 8x8 크로마 블록은 루마와 동일한 방식으로 변환되고 양자화된다.
필드 부호화 모드에서, 매크로블록쌍의 필드 매크로블록은 동일한 세트의 양자화 매트릭스를 사용한다. 필드 부호화 모드에서 B_Direct_8x8모드의 경우에, 움직임 탐색블록모드가 8x8블록보다 작을 때, 4x4 변환블록의 잔차에 대해서 4x4 양자화 가중을 사용하도록 하는 것을 제안하고 싶다.
양자화 가중 방식을 적용하는데 있어서, QP와 결합하여 양자화 가중 매트릭스를 설계하는데 특별한 보호가 취해져야 한다. 양자화 가중은 임의의 계수의 비트 크기를 확장하지 않는다. 이것은 부호화기의 신뢰도의 문제이기는 하지만, 매트릭스 계수들 중에서 특정 밸런스가 유지되는 것이 가장 바람직하다.
<양자화 가중 매트릭스에 기초한 역양자화 스케일링 테이블의 도출>
사용자-정의된 양자화 가중 매트릭스가 복호화기에 보내질 때, 복호화기는 양자화가중 및 QP%6에 기초하여 역양자화 스케일링 테이블을 구축할 필요가 있다. 테이블은 현재의 AVC 사양에서 균일한 역양자화 및 스케일링 테이블의 각각의 입력과 양자화 가중 매트릭스를 승산함으로써 계산될 수 있다. 이 예는 참고문헌 2에 제안된 변환에 기초하여, 도 41에 나타낸 역양자화 테이블을 도출하는 것이다. 도 41에 나타낸 값을 갖는 양자화매트릭스이면, 추가적으로 좌측으로 4시프트한다.
QP%6=0일 때 역양자화 계수 테이블은 도 42에 나타낸 것같다.
<복잡성>
양자화 스케일링 테이블 M(QP%6,0,0)이 양자화 가중 매트릭스 및 QP/6에 기초하여 생성되면, 현재의 균일한 양자화와 비교하여 하나의 양자화 매트릭스를 유도하는데 부가적인 복잡성은 없다. 스케일링 테이블 M(QP%6,0,0)을 생성하기 위해 8x8 양자화 매트릭스마다 64 정수승산과, 4x4 양자화 매트릭스마다 16 정수승산이 있다. 8x8 양자화 매트릭스 당 768바이트(64*2*6)과 4x4 양자화 매트릭스마다 192바이트의 최대 전체 저장용량이 있다.
<양자화 가중 매트릭스에 대한 비트스트림 신택스>
부호화기는 양자화 가중이 사용되는지 아닌지를 선택할 수 있어야 한다. 이 를 위해, 양자화 가중 매트릭스가 사용되는 시퀀스 파라미터 세트(Sequence Parameter Set)에서 use_weighting_matrix 플래그를 설정하는 것이 필요하다.
MPEG-2에서와 같이, 양자화 가중 매트릭스는 매트릭스의 디폴트 세트에 사용자가 추가로 지정할 수 있다. 사용자-정의된 양자화 가중 매트릭스는 pic_parameter_set를 갖는 복호화기에 로드될 수 있다. 로드된 양자화 가중 매트릭스는 후에 다른 pic_parameter_set에 의해 참조될 수 있다. 로드된 매트릭스는 복호화기에서 유지되는 역양자화 테이블을 생성하기 위해 사용된다. 로드된 매트릭스는 ID에 의해 넘버링된다. 가중 매트릭스는 현재의 픽쳐(현재의 프레임에서 슬라이스에 대해서 가능)내에서 메모리에 유지될 수 있거나 장시간 동안 유지될 수 있다. 로컬 가중 매트릭스는 현재의 픽쳐내에서만 메모리에 유지된다. 이들은 가중 매트릭스 ID=0-1에 의해, 롱텀 매트릭스와 다르다. 4x4 및 8x8 크기의 가중 매트릭스는 동일한 ID를 가질 수 있다.
디폴트 양자화 가중 매트릭스의 세트는 사용자-정의된 가중 매트릭스가 없는 경우에 대해서 유용하게 만들어질 수 있다. 디폴트 양자화 가중 매트릭스의 세트가 디코더에 알려진다. 모든 양자화 스케일링 테이블은 디폴트 양자화 가중 매트릭스의 세트에 대해서 미리 정의되어 있으므로, 사전 계산은 필요하지 않다. 디폴트 양자화 가중 매트릭스의 세트는 루마에 대해서 2개(인트라-예측 및 인터-예측) 및 크로마에 대해서 2개(4x4)를 포함한다.
가중 매트릭스는 후에 식별번호로 참조될 수 있다. 각각의 픽쳐 파라미터 세트에 대해서 인터 및 인트라 예측 모드마다 루마에 대해서 최대 한개의 양자화 매 트릭스가 있는 것으로 제안한다. 유사하게, 인터 및 인트라 예측 모드마다 루마에 대해서 최대 한개의 양자화 매트릭스가 있다.
<Syntax>
다음은, 8x8 또는 4x4 인터-예측, 인트라-예측 매크로블록에 대해서 양자화 매트릭스를 정의하기 위해, 삽입된 입력을 갖는 제안된 pic_parameter_set_rbsp에 대해서 설명한다.
pic_parameter_set_rbsp(){
…
new_quantization_matrices_defined
if(new_quantization_matrices_defined)
def_quant_weighting_matrix
…
intra_quant_mat8_update
if(intra_quant_mat8_update)
quant_mat8_id
inter_quant_mat8_update
if(inter_quant_mat8_update)
quant_mat8_id
intra_quant_mat4_update
if(intra_quant_mat4_update)
quant_mat4_id
inter_quant_mat4_update
if(inter_quant_mat4_update)
quant_mat4_id
…
}
def_quant_weighting_matrix(){
load_quant_mat8
if(load_quant_mat8){
num_quant_mat8
for(k=0;k<num_quant_mat8;k++){
quant_mat8_id
for(i=0;i<8;++i)
for(j=0;j<8;++j)
quant_mat8[i][j]
}
}
load_quant_mat4
if(load_quant_mat4){
num_quant_mat4
for(k=0;k<num_quant_mat4;k++){
quant_mat4_id
for(i=0;i<4;++i)
for(j=0;j<4;++j)
quant_mat4[i][j]
}
}
}
(제4 실시예)
다음은 본 발명의 제4 실시예에 대해서 설명한다.
<Intra_16x16 매크로블록 타입에 대한 루마 DC 변환계수에 대한 스케일링 및 변환처리>
다음의 식은 역양자화 스케일링 함수 동작에 대해서 사용될 수 있다.
QP'Y 가 30 이상이면, 스케일된 결과는 다음과 같이 도출된다.
dcYij=(fij*LevelScale4x4i ,Intra(QP'Y%6,0,0)<<(QP'Y/6-6), i,j=0…3
이와 다르게, QP'Y 가 36보다 작으면, 스케일된 결과는 다음과 같이 도출된 다.
dcYij=(fij*LevelScale4x4C , intra(QP'Y%6,0,0)+25- QP'Y /6))>>(6-QP'γ/6), i,j=0…3
<4:2:0 크로마포맷에 대한 크로마 DC 변환계수에 대한 스케일링 및 변환처리>
다음의 식은 역양자화 스케일링 함수 동작에 대해서 사용될 수 있다.
QP'c 가 30 이상이면, 스케일된 결과는 다음과 같이 도출된다.
dcCij=(fij*LevelScale4x4C ,Intra(QP'c%6,0,0)<<(QP'c/6-5), i,j=0,1
이와 다르면, (QP'c 가 30보다 작으면), 스케일된 결과는 다음과 같이 도출된다.
dcCij=((fij*LevelScale4x4C , Intra(QP'c%6,0,0)+2(4- QP'c /6))>>(5-QP'c/6), i,j=0,1
<4:2:2 크로마 포맷에 대하여 크로마 DC 변환 계수에 대해서 스케일링 및 변환 처리>
이 처리에 대한 입력은 요소 Cij를 갖는 2x4 어레이로서 매크로블록의 하나의 크로마 성분의 크로마 DC 변환계수에 대한 변환계수 레벨값이고, 여기서 i와 j는 2차원 주파수 인덱스를 형성한다.
이 처리의 출력은 요소 dcCij를 갖는 2x4 어레이 dcC로서 8스케일된 DC값이 다.
2x4 크로마 DC 변환계수에 대한 역변환은 다음과 같이 특정된다.
비트스트림은 -215 ～215-1의 정수값의 범위를 초과하는 f의 어느 요소 fij가 되는 데이터를 포함하지 않는다.
변수 QP'C ,DC=QP'c+3
역변환 후, 스케일링은 다음과 같이 실행된다.
QP'C ,DC가 36이상이면, 스케일된 결과는 다음과 같이 도출된다.
dcCij=(f*LevelScale4x4C , Intra(QP'C ,DC%6,0,0,0))<<(QP'C ,DC/6-6), i=0…3,j=0,1
이와 다르면, (QP'C ,DC 가 36보다 작으면), 스케일된 결과는 다음과 같이 도출된다.
dcCij=
(f*LevelScale4x4C , Intra(QP'C ,DC%6,0,0,0))+2(5- QP'C ,DC/6))>>(6-QP'C ,DC/6), i=0…3,j=0,1
비트스트림은 -215 ～215-1의 정수값의 범위를 초과하는 dcC의 어느 요소 dcCij가 되는 데이터를 포함하지 않는다.
<4:4:4 크로마 포맷에 대하여 크로마 DC 변환 계수에 대한 스케일링 및 변환 처리>
이 처리에 대한 입력은 요소 Cij를 갖는 4x4 어레이로서 매크로블록의 하나의 크로마 성분의 크로마 DC 변환계수에 대한 변환계수 레벨값이고, 여기서 i와 j는 2차원 주파수 인덱스를 형성한다.
이 처리의 출력은 요소 dcCij를 갖는 4x4 어레이 dcC로서 16스케일된 DC값이다.
4x4 크로마 DC 변환계수에 대한 역변환은 도 43에서와 같이 특정된다.
비트스트림은 -215 ～215-1의 정수값의 범위를 초과하는 f의 어느 요소 fij가 되는 데이터를 포함하지 않는다.
역변환 후, 스케일링은 다음과 같이 실행된다.
QP'C가 36이상이면, 스케일된 결과는 다음과 같이 도출된다.
dcCij=(f*LevelScale4x4C , Intra(QP'C%6,0,0,0))<<(QP'C/6-6), i=0…3,j=0,1
이와 다르게, QP'C가 36보다 작으면, 스케일된 결과는 다음과 같이 도출된다.
dcCij=(f*LevelScale4x4C , Intra(QP'C%6,0,0,0)+2(5- QP'C ,DC/6))>>(6-QP'c/6), i=0…3,j=0,1
비트스트림은 -215 ～215-1의 정수값의 범위를 초과하는 dcC의 어느 요소 dcCij가 되는 데이터를 포함하지 않는다.
<잔차 8x8블록에 대한 스케일링 및 변환처리>
이 처리에 대한 입력은 요소 cij를 갖는 8x8 어레이 c이고, 루마 성분의 8x8 잔차 블록에 관한 어레이이다.
이 처리의 출력은 요소 rij를 갖는 8x8 어레이 r로서, 잔차 샘플값이다.
함수 LevelScale64는 다음과 같이 도출된다.
- 매크로블록 예측 모드가 인트라 예측모드와 같고, 입력이 8x8 루마 잔차 LevelScale 64()=LevelScale8x8 , Intra ()
- 매크로블록 예측 모드가 인터 예측모드와 같고, 입력이 8x8 루마 잔차 LevelScale 64()=LevelScale8x8 , Inter()
8x8 블록 변환계수 레벨 cij의 스케일링은 다음과 같이 진행한다.
- QPY가 36이상이면, 8x8 블록 변환계수 레벨 cij의 스케일링은 dij=(cij*LevelScale64(QPY%6,i,j))<<(QPY/6-6), i,j=0…7 로서 실행된다.
- 이와 다르게, QPY가 36보다 작으면, 8x8 블록 변환계수 레벨 cij의 스케일 링은 dij=(cij*LevelScale64(QPY%6,i,j)) + 2(5- QPY /6))>>(6-QPY/6), i,j=0…7 로서 실행된다.
상기 식은 q매트릭스로부터 스케일링 팩터를 조합하기 위해 필요한 부가적인 우측 시프트를 반영한다. 역양자화/양자화 가중은 w(i,j)=QuantizationMatrix(i,j)/16으로서 정의된다. LevelScale 함수에서 QuantizationMatrix(i,j)를 결합한 후, 16에 의한 분할을 반영하기 위해 추가적으로 4비트 우측으로 시프트하는 것이 필요하다.
변환 처리는 스케일된 변환 계수의 블록을 출력 샘플의 블록으로 다음과 동일한 산술적인 방법으로 변환한다.
우선, 스케일된 변형 계수의 각각의 (수평) 로우는 다음과 같이 일차원 역변환을 사용하여 변환된다.
- 중간 값 세트 eij는 다음으로부터 도출된다.
ei0= di0+ di4, i=0…7
ei1= -di3+ di5-di7-(di7>>1), i=0…7
ei2= di0- di4, i=0…7
ei3= di1+ di7-di3-(di3>>1), i=0…7
ei4= (di2>>1)- di6, i=0…7
ei5= -di1+ di7+di5+(di5>>1), i=0…7
ei6= di2+ (di6>>1), i=0…7
ei7= di3+ di5+di1-(di1>>1), i=0…7
- 제2 세트의 중간 결과 fij는 중간값 eij로부터 다음과 같이 계산된다.
fi0= ei0+ ei6, i=0…7
fi1= ei1+ (ei7>>2), i=0…7
fi2= ei2+ ei4, i=0…7
fi3= ei3+ (ei5>>2), i=0…7
fi4= ei2- ei4, i=0…7
fi5= (ei3>>2)-ei5, i=0…7
fi6= ei0- ei6, i=0…7
fi7= ei7- (ei1>>2), i=0…7
- 그 후, 변환된 결과 gij는 이들 중간값 fij로부터 다음과 같이 계산된다.
gi0= fi0+ fi7, i=0…7
gi1= fi2+ fi5, i=0…7
gi2= fi4+ fi3, i=0…7
gi3= fi6- fi1, i=0…7
gi4= fi6- fi1, i=0…7
gi5= fi4- fi3, i=0…7
gi6= fi2- fi5, i=0…7
gi7= fi0- fi7, i=0…7
그 후, 결과의 매트릭스의 각 (수직) 칼럼은 동일한 일차원 역변환을 사용하여 다음과 같이 변환된다.
- 중간값 hij의 세트는 수평으로 변환된 값 gij로부터 다음과 같이 계산된다.
hi0= gi0+ gi4, i=0…7
hi1= -gi3+ gi5- gi7- (gi7>>1), i=0…7
hi2= gi0- gi4, i=0…7
hi3= gi1+ gi7- gi3- (gi3>>1), i=0…7
hi4= (gi2>>1)- gi6, i=0…7
hi5= -gi1+ gi7+ gi5 +(gi5>>1), i=0…7
hi6= gi2+ (gi6>>1), i=0…7
hi7= gi3+ gi5+ gi1 +(gi1>>1), i=0…7
- 제2 세트의 중간값 kij는 중간값 hij로부터 다음과 같이 계산된다.
ki0= hi0+ hi6, i=0…7
ki1= hi1+ (hi7>>2), i=0…7
ki2= hi2+ hi4, i=0…7
ki3= hi3+ (hi5>>2), i=0…7
ki4= hi2- hi4, i=0…7
ki5= (hi3>>2) - hi5, i=0…7
ki6= hi0- hi6, i=0…7
ki7= hi7- (hi1>>2), i=0…7
그 후, 변환된 결과 mij는 중간값 kij 로부터 다음과 같이 계산된다.
mi0= ki0+ ki7, i=0…7
mi1= ki2+ ki5, i=0…7
mi2= ki4+ ki3, i=0…7
mi3= ki6+ ki1, i=0…7
mi4= ki6- ki1, i,j=0…7
mi5= ki4- ki3, i=0…7
mi6= ki2- ki5, i=0…7
mi7= ki0- ki7, i=0…7
변환된 샘플의 어레이를 생성하기 위해, 일차원 수평 및 일차원 수직 역변환을 행한 후, 최종 구성된 잔차 샘플값은 다음과 같이 도출된다.
ri7=(mij+25)>>6, i,j=0…7
상기 서술된 발명으로부터, 본 발명의 실시예들은 여러 가지 방법으로 변형될 수 있는 것이 분명하다. 이러한 변형은 본 발명의 진의와 범위를 벗어난 것으로 간주되지 않고, 본 기술에서 숙련된 자에게 자명한 이러한 모든 변화는 다음의 청구 범위내에 포함되어야 한다.
본 발명은 동화상을 배송하는 웹서버뿐 아니라, 화상을 부호화하는 부호화장치, 화상을 복호화하는 복호화장치, 이러한 동화상을 수신하는 네트워크 단말, 및 동화상을 기록 및 재생할 수 있는 디지털 카메라, 카메라 장착 휴대전화, DVD 레코더/플레이어, PDA, 개인용 컴퓨터에 적합하다.

Claims (16)

  1. 양자화 직교 변환 계수를 역양자화하여 역양자화 직교 변환 계수를 구하고 이미지를 복호화하는 이미지 복호화 방법으로서,
    가중 매트릭스, 양자화 파라미터, 그리고 양자화 직교 변환 계수를 구하는 단계로서, 상기 가중 매트릭스는, 직교 변환 계수의 양자화 스텝을, 각 주파수 성분에 대해, 변화시키기 위한 가중 계수 매트릭스인, 단계;
    성분값과 정규화값을 함께 승산하여 레벨 스케일값을 계산하는 단계로서, 상기 성분값은 상기 가중 매트릭스에서 수직적으로 i번째 및 수평적으로 j번째 성분값이고, 그리고 상기 정규화값은 (i) i와 j가 우수인지 기수인지 여부, 또는 상기 i와 j 중 하나가 기수인지 여부 및 (ii) 상기 양자화 파라미터를 6으로 나눈 나머지에 따라 결정된 값인, 단계;
    상기 양자화 직교 변환 계수와 상기 레벨 스케일 값을 함께 승산하는 단계;
    상기 승산에서 얻어진 결과를 상기 양자화 파라미터를 6으로 나눈 몫에 따르는 비트수 만큼 시프트함으로써 역양자화 직교 변환 계수를 계산하는 단계; 및
    상기 역양자화 직교 변환 계수를 역 직교 변환함으로써 블록 이미지를 복호화하는 단계를 포함하는, 이미지 복호화 방법.
  2. 청구항 1에 있어서,
    상기 정규화값은 상기 i와 j 중 하나가 기수인 경우에, 상기 i와 j가 우수인 경우의 값의 √8/√5 배이고, 그리고 상기 정규화값은 상기 i와 j가 기수인 경우에, 상기 i와 j가 우수인 경우의 값의 8/5 배인, 이미지 복호화 방법.
  3. 청구항 1에 있어서,
    상기 정규화값은:
    상기 i와 j가 우수이고 상기 나머지가 0인 경우 10;
    상기 i와 j가 기수이고 상기 나머지가 0인 경우 16;
    상기 i와 j 중 하나가 기수이고 상기 나머지가 0인 경우 13;
    상기 i와 j가 우수이고 상기 나머지가 1인 경우 11;
    상기 i와 j가 기수이고 상기 나머지가 1인 경우 18;
    상기 i와 j 중 하나가 기수이고 상기 나머지가 1인 경우 14;
    상기 i와 j가 우수이고 상기 나머지가 2인 경우 13;
    상기 i와 j가 기수이고 상기 나머지가 2인 경우 20;
    상기 i와 j 중 하나가 기수이고 상기 나머지가 2인 경우 16;
    상기 i와 j가 우수이고 상기 나머지가 3인 경우 14;
    상기 i와 j가 기수이고 상기 나머지가 3인 경우 23;
    상기 i와 j 중 하나가 기수이고 상기 나머지가 3인 경우 18;
    상기 i와 j가 우수이고 상기 나머지가 4인 경우 16;
    상기 i와 j가 기수이고 상기 나머지가 4인 경우 25;
    상기 i와 j 중 하나가 기수이고 상기 나머지가 4인 경우 20;
    상기 i와 j가 우수이고 상기 나머지가 5인 경우 18;
    상기 i와 j가 기수이고 상기 나머지가 5인 경우 29; 및
    상기 i와 j 중 하나가 기수이고 상기 나머지가 5인 경우 23인, 이미지 복호화 방법.
  4. 양자화 직교 변환 계수를 역양자화하고 이미지를 블록단위로 복호화하는 이미지 복호화 장치로서,
    가중 매트릭스, 양자화 파라미터, 및 양자화 직교 변환 계수를 얻는 취득부로서, 상기 가중 매트릭스는, 직교 변환 계수의 양자화 스텝을, 각 주파수 성분에 대해, 변화시키기 위한 가중 계수 매트릭스인, 취득부;
    성분값과 정규화값을 함께 승산하여 레벨 스케일값을 계산하는 계산부로서, 상기 성분값은 상기 가중 매트릭스에서 수직적으로 i번째 및 수평적으로 j번째 성분값이고, 그리고 상기 정규화값은 (i) i와 j가 우수인지 기수인지 여부, 또는 상기 i와 j 중 하나가 기수인지 여부 및 (ii) 상기 양자화 파라미터를 6으로 나눈 나머지에 따라 결정된 값인, 계산부;
    상기 양자화 직교 변환 계수와 상기 레벨 스케일 값을 승산하는 승산부;
    상기 승산으로부터 얻어진 결과를 상기 양자화 파라미터를 6으로 나눈 몫에 따르는 비트수 만큼 시프트함으로써 역양자화 직교 변환 계수를 계산하는 시프터; 및
    역직교 변환된 블록 이미지를 얻고 상기 역양자화 직교 변환 계수를 역직교 변환함으로써 블록 이미지를 복호하기 위해, 가/감산 연산 및 비트 시프트 연산을 통해 시프트한 결과에 역직교 변환을 행하는 역직교 변환부를 포함하는, 이미지 복호화 장치.
  5. 청구항 4에 있어서,
    상기 정규화값은:
    상기 i와 j가 우수이고 상기 나머지가 0인 경우 10;
    상기 i와 j가 기수이고 상기 나머지가 0인 경우 16;
    상기 i와 j 중 하나가 기수이고 상기 나머지가 0인 경우 13;
    상기 i와 j가 우수이고 상기 나머지가 1인 경우 11;
    상기 i와 j가 기수이고 상기 나머지가 1인 경우 18;
    상기 i와 j 중 하나가 기수이고 상기 나머지가 1인 경우 14;
    상기 i와 j가 우수이고 상기 나머지가 2인 경우 13;
    상기 i와 j가 기수이고 상기 나머지가 2인 경우 20;
    상기 i와 j 중 하나가 기수이고 상기 나머지가 2인 경우 16;
    상기 i와 j가 우수이고 상기 나머지가 3인 경우 14;
    상기 i와 j가 기수이고 상기 나머지가 3인 경우 23;
    상기 i와 j 중 하나가 기수이고 상기 나머지가 3인 경우 18;
    상기 i와 j가 우수이고 상기 나머지가 4인 경우 16;
    상기 i와 j가 기수이고 상기 나머지가 4인 경우 25;
    상기 i와 j 중 하나가 기수이고 상기 나머지가 4인 경우 20;
    상기 i와 j가 우수이고 상기 나머지가 5인 경우 18;
    상기 i와 j가 기수이고 상기 나머지가 5인 경우 29; 및
    상기 i와 j 중 하나가 기수이고 상기 나머지가 5인 경우 23인, 이미지 복호화 장치.
  6. 양자화 직교 변환 계수를 역양자화하고 이미지를 복호화하는 이미지 복호화 장치에서 사용하는 프로세서로서,
    집적회로를 포함하고,
    상기 프로세서는 상기 집적회로가,
    가중 매트릭스, 양자화 파라미터 그리고 양자화 직교 변환 계수를 얻도록 하고, 상기 가중 매트릭스는, 직교 변환 계수의 양자화 스텝을, 각 주파수 성분에 대해, 변화시키기 위한 가중 계수 매트릭스이며,;
    성분값과 정규화값을 함께 승산하여 레벨 스케일값을 계산하도록 하고, 상기 성분값은 상기 가중 매트릭스에서 수직적으로 i번째 및 수평적으로 j번째 성분값이고, 그리고 상기 정규화값은 (i) i와 j가 우수인지 기수인지 여부, 또는 상기 i와 j 중 하나가 기수인지 여부 및 (ii) 상기 양자화 파라미터를 6으로 나눈 나머지에 따라 결정된 값이며,;
    상기 양자화 직교 변환 계수와 상기 레벨 스케일 값을 함께 승산하도록 하고,;
    상기 승산에서 얻어진 결과를 상기 양자화 파라미터를 6으로 나눈 몫에 따르는 비트수 만큼 시프트함으로써 역양자화 직교 변환 계수를 계산하도록 하고,; 및
    상기 역양자화 직교 변환 계수를 역 직교 변환함으로써 블록 이미지를 복호화하도록 하는, 프로세서.
  7. 컴퓨터에서의 사용을 위한 컴퓨터 판독가능한 기록 매체로서, 상기 기록 매체는 상기 컴퓨터로 하여금 양자화 직교 변환 계수를 역양자화하고 이미지를 복호화하도록 하기 위해 저장된 프로그램을 가지며,
    상기 프로그램은 상기 컴퓨터가 블록 이미지를 복호화하는 복수의 단계를 실행하도록 하며, 상기 단계는,
    가중 매트릭스, 양자화 파라미터, 그리고 양자화 직교 변환 계수를 구하는 단계로서, 상기 가중 매트릭스는, 직교 변환 계수의 양자화 스텝을, 각 주파수 성분에 대해, 변화시키기 위한 가중 계수 매트릭스인, 단계;
    성분값과 정규화값을 함께 승산하여 레벨 스케일값을 계산하는 단계로서, 상기 성분값은 상기 가중 매트릭스에서 수직적으로 i번째 및 수평적으로 j번째 성분값이고, 그리고 상기 정규화값은 (i) i와 j가 우수인지 기수인지 여부, 또는 상기 i와 j 중 하나가 기수인지 여부 및 (ii) 상기 양자화 파라미터를 6으로 나눈 나머지에 따라 결정된 값인, 단계;
    상기 양자화 직교 변환 계수와 상기 레벨 스케일 값을 함께 승산하는 단계;
    상기 승산에서 얻어진 결과를 상기 양자화 파라미터를 6으로 나눈 몫에 따르는 비트수 만큼 시프트함으로써 역양자화 직교 변환 계수를 계산하는 단계; 및
    상기 역양자화 직교 변환 계수를 역직교 변환함으로써 블록 이미지를 복호화하는 단계를 포함하는, 컴퓨터 판독가능한 기록 매체.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
KR1020067008061A 2004-01-30 2005-01-26 화상 부호화 방법, 화상 복호화 방법, 화상 부호화 장치,화상 복호화 장치, 및 그 프로그램 KR101136629B1 (ko)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US54063604P 2004-01-30 2004-01-30
US60/540,636 2004-01-30
US55169004P 2004-03-09 2004-03-09
US60/551,690 2004-03-09
US55290704P 2004-03-12 2004-03-12
US60/552,907 2004-03-12
US56135104P 2004-04-12 2004-04-12
US60/561,351 2004-04-12
PCT/US2005/002457 WO2005076613A1 (en) 2004-01-30 2005-01-26 Picture coding and decoding method, apparatus, and program thereof

Publications (2)

Publication Number Publication Date
KR20060115998A KR20060115998A (ko) 2006-11-13
KR101136629B1 true KR101136629B1 (ko) 2012-04-23

Family

ID=34841955

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067008061A KR101136629B1 (ko) 2004-01-30 2005-01-26 화상 부호화 방법, 화상 복호화 방법, 화상 부호화 장치,화상 복호화 장치, 및 그 프로그램

Country Status (5)

Country Link
US (2) US7630435B2 (ko)
EP (2) EP2373033A3 (ko)
JP (2) JP2007535191A (ko)
KR (1) KR101136629B1 (ko)
WO (1) WO2005076613A1 (ko)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1566970A4 (en) 2002-11-20 2008-12-03 Panasonic Corp PREDICTED METHOD FOR MOVABLE PICTURES, CODING METHOD AND APPARATUS FOR MOVABLE IMAGES AND DECODING METHOD AND APPARATUS FOR MOVABLE PICTURES
JPWO2006118288A1 (ja) * 2005-05-03 2008-12-18 松下電器産業株式会社 動画像符号化方法、動画像復号化方法およびその装置
US20060291565A1 (en) * 2005-06-22 2006-12-28 Chen Eddie Y System and method for performing video block prediction
EP1753242A2 (en) * 2005-07-18 2007-02-14 Matsushita Electric Industrial Co., Ltd. Switchable mode and prediction information coding
JP4593437B2 (ja) * 2005-10-21 2010-12-08 パナソニック株式会社 動画像符号化装置
US7805012B2 (en) * 2005-12-09 2010-09-28 Florida State University Research Foundation Systems, methods, and computer program products for image processing, sensor processing, and other signal processing using general parametric families of distributions
US7813563B2 (en) * 2005-12-09 2010-10-12 Florida State University Research Foundation Systems, methods, and computer program products for compression, digital watermarking, and other digital signal processing for audio and/or video applications
KR100943606B1 (ko) 2006-03-30 2010-02-24 삼성전자주식회사 디지털 통신 시스템에서 양자화 장치 및 방법
JP2008193627A (ja) * 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
US20080170624A1 (en) 2007-01-12 2008-07-17 Mitsubishi Electric Corporation Image encoding device and image encoding method
JP2008227702A (ja) * 2007-03-09 2008-09-25 Oki Electric Ind Co Ltd 動きベクトル探索装置、動きベクトル探索方法及び動きベクトル探索プログラム
US8401073B2 (en) * 2007-03-28 2013-03-19 Panasonic Corporation Inverse quantization circuit, inverse quantization method and image reproducing apparatus
US8654833B2 (en) * 2007-09-26 2014-02-18 Qualcomm Incorporated Efficient transformation techniques for video coding
US20090238263A1 (en) * 2008-03-20 2009-09-24 Pawan Jaggi Flexible field based energy efficient multimedia processor architecture and method
US20090238479A1 (en) * 2008-03-20 2009-09-24 Pawan Jaggi Flexible frame based energy efficient multimedia processor architecture and method
KR101619972B1 (ko) 2008-10-02 2016-05-11 한국전자통신연구원 이산 여현 변환/이산 정현 변환을 선택적으로 이용하는 부호화/복호화 장치 및 방법
US8588295B2 (en) 2009-03-09 2013-11-19 Mediatek Inc. Methods and electronic devices for quantization and de-quantization
EP2464017A4 (en) * 2009-08-06 2012-07-11 Panasonic Corp CODING METHOD, DECODING METHOD, CODING DEVICE AND DECODING DEVICE
US20120134408A1 (en) * 2009-08-06 2012-05-31 Youji Shibahara Coding method, decoding method, coding apparatus, and decoding apparatus
KR101474756B1 (ko) 2009-08-13 2014-12-19 삼성전자주식회사 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치
EP2495973B1 (en) * 2009-10-30 2019-02-27 Sun Patent Trust Decoding method, decoder apparatus, encoding method, and encoder apparatus
JPWO2011052217A1 (ja) 2009-10-30 2013-03-14 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラム、及び集積回路
US9819358B2 (en) * 2010-02-19 2017-11-14 Skype Entropy encoding based on observed frequency
US9313526B2 (en) * 2010-02-19 2016-04-12 Skype Data compression for video
US20110206132A1 (en) * 2010-02-19 2011-08-25 Lazar Bivolarsky Data Compression for Video
US20110206118A1 (en) * 2010-02-19 2011-08-25 Lazar Bivolarsky Data Compression for Video
US9609342B2 (en) * 2010-02-19 2017-03-28 Skype Compression for frames of a video signal using selected candidate blocks
US8483272B2 (en) * 2010-09-24 2013-07-09 Intel Corporation System and method for frame level bit rate control without pre-analysis
AU2011308203A1 (en) * 2010-09-28 2013-04-11 Samsung Electronics Co., Ltd. Method and device for the transformation and method and device for the reverse transformation of images
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
BR112013019937B1 (pt) * 2011-02-10 2022-05-03 Velos Media International Limited Dispositivo e método de processamento de imagem
KR101566366B1 (ko) 2011-03-03 2015-11-16 한국전자통신연구원 색차 성분 양자화 매개 변수 결정 방법 및 이러한 방법을 사용하는 장치
WO2012118359A2 (ko) 2011-03-03 2012-09-07 한국전자통신연구원 색차 성분 양자화 매개 변수 결정 방법 및 이러한 방법을 사용하는 장치
US20120230395A1 (en) * 2011-03-11 2012-09-13 Louis Joseph Kerofsky Video decoder with reduced dynamic range transform with quantization matricies
EP2902918A1 (en) * 2011-06-30 2015-08-05 Samsung Electronics Co., Ltd Video decoding method restricting the range of intermediate decoding values
EP2749027B1 (en) 2011-08-25 2020-04-29 Sun Patent Trust Methods and apparatuses for encoding and decoding video using updated buffer description
ES2685431T3 (es) 2011-09-07 2018-10-09 Sun Patent Trust Procedimiento de decodificación de imágenes y aparato de decodificación de imágenes
AU2012311021B2 (en) 2011-09-19 2016-07-14 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
EP4024871A1 (en) 2011-10-19 2022-07-06 Sun Patent Trust Image encoding method, image decoding method, image encoding device, image decoding device, and image encoding and decoding device
HUE049148T2 (hu) 2012-02-29 2020-09-28 Sony Corp Képfeldolgozó eszköz és képfeldolgozási eljárás
SG10201800588QA (en) * 2012-04-13 2018-02-27 Mitsubishi Electric Corp Image encoding device, image decoding device, image encoding method and image decoding method
CN104919798B (zh) * 2012-04-16 2018-12-14 华为技术有限公司 量化矩阵编码的方法和装置
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
CN108600752B (zh) 2012-06-11 2021-09-21 三星电子株式会社 视频编码方法和设备以及计算机可读存储介质
JP6041554B2 (ja) * 2012-06-27 2016-12-07 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
TWI592011B (zh) * 2012-06-29 2017-07-11 Sony Corp Image processing device and method
US20140072048A1 (en) * 2012-09-13 2014-03-13 Samsung Electronics Co., Ltd Method and apparatus for a switchable de-ringing filter for image/video coding
JPWO2015141116A1 (ja) * 2014-03-19 2017-04-06 日本電気株式会社 映像符号化装置、映像符号化方法および映像符号化プログラム
CN105338352B (zh) * 2014-07-24 2019-04-19 华为技术有限公司 一种视频编码中自适应反量化方法及装置
CN109089123B (zh) * 2018-08-23 2021-08-03 江苏大学 基于1比特矢量量化的压缩感知多描述编解码方法
CN113767629A (zh) * 2019-04-26 2021-12-07 华为技术有限公司 用于指示色度量化参数映射函数的方法和装置
EP3771213A1 (en) * 2019-07-24 2021-01-27 Deutsche Telekom AG System and method to estimate blockiness in transform-based video encoding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6097846A (en) 1995-10-16 2000-08-01 Asahi Kogaku Kogyo Kabushiki Kaisha Image processing device with inverse quantization and two dimensional inverse discrete cosine transformation
US6111989A (en) 1997-11-14 2000-08-29 Sony Corporation 1/4 size real time decoding of digital video
US6681052B2 (en) * 2000-01-15 2004-01-20 Sony Corporation Methods and systems for performing inverse quantization and inverse weighting of DV video

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2794842B2 (ja) 1988-11-11 1998-09-10 松下電器産業株式会社 符号化方法とその復号化方法
US5034965A (en) 1988-11-11 1991-07-23 Matsushita Electric Industrial Co., Ltd. Efficient coding method and its decoding method
JP2924416B2 (ja) 1992-02-21 1999-07-26 松下電器産業株式会社 高能率符号化方法
US5392037A (en) 1991-05-21 1995-02-21 Matsushita Electric Industrial Co., Ltd. Method and apparatus for encoding and decoding
JP2765268B2 (ja) 1991-05-21 1998-06-11 松下電器産業株式会社 高能率符号化方法と高能率符号の復号方法
JPH06284412A (ja) 1993-03-26 1994-10-07 Sony Corp 画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体
KR100303054B1 (ko) 1997-02-08 2001-09-24 모리시타 요이찌 정지영상과동영상부호화를위한양자화매트릭스
JP3234807B2 (ja) 1997-02-08 2001-12-04 松下電器産業株式会社 デコード方法
JP4001969B2 (ja) 1997-03-31 2007-10-31 ソニー株式会社 符号化装置および方法、並びに復号装置および方法
JP4593720B2 (ja) 2000-03-10 2010-12-08 パナソニック株式会社 剰余数係数の動的表示方法および装置
CN1223196C (zh) 2000-04-14 2005-10-12 索尼公司 解码器、解码方法
US7123655B2 (en) * 2001-08-09 2006-10-17 Sharp Laboratories Of America, Inc. Method for reduced bit-depth quantization
JP4348899B2 (ja) * 2001-11-30 2009-10-21 ソニー株式会社 画像情報復号方法
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
US6934677B2 (en) * 2001-12-14 2005-08-23 Microsoft Corporation Quantization matrices based on critical band pattern information for digital audio wherein quantization bands differ from critical bands
KR100584552B1 (ko) * 2003-01-14 2006-05-30 삼성전자주식회사 동영상 부호화 및 복호화 방법과 그 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6097846A (en) 1995-10-16 2000-08-01 Asahi Kogaku Kogyo Kabushiki Kaisha Image processing device with inverse quantization and two dimensional inverse discrete cosine transformation
US6111989A (en) 1997-11-14 2000-08-29 Sony Corporation 1/4 size real time decoding of digital video
US6681052B2 (en) * 2000-01-15 2004-01-20 Sony Corporation Methods and systems for performing inverse quantization and inverse weighting of DV video

Also Published As

Publication number Publication date
KR20060115998A (ko) 2006-11-13
EP1714484A1 (en) 2006-10-25
US20100054330A1 (en) 2010-03-04
EP2373033A3 (en) 2011-11-30
US20080192838A1 (en) 2008-08-14
JP2007535191A (ja) 2007-11-29
US8401074B2 (en) 2013-03-19
JP2011109711A (ja) 2011-06-02
WO2005076613A1 (en) 2005-08-18
EP2373033A2 (en) 2011-10-05
US7630435B2 (en) 2009-12-08
EP1714484A4 (en) 2009-03-18

Similar Documents

Publication Publication Date Title
KR101136629B1 (ko) 화상 부호화 방법, 화상 복호화 방법, 화상 부호화 장치,화상 복호화 장치, 및 그 프로그램
JP5674911B2 (ja) 画像符号化復号化装置
KR101169895B1 (ko) 화상 부호화 방법, 화상 복호화 방법, 화상 부호화 장치, 화상 복호화 장치 및 그 프로그램
KR101004208B1 (ko) 픽처 코딩 방법 및 디코딩 방법
EP2384002A1 (en) Moving picture decoding method using additional quantization matrices
EP1589767A1 (en) Moving picture encoding method and moving picture decoding method
CN100542262C (zh) 逆量化方法图像解码方法和设备及处理器
JP4481970B2 (ja) 画像符号化装置及びその方法
JP4481612B2 (ja) 画像復号化装置及びその方法
KR20050018801A (ko) 동화상 부호화 장치 및 동화상 복호화 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160318

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170302

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180316

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190319

Year of fee payment: 8