KR100378339B1 - 동화상 부호방법 및 부호장치와 동화상 부호 프로그램을기록하는 기록매체 - Google Patents

동화상 부호방법 및 부호장치와 동화상 부호 프로그램을기록하는 기록매체 Download PDF

Info

Publication number
KR100378339B1
KR100378339B1 KR10-1999-0060777A KR19990060777A KR100378339B1 KR 100378339 B1 KR100378339 B1 KR 100378339B1 KR 19990060777 A KR19990060777 A KR 19990060777A KR 100378339 B1 KR100378339 B1 KR 100378339B1
Authority
KR
South Korea
Prior art keywords
pixel block
vector
pixel
frame
picture
Prior art date
Application number
KR10-1999-0060777A
Other languages
English (en)
Other versions
KR20000052551A (ko
Inventor
미우라타카시
이타가키후미히코
카와시마미유키
Original Assignee
허드슨 소프트 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 허드슨 소프트 가부시끼가이샤 filed Critical 허드슨 소프트 가부시끼가이샤
Publication of KR20000052551A publication Critical patent/KR20000052551A/ko
Application granted granted Critical
Publication of KR100378339B1 publication Critical patent/KR100378339B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/008—Vector quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments

Abstract

고화질 및 높은 데이터 압축률을 얻을 수 있는 동화상 부호방법 및 부호장치가 제공된다. 그러한 부호 프로그램을 기록하는 기록매체도 제공된다. 본 발명에 따른 방법은 부호화될 현 화상 픽셀 블록 B와 선행 프레임의 소정 영역 R 내의 선행 화상 픽셀 블록을 비교하는 단계와, 화상 픽셀 블록 B와 픽셀 블록 F 사이의 매칭 오류를 최소화하는 특정 선행 화상 픽셀 블록 F를 탐색하는 단계와, 매칭오류가 허용 값을 초과하면, 픽셀 블록 F를 포함하는 소정의 영역 N 내의 선행 화상 데이터를 그것의 네스트로서 갖는 프레임간 적응 직교 변형에 의해 현 화상 픽셀 블록 B에서의 AC 성분 벡터를 근사화하는 1개 또는 그 이상의 직교 베이스 시스템을 얻는 단계와, 화상 데이터를 부호화하는 단계를 구비한다. 매칭 오류가 허용 값을 초과하지 않으면, 현 화상 픽셀 블록 B는 특정 선행 화상 픽셀 블록 F를 나타내는 이동 벡터 <M>에 근거하여 부호화된다.

Description

동화상 부호방법 및 부호장치와 동화상 부호 프로그램을 기록하는 기록매체{METHOD AND APPARATUS FOR CODING MOVING IMAGE AND MEDIUM FOR RECORDING PROGRAM OF CODING MOVING IMAGE}
본 발명은 동화상 부호방법 및 부호장치와 동화상 부호 프로그램을 기록하는 기록매체에 관한 것으로, 특히 TV의 동화상 데이터, 애니메이션, 컬러 그래픽 게임 등의 높은 압축율의 부호방법 및 부호장치와 그 부호 프로그램을 기록하는 기록매체에 관한 것이다.
지금까지는, 고효율로 TV에서와 같은 동화상 신호를 정보 압축 부호화할 수 있는 이동 보상이 있는 프레임간 부호화(이동 보상된 프레임간 부호화)를 위한 시스템이 알려져 있다. 도 1은 이동 보상된 프레임간 부호화의 종래의 시스템의 구성을 나타내는 종래기술을 나타낸다.
도 1에 있어서, 비디오 버퍼(51)는 입력된 현 화상 데이터 VD를 순차 저장한다. 또, 프레임 메모리(57)는 복호화를 통해서 재생된 이전의 한 개의 프레임의 선행 화상 데이터 FD를 저장한다. 선행 화상 데이터 FD는 화상의 이동이 보상된 현 화상 데이터 VD의 프레임간 예상 부호화를 위해 판독된다. 보다 상세히 말하면, 이동 벡터 계산부(58)는 블록 매칭 검색 계산에 의해 프레임간 화상(픽셀 블록)의 이동을 계산하여 최적의 이동 벡터 MV를 출력한다.
블록 매칭 검색 계산의 예에 있어서, 픽셀 블록 BD의 픽셀 데이터가 Bk(k=1∼16)이고, 프레임 메모리(57) 내의 검색 영역 R에서의 8 ×8 픽셀의 i번째 픽셀 블록 RDi의 픽셀 데이터가 Yi,k(k=1∼16)이라고 가정하면, 양쪽 픽셀 블록의 차동 절대값의 합 Si을, 다음과 같은 블록 매칭 계산에 의해 계산한 후에,
Si=∑∥Bk-Yi,k∥ (k=1∼16)
차동 절대값의 합 Si을 최소로 하는 최적의 픽셀 블록 Yi,k을 찾아냄으로써, 최적의 이동 벡터 MV를 얻는다.
또한, 가변 지연 버퍼(59)가 선행 화상 데이터 FD로부터 (최적의) 이동 벡터 MV에 대응하는 픽셀 블록 Yi,k을 추출하여 이동 보상을 위한 예상 블록 데이터 PD를 만드는 역할을 한다. 또, 감산기(52)는 부호화될 각 픽셀 데이터 VD로부터 이동 보상을 위한 대응하는 예상 데이터 PD를 감산하여 나머지 차동 데이터 PE를 생성한다. 양자화기(53)는 나머지 차동 데이터 PE를 양자화하여 전송될 부호 데이터 CE를 생성한다.
이 상태에서, 비양자화기(54)는 부호 데이터 CE를 양자화하지 않고, 나머지 차동 데이터 PE'를 생성한다. 가산기(55)는 상술한 이동 보상을 위한 예상 데이터 PD와 나머지 차동 데이터 PE'를 가산하여, 현 픽셀 데이터 VD'를 재생한다. 프레임 버퍼(56)는 이와 같이 재생된 현 픽셀 데이터 VD'를 차례로 축적한다. 1개의 프레임에 대한 데이터가 축적된 후에, 1개의 프레임에 대하여 재생된 데이터가 선행 프레임에 대한 화상 데이터 FD로서 프레임 메모리(57)에 전송된다.
그러나, 각 픽셀에 대한 나머지 차동 데이터 PE를 양자화하는 상기 방법은 원형 화상 자체와 관련된 잉여 정보를 줄일 수 없고, 또 높은 데이터 압축률을 기대할 수 없다. 이 점에서, 최근의 동화상 압축 시스템 중에서 일반 대중에 보급되어 있는 MPEG(Moving Picture Experts Group) 시스템은 16 ×16 화소(픽셀)의 블록에서 이동 보상된 프레임간 예상을 행하고, 이와 같이 얻어진 예상된 나머지 차이와 관련된 8 ×8 픽셀의 단위로 2차원 DCT(Discrete Cosine Transform)을 행하며, 이와 같이 얻어진 시퀀스를 양자화하고, 하프만(Haffmann) 부호화를 행함으로써 비교적 높은 데이터 압축률을 달성하였다.
그러나, 이러한 종류의 이동 보상에 대한 프레임간 예상에 의해 예상된 나머지 차이의 우세한 부분은 원형 화상 픽셀 블록의 주변 부분에 집중되는 경향이 있다. 이 경향은, 특히 원형 화상이 평평한 부분과 경사가 급한 주변부분을 포함하는 애니메이션 화상 또는 컬러 그래픽 게임 화상으로 구성될 때 관측된다. 따라서, 예상된 나머지 차이가 상기 종래의 MPEG 시스템과 같이 시스템 고정된 직교 베이스 시스템(DCT)에 의해 즉시 전개되면, 저주파수 성분과 고주파수 성분을 포함하는 많은 전개 계수(시퀀스)가 요구되어, 높은 데이터 압축률이 획득될 수 없다. 또, 고주파수 성분이 데이터 압축률을 높이기 위해 낮은 정밀도로 양자화되면, 주변 부분의 화상 정보가 손실될 뿐만 아니라, 화질도 주변 부분에서 발생된 모스키토 노이즈(mosquito noise)에 의해 저하된다.
따라서, 본 발명의 목적은 고화질 및 높은 데이터 압축률(부호화 효율)을 얻을 수 있는 동화상 부호방법을 제공하는 데에 있다.
본 발명의 다른 목적은 고화질 및 높은 부호화 효율을 얻을 수 있는 동화상 부호장치를 제공하는 데에 있다.
본 발명의 또 다른 목적은 고품질, 고효율로 동화상을 부호화하는 프로그램을 기록하는 기록매체를 제공하는 데에 있다.
본 발명의 제 1 특징에 의하면, 상술한 본 발명의 목적은,
부화될 현 화상의 픽셀 블록과 선행 프레임의 소정의 영역 내의 선행 화상의 픽셀 블록을 차례로 비교하는 단계와,
매칭 오류를 최소화하는 특정 선행 화상 픽셀 블록을 검색하는 단계와,
상기 특정 선행 화상 픽셀 블록에 관한 상기 매칭 오류가 허용 값을 초과하면, 상기 특정 선행 화상 픽셀 블록을 포함하는 소정의 영역 내의 선행 화상 데이터를 그것의 네스트(nest)로서 갖는 프레임간 적응 직교 변형에 의해 상기 현 화상 픽셀 블록의 AC성분 벡터를 근사화하는 1개 또는 그 이상의 직교 베이스 시스템을 얻는 단계와,
상기 화상 데이터를 부호화하는 단계를 구비한 동화상 부호방법에 의해 달성된다.
본 발명의 제 1 특징에 의하면, 고화질 및 높은 데이터 압축률은, 허용 값을 초과하는 선행 프레임의 화상 데이터에 관한 매칭 오류를 갖는 현 픽셀 블록 B가 통상 프레임간의 높은 상관관계를 얻을 수 있는 동화상의 선행 프레임의 화상 데이터를 이용하는 프레임간 적응 직교 변형을 이용하여 1개 또는 그 이상의 직교 베이스 시스템에 의해 근사화되는 구성에 의해 획득된다. 또, 현 픽셀 블록 B(교류성분 벡터)은 (벡터 양자화의 부호 블록에 대응하는)프레임간 적응 직교 변형의 네스트로서 현 픽셀 블록 B에 관한 매칭 오류를 최소화하는 특정 선행 픽셀 블록 F를 포함하는 소정의 영역 N 내의 선행 화상 데이터를 이용하는 구성 때문에, 소수의 직교 베이스에 의해 효율이 향상되어 부호화될 수 있다. 또, 특히 원형 화상이 다수의 평평한 부분과 경사가 급한 주변부분을 포함하는 애니메이션 화상 또는 컬러 그래픽 게임 화상으로 이루어질 때, 원형 화질이 그대로 유지된 채로 현저한 부호화 효율의 향상(부호의 양 감소)을 기대할 수 있다.
본 발명에 있어서, "선행 프레임"은, 대략 동화상을 표시한 현 프레임 직전의 프레임, 또는 대략 동화상을 표시한 현 프레임 후에 표시되는 프레임일 것이고, 그것의 화상 데이터는 현 프레임의 부호화를 위한 현 프레임의 표시에 앞서서 준비된다.
본 발명의 제 2 특징에 의하면, 현 픽셀 블록의 AC 성분 벡터 <B>를 근사화하는 제 1 베이스는 본 발명의 제 1 특징에 따른 특정 선행 픽셀 블록의 AC 성분 벡터 <B>에 근거하여 발생된다.
특정 선행 픽셀 블록 F가 본 발명의 제 1 특징에 따른 현 픽셀 블록 B에 관한 매칭 오류를 최소화할 때, 선행 픽셀 블록 F의 AC 성분 벡터 <F>가 현 픽셀 블록의 AC 성분 벡터 <B>를 근사화하는 제 1 베이스로서 채택(이용)되어, 주로 그 베이스를 검색함으로써 계산의 부담을 제거하는 제 2 발명의 구성에 의해 효율적인 근사화가 달성된다. 또, 원형 화상(선행 화상)의 자기 유사성(self-similarity)을 이용하면, 두 번째 또는 다음의 직교 베이스 시스템은 현 화상의 주변 부분에 그 성분을 집중시키는 나머지 차동 벡터를 근사화하기 위해 용이하게 형성될 수 있고, 이때 총괄적으로 요구된 베이스 수의 감소가 기대된다.
본 발명의 제 3 특징에 의하면, 제 2 발명에서의 현 픽셀 블록의 AC 성분 벡터 <B>를 근사화하는 직교 베이스 시스템이 네스트 픽셀 블록 Uq의 AC 성분 벡터 <Uq에 근거한 각각의 표준화된 직교 베이스 <V'q의 선형 결합 α1<V'1+ α2<V'2+ …+ αnk<V'nk로 표시되고, 수 nk가 특정 선행 픽셀 블록 F를 포함한다고 가정하면, 그 결합은 AC 성분 벡터 <Uq를 이용하여 상기 결합과 동등한 선형 결합: β1<U1+ β2<U2+ …+ βnk<Unk으로 변형되고, 적어도 AC 성분 벡터 <Uq(q=2∼nk)와 관련된 서브 샘플링(sub-sampling) 간격(sx, sy)뿐만 아니라 베이스 수 nk, 스칼라 전개 계수 βq(q=1∼nk), 및 네스트 픽셀 블록 Uq의 좌표(x, y)가 부호화된다.
본 발명의 구성을 이용하는 본 발명의 제 3 특징에 따른 방법에 있어서, 현 픽셀 블록의 AC 성분 벡터 <B>를 근사화하는 nk 픽셀(nk1)로 구성된 네스트 픽셀 블록 Uq의 AC 성분 벡터 <Uq를 이용하는 선형 결합: β1<U1+ β2<U2+ …+βnk<Unk이 최종적으로 획득되고, 적어도 AD 성분 벡터 <Uq(q=2∼nk)와 관련된 서브 샘플링 간격(sx, sy)뿐만 아니라 베이스의 수 nk, 스칼라 전개 계수 βq(q=1∼nk), 네스트 픽셀 블록 Uq의 좌표(x, y)가 부호화되어, 복호화된 화상은, 비직교 베이스 시스템인 네스트 픽셀 블록 Uq의 AC 성분 벡터 <Uq에 대하여 승적 합계 계산: β1<U1+ β2<U2+ …+ βnk<Unk에 의해 부호를 복호화함으로써 쉽게 획득된다. 따라서, 복호화된 화상은 통상 비용의 제약이 있는 게임기와 같은 기계의 CPU, 메모리 등에 어떠한 부담도 주지 않고 (실시간) 고속으로 재생될 수 있다. 이러한 동화상 부호방법은 동화상의 재생에 매우 기여한다.
본 발명의 제 4 특징에 의하면, 현 픽셀 블록 B 자체는, 제 3 발명의 베이스 수 nk가 소정의 값을 초과할 때 부호화된다. 여기서 " 현 픽셀 블록 B 자체"는 부호방법에 관계없이, 현 픽셀 블록 B의 전체 정보를 의미한다. 예컨대, 현 픽셀 블록 B의 전체 데이터가 부호화되어도 좋고, 또는 반대로 현 픽셀 블록 B가 블록의 평균 값(DC)과 나머지 AC 성분으로 분리되어도 좋으며, 그리고 어느 한쪽든 부호화된다. 이것은, 선행 화상 데이터 내에 존재하지 않은 현 화상 데이터가 새롭게 발생한 경우이다. 이와 같이, 동화상의 어떤 임의의 장면은 본 발명의 제 4 특징에 따른 방법에 의해 효율적으로 부호화될 수 있다.
본 발명의 제 5 특징에 의하면, 현 픽셀 블록 B와 그것에 대응하는 특정 선행 픽셀 블록 F는 어느 한 쪽이 동일한 치수의 종속 픽셀 블록으로 분리되고, 그것의 각각은 프레임간 적응 직교 변형에 영향을 받는다.
본 발명의 제 5 특징에 따른 방법에 있어서, 프레임간 적응 직교 변형이 소수의 화소(픽셀)를 갖는 각각의 종속 픽셀 블록에 대하여 수행되는 구성을 이용하면, 각각의 종속 픽셀 블록에 대한 프레임간 적응 직교 변형으로부터의 부담이 상당히 감소된다. 또, 각각의 종속 픽셀 블록에 대하여 근사화가 수행되는 구성 때문에, 전체의 현 픽셀 블록 B에 대한 근사화의 정밀도가 향상된다.
본 발명의 제 6 특징에 따르면, 제 1 발명의 특정 선행 픽셀 블록 F에 관한매칭 오류가 허용 값을 초과하지 않으면, 현 픽셀 블록 B는 특정 선행 픽셀 블록 F를 나타내는 이동 벡터 <M>에 근거하여 부호화된다. 이와 같이, 전체 화상에 대하여 고속 부호화 프로세스가 기대된다. 이동 화상에서 이동이 없는 부분의 특정 현 픽셀 블록 B의 이동 벡터 <M>는 (0, 0)이라는 것에 유념한다.
본 발명의 제 7 특징에 의하면, 동화상 부호장치는,
현 화상 데이터를 저장하는 제 1 메모리와,
선행 프레임의 화상 데이터를 저장하는 제 2 메모리와,
선행 프레임의 소정의 영역 내의 선행 픽셀 블록과 부호화될 현 픽셀 블록을 순차 비교함으로써 매칭 오류를 최소화하는 특정 선행 픽셀 블록을 나타내는 이동 벡터를 계산하는 이동 벡터 계산부와,
베이스 시스템을 부호화하도록, 특정 선행 픽셀 블록에 관한 매칭 오류가 허용 값을 초과하면, 특정 선행 픽셀 블록을 포함하는 소정의 영역 내의 선행 화상 데이터를 네스트로서 갖는 프레임간 적응 직교 변형에 의해 현 픽셀 블록의 AC 성분 벡터를 근사화하는 1개 또는 그 이상의 직교 베이스 시스템을 계산하고, 이들 베이스 시스템을 부호화하는 프레임간 적응 직교 변형 부호화부를 구비한다.
물론, 이 프레임간 적응 직교 변형 부호화부는 본 발명의 제 2∼제 5 특징에서 정의한 프로세싱 기능 중의 어느 것이든 포함한다.
본 발명의 제 8 특징에 의하면, 특정 선행 픽셀 블록에 관한 매칭 오류가 허용 값을 초과하지 않으면, 현 픽셀 블록은 제 8 발명의 프레임간 적응 직교 변형 부호화부에 의해 특정 선행 픽셀 블록을 나타내는 이동 벡터에 근거하여 부호화된다.
제 9 발명에 의하면, 본 발명의 제 8 또는 제 9 특징에 따른 장치에 있어서, 제 2 메모리 내의 선행 프레임의 화상 데이터와 프레임간 적응 직교 변형 부호화부의 부호 출력에 근거하여 현 픽셀 블록을 순차 복호화/저장하여, 이들을 선행 프레임의 화상 데이터로서 제 2 메모리에 전송하는 복호화부를 더 설치한다. 본 발명의 제 10 특징에 의하면, 부호화/복호화 및 재생을 위한 동화상 부호장치 및 동화상 복호장치에는 공통의 선행 화상 데이터가 사용된다.
컴퓨터에 의해 판독 가능한 본 발명의 제 10 특징에 따른 기록매체에 있어서, 컴퓨터에서 제 1 내지 제 6 발명에 정의된 프로세싱을 실행하는 프로그램이 기록된다.
본 발명에 대해서는 첨부된 도면을 참조하면서 보다 상세히 설명한다.
도 1은 종래의 동화상 부호방법의 블록도,
도 2는 본 발명의 개념을 설명하는 예시도,
도 3은 본 발명의 바람직한 실시예에 따른 이동 보상된 프레임간 AOT 부호화의 구성을 나타내는 블록도,
도 4는 본 발명의 바람직한 실시예에 따른 이동 보상된 프레임간 AOT 부호화의 플로우챠트,
도 5는 본 발명의 바람직한 실시예에 따른 이동 보상된 프레임간 AOT 부호화의 플로우챠트,
도 6은 본 발명의 바람직한 실시예에 따른 이동 보상된 프레임간 AOT 부호화의 플로우챠트,
도 7은 본 발명의 바람직한 실시예에 따른 이동 보상된 프레임간 AOT 부호화의 플로우챠트,
도 8은 본 발명의 바람직한 실시예에 따른 이동 보상된 프레임간 AOT 부호화의 플로우챠트,
도 9는 본 발명의 바람직한 실시예에 따른 이동 보상된 프레임간 AOT 부호화의 플로우챠트,
도 10은 본 발명의 바람직한 실시예에 따른 이동 보상된 프레임간 AOT 부호화의 플로우챠트,
도 11은 본 발명의 바람직한 실시예에 따른 이동 보상된 프레임간 AOT 부호화의 플로우챠트,
도 12는 본 발명의 바람직한 실시예에 따른 이동 보상된 프레임간 AOT 부호화의 화상 예시도,
도 13은 본 발명의 바람직한 실시예에 따른 이동 보상된 프레임간 AOT 부호화의 화상 예시도,
도 14는 본 발명의 바람직한 실시예에 따른 이동 보상된 프레임간 AOT 부호화의 화상 예시도,
도 15는 본 발명의 바람직한 실시예에서의 부호의 양과 화질 사이의 관계를 나타내는 예시도,
도 16은 본 발명의 바람직한 실시예에서의 부호의 양과 화질 사이의 관계를 나타내는 예시도.
이하, 본 발명의 바람직한 실시예에 대해서 첨부도면을 참조하면서 설명한다. 모든 도면에 있어서, 동일한 부호는 동일한 부분 또는 대응부분을 나타낸다. 게다가, 명세서 전체에서, 부호 < >는 벡터를 나타내고, 부호∥∥는 벡터의 치수를 나타내면, 부호 ·는 벡터의 내부 승적을 나타낸다. 도면에서 벡터와 공식은 굵게 기록되어 있다.
도 3은 일 실시예에 따른 이동 보상된 프레임간 AOT(adaptive orthogonal transformation) 부호화의 구성을 나타내고, 도 3a는 동화상 부호장치의 블록도를나타낸다. 도 3에서, 참조번호 11은 입력된 현 화상 데이터 VD를 저장하는 비디오 버퍼를 나타내고, 참조번호 16은 선행의 1개의 프레임의 선행 화상 데이터 FD(재생될 복호화된 화상 데이터)를 저장하는 프레임 메모리를 나타낸다. 참조부호 12는 선행 화상 데이터 FD와 현 화상 데이터 VD에서의 부호화될 현 픽셀 블록 MB 사이의 블록 매칭 검색 계산에 의해 현 픽셀 블록 MB에 관한 매칭 오류를 최소화하는 특정 선행 픽셀 블록의 이동 벡터 <M>를 계산하는 벡터 계산부를 나타내고, 참조부호 13은 검색 이동 벡터 <M>의 결과에 응답하여, 보통의 이동 보상된 프레임간 부호화 또는 본 발명에 따른 이동 보상된 프레임간 AOT 부호화 프로세스를 수행하는 프레임간 AOT 부호화부를 나타내며, 참조번호 14는 프레임간 AOT 부호화부(13)로부터 출력된 부호 데이터 CD와 프레임 메모리(16) 내의 선행 화상 데이터 FD에 근거하여 현 화상 데이터 VD'를 부호화/재생하는 복호화부를 나타내고, 참조번호 15는 복호화부(14)로부터 순차 재생된 화상 데이터 VD'를 축적하여, 그들이 축적되었을 때, 1개의 프레임의 데이터를 즉시 선행의 1개의 프레임의 선행 화상 데이터 FD로서 프레임 메모리(16)에 전송하는 프레임 버퍼를 나타낸다.
도 3b는 상술한 동화상 부호장치와 결합하여 사용된 동화상 복호장치의 블록도이다. 도 3b에 있어서, 참조번호 33은 선행의 1개의 프레임의 선행 화상 데이터(복호화된/재생된 화상 데이터) FD를 저장하는 프레임 메모리를 나타내고, 참조번호 31은 입력된 부호 데이터 CD 및 프레임 메모리(33) 내의 선행 화상 데이터 FD에 근거하여, 보통의 이동 보상된 프레임간 복호화 또는 본 발명에 따른 이동 보상된 프레임간 AOT 복호화 프로세스를 수행하는 복호화부를 나타내며, 참조번호 32는 복호화부(31)로부터 출력된 순차 재생된 화상 데이터 VD'를 축적하여, 그들이 축적되었을 때, 즉시 축적된 1개의 프레임의 데이터를 선행의 1개의 프레임의 선행 화상 데이터 FD로서 프레임 메모리(33)에 전송하는 프레임 버퍼를 나타낸다.
동화상 부호/복호장치의 이들 기능블록은 CPU(DSP 등)와 프로세싱 프로그램 등을 저장하는 메모리(ROM, RAM 등)로 구성된 임의의 하드웨어 구성 또는 임의의 소프트웨어 구성에 의해 이루어질 수 있다. 동화상 부호장치에 의해 재생된 부호 데이터 CD는, 메모리(CD-ROM, ROM 카트리지 등) 내에 한 번 저장되고 메모리로부터 후에 판독된 동화상 데이터를 복호화(재생)하기 위해 TV 신호 통신을 포함하는 데이터 통신뿐만 아니라, 게임 소프트웨어, CG 애니메이션 소프트웨어 등에 대하여 사용된다. 상술한 동화상 복호장치의 구성은 동화상 부호장치의 구성에 포함되기 때문에, 다음에는, 동화상 부호장치의 프로세싱에 대해서 보다 상세히 설명할 것이다.
도 12 및 도 13은 본 발명의 실시예에 따른 이동 보상된 프레임간 AOT 부호 프로세스의 가상 예시도 (1) 및 (2)이다. 도 12는 블록 매칭 검색 프로세스의 화상을 나타내고, 도 13은 이동 보상된 프레임간 AOT 부호화 프로세스의 화상을 나타낸다. 다음에, 일 실시예에 따른 이동 보상된 프레임간 AOT 부호화 프로세스에 대해서는 이들 도면을 참조하면서 간략히 설명할 것이다.
도 12에 있어서, 비디오 버퍼(11)는 입력된 현 화상 데이터 VD를 저장하고, 프레임 메모리(16)는 선행의 1개의 프레임의 선행 화상 데이터 FD를 저장한다. 현 화상 데이터 VD의 예는 Y-U-V 시스템으로 변환된 R-G-B 시스템의 화상인데, 이때 Y는 밝기 데이터(8 비트)에 해당하고, U 및 V는 컬러 차동 데이터(각 8비트)에 해당한다. 밝기 데이터 Y의 프로세싱은 주로 다음에 설명되지만, 데이터 U 및 V는 비슷한 방법으로 처리될 수 있다. 이동 벡터 계산부(12)는 현 화상 데이터 VD(예를 들면, 8 ×8 픽셀의 매크로 블록 MB)에 포함된 부호화될 현 픽셀 블록 B를 이용하여, 선행 화상 데이터 FD의 소정의 검색 영역 R 내의 8 ×8 픽셀의 선행 픽셀 블록 F에 관한 블록 매칭 계산을 수행하고, 2개의 픽셀 블록 B 및 F 사이의 매칭 오류를 최소화하는 특정 선행 픽셀 블록 F를 검출하여, 현 픽셀 블록 B에 대응하는 선행 픽셀 블록 B'의 위치로부터 검출된 특정 선행 픽셀 블록 F로 지향된 최소의 이동 벡터 <M>를 얻는다.
프레임간 AOT 부호화부(13)는 이동 벡터 <M>의 검색 결과에 의존하여, 보통의 이동 보상된 프레임간 부호화 또는 본 발명에 따른 이동 보상된 프레임간 AOT 부호화 중 하나를 수행한다. 보다 상세히 말하면, 현 픽셀 블록 B가 이동 벡터 <M>에 대응하는 특정 선행 픽셀 블록 F에 의해 허용 오류 범위 4Z 내에서 근사화될 수 있으면, 단지 이동 벡터 <M>만이 부호 출력되고, 현 픽셀 블록 B가 허용 오류 범위 4Z 내에서 근사화될 수 없으면, 하기에 설명된 이동 보상된 프레임간 AOT 부호화가 수행된다.
도 13에 있어서, 이동 벡터 <M>에 대응하는 현 픽셀 블록 B 및 특정 선행 픽셀 블록 F는 각각이 4 ×4 픽셀로 구성된 종속 픽셀 블록 B1∼B4및 F1∼F4로 각각 분리된다. 각 종속 픽셀 블록으로부터, 블록 DC 값이 분리된다(즉, AC 성분이 추출된다). 이들 AC 성분은 현 종속 픽셀 벡터 <B1∼<B4와 선행의 종속 픽셀 벡터 <F1∼<F4라고 각각 명명된다.
처음에는, 현 종속 픽셀 벡터 <B1가 대응하는 선행 종속 픽셀 벡터 <F1에 의해 근사화된다. 보다 상세히 말하면, 제 1 단위 벡터 <V'1(표준화된 직교 베이스)는 제 1 직교 베이스 벡터 α1<V'1에 의해 현 종속 픽셀 벡터 <B1를 근사화하기 위해 사용되는 이 선행 종속 픽셀 벡터 <F1에 대해서 얻어지고, 이때 α1은 근사화 후에 나머지 차동 벡터 <d1의 치수 D1= ∥<B1- α1<V'1∥2를 최소화하는 스칼라 계수이다. D1가 허용 오류 범위 Z 내에 있으면, 베이스의 검색은 수행되지 않는다.
그러나, D1가 허용 오류 범위 Z 내에 없으면, 나머지 차동 벡터 <d1를 근사화하는 제 2 직교 베이스 벡터 α2<V'2가 네스트 영역 N으로부터 탐색된다. 보다 상세히 말하면, 예컨대 네스트 픽셀 블록 U (2, 1)를 네스트 영역 N으로부터 샘플링하여 DC 값을 유리시켜, 나머지 AC 성분을 후보 제 2 픽셀 벡터 <Unk(nk=2)로 만든다. 네스트 픽셀 블록 U (2,1)에서의 (2, 1)은, X축에 대하여 매 2개의 픽셀마다 샘플링을 수행하고, Y축에 대해서는 어느 픽셀이나 모두 샘플링을 수행한다는 것을 의미한다. 그 다음에, 이 후보 제 2 픽셀 벡터 <U2가 제 1 단위 벡터 <V'1와 직교를 이루어, 후보 제 2 직교 베이스 벡터 α2<V'2로 나머지 차동 벡터 <d1를 근사화하기 위해 사용되는 후보 제 2 표준화된 직교 베이스 벡터 <V'2를 얻고, 이때 α2는 앞서 말한 근사화 후에 나머지 차동 벡터 <d2의 치수 D2= ∥<d1- α2<V'2∥2를 최소화하는 스칼라 계수이다. 이와 같이, 네스트 화상 영역 N 내부의 모든 소정의 샘플링 포맷에 따라 후보 제 2 픽셀 벡터 <U2의 각각에 대하여 상기와 비슷한 프로세싱이 수행되고, 최종적으로, 치수 D2를 최소화하는 특정 후보 제 2 직교 베이스 벡터 α2<V'2는 제 2 직교 베이스 벡터 α2<V'2로서 간주한다. 대응하는 후보 제 2 픽셀 블록 U2은 제 2 픽셀 블록 U2이라고 명명된다. D2가 허용 오류 범위 Z 내에 있으면, 네스트 화상 영역 N 내의 검색이 당장 중지된다.
그러나, D2가 허용 오류 범위 Z 내에 없으면, 나머지 차동 벡터 <d2를 근사화하는 제 3 직교 베이스 벡터 α3<V'3가 네스트 영역 N으로부터 탐색된다. 다음의 프로세스도 마찬가지로 수행된다. 치수 Dn가 허용 오류 범위 Z 내에 있으면, 네스트 화상 영역 N에서의 검색은 당장 종료된다.
게다가, 상기 획득된 직교 베이스 시스템의 시리즈 α1<V'1, α2<V'2, …, αn<V'n가 스칼라 전개 계수 β와 네스트 픽셀 벡터 <U>의 승적으로 이루어진 베이스 시리즈 β1<U1, β2<U2, ……, βn<Un로 변형되어, 이들 스칼라 전개 계수 β와 네스트 픽셀 벡터 <U> 등에 대응하는 네스트 픽셀 블록 U의 좌표가 부호 출력된다. 다른 현 종속 픽셀 벡터 β2∼ β4의 부호화도 마찬가지로 수행된다. 일 실시예에 따른 이동 보상된 프레임간 AOT 부호화 프로세스에 대해서는 후에 보다 상세히 설명될 것이다.
도 4 내지 도 11은 또 다른 실시예에 따른 이동 보상된 프레임간 AOT 부호화 프로세스의 플로우챠트((1)∼(8))이고, 도 4는 주 프로세스를 나타낸다. 1개의 프레임에 대한 화상 데이터가 부호화 프로세스에 영향을 받을 때마다, 입력이 이 프로세스에 주어진다. 스텝 S1에서는, 부호화될 현 픽셀 블록 B의 위치 벡터 <P>를 나타내는 위치 레지스터 Px, Py가 Px=0, Py=0으로 초기화된다. 스텝 S2에서는, 위치 레지스터 Px, Py로 표시된 8 ×8 픽셀로 이루어진 현 픽셀 블록 BPx, BPy가 각각 판독된다. 스텝 S3에서는, 후에 설명딜 이동 벡터 계산 프로세스가 실행된다. 이 벡터 계산 프로세스는 현 픽셀 블록 BPx,Py를 가장 잘 근사화하는 8 ×8 픽셀의 특정 선행 픽셀 블록 FPx+Mx,Py+My을 프레임 메모리(16)로부터 추출하는 프로세스이다. 스텝 S4에서는, 이와 같이 얻어진 이동 벡터 <M>가 부호 출력되고, 이때 Mx, My은 현 픽셀 블록 BPx,Py에 대응하는 선행 픽셀 블록 B'Px,Py에서 상기 이동 벡터 계산에 의해 얻어진 특정 선행 픽셀 블록 FPx+Mx,Py+My로 지향된 이동 벡터 <M>의 X, Y 성분을 보유하는 이동 벡터 레지스터이다. 스텝 S5에서는, 2개의 픽셀 블록 B와 F 사이의 매칭 오류: Dmin=∥<BPx,Py- <FPx+Mx,Py+My∥2가 허용 오류 4Z보다 작은지 아닌지 여부를 판정한다. 4Z는 4 ×4 픽셀의 종속 픽셀 블록에 대하여 이미 규정된 허용 오류 Z ×4를 의미한다. 이 점에 있어서, 사용자는, 고화질이 요구되면 1보다 작은 허용 오류 Z를 선택할 것이고, 저화질을 허용하면 폭이 넓은 것을 선택할 것이다.
Dmin<4Z이면, 현 픽셀 블록 BPx,Py가 오류 허용 범위 내의 선행 픽셀 블록 FPx+Mx,Py+My에 의해 근사화된 후에, 블록 분할 플래그 f=0(블록 분할이 없음)을 부호 출력하는 스텝 S6으로 간다. 만약 Dmin<4Z가 아니면, 블록 분할 플래그 f=1(블록을 분할하기 위해)을 부호 출력하는 스텝 S7로 간다. 블록 분할 플래그 f는 한 개의 비트만을 가져야 한다. 스텝 S8에서는, 후에 설명될 프레임간 AOT 프로세스를 수행한다.
이 경우에, 8 ×8 픽셀의 현 픽셀 블록 BPx,Py가 4개의 현 종속 픽셀 블록 BPx,Py, BPx+4,Py, BPx,Py+4, BPx+4,Py+4으로 분할되고, 그것의 각각으로부터, DC값(종속 픽셀 블록에 대한 평균값)이 분리되어 부호 출력되며, 현 종속 픽셀 벡터: <BPx,Py, <BPx+4,Py, <BPx,Py+4, <BPx+4,Py+4가 생성된다. 또한, 상기 8 ×8 픽셀의 현 픽셀 블록 BPx,Py에 대응하는 8 ×8 픽셀로 이루어진 선행 픽셀 블록 FPx+Mx,Py+My은 4 ×4 픽셀로 이루어진 4개의 선행 종속 픽셀 블록: <FPx,Py, <FPx+4,Py, <FPx,Py+4, <FPx+4,Py+4으로 분리되고, 그것으로부터 DC값(종속 픽셀 블록에 대한 평균값)이 분리되며, 나머지AC 성분으로 이루어진 선행 종속 픽셀 벡터: <FPx+Mx,Py+My, <FPx+Mx+4,Py+My, <FPx+Mx,Py+My+4, <FPx+Mx+4,Py+My+4가 각각 생성된다. 예컨대, 현 종속 픽셀 벡터 <BPx,Py에 대하여, 후에 설명될 프레임간 AOT 프로세싱은, 네스트 화상 영역 N 내부의 위치에서 그것에 대응하는 선행 종속 픽셀 벡터 <FPx+Mx,Py+My와, 필요하다면, 네스트 화상 영역 N으로부터 추출된 1개 또는 그 이상의 네스트 픽셀 벡터 <U2, <U3등에 근거하여 수행된다. 다른 현 종속 픽셀 벡터 <BPx+4,Py, <BPx,Py+4, <BPx+4,Py+4도 마찬가지로 프로세스된다.
스텝 S9에서는, 위치 레지스터 Px에 8을 더하고, 스텝 S10에서는, Px가 V(예컨대, V=1280 열)보다 작은지 아닌지 여부를 판정한다. Px<V이면, 스텝 S2로 되돌아가서, X축에 대하여 8픽셀씩 시프트되는 다음의 현 픽셀 블록 BPx+8,Py에 대하여 상기와 비슷한 부호화 프로세스를 수행한다. 다음의 스텝도 마찬가지이다. 일단 Px가 V보다 작지 않으면, 스텝 S11로 가서, 위치 레지스터 Px를 0으로 초기화하고, 8을 위치 레지스터 Py에 더한다. 스텝 S12에서는, Py가 W(예컨대, W=60 라인)보다 작은지 아닌지 여부를 판정한다. Py<W이면, 스텝 S2로 되돌아가서, Y축에 대하여 8픽셀씩 시프트되는 다음의 현 픽셀 블록 BPx,Py+8에 대하여 상기와 비슷한 부호화 프로세스를 수행한다. 다음의 스텝도 마찬가지이다. 일단 Py가 W보다 작지 않으면, 1개의 프레임에 대하여 이동 보상된 프레임간 AOT 부호화 프로세스가 종료된다.
도 5는 상기에 나타낸 도 4의 스텝 S3에서 이동 벡터를 계산하는 프로세스를 나타낸다. 스텝 S21에서는, 블록 매칭 오류의 최소값을 보유하는 최소값 레지스터 Dmin에서 큰 값을 설정하고, 매칭 검색 영역 R 내부의 좌표를 나타낸는 레지스터 i, j를 각각 i=-16, j=-16으로 초기화한다. 스텝 S22에서는, 프레임 메모리(16) 내의 좌표를 나타내는 레지스터 x, y를, x=Px+i, y=Py+j로 각각 리프레시(refresh)한다. 스텝 S23에서는, 블록 매칭 오류 D =∥ BPx,Py- Fx,y∥2의 양이 획득된다. 스텝 S24에서는, D가 Dmin보다 작은지 아닌지 여부를 판정한다. D<Dmin이면, 최소값 레지스터 Dmin는 각각 Mx=i, My=j으로 될 이동 벡터 레지스터 Mx, My을 보유하는 D로 리프레시된다. D가 Dmin보다 작지 않으면, 스텝 S25의 프로세스를 건너뛴다.
스텝 S26에서는, 레지스터 i에 1을 더하고, 스텝 S27에서는, i가 16보다 작은지 아닌지 여부를 판정한다. i>16이면, 스텝 S22로 되돌아가서, X축에 대하여 1픽셀씩 시프트되는 다음의 선행 픽셀 블록 Fx+1,y에 대하여 상기와 비슷한 부호화 프로세스를 수행한다. 다음의 스텝도 마찬가지이다. 일단 i가 16보다 작지 않으면, 스텝 S28로 가서, 레지스터 i를 i=-16으로 초기화하고, 레지스터 i에 1을 더한다. 스텝 S29에서는, j가 16보다 작은지 아닌지를 판정한다. j<16이면, 스텝 S22로 되돌아가서, Y축에 대하여 1픽셀씩 시프트되는 다음의 선행 픽셀 블록 Fx,y+1에 대하여상기와 비슷한 부호화 프로세스를 수행한다. 다음의 스텝도 마찬가지이다. 일단 j가 16보다 작지 않으면, 이동 벡터 계산 프로세스가 종료된다. 현재, 최소값 레지스터 Dmin가 최소 블록 매칭 오류 D를 보유하지만, 이동 벡터 레지스터 Mx및 My은 각각 그러한 블록 매칭 오류 D의 최소값을 제공하는 특정 선행 픽셀 블록 Fx,y의 이동 벡터 <M>를 각각 보유한다.
도 6은 상기 도 4의 스텝 S8에서의 프레임간 AOT 프로세싱을 나타낸다. 스텝 S31에서는, 8 ×8 픽셀의 현 픽셀 블록 BPx,Py가 4개의 현 종속 픽셀 블록 B1∼B4으로 분리되고, 그것의 각각으로부터 DC값(현 종속 픽셀 블록의 밝기 데이터 Y의 평균값)이 분리되어 부호 출력된다. DC값이 분리된 후의 나머지 AC 성분은 현 종속 픽셀 벡터 <B1∼<B4라고 명명된다. 스텝 S32에서는, 비슷하게, 8 ×8 픽셀로 이루어진 선행 픽셀 블록 FPx+Mx,Py+My이 4 ×4 픽셀로 이루어진 4개의 선행 종속 픽셀 블록 F1∼F4으로 분리되고, 그것의 각각으로부터 DC값(선행 종속 픽셀 블록의 밝기 데이터 Y의 평균값)이 분리된다. DC값이 분리된 후의 나머지 AC 성분은 선행 종속 픽셀 벡터 <F1∼<F4라고 명명된다.
스텝 S33에서는, 종속 픽셀 벡터 <Bi, <Fi를 인덱싱(indexing)하는 레지스터 i를 i=1으로 초기화한다. 스텝 S34에서는, 베이스 수 카운터 nk를 nk=1으로 초기화한다. 스텝 S35에서는, 현 종속 픽셀 벡터 <Bi가 대응하는 선행 종속 픽셀 벡터 <Fi에 의해 최적으로 근사화되는 D =∥<Bi- αi<Fi∥2인 나머지 차동 벡터 <d>의 양이 획득되고, 이때 αi= <Bi·<Fi/∥<Fi∥2이다.
도 14a는 선행 종속 픽셀 벡터 <Fi로 현 종속 픽셀 벡터 <Bi를 최적으로 근사화하는 프로세스를 나타낸다. 이 도면에서, D =∥<Bi- αi<Fi∥2인 나머지 차동 벡터 <d>의 양 D은, 베이스 벡터 αi<Fi가 <d> = <Bi- αi<Fi(내부 승적은 0)인 나머지 차동 벡터 <d>와 직교하는 경우에 가장 작으므로, 최적의 근사화를 위한 표준화된 베이스 벡터 <Fi의 스칼라 계수 αi는 다음과 같이 얻어진다.
도 6으로 되돌아가서, 스텝 S36에서는, 나머지 차동 벡터 <d>의 양 D가 Z보다 작은지 아닌지 여부를 판정한다. D<Z이면, 현 종속 픽셀 벡터 <Bi는 이동 보상된 선행 종속 픽셀 벡터 <Fi에 의해 근사화될 수 있어, 베이스 수 nk가 1일 때의 스칼라 전개 계수 αi와 베이스 벡터 <Fi가 부호 출력되는 스텝 S37로 간다. 베이스 벡터 <Fi에 대응하는 선행 종속 픽셀 벡터 Fi의 위치 좌표는 동화상 부호장치의 복호화부(14) 또는 동화상 복호장치의 복호화부(31)에 의해 이미 공지되어 있다. D가 Z보다 작지 않으면, 스텝 S38로 가서, 후에 설명될 적응 직교 변형 프로세스를 수행한다. 이 적응 직교 변형 프로세스는 네스트 화상 영역으로부터 허용 오류 Z 내의 현 종속 픽셀 벡터 <Bi를 근사화하는 데에 필요한 1개 또는 그 이상의 네스트 픽셀 벡터 <U>를 탐색하는 프로세스이다.
스텝 S39에서는, 스텝 S38에서의 AOT 프로세싱을 위해 필요한 전체 베이스 수 nk가 7보다 큰지 아닌지를 판정한다. nk>7이면, 고화질 및 높은 화상 압축률이 이 AOT 프로세스의 결과로부터 예상되지 않기 때문에 스텝 S40으로 간다. 스텝 S40에서는, 베이스의 수 nk가 8일 때, 현 종속 픽셀 벡터 <Bi를 출력한다. 그러한 경우는 전적으로 신규 픽셀 블록 Bi가 현 프레임에 나타나는 경우에 일어날 수 있다. nk가 7보다 크지 않으면(nk=2∼7), 스텝 S41로 가서, 베이스의 수 nk, nk의 스칼라 전개 계수 βq(q=1∼nk), 제 1 베이스 벡터 <Fi를 제외한 nk-1의 베이스 벡터 <Uq(q=2∼nk)의 좌표(x, y) 및 서브 샘블링 간격(sx, sy)의 정보를 부호 출력한다. 스칼라 전개 계수 βq에 대해서는 나중에 설명할 것이다.
스텝 S42에서는, 레지스터 i에 1을 더하고, 스텝 S43에서는, i가 5보다 작은지 아닌지 여부를 판단한다. i가 5보다 작으면, 스텝 S34로 가서, 상기와 비슷한 프로세스를, 다음의 현 종속 픽셀 벡터 <Bi+1에 대하여 수행한다. 일단 i가 5보다 작지 않으면, 현 종속 픽셀 벡터 <B1∼<B4의 부호화 프로세스가 이 프로세스로부터 벗어나도록 종료된다.
도 7 내지 도 9는 상기 도 6의 스텝 S38에서의 적응 직교 변형 프로세스를 나타낸다. 이 적응 직교 변형 프로세스에 대해서는 도 12를 참조하면서 설명할 것이다. 현 픽셀 블록 B의 위치 벡터가 <P>이고, 프레임간 이동 보상 프로세스에 의해 검출된 이동 벡터 <M>가 <M>이라고 가정하면, 위치 벡터 <P> + <M> 근방의 j[-16, 15]×k[-16, 15] 픽셀의 영역이 네스트 화상 영역 N이라고 간주되기 때문에, 부호화될 현 픽셀 블록 B과 가장 많이 관련된 영역을 얻을 수 있다.
베이스 벡터 <Unk을 검색하기 위해, 종속 픽셀 블록의 피크: (j, k)∈[-16, 15] ×[-16 ×15]가 어느 픽셀이나 모두 설정되고, 수평 및 수직의 서브 샘플링 간격은 (sx, sy)∈{(1,1),(1,2),(1,3), …,(2,1),(2,2),(2,3),…,(3,1),(3,2),(3,3),…}이다. 예컨대, (sx, sy)=(2,1)에 대하여, 전체 4 ×4 픽셀에 대한 픽셀 데이터가 네스트 화상 데이터에 대하여 x방향으로 각각 1개의 픽셀씩 확장된 영역으로부터 수집된다. 게다가, DC값이 분리되어 베이스 벡터 <U(2,1)로 된다. (sx, sy)=(1,2)에 대하여, 전체 4 ×4 픽셀에 대한 픽셀 데이터는 네스트 화상 데이터에 대하여 y방향으로 각각 1개의 픽셀씩 확장된 영역으로부터 수집된다. 게다가, DC값이 분리되어 베이스 벡터 <U(1,2)로 된다. (sx, sy)=(2,3)에 대하여, 전체 4 ×4 픽셀에 대한 픽셀 데이터가 네스트 화상 데이터에 대하여 각각 x방향 및 y방향으로 확장된 영역으로부터 수집된다. 게다가, DC값이 분리되어 베이스 벡터 <U(2,3)로 된다. 이들은 전형적인 것이기 때문에, 네스트 화상 영역 N의 치수, 네스트 픽셀 블록 U에 대한 서브 샘플링 간격 등이 임의로 설정되어도 된다.
도 7로 되돌아가서, 스텝 S51에서는, 대응하는 선행 종속 픽셀 벡터 <Fi에 의해 최적으로 근사화된 현 종속 픽셀 벡터 <Bi에 대한 나머지 차동 벡터 <d>가 <d> = <Bi- αi<Fi에 따라 얻어진다.
스텝 S52에서는, 스칼라 계수 αi, 선행 종속 픽셀 벡터 <Fi및 표준화된 선행 종속 픽셀 벡터 <F'i가 메모리 내의 베이스의 수 nk(=1)와 각각 관련된 도피영역 α(nk), V(nk) 및 V'(nk) 내에 저장되고, 베이스 수 카운터는 nk=2으로 된다.
스텝 S53에서는, 큰 값을 나머지 차동 레지스터 Emin로 설정하고, 네스트 화상 영역의 좌표를 나타내는 레지스터 j, k를 j=-16, k=-16으로 초기화한다. 스텝 S54에서는, 프레임 메모리(16) 내의 좌표를 나타내는 레지스터 x, y를 x = Px+ Mx+ j, y = Py+ My+ k로 리프레시하고, 샘플링 간격 sx, sy를 sx=1, sy=1로 초기화한다. 스텝 S55에서는, 서브 샘플링 간격(sx, sy)에 따른 4 ×4 픽셀의 종속 픽셀 블록 Unk,x,y,sx,sy은 프레임 메모리(16)의 어드레스 (x, y)에서 시작하는 위치로부터 추출되고, DC 성분은 블록으로부터 분리된다. DC 성분은 베이스 벡터 <Unk라고 명명된다. 스텝 S56에서는, 베이스 벡터 <Unk가 Gram-Schmidt 직교화 방법에 의해 마지막까지 표준화된 베이스 벡터 <V'1∼<V'nk-1와 직교하게 되어 표준화된 직교 베이스 벡터 <V'nk을 얻는다.
도 14b에 있어서, Gram-Schmidt 직교화 방법이 도시되어 있다. 이 도면에 있어서, 제 1 베이스 벡터 <F1는 제 1 직교 베이스 벡터 <V1로서 선택된다. 게다가, 단위 벡터인 제 1 표준화된 직교 베이스 벡터 <V'1는 다음의 식으로 표시될 것이고,
이때, α11는 스칼라 계수이다. 다음에, 제 2 베이스 벡터 <U2가 네스트 화상으로부터 추출된다고 가정하면, 상술한 제 1 표준화된 직교 베이스 <V'1와 직교하는 제 2 직교 베이스 <V2가 상기에 나타낸 제 2 베이스 벡터 <U2를 이용하여 다음의 수학식 1로서 취득될 수 있다.
V2= U2+ mV'1
그 후에, 관계식 <V2·<V'1= 0에 근거하여, 다음의 관계식이 얻어지고,
V2·V'1= (U2+ mV'1) ·V'1= U2·V'1+ m(V'1·V'1) = U2·V'1+ m = 0
이때, 스칼라 계수 m은 다음과 같다.
m = -(U2·V'1)
상기의 수학식 1에 있어서 이 스칼라 계수를 대용함으로써, 제 2 직교 베이스 <V2가 다음과 같이 표현된다.
V2= U2- (U2·V'1)V'1
게다가, 단위 벡터인 제 2 표준화된 직교 베이스 벡터 <V'2는 다음과 같이 얻어진다.
다음의 프로세스도 마찬가지로 수행된다. 일반적으로, n번째 표준화된 직교 베이스 벡터 <V'n는 다음과 같이 얻어진다.
도 8로 되돌아가서, 스텝 S58에서는, ∥<V'nk∥2=1이면, 나머지 차동 벡터 <d>로부터의 거리를 최소화하기 위해 베이스 벡터 <V'nk의 스칼라 계수가, 표준화된 직교 베이스 벡터 <V'nk를 이용하여 α(nk) = <d> ·<V'nk에 의해 얻어진다. 이 최적의 근사화는 도 14a에 도시된 것과 비슷하다. 스텝 S59에서는, 오류 벡터의 양 εｒ=∥<d> - αnk<V'nk∥2가 직교 베이스 벡터 αnk<V'nk에 의해 근사화된 나머지 차동 벡터 <d>에 의해 얻어진다. 스텝 S60에서는, εｒ가 Emin보다 작은지 아닌지 여부를 판단한다. 스텝 S61에서는, εｒ가 Emin보다 작으면, εｒ, x, y, sx, sy가 εｒ의 최소값과 관련된 다양한 정보를 저장하는 레지스터 Emin, X, Y, SX, SY 내에 보유된다. 다음에, 스칼라 계수 αnk는 레지스터 α내에 저장되고, 직교 베이스 벡터 <Vnk는 직교 베이스 벡터를 위한 메모리 도메인 V 내에 저장되지만, 표준화된 직교 베이스 벡터 <V'nk는 표준화된 직교 베이스 벡터를 위한 메모리 도메인 V' 내에 저장된다. 스텝 S60에서 εｒ이 Emin보다 작지 않다고 판정되는 경우에는, 스텝 S61의 프로세스는 넌너뛴다.
스텝 S62에서는, 서브 샘플링 간격 sx에 1을 더하고, 스텝 S63에서는 sx가 5보다 작은지 아닌지 여부를 판정한다. sx가 5보다 작은 경우에는, 도 7의 스텝 S55로 되돌아가고, 서로 다른 샘플 간격 sx을 이용하여 추출된 다른 형태의 픽셀 벡터 <Unk는 상기와 비슷한 프로세스에 영향을 받는다. 다음의 프로세스도 마찬가지로 수행된다. 스텝 S63에서 일단 sx가 5보다 작지 않다고 판정되면, 스텝 S64에서는 sx를 1로 초기화하고, 1를 sy에 더한다. 스텝 S65에서는, sy가 5보다 작은지 아닌지를 판정한다. sy가 5보다 작으면, 도 7의 스텝 S55로 되돌아가고, 서로 다른 샘플 간격 sy을 이용하여 추출된 또 다른 형태의 픽셀 블록 Unk은 상기와 비슷한 프로세스에 영향을 받는다. 스텝 S65에서 일단 sy가 5보다 작지 않다고 판정되면, 서로 다른 샘플 간격 (sx, sy)에 근거하여 추출된 모든 형태의 픽셀 블록 Unk이 네스트 화상 영역 N 내의 시작 위치 (x, y)에 대하여 검사했다.
스텝 S66에서는, 네스트 화상 영역 N 내의 시작 위치 레지스터 j에 1을 더하고, 스텝 S67에서는, j가 16보다 작은지 아닌지를 판정한다. j가 16보다 작으면, 도 7의 스텝 S54로 되돌아가고, 네스트 화상 영역 N 내의 j의 방향(수평)으로 한 개의 픽셀씩 시프트된 시작 위치로부터 추출된 각각의 형태의 픽셀 블록 Unk은 비슷한 프로세싱에 영향을 받는다. 다음의 프로세스도 마찬가지로 수행된다. 일단 j가 16보다 작지 않으면, 스텝 S68에서는 시작 위치 레지스터 j를 -16으로 초기화하고, 시작 위치 레지스터 k에 1을 더한다. 스텝 S69에서는, k가 16보다 작은지 아닌지 여부를 판정한다. k가 16보다 작은 경우에는, 도 7의 스텝 S54로 되돌아가고, 네스트 화상 영역 N에서의 k의 방향(수직)으로 한 개의 픽셀씩 시프트된 시작 위치로부터 추출된 각각의 형태의 픽셀 블록 Unk은 비슷한 프로세싱에 영향을 받는다. 스텝 S69에서 일단 k가 16보다 작지 않다고 판정되면, 서브 샘플 간격: (sx, sy)∈{(1,1),(1,2),(1,3),(1,4),(2,1),(2,2),(2,3),.....(4,4)}에 근거하여 추출된 모든 형태의 픽셀 블록 Unk은 네스트 화상 영역 N 내의 모든 시작 위치: (j,k)∈[-16,15] ×[-16,15]에 대하여 검사했다. 이와 같이, 이 프로세스는 도 9의 스텝 S71로 진행해 간다.
도 S71에서는, εｒ의 최소값과 관련된 정보를 보유하는 레지스터 X, Y, SX, SY 및 α내의 각 메모리 내용은 각각의 도피영역 x(nk), y(nk), sx(nk), sy(nk), α(nk), V(nk) 및 V'(nk) 내에 저장된다. 스텝 S72에서는, Emin가 Z보다 작은지 아닌지를 판정한다. Emin가 Z보다 작지 않은 경우에는, 스텝 S73에서 <d> = <d> - αnk<V'nk에 따라 나머지 차동 벡터 <d>가 리프레시된다.
스텝 S74에서는, 베이스 수 카운터 nk에 1를 더한다. 스텝 S75에서는, nk가 7보다 큰지 아닌지를 판정한다. nk가 7보다 크지 않은 경우에는, 도 7의 스텝 S53으로 되돌아가서, 상기와 같이 리프레시된 나머지 차동 벡터 <d>를 근사화하도록 상기와 비슷한 프로세스를 수행한다. 다음의 프로세스도 마찬가지로 수행된다. 그후에 스텝 S72에서 나머지 차동 벡터 <d>의 양 Emin가 허용 값 Z보다 작다고 판정되면, 스텝 S76으로 간다.
도 14c는 베이스 수 nk=3에 대한 나머지 차동 벡터 <d>의 근사화의 화상을 나타낸다. 우선, 나머지 차동 벡터 <d>에 관한 오류 εｒ를 최소화하는 제 1 베이스 벡터 α1<V'1를 얻을 수 있다. 그 후에는, 이 제 1 베이스 벡터 α1<V'1와 직교하고 나머지 차동 벡터 <d'>에 관한 오류 εｒ를 최소화하는 제 2 직교 베이스 벡터 α2<V'2를 얻을 수 있다. 다음에는, 이 제 2 직교 베이스 벡터 α2<V'2와 직교하고 나머지 차동 벡터 <d''>에 관한 오류 εｒ를 최소화하는 제 3 직교 베이스 벡터 α3<V'3를 얻을 수 있다.
도 9로 되돌아가서, 스텝 S76에서는, 직교 베이스 벡터 αq<V'q(q=1∼nk)의 일련의 선형 결합이, 스칼라 전개 계수 βq와 추출된 픽셀(비직교 베이스) 벡터<Uq(q=1∼nk)의 승적으로 형성된 선형 결합으로 변형된다.
상기 스텝 S76에서는 변형방법에 대해서 설명한다. q=1∼nk일 때, 추출된 픽셀 벡터 <Uq의 매트릭스 U, 스칼라 전개 계수 βq의 매트릭 B, 표준화된 직교 베이스 벡터 <V'q의 매트릭스 V' 및 스칼라 계수 αq의 매트릭스 A는 각각 다음과 같고,
상술한 스텝 S76에서의 변형은 Uβ= V'A에 의해 이루어질 수 있다. 매트릭스 B에 대한 해법에 있어서는, 매트릭스 U를 매트릭스 UT(UT는 U의 역 매트릭스이다)와 곱하여 다음 식의 좌측을 형성하고, 매트릭스 U를 스퀘어 매트릭스로 변형하여 UTUβ= UTV'A을 얻는다.
이 매트릭스(UTU)는 다음과 같이 전개된다.
<Ui˙<Ui은 내부 승적을 나타내고, <Ui·<Uj= <Uj·<Ui일 때, 대각선 소자에 대하여 스퀘어 매트릭스 대칭이 얻어지며, 역 매트릭스는, <Ui가 <Uj와 다른 경우에 존재한다. 이와 같이, 매트릭스(UTU)는 좌측에서 역 매트릭스 (UTU)-1와 곱해져 (UTU)-1UTUβ= β= (UTU)-1UTV'A를 얻는다.
이 점에 대하여, 3차원 벡터 <U1=[1, 2, 3] 및 <U2=[4, 2, 1]이라고 가정하면, 스퀘어 매트릭스 (UTU)는 다음과 같고,
역 매트릭스(UTU)-1는 다음과 같다.
이와 같이 얻어진 스칼라 전개 계수 βq(q=1∼nk), 추출된 픽셀 블록Uq(q=1∼nk)의 좌표 및 서브 샘플 간격의 정보가 부호 출력되기 때문에, Gram-Schmidt법에 의한 상기 직교 계산은 복호화시 행해지지 않아도 되며, 표준 1에 대한 표준화는 생략된다.
스텝 S75에서 nk가 7보다 크다고 판정되면, 적응 직교 변형에 대한 프로세스가 더 지속되더라도, 부호 출력시 고화질 및 보다 높은 화상 압축률이 더 이상 기대되지 않기 때문에 이 프로세스는 중단된다.
도 10 및 도 11은 각각 일 실시예에 따른 복호화 프로세스를 각각 나타낸다. 이들 프로세스는 동화상 부호장치에 있어서 복호화 프로세스이지만, 이들 프로세스도 동화상 복호장치에 있어서 복호화 프로세스에 적용할 수 있다. 도 10은 제 1 부호 데이터 CD가 수신될 때 1개의 화상에 대한 제 1 부호 데이터 CD가 입력되는 복호화의 주 프로세스를 나타낸다. 스텝 S81에서는, 8 ×8 픽셀의 복호화 픽셀 블록 T의 저장 좌표를 나타내는 위치 레지스터 Px, Py를 Px=0, Py=0으로 초기화한다. 스텝 S82에서는, (1비트에 대응하는)블록 분할 플래그와 이동 벡터 <M>의 부호 데이터 (M, M)를 부호 데이터 CD로부터 판독한다. 스텝 S83에서는, 블록 분할 플래그 f가 0인지 아닌지 여부를 판정한다. f=0(블록을 분할하지 않음)이면, 스텝 S84에서 8 ×8 픽셀의 선행 픽셀 블록 FPx+Mx, FPy+My가 메모리(16) 내의 어드레스(Px+Mx, Py+My)로부터 판독되고, 복호화 픽셀 블록 TPx,Py로서 프레임 버퍼(15) 내의 어드레스(Px, Py) 내에 저장된다. f=1(블록을 분할)이면, 스텝 S85에서 후에 설명될 프레임간 역 AOT 복호화 프로세스를 수행한다.
스텝 S86에서는, 위치 레지스터 Px에 8을 더하고, 스텝 S87에서는 Px가 V보다 작은지 아닌지 여부를 판정한다. Px가 V보다 작으면, 스텝 S82로 되돌아가서, X축의 방향으로 8픽셀 시프트하는 다음 복호화 픽셀 블록 TPx+8,Py에 대하여 상기와 비슷한 복호화 프로세스를 수행한다. 다음 프로세스도 마찬가지로 수행된다. 스텝 S87에서 일단 Px가 V보다 작지 않다고 판정되면, 스텝 S88로 가서, 위치 레지스터 Px를 0으로 초기화하고, 위치 레지스터 Py에 8을 더한다. 스텝 S89에서는, Py가 W보다 작은지 아닌지 여부를 판정한다. Py가 W보다 작으면, 스텝 S82로 되돌아가서, Y축의 방향으로 8픽셀 시프트하는 다음의 복호화 픽셀 블록 TPx,Py+8에 대하여 상기와 비슷한 복호화 프로세스를 수행한다. 다음의 프로세스도 마찬가지로 수행된다. 일단 Py가 W보다 작지 않으면, 1개의 프레임에 대한 복호화 프로세스를 종료한다.
도 11은 도 10의 스텝 S85에서의 프레임간 역 AOT 복호화 프로세스를 나타낸다. 스텝 S90에서는, DC 값, 즉 각 종속 픽셀 블록의 DCi(i=1∼4)를 부호 데이터 CD로부터 판독한다. 스텝 S91에서는, 복호화된 종속 픽셀 블록 Ti과 선행 종속 픽셀 블록 Fi를 인덱싱하는 레지스터 i를 i=0으로 초기화한다. 스텝 S92에서는, 베이스 수 nk를 부호 데이터 CD로부터 판독한다. 스텝 S93에서는, nk가 7보다 큰지 아닌지 여부를 판정한다. nk가 7보다 크면, 스텝 S94로 가서, 현 종속 픽셀 벡터 <Bi를 부호 데이터 CD로부터 판독한다. DC값, 즉 DCi를 그 벡터에 더하고, 그 합계를, 현 종속 픽셀 블록 Ti로서 프레임 버퍼(15) 내의 대응하는 위치 내에(종속 픽셀 블록에 대한 인덱스 레지스터 i와 위치 레지스터(Px, Py)에 의해 지정된 위치) 저장한다.
nk가 7보다 크지 않으면, 스텝 S95로 가서, 8 ×8 픽셀의 선행 픽셀 블록 FPx,My, FPx,My를 4 ×4 픽셀의 4개의 선행 종속 픽셀 블록 Fi(i=1∼4)으로 분할하고, 그것의 각각으로부터 DC값, 즉 DCi(i=1∼4)을 분리한다. 나머지 AC성분은 선행 종속 픽셀 벡터 Fi(i=1∼4)라고 칭한다.
스텝 S96에서는, nk가 1인지 아닌지 여부를 판정한다. nk가 1이면, 스텝 S97로 가서, 복호화된 종속 픽셀 벡터 <Ti= αi<Fi+ DCi에 의해 재생되는 스칼라 계수 αi를, 부호 데이터 CD로부터 판독하고, 프레임 버퍼(15) 내의 대응 위치 내에 저장한다. nk가 1이 아니면, 스텝 S98에서는 nk만큼의 스칼라 전개 계수 βq, nk-1만큼의 추출된 픽셀 블록 <Uq(q=2∼nk)의 좌표(x, y) 및 서브 샘블 간격(sx, sy)를 부호 데이터 CD로부터 판독한다. 스텝 S99에서는, DC값, 즉 종속 픽셀 블록 Bi의 DCi를 이들 데이터에 근거하여 비직교 베이스 벡터 Bq<Uq의 선형 결합에 더해서 프레임 버퍼(15) 내의 대응 위치 내에 저장되는 복호화된 종속 픽셀 벡터<Ti를 생성한다. 이 점에 대하여, 이 경우에 있어서의 제 1 베이스 벡터 <U1=<F1는 부호화부(14)에 이미 알려져 있다.
스텝 S100에서는, 레지스터 i에 1을 더하고, 스텝 S101에서는, i가 5보다 작은지 아닌지 여부를 판정하다. i가 5보다 작으면, 스텝 S92로 되돌아가서, 다음의 복호화된 종속 픽셀 블록 Ti에 대하여 상기와 비슷한 복호화 프로세스를 수행한다. 일단 i가 5보다 작지 않으면, 복호화된 종속 픽셀 블록 T1∼T4의 복호화 재생 프로세스는 종료하게 되어 중단된다.
다음에, 본 발명에 따른 AOT 방법과 종래의 DCT 방법에 의해 이동 보상된 프레임간 예상에 있어서 오류의 부호화시의 효율을 비교한다. 도 15 및 도 16은 AOT(1) 및 DCT(2)에 의해 부호(픽셀마다의 비트)의 양과 PSNR(peak-to-peak signal-to-noise ratio)의 화질과의 관계를 각각 나타낸다. 도 15는 전체 배경의 "가든(garden)"에 대한 관계를 나타내고, 도 16은 포스터 화면의 "모빌(mobile)"에 대한 관계를 나타낸다. 이 점에 대하여, 샘플 화상을 표시하지 않더라도, "가든"(Y성분, 720 ×486 픽셀, 256 경사도)은 통상적으로 사용된 비디오 시퀀스로부터 로드 다운(load-down)되어, http://www.ee.princeton.edu^ykchen/coding.html # SEQ의 RPI에 의해 정지하지만, "모빌"(G서분, 720 ×486 픽셀, 256 경사도)는 통상적으로 사용된 비디오 시퀀스로부터 로드 다운되어, http://www.ee.princeton.edu^ykchen/coding.html # SEQ의 RPI에 의해 정지한다.
비교 테스트를 위한 조건은 다음과 같이 결정된다.
BPP=(전체 데이터의 양[비트])/(원형 화상의 픽셀 수)
이때, ε2는 픽셀마다의 평균 스퀘어 오류, 하프만 테이블의 부호를 포함하는 전체 데이터의 양 및 이동 벡터를 나타낸다. 이 화상 데이터는 단색의 밀도 화상으로 간주되고, 이때 4개의 연속된 프레임이 사용된다. "모빌"의 G성분은 동화상 데이터로서 사용된다. 이동 보상된 프레임간 예상은 AOT 또는 DCT에 있어서 8 ×8 픽셀의 각 매크로 블록의 법선 방향에서 수행된다. 이동 벡터 <M>=(Mx, My)의 크기는 -16Mx, My<15이라고 간주되고, 스퀘어 오류를 최소화하는 <M>은 전체 검색에 의해 얻어진다. 이동 벡터 <M>의 2개의 성분은 하프만 부호화에 의해 다른 것과 관계없이 예상되어 부호화된다. 게다가, 화상의 일그러짐이 없는 데이터는 0번째 프레임에 대하여 사용되어, 제 1 프레임에 대하여 예상된 오류가 계산된다. DCT를 위한 양자화 테이블에 있어서, 모든 성분은 16이라고 간주된다. 하프만 부호화 테이블은 어느 프레임이나 모두 최적화된다. 기본 압축 알고리즘은 MPEG-2[문헌 9]에 따른다.
"가든"에 관한 도 15와 "모빌"에 관한 도 16에 있어서, 각 도면의 (a), (b), (c)는 제 1, 제 2 및 제 3 프레임의 프로세싱의 결과에 각각 해당하고, 실선은 AOT의 결과에 해당하며, 점선은 DCT의 결과에 해당하고, 실선의 노드점은 좌측에서 시작하는 1600, 800, 400, 200 및 100의 허용 오류 Z에 해당한다. 도 14 및 도 15로부터, DCT에 대하여 1.12∼1.17 BPP의 부호 양이 요구되어 1.0 BPP의 부호 양을 가지고 프레임간 AOT에 의해 달성된 화질을 얻는다는 것에 유념한다. 비슷하게, 실질적이라고 생각되는 35∼40 dB 범위 내의 화질에 대하여, 프레임간 AOT의 부호 양은 DCT의 부호 양보다 작은 10∼25%이라는 것에 유념한다.
"모빌"의 결과와 "가든"의 결과를 비교하면, AOT에 의한 부호화 효율의 향상은 단순한 형태의 물체의 평행 이동에 의해 형성된 "모빌"보다는 자연적인 광경의 "가든"에 대해서 더 두드러진다. 이것은, "가든"이 보다 복잡한 물체 및 이동을 포함하기 때문이고, 그것에 의해, DCT에서의 프레임간 예상 오류는 "모빌"보다 더 크고 더 복합하다. DCT는, 물체의 화상에 인접하는 픽셀(화소)간의 상호 관계가 중요한 경우에 최고의 부호화 효율을 갖는 직교 변형이다. 이와 같이, 방향의 의존은 DCT에서의 화상 평면의 주요 성분에 대하여 더 현저하고, DCT는 국소화된 프레임간 예상 오류의 압축에 적합한 베이스 시스템이라고 거의 간주되지 않는다.
반대로, AOT에서의 제 1 베이스는 이동 보상에 의해 얻어진 가장 많이 관련된 픽셀(밝기) 벡터이므로, 예상된 오류의 근사화에 적합한 고주파수 성분는 제 1 베이스와 직교한 제 2 베이스로부터 전적으로 달성된다. 특히, 그 성분이 물체 주변의 주위에 집중되는 제 2 베이스가 용이하게 형성되어, 사용된 베이스 수의 감소를 기대할 수 있다. 이 효과 때문에, 오류 근사화는 종래의 직교 변형(DCT 등)보다 작은 양의 부호에 의해 가능해진다. 따라서, 선행 프레임과의 상호 관계가 항상 이용 가능한 AOT는, 베이스 벡터가 부호화될 데이터와 관계없이 규정되는 DCT보다도 높은 부호화 효율을 달성할 수 있다.
이동 벡터 계산 프로세스의 예에 대해서는 상기 도 5에 따라 설명하였지만, 이동 벡터는 다양한 다른 공지된 방법에 의해 획득될 수 있다.
게다가, 도 3a의 동화상 부호장치에 있어서, 부호 데이터 CD는, 하프만 부호화에 영향을 받은 후에 출력될 것이다. 도 3b의 동화상 복호장치에 있어서도, 부호데이터 CD는 하프만 복호화에 영향을 받은 후에 입력될 것이다.
상술한 바와 같이, TV에서의 동화상 데이터, 애니메이션, CG-게임 등을, 고속으로, 고화질로, 그리고 높은 데이터 압축률(부호화 효율)로 부호화/복호화할 수 있어, 동화상 프로세싱 기술에 상당히 기여한다.
본 발명은 완전하고 분명한 개시를 위한 특정 실시예에 대하여 설명했지만, 추가된 청구항은 이와 같이 한정되는 것이 아니라 본 발명이 속하는 기술분야의 당업자에게서 일어날 수 있는 모든 변형 및 대체 구성을 실시함으로써 해석될 것이다.

Claims (10)

  1. 부호화될 현 화상의 픽셀 블록과 선행 프레임의 소정의 영역 내의 선행 화상의 픽셀 블록을 차례로 비교하는 단계와,
    매칭 오류를 최소화하는 특정 선행 화상 픽셀 블록을 탐색하는 단계와,
    상기 특정 선행 화상 픽셀 블록에 대한 상기 매칭 오류가 허용 값을 초과하면, 상기 특정 선행 화상 픽셀 블록을 포함하는 소정의 영역 내의 선행 화상 데이터를 그것의 네스트로서 갖는 프레임간 적응 직교 변형에 의해 상기 현 화상 픽셀 블록의 AC 성분 벡터를 근사화하는 1개 또는 그 이상의 직교 베이스 시스템을 얻는 단계과,
    상기 화상 데이터를 부호화하는 단계를 구비한 것을 특징으로 동화상 부호방법.
  2. 제 1 항에 있어서,
    상기 현 화상 픽셀 블록의 AC 성분 벡터를 근사화하는 제 1 베이스는, 상기 특정 선행 화상 픽셀 블록의 AC 성분 벡터에 근거하여 생성되는 것을 특징으로 하는 동화상 부호방법.
  3. 제 2 항에 있어서,
    상기 현 화상 픽셀 블록의 AC 성분 벡터 <B>를 근사화하는 상기 직교 베이스 시스템이, 네스트 픽셀 블록 Uq의 AC 성분 벡터 <Uq에 근거한 각각의 표준화된 직교 베이스 <V'q의 선형 결합: α1<V'1+ α2<V'2+ …+ αnk<V'nk로 표시되고, 수 nk가 특정 선행 픽셀 블록 F을 포함한다고 가정하면, 상기 결합은 AC 성분 벡터 <Uq를 이용하여 상기 결합과 동등한 선형 결합: β1<U1+ β2<U2+ …+ βnk<Unk으로 변형되고,
    적어도 AC 성분 벡터 <Uq(q=2∼nk)와 관련된 서브 샘플링 간격(sx, sy)뿐만 아니라 상기 베이스 수 nk, 스칼라 전개 계수 βq(q=1∼nk) 및 네스트 픽셀 블록의 좌표(x, y)가 부호화되는 것을 특징으로 하는 동화상 부호방법.
  4. 제 3 항에 있어서,
    상기 현 화상 픽셀 블록 자체는, 상기 베이스 수 nk가 소정의 값을 초과할 때 부호화되는 것을 특징으로 하는 동화상 부호방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 현 픽셀 블록과 그것에 대응하는 특정 선행 픽셀 블록은 어느 한 쪽이동일한 치수의 종속 픽셀 블록으로 분리되고,
    상기 종속 픽셀 블록의 각각은 프레임간 적응 직교 변형에 영향을 받는 것을 특징으로 하는 동화상 부호방법.
  6. 제 1 항에 있어서,
    상기 특정 선행 화상 픽셀 블록에 관한 매칭 오류가 허용 값을 초과하지 않으면, 상기 현 화상 픽셀 블록은 특정 선행 화상 픽셀 블록을 나타내는 이동 벡터에 근거하여 부호화되는 것을 특징으로 하는 동화상 부호방법.
  7. 픽셀 블록을 포함하는 현 화상 데이터를 저장하는 제 1 메모리와,
    픽셀 블록을 포함한 선행 프레임 내에 화상 데이터를 저장하는 제 2 메모리와,
    상기 선행 프레임의 소정의 영역 내의 선행 픽셀 블록과 부호화될 현 화상의 상기 픽셀 블록을 순차 비교함으로써 매칭 오류를 최소화하는 상기 선행 프레임의 특정 픽셀 블록을 나타내는 이동 벡터를 계산하는 이동 벡터 계산부와,
    상기 특정 선행 픽셀 블록에 관한 매칭 오류가 허용 값을 초과하면, 상기 특정 선행 픽셀 블록을 포함하는 소정의 영역 내의 선행 화상 데이터를 네스트로서 갖는 프레임간 적응 직교 변형에 의해 상기 현 화상 픽셀 블록의 AC 성분 벡터를근사화하는 1개 또는 그 이상의 직교 베이스 시스템을 계산하고, 상기 직교 베이스 시스템을 부호화하는 프레임간 적응 직교 변형 부호화부를 구비한 것을 특징으로 하는 동화상 부호장치.
  8. 제 7 항에 있어서,
    특정 선행 픽셀 블록에 관한 매칭 오류가 허용 값을 초과하지 않으면, 상기 현 화상 픽셀 블록은, 상기 프레임간 적응 직교 변형 부호화부에 의해, 특정 선행 픽셀 블록을 나타내는 이동 벡터에 근거하여 부호화되는 것을 특징으로 하는 동화상 부호장치.
  9. 제 7 항 또는 제 8 항에 있어서,
    상기 제 2 메모리 내의 선행 프레임의 화상 데이터와 상기 프레임간 적응 직교 변형 부호화부의 부호 출력에 근거하여 상기 현 화상 픽셀 블록을 순차 복호화/저장하여, 이들을 선행 프레임의 상기 화상 데이터로서 상기 제 2 메모리에 전송하는 복호화부를 더 구비한 것을 특징으로 하는 동화상 부호장치.
  10. 컴퓨터에 의해 판독 가능한 기록매체에 있어서, 상기 컴퓨터에서 제 1 항 내지 제 6 항 중 어느 한 항에 기재된 프로세스를 실행하는 프로그램이 기록되는 것을 특징으로 하는 기록매체.
KR10-1999-0060777A 1998-12-24 1999-12-23 동화상 부호방법 및 부호장치와 동화상 부호 프로그램을기록하는 기록매체 KR100378339B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP10-367608 1998-12-24
JP36760898A JP2000197054A (ja) 1998-12-24 1998-12-24 動画像符号方法及びそのプログラムを記録した記録媒体並びに装置

Publications (2)

Publication Number Publication Date
KR20000052551A KR20000052551A (ko) 2000-08-25
KR100378339B1 true KR100378339B1 (ko) 2003-03-29

Family

ID=18489743

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-1999-0060777A KR100378339B1 (ko) 1998-12-24 1999-12-23 동화상 부호방법 및 부호장치와 동화상 부호 프로그램을기록하는 기록매체

Country Status (8)

Country Link
US (1) US6731810B1 (ko)
EP (1) EP1014727A3 (ko)
JP (1) JP2000197054A (ko)
KR (1) KR100378339B1 (ko)
CN (1) CN1149850C (ko)
CA (1) CA2292820A1 (ko)
MX (1) MXPA99012106A (ko)
TW (1) TW454159B (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003534743A (ja) * 2000-05-19 2003-11-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 方法、システム及び装置
JP4570065B2 (ja) * 2001-04-13 2010-10-27 Ｋｄｄｉ株式会社 適応直交変換符号化装置
US7151856B2 (en) * 2002-04-25 2006-12-19 Matsushita Electric Industrial Co., Ltd. Picture coding apparatus and picture coding method
US7903892B2 (en) * 2002-10-29 2011-03-08 Ati Technologies Ulc Image analysis for image compression suitability and real-time selection
US7643679B2 (en) * 2003-02-13 2010-01-05 Ati Technologies Ulc Method and apparatus for block based image compression with multiple non-uniform block encodings
US7764833B2 (en) * 2003-02-13 2010-07-27 Ati Technologies Ulc Method and apparatus for anti-aliasing using floating point subpixel color values and compression of same
US8111928B2 (en) * 2003-02-13 2012-02-07 Ati Technologies Ulc Method and apparatus for compression of multi-sampled anti-aliasing color data
US7606429B2 (en) * 2005-03-25 2009-10-20 Ati Technologies Ulc Block-based image compression method and apparatus
US20080129361A1 (en) * 2006-12-05 2008-06-05 Rajesh Mamidwar Method and system for programmable delays on transport outputs
WO2012155136A2 (en) * 2011-05-12 2012-11-15 The Johns Hopkins University Method and system for registering images
JP6537396B2 (ja) * 2015-08-03 2019-07-03 キヤノン株式会社 画像処理装置、撮像装置および画像処理方法
EP3166313A1 (en) 2015-11-09 2017-05-10 Thomson Licensing Encoding and decoding method and corresponding devices
CN111787330B (zh) * 2020-06-16 2022-03-08 眸芯科技（上海）有限公司 支持解码压缩帧缓存自适应分配的编码方法及应用

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5157743A (en) * 1987-10-28 1992-10-20 Canon Kabushiki Kaisha Image information coding apparatus
FR2700632B1 (fr) * 1993-01-21 1995-03-24 France Telecom Système de codage-décodage prédictif d'un signal numérique de parole par transformée adaptative à codes imbriqués.
AUPM661494A0 (en) * 1994-07-01 1994-07-28 Commonwealth Scientific And Industrial Research Organisation Fractal representation of data
US6215910B1 (en) * 1996-03-28 2001-04-10 Microsoft Corporation Table-based compression with embedded coding
WO1997040628A1 (en) * 1996-04-19 1997-10-30 Nokia Mobile Phones Limited Video encoder and decoder using motion-based segmentation and merging
US6463341B1 (en) * 1998-06-04 2002-10-08 The United States Of America As Represented By The Secretary Of The Air Force Orthogonal functional basis method for function approximation

Also Published As

Publication number Publication date
TW454159B (en) 2001-09-11
US6731810B1 (en) 2004-05-04
JP2000197054A (ja) 2000-07-14
CN1264255A (zh) 2000-08-23
MXPA99012106A (es) 2004-12-01
CN1149850C (zh) 2004-05-12
EP1014727A2 (en) 2000-06-28
KR20000052551A (ko) 2000-08-25
EP1014727A3 (en) 2001-06-27
CA2292820A1 (en) 2000-06-24

Similar Documents

Publication Publication Date Title
US6563953B2 (en) Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock
EP1389016B1 (en) Improved motion estimation and block matching pattern
US9332270B2 (en) Apparatus capable of performing both block-matching motion compensation and global motion compensation and method thereof
US6983018B1 (en) Efficient motion vector coding for video compression
US8625916B2 (en) Method and apparatus for image encoding and image decoding
US8588304B2 (en) Video decoding device, video decoding method, video decoding program, and video decoding integrated circuit
EP1379000A1 (en) Signal encoding method and apparatus and decoding method and apparatus
KR100378339B1 (ko) 동화상 부호방법 및 부호장치와 동화상 부호 프로그램을기록하는 기록매체
JP3979977B2 (ja) 階層的動きベクトルサーチを利用した動き推定法及び装置及びそれを適用した動映像符号化システム
KR20010052644A (ko) 블록 매칭 및 인테그럴 프로젝션을 이용하는 계층적 동작추정 프로세스 및 시스템
JP4993676B2 (ja) 画像符号化装置及び画像符号化方法
US20050123039A1 (en) Motion estimation method for motion picture encoding and recording medium having program recorded thereon to implement the motion estimation method
US7280598B2 (en) Method for vector prediction
JP3171249B2 (ja) 動画像符号化の動きベクトル探索方法
JPH1066083A (ja) 動きべクトル探索方式
JPH10126788A (ja) エンコード装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20060215

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee