KR100393123B1

KR100393123B1 - 동화상의부호화방법및복호화방법

Info

Publication number: KR100393123B1
Application number: KR10-1998-0021034A
Authority: KR
Inventors: 유이치로 나카야; 요시토 네지메
Original assignee: 가부시끼가이샤 히다치 세이사꾸쇼
Priority date: 1997-06-09
Filing date: 1998-06-08
Publication date: 2003-09-19
Also published as: JP5392434B2; US7724969B2; EP2288165B1; JP2013051711A; US8942500B2; US20100135402A1; JP2013051710A; US20110013698A1; US7236635B2; TW411698B; US7724968B2; US7072518B2; US7929779B2; TW465227B; US7801376B2; US7801375B2; EP2288164A1; US20130188711A1; US7801369B2; US20140219351A1

Abstract

휘도 또는 색차의 강도값이 정수로 양자화되는 화상부호화/복호화방법에 있어서, 움직임보상에 있어서 실행되는 쌍1차 내삽처리에 의해서 발생하는 사사오입오차의 축적을 방지하기 위해, 움직임보상을 사용하여 예측화상을 합성하는 단계 및;상기 예측화상과 입력화상의 차분화상에 관한 정보와 상기 움직임보상에 의해 구해진 움직임벡터에 관한 정보를 다중화하는 단계를 포함하고, 상기 예측화상은 정의 사사오입을 사용하는 움직임보상에 의해 합성되는 경우와 부의 사사오입을 사용하는 움직임보상에 의해 합성되는 경우를 갖는 구성으로 하였다.

이와 같이 하는 것에 의해, P+프레임과 P-프레임 양쪽을 사용하는 것에 의해서, 발생된 사사오입오차를 상쇄시킬 수 있어 오차의 축적을 방지할 수 있게 된다.

Description

동화상의 부호화방법 및 복호화방법{IMAGE SEQUENCE CODING METHOD AND DECODING METHOD}

본 발명은 프레임간 예측을 실행하고 휘도 또는 색의 강도가 양자화된 수치로서 표시되는 동화상의 부호화 및 복호화방법에 관한 것이다.

동화상의 고능률 부호화에 있어서 시간적으로 근접한 프레임간의 유사성을 활용하는 프레임간 예측(움직임보상)은 정보압축에 큰 효과를 나타낸다는 것이 알려져 있다. 현재의 화상부호화기술의 주류로 되고 있는 움직임보상방식은 동화상 부호화방식의 국제표준인 H. 263, MPEG1, MPEG2에 채용되고 있는 반화소정밀도의 블럭매칭이다. 이 방식에서는 부호화하고자 하는 화상을 다수의 블럭으로 분할하고, 블럭마다 그의 움직임벡터를 수평, 수직방향으로 인접화소간 거리의 1/2의 길이를 최소 단위로서 구한다. 이 처리를 수식을 사용해서 표현하면 다음과 같이 된다. 부호화하고자 하는 프레임(현재프레임)의 예측화상P의 좌표(x, y)에 있어서의 샘플값(휘도 또는 색차 강도의 샘플값)을 P(x, y), 참조화상R(P와 시간적으로 근접해 있고, 이미 부호화가 완료되어 있는 프레임의 복호화화상)의 좌표(x, y)에 있어서의 샘플값을 R(x, y)로 한다. 또, x와 y는 정수인 것으로 하고 P와 R에서는 좌표값이 정수인 점에 화소가 존재하는 것으로 가정한다. 또, 화소의 샘플값은 부가 아닌 정수로서 양자화되어 있는 것으로 한다. 이 때, P와 R의 관계는

P(x,~y)~=~R(x+u SUB { i } ,~y+v SUB { i } )(x,~y)∈B SUB { i } ,~0≤iN

로 표시된다. 단, 화상은 N개의 블럭으로 분할되는 것으로 하고, Bi는 화상의 i번째 블럭에 포함되는 화소, (ui, vi)는 i번째 블럭의 움직임벡터를 나타내고 있다.

ui와 vi의 값이 정수가 아닌 경우에는 참조화상에 있어서 실제로는 화소가 존재하지 않는 점의 강도값을 구하는 것이 필요하게 된다. 이 때의 처리로서는주변 4화소를 사용한 쌍1차 내삽(bilinear interpolation)이 사용되는 경우가 많다. 이 내삽방식을 수식으로 기술하면 d를 정의 정수, 0≤p, q<d로 하고 R(x+p/d, y+q/d)는

로 표시된다. 단, 「//」는 제산의 일종으로서, 통상의 제산(실수연산에 의한 제산)의 결과를 근접해 있는 정수로 사사오입(반올림 ; rounding)하는 것을 특징으로 하고 있다.

도 1에 H. 263의 부호화장치의 구성예(100)을 도시한다. H. 263은 부호화방식으로서, 블럭매칭과 DCT(이산코사인변환)을 조합한 하이브리드 부호화방식(프레임간/프레임내 적응부호화방식)을 채용하고 있다. 감산기(102)는 입력화상(현재프레임의 원(原)화상)(101)과 프레임간/프레임내 부호화전환스위치(119)의 출력화상(113)(후술)과의 차를 계산하고, 오차화상(103)을 출력한다. 이 오차화상은 DCT변환기(104)에서 DCT계수로 변환된 후에 양자화기(105)에서 양자화되어 양자화DCT계수(106)으로 된다. 이 양자화DCT계수는 전송정보로서 통신로로 출력됨과 동시에 부호화장치내에서도 프레임간 예측화상을 합성하기 위해 사용된다. 이하, 예측화상합성의 수순을 설명한다. 상술한 양자화DCT계수(106)은 역양자화기(108)과 역DCT변환기(109)를 경유해서 복호오차화상(110)(수신측에서 재생되는 오차화상과 동일한 화상)으로 된다. 이것에 가산기(111)에 있어서 프레임간/프레임내 부호화전환스위치(119)의 출력화상(113)(후술)이 부가되고, 현재프레임의 복호화화상(112)(수신측에서 재생되는 현재프레임의 복호화화상과 동일한 화상)를 얻는다. 이 화상은 일단 프레임메모리(114)에 축적되고, 1프레임분의 시간만큼 지연된다. 따라서, 현시점에서는 프레임메모리(114)는 이전 프레임의 복호화화상(115)를 출력하고 있다. 이 이전프레임의 복호화화상과 현재프레임의 입력화상(101)이 블럭매칭부(116)에 입력되고, 블럭매칭의 처리가 실행된다. 블럭매칭에서는 화상을 여러개의 블럭으로 분할하고, 각 블럭마다 현재프레임의 원화상과 가장 유사한 부분을 이전 프레임의 복호화화상에서 추출하는 것에 의해 현재프레임의 예측화상(117)이 합성된다. 이 때 각 블럭이 이전 프레임과 현재프레임 사이에서 어느정도 이동했는지를 검출하는 처리(움직임 추정처리)를 실행할 필요가 있다. 움직임 추정처리에 의해 검출된 각 블럭마다의 움직임벡터는 움직임벡터정보(120)으로서 수신측으로 전송된다. 수신측은 이 움직임벡터정보와 이전 프레임의 복호화화상에서 독자적으로 송신측에서 얻어지는 것과 동일한 예측화상을 합성할 수 있다. 예측화상(117)은 「0」신호(118)과 함께 프레임간/프레임내 부호화전환스위치(119)에 입력된다. 이 스위치는 양 입력 중 어느 한쪽을 선택하는 것에 의해 프레임간 부호화와 프레임내 부호화를 전환한다. 예측화상(117)이 선택된 경우(도 2는 이 경우를 도시하고 있다)에는 프레임간 부호화가 실행된다. 한편, 「0」신호가 선택된 경우에는 입력화상이 그대로 DCT부호화되어 통신로로 출력되므로 프레임내 부호화가 실행되게 된다. 수신측이 정확하게 복호화화상을 얻기 위해서는 송신측에서 프레임간 부호화가 실행되었는지 프레임내 부호화가 실행되었는지를 알 필요가 있다. 이 때문에, 식별플래그(121)이 통신로로 출력된다. 최종적인 H. 263부호화비트열(123)은 다중화기(122)에서 양자화DCT계수, 움직임벡터, 프레임내/프레임간 부호화 식별플래그의 정보를 다중화하는 것에 의해서 얻어진다.

도 2에 도 1의 부호화장치가 출력한 부호화비트열을 수신하는 복호화장치(200)의 구성예를 도시한다. 수신한 H. 263비트열(217)은 분리기(216)에서 양자화DCT계수(201), 움직임벡터정보(202), 프레임간/프레임내 부호화 식별플래그(203)으로 분리된다. 양자화DCT계수(201)은 역양자화기(204)와 역DCT변환기(205)를 경유해서 복호화된 오차화상(206)으로 된다. 이 오차화상은 가산기(207)에서 프레임간/프레임내 부호화 전환스위치(214)의 출력화상(215)와 가산되어 복호화화상(208)로서 출력된다. 프레임간/프레임내 부호화 전환스위치는 프레임간/프레임내 부호화 식별플래그(203)에 따라서 출력을 전환한다. 프레임간 부호화를 실행하는 경우에 사용하는 예측화상(212)는 예측화상합성부(211)에 있어서 합성된다. 여기에서는 프레임메모리(209)에 축적되어 있는 이전 프레임의 복호화화상(210)에 대해서 수신한 움직임벡터정보(202)에 따라 블럭마다 위치를 이동시키는 처리가 실행된다. 한편, 프레임내 부호화의 경우, 프레임간/프레임내 부호화 전환스위치는 「0」신호(213)을 그대로 출력한다.

H. 263이 부호화하는 화상은 휘도정보를 갖는 1개의 휘도면(Y면)과 색정보(색차정보라고도 한다)를 갖는 2개의 색차면(U면과 V면)으로 구성되어 있다. 이 때, 화상이 수평방향으로 2m개의 화소, 수직방향으로 2n개의 화소를 갖고 있는 경우(m과 n은 정의 정수로 한다)에 Y면은 수평방향으로 2m개, 수직방향으로 2n개의 화소를 갖고, U면 및 V면은 수평방향으로 m개, 수직방향으로 n개의 화소를 갖는 것을 특징으로 하고 있다. 이와 같이 색차면의 해상도가 낮은 것은 사람의 시각이 색차의 공간적인 변화에 비교적 둔감하다는 특징을 갖고 있기 때문이다. 이와 같은 화상을 입력으로 하고 H. 263에서는 매크로블럭이라 불리는 블럭을 단위로 해서 부호화 및 복호화의 처리가 실행된다. 도 3에 매크로블럭의 구성을 도시한다. 매크로블럭은 Y블럭, U블럭, V블럭의 3개의 블럭으로 구성되고, 휘도값 정보를 갖는 Y블럭(301)의 크기는 16×16화소, 색차정보를 갖는 U블럭(302) 및 V블럭(303)의 크기는 각각 8×8화소로 되어 있다.

H. 263에서는 각 매크로블럭에 대해서 반화소정밀도의 블럭매칭이 적용된다. 따라서, 추정된 움직임벡터를 (u, v)로 하면 u와 v는 각각 화소간 거리의 절반 즉 1/2을 최소단위로 해서 구해지게 된다. 이 때의 강도값(이하에서는 「휘도값」과 색차의 강도값을 총칭해서 「강도값」이라 한다)의 내삽처리의 형태를 도 4에 도시한다. H. 263에서는 수학식 2의 내삽을 실행할 때 제산의 결과는 가장 가까운 정수로 사사오입되고 또한 제산의 결과가 정수에 0. 5를 더한 값으로 될 때에는 이것을 0에서 멀어지는 방향으로 올림하는 처리가 실행된다. 즉, 도 4에 있어서 화소(401), (402), (403), (404)의 강도값을 각각 La, Lb, Lc, Ld(La, Lb, Lc, Ld는 부가 아닌 정수)로 하면, 내삽에 의해 강도값을 구하고자 하는 위치(405), (406), (407), (408)의 강도값Ia, Ib, Ic, Id(Ia, Ib, Ic, Id는 부가 아닌 정수)는 이하의 수학식에 의해서 표시된다.

단, 「[ ]」는 소수(fractional)부분을 버리는 제산을 나타내고 있다. 이 때, 제산의 결과를 정수값으로 사사오입하는 처리에 의해서 발생하는 오차의 기대값을 계산하는 것을 고려한다. 내삽에 의해 강도값을 구하고자 하는 위치가 도 4의 위치(405), (406), (407), (408)로 될 확률을 각각 1/4로 한다. 이 때, 위치(405)의 강도값Ia를 구할 때의 오차는 명백히 0이다. 또, 위치(406)의 강도값Ib를 구할 때의 오차는 La+Lb가 우수인 경우에는 0, 기수인 경우에는 올림이 실행되므로 1/2로 된다. La+Lb가 우수로 될 확률과 기수로 될 확률은 모두 1/2인 것으로 하면, 오차의 기대값은 0×1/2+1/2×1/2=1/4로 된다. 위치(407)의 강도값Ic를 구할 때에도 오차의 기대값은 Ib의 경우와 마찬가지로 1/4로 된다. 위치(408)의 강도값Ic를 구할 때에는 La+Lb+Lc+Ld를 4로 나누었을 때의 나머지가 0, 1, 2, 3인 경우의 오차는 각각 0, -1/4, 1/2, 1/4로 되고, 나머지가 0∼3으로 될 확률을 각각 등확률(等確率)로 하면, 오차의 기대값은0×1/4-1/4×1/4+1/2×1/4+1/4×1/4=1/8로 된다. 상술한 바와 같이 위치(405)∼(408)에 있어서의 강도값이 계산될 확률이 등확률인 것으로 하면 최종적인 오차의 기대값은 0×1/4+1/4×1/4+1/4×1/4+1/8×1/4=5/32로 된다. 이것은 1회의 블럭매칭에 의한 움직임보상을 실행할 때마다 화소의 강도값에 5/32의 오차가 발생하는 것을 의미하고 있다. 일반적으로 저레이트 부호화의 경우에는 프레임간 예측오차를 부호화하기 위한 비트수를 충분히 확보할 수 없기 때문에 DCT계수의 양자화 스텝사이즈를 크게 하는 경향이 있다. 따라서, 움직임보상에서 발생한 오차를 오차부호화에 의해서 수정하기 어렵게 된다. 이와 같은 경우에 프레임내 부호화를 실행하지 않고 프레임간 부호화를 쭉 계속한 경우에는 상기 오차가 축적되어 재생화상에 나쁜 영향을 미치는 경우가 있다.

앞서 설명한 바와 같이, 색차면의 화소수는 종방향, 횡방향 모두 화소수가 1/2로 되어 있다. 따라서, U블럭과 V블럭에 대해서는 Y블럭의 움직임벡터의 수평 및 수직성분을 각각 2로 나눈 값이 사용된다. 이 때, 본래의 Y블럭의 움직임벡터의 수평 및 수직성분인 u와 v가 1/2의 정수배의 값이므로 통상의 제산을 실행한 경우에는 움직임벡터는 1/4의 정수배의 값이 출현하게 된다. 그러나, 좌표값이 1/4의 정수배를 취할 때의 강도값의 내삽연산이 복잡하게 되므로 H. 263에서는 U블럭과 V블럭의 움직임벡터도 반화소정밀도로 사사오입된다. 이 때의 사사오입방법은 다음과 같다. 여기에서, u/2=r+s/4인 것으로 한다. 이 때, r과 s는 정수이고, 또 s는 0이상 3이하의 값을 취하는 것으로 한다. s가 0 또는 2일 때에는 u/2는 1/2의 정수배이므로 사사오입을 실행할 필요가 없다. 그러나, s가 1 또는 3일 때에는 이것을 2로 사사오입하는 조작이 실행된다. 이것은 s가 2로 될 확률을 높게 하는 것에 의해 강도값의 내삽이 실행되는 횟수를 증가시키고, 움직임 보상처리에 필터링의 작용을 갖게 하기 위해서이다. 사사오입이 실행되기 전의 s의 값이 0∼3의 값을 취할 확률을 각각 1/4로 한 경우, 사사오입이 종료한 후에 s가 0, 2로 될 확률은 각각 1/4과 3/4으로 된다. 이상은 움직임 벡터의 수평성분u에 관한 의론이었지만, 수직성분인 v에 관해서도 완전히 동일한 의론을 적용할 수 있다. 따라서, U블럭 및 V블럭에 있어서 (401)의 위치의 강도값이 구해질 확률은 1/4×1/4=1/16, (402) 및 (403)의 위치의 강도값이 구해질 확률은 모두 1/4×3/4=3/16, (404)의 위치의 강도값이 구해질 확률은 3/4×3/4=9/16로 된다. 이것을 사용해서 상기와 마찬가지의 방법에 의해 강도값의 오차의 기대값을 구하면 0×1/16+1/4×3/16+1/4×3/16+1/8×9/16=21/128로 되고, 앞서 설명한 Y블럭의 경우와 마찬가지로 프레임내 부호화를 계속한 경우의 오차의 축적이라는 문제가 발생한다.

상술한 바와 같이, 프레임간 예측을 실행하고 휘도 또는 색의 강도가 양자화된 수치로서 표시되는 동화상의 부호화 및 복호화 방법에서는 프레임간 예측에 있어서 휘도 또는 색의 강도를 양자화할 때의 오차가 축적되는 경우가 있다.

본 발명의 목적은 상기 오차의 축적을 방지하는 것에 의해 재생화상의 화질을 향상시키는 것이다.

도 1은 H. 263의 화상부호화장치의 구성예를 도시한 도면,

도 2는 H. 263의 화상복호화장치의 구성예를 도시한 도면,

도 3은 H. 263에 있어서의 매크로블럭의 구성을 도시한 도면,

도 4는 반화소정밀도의 블럭매칭에 있어서의 휘도값의 내삽처리 형태를 도시한 도면,

도 5는 부호화된 화상계열의 형태를 도시한 도면,

도 6은 소프트웨어 화상부호화장치의 구성예를 도시한 도면,

도 7은 소프트웨어 화상복호화장치의 구성예를 도시한 도면,

도 8은 소프트웨어 화상부호화장치에 있어서의 처리의 흐름예를 도시한 도면,

도 9는 소프트웨어 화상부호화장치에 있어서의 부호화모드 결정처리의 흐름예를 도시한 도면,

도 10은 소프트웨어 화상부호화장치에 있어서의 움직임추정 및 움직임보상처리의 흐름예를 도시한 도면,

도 11은 소프트웨어 화상복호화장치에 있어서의 처리의 흐름예를 도시한 도면,

도 12는 소프트웨어 화상복호화장치에 있어서의 움직임 보상처리의 흐름예를 도시한 도면,

도 13은 I프레임과 P+프레임과 P-프레임을 혼재시키는 부호화방법에 의해 부호화된 비트열을 기록한 축적미디어의 예를 도시한 도면,

도 14는 P+프레임과 P-프레임을 혼재시키는 부호화방법을 사용하는 장치의 구체예를 도시한 도면,

도 15는 I프레임과 B프레임과 P+프레임과 P-프레임을 혼재시키는 부호화방법에 의해 부호화된 비트열을 기록한 축적미디어의 예를 도시한 도면,

도 16은 P+프레임과 P-프레임을 혼재시키는 부호화방법을 사용하는 장치에 포함되는 블럭매칭부의 예를 도시한 도면,

도 17은 P+프레임과 P-프레임을 혼재시키는 부호화방법에 의해 부호화된 비트열을 복호화하는 장치에 포함되는 예측화상합성부의 예를 도시한 도면.

상기 목적을 달성하기 위해, 오차의 발생을 억제하거나 발생한 오차를 없애는 조작을 실행하는 것에 의해 오차의 축적을 방지한다.

즉, [1] 본 발명에 따른 화상의 부호화방법은 움직임보상을 사용하여 예측화상을 합성하는 단계 및; 상기 예측화상과 입력화상의 차분화상에 관한 정보와 상기 움직임보상에 의해 구해진 움직임벡터에 관한 정보를 다중화하는 단계를 포함하고, 상기 예측화상은 정의 사사오입을 사용하는 움직임보상에 의해 합성되는 경우와 부의 사사오입을 사용하는 움직임보상에 의해 합성되는 경우를 갖는 것을 특징으로 한다.

[2] 본 발명에 따른 화상의 부호화방법은 입력화상과 참조화상의 움직임보상을 사용하여 예측화상을 합성하는 단계 및; 상기 입력화상과 상기 예측화상의 차분화상에 관한 정보와 상기 움직임보상에 의해 구해진 움직임벡터에 관한 정보를 다중화하는 단계를 포함하고, 상기 움직임보상은 반화소정밀도를 갖고, 화소가 존재하지 않는 참조화상의 점에 있어서의 휘도 또는 색차의 강도값을 쌍1차내삽에 의해 구하는 것이고, Ib=[(La+Lb+1)/2], Ic=[(La+Lc+1)/2], Id=[(La+Lb+Lc+Ld+2)/4]에 따라서 정의 사사오입에 의해 상기 쌍1차 내삽을 계산하는 경우와 Ib=[(La+Lb)/2], Ic=[(La+Lc)/2], Id=[(La+Lb+Lc+Ld+1)/4]에 따라서 부의 사사오입에 의해 상기 쌍1차 내삽을 계산하는 경우를 갖는 것을 특징으로 한다.(여기서, La는 제1 화소의 강도값, Lb는 상기 제1 화소와 수평으로 인접하는 제2 화소의 강도값, Lc는 상기 제1 화소와 수직으로 인접하는 제3 화소의 강도값, Ld는 상기 제2 화소와 수직으로 인접하고 상기 제3 화소와 수평으로 인접하는 제4 화소의 강도값, Ib는 상기 제1 화소와 제2 화소의 중간점에 있어서의 내삽된 강도값, Ic는 상기 제1 화소와 제3 화소의 중간점에 있어서의 내삽된 강도값, Id는 상기 제1, 제2, 제3화소와 제4 화소의 중간점에 있어서의 내삽된 강도값을 나타낸다.)

[3] 본 발명에 따른 동화상의 부호화방법은 참조화상을 저장하는 단계; 상기 참조화상과 입력화상을 비교하여 움직임보상을 실행하고 예측화상의 합성 및 움직임벡터의 검출을 실행하는 단계 및; 상기 움직임벡터상의 정보와 상기 움직임보상의 화소의 강도값의 내삽에 사용된 사사오입방법을 식별하는 정보를 다중화하는 단계를 포함하는 것을 특징으로 한다.

[4] 본 발명에 따른 컴퓨터 리드가능한 매체는 화상의 부호화방법 프로그램이 기록된 컴퓨터 리드가능한 매체로서, 상기 화상의 부호화방법 프로그램은 제1 프레임메모리에 제1 프레임의 복호화된 화상을 저장하는 단계; 제2 프레임메모리에 제2 프레임의 입력화상을 저장하는 단계; 상기 제2 프레임메모리내의 상기 입력화상과 상기 제1 프레임메모리내의 상기 복호화된 화상의 움직임보상을 실행하는 단계 및; 상기 움직임보상에 사용된 사사오입방법에 관한 정보를 출력하는 단계를 포함하는 것을 특징으로 한다.

[5] 본 발명에 따른 화상 부호화기는 참조화상을 저장하는 메모리; 상기 참조화상과 입력화상의 움직임보상을 실행하여 예측화상의 합성 및 움직임벡터의 검출을 실행하는 블럭매칭부 및; 상기 움직임벡터의 정보와 상기 움직임보상의 화소값내삽에 사용되는 사사오입방법을 특정하는 정보를 포함하는 다중화된 정보를 발생하는 다중화기를 포함하는 것을 특징으로 한다.

[6] 본 발명에 따른 화상 부호화기는 현재 프레임의 입력화상과 움직임보상에 의해 합성된 상기 현재 프레임의 예측화상의 차분화상을 DCT변환하는 DCT변환기; 변환된 DCT계수를 양자화하는 양자화기; 참조프레임의 복호화화상을 저장하는 프레임메모리; 상기 참조프레임의 복호화화상과 상기 현재 프레임의 입력화상 사이에서 움직임보상을 실행하여 상기 현재 프레임의 예측화상의 합성 및 움직임벡터의 검출을 실행하는 블럭매칭부 및; 상기 양자화된 DCT계수에 관한 정보와 상기 움직임벡터에 관한 정보를 다중화하는 다중화기를 포함하고, 상기 블럭매칭부는 상기 예측화상을 합성하는 화소값내삽의 정의 사사오입과 부의 사사오입의 양쪽을 실행하고, 정의 사사오입은 정수에 가장 가까운 내삽결과를 사사오입하고, 0에서 멀어지는 방향으로 반정수값(정수에 0. 5를 가산)을 올림하는 사사오입을 실행하고, 부의 사사오입은 정수에 가장 가까운 내삽결과를 사사오입하고, 0으로 접근하는 방향으로 반정수값을 버리는 사사오입을 실행하는 것을 특징으로 한다.

[7] 본 발명에 따른 화상의 부호화방법은 참조화상을 저장하는 단계 및; 상기 참조화상과 입력화상을 비교하여 움직임보상을 실행하고 예측화상의 합성 및 움직임벡터의 검출을 실행하는 단계를 포함하고, 상기 예측화상을 합성하기 위해 상기 움직임보상의 화소값내삽에 사용되는 사사오입방법과 상기 참조화상의 예측화상을 합성하기 위해 사용되는 사사오입방법은 다른 것을 특징으로 한다.

[8] 본 발명에 따른 동화상의 부호화방법은 여러개의 프레임으로 이루어지는 동화상을 상기 프레임마다 부호화하는 동화상의 부호화방법에 있어서, 이전에 부호화된 프레임의 복호화화상과 현재 프레임의 입력화상에서 제1 움직임보상을 사용해서 상기 현재 프레임의 예측화상을 합성하는 단계; 상기 현재 프레임의 예측화상과 입력화상의 차분화상에 관한 정보를 생성하는 단계; 상기 차분화상에 관한 정보와 상기 제1 움직임보상에 의해 구해진 움직임벡터에 관한 정보를 다중화하고 출력하는 단계; 상기 현재 프레임의 차분화상과 예측화상에 관한 정보를 사용하여 상기 현재 프레임의 복호화화상을 합성하는 단계 및; 상기 현재 프레임의 복호화화상과 미래 프레임의 입력화상에서 제2 움직임보상을 사용해서 상기 미래 프레임의 예측화상을 합성하는 단계를 포함하고, 상기 제1 움직임보상과 상기 제2 움직임보상은 화소값내삽에 대해 정의 사사오입 또는 부의 사사오입중의 어느 하나를 사용하고, 상기 제1 움직임보상과 상기 제2 움직임보상에서 사용되는 사사오입방법은 다른 것을 특징으로 한다.

[9] 본 발명에 따른 동화상의 부호화방법은 여러개의 프레임으로 이루어지는 동화상을 움직임보상을 사용해서 각 프레임마다 부호화하는 동화상의 부호화방법에 있어서, 상기 동화상은 움직임보상에 있어서 단방향 예측을 실행하는 여러개의 P프레임을 포함하고, 예측화상을 합성하기 위해 정의 사사오입과 부의 사사오입을 사용하는 P프레임은 시간축을 따라서 교대로 나타나는 것을 특징으로 한다.

<실시예>

우선, 「종래의 기술」에서 기술한 사사오입오차의 축적이 어떠한 경우에 발생하는지에 대해서 고려한다. 도 5에 MPEG1, MPEG2, H. 263 등의 쌍방향 예측과 1방향 예측의 양쪽을 실행할 수 있는 부호화방법에 의해 부호화된 동화상의 예를 도시한다. 화상(501)은 프레임내 부호화에 의해서 부호화된 프레임으로서, I프레임이라 불린다. 이것에 대해서, 화상(503), (505), (507), (509)는 P프레임이라 불리며, 직전의 I 또는 P프레임을 참조화상으로 하는 1방향의 프레임간 부호화에 의해 부호화된다. 따라서, 예를 들면 화상(505)를 부호화할 때에는 화상(503)을 참조화상으로 하는 프레임간 예측이 실행된다. 화상(502), (504), (506), (508)은 B프레임이라 불리며, 직전과 직후의 I 또는 P프레임을 사용한 쌍방향의 프레임간 예측이 실행된다. B프레임은 다른 프레임이 프레임간 예측을 실행할 때 참조화상으로서 이용되지 않는다는 특징도 갖고 있다. 우선, I프레임에서는 움직임 보상이 실행되지 않으므로 움직임 보상이 원인으로 되는 사사오입오차는 발생하지 않는다. 이것에 대해서, P프레임에서는 움직임 보상이 실행되고 또한 다른 P 또는 B프레임의 참조화상으로서도 사용되므로, 사사오입오차의 축적을 야기하는 원인으로 된다. 한편, B프레임은 움직임보상이 실행되기 때문에 사사오입오차의 축적의 영향은 나타나지만, 참조화상으로서는 사용되지 않기 때문에 사사오입오차의 축적의 원인으로는 되지 않는다. 이 때문에 P프레임에 있어서의 사사오입오차의 축적을 방지하면 동화상 전체에서 사사오입오차의 악영향을 완화시킬 수 있다. 또한, H. 263에서는 P프레임과 B프레임을 일괄해서 부호화하는 PB프레임이라 불리는 프레임이 존재하지만(예를 들면, 프레임(503)과 (504)를 PB프레임으로서 일괄해서 부호화할 수 있다), 조합된 2개의 프레임을 별개의 것으로서 고려하면 상기와 동일한 의론을 적용할 수 있다. 즉, PB프레임중에서 P프레임에 상당하는 부분에 대해서 사사오입오차에 대한 대책을 실시하면 오차의 축적을 방지할 수 있다.

사사오입오차는 강도값의 내삽을 실행할 때 통상의 제산(연산결과가 실수로 되는 제산)의 결과로서 정수값에 0. 5를 더한 값이 산출되는 경우에 이것을 0에서 멀어지는 방향으로 올림하고 있기 때문에 발생하고 있다. 예를 들면, 내삽된 강도값을 구하기 위해 4로 나누는 조작을 실행하는 경우, 나머지가 1인 경우와 3인 경우에는 발생되는 오차의 절대값이 동일하게 되고 또한 부호가 역으로 되기 때문에 오차의 기대값을 계산할 때 서로 상쇄하는 작용을 한다(더욱 일반적으로는 정의 정수d′로 나누는 경우에는 나머지가 t인 경우와 d′-t인 경우가 상쇄된다). 그러나, 나머지가 2인 경우 즉 통상의 제산 결과가 정수에 0. 5를 더한 값이 산출되는 경우에는 이것을 없앨 수 없어 오차의 축적으로 이어진다. 그래서, 이와 같이 통상의 제산결과, 정수에 0. 5를 더한 값이 산출되었을 때 올림을 실행하는 사사오입방법과 버림을 실행하는 사사오입방법의 양자를 선택할 수 있게 하고, 이들을 효율적으로 조합하는 것에 의해 발생된 오차를 없애는 것에 대해서 고려한다. 이하에서는 통상의 제산결과를 가장 가까운 정수로 사사오입하고 또한 정수에 0. 5를 더한 값은 0에서 멀어지는 방향으로 올림하는 사사오입방법을「정(+)의 사사오입」이라 한다. 또, 통상의 제산결과를 가장 가까운 정수로 사사오입하고 또한 정수에 0. 5를 더한 값은 0으로 접근하는 방향으로 버리는 사사오입방법을 「부(-)의 사사오입」이라 부르기로 한다. 수학식 3은 반화소정밀도의 블럭매칭에 있어서 정의 사사오입을 실행하는 경우의 처리를 나타내고 있지만, 부의 사사오입을 실행하는 경우에는 이것은 다음과 같이 고쳐 쓸 수 있다.

여기에서, 예측화상의 합성에 있어서의 강도값의 내삽시에 정의 사사오입을 실행하는 움직임보상을 정의 사사오입을 사용하는 움직임보상으로 하고, 부의 사사오입을 실행하는 움직임보상을 부의 사사오입을 사용하는 움직임보상으로 한다. 또, 반화소정밀도의 블럭매칭을 실행하고 또한 정의 사사오입을 사용하는 움직임보상이 적용되는 P프레임을 P+프레임, 반대로 부의 사사오입을 사용하는 움직임보상이 적용되는 P프레임을 P-프레임이라 부르기로 한다(이 경우, H. 263의 P프레임은 모두 P+프레임으로 된다). P-프레임에 있어서의 사사오입오차의 기대값은 P+프레임의 그것과 절대값이 동일하고 부호가 반대(역)로 된다. 따라서, 시간축에 대해 P+프레임과 P-프레임이 교대로 나타나도록 하면 사사오입오차의 축적을 방지할 수 있다. 도 5의 예에서는 프레임(503), (507)을 P+프레임, 프레임(505), (509)를 P-프레임으로 하면 이 처리를 실현할 수 있다. 또, P+프레임과 P-프레임이 교대로 발생하는 것은 B프레임에 있어서 쌍방향의 예측을 실행할 때 P+프레임과 P-프레임이 1개씩 참조화상으로서 사용되는 것을 의미하고 있다. 일반적으로 B프레임에 있어서는 순방향의 예측화상(예를 들면, 도 5의 프레임(504)를 부호화할 때 프레임(503)을 참조화상으로 해서 합성되는 예측화상)과 역방향의 예측화상(예를 들면 도 5의 프레임(504)를 부호화할 때 프레임(505)를 참조화상으로 해서 합성되는 예측화상)의 평균을 예측화상으로서 사용할 수 있는 경우가 많다. 따라서, 여기에서 P+프레임과 P-프레임에 의해 합성한 화상을 평균화하는 것은 오차의 영향을 없앤다는 의미에서 유효하다. 또한, 상술한 바와 같이 B프레임에 있어서의 사사오입처리는 오차 축적의 원인으로는 되지 않는다. 따라서, 모든 B프레임에 대해서 동일한 사사오입방법을 적용해도 문제는 발생하지 않는다. 예를 들면, 도 5의 B프레임(502), (504), (506), (508) 모두가 정의 사사오입에 따른 움직임보상을 실행했다고 하더라도 특별히 화질의 열화의 원인으로는 되지 않는다. B프레임의 복호화처리를 간략화하는 의미에서는 B프레임에 관해서 1종류의 사사오입방법만을 사용하는 것이 바람직하다.

도 16에는 상술한 여러가지 사사오입방법에 대응한 화상부호화장치의 블럭매칭부(1600)의 예를 도시한다. 다른 도면과 동일한 번호는 동일한 것을 나타낸다. 도 1의 블럭매칭부(116)을 (1600)으로 교체하는 것에 의해 여러가지 사사오입방법에 대응할 수 있다. 움직임추정기(1601)에 있어서 입력화상(101)과 이전 프레임의 복호화화상(112) 사이에서 움직임추정의 처리가 실행된다. 이 결과, 움직임정보(120)이 출력된다. 이 움직임정보는 예측화상합성기(1603)에 있어서 예측화상을 합성할 때 이용된다. 사사오입방법결정기(1602)는 현재 부호화를 실행하고 있는 프레임에 있어서 사용하는 사사오입방법을 정의 사사오입으로 할 것인지 부의 사사오입으로 할 것인지를 판정한다. 결정한 사사오입방법에 관한 정보(1604)는 예측화상합성기(1603)에 입력된다. 이 예측화상합성기에서는(1604)에 의해서 지정된 사사오입방법에 따라서 예측화상(117)이 합성되어 출력된다. 또한, 도 1의 블럭매칭부(116)에는 도 16의 (1602), (1604)에 상당하는 부분이 없고 예측화상은 정의 사사오입에 의해서만 합성된다. 또, 블럭매칭부에서 결정한 사사오입방법(1605)를 출력하고 이 정보를 또 다중화해서 전송비트열에 편입시켜 전송해도 좋다.

도 17에 여러가지 사사오입방법에 대응한 화상복호화장치의 예측화상합성부(1700)의 예를 도시한다. 다른 도면과 동일한 번호는 동일한 것을 나타낸다. 도 2의 예측화상합성부(211)을 (1700)으로 교체하는 것에 의해 여러가지 사사오입방법에 대응하는 것이 가능하게 된다. 사사오입방법결정기(1701)에서는 복호화를 실행할 때의 예측화상합성처리에 적용되는 사사오입방법이 결정된다. 또한, 정확한 복호화를 실행하기 위해서 여기에서 결정되는 사사오입방법은 부호화시에 적용된 사사오입방법과 동일한 것이어야 한다. 예를 들면, 마지막에 부호화된 I프레임부터 계수해서 기수번째의 P프레임에 대해서는 정의 사사오입이 적용되고 우수번째의 P프레임에 대해서는 부의 사사오입이 적용되는 것을 원칙으로 하고, 부호화측의 사사오입방법결정기(예를 들면 도 16의 (1602))와 복호화측의 사사오입방법결정기(1701)의 양자가 이 원칙에 따르면 정확한 복호화를 실행할 수 있게 된다. 이와 같이 해서 결정된 사사오입방법에 관한 정보(1702), 이전 프레임의 복호화화상(210) 및 움직임정보(202)에 의해 예측화상합성기(1703)에서는 예측화상이 합성된다. 이 예측화상(212)는 출력되어 복호화화상의 합성에 활용된다. 또한, 비트열내에 사사오입방법에 관한 정보가 편입되는 경우(도 16의 부호화장치에서 사사오입방법에 관한 정보(1605)가 출력되는 경우)도 고려할 수 있다. 이 경우, 사사오입방법결정기(1701)은 사용되지 않고, 부호화비트열에서 추출된 사사오입방법에 관한 정보(1704)가 예측화상합성기(1703)에 입력된다.

본 발명은 도 1, 도 2에 도시되어 있는 종래형 전용회로 및 전용칩을 사용하는 화상부호화장치와 화상복호화장치 이외에 범용 프로세서를 사용하는 소프트웨어 화상부호화장치와 소프트웨어 화상복호화장치에도 적용할 수 있다. 도 6 및 도 7에 이 소프트웨어 화상부호화장치(600)과 소프트웨어 화상복호화장치(700)의 예를 도시한다. 소프트웨어 화상부호화장치(600)에 있어서, 우선 입력화상(601)은 입력프레임메모리(602)에 축적되고, 범용프로세서(603)은 여기에서 정보를 리드해서 부호화의 처리를 실행한다. 이 범용프로세서를 구동하기 위한 프로그램은 하드디스크나 플로피디스크 등에 의한 축적디바이스(608)에서 리드되어 프로그램용 메모리(604)에 축적된다. 또, 범용프로세서는 처리용 메모리(605)를 활용해서 부호화의 처리를 실행한다. 범용프로세서가 출력하는 부호화정보는 일단 출력버퍼(606)에 축적된 후에 부호화비트열(607)로서 출력된다.

도 6에 도시한 소프트웨어 화상부호화장치상에서 동작하는 부호화 소프트웨어(컴퓨터 리드가능한 기록매체)의 흐름예를 도 8에 도시한다. 우선, 스텝(801)에서 처리가 개시되고, 스텝(802)에서 변수N에 0이 대입된다. 다음에, 스텝(803), 스텝(804)에서 N의 값이 100인 경우에는 0이 대입된다. N은 프레임수의 카운터로서, 1개의 프레임의 처리가 종료할 때마다 1이 가산되고, 부호화를 실행할 때에는 0∼99의 값을 취하는 것이 허용된다. N의 값이 0일 때에는 부호화중인 프레임은 I프레임이고, 기수일 때에는 P+프레임이고, 0이외의 우수일 때에는 P-프레임으로 된다. N의 값이 100인 것은 P프레임(P+ 또는 P- 프레임)이 99개 부호화된 후에 I프레임이 1개 부호화되는 것을 의미하고 있다. 이와 같이, 몇개의 프레임중에 반드시 1개의 I프레임을 삽입하는 것에 의해 (a) 부호화장치와 복호화장치의 처리 불일치(예를 들면, DCT의 연산결과의 불일치)에 의한 오차의 축적을 방지하는 것 및 (b) 부호화데이타에서 임의의 프레임의 재생화상을 얻는 처리(랜덤액세스)의 처리량을 감소시키는 것 등의 효과를 얻을 수 있다. N개의 최적값은 부호화장치의 성능이나 부호화장치가 사용되는 환경에 따라 변화한다. 이 예에서는 100이라는 값을 사용했지만 이것은 N의 값이 반드시 100이어야 한다는 것을 의미하고 있는 것은 아니다. 프레임마다의 부호화모드, 사사오입방법을 결정하는 처리는 스텝(805)에서 실행되지만, 그 처리의 상세를 나타내는 흐름예를 도 9에 도시한다. 우선, 스텝(901)에서는 N이 0인지의 여부가 판정되고, 0인 경우에는 스텝(902)에서 예측모드의 식별정보로서 "I"가 출력버퍼로 출력되고, 이후 부호화처리를 실행하는 프레임은 I프레임으로 된다. 또한, 여기에서 「출력버퍼로 출력된다」는 것은 출력버퍼에 축적된 후에 부호화비트열의 일부로서 부호화장치에서 외부로 출력되는 것을 의미하고 있다. N이 0이 아닌 경우에는 스텝(903)에서 예측모드의 식별정보로서 "P"가 출력된다. N이 0이 아닌 경우에는 또 스텝(904)에서 N이 기수인지 우수인지가 판정된다. N이 기수인 경우에는 스텝(905)에서 사사오입방법의 식별정보로서 "+"가 출력되고, 이후 부호화처리를실행하는 프레임은 P+프레임으로 된다. 한편, N이 우수인 경우에는 스텝(906)에서 사사오입방법의 식별정보로서 "-"가 출력되고, 이후 부호화처리를 실행하는 프레임은 P-프레임으로 된다. 재차, 도 8로 되돌아간다. 스텝(805)에서 부호화모드가 결정된 후, 스텝(806)에서 입력화상이 프레임메모리A에 축적된다. 또한, 여기에서 기술한 프레임메모리A라는 것은 소프트웨어 화상부호화장치의 메모리영역(예를 들면, (605)의 메모리내에 이 메모리영역이 확보된다)의 일부를 의미하고 있다. 스텝(807)에서는 현재 부호화중인 프레임이 I프레임인지의 여부가 판정된다. 그리고, I프레임이 아닌 경우에는 스텝(808)에서 움직임추정 및 움직임보상처리가 실행된다. 이 스텝(808)에 있어서의 처리의 상세를 나타내는 흐름예를 도 10에 도시한다. 우선, 스텝(1001)에서 프레임메모리A와 B(본 단락의 마지막에 기술되어 있는 바와 같이 프레임메모리B에는 이전 프레임의 복호화화상이 저장되어 있다)에 축적된 화상 사이에서 블럭마다 움직임추정의 처리가 실행되고 각 블럭의 움직임벡터가 구해지고 이 움직임벡터는 출력버퍼로 출력된다. 계속해서, 스텝(1002)에서 현재프레임이 P+프레임인지의 여부가 판정되고, P+프레임인 경우에는 스텝(1003)에서 정의 사사오입을 사용해서 예측화상이 합성되고, 이 예측화상은 프레임메모리C에 축적된다. 한편, 현재프레임이 P-프레임인 경우에는 스텝(1004)에서 부의 사사오입을 사용해서 예측화상이 합성되고, 이 예측화상이 프레임메모리C에 축적된다. 그리고, 스텝(1005)에서는 프레임메모리A와 C의 차분화상이 구해지고, 이것이 프레임메모리A에 축적된다. 여기에서, 재차 도 8로 되돌아간다. 스텝(808)에 있어서의 처리가 개시되기 직전에 프레임메모리A에는 현재프레임이 I프레임인 경우에는 입력화상이, 현재프레임이 P프레임(P+ 또는 P-프레임)인 경우에는 입력화상과 예측화상의 차분화상이 축적되어 있다. 스텝(809)에서는 이 프레임메모리A에 축적된 화상에 대해 DCT가 적용되고 여기에서 계산된 DCT계수는 양자화된 후에 출력버퍼로 출력된다. 그리고, 또 스텝(810)에서 이 양자화DCT계수는 역양자화되고 역DCT가 적용되고, 이 결과 얻어진 화상은 프레임메모리B에 저장된다. 계속해서, 스텝(811)에서는 재차 현재프레임이 I프레임인지의 여부가 판정되고, I프레임이 아닌 경우에는 스텝(812)에서 프레임메모리B와 C의 화상이 가산되고, 그 결과가 프레임메모리B에 저장된다. 여기에서, 1프레임분의 부호화처리가 종료하게 된다. 그리고, 스텝(813)의 처리가 실행되기 직전에 프레임메모리B에 저장되어 있는 화상은 금방 부호화처리가 종료한 프레임의 재생화상(복호측에서 얻어지는 것과 동일)이다. 스텝(813)에서는 부호화가 종료한 프레임이 최후의 프레임인지의 여부가 판정되고, 최후의 프레임이면 부호화처리가 종료한다. 최후의 프레임이 아닌 경우에는 스텝(814)에서 N에 1이 가산되고 재차 스텝(803)으로 되돌아가 다음의 프레임의 부호화처리가 개시된다. 도 7에 소프트웨어 복호화장치(700)의 예를 도시한다. 입력된 부호화비트열(701)은 일단 입력버퍼(702)에 축적된 후에 범용프로세서(703)에 리드된다. 범용프로세서는 하드디스크나 플로피디스크 등에 의한 축적디바이스(708)에서 리드된 프로그램을 축적하는 프로그램용 메모리(704) 및 처리용 메모리(705)를 활용해서 복호화처리를 실행한다. 이 결과 얻어진 복호화화상은 일단 출력프레임메모리(706)에 축적된 후에 출력화상(707)로서 출력된다.

도 7에 도시한 소프트웨어 화상복호화장치상에서 동작하는 복호화소프트웨어의 흐름예를 도 11에 도시한다. 스텝(1101)에서 처리가 개시되고, 우선 스텝(1102)에서 입력정보가 있는지의 여부가 판정된다. 여기에서, 입력정보가 없으면 스텝(1103)에서 복호화의 처리를 종료한다. 입력정보가 있는 경우에는 우선 스텝(1104)에서 부호화 식별정보가 입력된다. 또한, 이 「입력된다」는 것은 입력버퍼(예를 들면 도 7의 (702))에 축적된 정보를 리드하는 것을 의미하고 있다. 스텝(1105)에서는 리드한 부호화모드 식별정보가 "I"인지의 여부가 판정된다. 그리고, "I"가 아닌 경우에는 스텝(1106)에서 사사오입방법의 식별정보가 입력되고, 계속해서 스텝(1107)에서 움직임보상처리가 실행된다. 이 스텝(1107)에서 실행되는 처리의 상세를 나타내는 흐름예를 도 12에 도시한다. 우선, 스텝(1201)에서 블럭마다의 움직임벡터정보가 입력된다. 그리고, 스텝(1202)에서는 스텝(1106)에서 리드된 사사오입방법의 식별정보가 "+"인지의 여부가 판정된다. 이것이 "+"인 경우에는 현재 복호화중인 프레임이 P+프레임이다. 이 때, 스텝(1203)에서 정의 사사오입에 의해 예측화상이 합성되고 이 예측화상은 프레임메모리D에 저장된다. 또한, 여기에서 기술한 프레임메모리D라는 것은 소프트웨어 화상복호화장치의 메모리영역(예를 들면, 도 7의 (705)의 메모리내에 이 메모리영역이 확보된다)의 일부를 의미하고 있다. 한편, 사사오입방법의 식별정보가 "+"가 아닌 경우에는 현재 복호화중인 프레임이 P-프레임이고, 스텝(1204)에서 부의 사사오입에 의해 예측화상이 합성되고, 이 예측화상은 프레임메모리D에 저장된다. 이 때, 만일 어떠한 오차에 의해 P+프레임이 P-프레임으로서 부호화되거나 반대로 P-프레임이 P+프레임으로서 부호화된 경우에는 부호화장치가 의도한 것과는 다른 예측화상이 복호화장치에 있어서 합성되게 되어 정확한 복호화가 실행되지 않아 화질이 열화한다. 여기에서, 도 11로 되돌아간다. 스텝(1108)에서는 양자화DCT계수가 입력되고, 이것에 역양자화 및 역DCT가 적용되고, 그 결과 얻어진 화상이 프레임메모리E에 저장된다. 스텝(1109)에서는 재차 현재 복호화중인 프레임이 I프레임인지의 여부가 판정된다. 그리고, I프레임이 아닌 경우에는 스텝(1110)에서 프레임메모리D와 E에 저장된 화상이 가산되고, 그 결과의 화상이 프레임메모리E에 저장된다. 스텝(1111)의 처리를 실행하기 직전에 프레임메모리E에 저장되어 있는 화상이 재생 화상으로 된다. 스텝(1111)에서는 이 프레임메모리E에 저장된 화상이 출력 프레임메모리(예를 들면 도 7의 (706))로 출력되고, 그대로 출력화상으로서 복호화장치에서 출력된다. 이렇게 해서 1프레임분의 복호화처리가 종료하고, 처리는 재차 스텝(1102)로 되돌아간다.

도 6과 도 7에 도시한 소프트웨어 화상부호화장치, 소프트웨어 화상복호화장치에 도 8∼도 12에 도시한 흐름에 따른 프로그램을 실행시키면 전용회로 및 전용칩을 이용하는 장치를 사용한 경우와 마찬가지의 효과를 얻을 수 있다.

도 6의 소프트웨어 화상부호화장치(600)이 도 8∼도 10의 흐름도에 도시한 처리를 실행하는 것에 의해 생성된 비트열을 기록한 축적미디어(기록매체)의 예를 도 13에 도시한다. 디지탈정보를 기록할 수 있는 기록디스크(예를 들면, 자기, 광디스크 등)(1301)에는 동심원상에 디지탈정보가 기록되어 있다. 이 디스크에 기록되어 있는 디지탈정보의 일부(1302)를 추출하면 부호화된 프레임의 부호화모드식별정보(1303), (1305), (1308), (1311), (1314), 사사오입방법의 식별정보(1306), (1309), (1312), (1315), 움직임벡터나 DCT계수 등의 정보(1304), (1307), (1310), (1313), (1316)이 기록되어 있다. 도 8∼도 10에 도시한 방법에 따르면, (1303)에는 "I", (1305), (1308), (1311), (1314)에는 "P", (1306), (1312)에는 "+", (1309), (1315)에는 "-"를 의미하는 정보가 기록되게 된다. 이 경우, 예를 들면 "I"와 "+"는 1비트의 0, "P"와 "-"는 1비트의 1로 표시하면, 복호화장치는 정확하게 기록된 정보를 해석하여 재생화상을 얻을 수 있게 된다. 이와 같이 해서 축적미디어에 부호화비트열을 축적하는 것에 의해 이 비트열을 리드해서 복호화한 경우에 사사오입오차의 축적이 발생하는 것을 방지할 수 있다.

도 5에 도시한 P+프레임, P-프레임, B프레임이 존재하는 화상계열에 관한 부호화비트열을 기록한 축적미디어의 예를 도 15에 도시한다. 도 13의 (1301)과 마찬가지로 디지탈정보를 기록할 수 있는 기록디스크(예를 들면, 자기, 광디스크 등)(1501)에는 동심원상에 디지탈정보가 기록되어 있다. 이 디스크에 기록되어 있는 디지탈정보의 일부(1502)를 추출하면 부호화된 프레임의 부호화모드 식별정보(1503), (1505), (1508), (1510), (1513), 사사오입방법의 식별정보(1506), (1511), 움직임벡터나 DCT계수 등의 정보(1504), (1507), (1509), (1512), (1514)가 기록되어 있다. 이 때, (1503)에는 "I", (1505), (1510)에는 "P", (1508), (1513)에는 "B", (1505)에는 "+", (1506)에는 "+", (1511)에는 "-"를 의미하는 정보가 기록되어 있다. 예를 들면, "I", "P", "B"를 각각 2비트의 00, 01, 10, "+"와 "-"는 각각 1비트의 0과 1로 표시하면, 복호화장치는 정확하게기록된 정보를 해석하여 재생화상을 얻을 수 있게 된다. 이 때, 도 5의 프레임(501)(I프레임)에 관한 정보가 (1503)과 (1504), 프레임(502)(B프레임)에 관한 정보가 (1508)과 (1509), 프레임(503)(P+프레임)에 관한 정보가 (1505)∼(1507), 프레임(504)(B프레임)에 관한 정보가 (1513)과 (1514), 프레임(505)(P-프레임)에 관한 정보가 (1510)∼(1512)이다. 이와 같이 동화상을 B프레임을 포함하는 형태로 부호화하는 경우, 일반적으로 프레임에 관한 정보를 전송하는 순번과 재생하는 순번은 다르다. 이것은 임의의 B프레임을 복호화하기 전에 이 B프레임이 예측화상을 합성할 때 사용하는 전후의 참조화상을 복호화해 두지 않으면 안되기 때문이다. 이 때문에, 프레임(502)는 프레임(503) 전에 재생됨에도 불구하고 프레임(502)가 참조화상으로서 사용하는 프레임(503)에 관한 정보가 프레임(502)에 관한 정보 전에 전송되는 것이다. 상술한 바와 같이, B프레임은 사사오입오차의 축적을 야기하는 요인으로는 되지 않으므로, P프레임과 같이 여러가지 사사오입방법을 적용할 필요는 없다. 이 때문에, 여기에서 설명한 예에서는 B프레임에 관해서는 사사오입방법을 지정하는 "+"나 "-"와 같은 정보는 전송되고 있지 않다. 이와 같이 하는 것에 의해, 예를 들면 B프레임에 관해서는 항상 정의 사사오입만이 적용되도록 했다고 하더라도 오차의 축적의 문제는 발생하지 않는다. 이와 같이 해서, 축적미디어에 B프레임에 관한 정보를 포함하는 부호화비트열을 축적하는 것에 의해 이 비트열을 리드해서 복호화한 경우에 사사오입오차의 축적이 발생하는 것을 방지할 수 있다.

도 14에 본 명세서에서 설명한 P+프레임과 P-프레임이 혼재하는 부호화방법에 따른 부호화 및 복호화장치의 구체예를 도시한다. 퍼스널컴퓨터(1401)에 화상부호화, 복호화용 소프트웨어를 조립하는 것에 의해 화상부호화, 복호화장치로서 활용하는 것이 가능하다. 이 소프트웨어는 임의의 축적미디어(CD-ROM, 플로피디스크, 하드디스크 등)(1412)에 기록되어 있고, 이것을 퍼스널컴퓨터가 리드해서 사용한다. 또, 임의의 통신회선에 이 퍼스널컴퓨터를 접속하는 것에 의해 영상통신단말로서 활용하는 것도 가능하게 된다. 축적미디어(1402)에 기록한 부호화비트열을 리드하고 복호화하는 재생장치(1403)에도 본 명세서에서 설명한 복호화방법을 실장하는 것이 가능하다. 이 경우, 재생된 영상신호는 텔레비전모니터(1404)에 표시된다. 또, (1403)의 장치는 부호화비트열을 리드할 뿐이고, 텔레비전모니터(1404)내에 복호화 장치가 조립되어 있는 경우도 고려된다. 최근에는 위성, 지상파에 의한 디지탈방송이 화제로 되고 있지만, 디지탈방송용 텔레비전수신기(1405)에도 복호화장치를 조립할 수 있다. 또, 케이블텔레비전용 케이블(1408) 또는 위성/지상파방송의 안테나에 접속된 세트톱박스(set top box)(1409)내에 복호화장치를 실장하고, 이것을 텔레비전 모니터로 재생하는 구성도 고려된다. 이 때에도 텔레비전 모니터(1404)의 경우와 마찬가지로 세트톱박스가 아니라 텔레비전 모니터내에 부호화장치를 조립해도 좋다. (1413), (1414), (1415)는 디지탈 위성방송 시스템의 구성예를 도시한 것이다. 방송국(1413)에서는 영상정보의 부호화비트열이 전파를 통해서 통신 또는 방송위성(1414)로 전송된다. 이것을 받은 위성은 방송용 전파를 발신하고, 이 전파를 위성방송 수신설비를 갖는 가정(1415)가 수신하고, 텔레비전수신기 또는 세트톱박스 등의 장치에 의해 부호화비트열을 복호화해서 이것을 재생한다. 낮은 전송레이트로의 부호화가 가능하게 된 것에 의해 최근에는 디지탈 휴대단말(1406)에 의한 디지탈 동화상 통신도 주목받고 있다. 디지탈 휴대단말의 경우, 부호화장치, 복호화장치를 모두 갖는 송수신형 단말 이외에 부호화장치만의 송신단말, 복호화장치만의 수신단말의 3가지의 실장형식이 고려된다. 동화상 촬영용 카메라(1407)내에 부호화장치를 조립하는 것도 가능하다. 또, 카메라는 영상신호를 취득할 뿐이고, 이 신호를 전용 부호화장치(1411)에 공급하는 구성도 고려된다. 이 도면에 도시한 어떠한 장치, 시스템에 관해서도 본 명세서에 도시한 방법을 실장하는 것에 의해 종래의 기술을 활용한 경우에 비해 보다 화질이 높은 화상정보를 취급하는 것이 가능하게 된다.

또한, 이하의 변형도 본 발명에 포함되는 것은 명백하다.

[1] 상기 의론에서는 움직임보상방식으로서 블럭매칭이 사용되는 것이 전제로 되어 있었다. 그러나, 본 발명은 움직임벡터의 수평 및 수직성분이 수평 및 수직방향의 화소의 샘플링간격의 정수배 이외의 값을 취할 수 있고, 샘플값이 존재하지 않는 위치에 있어서의 강도값을 쌍1차 내삽에 의해서 구하는 움직임보상방식을 채용하는 화상부호화방식 및 화상복호화방식 모두에 대해서 적용할 수 있다. 예를 들면, 일본국 특허출원 평성 8-60572호(일본국 특허공개공보 평성 10-98729호)에 기재되어 있는 글로벌 움직임보상이나 일본국 특허출원 평성 8-249601(일본국 특허공개공보 평성 9-252470호)에 기재되어 있는 워핑(warping)예측에 대해서도 본 발명을 적용할 수 있다.

[2] 지금까지의 의론에서는 움직임벡터의 수평 및 수직성분이 1/2의 정수배인 값을 취하는 경우에 대해서만 의론하였다. 그러나, 의론을 일반화하면 본 발명은 움직임벡터의 수평 및 수직성분이 1/d의 정수배(d는 정의 정수이면서 우수)를 취하는 방식에 대해서 적용할 수 있다. 그러나, d가 커진 경우에는 쌍1차 내삽의 제산의 제수(d의 2승, 수학식 2 참조)가 커지기 때문에 상대적으로 통상의 제산의 결과가 정수에 0. 5를 더한 값으로 될 확률이 낮아진다. 따라서, 정(+)의 사사오입만을 실행한 경우에 있어서의 사사오입오차의 기대값의 절대값이 작아져 오차의 축적에 의한 악영향이 거의 눈에 띄지 않게 된다. 그래서, 예를 들면 d의 값이 가변인 움직임 보상방식 등에 있어서는 d가 임의의 일정값보다 작은 경우에는 정의 사사오입과 부의 사사오입의 양쪽을 사용하고, d가 상기 일정값 이상인 경우에는 정의 사사오입만 또는 부의 사사오입만을 사용하는 방법도 유효하다.

[3] 종래의 기술에서 설명한 바와 같이, DCT를 오차부호화방식으로서 이용한 경우, 사사오입오차의 축적에 의한 악영향은 DCT계수의 양자화 스텝사이즈가 큰 경우에 나타나기 쉽다. 그래서, DCT계수의 양자화 스텝사이즈가 임의의 일정값보다 큰 경우에는 정의 사사오입과 부의 사사오입의 양쪽을 사용하고, DCT계수의 양자화 스텝사이즈가 상기 일정값 이하인 경우에는 정의 사사오입만 또는 부의 사사오입만을 사용하는 방법도 유효하다.

[4] 휘도면에서 사사오입오차의 축적이 발생한 경우와 색차면에서 사사오입오차의 축적이 발생한 경우에는 일반적으로 색차면에서 발생한 경우 쪽이 재생화상에 미치는 영향이 심각하다. 이것은 화상이 전체적으로 약간 밝아지거나 어두워지는 것보다 화상의 색이 전체적으로 변화한 경우 쪽이 눈에 띄기 쉽기 때문이다. 그래서, 색차신호에 대해서는 정의 사사오입과 부의 사사오입의 양쪽을 사용하고, 휘도신호에 대해서는 정의 사사오입만 또는 부의 사사오입만을 사용하는 방법도 유효하다.

또, 종래의 기술에서 H. 263에 있어서의 1/4화소정밀도의 움직임벡터의 1/2화소정밀도의 움직임벡터로의 사사오입방법에 관해서 기술했지만, 이 방법에 다소의 변경을 가하는 것에 의해 사사오입오차의 기대값의 절대값을 작게 하는 것이 가능하다. 종래의 기술에서 언급한 H. 263에서는 휘도면의 움직임벡터의 수평성분 또는 수직성분을 1/2로 한 값이 r+s/4(r은 정수, s는 0이상 4미만의 정수)로 표시되는 것으로 하고, s가 1 또는 3일 때 이것을 2로 사사오입하는 조작이 실행된다. 또, s가 1일 때에는 이것을 0으로 하고, s가 3일 때에는 r에 1을 더해서 s를 0으로 하는 사사오입을 실행하도록 변경하면 좋다. 이와 같이 하는 것에 의해, 도 4의 (406)∼(408)의 위치의 강도값을 계산하는 회수가 상대적으로 감소하기(움직임벡터의 수평 및 수직성분이 정수로 될 확률이 높아지기)때문에 사사오입오차의 기대값의 절대값이 작아진다. 그러나, 이 방법으로는 발생하는 오차의 크기를 억제할 수는 있어도 오차가 축적되는 것을 방지할 수는 없다.

[5] P프레임에 대해서 2종류의 움직임 보상방식에 의한 프레임간 예측화상의 평균을 최종적인 프레임간 예측화상으로 하는 방식이 있다. 예를 들면 일본국 특허출원 평성 8-3616호에서는 종횡 16화소의 블럭에 대해 1개의 움직임벡터를 할당하는 블럭매칭과 종횡 16화소의 블럭을 4개의 종횡 8화소의 블럭으로 분할하고각각에 대해 움직임벡터를 할당하는 블럭매칭의 2종류의 방법에 의해서 얻은 2종류의 프레임간 예측화상을 준비하고, 이들 프레임간 예측화상의 강도값의 평균을 구한 것을 최종적인 프레임간 예측화상으로 하는 방법이 기술되어 있다. 이 방법에 있어서 2종류의 화상의 평균값을 구할 때에도 사사오입이 실행된다. 이 평균화의 조작에 의해 정의 사사오입만을 계속 실행하면, 새로운 사사오입오차의 축적의 원인을 만들게 된다. 이 방식에서는 블럭매칭에 있어서 정의 사사오입을 실행하는 P+프레임에 대해서는 평균화의 조작에 있어서 부의 사사오입을 실행하고 P-프레임에 대해서는 평균화의 조작에 있어서 정의 사사오입을 실행하도록 하면, 동일 프레임내에서 블럭매칭에 의한 사사오입오차와 평균화에 의한 사사오입오차가 상쇄된다는 효과를 얻을 수 있다.

[6] P+프레임과 P-프레임을 교대로 배치하는 방법을 사용한 경우, 부호화장치와 복호화장치는 현재 부호화하고 있는 P프레임이 P+프레임인지 P-프레임인지를 판정하기 위해, 예를 들면 이하의 처리를 실행하는 것이 고려된다. 현재 부호화 또는 복호화되고 있는 P프레임이 가장 최근에 부호화 또는 복호화된 I프레임 후의 몇번째의 P프레임인지를 계수하고, 이것이 기수일 때에는 P+프레임으로 하고 우수일 때에는 P-프레임으로 하면 좋다(이것을 암시적방법이라 한다). 또, 부호화장치측의 현재 부호화되고 있는 P프레임이 P+프레임인지 P-프레임인지를 식별하는 정보를 예를 들면 프레임정보의 헤더부분에 라이트하는 방법도 있다(이것을 명시적방법이라 한다). 이 방법 쪽이 전송에러에 대한 내성은 강하다.

또, P+프레임과 P-프레임을 식별하는 정보를 프레임정보의 헤더부분에 라이트하는 방법에는 다음과 같은 장점이 있다. 「종래의 기술」에서 기술한 바와 같이, 과거의 부호화표준(예를 들면, MPEG-1이나 MPEG-2)에서는 P프레임에 있어서 정의 사사오입만이 실행된다. 따라서, 예를 들면 이미 시장에 존재하고 있는 MPEG-1/2용의 움직임추정 및 움직임보상장치(예를 들면, 도 1의 (106)에 상당하는 부분)은 P+프레임과 P-프레임이 혼재하는 부호화에는 대응할 수 없게 된다. 여기에서, P+프레임과 P-프레임이 혼재하는 부호화에 대응한 복호화장치가 있는 것으로 한다. 이 경우, 만일 이 복호화장치가 상기 암시적방법에 따른 것이면 MPEG-1/2용의 움직임추정 및 움직임보상장치를 사용해서 이 암시적방법에 따른 복호화장치가 정확하게 복호화할 수 있는 비트열을 생성하는 부호화장치를 작성하는 것은 곤란하다. 그러나, 복호화장치가 상기 명시적방법에 따른 것인 경우에는 이 문제를 해결할 수 있다. MPEG-1/2용의 움직임추정 및 움직임보상장치를 사용한 부호화장치는 항상 P+프레임을 계속 보내고, 이것을 나타내는 식별정보를 프레임정보의 헤더에 계속해서 라이트하면 좋다. 이렇게 하면, 명시적방법에 따른 복호화장치는 이 부호화장치가 생성한 비트열을 정확하게 재생할 수 있다. 물론, 이 경우에는 P+프레임만이 존재하므로 사사오입오차의 축적은 발생하기 쉬워진다. 그러나, 이 부호화장치가 DCT계수의 양자화 스텝사이즈로서 작은 값만을 사용하는 것(고레이트 부호화전용 부호화장치)인 경우에는 오차의 축적은 큰 문제로는 되지 않는다. 이러한 과거의 방식과의 호환성의 문제 이외에도 명시적 방법에는 또 (a) 고레이트 부호화전용 부호화장치나 빈번하게 I프레임을 삽입하는 것에 의해 사사오입오차가 거의 발생하지 않는 부호화장치는 정이나 부중 어느 한쪽의 사사오입방법만을 실장하면 좋아 장치의 비용을 저감할 수 있으며, (b) 상기 사사오입오차가 거의 발생하지 않는 부호화장치는 P+ 또는 P-프레임중 어느 한쪽만을 계속해서 보내면 좋기 때문에 현재 부호화를 실행하고 있는 프레임을 P+프레임으로 할 것인지 P-프레임으로 할 것인지의 판정을 실행할 필요가 없어 처리를 간략화할 수 있다는 장점이 있다.

[7] 본 발명은 프레임간 예측화상에 대해서 사사오입처리를 수반하는 필터링을 실행하는 경우에도 적용할 수 있다. 예를 들면, 동화상부호화의 국제표준인 H. 261에서는 프레임간 예측화상에 있어서 움직임벡터가 0이 아니었던 블럭내의 신호에 대해서는 저역통과형 필터(이것을 루프필터라 한다)가 적용된다. 또, H. 263에서는 블럭의 경계부에 발생하는 불연속(소위 블럭왜곡)을 평활화하기 위한 필터를 사용할 수 있다. 이들 필터에서는 화소의 강도값에 대해 가중 평균화(weighted averaging)의 처리가 실행되고, 필터링후의 강도값에 대해서 정수로의 사사오입의 조작이 실행된다. 여기에서도 정의 사사오입과 부의 사사오입을 구별해서 사용하는 것에 의해 오차의 축적을 방지할 수 있다.

[8] IP+P-P+P- … 이외에 IP+P+P-P-P+P+ … 이나 IP+P-P-P+P+ … 등, P+프레임과 P-프레임의 혼재방법에는 여러가지 방법이 고려된다. 예를 들면, 각각 1/2의 확률로 0과 1이 발생하는 난수발생기를 사용하고, 0이 발생되면 P+로 하고 1이 발생되면 P-로 해도 좋다. 어쨌든, 일반적으로 P+프레임과 P-프레임이 혼재하고 또한 일정 시간내의 각각의 존재확률의 차가 작을수록 사사오입오차의 축적은 거의 발생하지 않게 된다. 또, 부호화장치에 대해 임의의 P+프레임과 P-프레임의 혼재방법을 허용하는 경우, 복호화장치는 [6]에서 설명한 암시적방법에 따른 복호화장치가 아니라 명시적방법에 따른 복호화장치이어야 한다. 따라서, 복호화장치에 관해서 보다 유연한 실장형태를 허용하는 관점에서는 명시적방법 쪽이 유리하게 된다.

[9] 본 발명은 화소가 존재하지 않는 점의 강도값을 구하는 방법을 쌍1차 내삽에 한정하는 것은 아니다. 강도값의 내삽방법은 일반화하면 다음의 식과 같이 표시할 수 있다.

여기에서, r, s는 실수, h(r, s)는 내삽을 위한 실수의 함수, T(z)는 실수z를 정수로 사사오입하는 함수이고, R(x, y), x, y의 정의는 수학식 4와 동일하다. T(z)가 정의 사사오입을 나타내는 함수인 경우에는 정의 사사오입을 사용하는 움직임보상, 부의 사사오입을 나타내는 함수인 경우에는 부의 사사오입을 사용하는 움직임보상이 실행된다. 이 수학식 5의 형식으로 나타낼 수 있는 내삽방법에 대해서는 본 발명을 적용할 수 있다. 예를 들면, h(r, s)를

와 같이 정의하면 쌍1차 내삽이 실행된다. 그러나, 예를 들어 h(r, s)를

와 같이 정의하면 쌍1차 내삽과는 다른 내삽방법이 실시되지만, 이 경우에도 본 발명을 적용할 수 있다.

[10] 본 발명은 오차화상의 부호화방법을 DCT에 한정하는 것은 아니다. 예를 들면, DCT가 아니라 파형변환(예를 들면, M. Antonioni외 저, "Image Coding Using Wavelet Transform", IEEE Trans. Image Processing, Vol. 1, No. 2, 1992년 4월)이나 월쉬아다멀변환(Walsh-Hadamard Transform)(예를 들면 A. N. Netravalli and B. G. Haskell저, "Digital Pictures", Plenum Press, 1988년)을 사용한 경우에도 본 발명을 적용할 수 있다.

이상 기술한 바와 같이, 본 발명에 의하면 P+프레임과 P-프레임의 양쪽을 사용하는 것에 의해서, 발생된 사사오입오차를 상쇄시킬 수 있게 되어 오차의 축적을 방지할 수 있게 된다.

Claims

(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
(삭제).
이전에 복호화된 프레임의 복호화화상을 저장하는 단계;

움직임벡터정보와 정의 사사오입 또는 부의 사사오입이 화소값 내삽으로서 사용되는 것을 특정하는 사사오입방법정보를 수신하는 단계 및;

상기 움직임벡터정보와 상기 복호화화상을 사용하여 특정의 사사오입방법에 따라서 움직임보상을 실행하는 것에 의해 예측화상을 합성하는 단계를 포함하는 것을 특징으로 하는 동화상의 복호화방법.
(정정) 복호화기의 입력정보에서 움직임벡터에 관한 정보와 양자화된 DCT계수에 관한 정보를 추출하는 단계;

상기 움직임벡터와 과거에 복호화된 프레임의 복호화화상에서 움직임보상을 사용하여 예측화상을 합성하는 단계 및;

상기 양자화된 DCT계수를 역변환하는 것에 의해 얻어진 오차화상을 상기 예측화상에 가산하여 복호화화상을 합성하는 단계를 포함하고,

상기 예측화상은 정의 사사오입과 부의 사사오입을 사용하는 움직임보상에의해 합성되는 것을 특징으로 하는 화상의 복호화방법.
제44항에 있어서,

상기 입력정보에서 정의 사사오입 또는 부의 사사오입을 특정하는 특정정보를 추출하는 단계를 더 포함하고,

상기 예측화상은 상기 특정정보에 의해 특정된 사사오입방법을 사용하여 합성되는 것을 특징으로 하는 화상의 복호화방법.
복호화기의 입력정보에서 움직임벡터에 관한 정보와 양자화된 DCT계수에 관한 정보를 추출하는 단계;

이전에 복호화된 프레임의 복호화화상인 참조화상과 상기 움직임벡터에서 움직임보상을 사용하여 예측화상을 합성하는 단계 및;

상기 양자화된 DCT계수를 역양자화 및 DCT역변환하는 것에 의해 얻어진 오차화상을 상기 예측화상에 가산하는 것에 의해서 복호화화상을 합성하는 단계를 포함하고,

상기 움직임보상은 반화소정밀도를 갖고, 화소가 존재하지 않는 참조화상의 점에 있어서의 휘도 또는 색차의 강도값을 쌍1차 내삽에 의해서 구하는 것이고,

Ib=[(La+Lb+1)/2], Ic=[(La+Lc+1)/2], Id=[(La+Lb+Lc+Ld+2)/4]

에 따라서 정의 사사오입에 의해 상기 쌍1차 내삽을 계산하는 경우와

Ib=[(La+Lb)/2], Ic=[(La+Lc)/2], Id=[(La+Lb+Lc+Ld+1)/4]

에 따라서 부의 사사오입에 의해 상기 쌍1차 내삽을 계산하는 경우를 갖는 것을 특징으로 하는 화상의 복호화방법.

(여기서, La는 제1 화소의 강도값, Lb는 상기 제1 화소와 수평으로 인접하는 제2 화소의 강도값, Lc는 상기 제1 화소와 수직으로 인접하는 제3 화소의 강도값, Ld는 상기 제2 화소와 수직으로 인접하고 상기 제3 화소와 수평으로 인접하는 제4 화소의 강도값, Ib는 상기 제1 화소와 제2 화소의 중간점에 있어서의 내삽된 강도값, Ic는 상기 제1 화소와 제3 화소의 중간점에 있어서의 내삽된 강도값, Id는 상기 제1, 제2, 제3 화소 및 제4 화소의 중간점에 있어서의 내삽된 강도값을 나타낸다.)
제46항에 있어서,

상기 입력정보에서 정의 사사오입 또는 부의 사사오입을 특정하는 특정정보를 추출하는 단계를 더 포함하고,

상기 예측화상은 상기 특정정보에 의해서 특정된 사사오입방법을 사용하여 합성되는 것을 특징으로 하는 화상의 복호화방법.
(정정) 동화상의 부호화된 정보를 복호화하는 복호화프로그램이 기록된 컴퓨터로 읽을 수 있는 매체에 있어서,

부호화기에 있어서 프레임의 예측화상을 합성하기 위해 사용된 사사오입방법을 특정하는 사사오입정보를 수신하는 단계;

상기 사사오입정보에 따라서 정의 사사오입 또는 부의 사사오입을 사용하여 움직임보상을 실행하는 것에 의해 예측화상을 합성하고, 상기 예측화상을 프레임메모리에 저장하는 단계;

상기 부호화된 정보내에 포함된 상기 프레임의 오차화상정보를 복호화화는 단계 및;

상기 예측화상에 상기 복호화된 오차화상을 가산하는 것에 의해 상기 프레임의 복호화된 화상을 합성하는 단계를 포함하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 매체.
이전에 복호화된 화상인 참조화상을 저장하는 메모리 및;

움직임보상을 실행하는 것에 의해 예측화상을 합성하는 합성기를 포함하고,

상기 합성기는 움직임벡터정보와 정의 사사오입 또는 부의 사사오입이 상기 부호화처리에서 사용되었는지의 여부를 특정하는 사사오입정보를 수신하고, 상기 사사오입정보에 의해 특정된 사사오입방법을 사용하여 상기 참조화상과 상기 움직임벡터정보에서 상기 예측화상을 합성하는 것을 특징으로 하는 화상 복호화기.
입력정보에서 움직임벡터에 관한 정보와 양자화된 DCT계수에 관한 정보를 추출하는 분리기;

상기 양자화된 DCT계수를 역양자화하고 DCT계수를 얻는 역양자화기;

상기 DCT계수를 역DCT변환해서 오차화상을 출력하는 역DCT변환기;

이전에 복호화된 화상인 참조화상과 상기 움직임벡터를 사용하여 움직임보상에 의해 예측화상을 합성하는 예측화상합성기 및;

상기 오차화상에 상기 예측화상을 가산하고 복호화화상을 출력하는 가산기를 포함하고,

상기 예측화상합성기는 상기 움직임보상에 대해 정의 사사오입 또는 부의 사사오입을 사용하는 것을 특징으로 하는 화상 복호화기.
제50항에 있어서,

상기 분리기는 상기 입력정보에서 정의 사사오입 또는 부의 사사오입중의 어느 한쪽을 특정하는 특정정보를 부가적으로 추출하고,

상기 예측화상합성기는 상기 움직임보상에 대해 상기 특정정보에 의해 특정된 사사오입방법을 사용하는 것을 특징으로 하는 화상 복호화기.
제43항에 있어서,

상기 정의 사사오입은

Ib=[(La+Lb+1)/2], Ic=[(La+Lc+1)/2], Id=[(La+Lb+Lc+Ld+2)/4]에 의해 계산되고,

상기 부의 사사오입은

Ib=[(La+Lb)/2], Ic=[(La+Lc)/2], Id=[(La+Lb+Lc+Ld+1)/4]에 의해 계산되는 것을 특징으로 하는 동화상의 복호화방법.

(여기서, La는 제1 화소의 강도값, Lb는 상기 제1 화소와 수평으로 인접하는 제2 화소의 강도값, Lc는 상기 제1 화소와 수직으로 인접하는 제3 화소의 강도값, Ld는 상기 제2 화소와 수직으로 인접하고 상기 제3 화소와 수평으로 인접하는 제4 화소의 강도값, Ib는 상기 제1 화소와 제2 화소의 중간점에 있어서의 내삽된 강도값, Ic는 상기 제1 화소와 제3 화소의 중간점에 있어서의 내삽된 강도값, Id는 상기 제1, 제2, 제3 화소 및 제4 화소의 중간점에 있어서의 내삽된 강도값을 나타낸다.)
이전에 복호화된 화상인 참조화상을 저장하는 단계;

움직임벡터의 정보를 수신하는 단계 및;

상기 움직임벡터와 상기 참조화상을 사용하여 예측화상을 합성하기 위해 움직임보상을 실행하는 단계를 포함하고,

상기 예측화상을 합성하기 위해 상기 움직임보상의 화소값내삽에 사용되는 사사오입방법과 상기 참조화상의 예측화상을 합성하기 위해 사용되는 사사오입방법은 다른 것을 특징으로 하는 화상의 복호화방법.
제53항에 있어서,

상기 사사오입방법은 정의 사사오입 또는 부의 사사오입인 것을 특징으로 하는 화상의 복호화방법.
다수의 프레임을 구성하는 동화상의 각 프레임을 복호화하는 동화상의 복호화방법에 있어서,

입력정보에서 움직임벡터와 제1 프레임의 양자화된 DCT계수에 관한 정보를 추출하는 단계;

이전에 복호화된 프레임의 복호화화상과 상기 제1 프레임의 움직임벡터에서 제1 움직임보상을 사용하여 상기 제1 프레임의 예측화상을 합성하는 단계;

상기 제1 프레임의 상기 양자화된 DCT계수에 역양자화와 역DCT변환을 실행하는 것에 의해 얻어진 오차화상을 상기 제1 프레임의 상기 예측화상에 가산하여 상기 제1 프레임의 복호화화상을 합성하는 단계;

상기 입력정보에서 제2 프레임의 양자화된 DCT계수와 움직임벡터에 관한 정보를 추출하는 단계 및;

상기 제1 프레임의 상기 복호화화상과 상기 제2 프레임의 상기 움직임벡터에서 제2 움직임보상을 사용하여 제2 프레임의 예측화상을 합성하는 단계를 포함하고,

상기 제1 움직임보상과 상기 제2 움직임보상은 화소값내삽을 위해 정의 사사오입 또는 부의 사사오입중의 어느 한쪽을 사용하고,

상기 제1 움직임보상에 사용되는 사사오입방법과 상기 제2 움직임보상에 사용되는 사사오입방법은 다른 것을 특징으로 하는 동화상의 복호화방법.
제55항에 있어서,

상기 입력정보에서 정의 사사오입 또는 부의 사사오입중의 어느 한쪽을 특정하는 특정정보를 추출하는 단계를 더 포함하고,

상기 특정정보에 의해 특정된 사사오입방법은 상기 제1 움직임보상에 사용되는 것을 특징으로 하는 동화상의 복호화방법.
(삭제).
이전에 복호화된 화상인 참조화상을 저장하는 메모리 및;

수신된 움직임벡터와 상기 참조화상을 사용하여 움직임보상을 실행하는 것에 의해 예측화상을 합성하는 합성기를 포함하고,

상기 합성기는 상기 움직임보상의 화소값내삽을 위해 사용되는 사사오입방법을 제어하고, 상기 예측화상을 합성하기 위해 사용되는 사사오입방법과 상기 참조화상의 예측화상을 합성하기 위해 사용되는 사사오입방법은 다른 것을 특징으로 하는 화상복호화기.
제58항에 있어서,

상기 사사오입방법은 정의 사사오입 또는 부의 사사오입인 것을 특징으로 하는 화상복호화기.
(삭제).
(삭제).
(삭제).