KR20050071363A - 동화상 예측 방법, 동화상 부호화 방법 및 장치, 동화상복호화 방법 및 장치 - Google Patents

Abstract

시각(TO)의 값(PO), 시각(T1)의 값(P1)으로부터 시각(T)의 값(P)을 예측하는 방법으로서, 시각(TO), 시각(T1) 및 시각(T)를 이용한 스케일링으로 소정의 유효 비트수로 예측치를 생성하는 것이 가능한지의 여부를 판단하는 스텝과(스텝 S90), 소정의 유효 비트수로 예측치를 생성하는 것이 가능한 경우에는 시각(TO), 시각(T1) 및 시각(T)를 이용한 스케일링으로 값(P0)과 값(P1)으로부터 값(P)를 예측하는 스텝(스텝 S92)과, 소정의 유효 비트수로 예측치를 생성하는 것이 불가능한 경우는 시각(TO), 시각(T1) 및 시각(T)를 이용하지 않고 값(PO)와 값(P1)으로부터 값(P)를 예측하는 스텝(스텝 S91)을 포함한다.

Description

동화상 예측 방법, 동화상 부호화 방법 및 장치, 동화상 복호화 방법 및 장치{MOVING PICTURE PREDICTION METHOD, MOVING PICTURE ENCODING METHOD AND DEVICE, AND MOVING PICTURE DECODING METHOD AND DEVICE}

본 발명은, 동화상에서의 화소치의 예측 방법에 관하여, 특히 2개의 픽쳐에 근거하여 시간적으로 스케일링 처리를 하는 예측 방법 등에 관한 것이다.

동화상 부호화에서는, 일반적으로, 동화상이 갖는 공간 방향 및 시간 방향의 용장성(冗長性)을 이용하여 정보량 압축을 한다. 여기서, 시간 방향의 용장성을 이용하는 방법으로서, 픽쳐간 예측 부호화가 이용된다. 픽쳐간 예측 부호화에서는, 어떤 픽쳐를 부호화할 시에, 시간적으로 전방 또는 후방에 있는 픽쳐를 참조 픽쳐로 한다. 그리고, 그 참조 픽쳐로부터의 운동량을 검출하여, 운동 보상을 한 픽쳐와 부호화 대상의 픽쳐의 차분치에 대하여 공간 방향의 용장도를 제거함으로써 정보량의 압축을 행한다.

이러한 동화상 부호화 방식으로서는, 픽쳐간 예측 부호화를 하지 않고, 즉 픽쳐내 부호화를 하는 픽쳐를 I픽쳐라고 부른다. 여기서 픽쳐란, 프레임 및 필드의 양자를 포함하는 1개의 부호화의 단위를 의미한다. 또한, 이미 처리된 1장 픽쳐를 참조하여 픽쳐간 예측 부호화하는 픽쳐를 P픽쳐라고 하고, 이미 처리된 2장의 픽쳐를 참조하여 픽쳐간 예측 부호화하는 픽쳐를 B픽쳐라고 부른다.

그런데, B픽쳐는 2개의 참조 픽쳐에 근거하여, 스케일링 처리(픽쳐의 간격에 근거하는 비례 계산)에 의해서, 화소치가 예측(「가중 예측」이라고도 한다)되거나, 움직임 벡터가 산출되기도 한다. 또, 픽쳐의 간격으로서는, 예컨대 픽쳐가 갖는 시간 정보의 차, 픽쳐마다 할당되는 픽쳐 번호의 차, 픽쳐의 표시 순서를 도시하는 정보의 차 등이 있다.

도 1은, 2개의 참조 픽쳐에 근거하는 가중 예측에 의해서, B픽쳐의 예측 화소치를 산출하는 과정을 도시하는 종래 기술의 일례를 도시한다. 본 도면에 도시되는 바와 같이, B픽쳐의 예측 화소치(P)는 2개의 참조 픽쳐 블록(1 및 2)의 화소치(P0 및 P1)를 이용한 가중 가산에 의해서 결정된다. 식 중의 무게 계수(a 및 b)는 예컨대, 모두 1/2이다.

도 2 및 도 3은 2개의 참조 픽쳐(블록(1 및 2))에 근거하여 스케일링을 함으로써 B픽쳐(부호화 대상 블록)의 예측 화소치를 산출하는 과정을 나타내는 다른 예이다(예컨대, Joint Video Team(JVT) of ISO/IEC MPEG and ITU-T VCEG Joint Committee Draft 2002-05-10, JVT-C167 11.참조). 여기서, 도 2는 B픽쳐(부호화 대상 블록)이 전방향의 픽쳐(블록1)와 후방향의 픽쳐(블록2)를 참조하고 있는 경우의 예를 도시하고, 도 3은 B픽쳐(부호화 대상 블록)가 2개의 전방향의 픽쳐(블록1 및 블록2)를 참조하고 있는 경우의 예를 도시하고 있다. 또, 도면 중의 W0 및 W1은 스케일링 처리(여기서는, 화소치의 가중 예측)에서의 무게 계수이고, 각각, 블록(1)의 화소치에 곱하는 무게 계수, 블록(2)의 화소치에 곱하는 무게 계수이고, 이하의 식으로 나타낸다.

WO=(128×(T1-T))/(T1-TO) (식1)

W1=(128×(T-TO))/(T1-TO) (식2)

여기서, T, TO, T1은 각각, 부호화 대상 블록, 전방향의 참조 블록(1), 후방향의 참조 블록에 부가된 시간(타임 스탬프 등)이다.

이 때, 대상 블록의 예측 화소치(P)는, 이하의 식에 의해서 산출된다.

P=(P0×W0＋P1×W1＋64)》7 (식3)

여기서, 「》」는 오른쪽 방향으로의 비트 시프트를 의미한다. 요컨대, 「》7」은, 「÷(2의 7승)」을 의미한다. 또, 상기 식3은 화소치가 휘도 신호의 값을 나타내는 경우이지만, 화소치가 색차를 나타내는 경우에는 이하의 식으로 나타낸다.

P=128＋((P0-128)×W0＋(P1-128)×W1＋64)》7 (식4)

도 4는 이들의 식을 이용한 구체적인 산출 순서를 도시하는 플로우 차트이다. 시각(T, T1, T0)을 취득한 후에(스텝 S401), 시각(T1과 TO)이 같은, 즉, 식1 및 식2에 나타낸 무게 계수(WO 및 W1)의 식에서의 분모가 0이 되는지의 여부를 판단하고(스텝 S402), 0이 되는 경우에는(스텝 S402에서 Yes), 무게 계수(WO 및 W1)를 128로 하며(스텝 S403), 그렇지 않은 경우에는(스텝 S402에서 No) 상기 식1 및 식2에 따라서 무게 계수(WO 및 W1)를 산출하고(스탭S404), 마지막으로 그들의 무게 계수(W0 및 W1), 참조 블록(1)의 화소치(P0) 및 참조 블록(2)의 화소치(P1)를 이용하여 상기 식3 또는 식4에 따라서 부호화 대상 블록의 예측 화소치(P)를 산출한다(스텝 S405). 이와 같이, 2개의 참조 블록의 화소치를 이용하여 시간적인 스케일링을 함으로써 부호화 대상 블록의 예측 화소치가 산출된다.

그런데, 이러한 시간적인 스케일링 처리에서는, 상기 식1 및 식2에 나타내는 바와 같이 무게 계수의 산출을 위해 나눗셈이 필요하지만, 나눗셈은 곱셈에 비하여 연산에 필요한 리소스가 큰 것으로부터 나눗셈을 하는 대신에 나눈 수의 역수를 미리 계산하여 룩업 테이블 등에 격납시켜 놓고, 그 역수를 이용하여 곱셈을 하는 것이 일반적이다.

또한, 도 1, 도 2 및 도 3에서 블록(1 및 2)은 P픽쳐로 하였지만, I픽쳐나 B픽쳐라도 되며, P픽쳐에 구애받는 것은 아니다.

그렇지만, 미리 계산된 역수를 이용하는 방법으로는, 무게 계수를 산출하는 식에서의 나눈 수의 종류가 많을 경우에는, 미리 계산해 두는 역수의 종류도 많아진다. 예컨대, 식1, 식2로 나타낸 TO 및 T1의 취득치가 각각 30가지라고 하면, 단순하게 계산하여 900가지의 나눗셈이 역수 계산을 위해 필요하게 되어 역수 연산의 연산량이 상당히 커진다. 또한, 역수를 격납시켜 놓는 룩업 테이블 등의 기억 용량이 많이 필요하게 되는 문제도 있다.

또한, 상기 식1 및 식2에서의 분모(무게 계수의 나눈 수)가 작아지면, 무게 계수(상)가 상당히 커지고, 예컨대, 예측 화소치가 16비트로 표현할 수 있는 값을 초과해 버리는 문제가 있다. 따라서, 예컨대, 32비트에 의한 연산을 해야 할 필요가 발생하는 등, 연산에 필요한 연산 정밀도(유효 연산 자리수)가 증가하므로, 연산 장치의 규모가 커진다.

도 1은 2개의 참조 픽쳐에 근거하는 가중 예측에 의해서, B픽쳐의 예측 화소치를 산출하는 과정을 나타내는 종래 기술의 일례를 도시하는 도면이다.

도 2는 B픽쳐(부호화 대상 블록)가 전방향의 픽쳐(블록(1))와 후방향의 픽쳐(블록(2))를 참조하고 있는 경우의 예를 도시하는 도면이다.

도 3은 B픽쳐(부호화 대상 블록)가 2개의 전방향의 픽쳐(블록(1) 및 블록(2))를 참조하고 있는 경우의 예를 도시하는 도면이다.

도 4는 종래의 가중 예측의 순서를 도시하는 플로우 차트이다.

도 5는 본 발명에 관한 동화상 예측 방법을 이용한 동화상 부호화 장치의 일 실시 형태의 구성을 도시하는 블록도이다.

도 6은 도 5에서의 움직임 보상 부호화부에 의한 가중 예측의 처리 순서를 도시하는 플로우 차트이다.

도 7은 무게 계수의 산출에서의 나눗셈을 피하기 위해서 필요한 룩업 테이블의 사이즈 삭감에 유효한 처리 순서를 도시하는 플로우 차트이다.

도 8은 도 7에서의 판단 처리(스텝 S70)의 구체예를 도시하는 플로우 차트이다.

도 9는 소정의 유효 비트수로 가중 예측을 하는 처리 순서를 도시하는 플로우 차트이다.

도 10은 도 9에서의 판단 처리(스텝 S90)의 구체예를 게시하는 플로우 차트이다.

도 11은 본 발명에 관한 동화상 예측 방법을 이용한 동화상 복호화 장치의 일 실시 형태의 구성을 도시하는 블록도이다.

도 12는 실시 형태1의 동화상 부호화 장치 또는 실시 형태2의 동화상 복호화 장치의 구성을 실현하기 위한 프로그램을 격납한 플렉시블 디스크를 이용하여 컴퓨터 시스템에 의해 실시하는 경우의 설명도이다.

도 13은 콘텐츠 배송 서비스를 실현하는 콘텐츠 공급 시스템의 전체구성을 도시하는 블록도이다.

도 14는 본 발명에 관한 동화상 예측 방법, 동화상 부호화 장치 및 화상 복호화 장치를 이용한 휴대 전화를 도시하는 도면이다.

도 15는 본 발명에 관한 휴대 전화의 구성을 도시하는 블록도이다.

도 16은 본 발명에 관한 디지털 방송용 시스템의 전체 구성을 도시하는 블록도이다.

그래서 본 발명은, 이러한 상황을 감안하여 시간적인 스케일링 처리에 의한 동화상의 예측에서 거기서 이용되는 나눈 수의 역수를 미리 계산하여 메모리에 격납시켜 놓는 경우에, 그 메모리의 기억 용량이 작아도 되는 것을 가능하게 하는 동화상 예측 방법 등을 제공하는 것을 목적으로 한다.

또한, 본 발명은 시간적인 스케일링 처리에 의한 동화상의 예측에서 연산에 필요한 유효 연산 자리수를 증대시키지 않고, 작은 규모의 연산으로 끝나는 것을 가능하게 하는 동화상 예측 방법 등을 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위해서, 본 발명에 관한 동화상 예측 방법은 동화상을 구성하는 픽쳐의 화소치를 2장의 참조 픽쳐의 화소치에 근거하여 예측하는 방법으로서, 예측 대상 픽쳐와 제1 참조 픽쳐와의 간격에 대응하는 제1 파라미터를 산출하는 제1 파라미터 산출 스텝과, 상기 제1 참조 픽쳐와 제2 참조 픽쳐와의 간격에 대응하는 제2 파라미터를 산출하는 제2 파라미터 산출 스텝과, 상기 제1 파라미터 및 상기 제2 파라미터에 근거하여 산출되는 제3 파라미터가 미리 설정된 소정 범위에 포함되는지의 여부를 판단하는 제1 판단 스텝과, 상기 제1 판단 스텝에서의 판단 결과, 상기 제3 파라미터가 상기 소정 범위에 포함되는 경우, 상기 제1 파라미터, 상기 제2 파라미터, 상기 제1 참조 픽쳐 및 제2 참조 픽쳐의 화소치에 근거하여 스케일링을 하는 것에 의해 상기 예측 대상 픽쳐의 화소치를 산출하는 제1 예측 스텝과, 상기 제1 판단 스텝에서의 판단 결과, 상기 제3 파라미터가 상기 소정 범위에 포함되지 않을 경우, 미리 설정된 소정치, 상기 제1 참조 픽쳐 및 제2 참조 픽쳐의 화소치에 근거하여 스케일링을 함으로써 상기 예측 대상 픽쳐의 화소치를 산출하는 제2 예측 스텝을 포함하는 것을 특징으로 한다.

여기서, 스케일링 처리란, 2장의 참조 픽쳐의 화소치로부터 예측 대상 픽쳐의 화소치를 산출할 때의 각 무게 계수를 구하는 처리이다.

이것에 의해서, 스케일링 처리에서의 무게 계수의 값의 하나인 제3 파라미터에 제한을 두고, 무게 계수가 소정 범위 내의 경우에는 그 무게 계수를 이용한 스케일링 처리를 하지만, 무게 계수가 소정 범위 외인 경우에는 무게 계수를 소정치로 하여 그 무게 계수를 이용한 스케일링 처리를 하므로, 예측 대상 픽쳐의 화소치를 구할 때에, 항상 소정의 유효 비트 수에서의 계산이 가능하게 된다.

그리고, 상기 동화상 예측 방법은 또한, 상기 제1 파라미터가 미리 설정된 소정 범위에 포함되는지의 여부를 판단하는 제2 판단 스텝을 포함하고, 상기 제2 판단 스텝에서의 판단 결과, 상기 제1 파라미터가 상기 소정 범위에 포함되지 않을 경우, 상기 제2 예측 스텝에서 예측하는 것이 바람직하다.

이것에 의해서, 스케일링 처리에서의 나눈 수의 값이 되는 제1 파라미터에 제한을 두고, 나눈 수가 소정 범위 내의 값인 경우에는, 또한 그 나눈 수에 의해서 특정되는 무게 계수가 소정 범위에 포함되는지의 여부를 판단하여 상기와 같은 처리를 하며, 한편, 나눈 수가 소정 범위를 초과하는 경우에는 미리 정한 값을 무게 계수로서 스케일링 처리를 하므로, 예측 대상 픽쳐의 화소치를 구할 때에 나눈 수의 역수를 계산하는 연산량이나 기억하는 메모리량이 작게 억제된다.

그리고, 상기 동화상 예측 방법은, 또한, 상기 제2 파라미터가 미리 설정된 소정 범위에 포함되는지의 여부를 판단하는 제3 판단 스텝을 포함하고, 상기 제3 판단 스텝에서의 판단 결과, 상기 제2 파라미터가 상기 소정 범위에 포함되지 않을 경우, 상기 제2 예측 스텝에서의 예측을 행하여도 된다.

이것에 의해서, 스케일링 처리에서의 곱한 수의 값이 되는 제2 파라미터에 제한을 두고, 곱한 수가 소정 범위 내의 값인 경우에는, 또한 그 곱한 수에 의해서 특정되는 무게 계수가 소정 범위에 포함되는지의 여부를 판단하여 상기한 바와 같이 처리를 하며, 한편, 곱한 수가 소정 범위를 초과하는 경우에는 미리 정한 값을 무게 계수로서 스케일링 처리를 하므로 예측 대상 픽쳐의 화소치를 구할 때에 계산하는 연산량이 작게 억제된다.

또한, 본 발명은 이러한 동화상 예측 방법으로서 실현할 수 있을 뿐 아니라, 이러한 동화상 예측 방법에 포함되는 스텝을 수단으로 하는 동화상 예측 장치로서 실현하거나, 그와 같은 동화상 예측 방법을 하는 동화상 부호화 방법·장치 및 동화상 복호화 방법·장치로서 실현하거나, 그들의 스텝을 컴퓨터에 실행시키는 프로그램으로서 실현할 수도 있다. 그리고, 그와 같은 프로그램은 CD-ROM 등의 기록 매체나 인터넷 등의 전송 매체를 통해 배송할 수 있는 것은 말할 필요도 없다.

이상의 설명으로부터 분명해졌듯이, 본 발명에 관한 동화상 예측 방법에 의해서 2개의 참조 픽쳐를 이용한 스케일링 처리가 효율화된다. 이것에 의해서 스케일링 처리에 따르는 계산량과 메모리 용량이 삭감된다.

요컨대, 예측 화소치의 생성이나 움직임 벡터의 생성에서, 무게 계수의 산출에서의 나눗셈을 피하기 위해서 필요한 역수 연산의 회수와 역수를 보존하는 룩업 테이블 등의 메모리 사이즈가 삭감된다. 또한, 소정의 유효 비트 수(예컨대, 16비트)로 스케일링 처리가 행해지고, 회로 규모의 비대화를 회피할 수 있게 된다.

이하, 본 발명에 관한 동화상 예측 방법에 관해서, 도면을 참조하면서 상세하게 설명한다.

(실시 형태1)

도 5는 본 발명에 관한 동화상 예측 방법을 이용한 동화상 부호화 장치의 일 실시 형태의 구성을 도시하는 블록도이다.

동화상 부호화 장치는 픽쳐 메모리(101), 예측 잔차 부호화부(102), 부호열 생성부(103), 예측 잔차 복호화부(104), 픽쳐 메모리(105), 움직임 벡터 검출부(106), 움직임 보상 부호화부(107), 움직임 벡터 기억부(108), 차분 연산부(110), 가산 연산부(111) 및 스위치(112, 113)를 구비한다.

픽쳐 메모리(101)는 표시 시간 순으로 픽쳐 단위로 입력된 동화상을 격납한다. 움직임 벡터 검출부(106)는 부호화된 복호화 화상 데이터를 참조 픽쳐로서 이용하고 그 픽쳐 내의 탐색 영역에 알맞다고 예측되는 위치를 나타내는 움직임 벡터 검출을 한다.

움직임 보상 부호화부(107)는 움직임 벡터 검출부(106)에서 검출된 움직임 벡터를 이용하여 블록의 부호화 모드를 결정하고, 이 부호화 모드에 근거하여 예측 화상 데이터(예측 화소치)를 생성한다. 예컨대, 2장의 참조 픽쳐를 이용한 픽쳐간 예측 부호화 모드의 경우에는, 움직임 보상 부호화부(107)는 움직임 벡터 검출부(106)에서 검출된 움직임 벡터를 이용하여 2장의 참조 픽쳐로부터 2개의 참조 블록의 화소치를 구하고, 예측 화상 데이터를 생성한다. 요컨대, 본 발명에 관한 특징적인 스케일링 처리에 의해, 화소치의 가중 예측을 하고 2개의 참조 블록의 화소치로부터 처리 대상 블록의 화소치를 구한다. 또한, 움직임 보상 부호화부(107)는 제1 참조 픽쳐와 제2 참조 픽쳐와의 간격에 대응하는 값(소정의 범위로 제한한 값)과 그 역수를 대응시켜 기억하는 룩업 테이블을 갖고 있어, 이 룩업 테이블을 참조하여 스케일링 처리를 한다.

움직임 벡터 기억부(108)는 움직임 벡터 검출부(106)에서 검출된 움직임 벡터를 기억한다. 이 움직임 벡터 기억부(108)에 기억된 움직임 벡터는 예컨대 참조 픽쳐가 갖는 움직임 벡터를 스케일링 처리하여 처리 대상 블록의 움직임 벡터를 예측하는 시간적 다이렉트 모드 시에 참조된다. 차분 연산부(110)는 픽쳐 메모리(101)에서 독출된 화상 데이터와 움직임 보상 부호화부(107)에서 입력된 예측 화상 데이터의 차분을 연산하여, 예측 잔차 화상 데이터를 생성한다.

예측 잔차 부호화부(102)는 입력된 예측 잔차 화상 데이터에 대하여 주파수 변환이나 양자화 등의 부호화 처리를 하여 부호화 데이터를 생성한다. 부호열 생성부(103)는 입력된 부호화 데이터에 대하여 가변 길이 부호화 등을 행하고, 또한 움직임 보상 부호화부(107)로부터 입력된 움직임 벡터의 정보 및 부호화 모드의 정보 등을 부가하는 것으로써 부호열을 생성한다.

예측 잔차 복호화부(104)는 입력된 부호화 데이터에 대하여 역양자화나 역주파수 변환 등의 복호화 처리를 하고, 복호화 차분 화상 데이터를 생성한다. 가산 연산부(111)는 예측 잔차 복호화부(104)에서 입력된 복호화 차분 화상 데이터와, 움직임 보상 부호화부(107)에서 입력된 예측 화상 데이터를 가산하여, 복호화 화상 데이터를 생성한다. 픽쳐 메모리(105)는 생성된 복호화 화상 데이터를 격납한다.

다음에, 이상과 같이 구성된 동화상 부호화 장치의 특징적인 동작에 관해서 설명한다. 여기서는, 일례로서, 움직임 보상 부호화부(107)에 의한 B픽쳐의 예측 화소치의 생성, 요컨대, 가중 예측에 관해서 도 2 및 도 3을 참조하면서 설명한다.

움직임 보상 부호화부(107)는 이하의 식에 근거하여 부호화 대상 블록의 예측 화소치를 산출한다.

P=PO+((P1-PO)×BWD)》LWD (식5)

여기서, BWD 및 LWD는 이하의 식6∼식9에서 특정되는 값이다.

BWDO=((T-TO)《7)/(T1-TO) (식6)

여기서, 「《」는 좌방향으로의 비트 시프트를 의미한다. 요컨대, 「《7」은 「×(2의 7승)」을 의미한다.

LWDO= Ceil(log2(1+(abs(BWDO)》7)) (식7)

여기서, 함수 Ceil(x)는 x를, x이상으로, 또한, x에 가장 가까운 정수로 반올림한 함수이다. 함수 abs(x)는, x의 절대치를 되돌리는 함수이다.

BWD=BWDO》LWDO (식8)

LWD=7-LWDO (식9)

또, 식7에 나타낸 바와 같이, LWDO은 abs(BWDO)》7의 정수치의 비트수를 의미한다.

이상의 식으로부터 알 수 있듯이, 본 실시 형태에서는 화소치가 8비트로 표현된다고 하면, 상기 식6, 식7, 식8, 식9의 연산은 모두 16비트의 연산이 된다. 따라서, 상기 식5에 나타내는 스케일링 처리는 16비트의 유효 비트수의 범위 내에서 행해지는 것이 보증된다. 요컨대, 상기 식8에 의해서 상기 식5에서의 곱셈이 16비트의 유효 비트수를 초과하지 않도록, 무게 계수가 제한되는 것이다. 이것에 의해서, B픽쳐의 가중 예측은, 항상 16비트의 유효 비트수 내에서 실현된다. 또한, 처리량의 삭감을 위해 BWD 및 LWD에 관해서는, 미리 계산해 놓고, 픽쳐 또는 슬라이스의 개시 시점에 놓이는 룩업 테이블 등에 격납시켜 놓아도 된다.

또, 본 실시 형태에서는 무게 계수의 산출을 위한 계산 회수를 삭감하기 위해서, 상기의 제한 외에 별도의 제한을 적용할 수 있다. 그것은 블록(1)의 참조 픽쳐가 제2 참조 리스트(list 1)에서의 최초의 참조 픽쳐가 아닌 경우에는 디폴트의 무게 계수를 이용한다라는 제한이다. 여기서는, 제2 참조 리스트에서의 최초의 참조 픽쳐는 제2 참조 리스트에서의 인덱스0이 부가된 참조 픽쳐이다.

여기서, 참조 리스트란, 참조 픽쳐를 특정하기 위한 상대적인 번호(인덱스)의 열이고, B픽쳐가 참조하는 2개의 픽쳐를 특정하기 위해, 제1 참조 리스트와 제2 참조 리스트가 이용된다. 제1 참조 리스트는 1번째의 움직임 벡터의 참조 리스트이고 통상적으로 전방 예측에 사용되며, 제2 참조 리스트는 2번째의 움직임 벡터의 참조 리스트이고 통상적으로 후방 예측에 사용된다. 인덱스는 통상적으로 대상 화상과 화소 상관이 큰 참조 픽쳐에 작은 번호가 할당되어 있고, 가장 작은 번호는 O이다. 또한, 무게 계수의 디폴트치는 BWD=1, LWD=1이 바람직하다. 단, LWD0이 7보다 큰 값이 되는 경우에는, 다른 디폴트치 예컨대, BWD=1, LWD=O으로 설정되어도 된다.

도 6은 움직임 보상 부호화부(107)에 의한 가중 예측의 처리 순서를 도시하는 플로우 차트이다. 우선, PO, P1, T, TO, T1이 취득되면(스텝 S501), 블록(2)가 속하는 참조 픽쳐가 제2 참조 리스트에서의 최초의 참조 픽쳐(요컨대, list 1에서의 인덱스0)인지의 여부가 판단된다(스텝 S502).

그 결과, 블록(2)가 속하는 참조 픽쳐가 제2 참조 리스트에서의 최초의 참조 픽쳐가 아닌 경우에는(스텝 S502에서 No), 무게 계수는 제1 디폴트치로 설정된다(스텝 S504). 여기서, 「무게 계수가 제1 디폴트치로 설정된다」란, BWD=1, LWD=1을 의미한다.

한편, 블록(2)가 속하는 참조 픽쳐가 참조 리스트에서의 최초의 참조 픽쳐인 경우에는(스텝 S502에서 Yes), 시각 T1과 TO이 같은지의 여부가 판단된다(스텝 S503). 그 결과, T1과 TO이 같은 경우에는(스텝 S503에서 Yes) 무게 계수는 제1 디폴트치로 설정되고(스텝 S504), 한편, T1과 TO이 같지 않을 경우에는(스텝 S503에서 No) 상기 식6 및 식7에 따라서 BWDO 및 LWDO가 산출된다(스텝 S505).

계속해서, LWDO이 7보다도 큰지의 여부를 판단하여(스텝 S506) 7보다 큰 경우에는(스텝 S506에서 Yes) 무게 계수는 제2 디폴트치로 설정된다(스텝 S507). 여기서, 「무게 계수가 제2 디폴트치로 설정된다」란, BWD=1, LWD=O을 의미한다. 한편, LWDO이 7이하인 경우에는(스텝 S506에서 No), 상기 식8 및 식9에 따라서 BWD 및 LWD가 산출된다(스텝 S508).

그리고, 이상으로부터 결정된 BWD 및 LWD를 이용하여, 상기 식5에 따라서 부호화 대상 블록의 예측 화소치(P)가 산출된다(스텝 S509).

이와 같이, 상기 제한(스텝 S502, S503, S504, S506, S507), 요컨대, 일정 조건이 만족된 경우에 무게 계수를 소정치로 고정하는 것으로서 계산의 회수 및 무게 계수용의 룩업 테이블에 필요하게 되는 기억 사이즈는 종래와 비교하여 지극히 작아진다.

또한, 필요한 나눗셈의 회수는 룩업 테이블에 기억하는 무게 계수의 개수로부터 1을 뺀 값과 같아진다. 이는, 룩업 테이블의 엔트리에 있어서의 남는 부분에서는 디폴트치의 무게 계수가 이용되기 때문이다. 즉, 일부의 무게 계수만이 계산에 의해서 산출되게 된다.

또, 이상의 가중 예측은 화소치가 휘도를 나타내는 경우뿐만 아니라, 색차를 나타내는 경우에도 성립하는 것은 말할 필요도 없다. 예를 들어, B픽쳐에서의 색차의 블록의 무게 계수에 관해서는 색차의 예측치는, 상기 식5에 식3과 같은 128의 오프셋을 이용하여 산출할 수 있다. 따라서, 색차의 화소치에 대한 스케일링에 관해서도, 종래와 비교하여 계산량이 삭감된다.

이상과 같이, 본 실시 형태에서의 동화상 부호화 장치에 의해서, 2개의 참조 블록을 이용한 스케일링 처리가 효율화된다. 그리고, 계산량의 삭감이라는 효과는 동화상 부호화 장치뿐만 아니라, 동화상 복호화 장치에 관해서도 적용할 수 있는 것은 말할 필요도 없다.

또, 본 실시 형태에서는 무게 계수의 산출에서의 나눗셈을 피하기 위해서 필요한 룩업 테이블의 사이즈 삭감과 소정의 유효 비트수(예컨대, 16비트)로 가중 예측하는, 양쪽을 동시에 실현하는 방법을 나타내었지만, 본 발명은 반드시, 양쪽의 효과를 동시에 발휘하는 실현 방법만으로 한정되지 않는다. 이하, 룩업 테이블의 사이즈 삭감과 소정의 유효 비트수에서의 가중 예측 각각을 단독으로 실현하는 방법을 설명한다.

또한, 상기에서는 비트 시프트에 의해서 소정의 유효 비트수로 가중 예측을 하는 방법을 나타내었지만, BWD 및 LWD에 관해서는 고정치를 이용하는 것이 가능하다. BWD 및 LWD를 고정치로 함으로써 무게 계수가 소정의 유효 비트수를 초과하는 경우가 있지만 이 경우에는 이하에 설명하듯이 소정의 무게 계수를 이용한다.

도 7은 무게 계수의 산출에서의 나눗셈을 피하기 위해서 필요한 룩업 테이블의 사이즈 삭감에 유효한 처리 순서를 나타내는 플로우 차트이다.

우선, 움직임 보상 부호화부(107)는 도 2 또는 도 3에 도시한 B픽쳐의 가중 예측 시에, 시각(T, T1, TO)의 값에 따른 예측치의 생성이 필요한지의 여부를 판단한다(스텝 S70). 그 결과, 필요하다고 판단된 경우에는(스텝 S70에서 Yes), 통상대로, 상기 식1∼식3에 따라서, 그들의 시각(T, T1, TO)의 값에 따른 예측치를 생성한다(스텝 S72). 한편, 필요하다고 판단하지 않은 경우에는(스텝 S70에서 No) 2개의 무게 계수(WO 및 W1) 각각을 1/2로 설정하고 상기 식3에 따라서 예측치를 생성한다(스텝 S71).

도 8은 도 7에서의 판단 처리(스텝 S70)의 구체예를 도시하는 플로우 차트이다.

도 8(a)에서는, 움직임 보상 부호화부(107)는 시각(T1)의 인덱스(시각(T1)에 대응하는 참조 픽쳐의 참조 리스트에서의 인덱스)가 0인지 아닌지에 의해(스텝 S80) 소정의 무게 계수(예컨대, W0=W1=1/2)를 이용하여 예측치를 생성할지(스텝 S81) 또는 상기 식1∼식3에 따라서, 시각(T, T1, TO)을 이용하여 예측치를 생성할지(스텝 S82)를 전환한다. 이것에 의해서, 예컨대, 시각(T1)의 인덱스가 O이 되는 경우에 관해서만, 시간 관계에 의존한 무게 계수의 산출이 필요하게 되므로, 그와 같은 경우에 대응하는 무게 계수만을 룩업 테이블에 격납하여 놓는 것으로서 모든 경우에서의 무게 계수를 격납하는 종래와 비교하여 테이블의 사이즈가 삭감된다.

도 8(b)에서는, 움직임 보상 부호화부(107)는 시각(T1)의 인덱스(시각(T1)에 대응하는 참조 픽쳐의 참조 리스트에서의 인덱스)가 소정치(예컨대 2) 이하인지 아닌지에 따라서(스텝 S85) 소정의 무게 계수(예컨대, W0=W1=1/2)를 이용하여 예측치를 생성할지(스텝 S86) 또는, 상기 식1∼3에 따라서 시각(T, T1, TO)을 이용하여 예측치를 생성할지(스텝 S87)를 전환한다. 이것에 의해서, 예컨대, 참조 픽쳐의 인덱스가 소정치 이하가 되는 경우에 관해서만, 시간 관계에 의존한 무게 계수의 산출이 필요하게 되므로, 그와 같은 경우에 대응하는 무게 계수만을 룩업 테이블에 격납시켜 놓는 것으로서, 모든 경우에서의 무게 계수를 격납하는 종래와 비교하여 테이블의 사이즈가 삭감된다.

도 9는 소정의 유효 비트수로 가중 예측을 하는 처리 순서를 도시하는 플로우 차트이다.

우선, 움직임 보상 부호화부(107)는 도 2 또는 도 3에 도시한 B픽쳐의 가중 예측 시에, 시각(T, T1, TO)의 값에 따라서 소정의 유효 비트수로 예측치를 생성하는 것이 가능한지의 여부를 판단한다(스텝 S90). 그 결과, 가능하다고 판단한 경우에는(스텝 S90에서 Yes), 통상대로, 상기 식1∼식3에 따라서, 그들의 시각(T, T1, TO)의 값에 따른 예측치를 생성한다(스텝 S92). 한편, 불가능하다고 판단한 경우에는(스텝 S90에서 No) 2개의 무게 계수(WO 및 W1) 각각을 1/2로 설정하여 상기 식3에 따라서 예측치를 생성한다(스텝 S91).

도 10은 도 9에서의 판단 처리(스텝 S90)의 구체예를 도시하는 플로우 챠트이다.

도 1O(a)는 화소치의 가중 예측에서의 구체예를 나타내는 도면이다. 여기서는, 움직임 보상 부호화부(107)는 시각(T1)과 시각(T)와의 차(T1-T)가 소정 범위 내(예컨대, -2∼2)에 있는지의 여부에 따라서(스텝 S100) 소정의 무게 계수(예컨대, W0=W1=1/2)를 이용하여 예측치를 생성할지(스텝 S101) 또는 상기 식1∼식3에 따라서 시각(T, T1, TO)을 이용하여 예측치를 생성할지(스텝 S102)를 전환한다. 이것에 의해서, 예측 화소치의 생성에서 무게 계수가 일정치를 초과하는 경우 즉, 일정의 비트수로 표현할 수 없는 사태가 발생할 수 있는 경우에는 무게 계수는 소정치(일정한 비트수로 표현되는 값)로 설정되기 때문에, 항상 일정한 유효 비트수에 의한 가중 예측이 확보된다.

도 10(b)는 화소치의 가중 예측에서의 구체예를 나타내는 도면이다. 여기서는, 움직임 보상 부호화부(107)는 시각(T1)과 시각(TO)과의 차(T1-TO)가 소정 범위 내(예컨대, -2∼2)에 있는지의 여부에 따라서(스텝 S105), 소정의 무게 계수(예컨대, W0=W1=1/2)를 이용하여 예측치를 생성할지(스텝 S106) 또는 상기 식1∼식3에 따라서 시각(T, T1, TO)을 이용하여 예측치를 생성할지(스텝 S106)를 전환한다. 이것에 의해서, 예측 화소치의 생성에서 무게 계수가 일정치를 초과하는 경우 즉, 일정한 비트수로 표현할 수 없는 사태가 발생할 수 있는 경우에는 무게 계수는 소정치(일정한 비트수로 표현되는 값)로 설정되기 때문에, 항상 일정한 유효 비트수에 의한 가중 예측이 확보된다.

(실시 형태2)

다음에, 본 발명에 관한 동화상 예측 방법을 이용한 동화상 복호화 장치에 관해서 설명한다.

도 11은 본 발명에 관한 동화상 예측 방법을 이용한 동화상 복호화 장치의 일실시 형태의 구성을 도시하는 블록도이다.

동화상 복호화 장치는 부호열 해석부(201), 예측 잔차 복호화부(202), 픽쳐 메모리(203), 움직임 보상 복호화부(204), 움직임 벡터 기억부(205), 가산 연산부(207) 및 스위치(208)를 구비한다.

부호열 해석부(201)는 입력된 부호열에서 부호화 모드의 정보 및 부호화 시에 이용된 움직임 벡터의 정보 등의 각종 데이터의 추출을 한다. 예측 잔차 복호화부(202)는 입력된 예측 잔차 부호화 데이터의 복호화를 하여 예측 잔차 화상 데이터를 생성한다.

움직임 보상 복호화부(204)는 부호화 시의 부호화 모드의 정보 및 움직임 벡터의 정보 등에 근거하여 움직임 보상 화상 데이터를 생성한다. 예컨대, 2장의 참조 픽쳐를 이용한 픽쳐 간 예측 부호화 모드로 부호화되어 있는 경우에는, 움직임 보상 복호화부(204)는 부호열 해석부(201)에서 추출된 움직임 벡터를 이용하여 2장의 참조 픽쳐로부터 2개의 참조 블록의 화소치를 구하고, 움직임 보상 화상 데이터를 생성한다. 요컨대, 본 발명에 관한 특징적인 스케일링 처리에 의해서 화소치의 가중 예측을 하고, 2개의 참조 블록의 화소치에서 처리 대상 블록의 화소치를 구한다. 또한, 움직임 보상 복호화부(204)는 제1 참조 픽쳐와 제2 참조 픽쳐와의 간격에 대응하는 값과 그 역수를 대응시켜 기억하는 룩업 테이블을 갖고 있어 이 룩업 테이블을 참조하여 스케일링 처리를 한다.

움직임 벡터 기억부(205)는 부호열 해석부(201)에 의해 추출된 움직임 벡터를 기억한다. 이 움직임 벡터 기억부(205)에 기억된 움직임 벡터는 예컨대 복호화 대상 블록이 시간적 다이렉트 모드에 의해 부호화 되어 있는 경우에 참조된다. 가산 연산부(207)는 예측 잔차 복호화부(202)에서 입력된 예측 잔차 부호화 데이터와 움직임 보상 복호화부(204)에서 입력된 움직임 보상 화상 데이터를 가산하여 복호화 화상 데이터를 생성한다. 픽쳐 메모리(203)는 생성된 복호화 화상 데이터를 격납한다.

이상과 같이 구성된 동화상 복호화 장치의 특징적인 동작, 요컨대, 움직임 보상 복호화부(204)에 의한 화소치의 가중 예측에 관하여 설명한다.

움직임 보상 복호화부(204)는 기본적으로는 동화상 부호화 장치가 구비하는 움직임 보상 부호화부(107)와 같은 기능을 갖는다. 예컨대, 스케일링 처리에 의한 화소치의 가중 예측에서는 도 6에 도시하는 바와 같이, 시각(T1)의 인덱스치나 시각(T1)과 시각(TO)과의 일치성에 근거하여(스텝 S501∼S503) BWD 및 LWD에 디폴트치를 설정하거나(스텝 S504, S507), 상기 식6∼식9에 따라서 BWD 및 LWD를 특정하고(스텝 S508), 특정한 BWD 및 LWD를 이용하여 상기 식5에 따라서, 부호화 대상 블록(P)의 예측 화소치를 산출한다(스텝 S509).

또, 움직임 보상 복호화부(204)는 도 7 및 도 8에 도시되는 바와 같이, 무게 계수의 산출에서의 나눗셈을 피하기 위해서 필요한 룩업 테이블의 사이즈 삭감에 유효한 처리만 하여도 된다. 요컨대, 움직임 보상 복호화부(204)는 도 2 또는 도 3에 도시한 B픽쳐의 가중 예측 시에, 시각(T, T1, TO)의 값에 따른 예측치의 생성이 필요한지의 여부를 판단하여(스텝 S70), 그 결과, 필요하다고 판단한 경우에는(스텝 S70에서 Yes) 통상대로 상기 식1∼식3에 따라서, 그들의 시각(T, T1, TO)의 값에 따른 예측치를 생성하고(스텝 S72), 한편 필요하다고 판단하지 않은 경우에는(스텝 S70에서 No), 2개의 무게 계수(W0 및 W1) 각각을 1/2로 설정하여 상기 식3에 따라서 예측치를 생성한다(스텝 S71).

이것에 의해서, 시각(T, T1, TO)에 따른 예측치의 생성이 필요하게 되는 경우에 관해서만 시간 관계에 의존한 무게 계수의 산출이 필요하게 되므로, 그와 같은 경우에 대응하는 무게 계수만을 룩업 테이블에 격납시켜 놓는 것으로서 모든 경우에서의 무게 계수를 격납하는 종래와 비교하여 테이블의 사이즈가 삭감된다.

마찬가지로, 움직임 보상 복호화부(204)는 도 9 및 도 10에 도시하는 바와 같이, 소정의 유효 비트수로 가중 예측을 하는 처리를 하여도 된다. 요컨대, 움직임 보상 복호화부(204)는 도 2 또는 도 3에 도시된 B픽쳐의 가중 예측 시에 시각(T, T1, TO)의 값에 따라 소정의 유효 비트수로 예측치를 생성하는 것이 가능한지의 여부를 판단하여(스텝 S90) 그 결과, 가능하다고 판단한 경우에는(스텝 S90에서 Yes), 통상대로 상기 식1∼식3에 따라서 그들의 시각(T, T1, T0)의 값에 따른 예측치를 생성하고(스텝 S92), 한편 불가능하다고 판단한 경우에는(스텝 S90에서 No) 2개의 무게 계수(WO 및 W1) 각각을 1/2로 설정하여 상기 식3에 따라서 예측치를 생성한다(스텝 S91).

이것에 의해서, 시각(T, T1, TO)을 이용하여 소정의 유효 비트수로 예측을 할 수 없는 경우, 요컨대, 무게 계수가 일정치를 초과하기 위해서 일정한 비트수로 예측치를 표현할 수 없는 사태가 발생하는 경우에는 무게 계수는 소정치(일정한 비트수로 표현되는 값)로 설정되므로 항상 일정한 유효 비트수에 의한 가중 예측이 확보된다.

(실시 형태3)

다음으로 본 발명에 관한 동화상 예측 방법, 동화상 부호화 장치 및 동화상 복호화 장치를 별도의 형태로 실현한 예에 관해서 설명한다.

상기 각 실시 형태에서 나타낸 동화상 부호화 장치 또는 동화상 복호화 장치의 구성을 실현하기 위한 프로그램을 플렉시블 디스크 등의 기억 매체에 기록하도록 함으로써, 상기 각 실시 형태에서 나타낸 처리를 독립한 컴퓨터 시스템에서 간단하게 실시하는 것이 가능해진다.

도 12는 상기 실시 형태1의 동화상 부호화 장치 또는 실시 형태2의 동화상 복호화 장치의 구성을 실현하기 위한 프로그램을 격납한 플렉시블 디스크를 이용하여 컴퓨터 시스템에 의해 실시하는 경우의 설명도이다.

도 12(b)는 플렉시블 디스크의 정면에서 본 외관, 단면 구조 및 플렉시블 디스크를 도시하고, 도 12(a)는 기록 매체 본체인 플렉시블 디스크의 물리 포맷의 예를 도시하고 있다. 플렉시블 디스크(FD)는 케이스(F) 내에 내장되고, 이 디스크의 표면에는 동심 원 형상으로 외주에서 내주로 향해 다수의 트랙(Tr)이 형성되며, 각 트랙은 각도 방향으로 16의 섹터(Se)로 분할되어 있다. 따라서, 상기 프로그램을 격납한 플렉시블 디스크에서는 상기 플렉시블 디스크(FD) 상에 할당된 영역에 상기 프로그램으로서의 동화상 부호화 장치가 기록되어 있다.

또한, 도 12(c)는 플렉시블 디스크(FD)에 상기 프로그램의 기록 재생을 하기 위한 구성을 도시한다. 상기 프로그램을 플렉시블 디스크(FD)에 기록하는 경우는 컴퓨터 시스템(Cs)에서 상기 프로그램으로서의 동화상 부호화 장치 또는 동화상 복호화 장치를 플렉시블 디스크 드라이브를 통해 기입한다. 또한, 플렉시블 디스크 안의 프로그램에 의해 상기 동화상 부호화 장치를 컴퓨터 시스템 중에 구축하는 경우는 플렉시블 디스크 드라이브에 의해 프로그램을 플렉시블 디스크로부터 독출하여 컴퓨터 시스템에 전송한다.

또, 상기 설명으로는 기록 매체로서 플렉시블 디스크를 이용하여 설명하였지만, 광 디스크를 이용하여도 마찬가지로 행할 수 있다. 또한, 기록 매체는 이것에 한정되지 않고, IC 카드, ROM 카세트 등, 프로그램을 기록할 수 있는 것이라면 마찬가지로 실시할 수 있다.

또한 여기서, 상기 실시 형태에서 나타낸 동화상 예측 방법, 동화상 부호화 장치, 동화상 복호화 장치의 응용예와 그것을 이용한 시스템을 설명한다.

도 13은 콘텐츠 배송 서비스를 실현하는 콘텐츠 공급 시스템(ex1OO)의 전체 구성을 도시하는 블록도이다. 통신 서비스의 제공 에리어를 원하는 크기로 분할하고, 각 셀 내에 각각 고정 무선국인 기지국(ex107∼ex110)이 설치되어 있다.

이 콘텐츠 공급 시스템(ex1OO)은 예컨대, 인터넷(ex101)에 인터넷 서비스 프로바이더(ex102) 및 전화망(ex104) 및 기지국(ex107∼ex110)을 통해 컴퓨터(ex111), PDA(Personal Digital Assistant)(ex112), 카메라(ex113), 휴대전화(ex114), 카메라가 있는 휴대전화(ex115) 등의 각 기기가 접속된다.

그러나, 콘텐츠 공급 시스템(ex100)은 도 13과 같은 조합으로 한정되지 않고, 어떠한 것을 조합하여 접속하도록 하여도 된다. 또한, 고정 무선국인 기지국(ex107∼ex110)을 통하지 않고, 각 기기가 전화망(ex104)에 직접 접속되어도 된다.

카메라(ex113)는 디지털 비디오 카메라 등의 동화상 촬영이 가능한 기기이다. 또한, 휴대전화는 PDC(Personal Digital Communications)방식, CDMA(Code Division Multiple Access)방식, W-CDMA(Wideband-Code Division Multiple Access)방식, 혹은 GSM(GIobal System for Mobile Communications)방식의 휴대 전화기, 또는 PHS(Personal Handyphone System) 등이고 어떤 것이라도 상관없다.

또한, 스트리밍 서버(ex103)는 카메라(ex113)에서 기지국(ex109), 전화망(ex104)을 통해 접속되고 있고, 카메라(ex113)를 이용하여 사용자가 송신하는 부호화 처리된 데이터에 근거한 라이브 배송 등이 가능하게 된다. 촬영한 데이터의 부호화 처리는 카메라(ex113)로 실행하여도 되며, 데이터의 송신 처리를 하는 서버 등으로 실행하여도 된다. 또한, 카메라(ex116)로 촬영한 동화상 데이터는 컴퓨터(ex111)를 통해 스트리밍 서버(ex103)에 송신되어도 된다. 카메라(ex116)는 디지털 카메라 등의 정지화상, 동화상이 촬영 가능한 기기이다. 이 경우, 동화상 데이터의 부호화는 카메라(ex116)로 실행하여도 되며, 컴퓨터(ex111)로 실행하여도 되는, 어느 쪽이라도 된다. 또한, 부호화 처리는 컴퓨터(ex111)나 카메라(ex116)가 갖는 LSI(ex117)에서 처리하게 된다. 또, 동화상 부호화·복호화용의 소프트웨어를 컴퓨터(ex111)등으로 판독 가능한 기록 매체인 어떠한 축적 미디어(CD-ROM, 플렉시블 디스크, 하드 디스크 등)로 조합하여도 된다. 또한, 카메라가 있는 휴대전화(ex115)로 동화상 데이터를 송신하여도 된다. 이 때의 동화상 데이터는 휴대전화(ex115)가 갖는 LSI에서 부호화 처리된 데이터이다.

이 콘텐츠 공급 시스템(ex100)에서는, 사용자가 카메라(ex113), 카메라(ex116) 등으로 촬영하고 있는 콘텐츠(예컨대, 음악 라이브를 촬영한 영상 등)를 상기 실시 형태와 마찬가지로 부호화 처리하여 스트리밍 서버(ex103)에 송신하는 한편으로, 스트리밍 서버(ex103)는 요구를 한 클라이언트에 대하여 상기 콘텐츠 데이터를 스트림 배송한다. 클라이언트로서는 상기 부호화 처리된 데이터를 복호화하는 것이 가능한, 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대전화(ex114) 등이 있다. 이렇게 함으로써 콘텐츠 공급 시스템(ex100)은 부호화 된 데이터를 클라이언트에서 수신하여 재생할 수가 있고, 또한 클라이언트에 실시간으로 수신하여 복호화하며, 재생하는 것에 의해 개인 방송도 실현 가능하게 되는 시스템이다.

이 시스템을 구성하는 각 기기의 부호화, 복호화로는 상기 각 실시 형태에서 나타낸 동화상 부호화 장치 혹은 동화상 복호화 장치를 이용하도록 하면 된다.

그 일례로서 휴대전화에 관해서 설명한다.

도 14는, 상기 실시 형태에서 설명한 동화상 예측 방법, 동화상 부호화 장치 및 화상 복호화 장치를 이용한 휴대전화(ex115)를 도시하는 도면이다. 휴대전화(ex115)는 기지국(ex110)간에 전파를 송수신하기 위한 안테너(ex201), CCD 카메라 등의 영상, 정지화상을 찍을 수 있는 카메라부(ex203), 카메라부(ex203)에서 촬영한 영상, 안테너(ex201)로 수신한 영상 등이 복호화된 데이터를 표시하는 액정 디스플레이 등의 표시부(ex202), 조작 키(ex204)군으로부터 구성되는 본체부, 음성 출력을 하기 위한 스피커 등의 음성 출력부(ex208), 음성 입력을 하기 위한 마이크 등의 음성 입력부(ex205), 촬영한 동화상 또는 정지화상의 데이터, 수신한 메일의 데이터, 동화상의 데이터 또는 정지화상의 데이터 등, 부호화된 데이터 또는 복호화된 데이터를 보존하기 위한 기록 미디어(ex207), 휴대전화(ex115)에 기록 미디어(ex207)를 장착 가능하게 하기 위한 슬롯부(ex206)를 갖고 있다. 기록 미디어(ex207)는 SD 카드 등의 플라스틱 케이스 내에 전기적인 고쳐쓰기나 소거가 가능한 불휘발성 메모리인 EEPR0M(Electrically Erasable and Programmable Read Only Memory)의 일종인 플래시 메모리 소자를 격납한 것이다.

또한, 휴대전화(ex115)에 관해서 도 15를 이용하여 설명한다. 휴대전화(ex115)는 표시부(ex202) 및 조작 키(ex204)를 구비한 본체부의 각부를 통괄적으로 제어하도록 이루어진 주요 제어부(ex311)에 대하여, 전원 회로부(ex310), 조작 입력 제어부(ex304), 화상 부호화부(ex312), 카메라 인터페이스부(ex303), LCD(Liquid Crystal Display) 제어부(ex302), 화상 복호화부(ex309), 다중 분리부(ex308), 기록 재생부(ex307), 변복조 회로부(ex306) 및 음성 처리부(ex305)가 동기 버스(ex313)를 통해 서로 접속되어 있다.

전원 회로부(ex310)는 사용자의 조작에 의하여 종화 및 전원 키가 온 상태로 되면, 베터리 팩으로부터 각부에 대하여 전력을 공급하는 것에 의해 카메라가 있는 디지털 휴대전화(ex115)를 동작 가능한 상태로 기동한다.

휴대전화(ex115)는 CPU, ROM 및 RAM 등으로 이루어지는 주요 제어부 (ex311)의 제어에 근거하여, 음성 통화 모드 시에 음성 입력부(ex205)에서 집음(集音)한 음성 신호를 음성 처리부(ex305)에 의해 디지털 음성 데이터로 변환하고, 이것을 변복조 회로부(ex306)로 스펙트럼 확산 처리하여 송수신 회로부(ex301)로 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테너(ex201)를 통해 송신한다. 또한 휴대 전화기(ex115)는 음성 통화 모드 시에 안테너(ex201)로 수신한 수신 데이터를 증폭하여 주파수 변환 처리 및 아날로그 디지털 변환 처리를 실시하고 변복조 회로부(ex306)로 스펙트럼 역확산 처리하여 음성 처리부(ex305)에 의해서 아날로그 음성 데이터로 변환한 후 이것을 음성 출력부(ex208)를 통해 출력한다.

또한, 데이터 통신 모드 시에 전자 메일을 송신하는 경우, 본체부의 조작 키(ex204)의 조작에 의해서 입력된 전자 메일의 텍스트 데이터는 조작 입력 제어부(ex304)를 통해 주요 제어부(ex311)에 송출된다. 주요 제어부 (ex311)는 텍스트 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하고 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테너(ex201)를 통해 기지국(ex11O)에 송신한다.

데이터 통신 모드 시에 화상 데이터를 송신하는 경우, 카메라부(ex203)에서 촬상 된 화상 데이터를 카메라 인터페이스부(ex303)를 통해 화상 부호화부(ex312)에 공급한다. 또한, 화상 데이터를 송신하지 않은 경우에는 카메라부(ex203)에서 촬상한 화상 데이터를 카메라 인터페이스부(ex303) 및 LCD 제어부(ex302)를 통해 표시부(ex202)에 직접 표시하는 것도 가능하다.

화상 부호화부(ex312)는 본원 발명에서 설명한 동화상 부호화 장치를 구비한 구성이고, 카메라부(ex203)로부터 공급된 화상 데이터를 상기 실시 형태에서 나타낸 동화상 부호화 장치에 사용한 부호화 방법에 따라 압축 부호화함으로써 부호화 화상 데이터로 변환하고, 이것을 다중 분리부(ex308)로 송출한다. 또한, 이 때 동시에 휴대 전화기(ex115)는 카메라부(ex203)에서 촬상 중에 음성 입력부(ex205)에서 집음한 음성을 음성 처리부(ex305)를 통해 디지털의 음성 데이터로서 다중 분리부(ex308)에 송출한다.

다중 분리부(ex308)는 화상 부호화부(ex312)로부터 공급된 부호화 화상 데이터와 음성 처리부(ex305)로부터 공급된 음성 데이터를 소정의 방식으로 다중화하고, 그 결과, 얻어지는 다중화 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하여 송수신 회로부(ex406)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테너(ex201)를 통해 송신한다.

데이터 통신 모드 시에 홈페이지 등에 링크된 동화상 파일의 데이터를 수신하는 경우, 안테너(ex201)를 통해 기지국(ex110)으로부터 수신한 수신 데이터를 변복조 회로부(ex306)에서 스펙트럼 역확산 처리하고 그 결과, 얻어지는 다중화 데이터를 다중 분리부(ex308)에 송출한다.

또한, 안테너(ex201)를 통해 수신된 다중화 데이터를 복호화하기 위해서는 다중 분리부(ex308)는 다중화 데이터를 분리하는 것으로부터 화상 데이터의 비트 스트림과 음성 데이터의 비트 스트림으로 나누고, 동기 버스(ex313)를 통해 해당 부호화 화상 데이터를 화상 복호화부(ex309)에 공급하는 동시에 해당 음성 데이터를 음성 처리부(ex305)에 공급한다.

다음에, 화상 복호화부(ex309)는 본원 발명에서 설명한 동화상 복호화 장치를 구비한 구성이고, 화상 데이터의 비트 스트림을 상기 실시 형태에서 나탄낸 부호화 방법에 대응한 복호화 방법으로 복호화하는 것으로부터 재생 동화상 데이터를 생성하여 이것을 LCD 제어부(ex302)를 통해 표시부 (ex202)에 공급하고, 이것에 의해, 예컨대 홈페이지에 링크된 동화상 파일에 포함되는 동화상 데이터가 표시된다. 이 때 동시에 음성 처리부(ex305)는 음성 데이터를 아날로그 음성 데이터로 변환한 후, 이것을 음성 출력부 (ex208)에 공급하고 이것에 의해, 예컨대 홈페이지에 링크된 동화상 파일에 포함되는 음성 데이터가 재생된다.

또한, 상기 시스템의 예에 한정되지 않고, 최근은 위성, 지상파에 의한 디지털 방송이 화제가 되고 있어, 도 16에 도시하는 바와 같이 디지털 방송용 시스템에도 상기 실시 형태의 적어도 동화상 부호화 장치 또는 동화상 복호화 장치 중의 것을 조합할 수 있다. 구체적으로는, 방송국(ex409)에서는 영상 정보의 비트 스트림이 전파를 통해 통신 또는 방송 위성(ex410)에 전송된다. 이것을 받은 방송 위성(ex410)은 방송용의 전파를 발신하고, 이 전파를 위성 방송 수신 설비를 갖는 가정의 안테너(ex406)로 수신하여 텔레비전(수신기)(ex401) 또는 세트 탑 박스(set top box)(STB)(ex407) 등의 장치에 의해 비트 스트림을 복호화하여 이것을 재생한다. 또한, 기록 매체인 CD나 DVD 등의 축적 미디어(ex402)에 기록한 비트 스트림을 판독하고, 복호화하는 재생 장치(ex403)에도 상기 실시 형태에서 나탄낸 동화상 복호화 장치를 실장하는 것이 가능하다. 이 경우, 재생된 영상 신호는 모니터(ex404)에 표시된다. 또한, 케이블 TV용의 케이블(ex405) 또는 위성/지상파 방송의 안테너(ex406)에 접속된 세트 탑 박스(ex407) 내에 동화상 복호화 장치를 실장하고, 이것을 TV의 모니터(ex408)에서 재생하는 구성도 생각할 수 있다. 이 때 세트 탑 박스가 아니라, 텔레비전 내에 동화상 복호화 장치를 장착해도 된다. 또한, 안테너(ex411)를 갖는 차(ex412)에서 위성(ex410)으로부터 또는 기지국(ex107) 등으로부터 신호를 수신하여 차(ex412)가 갖는 카 네비게이션(ex413) 등의 표시 장치에 동화상을 재생하는 것도 가능하다.

또한, 화상 신호를 상기 실시 형태에서 나타낸 동화상 부호화 장치에서 부호화하여 기록 매체에 기록하는 것도 가능하다. 구체예로서는, DVD 디스크(ex421)에 화상 신호를 기록하는 DVD 레코더나, 하드디스크에 기록하는 디스크 레코더 등의 레코더(ex420)가 있다. 또한 SD 카드(ex422)에 기록할 수 있다. 리코더(ex420)가 상기 실시 형태에서 나타낸 동화상 복호화 장치를 구비하고 있으면, DVD 디스크(ex421)나 SD 카드(ex422)에 기록한 화상 신호를 재생하여, 모니터(ex408)에 표시할 수가 있다.

또, 카 네비게이션(ex413)의 구성은 예컨대 도 15에 도시하는 구성 중, 카메라부(ex203)와 카메라 인터페이스부(ex303), 화상 부호화부(ex312)를 제외한 구성으로 생각할 수 있고, 마찬가지로 컴퓨터(ex111)나 텔레비전(수신기)(ex401) 등으로도 생각할 수 있다.

또한, 상기 휴대전화(ex114) 등의 단말은, 부호화기·복호화기를 모두 갖는 송수신형의 단말 외에, 부호화기만의 송신 단말, 복호화기만의 수신 단말의 3가지의 실장 형식을 생각할 수 있다.

이와 같이, 상기 실시 형태에서 나타낸 동화상 예측 방법, 동화상 부호화 장치 및 화상 복호화 장치를 상술한 모든 기기·시스템에 이용하는 것은 가능하고, 그렇게 하는 것으로서 상기 실시 형태에서 설명한 효과를 얻을 수 있다.

이상, 본 발명에 관한 동화상 예측 방법, 동화상 부호화 장치 및 동화상 복호화 장치에 관하여 실시 형태에 근거하여 설명하였지만, 본 발명은 이 실시 형태에 한정되지 않는다.

예컨대, 도 7에서의 판단(T, T1, TO에 따른 예측치의 생성이 필요한지의 여부에 대한 판단: 스텝 S70), 및 도 9에서의 판단(T, T1, TO에 따라서 소정의 유효 비트수로 예측치의 생성이 가능할지의 여부에 대한 판단: 스텝 S90)은, 상기 식1 및 식2에 나타나는 무게 계수(W0 및 W1)를 산출하는 식의 나눈 수(분모의 값)의 값에만 한정되지 않고, 곱한 수(분자의 값)의 값이나 무게 계수(W0 및 W1)의 값에 따라서 판단하여도 된다. 또한, 그들 무게 계수(WO 및 W1)를 곱한 값에 따라 판단하여도 된다.

이상과 같이, 본 발명에 관한 동화상 예측 방법, 동화상 부호화 방법 및 동화상 복호화 방법은 예컨대 휴대전화, DVD장치, 및 개인용 컴퓨터 등으로 예측 화소치를 생성하거나, 동화상을 구성하는 각 픽쳐를 부호화하여 부호열을 생성하거나, 생성된 부호열을 복호화 하기 위한 방법 등으로서 유용하다.

Claims (12)

1. 동화상을 구성하는 픽쳐의 화소치를 2장의 참조 픽쳐의 화소치에 근거하여 예측하는 방법에 있어서,

   예측 대상 픽쳐와 제1 참조 픽쳐와의 간격에 대응하는 제1 파라미터를 산출하는 제1 파라미터 산출 스텝과,

   상기 제1 참조 픽쳐와 제2 참조 픽쳐와의 간격에 대응하는 제2 파라미터를 산출하는 제2 파라미터 산출 스텝과,

   상기 제1 파라미터 및 상기 제2 파라미터에 근거하여 산출되는 제3 파라미터가 미리 설정된 소정 범위에 포함되는지의 여부를 판단하는 제1 판단 스텝과,

   상기 제1 판단 스텝에서의 판단 결과, 상기 제3 파라미터가 상기 소정 범위에 포함되는 경우 상기 제1 파라미터, 상기 제2 파라미터, 상기 제1 참조 픽쳐 및 제2 참조 픽쳐의 화소치에 근거하여 스케일링을 하는 것에 의해 상기 예측 대상 픽쳐의 화소치를 산출하는 제1 예측 스텝과,

   상기 제1 판단 스텝에서의 판단 결과, 상기 제3 파라미터가 상기 소정 범위에 포함되지 않은 경우, 미리 설정된 소정치, 상기 제1 참조 픽쳐 및 제2 참조 픽쳐의 화소치에 근거하여 스케일링을 하는 것에 의해 상기 예측 대상 픽쳐의 화소치를 산출하는 제2 예측 스텝을 포함하는 것을 특징으로 하는 동화상 예측 방법.
2. 제1항에 있어서,

   상기 동화상 예측 방법은 또한, 상기 제1 파라미터가 미리 설정된 소정 범위에 포함되는지의 여부를 판단하는 제2 판단 스텝을 포함하고,

   상기 제2 판단 스텝에서의 판단 결과 상기 제1 파라미터가 상기 소정 범위에 포함되지 않는 경우, 상기 제2 예측 스텝에서의 예측을 행하는 것을 특징으로 하는 동화상 예측 방법.
3. 제1항에 있어서,

   상기 동화상 예측 방법은 또한, 상기 제2 파라미터가 미리 설정된 소정 범위에 포함되는지의 여부를 판단하는 제3 판단 스텝을 포함하고,

   상기 제3 판단 스텝에서의 판단 결과, 상기 제2 파라미터가 상기 소정 범위에 포함되지 않은 경우, 상기 제2 예측 스텝에서의 예측을 행하는 것을 특징으로 하는 동화상 예측 방법.
4. 제1항에 있어서,

   상기 동화상 예측 방법은 또한, 상기 제1 참조 픽쳐가 미리 설정된 소정의 픽쳐인지의 여부를 판단하는 제1 픽쳐 판단 스텝을 포함하고,

   상기 제1 픽쳐 판단 스텝에서의 판단 결과, 상기 제1 참조 픽쳐가 상기 소정의 픽쳐가 아닌 경우에, 상기 제2 예측 스텝에서의 예측을 행하는 것을 특징으로 하는 동화상 예측 방법.
5. 제1항에 있어서,

   상기 동화상 예측 방법은 또한, 상기 제2 참조 픽쳐가 미리 설정된 소정의 픽쳐인지의 여부를 판단하는 제2 픽쳐 판단 스텝을 포함하고,

   상기 제2 픽쳐 판단 스텝에서의 판단 결과, 상기 제2 참조 픽쳐가 상기 소정의 픽쳐가 아닌 경우에, 상기 제2 예측 스텝에서의 예측을 행하는 것을 특징으로 하는 동화상 예측 방법.
6. 제1항에 있어서,

   상기 제1 예측 스텝에서는 상기 제1 파라미터와 상기 제1 파라미터의 역수를 대응시키는 룩업 테이블을 참조하여 상기 스케일링을 함으로써, 상기 예측 대상 픽쳐의 화소치를 산출하는 것을 특징으로 하는 동화상 예측 방법.
7. 동화상을 부호화하는 방법으로서,

   제1항 내지 제6항 중의 어느 한 항 기재의 동화상 예측 방법에 의해서 화소치를 예측하는 예측 스텝과,

   상기 예측에 근거하여 동화상의 화소치를 부호화하는 부호화 스텝을 포함하는 것을 특징으로 하는 동화상 부호화 방법.
8. 동화상을 부호화하는 장치로서,

   제1항 내지 제6항 중의 어느 한 항 기재의 동화상 예측 방법에 의해서 화소치를 예측하는 예측 수단과,

   상기 예측에 근거하여 동화상의 화소치를 부호화하는 부호화 수단을 구비하는 것을 특징으로 하는 동화상 부호화 장치.
9. 동화상을 부호화하기 위한 프로그램으로서,

   제1항 내지 제6항 중의 어느 한 항 기재의 동화상 예측 방법에 의해서 화소치를 예측하는 예측 스텝과,

   상기 예측에 근거하여 동화상의 화소치를 부호화하는 부호화 스텝을 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램.
10. 동화상을 복호화하는 방법으로서,

    제1항 내지 제6항 중의 어느 한 항 기재의 동화상 예측 방법에 의해서 화소치를 예측하는 예측 스텝과,

    상기 예측에 근거하여 동화상의 화소치를 복호화하는 복호화 스텝을 포함하는 것을 특징으로 하는 동화상 복호화 방법.
11. 동화상을 복호화하는 장치로서,

    제1항 내지 제6항 중의 어느 한 항 기재의 동화상 예측 방법에 의해서 화소치를 예측하는 예측 수단과,

    상기 예측에 근거하여 동화상의 화소치를 복호화하는 복호화 수단을 구비하는 것을 특징으로 하는 동화상 복호화 장치.
12. 동화상을 복호화하기 위한 프로그램으로서,

    제1항 내지 제6항 중의 어느 한 항 기재의 동화상 예측 방법에 의해서 화소치를 예측하는 예측 스텝과,

    상기 예측에 근거하여 동화상의 화소치를 복호화하는 복호화 스텝을 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램.