KR100961037B1 - 화상 복호화 방법 및 화상 복호화 장치 - Google Patents

Abstract

본 발명의 화상 부호화 방법은, 픽처 버퍼에 유지되어 있는 화상을 참조하면서 입력 화상을 예측 부호화하고, 부호화된 상기 입력 화상을 복호화하는 화상 부호화 방법에 있어서, 복호화된 화상에 대해, 참조용 화상인지 여부 및 표시 시각까지 유지가 필요한 출력용 화상인지 여부를 판정하여, 판정 결과에 기초하여 참조용 화상 및 출력용 화상을 상기 픽처 버퍼에 저장한다.

Description

화상 부호화 방법 및 화상 복호화 방법{VIDEO ENCODING AND DECODING METHOD}

본 발명은, 동화상을 효율적으로 압축하는 화상 부호화 방법과 이를 올바르게 복호화하여 표시하는 화상 복호화 방법에 관한 것이다.

최근 음성, 화상, 그 밖의 화소치를 통합적으로 취급하는 멀티미디어 시대를 맞이하여, 종래부터의 정보 미디어, 즉 신문, 잡지, TV, 라디오, 전화 등의 정보를 사람에게 전달하는 수단이 멀티미디어의 대상으로서 거론되게 되었다. 일반적으로, 멀티미디어란 문자 뿐만 아니라, 도형, 음성, 특히 화상 등을 동시에 관련지어 표시하는 것을 말하는데, 상기 종래의 정보 미디어를 멀티미디어의 대상으로 하기 위해서는, 그 정보를 디지털 형식으로 하여 표시하는 것이 필수 조건이 된다.

그런데, 상기 각 정보 미디어가 갖는 정보량을 디지털 정보량으로서 어림잡아 보면, 문자의 경우 1문자당의 정보량은 1∼2바이트인 것에 비해, 음성의 경우 1초당 64Kbits(전화 품질), 또한 동화상에 대해서는 1초당 100Mbits(현행 TV 수신 품질) 이상의 정보량이 필요해져, 상기 정보 미디어로 그 방대한 정보를 디지털 형식으로 그대로 취급하는 것은 현실적이지 않다. 예를 들면, TV 전화는 64Kbit/s∼1.5 Mbit/s의 전송 속도를 갖는 서비스 종합 디지털망(ISDN : Integrated Services Digital Network)에 의해 이미 실용화되어 있지만, TV·카메라의 영상을 그대로 ISDN으로 보내는 것은 불가능하다. 그래서, 필요해지는 것이 정보의 압축 기술이며, 예를 들면 TV 전화의 경우, ITU-T(국제전기통신연합 전기통신 표준화 부문)에서 국제 표준화된 H.261이나 H.263 규격의 동화상 압축 기술이 사용되고 있다. 또한, MPEG-1 규격의 정보 압축 기술에 의하면, 통상의 음악용 CD(컴팩트 디스크)에 음성 정보와 함께 화상 정보를 넣은 것도 가능해진다.

여기서, MPEG(Moving Picture Experts Group)란, 동화상 신호 압축의 국제 규격이며, MPEG-1은 동화상 신호를 1.5Mbit/s까지, 즉 TV 신호의 정보를 약 100분의 1로까지 압축하는 규격이다. 또, MPEG-1 규격을 대상으로 하는 전송 속도가 주로 약 1.5Mbit/s로 제한되어 있으므로, 한층의 고화질화의 요구를 만족시키도록 규격화된 MPEG-2에서는, 동화상 신호가 2∼15Mbit/s로 압축된다. 또한 현상황에서는, MPEG-1, MPEG-2로 표준화를 진행시켜 온 작업 그룹(ISO/IECJTC1/SC29/WG11)에 의해, MPEG-1, MPEG-2를 상회하는 압축율을 달성하고, 또한 물체 단위로 부호화·복호화·조작을 가능하게 하여, 멀티미디어 시대에 필요한 새로운 기능을 실현하는 MPEG-4가 규격화되었다. MPEG-4에서는, 당초 저 비트 레이트의 부호화 방법의 표준화를 목표로 하여 진행되었으나, 현재는 인터레이스 화상도 포함하는 고 비트 레이트도 포함하는, 보다 범용적인 부호화로 확장되고 있다.

또한 최근, MPEG-4의 차세대 부호화로서 JVT라고 불리는, ITU-T와 ISO/IEC 공동에 의한 새로운 화상 부호화가 표준화중에 있다.

도 24는 픽처의 예측 구조·복호 순서와 표시 순서를 나타낸 도면이다. 픽 처란 프레임 또는 필드 중 어느 하나를 가리키는 용어이고, 본 명세서에서는 프레임 또는 필드 대신에 픽처라는 표현을 사용한다. 또, 화상 또는 화면이라는 용어도 픽처와 동의어이다. 도 24에서 사선의 해칭을 한 픽처는, 다른 픽처의 부호화·복호화시에 참조되기 위해, 메모리에 저장되는 픽처를 나타낸다.

I0는 화면 내 부호화 픽처이고, P3, P6, P9는 화면 간 예측 부호화 픽처이다. JVT 표준화안에서는 화면 간 부호화에서는, 종래의 MPEG-1/2/4와 달리, 다수의 부호화가 끝난 픽처로부터 임의의 픽처를 참조 픽처로서 1개 선택하여, 참조 픽처로부터 예측 화상을 생성할 수 있다. 예를 들면, P9 픽처는, I0, P3, P6의 3개의 픽처로부터 임의의 1 픽처를 선택하여 그 픽처로부터 예측 화상을 생성할 수 있다. 이에 의해, 종래의 MPEG-1/2/4보다도 적절한 예측 화상을 선택할 수 있을 가능성이 높아져, 압축율이 향상한다. B1, B2, B4, B5, B7, B8은 화면 간 쌍예측 부호화 픽처(B픽처)이고, 화면 간 예측 픽처의 예측과 달리, 다수(2개)의 픽처를 선택하여 그 선택한 픽처로부터 예측 화상을 생성하여 부호화한다. 특히, 시간적으로 전후인 2개의 픽처의 평균치를 예측 화상으로 하는 내삽 예측을 함으로써, 예측 화상의 정밀도를 대폭 향상할 수 있어 압축율이 대폭 향상하는 것이 알려져 있다. 이하, 화면 내 부호화 픽처를 I, 화면 간 예측 부호화 픽처를 P, 화면 간 쌍예측 부호화 픽처를 B라고 하는 기호를 각 픽처에 부여하여, 각 픽처의 부호화 방법을 구별한다.

B픽처이고 시간적으로 전후의 픽처를 예측 부호화에서 참조하기 위해서는, 시간적으로 후방의 픽처가 먼저 부호화·복호화되어 있지 않으면 안된다. 이것은, 픽처의 재배열(리오더링)이라 불리고, 종래의 MPEG-1/2/4로부터 잘 행해지고 있다. 따라서, 부호화 순서(Stream Order)에 대해, 부호화된 스트림을 복호화하여 표시하는 순서(Display Order)는 도 24의 픽처의 예측 구조·복호 순서와 표시 순서를 나타내는 도면과 같이 재배열되게 된다. 또한, 도 24의 예에서의 B 픽처는 스트림을 복호화한 순간에 표시되므로, 다른 화상으로부터 참조되지 않은 경우는 메모리 등에 축적할 필요가 없지만, I픽처나 P픽처는 복호화한 후, 다음의 B 픽처를 복호화한 후에 표시되므로, 메모리에 저장할 필요가 있다.

이하, 픽처의 예측 구조·복호 순서와 표시 순서를 나타내는 도면에서는, 용어 및 픽처의 사선의 해칭의 의미는 도 24와 같은 의미로 통일한다.

도 25는 다른 픽처의 예측 구조·복호 순서와 표시 순서를 나타내는 도면이다. 동 도면에서, 도 24와의 차이는, 픽처 6이 P픽처가 아니고, I픽처인 점이다.

도 26은 종래의 화상 부호화 방법을 실현하기 위한 화상 부호화 장치의 블록도이다. 이하, 도26의 종래의 화상 부호화 방법을 실현하는 화상 부호화 장치의 동작에 관해 설명한다.

픽처 구조 결정 유닛(PicStruct)은 각 픽처의 부호화 타입(I픽처, P픽처, B픽처)을 결정하여 참조 픽처 관리 유닛(RefPicCtrl)에 그 부호화 타입 및 부호화에서 참조 가능한 픽처를 지시하고, 또 픽처의 부호화 순서를 재배열 유닛(ReOrder)에 통지한다. 재배열 유닛(ReOrder)은 입력 픽처(PicIn)의 순서를 부호화 순서로 재배열하여, 움직임 검출 유닛(ME) 및 감산 유닛(Sub)에 재배열된 픽처를 출력한다. 움직임 검출 유닛(ME)은 픽처 메모리(PicMem1)에 저장된 픽처를 참조하여 적 절한 참조 픽처와 그 화소 위치를 지시하는 움직임 벡터(MV)를 도출하여, 가변길이 부호화 유닛(VLC)과 픽처 메모리(PicMem1), 움직임 보상 유닛(MC)에 송출한다. 픽처 메모리(PicMem1)는 움직임 벡터(MV)에 대응하는 참조 픽처의 화소를 움직임 보상 유닛 (MC)에 출력하고, 움직임 보상 유닛(MC)은 픽처 메모리(PicMem1)로부터 얻은 참조 픽처의 화소와 움직임 벡터(MV)로부터 예측 화상을 생성한다.

감산 유닛(Sub)은 재배열 유닛(ReOrder)에서 재배열한 픽처와 예측 화상의 차를 계산하여, 그 차를 직교 변환 유닛(T)에서 주파수 계수로 변환하고, 또한 양자화 유닛(Q)에서 주파수 계수를 양자화하여, 양자화치(Coef)로 한다.

역양자화 유닛(IQ)은 양자화치(Coef)를 역양자화하여 주파수 계수로 복원하고, 또한 역직교 변환 유닛(IT)에서 주파수 계수로부터 화소 차분치로 역주파수 변환한다. 가산 유닛(Add)에서는 예측 화상을 화소 차분치에 가산하여 복호 화상을 얻는다.

참조 픽처 관리 유닛(RefPicCtrl)은 픽처의 부호화 타입에 따라, 참조 픽처로서 참조하기 위해 픽처 메모리(PicMem1)에 저장해야 할 복호 화상인지, 픽처 메모리 (PicMem1)로부터 개방(참조 픽처로서 이후 참조되지 않을)해야 할 복호 화상인지를 판단하여, 그 동작을 메모리 관리 커맨드(MMCO)로서 통지한다.

스위치(SW)는, 해당 복호 화상이 메모리 관리 커맨드(MMCO)에 의해 저장이 지시된 경우에 ON이 되어, 해당 복호 화상이 픽처 메모리(PicMem1)에 참조 픽처로서 저장된다. 또, 픽처 메모리(PicMem1)는, 메모리 관리 커맨드(MMCO)에 의해 픽처 메모리(PicMem1)로부터 개방해야 할 복호 화상이 지시된 경우는, 그 복호 화상 을 저장하고 있던 영역을 개방하여 다른 복호 화상을 그 영역에 저장 가능하게 한다.

가변길이 부호화 유닛(VLC)은, 양자화치(Coef), 움직임 벡터(MV), 메모리 관리 커맨드(MMCO)를 부호화하여, 부호화 스트림(Str)을 출력한다.

부호화로서 주파수 변환과 양자화를 수반하는 예를 나타냈으나, 주파수 변환이나 양자화를 수반하지 않는 부호화(DPCM이나 ADPCM, 선형 예측 부호화 등)여도 된다. 또, 주파수 변환과 양자화가 일체화한 것이나, 비트 플레인 부호화와 같이 주파수 변환 후에 양자화를 수반하지 않는 부호화여도 된다.

도 27은 메모리 관리 커맨드(MMCO)의 부호예이다. 부호화·복호화의 최초나, GOP의 선두에서는 픽처 메모리를 초기화하기 위해, 가변길이 부호화 유닛(VLC)은 전체 메모리 개방을 의미하는 '000'을 부호화한다. 또, 복호화한 화상을 픽처 메모리에 저장하는 경우에는, 가변길이 부호화 유닛(VLC)은 '01'을 부호화한다. 픽처 메모리에 저장한 픽처를 개방하는 경우는, 개방하는 픽처 번호를 지시하지 않으면 안되므로, 가변길이 부호화 유닛(VLC)은 '001' 다음에 개방하는 픽처 번호를 부호화한다. 또한, 동시에 다수 픽처 개방하는 경우는 개방하는 커맨드를 다수 회 부호화할 필요가 있고, 또 픽처를 개방하는 커맨드에 더해, 픽처를 저장하는 커맨드를 부호화하는 경우도 있다. 그래서, 가변길이 부호화 유닛(VLC)은 다수의 메모리 관리 커맨드(MMCO)를 계속하여 부호화하여, 메모리 관리 커맨드(MMCO)가 완료된 것을 나타내는 "1"을 마지막에 부호화한다. 이상과 같이 하여, 메모리 관리 커맨드(MMCO)가 부호화 스트림(Str)으로 부호화된다.

도 28은 종래의 화상 복호화 방법을 실현하는 화상 복호화 장치의 블록도이다. 동 도면에 있어서, 도 26의 종래의 화상 부호화 방법을 실현하는 화상 부호화 장치의 블록도와 같은 동작을 하는 기기는 같은 번호를 붙여, 설명을 생략한다.

가변길이 복호화 유닛(VLD)은 부호화 스트림(Str)을 복호화하여, 메모리 관리 커맨드(MMCO), 움직임 벡터(MV), 양자화치(Coef)를 출력한다. 픽처 시각(Time)은 외부로부터 입력되어, 표시하는 픽처를 지정하는 신호이다. 표시해야 할 픽처가 복호화한 해당 픽처이면 셀렉터(Sel)에서 가산 유닛(Add)의 출력이 선택되어, 표시 유닛(Disp)에 송출된다. 표시해야 할 픽처가 픽처 메모리(PicMem1)에 저장되어 있는 픽처이면 그것이 픽처 메모리(PicMem1)로부터 읽어 내어져, 셀렉터(Sel)에서 선택되어, 표시 유닛(Disp)에 송출된다.

또한, 상술한 바와 같이, 픽처 메모리(PicMem1)는 움직임 벡터(MV)에 대응하는 화소를 움직임 보상 유닛(MC)에 출력하고, 움직임 보상 유닛(MC)은 픽처 메모리(PicMem1)로부터 얻은 화소와 움직임 벡터(MV)로부터 예측 화상을 생성한다.

또, 역양자화 유닛(IQ)은 양자화치(Coef)를 역양자화하여 주파수 계수로 복원하고, 또한 역직교 변환 유닛(IT)에서 주파수 계수로부터 화소 차분치로 역주파수 변환한다. 가산 유닛(Add)은 그 화소 차분치에 예측 화상을 가산하여 복호 화상으로 한다.

또, 픽처 메모리(PicMem1)는, 메모리 관리 커맨드(MMCO)에 의해서 픽처 메모리(PicMem1)에서의 개방해야 할 복호 화상이 지시된 경우는, 그 복호 화상을 저장하고 있던 영역을 개방하여 다른 복호 화상을 그 영역에 저장 가능하게 한다.

복호화로서 역주파수 변환과 역양자화를 수반하는 예를 나타냈으나, 역주파수 변환이나 역양자화를 수반하지 않는 복호화(DPCM이나 ADPCM, 선형 예측 부호화 등)여도 된다. 또, 역주파수 변환과 역양자화가 일체화한 것이나, 비트 플레인 부호화와 같이 주파수 변환 후에 역양자화를 수반하지 않는 복호화여도 된다.

이상의 도 28의 종래의 화상 복호화 방법을 실현하는 화상 복호화 장치에 의해, 도 24 및 도 25에서 나타낸 종래의 픽처 부호화 타입의 조합은, 도 26의 종래의 화상 부호화 방법을 실현하는 화상 부호화 장치에서 부호화한 부호화 스트림(Str)을 바르게 복호화할 수 있는 것은 분명하다.

그런데, 픽처 부호화 타입으로서, 보다 유연한 조합을 검토했다.

도 1은 픽처의 종래에는 없는 예측 구조·복호 순서와 표시 순서를 나타낸 도면이다. 도 1에서는 픽처 4의 전후에서 B픽처의 예측 구조가 다르다. 즉, 픽처 2의 B픽처는 저장되어 픽처 1 및 픽처 3의 예측 화상으로서 참조되는 것이다. 그 결과, 각 픽처의 부호화 순서 및 표시 순서는 도 1과 같이 된다.

그런데, 픽처 5와 픽처 6은 예측 부호화에서 참조되지 않기 때문에 저장되지 않는 B픽처이다. 그러나, 도 24의 경우와 달리, 복호화 시점에서는 다른 픽처의 표시 시각이며, 아직 표시하는 시각이 되어 있지 않다. 즉, 픽처 B5의 복호화 시점에서는 픽처 P4를 표시하지 않으면 안되고, 픽처 B6의 복호화 시점에서는 픽처 B5를 표시하지 않으면 안된다. 한편, 픽처 B5와 픽처 B6은 저장되지 않으므로, 픽처 메모리로부터 표시 시각에 픽처 B5와 픽처 B6을 출력할 수도 없다. 따라서, 예측 부호화에서 참조되지 않는 픽처는 픽처 메모리에 저장하지 않기 때문에, 종래 의 부호화·복호화 방법에서는 픽처 B5와 픽처 B6을 복호화하여 표시할 수 없게 된다. 즉, 도 24에 나타낸 예처럼 예측 부호화에서 참조되지 않는 픽처를 저장하지 않는 경우에는 픽처 0, 픽처 1, 픽처 2, 픽처 4, 픽처 7만이 표시 가능하게 된다.

이렇게 픽처 부호화 타입으로서, 보다 유연한 조합을 검토하면, 복호화하여 표시할 수 없는 픽처가 발생한다는 문제가 있다. 또, 표시용으로 별도로 픽처 메모리를 추가하여, 픽처 메모리(PicMem1)에 저장되어 있지 않은 픽처를 표시용의 별도의 픽처 메모리에 저장하면 표시가 가능하게 되지만, 이 경우 별도의 픽처 메모리에 큰 여분의 메모리가 필요하게 되는 결점이 있다.

또한, 표시용의 별도의 픽처 메모리를 도입했다고 해도, 스트림 도중의 재생에서 새로운 문제가 발생한다. 도 2는 픽처의 예측 구조·복호 순서와 표시 순서를 나타낸 도면이다. 동 도면에 있어서, 도 25와의 차이는, 픽처 7의 전후에서 완전히 예측 구조가 독립적으로 되는 것이다. I7 이후의 픽처는 I7보다 전의 시각의 픽처를 부호화·복호화에서 참조하지 않는다. 따라서, I7 픽처부터 복호화를 개시하면 I7 픽처 이후를 바르게 복호화할 수 있기 때문에, I7 픽처는 스트림 도중에 재생 가능하다는 특징을 갖는다. 이렇게, 스트림 도중에 I 픽처를 삽입하는 것이 잘 행해져, 이 도중에 재생할 수 있는 구조를 MPEG-2에 준하여 GOP(그룹 오브 픽처)라 부르기로 한다.

그런데, 스트림 도중에 재생하기 위해서는, 도중에 재생한 시점에서도 재생 화상이 부호화 장치와 복호화 장치 사이에서 일치하는 것을 보증하지 않으면 안되기 때문에, 픽처 메모리의 모든 픽처 영역을 초기화하는 것이 간단한 방법이다. 그러나, 픽처 6은 픽처 7을 복호화한 시점에서는 아직 표시되지 않고 픽처 메모리에 저장되어 있으므로, 단순히 픽처 6의 표시 전에 모든 픽처 메모리를 초기화해 버리면 픽처 6의 표시 시각에서 픽처 메모리로부터 픽처 6을 표시할 수 없게 되어 버린다.

그래서, 본 발명에서는, 화상의 부호화 또는 복호화에서 필요한 메모리량을 고려하면서, 복호화하여 표시할 수 없는 픽처가 발생하지 않도록 하는 것을 목적으로 한다.

상기 목적을 달성하기 위해, 본 발명의 화상 부호화 방법은, 픽처 버퍼에 유지되어 있는 화상을 참조하면서 입력 화상을 예측 부호화하고, 부호화된 상기 입력 화상을 복호화하는 화상 부호화 방법에 있어서, 복호화된 화상에 대해, 참조용 화상인지 여부 및 표시 시각까지 유지가 필요한 출력용 화상인지를 판정하여, 판정 결과에 기초하여 참조용 화상 및 출력용 화상을 상기 픽처 버퍼에 유지시키는 것을 특징으로 한다.

여기서 상기 화상 부호화 방법은, 복호화된 화상이 참조용 화상인지 여부를 판정하는 제1 판정 단계와, 복호화된 화상이 참조용이 아니고 또한 표시 시각까지 유지가 필요한 출력용 화상인지 여부를 판정하는 제2 판정 단계와, 제1 판정 단계에서 참조용 화상이라고 판정된 화상을 상기 픽처 버퍼에 유지시키고, 제2 판정 단계에서 출력용 화상이라고 판정된 화상을 상기 픽처 버퍼에 유지시키도록 픽처 버퍼를 관리하는 관리 단계를 갖는 구성으로 해도 된다.

이 구성에 의하면, 복호 화상이 참조용 화상인가라는 판정에 더해, 출력용 화상인가라는 판정도 행하여, 참조용 화상에 더해 예측 부호화에서 참조되지 않으나 복호화되는 동시에 표시 또는 출력할 수 없는 화상을 출력용 화상으로서 픽처 버퍼에 저장한다. 화상 부호화시에 이러한 판정 및 픽처 버퍼 관리를 행하여 복호 동작을 검증하고 있기 때문에, 복호화 장치에서 출력용 화상을 확실히 그 표시 시각에 표시 또는 출력할 수 있다.

여기서, 상기 픽처 버퍼는 일정한 사이즈를 갖고, 상기 화상 부호화 방법은, 또한 픽처 버퍼에 유지되어 있는 참조용 화상이 참조가 끝났는지 여부를 판정하는 제3 판정 단계와, 픽처 버퍼에 유지되어 있는 출력용 화상이 출력이 끝났는지 여부를 판정하는 제4 판정 단계를 갖고, 상기 관리 단계에서, 제3 및 제4 판정 단계에서의 각 판정 결과에 기초하여, 상기 일정한 사이즈의 범위 내에서 픽처 버퍼중의 화상을 유지하고 있는 영역을 재이용하는 구성으로 해도 된다.

이 구성에 의하면, 관리 단계에 있어서, 상기 픽처 버퍼의 일정한 사이즈의 범위 내에서, 참조용 화상과 상기 출력용 화상을, 화상을 유지하고 있는 영역을 재이용하여 저장하기 때문에, 메모리를 쓸데없이 소비하지 않고 복호 화상 픽처 버퍼를 필요최소한의 사이즈로 할 수 있다.

또한, 상기 화상 부호화 방법은, 다수의 부호화 화상으로 이루어지는 시퀀스마다, 해당 시퀀스의 부호화에서 일정해지는 상기 사이즈를 나타내는 정보를 부호화하는 부호화 단계를 갖도록 해도 된다.

이 구성에 의하면, 시퀀스마다 상기 사이즈가 일정해지므로, 시퀀스마다 예 측 부호화에서 사용하는 화상의 타입을 유연하게 정할 수 있다.

또, 상기 관리 단계에 있어서, 상기 픽처 버퍼중에 새롭게 화상을 저장 가능한 영역이 존재하지 않는 경우에, 제4 판정 단계에서 출력이 끝났다고 판정된 출력용 화상을 유지하고 있는 영역에, 제1 판정 단계에서 참조용 화상이라고 판정된 화상 및 제2 판정 단계에서 참조용 화상이라고 판정된 화상 중 어느 하나를 저장하는 구성으로 해도 된다.

이 구성에 의하면, 픽처 버퍼에 저장된 출력용 화상의 영역 중 이미 출력이 끝난 화상이 저장되어 있는 영역에, 새로운 화상을 저장한다. 즉 출력이 끝난 화상이 저장되어 있는 영역을 재이용하기 때문에, 출력이 끝나지 않은 복호 화상의 표시를 보다 확실히 할 수 있다.

또한, 상기 관리 단계에 있어서, 상기 픽처 버퍼중에 새롭게 화상을 저장 가능한 영역이 존재하지 않는 경우, 상기 픽처 버퍼에 저장된 출력용 화상 중 표시순으로 오래된 화상을 유지하고 있는 영역에, 제1 판정 단계에서 참조용 화상이라고 판정된 화상 및 제2 판정 단계에서 출력용 화상이라고 판정된 화상 중 어느 하나를 유지시키는 구성으로 해도 된다.

이 구성에 의하면, 출력용 화상 중 표시순으로 오래된 화상이 저장되어 있는 영역에는 출력이 끝난 복호 화상이 저장되어 있을 가능성이 높기 때문에, 개개의 복호 화상의 표시 시각을 정확하게 판단하는 구성이 아니더라도, 출력이 끝나지 않은 복호 화상의 표시를 보다 확실하게 할 수 있다.

또, 상기 화상 부호화 방법은, 또한 다수의 부호화 화상을 포함하는 시퀀스 의 도중에 입력 화상의 사이즈가 변경된 경우, 출력용 화상을 유지하고 있는 영역 중, 사이즈 변경 전의 화상이며 또한 저장 후에 화상의 전부 또는 일부가 변경되어 있지 않은 화상을 유지하고 있는 영역 이외의 영역을 개방하는 개방 단계를 갖는 구성으로 해도 된다.

이 구성에 의하면, 사이즈 변경이 있었을 때, 출력용의 복호 화상은 복호 화상 픽처 버퍼에 남길 수 있기 때문에, 사이즈 변경 시점에서 출력이 끝나지 않은 화상을 삭제하지 않고 가능한한 많이 출력할 수 있다.

이상과 같이, 본 발명에 의하면 종래에는 바르게 표시 불가능하던 픽처도, 여분의 메모리를 갖지 않고, 개방된 메모리 영역을 유효하게 활용함으로써 표시 가능해져, 그 실용적 가치는 높다.

또 본 발명의 화상 복호화 방법, 화상 부호화 장치, 화상 복호화 장치, 프로그램에 대해서도 상기와 같은 구성, 작용, 효과를 갖는다.

또, 본 발명의 화상 부호화 방법 또는 화상 복호화 방법은, 이하의 (1)부터 (16) 중 어느 하나의 구성으로 할 수 있다.

(1) 복호화되어 메모리에 저장되어 있는 복호화가 끝난 화상을 참조하여 화상 신호를 예측 부호화하는 화상 부호화 방법에 있어서, 상기 복호화 화상을 메모리로부터 참조하여 예측 화상을 생성하고, 상기 예측 화상과 상기 화상 신호의 차를 부호화하여 부호화 스트림으로 하는 단계와, 상기 부호화한 상기 예측 화상과 상기 화상 신호의 차를 복호화하고 상기 예측 화상을 가산하여 복호 화상으로 하고, 소정의 복호 화상을 상기 메모리에 저장하는 단계와, 상기 메모리의 전체 영 역을 개방하여 재이용 가능하게 하는지 여부를 나타내는 지시 정보를 상기 부호화 스트림에 포함시키는 단계를 포함하는 것을 특징으로 하는 화상 부호화 방법.

(2) 복호화가 끝난 화상을 참조하여 화상 신호를 예측 부호화하는 화상 부호화 방법에 있어서, 복호화가 끝난 화상을 메모리로부터 참조하여 예측 화상을 생성하고, 상기 예측한 상기 예측 화상과 상기 화상 신호의 차를 부호화하여 부호화 스트림으로 하고, 상기 부호화한 상기 예측 화상과 상기 화상 신호의 차를 복호화하고 상기 예측 화상을 가산하여 복호 화상으로 하고, 예측 화상 생성을 위해 참조되는 화상 및 즉시 표시 불가능한 화상은 상기 복호 화상을 상기 메모리에 저장하는 화상 부호화 방법.

(3) 복호화가 끝난 화상을 참조하여 화상 신호를 예측 부호화하는 화상 부호화 방법에 있어서, 복호화가 끝난 화상을 메모리로부터 참조하여 예측 화상을 생성하고, 상기 예측한 상기 예측 화상과 상기 화상 신호의 차를 부호화하여 부호화 스트림으로 하고, 상기 부호화한 상기 예측 화상과 상기 화상 신호의 차를 복호화하고 상기 예측 화상을 가산하여 복호 화상으로 하고, 상기 복호 화상을 상기 메모리에 저장하거나 불필요하게 된 화상을 상기 메모리로부터 개방하고, 상기 메모리에 상기 복호 화상을 저장할 때는 상기 메모리 내의 개방된 영역에서 표시가 끝난 화상이 저장되어 있던 영역에 저장하는 화상 부호화 방법.

(4) 복호화되어 메모리에 저장되어 있는 복호화가 끝난 화상을 참조하여 부호화 스트림을 예측 복호화하는 화상 복호화 방법에 있어서,

상기 복호화가 끝난 화상을 상기 메모리로부터 참조하여 예측 화상을 생성하 고, 상기 부호화 스트림을 복호화하여 얻어지는 화상 신호에 상기 예측 화상을 가산하여 복호 화상으로 하고, 소정의 복호 화상을 메모리에 저장하는 단계와,

상기 부호화 스트림을 복호화하여 얻어지는 메모리의 전체 영역을 개방하여 재이용 가능하게 하는지 여부를 나타내는 지시 정보를 기초로, 상기 지시 정보가 나타내는 정보에 기초한 처리를 행하는 처리 단계를 포함하는 것을 특징으로 하는 화상 복호화 방법.

(5) 복호화가 끝난 화상을 참조하여 부호화 스트림을 예측 복호화하는 화상 복호화 방법에 있어서, 복호화가 끝난 화상을 메모리로부터 참조하여 예측 화상을 생성하고, 상기 부호화 스트림을 복호화하고 상기 예측 화상을 가산하여 복호 화상으로 하고, 상기 복호 화상을 상기 메모리에 저장하거나 불필요하게 된 화상을 상기 메모리로부터 개방하여, 상기 메모리에 상기 복호 화상을 저장할 때는 상기 메모리 내의 개방된 영역에서 표시가 끝난 화상이 저장되어 있던 영역에 저장하는 화상 복호화 방법.

(6) 복호화가 끝난 화상을 참조하여 화상 신호를 예측 부호화하는 화상 부호화 방법에 있어서, 복호화가 끝난 화상을 메모리로부터 참조하여 예측 화상을 생성하고, 상기 예측한 상기 예측 화상과 상기 화상 신호의 차를 부호화하여 부호화 스트림으로 하고, 상기 부호화한 상기 예측 화상과 상기 화상 신호의 차를 복호화하고 상기 예측 화상을 가산하여 복호 화상으로 하고, 상기 복호 화상을 상기 메모리에 저장하거나 불필요하게 된 화상을 상기 메모리로부터 개방하여, 상기 메모리에 상기 복호 화상을 저장할 때는 상기 메모리 내의 개방된 영역에서 가장 오래된 시각의 화상이 저장되어 있던 영역에 저장하는 화상 부호화 방법.

(7) 복호화가 끝난 화상을 참조하여 부호화 스트림을 예측 복호화하는 화상 복호화 방법에 있어서, 복호화가 끝난 화상을 메모리로부터 참조하여 예측 화상을 생성하고, 상기 부호화 스트림을 복호화하고 상기 예측 화상을 가산하여 복호 화상으로 하고, 상기 복호 화상을 상기 메모리에 저장하거나 불필요하게 된 화상을 상기 메모리로부터 개방하여, 상기 메모리에 상기 복호 화상을 저장할 때는 상기 메모리 내의 개방된 영역에서 가장 오래된 시각의 화상이 저장되어 있던 영역에 저장하는 화상 복호화 방법.

(8) 복호화가 끝난 화상을 참조하여 화상 신호를 예측 부호화하는 화상 부호화 방법에 있어서, 복호화가 끝난 화상을 메모리로부터 참조하여 예측 화상을 생성하고, 상기 예측한 상기 예측 화상과 상기 화상 신호의 차를 부호화하여 부호화 스트림으로 하고, 상기 부호화한 상기 예측 화상과 상기 화상 신호의 차를 복호화하고 상기 예측 화상을 가산하여 복호 화상으로 하고, 상기 복호 화상을 상기 메모리에 저장하거나 불필요하게 된 화상을 상기 메모리로부터 개방하여, 상기 메모리에 상기 복호 화상을 저장할 때는 상기 메모리 내에서 최초로 개방된 저장 가능 영역에 저장하는 화상 부호화 방법.

(9) 복호화가 끝난 화상을 참조하여 부호화 스트림을 예측 복호화하는 화상 복호화 방법에 있어서, 복호화가 끝난 화상을 메모리로부터 참조하여 예측 화상을 생성하고, 상기 부호화 스트림을 복호화하고 상기 예측 화상을 가산하여 복호 화상으로 하고, 상기 복호 화상을 상기 메모리에 저장하거나 불필요하게 된 화상을 상 기 메모리로부터 개방하여, 상기 메모리에 상기 복호 화상을 저장할 때는 상기 메모리 내에서 최초로 개방된 저장 가능 영역에 저장하는 화상 복호화 방법.

(10) 복호화가 끝난 화상을 참조하여 화상 신호를 예측 부호화하는 화상 부호화 장치에 있어서, 복호화가 끝난 화상을 메모리로부터 참조하여 예측 화상을 생성하는 예측 수단과, 상기 예측 수단에서 예측한 상기 예측 화상과 상기 화상 신호의 차를 부호화하여 부호화 스트림으로 하는 부호화 수단과, 상기 부호화한 상기 예측 화상과 상기 화상 신호의 차를 복호화하는 복호화 수단과, 상기 복호화 수단에서 복호화한 상기 예측 화상과 상기 화상 신호의 차와 상기 예측 화상을 가산하는 가산 수단과, 예측 화상 생성을 위해 참조되는 화상 및 즉시 표시 가능한 화상을 메모리에 저장하도록 판단하는 참조 화상 관리 수단과, 상기 참조 화상 관리 수단의 판단에 기초하여 상기 가산 수단의 가산 결과를 상기 메모리에 저장하는 메모리 수단을 구비한 화상 부호화 장치.

(11) 복호화가 끝난 화상을 참조하여 화상 신호를 예측 부호화하는 화상 부호화 장치에 있어서, 복호화가 끝난 화상을 메모리로부터 참조하여 예측 화상을 생성하는 예측 수단과, 상기 예측 수단에서 예측한 상기 예측 화상과 상기 화상 신호의 차를 부호화하여 부호화 스트림으로 하는 부호화 수단과, 상기 부호화한 상기 예측 화상과 상기 화상 신호의 차를 복호화하는 복호화 수단과, 상기 복호화 수단에서 복호화한 상기 예측 화상과 상기 화상 신호의 차와 상기 예측 화상을 가산하는 가산 수단과, 상기 가산 수단의 가산 결과를 메모리에 저장하거나 불필요한 화상을 메모리로부터 개방하도록 판단하는 참조 화상 관리 수단과, 상기 참조 화상 관리 수단의 판단에 기초하여 상기 가산 수단의 가산 결과를 메모리중의 개방된 영역이며, 복호화 장치에서 복호화가 끝난 화상으로서 외부에 출력이 끝난 화상이 저장되어 있던 영역에 저장하는 메모리 수단을 구비한 화상 부호화 장치.

(12) 복호화가 끝난 화상을 참조하여 부호화 스트림을 예측 복호화하는 화상 복호화 장치에 있어서, 상기 부호화 스트림을 복호화하는 복호화 수단과, 복호화가 끝난 화상을 메모리로부터 참조하여 예측 화상을 생성하는 예측 수단과, 상기 복호화 수단에서 복호화한 상기 예측 화상과 상기 화상 신호의 차와 상기 예측 화상을 가산하는 가산 수단과, 상기 가산 수단의 가산 결과를 메모리에 저장하거나 불필요한 화상을 메모리로부터 개방하도록 판단하는 참조 화상 관리 수단과, 상기 참조 화상 관리 수단의 판단에 기초하여 상기 가산 수단의 가산 결과를 메모리중의 개방된 영역이며, 복호화가 끝난 화상으로서 외부에 출력이 끝난 화상이 저장되어 있던 영역에 저장하는 메모리 수단을 구비한 화상 복호화 장치.

(13) 복호화가 끝난 화상을 참조하여 화상 신호를 예측 부호화하는 화상 부호화 장치에 있어서, 복호화가 끝난 화상을 메모리로부터 참조하여 예측 화상을 생성하는 예측 수단과, 상기 예측 수단에서 예측한 상기 예측 화상과 상기 화상 신호의 차를 부호화하여 부호화 스트림으로 하는 부호화 수단과, 상기 부호화한 상기 예측 화상과 상기 화상 신호의 차를 복호화하는 복호화 수단과, 상기 복호화 수단에서 복호화한 상기 예측 화상과 상기 화상 신호의 차와 상기 예측 화상을 가산하는 가산 수단과, 상기 가산 수단의 가산 결과를 메모리에 저장하거나 불필요한 화상을 메모리로부터 개방하도록 판단하는 참조 화상 관리 수단과, 상기 참조 화상 관리 수단의 판단에 기초하여 상기 가산 수단의 가산 결과를 메모리중의 개방된 영역이며, 시각이 가장 오래된 화상이 저장되어 있던 영역에 저장하는 메모리 수단을 구비한 화상 부호화 장치.

(14) 복호화가 끝난 화상을 참조하여 부호화 스트림을 예측 복호화하는 화상 복호화 장치에 있어서, 상기 부호화 스트림을 복호화하는 복호화 수단과,

복호화가 끝난 화상을 메모리로부터 참조하여 예측 화상을 생성하는 예측 수단과, 상기 복호화 수단에서 복호화한 상기 예측 화상과 상기 화상 신호의 차와 상기 예측 화상을 가산하는 가산 수단과, 상기 가산 수단의 가산 결과를 메모리에 저장하거나 불필요한 화상을 메모리로부터 개방하도록 판단하는 참조 화상 관리 수단과, 상기 참조 화상 관리 수단의 판단에 기초하여 상기 가산 수단의 가산 결과를 메모리중의 개방된 영역이며, 시각이 가장 오래된 화상이 저장되어 있던 영역에 저장하는 메모리 수단을 구비한 화상 복호화 장치.

(15) 복호화가 끝난 화상을 참조하여 화상 신호를 예측 부호화하는 화상 부호화 장치에 있어서, 복호화가 끝난 화상을 메모리로부터 참조하여 예측 화상을 생성하는 예측 수단과, 상기 예측 수단에서 예측한 상기 예측 화상과 상기 화상 신호의 차를 부호화하여 부호화 스트림으로 하는 부호화 수단과, 상기 부호화한 상기 예측 화상과 상기 화상 신호의 차를 복호화하는 복호화 수단과, 상기 복호화 수단에서 복호화한 상기 예측 화상과 상기 화상 신호의 차와 상기 예측 화상을 가산하는 가산 수단과, 상기 가산 수단의 가산 결과를 메모리에 저장하거나 불필요한 화상을 메모리로부터 개방하도록 판단하는 참조 화상 관리 수단과, 상기 참조 화상 관리 수단의 판단에 기초하여 상기 가산 수단의 가산 결과를 메모리중의 개방된 영역이며, 개방한 순서가 빠른 영역에 저장하는 메모리 수단을 구비한 화상 부호화 장치.

(16) 복호화가 끝난 화상을 참조하여 부호화 스트림을 예측 복호화하는 화상 복호화 장치에 있어서, 상기 부호화 스트림을 복호화하는 복호화 수단과, 복호화가 끝난 화상을 메모리로부터 참조하여 예측 화상을 생성하는 예측 수단과, 상기 복호화 수단에서 복호화한 상기 예측 화상과 상기 화상 신호의 차와 상기 예측 화상을 가산하는 가산 수단과, 상기 가산 수단의 가산 결과를 메모리에 저장하거나 불필요한 화상을 메모리로부터 개방하도록 판단하는 참조 화상 관리 수단과, 상기 참조 화상 관리 수단의 판단에 기초하여 상기 가산 수단의 가산 결과를 메모리중의 개방된 영역이며, 개방한 순서가 빠른 영역에 저장하는 메모리 수단을 구비한 화상 복호화 장치.

또, 본 발명의 화상 부호화 방법 및 화상 복호화 방법을 컴퓨터에 실행시키는 프로그램을 저장하는 기억 매체는, 이하의 (17)부터 (23) 중 어느 하나로 해도 된다.

(17) 상기 프로그램은 컴퓨터에, 복호화가 끝난 화상을 참조하여 화상 신호를 예측 부호화시키는 화상 부호화 방법에 있어서, 복호화가 끝난 화상을 메모리로부터 참조하여 예측 화상을 생성하고, 상기 예측한 상기 예측 화상과 상기 화상 신호의 차를 부호화하여 부호화 스트림으로 하고, 상기 부호화한 상기 예측 화상과 상기 화상 신호의 차를 복호화하고 상기 예측 화상을 가산하여 복호 화상으로 하 고, 예측 화상 생성을 위해 참조되는 화상 및 즉시 표시 불가능한 화상은 상기 복호 화상을 상기 메모리에 저장하는 화상 부호화 방법을, 행하게 하는 것을 특징으로 하는 기억 매체.

(18) 상기 프로그램은 컴퓨터에, 복호화가 끝난 화상을 참조하여 화상 신호를 예측 부호화시키는 화상 부호화 방법에 있어서, 복호화가 끝난 화상을 메모리로부터 참조하여 예측 화상을 생성하고, 상기 예측한 상기 예측 화상과 상기 화상 신호의 차를 부호화하여 부호화 스트림으로 하고, 상기 부호화한 상기 예측 화상과 상기 화상 신호의 차를 복호화하고 상기 예측 화상을 가산하여 복호 화상으로 하고, 상기 복호 화상을 상기 메모리에 저장하거나 불필요하게 된 화상을 상기 메모리로부터 개방하여, 상기 메모리에 상기 복호 화상을 저장할 때는 상기 메모리 내의 개방된 영역에서 표시가 끝난 화상이 저장되어 있던 영역에 저장하는 화상 부호화 방법을, 행하게 하는 것임을 특징으로 하는 기억 매체.

(19) 상기 프로그램은 컴퓨터에, 복호화가 끝난 화상을 참조하여 부호화 스트림을 예측 복호화시키는 화상 복호화 방법에 있어서, 복호화가 끝난 화상을 메모리로부터 참조하여 예측 화상을 생성하고, 상기 부호화 스트림을 복호화하고 상기 예측 화상을 가산하여 복호 화상으로 하고, 상기 복호 화상을 상기 메모리에 저장하거나 불필요하게 된 화상을 상기 메모리로부터 개방하여, 상기 메모리에 상기 복호 화상을 저장할 때는 상기 메모리 내의 개방된 영역에서 표시가 끝난 화상이 저장되어 있던 영역에 저장하는 화상 복호화 방법을, 행하게 하는 것임을 특징으로 하는 기억 매체.

(20) 상기 프로그램은 컴퓨터에, 복호화가 끝난 화상을 참조하여 화상 신호를 예측 부호화시키는 화상 부호화 방법에 있어서, 복호화가 끝난 화상을 메모리로부터 참조하여 예측 화상을 생성하고, 상기 예측한 상기 예측 화상과 상기 화상 신호의 차를 부호화하여 부호화 스트림으로 하고, 상기 부호화한 상기 예측 화상과 상기 화상 신호의 차를 복호화하고 상기 예측 화상을 가산하여 복호 화상으로 하고, 상기 복호 화상을 상기 메모리에 저장하거나 불필요하게 된 화상을 상기 메모리로부터 개방하여, 상기 메모리에 상기 복호 화상을 저장할 때는 상기 메모리 내의 개방된 영역에서 가장 오래된 시각의 화상이 저장되어 있던 영역에 저장하는 화상 부호화 방법을, 행하게 하는 것임을 특징으로 하는 기억 매체.

(21) 상기 프로그램은 컴퓨터에, 복호화가 끝난 화상을 참조하여 부호화 스트림을 예측 복호화시키는 화상 복호화 방법에 있어서, 복호화가 끝난 화상을 메모리로부터 참조하여 예측 화상을 생성하고, 상기 부호화 스트림을 복호화하고 상기 예측 화상을 가산하여 복호 화상으로 하고, 상기 복호 화상을 상기 메모리에 저장하거나 불필요하게 된 화상을 상기 메모리로부터 개방하여, 상기 메모리에 상기 복호 화상을 저장할 때는 상기 메모리 내의 개방된 영역에서 가장 오래된 시각의 화상이 저장되어 있던 영역에 저장하는 화상 복호화 방법을, 행하게 하는 것임을 특징으로 하는 기억 매체.

(22) 상기 프로그램은 컴퓨터에, 복호화가 끝난 화상을 참조하여 화상 신호를 예측 부호화시키는 화상 부호화 방법에 있어서, 복호화가 끝난 화상을 메모리로부터 참조하여 예측 화상을 생성하고, 상기 예측한 상기 예측 화상과 상기 화상 신 호의 차를 부호화하여 부호화 스트림으로 하고, 상기 부호화한 상기 예측 화상과 상기 화상 신호의 차를 복호화하고 상기 예측 화상을 가산하여 복호 화상으로 하고, 상기 복호 화상을 상기 메모리에 저장하거나 불필요하게 된 화상을 상기 메모리로부터 개방하여, 상기 메모리에 상기 복호 화상을 저장할 때는 상기 메모리 내에서 최초로 개방된 저장 가능한 영역에 저장하는 화상 부호화 방법을, 행하게 하는 것임을 특징으로 하는 기억 매체.

(23) 상기 프로그램은 컴퓨터에, 복호화가 끝난 화상을 참조하여 부호화 스트림을 예측 복호화시키는 화상 복호화 방법에 있어서, 복호화가 끝난 화상을 메모리로부터 참조하여 예측 화상을 생성하고, 상기 부호화 스트림을 복호화하고 상기 예측 화상을 가산하여 복호 화상으로 하고, 상기 복호 화상을 상기 메모리에 저장하거나 불필요하게 된 화상을 상기 메모리로부터 개방하여, 상기 메모리에 상기 복호 화상을 저장할 때는 상기 메모리 내에서 최초로 개방된 저장 가능 영역에 저장하는 화상 복호화 방법을, 행하게 하는 것임을 특징으로 하는 기억 매체.

또한, 본 발명의 화상 부호화 장치에 있어서 스트림 및 화상 복호화 장치에 대한 메모리 구속 조건을 정의하고, 비디오를 부호화하는 방법은, 이하의 (A1)부터 (A26) 중 어느 하나여도 된다.

(A1) 스트림 및 화상 복호화 장치에 대한 메모리 구속 조건을 정의하는 화상 부호화 방법에 있어서, 사용할 수 있는 참조 픽처의 최대 수를 결정하는 단계와, 후방 예측 참조 픽처의 최대 수를 설정하는 단계와, 스트림의 헤더에 후방 예측 참조 픽처의 상기 최대 수를 넣는 단계와, 가상 디스플레이 지연 버퍼를 생성하는 단계와, 디스플레이 카운터를 생성하는 단계와, 상기 참조 픽처에 대해 충분한 기억 공간을 할당하는 단계와, 상기 비디오를 부호화하는 단계를 포함하는 화상 부호화 방법. 여기서, 가상 디스플레이 지연 버퍼는, 화상 부호화 장치 내의 메모리에 확보되는 표시용 영역에 저장되어야 할 각 표시용 픽처에 대응하는 가상적인 버퍼이며, 그 표시용 픽처의 출력하는 순서를 나타낸 정보(픽처 순서 번호 등)를 유지한다. 디스플레이 카운터는, 가상적으로 디스플레이에 출력되어야 할 픽처의 픽처 순서 번호를 기억 및 갱신한다. 또, 충분한 기억 공간이란, 참조 픽처와 표시용 픽처를 저장하는 영역을 말한다.

(A2) 참조 픽처의 상기 최대 수는, 디코더의 능력을 나타내는 레벨치에 따라 결정되는, (A1)에 기재된 화상 부호화 방법.

(A3) 후방 예측 참조 픽처의 상기 최대 수는, 참조 픽처의 상기 최대 수보다도 적은, (A1) 또는 (A2)에 기재된 화상 부호화 방법.

(A4) 스트림 전체의 상기 후방 예측은, 후방 예측 참조 픽처의 상기 최대 수에 의해 제한되는, (A1), (A2) 또는 (A3)에 기재된 화상 부호화 방법.

(A5) 상기 가상 디스플레이 지연 버퍼의 사이즈는, 후방 예측 참조 픽처의 상기 최대수에서 1을 뺀 것인, (A1)에 기재된 화상 부호화 방법.

(A6) 상기 가상·디스플레이 지연 버퍼의 물리 메모리는, 픽처의 표시 순서 정보만을 포함하는, (A1) 또는 (A5)에 기재된 화상 부호화 방법.

(A7) 상기 디스플레이·카운터는, 가상·디스플레이 지연 버퍼로부터 제거되는 픽처의 표시 순서 정보를 기억하기 위해 사용되는, (A1)에 기재된 화상 부호화 방법.

(A8) 상기 화상 부호화 방법은, 이용 가능한 참조 픽처를 사용하여 부호화 대상 픽처를 예측하는 단계와, 상기 부호화 대상 픽처를 부호화하는 단계와, 상기 부호화한 픽처가 예측에 사용되는지 여부를 결정하는 단계와, 상기 부호화한 픽처를 복호화하는 단계와, 상기 복호화한 픽처를 상기 참조 픽처·버퍼에 기억하는 단계와, 상기 가상·디스플레이 지연 버퍼를 갱신하는 단계와, 상기 디스플레이·카운터를 갱신하는 단계를 포함하는 (A1)에 기재된 화상 부호화 방법.

(A9) 픽처의 상기 예측은, 상기 픽처가 예측 부호화되는 경우에는 1개 또는 다수의 참조 픽처를 사용할 수 있는, (A1) 또는 (A8)에 기재된 화상 부호화 방법.

(A10) 상기 참조 픽처는, 상기 참조 픽처·버퍼가 메모리 구속 조건을 만족한 경우에만 사용할 수 있는, (A1) 또는 (A8)에 기재된 화상 부호화 방법.

(A11) 상기 참조 픽처는, 상기 부호화 대상 픽처가 참조 픽처로서 사용되는 경우에 복호화되는, (A1) 또는 (A8)에 기재된 화상 부호화 방법.

(A12) 상기 복호화된 픽처의 기억은, 다음 픽처에 대한 참조 픽처 수의 메모리 구속 조건을 결정하는 단계와, 상기 참조 픽처·버퍼로부터 미사용 참조 픽처를 제거하는 단계와, 상기 복호화한 픽처를 상기 참조 픽처·버퍼에 더하는 단계를 포함하는 (A1), (A8) 또는 (A10)에 기재된 화상 부호화 방법.

(A13) 다음 픽처에 대한 참조 픽처의 상기 최대 수는, 스트림에 대한 참조 픽처의 최대 수에서 상기 가상·디스플레이 지연 버퍼의 픽처 수를 뺀 수와 같은, (A1), (A8), (A10) 또는 (A12)에 기재된 화상 부호화 방법.

(A14) 상기 미사용 참조 픽처의 디스플레이에 대한 표시 순서 정보는, 디스플레이에 대한 상기 표시 순서 정보가 상기 디스플레이·카운터의 값보다도 큰 경우에 가상·디스플레이 지연 버퍼로 이동되는, (A1), (A8), (A10) 또는 (A12)에 기재된 화상 부호화 방법.

(A15) 상기 가상·디스플레이 지연 버퍼는, 상기 표시 순서 정보가 상기 디스플레이·카운터의 값보다 큰 경우에는, 상기 픽처의 상기 시간적 정보를 기억하는, (A1) 또는 (A8)에 기재된 화상 부호화 방법.

(A16) 상기 가상·디스플레이 지연 버퍼는, 상기 표시 순서 정보가 상기 디스플레이·카운터의 값 이하인 경우에는, 상기 픽처의 상기 표시 순서 정보를 제거하는, (A1), (A8) 또는 (A15)에 기재된 화상 부호화 방법.

(A17) 상기 가상·디스플레이 지연 버퍼의 상기 픽처 수는, 상기 가상·디스플레이 지연 버퍼에 존재하는 픽처의 표시 순서 정보의 합계 수에 의해 정의되는, (A1), (A8), (A10), (A12) 또는 (A13)에 기재된 화상 부호화 방법.

(A18) 상기 디스플레이·카운터의 표시 순서 정보는, 상기 가상·디스플레이 지연 버퍼가 풀(full)일 때나 또는 부호화된 픽처 수가 상기 참조 픽처의 최대 수와 같을 때 갱신을 개시하는, (A1) 또는 (A8)에 기재된 화상 부호화 방법.

(A19) 상기 디스플레이·카운터의 표시 순서 정보는, 상기 디스플레이·카운터가 갱신을 개시한 후에 부호화된 각 픽처의 표시 순서 정보에 기초하여 갱신되는, (A1), (A8) 또는 (A18)에 기재된 화상 부호화 방법.

(A20) 상기 화상 부호화 장치를 위한 화상 복호화 장치는, 스트림·헤더로부 터 최대 포스트·디코더·버퍼·사이즈를 결정하는 단계와, 필요한 참조 픽처의 최소 수를 결정하는 단계와, 참조 픽처에 대해 충분한 물리 메모리 공간을 할당하는 단계와, 상기 스트림을 복호화하는 단계와, 상기 스트림을 출력하는 단계를 포함하는 (A1)에 기재된 화상 부호화 방법.

(A21) 상기 최대 포스트·디코더·버퍼·사이즈는, 상기 화상 부호화 장치에 의해 설정된 후방 참조 픽처의 최대 수인, (A1) 또는 (A20)에 기재된 화상 부호화 방법.

(A22) 필요한 참조 픽처의 상기 최소 수는, 같은 그 스트림을 복호화할 수 있는 화상 복호화 장치의 능력 레벨에 대해 고정되는, (A1) 또는 (A20)에 기재된 화상 부호화 방법.

(A23) 상기 화상 복호화 장치에서 할당된 상기 물리 메모리 공간은, 참조 픽처 및 포스트·디코더·픽처의 양쪽을 기억하기 위해 사용할 수 있는, (A1) 또는 (A20)에 기재된 화상 부호화 방법.

(A24) 참조 픽처 및 포스트·디코더·픽처의 양쪽의 합계는, 상기 할당된 물리 메모리 공간을 넘지 않는, (A1) 또는 (A20)에 기재된 화상 부호화 방법.

(A25) 상기 복호화는, 복호화된 픽처의 수가 상기 최대 포스트·디코더·버퍼·사이즈에서 1을 뺀 수와 같을 때나 또는 복호화된 픽처의 합계 수가 참조 픽처의 상기 결정된 최소 수와 같을 때 중 어느 빠른 한쪽에, 제1 복호화된 픽처를 출력하는, (A1) 또는 (A20)에 기재된 화상 부호화 방법.

(A26) 복호화된 픽처는, 일단 그것이 출력을 위해 보내어졌으면 상기 포스트 ·디코더·버퍼로부터 제거되는, (A1) 또는 (A20)에 기재된 화상 부호화 방법.

또, 본 발명의 화상 복호화 장치에 있어서 스트림 및 화상 복호화 장치에 대한 메모리 구속 조건에 기초하여 스트림을 복호화하는 방법은, 이하의 (A27)부터 (A37) 중 어느 하나여도 된다.

(A27) 스트림 및 화상 복호화 장치에 대한 메모리 구속 조건에 기초하여 스트림을 복호화 하는 방법에 있어서, 스트림에 사용되는 참조 픽처의 최대 수를 결정하는 단계와, 후방 예측 참조 픽처의 최대 가능 수를 결정하는 단계와, 포스트·디코더·버퍼의 최소 사이즈를 계산하는 단계와, 참조 픽처·버퍼에 대해 충분한 물리 메모리 공간을 할당하는 단계와, 포스트·디코더·버퍼에 대해 충분한 물리 메모리 공간을 할당하는 단계와, 스트림을 복호화 하는 단계와, 참조 픽처·버퍼에 복호화 한 픽처를 기억하는 단계와, 포스트·디코더·버퍼에 복호화한 픽처를 기억하는 단계와, 복호화한 픽처를 출력하는 단계를 포함하는 화상 복호화 방법. 여기서, 포스트·디코더·버퍼는, 화상 복호화 장치 내의 참조 픽처 메모리에 있어서의 표시용 영역을 말한다.

(A28) 참조 픽처의 상기 최대 수는, 스트림을 복호화할 수 있는 능력의 레벨에 따라 화상 복호화 장치에 대해 고정되는, (A27)에 기재된 화상 복호화 방법.

(A29) 후방 예측 참조 픽처의 상기 최대 가능 수는, 참조 픽처의 상기 최대 수에서 1을 뺀 수로서 정의되는, (A27)에 기재된 화상 복호화 방법.

(A30) 포스트 디코더·버퍼의 상기 최소 사이즈는, 후방 예측 참조 픽처의 상기 최대 가능 수에서 1을 뺀 수로서 정의되는, (A27)에 기재된 화상 복호화 방 법.

(A31) 포스트·디코더·버퍼의 상기 최소 사이즈를 스트림으로부터 취득하는, (A27) 또는 (A30)에 기재된 화상 복호화 방법.

(A32) 후방 예측 참조 픽처의 상기 최대 가능 수는, 포스트·디코더·버퍼의 상기 최소 사이즈에 1를 더한 수에 의해 정의되는, (A27) 또는 (A31)에 기재된 화상 복호화 방법.

(A33) 참조 픽처·버퍼의 상기 최소 사이즈는, 참조 픽처의 상기 최대수로서 정의되는, (A27)에 기재된 화상 복호화 방법.

(A34) 상기 참조 픽처·버퍼는, 참조 픽처를 기억하기 위해서만 사용되는, (A27) 또는 (A33)에 기재된 화상 복호화 방법.

(A35) 상기 포스트·디코더·버퍼는, 비참조 픽처를 기억하기 위해 사용되는, (A27), (A30) 또는 (A31)에 기재된 화상 복호화 방법.

(A36) 참조 픽처는, 그것이 비참조 픽처로 판정되었을 때 상기 참조 픽처·버퍼로부터 제거되는, (A27), (A32) 또는 (A33)에 기재된 화상 복호화 방법.

(A37) 포스트 디코더·버퍼의 픽처는, 그것이 출력되었을 때 상기 포스트 디코더·버퍼로부터 제거되는, (A27), (A30), (A31) 또는 (A35)에 기재된 화상 복호화 방법.

이상의 구성에 의하면, 스트림 및 화상 복호화 장치의 양쪽에 대해 같은 메모리 구속 조건으로 동작시킴으로써, 스트림을 바르게 복호화할 수 있는 것을 보증할 수 있다. 만약 그렇게 하지 않으면, 화상 복호화 장치가 복호화 과정에서 스트 림을 복호화하기 위해 충분한 메모리 공간을 확보할 수 없는 경우가 발생한다.

도 1은 픽처의 예측 구조·복호 순서와 표시 순서를 나타낸 도면,

도 2는 픽처의 예측 구조·복호 순서와 표시 순서를 나타낸 도면,

도 3은 본 발명의 화상 부호화 방법을 실현하는 화상 부호화 장치의 블록도(실시형태 1),

도 4는 본 발명의 참조 픽처 관리 유닛의 동작을 나타낸 흐름도(실시형태 1),

도 5(a)(b)(c)는 모두 메모리로의 픽처의 저장 상태를 나타낸 상태도,

도 6은 본 발명의 화상 부호화 장치의 동작을 나타낸 흐름도(실시형태 2),

도 7은 본 발명의 화상 부호화 장치의 동작을 나타낸 흐름도(실시형태 3),

도 8은 본 발명의 화상 부호화 장치의 동작을 나타낸 흐름도(실시형태 4),

도 9는 본 발명의 화상 복호화 방법을 실현하는 화상 복호화 장치의 블록도(실시형태 5),

도 10은 본 발명에 있어서의 화상 복호화 장치의 동작을 나타낸 흐름도(실시형태 5),

도 11은 본 발명에 있어서의 화상 복호화 장치의 다른 동작을 나타낸 흐름도(실시형태 5),

도 12는 본 발명에 있어서의 화상 복호화 장치의 또 다른 동작을 나타낸 흐름도(실시형태 5),

도 13은 본 발명에 있어서의 화상 복호화 장치의 또 다른 동작을 나타낸 흐름도(실시형태 5),

도 14는 화상 부호화 장치의 가상·디스플레이 지연 버퍼의 사용의 블록도,

도 15는 부호화에 있어서의, 포스트·디코더·버퍼 동작 처리에서의 본 발명의 블록도,

도 16은 복호화에 있어서의, 포스트·디코더·버퍼 동작 처리에서의 본 발명의 블록도,

도 17은 참조 픽처의 최대 수를 제한하기 위해 화상 부호화 장치에서의 가상·디스플레이 지연 버퍼를 사용하는 일례를 나타낸 도면,

도 18은 제1 픽처를 디스플레이하기 위한 시간을 결정하기 위해 가상·디스플레이 지연 버퍼를 사용하는 일례를 나타낸 도면,

도 19는 상기 각 실시형태의 화상 부호화 방법 및 화상 복호화 방법을 컴퓨터 시스템에 의해 실현하기 위한 프로그램을 저장하기 위한 기억 매체에 관한 설명도(실시형태 7),

도 20은 컨텐츠 공급 시스템의 전체 구성을 도시한 블록도(실시형태 8),

도 21은 화상 부호화 방법 및 화상 복호화 방법을 사용한 휴대전화의 예를 나타낸 외관도(실시형태 8),

도 22는 휴대전화의 블록도(실시형태 8),

도 23은 디지털 방송용 시스템의 예를 나타낸 구성도(실시형태 8),

도 24는 픽처의 예측 구조·복호 순서와 표시 순서를 나타낸 도면,

도 25는 픽처의 예측 구조·복호 순서와 표시 순서를 나타낸 도면,

도 26은 종래의 화상 부호화 방법을 실현하는 화상 부호화 장치의 블록도,

도 27은 메모리 관리 커맨드(MMCO)의 부호예를 나타낸 대응도,

도 28은 종래의 화상 복호화 방법을 실현하는 화상 복호화 장치의 블록도이다.

이하, 본 발명의 실시형태에 관해, 도면을 사용하여 설명한다.

(실시형태 1)

본 발명의 실시형태 1을 설명한다.

도 3은 본 발명의 화상 부호화 방법을 실현하는 화상 부호화 장치의 블록도이다. 동 도면에 있어서, 도 26의 종래의 화상 부호화 방법을 실현하는 화상 부호화 장치의 블록도와 같은 동작을 하는 기기는 같은 번호를 붙여, 설명을 생략한다.

도 26의 종래의 화상 부호화 방법을 실현하는 화상 부호화 장치의 블록도와의 차이는, 도 3에서는 표시 픽처 관리 유닛(DispPicCtrl)이 추가되고, 또한 표시 픽처 관리 유닛(DispPicCtrl)의 지시가 참조 픽처 관리 유닛(RefPicCtrl)과 픽처 메모리(PicMem2)에 출력되고 있는 점이다.

또, 도 3에 도시한 화상 부호화 장치(100)에서는 새롭게, 외부로부터 변경된 픽처 사이즈를 취득하는 동시에, 픽처 구조 결정 유닛(PicStruct)으로부터 각 픽처의 부호화 타입(I픽처, P픽처, B픽처)을 취득하여, I픽처의 타이밍으로, 변경하는 픽처 사이즈를 나타내는 정보를 참조 픽처 관리 유닛(RefPicCtrl)에 출력하는 픽처 사이즈 변경 유닛(PicSize)이 설치되어 있다.

픽처 메모리(PicMem2)는 픽처 메모리(PicMem1)와 동작이 거의 같기 때문에, 다른 동작의 부분만 설명한다.

표시 픽처 관리 유닛(DispPicCtrl)은 픽처 시각(Time)을 취득하여, 참조되지 않기 때문에 본래는 저장되지 않는 픽처가 즉시 표시 가능한지 여부(픽처 메모리에 표시 시각까지 저장할 필요가 있는지 없는지)를 판단한다. 픽처 시각(Time)은 외부로부터 입력되어, 표시하는 픽처를 지정하는 신호이다. 픽처 시각의 취득은, 예를 들면 픽처를 패킷 등의 전송로로 전송하기 위한 시스템이 출력하는 시각 정보로부터 취득해도 되고, 또는 비디오 스트림과 오디오 스트림을 다중화하기 위한 포맷중의 시각 정보로부터 취득해도 되고, 또는 비디오 스트림의 포맷중의 시각 정보로부터 취득해도 된다. 또, 이들은 픽처마다 시각을 알 수 있는 절대 시각이나, 픽처 사이에서 시간의 전후를 알 수 있는 상대 시각 중 어느쪽이어도 된다. 또한, 통상은 픽처의 표시 간격은 고정이므로, 픽처의 표시 순서를 그 시각으로서 생각해도 된다.

또한, 즉시 표시가 가능한 경우란, 가산기(Add)에서 가산하여 얻어진 픽처가 픽처 시각(Time)에서 지시된 표시하는 픽처와 일치하는 경우이다. 이 경우는, 픽처 메모리(PicMem2)에, 미표시이고 또한 부호화를 위해 입력된 픽처보다 앞에 표시되어야 할 픽처가 없는 경우를 말한다. 즉시 표시 가능하지 않으면, 참조되지 않는 화상이어도 픽처 메모리(PicMem2)에 저장하도록, 표시 픽처 관리 유닛(DispPicCtrl)은 참조 픽처 관리 유닛(RefPicCtrl)에 지시를 내린다. 그 결 과, 즉시 표시되지 않는 픽처는 참조의 유무에 관계없이 반드시 픽처 메모리(PicMem2)에 저장되게 되어, 복호화 장치에서 픽처 메모리(PicMem2)로부터 픽처를 표시할 수 있게 된다.

도 4는 본 발명에 있어서의 참조 픽처 관리 유닛(RefPicCtrl)의 동작의 흐름도이다.

해당 복호 화상(픽처)이 예측 화상으로서 참조되기 위해서 저장해야 할지 여부를 판단한다(단계 10). 참조된다면 단계 12로 진행하고, 그렇지 않으면 단계 11로 진행한다.

단계 11에서는 해당 복호 화상이 즉시 표시 가능한지 여부를 판단한다. 즉시 표시 가능하다는 것은, 복호화한 시점에서 그대로 표시할 수 있는 것을 말하며(예를 들면 도 1에 나타낸 픽처 1), 즉시 표시 불가능이라는 것은 나중에 표시하지 않으면 안된다는 것(예를 들면 도 1에 나타낸 B5)을 말한다. 즉시 표시 가능하면 종료하고, 그렇지 않으면 단계 12로 진행한다.

단계 12에서는 픽처 메모리(PicMem2)로부터 저장 가능한 영역을 취득하고, 단계 13에서 취득한 픽처 메모리(PicMem2)의 영역에 해당 복호 화상을 저장하도록 메모리 관리 커맨드(MMCO)로 지시를 내린다.

이상과 같이 하여, 즉시 표시되지 않는 픽처는 픽처 메모리(PicMem2)에 저장하고, 표시 시각이 된 시점에서 픽처 메모리(PicMem2)로부터 픽처를 표시할 수 있게 할 수 있다. 또, 표시용의 여분의 픽처 메모리를 필요로 하지 않고, 표시를 위해 저장이 필요한 픽처를 참조용 픽처 메모리에 저장할 수 있다.

상술한 픽처 메모리(PicMem2)에는, 예측 화상의 생성을 위해 참조되는 참조 픽처가 저장되는 참조용 영역과, 표시용 픽처가 저장되는 표시용 영역이 존재한다.

그런데, 상술한 GOP(그룹 오브 픽처)마다 픽처 사이즈의 변경을 행하는 것도 가능하다. 이 픽처 사이즈의 변경은, 불필요하게 된 참조 픽처가 저장된 메모리의 참조용 영역을 모두 개방하는(재이용 가능한 상태로 하는) 경우에만 행해진다.

그러나, 이렇게 픽처 사이즈의 변경이 행해지는 경우에, 상술한 바와 같이 미표시의 표시용 픽처는 메모리 영역에 저장되어 있으나, 이 미표시의 표시용 픽처를 어떻게 취급해야 하는지(소거해야 하는지, 그대로 표시될 때까지 저장해야 하는지)에 대한 대처 방법에 대해 명확히 결정할 필요가 있다.

여기서, 픽처 사이즈의 변경이 행해질 때의, 메모리로의 픽처의 저장 상태에 관해 단계적으로 설명한다.

도 5(a)(b)(c)는, 메모리로의 픽처의 저장 상태를 단계적으로 나타낸 상태도이다.

도 5(a)에서, 픽처(200a, 200b, 200c)는 참조용으로 저장된 참조 픽처(예측 화상 생성을 위해 참조되는 픽처)이고, 픽처(201a, 201b, 201c, 201d, 201e)는 표시용으로 저장되어 있는 표시용 픽처(미표시 픽처)이다.

픽처(201a, 201b, 201c, 201d, 201e)는, 이 순서로 표시된다.

이 도5(a)에는, 참조 픽처(200a, 200b, 200c)가 저장되어 있는 메모리 영역이 모두 개방되어 재이용 가능한 상태로 된 상태를 나타내고 있다.

도 5(b)에는, 도 5(a)에 나타낸 상태의 후에 픽처 사이즈가 변경되어, 참조 픽처(200a)가 저장되어 있던 메모리 영역에, 픽처 사이즈가 커지도록 변경된 참조 픽처(202a)가 저장되고, 또한 표시용 픽처(201a)가 표시되어, 그 메모리 영역이 개방된 상태가 나타나 있다.

도 5(c)는, 도 5(b)에 나타낸 상태의 후, 또한 표시용 픽처(201b)가 저장된 메모리 영역이 개방되어, 표시용 픽처(201a, 201b)가 저장되어 있던 개방된 메모리 영역에, 화상 사이즈가 커지도록 변경된 참조 픽처(202b)가 저장된 상태를 나타내고 있고, 작은 메모리 영역(203)이 남아 있다. 이 상태에서, 표시용 픽처(201c)가 저장되어 있는 메모리 영역을 개방하더라도, 새롭게 참조 픽처(픽처 사이즈가 커지도록 변경된)를 저장할 수 없다.

이렇게 픽처 사이즈가 변경되면, 메모리 내에 다른 픽처 사이즈의 픽처가 혼재하게(픽처 사이즈가 커지도록 변경된 참조 픽처와, 사이즈 변경 전의 미표시의 표시용 픽처) 된다.

그에 의해, 메모리가 단편적으로 사용되게 되어, 사용할 수 없는 작은 메모리 영역이 발생하여 메모리의 사용 효율이 열화한다. 또, 메모리를 단편적으로 사용하지 않도록, 발생한 작은 메모리 영역이 없어지도록 메모리 내에서 데이터의 재배치를 행하면, 메모리 액세스가 대단히 커져 그 사이의 실시간으로 부호화·복호화 동작을 실현하는 것이 곤란하다.

그 때문에, 픽처 사이즈가 변경되는 경우는, 제1 방법으로서, 미표시의 표시용 픽처가 저장되어 있는 표시용 영역과, 참조 픽처가 저장되어 있는 참조용 영역을 개방하여(재이용 가능한 상태로 하여), 미표시의 표시용 픽처의 표시를 포기하 도록 한다. 이렇게 함으로써, 사이즈가 다른 픽처의 혼재에 의해 발생하는 메모리의 단편적인 사용을 방지할 수 있어, 메모리의 사용 효율의 열화를 억제할 수 있다.

상술한 픽처 사이즈의 변경은 다음의 타이밍으로 행해진다. 즉, 도 3에 나타낸 픽처 사이즈 변경 유닛(PicSize)이, 픽처 구조 결정 유닛(PicStruct)이 결정한 각 픽처의 부호화 타입(I픽처, P픽처, B픽처)과, 외부로부터 입력되는 변경하는 픽처 사이즈를 받아, I픽처의 타이밍으로 픽처 사이즈의 변경을 행하는 지령을 참조 픽처 관리 유닛(RefPicCtrl)에 출력한다. 이 I픽처는, 예를 들면 GOP의 최초에 삽입되는 특별한 I픽처(IDR 픽처)이다.

또, 픽처 사이즈가 변경되는 경우는, 제2 방법으로서, 메모리의 전체 영역을 개방하여, 미표시의 표시용 픽처를 포기하도록 하는 수단과, 또는 참조 픽처가 저장된 참조용 영역만을 개방하여, 부호화 신호(스트림)를 복호하는 후술하는 화상 복호화 장치(디코더)의 판단에 의해, 사이즈 변경 전의 픽처이며 미표시의 표시용 픽처에 대해서는 표시할 수 있는 것을 표시하도록 하고, 미표시의 표시용 픽처의 표시를 의무화하지 않도록 하는 수단을 전환하도록 하고 있다. 이 때, 화상 복호화 장치는, 미표시 픽처에 대해 예를 들면 손상되지 않은 픽처 등의 표시 가능한 픽처를 표시 순서에 따라서 표시하도록 한다.

이러한 전환을 행할 때, 메모리의 전체 영역을 개방하는 방법과, 참조 픽처가 저장된 참조용 영역만을 개방하는 방법 중 어느쪽의 방법으로 행하는지를 나타내는 지시 정보(플래그) 또는 다른 식별할 수 있는 정보를 화상 부호화 장치(100) 로부터 출력되는 스트림(Str)에 포함시켜 배치한다.

화상 복호화 장치측에서는 스트림에 배치된 지시 정보에 기초한 처리를 행한다.

이 지시 정보가 나타내는 2개의 방법을 전환할 때의 판단 기준의 예로서는, 어느쪽 방법으로 행하는지를 어플리케이션에 의해 컨텐츠를 만드는 사람이 정하도록 하거나, 메모리에 여유가 있으면 참조용 영역만을 개방하여 미표시의 표시용 픽처가 저장되어 있는 표시용 영역을 개방하지 않거나(메모리의 전체 영역을 개방하지 않거나), 또는 픽처 사이즈가 작아지도록 변경되는 경우는, 참조용 영역만을 개방하여 미표시의 표시용 픽처가 저장되어 있는 표시용 영역을 개방하지 않거나 하는(메모리의 전체 영역을 개방하지 않거나) 등을 생각할 수 있다.

이상의 구성에 의해, 종래의 과제를 해결하는 화상 부호화 장치가 실현된다.

(실시형태 2)

본 발명의 실시형태 2에 관해 설명한다.

본 실시형태에서는, 도 3에서 나타낸 표시 픽처 관리 유닛(DispPicCtrl)이, 픽처 메모리(PicMem2)에 대해, 개방한 메모리에 픽처를 저장하는 경우에, 표시하고 있지 않은 픽처의 영역에는 새로운 픽처를 저장하지 않도록 지시한다. 통상, 픽처의 영역이 개방되어도, 그 영역에 새로운 픽처가 저장(덮어쓰기)되지 않는 한은 직전에 저장한 픽처를 재생할 수 있다. 그래서, 만약 표시하고 있지 않은 픽처가 저장된 메모리 영역이 개방되었다 해도, 그 메모리 영역에는 새로운 픽처를 저장하지 않고, 표시가 끝난 픽처가 저장되어 있던 영역에 새로운 픽처를 저장함으로써, 표 시 시각이 된 시점에서, 개방되어 있으나, 아직 덮어쓰기 되지 않고 남아 있는 미표시의 픽처를 표시할 수 있다. 이 픽처 메모리의 개방된 픽처 영역에 있는 픽처를 표시용 픽처라 부르기로 한다. 또, 표시가 끝났다는 것은, 표시 장치로의 출력이 끝났다는 것과 실질적으로 같은 의미이며, 복호화 장치에서는 실제로 표시한 것(또는 표시 장치로 출력한 것)을 의미하며, 부호화 장치에서는 실제로는 표시(또는 출력)하는 것이 아니라 픽처 시각(Time)에 지정되었을 때 표시한 것(또는 출력한 것)으로 간주하여 취급하는 것을 의미한다.

도 6은 본 실시형태에 있어서의 화상 부호화 장치(100)의 동작을 나타낸 흐름도이다. 본 실시형태는, 개방 영역의 메모리에 저장되어 있는 픽처가 표시가 끝났는지 여부로, 픽처의 저장을 결정하는 것을 특징으로 한다.

먼저, 단계 20에서 해당 복호 화상이 픽처 메모리(PicMem2)에 저장하는 것인지 여부를 메모리 관리 커맨드(MMCO)의 지시에 기초하여 판단한다.

저장하는 경우에는, 개방된 픽처 영역을 취득하여(단계 21), 개방된 픽처 영역에 저장되어 있던 픽처가 표시가 끝났는지 여부를 확인한다(단계 22). 아직 표시되어 있지 않으면, 단계 21로 돌아가 표시가 끝난 픽처가 저장되어 있던 개방 영역을 찾아 낼 때까지 처리를 되풀이한다.

표시가 끝난 픽처가 저장되어 있던 개방 영역을 발견했으면, 그 영역에 복호 화상을 저장한다(단계 23).

이렇게 함으로써, 미표시 픽처가 표시가 끝나게 되면, 그 표시가 끝난 픽처가 저장되어 있는 영역이 재이용되기 위해서, 미표시 픽처는, 덮어쓰기 되지 않고 표시될 때까지 메모리에 저장된다.

또한, 메모리에 저장되어 있는 픽처가 표시가 끝났는지 여부는, 표시 픽처 관리 유닛(DispPicCtrl)에서 표시했는지 여부의 정보를 관리함으로써 판단할 수 있다.

또, 픽처 영역이 개방 영역인지 여부는, 픽처 영역마다 개방되어 있는지 아닌지의 정보, 예를 들면 「used(참조 픽처로서 사용 가능)」인지「unused(이후, 참조 픽처로서 참조되지 않는다)」인지를 메모리 관리 커맨드(MMCO)에 따라서 픽처 메모리(PicMem2)에서 유지하고, 이 유지되어 있는 정보를 참조함으로써 판단할 수 있다.

이상의 구성에 의해, 종래의 과제를 해결하는 화상 부호화 장치를 실현할 수 있다.

이상과 같이 하여, 표시되어 있지 않은 픽처로의 새로운 픽처의 덮어쓰기를 방지하여, 표시 시각이 된 시점에서 개방이 끝났으나 덮어쓰기 되어 있지 않은 영역에서 픽처를 표시할 수 있다. 또, 여분의 메모리를 필요로 하지 않고, 표시를 위해 저장이 필요한 픽처를 저장할 수 있다.

또한, 픽처 사이즈가 변경된 경우의 동작은, 실시형태 1과 동일하므로 설명을 생략한다.

(실시형태 3)

본 발명의 실시형태 3을 설명한다.

도 7은 본 발명의 실시형태 3에 있어서의 화상 부호화 장치(100)의 동작을 나타낸 흐름도이다. 본 실시형태는, 메모리를 개방한 시각에 의해 픽처의 저장을 결정하는 것을 특징으로 한다.

먼저, 단계 30에서 해당 복호 화상이 픽처 메모리(PicMem2)에 저장하는 것인지 여부를 메모리 관리 커맨드(MMCO)의 지시에 기초하여 판단한다.

저장하는 경우에는, 개방된 픽처 메모리 영역 중 표시 시각이 가장 오래된 픽처 메모리 영역을 취득하여(단계 31), 그 영역에 복호 화상을 저장한다(단계 32).

또, 가장 오래된 시각에 개방된 메모리 영역을 픽처의 저장 영역으로 하는 것이 아니라, 가장 오래된 시각에 픽처가 복호화되어 저장된 메모리 영역을 픽처의 저장 영역으로 해도 된다. 이들 메모리 영역은, 거기에 저장되어 있는 픽처가 이미 표시되고 있을 가능성이 높기 때문이다.

또, 이들 가장 오래된 시각은 시간일 필요는 없고, 가장 오래된 순서이어도 되고, 예를 들면 표시되는 순서가 가장 오래된 순서이어도 되는 것은 당연하다. 예를 들면 표시 순서가 오래된 픽처가 이미 표시되고 있을 가능성이 높고, 표시되었는지 여부에 관계없이, 표시 순서가 오래된 픽처가 저장되어 있는 메모리 영역부터 차례로 메모리의 저장 영역으로서 재이용된다. 또한, 통상은 픽처의 표시 간격은 고정이므로, 픽처의 표시 순서를 그 시각으로서 생각해도 된다.

이상과 같이 하여, 표시되고 있지 않은 픽처로의 새로운 픽처의 덮어쓰기를 방지하여, 표시 시각이 된 시점에서 개방이 끝났으나 덮어쓰기 되어 있지 않은 영역에서 픽처를 표시할 수 있다. 또, 여분의 메모리를 필요로 하지 않고, 표시를 위해 저장이 필요한 픽처를 저장할 수 있다. 또, 픽처 메모리(PicMem2)에 저장되어 있는 픽처가 표시되고 있는지 여부에 관계없이, 표시하기 위해 저장해 두어야 할 픽처의 저장 처리를 할 수 있다. 또한, 가장 오래된 시각이 표시 시각의 가장 오래된 시각인 경우, 예를 들면 표시 픽처 관리 유닛(DispPicCtrl)에서 표시했는지 여부의 정보를 관리함으로써, 가장 오래된 시각에 저장된 픽처인지 아닌지를 판단할 수 있다.

또한, 픽처 사이즈가 변경된 경우의 동작은, 실시형태 1과 동일하므로 설명을 생략한다.

(실시형태 4)

본 발명의 실시형태 4를 설명한다.

도 8은 본 발명의 실시형태 4에 있어서의 화상 부호화 장치(100)의 동작을 나타낸 흐름도이다. 본 실시형태는, 메모리를 개방한 순서에 의해 픽처의 저장을 결정하는 것을 특징으로 한다.

먼저, 단계 40에서 해당 복호 화상이 픽처 메모리(PicMem2)에 저장하는 것인지 여부를 메모리 관리 커맨드(MMCO)의 지시에 기초하여 판단한다.

저장하는 경우에는, 개방된 영역 중에서, 최초로 개방된 픽처 영역을 취득하여(단계 41), 그 영역에 복호 화상을 저장한다(단계 42).

표시 시각의 정보는 시스템이 관리하므로, 비디오 복호화 장치의 제작 방법에 의해서는 표시 시각을 입수하는 것이 곤란하다. 최초로 개방된 픽처의 영역이, 후에 개방된 영역보다도 오래된 표시 시각의 픽처가 저장되어 있었을 가능성이 높 다. 즉, 최초로 개방된 픽처는 이미 표시되고 있을 가능성이 높다. 따라서, 최초로 개방된 픽처의 영역에 해당 복호 화상을 저장함으로써, 표시되고 있지 않은 픽처에 대해 덮어쓰기 하지 않을 가능성이 높아진다.

또한, 픽처 영역이 최초로 개방된 픽처 영역인지 여부는, 픽처 영역마다 개방되어 있는지 아닌지의 정보, 예를 들면 「used : 개방되어 있지 않다(참조 픽처로서 사용 가능)」인지 「unused : 개방이 끝남(이후, 참조 픽처로서 참조되지 않는다)」인지를 메모리 관리 커맨드(MMCO)에 따라서 픽처 메모리(PicMem2)에서 개방한 순서를 포함해서 유지하고, 이 유지되어 있는 정보를 참조함으로써 판단할 수 있다. 또는, 픽처 영역의 사용 방법을 소정의 순서로 고정하고, 그 순서에 따라서 최초로 개방된 픽처 영역인지 여부를 판단하면 된다. 예를 들면, 픽처 메모리 (PicMem2)를, 신규의 것이 기억되면 기억한 시각이 오래된 기억 내용이 차례로 파기되어, 항상 최신의 일정 프레임 수(또는 픽처 수)의 화상이 저장되는 선입 선출 방식(FIFO)의 메모리로 하여, 최초로 개방된 픽처 영역인지 여부를 판단하면 된다. 이상과 같이 하여, 표시되어 있지 않은 픽처로의 새로운 픽처의 덮어쓰기를 방지하여, 표시 시각이 된 시점에서, 개방이 끝났으나 덮어쓰기 되어 있지 않은 영역에서 픽처를 표시할 수 있다.

또한, 픽처 사이즈가 변경된 경우의 동작은, 실시형태 1과 동일하므로 설명을 생략한다.

(실시형태 5)

본 발명의 실시형태 5를 설명한다.

도 9는 본 발명의 화상 복호화 방법을 실현하는 화상 복호화 장치의 블록도이다. 동 도면에서, 도 3의 본 발명의 화상 부호화 방법을 실현하는 화상 부호화 장치의 블록도 및 도 28의 종래의 화상 복호화 방법을 실현하는 화상 복호화 장치의 블록도와 같은 동작을 하는 기기는 같은 번호를 붙여, 설명을 생략한다.

도 9의 화상 복호화 장치(150)에 있어서, 종래예를 나타내는 도 28과 다른 점은, 도 9에서는 외부로부터 취득한 변경하는 픽처 사이즈, 및 가변길이 복호화 유닛(VLD)으로부터 취득한 메모리 관리 커맨드(MMCO)를 기초로, 특별한 I픽처(IDR(Instantaneous Decoding Refresh) 픽처)의 타이밍으로 픽처 사이즈를 변경하는 지령을 픽처 메모리(PicMem2)에 출력하는 픽처 사이즈 변경 검출 유닛(PicSizeDet)과, 표시 픽처 관리 유닛(DispPicCtrl)이 새롭게 설치되어 있다.

표시 픽처 관리 유닛(DispPicCtrl)은 픽처 메모리(PicMem2)에 있어서의 개방한 영역에 대해 픽처를 저장하는 경우에, 표시하고 있지 않은 픽처의 영역에는 새로운 픽처를 저장하지 않도록 지시한다. 통상, 픽처의 영역이 개방되어도, 그 영역에 새로운 픽처가 저장(덮어쓰기)되지 않는 한은 직전에 저장한 픽처의 데이터가 메모리 내에 남아 있어 재생할 수 있다. 그래서, 만약 표시하고 있지 않은 픽처가 개방되었다 해도, 표시가 끝난 픽처가 저장되어 있던 영역에 새로운 픽처를 저장함으로써, 표시 시각이 된 시점에서 개방되어 있으나 아직 덮어쓰기 되지 않고 남아 있는 표시되고 있지 않은 픽처를 표시할 수 있다. 또한, 표시가 끝났다는 것은, 표시 장치로의 출력이 끝났다는 것과 실질적으로 같은 의미다.

이렇게 함으로써, 미표시 픽처가 표시가 끝나면, 그 표시가 끝난 픽처가 저 장되어 있는 메모리 영역이 재이용되기 위해, 미표시 픽처는 덮어쓰기 되지 않고 표시될 때까지 메모리에 저장된다.

이상의 구성에 의해, 종래의 과제를 해결하는 화상 복호화 장치를 실현할 수 있다. 또한, 화상 복호화 장치(150)는, 실시형태 3, 및 실시형태 4에 나타낸 화상 부호화 장치(100)에 의해 부호화된 부호화 신호를 복호하도록 해도 된다. 그 경우에 픽처 메모리의 이용에 관한 동작은, 실시형태 3 및 실시형태 4에 나타낸 화상 부호화 장치와 동일하다. 즉, 이 픽처 메모리에서 개방된(이후, 참조되지 않는) 픽처의 재이용에 대해서는, 실시형태 1부터 실시형태 3에 기재한 방법으로 새롭게 픽처를 저장하는 영역의 결정 방법 중 어느 하나를 사용할 수도 있다.

상술한 실시형태 3 및 실시형태 4에 나타낸 화상 부호화 장치에 의해 부호화된 부호화 신호를 복호할 때의 메모리로의 픽처의 저장 방법에 관해 설명한다.

먼저, 실시형태 3에 나타낸 화상 부호화 장치에 의해 부호화된 부호화 신호를 복호할 때의 메모리로의 픽처의 저장 방법에 관해 설명한다.

먼저, 화상 복호화 장치(150)에 있어서의 가산 유닛(Add)으로부터 출력되는 복호 화상이 픽처 메모리(PicMem2)에 저장하는 것인지 여부를 메모리 관리 커맨드(MMCO)의 지시에 기초하여 판단한다.

저장하는 경우에는, 가장 오래된 시각에 개방된 픽처 메모리 영역을 취득하여, 그 영역에 복호 화상을 저장한다.

이 때, 가장 오래된 시각에 개방된 메모리 영역을 픽처의 저장 영역으로 하는 것이 아니라, 가장 오래된 시각에 픽처가 복호화되어 저장된 메모리 영역, 또는 가장 표시 시각이 오래된 픽처가 저장되어 있는 메모리 영역을 픽처의 저장 영역으로 해도 된다. 이들 메모리 영역은, 거기에 저장되어 있는 픽처가 이미 표시되고 있을 가능성이 높기 때문이다.

표시 시각의 정보는 시스템이 관리하므로, 비디오 복호화 장치의 제작 방법에 의해서는 표시 시각을 입수하는 것이 곤란하다. 가장 오래된 시각에 저장된 픽처의 영역이, 보다 새로운 시각에 저장된 영역보다도 오래된 표시 시각의 픽처가 저장되어 있었을 가능성이 높다. 오래된 표시 시각의 픽처가 이미 표시되고 있을 가능성이 높은 것은 당연하므로, 가장 오래된 시각에 저장된 픽처는 이미 표시되고 있을 가능성이 높다. 따라서, 가장 오래된 시각에 저장된 픽처의 영역에 해당 복호 화상을 저장함으로써, 표시되고 있지 않은 픽처를 덮어쓰기 하지 않을 가능성이 높아진다. 또, 가장 오래된 시각이 픽처를 부호화한 시각의 가장 오래된 시각인 경우, 예를 들면 가장 오래된 시각에 부호화되었는지 여부는 픽처의 예측 구조·복호 순서로부터 판단하는 것이 가능하다.

또, 이들 가장 오래된 시각은 시각일 필요는 없고, 가장 오래된 순서이어도 되며, 예를 들면 표시되는 순서가 가장 오래된 순서이어도 되는 것은 당연하다. 예를 들면 표시 순서가 오래된 픽처가 이미 표시되고 있을 가능성이 높고, 표시되었는지 여부에 관계없이, 표시 순서가 오래된 픽처가 저장되어 있는 메모리 영역부터 차례로 메모리의 저장 영역으로서 재이용된다. 또한, 통상은 픽처의 표시 간격은 고정이므로, 픽처의 표시 순서를 그 시각으로서 생각해도 된다.

이상과 같이 하여, 표시되고 있지 않은 픽처로의 새로운 픽처의 덮어쓰기를 방지하여, 표시 시각이 된 시점에서 개방이 끝났으나 덮어쓰기 되어 있지 않은 영역에서 픽처를 표시할 수 있다. 또, 여분의 메모리를 필요로 하지 않고, 표시를 위해 저장이 필요한 픽처를 저장할 수 있다.

또, 픽처 메모리(PicMem2)에 저장되어 있는 픽처가 표시되고 있는지 여부에 관계없이, 표시하기 위해 저장해 두어야 할 픽처의 저장 처리를 할 수 있다. 또한, 가장 오래된 시각이 표시 시각의 가장 오래된 시각인 경우, 예를 들면 표시 픽처 관리 유닛(DispPicCtrl)에서 표시했는지 여부의 정보를 관리함으로써, 가장 오래된 시각에 저장된 픽처인지 아닌지를 판단할 수 있다.

다음에, 실시형태 4에 나타낸 화상 부호화 장치에 의해 부호화된 부호화 신호를 복호할 때의 메모리로의 픽처의 저장 방법에 관해 설명한다.

먼저, 화상 복호화 장치(150)의 상술한 가산 유닛(Add)으로부터 출력되는 복호 화상이 픽처 메모리(PicMem2)에 저장하는 것인지 여부를 메모리 관리 커맨드 (MMCO)의 지시에 기초하여 판단한다.

저장하는 경우에는, 개방된 영역 중에서, 최초로 개방된 픽처 영역을 취득하여, 그 영역에 복호 화상을 저장한다.

표시 시각의 정보는 시스템이 관리하므로, 비디오 복호화 장치의 제작 방법에 의해서는 표시 시각을 입수하는 것이 곤란하다. 최초로 개방된 픽처의 영역이, 후에 개방된 영역보다도 오래된 표시 시각의 픽처가 저장되어 있었을 가능성이 높다. 즉, 최초로 개방된 픽처는 이미 표시되고 있을 가능성이 높다. 따라서, 최초에 개방된 픽처의 영역에 해당 복호 화상을 저장함으로써, 표시되고 있지 않는 픽 처에 대해 덮어쓰기 하지 않을 가능성이 높아진다.

또한, 픽처 영역이 최초로 개방된 픽처 영역인지 여부는, 픽처 영역마다 개방되어 있는지 아닌지의 정보, 예를 들면 「used : 개방되어 있지 않음(참조 픽처로서 사용 가능)」인지 「unused : 개방이 끝남(이후, 참조 픽처로서 참조되지 않는다)」인지를 메모리 관리 커맨드(MMCO)에 따라서 픽처 메모리(PicMem2)에서 개방한 순서를 포함해서 유지하고, 이 유지되어 있는 정보를 참조함으로써 판단할 수 있다. 또는, 픽처 영역의 사용 방법을 소정의 순서로 고정하고, 그 순서에 따라서 최초로 개방된 픽처 영역인지 아닌지를 판단하면 된다. 예를 들면, 픽처 메모리(PicMem2)를, 신규의 것이 기억되면 기억한 시각이 오래된 기억 내용이 차례로 파기되어, 항상 최신의 일정 프레임 수(또는 픽처 수)의 화상이 저장되는 선입선출 방식(FIFO)의 메모리로 하여, 최초로 개방된 픽처 영역인지 아닌지를 판단하면 된다.

이상과 같이 하여, 표시되고 있지 않은 픽처로의 새로운 픽처의 덮어쓰기를 방지하여, 표시 시각이 된 시점에서, 개방이 끝났으나 덮어쓰기 되어 있지 않은 영역에서 픽처를 표시할 수 있다.

또한, 표시 유닛(Disp)은 화상 복호화 장치(150) 내에 구비하는 것은 아니고, 화상 복호화 장치(150)로부터는 표시 유닛(Disp)으로 픽처를 표시하기 위해 필요한 데이터만을 송출하고, 표시 유닛(Disp)을 화상 복호화 장치(150)의 외부에 구비하여 실현해도 된다.

여기서, 실시형태 2에서 설명한 픽처 사이즈가 변경되는 경우에 있어서의 화 상 복호화 장치(150)의 동작을 설명한다. 또한, 실시형태 3 및 4에 대한 이하의 동작도 동일하므로, 설명을 생략한다.

실시형태 2에 나타낸 픽처 사이즈가 변경되는 경우에 있어서의 제1 방법에 대응하는 방법으로서, 화상 복호화 장치(150)는, 픽처 사이즈의 변경 지령이 있었을 때는, 메모리의 참조 픽처가 저장된 참조용 영역과 표시용 픽처가 저장된 표시용 영역을 포함하는 전체 영역을 개방하여 초기화를 행한다.

도 10은, 화상 부호화 장치(150)의 동작을 나타낸 흐름도이다.

픽처 사이즈 변경 검출 유닛(PicSizeDet)으로부터 출력되는 신호가, 픽처 사이즈의 변경을 나타내느 것인지를 판정하여(단계 100), 픽처 사이즈의 변경이 있는 경우는(단계 100의 Yes), 픽처 메모리(PicMem2)의 전체 메모리 영역을 개방하여(재이용 가능한 상태로 하여) 초기화하고(단계 102), 처리를 종료한다.

한편, 픽처 사이즈의 변경이 없는 경우(단계 100의 No), 가변길이 복호화 유닛(VLD)으로부터 출력되는 메모리 관리 커맨드(MMCO)가, 픽처 메모리(PicMem2)의 전체 메모리 영역을 개방하는(초기화하는) 것을 나타내는 것인지를 판정하여(단계 101), 나타내는 것일 경우는(단계 101의 Yes), 전체 메모리 영역을 개방하고(단계 102), 나타내는 것이 아닐 경우는(단계 101의 No), 참조 픽처가 저장된 참조용 영역만을 개방하고(단계 103), 처리를 종료한다.

이렇게 메모리의 전체 영역을 개방함으로써, 사이즈가 다른 픽처가 혼재함으로써 발생하는 메모리의 단편적인 사용을 방지할 수 있으므로, 메모리의 사용 효율의 열화를 억제할 수 있다.

다음에, 실시형태 2에 나타낸 픽처 사이즈가 변경되는 경우의 제2 방법에 대응하는 방법으로서, 화상 복호화 장치(150)가 행하는 동작에 관해 설명한다.

픽처 사이즈를 변경한 경우에, 메모리의 전체 영역을 개방하는 방법이나, 또는 참조 픽처가 저장된 참조용 영역만을 개방하여, 미표시 픽처에 대해서는 화상 복호화 장치(150)가 판단하여 표시할 수 있는 것을 표시하는 방법을 전환한다.

실시형태 2에서 설명한 바와 같이, 메모리의 전체 영역을 개방하는지, 참조용 영역만을 개방하는지를 나타내는 지시 정보(플래그)는, 화상 부호화 장치(100)로부터 출력되는 스트림(Str)의 메모리 관리 커맨드(MMCO)에 포함된다.

화상 복호화 장치(150)는, 메모리 관리 커맨드(MMCO)에 포함되는 지시 정보에 기초하여, 상기 2개의 방법 중 어느 것을 행하는지를 판단한다.

도 11은, 그 판단 동작을 나타낸 흐름도이다.

먼저, 지시 정보(플래그)가 메모리의 전체 영역을 초기화하는지 아닌지의 어느쪽을 나타내고 있는지를 판단하여 (단계 150), 전체 영역의 초기화를 나타내고 있는 경우는(단계 150의 Yes), 미표시의 표시용 픽처가 저장된 표시용 영역을 포함하는 메모리의 전체 영역을 개방하여 초기화를 행하고(단계 151), 그렇지 않은 경우는(단계 150의 No), 참조용 영역만 개방하여 초기화를 행한다(단계 152).

이 지시 정보(플래그)가 전체 영역의 초기화를 나타내고 있지 않은 경우는, 화상 복호화 장치(150)은, 참조용 영역만 개방하고, 참조용 영역 이외의 영역에 있는 미표시 픽처에 대해서는 화상 복호화 장치(150)가 판단하여 표시할 수 있는 것을 표시하도록 한다.

이 참조용 영역만의 초기화를 행하는 경우의 화상 복호화 장치(150)의 동작을, 흐름도를 사용하여 설명한다.

도 12는 화상 복호화 장치(150)(디코더)의 동작을 나타낸 흐름도이다.

픽처 사이즈 변경 검출 유닛(PicSizeDet)으로부터 출력되는 신호가, 픽처 사이즈의 변경을 나타내는 것인지를 판정하여(단계 200), 픽처 사이즈의 변경이 아닌 경우는(단계 200의 No), 표시용 영역에 저장된 표시해야 할 미표시 픽처를 표시한다 (단계 203).

한편, 픽처 사이즈의 변경인 경우는(단계 200의 Yes), 표시용 영역에 저장되어 있는 표시용 픽처가 사이즈 변경 전의 것인지를 판정하여(단계 201), 변경 전의 것이 아닌 경우는(단계 201의 No), 표시해야 할 미표시 픽처를 표시한다(단계 203). 변경 전의 것인 경우는(단계 201의 Yes), 표시용 픽처를 표시 가능한지 여부를 판단하여, 표시 가능한 픽처를 표시한다(단계 202).

이 표시 가능한지 여부의 판단에 대한 화상 복호화 장치(150)의 동작을 설명한다.

도 13은, 화상 복호화 장치(150)의 픽처의 표시에 관한 동작을 나타낸 흐름도이다.

도 13에서 도 12와 같은 것에는 같은 부호를 붙이고 있다.

표시용으로 저장되어 있는 표시용 픽처가 사이즈 변경 전의 것인지를 판정하여(단계 201), 변경 전의 픽처가 아닌 경우는(단계 201의 No), 그 픽처를 표시한다. 한편, 변경 전의 픽처인 경우는(단계 201의 Yes), 표시하는 픽처에 손상이 있 는지를 판정하여(단계 211), 손상이 없는 경우는(단계 211의 No), 그 픽처를 표시 가능한 것으로 표시한다(단계 210). 손상이 있는 경우는(단계 211의 Yes), 그 픽처를 표시하지 않고, 예를 들면 앞의 픽처를 표시한다. 여기서 손상이 없다고 하는 것은, 표시해야 할 픽처가 저장되어 있는 픽처의 일부이더라도 새로운 픽처의 데이터를 저장하기 위해 덮어쓰기 되어 있지 않은 것을 의미한다. 이렇게 함으로써, 화상 복호화 장치(150)는, 표시하는 픽처에 손상이 있는지를 판정하여, 손상이 없는 픽처를 표시 가능이라고 판단하여 표시한다.

이렇게, 도 11, 도 12, 도 13의 흐름도에서 설명한 바와 같이, 화상 복호화 장치(150)는, 픽처 사이즈의 변경이 있었을 때, 메모리의 전체 영역을 초기화하는지 여부를 나타내는 지시 정보(플래그)에 따른, 미표시 픽처에 대한 표시를 행한다.

이상과 같은 화상 복호화 장치(150)의 화상 복호화 방법에 의해, 픽처 사이즈의 변경이 있었을 때라도, 메모리의 전체 영역을 초기화하거나, 참조용 영역만을 초기화하여 미표시의 표시용 픽처를 표시 가능한 것은 표시하도록 하거나를 전환함으로써, 적절한 복호화가 가능해진다. 즉, 예를 들면 메모리의 빈 용량이 적을 때는, 메모리의 전체 영역을 초기화하여 재이용 가능하게 하고, 메모리의 빈 용량이 클 때는, 참조용 영역만을 초기화함으로써, 미표시의 픽처의 표시를 가능하게 하도록 하여 유연하게 대처하는 것이 가능하다.

(실시형태 6)

실시형태 6에서는, 다음 용어를 사용하여 설명한다. 즉, 참조 픽처 버퍼는, 화상 부호화 장치 내의 픽처 메모리(PicMem2)에 있어서의 참조용 영역과 표시용 영역을 합친 영역을 말한다. 가상·디스플레이 지연 버퍼는, 화상 부호화 장치 내의 픽처 메모리(PicMem2)에 확보되는 표시용 영역에 저장되어야 할 각 표시용 픽처에 대응하는 가상적인 버퍼이고, 그 표시용 픽처의 시간적 참조 번호(픽처 번호 등)를 유지한다. 참조 메모리 버퍼는, 화상 복호화 장치 내의 픽처 메모리(PicMem2)에 있어서의 참조용 영역을 말한다. 포스트 디코더·버퍼는, 화상 복호화 장치 내의 픽처 메모리(PicMem2)에 있어서의 표시용 영역을 말한다. 시간적 참조 번호는, 표시시각의 순서에 따른 픽처의 번호를 말하고, 픽처 시각(Time)에 상당하는 것이어도 된다.

먼저, 화상 부호화 장치에 관해 설명한다. 가상·디스플레이 지연 버퍼는, 화상 부호화 장치에서의 예측 부호화에 사용되는 참조 픽처의 최대 수를 제한하기 위해 사용된다.

도 14는, 가상·디스플레이 지연 버퍼와 후방 참조 픽처의 최대 수 사이의 관계를 결정하는 처리를 나타낸다. 도 14중의 각 모듈은, 픽처 구조 결정 유닛 (PicStruct), 참조 픽처 관리 유닛(RefPicCtrl) 및 표시 픽처 관리 유닛(DispPicCtrl)에 있어서의 기능 블록 또는 처리 단계를 나타낸다. 도면에 도시하는 바와 같이, 이 프로필 및 레벨에 대한, 허용된 참조 픽처의 최대 수(N_R)는, 모듈(401)에서 결정된다. 이 값은, 각 프로필 및 레벨 정의되어 있고, 인코더는 N_R에 상당하는 프로필·레벨의 값을 스트림의 정보로서 부호화하고, 디코더는 스트림 의 프로필·레벨의 값으로부터 N_R을 취득한다. 이어서, 화상 부호화 장치는, 그것이 모듈(402)에 있어서의 비디오·시퀀스를 부호화하기에 최적인 후방 참조 픽처의 최대 수(N_B)를 설정한다. 이 N_B치에 기초하여, 가상·디스플레이 지연 버퍼의 사이즈를 결정할 수 있다. N_B가 2보다도 작은 경우에는, 가상·디스플레이 지연 버퍼를 필요로 하지 않는다. 그러나, N_B가 2이상인 경우에는, N_B-1 픽처의 가상·디스플레이 지연 버퍼가 모듈(404)에서 생성된다. 가상·디스플레이 지연 버퍼에 저장되어 있는 픽처의 정보는 메모리 내 또는 어느 한 레지스터 내에 확보된다. 이 가상·디스플레이 지연 버퍼는, 화상 부호화 장치에 큰 물리 메모리 공간을 필요로 하지 않는다. 그것은, 화상 복호화 장치로 복호화한 화상을 표시(출력)할 필요가 없으면, 어느 픽처가 표시를 위해 가상·디스플레이 지연 버퍼에 저장되어 있는지를 판단하기만 하면 되므로, 재구성(복호) 픽처·데이터 전체가 아니라, 어느 재구성(복호) 픽처인지를 특정하는 참조 픽처의 기술(픽처 번호 등)만이 가상·디스플레이 지연 버퍼에 저장되기 때문이다. 가상·디스플레이 지연 버퍼 이외에는, 디스플레이·카운터가 모듈(405)에서 생성되어, 그 값이 메모리 내 또는 어느 한 레지스터 내에 확보된다. 이 카운터는, 가상·디스플레이 지연 버퍼로부터 불필요한 픽처를 제거하는 판단에 사용된다. 프로필 및 레벨 정의에 기초하여, 화상 부호화 장치는, 이어서 모듈(406)에 나타낸 바와 같이 참조 픽처에 대한 메모리 공간의 N_R 픽처·사이즈를 생성한다.

최대 가상·디스플레이 지연 버퍼·사이즈 = N_B-1 (1)

여기서, N_B < N_R이다.

도 15는, 화상 부호화 장치에 있어서의 포스트·인코딩 처리 즉, 부호화 후에 복호화된 픽처(인코디드·픽처 또는 단순히 픽처라 부른다)에 대해 참조 메모리 버퍼에 저장하는 처리를 나타낸다. 도면중의 모듈은, 참조 픽처 관리 유닛(RefPicCtrl) 및 표시 픽처 관리 유닛(DispPicCtrl)에서의 기능 블록 또는 처리 단계를 나타낸다. 1개의 픽처가 모듈(501)에서 인코드된 후, 픽처는, 그것이 모듈(502)에서 참조 픽처로서 사용되는지 여부가 판정된다. 픽처가 참조 픽처인 경우에는, 가능한 참조 픽처의 최대 수가 식 (2)를 기초로 계산된다.

NMax = N_R - Fv (2)

여기서, NMax는 가능한 참조 픽처의 최대 수를 나타내고, N_R은 프로필 및 레벨 정의에서 허용되는 참조 픽처의 최대 수를 나타낸다. Fv는 가상·디스플레이지연 버퍼·풀니스(fullness) 즉, 가상·디스플레이 지연 버퍼의 사이즈(N_B-1) 중 현재 사용되고 있는 수를 나타낸다.

참조 픽처·버퍼의 참조 픽처의 수가 NMax보다도 작은 경우에는, 인코디드·픽처는, 모듈(506)에서 재구성(복호)되고 또한 모듈(507)에서 참조 픽처·버퍼에 기억된다. 충분한 빈 공간이 존재하지 않는 경우에는, 화상 부호화 장치는, 모듈(504)에 나타낸 바와 같이 버퍼로부터 어떤 미사용 참조 픽처 「unused(이후, 참조 픽처로서 참조되지 않는다)」를 제거함으로써 참조 픽처·버퍼에 필요한 영역 을 확보한다. 버퍼로부터 제거하는 미사용 참조 픽처가 존재하지 않는 경우에는, 인코디드·픽처는, 참조 픽처로서 사용하지 않는다. 인코디드·픽처가 참조 픽처가 아닌 경우에는, 인코디드·픽처의 시간적 참조 번호는, 모듈(505)에서 디스플레이·카운터와 비교된다. 비참조 픽처의 시간적 참조 번호가 디스플레이·카운터보다도 작은 경우에는, 가상 디스플레이 지연 버퍼는, 모듈(508)에서 갱신된다. 모듈(508)에서는, 가상·디스플레이 지연 버퍼는, 디스플레이·카운터와 같거나 그 이전의 시간적 참조 번호를 갖는 픽처를 제거하고 또한 현행의 비참조 픽처의 시간적 참조 번호를 버퍼에 더한다. 디스플레이·카운터보다도 작은 시간적 참조 번호를 갖는 가상·버퍼의 픽처 수가, 버퍼의 풀니스가 된다. 디스플레이·카운터는, 인코디드·픽처의 수가 N_B와 같거나 또는 가상 디스플레이·카운터가 풀이거나, 어느 한 쪽이 빠를 때, 최초로 갱신 동작을 개시한다. 그 후, 디스플레이·카운터는, 모듈(509)에서 인코드된 모든 픽처에 대해 부호화될 때마다 갱신된다.

도 16은, 화상 복호화 장치에 있어서의 포스트·디코딩 처리 즉 화상 복호화 장치에서 복호화된 픽처(복호화 픽처 또는 단순히 픽처라고 부른다)에 대해 참조 픽처 버퍼에 저장하는 처리를 나타낸다. 도면중의 모듈은, 표시 픽처 관리 유닛 (DispPicCtrl)에 있어서의 기능 블록 또는 처리 단계를 나타낸다. 픽처는, 모듈(601)에서 복호화된다. 모듈(602)에서는, 화상 복호화 장치는, 픽처를 참조 픽처로서 기억하는 것이 필요한지 어떤지를 결정한다. 복호화된 픽처를 참조 픽처로서 기억하는 경우에는, 그것은 모듈(606)에서 참조 픽처 버퍼에 기억된다. 그렇지 않으면, 화상 복호화 장치는, 모듈(603)에서 이 픽처를 표시(출력)하는 시간인 지 아닌지를 체크한다. 복호화된 픽처를 아직 표시(출력)해야 할 시각이 아닌 경우에는, 픽처는, 표시(출력)하는 시각까지 모듈(604)에서 포스트 디코더·버퍼에 기억된다. 포스트·디코더·버퍼와 참조 픽처 버퍼는, 물리적으로 같은 메모리 영역을 공용한다. 바꿔 말하면, 같은 메모리의 각 영역은, 참조 픽처 버퍼로 되어 있을 때 사용하는 경우와 포스트 디코더·버퍼로서 사용하는 경우를 전환할 수 있다.

모듈(605)에서는, 이어서 화상 복호화 장치는, 그들의 디스플레이·타이밍에 기초하여 참조 픽처 버퍼 또는 포스트·디코더·버퍼로부터 표시(출력)하는 픽처를 결정한다. 일단 포스트·디코더·버퍼로부터의 픽처가 표시(출력)되면, 그것은, 버퍼로부터 제거된다. 한편, 참조 픽처는, 스트림에 의해 앞으로 참조되지 않을 것이 나타났을 때 참조 픽처 버퍼로부터 제거되거나 또는 포스트·디코더·버퍼에 이동될 뿐이다.

도 17은, 각 픽처 간격으로 참조 픽처의 최대 수를 결정하기 위해 가상·디스플레이 지연 버퍼를 사용하는 방법의 일례를 나타낸다. 이 예에 대해, 허용되는 참조 픽처의 최대 수(N_R)는 4로 한다. 화상 부호화 장치는, 후방 참조 픽처의 최대 수(N_B)를 3으로 설정한다. 따라서, 2개의 픽처의 가상·디스플레이 지연 버퍼가 생성된다(영역이 확보된다). 디스플레이·카운터는, 가상적으로 표시(출력)되는 픽처의 시간적 참조 번호를 기억 및 갱신하기 위해 사용된다. 도면중, 참조 메모리 버퍼에서의, 공백의 영역은 비어있다는 것을, 픽처 타입 및 번호가 기재되어 있는 영역은 참조용 픽처가 저장되어 있는 것을, 사선으로 해칭된 영역은 표시용 픽처가 저장되어 있는 것을 나타낸다. 또, 가상·디스플레이 지연 버퍼에서의, 공백의 영역은 비어있다는 것을, 픽처 타입 및 번호가 기재되어 있는 영역은 참조 메모리 버퍼중의 표시용 픽처에 대응하는 시간적 참조 번호가 저장되어 있는 것을, 사선으로 해칭된 영역은, 표시용 픽처의 저장 영역이 참조 메모리 버퍼중에 존재하지 않는 것을 나타낸다. 참조 메모리 버퍼에 있어서의 해칭된 영역에 대응한, 동일 수의 가상·디스플레이 지연 버퍼는, 표시용 픽처의 시간적 참조 번호를 유지한다.

도면에 도시하는 바와 같이, 픽처 B2 및 B3은, 참조 픽처에 대해 사용되고, 따라서 그들은 I0 및 P4와 함께 참조 메모리·버퍼에 기억되고 또한 디스플레이·카운터는 픽처 B3가 부호화된 후에 갱신이 개시된다. 시간 T6에 있어서, B5는 참조 픽처로서 사용되지 않지만, 그것은 그 시간적 참조 번호가 디스플레이·카운터보다도 크기 때문에, 가상·디스플레이 지연 버퍼로 갱신되는 것이 필요하다. 따라서, 그 때의 가상·디스플레이 지연 버퍼의 풀니스(fv)는, 1이고 또한 가능한 참조 픽처의 최대 수(NMax)는 3이다.

마찬가지로 시간 T7에 있어서, 디스플레이·카운터보다도 큰 그 시간적 참조 번호에 의해 B5를 아직 제거할 수는 없으나, B6은 가상·디스플레이 지연 버퍼로 갱신되는 것이 필요하다. 그러므로, 그 때의 NMax는 2이다. 참조 픽처 I0은, 불충분한 메모리에 의해 참조 메모리·버퍼로부터 제거되지 않으면 안된다. 따라서, 그 때의 B7은, P4 및 P8로부터만 예측할 수 있다.

도 18은, 디스플레이·카운터가 가상·디스플레이 지연 버퍼를 사용하여 먼 저 증분되는 일례를 나타낸다. 이 예에 대해, N_R은 5로 한다. 화상 부호화 장치는, 다수의 역방향 참조 픽처의 최대 수(N_B)를 3으로 설정한다. 따라서, 2개의 픽처의 가상·디스플레이 지연 버퍼가 생성된다.

도면에 나타낸 바와 같이, B1, B2, B3 및 B4는 참조 픽처에 사용되지 않으나, B7 및 B8이 사용된다. 따라서, B1및 B2는, 디스플레이를 기다리기 위해 시간 T3에서 가상·디스플레이 지연 버퍼에 기억된다. 가상·디스플레이 지연 버퍼는, 시간 T3에서 풀이기 때문에, 디스플레이·카운터는 시간 T3에서 갱신하는 것을 개시한다. 디스플레이·카운터가, 그것이 갱신하는 것을 개시할 수 있기 전에 적어도 가상·디스플레이 지연 버퍼가 풀이 되는 것을 기다리는 것이 필요한 이유는, 그것이 화상 복호화 장치에서 발생할 것으로 생각되는 B 픽처의 리오더링을 처리하는 것이 필요하기 때문이다.

도 17에 나타낸 바와 같이, 화상 복호화 장치는, 포스트·디코더·버퍼로서 그 참조 픽처 버퍼의 일부를 때때로 사용한다. 따라서 참조 픽처 버퍼의 고정 물리 메모리·사이즈에 기초하여, 화상 복호화 장치는, 그 한 부분이 참조 픽처에 사용되고 또한 나머지가 포스트·디코더·버퍼로서 사용되도록 참조 픽처 버퍼를 조작한다. 예를 들면, 시간 T3에서, 참조 픽처 버퍼 전체는, 참조 픽처를 기억하기 위해 사용된다. 한편, 시간 T7에서, 참조 픽처 버퍼의 2개만이 P4 및 P8 참조 픽처를 기억하기 위해 사용된다. 나머지는, 포스트 디코더·픽처 B5 및 B6을 기억하기 위해 사용된다.

화상 복호화 장치측에서 사용되는 참조 픽처의 최대 수는, 화상 부호화 장치에 대한 프로필 및 레벨 정의로 규정된다. 따라서, 화상 부호화 장치는, 프로필 및 레벨에 의해 정의된 참조 픽처의 최대 수까지 사용할 수 있다. 따라서, 화상 부호화 장치는 화상 복호화 장치가 이 구속 조건에 기초하여 동작을 행한 경우에 같은 동작을 실현할 수 있도록(참조 픽처 수가 정의된 값을 넘지 않도록), 참조 픽처의 관리를 행하여 부호화를 행하는 것이 필요하다.

마찬가지로, 화상 복호화 장치는, 화상 부호화 장치와 같은 수의 참조 픽처를 갖는다. 또한, 추가 메모리 공간이 포스트 디코더·버퍼에 대해 필요하다. 포스트 디코더·픽처의 최대 수는, 식 (3)에 의해 정의된다.

N_P = N_R - 2 (3)

여기서, N_P는, 포스트 디코더·픽처의 최대 수를 나타내고, N_R은 프로필 및 레벨 정의에 의해 정의된 참조 픽처의 최대 수를 나타낸다.

따라서, 프로필 및 레벨에 대해 적합한 화상 복호화 장치에 대해, 이 포스트 디코더·픽처의 최대 수는, 화상 복호화 장치의 설계에서 고려하지 않으면 안된다. 이 포스트 디코더·픽처의 최대 수는, 식 3에서 계산할 수 있거나 또는 프로필 및 레벨 정의로 특정할 수 있다. 일단 포스트 디코더·픽처의 최대 수가 프로필 및 레벨 정의로 특정되었으면, 값은 식 (4)에 기초하여 후방 예측 픽처의 최대 수를 도출할 수 있다.

N_B = N_P + 1 (4)

여기서 N_B는, 참조 픽처 버퍼의 후방 예측 픽처의 최대 수를 나타낸다. 본 실시형태에서는, 그것이 프로필 및 레벨 정의에 준거한 스트림을 복호화할 수 있도록 화상 복호화 장치에 의해 요구되는 최소 메모리 요건이 된다.

후방 예측의 수는, 화상 복호화 장치측에서 참조 픽처 버퍼에 추가된 추가 포스트 디코더·픽처의 수를 삭감하기 위해 제한하는 것도 가능하다. 예를 들면, 후방 예측의 최대수가 2개로 제한된 경우에는, 그 경우에는 1개의 추가 포스트 디코더·픽처만을 참조 픽처 버퍼에 추가하는 것이 필요하고, 그것은 화상 복호화 장치측에서 포스트 디코더·픽처에 여분의 물리 메모리 공간의 할당이 행해지는 것을 피할 수 있다.

(실시형태 7)

또한, 상기 각 실시형태에서 나타낸 화상 부호화 방법 및 화상 복호화 방법을 실현하기 위한 프로그램을, 플렉시블 디스크 등의 기억 매체에 기록하도록 함으로써, 상기 각 실시형태에서 나타낸 처리를, 독립된 컴퓨터 시스템에서 간단히 실시하는 것이 가능해진다.

도 19는 상기 각 실시형태의 화상 부호화 방법 및 화상 복호화 방법을 플렉시블 디스크 등의 기록 매체에 기록된 프로그램을 사용하여, 컴퓨터 시스템에 의해 실시하는 경우의 설명도이다.

도 19(b)는 플렉시블 디스크의 정면에서 본 외관, 단면 구조, 및 플렉시블 디스크를 도시하고, 도 19(a)는 기록 매체 본체인 플렉시블 디스크의 물리 포맷의 예를 나타내고 있다. 플렉시블 디스크(FD1)는 케이스(F) 내에 내장되고, 이 디스 크의 표면에는, 동심원상으로 외주로부터는 내주를 향해 다수의 트랙(Tr)이 형성되고, 각 트랙은 각도 방향으로 16의 섹터(Se)로 분할되어 있다. 따라서, 상기 프로그램을 저장한 플렉시블 디스크에서는, 상기 플렉시블 디스크(FD1) 상에 할당된 영역에, 상기 프로그램이 기록되어 있다.

또, 도 19(c)는, 플렉시블 디스크(FD1)에 상기 프로그램의 기록 재생을 행하기 위한 구성을 도시한다. 화상 부호화 방법 및 화상 복호화 방법을 실현하는 상기 프로그램을 플렉시블 디스크(FD1)에 기록하는 경우는, 컴퓨터 시스템(Cs)으로부터 상기 프로그램을 플렉시블 디스크 드라이브(FDD)를 통해 기입한다. 또, 플렉시블 디스크 내의 프로그램에 의해 화상 부호화 방법 및 화상 복호화 방법을 실현하는 상기 화상 부호화 방법 및 화상 복호화 방법을 컴퓨터 시스템(Cs) 중에 구축하는 경우는, 플렉시블 디스크 드라이브(FDD)에 의해 프로그램을 플렉시블 디스크로부터 읽어 내어, 컴퓨터 시스템(Cs)에 전송한다.

또한, 상기 설명에서는, 기록 매체로서 플렉시블 디스크를 사용하여 설명했으나, 광디스크를 사용해도 동일하게 행할 수 있다. 또, 기록 매체는 이것에 한정되지 않고, IC 카드, ROM 카세트 등, 프로그램을 기록할 수 있는 것이면 동일하게 실시할 수 있다.

(실시형태 8)

또한 여기서, 상기 실시형태에서 나타낸 화상 부호화 방법이나 화상 복호화 방법의 응용예와 그것을 사용한 시스템을 설명한다.

도 20은, 컨텐츠 배송 서비스를 실현하는 컨텐츠 공급 시스템(ex100)의 전체 구성을 도시한 블록도이다. 통신 서비스의 제공 영역을 원하는 크기로 분할하고, 각 셀 내에 각각 고정 무선국인 기지국(ex107∼ex110)이 설치되어 있다.

이 컨텐츠 공급 시스템(ex100)은, 예를 들면 인터넷(ex101)에 인터넷 서비스 제공자(ex102) 및 전화망(ex104), 및 기지국(ex107∼ex110)을 통해, 컴퓨터 (ex111), PDA(personal digital assistant)(ex112), 카메라(ex113), 휴대전화(ex114), 카메라 부착 휴대전화(ex115) 등의 각 기기가 접속된다.

그러나, 컨텐츠 공급 시스템(ex100)은 도 20과 같은 조합에 한정되지 않고, 어느 하나를 조합하여 접속하도록 해도 된다. 또, 고정 무선국인 기지국(ex107∼ex110)을 통하지 않고, 각 기기가 전화망(ex104)에 직접 접속되어도 된다.

카메라(ex113)는 디지털 비디오 카메라 등의 동화상 촬영이 가능한 기기이다. 또, 휴대전화는, PDC(Personal Digital Communications) 방식, CDMA(Code Division Multiple Access) 방식, W-CDMA(Wideband-Code Division Multiple Access) 방식, 또는 GSM(Global System for Mobile Communications) 방식의 휴대전화기, 또는 PHS(Personal Handyphone System) 등이고, 어느 것이어도 상관없다.

또, 스트리밍 서버(ex103)는, 카메라(ex113)로부터 기지국(ex109), 전화망(ex104)을 통해 접속되어 있고, 카메라(ex113)를 사용하여 사용자가 송신하는 부호화처리된 데이터에 기초한 라이브 배송 등이 가능하게 된다. 촬영한 데이터의 부호화처리는 카메라(ex113)로 행해도 되고, 데이터의 송신 처리를 하는 서버 등으로 행해도 된다. 또, 카메라(ex116)로 촬영한 동화상 데이터는 컴퓨터(ex111) 를 통해 스트리밍 서버(ex103)에 송신되어도 된다. 카메라(ex116)는 디지털 카메라 등의 정지화상, 동화상이 촬영 가능한 기기이다. 이 경우, 동화상 데이터의 부호화는 카메라 (ex116)로 행하거나 컴퓨터(ex111)로 행하거나 어느 쪽이어도 된다. 또, 부호화 처리는 컴퓨터(ex111)나 카메라(ex116)가 갖는 LSI(ex117)에서 처리하게 된다. 또한, 동화상 부호화·복호화용의 소프트웨어를 컴퓨터(ex111) 등으로 읽기 가능한 기록 매체인 어떠한 축적 미디어(CD-ROM, 플렉시블 디스크, 하드 디스크 등)에 설치해도 된다. 또한, 카메라 부착 휴대전화(ex115)로 동화상 데이터를 송신해도 된다. 이 때의 동화상 데이터는 휴대전화(ex115)가 갖는 LSI에서 부호화 처리된 데이터이다.

이 컨텐츠 공급 시스템(ex100)에서는, 사용자가 카메라(ex113), 카메라(ex116) 등으로 촬영하고 있는 컨텐츠(예를 들면, 음악 라이브를 촬영한 영상 등)를 상기 실시형태와 동일하게 부호화 처리하여 스트리밍 서버(ex103)에 송신하는 한편, 스트리밍 서버(ex103)는 요구가 있었던 클라이언트에 대해 상기 컨텐츠 데이터를 스트림 배송한다. 클라이언트로는, 상기 부호화 처리된 데이터를 복호화하는 것이 가능한, 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대전화(ex114) 등이 있다. 이렇게 함으로써 컨텐츠 공급 시스템(ex100)은, 부호화된 데이터를 클라이언트에서 수신하여 재생할 수 있고, 또한 클라이언트에서 실시간으로 수신하여 복호화하여 재생함으로써, 개인 방송도 실현 가능하게 되는 시스템이다.

이 시스템을 구성하는 각 기기의 부호화, 복호화에는 상기 각 실시형태에서 나타낸 화상 부호화 방법 또는 화상 복호화 방법을 사용하도록 하면 된다.

그 일례로서 휴대전화에 대해 설명한다.

도 21은, 상기 실시형태에서 설명한 화상 부호화 방법과 화상 복호화 방법을 사용한 휴대전화(ex115)를 도시하는 도면이다. 휴대전화(ex115)는, 기지국(ex110)과의 사이에서 전파를 송수신하기 위한 안테나(ex201), CCD 카메라 등의 영상, 정지화상을 찍는 것이 가능한 카메라부(ex203), 카메라부(ex203)로 촬영한 영상, 안테나 (ex201)로 수신한 영상 등이 복호화된 데이터를 표시하는 액정 디스플레이 등의 표시부(ex202), 조작 키(ex204)군으로 구성되는 본체부, 음성 출력을 하기 위한 스피커 등의 음성 출력부(ex208), 음성 입력을 하기 위한 마이크 등의 음성 입력부(ex205), 촬영한 동화상 또는 정지화상의 데이터, 수신한 메일의 데이터, 동화상의 데이터 또는 정지화상의 데이터 등, 부호화된 데이터 또는 복호화된 데이터를 저장하기 위한 기록 미디어(ex207), 휴대전화(ex115)에 기록 미디어(ex207)를 장착 가능하게 하기 위한 슬롯부(ex206)를 갖고 있다. 기록 미디어(ex207)는 SD 카드 등의 플라스틱 케이스 내에 전기적으로 다시쓰기나 소거가 가능한 불휘발성 메모리인 EEPROM(Electrically Erasable and Programmable Read Only Memory)의 일종인 플래쉬 메모리 소자를 저장한 것이다.

또한, 휴대전화(ex115)에 대해 도 22를 사용하여 설명한다. 휴대전화(ex115)는 표시부(ex202) 및 조작 키(ex204)를 구비한 본체부의 각 부를 통괄적으로 제어하 도록 이루어진 주제어부(ex311)에 대해, 전원 회로부(ex310), 조작 입력 제어부(ex304), 화상 부호화부(ex312), 카메라 인터페이스부(ex303), LCD(Liquid Crystal Display) 제어부(ex302), 화상 복호화부(ex309), 다중 분리부(ex308), 기록 재생부(ex307), 변복조 회로부(ex306) 및 음성 처리부(ex305)가 동기 버스(ex313)를 통해 서로 접속되어 있다.

전원 회로부(ex310)는, 사용자의 조작에 의해 엔드 및 전원 키가 ON 상태가 되면, 배터리 팩으로부터 각 부에 대해 전력을 공급함으로써 카메라 부착 디지털휴대전화(ex115)를 동작 가능한 상태로 기동한다.

휴대전화(ex115)는, CPU, ROM 및 RAM 등으로 이루어지는 주제어부(ex311)의 제어에 기초하여, 음성 통화 모드시에 음성 입력부(ex205)에서 집음한 음성 신호를 음성 처리부(ex305)에 의해 디지털 음성 데이터로 변환하고, 이것을 변복조 회로부(ex306)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 뒤에 안테나(ex201)를 통해 송신한다. 또 휴대전화기(ex115)는, 음성 통화 모드시에 안테나(ex201)로 수신한 수신 데이터를 증폭하여 주파수 변환 처리 및 아날로그 디지털 변환 처리를 실시하여, 변복조 회로부(ex306)에서 스펙트럼 역확산 처리하고, 음성 처리부(ex305)에 의해 아날로그 음성 신호로 변환한 뒤, 이것을 음성 출력부(ex208)를 통해 출력한다.

또한, 데이터 통신 모드시에 이메일을 송신하는 경우, 본체부의 조작 키(ex204)의 조작에 의해 입력된 이메일의 텍스트 데이터는 조작 입력 제어부(ex304)를 통해 주제어부(ex311)에 송출된다. 주제어부(ex311)는, 텍스트 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 뒤에 안테나(ex201)를 통해 기지국(ex110)으로 송신한다.

데이터 통신 모드시에 화상 데이터를 송신하는 경우, 카메라부(ex203)로 촬상된 화상 데이터를 카메라 인터페이스부(ex303)를 통해 화상 부호화부(ex312)에 공급한다. 또, 화상 데이터를 송신하지 않는 경우에는, 카메라부(ex203)로 촬상한 화상 데이터를 카메라 인터페이스부(ex303) 및 LCD 제어부(ex302)를 통해 표시부(ex202)에 직접 표시하는 것도 가능하다.

화상 부호화부(ex312)는, 본원 발명에서 설명한 화상 부호화 장치를 구비한 구성이고, 카메라부(ex203)로부터 공급된 화상 데이터를 상기 실시형태에서 나타낸 화상 부호화 장치에 사용한 부호화 방법에 의해 압축 부호화함으로써 부호화 화상 데이터로 변환하고, 이것을 다중 분리부(ex308)에 송출한다. 또, 이 때 동시에 휴대전화기(ex115)는, 카메라부(ex203)로 촬상중에 음성 입력부(ex205)에서 집음한 음성을 음성 처리부(ex305)를 통해 디지털의 음성 데이터로서 다중 분리부(ex308)에 송출한다.

다중 분리부(ex308)는, 화상 부호화부(ex312)로부터 공급된 부호화 화상 데이터와 음성 처리부(ex305)로부터 공급된 음성 데이터를 소정의 방식으로 다중화하여, 그 결과 얻어지는 다중화 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 뒤에 안테나(ex201)를 통해 송신한다.

데이터 통신 모드시에 홈페이지 등에 링크된 동화상 파일의 데이터를 수신하는 경우, 안테나(ex201)를 통해 기지국(ex110)으로부터 수신한 수신 신호를 변복조 회로부(ex306)에서 스펙트럼 역확산 처리하여, 그 결과 얻어지는 다중화 데이터를 다중 분리부(ex308)에 송출한다.

또, 안테나(ex201)를 통해 수신된 다중화 데이터를 복호화하기 위해서는, 다중 분리부(ex308)는, 다중화 데이터를 분리함으로써 화상 데이터의 부호화 스트림과 음성 데이터의 부호화 스트림으로 나누어, 동기 버스(ex313)를 통해 해당 부호화 화상 데이터를 화상 복호화부(ex309)에 공급하는 동시에 해당 음성 데이터를 음성 처리부(ex305)에 공급한다.

다음으로, 화상 복호화부(ex309)는, 본원 발명에서 설명한 화상 복호화 장치를 구비한 구성이고, 화상 데이터의 부호화 스트림을 상기 실시형태에서 나타낸 부호화 방법에 대응한 복호화 방법으로 복호함으로써 재생 동화상 데이터를 생성하여, 이것을 LCD 제어부(ex302)를 통해 표시부(ex202)에 공급하고, 이에 의해 예를 들면 홈페이지에 링크된 동화상 파일에 포함되는 동화상 데이터가 표시된다. 이 때 동시에 음성 처리부(ex305)는, 음성 데이터를 아날로그 음성 신호로 변환한 뒤, 이것을 음성 출력부(ex208)에 공급하고, 이에 의해 예를 들면 홈페이지에 링크된 동화상 파일에 포함되는 음성 데이터가 재생된다.

또한, 상기 시스템의 예에 한정되지 않고, 최근은 위성, 지상파에 의한 디지털 방송이 화제가 되고 있고, 도 23에 도시하는 바와 같이 디지털 방송용 시스템에도 상기 실시형태의 적어도 화상 부호화 장치 또는 화상 복호화 장치 중 어느 하나를 장착할 수 있다. 구체적으로는, 방송국(ex409)에서는 영상 정보의 부호화 스트림이 전파를 통해 통신 또는 방송 위성(ex410)에 전송된다. 이것을 받은 방송 위성(ex410)은, 방송용의 전파를 발신하여, 이 전파를 위성 방송 수신 설비를 갖는 가정의 안테나(ex406)로 수신하여, TV(수신기)(ex401) 또는 셋탑 박스(STB)(ex407) 등의 장치에 의해 부호화 스트림을 복호화하여 이것을 재생한다. 또, 기록 매체인 CD나 DVD 등의 축적 미디어(ex402)에 기록한 부호화 스트림을 읽어 내어, 복호화하는 재생 장치 (ex403)에도 상기 실시형태에서 나타낸 화상 복호화 장치를 실장하는 것이 가능하다. 이 경우, 재생된 영상 신호는 모니터(ex404)에 표시된다. 또, CATV용의 케이블(ex405) 또는 위성/지상파 방송의 안테나(ex406)에 접속된 셋탑 박스(ex407) 내에 화상 복호화 장치를 실장하여, 이것을 TV의 모니터(ex408)로 재생하는 구성도 생각할 수 있다. 이 때 셋탑 박스가 아니라, TV 내에 화상 복호화 장치를 장착해도 된다. 또, 안테나(ex411)를 갖는 차(ex412)에서 위성(ex410)으로부터 또는 기지국 (ex107) 등으로부터 신호를 수신하여, 차(ex412)가 갖는 카 네비게이션(ex413) 등의 표시 장치에 동화상을 재생하는 것도 가능하다.

또한, 화상 신호를 상기 실시형태에서 나타낸 화상 부호화 장치로 부호화하여, 기록 매체에 기록할 수도 있다. 구체예로서는, DVD 디스크(ex421)에 화상 신호를 기록하는 DVD 레코더나, 하드 디스크에 기록하는 디스크 레코더 등의 레코더 (ex420)가 있다. 또한 SD 카드(ex422)에 기록할 수도 있다. 레코더(ex420)가 상기 실시형태에서 나타낸 화상 복호화 장치를 구비하고 있으면, DVD 디스크(ex421)나 SD 카드(ex422)에 기록한 화상 신호를 재생하여, 모니터(ex408)로 표시할 수 있다.

또한, 카 네비게이션(ex413)의 구성은 예를 들면 도 22에 도시한 구성 중, 카메라부(ex203)와 카메라 인터페이스부(ex303), 화상 부호화부(ex312)를 제외한 구성을 생각할 수 있고, 동일한 것을 컴퓨터(ex111)나 TV(수신기)(ex401) 등에서도 생각할 수 있다.

또, 상기 휴대전화(ex114) 등의 단말은, 부호화기·복호화기를 모두 갖는 송수신형의 단말 외에, 부호화기만의 송신 단말, 복호화기만의 수신 단말의 3가지의 실장 형식을 생각할 수 있다.

이렇게, 상기 실시형태에서 나타낸 화상 부호화 방법 또는 화상 복호화 방법을 상술한 모든 기기·시스템에 사용하는 것은 가능하고, 그렇게 함으로써 상기 실시형태에서 설명한 효과를 얻을 수 있다.

또, 본 발명은 이러한 상기 실시형태에 한정되는 것이 아니라, 본 발명의 범위를 벗어나지 않고 여러가지의 변형 또는 수정이 가능하다.

또한, 본 실시형태에서는, 본 실시에서는 표시해야 할 순서로 픽처의 순서를 재배열하여 출력하는 것을 표시라고 표현하고 있다. 즉, 복호화 화상을 표시 디바이스에 출력하기 위한 프로세스를 표시라고 표현하고 있으며, 예를 들면 다른 기록 기기로 기록하기 위해 복호화 화상을 출력하는 동작도 이 표시의 특수한 경우라고 생각된다. 또, 표시 디바이스가 화상 메모리를 갖는 경우에는, 복호화 화상을 실제의 표시 시각보다도 빨리 표시 디바이스에 송신하는 것도 가능하다.

본 발명은, 복호 화상 버퍼에 저장되어 있는 복호화가 끝난 화상을 참조하면서 예측 부호화에 의해 화상을 부호화하고, 또한 부호화된 화상을 복호화하여 해당 복호 화상을 상기 복호 화상 버퍼에 저장하는 화상 부호화 장치, 및 복호 화상 버 퍼에 저장되어 있는 복호화가 끝난 화상을 참조하면서, 예측 부호화에 의해 부호화된 화상을 복호화하여 해당 복호 화상을 상기 복호 화상 버퍼에 저장하는 화상 부호화 장치에 이용된다.

Claims (29)

1. 복수의 화상으로 구성되는 동화상을 예측 부호화하여 얻어진 화상 부호화 신호를 복호화하는 복호화 방법으로서,

   상기 화상 부호화 신호를 복호화하여 복호화 화상을 얻는 복호화 단계와,

   상기 복호화 화상이, 다른 화상을 예측 복호화할 때 참조되는 참조 화상인지, 혹은 참조되지 않는 비참조 화상인지를 판정하는 판정 단계와,

   상기 판정 단계에서, 상기 복호화 화상이 참조 화상이라고 판정된 경우에는, 상기 복호화 화상을 메모리에 저장하는 저장 단계와,

   상기 복호화 화상을 출력용의 화상으로서 출력하는 출력 단계를 갖고,

   상기 판정 단계에서, 상기 복호화 화상이 비참조 화상이라고 판정된 경우에는,

   상기 복호화 방법은,

   비참조 화상인 상기 복호화 화상이, 표시 순서에 따라 상기 메모리에 저장되어 있는 모든 복호화가 끝난 화상보다도 선행하여 표시 가능한지의 여부를 판정하고,

   비참조 화상인 상기 복호화 화상이, 표시 순서에 따라 상기 메모리에 저장되어 있는 모든 복호화가 끝난 화상보다도 선행하여 표시 가능하다고 판정된 경우에는, 상기 출력 단계에서는, 비참조 화상인 상기 복호화 화상을 출력용의 화상으로서 출력하며,

   비참조 화상인 상기 복호화 화상이, 상기 메모리에 저장되어 있는 모든 복호화가 끝난 화상보다도 선행하여 표시 가능하지 않다고 판정된 경우에는, 상기 출력 단계에서는, 상기 복호화 화상을 출력용의 화상으로서 출력하지 않고 상기 메모리에 저장되어 있는 적어도 하나의 화상을 출력용의 화상으로서 출력하고, 상기 저장 단계에서는, 상기 복호화 화상을 상기 메모리에 저장하는 것을 특징으로 하는 복호화 방법.
2. 복수의 화상으로 구성되는 동화상을 예측 부호화하여 얻어진 화상 부호화 신호를 복호화하는 복호화 장치로서,

   상기 화상 부호화 신호를 복호화하여 복호화 화상을 얻는 복호화 수단과,

   상기 복호화 화상이, 다른 화상을 예측 복호화할 때 참조되는 참조 화상인지, 혹은 참조되지 않는 비참조 화상인지를 판정하는 판정 수단과,

   상기 판정 수단에서, 상기 복호화 화상이 참조 화상이라고 판정된 경우에는, 상기 복호화 화상을 메모리에 저장하는 저장 수단과,

   상기 복호화 화상을 출력용의 화상으로서 출력하는 출력 수단을 갖고,

   상기 판정 수단에서, 상기 복호화 화상이 비참조 화상이라고 판정된 경우에는,

   상기 복호화 장치는,

   비참조 화상인 상기 복호화 화상이, 표시 순서에 따라 상기 메모리에 저장되어 있는 모든 복호화가 끝난 화상보다도 선행하여 표시 가능한지의 여부를 판정하고,

   비참조 화상인 상기 복호화 화상이, 표시 순서에 따라 상기 메모리에 저장되어 있는 모든 복호화가 끝난 화상보다도 선행하여 표시 가능하다고 판정된 경우에는, 상기 출력 수단은, 비참조 화상인 상기 복호화 화상을 출력용의 화상으로서 출력하며,

   비참조 화상인 상기 복호화 화상이, 표시 순서에 따라 상기 메모리에 저장되어 있는 모든 복호화가 끝난 화상보다도 선행하여 표시 가능하지 않다고 판정된 경우에는, 상기 출력 수단은, 상기 복호화 화상을 출력용의 화상으로서 출력하지 않고 상기 메모리에 저장되어 있는 적어도 하나의 화상을 출력용의 화상으로서 출력하고, 상기 저장 수단은, 상기 복호화 화상을 상기 메모리에 저장하는 것을 특징으로 하는 복호화 장치.
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제

Images