KR20080023763A - 화상 부호화 방법 및 화상 복호화 방법 - Google Patents

Abstract

화상의 부호화를 행하는 단계(단계 100)와, 불필요한 메모리가 있는지를 판정하는 단계(단계 102)와, 불필요한 메모리가 있는 경우에 불필요한 메모리를 개방하는 메모리 관리정보를 부호화하는 단계(단계 103)와, 불필요한 메모리를 개방하는 단계(단계 104)와, 직전의 화상의 부호화로 불필요한 메모리를 개방하는 메모리 관리정보가 부호화되었는지를 판단하는 단계(단계 105)와, 메모리 관리정보가 부호화된 경우는, 다시 불필요한 메모리를 개방하는 메모리 관리정보를 부호화하는 단계(단계 106)를 포함한다.

Description

화상 부호화 방법 및 화상 복호화 방법{VIDEO ENCODING METHOD AND VIDEO DECODING METHOD}

본 발명은 동화상 신호를 화면간의 상관을 이용하여 효율적으로 압축하는 화상 부호화 방법과 이를 바르게 복호화하는 화상 복호화 방법 및 이를 소프트웨어로 실시하기 위한 프로그램 등에 관한 것이다.

최근, 음성, 화상, 그 이외의 화소값을 통합적으로 취급하는 멀티미디어 시대를 맞이하여, 종래부터의 정보 미디어, 즉 신문, 잡지, 텔레비젼, 전화 등의 정보를 사람에게 전달하는 수단이 멀티미디어의 대상으로 들 수 있게 되었다. 일반적으로, 멀티 미디어란, 문자뿐만 아니라, 도형, 음성, 특히 화상 등을 동시에 관련지어 나타내는 것을 말하는데, 상기 종래의 정보 미디어를 멀티 미디어의 대상으로 하기 위해서는, 그 정보를 디지털 형식으로 하여 나타내는 것이 필수 조건이 된다.

그런데, 상기 각 정보 미디어가 가지는 정보량을 디지털 정보량으로서 평가해 보면, 문자의 경우 1문자당의 정보량은 1∼2바이트인데 대해, 음성의 경우 1초당 64kbits(전화 품질), 또한 동화상에 대해서는 1초당 100Mbits(현행 텔레비전 수 신 품질) 이상의 정보량이 필요해지고, 상기 정보 미디어로 그 방대한 정보를 디지털 형식으로 그대로 취급하는 것은 현실적이지 않다. 예를 들면, 텔레비전 전화는 64kbps∼1.5Mbps의 전송 속도를 가지는 서비스 종합 디지털망(ISDN : Integrated Services Digital Network)에 의해 이미 실용화되어 있는데, 텔레비전 카메라의 영상을 그대로 ISDN으로 보내는 것은 불가능하다.

그래서, 필요한 것이 정보의 압축 기술이고, 예를 들면, 텔레비전 전화의 경우, ITU-T(국제 전기통신 연합 전기통신 표준화 부문)에서 국제 표준화된 H. 261이나 H. 263 규격의 동화상 압축 기술이 이용되고 있다. 또한, MPEG-1 규격의 정보 압축 기술에 의하면, 통상의 음악용 CD(컴팩트 디스크)에 음성정보와 함께 화상정보를 넣는 것도 가능해진다.

여기서, MPEG(Moving Picture Experts Group)이란, 동화면 신호의 디지털 압축의 국제규격이고, MPEG-1은 동화면 신호를 1.5Mbps까지, 즉 텔레비전 신호의 정보를 약 100분의 1까지 압축하는 규격이다. 또한, MPEG-1 규격을 대상으로 하는 전송 속도가 주로 약 1.5Mbps로 제한되어 있으므로, 한층더 고화질화의 요구를 만족시키도록 규격화된 MPEG-2에서는 동화상 신호가 2∼15Mbps로 압축된다.

또한 현상황에서는, MPEG-1, MPEG-2로 표준화를 진행해 온 작업 그룹(ISO/IEC JTC1/SC29/WG11)에 의해, 보다 압축률이 높은 MPEG-4가 규격화되었다. MPEG-4에서는 당초 저비트 레이트로 효율이 높은 부호화가 가능하게 될 뿐만 아니라, 전송로 오류가 발생해도 주관적인 화질 열화를 작게 할 수 있는 강력한 오류 내성 기술도 도입되어 있다. 또한, ISO/IEC와 ITU의 공동으로 차세대 화면 부호화 방식으로서, JVT(Joint Video Team)의 표준화 활동이 진행되고 있고, 현 시점에서는 조인트·모델2(JM2)이라고 불리는 것이 최신이다.

JVT에서는 종래의 동화상 부호화와 달리, 전방 참조 화상으로서 다수의 화상(픽쳐)으로부터 임의의 화상(픽쳐)을 참조 화상으로서 선택할 수 있다. 여기서, 픽쳐(picture)란 프레임 또는 필드를 나타낸다.

도 1(a)는 메모리에 보존된 다수의 참조 화상으로부터 선택한 화상을 참조하여 부호화하는 화상 부호화의 설명도이다. 도 1(b)는 화상이 보존되는 메모리의 구성을 도시하는 구성도이다.

도 1(b)에 도시하는 바와 같이, 메모리는 단시간 보존 메모리와 장시간 보존 메모리로 구성된다. 단시간 보존 메모리는 직전에 복호화된 몇 화상을 기억하는 것이고, 소위 MPEG-1이나 MPEG-2의 P픽쳐(전방 예측 부호화 픽쳐) 및 B픽쳐(양방향 예측 부호화 픽쳐)의 참조 화상에 상당한다. 장시간 보존 메모리는 단시간 보존 메모리보다도 화상 신호를 장시간 보존하기 위해 이용된다.

통상은 단시간 보존 메모리는 FIFO(선입 선출) 메모리이고, 메모리의 상한을 넘은 화상을 단시간 보존 메모리에 저장하는 경우에는, 단시간 보존 메모리내의 가장 오래된 시각의 화상이 제거되어 그 영역에 새로운 화상이 보존된다. 따라서, 통상은 FIFO의 조합에 의해서 메모리로부터 제거된 참조 화상을 참조하고 싶은 경우에는, 그 참조 화상을 미리 단시간 보존 메모리로부터 장시간 보존 메모리로 이동시켜 장시간 보존 메모리내에 보존함으로써 장시간의 참조가 가능해진다. 장시간 메모리는 보존할 영역을 명시하는 방법이고, 동일한 영역을 지정하여 덮어쓰기 하지 않는 한 그 영역에 보존한 픽쳐를 참조 가능하다.

도 1(a)은 화상 부호화시의 예측 상황을 도시하고 있고, 픽쳐 번호 2의 화상은 픽쳐 번호 0의 화상을 참조하고, 픽쳐 번호 1의 화상은 픽쳐 번호 0 또는 픽쳐 번호 2의 화상을 참조한다. 마찬가지로, 픽쳐 번호 4의 화상은 픽쳐 번호 0, 2의 화상을 참조하고, 픽쳐 번호 6의 화상은 픽쳐 번호 0의 화상을 참조한다. 또한 픽쳐 번호 5의 화상에서는 픽쳐 번호 0, 2, 4, 6의 화상을 참조할 수 있다.

그런데, 이 도 1(a)에서는 픽쳐 번호 0, 6, 12의 화상은 비교적 장시간후까지 참조되는데 대해, 픽쳐 번호 2, 4, 8의 화상 등은 단시간 후의 화상으로부터만 참조된다. 그래서, 화상을 보존하는 메모리 영역을 도 1(b)와 같이 단시간 보존용 메모리와 장시간 보존 메모리로 분할하여, 장시간 보존이 필요한 메모리에 픽쳐(프레임) 번호 0, 6, 12의 화상을 보존할 수 있다.

그런데, 이 도 1(a)에 도시하는 것 같이 메모리를 효율적으로 사용하기 위해서는 고도의 메모리 관리가 필요하고, 메모리를 제어하기 위한 구성이 JVT에 도입되어 있다.

메모리를 제어하는 코맨드는 이하의 것이 있다.

1. 참조 가능한 화상을 선택하는 코맨드

2. 단시간 보존 메모리에서 예측 부호화의 참조 화상으로서 불필요하게 된 픽쳐가 보존되어 있는 메모리 영역을 개방하는 코맨드

3. 단시간 보존 메모리의 내용을 장시간 보존 메모리로 이동하는 코맨드

화상 부호화·복호화에서는 참조 가능한 화상중에서 블록 단위로 예측 오차 가 작은 화상을 참조 화상으로서 선택하기 때문에, 블록 단위로 참조 화상을 지시하는 신호가 필요하다. 미리 참조 가능한 화상을 선택함으로써, 참조 화상의 후보수를 적절한 값으로 압축하고, 블록 단위로 필요한 참조화상 지시신호의 비트수를 절약할 수 있다.

또한, 단시간 보존 메모리로부터 장시간 보존 메모리로 이동한 경우는, 동일한 내용을 단시간 보존 메모리와 장시간 보존 메모리의 양쪽에 보존하는 것도 불필요하므로, 단시간 보존 메모리 내의 화상을 제거한다.

도 2(a)(b)는 종래의 화상 부호화 방법 및 화상 복호화 방법을 도시하는 플로우 챠트이다.

도 2(a)는 예측 부호화의 참조 화상으로서 불필요하게 된 픽쳐가 보존되어 있는 메모리 영역을 개방할 때의 화상 부호화 장치의 동작을 도시한다. 도 2(a)에 있어서, 우선 화상 부호화 장치는 입력되는 입력 화상을 부호화한다(단계 100). 부호화후에 메모리 내에서 불필요한 영역(이후의 부호화로 참조되지 않는 화상)을 조사하여(단계 101), 불필요한 메모리 영역이 있는지를 판정한다(단계 102). 불필요한 메모리 영역이 있다고 판정했을 때는(단계 102의 Yes), 불필요한 메모리 영역을 개방하는 코맨드를 메모리 관리 정보로서 부호화하고(단계 103), 그 불필요한 메모리 영역을 개방(메모리 내의 화상을 제거)하여(단계 104), 처리를 종료한다. 한편, 화상 부호화 장치는 불필요한 메모리 영역이 없다고 판정한 경우(단계 102의 No)는 단계 103 및 단계 104의 동작은 하지 않고, 처리를 종료한다.

다음으로 예측 부호화의 참조 화상으로서 불필요하게 된 픽쳐가 보존되어 있 는 메모리 영역을 개방할 때의 화상 복호화 장치가 행하는 동작을, 도 2(b)의 플로우 챠트에 따라 설명한다. 우선, 화상 복호화 장치는 메모리 관리정보를 복호화하고(단계 110), 그리고 부호화 신호로부터 화상 신호를 복호화한다(단계 111). 화상 복호화 장치는 조사한 결과 메모리 개방 코맨드가 있는지를 판정하여(단계 112), 메모리 개방 코맨드가 있으면(단계 112의 Yes), 그 코맨드에서 제거해야 할 화상이 있는지, 혹은 이미 메모리 개방이 완료되었는지를(화상 제거 완료) 판정한다(단계 113). 개방 완료라고 판정하면(단계 113의 Yes), 에러(ERROR)로 한다. JVT에서는 메모리로부터 화상을 제거한 후에 동일한 화상을 다시 제거하는 코맨드를 보내는 것은 금지되어 있고, 따라서 개방이 끝난 메모리를 다시 개방하는 경우에는 에러로 하도록 되어 있기 때문이다. 한편, 화상 복호화 장치는 개방이 완료가 아니라고 판정하면(단계 113의 No), 메모리를 개방하여(단계 114) 처리를 종료한다. 또한, 메모리 개방 코맨드가 없다고 판정한 경우에는(단계 112의 No), 단계 113 및 단계 114의 동작은 행하지 않고, 처리를 종료한다. 또, 단계 110과 단계 111은 순서가 같지 않고 교체해도 상관없다.

도 3(a)(b)는 종래의 다른 화상 부호화 방법 및 화상 복호화 방법을 도시하는 플로우 챠트이다.

도 3(a)는 단시간 보존 메모리로부터 장시간 보존 메모리로 화상을 이동할 때의 화상 부호화 장치가 행하는 동작을 나타낸다.

도 3(a)에 있어서, 우선, 화상 부호화 장치는 입력 화상을 부호화한다(단계 120). 부호화 후에 장시간 보존 메모리로 이동해야 할 화상이 있는지를 조사하고 (단계 121), 이동해야 할 화상이 있는지를 판정한다(단계 122). 이동해야 할 화상이 있으면(단계 122의 Yes), 어떻게 장시간 보존 메모리로 이동할지를 나타내는 코맨드를 메모리 관리 정보로서 부호화하고(단계 123), 이 코맨드대로 화상을 장시간 보존 메모리로 이동하여(단계 124), 처리를 종료한다. 한편, 화상 부호화 장치는 장시간 보존 메모리로 이동해야 할 화상이 없다고 판정한 경우(단계 122의 No)는 단계 123 및 단계 124의 동작은 행하지 않고, 처리를 종료한다.

다음으로 단시간 보존 메모리로부터 장시간 보존 메모리로 화상을 이동할 때의 화상 복호화 장치가 행하는 동작을, 도 3(b)의 플로우 챠트에 따라 설명한다. 우선, 화상 복호화 장치가 메모리 관리 정보를 복호화하고(단계 130), 다음에 부호화 신호로부터 화상 신호를 복호화한다(단계 131). 그리고, 화상 복호화 장치는 복호화된 메모리 관리 정보에, 장시간 보존 메모리로 이동하는 코맨드가 있는지를 판정하고(단계 132), 있다고 판정되면(단계 132의 Yes), 다음으로 이 코맨드로 이동해야할 화상이 있는지 혹은 이미 이동 완료(이동후에 제거 완료이므로 화상이 존재하지 않는다)인지를 판정한다(단계 133). JVT에서는 장시간 보존 메모리로 이동한 후에 동일한 화상을 다시 장시간 보존 메모리로 이동하는 코맨드를 보내는 것은 금지되어 있고, 따라서, 장시간 보존 메모리로 이동 완료된 화상을 다시 장시간 보존 메모리로 이동하는 경우에는 에러로 하도록 되어 있다. 따라서, 화상 복호화 장치는 장시간 보존 메모리로 이동 완료라고 판정하면(단계 133의 Yes), 에러(ERROR)로 하고, 이동 완료가 아니라고 판정하면, 장시간 보존 메모리로 이동하여(단계 134) 처리를 종료한다.

한편, 화상 복호화 장치는 장시간 보존 메모리로 이동하는 코맨드가 없다고 판정한 경우에는(단계 132의 No) 단계 133 및 단계 134의 동작은 행하지 않고, 처리를 종료한다. 또, 단계 130과 단계 131은 순서가 같지 않고, 교체해도 상관없다.

도 4(a)(b)는 종래의 다른 화상 부호화 방법 및 화상 복호화 방법을 도시하는 플로우 챠트이다.

우선, 참조 가능한 화상을 선택할 때의 화상 부호화 장치가 행하는 동작에 대해, 도 4(a)의 플로우 챠트에 따라 설명한다.

우선, 화상 부호화 장치는 피부호화 화상과 상관이 높다고 예상되는 참조 화상(통상은 시간적으로 근접한 참조 화상)을 참조 화상의 후보로서 선택한다(단계 200). 다음에 선택한 참조 화상의 후보를 나타내는 지시 정보(메모리 관리 정보의 일종)를 부호화하고(단계 201), 선택한 참조 화상의 후보중에서 블록 단위로 적절한 참조 화상을 참조하여 부호화하고(단계 202), 처리를 종료한다. 또, 단계 201과 단계 202는 순서가 같지 않고, 교체해도 상관없다.

다음에 참조 가능한 화상을 선택할 때의 화상 복호화 장치가 행하는 동작에 대해, 도 4(b)의 플로우 챠트에 따라 설명한다.

우선, 화상 복호화 장치는 메모리 관리 정보의 일종인 지시 정보를 복호화하여(단계 210), 그 결과로서 참조 화상의 후보를 메모리중에서 선택하고(단계 211), 선택한 참조 화상의 후보중에서 블록 단위로 적절한 참조 화상을 선택하여 참조하면서 복호화하여(단계 212), 처리를 종료한다.

그런데, 이러한 종래의 화상 부호화 방법 및 화상 복호화 방법에서는 불필요한 화상을 메모리로부터 제거하는 코맨드나, 화상을 단시간 보존 메모리로부터 장시간 보존 메모리로 이동하는 코맨드를 화상 부호화 장치로 부호화하여 출력하고, 화상 복호화 장치에 전송하여 복호화하는데, 이 전송하는 회수가 1개의 픽쳐만에 한정되어 있으므로, 그 코맨드를 동반하는 픽쳐가 전송 에러 등으로 소실된 경우에는 메모리 내의 화상 배치가 정확하게 복원되지 않아서 화상을 복호화할 수 없게 된다.

또한, 화상의 부호화 및 복호화에 있어서, 참조 화상을 선택하는 경우에, 단순히 시간적으로 가까운 화상만을 참조 화상 후보로 하면, 화상의 복호화의 스케일러빌리티(scalability)(도 1(a)의 예측 구조의 예에서는 B 픽쳐는 복호화하지 않아도 I 픽쳐나 P 픽쳐를 복호할 수 있거나, 픽쳐 번호 4, 10, 16의 P 픽쳐를 복호화하지 않아도 다른 P 픽쳐를 복호화할 수 있는 것)를 고려한 최적의 부호화가 불가능하다. 즉, 픽쳐 번호 6의 화상에 시간적으로 가까운 화상은 픽쳐 번호 4, 2의 화상이지만, 실제로는 픽쳐 번호 0의 화상밖에 참조할 수 없으므로, 참조할 수 없는 픽쳐 번호 4, 2의 화상을 참조 화상의 후보에 넣으면 부호화 효율이 그다지 좋지 않다.

또한, 종래의 화상 부호화 방법에서는 메모리에 보존하지 않는 화상에 부수하여, 메모리 내의 불필요한 화상을 제거하는 코맨드나, 화상을 단시간 보존 메모 리로부터 장시간 보존 메모리로 이동하는 코맨드를 전송하는 것이 금지되어 있으므로, 유연한 메모리 관리정보의 코맨드 전송이 저해되어 있다. 메모리에 보존하지 않는 화상에 부수하여 해당 코맨드의 전송을 금지하는 데에는, 다음 이유가 있다. 즉, 메모리에 보존하지 않는 화상은 가장 중요도가 낮고, 스케일러빌리티로 복호화되지 않을 가능성이 높기 때문에, 이 메모리에 보존하지 않는 화상에 부수한 해당 코맨드가 복호화되지 않아 메모리 내의 화상 배치를 정확하게 복원할 수 없는 것을 회피하기 위해서이다.

그래서, 본 발명은 이상의 과제를 해결하기 위해, 전송로 에러로 일부의 메모리 관리 정보가 소실되어도 정확하게 복원 가능한 화상 부호화 방법 및 화상 복호화 방법 등과, 참조 가능한 참조 화상의 후보를 보다 적절하게 선택하여 부호화 효율을 높이는 화상 부호화 방법 및 화상 복호화 방법 등을 제공하는 것을 목적으로 한다.

본 과제를 해결하기 위해, 본 발명에 관한 화상 부호화 방법은 메모리 내에 보존되어 있는 다수의 참조 픽쳐로부터 선택한 참조 픽쳐를 참조하여 부호화하는 화상 부호화 방법으로서, 상기 선택한 참조 픽쳐를 참조하여, 부호화 대상 픽쳐를 부호화하는 픽쳐 부호화 단계와, 상기 메모리에 보존되어 있는 참조 픽쳐를 제어 관리하기 위한 메모리 관리 정보를 상기 부호화된 부호화 대상 픽쳐에 부수시켜 부호화하는 관리 정보 부호화 단계와, 상기 메모리 관리 정보를 상기 관리정보 부호화 단계에 있어서의 부호화와는 별도로 다시 부호화하는 관리정보 재부호화 단계를 포함하는 것을 특징으로 한다.

이에 따라, 메모리 관리정보가 다수회 부호화 출력되므로, 복호화 장치에 전송될 때에 전송로 에러가 발생한 경우라도, 다수회 전송된 메모리 관리정보 중 어느 하나가 전송되어 복호되는 것으로 생각할 수 있으므로, 픽쳐를 정확하게 복원할 수 있는 가능성이 높아진다.

또한, 상기 관리정보 재부호화 단계에서는 상기 다시 부호화된 메모리 관리 정보에, 상기 관리정보 부호화 단계에 있어서 메모리 관리정보를 부수시킨 상기 부호화 대상 픽쳐를 특정하는 정보를 부수시키도록 해도 된다.

이에 따라, 부호화 대상 픽쳐에 부수시켜 최초에 부호화된 메모리 관리정보가 화상 복호화 장치에 전송될 때에 전송 에러가 발생한 경우, 메모리 관리정보에 부수된 부호화 대상 픽쳐가 특정되므로, 어느 시점에서 전송 에러가 발생했는지를 검출할 수 있다.

또한, 상기 관리정보 부호화 단계에 있어서, 상기 메모리 관리정보를 상기 메모리에 보존되지 않는 부호화 대상 픽쳐에 부수시키는 경우에는, 상기 관리정보 재부호화 단계에 있어서, 상기 메모리 관리정보를 상기 메모리에 보존되는 부호화 대상 픽쳐에도 부수시키도록 해도 된다.

이에 따라, 복호되어 메모리에 보존되는 중요 화상에 메모리 관리정보가 부수되므로, 메모리 관리정보의 복호가 확실하게 행해지고, 픽쳐를 정확하게 복원할 수 있는 가능성이 높아진다.

또한, 본 발명의 화상 복호화 방법은 메모리내에 보존되어 있는 다수의 참조 픽쳐로부터 선택한 참조 픽쳐를 참조하여 복호화하는 화상 복호화 방법으로서, 상기 메모리에 보존되어 있는 참조 픽쳐를 제어 관리하기 위한 메모리 관리정보를 복호화하고, 복호화된 메모리 관리정보에 따라서, 상기 메모리의 불필요하게 되는 메모리 영역을 개방하는 경우에, 개방하는 메모리 영역이 개방 완료가 아니면 메모리 영역을 개방하고, 개방하는 메모리 영역이 이미 개방 완료이면 상기 메모리에 대해 어떠한 처리를 행하지 않는 것을 특징으로 한다.

이에 따라, 픽쳐를 메모리로부터 제거하는 것을 나타내는 메모리 관리정보를 다수회 수신한 경우라도, 에러 처리하지 않고, 픽쳐를 바르게 복호화할 수 있다.

또한, 메모리 내에 보존되어 있는 다수의 참조 픽쳐로부터 선택한 참조 픽쳐를 참조하여 복호화하는 화상 복호화 방법으로서, 상기 메모리는 참조 픽쳐의 보존 시간이 짧은 단시간 보존 메모리와, 상기 단시간 보존 메모리보다도 참조 픽쳐의 보존 시간이 긴 장시간 보존 메모리를 구비하고, 상기 화상 복호화 방법은 상기 메모리에 보존되어 있는 참조 픽쳐를 제어 관리하기 위한 메모리 관리정보를 복호화하고, 복호화한 메모리 관리정보에 따라서, 상기 메모리 내에 보존되어 있는 참조 픽쳐를 상기 단시간 보존 메모리로부터 상기 장시간 보존 메모리로 이동하는 경우에, 이동 대상의 참조 픽쳐가 상기 단시간 보존 메모리에 존재하면 해당 참조 픽쳐를 상기 단시간 보존 메모리로부터 상기 장시간 보존 메모리로 이동하고, 이동 대상의 참조 픽쳐가 상기 단시간 보존 메모리에 존재하지 않으면 상기 메모리 내의 이동을 행하지 않도록 해도 된다.

이에 따라, 메모리 관리정보를 다수회 수신한 경우라도, 에러 처리하지 않 고, 픽쳐를 바르게 복호화할 수 있다.

또한, 메모리 내에 보존되어 있는 다수의 참조 픽쳐로부터 선택한 참조 픽쳐를 참조하여 부호화하는 화상 부호화 방법으로서, 중요도가 부호화 대상 픽쳐 이상인 상기 메모리 내에 보존되어 있는 참조 픽쳐를 참조 픽쳐의 후보로서 부호화해도 된다.

이에 따라, 참조 가능한 픽쳐의 후보를 보다 적절하게 선택하여 부호화 효율을 높게 할 수 있다.

또한, 본 발명에 관한 화상 부호화 방법은 부호화 대상 픽쳐를 부호화하는 단계와, 상기 부호화 대상 픽쳐를 부호화한 후에 참조되지 않는 참조 픽쳐가 메모리 내에 있는지를 판단하는 단계와, 상기 참조되지 않는 참조 픽쳐가 있으면, 참조되지 않음으로써 불필요하게 되는 메모리 영역을 개방하는 코맨드로서, 부호화 데이터를 복호화하는 복호화 장치에 있어서 상기 부호화 대상 픽쳐를 복호화한 후에 상기 불필요하게 되는 메모리 영역을 개방하는 것을 나타내는 코맨드를 부호화하는 단계와, 상기 불필요하게 되는 메모리 영역을 개방하는 단계와, 상기 부호화 대상 픽쳐보다 후에 부호화되는 별도의 부호화 대상 픽쳐를 부호화할 때에, 상기 별도의 부호화 대상 픽쳐를 복호화하기 전에 상기 불필요하게 되는 메모리 영역을 개방하는 것을 나타내는 코맨드를 부호화하는 단계를 포함하는 것을 특징으로 한다.

이에 따라, 불필요하게 되는 메모리 영역을 개방하는 것을 나타내는, 최초의 코맨드가 결락된 경우에 있어서도, 다음에 전송되는 코맨드가 픽쳐의 복호화전에 실행되므로, 코맨드의 실행의 지연을 적게 할 수 있다.

또한, 본 발명에 관한 화상 복호화 방법은 복호화 대상 픽쳐에 부수하는 메모리를 관리하는 메모리 관리정보를 복호화하는 단계와, 상기 메모리 관리정보가, 상기 복호화 대상 픽쳐를 복호화하기 전에 메모리를 관리하는 처리를 하는 것을 나타내는 복호화전(前) 용 코맨드인지 여부를 판단하는 제1 판단 단계와, 상기 제1 판단 단계에서 상기 메모리 관리정보가 상기 복호화전 용 코맨드라고 판단되었을 때, 메모리를 관리하는 처리가 완료되었는지를 판단하는 제2 판단 단계와, 상기 제2 판단 단계에 있어서 메모리를 관리하는 처리가 완료되었다고 판단되었을 때, 상기 복호화 대상 픽쳐를 복호화하고, 상기 제2 판단 단계에 있어서 메모리를 관리하는 처리가 완료되지 않았다고 판단되었을 때, 상기 메모리 관리정보에 의거하여 메모리를 관리하는 처리를 행한 후에 상기 복호화 대상 픽쳐를 복호화하는 단계를 포함하는 것을 특징으로 한다.

이에 따라, 불필요해지는 메모리 영역을 개방하는 것을 나타내는, 최초의 코맨드가 결락된 경우에 있어서도, 다음에 전송되는 코맨드가 픽쳐의 복호화전에 실행되므로, 코맨드 실행의 지연을 적게 할 수 있다.

또한, 본 발명에 관한 화상 부호화 방법은 부호화 대상 픽쳐를 부호화하는 단계와, 상기 부호화 대상 픽쳐를 부호화한 후에 메모리 내에 있는 참조 픽쳐가 모두 참조되지 않는 픽쳐인지 여부를 판단하는 판단 단계와, 상기 판단 단계에 있어서, 상기 메모리 내에 있는 참조 픽쳐가 모두 참조되지 않는 픽쳐라고 판단되었을 때, 상기 메모리 내에 있는 참조 픽쳐를 모두 삭제하는 명령인 초기화 코맨드를 부호화하는 단계와, 상기 메모리 내에 있는 참조 픽쳐를 모두 삭제하는 초기화 단계 와, 상기 부호화 대상 픽쳐보다 후에 부호화되는 별도의 부호화 대상 픽쳐를 부호화할 때에, 상기 부호화 대상 픽쳐의 부호화시에 삭제된, 상기 부호화 대상 픽쳐보다 전에 상기 메모리 내에 보존된 전체 참조 픽쳐를 삭제의 대상으로 하는 부가 정보에 의거해, 메모리 내에 있는 참조 픽쳐를 삭제하는 것을 나타내는 명령인 초기화 재송 코맨드를 부호화하는 단계를 포함하는 것을 특징으로 한다.

이에 따라, 초기화 코맨드가 복호화 장치에 전송될 때, 전송로 에러로 초기화 코맨드가 결락된 경우라도, 초기화 재송 코맨드의 부가 정보에 따라서 정상으로 메모리 내의 초기화를 행할 수 있다.

또한, 본 발명에 관한 화상 복호화 방법은 복호화 대상 픽쳐에 부수하는 메모리를 관리하는 메모리 관리정보를 복호화하는 단계와, 상기 복호화 대상 픽쳐를 복호화하는 단계와, 상기 메모리 관리정보에, 메모리 내에 있는 참조 픽쳐를 모두 삭제하는 명령인 초기화 코맨드가 있는지 여부를 판단하는 초기화 판단 단계와, 상기 초기화 판단 단계에 있어서 상기 메모리 관리정보에, 상기 초기화 코맨드가 있다고 판단되지 않았을 때, 상기 메모리 관리정보에, 상기 복호화 대상 픽쳐보다 전에 복호화된 별도의 복호화 대상 픽쳐를 복호화했을 때에 초기화하여 삭제해야되는, 상기 별도의 복호화 대상 픽쳐보다 전에 상기 메모리 내에 보존된 참조 픽쳐를 삭제하기 위해, 삭제의 대상을 나타내는 부가 정보에 따라서, 메모리 내에 있는 참조 픽쳐를 삭제하는 명령인 초기화 재송 코맨드가 있는지 여부를 판단하는 초기화 재송 판단 단계와, 상기 초기화 재송 판단 단계에 있어서, 상기 메모리 관리정보가 상기 초기화 재송 코맨드라고 판단되었을 때, 메모리 내에 있는 참조 픽쳐가 모두 삭제되어 있는지 여부를 판단하는 초기화 완료 판단 단계와, 상기 초기화 완료 판단 단계에 있어서, 메모리내에 있는 참조 픽쳐가 모두 삭제되어 있지 않다고 판단되었을 때, 상기 부가정보에 따라서 메모리 내에 있는 픽쳐를 삭제하는 삭제 단계를 포함하는 것을 특징으로 한다.

이에 따라, 초기화 코맨드가 복호화 장치에 전송될 때에, 전송로 에러로 초기화 코맨드가 결락된 경우라도, 초기화 재송 코맨드의 부가 정보에 따라서 정상으로 메모리 내의 초기화를 행할 수 있다.

또한, 메모리 내에 보존되어 있는 다수의 참조 픽쳐로부터 선택한 픽쳐를 참조하여 슬라이스 단위로 부호화한 데이터 스트림이 기록된 기록 매체로서, 상기 메모리 내에 보존되어 있는 참조 픽쳐를 메모리로부터 제거하는 경우에, 제거하는 대상의 참조 픽쳐를 지정하는 정보를 적어도 2개의 슬라이스에 부수하여 부호화해도 된다.

이에 따라, 부호화가 슬라이스 단위로 행해지는 경우에 있어서, 복호화 장치에 전송될 때에 전송로 에러가 발생해도, 다수회 전송된, 메모리로부터 제거하는 대상의 참조 픽쳐를 지정하는 정보 중 어느 하나는 전송되어 복호된다고 생각되므로, 픽쳐를 슬라이스 단위로 바르게 복원할 수 있는 가능성이 높아진다.

또한, 메모리내에 보존되어 있는 다수의 참조 픽쳐로부터 선택한 픽쳐를 참조하여 슬라이스 단위로 부호화한 데이터 스트림이 기록된 기록매체로서, 상기 메모리 내에 보존되어 있는 참조 픽쳐를 메모리로부터 제거하는 경우에, 제거하는 대상의 참조 픽쳐를 지정하는 정보를 적어도 2개의 슬라이스에 부수하여 부호화하고, 또한 상기 슬라이스가 상기 제거하는 대상의 참조 픽쳐를 지정하는 정보를 갖는 것을 나타내는 정보를 상기 슬라이스에 부수하여 부호화하며, 상기 제거하는 대상의 참조 픽쳐를 지정하는 정보를 갖지 않는 슬라이스로, 상기 제거하는 대상의 참조 픽쳐를 지정하는 정보를 참조할 때, 상기 제거하는 대상의 참조 픽쳐를 지정하는 정보를 참조하는 것을 나타내는 정보를 부호화해도 된다.

이에 따라, 상기 제거하는 대상의 픽쳐를 지정하는 정보를 갖지 않은 슬라이스에서는 상기 정보의 부가를 생략할 수 있고, 부호화 효율을 높일 수 있다.

이상과 같이, 본 발명에 관한 화상 부호화 방법 및 화상 복호화 방법에 의하면, 전송로 에러로 일부의 메모리 관리정보가 소실되어도 바르게 복원 가능한 화상 부호화 방법 및 화상 복호화 방법과, 참조 가능한 참조 화상의 후보를 보다 적절하게 선택하여 부호화 효율을 높이는 화상 부호화 방법 및 화상 복호화 방법을 실현할 수 있어, 그 실용적 가치가 높다.

또한, 본 발명은 이러한 화상 부호화 방법 및 화상 복호화 방법으로서 실현할 수 있을 뿐만 아니라, 이러한 방법을 이용한 화상 부호화 장치 및 화상 복호화 장치로서 실현하거나, 화상 부호화 방법에 의해 부호화된 데이터 스트림이 기록된 기록 매체로서 실현하거나, 화상 부호화 방법 및 화상 복호화 방법에 있어서의 단계를 컴퓨터에 실행시키는 프로그램으로서 실현할 수도 있다. 그리고, 이와 같은 프로그램은 CD-ROM 등의 기록매체나 인터넷 등의 전송매체를 통해 전송할 수 있는 것은 말할 필요도 없다.

또, 이 명세서는 이전의 일본국 특허출원 「특원 2002-110424」,「특원 2002-190955」,「특원 2003-49711」및 미국 가출원「60/377656」의 내용을 포함한다.

본 발명은, 하기의 실시의 형태에서 도시하는 화상 부호화 방법 혹은 화상 복호화 방법을 후술하는 것 중 어떠한 기기·시스템에 이용하는 것이 가능하고, 그렇게 함으로써, 하기의 실시의 형태에서 설명하는 효과를 얻을 수 있다.

이하, 본 발명의 실시의 형태에 대해, 도면을 이용하여 설명한다.

(실시의 형태 1)

우선, 실시의 형태 1에 대해 설명한다.

도 5는 본 실시의 형태에 있어서의 화상 부호화 방법을 실현하기 위한 화상 부호화 장치의 구성을 도시하는 블록도이다.

화상 부호화 장치(100)는 메모리 정보 제어부(101)와, 단시간 보존 메모리 관리부(102)와, 장시간 보존 메모리 관리부(103)와, 비보존 메모리 관리 정보부(104)와, 관리정보 부호화부(105)와, 참조화상 선택부(106)와, 보존영역 지정부(107)와, 참조영역 지정부(108)와, 화상 메모리(109)와, 화상 복호화부(111)와, 화상 부호화부(110)와, 가변길이 부호화부(112)와, 카운터(113) 및 카운터(114) 등으로 구성된다.

참조화상 선택부(106)는 외부에서 입력되는 중요도 지시신호(Pri) 및 픽쳐 타입 정보(PicType)에서 참조 화상의 후보를 선택하여, 메모리 정보 제어부(101)에 통지한다.

메모리 정보 제어부(101)는 픽쳐 타입 정보(PicType)에 의해서 전방 및 후방중 어느 하나, 혹은 양쪽의 화상(픽쳐)이 참조 가능한지 여부를 판단하여, 참조영역 지정부(108)에 지령하고, 화상 메모리(109)로부터 대응하는 참조화상을 화상 부호화부(110)에 출력한다.

화상 부호화부(110)는 화상 메모리(109)로부터 출력되는 참조 화상을 참조하여 입력화상신호(Vin)를 부호화하고, 가변길이 부호화부(112)는 다시 가변길이 부호화하여 화상 부호화 스트림(VideoStr)을 출력한다. 화상 부호화부(110)의 출력은 또한, 화상 복호화부(111)에서 복호화되어 복호화 화상으로 되고, 화상 메모리(109)에 참조 화상으로서 격납된다.

이 때, 화상 메모리(109)에 있어서 복호화 화상이 격납 가능한 메모리 위치는 다음과 같이 지정된다. 메모리 정보 제어부(101)가 단시간 보존 메모리 관리부(102)에 조회하여, 단시간 메모리에서 화상이 제거된 메모리 위치를 특정하고, 보존영역 지정부(107)가 그 메모리 위치에 복호화 화상을 기록하도록, 화상 메모리(109)에 대해 지시를 보낸다.

단시간 보존 메모리 관리부(102)는 단시간 보존 메모리내의 불필요한 (참조되지 않는) 화상을 검출하여 제거하는 (메모리를 개방하는) 지령을 메모리 정보 제어 유닛부(101)에 통지한다. 또한, 장시간 보존 메모리 관리부(103)는 단시간 보존 메모리내의 화상을 장시간 보존 메모리로 이동하는 지령을 메모리 정보 제어부(101)에 통지한다. 이 불필요한 화상의 제거(메모리의 개방) 지령이나, 단시간 보존 메모리내의 화상을 장시간 보존 메모리로 이동하는 지령은 관리 정보 부호화부(105)에서 부호화되어, 메모리 관리정보 스트림(CtlStr)으로 된다.

한편, 전송로 에러에 의해, 메모리 관리정보 스트림(CtlStr)의 일부가 소실됨으로서 메모리 관리정보가 손상되는 것을 방지하기 위해서, 단시간 보존 메모리용의 카운터(113) 및 장시간 보존 메모리용의 카운터(114)로, 불필요한 화상의 제거지령이나, 단시간 보존 메모리내의 화상을 장시간 보존 메모리로 이동하는 지령의 부호화 회수를 계측하여, 필요에 따라 상기 지령의 다수회의 전송을 가능하게 한다.

또한, 비보존 메모리 관리 정보부(104)는 중요도가 낮고 복호화되지 않은 화상에 부수하여, 불필요한 화상의 제거지령이나 단시간 보존 메모리내의 화상을 장시간 보존 메모리로 이동하는 지령이 부호화되었는지 여부를 관리하고, 중요도가 낮은 화상에 부수하여 상기 지령이 부호화된 경우는 보다 높은 중요도의 화상에 부수하여 다시 지령을 부호화하도록 메모리 정보 제어부(101)에 지시를 보낸다.

다음에, 본 발명의 실시의 형태 1에 있어서의 화상 부호화 방법에 대해서 설명한다. 도 6은 실시의 형태 1에 있어서의 화상 부호화 방법을 도시하는 플로우 챠트이고, 도 5에서 도시한 화상 부호화 장치(100)가 행하는 동작을 도시하고 있다. 또한, 도 6에 있어서 도 2(a)와 동작이 동일한 것에는 동일한 기호를 붙이고 있다.

도 6에 도시하는 화상 부호화 방법의 특징은 메모리내에 예측 부호화의 참조 화상으로서 불필요한 화상(픽쳐)이 존재하는 경우에, 그 화상이 보존되어 있는 메 모리 영역을 개방하는 (그 화상을 제거하는) 메모리 관리정보의 코맨드를 반복하여 부호화하는 것이다.

이와 같이, 메모리 관리정보의 코맨드를 반복하여 부호화함으로써, 한쪽의 메모리 관리정보의 코맨드가 전송로 에러로 소실되어도, 다른 한쪽의 메모리 관리정보의 코맨드로부터 메모리 내에 보존되어 있는 화상의 관리정보를 복원할 수 있으므로, 전송로 에러가 있어도 화상을 바르게 복원할수 있는 가능성이 높아진다.

도 6에 있어서, 우선, 입력 화상을 부호화한다(단계 100). 부호화 후에 메모리 내에서 불필요한 영역(이후의 부호화에 참조되지 않는 화상)을 조사하고(단계 101), 불필요한 메모리 영역이 있는지를 판정한다(단계102). 불필요한 메모리 영역이 있는 경우(단계 102의 Yes), 관리정보 부호화부(105)가 불필요한 메모리 영역을 개방하는 코맨드를 메모리 관리정보로서 부호화한다(단계 103). 그리고, 이 불필요한 메모리 영역을 개방한다(단계 104). 불필요한 메모리 영역이 없는 경우(단계 102의 No)는 단계 103 및 단계 104의 동작은 행하지 않는다.

다음에, 메모리 정보 제어부(101)가 직전에 부호화한 화상(부호화 대상보다 전의 화상)의 부호화에 부수시켜, 불필요한 메모리 영역을 개방하는 코맨드가 메모리 관리정보로서 부호화되어 있는지 여부를 판정하고(단계 105), 코맨드가 부호화되어 있지 않은 경우는(단계 105의 No) 처리를 종료하고, 코맨드가 부호화되어 있는 경우는(단계 105의 Yes), 관리정보 부호화부(105)가 그 불필요한 메모리 영역을 개방하는 코맨드를 다시 메모리 관리정보로서 부호화하여 (단계 106), 처리를 종료한다.

이와 같이, 직전의 화상의 부호화에서 불필요 메모리를 개방하는 (메모리 관리정보의) 코맨드가 부호화되면, 다시 메모리 관리정보의 코맨드가 부호화된다. 직전의 화상의 부호화에 부수시켜 부호화된 메모리 관리정보와, 다시 부호화된 메모리 관리정보는 각각 화상 부호화 장치에서 출력되어, 화상 복호화 장치에 전송되어 복호화된다.

또, 단계 105에서 직전에 부호화된 화상의 부호화 신호에 부수하여, 불필요한 메모리 영역을 개방하는 코맨드가 부호화되어 있는 경우에, 다시 코맨드를 부호화한다고 했는데, 직전의 화상에 부수하여 있는 경우가 아니고, 몇 화상 전의 화상에 부수하여 있는 경우라도 되고, 또한 반복하여 상기 코맨드를 메모리 관리정보로서 부호화하고, 다수의 화상에 부수하여 전송시켜도 된다.

또한, 상기 불필요한 메모리 영역을 개방하는 코맨드를 메모리 관리정보로서 다수회 전송할 수 있으면 되므로, 그 코맨드를 다시 부호화하여 전송할 때에 반드시 화상의 부호화 신호에 부수시켜 전송할 필요는 없다.

또한, 메모리 관리정보의 코맨드를 재송하는 경우에, 그 재송하는 코맨드가 부호화된 픽쳐와 같은 스트림에 있는 것은 아니고, 예를 들면 별도의 스트림으로서 전송하도록 해도 되고, 축적 미디어의 별도의 영역에 기록되어도 된다.

이상과 같이 하여, 불필요한 메모리 영역을 개방하는 (메모리 관리정보의) 코맨드를 다수회 전송함으로써, 전송로 에러가 발생한 경우라도, 다수회 전송된 코맨드 중 어느 하나는 전송되어 복호된다고 생각되므로, 화상을 바르게 복원할 수 있는 가능성이 높아진다.

(실시의 형태 2)

다음에, 본 발명의 실시의 형태 2에 대해 설명한다.

도 7은 실시의 형태 2에 있어서의 화상 복호화 방법을 실현하기 위한 화상 복호화 장치의 블록도이다.

화상 복호화 장치(200)는 메모리 정보 제어부(201)와, 단시간 보존 메모리 관리부(202)와, 장시간 보존 메모리 관리부(203)와, 관리정보 복호화부(205)와, 보존영역 지정부(207)와, 참조영역 지정부(208)와, 화상 메모리(209)와, 화상 복호화부(210)와, 가변 길이 복호화부(212) 등으로 구성된다.

메모리 정보 제어부(201)는 픽쳐 타입 정보(PicType)에 의해, 부호화 대상에 대해 전방 및 후방중 어느 하나, 혹은 양쪽의 화상이 참조 가능한지 여부를 판단하여, 참조영역 지정부(208)에 지령하고, 화상 메모리(209)로부터 대응하는 참조 화상을 화상 복호화부(210)에 출력한다.

가변길이 복호화부(212)는 부호화 스트림(VideoStr)을 복호화하고, 화상 복호화부(210)는 이를 다시 복호화하여, 복호 화상 신호(Vout)로서 출력하는 동시에 화상 메모리(209)에 참조 화상으로서 격납한다.

이 때, 화상 메모리(209)에 있어서 복호화 화상이 격납 가능한 메모리 위치는 다음과 같이 지정된다. 메모리 정보 제어부(201)가 단시간 보존 메모리 관리부(202)에 조회하여, 화상이 제거된 메모리 위치를 특정하고, 보존영역 지정부(207)가 그 메모리 위치에 복호화 화상을 기록하도록, 화상 메모리(209)에 대해 지시를 낸다.

관리정보 복호화부(205)는 메모리 관리정보 스트림(CtlStr)을 복호화하고, 메모리 정보 제어부(201)를 통하여, 단시간 보존 메모리내의 불필요한 (참조되지 않는) 화상의 정보를 단시간 보존 메모리 관리부(202)에 통지하고, 단시간 보존 메모리내의 화상을 장시간 보존 메모리로 이동하는 지령을 장시간 보존 메모리 관리부(203)에 통지한다.

다음에, 본 발명의 실시의 형태 2에 있어서의 화상 복호화 방법에 대해서 설명한다. 도 8은 실시의 형태 2에 있어서의 화상 복호화 방법을 도시하는 플로우 챠트로, 도 7에서 도시한 화상 복호화 장치(200)가 행하는 동작을 도시하고 있다. 또한, 도 8에 있어서 도 2(b)와 동작이 동일한 것은 동일한 기호를 붙이고 있다.

화상 부호화 장치가 불필요한 메모리 영역을 개방하는 코맨드를 다수회 전송한 경우에는, 전송로 에러로 코맨드가 소실되지 않는 한, 화상 복호화 장치는 다수회, 메모리내의 동일한 화상의 영역을 개방하는 코맨드를 수신하게 된다. 따라서, 이미 개방한 메모리 영역을 다시 개방하는 코맨드를 화상 복호화 장치가 수신한 경우라도 에러로서 처리를 하지 않고, 반대로 바르게 수신되어 있다고 판단하는 화상 복호화 방법을 실현하지 않으면 안된다. 본 실시의 형태에서는 이러한 화상 복호화 방법을 실현하고 있다.

도 8에 있어서, 우선, 관리정보 복호화부(205)가 메모리 관리정보를 복호화한다(단계 110). 다음에, 부호화 신호로부터 화상신호를 복호화한다(단계 111). 그리고, 메모리정보 제어부(201)가 복호화된 메모리 관리정보에 메모리를 개방하는 코맨드가 있는지 여부를 판정한다(단계 112). 메모리를 개방하는 코맨드가 있으면 (단계 112의 Yes), 그 코맨드로 제거해야할 화상이 있는지 혹은 이미 개방 완료(제거 완료)인지를 판정하고(단계 113), 메모리 개방 완료이면(단계 113의 Yes) 아무 처리를 하지 않고 종료하고, 그렇지 않으면 메모리를 개방하여 (단계 114) 처리를 종료한다. 한편, 메모리 개방 코맨드가 없는 경우에는(단계 112의 No) 단계(113) 및 단계(114)의 동작은 행하지 않고 처리를 종료한다. 또한, 단계 110와 단계 111는 순서가 동일하지 않고, 교체해도 상관없다.

이상과 같은 동작에 의해, 실시의 형태 1의 화상 부호화 방법으로 메모리 내의 동일한 화상의 영역을 개방하는 코맨드를 다수회 부호화하여 전송하고, 화상 복호화 장치(200)가 이를 다수회 수신한 경우라도, 에러로서 처리하지 않으므로, 바르게 복호화할 수 있는 화상 복호화 방법을 실현할 수 있다.

또한, 상기 불필요한 메모리 영역을 개방하는 코맨드는 메모리 관리정보로서 다수회 전송되어 있으면 되고, 이 코맨드를 다시 부호화하여 전송할 때에 반드시 화상의 부호화 신호에 부수시켜 전송되어 있을 필요는 없다.

또한, 메모리 관리정보의 코맨드를 재송하는 경우에, 그 재송하는 코맨드가, 부호화된 픽쳐와 같은 스트림에 있지 않고, 예를 들면 별도의 스트림으로서 전송하도록 해도 되고, 축적 미디어의 별도의 영역에 기록되어도 된다.

(실시의 형태 3)

다음에, 실시의 형태 3에 있어서의 화상 부호화 방법에 대해서 설명한다. 도 9는 실시의 형태 3에 있어서의 화상 부호화 방법을 도시하는 플로우 챠트이고, 화상 부호화 장치(100)가 행하는 동작을 도시하고 있다. 도 9에 있어서 도 3(a)과 동작이 동일한 것은 동일한 기호를 붙이고 있다.

본 실시의 형태의 특징은 메모리내에서 단시간 보존 메모리로부터 장시간 보존 메모리로 이동해야 할 화상이 존재하는 경우에, 그 화상을 이동하는 메모리 관리정보의 코맨드를 반복하여 부호화하는 것이다. 메모리 관리정보의 코맨드를 반복하여 부호화함으로써, 한쪽 메모리 관리정보의 코맨드가 전송로 에러로 소실되어도, 다른 한쪽 메모리 관리정보의 코맨드로부터 메모리내에 보존되어 있는 화상의 관리정보를 복원할 수 있으므로, 전송로 에러가 있어도 화상을 정확하게 복원할 수 있는 가능성이 높아진다.

도 9에 있어서, 우선, 입력화상을 부호화한다(단계 120). 부호화후에 장시간 보존 메모리로 이동해야할 화상이 있는지를 조사한다(단계 121). 그리고, 메모리 정보 제어부(101)가 장시간 보존 메모리로 이동하는 화상이 있는지 여부를 판정한다(단계 122). 이동해야할 화상이 있으면(단계 122의 Yes), 관리정보 부호화부(105)는 어떻게 장시간 보존 메모리로 이동할지를 나타내는 코맨드를 메모리 관리정보로서 부호화한다(단계 123). 그리고, 그 코맨드대로 화상을 장시간 보존 메모리로 이동한다(단계 124).

다음에, 메모리 정보 제어부(101)는 직전에 부호화한 화상(부호화 대상보다 전의 화상)의 부호화 신호에 부수하여 장시간 보존 메모리로 이동하는 코맨드를 메모리 관리정보로서 부호화하고 있는지 여부를 판정하고(단계 125), 부호화되어 있지 않으면(단계 125의 No) 처리를 종료하고, 부호화되어 있으면(단계 125의 Yes), 관리정보 부호화부(105)는 이 장시간 보존 메모리로 이동하는 코맨드를 다시 메모 리 관리정보로서 부호화하여(단계 126), 처리를 종료한다.

이와 같이, 직전의 화상의 부호화로 장시간 보존 메모리로 이동하는 (메모리 관리정보의) 코맨드가 부호화되면, 다시 메모리 관리정보의 코맨드가 부호화된다. 직전의 화상의 부호화에 부수시켜 부호화된 메모리 관리정보와, 다시 부호화된 메모리 관리정보는 각각 화상 부호화 장치에서 출력되어, 화상 복호화 장치에 전송되어 복호화된다.

또, 단계 125에서 직전에 부호화한 화상의 부호화 신호에 부수하여 장시간 보존 메모리로 이동하는 코맨드가 부호화되어 있는 경우에 다시 코맨드를 부호화한다고 했는데, 직전의 화상에 부수하고 있는 경우가 아니라 몇 화상 전의 화상에 부수하고 있는 경우라도 되고, 또한, 반복하여, 상기 코맨드를 메모리 관리정보로서 부호화하여, 다수의 화상에 부수시켜도 된다.

또한, 상기 장시간 보존 메모리로 이동하는 코맨드를 메모리 관리정보로서 다수회 전송할 수 있으면 되므로, 반드시 그 코맨드를 다시 부호화하여 전송할 때에 화상의 부호화 신호에 부수시켜 전송할 필요는 없다.

또한, 메모리 관리정보의 코맨드를 재송하는 경우에, 그 재송하는 코맨드가 부호화된 픽쳐와 같은 스트림에 있는 것이 아니라, 예를 들면 별도의 스트림으로서 전송하도록 해도 되고, 축적 미디어의 별도의 영역에 기록되어도 된다.

이상과 같이 하여, 장시간 보존 메모리에 화상을 이동하는 코맨드를 다수회 부호화하여 전송함으로써, 전송로 에러가 발생한 경우라도, 다수회 전송된 코맨드중 어느 하나가 전송되어 복호된다고 생각되므로, 화상을 바르게 복원할 수 있는 가능성이 높아진다.

(실시의 형태 4)

다음에, 실시의 형태 4의 화상 복호화 방법에 대해서 설명한다.

화상 부호화 장치가 장시간 보존 메모리로 이동하는 코맨드를 다수회 전송한 경우에는 전송로 에러로 코맨드가 소실되지 않는 한, 화상 복호화 장치는 단시간 보존 메모리내의 동일한 화상의 영역을 장시간 보존 메모리로 이동하는 코맨드를 다수회 수신하게 된다. 따라서, 이미 이동한 화상을 다시 이동하는 코맨드를 화상 복호화 장치가 수신한 경우라도 에러로서 처리를 하지 않고, 반대로 바르게 수신되어 있다고 판단하는 화상 복호화 방법을 실현하지 않으면 안된다. 본 실시의 형태에 있어서의 화상 복호화 방법의 특징은 이러한 화상 복호화 방법을 실현한 것이다.

도 10은 실시의 형태 4에 있어서의 화상 복호화 방법을 도시하는 플로우 챠트이고, 도 7에 도시하는 화상 복호화 장치(200)의 동작을 도시하고 있다. 도 10에 있어서 도 3(b)와 동작이 동일한 것은 동일한 기호를 붙이고 있다.

도 10에 있어서, 우선, 관리정보 복호화부(205)가 메모리 관리정보를 복호화한다(단계 130). 그리고, 부호화 신호로부터 화상신호를 복호화한다(단계 131).

그리고, 메모리 정보 제어부(201)가 복호화된 메모리 관리정보에 장시간 보존 메모리로 화상을 이동하는 코맨드가 있는지 여부를 판정한다(단계 132). 장시간 보존 메모리로 이동하는 코맨드가 있으면(단계 132의 Yes) 이 코맨드로 이동해야할 화상이 있는지, 혹은 이미 이동 완료(이동후에 제거 완료되므로 화상이 존재 하지 않는다)인지를 판정하고(단계 133), 장시간 보존 메모리로 이동 완료이면(단계 133의 Yes) 아무 처리를 하지 않고 종료하며, 그렇지 않으면 장시간 보존 메모리로 이동하여 (단계 134) 처리를 종료한다.

한편, 장시간 보존 메모리로 이동하는 코맨드가 없는 경우에는(단계 132의 No) 단계 133 및 단계 134의 동작은 행하지 않고 처리를 종료한다. 또, 단계 130과 단계 131은 순서가 동일하지 않고, 교체해도 상관없다.

이상과 같은 동작에 의해, 실시의 형태 3의 화상 부호화 방법으로, 장시간 보존 메모리에 화상을 이동하는 코맨드를 다수회 부호화하여 전송해도, 바르게 복호화할 수 있는 화상 복호화 방법을 실현할 수 있다.

또, 상기 장시간 보존 메모리로 이동하는 코맨드가 메모리 관리정보로서 다수회 전송되어 있으면 되므로, 반드시 그 코맨드를 다시 부호화하여 전송할 때 화상의 부호화 신호에 부수시켜 전송할 필요는 없다.

또한, 메모리 관리정보의 코맨드를 재송하는 경우에, 그 재송하는 코맨드가 부호화된 픽쳐와 같은 스트림에 있지 않고, 예를 들면 별도의 스트림으로서 전송하도록 해도 되고, 축적 미디어의 별도의 영역에 기록되어도 된다.

(실시의 형태 5)

다음에, 본 실시의 형태에 있어서의 화상 부호화 방법에 대해 설명한다. 도 11은 실시의 형태 5에 있어서의 화상 부호화 방법을 도시하는 플로우 챠트이고, 도 5에서 도시한 화상 부호화 장치(100)의 동작을 도시하고 있다. 도 11에서, 도 6과 동작이 동일한 것은 동일한 기호를 붙이고 있다.

도 11에 도시하는 본 실시의 형태의 특징은 메모리내에서 불필요한 화상이 존재하는 경우, 그 화상을 제거하는 메모리 관리정보의 코맨드를 반복하여 부호화하고, 적어도 1회는 메모리에 보존되는 중요 화면에 부수하여 전송하는 것이다. 메모리 관리정보의 코맨드를 반복하여 부호화하는 경우라도, 중요도가 높지 않은 화상에 부수하여 메모리 관리정보의 코맨드를 전송한 것에서는, 중요도가 높지 않은 화상이 모두 복호화되지 않은 경우에 메모리 관리정보의 코맨드는 취득할 수 없게 된다.

예를 들면, 도 1(a)에 있어서, 픽쳐 번호 4의 화상은 픽쳐 번호 5의 화상을 부호화한 후는 불필요하게 되므로, 픽쳐 번호 5의 화상에 부수하여 픽쳐 번호 4의 화상이 있는 메모리 영역을 개방하는 코맨드를 부호화할 수 있다.

그러나, 이 픽쳐 번호 4의 화상이 있는 메모리 영역을 개방하는 코맨드를 픽쳐 번호 5의 화상에 부수하여 부호화하는 이외에, 픽쳐 번호 7의 화상에 부수하여 부호화한 것에서는, 모두 가장 중요도가 낮은(복호화하지 않은 경우에 화질 열화가 적은) B 픽쳐에 부수하여 상기 코맨드가 부호화되게 된다. 이들의 B 픽쳐는 복호화되지 않는 것이 있어서, 픽쳐 번호 4의 화상이 있는 메모리 영역을 개방하는 코맨드가 복호화되지 않게 되어, 메모리 내의 관리 정보를 바르게 재현할 수 없게 된다. 따라서, 적어도 1회는 중요도가 높고, 반드시 복호화되어, 메모리에 보존되는 화상에 부수하여 화상 영역을 개방하는 코맨드를 부호화하는 것이 필요하다.

도 11에 있어서, 우선 입력 화상을 부호화한다(단계 100). 부호화 후에 메모리 내에서 불필요한 영역(이후의 부호화로 참조되지 않는 화상)을 조사하여(단계 101), 불필요한 메모리 영역이 있는지를 판정한다(단계 102). 불필요한 메모리 영역이 있으면(단계 102의 Yes), 관리정보 부호화부(105)가 불필요한 메모리 영역을 개방하는 코맨드를 메모리 관리정보로서 부호화한다(단계 103). 그리고, 이 불필요한 메모리 영역을 개방한다(단계 104). 불필요한 메모리 영역이 없는 경우(단계 102의 No)는 단계 103 및 단계 104의 동작은 행하지 않는다.

다음에, 메모리정보 제어부(101)는 과거에 부호화된, 불필요한 메모리영역을 개방하는 코맨드가 중요 화상(복호화되어 메모리에 보존되는)에 부수되어 부호화되어 있는지를 판정하고(단계 140), 중요 화상에 부수되어 부호화되어 있으면(단계 140의 Yes) 처리를 종료하고, 중요 화상에 부수되어 부호화되어 있지 않으면(단계 140의 No), 관리정보 부호화부(105)는 이 불필요한 메모리 영역을 개방하는 코맨드를 다시 메모리 관리정보로서 부호화하여(단계 141) 처리를 종료한다.

이에 따라, 불필요한 메모리 영역을 개방하는 코맨드가 중요 화상에 부수되어 부호화된다.

이상과 같이 하여, 복호화되어 메모리에 보존되는 중요 화상에 상기 코맨드가 부수되므로, 상기 코맨드가 복호되게 되어, 전송로 에러가 발생했을 시에 화상을 바르게 복원할 수 있는 가능성이 높아진다.

또, 상기 불필요한 메모리 영역을 개방하는 코맨드를 메모리 관리정보로서 다수회 전송할 수 있으면 되고, 그 코맨드를 다시 부호화하여 전송할 때에 반드시 화상의 부호화 신호에 부수시켜 전송할 필요는 없다.

또한, 메모리 관리정보의 코맨드를 재송하는 경우에, 그 재송하는 코맨드가, 부호화된 픽쳐와 같은 스트림에 있지 않고, 예를 들면 별도의 스트림으로서 전송하도록 해도 되고, 축적 미디어의 별도의 영역에 기록되어도 된다.

(실시의 형태 6)

다음에, 본 실시의 형태의 화상 부호화 방법에 대해서 설명한다. 도 12는 실시의 형태 6에 있어서의 화상 부호화 방법을 도시하는 플로우 챠트이다. 도 12는 도 5에 도시하는 화상 부호화 장치(100)의 동작을 도시하고 있다. 도 12에 있어서, 도 9와 동작이 동일한 것은 동일한 기호를 붙이고 있다.

도 12에 도시하는 본 실시의 형태의 특징은 장시간 보존 메모리로 화상을 이동하는 메모리 관리정보의 코맨드를 반복하여 부호화하고, 적어도 1회는 중요 화면(복호화되어 메모리에 보존되는)에 부수하여 전송하는 것이다. 장시간 보존 메모리에 화상을 이동하는 메모리 관리정보의 코맨드를 반복하여 부호화하는 경우라도, 중요도가 높지 않은 화상에 부수하여 메모리 관리정보의 코맨드를 전송한 것에서는, 중요도가 높지 않은 화상이 모두 복호화되지 않은 경우에, 메모리 관리정보의 코맨드를 취득할 수 없게 된다.

도 12에 있어서, 우선 입력 화상을 부호화한다(단계 120). 부호화후에 장시간 보존 메모리로 이동해야 할 화상이 있는지를 조사하고(단계 121), 이동해야 할 화상이 있는지를 판정한다(단계 122).

이동해야 할 화상이 있으면(단계 122의 Yes), 관리정보 부호화부(105)가 어떻게 장시간 보존 메모리로 이동하는지를 나타내는 코맨드를 메모리 관리정보로서 부호화하고(단계 123), 이 코맨드대로 화상을 장시간 보존 메모리로 이동한다(단계 124).

다음에, 메모리 정보 제어부(101)가, 과거에 부호화한 장시간 보존 메모리로 이동하는 코맨드가, 중요 화상(복호화되어 메모리에 보존되는)에 부수되어 부호화되어 있는지를 판정하고(단계 150), 중요 화상에 부수하여 있으면(단계 150의 Yes) 처리를 종료하고, 중요 화상에 부수되어 있지 않으면 (단계 150의 No), 관리정보 부호화부(105)가 그 장시간 보존 메모리로 이동하는 코맨드를 다시 메모리 관리정보로서 부호화하여 (단계 151), 처리를 종료한다.

이에 따라, 장시간 보존 메모리에 화상을 이동하는 코맨드가 중요 화상에 부수하여 부호화된다.

이상과 같이 하여, 복호화되어 메모리에 보존되는 중요 화상에 상기 코맨드가 부수하기 때문에, 상기 코맨드가 복호화되게 되어, 전송로 에러가 발생했을 때에 화상을 바르게 복원할 수 있는 가능성이 높아진다.

또, 상기 장시간 보존 메모리로 이동하는 코맨드가 메모리 관리정보로서 다수회 전송되어 있으면 되므로, 그 코맨드를 다시 부호화하여 전송할 때에 반드시 화상의 부호화 신호에 부수시켜 전송될 필요는 없다.

또한, 메모리 관리정보의 코맨드를 재송하는 경우에, 그 재송하는 코맨드가, 부호화된 픽쳐와 동일한 스트림에 있지 않고, 예를 들면 별도의 스트림으로서 전송하도록 해도 되고, 축적 미디어의 별도의 영역에 기록되어도 된다.

(실시의 형태 7)

실시의 형태 7에 있어서의 화상 부호화 방법에 대해 설명한다.

본 실시의 형태의 특징은 화상의 중요도에 따라 선택한 참조 화상을 참조하여 부호화를 행하는 화상 부호화 방법이다.

도 13은 본 발명의 실시의 형태 7에 있어서의 화상 부호화 방법을 도시하는 플로우 챠트이다. 도 13은 도 5에서 도시한 화상 부호화 장치(100)가 행하는 동작을 도시한 것이다.

도 13에 있어서, 우선 부호화 대상의 각 화상의 중요도를 설정한다(단계 160). 예를 들면, I 픽쳐나 P 픽쳐의 중요도는 높고, B 픽쳐의 중요도는 낮다. 또한, 동일한 P 픽쳐라도, 많은 화상으로부터 참조되는 P 픽쳐의 중요도는 높고, 그다지 참조되지 않은 P 픽쳐의 중요도는 낮다.

다음에, 부호화 대상 화상과 동등 이상의 중요도의 화상을 메모리내의 참조 화상으로부터 선택하고, 참조 화상의 후보로 한다(단계 161). 예를 들면, B 픽쳐는 I 픽쳐 및 P 픽쳐를 참조할 수 있지만, P 픽쳐는 중요도가 낮은 P 픽쳐를 참조화상의 후보로부터 제외한다.

다음에 선택한 참조 화상의 후보를 나타내는 지시 정보(메모리 관리정보의 일종)를 부호화하고(단계 162), 선택한 참조 화상의 후보중에서 블록 단위로 적절한 참조 화상을 참조하여 부호화한다(단계 163). 또한, 단계 162와 단계 163은 순서가 동일하지 않고, 교체해도 상관없다.

이와 같이 하여, 참조 화상의 후보 중에, 부호화 대상 화상의 중요도보다도 낮은 중요도의 화상을 포함시키지 않도록 하고 있다.

이상과 같이, 참조 화상의 후보중에, 부호화 대상 화상의 중요도보다도 낮은 중요도의 화상을 포함시키지 않으므로, 스케일러빌리티를 실현할 수 있는 스트림을 생성한 경우에 참조 불가능한 화상을 참조 화상의 후보로부터 제외할 수 있어, 부호화 효율이 향상된다.

여기서, 상술한 바와 같이 설정된 화상의 중요도에 따라 행해지는 화상 부호화 방법에 대해, 도 14를 이용하여 구체적으로 설명한다.

도 14(a)는 각 프레임에 부여되는 번호(픽쳐(프레임) 번호)와, 각 프레임이 메모리 내에 보존될 때의 번호(보존 픽쳐(프레임) 번호)와, 각 프레임이 전송되는 순서를 나타내는 번호(전송 순서)의 관계를 도시하는 설명도이다.

도 14(a)에 있어서, 픽쳐 번호 0의 I 픽쳐는 다른 픽쳐를 참조하지 않으므로 메모리에 보존되고, 보존 픽쳐 번호는 0으로 된다. 다음에 픽쳐 번호 0의 I 픽쳐를 참조하는 픽쳐 번호 2의 P 픽쳐가 메모리에 보존되므로 픽쳐 번호 2의 P 픽쳐에 관한 보존 픽쳐 번호가 1로 된다. 그리고 다음에, 픽쳐 번호 0의 I 픽쳐와 픽쳐 번호 2의 P 픽쳐를 참조하는 픽쳐 번호 1의 B 픽쳐가 메모리내에 보존되기 때문에, 픽쳐 번호 1의 B 픽쳐의 보존 픽쳐 번호가 2로 된다. 각 픽쳐가 전송되는 순서는 메모리에 보존되는 순서로 한다. 동일한 순서로 픽쳐 번호와 보존 픽쳐 번호와 전송 순서의 관계가 결정된다.

다음에, 디코드(복호)하는 픽쳐 번호와, 메모리에 보존되어 있는 픽쳐 번호 및 삭제되는 픽쳐 번호의 관계의 일례에 대해 도 14(b)를 이용하여 설명한다.

도 14(b)는 디코드하는 픽쳐 번호(프레임 번호)와 보존되어 있는 픽쳐 번호(프레임 번호)와 삭제되는 픽쳐 번호(프레임 번호)의 관계를 도시하는 관계도이다. 또한, 여기서는 메모리에 보존할 수 있는 픽쳐의 최대 매수를 5로 한다. 메모리에는 전송 순서에 따라서 픽쳐가 보존되게 된다.

또한, 예를 들면 픽쳐 번호가 4인 P 픽쳐가 디코드될 때에는, 픽쳐 번호가 4인 P 픽쳐의 보존 픽쳐 번호가 3이므로, 보존 픽쳐 번호가 0, 1, 2인 픽쳐가 메모리 상에 보존되게 된다. 디코드하는 픽쳐 번호가 3인 B 픽쳐가 디코드될 때에는, 도 14(b)에 도시하는 바와 같이, 픽쳐 번호가 4, 1, 2, 0인 픽쳐가 보존되어 있다. 여기서, 픽쳐 번호 1의 B 픽쳐는 도 14(a)에 도시하는 바와 같이, 픽쳐 번호 3의 픽쳐를 복호화한 후는 어느 픽쳐로부터도 참조되는 일이 없으므로, 픽쳐 번호가 3인 픽쳐가 디코드된 시점에서 삭제된다.

마찬가지로, 디코드하는 픽쳐 번호가 5인 B 픽쳐가 디코드될 때에는, 도 14(b)에 도시하는 바와같이, 픽쳐 번호가 6, 3, 4, 2, 0인 픽쳐가 보존되어 있다. 여기서, 픽쳐 번호 3의 B 픽쳐는 픽쳐 번호 5의 픽쳐를 복호화한 후에는 어느 픽쳐로부터도 참조되는 일이 없으므로, 픽쳐 번호가 5인 B 픽쳐가 디코드된 시점에서 삭제된다.

또한, 디코드하는 픽쳐 번호가 8인 P 픽쳐가 디코드될 때에는, 도 14(b)에 도시하는 바와 같이, 픽쳐 번호가 5, 6, 4, 2, 0인 픽쳐가 보존되어 있다. 여기서 메모리에는 최대 5 프레임밖에 보존할 수 없으므로, 픽쳐 번호 8인 P 픽쳐를 후에 참조하기 위해서는 픽쳐 번호가 5, 6, 4, 2, 0중 어느 하나의 픽쳐를 삭제하여 픽쳐 번호 8인 P 픽쳐를 기억하는 메모리를 확보하지 않으면 안된다. 따라서, 도 14(b)에 있어서의 삭제하는 프레임의 선택 기준으로서, P 픽쳐의 디코드, 즉 짝수 번호의 픽쳐 번호의 디코드에 있어서는 시간적으로 가장 오래된 픽쳐, 즉 이 경우는 픽쳐 번호가 0인 I 픽쳐를 픽쳐 번호 8의 P 픽쳐를 디코드한 시점에서 삭제한다.

마찬가지로, 디코드하는 픽쳐 번호가 7인 B 픽쳐가 디코드될 때에는 도 14(b)에 도시하는 바와 같이, 픽쳐 번호가 8, 5, 6, 4, 2인 픽쳐가 보존되어 있다. 여기서, 픽쳐 번호 5의 B 픽쳐는 픽쳐 번호 7의 B 픽쳐를 복호화한 후는 어느 픽쳐로부터도 참조되는 일이 없으므로, 픽쳐 번호가 7인 B 픽쳐를 디코드한 시점에서 삭제된다.

또한, 디코드하는 픽쳐 번호가 10인 P 픽쳐가 디코드될 때에는, 도 14(b)에 도시하는 바와같이, 픽쳐 번호가 7, 8, 6, 4, 2인 픽쳐가 보존되어 있다. 여기서, 메모리에는 최대 5 프레임 밖에 보존할 수 없으므로, 픽쳐 번호 10인 P 픽쳐를 후에 참조하기 위해서는 픽쳐 번호가 7, 8, 6, 4, 2중 어느 하나의 픽쳐를 삭제하여 픽쳐 번호 10의 픽쳐를 기억하는 메모리를 확보하지 않으면 안된다. 따라서, 도 14(b)에 있어서의 삭제하는 프레임의 선택 기준으로서, P 픽쳐의 디코드, 즉 짝수 번호의 픽쳐 번호인 픽쳐의 디코드에 있어서는, 시간적으로 가장 오래된 픽쳐 번호가 2인 픽쳐를 픽쳐 번호 10의 P 픽쳐를 디코드한 시점에서 삭제한다.

이와 같이 픽쳐가 삭제될 때에, 디코드되는 픽쳐의 부호화 신호에, 픽쳐를 삭제하기 위한 메모리 관리정보의 코맨드가 부호화되어 부수되어, 전송된다.

상기 도 14(b)에 도시한 예에서는 메모리 내에서 불필요한 화상(픽쳐)이 존재하고, 그 화상을 제거하는 메모리 관리정보의 코맨드를 1회 보내는 예에 대해서 기술했다. 이와 같이, 제거하는 메모리 관리정보의 코맨드를 1회만 보내면, B 픽쳐에 부수하여 보내진 메모리 관리정보의 코맨드를 실행할 수 없을 가능성이 있다. 왜냐하면, B 픽쳐는 P 픽쳐의 부호화·복호화에서 참조되는 화상으로서 이용될 가능성이 낮으므로, 충분한 기억 용량이나 전송 용량을 확보할 수 없는 경우에 B 픽쳐의 데이터가 우선하여 파기될 가능성이 높고, 그 결과 B 픽쳐에 부수하여 보내진 메모리 관리정보의 코맨드를 실행할 수 없을 가능성이 있기 때문이다.

이 문제를 해결하기 위해, 화상을 제거하는 메모리 관리정보의 코맨드를 반복하여 부호화하여 전송하도록 한 예를 설명한다. 이하 도 14(c)에 대해 구체적으로 설명한다.

도 14(c)는 디코드하는 픽쳐 번호(프레임 번호)와 보존되어 있는 픽쳐 번호(프레임 번호)와 삭제되는 픽쳐 번호(프레임 번호)의 다른 관계를 도시한 관계도이다. 도 14(c)에 있어서, 삭제되는 픽쳐 번호의 픽쳐를 삭제하는 코맨드가, 디코드하는 픽쳐 번호의 픽쳐의 부호화 신호에 부수하는 것을 나타낸다.

도 14(c)에 도시하는 바와 같이, 픽쳐 번호가 3인 B 픽쳐가 디코드될 때에는, 픽쳐 번호가 4, 1, 2, 0인 픽쳐가 보존되어 있다. 여기서, 픽쳐 번호 1인 B 픽쳐는 도 14(a)에 도시하는 바와 같이, 픽쳐 번호 3인 픽쳐를 복호화한 후는 어느 픽쳐로부터도 참조되는 일이 없다. 따라서, 픽쳐 번호가 3인 픽쳐가 디코드된 시점에서 픽쳐 번호 1의 B 픽쳐를 삭제하고, 삭제하기 위한 메모리 관리정보의 코맨드가 픽쳐 번호 3의 픽쳐에 부수된다.

그러나, 픽쳐 번호 3인 픽쳐는 B 픽쳐이므로, I 픽쳐나 P 픽쳐와 비교해 화 상 재현의 점에서 전술한 것과 마찬가지로 중요도가 낮고, 송신시에 데이터가 파기되기 쉽기 때문에 픽쳐 번호 3의 B 픽쳐에 부수하여 보내진 메모리 관리정보의 코맨드를 실행할 수 없을 가능성이 있다(도 25에 도시하는 바와같이 프레임이 보존되는 경우).

그래서, 다음에 디코드하는, 픽쳐 번호 3의 B 픽쳐보다 화상 재현의 점에서 중요도가 높은 픽쳐 번호 6의 P 픽쳐에, 픽쳐 번호 3에 부수시킨 픽쳐 번호 1의 픽쳐를 삭제하는 것을 나타내는 메모리 관리정보의 코맨드를 부수시킨다(도 14(c) 참조).

마찬가지로, 픽쳐 번호 8의 P 픽쳐에 픽쳐 번호 5의 B 픽쳐에 부수시킨 메모리 관리정보의 코맨드(픽쳐 번호 3의 픽쳐를 삭제하는 것을 나타내는)를 부수시키고, 픽쳐 번호 10의 P 픽쳐에 픽쳐 번호 7의 B 픽쳐에 부수시킨 메모리 관리정보의 코맨드(픽쳐 번호 5의 픽쳐를 삭제하는 것을 나타낸다)를 부수시킨다. 또, 픽쳐 번호 8의 픽쳐는 P 픽쳐이므로, 도 14(c)에 도시하는 바와 같이, 픽쳐 번호 7의 B 픽쳐에 픽쳐 번호 8의 픽쳐에 부수시킨 메모리 관리정보의 코맨드를 부수시키고 있지 않은데, 부수시켜도 된다.

이상, 도 14(c)에 도시하는 바와 같이, B 픽쳐에 최초에 부수시킨 메모리 관리정보의 코맨드와 동일한 메모리 관리정보의 코맨드를, B 픽쳐보다 화상 재현의 점에서 중요도가 높은 픽쳐이고, 최초에 메모리 관리정보의 코맨드를 부수시킨 B 픽쳐보다 후에 보존 또는 전송되는 픽쳐에, 반복 부수시켰다. 이에 따라, 최초로 메모리 관리정보의 코맨드가 부수된 B 픽쳐가 결락되어도, 메모리 관리정보의 코맨 드를 정상으로 실행할 수 있다.

또, 도 14(c)를 이용하여 설명한 바와같이, B 픽쳐에 메모리 관리정보의 코맨드를 부수시키더라도, 다시 P 픽쳐에 반복 메모리 관리정보의 코맨드를 부수시키는 경우에, 설정된 중요도가 이용된다. 또, 중요도의 설정은 본 실시의 형태에 도시한 것에 한정되지 않는다.

또, 본 실시의 형태에서는 각 화상의 중요도에 따라, 각 화상을 보낼지 보내지 않을지를 정하고, 각 화상에 있어서의 중요도를, 상기 실시의 형태에 나타내는 메모리 관리정보와 같이 각 화상에 부수하여 부호화하는 것은 아니다. 따라서, 본 실시의 형태에서 부호화된 데이터의 복호화 처리는 종래의 방법과 다르지 않다.

(실시의 형태 8)

다음에, 실시의 형태 8에 관해서 설명한다.

본 실시의 형태의 특징은 메모리 내의 전체 화상(픽쳐)을 삭제하고, 메모리 영역의 초기화를 행하는 (메모리 관리정보의) 코맨드를 다수회 부호화하여 전송하는 것이다.

상기 각 실시의 형태에서 도시한 메모리 관리정보는 도 15에 도시하는 것과 같은 코드 정보로서 부여된다.

도 15는 메모리 관리정보의 코맨드를 도시하는 대응도이고, 코드 번호(Code)와, 코맨드의 내용(코맨드)과, 그 부가 정보(부가 정보)를 도시하고 있다.

예를 들면, 단시간 보존 메모리의 불필요한 메모리 영역을 개방하는 코맨드(단시간 보존 메모리 개방)는 코드 정보(Code1)로서 부여되고, 개방하는 픽쳐 번 호(프레임 번호)가 부가 정보로서 부가된다.

또한, 코드 정보는 도 17에 도시하는 각 프레임의 헤더 정보로서 주어진다.

도 17은 각 픽쳐의 부호화 신호에 있어서의 헤더 정보와 프레임 데이터와의 관계를 도시하는 모식도이다. 도 17에 있어서, 각 부호화 신호는 후술하는 프레임(Frm12, Frm11, Frm14)의 부호화 신호를 나타내고 있다. 각 부호화 신호는 헤더 정보를 갖는 프레임 헤더와 화상의 부호화에 관한 프레임 데이터를 구비하고 있다. 예를 들면, 프레임(Frm12)의 부호화 신호는 프레임 헤더(Frm12Hdr)와, 각 데이터(MB12a, MB12b, MB12c, MB12d) 등으로 이루어지는 프레임 데이터를 구비하고 있다.

이 부호화 신호의 상세를 도 18의 모식도에 도시한다.

도 18은 부호화 신호의 헤더 정보에 있어서의 메모리 관리정보의 코맨드를 도시하는 모식도이다.

도 18에 도시하는 바와 같이, 프레임(FrmA)의 부호화 신호는 헤더 정보를 갖는 프레임 헤더(FrmAHdr)와, 각 데이터(MBa, MBb, MBc, MBd) 등으로 이루어지는 프레임 데이터를 구비하고 있다. 그리고, 코맨드의 코드 정보(CodeA)의 다음에 코드 정보(CodeA)의 부가 정보(AddA)가, 계속해서 코드 정보(CodeA)의 코맨드의 다음에 실행되어야 하는 코맨드의 코드 정보(CodeB), 코드 정보(CodeB)의 부가정보(AddB)가 프레임 헤더(FrmAHdr)에 부가된다. 부가정보가 없으면 코드 정보(CodeC)와 같이 코드 정보만이 부가된다.

다음에, 도 16에 코맨드 실행의 순서를 도시한다.

도 16은 코맨드 실행순서를 도시하는 플로우 챠트이다.

도 16에 있어서, 우선 코맨드를 취득하고(단계 C0), 코맨드의 취득이 종료했는지 여부를 판정한다(단계 C1). 코맨드의 취득이 종료하지 않고, 코맨드가 취득되면(단계 C1의 No), 취득한 코맨드의 실행을 하고(단계 C2), 단계 C0으로 되돌아가 동작을 반복한다. 한편, 코맨드의 취득이 종료하고 코맨드가 취득되지 않으면(단계 C1의 Yes), 코맨드 실행의 처리를 종료한다. 이 수속을 프레임마다 행한다. 또, 다수의 대규모 블록으로 이루어지는 슬라이스 단위로 코맨드 정보가 보내지는 경우라도, 상기와 동일한 순서로 코맨드가 실행된다.

그런데, 상기 실시의 형태 1에서는 불필요한 화상을 제거하는 (메모리를 개방하는) 메모리 관리정보의 코맨드에 관해서 설명하였다. 또한, 실시의 형태 1에서는 불필요한 화상을 제거하는 메모리 관리정보의 코맨드를 반복하여 부호화함으로써, 한쪽 메모리 관리정보의 코맨드가 전송로 에러로 소실되어도, 다른 한쪽의 메모리 관리정보의 코맨드로부터 메모리 내에 보존되어 있는 화상의 관리 정보를 복원할 수 있어, 화상을 바르게 복원할 수 있는 가능성이 높아지는 것을 나타냈다.

여기서, 도 15에 도시하는 코드 정보 중, 메모리내의 모든 정보를 제거하는 초기화 코맨드(Code5)에 대해 검토한다.

초기화 코맨드(Code5)가 한번만 보내어질 때, 이 초기화 코맨드 (Code5)가 전송로 에러로 소실되면, 원래 초기화한 후에 행하는 메모리 관리 등의 처리에 영향을 미친다. 따라서, 실시의 형태 1과 같이, 초기화 코맨드(Code5)를 반복하여 부호화하여 전송한 경우에 대해 도 19를 이용하여 설명한다.

도 19는 각 프레임에 부여되는 번호(픽쳐(프레임)번호)와, 각 프레임이 메모리내에 보존될 때의 번호(보존 픽쳐(프레임)번호)와, 각 프레임이 전송되는 순서를 도시하는 번호(전송 순서)의 관계를 도시하는 설명도이다.

이하, 도 19에 대해 구체적으로 설명한다. 우선, 픽쳐 번호 0의 I 픽쳐는 다른 픽쳐를 참조하지 않으므로 메모리에 보존되고, 보존 픽쳐 번호는 0으로 된다. 다음에 픽쳐 번호 0의 I 픽쳐를 참조하는 픽쳐 번호 2의 P 픽쳐가 메모리에 보존되므로 픽쳐 번호 2의 P 픽쳐에 대한 보존 픽쳐 번호가 1로 된다. 그리고, 픽쳐 번호 0의 I 픽쳐와 픽쳐 번호 2의 P 픽쳐를 참조하는 픽쳐 번호 1의 B 픽쳐가 메모리내에 보존되기 때문에, 픽쳐 번호 1의 B 픽쳐의 보존 픽쳐 번호가 2로 된다. 각 픽쳐가 전송되는 순서는 메모리에 보존된 순서로 한다. 동일한 순서로 픽쳐 번호와 보존 픽쳐 번호와 전송 순서의 관계가 결정된다.

도 19에 도시하는 픽쳐 번호 12의 I 픽쳐를 부호화할 때에 도 15에 도시하는 초기화 코맨드(Code5)를 보내기로 한다. 픽쳐 번호 12의 I 픽쳐의 보존 픽쳐 번호는 11이므로, 이 초기화 코맨드(Code5)에 의해, 보존 픽쳐 번호가 10 이하인 픽쳐를 메모리내에서 모두 제거할 수 있다.

여기서, 초기화 코맨드(Code5)를 부호화하는 방법에 대해 도 20을 이용하여 설명한다. 도 20은 초기화 코맨드(Code5)를 부호화하는 방법을 도시하는 플로우 챠트이고, 도 5에 도시하는 화상 부호화 장치(100)가 행하는 동작을 도시하고 있다.

우선, 입력 화상을 부호화한다(단계 A0). 부호화 후에 메모리내의 참조 가 능한 모든 픽쳐가 불필요한지 여부를(이후의 부호화에서 어느 화상도 참조되지 않는지 여부)를 조사(초기화 조사)하고 (단계 A1), 메모리에 격납되어 있던 픽쳐가 이후 참조되지 않고 초기화한 쪽이 좋은지를 판정한다(단계 A2).

초기화한 쪽이 좋으면(단계 A2의 Yes), 메모리 영역을 초기화하는 초기화 코맨드(Code5)를 메모리 관리정보로서 부호화하고(단계 A3), 초기화를 행하여 (단계 A4), 처리를 종료한다. 한편, 초기화의 필요가 없는 경우(단계 A2의 No)는 단계 A3 및 단계 A4의 동작은 행하지 않고, 처리를 종료한다.

다음에 부호화된 초기화 코맨드(Code5)를 복호화하는 방법에 대해 도 21을 이용하여 설명한다.

도 21은 부호화된 초기화 코맨드(Code5)를 복호화하는 방법을 도시한 플로우 챠트로, 도 7에 도시하는 화상 복호화 장치(200)가 행하는 동작을 도시하고 있다.

우선, 메모리 관리정보를 복호화하고 (단계 A10), 부호화 신호로부터 화상신호를 복호화한다(단계 A11). 다음에, 복호화한 메모리 관리정보에 초기화 코맨드(Code5)가 있는지를 판정하고(단계 A12), 초기화 코맨드(Code5)가 있으면(단계 A12의 Yes), 메모리 내에 기억되어 있던 픽쳐를 모두 제거하여 초기화하고(단계 A13), 처리를 종료한다. 단, 이 때, 복호화한 화상(단계 A11에 있어서)은 제거하지 않는다.

한편, 메모리 관리정보에 초기화 코맨드(Code5)가 없으면(단계 A12의 No), 처리를 종료한다.

이하, 도 19를 이용하여 메모리의 초기화를 행하는 방법에 대해 구체적으로 설명한다. 도 19에 도시하는 픽쳐 번호 11의 B 픽쳐에, 픽쳐 번호 12의 I 픽쳐에 부여한 초기화 코맨드(Code5)와 동일한 초기화 코맨드(Code5)를 부여하기로 한다.

도 17에 도시하면, 프레임(Frm12)(픽쳐 번호 12)의 프레임 헤더(Frm12Hdr)와, 프레임(Frm11)(픽쳐 번호 11)의 프레임 헤더(Frm11Hdr)에 초기화 코맨드(Code5)가 부여되게 된다. 초기화 코맨드(Code5)는 도 15에 도시하는 바와 같이 부가 정보를 갖지 않기 때문에, 복호화된 시점에서 메모리내에 보존되어 있는 픽쳐를 전부 제거하게 된다.

따라서, 픽쳐 번호 12(보존 픽쳐 번호 11)의 I 픽쳐에 부여한 초기화 코맨드(Code5)가 전송로 에러로 소실되고, 픽쳐 번호 11(보존 픽쳐 번호 12)의 B 픽쳐에 부여한 초기화 코맨드(Code5)가 실행되면, 보존 픽쳐 번호 11 이전에 복호화된 픽쳐로 메모리에 보존되어 있는 픽쳐가 모두 제거되게 된다. 즉, 원래 제거되어서는 안되는 픽쳐 번호 12(보존 픽쳐 번호 11)의 I 픽쳐까지 제거되게 된다.

이와 같이 픽쳐 번호 11의 B 픽쳐에, 픽쳐 번호 12의 I 픽쳐에 부여한 초기화 코맨드(Code5)와 동일한 초기화 코맨드(Code5)를 부여했을 때는 1매의 픽쳐(픽쳐 번호 12의 I 픽쳐)가 결락되게 된다. 한편, 픽쳐 번호 14(보존 픽쳐 번호 13)의 P픽쳐에, 픽쳐 번호 12(보존 픽쳐 번호 11)의 I 픽쳐에 부여한 초기화 코맨드(Code5)와 동일한 초기화 코맨드(Code5)를 부여하여, 픽쳐 번호 12의 I 픽쳐에 부여한 초기화 코맨드(Code5)가 전송로 에러로 소실되고, 픽쳐 번호 14의 P 픽쳐에 부여한 초기화 코맨드(Code5)가 실행되면, 2매의 픽쳐(픽쳐 번호 11의 B 픽쳐와 픽쳐 번호 12의 I 픽쳐)가 결락되게 된다.

또, 초기화 코맨드(Code5)를 반복하여 부호화하고, 최초에 보낸 초기화 코맨드(Code5)도, 계속해서 보낸 초기화 코맨드(Code5)도, 전송로 에러 없이 실행되는 경우에도, 상기와 같은 문제가 발생한다. 왜냐하면, 최초에 보낸 초기화 코맨드(Code5)에 의해서 초기화되고, 또한 계속해서 보낸 초기화 코맨드(Code5)에 의해 다시 초기화되기 때문이다.

이러한 메모리의 초기화에 있어서의 문제를 해결하기 위한 방법에 대해 설명한다.

도 22에 메모리의 초기화에 있어서의 문제를 해결하기 위해서 이용하는 메모리 관리정보의 코맨드를 도시한다.

도 15와 다른 점은 도 22에서는 새롭게 초기화 재송 코맨드(Code6)를 추가한 점이다. 또한, 이 초기화 재송 코맨드(Code6)는 부가 정보로서 초기화 픽쳐(프레임) 번호(메모리 영역을 초기화하는 초기화 코맨드(Code5)가 부수되는 프레임의 번호)를 갖는다.

이하, 이 초기화 재송 코맨드(Code6)를 이용한 화상 부호화의 처리의 흐름에 대해 도 23을 이용하여 설명한다.

도 23은 초기화 재송 코맨드(Code6)를 이용한 화상 부호화 방법을 도시하는 플로우 챠트이고, 도 5에 도시하는 화상 부호화 장치(100)가 행하는 동작을 나타내고 있다. 도 23에 대해 도 20과 동일한 동작에는 동일한 부호를 붙이고 있다.

우선, 입력 화상을 부호화한다(단계 A0). 부호화후에 메모리내의 모든 픽쳐가 불필요한지 여부(이후의 부호화로 어느 화상도 참조되지 않는지 여부)를 조사 (초기화 조사)한다(단계 A1). 메모리 정보 제어부(101)가 초기화가 필요한지를 판정하고(단계 A2), 초기화가 필요하면(단계 A2의 Yes), 관리정보 부호화부(105)가 메모리 영역을 초기화하는 초기화 코맨드(Code5)를 메모리 관리정보로서 부호화하여(단계 A3), 초기화를 행한다(단계 A4). 초기화가 필요 없는 경우(단계 A2의 No)는 단계 A3 및 단계 A4의 동작은 행하지 않는다.

다음에, 메모리 정보 제어부(101)가 직전에 부호화한 화상(부호화 대상보다 전의 화상)의 부호화 신호에 부수하여 메모리 영역을 초기화하는 초기화 코맨드(Code5)를 메모리 관리정보로서 부호화하고 있는지 여부를 판정하고(단계 A30), 부호화하고 있으면(단계 A30의 Yes), 관리정보 부호화부(105)가, 그 메모리 영역을 초기화하는 초기화 재송 코맨드(Code6)를 메모리 관리정보로서 부호화하여(단계 A31), 처리를 종료한다.

또한, 직전에 부호화한 화상(부호화 대상보다 전의 화상)의 부호화 신호에 부수하여 메모리 영역을 초기화하는 초기화 코맨드(Code5)가 메모리 관리정보로서 부호화되어 있지 않으면(단계 A30의 No), 처리를 종료한다.

또, 도 23에 도시하는 방법에서는, 직전에 부호화한 화상의 부호화 신호에 부수하여 메모리 영역을 초기화하는 초기화 코맨드(Code5)가 부호화되어 있는 경우에, 다시 초기화 재송 코맨드(Code6)를 부호화한다고 했는데, 직전이 아니라 몇 화상전에 부호화한 화상의 부호화에 부수하여 메모리 영역을 초기화하는 초기화 코맨드(Code5)가 부호화되어 있는 경우에, 다시 초기화 재송 코맨드(Code6)를 부호화해도 되고, 또한 다수의 화상에 부수하여, 메모리 영역을 초기화하는 초기화 재송 코 맨드(Code6)를 메모리 관리정보로서 반복 부호화해도 된다.

구체적으로는 도 19에 도시하는 바와 같이 픽쳐 번호 12의 I 픽쳐의 부호화에 부수하여 초기화 코맨드(Code5)를 부호화하는 경우, 픽쳐 번호 11의 B 픽쳐의 부호화에 부수하여 초기화 재송 코맨드(Code6)를 부호화해도 되고, 또한 픽쳐 번호 14의 P 픽쳐의 부호화에 부수하여 초기화 재송 코맨드(Code6)를 부호화해도 된다.

전자의 경우, 도 17에 도시하면, 프레임(Frm12)의 프레임 헤더(Frm12Hdr)에 초기화 코맨드(Code5)가 부여되고, 또한 프레임(Frm11)의 프레임 헤더(Frm11Hdr)에 초기화 재송 코맨드(Code6)가 부여된다, 또한, 후자의 경우, 프레임(Frm12)의 프레임 헤더(Frm12Hdr)에 초기화 코맨드(Code5)가 부여되고, 프레임(Frm14)의 프레임 헤더(Frm14Hdr)에 초기화 재송 코맨드(Code6)가 부여되게 된다.

또한, 픽쳐 번호 11의 B 픽쳐의 부호화에 부수하여 초기화 재송 코맨드(Code6)를 부호화함과 동시에, 픽쳐 번호 14의 P 픽쳐의 부호화에도 부수하여 초기화 재송 코맨드(Code6)를 부호화하도록 해도 된다. 이 경우, 도 17에 도시하면, 프레임(Frm12)의 프레임 헤더(Frm12Hdr)에 초기화 코맨드(Code5)가 부여되고, 프레임(Frm11)의 프레임 헤더(Frm11Hdr)와, 프레임(Frm14)의 프레임 헤더(Frm14Hdr)에 초기화 재송 코맨드(Code6)가 부여된다.

다음에, 상기 초기화 재송 코맨드(Code6)가 부호화된 데이터를 복호화할 때의 처리에 대해 도 24를 이용하여 설명한다. 도 24는 부호화된 초기화 재송 코맨드(Code6)를 복호하는 방법을 도시하는 플로우 챠트이고, 도 7에 도시한 화상 복호화 장치(200)의 동작을 도시하고 있다. 도 24에 대해 도 21과 동일한 동작에는 동 일한 부호를 붙이고 있다.

우선, 관리정보 복호화부(205)가 메모리 관리정보를 복호화한다(단계 A10). 그리고, 부호화 신호로부터 화상 신호를 복호화한다(단계 A11).

복호화한 메모리 관리정보에 초기화 코맨드(Code5)가 있는지를 판정하고(단계 A12), 초기화 코맨드(Code5)가 있으면(단계 A12의 Yes), 메모리내의 픽쳐를 모두 제거하여 초기화하고(단계 A13), 초기화 코맨드(Code5)가 없으면(단계 A12의 No), 초기화를 행하지 않는다.

다음에, 메모리 정보 제어부(101)가 메모리 관리정보에 초기화 재송 코맨드(Code6)가 있는지를 판정한다(단계 A40). 초기화 재송 코맨드(Code6)가 없으면(단계 A40의 No) 처리를 종료하고, 초기화 재송 코맨드(Code6)가 있으면(단계 A40의 Yes), 초기화가 완료되었는지 여부를 조사한다(단계 A41). 초기화가 완료되어 있으면(단계 A41의 Yes) 처리를 종료하고, 초기화가 되어 있지 않으면(단계 A41의 No), 초기화 재송 코맨드(Code6)의 부가 정보에 의거해, 초기화 프레임(메모리 영역을 초기화하는 초기화 코맨드(Code5)가 부수되는 프레임) 이전의 보존 프레임(초기화 프레임의 부호화 시점에서 참조용 화상 메모리에 격납되어 있는 프레임)을 삭제하고, 또한 장시간 보존 메모리 사이즈를 0으로 하여 (단계 A42) 처리를 종료한다. 또, 장시간 보존 프레임을 사용하지 않은 경우는 장시간 보존 메모리 사이즈를 0으로 할 필요는 없다.

따라서, 도 19에 도시되는 픽쳐 번호 12의 픽쳐에 초기화 코맨드(Code5), 픽쳐 번호 14에 초기화 재송 코맨드(Code6)가 부수하여 부호화된 경우, 초기화 코맨 드(Code5)가 전송로 에러로 소실되지 않은 경우는, 초기화 코맨드(Code5)에 의해, 초기화 코맨드(Code5)가 전송로 에러로 소실한 경우는 초기화 재송 코맨드(Code6)에 의해, 보존 픽쳐 번호가 10이하인 픽쳐로 메모리에 보존되어 있는 픽쳐가 모두 삭제되게 된다.

이와 같이, 초기화 코맨드(Code5)를 반복 부호화하여 전송할 때에, 2회째 이후는 부가 정보인 초기화 픽쳐 번호가 부가된 초기화 재송 코맨드(Code6)를 부호화하여 전송하기 때문에, 그 부가 정보에 따라서 초기화 프레임 이전의 보존 프레임(최초에 초기화 코맨드(Code5)가 부수하는 초기화 프레임의 부호화 시점에서 참조용 화상 메모리에 격납되어 있는 프레임)이 삭제되게 된다. 이 때문에, 필요한 화상(픽쳐)이 결락되는 상술한 문제를 해결할 수 있다.

또한, 도 25와 같이 도 19와 다른 보존 픽쳐 번호를 붙이는 경우라도, 상기에서 설명한 초기화 재송 코맨드(Code6)는 유효하다.

이하, 구체적으로 설명한다.

도 25는 각 프레임에 부여되는 번호(픽쳐(프레임) 번호)와, 각 프레임이 메모리내에 보존될 때의 번호(보존 픽쳐(프레임) 번호)와, 각 프레임이 전송되는 순서를 도시하는 번호(전송 순서)에 있어서의 다른 관계를 도시하는 설명도이다.

이들 번호를 붙이는 방법에 대해 설명한다. 우선, 픽쳐 번호 0의 I 픽쳐는 다른 픽쳐를 참조하지 않으므로 메모리에 보존되고, 보존 픽쳐 번호는 0으로 된다. 다음에 픽쳐 번호 0의 I 픽쳐를 참조하는 픽쳐 번호 2의 P 픽쳐가 메모리에 보존되기 때문에 픽쳐 번호 2의 P 픽쳐에 관한 보존 픽쳐 번호가 1로 된다. 그리고, 픽 쳐 번호 0의 I 픽쳐와 픽쳐 번호 2의 P 픽쳐를 참조하는 픽쳐 번호 1의 B 픽쳐가 메모리내에 보존되는데, 이 B 픽쳐는 다른 픽쳐로부터 참조되는 일이 없으므로, 보존 픽쳐 번호는 직전에 보존된 픽쳐 번호 2의 P 픽쳐의 보존 픽쳐 번호와 마찬가지로 1로 된다. 각 픽쳐가 전송되는 순서는 메모리에 보존된 순서로 한다. 동일한 순서로 픽쳐 번호와 보존 픽쳐 번호와 전송 순서의 관계가 결정된다.

도 25에 도시하는 바와같이, 픽쳐 번호 12의 I 픽쳐를 부호화할 때에 도 15에 도시하는 초기화 코맨드(Code5)를 부수하여 보내기로 한다. 픽쳐 번호 12의 I 픽쳐의 보존 픽쳐 번호는 6이므로, 이 초기화 코맨드(Code5)에 의해, 보존 픽쳐 번호가 5이하의 픽쳐를 메모리내에서 모두 제거할 수 있다.

여기서, 초기화 코맨드(Code5)를 반복 부호화하는 경우, 구체적으로는 픽쳐 번호 14의 P 픽쳐에 픽쳐 번호 12의 I 픽쳐에 부여한 초기화 코맨드(Code5)와 동일한 초기화 코맨드(Code5)를 부여하는 경우에 대해 설명한다.

초기화 코맨드(Code5)는 도 15에 도시하는 바와같이 부가 정보를 가지지 않으므로, 복호화된 시점에서 참조용 메모리 내에 보존되어 있는 픽쳐를 전부 제거하게 된다. 따라서, 픽쳐 번호 12(보존 픽쳐 번호 6)의 I 픽쳐에 부여한 초기화 코맨드(Code5)가 전송로 에러로 소실되고, 픽쳐 번호 14(보존 픽쳐 번호 7)의 P 픽쳐에 부여한 초기화 코맨드(Code5)가 실행되면, 보존 픽쳐 번호 6이하의 픽쳐로 메모리에 보존되어 있는 픽쳐가 모두 제거되게 된다. 즉, 원래 제거되어서는 안되는 픽쳐 번호 12(보존 픽쳐 번호 6)의 I 픽쳐까지 제거되게 된다.

그러나, 초기화 코맨드(Code5) 대신에 상기 초기화 재송 코맨드(Code6)를 픽 쳐 번호 14의 P 픽쳐에 부수시킴으로써, 픽쳐 번호 12의 I 픽쳐에 부수한 초기화 코맨드(Code5)가 전송로 에러로 소실하지 않은 경우는 초기화 코맨드(Code5)에 의해, 초기화 코맨드(Code5)가 전송로 에러로 소실한 경우는 픽쳐 번호 14의 P 픽쳐에 부수한 초기화 재송 코맨드(Code6)에 의해서, 보존 픽쳐 번호가 5이하의 픽쳐로 메모리에 보존되어 있는 픽쳐가 모두 삭제되게 된다.

즉, 초기화 재송 코맨드(Code6)에는 부가 정보로서 초기화 프레임(이 경우, 픽쳐 번호 12) 번호가 부가되어 있으므로, 초기화 프레임 이전의 보존 프레임(초기화 프레임을 저장하는 시점에서 참조용 화상 메모리에 격납되어 있는 보존 픽쳐 번호가 5이하인 보존 프레임)이 삭제된다.

이상과 같이, 부가 정보를 갖는 초기화 재송 코맨드(Code6)에 의해, 초기화 코맨드(Code5)가 전송로 에러로 결락된 경우라도 초기화를 정상으로 실행할 수 있는 가능성이 높아진다. 또한, 본 실시의 형태에서 도시한 초기화 재송 코맨드로, 부가 정보를 초기화 재송 코맨드가 부수된 픽쳐 번호로 한 것을 초기화 코맨드로서 대용하여, 도 22에 도시하는 Code5와 Code6를 1개의 코맨드로 실현하도록 해도 된다. 이는 초기화 정보의 재송을 위해 초기화 재송을 할 때에는, 초기화 코맨드가 부수된 프레임의 번호를 지정하기 위해, 해당 프레임을 재송하는 것과 동일한 픽쳐 번호는 이용되지 않기 때문이다. 이 때, 초기화 코맨드(Code5)는 무효로 해도 된다.

또, 이와 같이 1 코맨드로 상기 실시의 형태에서 나타낸 초기화 재송 코맨드와 초기화 코맨드(Code5)를 실현하는 경우, 상기 실시의 형태에서 나타낸 초기화 재송 코맨드에서는 이용되지 않는 특별한 값을 부가 정보로서 가진 초기화 재송 코맨드를 가지고, 최초에 보내는 초기화 코맨드(Code5)와 동일한 기능을 갖는 코맨드로 해도 된다.

또한, 상기 각 실시의 형태에서 설명한 바와 같이, 불필요하게 된 메모리 영역을 개방하는 코맨드나 초기화 코맨드 등의 메모리 관리정보가 다시 전송될 때에, 도 17 및 도 18에 도시하는 바와 같이 화상의 부호화에 관한 프레임 데이터에 부가된 헤더 정보에 포함되어 전송되는 것이 아니라, 메모리 관리정보가 포함된 헤더 정보가 프레임 데이터와는 별도로 분리하여 전송되어도 된다. 즉, 재송하는 상술의 코맨드가 부호화된 픽쳐와 동일한 스트림에 있지 않고, 예를 들면 별도의 스트림으로서 전송하도록 해도 된다. 또한, 축적 미디어의 별도의 영역에 기록되어도 된다.

또한, 본 실시의 형태에서는 초기화 코맨드를 재송할 때에 초기화 재송 코맨드에, 초기화 코맨드를 최초에 부수시킨 픽쳐의 픽쳐 번호(초기화 프레임 번호)를 부가 정보로서 부가시켰는데, 상술한 각 실시의 형태에서 나타낸, 개방하는 메모리 영역을 나타내는 코맨드나 단시간 보존 메모리로부터 장시간 보존 메모리로 이동하는 대상의 픽쳐를 지정하는 코맨드 등의 메모리 관리정보의 코맨드를 재송할 때에도, 최초에 그 코맨드를 부수시켜 전송한 부호화 대상 픽쳐의 픽쳐 번호(픽쳐를 특정하는 정보)를 파라미터로서 포함시켜 전송해도 되는 것은 당연하다. 이와 같이 함으로써, 어느 픽쳐를 전송할 때에 전송 에러가 발생했는지를 검출할 수 있다.

(실시의 형태 9)

다음에, 실시의 형태 9에 있어서의 화상 부호화 방법 및 화상 복호화 방법에 대해서 설명한다. 본 실시의 형태의 특징은 메모리 관리정보를 다수회 전송할 때에, 2회째 이후에 전송된 메모리 관리정보에 의거하는 처리의 타이밍을 변경하는 것이다.

상기 실시의 형태에서 나타낸 메모리 관리정보를 반복 부호화한 데이터를 복호화할 때, 반복하여 보내진 메모리 관리정보의 처리를 하기 전에 반드시 메모리 관리정보를 부수시킨 화상신호를 복호화하고 있다. 구체예로서 실시의 형태 2에서 설명한, 불필요한 메모리 영역을 개방하는 코맨드를 다수회 전송한 경우에 대해 도 19를 이용하여 다시 설명한다.

도 19에 도시한 픽쳐 번호 12의 픽쳐에 도 22에 도시하는 Code1의 코맨드를 부수시켜 부호화시키고, 또한 픽쳐 번호 11의 픽쳐에도 Code1의 코맨드를 부수시켜 부호화시키기로 한다. 이 때, 복호화는 도 8에 따라서 이루어진다.

우선, 픽쳐 번호 12의 픽쳐에 부수된 Code1이 복호화된다(단계 110). 다음에 픽쳐 번호 12의 픽쳐가 복호화된다(단계 111). 여기서, 본래 픽쳐 번호 12의 픽쳐에 부수되어 있어야 하는 Code1이 전송 도중에 결락되면(단계 112의 No), 이 프레임에 관한 처리가 종료한다.

전송 순서로 픽쳐 번호 12의 픽쳐의 다음에 복호화 처리되는 것은 픽쳐 번호 11의 픽쳐이다.

우선, 픽쳐 번호 11의 픽쳐에 부수하여 부호화된 Code1이 복호화된다(단계 110). 다음에 픽쳐 번호 11의 픽쳐가 복호화된다(단계 111). 이 Code1이 전송 도 중에 결락되지 않고 전송된 경우, 복호화된 메모리 관리정보에 메모리 개방의 코맨드인 Code1이 존재하므로(단계 112의 Yes), 다음 처리(단계 113)에 도달한다.

여기서, 픽쳐 번호 11의 픽쳐가 복호화되기 전에 복호화된 픽쳐 번호 12의 픽쳐를 복호화했을 때에 메모리 개방이 이루어져 있지 않으므로(단계 113의 No), 메모리 개방처리가 이루어진다(단계 114).

상기 구체예에서 도시한 바와 같이, 불필요한 메모리 영역을 개방하는 코맨드를 다수회 전송하는데 따라, 본래 최초의 코맨드 실행이 되지 않은 픽쳐(픽쳐 번호 12)에 대해 실행해야할 코맨드의 실행이, 후에 보내지는 픽쳐(픽쳐 번호 11)의 화상 신호의 복호화 처리후로 되어, 코맨드 실행의 지연이 발생한다.

따라서, 본 실시의 형태에 있어서는, 상기 과제를 해결하기 위한 방법에 대해 도 26, 도 27 및 도 28을 이용하여 설명한다.

도 26은 본 실시의 형태에서 이용하는 메모리 관리정보와 코맨드의 관계를 도시하는 대응도이다.

도 26에 있어서, Code는 코맨드의 번호를, 코맨드는 코맨드의 내용을, 부가정보는 코맨드에 부가되는 부가정보를, 처리위치는 코맨드를 실행하는 타이밍을 도시하고 있다.

도 15와 다른 점은 도 26에서는 CodeA1으로부터 CodeA4까지를 화상의 복호화 처리후에 실행하는 코맨드로 하는 한편, CodeA1으로부터 CodeA4에 대응한 CodeA6로부터 CodeA9까지를 화상의 복호화 처리전에 실행하는 코맨드로 한 점이다.

그리고, 반복하여 메모리 관리정보를 보내는 경우, 최초에 부호화하는 메모 리 관리정보의 코맨드를, 처리위치가 복호화후의(화상의 복호화 후에 실행하는) 코맨드(CodeA1에서 CodeA4)로 하고, 반복 (2회째 이후에) 부호화하는 코맨드를, 처리위치가 복호화전의(화상의 복호화 전에 실행하는) 코맨드(CodeA6로부터 CodeA9)로 한다.

이에 따라, 최초에 보내진 메모리 관리정보가 결락된 경우라도, 원래 최초에 보내진 메모리 관리정보로 실행해야 할 코맨드가, 빠른 시기에 실행되어, 지연 등의 문제가 일어나기 어렵게 할 수 있다.

이하, 도 26의 코맨드를 이용할 때의 처리 순서에 대해 도 27및 도 28을 이용하여 설명한다.

도 27은 본 실시의 형태에 있어서의 화상 부호화 방법을 도시하는 플로우 챠트로, 도 5에 도시한 화상 부호화 장치(100)의 동작을 도시하고 있다.

도 27에 있어서, 우선, 화상이 부호화된다(단계 B0). 부호화후에 메모리내에서 불필요한 영역(이후의 부호화로 참조되지 않는 화상)을 조사하고 (단계 B1), 불필요한 메모리 영역이 있는지 판정한다(단계 B2). 불필요한 메모리 영역이 있으면(단계 B2의 Yes), 불필요한 메모리 영역을 개방하는 코맨드를 화상 신호의 복호화후에 실행하는 것으로 하여, 복호화후(後) 용 메모리 관리정보를 부호화하여(단계 B3), 그 불필요한 메모리 영역을 개방한다(단계 B4). 한편, 불필요한 메모리 영역이 없는 경우(단계 B2의 No)는 단계 B3 및 단계 B4의 동작은 행하지 않는다.

다음에, 메모리 정보 제어부(101)가 직전에 부호화한 화상(부호화 대상보다 전의 화상)의 부호화에 부수하여 불필요한 메모리 영역을 개방하는 코맨드를 메모 리 관리정보로서 부호화하고 있는지를 판정한다(단계 B30). 부호화하고 있지 않으면(단계 B30의 No) 처리를 종료하고, 부호화하고 있으면(단계 B30의 Yes), 관리정보 부호화부(105)가 그 불필요한 메모리 영역을 개방하는 코맨드를 화상신호의 복호화의 전에 실행하는 것으로 하여 복호화전(前) 용 메모리 관리정보를 부호화하여 (단계 B31), 처리를 종료한다.

또, 단계 B30에서 직전에 부호화한 화상의 부호화 신호에 부수하여, 불필요한 메모리 영역을 개방하는 코맨드가 부호화되어 있는 경우에, 다시 코맨드를 부호화한다고 했는데, 직전의 화상에 부수하고 있는 경우가 아니라, 몇 화상전의 화상에 부수하고 있는 경우라도 되고, 또한, 상기 코맨드를 반복하여 메모리 관리정보로서 부호화하고, 다수의 화상에 부수하여 전송시켜도 된다.

다음에 도 27의 순서에 따라서 부호화된 데이터를 복호화하는 순서에 대해 도 28과 도 19를 이용하여 설명한다.

도 28은 본 실시의 형태에 있어서의 화상 복호화 방법을 도시하는 플로우 챠트로, 도 7에서 도시한 화상 복호화 장치(200)가 행하는 동작을 도시하고 있다.

이하의 설명에 있어서, 도 19에서는 픽쳐 번호 12의 픽쳐에 도 26에 도시하는 CodeA1의 코맨드가 부수하여 부호화되어 있고, 또한 픽쳐 번호 11의 픽쳐에 CodeA6의 코맨드를 부수시켜 부호화되어 있는 것으로 한다. 도 17에 도시하면, 픽쳐 번호 12의 프레임(Frm12)의 프레임 헤더(Frm12Hdr)에 CodeA1가 부여되고, 픽쳐 번호 11의 프레임(Frm11)의 프레임 헤더(Frm11Hdr)에 CodeA6가 부여되게 된다.

또한, 화상 복호화 장치에서는 전송로 에러로 코맨드가 소실되지 않는 한, 다수회 메모리 내의 동일한 화상의 영역을 개방하는 코맨드가 수신되게 된다. 따라서, 화상 복호화 장치가 행하는 화상 복호화 방법에서는 이미 개방한 화상을 다시 개방하는 코맨드를 수신한 경우라도 에러로서 처리를 하지 않고, 반대로 바르게 수신되어 있는 것으로 판단하지 않으면 안된다.

우선, 픽쳐 번호 12의 픽쳐에 관한 복호화 처리에 대해 설명한다.

도 28에 있어서, 우선, 픽쳐 번호 12의 픽쳐의 메모리 관리정보를 복호화하고(단계 B5), 이 메모리 관리정보가 복호화전(前) 용 메모리 관리정보인지 여부를 조사한다(단계 B7). 여기서 이 메모리 관리정보(CodeA1)는 복호화후(後) 용 메모리 관리정보이므로(단계 B7의 No), 픽쳐 번호 12의 화상 신호가 복호화된다. 그리고, 상술한 바와같이 메모리 관리정보(CodeA1)는 복호화후 용 메모리 관리정보이므로(단계 B9의 Yes), 메모리가 개방되어(단계 B11), 픽쳐 번호 12의 픽쳐의 메모리 관리정보에 관한 처리는 종료한다.

한편, 메모리 관리정보의 CodeA1가 결락되어 있을 때, 단계 B7에서 복호화전 용 메모리 관리정보라고 판단되지 않고(단계 B7의 No), 또한, 단계 B9에 있어서도 복호화후 용 메모리 관리정보라고 판단되지 않고(단계 B9의 No), 픽쳐 번호 12의 화상 신호의 복호화만이 이루어지고(단계 B6), 픽쳐 번호 12의 메모리 관리정보에 관한 처리는 종료한다.

다음에, 픽쳐 번호 11의 프레임에 관한 복호화 처리에 대해 도 28을 이용하여 설명한다.

우선, 픽쳐 번호 11의 메모리 관리정보를 복호화하고(단계 B5), 이 메모리 관리정보가 복호화전 용 메모리 관리정보인지를 조사한다(단계 B7). 여기서 CodeA6은 복호화전 용 메모리 관리정보이므로(단계 B7의 Yes), 메모리가 개방 완료인지를 조사한다(단계 B8). 픽쳐 번호 12의 처리에 있어서, CodeA1가 실행되어 있으면 메모리 개방 완료이므로(단계 B8의 Yes), 메모리 개방처리(단계 B10)를 행하지 않고, 픽쳐 번호 11의 화상 신호의 복호화가 이루어진다(단계 B6). 그리고, 메모리 관리정보가 복호화후 용인지 판정되는데(단계 B9), CodeA6은 복호화전 용 메모리 관리정보이므로(단계 B9의 No), 픽쳐 번호 11의 픽쳐의 메모리 관리정보에 관한 처리는 종료한다.

그러나, 전송 과정에서의 패킷의 결락 등으로 픽쳐 번호 12의 메모리 관리정보가 결락되고, 픽쳐 번호 12에 관한 처리에 있어서, 메모리 개방이 이루어져 있지 않으면, 픽쳐 번호 11에 관한 처리에 있어서, 메모리 개방 완료가 아니라고 판정되고(단계 B8의 No), 다음 단계에서 메모리 개방된다(단계 B10). 메모리 개방된 후, 픽쳐 번호 11의 화상 신호는 복호화된다(단계 B6). 그리고, CodeA6은 복호화전 용 메모리 관리정보이므로(단계 B9의 No), 픽쳐 번호 11의 픽쳐의 메모리 관리정보에 관한 처리는 종료한다.

이와 같이 재송분에 대해서는 화상 신호의 복호화보다 전에 코맨드가 실행되도록 함으로써, 최초에 보낸 코맨드가 결락되어도, 코맨드의 실행의 지연을 적게 할 수 있다.

또, 구체예로서 메모리 관리정보가 CodeA1과 CodeA6인 경우에 대해 설명했는데, CodeA2과 CodeA7를 이용하는 경우라도 동일한 처리로 실현 가능하고, CodeA3와 CodeA8, CodeA4와 CodeA9를 이용하는 경우라도 동일한 처리로 실현 가능하다.

또한, 도 26에 도시하는 초기화 코맨드 CodeA5를 복호화후 용 메모리 관리정보로 하고, 도 22에 도시하는 초기화 재송 코맨드(Code6)를 복호화전 용 메모리 관리정보로 하여, 각각을 쌍으로 사용하는 것도 가능하다.

또한, 1프레임에 1개의 복호화후 용 메모리 관리정보와 다수의 복호화전 용 메모리 관리정보가 헤더 정보로서 부여되어 있는 경우, 다수의 복호화전 용 메모리 관리정보가 복호화후 용 메모리 관리정보보다 먼저 처리되도록 하면 된다.

즉, 도 17에 도시하는 헤더 정보의 선두쪽에 복호화전 용 메모리 관리정보를 부여하여 부호화하도록 하면 된다.

또한, 도 29(a)와 도 29(b)에 도시하는 명령의 조합에 의해, 메모리 관리정보가 복호전용 관리정보인지 복호화후 용 관리정보인지를 별도의 정보로 하여, 상기 실시의 형태에 도시한 코맨드를 실현해도 된다.

도 29(a)는 코맨드의 내용과 부가정보를 도시하는 대응도이다. 도29(b)는 코맨드의 실행 타이밍(처리 위치)을 도시하는 대응도이다.

도 30은 부호화 신호의 헤더 정보에 있어서의 메모리 관리정보의 코맨드를 도시하는 모식도이다.

도 30에서 프레임(FrmB)의 부호화 신호는 프레임 헤더(FrmBHdr)와, MBa, MBb 등의 프레임 데이터 등을 가지고 있고, 프레임 헤더(FrmBHdr)는 헤더 정보로서, 코드 정보(CodeD) 등을 가지고 있다.

이 때, 예를 들면 도 30에 도시하는 바와 같이, 프레임(FrmB)의 프레임 헤 더(FrmBHdr)를 선두로부터 코맨드의 코드 정보(CodeD), 처리위치를 나타내는 FlagD, 코맨드의 부가정보를 나타내는 부가정보(AddD)로 하면 된다. 부가정보가 없는 경우는 도 30에 도시하는 바와 같이 코맨드의 CodeE, 처리위치를 나타내는 FlagE가 프레임 헤더(FrmBHdr)에 부가되면 된다. 코맨드를 나타내는 Code의 직후에 부가정보를 나타내는 Add로 하지 않고 처리위치를 나타내는 Flag로 함으로써, 도 28에 도시하는 단계 B7이나 단계 B9의 처리를 최적화할 수 있다.

또한, 코맨드의 실행 타이밍이 화상 신호의 복호전과 복호후 중 어느 쪽인지를 구별하기 위해서, 코맨드의 처리 위치를 나타내는 새로운 코맨드를 이용하여, 그 처리위치를 나타내는 코맨드의 프레임 헤더에서의 위치보다 전에 위치하는 코맨드는 복호화후에 실시, 그 처리위치를 나타내는 코맨드의 프레임 헤더에서의 위치보다 후에 위치하는 코맨드는 복호화전에 실시하도록 해도 된다. 이에 따라, 다수 코맨드가 있을 때에, 각각의 코맨드의 실행 타이밍(처리 위치)을 1개의 코맨드로 나타낼 수 있고, 코맨드마다 처리위치를 나타내는 Flag를 송부하는 경우에 비교해 송부 정보가 감소하고, 부호화 효율이 향상된다.

구체예를 도 31을 이용하여 설명한다.

도 31은 다른 부호화 신호의 헤더 정보에 있어서의 메모리 관리정보의 코맨드를 나타내는 모식도이다.

도 31에서, 프레임(FrmC)의 부호화 신호는 프레임 헤더(FrmCHdr)와, MBa, MBb 등의 프레임 데이터 등을 가지고 있고, 프레임 헤더(FrmCHdr)는 헤더정보로서, 앞에서부터 순서대로 코맨드(CodeF), 코맨드(dif), 코맨드(CodeG), 부가정 보(AddG), 코맨드(CodeH)가 위치하고 있다.

그리고, 처리위치를 나타내는 코맨드(dif)가 프레임 헤더(FrmCHdr)에 있는지 여부가 판별되고, 처리 위치를 나타내는 코맨드(dif)보다 전에 있는 코맨드(CodeF)는 프레임(FrmC)의 복호화후에 실행되고, 코맨드(dif)보다 후에 있는 코맨드(CodeG)나 코맨드(CodeH)는 프레임(FrmC)의 복호화전에 실행되도록 해도 좋다. 이 경우, 처리위치를 나타내는 코맨드(dif)가 없으면, 프레임 헤더(FrmCHdr) 내의 모든 코맨드는 프레임(FrmC)의 복호화 처리후에 실행되게 된다.

또한, 상기 각 실시의 형태에서 설명한 바와 같이, 불필요하게 된 메모리 영역을 개방하는 코맨드나 초기화 코맨드 등의 메모리 관리정보가 다시 전송될 때, 화상의 부호화 신호에 부가된 헤더 정보에 포함되어 전송되지 않고, 메모리 관리정보가 포함된 헤더 정보가 화상의 부호화 신호와는 별도로 분리되어 전송되어도 된다. 즉, 재송하는 상술의 코맨드가, 부호화된 픽쳐와 동일한 스트림에 있지 않고, 예를 들면 별도의 스트림으로서 전송하도록 해도 된다. 또한, 축적 미디어의 별도의 영역에 기록되어도 된다.

(실시의 형태 10)

다음에, 본 발명의 실시의 형태 10에 대해 설명한다.

본 실시의 형태에서는 상기 각 실시의 형태와 부호화를 행하는 단위가 다르다. 즉, 상기 실시의 형태 1에서 불필요한 메모리 영역을 개방하는 코맨드를 다수회 전송할 때, 상기 코맨드에 상당하는 도 5에 도시되는 메모리 관리정보 스트림(CtlStr)과 화상 부호화 스트림(VideoStr)은 화상(픽쳐) 단위로 부호화되어 있지 만, 본 실시의 형태에서는 도 32에 도시하는 스트림 구조와 같이 1프레임을 슬라이스 단위로 부호화해도 된다.

슬라이스 단위로 부호화한다는 것은 도 32의 프레임 1의 슬라이스 1이 헤더 1-1, CtlStr1, VideoStr1-1을 가지고, 프레임 1의 슬라이스 2가 헤더1-2, CtlStr1, VideoStr1-2를 가지도록, 각 프레임이 갖는 슬라이스마다 헤더, 메모리 관리정보 스트림(CtlStr), 화상 부호화 스트림(VideoStr)을 부호화하는 것이다. 화상 부호화 장치로 부호화후, 화상 부호화 장치는 데이터 스트림을 출력한다. 또, 슬라이스는 동기 복귀 단위이고, 한개 또는 다수의 블록으로 이루어지는 띠형상의 영역이며, 다수의 슬라이스로부터 픽쳐가 구성된다. 또한, 픽쳐는 1매의 화상에 대응하는 기본적 부호화 단위이고, 블록은 부호화·복호화의 기본 단위이다.

또한, 상기와 같이 메모리 관리정보 스트림(CtlStr)을 다수회 전송할 때의 내용은 동일 프레임내에서 동일의 정보로 한다. 동일의 정보로 함으로써, 이 메모리 관리정보 스트림(CtlStr)의 슬라이스 단위에서의 부가를 생략할 수 있다. 예를 들면, 슬라이스의 헤더에 다수회의 전송이 해당 슬라이스에서는 생략되어 있는지 여부를 나타내는 정보를 부가하고, 상기 코맨드를 다수회 전송하는 것이 해당 슬라이스에서 생략되어 있을 때에는 「0」을, 상기 코맨드가 해당 슬라이스에서 전송될 때(생략되어 있지 않을 때)에는 「1」을 부가한다. 구체적으로 도 33(a)에 일례를 나타내고, 이하 설명한다. 프레임 1에 있어서의 슬라이스 1부터 슬라이스 3에 있어서의 헤더 및 화상 부호화 스트림(VideoStr)은 각각 다르다. 한편, 슬라이스 1 및 슬라이스 2에서는 동일한 메모리 관리정보 스트림(CtlStr1)을 가지고, 동일 프 레임에 있어서의 다수의 슬라이스에서 동일한 메모리 관리정보 스트림(CtlStr1)이 부호화되어 있는 것을 나타내는 정보 「1」을 슬라이스 1 및 슬라이스 2가 각각 갖는다. 또한, 슬라이스 3은 메모리 관리정보 스트림(CtlStr1)을 생략하고 있는 것을 나타내는 정보 「0」을 가진다. 이에 따라, 다수회 전송하는 것이 해당 슬라이스에서 생략되어 있을 때에는, 선두 슬라이스 등, 상기 「1」이 도시되어 있는 슬라이스에 있어서의 메모리 관리정보 스트림(CtlStr)을 참조함으로써, 메모리 관리정보 스트림(CtlStr)의 부가를 생략할 수 있고, 비트수를 줄이는 것이 가능해진다.

즉, 상술한 메모리 관리정보 스트림(CtlStr1)을 생략하는 것을 나타내는 정보「0」는 제거할 대상의 픽쳐를 지정하는 정보를 갖지 않는 슬라이스(슬라이스 3)로, 제거할 대상의 픽쳐를 지정하는 정보를 참조할 때, 제거할 대상의 픽쳐를 지정하는 정보를 참조하는 것을 나타내는 정보이다.

이러한 메모리 관리정보 스트림(CtlStr)의 부가를 생략 가능하게 하는 방법은 전송 과정에서 메모리 관리정보 스트림(CtlStr)이 다수회 결락될 가능성이 적으므로 유효하다.

또한, 메모리 관리정보 스트림(CtlStr)의 유무가 메모리 관리정보 스트림(CtlStr)이 생략되어 있는 것을 나타내는 정보없이 판별될 수 있는 경우, 도 33(b)와 같이 이를 생략해도 된다. 예를 들면 메모리 관리정보 스트림(CtlStr)의 선두가 화상 부호화 스트림(VideoStr)의 선두와 구별될 수 있는 경우에는 도 33(b)와 같이 메모리 관리정보 스트림(CtlStr1)이 부호화되어 있는지 여부를 나타내는 정보가 있는지 여부의 판별을, 각 슬라이스에 있어서의 선두에서 소정의 위치에 소 정의 정보가 있는지 여부로 확인할 수 있다.

이러한 메모리 관리정보 스트림(CtlStr)의 부가를 생략 가능하게 하는 방법은 메모리 관리정보 스트림(CtlStr)을 부호화하는 회수를 삭감하고, 비트수를 줄이는 것에 효과적이다.

이상, 부호화에 대해 설명했는데 마찬가지로 1프레임의 복호화를 슬라이스 단위로 할 수 있다. 상기 실시의 형태 2에 있어서 불필요한 메모리 영역을 개방하는 코맨드를 다수회 전송할 때, 도 7에 도시하는 화상 복호화 장치(200)에 있어서는 상기 코맨드에 상당하는 도 32에 도시되는 관리정보 스트림(CtlStr)과 화상 부호화 스트림(VideoStr)을 가지는 스트림 구조를 분리하고, 각각을 화상(픽쳐) 단위로 입력하는데, 각각을 슬라이스 단위로 입력해도 된다.

또한, 다른 실시의 형태에 있어서의 부호화·복호화에 있어서도 마찬가지로 1 프레임을 슬라이스 단위로 부호화·복호화해도 된다.

또한, 상기 실시의 형태 1로부터 실시의 형태 10까지 도시한 부호화 방법·복호화 방법은 휴대전화나 카 네비게이션 시스템 등의 이동체 통신기기나 디지털 비디오 카메라나 디지털 스틸 카메라 등의 촬영 기기에 LSI 등의 반도체에 의해서 설치하는 것이 가능하다. 또한, 설치 형식으로는 부호화기·복호화기를 양쪽 모두 가지는 송수신형의 단말 이외에, 부호화기만의 송신 단말, 복호화기만의 수신 단말의 3가지를 생각할 수 있다.

(실시의 형태 11)

다음에, 본 발명의 실시의 형태 11에 대해서 설명한다.

본 실시의 형태에서는 실시의 형태 1로부터 실시의 형태 10에 나타낸 화상 부호화 방법 또는 화상 복호화 방법의 구성을 실현하기 위한 프로그램을, 플렉서블 디스크 등의 기억매체에 기록하도록 함으로써, 상기 실시의 형태에서 도시한 처리를, 독립된 컴퓨터 시스템에서 간단하게 실시하는 것이 가능해진다.

도 34는 상기 실시의 형태 1의 화상 부호화 방법 또는 화상 복호화 방법을 격납한 플렉서블 디스크를 이용하여, 컴퓨터 시스템에 의해 실시하는 경우의 설명도이다.

도 34(b)는 플렉서블 디스크의 정면에서 본 외관, 단면 구조 및 플렉서블 디스크를 나타내고, 도 34(a)는 기록매체 본체인 플렉서블 디스크의 물리 포맷의 예를 나타내고 있다. 플렉서블 디스크(FD1)는 케이스(F) 내에 내장되고, 이 디스크의 표면에는 동심원상으로 외주로부터 내주로 향해 다수의 트랙(Tr)이 형성되며, 각 트랙은 각도 방향으로 16개의 섹터(Se)로 분할되어 있다. 따라서, 상기 프로그램을 격납한 플렉서블 디스크에서는 상기 플렉서블 디스크(FD1)상에 할당된 영역에, 상기 프로그램으로서의 화상 부호화 방법이 기록되어 있다.

또한, 도 34(c)는 플렉서블 디스크(FD1)로 상기 프로그램의 기록 재생을 행하기 위한 구성을 도시한다. 상기 프로그램을 플렉서블 디스크(FD1)에 기록하는 경우는 컴퓨터 시스템(Cs)에서 상기 프로그램으로서의 화상 부호화 방법 또는 화상 복호화 방법을 플렉서블 디스크 드라이브(FDD)를 통해 기입한다. 또한, 플렉서블 디스크(FD1) 내의 프로그램에 의해 상기 화상 부호화 방법을 컴퓨터 시스템중에 구축하는 경우는 플렉서블 디스크 드라이브(FDD)에 의해 프로그램을 플렉서블 디스 크(FD1)로부터 읽어내, 컴퓨터 시스템(Cs)에 전송한다.

또, 상기 설명에서는 기록 매체로서 플렉서블 디스크를 이용하여 설명을 했는데, 광 디스크를 이용해도 마찬가지로 행할 수 있다. 또한, 기록 매체는 이에 한정되지 않고, IC card, ROM 카셋 등, 프로그램을 기록할 수 있는 것이면 마찬가지로 실시할 수 있다.

또한, 상기 실시의 형태에 도시한 화상 부호화 방법·화상 복호화 방법은 휴대 전화나 카 네비게이션 시스템 등의 이동체 통신기기나 디지털 비디오 카메라나 디지털 스틸 카메라(digital steel camera) 등의 촬영 기기에 LSI 등의 반도체에 의해서 설치하는 것이 가능하다. 또한, 설치 형식으로서는, 부호화기·복호화기를 양쪽 모두 가지는 송수신형의 단말 이외에, 부호화기만의 송신 단말, 복호화기만의 수신 단말의 3가지를 생각할 수 있다.

여기서, 상기 실시의 형태 1로부터 실시의 형태 10에 나타낸 화상 부호화 방법이나 화상 복호화 방법의 응용예와 이를 이용한 시스템을 설명한다.

도 35는 컨텐츠 전송 서비스를 실현하는 컨텐츠 공급 시스템(ex100)의 전체 구성을 도시하는 블록도이다. 통신 서비스의 제공 영역을 소망의 크기로 분할하고, 각 셀 내에 각각 고정 무선국인 기지국(ex107∼ex110)이 설치되어 있다.

이 컨텐츠 공급 시스템(ex100)은 예를 들면, 인터넷(ex101)에 인터넷 서비스 공급자(ex102), 전화망(ex104) 및 기지국(ex107∼ex110)을 통해 컴퓨터(ex111), PDA(personal digital assistant)(ex112), 카메라(ex113), 휴대 전화(ex114), 카메라 부착 휴대전화(ex115) 등의 각 기기가 접속된다.

그러나, 컨텐츠 공급 시스템(ex100)은 도 35와 같은 조합에 한정되지 않고, 어느 하나를 조합시켜 접속하도록 해도 된다. 또한, 고정 무선국인 기지국(ex107∼ex110)을 통하지 않고, 각 기기가 전화망(ex104)에 직접 접속되어도 된다.

카메라(ex113)는 디지털 비디오 카메라 등의 동화상 촬영이 가능한 기기이다. 또한, 휴대전화는 PDC(Personal Digital Communications) 방식, CDMA(Code Division Multiple Access)방식, W-CDMA(Wideband-Code Division Multiple Access)방식, 혹은 GSM(Global System for Mobile Communications) 방식의 휴대전화기, 또는 PHS(Personal Handyphone System) 등으로, 어느 것이라도 상관없다.

또한, 스트리밍 서버(ex103)는 카메라(ex113)로부터 기지국(ex109), 전화망(ex104)을 통해 접속되어 있고, 카메라(ex113)를 이용하여 사용자가 송신하는 부호화 처리된 데이터에 의거한 라이브 전송 등이 가능하게 된다. 촬영한 데이터의 부호화 처리는 카메라(ex113)로 행하거나, 데이터의 송신처리를 하는 서버 등으로 행해도 된다. 또한, 카메라(ex116)로 촬영한 동화상 데이터는 컴퓨터(ex111)를 통해 스트리밍 서버(ex103)에 송신되어도 된다. 카메라(ex116)는 디지털 카메라 등의 정지화상, 동화상이 촬영 가능한 기기이다. 이 경우, 동화상 데이터의 부호화는 카메라(ex116)로 행하거나 컴퓨터(ex111)로 행하거나 어느쪽이라도 된다. 또한, 부호화 처리는 컴퓨터(ex111)나 카메라(ex116)가 갖는 LSI(ex117)에서 처리하게 된다. 또, 화상 부호화·복호화용의 소프트웨어를 컴퓨터(ex111) 등으로 판독 가능한 기록매체인 어떠한 축적 미디어(CD-ROM, 플렉서블 디스크, 하드 디스크 등)에 조합해도 된다. 또한, 카메라 부착 휴대전화(ex115)로 동화상 데이터를 송신해 도 된다. 이 때의 동화상 데이터는 휴대전화(ex115)가 갖는 LSI에서 부호화 처리된 데이터이다.

이 컨텐츠 공급 시스템(ex100)에서는 사용자가 카메라(ex113), 카메라(ex116) 등으로 촬영하고 있는 컨텐츠(예컨대, 음악 라이브를 촬영한 영상 등)를 상기 실시의 형태와 마찬가지로 부호화 처리하여 스트리밍 서버(ex103)에 송신하는 한편, 스트리밍 서버(ex103)는 요구가 있는 클라이언트에 대해 상기 컨텐츠 데이터를 스트림 전송한다. 클라이언트로서는 상기 부호화 처리된 데이터를 복호화 하는 것이 가능한, 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대전화(ex114) 등이 있다. 이와 같이 함으로써 컨텐츠 공급 시스템(ex100)은, 부호화된 데이터를 클라이언트에서 수신하여 재생할 수 있고, 또한 클라이언트에 리얼 타임으로 수신하여 복호화하고, 재생함으로써, 개인 방송도 실현 가능하게 되는 시스템이다.

이 시스템을 구성하는 각 기기의 부호화, 복호화에는 상기 각 실시의 형태에서 도시한 화상 부호화 방법 혹은 화상 복호화 방법을 이용하도록 하면 된다.

그 일례로서 휴대 전화에 대해 설명한다.

도 36은 상기 실시의 형태에서 설명한 화상 부호화 방법과 화상 복호화 방법을 이용한 휴대 전화(ex115)를 도시하는 도면이다. 휴대 전화(ex115)는 기지국(ex110)과의 사이에서 전파를 송수신하기 위한 안테나(ex201), CCD 카메라 등의 영상, 정지화상을 찍는 것이 가능한 카메라부(ex203), 카메라부(ex203)로 촬영한 영상, 안테나(ex201)로 수신한 영상 등이 복호화된 데이터를 표시하는 액정 디스플레이 등의 표시부(ex202), 조작 키(ex204)군으로 구성되는 본체부, 음성 출력을 하 기 위한 스피커 등의 음성 출력부(ex208), 음성 입력을 하기 위한 마이크 등의 음성 입력부(ex205), 촬영한 동화상 또는 정지화상의 데이터, 수신한 메일의 데이터, 동화상의 데이터 또는 정지화상의 데이터 등, 부호화된 데이터 또는 복호화된 데이터를 보존하기 위한 기록 미디어(ex207), 휴대 전화(ex115)에 기록 미디어(ex207)를 장착 가능하게 하기 위한 슬롯부(ex206)를 가지고 있다. 기록 미디어(ex207)는 SD 카드 등의 플라스틱 케이스 내에 개서나 소거가 가능한 불휘발성 메모리인 EEPROM(Electrically Erasable and Programmable Read Only Memory)의 일종인 플래시 메모리 소자를 격납한 것이다.

또한, 휴대 전화(ex115)에 대해 도 37을 이용하여 설명한다. 휴대 전화(ex115)는 표시부(ex202) 및 조작 키(ex204)를 구비한 본체부의 각 부를 통괄적으로 제어하도록 이루어진 주제어부(ex311)에 대해, 전원 회로부(ex310), 조작입력 제어부(ex304), 화상 부호화부(ex312), 카메라 인터페이스부(ex303), LCD(Liquid Crystal Display) 제어부(ex302), 화상 복호화부(ex309), 다중 분리부(ex308), 기록 재생부(ex307), 변복조 회로부(ex306) 및 음성 처리부(ex305)가 동기 버스(ex313)를 통해 상호 접속되어 있다.

전원 회로부(ex310)는 사용자의 조작에 의해 종화(終話) 및 전원 키가 온 상태로 되면, 배터리 팩으로부터 각 부에 대해 전력을 공급함으로써 카메라가 부착된 디지털 휴대전화(ex115)를 동작 가능한 상태로 기동한다.

휴대전화(ex115)는 CPU, ROM 및 RAM 등으로 이루어지는 주제어부(ex311)의 제어에 따라서, 음성통화 모드시에 음성 입력부(ex205)에서 집음(集音)한 음성신호 를 음성 처리부(ex305)에 의해서 디지털 음성 데이터로 변환하여, 이를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex301)에서 디지털 아날로그 변환처리 및 주파수 변환처리를 실시한 후에 안테나(ex201)를 통해 송신한다. 또한 휴대 전화기(ex115)는 음성 통화 모드시에 안테나(ex201)로 수신한 수신 데이터를 증폭시켜 주파수 변환처리 및 아날로그 디지털 변환처리를 실시하고, 변복조 회로부(ex306)에서 스펙트럼 역확산 처리하여, 음성 처리부(ex305)에 의해서 아날로그 음성 데이터로 변환한 후, 이를 음성 출력부(ex208)를 통해 출력한다.

또한, 데이터 통신 모드시에 전자 메일을 송신하는 경우, 본체부의 조작 키(ex204)의 조작에 의해서 입력된 전자 메일의 텍스트 데이터는 조작 입력 제어부(ex304)를 통해 주제어부(ex311)에 송출된다. 주제어부(ex311)는 텍스트 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex301)에서 디지털 아날로그 변환처리 및 주파수 변환처리를 실시한 후에 안테나(ex201)를 통해 기지국(ex110)으로 송신한다.

데이터 통신 모드시에 화상 데이터를 송신하는 경우, 카메라부(ex203)로 촬영된 화상 데이터를 카메라 인터페이스부(ex303)를 통해 화상 부호화부(ex312)에 공급한다. 또한, 화상 데이터를 송신하지 않는 경우에는, 카메라부(ex203)로 촬영한 화상 데이터를 카메라 인터페이스부(ex303) 및 LCD 제어부(ex302)를 통해 표시부(ex202)에 직접 표시하는 것도 가능하다.

화상 부호화부(ex312)는 본원 발명에서 설명한 화상 부호화 장치를 구비한 구성이고, 카메라부(ex203)로부터 공급된 화상 데이터를 상기 실시의 형태에서 도 시한 화상 부호화 장치에 이용한 부호화 방법에 의해서 압축 부호화함으로써 부호화 화상 데이터로 변환하여, 이를 다중 분리부(ex308)에 송출한다. 또한, 이 때 동시에 휴대 전화기(ex115)는 카메라부(ex203)로 촬영 중에 음성 입력부(ex205)에서 집음한 음성을 음성 처리부(ex305)를 통해 디지털의 음성 데이터로서 다중 분리부(ex308)에 송출한다.

다중 분리부(ex308)는 화상 부호화부(ex312)로부터 공급된 부호화 화상 데이터와 음성 처리부(ex305)로부터 공급된 음성 데이터를 소정의 방식으로 다중화하여, 그 결과 얻어지는 다중화 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하고, 송수신 회로부(ex301)에서 디지털 아날로그 변환처리 및 주파수 변환처리를 실시한 후에 안테나(ex201)를 통해 송신한다.

데이터 통신 모드시에 홈 페이지 등에 링크된 동화상 파일의 데이터를 수신하는 경우, 안테나(ex201)를 통해 기지국(ex110)으로부터 수신한 수신 데이터를 변복조 회로부(ex306)에서 스펙트럼 역확산 처리하고, 그 결과 얻어지는 다중화 데이터를 다중 분리부(ex308)에 송출한다.

또한, 안테나(ex201)를 통해 수신된 다중화 데이터를 복호화하기 위해서 다중 분리부(ex308)는 다중화 데이터를 분리함으로써 화상 데이터의 비트 스트림과 음성 데이터의 비트 스트림으로 나누고, 동기 버스(ex313)를 통해 해당 부호화 화상 데이터를 화상 복호화부(ex309)에 공급하는 동시에 해당 음성 데이터를 음성 처리부(ex305)에 공급한다.

다음에, 화상 복호화부(ex309)는 본원 발명에서 설명한 화상 복호화 장치를 구비한 구성이고, 화상 데이터의 비트 스트림을 상기 실시의 형태에서 도시한 부호화 방법에 대응한 복호화 방법으로 복호함으로써 재생 동화상 데이터를 생성하고, 이를 LCD 제어부(ex302)를 통해 표시부(ex202)에 공급하고, 이에 따라, 예를 들면 홈 페이지에 링크된 동화상 파일에 포함되는 동화상 데이터가 표시된다. 이 때 동시에 음성 처리부(ex305)는 음성 데이터를 아날로그 음성 데이터로 변환한 후, 이를 음성 출력부(ex208)에 공급하고, 이에 따라, 예를 들면 홈 페이지에 링크된 동화상 파일에 포함되는 음성 데이터가 재생된다.

또한, 상기 시스템의 예에 한정되지 않고, 최근에는 위성, 지상파에 의한 디지털 방송이 화제가 되고 있고, 도 38에 도시하는 바와 같이 디지털 방송용 시스템에도 상기 실시의 형태 중 적어도 화상 부호화 장치 또는 화상 복호화 장치중 어느 하나를 조합할 수 있다. 구체적으로는 방송국(ex409)에서 영상 정보의 비트 스트림이 전파를 통해 통신 또는 방송위성(ex410)에 전송된다. 이를 받은 방송위성(ex410)은 방송용의 전파를 발신하고, 이 전파를 위성방송 수신설비를 갖는 가정의 안테나(ex406)로 수신하여, 텔레비전(수신기)(ex401) 또는 셋탑 박스(STB)(ex407) 등의 장치에 의해 비트 스트림을 복호화하여 이를 재생한다. 또한, 기록 매체인 CD나 DVD 등의 축적 미디어(ex402)에 기록한 비트 스트림을 판독해, 복호화하는 재생장치(ex403)에도 상기 실시의 형태에서 도시한 화상 복호화 장치를 설치하는 것이 가능하다. 이 경우, 재생된 영상 신호는 모니터(ex404)에 표시된다. 또한, 케이블 텔레비전용의 케이블(ex405) 또는 위성/지상파 방송의 안테나(ex406)에 접속된 셋탑 박스(ex407)내에 화상 복호화 장치를 설치하고, 이를 텔 레비전의 모니터(ex408)로 재생하는 구성도 생각할 수 있다. 이 때 셋탑 박스가 아니라, 텔레비전 내에 화상 복호화 장치를 조합해도 된다. 또한, 안테나(ex411)를 가지는 차(ex412)로 위성(ex410)으로부터 또는 기지국(ex107) 등으로부터 신호를 수신하여, 차(ex412)가 갖는 카 네비게이션(ex413) 등의 표시장치에 동화상을 재생하는 것도 가능하다.

또한, 화상 신호를 상기 실시의 형태에서 나타낸 화상 부호화 장치로 부호화하여, 기록 매체에 기록하는 것도 가능하다. 구체예로서는 DVD 디스크(ex421)에 화상 신호를 기록하는 DVD 레코더나, 하드 디스크에 기록하는 디스크 레코더 등의 레코더(ex420)가 있다. 또한 SD 카드(ex422)에 기록하는 것도 가능하다. 레코더(ex420)가 상기 실시의 형태에서 도시한 화상 복호화 장치를 구비하고 있으면, DVD 디스크(ex421)나 SD 카드(ex422)에 기록한 화상 신호를 재생하여, 모니터(ex408)에서 표시할 수 있다.

또한, 카 네비게이션(ex413)의 구성은 예를 들면 도 37에 도시하는 구성 중, 카메라부(ex203)와 카메라 인터페이스부(ex303), 화상 부호화부(ex312)를 제외한 구성을 생각할 수 있고, 동일한 것으로 컴퓨터(ex111)나 텔레비전(수신기)(ex401) 등으로도 생각할 수 있다.

또한, 상기 휴대 전화(ex114) 등의 단말은 부호화기·복호화기를 양쪽 모두 가지는 송수신형의 단말 이외에, 부호화기만의 송신 단말, 복호화기만의 수신 단말의 3가지로 설치형식을 생각할 수 있다.

이와 같이, 상기 실시의 형태에서 도시한 화상 부호화 방법 혹은 화상 복호 화 방법을 상술한 것 중 어떠한 기기·시스템에 이용하는 것이 가능하고, 그렇게 함으로써, 상기 실시의 형태에서 설명한 효과를 얻을 수 있다.

본 발명은 이러한 상기 실시의 형태에 한정되는 것이 아니라, 본 발명의 범위를 일탈하지 않고 다양한 변형 또는 수정이 가능하다.

본 발명에 관한 화상 부호화 장치는 통신 기능을 구비하는 퍼스널 컴퓨터, PDA, 디지털 방송의 방송국 및 휴대 전화기 등에 구비되는 화상 부호화 장치로서 유용하다.

또한, 본 발명에 관한 화상 복호화 장치는 통신 기능을 구비하는 퍼스널 컴퓨터, PDA, 디지털 방송을 수신하는 STB 및 휴대 전화기 등에 구비되는 화상 복호화 장치로서 유용하다.

도 1(a)은 메모리에 보존된 다수의 참조 화상으로부터 선택한 화상을 참조하여 부호화하는 화상 부호화의 설명도이고, 도 1(b)는 화상이 보존되는 메모리의 구성을 도시하는 구성도이다.

도 2(a)는 종래의 화상 부호화 방법을 도시하는 플로우 챠트이고, 도 2(b)는 종래의 화상 복호화 방법을 도시하는 플로우 챠트이다.

도 3(a)은 종래의 화상 부호화 방법을 도시하는 다른 플로우 챠트이고, 도 3(b)은 종래의 화상 복호화 방법을 도시하는 다른 플로우 챠트이다.

도 4(a)는 종래의 화상 부호화 방법을 도시하는 또 다른 플로우 챠트이고, 도 4(b)는 종래의 화상 복호화 방법을 도시하는 또 다른 플로우 챠트이다.

도 5는 본 발명의 화상 부호화 장치의 구성을 도시하는 블록도이다.

도 6은 본 발명의 실시의 형태 1에 있어서의 화상 부호화 방법을 도시하는 플로우 챠트이다.

도 7은 본 발명의 화상 복호화 장치의 구성을 도시하는 블록도이다.

도 8은 본 발명의 실시의 형태 2에 있어서의 화상 복호화 방법을 도시하는 플로우 챠트이다.

도 9는 본 발명의 실시의 형태 3에 있어서의 화상 부호화 방법을 도시하는 플로우 챠트이다.

도 10은 본 발명의 실시의 형태 4에 있어서의 화상 복호화 방법을 도시하는 플로우 챠트이다.

도 11은 본 발명의 실시의 형태 5에 있어서의 화상 부호화 방법을 도시하는 플로우 챠트이다.

도 12는 본 발명의 실시의 형태 6에 있어서의 화상 부호화 방법을 도시하는 플로우 챠트이다.

도 13은 본 발명의 실시의 형태 7에 있어서의 화상 부호화 방법을 도시하는 플로우 챠트이다.

도 14(a)는 화상의 픽쳐 번호와 보존 픽쳐 번호와 전송 순서의 관계를 도시하는 설명도이고, 도 14(b)는 다코드하는 픽쳐 번호와 보존되어 있는 픽쳐 번호와 삭제되는 픽쳐 번호와의 관계를 도시하는 관계도이고, 도 14(c)는 디코드하는 픽쳐 번호와 보존되어 있는 픽쳐 번호와 삭제되는 픽쳐 번호와의 다른 관계를 도시하는 관계도이다.

도 15는 본 발명에 있어서의 메모리 관리정보의 코맨드를 도시하는 대응도이다.

도 16은 본 발명의 실시의 형태 8에 있어서의 코맨드 실행순서를 도시하는 플로우 챠트이다.

도 17은 각 픽쳐의 부호화 신호에 있어서의 헤더 정보와 프레임 데이터와의 관계를 도시하는 모식도이다.

도 18은 부호화 신호의 헤더 정보에 있어서의 메모리 관리정보의 코맨드를 도시하는 모식도이다.

도 19는 각 화상의 픽쳐 번호와 보존 픽쳐 번호와 전송 순서의 관계를 도시 하는 설명도이다.

도 20은 초기화 코맨드를 부호화하는 방법을 도시하는 플로우 챠트이다.

도 21은 부호화된 초기화 코맨드를 복호하는 방법을 도시하는 플로우 챠트이다.

도 22는 본 발명의 실시의 형태 8에 이용하는 메모리 관리정보의 코맨드를 도시하는 대응도이다.

도 23은 본 발명에 있어서의 초기화 재송 코맨드를 이용한 화상 부호화 방법을 도시하는 플로우 챠트이다.

도 24는 본 발명에 있어서의 부호화된 초기화 재송 코맨드를 복호하는 방법을 도시하는 플로우 챠트이다.

도 25는 각 화상의 픽쳐 번호와 보존 픽쳐 번호와 전송 순서의 다른 관계를 도시하는 설명도이다.

도 26은 본 발명의 실시의 형태 9에서 이용하는 메모리 관리 정보의 코맨드를 도시하는 대응도이다.

도 27은 본 발명의 실시의 형태 9에 있어서의 화상 부호화 방법을 도시하는 플로우 챠트이다.

도 28은 본 발명의 실시의 형태 9에 있어서의 화상 복호화 방법을 도시하는 플로우 챠트이다.

도 29(a)는 코맨드의 내용과 부가 정보를 도시하는 대응도이고, 도 29(b)는 코맨드의 실행 타이밍을 도시하는 대응도이다.

도 30은 부호화 신호의 헤더 정보에 있어서의 메모리 관리정보의 코맨드를 도시하는 모식도이다.

도 31은 다른 부호화 신호의 헤더 정보에 있어서의 메모리 관리정보의 코맨드를 도시하는 모식도이다.

도 32는 슬라이스 단위로 부호화한 데이터 스트림 구조를 도시하는 모식도이다.

도 33(a)(b) 모두 슬라이스 단위로 부호화한 데이터 스트림 구조를 도시하는 모식도이다.

도 34(a)(b)(c)는 모두 본 발명의 실시의 형태 1로부터 실시의 형태 10의 화상 부호화 방법 및 화상 복호화 방법을 컴퓨터 시스템에 의해 실현하기 위한 프로그램을 격납하기 위한 기억 매체에 대한 설명도이다.

도 35는 본 발명에 관한 화상 부호화 방법 및 화상 복호화 방법이 이용되는 컴퓨터 공급 시스템의 전체 구성을 도시하는 블록도이다.

도 36은 본 발명에 관한 화상 부호화 방법 및 화상 복호화 방법이 이용되는 휴대 전화의 일례를 도시하는 외관도이다.

도 37은 동 휴대 전화의 구성을 도시하는 블록도이다.

도 38은 본 발명에 관한 화상 부호화 방법 및 화상 복호화 방법이 이용되는 디지털 방송용 시스템의 구성을 도시하는 구성도이다.

Claims (10)

1. 메모리 내에 보존되어 있는 복수의 참조 픽쳐로부터 선택한 참조 픽쳐를 참조하여 부호화하는 화상 부호화 방법으로서,

   선택한 참조 픽쳐를 참조하여, 부호화 대상 픽쳐를 부호화하고,

   메모리에 보존되어 있는 참조 픽쳐를 관리하기 위한 제1의 메모리 관리정보를 상기 부호화된 부호화 대상 픽쳐에 부수시켜 부호화하며,

   상기 제1의 메모리 관리정보를 다시, 제2의 메모리 관리정보로서 상기 부호화 대상 픽쳐와는 별도의 픽쳐에 부수시켜 부호화하고,

   상기 제2의 메모리 관리정보에 상기 부호화 대상 픽처를 특정하는 정보를 부수시킨 것을 특징으로 하는 화상 부호화 방법.
2. 청구항 1에 있어서,

   상기 메모리 관리정보는, 상기 메모리의 불필요하게 되어 개방하는 메모리 영역을 지정하는 정보인 것을 특징으로 하는 화상 부호화 방법.
3. 청구항 1에 있어서,

   상기 메모리는, 참조 픽쳐의 보존 시간이 짧은 단시간 보존 메모리와, 상기 단시간 보존 메모리보다도 참조 픽쳐의 보존 시간이 긴 장시간 보존 메모리를 구비하고,

   상기 메모리 관리정보는, 상기 단시간 보존 메모리로부터 상기 장시간 보존 메모리로 이동하는 대상의 참조 픽쳐를 지정하는 정보인 것을 특징으로 하는 화상 부호화 방법.
4. 메모리 내에 보존되어 있는 복수의 참조 픽쳐로부터 선택한 참조 픽쳐를 참조하여 부호화한 데이터 스트림이 기록된 기록매체로서,

   선택한 참조 픽쳐를 참조하여, 부호화 대상 픽쳐를 부호화한 부호화 데이터와,

   메모리에 보존되어 있는 참조 픽쳐를 관리하기 위한 제1의 메모리 관리정보를 상기 부호화 대상 픽쳐에 부수시켜 부호화한 관리정보 재부호화 데이터와,

   상기 제1의 메모리 관리정보를 다시, 제2의 메모리 관리 정보로서 상기 부호화 대상 픽쳐와는 별도의 픽쳐에 부수시켜 부호화한 관리정보 부호화 데이터를 포함하고,

   상기 제2의 메모리 관리정보에는 상기 부호화 대상 픽쳐를 특정하는 정보가 부수되어 있는 것을 특징으로 하는 기록 매체.
5. 메모리 내에 보존되어 있는 복수의 참조 픽쳐로부터 선택한 참조 픽쳐를 참조하여 부호화하는 화상 부호화 장치로서,

   상기 선택한 참조 픽쳐를 참조하여, 부호화 대상 픽쳐를 부호화하고,

   메모리에 보존되어 있는 참조 픽쳐를 관리하기 위한 제1의 메모리 관리정보 를 상기 부호화된 부호화 대상 픽쳐에 부수시켜 부호화하며,

   상기 제1의 메모리 관리정보를 다시, 제2의 메모리 관리정보로서 상기 부호화 대상 픽쳐와는 별도의 픽쳐에 부수시켜 부호화하는 관리정보 부호화 수단을 구비하고,

   상기 관리정보 부호화 수단은 상기 제2의 메모리 관리정보에 상기 부호화 대상 픽쳐를 특정하는 정보를 부수시킨 것을 특징으로 하는 화상 부호화 장치.
6. 청구항 5에 있어서,

   상기 메모리 관리정보는, 상기 메모리의 불필요하게 되어 개방하는 메모리 영역을 지정하는 정보인 것을 특징으로 하는 화상 부호화 장치.
7. 청구항 5에 있어서,

   상기 메모리는, 참조 픽쳐의 보존 시간이 짧은 단시간 보존 메모리와, 상기 단시간 보존 메모리보다 참조 픽쳐의 보존 시간이 긴 장시간 보존 메모리를 구비하고,

   상기 메모리 관리정보는, 상기 단시간 보존 메모리로부터 상기 장시간 보존 메모리로 이동하는 대상의 참조 픽쳐를 지정하는 정보인 것을 특징으로 하는 화상 부호화 장치.
8. 청구항 1에 있어서,

   상기 제1의 메모리 관리정보 및 제2의 메모리 관리 정보의 내용은, 상기 부호화 대상 픽쳐의 처리보다도 전에 상기 메모리에 격납되어 있는 전체 참조 픽쳐의 격납 영역을 전부 개방하는 것을 나타내는 정보인 것을 특징으로 하는 화상 부호화 방법.
9. 메모리 내에 보존되어 있는 복수의 참조 픽쳐로부터 선택한 참조 픽쳐를 참조하여 슬라이스 단위로 부호화한 데이터 스트림이 기록된 기록매체로서,

   상기 메모리 내에 보존되어 있는 참조 픽쳐의 격납 영역을 개방하는 경우에, 개방해야하는 영역에 포함되는 참조 픽쳐를 지정하는 정보를 적어도 2개의 슬라이스에 부수시켜 부호화한 데이터 스트림이 기록된 기록매체.
10. 메모리 내에 보존되어 있는 복수의 참조 픽쳐로부터 선택한 참조 픽쳐를 참조하여 부호화하는 화상 부호화 방법을 정보 처리 장치에 실행시키기 위한 프로그램이 기록된 기록매체로서,

    선택한 참조 픽쳐를 참조하여, 부호화 대상 픽쳐를 부호화하고,

    메모리에 보존되어 있는 참조 픽쳐를 관리하기 위한 제1의 메모리 관리정보를 상기 부호화된 부호화 대상 픽쳐에 부수시켜 부호화하며,

    상기 제1의 메모리 관리정보를 다시, 제2의 메모리 관리 정보로서 상기 부호화 대상 픽쳐와는 별도의 픽쳐에 부수시켜 부호화한 것을 정보 처리 장치에 실행시키기 위한 프로그램이 기록된 기록매체.

Images