JPWO2008032660A1 - 画像復号化装置、画像復号化方法、画像復号化システム、及びシステムｌｓｉ - Google Patents

Abstract

各瞬時における受信バッファ内の画像符号化データ量もしくは画像符号化データ量の時間変化に基づいてアンダーフローが発生しているか、あるいはアンダーフローが発生する蓋然性が高いか否かを判定し、判定結果が肯定的な場合に、フレームメモリに格納されている一フレーム分の画像データを取り出すと共に、前記受信バッファに残存する画像符号化データの一部分を復号し、取り出した画像データの一部分を前記画像符号化データを復号した画像データの一部分で置き換えて、新たな一フレーム分の合成画像データを生成する。合成画像データは、置き換えられた画像データの占有割合が、直前に生成された合成画像データにおける置き換えられた画像データの占有割合よりも大きくなるよう、繰り返し生成され、生成された合成画像データは生成順に出力される。

Description

本発明は、符号化された画像データを復号する技術に関し、特に、符号化された画像データをストリーミング方式により再生する際の当該画像データの復号技術に関する。

近年、インターネット等の伝送路を介して画像データを受信しながら同時に再生を行うストリーミング方式が普及している。
このストリーミング方式では、伝送路にアクセスが集中する等、伝送路上に過度の通信負荷がかかること（すなわち、輻輳）により伝送遅延が生じた場合に、どのように対応するかが問題となる。伝送遅延が生じる状況下では、再生に必要な画像データが、必要な時刻に受信側に到達しない現象（受信バッファアンダーフロー）が起こり得る。

従来、受信バッファがアンダーフローを起こした場合に、画像データに対する復号処理を停止し、直前の復号画像を出力し続けるＭＰＥＧビデオデコーダが知られている。具体的には、ＭＰＥＧビデオデコーダは、受信バッファに蓄積されたＭＰＥＧビットストリームの占有量と所定の閾値とを比較し、占有量が閾値を下回っている場合に、復号処理をスキップし、それ以前にビットバッファから読み出されたＭＰＥＧビットストリームの復号結果を引き続き出力する。

このように従来技術によるＭＰＥＧビデオデコーダでは、受信バッファにおけるＭＰＥＧビットストリームの占有量が閾値を下回った場合、すなわち受信バッファアンダーフローが発生する恐れが高い場合には、復号処理がスキップされるので、その結果、占有量が増大し、受信バッファアンダーフローが回避されると共に、ビデオ出力も継続して行われるため、ディスプレイ表示も継続して行われ、表示画像が乱れることはない。
特開平８−３３１５６０号公報

しかしながら、従来の技術によるＭＰＥＧビデオデコーダは、受信バッファにおけるＭＰＥＧビットストリームの占有量が閾値を下回っている間、復号処理をスキップし、それ以前に受信バッファから読み出したＭＰＥＧビットストリームの復号結果を繰り返し出力するため、見かけ上、表示画像の更新が一定期間停止されてしまうという問題がある。
したがって、表示画像を見ているユーザは、装置の故障や通信途絶などの不安感を覚え、場合によっては、伝送路遅延による受信バッファアンダーフローが発生しているだけで正常動作しているにも関わらず、動作停止や通信切断などのコマンドを実行してしまうこともあり得る。

上述した課題は有線による伝送路上ではもとより、無線による伝送路上でのリアルタイム画像送受信において、より顕著となる。無線では有線より帯域が狭いことやエラー率が上がるという観点から、伝送路遅延に伴う受信バッファアンダーフロー発生の頻度が高くなるためである。
一方、今後、カメラ付き携帯電話における更なる動画像処理性能や通信性能の向上、広帯域無線アクセス環境の整備やカメラ、ビデオカメラ等の機器へのネットワーク機能実装によるワイヤレスネットワーク接続等により、様々な場面で、撮影された動画像がネットワークに配信され、かつ配信された動画像をリアルタイムに視聴するケース（所謂ライブ中継のような形態）が増えていくものと予測される。その際、例えばあるイベント開催時などで、ある特定の無線アクセスポイントに多数のカメラ機器が接続され、各カメラ機器により撮影された動画像がネットワークに配信されることにより輻輳状態が発生した場合に、送信される動画像データに著しい伝送遅延が起こり得る。その結果、受信側では受信バッファアンダーフローにより数秒以上、表示画像の更新が停止されることも考えられる。

本発明は受信バッファアンダーフローが発生するような状況下であっても、表示画像の更新が一定期間停止するということを防止する又は更新が停止する期間を短くする画像復号化装置を提供することを目的とする。

本発明は、外部から受信する画像符号化データを受信バッファに取り込みつつ、当該受信バッファから画像符号化データを読み出して復号し画像データを出力する画像復号化装置であって、画像データを一時的に保持するフレームメモリと、各瞬時における受信バッファ内の画像符号化データ量もしくは画像符号化データ量の時間変化に基づいてアンダーフローが発生しているか、あるいはアンダーフローが発生する蓋然性が高いか否かを判定する判定手段と、判定結果が肯定的な場合に、前記フレームメモリに格納されている一フレーム分の画像データを取り出すと共に、前記受信バッファに残存する画像符号化データの一部分を復号し、取り出した画像データの一部分を前記画像符号化データを復号した画像データの一部分で置き換えて、新たな一フレーム分の合成画像データを生成する合成画像生成手段と、生成された合成画像データを出力する出力手段と、を備え、合成画像データは、置き換えられた画像データの占有割合が、直前に生成された合成画像データにおける置き換えられた画像データの占有割合よりも大きくなるよう、繰り返し生成され、生成された合成画像データは生成順に出力される、ことを特徴とする画像復号化装置である。

上記課題を解決するための手段に記載の構成により、徐々に置換後の画像データの占有割合が高くなるよう生成された複数の合成画像が出力されるので、表示内容はゆっくりではあるが変化することになる。
表示内容のゆっくりとした変化を実現することにより、画像復号化装置が故障したり通信が途絶したりしたのではなく、“単にネットワークが混雑しているに過ぎない”という状況を、ユーザに理解させることができる。

ここで、前記外部から受信する画像符号化データは複数の所定の処理単位からなり、画像データの置き換えは、所定の処理単位毎に行われ、前記画像復号化装置は前記所定の処理単位毎に重要度を算出する重要度算出手段を備え、前記合成画像生成手段は前記フレームメモリに格納されている画像データの一部分を、算出された重要度のうち最も高い重要度に対応する所定の処理単位で置き換えるとしてもよい。

その場合、前記割り当てられた数値は、フレームの中央に近い位置ほど高くなるとしてもよい。
また、前記割り当てられた数値は、画像の動きが大きいほど高くなるとしてもよい。
これにより、前記合成画像生成手段は例えば、フレームの中央に近い位置または画像の動きが大きい部分を優先的に置き換えることができるので、画像の中でユーザにとって重要と思われる部分を先に更新することができる。

ここで、前記数値は複数のテーブルに割り当てられており、前記重要度算出手段は前記受信バッファに残存する画像符号化データから得られる情報に基づいて、前記複数のテーブルを動的に切り換え、重要度を算出するとしてもよい。
その場合に、前記画像符号化データから得られる情報はピクチャタイプを示す情報であるとしてもよい。

これにより、前記重要度算出手段は前記受信バッファに残存する画像符号化データから得られる情報に基づいて、重要度を算出することができる。例えば、複数のテーブルのうちの一つが動きベクトルに基づくテーブルである場合には、ピクチャタイプがＩピクチャであれば、動きベクトルを得ることはできず、動きベクトルに基づくテーブルを用いて重要度を算出することはできないが、他のテーブルを用いることにより重要度を算出することができる。このように、複数のテーブルを用いることにより、重要度を算出できないという状況を回避することができる。

ここで、前記判定結果が否定的である場合に、前記合成画像生成手段は、前記フレームメモリに格納されている画像データを取り出すと共に、前記受信バッファに残存する一フレーム分の画像符号化データを復号し、取り出した画像データを前記画像符号化データを復号した画像データで置き換えて、新たな一フレーム分の画像データを生成するとしてもよい。

これにより、前記受信バッファに残存する画像符号化データの量に応じて、表示内容を変化させることができる。すなわち、前記画像復号化装置では判定結果が否定的な場合には、フレーム単位で画像データの置き換えが行われるので、表示内容の滑らかな変化を実現することができ、その結果、ユーザにとって見やすい画像を提供することができる。
ここで、前記画像復号化装置は、前記合成画像生成手段により新たに生成される一フレーム分の合成画像データを一時的に保持するための補助フレームメモリを備え、前記合成画像生成手段は、生成した複数の合成画像データを前記フレームメモリ及び前記補助フレームメモリに交互に記憶するとしてもよい。

これにより、前記合成画像生成手段は、前記フレームメモリ及び前記補助フレームメモリに格納されている画像データを用いることにより、容易に合成画像データを生成することができる。
ここで、前記合成画像生成手段は、前記フレームメモリに格納されている画像データをスライス単位で前記画像符号化データを復号した画像データに置き換えるとしてもよい。

これにより、前記受信バッファに残存する画像符号化データ中の特殊なビット列（同期語）を検出することにより、簡単に各スライスの範囲を特定することができるので、画像復号化装置における処理負荷を軽減できる。
ここで、画像データの置換を行う際の前記受信バッファに残存する画像符号化データの一部分のデータサイズは、前記受信バッファに残存する画像符号化データの量に応じて異なるとしてもよい。

これにより、例えば、前記受信バッファに残存する画像符号化データの量に余裕がある場合には、データの置き換えの際のデータサイズを大きくし、表示内容の滑らかな変化を実現することにより、ユーザにとって見やすい画像を提供することができる。また、前記受信バッファに残存する画像符号化データの量に余裕がない場合には、データの置き換えの際のデータサイズを小さくし、表示内容のゆっくりとした変化を実現することにより、画像の更新が途絶えるのを防止することができる。

ここで、前記フレームメモリに格納されている画像データは、前記合成画像生成手段により前記受信バッファに残存する画像符号化データの一部分が復号される直前に復号された画像データであるとしてもよい。
これにより、前記合成画像生成手段は、より違和感のない合成画像データを生成することができる。

本発明の実施の形態１における画像復号化装置１０００の機能を示すブロック図である。 本発明の実施の形態１における受信バッファ１００の詳細を示すブロック図である。 本発明の実施の形態１における画像符号化データの１フレーム分の構成（復号画像イメージ）図である。 本発明の実施の形態１における受信バッファ蓄積量判定部２００の詳細を示すブロック図である。 本発明の実施の形態１における復号ビデオパケット制御部３００の詳細を示すブロック図である。 本発明の実施の形態１におけるビデオパケット検出部３１１でのサーチ結果を示す図である。 本発明の実施の形態１における重要度テーブル記憶部３１２に記憶された重要度テーブル７００を示す図である。 本発明の実施の形態１における復号化部５００の詳細を示すブロック図である。 本発明の実施の形態１における復号化タイミング信号と復号画像との関係を示す図である。 本発明の実施の形態１における画像復号化装置１０００の動作を示すフロー図である。 受信バッファ蓄積量判定処理を示すフロー図である。 復号化対象符号化データ決定処理及び復号化処理を示すフロー図である。 復号化対象符号化データ決定処理及び復号化処理を示すフロー図である。 本発明の実施の形態２における画像復号化システムのブロック図である。 本発明の実施の形態３の処理装置のブロック図である。 （ａ）変形例１におけるビデオパケット検出部３１１でのサーチ結果を示す図である。（ｂ）変形例１における重要度テーブル記憶部に記憶されている重要度テーブル１３０１を示す図である。 （ａ）変形例２におけるビデオパケット検出部３１１でのサーチ結果を示す図である。（ｂ）変形例２における重要度テーブル記憶部に記憶されている重要度テーブル１４０１を示す図である。

符号の説明

１０００ 画像復号化装置
１００、２２０１ 受信バッファ
２００ 受信バッファ蓄積量判定部
３００ 復号ビデオパケット制御部
３１０ ビデオパケット重要度判定部
３２０ 復号ビデオパケット判定部
４００ 受信バッファ制御部
５００ 復号化部
５１０ 復号化対象符号化データ記憶部
５２０ 復号化コア部
５３０ 復号画像記憶部
１０１、５１１、２２００ メモリ
１０２ ｒｅａｄｐｏｉｎｔｅｒＡ
１０３ ｒｅａｄｐｏｉｎｔｅｒＢ
１０４、２０１ ｒｅｍａｉｎｓｉｚｅ
１０５、５１３ ｗｒｉｔｅｐｏｉｎｔｅｒ
１０６ 加算器
１０７ スイッチ
２０２ 閾値記憶部
２０３ 判定コア部
３１１ ビデオパケット検出部
３１２ 重要度テーブル記憶部
３１３ ビデオパケット重要度算出部
６００、１３００、１４００ ビデオパケット毎のサーチ結果
７００、２２０４、１３０１、１４０１ 重要度テーブル
５１２ ｒｅａｄｐｏｉｎｔｅｒ
５３１、２２１２ バンクＡ
５３２、２２１３ バンクＢ
９０１ 復号画像（フレームＮ−１）
９０２ 復号画像（フレームＮのビデオパケット１のみ更新）
９０３ 復号画像（フレームＮのビデオパケット０のみ更新）
９０４ 復号画像（フレームＮのビデオパケット２のみ更新）
１ 画像復号化システム
２ 伝送路
１０ 画像符号化装置
１１ 入力画像記憶部
１２ 符号化部
１３ 送信バッファ
２０００ 処理装置
２１００ ＣＰＵ
２２０２ 画像符号化データ蓄積量
２２０３ 閾値
２２０５ 受信バッファ画像符号化データ蓄積状況
２２０６ 読み出しポインタＡ
２２０７ 読み出しポインタＢ
２２０８ 書き込みポインタ
２２０９ 画像符号化データビデオパケット情報
２２１０ 復号化対象符号化データ情報
２２１１ 復号画像領域

以下、図面を参照しながら本発明の実施の形態を説明する。
（実施の形態１）
＜概要＞
デジタル信号処理における主要な技術の１つとして、デジタル化された情報信号を圧縮符号化する符号化技術が挙げられる。この符号化技術には、様々な規格が存在するが、特に動画像データを扱う分野においてはＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｉｍａｇｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格が主流となっている。例えば、デジタル放送システム等に利用されているＭＰＥＧ−２方式や、携帯電話によるＴＶ電話等に利用されているＭＰＥＧ−４方式である。

現在、ＭＰＥＧ−４方式において、画像データを圧縮符号化する過程で１フレームをビデオパケットごとに区切り、ビデオパケット単位でデータを送信するという仕組みが主流である。その目的はデータを送信する中で、データが化けたり欠落したりした場合に、その影響を部分的な範囲に抑えることである。
本発明に係る画像復号化装置はその仕組みを利用して、受信バッファアンダーフローが起こったとき、あるいは受信バッファアンダーフローが起こる蓋然性が高い場合には、受信バッファに残存する画像符号化データを復号した画像データと、フレームメモリに格納されている一フレーム分の画像データとをビデオパケット単位で置き換えることにより、新たな一フレーム分の合成画像データを生成する。合成画像データは、置き換えられた画像データの占有割合が、直前に生成された合成画像データにおける置き換えられた画像データの占有割合よりも大きくなるよう、繰り返し生成され、生成された合成画像データは生成順に出力される。

これにより、画像データの全体が更新されないまでも、画像データの一部分が更新されることにより、何らかの変化が画面に現れることになる。
ユーザは部分的に更新された画面を見ることで、通信が途絶しているのではなく混雑していると認識できると共に少なくとも装置は故障していないと判断できる。その結果、ユーザから装置の故障や通信途絶などの不安感を拭うことができる。
＜構成＞
図１は、本発明の実施の形態１における画像復号化装置１０００の機能構成の一例を示すブロック図である。図１に示されるように、画像復号化装置１０００は、受信バッファ１００、受信バッファ蓄積量判定部２００、復号ビデオパケット制御部３００、受信バッファ制御部４００、及び復号化部５００を含んで構成される。

受信バッファ１００は、外部より逐次入力される符号化された画像データ（以下、「画像符号化データ」という）を受信して蓄積すると共に、画像符号化データの蓄積量（以下、「画像符号化データ蓄積量」という）を管理する。詳細な機能については＜受信バッファ１００＞で説明する。
ここで画像符号化データは第１の処理単位で符号化されており、複数の第２の処理単位から構成される。第２の処理単位は少なくとも１つの第１の処理単位で構成される。本実施の形態では、画像符号化データはＭＰＥＧ−４（ＩＳＯ／ＩＥＣ１４４９６−２）方式で符号化された符号化データであり、第１の処理単位をマクロブロック、第２の処理単位をビデオパケットとして構成されているとする。ここでは、画像符号化データはＭＰＥＧ−４方式で符号化されているものとして説明するが、特にこれに限定する必要はなく、画像圧縮技術を用いて符号化されたデータであればよい。

なお、ＭＰＥＧ−４（ＩＳＯ／ＩＥＣ１４４９６−２）方式並びにその中で定義されているマクロブロック、ビデオパケット及び復号処理内容については公知の技術であり、本発明の主張するところではないため、それらの詳細な説明は省略する。
受信バッファ蓄積量判定部２００は、受信バッファ１００で管理される画像符号化データ蓄積量を取得し、取得した画像符号化データ蓄積量と予め内部に記憶している閾値とを用いて、受信バッファ１００の画像符号化データ蓄積状況を判定する。判定した画像符号化データ蓄積状況を復号ビデオパケット制御部３００に出力する。詳細な機能については＜受信バッファ蓄積量判定部２００＞で説明する。

復号ビデオパケット制御部３００は、外部より入力される復号化処理（又は復号画像の表示処理）レートの間隔を示す復号化タイミング信号を受信すると、受信バッファ蓄積量判定部２００から取得した画像符号化データ蓄積状況と受信バッファ１００に蓄積されている画像符号化データを構成する各ビデオパケットの重要度とに基づいて、受信バッファ１００に蓄積されている画像符号化データのうち復号化の対象となる復号化対象符号化データを選択する。選択した復号化対象符号化データを読み出すよう、受信バッファ制御部４００に指示する。

受信バッファ制御部４００は復号ビデオパケット制御部３００より指示を受け取ると、復号ビデオパケット制御部３００により選択された復号化対象符号化データを受信バッファ１００から読み出し、復号化部５００へ転送する。
復号化部５００は受信バッファ制御部４００より入力された復号化対象符号化データに対し復号処理を行うと共に、復号処理で生成されなかった領域については一つ前の復号画像で代替することにより、合成画像（部分的に更新された復号画像）を生成し、出力する。

以下、各機能ブロックについて、さらに詳細に説明する。
＜受信バッファ１００＞
図２は受信バッファ１００の詳細を示すブロック図である。図１と同じ構成要素には同じ符号を付し、その説明は省略する。図２に示されるように、受信バッファ１００は、メモリ１０１、ｒｅａｄｐｏｉｎｔｅｒＡ１０２、ｒｅａｄｐｏｉｎｔｅｒＢ１０３、ｒｅｍａｉｎｓｉｚｅ１０４、ｗｒｉｔｅｐｏｉｎｔｅｒ１０５、加算器１０６、及びスイッチ１０７を含んで構成される。

入力される画像符号化データはメモリ１０１上のｗｒｉｔｅｐｏｉｎｔｅｒ１０５により示されるアドレス領域へ格納される。ここでｗｒｉｔｅｐｏｉｎｔｅｒ１０５により示されるアドレス値は初期値を０ｘ００００とし、画像符号化データがメモリ１０１へ１バイト格納される毎に、１インクリメントされる。画像符号化データがメモリ１０１に格納されている間、スイッチ１０７は１側へ接続され、画像符号化データが１バイト格納される毎に、加算器１０６によりｒｅｍａｉｎｓｉｚｅ１０４が１インクリメントされる。ここでは、画像符号化データがメモリ１０１上のアドレス０ｘ００００〜０ｘ０４ＦＦに格納済みの状態で、ｗｒｉｔｅｐｏｉｎｔｅｒ１０５により示されるアドレス値は０ｘ０５００となっているものとする。

ここで、図３に画像符号化データの１フレーム分の構成例（復号画像イメージ）を示す。画像符号化データにおける１フレーム（フレームＮ、Ｎは自然数でフレーム番号を示す）は９９個のマクロブロック（ＭＢ０〜ＭＢ９８、水平方向に１１個のマクロブロック、垂直方向に９個のマクロブロック）で構成され、画像サイズはＱＣＩＦ（Ｑｕａｒｔｅｒ Ｃｏｍｍｏｎ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ）（水平１７６画素、垂直１４４画素）である。

また、図３に示されるフレームＮはビデオパケット０（ＭＢ０〜ＭＢ３２）、ビデオパケット１（ＭＢ３３〜ＭＢ６５）、ビデオパケット２（ＭＢ６６〜ＭＢ９８）の３つのビデオパケットから成る構成となっている。
図２に示される受信バッファ１００のメモリ１０１には、図３に示される１フレーム分（フレームＮ）の画像符号化データがビデオパケット０（アドレス０ｘ０１００〜０ｘ０１ＦＦ）、ビデオパケット１（アドレス０ｘ０２００〜０ｘ０２ＦＦ）、ビデオパケット２（アドレス０ｘ０３００〜０ｘ０３ＦＦ）となるように格納されているものとする。

受信バッファ１００は復号ビデオパケット制御部３００より入力される復号ビデオパケット制御用画像符号化データ読み出し要求（以下、「符号化データ読み出し要求」という）を受信すると、ｒｅａｄｐｏｉｎｔｅｒＡ１０２に示されるアドレスの画像符号化データをメモリ１０１から読み出し、読み出した画像符号化データを復号ビデオパケット制御用画像符号化データ（以下、「制御用データ」という）として復号ビデオパケット制御部３００へ送信する。ここでｒｅａｄｐｏｉｎｔｅｒＡ１０２により示されるアドレス値は初期値を０ｘ００００とし、画像符号化データがメモリ１０１から１バイト読み出される毎に、１インクリメントされる。そして、符号化データ読み出し要求によるメモリ１０１からの画像符号化データの読み出しは、ｒｅａｄｐｏｉｎｔｅｒＡ１０２により示されるアドレス値が、ｗｒｉｔｅｐｏｉｎｔｅｒ１０５により示されるアドレス値となるまで行われる。ここでは、ｒｅａｄｐｏｉｎｔｅｒＡ１０２は０ｘ０１００、ｗｒｉｔｅｐｏｉｎｔｅｒ１０５は０ｘ０５００を指しているとし、復号ビデオパケット制御部３００へ制御用データとして送信される画像符号化データは、メモリ１０１のアドレス０ｘ０１００〜０ｘ０４ＦＦに格納されているデータである。

また、受信バッファ１００は受信バッファ制御部４００より入力される復号化対象符号化データ読み出し要求（以下、「対象データ読み出し要求」という）を受信すると、その中で指定されるアドレス値をｒｅａｄｐｏｉｎｔｅｒＢ１０３へセットし、同様に指定されるサイズ（バイト単位）分だけ、ｒｅａｄｐｏｉｎｔｅｒＢ１０３により示されるアドレスの画像符号化データをメモリ１０１から読み出し、読み出した画像符号化データを復号化対象符号化データとして受信バッファ制御部４００へ送信する。画像符号化データがメモリ１０１から読み出されている間、スイッチ１０７は−１側へ接続され、画像符号化データが１バイト読み出される毎に、ｒｅａｄｐｏｉｎｔｅｒＢ１０３が１インクリメントされる共に、加算器１０６によりｒｅｍａｉｎｓｉｚｅ１０４が１デクリメントされる。ここでは、ｒｅａｄｐｏｉｎｔｅｒＢ１０３を用いてメモリ１０１上のアドレス０ｘ００００〜０ｘ００ＦＦに格納された全画像符号化データがすでに読み出し済みで、かつ、ｗｒｉｔｅｐｏｉｎｔｅｒ１０５が上記の通り０ｘ０５００を指しているとき、ｒｅｍａｉｎｓｉｚｅ１０４は０ｘ０４００となっているものとする。

さらに、画像符号化データの入力によるメモリ１０１への画像符号化データの格納時、及び対象データ読み出し要求によるメモリ１０１からの画像符号化データの読み出し時に、ｒｅｍａｉｎｓｉｚｅ１０４の値が変更された場合、受信バッファ１００は変更後のｒｅｍａｉｎｓｉｚｅ１０４の値を受信バッファ蓄積量として受信バッファ蓄積量判定部２００に通知する。ここでは上記の通りｒｅｍａｉｎｓｉｚｅ１０４が０ｘ０４００となっており、受信バッファ蓄積量として０ｘ０４００が通知される。
＜受信バッファ蓄積量判定部２００＞
図４は受信バッファ蓄積量判定部２００の詳細を示す機能ブロック図である。図４に示されるように、受信バッファ蓄積量判定部２００はｒｅｍａｉｎｓｉｚｅ２０１と、閾値記憶部２０２と、判定コア部２０３とを含んで構成される。

受信バッファ１００から入力される受信バッファ蓄積量は、ｒｅｍａｉｎｓｉｚｅ２０１へ格納される。ここでは上記の通り、受信バッファ蓄積量２１１として０ｘ０４００が入力され、ｒｅｍａｉｎｓｉｚｅ２０１へ格納される。
閾値記憶部２０２は閾値ＴｈＡ及び閾値ＴｈＢを記憶している。ここでは閾値ＴｈＡは０ｘ０１００、閾値ＴｈＢは０ｘ０６００であるものとする。

なお、ここでは受信バッファ画像符号化データ蓄積状況判定用に予め記憶した２種類の閾値ＴｈＡ及びＴｈＢを使用しているが、より多くの閾値を用いたり、又は動的に変更される閾値を用いたりしてもよい。
判定コア部２０３はｒｅｍａｉｎｓｉｚｅ２０１及び閾値記憶部２０２に記憶されている閾値ＴｈＡ、閾値ＴｈＢを読み出し、それらに基づいて受信バッファ画像符号化データ蓄積状況（以下、「符号化データ蓄積状況」という）を判定し、判定結果を復号ビデオパケット制御部３００へ通知する。符号化データ蓄積状況の判定に関する詳細は図１１で説明する。
＜復号ビデオパケット制御部３００＞
図５は復号ビデオパケット制御部３００の詳細を示す機能ブロック図である。

図５に示されるように、復号ビデオパケット制御部３００は、ビデオパケット重要度判定部３１０、及び復号ビデオパケット判定部３２０を含んで構成される。
ビデオパケット重要度判定部３１０は、ビデオパケット検出部３１１、重要度テーブル記憶部３１２、及びビデオパケット重要度算出部３１３を含んで構成される。
ビデオパケット検出部３１１は、外部より復号化タイミング信号が入力されると、受信バッファ１００に対し符号化データ読み出し要求を出力する。受信バッファ１００から要求に対する応答として出力される制御用データを受信すると、制御用データとして入力される画像符号化データをサーチして、画像符号化データを構成するビデオパケットを検出する。ここでは上記の通り、図２に示されるメモリ１０１のアドレス０ｘ０１００〜０ｘ０４ＦＦに格納されている画像符号化データが入力される。

具体的には、ビデオパケット検出部３１１は、まずメモリ１０１のアドレス０ｘ０１００〜０ｘ０１０３に格納されているデータ”０ｘ０００００１Ｂ６”をフレームＮの先頭を示す同期語（シンクワード）として検出し、これより先のデータをフレームＮの先頭のビデオパケット０とする。併せてフレームＮのビデオパケット０の先頭アドレスとして０ｘ０１００、マクロブロック番号として０ｘ００を記憶し、フレームＮのビデオパケット０のデータサイズのカウントを開始する。

順次、メモリ１０１のアドレス０ｘ０１０４以降のデータサーチを続行する。そして、メモリ１０１のアドレス０ｘ０２００〜０ｘ０２０２に格納されているデータ”０ｘ００００Ａ１”の最上位から１７ビットをビデオパケットの先頭を示す同期語（０ｘ００００８０）として検出し、さらに残りのビットを当該ビデオパケットの先頭のマクロブロック番号（０ｘ００００２１）として検出し、これより先のデータをフレームＮの２番目のビデオパケット１とする。すなわちフレームＮのビデオパケット０のサイズは０ｘ１００、終端マクロブロック番号は０ｘ２０となり、これらを記憶すると共に、フレームＮのビデオパケット１の先頭アドレスとして０ｘ０２００、先頭マクロブロック番号として０ｘ２１を記憶し、再びフレームＮのビデオパケット１のデータサイズのカウントを開始する。

順次、メモリ１０１のアドレス０ｘ０２０３以降のデータサーチを続行する。そして、メモリ１０１のアドレス０ｘ０３００〜０ｘ０３０２に格納されているデータ”０ｘ００００Ｃ２”の最上位から１７ビットをビデオパケットの先頭を示す同期語（０ｘ００００８０）として検出し、さらに残りのビットを当該ビデオパケットの先頭のマクロブロック番号（０ｘ００００４２）として検出し、これより先のデータをフレームＮの３番目のビデオパケット２とする。すなわちフレームＮビデオパケット１のサイズは０ｘ１００、終端マクロブロック番号は０ｘ４１となり、これらを記憶すると共に、フレームＮのビデオパケット２の先頭アドレスとして０ｘ０３００、マクロブロック番号として０ｘ４２を記憶し、再びフレームＮのビデオパケット２のデータサイズのカウントを開始する。

順次、メモリ１０１のアドレス０ｘ０３０３以降のデータサーチを続行する。そして、メモリ１０１のアドレス０ｘ０４００〜０ｘ０４０３に格納されているデータ”０ｘ０００００１Ｂ６”をフレームＮ＋１の先頭を示す同期語として検出し、これより先のデータをフレームＮ＋１の先頭のビデオパケット０とする。すなわちフレームＮのビデオパケット２のサイズは０ｘ１００、終端マクロブロック番号は０ｘ６２となり、これらを記憶すると共に、フレームＮ＋１のビデオパケット０の先頭アドレスとして０ｘ０４００、マクロブロック番号として０ｘ００を記憶し、再びフレームＮ＋１のビデオパケット０のデータサイズのカウントを開始する。

順次、メモリ１０１のアドレス０ｘ０４０４以降のデータサーチを続行し、上記の通りｒｅａｄｐｏｉｎｔｅｒＡ１０２により示されるアドレス値がｗｒｉｔｅｐｏｉｎｔｅｒ１０５により示されるアドレス値（０ｘ０５００）となった時点で、制御用データとして入力される画像符号化のデータサーチを終了する。
図６にビデオパケット検出部３１１でのサーチ結果を示す。図６に示されるように、ビデオパケット毎に先頭マクロブロック（ＭＢ）番号、終端マクロブロック（ＭＢ）番号、先頭アドレス、及びサイズ情報が得られる。なお、本図における先頭及び終端のマクロブロック番号は１０進数で表している。

ビデオパケット検出部３１１はサーチ結果をビデオパケット重要度算出部３１３に送信する。
重要度テーブル記憶部３１２は、図７に示されるような重要度テーブルを記憶している。図７に示されるように、重要度テーブル７００では、画像符号化データの１フレーム分の復号画像イメージ（各マクロブロック位置は図３と同様）において、マクロブロック単位に重要度（高：５〜低：１）が割り当てられており、かつ、画像中央に近い位置ほど高い重要度が与えられている。

ビデオパケット重要度算出部３１３はビデオパケット検出部３１１より入力されるビデオパケット毎のサーチ結果及び重要度テーブル記憶部３１２に記憶されている重要度テーブル７００を基に、ビデオパケット毎の重要度を算出する。
具体的には、次のように重要度を算出する。まずフレームＮのビデオパケット０において、先頭マクロブロック（ＭＢ）番号は０、終端マクロブロック（ＭＢ）番号は３２であるので、それらに相当する重要度テーブル７００の位置（ＭＢ０〜ＭＢ３２）の重要度の総和を計算すると、１×１１＋２×１１＋２＋３＋４×７＋３＋２＝７１となる。したがって、フレームＮのビデオパケット０の重要度は、７１である。

また、フレームＮのビデオパケット１において、先頭マクロブロック（ＭＢ）番号は３３、終端マクロブロック（ＭＢ）番号は６５であるので、それらに相当する重要度テーブル７００の位置（ＭＢ３３〜ＭＢ６５）の重要度の総和を計算すると、（２＋３＋４＋５×５＋４＋３＋２）×３＝１２９となる。したがって、フレームＮのビデオパケット１の重要度は、１２９である。

また、フレームＮのビデオパケット２において、先頭マクロブロック（ＭＢ）番号は６６、終端マクロブロック（ＭＢ）番号は９８であるので、それらに相当する重要度テーブル７００の位置（ＭＢ６６〜ＭＢ９８）の重要度の総和を計算すると、１×１１＋２×１１＋２＋３＋４×７＋３＋２＝７１となる。したがって、フレームＮのビデオパケット２の重要度は、７１である。

以上より、フレームＮのビデオパケット１の重要度（１２９）が最も高く、フレームＮのビデオパケット０及びビデオパケット２の重要度（７１）が低くなっている。ここでフレームＮ内の各ビデオパケットに対し、重要度に応じて順位付けを行う。まず、フレームＮのビデオパケット１が最も重要度が高いため、順位（１）を割り当てる。フレームＮ内の他の２つのビデオパケット０、２の重要度は等しい値のため、ここではビデオパケット内の先頭のマクロブロック（ＭＢ）番号が小さい方を高順位とする。よってフレームＮのビデオパケット０に順位（２）、フレームＮのビデオパケット２に順位（３）を割り当てる。

ビデオパケット重要度算出部３１３は、上記決定したビデオパケット毎の順位（１〜３）を、復号ビデオパケット判定部３２０へ通知する。
復号ビデオパケット判定部３２０は、ビデオパケット重要度算出部３１３より通知されたビデオパケット毎の順位（１〜３）及び受信バッファ蓄積量判定部２００より通知された符号化データ蓄積状況を基に、復号化対象符号化データを決定する。ここでは、符号化データ蓄積状況が２であるため、ビデオパケット単位での復号が可能であり、復号化対象符号化データ情報として、最も高い順位であるフレームＮのビデオパケット１に関する情報を受信バッファ制御部４００へ通知する。復号化対象符号化データ情報として受信バッファ制御部４００へ通知するものとしては、フレームＮのビデオパケット１のメモリ１０１上の先頭アドレス（０ｘ０２００）及びサイズ（０ｘ０１００）となる。

復号ビデオパケット制御部３００は、ビデオパケット単位での復号が可能な場合には、復号化部５００による画像生成を、直前の画像データにおける画像符号化データの占有割合よりも大きな占有割合となるよう、受信バッファ制御部４００を介して制御しつつ繰り返させる。すなわち、フレームＮのビデオパケット１に関する情報に続いて、フレームＮのビデオパケット０に関する情報、フレームＮのビデオパケット２に関する情報を受信バッファ制御部４００へ通知する。

なお、ビデオパケット毎の順位（１〜３）及び符号化データ蓄積状況を基に復号化対象符号化データを決定する場合に、過去に既に受信バッファ制御部４００へ通知済みのビデオパケットがあれば、これを判定対象から外し、下位順位の各ビデオパケットの順位を１ランク上げる。例えば、順位２を順位１にし、順位３を順位２にする。
続いて、符号化データ蓄積状況と復号化対象符号化データ情報との関係について説明する。本実施の形態では、符号化データ蓄積状況が２、つまり、１ビデオパケット以上の符号化データ量が蓄積されていると判断されるため、復号化対象のデータ量はビデオパケット単位ということになる。もしも、符号化データ蓄積状況が３であれば、少なくとも２フレーム以上の符号化データ量が蓄積されていると判断されるため、復号化対象のデータ量は１フレーム分とする。また、符号化データ蓄積状況が１であれば、１ビデオパケットよりも少ない符号化データしか蓄積されていないので、復号化処理は行われない。
＜受信バッファ制御部４００＞
受信バッファ制御部４００は、復号ビデオパケット制御部３００より通知された復号化対象符号化データ情報（フレームＮビデオパケット１のメモリ１０１上の先頭アドレス（０ｘ０２００）及びサイズ（０ｘ０１００））を基に、受信バッファ１００内のメモリ１０１より画像符号化データを読み出し、読み出した画像符号化データを復号化対象符号化データとして、復号化部５００へ送信する。
＜復号化部５００＞
図８は復号化部５００の詳細を示すブロック図である。

図８に示されるように、復号化部５００は、復号化対象符号化データ記憶部５１０、復号化コア部５２０、及びバンクＡ５３１とバンクＢ５３２とを含む復号画像記憶部５３０を含んで構成される。
復号化対象符号化データ記憶部５１０は、メモリ５１１、ｒｅａｄｐｏｉｎｔｅｒ５１２、及びｗｒｉｔｅｐｏｉｎｔｅｒ５１３を含んで構成される。

復号化部５００では、受信バッファ制御部４００より入力された復号化対象符号化データは、メモリ５１１上のｗｒｉｔｅｐｏｉｎｔｅｒ５１３により示されるアドレス領域に格納される。ここで、ｗｒｉｔｅｐｏｉｎｔｅｒ５１３により示されるアドレス値は初期値を０ｘ１０００とし、復号化対象符号化データがメモリ５１１へ１バイト格納される毎に、１インクリメントされる。ここでは、受信バッファ制御部４００より入力される復号化対象符号化データのサイズは上記の通り０ｘ０１００であり、復号化対象符号化データがメモリ５１１に格納された後のｗｒｉｔｅｐｏｉｎｔｅｒ５１３の指すアドレス値は０ｘ１１００となる。

次に、メモリ５１１からｒｅａｄｐｏｉｎｔｅｒ５１２により示されるアドレスの復号化対象符号化データ２１０が読み出され、復号化コア部８０５へ送信される。ここで、ｒｅａｄｐｏｉｎｔｅｒ５１２により示されるアドレス値は初期値を０ｘ１０００とし、メモリ５１１から復号化対象符号化データが読み出されている間、１バイト読み出される毎に、ｒｅａｄｐｏｉｎｔｅｒ５１２は１インクリメントされる。そして、メモリ５１１からの復号化対象符号化データの読み出しは、ｒｅａｄｐｏｉｎｔｅｒ５１２の指すアドレス値が、ｗｒｉｔｅｐｏｉｎｔｅｒ５１３の指すアドレス値となるまで行われる。

復号化コア部５２０は復号化対象符号化データ記憶部５１０より入力された復号化対象符号化データに対し復号処理を行うと共に、前記復号処理で生成されなかった領域については一つ前の復号画像で代替することにより、合成画像（部分的に更新された復号画像）を生成する。より具体的には、復号画像記憶部５３０（ここでは、バンクＢ）に記憶されている一つ前の復号画像を取り出し、取り出した復号画像の一部（ここでは、フレームＮ−１のビデオパケット１）を、復号後の復号化対象符号化データ（ここでは、フレームＮのビデオパケット１）で置き換えることにより合成画像、すなわちフレームＮ−１のビデオパケット１の部分のみがフレームＮのビデオパケット１で更新された復号画像を生成する。生成した画像を復号画像記憶部５３０へ出力する。

復号画像記憶部５３０には、復号画像を格納する領域として、バンクＡ５３１及びバンクＢ５３２の二つの領域があり、復号画像を出力する場合は、バンクＡ５３１→バンクＢ５３２→バンクＡ５３１→・・と交互に切り替えながら出力する。ここではバンクＢ５３２には、一つ前の復号画像（フレームＮ−１のビデオパケット０、１、２）が格納されており、今回復号処理で出力される復号画像はバンクＡ５３１に出力されるものとする。

上記の構成によれば、入力される復号化対象符号化データがフレームＮのビデオパケット１（ＭＢ３３〜ＭＢ６５、太枠で囲われた部分）のみであっても、それ以外の領域（ＭＢ０〜ＭＢ３２、ＭＢ６６〜ＭＢ９８）については、バンクＢ５３２に格納されている一つ前の復号画像（フレームＮ−１のビデオパケット０、２）で代替することにより、容易に復号画像を得ることができる。

以降、外部より画像符号化データや復号化タイミング信号が入力されるタイミングで同様の処理を繰り返す。
以降の処理を簡単に説明すると、復号化部５００は受信バッファ制御部４００より復号化対象符号化データ（フレームＮのビデオパケット０）が入力されると、当該データを復号し、バンクＡに記憶されている復号画像を取り出し、取り出した復号画像の一部（フレームＮ−１のビデオパケット０）を、復号後の復号化対象符号化データ（フレームＮのビデオパケット０）で置き換えることにより合成画像、すなわちフレームＮのビデオパケット０のみ更新された復号画像を生成し、バンクＢに記憶する。

さらに、復号化部５００は受信バッファ制御部４００より復号化対象符号化データ（フレームＮのビデオパケット２）が入力されると、当該データを復号し、バンクＢに記憶されている復号画像を取り出し、取り出した復号画像の一部（フレームＮ−１のビデオパケット２）を、復号後の復号化対象符号化データ（フレームＮのビデオパケット２）で置き換えることにより合成画像、すなわちフレームＮのビデオパケット２のみ更新された復号画像を生成し、バンクＡに記憶する。

これにより、復号化対象符号化データの占有割合が徐々に大きくなるよう、合成画像を生成することができる。
図９は外部より入力される復号化タイミング信号と出力される復号画像との関係例を示す図である。図９に示されるように、時刻Ｔ−１で入力される復号化タイミング信号に対する画像復号化装置１０００の一連の処理では、復号画像９０１（フレームＮ−１、画像全体が更新）が出力される。

次の時刻Ｔで入力される復号化タイミング信号に対する一連の処理では、復号画像９０２（代替データＮ、フレームＮのビデオパケット１の部分（画像中央部）のみが更新）が出力される。
次の時刻Ｔ＋１で入力される復号化タイミング信号に対する一連の処理では、復号画像９０３（代替データＮ＋１、フレームＮのビデオパケット０の部分（画像上部）がさらに更新）が出力される。

次の時刻Ｔ＋２で入力される復号化タイミング信号に対する一連の処理では、復号画像９０４（代替データＮ＋２、フレームＮのビデオパケット２の部分（画像下部）がさらに更新）が出力される。この時点でフレームＮ−１に対して画像全体が更新されることになる。
＜画像復号化装置１０００の動作＞
図１０は本発明の実施の形態１における画像復号化装置１０００の動作を示す処理フロー図である。

図１０に示されるように、画像復号化装置１０００はまず、外部より逐次入力される画像符号化データを受信バッファに蓄積し、画像符号化データ蓄積量を管理する（以下、「画像符号化データ蓄積ステップ」という）（ステップＳ１０１）。次に、画像符号化データ蓄積量と予め記憶している閾値とを用いて、受信バッファの画像符号化データ蓄積状況を判定する（以下、「受信バッファ蓄積量判定ステップ」という）（ステップＳ１０２）。受信バッファ蓄積量判定処理の詳細は図１１で説明する。続いて、外部より入力される復号化タイミング信号を受信すると、画像符号化データ蓄積状況と受信バッファに蓄積されている画像符号化データを構成する各ビデオパケットの重要度とにより、受信バッファに蓄積されている画像符号化データのうち復号化の対象となる復号化対象符号化データを決定する（以下、「復号ビデオパケット制御ステップ」という）（ステップＳ１０３）。復号化対象符号化データが決定されると、復号化対象符号化データに対し復号処理を行い、復号画像を出力する（以下、「復号化ステップ」という）（ステップＳ１０４）。復号化対象符号化データ決定処理及び復号化処理の詳細は図１２で説明する。
＜受信バッファ蓄積量判定処理＞
図１１に判定コア部２０３における受信バッファ画像符号化データ蓄積状況判定処理フロー図を示す。

図１１に示されるように、判定コア部２０３はｒｅｍａｉｎｓｉｚｅ２０１と閾値ＴｈＡとを比較する（ステップＳ２０１）。比較した結果、閾値ＴｈＡがｒｅｍａｉｎｓｉｚｅ２０１より大きい場合は（ステップＳ２０１でＹｅｓ）、受信バッファ画像符号化データ蓄積状況として１をセットする（ステップＳ２０２）。
比較した結果、ｒｅｍａｉｎｓｉｚｅ２０１が閾値ＴｈＡ以上の場合は（ステップＳ２０１でＮｏ）、ｒｅｍａｉｎｓｉｚｅ２０１と閾値ＴｈＢとを比較する。比較した結果、閾値ＴｈＢがｒｅｍａｉｎｓｉｚｅ２０１より大きい場合は（ステップＳ２０３でＹｅｓ）、受信バッファ画像符号化データ蓄積状況として２をセットする（ステップＳ２０４）。

比較した結果、ｒｅｍａｉｎｓｉｚｅ２０１が閾値ＴｈＢ以上の場合は（ステップＳ２０３でＮｏ）、受信バッファ画像符号化データ蓄積状況として３をセットする。
ここでは上記の通り、ｒｅｍａｉｎｓｉｚｅ２０１は０ｘ０４００、ＴｈＡは０ｘ０１００、ＴｈＢは０ｘ０６００としているため、受信バッファ画像符号化データ蓄積状況として２がセットされる。
＜復号化対象符号化データ決定処理及び復号化処理＞
図１２、１３に復号化対象符号化データ決定処理及び復号化処理に関するフロー図を示す。

復号化タイミング信号を受信すると（ステップＳ３０１でＹｅｓ）、ビデオパケット検出部３１１は受信バッファ１００に蓄積されている画像符号化データをサーチし、当該画像符号化データを構成するビデオパケットを検出する（ステップＳ３０２）。ビデオパケット検出部３１１によりビデオパケットが検出されると、ビデオパケット重要度算出部３１３はサーチ結果に基づき、各ビデオパケットの重要度を算出し、重要度に応じて順位付けを行う（ステップＳ３０３）。

復号ビデオパケット判定部３２０は画像符号化データ蓄積状況を取得した後（ステップＳ３０４）、直前の復号化処理でビデオパケットを復号し、かつ、当該ビデオパケット以外に当該ビデオパケットと同じフレームを構成するビデオパケットがあるか否かをサーチ結果に基づき判定する（ステップＳ３０５）。判定結果が否定的な場合には（ステップＳ３０５でＮｏ）、ステップＳ３０４にて取得した画像符号化データ蓄積状況に応じた制御を行う。

取得した蓄積状況が１の場合、復号化部５００は復号画像記憶部５３０に記憶されている直前のフレーム画像を出力する（ステップＳ３０６）。
取得した蓄積状況が２の場合、復号ビデオパケット判定部３２０はサーチ結果及び各ビデオパケットの重要度に基づき、復号化対象符号化データとなるビデオパケットを決定する。より具体的には、サーチ結果の中でフレーム番号が最も若いビデオパケットのうち最も順位の高いビデオパケットを決定する（ステップＳ３０７）。決定されたビデオパケットが受信バッファ制御部４００により入力されると、復号化部５００は当該ビデオパケットを復号する（ステップＳ３０８）。さらに、復号処理で生成されなかった領域については過去の復号画像で代替することにより、フレーム画像を作成する。より具体的には、一つ前の復号画像を取り出し、当該画像の一部をステップＳ３０８にて復号化されたビデオパケットで置き換えることにより、合成画像を生成する（ステップＳ３０９）。合成画像を生成した後、復号化コア部５２０によりフレーム画像を復号画像記憶部５３０に記憶した後（ステップＳ３１０）、出力する（ステップＳ３１１）。

取得した蓄積状況が３の場合、復号ビデオパケット判定部３２０はサーチ結果に基づき、復号化対象符号化データとなるフレームを決定する。より具体的には、サーチ結果の中でフレーム番号が最も若いフレームを復号化対象符号化データとして決定する（ステップＳ３１２）。決定されたフレームが受信バッファ制御部４００により入力されると、復号化部５００は当該フレームを復号する（ステップＳ３１３）。復号化コア部５２０により、フレーム画像を復号画像記憶部５３０に記憶した後（ステップＳ３１０）、出力する（ステップＳ３１１）。

ステップＳ３０５における判定結果が肯定的な場合には（ステップＳ３０５でＹｅｓ）、当該フレーム構成するビデオパケットのうち、すでに復号されたビデオパケットを除いた最も順位の高いビデオパケットを決定する（ステップＳ３１４）。決定されたビデオパケットは、ステップＳ３０８にて復号される。このように、順位の高いビデオパケットから順に復号し、徐々に置換後の画像データの割合が大きくなるようにフレーム画像を生成することにより、画像の中でユーザにとって重要と思われる部分から先に更新することができる。

また、蓄積状況が３の場合には、フレーム単位で画像データの置き換えが行われるので、表示内容の滑らかな変化を実現することができ、ユーザにとって見やすい画像を提供することができる。
以上のように本実施の形態によれば、受信バッファアンダーフローが発生するような状況下でも、複数の復号化処理（又は復号画像の表示処理）間隔に亘って、ビデオパケット単位で画像更新することで、表示画像の更新が一定期間停止するということを防止する又は更新が停止する期間を短くすることができる。したがって、装置の故障や通信途絶などの不安感をユーザから拭い去ることができる。さらに、ビデオパケット単位で画像更新することにより、受信バッファに画像符号化データが受信される時間を作り出すことができ、受信バッファアンダーフローが発生する確率を低減することができる。
（実施の形態２）
本実施の形態は、実施の形態１における画像復号化装置と画像符号化装置とで構成される画像復号化システムに関する実施の形態である。

図１０に示されるように、画像復号化システム１は実施の形態１の画像復号化装置１０００と、入力画像記憶部１１と符号化部１２と送信バッファ１３とを備える画像符号化装置１０と、伝送路２とから構成される。
画像符号化装置１０において、外部より入力される画像データは入力画像記憶部１１へ格納される。

符号化部１２は入力画像記憶部１１に格納された画像データを読み出し、符号化処理を行い、符号化結果である画像符号化データを送信バッファ１３へ出力する。ここで、符号化部１２より出力される画像符号化データは第１の処理単位で符号化されており、複数の第２の処理単位から構成される。第２の処理単位は少なくとも１つの第１の処理単位で構成される。

本実施の形態では、画像符号化データはＭＰＥＧ−４（ＩＳＯ／ＩＥＣ１４４９６−２）方式で符号化された符号化データであり、第１の処理単位をマクロブロック、第２の処理単位をビデオパケットとして構成されているものであるとし、構成例としては実施の形態１において図３を用いて説明したものとしてよい。ここで、実施の形態１同様、画像符号化データはＭＰＥＧ−４方式により符号化されるものとして説明するが、特にこれに限定する必要はなく、画像圧縮技術を用いて符号化されたデータであればよい。

送信バッファ１３へ格納された画像符号化データは、所定のレートで伝送路２を介して、画像復号化装置１０００へ送信される。
画像復号化装置１０００は、伝送路２を介して入力された画像符号化データに対し復号処理を行うが、その実施の形態については、実施の形態１で説明した内容と同じであるため、ここでの説明は省略する。

以上のように本実施の形態によれば、受信バッファアンダーフローが発生するような状況下でも、複数の復号化処理（又は復号画像の表示処理）間隔に亘って、ビデオパケット単位で画像更新することで、表示画像の更新が一定期間停止するということを防止する又は更新が停止する期間を短くすることができる。したがって、装置の故障や通信途絶などの不安感をユーザから拭い去ることができる。
（実施の形態３）
本実施の形態は、実施の形態１における画像復号化装置をソフトウェアで実現する場合の実施の形態である。

図１５は実施の形態１の図１０のフローにより示されるステップを含む画像復号化方法を具現化する処理装置を示すブロック図である。
図１５に示されるように、処理装置２０００は、ＣＰＵ２１００と、メモリ２２００とを備え、画像復号化方法の各ステップ（１０１〜１０４）における処理をＣＰＵ上で動作するプログラムとして実行し、画像復号化方法の各ステップ（１０１〜１０４）で入力、保持、参照、出力する各種データを格納する領域（受信バッファ２２０１、画像符号化データ蓄積量２２０２、閾値２２０３、重要度テーブル２２０４、受信バッファ画像符号化データ蓄積状況２２０５、読み出しポインタＡ２２０６、読み出しポインタＢ２２０７、書き込みポインタ２２０８、画像符号化データビデオパケット情報２２０９、復号化対象符号化データ情報２２１０、復号画像領域２２１１（バンクＡ２２１２、バンクＢ２２１３含む））をメモリ２２００上に配置している。

以下、画像符号化方法における各ステップ（１０１〜１０４）について詳細に説明する。
まず、画像符号化データ蓄積ステップにおいて、外部より画像符号化データの入力がある場合には、画像符号化データを受信バッファ２２０１上の書き込みポインタ２２０８が指すアドレス領域へ格納する。

ここで、書き込みポインタ２２０８が指すアドレス値は初期値を０ｘ００００とし、画像符号化データが受信バッファ２２０１へ１バイト格納される毎に１インクリメントされる。書き込みポインタ２２０８を用いて画像符号化データが受信バッファ２２０１に格納されている間、１バイト格納される毎に画像符号化データ蓄積量２２０２が１インクリメントされる。ここでは、画像符号化データは、実施の形態１で示した図２のメモリ１０１への画像符号化データ格納状態と同様、受信バッファ２２０１上のアドレス０ｘ００００〜０ｘ０４ＦＦに格納済みの状態で、書き込みポインタ２２０８が指すアドレス値は０ｘ０５００となっているものとする。

また、画像符号化データは実施の形態１で図３に示した構成（ＱＣＩＦ、３つのビデオパケット（ビデオパケット０（ＭＢ０〜ＭＢ３２）、ビデオパケット１（ＭＢ３３〜ＭＢ６５）、ビデオパケット２（ＭＢ６６〜ＭＢ９８））から成る）であるとする。
受信バッファ２２０１には、画像符号化データの１フレーム分（フレームＮ）がビデオパケット０（アドレス０ｘ０１００〜０ｘ０１ＦＦ）、ビデオパケット１（アドレス０ｘ０２００〜０ｘ０２ＦＦ）、ビデオパケット２（アドレス０ｘ０３００〜０ｘ０３ＦＦ）となるように格納されているものとする。

次に、受信バッファ蓄積量判定ステップにおいて、画像符号化データ蓄積ステップ及び復号化ステップで更新された画像符号化データ蓄積量２２０２と閾値２２０３に記憶されている閾値ＴｈＡ、ＴｈＢとを読み出し、それらを基に受信バッファ画像符号化データ蓄積状況２２０５を判定する。ここで、実施の形態１と同様、閾値ＴｈＡは０ｘ０１００、閾値ＴｈＢは０ｘ０６００であるものとし、受信バッファ画像符号化データ蓄積状況の判定フローも実施の形態１と同様であるものとする。したがって、受信バッファ画像符号化データ蓄積状況１１２７として２がセットされる。

次に、復号ビデオパケット制御ステップにおいて、外部より復号化処理（又は復号画像の表示処理）レートの間隔を示す復号化タイミング信号が入力された場合、以下の処理を行う。
まず受信バッファ２２０１から読み出しポインタＡ２２０６により示されるアドレスの画像符号化データを読み出す。ここで、読み出しポインタＡ２２０６が指すアドレス値は初期値を０ｘ００００とし、受信バッファ２２０１から画像符号化データを読み出している間、１バイト読み出す毎に読み出しポインタＡ２２０６を１インクリメントする。そして受信バッファ２２０１からの画像符号化データの読み出しは、読み出しポインタＡ２２０６の指すアドレス値が、書き込みポインタ２２０８の指すアドレス値となるまで行われる。ここでは読み出しポインタＡ２２０６は０ｘ０１００、書き込みポインタ２２０８は０ｘ０５００を指しているとし、読み出される画像符号化データはメモリ１０１のアドレス０ｘ０１００〜０ｘ０４ＦＦに格納されているデータとなる。

続いて、読み出した画像符号化データをサーチして、画像符号化データを構成するビデオパケットを検出する。受信バッファ２２０１に格納されている画像符号化データ及び画像符号化データを構成するビデオパケットの検出方法は、実施の形態１で示したものと同様であり、サーチ結果である画像符号化データビデオパケット情報２２０９は、図６に示す内容となる。

また、重要度テーブル２２０４は実施の形態１において図７に示される重要度テーブルと同様とする。
次に、画像符号化データビデオパケット情報２２０９及び重要度テーブル２２０４を基に、ビデオパケット毎の重要度（順位１〜３）を決定する。ここでビデオパケット毎の重要度決定方法は、実施の形態１で示した内容と同様であり、フレームＮのビデオパケット１に順位（１）、フレームＮのビデオパケット０に順位（２）、フレームＮビデオパケット２に順位（３）がそれぞれ割り当てられる。

ビデオパケット毎の重要度（順位１〜３）及び受信バッファ画像符号化データ蓄積状況２２０５を基に、復号化対象符号化データ情報２２１０を決定する。すなわち、受信バッファ画像符号化データ蓄積状況２２０５から蓄積されているビデオパケットを判断し、蓄積されているビデオパケットのうち最も順位が高いビデオパケット（フレームＮのビデオパケット１）のみを、復号化対象符号化データ情報２２１０とする。

ここで復号化対象符号化データ情報２２１０とするものとしては、フレームＮのビデオパケット１の受信バッファ２２０１上の先頭アドレス（０ｘ０２００）及びサイズ（０ｘ０１００）となる。このときビデオパケット毎の順位（１〜３）及び受信バッファ画像符号化データ蓄積状況２２０５を基に復号化対象符号化データを決定する場合、過去に既に復号化対象符号化データ情報２２１０とされたビデオパケットがあれば、これを判断対象から外し、かつ下位順位の各ビデオパケットの順位を１ランク上げる。

続いて、復号化ステップ１１０４において、外部より復号化処理（又は復号画像の表示処理）レートの間隔を示す復号化タイミング信号が入力された場合、以下の処理を行う。
復号ビデオパケット制御ステップ１１０３で決定された復号化対象符号化データ情報２２１０（フレームＮのビデオパケット１の受信バッファ２２０１上の先頭アドレス（０ｘ０２００）及びサイズ（０ｘ０１００））を基に、受信バッファ２２０１より読み出しポインタＢ２２０７を用いて画像符号化データを読み出し、復号処理を行う。読み出しポインタＢ２２０７が指すアドレス値は、画像符号化データ読み出し開始時に０ｘ０２００にセットされ、受信バッファ２２０１から画像符号化データが読み出されている間、１バイト読み出される毎に１インクリメントされる。また画像符号化データ蓄積量２２０２は、受信バッファ２２０１から１バイト読み出される毎に１デクリメントされる。

なお、受信バッファ２２０１からの画像符号化データの読み出しは、復号化対象符号化データ情報２２１０により示されるサイズ（０ｘ０１００）になるまで繰り返される。
復号処理で生成されなかった領域については一つ前の復号画像で代替することにより、合成画像（部分的に更新された復号画像）を生成する。具体的には実施の形態１で説明した通りである。

生成された復号画像（フレームＮのビデオパケット１のみ更新）は復号画像領域２２１１へ格納された後、復号画像として出力される。また復号画像領域２２１１には、復号画像を格納する領域として、バンクＡ２２１２及びバンクＢ２２１３の二つの領域があり、復号画像を格納する場合は、バンクＡ２２１２→バンクＢ２２１３→バンクＡ２２１２→・・と交互に切り替えながら格納する。ここではバンクＢ２２１３には、一つ前の復号画像（フレームＮ−１のビデオパケット０、１、２）が格納されており、今回復号処理で出力される復号画像はバンクＡ２２１２に出力されるものとする。

上記の構成によれば、入力される復号化対象符号化データがフレームＮのビデオパケット１（ＭＢ３３〜ＭＢ６５、太枠で囲われた部分）のみであっても、それ以外の領域（ＭＢ０〜ＭＢ３２、ＭＢ６６〜ＭＢ９８）については、バンクＢ２２１３に格納されている一つ前の復号画像（フレームＮ−１のビデオパケット０、２）で代替することにより、容易に復号画像を得ることができる。

以降、外部より画像符号化データや復号化タイミング信号が入力されるタイミングで同様の処理を繰り返すことで、実施の形態１と同様、図９に示す結果が得られる。すなわち、復号化対象符号化データの占有割合が徐々に大きくなるよう、合成画像を生成することができる。
以上のように本実施の形態によれば、受信バッファアンダーフローが発生するような状況下でも、複数の復号化処理（又は復号画像の表示処理）間隔に亘って、ビデオパケット単位で画像更新することで、表示画像の更新が一定期間停止するということを防止する又は更新が停止する期間を短くすることができる。したがって、装置の故障や通信途絶などの不安感をユーザから拭い去ることができる。
（変形例１）
上記実施の形態では重要度テーブルとして、画像中央に近い位置ほど高い重要度が与えられたテーブルを使用したが、それ以外（例えば符号量、画像の動き、マクロブロックの種別、量子化パラメータ、データの受信順など）の要素を用いて設定したテーブルを用いたり、さらにはテーブルを動的に変更したりするような構成をとっても同様の効果が得られる。

例として重要度テーブルとして、画像の動き（復号処理で得られる動きベクトル）が大きいほど高い重要度が与えられたテーブルを使用する場合の形態を示す。
この場合、ビデオパケット検出部３１１は、制御用データとして入力される画像符号化データをサーチして、画像符号化データを構成するビデオパケットを検出する際に、図６に示される各ビデオパケットに関するビデオパケット先頭アドレス、先頭及び終端のマクロブロック番号、及びビデオパケットデータサイズに加え、各ビデオパケットに含まれるマクロブロックの動きベクトル（水平方向、垂直方向）を検出し、記憶する。

この際、検出されたマクロブロックが動きベクトルを持たないマクロブロック種別であった場合には、そのマクロブロックに関する動きベクトル（水平方向、垂直方向）は（０、０）とみなすものとする。
図１６（ａ）にビデオパケット検出部３１１でのサーチ結果、図１６（ｂ）に重要度テーブル記憶部３１２ａに記憶されている重要度テーブルを示す。

図１６（ａ）に示されるように、ビデオパケット毎に先頭及び終端のマクロブロック（ＭＢ）番号、先頭アドレス、サイズ、及びビデオパケットに含まれるマクロブロックの動きベクトル（水平方向、垂直方向）の情報が得られる。
また図１６（ｂ）に示されるように、重要度テーブル１３０１は、動きベクトルの大きさに応じて重要度（高：５〜低：０）が割り当てられ、かつ、動きベクトルの絶対値が大きいほど高い重要度が与えられている。

ビデオパケット重要度算出部３１３は、ビデオパケット検出部３１１でのビデオパケット毎のサーチ結果１３００及び重要度テーブル記憶部３１２ａに記憶されている重要度テーブル１３０１を基に、ビデオパケット毎の重要度を算出する。
具体的には、次のように重要度を算出する。まず、フレームＮのビデオパケット０において、先頭マクロブロック（ＭＢ）番号は０、終端マクロブロック（ＭＢ）番号は３２であり、フレームNのビデオパケット０に含まれるマクロブロック０〜３２の動きベクトル（水平方向、垂直方向）はマクロブロック０〜２１が（０、０）、マクロブロック２２〜３２が（１、−４）であることから、重要度テーブル１３０１に基づき動きベクトル（水平方向、垂直方向それぞれ）の重要度の総和を計算すると、０×２２＋０×２２＋１×１１＋２×１１＝３３となる。したがって、フレームＮのビデオパケット０の重要度は、３３である。

また、フレームＮのビデオパケット１において、先頭マクロブロック（ＭＢ）番号は３３、終端マクロブロック（ＭＢ）番号は６５であり、フレームNのビデオパケット１に含まれるマクロブロック３３〜６５の動きベクトル（水平方向、垂直方向）はマクロブロック３３〜５４が（−１、２）、マクロブロック５５〜６５が（０、０）であることから、重要度テーブル１３０１に基づき動きベクトル（水平方向、垂直方向それぞれ）の重要度の総和を計算すると、１×２２＋１×２２＋０×１１＋０×１１＝４４となる。したがって、フレームＮのビデオパケット１の重要度は、４４である。

また、フレームＮのビデオパケット２において、先頭マクロブロック（ＭＢ）番号は６６、終端マクロブロック（ＭＢ）番号は９８であり、フレームNのビデオパケット２に含まれるマクロブロック６６〜９８の動きベクトル（水平方向、垂直方向）はマクロブロック６６〜７６が（１６、−２０）、マクロブロック７７〜９８が（０、０）であることから、重要度テーブル１３０１に基づき動きベクトル（水平方向、垂直方向それぞれ）の重要度の総和を計算すると、４×１１＋５×１１＋０×２２＋０×２２＝９９となる。したがって、フレームＮのビデオパケット２の重要度は、９９である。

以上よりフレームＮのビデオパケット２の重要度が最も高く（９９）、次にフレームＮのビデオパケット１（４４）、そしてフレームＮのビデオパケット０の重要度が最も低く（３３）なっている。ここでフレームＮの各ビデオパケットに対し、重要度に応じて順位付けを行う。まずフレームＮのビデオパケット２が最も重要度が高いため、順位（１）を割り当てる。次にフレームＮのビデオパケット１に順位（２）、フレームＮビデオパケット０に順位（３）を割り当てる。

ビデオパケット重要度算出部３１３は、上記決定したビデオパケット毎の順位（１〜３）を、復号ビデオパケット判定部３２０へ通知する。
以降の処理については、上記実施の形態と同様であるので、説明を省略する。
（変形例２）
上記の変形例１では、動きベクトルに基づく重要度テーブルを用いて重要度を算出したが、フレームにおけるピクチャタイプがＩピクチャである場合には動きベクトルを得ることはできない。したがって、フレームにおけるピクチャタイプがＩピクチャである場合には、動きベクトルに基づく重要度テーブルを用いて重要度を算出することはできず、例えば、フレームの上部から順に更新していく等、別の基準に従いフレームを更新していく必要がある。

そこで、本変形例では２つの重要度テーブルを切り換えて使用することにより、フレームにおけるピクチャタイプがＩピクチャである場合であっても、重要度テーブルに基づいて重要度を算出し、ユーザにとって重要と思われる部分から更新できるようにする。２つの重要度テーブルのうち、一つは上記図１６（ｂ）に示す画像の動き（復号処理で得られる動きベクトル）が大きいほど高い重要度が与えられたテーブルであり、もう一つは各ビデオパケットに含まれるマクロブロック当たりの平均符号量が大きいほど高い重要度が与えられたテーブルである。

この場合、ビデオパケット検出部３１１は制御用データとして入力される画像符号化データをサーチして、画像符号化データを構成するビデオパケットを検出する際に、上記に示す各ビデオパケットに関するビデオパケット先頭アドレス、先頭及び終端のマクロブロック番号、ビデオパケットデータサイズ、各ビデオパケットに含まれるマクロブロックの動きベクトル（水平方向、垂直方向）に加え、そのフレームのピクチャタイプ（Ｉピクチャ（画面内符号化ピクチャ）／それ以外のピクチャ（画面間符号化ピクチャ））を検出し、記憶する。

図１７（ａ）にビデオパケット検出部３１１でのサーチ結果、図１７（ｂ）に重要度テーブル記憶部３１２ｂに記憶されている平均符号量に関する重要度テーブルを示す。
図１７（ａ）に示されるように、ビデオパケット毎に先頭及び終端のマクロブロック（ＭＢ）番号、先頭アドレス、サイズ、ビデオパケットに含まれるマクロブロックの動きベクトル（水平方向、垂直方向）、及びフレームのピクチャタイプの情報が得られる。

また、図１７（ｂ）に示されるように、重要度テーブル１４０１はマクロブロック当たりの平均符号量の大きさに応じて重要度（高：５〜低：０）が割り当てられ、かつ、平均符号量が大きいほど高い重要度が与えられている。
ビデオパケット重要度算出部３１３はビデオパケット検出部３１１でのビデオパケット毎のサーチ結果１４００及び重要度テーブル記憶部３１２ａ、ｂに記憶されている重要度テーブル１３０１及び１４０１を基に、ビデオパケット毎の重要度を算出する。

まずビデオパケット重要度算出部３１３は、サーチ結果１４００より現在のフレームがＩピクチャか、それ以外のピクチャかを判定する。
Ｉピクチャ以外のピクチャであった場合には、上記変形例１で示した処理と同様の処理を行う。
一方、サーチ結果１４００より現在のフレームがＩピクチャであった場合には、重要度テーブル１４０１を用いて、以下の手順によりビデオパケット毎の重要度を決定する。

具体的には、次のように重要度を算出する。まずフレームＮのビデオパケット０に関して、先頭マクロブロック（ＭＢ）番号は０、終端マクロブロック（ＭＢ）番号は３２であり、フレームＮのビデオパケット０に含まれるマクロブロック数は３３、サイズは０ｘ０１００であることから、マクロブロック当たりの平均符号量は０ｘ０１００÷３３＝７．７６となる。したがって、フレームＮのビデオパケット０の重要度は１となる。

また、フレームＮビデオパケット１に関して、先頭マクロブロック（ＭＢ）番号は３３、終端マクロブロック（ＭＢ）番号は６５であり、フレームＮのビデオパケット１に含まれるマクロブロック数は３３、サイズは０ｘ０１００であることから、マクロブロック当たりの平均符号量は０ｘ０１００÷３３＝７．７６となる。したがって、フレームＮのビデオパケット１の重要度は１となる。

また、フレームＮビデオパケット２に関して、先頭マクロブロック（ＭＢ）番号は６６、終端マクロブロック（ＭＢ）番号は９８であり、フレームＮのビデオパケット２に含まれるマクロブロック数は３３、サイズは０ｘ０１００であることから、マクロブロック当たりの平均符号量は０ｘ０１００÷３３＝７．７６となる。したがって、フレームＮのビデオパケット２の重要度は１となる。

以上より、フレームＮビデオパケット０、フレームＮビデオパケット１及びフレームＮビデオパケット２の重要度は全て同じ（１）である。ここで、フレームＮの各ビデオパケットに対し、重要度に応じて順位付けを行うが、フレームＮの３つのビデオパケット０、１、２の重要度が全て等しい値のため、ここではビデオパケット内の先頭マクロブロック（ＭＢ）番号が小さい方を高順位とする。よって、フレームＮのビデオパケット０に順位（１）、フレームＮのビデオパケット１に順位（２）、フレームＮのビデオパケット２に順位（３）が割り当てられる。ビデオパケット重要度算出部３１３は、上記決定したビデオパケット毎の順位（１〜３）を、復号ビデオパケット判定部３２０へ通知する。

以降の処理については、上記実施の形態と同様であるので、説明を省略する。
これにより、現在のフレームがＩピクチャである場合であっても、重要度テーブル１４０１に基づいて重要度を算出することができるので、重要度を算出する際の精度を向上させることができる。
（変形例３）
上記実施の形態では、閾値記憶部２０２に閾値を２つ設けたが、３つ以上設けてもよい。例えば、閾値を３つ設けて、閾値Ｔｈａを０ｘ０１００、閾値Ｔｈｂを０ｘ０２００、閾値Ｔｈｃを０ｘ０３００とする。符号化データの蓄積量が閾値Ｔｈａ未満であれば符号化データ蓄積状況は１がセットされ、閾値Ｔｈａ以上閾値Ｔｈｂ未満であれば符号化データ蓄積状況は２がセットされ、閾値Ｔｈｂ以上閾値Ｔｈｃ未満であれば符号化データ蓄積状況は３がセットされ、閾値Ｔｈｃ以上であれば符号化データ蓄積状況は４がセットされるとする。このとき、符号化データ蓄積状況が１の時は復号化対象符号化データを画像更新しない。また、符号化データ蓄積状況が２の時はビデオパケット１つ毎に、符号化データ蓄積状況が３の時はビデオパケット２つ毎に、符号化データ蓄積状況が４の時はフレーム毎に、復号化対象符号化データとすることができ、符号化データの蓄積状況に応じて画像を更新することができる。
（補足）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

（１）本発明は、上記フローチャートで示したステップを含む方法、及び上記フローチャートで示したステップをコンピュータに実行させるプログラムコードを含むプログラムであってもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラム又は前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。

また、前記コンピュータプログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記コンピュータプログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
（２）本発明は、画像復号化装置の制御を行うＬＳＩとしても実施可能である。このようなＬＳＩは、図１に示す各機能ブロックを集積化することで実現できる。これらの機能ブロックは、個別にＬＳＩ化されても良いし、一部または全てを含むシステムＬＳＩとして実現してもよい。

また、集積化の手法はＬＳＩに限るものではなく、専用又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然その技術を用いて集積化を行っても良い。このような技術には、バイオ技術の適用等が可能性としてありえる。

（３）上記実施の形態では、２フレーム以上のサイズの画像符号化データを受信している場合にフレーム単位で画像更新を行うとしたが、１フレーム以上のサイズの画像符号化データを受信している場合に、フレーム単位で画像更新を行い、１フレームより小さいサイズの画像符号化データしか受信していない場合（受信バッファーアンダーフロー発生時）に、ビデオパケット単位で画像更新してもよい。上記実施の形態で示されるように、１フレーム以上のサイズの画像符号化データを受信している場合、すなわち、受信バッファアンダーフローを起こしていない場合であっても、受信バッファアンダーフローを起こす蓋然性が高い場合には、ビデオパケット単位で画像更新を行うことにより、受信バッファアンダーフローが起きてからビデオパケット単位で画像更新を行う場合と比べて、表示画像の更新が停止する期間を短くすることができる。

受信バッファアンダーフローを起こす蓋然性が高いか否かは、上記実施の形態で示したように、受信バッファ内の画像符号化データ量により判定してもよいし、画像符号化データ量の時間変化に基づいて判定してもよい。画像符号化データ量により判定する場合には、例えば、受信バッファに数フレーム分の画像符号化データしか蓄積されていない場合に蓋然性が高いと判定してよい。

画像符号化データ量の時間的変化により判定する場合には、例えば、外部から受信バッファに送信される画像符号化データの量が復号の際に受信バッファから読み出される画像符号化データの量より少ない場合に、蓋然性が高いと判定してもよい。
また、受信したビデオパケットの分だけ（例えばビデオパケット０と１を受信している場合はビデオパケット０と１の２つ）を画像更新するようにしてもよい。これより、１画像に近い単位で画像を更新することができ、ユーザにさらに不安感を与えない画像復号化装置を提供できる。

さらに、閾値で区切ったデータサイズ単位で画像更新をするようにしてもよい。この際、ユーザが閾値を自由に決めることで、ユーザの求める単位で画像を更新することができる。
（４）上記実施の形態では、第１の処理単位をマクロブロック、第２の処理単位をビデオパケットとして構成されているが、第１の処理単位をブロック、第２の処理単位をマクロブロックとした構成であっても同様の効果が得られる。第２の処理単位をマクロブロックとする場合には、第２の処理単位をビデオパケットとする場合と比べて、受信バッファにより少ない画像符号化データしか蓄積されていない場合に蓋然性が高いと判定してもよい。

（５）上記実施の形態では、外部より復号化タイミング信号が入力されるタイミングで、ビデオパケット単位で復号処理を行う構成となっているが、復号処理は画像（フレーム）単位で実行し、復号化タイミング信号が入力されるタイミングで、ビデオパケット単位で更新される復号画像を生成し、外部へ出力する構成をとっても同様の効果が得られる。
（６）上記実施の形態では、図１２に示されるステップＳ３０５において肯定的な判定がなされる度に、当該フレームにおける全てのビデオパケットが復号されるまでビデオパケット単位の復号が行われる構成としたが、ステップＳ３０５において肯定的な判定がなされた場合であっても、ステップＳ３０４において取得した画像符号化データ蓄積状況が３である場合には、当該フレームを構成する残りのビデオパケットをまとめて復号してもよい。

（７）上記実施の形態では、ＭＰＥＧ−４を例に挙げて説明したため、ビデオパケットという用語を用いたが、ビデオパケットは他の符号化技術におけるスライスと同様の意味である。
（８）上記課題を解決するための手段に記載のフレームメモリ、判定手段、合成画像生成手段、及び出力手段は実施の形態におけるバンクＡあるいはＢ、受信バッファ蓄積量判定部、復号化コア部、及び復号画像記憶部にそれぞれ対応する。

（９）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

本発明は、インターネット等の伝送路を介してリアルタイムに画像符号化データのやり取りを行う端末等に利用でき、特に、受信バッファアンダーフローが起こり得る状況下で有用である。

本発明は、符号化された画像データを復号する技術に関し、特に、符号化された画像データをストリーミング方式により再生する際の当該画像データの復号技術に関する。

近年、インターネット等の伝送路を介して画像データを受信しながら同時に再生を行うストリーミング方式が普及している。
このストリーミング方式では、伝送路にアクセスが集中する等、伝送路上に過度の通信負荷がかかること（すなわち、輻輳）により伝送遅延が生じた場合に、どのように対応するかが問題となる。伝送遅延が生じる状況下では、再生に必要な画像データが、必要な時刻に受信側に到達しない現象（受信バッファアンダーフロー）が起こり得る。

従来、受信バッファがアンダーフローを起こした場合に、画像データに対する復号処理を停止し、直前の復号画像を出力し続けるＭＰＥＧビデオデコーダが知られている。具体的には、ＭＰＥＧビデオデコーダは、受信バッファに蓄積されたＭＰＥＧビットストリームの占有量と所定の閾値とを比較し、占有量が閾値を下回っている場合に、復号処理をスキップし、それ以前にビットバッファから読み出されたＭＰＥＧビットストリームの復号結果を引き続き出力する。

このように従来技術によるＭＰＥＧビデオデコーダでは、受信バッファにおけるＭＰＥＧビットストリームの占有量が閾値を下回った場合、すなわち受信バッファアンダーフローが発生する恐れが高い場合には、復号処理がスキップされるので、その結果、占有量が増大し、受信バッファアンダーフローが回避されると共に、ビデオ出力も継続して行われるため、ディスプレイ表示も継続して行われ、表示画像が乱れることはない。
特開平８−３３１５６０号公報

しかしながら、従来の技術によるＭＰＥＧビデオデコーダは、受信バッファにおけるＭＰＥＧビットストリームの占有量が閾値を下回っている間、復号処理をスキップし、それ以前に受信バッファから読み出したＭＰＥＧビットストリームの復号結果を繰り返し出力するため、見かけ上、表示画像の更新が一定期間停止されてしまうという問題がある。
したがって、表示画像を見ているユーザは、装置の故障や通信途絶などの不安感を覚え、場合によっては、伝送路遅延による受信バッファアンダーフローが発生しているだけで正常動作しているにも関わらず、動作停止や通信切断などのコマンドを実行してしまうこともあり得る。

上述した課題は有線による伝送路上ではもとより、無線による伝送路上でのリアルタイム画像送受信において、より顕著となる。無線では有線より帯域が狭いことやエラー率が上がるという観点から、伝送路遅延に伴う受信バッファアンダーフロー発生の頻度が高くなるためである。
一方、今後、カメラ付き携帯電話における更なる動画像処理性能や通信性能の向上、広帯域無線アクセス環境の整備やカメラ、ビデオカメラ等の機器へのネットワーク機能実装によるワイヤレスネットワーク接続等により、様々な場面で、撮影された動画像がネットワークに配信され、かつ配信された動画像をリアルタイムに視聴するケース（所謂ライブ中継のような形態）が増えていくものと予測される。その際、例えばあるイベント開催時などで、ある特定の無線アクセスポイントに多数のカメラ機器が接続され、各カメラ機器により撮影された動画像がネットワークに配信されることにより輻輳状態が発生した場合に、送信される動画像データに著しい伝送遅延が起こり得る。その結果、受信側では受信バッファアンダーフローにより数秒以上、表示画像の更新が停止されることも考えられる。

本発明は受信バッファアンダーフローが発生するような状況下であっても、表示画像の更新が一定期間停止するということを防止する又は更新が停止する期間を短くする画像復号化装置を提供することを目的とする。

本発明は、外部から受信する画像符号化データを受信バッファに取り込みつつ、当該受信バッファから画像符号化データを読み出して復号し画像データを出力する画像復号化装置であって、画像データを一時的に保持するフレームメモリと、各瞬時における受信バッファ内の画像符号化データ量もしくは画像符号化データ量の時間変化に基づいてアンダーフローが発生しているか、あるいはアンダーフローが発生する蓋然性が高いか否かを判定する判定手段と、判定結果が肯定的な場合に、前記フレームメモリに格納されている一フレーム分の画像データを取り出すと共に、前記受信バッファに残存する画像符号化データの一部分を復号し、取り出した画像データの一部分を前記画像符号化データを復号した画像データの一部分で置き換えて、新たな一フレーム分の合成画像データを生成する合成画像生成手段と、生成された合成画像データを出力する出力手段と、を備え、合成画像データは、置き換えられた画像データの占有割合が、直前に生成された合成画像データにおける置き換えられた画像データの占有割合よりも大きくなるよう、繰り返し生成され、生成された合成画像データは生成順に出力される、ことを特徴とする画像復号化装置である。

上記課題を解決するための手段に記載の構成により、徐々に置換後の画像データの占有割合が高くなるよう生成された複数の合成画像が出力されるので、表示内容はゆっくりではあるが変化することになる。
表示内容のゆっくりとした変化を実現することにより、画像復号化装置が故障したり通信が途絶したりしたのではなく、“単にネットワークが混雑しているに過ぎない”という状況を、ユーザに理解させることができる。

ここで、前記外部から受信する画像符号化データは複数の所定の処理単位からなり、画像データの置き換えは、所定の処理単位毎に行われ、前記画像復号化装置は前記所定の処理単位毎に重要度を算出する重要度算出手段を備え、前記合成画像生成手段は前記フレームメモリに格納されている画像データの一部分を、算出された重要度のうち最も高い重要度に対応する所定の処理単位で置き換えるとしてもよい。

その場合、前記割り当てられた数値は、フレームの中央に近い位置ほど高くなるとしてもよい。
また、前記割り当てられた数値は、画像の動きが大きいほど高くなるとしてもよい。
これにより、前記合成画像生成手段は例えば、フレームの中央に近い位置または画像の動きが大きい部分を優先的に置き換えることができるので、画像の中でユーザにとって重要と思われる部分を先に更新することができる。

ここで、前記数値は複数のテーブルに割り当てられており、前記重要度算出手段は前記受信バッファに残存する画像符号化データから得られる情報に基づいて、前記複数のテーブルを動的に切り換え、重要度を算出するとしてもよい。
その場合に、前記画像符号化データから得られる情報はピクチャタイプを示す情報であるとしてもよい。

これにより、前記重要度算出手段は前記受信バッファに残存する画像符号化データから得られる情報に基づいて、重要度を算出することができる。例えば、複数のテーブルのうちの一つが動きベクトルに基づくテーブルである場合には、ピクチャタイプがＩピクチャであれば、動きベクトルを得ることはできず、動きベクトルに基づくテーブルを用いて重要度を算出することはできないが、他のテーブルを用いることにより重要度を算出することができる。このように、複数のテーブルを用いることにより、重要度を算出できないという状況を回避することができる。

ここで、前記判定結果が否定的である場合に、前記合成画像生成手段は、前記フレームメモリに格納されている画像データを取り出すと共に、前記受信バッファに残存する一フレーム分の画像符号化データを復号し、取り出した画像データを前記画像符号化データを復号した画像データで置き換えて、新たな一フレーム分の画像データを生成するとしてもよい。

これにより、前記受信バッファに残存する画像符号化データの量に応じて、表示内容を変化させることができる。すなわち、前記画像復号化装置では判定結果が否定的な場合には、フレーム単位で画像データの置き換えが行われるので、表示内容の滑らかな変化を実現することができ、その結果、ユーザにとって見やすい画像を提供することができる。
ここで、前記画像復号化装置は、前記合成画像生成手段により新たに生成される一フレーム分の合成画像データを一時的に保持するための補助フレームメモリを備え、前記合成画像生成手段は、生成した複数の合成画像データを前記フレームメモリ及び前記補助フレームメモリに交互に記憶するとしてもよい。

これにより、前記合成画像生成手段は、前記フレームメモリ及び前記補助フレームメモリに格納されている画像データを用いることにより、容易に合成画像データを生成することができる。
ここで、前記合成画像生成手段は、前記フレームメモリに格納されている画像データをスライス単位で前記画像符号化データを復号した画像データに置き換えるとしてもよい。

これにより、前記受信バッファに残存する画像符号化データ中の特殊なビット列（同期語）を検出することにより、簡単に各スライスの範囲を特定することができるので、画像復号化装置における処理負荷を軽減できる。
ここで、画像データの置換を行う際の前記受信バッファに残存する画像符号化データの一部分のデータサイズは、前記受信バッファに残存する画像符号化データの量に応じて異なるとしてもよい。

これにより、例えば、前記受信バッファに残存する画像符号化データの量に余裕がある場合には、データの置き換えの際のデータサイズを大きくし、表示内容の滑らかな変化を実現することにより、ユーザにとって見やすい画像を提供することができる。また、前記受信バッファに残存する画像符号化データの量に余裕がない場合には、データの置き換えの際のデータサイズを小さくし、表示内容のゆっくりとした変化を実現することにより、画像の更新が途絶えるのを防止することができる。

ここで、前記フレームメモリに格納されている画像データは、前記合成画像生成手段により前記受信バッファに残存する画像符号化データの一部分が復号される直前に復号された画像データであるとしてもよい。
これにより、前記合成画像生成手段は、より違和感のない合成画像データを生成することができる。

以下、図面を参照しながら本発明の実施の形態を説明する。
（実施の形態１）
＜概要＞
デジタル信号処理における主要な技術の１つとして、デジタル化された情報信号を圧縮符号化する符号化技術が挙げられる。この符号化技術には、様々な規格が存在するが、特に動画像データを扱う分野においてはＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｉｍａｇｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格が主流となっている。例えば、デジタル放送システム等に利用されているＭＰＥＧ−２方式や、携帯電話によるＴＶ電話等に利用されているＭＰＥＧ−４方式である。

現在、ＭＰＥＧ−４方式において、画像データを圧縮符号化する過程で１フレームをビデオパケットごとに区切り、ビデオパケット単位でデータを送信するという仕組みが主流である。その目的はデータを送信する中で、データが化けたり欠落したりした場合に、その影響を部分的な範囲に抑えることである。
本発明に係る画像復号化装置はその仕組みを利用して、受信バッファアンダーフローが起こったとき、あるいは受信バッファアンダーフローが起こる蓋然性が高い場合には、受信バッファに残存する画像符号化データを復号した画像データと、フレームメモリに格納されている一フレーム分の画像データとをビデオパケット単位で置き換えることにより、新たな一フレーム分の合成画像データを生成する。合成画像データは、置き換えられた画像データの占有割合が、直前に生成された合成画像データにおける置き換えられた画像データの占有割合よりも大きくなるよう、繰り返し生成され、生成された合成画像データは生成順に出力される。

これにより、画像データの全体が更新されないまでも、画像データの一部分が更新されることにより、何らかの変化が画面に現れることになる。
ユーザは部分的に更新された画面を見ることで、通信が途絶しているのではなく混雑していると認識できると共に少なくとも装置は故障していないと判断できる。その結果、ユーザから装置の故障や通信途絶などの不安感を拭うことができる。
＜構成＞
図１は、本発明の実施の形態１における画像復号化装置１０００の機能構成の一例を示すブロック図である。図１に示されるように、画像復号化装置１０００は、受信バッファ１００、受信バッファ蓄積量判定部２００、復号ビデオパケット制御部３００、受信バッファ制御部４００、及び復号化部５００を含んで構成される。

受信バッファ１００は、外部より逐次入力される符号化された画像データ（以下、「画像符号化データ」という）を受信して蓄積すると共に、画像符号化データの蓄積量（以下、「画像符号化データ蓄積量」という）を管理する。詳細な機能については＜受信バッファ１００＞で説明する。
ここで画像符号化データは第１の処理単位で符号化されており、複数の第２の処理単位から構成される。第２の処理単位は少なくとも１つの第１の処理単位で構成される。本実施の形態では、画像符号化データはＭＰＥＧ−４（ＩＳＯ／ＩＥＣ１４４９６−２）方式で符号化された符号化データであり、第１の処理単位をマクロブロック、第２の処理単位をビデオパケットとして構成されているとする。ここでは、画像符号化データはＭＰＥＧ−４方式で符号化されているものとして説明するが、特にこれに限定する必要はなく、画像圧縮技術を用いて符号化されたデータであればよい。

なお、ＭＰＥＧ−４（ＩＳＯ／ＩＥＣ１４４９６−２）方式並びにその中で定義されているマクロブロック、ビデオパケット及び復号処理内容については公知の技術であり、本発明の主張するところではないため、それらの詳細な説明は省略する。
受信バッファ蓄積量判定部２００は、受信バッファ１００で管理される画像符号化データ蓄積量を取得し、取得した画像符号化データ蓄積量と予め内部に記憶している閾値とを用いて、受信バッファ１００の画像符号化データ蓄積状況を判定する。判定した画像符号化データ蓄積状況を復号ビデオパケット制御部３００に出力する。詳細な機能については＜受信バッファ蓄積量判定部２００＞で説明する。

復号ビデオパケット制御部３００は、外部より入力される復号化処理（又は復号画像の表示処理）レートの間隔を示す復号化タイミング信号を受信すると、受信バッファ蓄積量判定部２００から取得した画像符号化データ蓄積状況と受信バッファ１００に蓄積されている画像符号化データを構成する各ビデオパケットの重要度とに基づいて、受信バッファ１００に蓄積されている画像符号化データのうち復号化の対象となる復号化対象符号化データを選択する。選択した復号化対象符号化データを読み出すよう、受信バッファ制御部４００に指示する。

受信バッファ制御部４００は復号ビデオパケット制御部３００より指示を受け取ると、復号ビデオパケット制御部３００により選択された復号化対象符号化データを受信バッファ１００から読み出し、復号化部５００へ転送する。
復号化部５００は受信バッファ制御部４００より入力された復号化対象符号化データに対し復号処理を行うと共に、復号処理で生成されなかった領域については一つ前の復号画像で代替することにより、合成画像（部分的に更新された復号画像）を生成し、出力する。

以下、各機能ブロックについて、さらに詳細に説明する。
＜受信バッファ１００＞
図２は受信バッファ１００の詳細を示すブロック図である。図１と同じ構成要素には同じ符号を付し、その説明は省略する。図２に示されるように、受信バッファ１００は、メモリ１０１、ｒｅａｄｐｏｉｎｔｅｒＡ１０２、ｒｅａｄｐｏｉｎｔｅｒＢ１０３、ｒｅｍａｉｎｓｉｚｅ１０４、ｗｒｉｔｅｐｏｉｎｔｅｒ１０５、加算器１０６、及びスイッチ１０７を含んで構成される。

入力される画像符号化データはメモリ１０１上のｗｒｉｔｅｐｏｉｎｔｅｒ１０５により示されるアドレス領域へ格納される。ここでｗｒｉｔｅｐｏｉｎｔｅｒ１０５により示されるアドレス値は初期値を０ｘ００００とし、画像符号化データがメモリ１０１へ１バイト格納される毎に、１インクリメントされる。画像符号化データがメモリ１０１に格納されている間、スイッチ１０７は１側へ接続され、画像符号化データが１バイト格納される毎に、加算器１０６によりｒｅｍａｉｎｓｉｚｅ１０４が１インクリメントされる。ここでは、画像符号化データがメモリ１０１上のアドレス０ｘ００００〜０ｘ０４ＦＦに格納済みの状態で、ｗｒｉｔｅｐｏｉｎｔｅｒ１０５により示されるアドレス値は０ｘ０５００となっているものとする。

ここで、図３に画像符号化データの１フレーム分の構成例（復号画像イメージ）を示す。画像符号化データにおける１フレーム（フレームＮ、Ｎは自然数でフレーム番号を示す）は９９個のマクロブロック（ＭＢ０〜ＭＢ９８、水平方向に１１個のマクロブロック、垂直方向に９個のマクロブロック）で構成され、画像サイズはＱＣＩＦ（Ｑｕａｒｔｅｒ Ｃｏｍｍｏｎ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ）（水平１７６画素、垂直１４４画素）である。

また、図３に示されるフレームＮはビデオパケット０（ＭＢ０〜ＭＢ３２）、ビデオパケット１（ＭＢ３３〜ＭＢ６５）、ビデオパケット２（ＭＢ６６〜ＭＢ９８）の３つのビデオパケットから成る構成となっている。
図２に示される受信バッファ１００のメモリ１０１には、図３に示される１フレーム分（フレームＮ）の画像符号化データがビデオパケット０（アドレス０ｘ０１００〜０ｘ０１ＦＦ）、ビデオパケット１（アドレス０ｘ０２００〜０ｘ０２ＦＦ）、ビデオパケット２（アドレス０ｘ０３００〜０ｘ０３ＦＦ）となるように格納されているものとする。

受信バッファ１００は復号ビデオパケット制御部３００より入力される復号ビデオパケット制御用画像符号化データ読み出し要求（以下、「符号化データ読み出し要求」という）を受信すると、ｒｅａｄｐｏｉｎｔｅｒＡ１０２に示されるアドレスの画像符号化データをメモリ１０１から読み出し、読み出した画像符号化データを復号ビデオパケット制御用画像符号化データ（以下、「制御用データ」という）として復号ビデオパケット制御部３００へ送信する。ここでｒｅａｄｐｏｉｎｔｅｒＡ１０２により示されるアドレス値は初期値を０ｘ００００とし、画像符号化データがメモリ１０１から１バイト読み出される毎に、１インクリメントされる。そして、符号化データ読み出し要求によるメモリ１０１からの画像符号化データの読み出しは、ｒｅａｄｐｏｉｎｔｅｒＡ１０２により示されるアドレス値が、ｗｒｉｔｅｐｏｉｎｔｅｒ１０５により示されるアドレス値となるまで行われる。ここでは、ｒｅａｄｐｏｉｎｔｅｒＡ１０２は０ｘ０１００、ｗｒｉｔｅｐｏｉｎｔｅｒ１０５は０ｘ０５００を指しているとし、復号ビデオパケット制御部３００へ制御用データとして送信される画像符号化データは、メモリ１０１のアドレス０ｘ０１００〜０ｘ０４ＦＦに格納されているデータである。

また、受信バッファ１００は受信バッファ制御部４００より入力される復号化対象符号化データ読み出し要求（以下、「対象データ読み出し要求」という）を受信すると、その中で指定されるアドレス値をｒｅａｄｐｏｉｎｔｅｒＢ１０３へセットし、同様に指定されるサイズ（バイト単位）分だけ、ｒｅａｄｐｏｉｎｔｅｒＢ１０３により示されるアドレスの画像符号化データをメモリ１０１から読み出し、読み出した画像符号化データを復号化対象符号化データとして受信バッファ制御部４００へ送信する。画像符号化データがメモリ１０１から読み出されている間、スイッチ１０７は−１側へ接続され、画像符号化データが１バイト読み出される毎に、ｒｅａｄｐｏｉｎｔｅｒＢ１０３が１インクリメントされる共に、加算器１０６によりｒｅｍａｉｎｓｉｚｅ１０４が１デクリメントされる。ここでは、ｒｅａｄｐｏｉｎｔｅｒＢ１０３を用いてメモリ１０１上のアドレス０ｘ００００〜０ｘ００ＦＦに格納された全画像符号化データがすでに読み出し済みで、かつ、ｗｒｉｔｅｐｏｉｎｔｅｒ１０５が上記の通り０ｘ０５００を指しているとき、ｒｅｍａｉｎｓｉｚｅ１０４は０ｘ０４００となっているものとする。

さらに、画像符号化データの入力によるメモリ１０１への画像符号化データの格納時、及び対象データ読み出し要求によるメモリ１０１からの画像符号化データの読み出し時に、ｒｅｍａｉｎｓｉｚｅ１０４の値が変更された場合、受信バッファ１００は変更後のｒｅｍａｉｎｓｉｚｅ１０４の値を受信バッファ蓄積量として受信バッファ蓄積量判定部２００に通知する。ここでは上記の通りｒｅｍａｉｎｓｉｚｅ１０４が０ｘ０４００となっており、受信バッファ蓄積量として０ｘ０４００が通知される。
＜受信バッファ蓄積量判定部２００＞
図４は受信バッファ蓄積量判定部２００の詳細を示す機能ブロック図である。図４に示されるように、受信バッファ蓄積量判定部２００はｒｅｍａｉｎｓｉｚｅ２０１と、閾値記憶部２０２と、判定コア部２０３とを含んで構成される。

受信バッファ１００から入力される受信バッファ蓄積量は、ｒｅｍａｉｎｓｉｚｅ２０１へ格納される。ここでは上記の通り、受信バッファ蓄積量２１１として０ｘ０４００が入力され、ｒｅｍａｉｎｓｉｚｅ２０１へ格納される。
閾値記憶部２０２は閾値ＴｈＡ及び閾値ＴｈＢを記憶している。ここでは閾値ＴｈＡは０ｘ０１００、閾値ＴｈＢは０ｘ０６００であるものとする。

なお、ここでは受信バッファ画像符号化データ蓄積状況判定用に予め記憶した２種類の閾値ＴｈＡ及びＴｈＢを使用しているが、より多くの閾値を用いたり、又は動的に変更される閾値を用いたりしてもよい。
判定コア部２０３はｒｅｍａｉｎｓｉｚｅ２０１及び閾値記憶部２０２に記憶されている閾値ＴｈＡ、閾値ＴｈＢを読み出し、それらに基づいて受信バッファ画像符号化データ蓄積状況（以下、「符号化データ蓄積状況」という）を判定し、判定結果を復号ビデオパケット制御部３００へ通知する。符号化データ蓄積状況の判定に関する詳細は図１１で説明する。
＜復号ビデオパケット制御部３００＞
図５は復号ビデオパケット制御部３００の詳細を示す機能ブロック図である。

図５に示されるように、復号ビデオパケット制御部３００は、ビデオパケット重要度判定部３１０、及び復号ビデオパケット判定部３２０を含んで構成される。
ビデオパケット重要度判定部３１０は、ビデオパケット検出部３１１、重要度テーブル記憶部３１２、及びビデオパケット重要度算出部３１３を含んで構成される。
ビデオパケット検出部３１１は、外部より復号化タイミング信号が入力されると、受信バッファ１００に対し符号化データ読み出し要求を出力する。受信バッファ１００から要求に対する応答として出力される制御用データを受信すると、制御用データとして入力される画像符号化データをサーチして、画像符号化データを構成するビデオパケットを検出する。ここでは上記の通り、図２に示されるメモリ１０１のアドレス０ｘ０１００〜０ｘ０４ＦＦに格納されている画像符号化データが入力される。

具体的には、ビデオパケット検出部３１１は、まずメモリ１０１のアドレス０ｘ０１００〜０ｘ０１０３に格納されているデータ”０ｘ０００００１Ｂ６”をフレームＮの先頭を示す同期語（シンクワード）として検出し、これより先のデータをフレームＮの先頭のビデオパケット０とする。併せてフレームＮのビデオパケット０の先頭アドレスとして０ｘ０１００、マクロブロック番号として０ｘ００を記憶し、フレームＮのビデオパケット０のデータサイズのカウントを開始する。

順次、メモリ１０１のアドレス０ｘ０１０４以降のデータサーチを続行する。そして、メモリ１０１のアドレス０ｘ０２００〜０ｘ０２０２に格納されているデータ”０ｘ００００Ａ１”の最上位から１７ビットをビデオパケットの先頭を示す同期語（０ｘ００００８０）として検出し、さらに残りのビットを当該ビデオパケットの先頭のマクロブロック番号（０ｘ００００２１）として検出し、これより先のデータをフレームＮの２番目のビデオパケット１とする。すなわちフレームＮのビデオパケット０のサイズは０ｘ１００、終端マクロブロック番号は０ｘ２０となり、これらを記憶すると共に、フレームＮのビデオパケット１の先頭アドレスとして０ｘ０２００、先頭マクロブロック番号として０ｘ２１を記憶し、再びフレームＮのビデオパケット１のデータサイズのカウントを開始する。

順次、メモリ１０１のアドレス０ｘ０２０３以降のデータサーチを続行する。そして、メモリ１０１のアドレス０ｘ０３００〜０ｘ０３０２に格納されているデータ”０ｘ００００Ｃ２”の最上位から１７ビットをビデオパケットの先頭を示す同期語（０ｘ００００８０）として検出し、さらに残りのビットを当該ビデオパケットの先頭のマクロブロック番号（０ｘ００００４２）として検出し、これより先のデータをフレームＮの３番目のビデオパケット２とする。すなわちフレームＮビデオパケット１のサイズは０ｘ１００、終端マクロブロック番号は０ｘ４１となり、これらを記憶すると共に、フレームＮのビデオパケット２の先頭アドレスとして０ｘ０３００、マクロブロック番号として０ｘ４２を記憶し、再びフレームＮのビデオパケット２のデータサイズのカウントを開始する。

順次、メモリ１０１のアドレス０ｘ０３０３以降のデータサーチを続行する。そして、メモリ１０１のアドレス０ｘ０４００〜０ｘ０４０３に格納されているデータ”０ｘ０００００１Ｂ６”をフレームＮ＋１の先頭を示す同期語として検出し、これより先のデータをフレームＮ＋１の先頭のビデオパケット０とする。すなわちフレームＮのビデオパケット２のサイズは０ｘ１００、終端マクロブロック番号は０ｘ６２となり、これらを記憶すると共に、フレームＮ＋１のビデオパケット０の先頭アドレスとして０ｘ０４００、マクロブロック番号として０ｘ００を記憶し、再びフレームＮ＋１のビデオパケット０のデータサイズのカウントを開始する。

順次、メモリ１０１のアドレス０ｘ０４０４以降のデータサーチを続行し、上記の通りｒｅａｄｐｏｉｎｔｅｒＡ１０２により示されるアドレス値がｗｒｉｔｅｐｏｉｎｔｅｒ１０５により示されるアドレス値（０ｘ０５００）となった時点で、制御用データとして入力される画像符号化のデータサーチを終了する。
図６にビデオパケット検出部３１１でのサーチ結果を示す。図６に示されるように、ビデオパケット毎に先頭マクロブロック（ＭＢ）番号、終端マクロブロック（ＭＢ）番号、先頭アドレス、及びサイズ情報が得られる。なお、本図における先頭及び終端のマクロブロック番号は１０進数で表している。

ビデオパケット検出部３１１はサーチ結果をビデオパケット重要度算出部３１３に送信する。
重要度テーブル記憶部３１２は、図７に示されるような重要度テーブルを記憶している。図７に示されるように、重要度テーブル７００では、画像符号化データの１フレーム分の復号画像イメージ（各マクロブロック位置は図３と同様）において、マクロブロック単位に重要度（高：５〜低：１）が割り当てられており、かつ、画像中央に近い位置ほど高い重要度が与えられている。

ビデオパケット重要度算出部３１３はビデオパケット検出部３１１より入力されるビデオパケット毎のサーチ結果及び重要度テーブル記憶部３１２に記憶されている重要度テーブル７００を基に、ビデオパケット毎の重要度を算出する。
具体的には、次のように重要度を算出する。まずフレームＮのビデオパケット０において、先頭マクロブロック（ＭＢ）番号は０、終端マクロブロック（ＭＢ）番号は３２であるので、それらに相当する重要度テーブル７００の位置（ＭＢ０〜ＭＢ３２）の重要度の総和を計算すると、１×１１＋２×１１＋２＋３＋４×７＋３＋２＝７１となる。したがって、フレームＮのビデオパケット０の重要度は、７１である。

また、フレームＮのビデオパケット１において、先頭マクロブロック（ＭＢ）番号は３３、終端マクロブロック（ＭＢ）番号は６５であるので、それらに相当する重要度テーブル７００の位置（ＭＢ３３〜ＭＢ６５）の重要度の総和を計算すると、（２＋３＋４＋５×５＋４＋３＋２）×３＝１２９となる。したがって、フレームＮのビデオパケット１の重要度は、１２９である。

また、フレームＮのビデオパケット２において、先頭マクロブロック（ＭＢ）番号は６６、終端マクロブロック（ＭＢ）番号は９８であるので、それらに相当する重要度テーブル７００の位置（ＭＢ６６〜ＭＢ９８）の重要度の総和を計算すると、１×１１＋２×１１＋２＋３＋４×７＋３＋２＝７１となる。したがって、フレームＮのビデオパケット２の重要度は、７１である。

以上より、フレームＮのビデオパケット１の重要度（１２９）が最も高く、フレームＮのビデオパケット０及びビデオパケット２の重要度（７１）が低くなっている。ここでフレームＮ内の各ビデオパケットに対し、重要度に応じて順位付けを行う。まず、フレームＮのビデオパケット１が最も重要度が高いため、順位（１）を割り当てる。フレームＮ内の他の２つのビデオパケット０、２の重要度は等しい値のため、ここではビデオパケット内の先頭のマクロブロック（ＭＢ）番号が小さい方を高順位とする。よってフレームＮのビデオパケット０に順位（２）、フレームＮのビデオパケット２に順位（３）を割り当てる。

ビデオパケット重要度算出部３１３は、上記決定したビデオパケット毎の順位（１〜３）を、復号ビデオパケット判定部３２０へ通知する。
復号ビデオパケット判定部３２０は、ビデオパケット重要度算出部３１３より通知されたビデオパケット毎の順位（１〜３）及び受信バッファ蓄積量判定部２００より通知された符号化データ蓄積状況を基に、復号化対象符号化データを決定する。ここでは、符号化データ蓄積状況が２であるため、ビデオパケット単位での復号が可能であり、復号化対象符号化データ情報として、最も高い順位であるフレームＮのビデオパケット１に関する情報を受信バッファ制御部４００へ通知する。復号化対象符号化データ情報として受信バッファ制御部４００へ通知するものとしては、フレームＮのビデオパケット１のメモリ１０１上の先頭アドレス（０ｘ０２００）及びサイズ（０ｘ０１００）となる。

復号ビデオパケット制御部３００は、ビデオパケット単位での復号が可能な場合には、復号化部５００による画像生成を、直前の画像データにおける画像符号化データの占有割合よりも大きな占有割合となるよう、受信バッファ制御部４００を介して制御しつつ繰り返させる。すなわち、フレームＮのビデオパケット１に関する情報に続いて、フレームＮのビデオパケット０に関する情報、フレームＮのビデオパケット２に関する情報を受信バッファ制御部４００へ通知する。

なお、ビデオパケット毎の順位（１〜３）及び符号化データ蓄積状況を基に復号化対象符号化データを決定する場合に、過去に既に受信バッファ制御部４００へ通知済みのビデオパケットがあれば、これを判定対象から外し、下位順位の各ビデオパケットの順位を１ランク上げる。例えば、順位２を順位１にし、順位３を順位２にする。
続いて、符号化データ蓄積状況と復号化対象符号化データ情報との関係について説明する。本実施の形態では、符号化データ蓄積状況が２、つまり、１ビデオパケット以上の符号化データ量が蓄積されていると判断されるため、復号化対象のデータ量はビデオパケット単位ということになる。もしも、符号化データ蓄積状況が３であれば、少なくとも２フレーム以上の符号化データ量が蓄積されていると判断されるため、復号化対象のデータ量は１フレーム分とする。また、符号化データ蓄積状況が１であれば、１ビデオパケットよりも少ない符号化データしか蓄積されていないので、復号化処理は行われない。
＜受信バッファ制御部４００＞
受信バッファ制御部４００は、復号ビデオパケット制御部３００より通知された復号化対象符号化データ情報（フレームＮビデオパケット１のメモリ１０１上の先頭アドレス（０ｘ０２００）及びサイズ（０ｘ０１００））を基に、受信バッファ１００内のメモリ１０１より画像符号化データを読み出し、読み出した画像符号化データを復号化対象符号化データとして、復号化部５００へ送信する。
＜復号化部５００＞
図８は復号化部５００の詳細を示すブロック図である。

図８に示されるように、復号化部５００は、復号化対象符号化データ記憶部５１０、復号化コア部５２０、及びバンクＡ５３１とバンクＢ５３２とを含む復号画像記憶部５３０を含んで構成される。
復号化対象符号化データ記憶部５１０は、メモリ５１１、ｒｅａｄｐｏｉｎｔｅｒ５１２、及びｗｒｉｔｅｐｏｉｎｔｅｒ５１３を含んで構成される。

復号化部５００では、受信バッファ制御部４００より入力された復号化対象符号化データは、メモリ５１１上のｗｒｉｔｅｐｏｉｎｔｅｒ５１３により示されるアドレス領域に格納される。ここで、ｗｒｉｔｅｐｏｉｎｔｅｒ５１３により示されるアドレス値は初期値を０ｘ１０００とし、復号化対象符号化データがメモリ５１１へ１バイト格納される毎に、１インクリメントされる。ここでは、受信バッファ制御部４００より入力される復号化対象符号化データのサイズは上記の通り０ｘ０１００であり、復号化対象符号化データがメモリ５１１に格納された後のｗｒｉｔｅｐｏｉｎｔｅｒ５１３の指すアドレス値は０ｘ１１００となる。

次に、メモリ５１１からｒｅａｄｐｏｉｎｔｅｒ５１２により示されるアドレスの復号化対象符号化データ２１０が読み出され、復号化コア部８０５へ送信される。ここで、ｒｅａｄｐｏｉｎｔｅｒ５１２により示されるアドレス値は初期値を０ｘ１０００とし、メモリ５１１から復号化対象符号化データが読み出されている間、１バイト読み出される毎に、ｒｅａｄｐｏｉｎｔｅｒ５１２は１インクリメントされる。そして、メモリ５１１からの復号化対象符号化データの読み出しは、ｒｅａｄｐｏｉｎｔｅｒ５１２の指すアドレス値が、ｗｒｉｔｅｐｏｉｎｔｅｒ５１３の指すアドレス値となるまで行われる。

復号化コア部５２０は復号化対象符号化データ記憶部５１０より入力された復号化対象符号化データに対し復号処理を行うと共に、前記復号処理で生成されなかった領域については一つ前の復号画像で代替することにより、合成画像（部分的に更新された復号画像）を生成する。より具体的には、復号画像記憶部５３０（ここでは、バンクＢ）に記憶されている一つ前の復号画像を取り出し、取り出した復号画像の一部（ここでは、フレームＮ−１のビデオパケット１）を、復号後の復号化対象符号化データ（ここでは、フレームＮのビデオパケット１）で置き換えることにより合成画像、すなわちフレームＮ−１のビデオパケット１の部分のみがフレームＮのビデオパケット１で更新された復号画像を生成する。生成した画像を復号画像記憶部５３０へ出力する。

復号画像記憶部５３０には、復号画像を格納する領域として、バンクＡ５３１及びバンクＢ５３２の二つの領域があり、復号画像を出力する場合は、バンクＡ５３１→バンクＢ５３２→バンクＡ５３１→・・と交互に切り替えながら出力する。ここではバンクＢ５３２には、一つ前の復号画像（フレームＮ−１のビデオパケット０、１、２）が格納されており、今回復号処理で出力される復号画像はバンクＡ５３１に出力されるものとする。

上記の構成によれば、入力される復号化対象符号化データがフレームＮのビデオパケット１（ＭＢ３３〜ＭＢ６５、太枠で囲われた部分）のみであっても、それ以外の領域（ＭＢ０〜ＭＢ３２、ＭＢ６６〜ＭＢ９８）については、バンクＢ５３２に格納されている一つ前の復号画像（フレームＮ−１のビデオパケット０、２）で代替することにより、容易に復号画像を得ることができる。

以降、外部より画像符号化データや復号化タイミング信号が入力されるタイミングで同様の処理を繰り返す。
以降の処理を簡単に説明すると、復号化部５００は受信バッファ制御部４００より復号化対象符号化データ（フレームＮのビデオパケット０）が入力されると、当該データを復号し、バンクＡに記憶されている復号画像を取り出し、取り出した復号画像の一部（フレームＮ−１のビデオパケット０）を、復号後の復号化対象符号化データ（フレームＮのビデオパケット０）で置き換えることにより合成画像、すなわちフレームＮのビデオパケット０のみ更新された復号画像を生成し、バンクＢに記憶する。

さらに、復号化部５００は受信バッファ制御部４００より復号化対象符号化データ（フレームＮのビデオパケット２）が入力されると、当該データを復号し、バンクＢに記憶されている復号画像を取り出し、取り出した復号画像の一部（フレームＮ−１のビデオパケット２）を、復号後の復号化対象符号化データ（フレームＮのビデオパケット２）で置き換えることにより合成画像、すなわちフレームＮのビデオパケット２のみ更新された復号画像を生成し、バンクＡに記憶する。

これにより、復号化対象符号化データの占有割合が徐々に大きくなるよう、合成画像を生成することができる。
図９は外部より入力される復号化タイミング信号と出力される復号画像との関係例を示す図である。図９に示されるように、時刻Ｔ−１で入力される復号化タイミング信号に対する画像復号化装置１０００の一連の処理では、復号画像９０１（フレームＮ−１、画像全体が更新）が出力される。

次の時刻Ｔで入力される復号化タイミング信号に対する一連の処理では、復号画像９０２（代替データＮ、フレームＮのビデオパケット１の部分（画像中央部）のみが更新）が出力される。
次の時刻Ｔ＋１で入力される復号化タイミング信号に対する一連の処理では、復号画像９０３（代替データＮ＋１、フレームＮのビデオパケット０の部分（画像上部）がさらに更新）が出力される。

次の時刻Ｔ＋２で入力される復号化タイミング信号に対する一連の処理では、復号画像９０４（代替データＮ＋２、フレームＮのビデオパケット２の部分（画像下部）がさらに更新）が出力される。この時点でフレームＮ−１に対して画像全体が更新されることになる。
＜画像復号化装置１０００の動作＞
図１０は本発明の実施の形態１における画像復号化装置１０００の動作を示す処理フロー図である。

図１０に示されるように、画像復号化装置１０００はまず、外部より逐次入力される画像符号化データを受信バッファに蓄積し、画像符号化データ蓄積量を管理する（以下、「画像符号化データ蓄積ステップ」という）（ステップＳ１０１）。次に、画像符号化データ蓄積量と予め記憶している閾値とを用いて、受信バッファの画像符号化データ蓄積状況を判定する（以下、「受信バッファ蓄積量判定ステップ」という）（ステップＳ１０２）。受信バッファ蓄積量判定処理の詳細は図１１で説明する。続いて、外部より入力される復号化タイミング信号を受信すると、画像符号化データ蓄積状況と受信バッファに蓄積されている画像符号化データを構成する各ビデオパケットの重要度とにより、受信バッファに蓄積されている画像符号化データのうち復号化の対象となる復号化対象符号化データを決定する（以下、「復号ビデオパケット制御ステップ」という）（ステップＳ１０３）。復号化対象符号化データが決定されると、復号化対象符号化データに対し復号処理を行い、復号画像を出力する（以下、「復号化ステップ」という）（ステップＳ１０４）。復号化対象符号化データ決定処理及び復号化処理の詳細は図１２で説明する。
＜受信バッファ蓄積量判定処理＞
図１１に判定コア部２０３における受信バッファ画像符号化データ蓄積状況判定処理フロー図を示す。

図１１に示されるように、判定コア部２０３はｒｅｍａｉｎｓｉｚｅ２０１と閾値ＴｈＡとを比較する（ステップＳ２０１）。比較した結果、閾値ＴｈＡがｒｅｍａｉｎｓｉｚｅ２０１より大きい場合は（ステップＳ２０１でＹｅｓ）、受信バッファ画像符号化データ蓄積状況として１をセットする（ステップＳ２０２）。
比較した結果、ｒｅｍａｉｎｓｉｚｅ２０１が閾値ＴｈＡ以上の場合は（ステップＳ２０１でＮｏ）、ｒｅｍａｉｎｓｉｚｅ２０１と閾値ＴｈＢとを比較する。比較した結果、閾値ＴｈＢがｒｅｍａｉｎｓｉｚｅ２０１より大きい場合は（ステップＳ２０３でＹｅｓ）、受信バッファ画像符号化データ蓄積状況として２をセットする（ステップＳ２０４）。

比較した結果、ｒｅｍａｉｎｓｉｚｅ２０１が閾値ＴｈＢ以上の場合は（ステップＳ２０３でＮｏ）、受信バッファ画像符号化データ蓄積状況として３をセットする。
ここでは上記の通り、ｒｅｍａｉｎｓｉｚｅ２０１は０ｘ０４００、ＴｈＡは０ｘ０１００、ＴｈＢは０ｘ０６００としているため、受信バッファ画像符号化データ蓄積状況として２がセットされる。
＜復号化対象符号化データ決定処理及び復号化処理＞
図１２、１３に復号化対象符号化データ決定処理及び復号化処理に関するフロー図を示す。

復号化タイミング信号を受信すると（ステップＳ３０１でＹｅｓ）、ビデオパケット検出部３１１は受信バッファ１００に蓄積されている画像符号化データをサーチし、当該画像符号化データを構成するビデオパケットを検出する（ステップＳ３０２）。ビデオパケット検出部３１１によりビデオパケットが検出されると、ビデオパケット重要度算出部３１３はサーチ結果に基づき、各ビデオパケットの重要度を算出し、重要度に応じて順位付けを行う（ステップＳ３０３）。

復号ビデオパケット判定部３２０は画像符号化データ蓄積状況を取得した後（ステップＳ３０４）、直前の復号化処理でビデオパケットを復号し、かつ、当該ビデオパケット以外に当該ビデオパケットと同じフレームを構成するビデオパケットがあるか否かをサーチ結果に基づき判定する（ステップＳ３０５）。判定結果が否定的な場合には（ステップＳ３０５でＮｏ）、ステップＳ３０４にて取得した画像符号化データ蓄積状況に応じた制御を行う。

取得した蓄積状況が１の場合、復号化部５００は復号画像記憶部５３０に記憶されている直前のフレーム画像を出力する（ステップＳ３０６）。
取得した蓄積状況が２の場合、復号ビデオパケット判定部３２０はサーチ結果及び各ビデオパケットの重要度に基づき、復号化対象符号化データとなるビデオパケットを決定する。より具体的には、サーチ結果の中でフレーム番号が最も若いビデオパケットのうち最も順位の高いビデオパケットを決定する（ステップＳ３０７）。決定されたビデオパケットが受信バッファ制御部４００により入力されると、復号化部５００は当該ビデオパケットを復号する（ステップＳ３０８）。さらに、復号処理で生成されなかった領域については過去の復号画像で代替することにより、フレーム画像を作成する。より具体的には、一つ前の復号画像を取り出し、当該画像の一部をステップＳ３０８にて復号化されたビデオパケットで置き換えることにより、合成画像を生成する（ステップＳ３０９）。合成画像を生成した後、復号化コア部５２０によりフレーム画像を復号画像記憶部５３０に記憶した後（ステップＳ３１０）、出力する（ステップＳ３１１）。

取得した蓄積状況が３の場合、復号ビデオパケット判定部３２０はサーチ結果に基づき、復号化対象符号化データとなるフレームを決定する。より具体的には、サーチ結果の中でフレーム番号が最も若いフレームを復号化対象符号化データとして決定する（ステップＳ３１２）。決定されたフレームが受信バッファ制御部４００により入力されると、復号化部５００は当該フレームを復号する（ステップＳ３１３）。復号化コア部５２０により、フレーム画像を復号画像記憶部５３０に記憶した後（ステップＳ３１０）、出力する（ステップＳ３１１）。

ステップＳ３０５における判定結果が肯定的な場合には（ステップＳ３０５でＹｅｓ）、当該フレーム構成するビデオパケットのうち、すでに復号されたビデオパケットを除いた最も順位の高いビデオパケットを決定する（ステップＳ３１４）。決定されたビデオパケットは、ステップＳ３０８にて復号される。このように、順位の高いビデオパケットから順に復号し、徐々に置換後の画像データの割合が大きくなるようにフレーム画像を生成することにより、画像の中でユーザにとって重要と思われる部分から先に更新することができる。

また、蓄積状況が３の場合には、フレーム単位で画像データの置き換えが行われるので、表示内容の滑らかな変化を実現することができ、ユーザにとって見やすい画像を提供することができる。
以上のように本実施の形態によれば、受信バッファアンダーフローが発生するような状況下でも、複数の復号化処理（又は復号画像の表示処理）間隔に亘って、ビデオパケット単位で画像更新することで、表示画像の更新が一定期間停止するということを防止する又は更新が停止する期間を短くすることができる。したがって、装置の故障や通信途絶などの不安感をユーザから拭い去ることができる。さらに、ビデオパケット単位で画像更新することにより、受信バッファに画像符号化データが受信される時間を作り出すことができ、受信バッファアンダーフローが発生する確率を低減することができる。
（実施の形態２）
本実施の形態は、実施の形態１における画像復号化装置と画像符号化装置とで構成される画像復号化システムに関する実施の形態である。

図１０に示されるように、画像復号化システム１は実施の形態１の画像復号化装置１０００と、入力画像記憶部１１と符号化部１２と送信バッファ１３とを備える画像符号化装置１０と、伝送路２とから構成される。
画像符号化装置１０において、外部より入力される画像データは入力画像記憶部１１へ格納される。

符号化部１２は入力画像記憶部１１に格納された画像データを読み出し、符号化処理を行い、符号化結果である画像符号化データを送信バッファ１３へ出力する。ここで、符号化部１２より出力される画像符号化データは第１の処理単位で符号化されており、複数の第２の処理単位から構成される。第２の処理単位は少なくとも１つの第１の処理単位で構成される。

本実施の形態では、画像符号化データはＭＰＥＧ−４（ＩＳＯ／ＩＥＣ１４４９６−２）方式で符号化された符号化データであり、第１の処理単位をマクロブロック、第２の処理単位をビデオパケットとして構成されているものであるとし、構成例としては実施の形態１において図３を用いて説明したものとしてよい。ここで、実施の形態１同様、画像符号化データはＭＰＥＧ−４方式により符号化されるものとして説明するが、特にこれに限定する必要はなく、画像圧縮技術を用いて符号化されたデータであればよい。

送信バッファ１３へ格納された画像符号化データは、所定のレートで伝送路２を介して、画像復号化装置１０００へ送信される。
画像復号化装置１０００は、伝送路２を介して入力された画像符号化データに対し復号処理を行うが、その実施の形態については、実施の形態１で説明した内容と同じであるため、ここでの説明は省略する。

以上のように本実施の形態によれば、受信バッファアンダーフローが発生するような状況下でも、複数の復号化処理（又は復号画像の表示処理）間隔に亘って、ビデオパケット単位で画像更新することで、表示画像の更新が一定期間停止するということを防止する又は更新が停止する期間を短くすることができる。したがって、装置の故障や通信途絶などの不安感をユーザから拭い去ることができる。
（実施の形態３）
本実施の形態は、実施の形態１における画像復号化装置をソフトウェアで実現する場合の実施の形態である。

図１５は実施の形態１の図１０のフローにより示されるステップを含む画像復号化方法を具現化する処理装置を示すブロック図である。
図１５に示されるように、処理装置２０００は、ＣＰＵ２１００と、メモリ２２００とを備え、画像復号化方法の各ステップ（１０１〜１０４）における処理をＣＰＵ上で動作するプログラムとして実行し、画像復号化方法の各ステップ（１０１〜１０４）で入力、保持、参照、出力する各種データを格納する領域（受信バッファ２２０１、画像符号化データ蓄積量２２０２、閾値２２０３、重要度テーブル２２０４、受信バッファ画像符号化データ蓄積状況２２０５、読み出しポインタＡ２２０６、読み出しポインタＢ２２０７、書き込みポインタ２２０８、画像符号化データビデオパケット情報２２０９、復号化対象符号化データ情報２２１０、復号画像領域２２１１（バンクＡ２２１２、バンクＢ２２１３含む））をメモリ２２００上に配置している。

以下、画像符号化方法における各ステップ（１０１〜１０４）について詳細に説明する。
まず、画像符号化データ蓄積ステップにおいて、外部より画像符号化データの入力がある場合には、画像符号化データを受信バッファ２２０１上の書き込みポインタ２２０８が指すアドレス領域へ格納する。

ここで、書き込みポインタ２２０８が指すアドレス値は初期値を０ｘ００００とし、画像符号化データが受信バッファ２２０１へ１バイト格納される毎に１インクリメントされる。書き込みポインタ２２０８を用いて画像符号化データが受信バッファ２２０１に格納されている間、１バイト格納される毎に画像符号化データ蓄積量２２０２が１インクリメントされる。ここでは、画像符号化データは、実施の形態１で示した図２のメモリ１０１への画像符号化データ格納状態と同様、受信バッファ２２０１上のアドレス０ｘ００００〜０ｘ０４ＦＦに格納済みの状態で、書き込みポインタ２２０８が指すアドレス値は０ｘ０５００となっているものとする。

また、画像符号化データは実施の形態１で図３に示した構成（ＱＣＩＦ、３つのビデオパケット（ビデオパケット０（ＭＢ０〜ＭＢ３２）、ビデオパケット１（ＭＢ３３〜ＭＢ６５）、ビデオパケット２（ＭＢ６６〜ＭＢ９８））から成る）であるとする。
受信バッファ２２０１には、画像符号化データの１フレーム分（フレームＮ）がビデオパケット０（アドレス０ｘ０１００〜０ｘ０１ＦＦ）、ビデオパケット１（アドレス０ｘ０２００〜０ｘ０２ＦＦ）、ビデオパケット２（アドレス０ｘ０３００〜０ｘ０３ＦＦ）となるように格納されているものとする。

次に、受信バッファ蓄積量判定ステップにおいて、画像符号化データ蓄積ステップ及び復号化ステップで更新された画像符号化データ蓄積量２２０２と閾値２２０３に記憶されている閾値ＴｈＡ、ＴｈＢとを読み出し、それらを基に受信バッファ画像符号化データ蓄積状況２２０５を判定する。ここで、実施の形態１と同様、閾値ＴｈＡは０ｘ０１００、閾値ＴｈＢは０ｘ０６００であるものとし、受信バッファ画像符号化データ蓄積状況の判定フローも実施の形態１と同様であるものとする。したがって、受信バッファ画像符号化データ蓄積状況１１２７として２がセットされる。

次に、復号ビデオパケット制御ステップにおいて、外部より復号化処理（又は復号画像の表示処理）レートの間隔を示す復号化タイミング信号が入力された場合、以下の処理を行う。
まず受信バッファ２２０１から読み出しポインタＡ２２０６により示されるアドレスの画像符号化データを読み出す。ここで、読み出しポインタＡ２２０６が指すアドレス値は初期値を０ｘ００００とし、受信バッファ２２０１から画像符号化データを読み出している間、１バイト読み出す毎に読み出しポインタＡ２２０６を１インクリメントする。そして受信バッファ２２０１からの画像符号化データの読み出しは、読み出しポインタＡ２２０６の指すアドレス値が、書き込みポインタ２２０８の指すアドレス値となるまで行われる。ここでは読み出しポインタＡ２２０６は０ｘ０１００、書き込みポインタ２２０８は０ｘ０５００を指しているとし、読み出される画像符号化データはメモリ１０１のアドレス０ｘ０１００〜０ｘ０４ＦＦに格納されているデータとなる。

続いて、読み出した画像符号化データをサーチして、画像符号化データを構成するビデオパケットを検出する。受信バッファ２２０１に格納されている画像符号化データ及び画像符号化データを構成するビデオパケットの検出方法は、実施の形態１で示したものと同様であり、サーチ結果である画像符号化データビデオパケット情報２２０９は、図６に示す内容となる。

また、重要度テーブル２２０４は実施の形態１において図７に示される重要度テーブルと同様とする。
次に、画像符号化データビデオパケット情報２２０９及び重要度テーブル２２０４を基に、ビデオパケット毎の重要度（順位１〜３）を決定する。ここでビデオパケット毎の重要度決定方法は、実施の形態１で示した内容と同様であり、フレームＮのビデオパケット１に順位（１）、フレームＮのビデオパケット０に順位（２）、フレームＮビデオパケット２に順位（３）がそれぞれ割り当てられる。

ビデオパケット毎の重要度（順位１〜３）及び受信バッファ画像符号化データ蓄積状況２２０５を基に、復号化対象符号化データ情報２２１０を決定する。すなわち、受信バッファ画像符号化データ蓄積状況２２０５から蓄積されているビデオパケットを判断し、蓄積されているビデオパケットのうち最も順位が高いビデオパケット（フレームＮのビデオパケット１）のみを、復号化対象符号化データ情報２２１０とする。

ここで復号化対象符号化データ情報２２１０とするものとしては、フレームＮのビデオパケット１の受信バッファ２２０１上の先頭アドレス（０ｘ０２００）及びサイズ（０ｘ０１００）となる。このときビデオパケット毎の順位（１〜３）及び受信バッファ画像符号化データ蓄積状況２２０５を基に復号化対象符号化データを決定する場合、過去に既に復号化対象符号化データ情報２２１０とされたビデオパケットがあれば、これを判断対象から外し、かつ下位順位の各ビデオパケットの順位を１ランク上げる。

続いて、復号化ステップ１１０４において、外部より復号化処理（又は復号画像の表示処理）レートの間隔を示す復号化タイミング信号が入力された場合、以下の処理を行う。
復号ビデオパケット制御ステップ１１０３で決定された復号化対象符号化データ情報２２１０（フレームＮのビデオパケット１の受信バッファ２２０１上の先頭アドレス（０ｘ０２００）及びサイズ（０ｘ０１００））を基に、受信バッファ２２０１より読み出しポインタＢ２２０７を用いて画像符号化データを読み出し、復号処理を行う。読み出しポインタＢ２２０７が指すアドレス値は、画像符号化データ読み出し開始時に０ｘ０２００にセットされ、受信バッファ２２０１から画像符号化データが読み出されている間、１バイト読み出される毎に１インクリメントされる。また画像符号化データ蓄積量２２０２は、受信バッファ２２０１から１バイト読み出される毎に１デクリメントされる。

なお、受信バッファ２２０１からの画像符号化データの読み出しは、復号化対象符号化データ情報２２１０により示されるサイズ（０ｘ０１００）になるまで繰り返される。
復号処理で生成されなかった領域については一つ前の復号画像で代替することにより、合成画像（部分的に更新された復号画像）を生成する。具体的には実施の形態１で説明した通りである。

生成された復号画像（フレームＮのビデオパケット１のみ更新）は復号画像領域２２１１へ格納された後、復号画像として出力される。また復号画像領域２２１１には、復号画像を格納する領域として、バンクＡ２２１２及びバンクＢ２２１３の二つの領域があり、復号画像を格納する場合は、バンクＡ２２１２→バンクＢ２２１３→バンクＡ２２１２→・・と交互に切り替えながら格納する。ここではバンクＢ２２１３には、一つ前の復号画像（フレームＮ−１のビデオパケット０、１、２）が格納されており、今回復号処理で出力される復号画像はバンクＡ２２１２に出力されるものとする。

上記の構成によれば、入力される復号化対象符号化データがフレームＮのビデオパケット１（ＭＢ３３〜ＭＢ６５、太枠で囲われた部分）のみであっても、それ以外の領域（ＭＢ０〜ＭＢ３２、ＭＢ６６〜ＭＢ９８）については、バンクＢ２２１３に格納されている一つ前の復号画像（フレームＮ−１のビデオパケット０、２）で代替することにより、容易に復号画像を得ることができる。

以降、外部より画像符号化データや復号化タイミング信号が入力されるタイミングで同様の処理を繰り返すことで、実施の形態１と同様、図９に示す結果が得られる。すなわち、復号化対象符号化データの占有割合が徐々に大きくなるよう、合成画像を生成することができる。
以上のように本実施の形態によれば、受信バッファアンダーフローが発生するような状況下でも、複数の復号化処理（又は復号画像の表示処理）間隔に亘って、ビデオパケット単位で画像更新することで、表示画像の更新が一定期間停止するということを防止する又は更新が停止する期間を短くすることができる。したがって、装置の故障や通信途絶などの不安感をユーザから拭い去ることができる。
（変形例１）
上記実施の形態では重要度テーブルとして、画像中央に近い位置ほど高い重要度が与えられたテーブルを使用したが、それ以外（例えば符号量、画像の動き、マクロブロックの種別、量子化パラメータ、データの受信順など）の要素を用いて設定したテーブルを用いたり、さらにはテーブルを動的に変更したりするような構成をとっても同様の効果が得られる。

例として重要度テーブルとして、画像の動き（復号処理で得られる動きベクトル）が大きいほど高い重要度が与えられたテーブルを使用する場合の形態を示す。
この場合、ビデオパケット検出部３１１は、制御用データとして入力される画像符号化データをサーチして、画像符号化データを構成するビデオパケットを検出する際に、図６に示される各ビデオパケットに関するビデオパケット先頭アドレス、先頭及び終端のマクロブロック番号、及びビデオパケットデータサイズに加え、各ビデオパケットに含まれるマクロブロックの動きベクトル（水平方向、垂直方向）を検出し、記憶する。

この際、検出されたマクロブロックが動きベクトルを持たないマクロブロック種別であった場合には、そのマクロブロックに関する動きベクトル（水平方向、垂直方向）は（０、０）とみなすものとする。
図１６（ａ）にビデオパケット検出部３１１でのサーチ結果、図１６（ｂ）に重要度テーブル記憶部３１２ａに記憶されている重要度テーブルを示す。

図１６（ａ）に示されるように、ビデオパケット毎に先頭及び終端のマクロブロック（ＭＢ）番号、先頭アドレス、サイズ、及びビデオパケットに含まれるマクロブロックの動きベクトル（水平方向、垂直方向）の情報が得られる。
また図１６（ｂ）に示されるように、重要度テーブル１３０１は、動きベクトルの大きさに応じて重要度（高：５〜低：０）が割り当てられ、かつ、動きベクトルの絶対値が大きいほど高い重要度が与えられている。

ビデオパケット重要度算出部３１３は、ビデオパケット検出部３１１でのビデオパケット毎のサーチ結果１３００及び重要度テーブル記憶部３１２ａに記憶されている重要度テーブル１３０１を基に、ビデオパケット毎の重要度を算出する。
具体的には、次のように重要度を算出する。まず、フレームＮのビデオパケット０において、先頭マクロブロック（ＭＢ）番号は０、終端マクロブロック（ＭＢ）番号は３２であり、フレームNのビデオパケット０に含まれるマクロブロック０〜３２の動きベクトル（水平方向、垂直方向）はマクロブロック０〜２１が（０、０）、マクロブロック２２〜３２が（１、−４）であることから、重要度テーブル１３０１に基づき動きベクトル（水平方向、垂直方向それぞれ）の重要度の総和を計算すると、０×２２＋０×２２＋１×１１＋２×１１＝３３となる。したがって、フレームＮのビデオパケット０の重要度は、３３である。

また、フレームＮのビデオパケット１において、先頭マクロブロック（ＭＢ）番号は３３、終端マクロブロック（ＭＢ）番号は６５であり、フレームNのビデオパケット１に含まれるマクロブロック３３〜６５の動きベクトル（水平方向、垂直方向）はマクロブロック３３〜５４が（−１、２）、マクロブロック５５〜６５が（０、０）であることから、重要度テーブル１３０１に基づき動きベクトル（水平方向、垂直方向それぞれ）の重要度の総和を計算すると、１×２２＋１×２２＋０×１１＋０×１１＝４４となる。したがって、フレームＮのビデオパケット１の重要度は、４４である。

また、フレームＮのビデオパケット２において、先頭マクロブロック（ＭＢ）番号は６６、終端マクロブロック（ＭＢ）番号は９８であり、フレームNのビデオパケット２に含まれるマクロブロック６６〜９８の動きベクトル（水平方向、垂直方向）はマクロブロック６６〜７６が（１６、−２０）、マクロブロック７７〜９８が（０、０）であることから、重要度テーブル１３０１に基づき動きベクトル（水平方向、垂直方向それぞれ）の重要度の総和を計算すると、４×１１＋５×１１＋０×２２＋０×２２＝９９となる。したがって、フレームＮのビデオパケット２の重要度は、９９である。

以上よりフレームＮのビデオパケット２の重要度が最も高く（９９）、次にフレームＮのビデオパケット１（４４）、そしてフレームＮのビデオパケット０の重要度が最も低く（３３）なっている。ここでフレームＮの各ビデオパケットに対し、重要度に応じて順位付けを行う。まずフレームＮのビデオパケット２が最も重要度が高いため、順位（１）を割り当てる。次にフレームＮのビデオパケット１に順位（２）、フレームＮビデオパケット０に順位（３）を割り当てる。

ビデオパケット重要度算出部３１３は、上記決定したビデオパケット毎の順位（１〜３）を、復号ビデオパケット判定部３２０へ通知する。
以降の処理については、上記実施の形態と同様であるので、説明を省略する。
（変形例２）
上記の変形例１では、動きベクトルに基づく重要度テーブルを用いて重要度を算出したが、フレームにおけるピクチャタイプがＩピクチャである場合には動きベクトルを得ることはできない。したがって、フレームにおけるピクチャタイプがＩピクチャである場合には、動きベクトルに基づく重要度テーブルを用いて重要度を算出することはできず、例えば、フレームの上部から順に更新していく等、別の基準に従いフレームを更新していく必要がある。

そこで、本変形例では２つの重要度テーブルを切り換えて使用することにより、フレームにおけるピクチャタイプがＩピクチャである場合であっても、重要度テーブルに基づいて重要度を算出し、ユーザにとって重要と思われる部分から更新できるようにする。２つの重要度テーブルのうち、一つは上記図１６（ｂ）に示す画像の動き（復号処理で得られる動きベクトル）が大きいほど高い重要度が与えられたテーブルであり、もう一つは各ビデオパケットに含まれるマクロブロック当たりの平均符号量が大きいほど高い重要度が与えられたテーブルである。

この場合、ビデオパケット検出部３１１は制御用データとして入力される画像符号化データをサーチして、画像符号化データを構成するビデオパケットを検出する際に、上記に示す各ビデオパケットに関するビデオパケット先頭アドレス、先頭及び終端のマクロブロック番号、ビデオパケットデータサイズ、各ビデオパケットに含まれるマクロブロックの動きベクトル（水平方向、垂直方向）に加え、そのフレームのピクチャタイプ（Ｉピクチャ（画面内符号化ピクチャ）／それ以外のピクチャ（画面間符号化ピクチャ））を検出し、記憶する。

図１７（ａ）にビデオパケット検出部３１１でのサーチ結果、図１７（ｂ）に重要度テーブル記憶部３１２ｂに記憶されている平均符号量に関する重要度テーブルを示す。
図１７（ａ）に示されるように、ビデオパケット毎に先頭及び終端のマクロブロック（ＭＢ）番号、先頭アドレス、サイズ、ビデオパケットに含まれるマクロブロックの動きベクトル（水平方向、垂直方向）、及びフレームのピクチャタイプの情報が得られる。

また、図１７（ｂ）に示されるように、重要度テーブル１４０１はマクロブロック当たりの平均符号量の大きさに応じて重要度（高：５〜低：０）が割り当てられ、かつ、平均符号量が大きいほど高い重要度が与えられている。
ビデオパケット重要度算出部３１３はビデオパケット検出部３１１でのビデオパケット毎のサーチ結果１４００及び重要度テーブル記憶部３１２ａ、ｂに記憶されている重要度テーブル１３０１及び１４０１を基に、ビデオパケット毎の重要度を算出する。

まずビデオパケット重要度算出部３１３は、サーチ結果１４００より現在のフレームがＩピクチャか、それ以外のピクチャかを判定する。
Ｉピクチャ以外のピクチャであった場合には、上記変形例１で示した処理と同様の処理を行う。
一方、サーチ結果１４００より現在のフレームがＩピクチャであった場合には、重要度テーブル１４０１を用いて、以下の手順によりビデオパケット毎の重要度を決定する。

具体的には、次のように重要度を算出する。まずフレームＮのビデオパケット０に関して、先頭マクロブロック（ＭＢ）番号は０、終端マクロブロック（ＭＢ）番号は３２であり、フレームＮのビデオパケット０に含まれるマクロブロック数は３３、サイズは０ｘ０１００であることから、マクロブロック当たりの平均符号量は０ｘ０１００÷３３＝７．７６となる。したがって、フレームＮのビデオパケット０の重要度は１となる。

また、フレームＮビデオパケット１に関して、先頭マクロブロック（ＭＢ）番号は３３、終端マクロブロック（ＭＢ）番号は６５であり、フレームＮのビデオパケット１に含まれるマクロブロック数は３３、サイズは０ｘ０１００であることから、マクロブロック当たりの平均符号量は０ｘ０１００÷３３＝７．７６となる。したがって、フレームＮのビデオパケット１の重要度は１となる。

また、フレームＮビデオパケット２に関して、先頭マクロブロック（ＭＢ）番号は６６、終端マクロブロック（ＭＢ）番号は９８であり、フレームＮのビデオパケット２に含まれるマクロブロック数は３３、サイズは０ｘ０１００であることから、マクロブロック当たりの平均符号量は０ｘ０１００÷３３＝７．７６となる。したがって、フレームＮのビデオパケット２の重要度は１となる。

以上より、フレームＮビデオパケット０、フレームＮビデオパケット１及びフレームＮビデオパケット２の重要度は全て同じ（１）である。ここで、フレームＮの各ビデオパケットに対し、重要度に応じて順位付けを行うが、フレームＮの３つのビデオパケット０、１、２の重要度が全て等しい値のため、ここではビデオパケット内の先頭マクロブロック（ＭＢ）番号が小さい方を高順位とする。よって、フレームＮのビデオパケット０に順位（１）、フレームＮのビデオパケット１に順位（２）、フレームＮのビデオパケット２に順位（３）が割り当てられる。ビデオパケット重要度算出部３１３は、上記決定したビデオパケット毎の順位（１〜３）を、復号ビデオパケット判定部３２０へ通知する。

以降の処理については、上記実施の形態と同様であるので、説明を省略する。
これにより、現在のフレームがＩピクチャである場合であっても、重要度テーブル１４０１に基づいて重要度を算出することができるので、重要度を算出する際の精度を向上させることができる。
（変形例３）
上記実施の形態では、閾値記憶部２０２に閾値を２つ設けたが、３つ以上設けてもよい。例えば、閾値を３つ設けて、閾値Ｔｈａを０ｘ０１００、閾値Ｔｈｂを０ｘ０２００、閾値Ｔｈｃを０ｘ０３００とする。符号化データの蓄積量が閾値Ｔｈａ未満であれば符号化データ蓄積状況は１がセットされ、閾値Ｔｈａ以上閾値Ｔｈｂ未満であれば符号化データ蓄積状況は２がセットされ、閾値Ｔｈｂ以上閾値Ｔｈｃ未満であれば符号化データ蓄積状況は３がセットされ、閾値Ｔｈｃ以上であれば符号化データ蓄積状況は４がセットされるとする。このとき、符号化データ蓄積状況が１の時は復号化対象符号化データを画像更新しない。また、符号化データ蓄積状況が２の時はビデオパケット１つ毎に、符号化データ蓄積状況が３の時はビデオパケット２つ毎に、符号化データ蓄積状況が４の時はフレーム毎に、復号化対象符号化データとすることができ、符号化データの蓄積状況に応じて画像を更新することができる。
（補足）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

（１）本発明は、上記フローチャートで示したステップを含む方法、及び上記フローチャートで示したステップをコンピュータに実行させるプログラムコードを含むプログラムであってもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラム又は前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。

また、前記コンピュータプログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記コンピュータプログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
（２）本発明は、画像復号化装置の制御を行うＬＳＩとしても実施可能である。このようなＬＳＩは、図１に示す各機能ブロックを集積化することで実現できる。これらの機能ブロックは、個別にＬＳＩ化されても良いし、一部または全てを含むシステムＬＳＩとして実現してもよい。

また、集積化の手法はＬＳＩに限るものではなく、専用又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然その技術を用いて集積化を行っても良い。このような技術には、バイオ技術の適用等が可能性としてありえる。

（３）上記実施の形態では、２フレーム以上のサイズの画像符号化データを受信している場合にフレーム単位で画像更新を行うとしたが、１フレーム以上のサイズの画像符号化データを受信している場合に、フレーム単位で画像更新を行い、１フレームより小さいサイズの画像符号化データしか受信していない場合（受信バッファーアンダーフロー発生時）に、ビデオパケット単位で画像更新してもよい。上記実施の形態で示されるように、１フレーム以上のサイズの画像符号化データを受信している場合、すなわち、受信バッファアンダーフローを起こしていない場合であっても、受信バッファアンダーフローを起こす蓋然性が高い場合には、ビデオパケット単位で画像更新を行うことにより、受信バッファアンダーフローが起きてからビデオパケット単位で画像更新を行う場合と比べて、表示画像の更新が停止する期間を短くすることができる。

受信バッファアンダーフローを起こす蓋然性が高いか否かは、上記実施の形態で示したように、受信バッファ内の画像符号化データ量により判定してもよいし、画像符号化データ量の時間変化に基づいて判定してもよい。画像符号化データ量により判定する場合には、例えば、受信バッファに数フレーム分の画像符号化データしか蓄積されていない場合に蓋然性が高いと判定してよい。

画像符号化データ量の時間的変化により判定する場合には、例えば、外部から受信バッファに送信される画像符号化データの量が復号の際に受信バッファから読み出される画像符号化データの量より少ない場合に、蓋然性が高いと判定してもよい。
また、受信したビデオパケットの分だけ（例えばビデオパケット０と１を受信している場合はビデオパケット０と１の２つ）を画像更新するようにしてもよい。これより、１画像に近い単位で画像を更新することができ、ユーザにさらに不安感を与えない画像復号化装置を提供できる。

さらに、閾値で区切ったデータサイズ単位で画像更新をするようにしてもよい。この際、ユーザが閾値を自由に決めることで、ユーザの求める単位で画像を更新することができる。
（４）上記実施の形態では、第１の処理単位をマクロブロック、第２の処理単位をビデオパケットとして構成されているが、第１の処理単位をブロック、第２の処理単位をマクロブロックとした構成であっても同様の効果が得られる。第２の処理単位をマクロブロックとする場合には、第２の処理単位をビデオパケットとする場合と比べて、受信バッファにより少ない画像符号化データしか蓄積されていない場合に蓋然性が高いと判定してもよい。

（５）上記実施の形態では、外部より復号化タイミング信号が入力されるタイミングで、ビデオパケット単位で復号処理を行う構成となっているが、復号処理は画像（フレーム）単位で実行し、復号化タイミング信号が入力されるタイミングで、ビデオパケット単位で更新される復号画像を生成し、外部へ出力する構成をとっても同様の効果が得られる。
（６）上記実施の形態では、図１２に示されるステップＳ３０５において肯定的な判定がなされる度に、当該フレームにおける全てのビデオパケットが復号されるまでビデオパケット単位の復号が行われる構成としたが、ステップＳ３０５において肯定的な判定がなされた場合であっても、ステップＳ３０４において取得した画像符号化データ蓄積状況が３である場合には、当該フレームを構成する残りのビデオパケットをまとめて復号してもよい。

（７）上記実施の形態では、ＭＰＥＧ−４を例に挙げて説明したため、ビデオパケットという用語を用いたが、ビデオパケットは他の符号化技術におけるスライスと同様の意味である。
（８）上記課題を解決するための手段に記載のフレームメモリ、判定手段、合成画像生成手段、及び出力手段は実施の形態におけるバンクＡあるいはＢ、受信バッファ蓄積量判定部、復号化コア部、及び復号画像記憶部にそれぞれ対応する。

（９）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

本発明は、インターネット等の伝送路を介してリアルタイムに画像符号化データのやり取りを行う端末等に利用でき、特に、受信バッファアンダーフローが起こり得る状況下で有用である。

本発明の実施の形態１における画像復号化装置１０００の機能を示すブロック図である。 本発明の実施の形態１における受信バッファ１００の詳細を示すブロック図である。 本発明の実施の形態１における画像符号化データの１フレーム分の構成（復号画像イメージ）図である。 本発明の実施の形態１における受信バッファ蓄積量判定部２００の詳細を示すブロック図である。 本発明の実施の形態１における復号ビデオパケット制御部３００の詳細を示すブロック図である。 本発明の実施の形態１におけるビデオパケット検出部３１１でのサーチ結果を示す図である。 本発明の実施の形態１における重要度テーブル記憶部３１２に記憶された重要度テーブル７００を示す図である。 本発明の実施の形態１における復号化部５００の詳細を示すブロック図である。 本発明の実施の形態１における復号化タイミング信号と復号画像との関係を示す図である。 本発明の実施の形態１における画像復号化装置１０００の動作を示すフロー図である。 受信バッファ蓄積量判定処理を示すフロー図である。 復号化対象符号化データ決定処理及び復号化処理を示すフロー図である。 復号化対象符号化データ決定処理及び復号化処理を示すフロー図である。 本発明の実施の形態２における画像復号化システムのブロック図である。 本発明の実施の形態３の処理装置のブロック図である。 （ａ）変形例１におけるビデオパケット検出部３１１でのサーチ結果を示す図である。（ｂ）変形例１における重要度テーブル記憶部に記憶されている重要度テーブル１３０１を示す図である。 （ａ）変形例２におけるビデオパケット検出部３１１でのサーチ結果を示す図である。（ｂ）変形例２における重要度テーブル記憶部に記憶されている重要度テーブル１４０１を示す図である。

符号の説明

１０００ 画像復号化装置
１００、２２０１ 受信バッファ
２００ 受信バッファ蓄積量判定部
３００ 復号ビデオパケット制御部
３１０ ビデオパケット重要度判定部
３２０ 復号ビデオパケット判定部
４００ 受信バッファ制御部
５００ 復号化部
５１０ 復号化対象符号化データ記憶部
５２０ 復号化コア部
５３０ 復号画像記憶部
１０１、５１１、２２００ メモリ
１０２ ｒｅａｄｐｏｉｎｔｅｒＡ
１０３ ｒｅａｄｐｏｉｎｔｅｒＢ
１０４、２０１ ｒｅｍａｉｎｓｉｚｅ
１０５、５１３ ｗｒｉｔｅｐｏｉｎｔｅｒ
１０６ 加算器
１０７ スイッチ
２０２ 閾値記憶部
２０３ 判定コア部
３１１ ビデオパケット検出部
３１２ 重要度テーブル記憶部
３１３ ビデオパケット重要度算出部
６００、１３００、１４００ ビデオパケット毎のサーチ結果
７００、２２０４、１３０１、１４０１ 重要度テーブル
５１２ ｒｅａｄｐｏｉｎｔｅｒ
５３１、２２１２ バンクＡ
５３２、２２１３ バンクＢ
９０１ 復号画像（フレームＮ−１）
９０２ 復号画像（フレームＮのビデオパケット１のみ更新）
９０３ 復号画像（フレームＮのビデオパケット０のみ更新）
９０４ 復号画像（フレームＮのビデオパケット２のみ更新）
１ 画像復号化システム
２ 伝送路
１０ 画像符号化装置
１１ 入力画像記憶部
１２ 符号化部
１３ 送信バッファ
２０００ 処理装置
２１００ ＣＰＵ
２２０２ 画像符号化データ蓄積量
２２０３ 閾値
２２０５ 受信バッファ画像符号化データ蓄積状況
２２０６ 読み出しポインタＡ
２２０７ 読み出しポインタＢ
２２０８ 書き込みポインタ
２２０９ 画像符号化データビデオパケット情報
２２１０ 復号化対象符号化データ情報
２２１１ 復号画像領域

Claims (15)

1. 外部から受信する画像符号化データを受信バッファに取り込みつつ、当該受信バッファから画像符号化データを読み出して復号し画像データを出力する画像復号化装置であって、
   画像データを一時的に保持するフレームメモリと、
   各瞬時における受信バッファ内の画像符号化データ量もしくは画像符号化データ量の時間変化に基づいてアンダーフローが発生しているか、あるいはアンダーフローが発生する蓋然性が高いか否かを判定する判定手段と、
   判定結果が肯定的な場合に、前記フレームメモリに格納されている一フレーム分の画像データを取り出すと共に、前記受信バッファに残存する画像符号化データの一部分を復号し、取り出した画像データの一部分を前記画像符号化データを復号した画像データの一部分で置き換えて、新たな一フレーム分の合成画像データを生成する合成画像生成手段と、
   生成された合成画像データを出力する出力手段と、を備え、
   合成画像データは、置き換えられた画像データの占有割合が、直前に生成された合成画像データにおける置き換えられた画像データの占有割合よりも大きくなるよう、繰り返し生成され、生成された合成画像データは生成順に出力される、
   ことを特徴とする画像復号化装置。
2. 前記外部から受信する画像符号化データは複数の所定の処理単位からなり、
   画像データの置き換えは、所定の処理単位毎に行われ、
   前記画像復号化装置は前記所定の処理単位毎に重要度を算出する重要度算出手段を備え、
   前記合成画像生成手段は前記フレームメモリに格納されている画像データの一部分を、算出された重要度のうち最も高い重要度に対応する所定の処理単位で置き換える
   ことを特徴とする請求項１記載の画像復号化装置。
3. 前記所定の処理単位は第二の処理単位であり、
   前記第二の処理単位は少なくとも一つの第一の処理単位で構成されており、
   前記第一の処理単位毎に数値が予め割り当てられており、
   各第二の処理単位における重要度は、当該第二の処理単位を構成する各第一の処理単位に割り当てられた数値を基に算出される
   ことを特徴とする請求項２記載の画像復号化装置。
4. 前記割り当てられた数値は、フレームの中央に近い位置ほど高くなる
   ことを特徴とする請求項３記載の画像復号化装置。
5. 前記割り当てられた数値は、画像の動きが大きいほど高くなる
   ことを特徴とする請求項３記載の画像復号化装置。
6. 前記数値は、複数のテーブルに割り当てられており、
   前記重要度算出手段は、前記受信バッファに残存する画像符号化データから得られる情報に基づいて、前記複数のテーブルを動的に切り換え、重要度を算出する
   ことを特徴とする請求項３記載の画像復号化装置。
7. 前記画像符号化データから得られる情報はピクチャタイプを示す情報である
   ことを特徴とする請求項６記載の画像符号化装置。
8. 前記判定結果が否定的である場合に、前記合成画像生成手段は、前記フレームメモリに格納されている画像データを取り出すと共に、前記受信バッファに残存する一フレーム分の画像符号化データを復号し、取り出した画像データを前記画像符号化データを復号した画像データで置き換えて、新たな一フレーム分の画像データを生成する
   ことを特徴とする請求項１記載の画像復号化装置。
9. 前記画像復号化装置は、前記合成画像生成手段により新たに生成される一フレーム分の合成画像データを一時的に保持するための補助フレームメモリを備え、
   前記合成画像生成手段は、生成した複数の合成画像データを前記フレームメモリ及び前記補助フレームメモリに交互に記憶する
   ことを特徴とする請求項１記載の画像復号化装置。
10. 前記合成画像生成手段は、前記フレームメモリに格納されている画像データをスライス単位で前記画像符号化データを復号した画像データに置き換える
    ことを特徴とする請求項１記載の画像復号化装置。
11. 画像データの置換を行う際の前記受信バッファに残存する画像符号化データの一部分のデータサイズは、前記受信バッファに残存する画像符号化データの量に応じて異なる
    ことを特徴とする請求項１０記載の画像復号化装置。
12. 前記フレームメモリに格納されている画像データは、前記合成画像生成手段により前記受信バッファに残存する画像符号化データの一部分が復号される直前に復号された画像データである
    ことを特徴とする請求項１記載の画像復号化装置。
13. 画像データを符号化した後、符号化後の画像データである画像符号化データを画像復号化装置に送信する画像符号化装置と、前記画像符号化装置から送信される画像符号化データを受信バッファに取り込みつつ、当該受信バッファから画像符号化データを読み出して復号し画像データを出力する画像復号化装置とを含んで構成される画像復号化システムであって、
    前記画像復号化装置は、
    画像データを一時的に保持するフレームメモリと、
    各瞬時における受信バッファ内の画像符号化データ量もしくは画像符号化データ量の時間変化に基づいてアンダーフローが発生しているか、あるいはアンダーフローが発生する蓋然性が高いか否かを判定する判定手段と、
    判定結果が肯定的な場合に、前記フレームメモリに格納されている一フレーム分の画像データを取り出すと共に、前記受信バッファに残存する画像符号化データの一部分を復号し、取り出した画像データの一部分を前記画像符号化データを復号した画像データの一部分で置き換えて、新たな一フレーム分の合成画像データを生成する合成画像生成手段と、
    生成された合成画像データを出力する出力手段と、を備え、
    合成画像データは、置き換えられた画像データの占有割合が、直前に生成された合成画像データにおける置き換えられた画像データの占有割合よりも大きくなるよう、繰り返し生成され、生成された合成画像データは生成順に出力される、
    ことを特徴とする画像復号化システム。
14. 外部から受信する画像符号化データを受信バッファに取り込みつつ、当該受信バッファから画像符号化データを読み出して復号し画像データを出力する画像復号化方法であって、
    各瞬時における受信バッファ内の画像符号化データ量もしくは画像符号化データ量の時間変化に基づいてアンダーフローが発生しているか、あるいはアンダーフローが発生する蓋然性が高いか否かを判定する判定ステップと、
    判定結果が肯定的な場合に、復号済みの画像データを一時的に保持するフレームメモリに格納されている一フレーム分の画像データを取り出すと共に、前記受信バッファに残存する画像符号化データの一部分を復号し、取り出した画像データの一部分を前記画像符号化データを復号した画像データの一部分で置き換えて、新たな一フレーム分の合成画像データを生成する合成画像生成ステップと、
    生成された合成画像データを出力する出力ステップと、を含み、
    合成画像データは、置き換えられた画像データの占有割合が、直前に生成された合成画像データにおける置き換えられた画像データの占有割合よりも大きくなるよう、繰り返し生成され、生成された合成画像データは生成順に出力される、
    ことを特徴とする画像復号化方法。
15. 外部から受信する画像符号化データを受信バッファに取り込みつつ、当該受信バッファから画像符号化データを読み出して復号し画像データを出力する画像復号化装置に設けられるシステム集積回路であって、
    画像データを一時的に保持するフレームメモリと、
    各瞬時における受信バッファ内の画像符号化データ量もしくは画像符号化データ量の時間変化に基づいてアンダーフローが発生しているか、あるいはアンダーフローが発生する蓋然性が高いか否かを判定する判定手段と、
    判定結果が肯定的な場合に、前記フレームメモリに格納されている一フレーム分の画像データを取り出すと共に、前記受信バッファに残存する画像符号化データの一部分を復号し、取り出した画像データの一部分を前記画像符号化データを復号した画像データの一部分で置き換えて、新たな一フレーム分の合成画像データを生成する合成画像生成手段と、
    生成された合成画像データを出力する出力手段と、を備え、
    合成画像データは、置き換えられた画像データの占有割合が、直前に生成された合成画像データにおける置き換えられた画像データの占有割合よりも大きくなるよう、繰り返し生成され、生成された合成画像データは生成順に出力される、
    ことを特徴とするシステム集積回路。

Images