JP4799504B2 - 画像復号化装置及びその制御方法 - Google Patents

Description

本発明は、画像復号化装置に関し、より具体的には、Ｈ．２６４等のピクチャ間予測符号化で圧縮された圧縮画像データを復号化する画像復号化装置とその制御方法に関する。

ＤＶＤ（Digital Versatile Disc）に代わる大容量光ディスクを記録媒体として用い、これに静止画像及び動画像を記録するデジタルビデオカメラ等の映像記録再生装置が検討されている。次世代光ディスクの規格ではメディアの記録容量を上げることに加え、より圧縮率の高い動画像圧縮符号化技術の採用も盛り込まれている。Ｈ．２６４がそのひとつである。Ｈ．２６４は、ＭＰＥＧ（Moving Picture Experts Group）−４ Ｐａｒｔ１０：ＡＶＣとも称される。

Ｈ．２６４では高圧縮化のため、ＭＰＥＧ２等の従来技術に比べ、画面間予測に用いる参照ピクチャ用メモリを多く持つことが許されており、また、デコードピクチャの並べ替えの自由度も高い。

例えば、ＭＰＥＧ２ではＰピクチャは必ず参照ピクチャとして使用され、Ｂピクチャは参照ピクチャとして使用することができなかった。従って、ＭＰＥＧ２デコーダはピクチャのタイプ（Ｉ，ＰまたはＢ）をチェックするだけで、デコードピクチャを参照ピクチャ用メモリに保存する必要があるかどうかを判定することができた。これに対し、Ｈ．２６４では、Ｐピクチャであっても参照ピクチャとして使用されない場合があり、また、Ｂピクチャであっても参照ピクチャとして使用される場合もある。

また、Ｈ．２６４では、規格上、特定の参照ピクチャを長期間にわたりデコード又はエンコードに使用することが許される。即ち、ＭＰＥＧ２では参照ピクチャ用メモリとしてＦＩＦＯ（First In First Out）を使用し、参照可能なピクチャも限られていた。それに対して、Ｈ．２６４では、ＭＰＥＧ２では参照できない時間的に離れたピクチャであっても、参照ピクチャとして使用することが可能になったといえる。

このようなＨ．２６４の柔軟な画面間予測は、符号化効率の向上のために重要な技術である。その一方で、この機能を実現するため、Ｈ．２６４では、ＭＰＥＧ２に比べ、参照ピクチャ用メモリにより多くの参照ピクチャを格納せねばならず、さらにこれらを表示順に並べ替えるために、より多くのメモリ容量と演算が必要となっている。

このような問題点に対して、参照関係を制御することで、参照ピクチャ用メモリに格納すべき画像を減らす構成が、提案されている（例えば特許文献１）。
特開２００５−２６０５８８号公報

Ｈ．２６４の長期に渡って参照されるピクチャ、いわゆる長期間参照ピクチャは、風景撮影のような、動きがあまりないシーンを圧縮符号化するのに有利である。しかし、運動会撮影のように動きの多い被写体をリアルタイムにエンコードするデジタルビデオカメラにはあまり向かない。また、特許文献１に記載の方法も、やはり運動会のような動きの激しい被写体を撮影した映像を圧縮符号化するものには適していないと考えられる。そして、デジタルビデオカメラでＢピクチャを参照ピクチャとして使用した場合、参照関係が複雑化して演算処理が重くなり、バッテリの消費が増えてしまうと考えられる。

しかるに、民生用のデジタルビデオカメラなどに用いられるリアルタイムエンコードを行うＨ．２６４コーデックでは、長期間参照ピクチャを利用しないとか、Ｂピクチャを参照ピクチャとして使用しないなどの仕様が考えられる。即ち、Ｈ．２６４規格のプロファイル上は許されている機能に対して、符号化時にある程度の使用制限を設けるほうが、メモリ量も削減でき、演算負荷が軽くなり、ハードウエア・コストの減少やバッテリの延命等に効果的であると考えられる。

このような小規模なコーデックのデコードにおいては、自己録画のストリームの再生には問題がない。しかしながら、例えば他機器で生成された複雑な参照関係からなるＨ．２６４ビットストリームを入力した場合に、参照ピクチャ格納用バッファの不足等によりデコードが破綻してしまう危険性がある。

本発明は、上記の問題点に鑑み、複雑な参照関係からなる符号化ビットストームを入力した場合であっても、破綻せずにデコードできる画像復号化装置及びその制御方法を提示することを目的とする。

上記の目的を達成するために、本発明に係る画像復号化装置は、ピクチャ内符号化を用いて圧縮されたＩＤＲ（Instantaneous Decoder Refresh）ピクチャ及びＩピクチャと、ピクチャ間予測符号化を用いて圧縮されたＰピクチャ及びＢピクチャとを含む圧縮画像データを復号化する画像復号化装置であって、前記圧縮画像データを記憶する第１のピクチャバッファと、復号化された画像データを記憶する第２のピクチャバッファと、前記第２のピクチャバッファに記憶される画像データを選択的に参照して、前記第１のピクチャバッファに記憶される前記圧縮画像データを復号化し、復号化された画像データを前記第２のピクチャバッファに記憶する復号化手段と、前記第２のピクチャバッファの空き容量を検出する検出手段と、前記検出手段によって検出された前記空き容量が所定値未満になったならば、前記復号化手段による復号化を中断して後続のI、Ｐ及びＢピクチャの復号化された画像データの出力を禁止する制御手段と、前記復号化手段による復号化が中断している期間に、前記第１のピクチャバッファにＩＤＲピクチャが記憶されたことを判定する判定手段と、を備え、前記制御手段は、前記判定手段によってＩＤＲピクチャが記憶されたと判定されたことに応じて、前記復号化手段による復号化を当該ＩＤＲピクチャから再開することを特徴とする。

また、本発明に係る画像復号化装置は、ピクチャ間予測符号化及びピクチャ内符号化を用いて圧縮された圧縮画像データを復号化する画像復号化装置であって、前記圧縮画像データを記憶する第１のピクチャバッファと、復号化された画像データを記憶する第２のピクチャバッファと、前記第２のピクチャバッファに記憶される画像データを選択的に参照して、前記第１のピクチャバッファに記憶される前記圧縮画像データを復号化し、復号化された画像データを前記第２のピクチャバッファに記憶する復号化手段であって、前記ピクチャ間予測符号化による圧縮画像データと前記ピクチャ内符号化による圧縮画像データの両方を復号化する全復号処理モードと、前記ピクチャ内符号化による圧縮画像データのみを復号化する選択復号処理モードとを選択的に実行可能な復号化手段と、
前記第２のピクチャバッファの空き容量を検出する検出手段と、前記検出手段によって検出された前記空き容量が所定値未満になったならば、前記復号化手段に前記選択復号処理モードによる復号化を指示する制御手段と、前記復号化手段によって前記選択復号処理モードが実行されている期間に、前記第１のピクチャバッファに前記ピクチャ内符号化を用いて圧縮されたＩＤＲ（Instantaneous Decoder Refresh）ピクチャが記憶されたことを判定する判定手段と、を備え、前記制御手段は、前記判定手段によってＩＤＲピクチャが記憶されたと判定されたことに応じて、前記復号化手段に当該ＩＤＲピクチャ以降の圧縮画像データを前記全復号処理モードによって復号化するように指示することを特徴とする。

また、本発明に係る画像復号化装置の制御方法は、ピクチャ内符号化を用いて圧縮されたＩＤＲ（Instantaneous Decoder Refresh）ピクチャ及びＩピクチャと、ピクチャ間予測符号化を用いて圧縮されたＰピクチャ及びＢピクチャとを含む圧縮画像データを復号化する画像復号化装置であり、且つ前記圧縮画像データを記憶する第１のピクチャバッファと、復号化された画像データを記憶する第２のピクチャバッファとを備える画像復号化装置を制御する方法であって、復号化手段が、前記第２のピクチャバッファに記憶される画像データを選択的に参照して、前記第１のピクチャバッファに記憶される前記圧縮画像データを復号化し、復号化された画像データを前記第２のピクチャバッファに記憶する復号化工程と、検出手段が、前記第２のピクチャバッファの空き容量を検出する検出工程と、制御手段が、前記検出工程によって検出された前記空き容量が所定値未満になったならば、前記復号化工程における復号化を中断して後続のI、Ｐ及びＢピクチャの復号化された画像データの出力を禁止する制御工程と、判定手段が、前記復号化工程による復号化が中断している期間に、前記第１のピクチャバッファにＩＤＲピクチャが記憶されたことを判定する判定工程と、を備え、前記制御工程では、前記判定工程によってＩＤＲピクチャが記憶されたと判定されたことに応じて、前記復号化工程による復号化を当該ＩＤＲピクチャから再開することを特徴とする。

また、本発明に係る画像復号化装置の制御方法は、ピクチャ間予測符号化及びピクチャ内符号化を用いて圧縮された圧縮画像データを復号化する画像復号化装置であり、且つ前記圧縮画像データを記憶する第１のピクチャバッファと、復号化された画像データを記憶する第２のピクチャバッファとを備える画像復号化装置を制御する方法であって、復号化手段が、前記第２のピクチャバッファに記憶される画像データを選択的に参照して、前記第１のピクチャバッファに記憶される前記圧縮画像データを復号化し、復号化された画像データを前記第２のピクチャバッファに記憶する復号化工程であって、前記ピクチャ間予測符号化による圧縮画像データと前記ピクチャ内符号化による圧縮画像データの両方を復号化する全復号処理モードと、前記ピクチャ内符号化による圧縮画像データのみを復号化する選択復号処理モードとを選択的に実行可能な復号化工程と、検出手段が、前記第２のピクチャバッファの空き容量を検出する検出工程と、制御手段が、前記検出工程によって検出された前記空き容量が所定値未満になったならば、前記復号化工程に前記選択復号処理モードによる復号化を指示する制御工程と、判定手段が、前記復号化工程によって前記選択復号処理モードが実行されている期間に、前記第１のピクチャバッファに前記ピクチャ内符号化を用いて圧縮されたＩＤＲ（Instantaneous Decoder Refresh）ピクチャが記憶されたことを判定する判定工程と、を備え、前記制御工程では、前記判定工程によってＩＤＲピクチャが記憶されたと判定されたことに応じて、前記復号化工程に当該ＩＤＲピクチャ以降の圧縮画像データを前記全復号処理モードによって復号化するように指示することを特徴とする。

本発明によれば、復号化対象の圧縮画像データで必要なバッファサイズよりも相対的に小さなバッファサイズの参照ピクチャバッファしか持たない場合でも、致命的な破綻を回避して、復号化処理を継続することができる。

以下、図面を参照して、本発明の実施例を詳細に説明する。

（実施例１）
図１は、本発明に係る画像復号化装置の一実施例である撮像装置の概略構成ブロック図であり、図２は本実施例のバッファの概略構成ブロック図である。撮像装置１０は、例えば、Ｈ．２６４（ＡＶＣ）を用いたデジタルカメラ又はデジタルビデオカメラ等である。図１では、実線は画像データ又は音声データの流れを示し、破線は制御信号を示す。

撮像装置１０は、撮影レンズ１２、撮像素子１４、信号処理ユニット１６、バッファ１８、Ｈ．２６４に準拠して映像データを符号化／復号化する映像符号化復号化ユニット２０、フラッシュメモリ２２を具備する。さらに、ＤＶＤディスク（以下、ＤＶＤと称す）等の記録媒体２６にデータを書込み及び読み出しするディスク制御ユニット２４、表示ユニット２８、マルチプレクサ（ＭＵＸ）／デマルチプレクサ（ＤＥＭＵＸ）３０も具備する。さらに、マイク３２、スピーカ３４、ＡＣ３に従い音声データを符号化／復号化する音声符号化復号化ユニット３６、制御ユニット３８、操作ユニット４０及びバス４２も具備する。

撮影レンズ１２は被写体からの光学像を撮像素子１４の撮像面に結像する光学素子であり、絞り機構及びシャッタ機構を具備する。また、撮像装置１０は、撮影レンズの焦点を被写体に自動調節するオートフォーカス機構を具備する。

撮像素子１４は撮影レンズ１２からの光学像を電気信号に変換する光学素子である。撮像素子１４は、例えば、ＣＣＤ（Charge Coupled Devices）型撮像素子又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）型撮像素子からなる。信号処理ユニット１６は、撮像素子１４からのアナログ画像信号をデジタル信号に変換し、カメラで周知の信号処理（例えば、ガンマ補正、色バランス調整、輝度／色分離）等を施し、所定映像形式の映像データを出力する。

バッファ１８は、バス４２に接続するデバイス間で入出力されるデータを一時記憶する。バッファ１８の具体的機能は、後述する。

映像符号化復号化ユニット２０は、Ｈ．２６４等の映像圧縮方式でデジタル映像信号を圧縮符号化して、圧縮映像データを生成する。また、映像符号化復号化ユニット２０は、ディスク制御ユニット２４からの圧縮映像データを伸長する。なお、Ｈ．２６４は、ＭＰＥＧ−４ Ｐａｒｔ １０：ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）とも称される。

フラッシュメモリ２２は不揮発性の記録媒体であり、撮像装置１０の動作に関わるプログラムが格納されている。

ディスク制御ユニット２４は、制御ユニット３８の指示に従い、記録媒体２６に圧縮映像データ、圧縮音声データ及びファイルの管理情報等を書込み、記録媒体２６から圧縮映像データ、圧縮音声データ及びファイル管理データ等を読み出す。記録媒体２６は、例えばＤＶＤ−Ｒ等、書き込み可能な光ディスク、磁気ディスク又は半導体メモリ（メモリーカード）等からなる。

表示ユニット２８は電子ビューファインダ又はＬＣＤ（液晶パネル）等で構成される。撮像モードでは、信号処理ユニット１６からの映像データに係る画像を表示し、再生モードでは、ディスク制御ユニット２４により記録媒体２６から再生された圧縮映像データに係る画像を表示する。

マルチプレクサ／デマルチプレクサ３０は、映像符号化復号化ユニット２０による圧縮映像データと、音声符号化復号化ユニット３６による圧縮音声データを多重化し、多重化された圧縮映像データ及び圧縮音声データを分離する。また、マルチプレクサ／デマルチプレクサ３０は、圧縮映像データ又は圧縮音声データのソースパケットに４バイトのヘッダを加える。このヘッダ情報を用いて圧縮映像データと圧縮映像データが管理される。

マイク３２はＡＧＣ（Automatic Gain Control）とＡ／Ｄ変換器を具備し、撮像装置１０の外部音声を入力して増幅し、デジタル音声信号を生成する。スピーカ３４はアンプを具備し、デジタル音声信号を撮像装置１０の外部に音として出力する。

音声符号化復号化ユニット３６は、ＡＣ（Audio Code number）３の音声圧縮方式でマイク３２からのデジタル音声信号を圧縮符号化して圧縮音声データを生成する。また、音声符号化復号化ユニット３６は、ディスク制御ユニット２４からの圧縮音声データを伸長して、スピーカ３４に印加する。

制御ユニット３８はＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro Processing Unit）を具備し、撮像装置１０の全体を制御する。検出ユニット３８ａは、バッファ１８の全体容量値を検出する。また、検出ユニット３８ａは、後述するＣＰＢ（Coded Picture Buffer）又はＤＰＢ（Decoded Picture Buffer）にイネーブル信号を送る。バス４２は、上述のユニット間で各種データを転送するのに使用される。

操作ユニット４０は、動画撮影スイッチ、レリーズスイッチ、再生スイッチ及び停止スイッチを具備する。使用者は、操作ユニット４０を使って、動画像の撮影、静止画像の撮影、画像データ又は音声データの再生を制御ユニット３８に指示する。また、操作ユニット４０は、モードダイヤル、メニューキー、選択キー及び決定キー等を具備し、これにより、使用者は、撮像モード及び再生モード等の動作モードの切替え、設定画面の表示、画面上での各種選択、画面上での各種決定を制御ユニット３８に指示する。

撮像装置１０の制御ユニット３８は、ユーザにより指定された動作モードに従い、各部を制御する。その結果、撮像モードでは、撮像素子１４による撮影画像が表示ユニット２８に表示される。撮像画像等を記録するための記録モードでは、映像のアスペクト比・圧縮符号化形式・解像度、及び音声のチャネル数等に基づき、映像データ及び音声データが圧縮符号化され、所定形式で多重化され、所定のデジタル動画フォーマットで記録媒体２６に記録される。再生モードでは、記録媒体２６から多重化された圧縮映像データ及び圧縮音声データが読み出され、再生の管理情報（index.bdmv,MovieObject,PlayList等）及びユーザ指示に基づいて、順次復号化され、再生出力される。

図２乃至図４を参照して、圧縮データの復号化とバッファ１８の管理に関する本実施例の特徴的な動作を説明する。図２は、再生時のバッファ１８と映像符号化復号化ユニット２０の処理手順の模式図を示す。図３は、映像符号化復号化ユニット２０の圧縮映像データ及び音声符号化復号化ユニット３６の圧縮音声データのパケット形式を示す。ソースパケットsource_packet()は４バイトのヘッダTP_Extra_header（）、１８８バイトのトランスポートパケットTransport_packet（）からなる。ヘッダTP_Extra_header（）は、図４に示すように、２ビットのコピー許可指示子copy_permission_indicatorと、３０ビットの到達タイムスタンプarrival_time_stampからなる。コピー許可指示子copy_permission_indicatorはコンテンツの保護に関する情報を格納する。また、到達タイムスタンプarrival_time_stampはトランスポートパケットがTransport_packet（）がトランスポートバッファ５４に到着する時刻を２７ＭＨｚの精度で格納する。トランスポートパケットTransport_packet（）に関する詳細な説明はＩＳＯ／ＩＥＣ１３８１８−１に記述されているので、ここでは省略する。

撮像装置１０は、ユーザから再生指示を受けると、記録媒体２６から圧縮映像データと圧縮音声データを読み出し、リードバッファ（Read Buffer：ＲＢ）５０に格納する。パケット分離ユニット５２は、リードバッファ５０に格納された各ソースパケットのうち到達タイムスタンプ（arrival_time_stamp）に達したものを、ヘッダTP_Extra_header（）を削除してＴＢ５４に書き込む。トランスポートバッファ（Transport Buffer：ＴＢ）５４に格納されたデータは、一定レート、又は、Ｈ．２６４／ＡＶＣ仮想デコーダモデルに従ってエレメンタリストリーム（Elementary Stream）に分解される。そして、符号化ピクチャバッファ（Coded Picture Buffer：ＣＰＢ）５６に格納される。符号化ピクチャバッファ（ＣＰＢ）５６は、特許請求の範囲に記載された第１のピクチャバッファに相当する。

映像符号化復号化ユニット２０の復号化部５８は、圧縮画像データを保存するＣＰＢ５６に格納されたエレメンタリストリームの各アクセスユニットを復号化する。具体的に、バッファ期間ＳＥＩ（Buffering Period SEI）及びピクチャタイミングＳＥＩ（Picture Timing SEI）に基づいて復号化する。そして、復元された映像データを復号化ピクチャバッファ（Decoded Picture Buffer：ＤＰＢ）６０に格納する。復号化ピクチャバッファ（ＤＰＢ）６０は、特許請求の範囲に記載された第２のピクチャバッファに相当する。バッファ期間ＳＥＩ及びピクチャ期間ＳＥＩは、エレメンタリストリーム内に含まれる付加情報である。バッファ期間ＳＥＩはアクセスユニットが復号されるまでの遅延時間を示し、ピクチャタイミングＳＥＩは、アクセスユニット毎の復号時刻及び表示時刻を示す。なお、バッファ期間ＳＥＩ及びピクチャタイミングＳＥＩの詳細は、ＩＴＵ−Ｔ Ｒｅｃ． Ｈ．２６４等に記載されているので、これ以上の説明は省略する。

ＤＰＢ６０に格納された復号化後の映像データは、表示に用いられるとともに、フレーム間予測を用いて符号化されたピクチャの、復号時の参照ピクチャとしても用いられる。

ＤＰＢ６０に格納される参照ピクチャの管理には、２種類の方法がある。移動枠メモリ管理方式は、ＤＰＢに新たに格納される参照ピクチャにピクチャを格納する十分なメモリがない場合に、参照ピクチャのうち、最も早く格納されたピクチャのバッファ領域を解放する方法である。一方、適応メモリ管理方式は、参照ピクチャとその動作を具体的に制御する方法である。参照ピクチャには、ストリーム中に長期間にわたって参照される長期参照ピクチャと、短期のみ参照される短期参照ピクチャとがあり、これらの参照ピクチャの発生に応じて、移動枠メモリ管理方式と適応メモリ管理方式が切り替えて使用される。

図５は、ＤＰＢ６０の容量が不足するような圧縮映像音声データを再生する場合の動作フローチャートを示す。例えば、他の記録装置で映像及び音声を記録された記録媒体２６が装填され、その記録媒体２６から映像及び音声を再生する場合である。

復号化部５８は、ＣＰＢ５６の記憶データから復号化対象のアクセスユニットを選択し（Ｓ１）、そのアクセスユニットがＩＤＲ（Instantaneous Decoder Refresh）ピクチャであるか否かを判別する（Ｓ２）。ＩＤＲピクチャでなければ（Ｓ２でNO）、復号処理を開始できないので、当該アクセスユニットを放棄してステップＳ１に戻る。

ＩＤＲピクチャであれば（Ｓ２でYES）、そのアクセスユニットを復号化ピクチャバッファ（ＤＰＢ）６０に格納するための十分な空き領域があるか否かをチェックする（Ｓ３）。格納するための空きが十分にあれば（Ｓ３でYES）、復号化部５８は、復号結果をＤＰＢ６０に格納し（Ｓ４）、ＣＰＢ５６から次の復号化対象のアクセスユニットを選択し（Ｓ５）、ステップＳ３に戻る。

一方、ＤＰＢ６０に空きがなければ、すなわち空き領域が所定値未満であれば（Ｓ３でNO）、最も早く格納したピクチャが表示ユニット２８に表示済みであるか否かをチェックする（Ｓ６）。表示済みであれば（Ｓ６でYES）、表示済みピクチャのバッファ領域を解放し（Ｓ７）、ステップＳ４に進む。表示済みでなければ（Ｓ６でNO）、表示ユニット２８によってユーザに警告メッセージを表示し（Ｓ８）、現在表示中のピクチャ領域を除き、ＤＰＢ６０上の全メモリ領域を解放し（Ｓ９）、ステップＳ１に戻って、ＩＤＲピクチャ待ち状態に入る。このＩＤＲピクチャ待ち状態では、表示中のピクチャ以外が解放され、ＤＰＢ６０に残る唯一のピクチャの画像が繰り返し表示される。

このように、本実施例では、参照ピクチャを格納する十分なバッファ領域を復号化ピクチャバッファ（ＤＰＢ）６０に確保できるかどうかを検出する。そして、その検出結果に応じて、空き領域が所定値未満となる場合に、復号化を中断する。復号化の中断中は、表示中の画像を繰り返し表示しつつ、次のＩＤＲピクチャを待機するので、復号処理の致命的な破綻を回避できる。

ステップＳ８では、復号化の中断時に警告メッセージを発行しているが、不要であれば省略してもよい。ステップＳ９では、表示中のピクチャ以外のバッファ領域を解放しているが、最終的に復号化ピクチャバッファ（ＤＰＢ）６０に次の復号処理に必要なメモリ領域が確保できるのであれば、これに限ったものではない。例えば、ＤＰＢ６０上の未表示ピクチャを順次、表示後に解放してもよいし、あるいは、再生画の表示を断念して表示ユニット２８に例えばブルーバックなどを表示し、ＤＰＢ６０の全メモリ領域を一度に解放してもよい。

図６は、適応メモリ管理方式の場合の動作フローチャートを示す。ステップＳ５１〜Ｓ５９は図５のステップＳ１〜Ｓ９に対応する。図５とはステップＳ５６，５７が異なる。図６では、復号化ピクチャバッファ（ＤＰＢ）６０に十分な空きがない場合（空き領域が所定値未満の場合）に（Ｓ５３でNO）、ＤＰＢ６０に解放可能なピクチャがあるか否かをチェックする（Ｓ５６）。解放可能なピクチャがある場合には（Ｓ５６でYES）、そのピクチャをＤＰＢ６０から削除して、そのバッファ領域を解放し（Ｓ５７）、ステップＳ５４に進む。一方、解放可能なピクチャが無い場合には（Ｓ５６でNO）、表示ユニット２８によってユーザに警告メッセージを表示し（Ｓ５８）、現在表示中のピクチャ領域を除き、ＤＰＢ６０上の全メモリ領域を解放し（Ｓ５９）、ステップＳ５１に戻る。そして、ＩＤＲピクチャ待ち状態に入る。

図６に示す動作でも、参照ピクチャを格納する十分なバッファ領域を復号化ピクチャバッファ（ＤＰＢ）６０に確保できるかどうかを検出する。そして、その検出結果に応じて、空き領域が所定値未満となる場合に、復号化を中断する。復号化の中断中は、表示中の画像を繰り返し表示しつつ、次のＩＤＲピクチャを待機するので、復号処理の致命的な破綻を回避できる。

Ｓ５８では、復号化の中断時に警告メッセージを発行しているが、不要であれば省略してもよい。Ｓ５９では、表示中のピクチャ以外のバッファ領域を解放しているが、最終的に復号化ピクチャバッファ（ＤＰＢ）６０に次の復号処理に必要なメモリ領域が確保できるのであれば、これに限ったものではない。例えば、ＤＰＢ６０上の未表示ピクチャを順次、表示後に解放してもよいし、あるいは再生画の表示を断念して表示ユニット２８に例えばブルーバックなどを表示し、ＤＰＢ６０全メモリ領域を一度に解放してもよい。

（実施例２）
本発明の実施例２の動作を説明する。実施例１では、ＩＤＲピクチャによる復号処理の再開まで復号化ピクチャバッファ（ＤＰＢ）上のピクチャの表示を繰り返したが、実施例２では、図７に示すように、ＩＤＲピクチャによる復号化の再開前にＩピクチャによって随時表示画像を更新する。実施例２は、制御ユニット３８及び復号化部５８の動作のみが異なり、その他の構成要素の作用は、実施例１と同じである。また、実施例２における復号化部５８は、通常的な動作であるI,P及びBピクチャを順次復号化するモード（全復号処理モード）に加え、選択的にピクチャ内符号化画像データ（Ｉピクチャ）のみを復号化するモード（選択復号処理モード）を実行可能な構成である。

図７のステップＳ２０１〜Ｓ２０９は、図５のステップＳ１〜Ｓ９と同じである。即ち、図７のステップＳ２１０以降が、図５に対して追加されている。現在表示中のピクチャ領域を除き、復号化ピクチャバッファ（ＤＰＢ）６０上の全メモリ領域を解放した後（Ｓ２０９）、ステップＳ２０１と同様に、符号化ピクチャバッファ（ＣＰＢ）５６から復号対象となるアクセスユニットを選択する（Ｓ２１０）。そのアクセスユニットがＩＤＲピクチャであるか否かを判別する（Ｓ２１１）。選択したアクセスユニットがＩＤＲピクチャであれば（Ｓ２１１でYES）、ステップＳ２０３に進み、そのＩＤＲピクチャ以降を同様に復号処理する。

一方、選択したアクセスユニットがＩＤＲピクチャでなければ（Ｓ２１１でNO）、そのアクセスユニットがＩピクチャであるか否かを判定する（Ｓ２１２）。Ｉピクチャであれば（Ｓ２１２でYES）、そのＩピクチャを復号して復号結果をＤＰＢ６０に格納する（Ｓ２１３）。復号されたＩピクチャは、所定のタイミング、例えばピクチャタイミングＳＥＩで定義されたタイミング等で、表示ユニット２８に表示され、順次表示画像が切り替えられる。一方、Ｉピクチャでなければ（Ｓ２１２でNO）、ステップＳ２１０に戻り、次の復号対象となるアクセスユニットを選択する（Ｓ２１０）。

すなわち、ステップＳ２１０〜Ｓ２１３において、復号化部５８は制御ユニット３８の指示のもと、次のＩＤＲピクチャが検出されるまで、Ｉピクチャのみを検出して復号化する選択復号処理モードを実行する。なお、ＩＤＲピクチャを検出することにより、復号化部５８は、選択復号処理モードから通常の全復号処理モードへと動作が切り替わる。全復号処理モードでは、ピクチャ内符号化による圧縮画像データ（Ｉピクチャ）と、ピクチャ間予測符号化による圧縮画像データ（Ｐピクチャ、Ｂピクチャ）の両方が復号される。

このようにすることで、参照ピクチャを格納する十分なバッファ領域を復号化ピクチャバッファ（ＤＰＢ）６０に確保できない場合に、表示中の画像を繰り返し表示しつつ、次のＩＤＲピクチャを待機するので、復号処理の致命的な破綻を回避できる。さらに、復号処理再開までの間はＩピクチャを復号して表示画面を更新するので、再生画面の違和感を軽減できる。

図８は、適応メモリ管理方式の場合の動作フローチャートを示す。ステップＳ２５１〜Ｓ２６３は図７のステップＳ２０１〜Ｓ２１３に対応する。図７とはステップＳ２５６，２５７が異なる。図８では、復号化ピクチャバッファ（ＤＰＢ）６０に十分な空きがない場合に（Ｓ２５３でNO）、ＤＰＢ６０に解放可能なピクチャがあるか否かをチェックする（Ｓ２５６）。解放可能なピクチャがある場合には（Ｓ２５６でYES）、そのピクチャをＤＰＢ６０から削除して、そのバッファ領域を解放し（Ｓ２５７）、ステップＳ２５４に進む。一方、解放可能なピクチャが無い場合には（Ｓ２５６でNO）、図７と同様の処理（ステップＳ２５８〜Ｓ２６３）を実行する。

（実施例３）
復号処理に必要な復号化ピクチャバッファ（ＤＰＢ）６０の容量に関する情報を符号化処理時に圧縮データと一緒に記録媒体２６に記録しておき、復号時にこの情報を参照することで、復号化の破綻を防止できる。

図９は、各ピクチャの復号処理時に復号化ピクチャバッファ（ＤＰＢ）６０上で保持が必要なピクチャの枚数を取得するフローチャートである。符号化対象がＩＤＲピクチャであるか否かを判別する（Ｓ３０１）。ＩＤＲピクチャであると（Ｓ３０１でYES）、ＤＰＢ６０上に必要なピクチャ枚数を１で初期化する（Ｓ３０２）。

ＩＤＲピクチャでなければ（Ｓ３０１でNO）、必要なピクチャ枚数を１だけインクリメントする（Ｓ３０３）。そして、ピクチャを復号後、ＤＰＢ６０に保持された任意のピクチャを解放してよい符号化であるか否かを判定する（Ｓ３０４）。ピクチャを復号後、ＤＰＢ６０に保持された任意のピクチャを解放してよい符号化の場合（Ｓ３０４でYES）、必要なピクチャ枚数を１だけデクリメントし（Ｓ３０５）、ステップＳ３０１に戻る。一方、ピクチャを復号後、ＤＰＢ６０に保持された任意のピクチャを解放してよい符号化ではない場合（Ｓ３０４でNO）、ステップＳ３０１へ進む。

このような処理を繰り返すことで、各ピクチャの復号処理時に、復号化ピクチャバッファ（ＤＰＢ）６０に格納される必要ピクチャ枚数を算出できる。算出した必要ピクチャ枚数は、例えば、ストリームデータ内に以下のように格納すればよい。図１０は、必要ピクチャ枚数をストリームデータ内に格納する構造例を示す。図１１は、ストリームファイルと１対１で記録される管理ファイルzzzzz.clpiの構造例を示す。図１２はＤＰＢ情報DbpInfo（）の詳細を説明する模式図である。

図１０にて符号化されたアクセスニットに付加されるメッセージSEI_massage（）に対し、復号時にＤＰＢ６０に必要なピクチャ枚数を変数DPB_PIC_NUMに格納するユーザデータuser_data_unregisterdを格納する。メッセージSEI_massage（）及びユーザデータuser_data_unregisterdはＩＴＵ−Ｔ Ｒｅｃ． Ｈ．２６４に規定されており、その詳細な説明は省略する。

この情報の付加はアクセスユニット単位でもよいし、あるいは、ＩＤＲピクチャであるアクセスユニットのみであってもよいし、それ以外でもよい。ＩＤＲピクチャであるアクセスユニットのみに付加する場合は、ＩＤＲピクチャから次のＩＤＲピクチャまでに発生するＤＰＢ６０に必要なピクチャ枚数のうちの最大値をＩＤＲピクチャのユーザデータuser_data_unregisterdに格納すればよい。

図１１で、ＤＰＢ情報スタートアドレスDPB_info_start_addressは、ＤＰＢ情報DbpInfo（）の開始アドレスを管理ファイルzzzzz.clpiの先頭からバイトオーダーでカウントしたオフセット値を示す。ＤＰＢ情報DPBInfo（）は、復号化する際に必要なＤＰＢ６０の容量を格納する領域の実体である。それ以外の領域に関する詳細は、Blu-ray Disc Read-Only Format（Blu-rayは商標）に記載されている。

図１２において、情報長Lengthには、ＤＰＢ情報DPBInfo（）全体のサイズをバイトオーダーでカウントした値が記録される。エントリー数number_of_entriesは、後述するDPB_Info及びPTSの個数を格納する。DPB_Infoは、図９で算出した、各ピクチャの復号処理時にＤＰＢ６０に格納されるピクチャ枚数を格納する。PTSはDPB_Infoが有効であるアクセスユニットの表示タイミングを、９０ｋＨｚの精度で格納する。

このようにして、復号化時に復号化ピクチャバッファ（ＤＰＢ）６０に格納する必要があるピクチャ枚数を、予め符号化時に算出して、ストリームデータ又は管理ファイルに記録しておくことができる。

なお、本実施例では、ピクチャ枚数の情報の格納は、管理ファイルが管理するストリームファイル内のアクセスユニット単位でもよいし、あるいはＩＤＲピクチャ単位であってもよい。或いは、管理ファイルが管理するストリームファイル全体に対して一つでもよいし、それ以外でもよい。

ＩＤＲピクチャ単位である場合は、ＩＤＲピクチャから次のＩＤＲピクチャまでで、復号化ピクチャバッファ（ＤＰＢ）６０に格納されるピクチャ枚数のうちの最大値を格納するものとし、PTSにはＩＤＲピクチャの表示時刻を格納する。管理ファイルが管理するストリームファイル全体に対して一つの場合は、管理ファイルが管理するストリームファイルの符号化処理でＤＰＢ６０に格納する必要があるピクチャ枚数のうちの最大値を格納し、PTSにはこのストリームデータの表示開始時刻を格納する。

また、ＤＰＢ６０の容量をピクチャ枚数で説明しているが、バイト単位等のサイズで記録してもよい。バイト単位で記録する場合は、図９のステップＳ３０２、Ｓ３０３及びＳ３０５で、枚数ではなくピクチャのデータ量で演算を行う。

（実施例４）
実施例３のように、復号化時に必要になる参照ピクチャ枚数の情報が一緒に記録されている圧縮映像データを再生する場合に、ショックプルーフバッファ（リードバッファ５０）の容量を決定する方法を説明する。なお、復号化する際に必要な復号化ピクチャバッファ（ＤＰＢ）６０の容量は、管理ファイル内に記録されるものとする。さらにＤＰＢ情報DPBInfo（）内のエントリー数number_of_entriesが１であって、管理ファイルが管理するストリームファイルでＤＰＢ６０に格納する必要があるピクチャ枚数のうちの最大値がDPB_Infoに記録されているものとする。図１３は、復号処理における復号化ピクチャバッファ（ＤＰＢ）６０及びショックプルーフバッファ（リードバッファ５０）のサイズを決定するフローチャートである。

先ず、復号に必要なバッファサイズを０で初期化する（Ｓ４０１）。全ストリームデータの再生に必要なＤＰＢ６０のサイズを取得する（Ｓ４０２〜４０４）。ＤＰＢバッファのシステムデフォルト値（初期値）に対し、どれだけのサイズの増加が必要であるかを算出する（Ｓ４０５）。ＤＰＢ６０のバッファサイズに必要増加分を加算し（Ｓ４０６）。ショックプルーフバッファ（リードバッファ５０）のバッファサイズからステップＳ４０５で算出されたＤＰＢバッファ増加分を差し引く（Ｓ４０７）。

このようなバッファサイズの制御により、振動など外乱への耐久性と、ストリームの再生を両立する最適なメモリマップを得ることができる。

なお、本実施例では、復号化の際に必要な復号化ピクチャバッファ（ＤＰＢ）６０の容量が管理ファイル内に記録されるものとする。さらに、ＤＰＢ情報DPBInfo（）のエントリー数number_of_entriesが１であって、管理ファイルが管理するストリームファイルでＤＰＢ６０に格納する必要があるピクチャ枚数のうちの最大値がDPB_Infoに記録されているものとした。しかしながら、これに限定されるものではない。

（実施例５）
ショックプルーフバッファ（リードバッファ５０）の容量を決定する別の方法を説明する。復号化の際に必要な復号化ピクチャバッファ（ＤＰＢ）６０の容量は、管理ファイル内に記録されるものとする。また、ＤＰＢ情報DPBInfo（）のエントリー数number_of_entriesが管理ファイルが管理するストリームファイル内に含まれるＩＤＲピクチャの枚数であるとする。さらに、ＩＤＲピクチャから次のＩＤＲピクチャまでの間でＤＰＢ６０に格納する必要があるピクチャ枚数のうちの最大値が各DPB_Infoに記録されているものとする。

図１４は、復号時の動作フローチャートである。図１４において、符号化ピクチャバッファ（ＣＰＢ）５６から復号対象のアクセスユニットを選択する（Ｓ５０１）。選択したアクセスユニットがＩＤＲピクチャであるか否かを判別する（Ｓ５０２）。選択したアクセスユニットがＩＤＲピクチャでなければ（Ｓ５０２でNO）、ステップＳ５０１に戻る。ＩＤＲピクチャであれば（Ｓ５０２でYES）、管理情報からPTSに従い、ＩＤＲピクチャから次のＩＤＲピクチャまでの間の復号に必要なＤＰＢ６０のサイズを取得し、ＤＰＢ６０のバッファサイズが、必要量以上か否かを判別する（Ｓ５０３）。ＤＰＢ６０のバッファ容量が不足していれば（Ｓ５０３でYES）、ＩＤＲピクチャを復号処理してＤＰＢ６０に格納し（Ｓ５０４）、ＩＤＲピクチャの表示タイミングでユーザに警告を発行することをシステム内のプログラムに予約する（Ｓ５０５）。そして、ステップＳ５０１に戻る。

一方、ＤＰＢ６０のバッファ容量が必要量以上であれば（Ｓ５０３でNO）、ＩＤＲピクチャを検出するまで、順次、アクセスユニットを復号処理してＤＰＢ６０に格納する（Ｓ５０６〜Ｓ５０８）。アクセスユニットがＩＤＲピクチャになると（Ｓ５０８でYES）、ステップＳ５０３に戻る。

ステップＳ５０４以降の処理により復号化ピクチャバッファ（ＤＰＢ）６０で表示画像が欠落した場合の動作は、実施例１と同じであるので、省略する。

このように、本実施例では、復号時に復号化ピクチャバッファ（ＤＰＢ）６０に復号に必要なＤＰＢバッファサイズを確保できない場合でも、復号処理の致命的な破綻を回避し、ＩＤＲピクチャの復号をトリガとして復号処理を再開できる。

（実施例６）
ＩＤＲピクチャによる復号化の再開前に、再生画像の表示を更新する実施例を説明する。図１５は、この実施例の復号動作のフローチャートである。なお、図１５のステップＳ６０１〜Ｓ６０５の動作は図１４のステップＳ５０１〜Ｓ５０５と同じであり、ステップＳ６１０〜Ｓ６１２の動作は、図１４のステップＳ５０６〜５０８と同じである。

ステップＳ６０５において、ユーザ警告の発生を予約した後、次の復号対象を符号化ピクチャバッファ（ＣＰＢ）５６から取得する（Ｓ６０６）。アクセスユニットがＩＤＲピクチャであるか否かを判別する（Ｓ６０７）。アクセスユニットがＩＤＲピクチャであれば（Ｓ６０７でＹＥＳ）、ステップＳ６０３に戻る。アクセスユニットがＩＤＲピクチャでなければ（Ｓ６０７でＮＯ）、アクセスユニットがＩピクチャであるか否かを判別する（Ｓ６０８）。Ｉピクチャであれば（Ｓ６０８でYES）、そのＩピクチャを復号化して復号結果をＤＰＢ６０に保存する（Ｓ６０９）。Ｉピクチャでなければ（Ｓ６０８でNO）、ステップＳ６０６に戻る。

ステップＳ６０４以降で、ＤＰＢ６０の表示画像欠落時の動作は、実施例１と同じであるので省略する。

このように、本実施例では、復号時に、復号化ピクチャバッファ（ＤＰＢ）に復号後のピクチャを格納する十分なバッファ領域を確保できない場合でも、復号処理の致命的な破綻を回避し、ＩＤＲピクチャの復号をトリガとして復号処理を再開できる。また、復号処理再開までの間は、Ｉピクチャを復号して表示画像を更新できる。

本発明の一実施例の概略構成ブロック図である。 本実施例の復号化時のバッファ構成を示す概略構成図である。 本実施例のソースパケットの構造図である。 本実施例のヘッダの構造図である。 本実施例の復号動作を示すフローチャートである。 本実施例の別のバッファ管理方法での復号動作を示すフローチャートである。 実施例２の復号動作を示すフローチャートである。 実施例２の別のバッファ管理方法での復号動作を示すフローチャートである。 ＤＰＢの必要バッファ容量を取得するフローチャートである。 ＤＰＢの必要バッファ容量を格納するユーザデータの構造例である。 管理ファイルの構造例である。 ＤＰＢ情報の構造例である。 ＤＰＢ及びショックプルーフのバッファサイズを決定するフローチャートである。 実施例５の復号動作を示すフローチャートである。 実施例６の復号動作を示すフローチャートである。

符号の説明

１０ 撮像装置
１２ 撮影レンズ
１４ 撮像素子
１６ 信号処理ユニット
１８ バッファ
２０ 映像符号化復号化ユニット
２２ フラッシュメモリ
２４ ディスク制御ユニット
２６ 記録媒体
２８ 表示ユニット
３０ マルチプレクサ／デマルチプレクサ
３２ マイク
３４ スピーカ
３６ 音声符号化復号化ユニット
３８ 制御ユニット
３８ａ 検出ユニット
４０ 操作ユニット
４２ バス
５０ リードバッファ（ＲＢ）
５２ パケット分離ユニット
５４ トランスポートバッファ（ＴＢ）
５６ 符号化ピクチャバッファ（ＣＰＢ）
５８ 復号化部
６０ 復号化ピクチャバッファ（ＤＰＢ）

Claims (12)

1. ピクチャ内符号化を用いて圧縮されたＩＤＲ（Instantaneous Decoder Refresh）ピクチャ及びＩピクチャと、ピクチャ間予測符号化を用いて圧縮されたＰピクチャ及びＢピクチャとを含む圧縮画像データを復号化する画像復号化装置であって、
   前記圧縮画像データを記憶する第１のピクチャバッファと、
   復号化された画像データを記憶する第２のピクチャバッファと、
   前記第２のピクチャバッファに記憶される画像データを選択的に参照して、前記第１のピクチャバッファに記憶される前記圧縮画像データを復号化し、復号化された画像データを前記第２のピクチャバッファに記憶する復号化手段と、
   前記第２のピクチャバッファの空き容量を検出する検出手段と、
   前記検出手段によって検出された前記空き容量が所定値未満になったならば、前記復号化手段による復号化を中断して後続のI、Ｐ及びＢピクチャの復号化された画像データの出力を禁止する制御手段と、
   前記復号化手段による復号化が中断している期間に、前記第１のピクチャバッファにＩＤＲピクチャが記憶されたことを判定する判定手段と、を備え、
   前記制御手段は、前記判定手段によってＩＤＲピクチャが記憶されたと判定されたことに応じて、前記復号化手段による復号化を当該ＩＤＲピクチャから再開することを特徴とする画像復号化装置。
2. 前記制御手段は、前記空き容量が所定値未満のときに、前記第２のピクチャバッファに記憶される所定の画像データの読み出しを繰り返すことを特徴とする請求項１に記載の画像復号化装置。
3. 前記復号化手段による復号化の中断を示すメッセージを発行する警告手段を更に備えることを特徴とする請求項１又は２に記載の画像復号化装置。
4. ピクチャ間予測符号化及びピクチャ内符号化を用いて圧縮された圧縮画像データを復号化する画像復号化装置であって、
   前記圧縮画像データを記憶する第１のピクチャバッファと、
   復号化された画像データを記憶する第２のピクチャバッファと、
   前記第２のピクチャバッファに記憶される画像データを選択的に参照して、前記第１のピクチャバッファに記憶される前記圧縮画像データを復号化し、復号化された画像データを前記第２のピクチャバッファに記憶する復号化手段であって、前記ピクチャ間予測符号化による圧縮画像データと前記ピクチャ内符号化による圧縮画像データの両方を復号化する全復号処理モードと、前記ピクチャ内符号化による圧縮画像データのみを復号化する選択復号処理モードとを選択的に実行可能な復号化手段と、
   前記第２のピクチャバッファの空き容量を検出する検出手段と、
   前記検出手段によって検出された前記空き容量が所定値未満になったならば、前記復号化手段に前記選択復号処理モードによる復号化を指示する制御手段と、
   前記復号化手段によって前記選択復号処理モードが実行されている期間に、前記第１のピクチャバッファに前記ピクチャ内符号化を用いて圧縮されたＩＤＲ（Instantaneous Decoder Refresh）ピクチャが記憶されたことを判定する判定手段と、を備え、
   前記制御手段は、前記判定手段によってＩＤＲピクチャが記憶されたと判定されたことに応じて、前記復号化手段に当該ＩＤＲピクチャ以降の圧縮画像データを前記全復号処理モードによって復号化するように指示することを特徴とする画像復号化装置。
5. 前記制御手段は、前記選択復号処理モードで所定の期間、前記第２のピクチャバッファに画像データが記憶されない場合に、前記第２のピクチャバッファの画像データを所定の期間、繰り返し読み出すことを特徴とする請求項４に記載の画像復号化装置。
6. 前記復号化手段の前記選択復号処理モードへの切り替えを示すメッセージを発行する警告手段を更に備えることを特徴とする請求項４又は５に記載の画像復号化装置。
7. ピクチャ内符号化を用いて圧縮されたＩＤＲ（Instantaneous Decoder Refresh）ピクチャ及びＩピクチャと、ピクチャ間予測符号化を用いて圧縮されたＰピクチャ及びＢピクチャとを含む圧縮画像データを復号化する画像復号化装置であり、且つ前記圧縮画像データを記憶する第１のピクチャバッファと、復号化された画像データを記憶する第２のピクチャバッファとを備える画像復号化装置を制御する方法であって、
   復号化手段が、前記第２のピクチャバッファに記憶される画像データを選択的に参照して、前記第１のピクチャバッファに記憶される前記圧縮画像データを復号化し、復号化された画像データを前記第２のピクチャバッファに記憶する復号化工程と、
   検出手段が、前記第２のピクチャバッファの空き容量を検出する検出工程と、
   制御手段が、前記検出工程によって検出された前記空き容量が所定値未満になったならば、前記復号化工程における復号化を中断して後続のI、Ｐ及びＢピクチャの復号化された画像データの出力を禁止する制御工程と、
   判定手段が、前記復号化工程による復号化が中断している期間に、前記第１のピクチャバッファにＩＤＲピクチャが記憶されたことを判定する判定工程と、を備え、
   前記制御工程では、前記判定工程によってＩＤＲピクチャが記憶されたと判定されたことに応じて、前記復号化工程による復号化を当該ＩＤＲピクチャから再開することを特徴とする画像復号化装置の制御方法。
8. 前記制御工程では、前記空き容量が所定値未満のときに、前記第２のピクチャバッファに記憶される所定の画像データの読み出しを繰り返すことを特徴とする請求項７に記載の画像復号化装置の制御方法。
9. 前記復号化工程による復号化の中断を示すメッセージを発行する警告工程を更に備えることを特徴とする請求項７又は８に記載の画像復号化装置の制御方法。
10. ピクチャ間予測符号化及びピクチャ内符号化を用いて圧縮された圧縮画像データを復号化する画像復号化装置であり、且つ前記圧縮画像データを記憶する第１のピクチャバッファと、復号化された画像データを記憶する第２のピクチャバッファとを備える画像復号化装置を制御する方法であって、
    復号化手段が、前記第２のピクチャバッファに記憶される画像データを選択的に参照して、前記第１のピクチャバッファに記憶される前記圧縮画像データを復号化し、復号化された画像データを前記第２のピクチャバッファに記憶する復号化工程であって、前記ピクチャ間予測符号化による圧縮画像データと前記ピクチャ内符号化による圧縮画像データの両方を復号化する全復号処理モードと、前記ピクチャ内符号化による圧縮画像データのみを復号化する選択復号処理モードとを選択的に実行可能な復号化工程と、
    検出手段が、前記第２のピクチャバッファの空き容量を検出する検出工程と、
    制御手段が、前記検出工程によって検出された前記空き容量が所定値未満になったならば、前記復号化工程に前記選択復号処理モードによる復号化を指示する制御工程と、
    判定手段が、前記復号化工程によって前記選択復号処理モードが実行されている期間に、前記第１のピクチャバッファに前記ピクチャ内符号化を用いて圧縮されたＩＤＲ（Instantaneous Decoder Refresh）ピクチャが記憶されたことを判定する判定工程と、を備え、
    前記制御工程では、前記判定工程によってＩＤＲピクチャが記憶されたと判定されたことに応じて、前記復号化工程に当該ＩＤＲピクチャ以降の圧縮画像データを前記全復号処理モードによって復号化するように指示することを特徴とする画像復号化装置の制御方法。
11. 前記制御工程では、前記選択復号処理モードで所定の期間、前記第２のピクチャバッファに画像データが記憶されない場合に、前記第２のピクチャバッファの画像データを所定の期間、繰り返し読み出すことを特徴とする請求項１０に記載の画像復号化装置の制御方法。
12. 前記復号化工程の前記選択復号処理モードへの切り替えを示すメッセージを発行する警告工程を更に備えることを特徴とする請求項１０又は１１に記載の画像復号化装置の制御方法。

Images