WO2000054509A1 - Dispositif et procede de traitement de signaux numeriques et support associe - Google Patents

Description

明 細 書

デジタル信号処理装置および方法、 並びに提供媒体 技術分野

本発明は、 デジタル信号処理装置および方法、 並びに提供媒体に関 し、 特に、 ソフトウェア処理により、 ビデオデ一夕やオーディオデー 夕を符号化または復号化するデジタル信号処理装置および方法、 並び に提供媒体に関する。

背景技術

最近、 衛星を介して、 TV番組のデジタルビデオデータやデジタル オーディォデ一夕を伝送するシステムが普及しつつある。 このような システムにおいては、 デ一夕量を圧縮するために、 デジタルビデオデ 一夕やデジタルオーディオデ一夕は、 例えば、 MPEG (MovingPicture Experts Group ) 方式により符号化 （エンコード） されて伝送される ソフトウエア処理による符号化装置では、 ビデオデータの入力周期 に同期して符号化が行われる。 入力周期は、 さまざまな規格により定 められており、 例えば、 NTSC (NationalTelevision System Commi t te e ) 方式では、 3 3. 3 6msecと定められている。 1画像に対して割 り当てられている最大の処理時間 （符号化時間） は、 この規格により 定められているビデオデータの入力周期に束縛される。 換言すれば、 入力周期内に、 入力されたビデオデータを符号化し終わらなくてはな らない。 このようにして符号化されたビデオデータは、 所定の記録媒 体などに記録されたり、 衛星を介して伝送される。

また衛星を介して伝送されてくるデジタルデ一夕を受信する受信装 置は、 受信したデータを MPEG方式でデコードする。 デジタルビデオデ 一夕をソフトウェア処理によってデコード （復号） する場合、 デコー ドに必要な複数の処理を逐次実行していく必要がある。 また、 出力を リアルタイムで行うには、 デコードに必要な全ての処理を、 出力で要 求される周期に間に合う時間内に完了する必要がある。 例えば、 NTSC 方式の場合、 フレームレートは 3 0フレーム/秒であるため、 その 1 周期は、 3 3 . 3 6 mse cとなる。 従って、 1フレーム分のデジタルビ デォデータは、 3 3 . 3 6 ms ec内にデコード処理する必要がある。

ところで、 入力されるストリームの状況や、 デコードするビデオ画 像の状況によって、 それらの処理を実行するために必要な時間が変動 する。 例えば、 MPEG方式のビデオ画像の場合、 ビッ トストリームのビ ッ 卜レー卜によって、 可変長符号の復号処理に必要な時間が変化し、 I ピクチャ、 Bピクチャ、 または Pピクチャといったピクチャコ一デ イングタイプの種類や、 ハーフペル、 またはフルペルといった動き補 償精度の違いによっても、 動き補償の処理時間が変化する。 さらに、 ビデオ画像だけではなく、 デジタルオーディオデータの復号、 あるい はデマルチプレクスといった処理にも時間がかかる。 その他、 それら の処理全体を管理する OSが消費する時間も変動する。

そこで、 パーソナルコンピュータを用いて、 ソフトウェア処理によ りデコードを行う場合、 デコードが出力周期に間に合わない場合、 一 部のデ一夕の処理をスキップして、 出力を間引くようにして、 リアル タイム性を維持するようにしている。

上述したように、 従来の符号化装置は、 ビデオデータの入力周期と 同期して符号化が行われるため、 各画像に対して、 その周期内で最大 限の精度で符号化が完了するようにしなくてはならない。 ここで、 符 号化における精度とは、 符号化前の画像と、 その符号化された画像を 復号した画像とが、 どれだけ似ているかによるものであり、 その精度 の善し悪しは、 符号化の処理時間や符号化の手法などにかかわつてく る。

時間軸で、 符号化処理が代わる場合 （例えば MPEG (Mov i ng P i c t u r e Expe r t s Group) 2 ) や、 それぞれの画像をできるだけ等しい精度で 符号化しなくてはならない場合 （時間軸で符号化の精度が異なると、 復号された画像は、 ちらちらとして見づらくなってしまうのを防ぐた め） 、 符号化装置の設計は、 符号化の精度を高くするために、 その符 号化処理にかける時間に余裕があるように設定して設計しなくてはな らない。

また、 ソフトウェア処理による符号化装置は、 符号化処理の他に、 ビデオデータの入力の制御や出力の制御などをしなくてはならず、 そ れらの処理を、 内蔵されているプロセッサで同時に行う必要があった 。 その為、 符号化処理以外の処理との関係により、 符号化処理に割り 当てられる最大の処理時間を算出する事が困難であるという課題があ つた。 そのため、 プロセッサが処理を行わない無駄な時間が発生する という課題もあった。 また、 このように、 複数の処理を 1つのプロセ ッサにより行わせる場合、 そのプロセッサは、 高い処理能力を持つ必 要があり、 コスト高になるという課題があった。

本発明はこのような状況に鑑みてなされたものであり、 1画像の符 号化処理を他の処理を優先しながら行うようにすることにより、 処理 能力の低いプロセッサにおいても高精度の符号化が行えるようにする ことを目的とする。

また、 例えば、 衛星放送を受信する専用の受信装置において、 ソフ トウエア処理により受信信号をデコードする場合においても、 リアル タイム性を維持するために、 一部のデータの処理をスキップして、 出 力を間引くことは、 その装置が、 本来衛星を介して送信されてくるデ ジ夕ルビデオ信号をデコードする専用の装置であることを考慮すれば 、 許容されることではない。

そこで、 ソフトウェア処理によりデコードを短時間で完了できるよ うにするには、 非常に高い処理能力を有するプロセッサが必要となり 、 コスト高となる課題があった。

本発明はこのような状況に鑑みてなされたものであり、 通常の処理 能力を有するプロセッサを用いて、 ソフトウエア処理により低コスト でデコ一ド処理ができるようにするものである。

発明の開示

請求の範囲 1に記載のデジタル信号処理装置は、 エンコードされて いるデジタル信号を入力する入力手段と、 入力手段により入力された デジタル信号をデコ一ドするソフトウェアよりなるデコード手段と、 デコード手段によりデコードされたデジタル信号を、 複数のアクセス 単位分だけ記憶する第 1の記憶手段と、 第 1の記憶手段に記憶されて いるアクセス単位のデジタル信号の出力の順番を F I FO形式で管理する 管理手段とを含むことを特徴とする。

請求の範囲 3に記載のデジタル信号処理方法は、 ェンコ一ドされて いるデジタル信号を入力する入力ステップと、 入カステツプの処理に より入力されたデジタル信号をソフトウエアでデコードするデコード ステップと、 デコードステップの処理によりデコードされたデジタル 信号を、 複数のアクセス単位分だけ記憶する第 1の記憶ステップと、 第 1の記憶ステップの処理で記憶されているアクセス単位のデジタル 信号の出力の順番を F IFO形式で管理する管理ステップとを含むことを 特徴とする。

請求の範囲 4に記載の提供媒体は、 エンコードされているデジタル 信号を入力する入力ステップと、 入カステツプの処理により入力され たデジタル信号をソフトウエアでデコ一ドするデコ一ドステツプと、 デコードステップの処理によりデコードされたデジタル信号を、 複数 のアクセス単位分だけ記憶する第 1の記憶ステップと、 第 1の記憶ス テツプの処理で記憶されているアクセス単位のデジタル信号の出力の 順番を F IFO形式で管理する管理ステツプとを含む処理をデジタル信号 処理装置に実行させるコンピュータが読み取り可能なプログラムを提 供することを特徴とする。

請求の範囲 5に記載のデジタル信号処理装置は、 ビデオデータを入 力する入力手段と、 入力手段により入力されたビデオデータを記憶す る第 1の記憶手段と、 第 1の記憶手段に記憶されているビデオデータ を符号化したときのデータ量を予測する予測手段と、 第 1の記憶手段 により記憶されたビデオデータを符号化する符号化手段と、 符号化手 段により符号化されたビデオデータを記憶する第 2の記憶手段とを含 み、 符号化手段による符号化は、 第 2の記憶手段に、 予測手段により 予測されたデータ量が記憶できると判断された場合に行われ、 入力手 段によるビデオデータが入力され、 処理されている間は中断されるこ とを特徴とする。

請求の範囲 6に記載のデジタル信号処理方法は、 ビデオデータを入 力する入力ステップと、 入力ステップで入力されたビデオデ一夕を記 憶する第 1の記憶ステップと、 第 1の記憶ステップで記憶されたビデ ォデ一夕を符号化したときのデ一夕量を予測する予測ステップと、 第 1の記憶ステツプで記憶されたビデオデータを符号化する符号化ステ ップと、 符号化ステップで符号化されたビデオデータを記憶する第 2 の記憶ステップとを含み、 符号化ステップでの符号化は、 第 2の記憶 ステップの処理で、 予測ステップで予測されたデ一夕量が記憶できる と判断された場合に行われ、 入力ステップでビデオデ一夕が入力され 、 処理されている間は中断されることを特徴とする。

請求の範囲 7に記載の媒体のプログラムは、 ビデオデ一夕を入力す る入カステツプと、 入カステツプで入力されたビデオデ一夕を記憶す る第 1の記憶ステツプと、 第 1の記憶ステツプで記憶されたビデオデ —夕を符号化したときのデータ量を予測する予測ステップと、 第 1の 記憶ステップで記憶されたビデオデータを符号化する符号化ステップ と、 符号化ステップで符号化されたビデオデータを記憶する第 2の記 憶ステップとからなり、 符号化ステップでの符号化は、 第 2の記憶ス テップの処理で、 予測ステップで予測されたデータ量が記憶できると 判断された場合に行われ、 入力ステップでビデオデータが入力され、 処理されている間は中断されることを特徴とする。

請求の範囲 1に記載のデジタル信号処理装置、 請求の範囲 3に記載 のデジタル信号処理方法、 および請求の範囲 4に記載の提供媒体にお いては、 記憶されているアクセス単位のデジタル信号の出力の順番が F IFO形式で管理される。

請求の範囲 5に記載のデジタル信号処理装置、 請求の範囲 6に記載 のデジタル信号処理方法、 および請求の範囲 7に記載の媒体において は、 入力されたビデオデ一夕を符号化したときのデータ量が予測され 、 ビデオデータが符号化され、 その符号化されたビデオデータが記憶 され、 その符号化は、 予測されたデータ量が記憶できると判断された 場合に行われ、 画像デ一夕が入力され、 処理されている間は中断され る。

図面の簡単な説明

第 1図は、 本発明を適用したデジタル信号処理装置 （デコーダ） の 構成例を示すブロック図である。

第 2図は、 第 1図のビデオフレームバッファ 3の構成を示す図であ る。

第 3図は、 第 1図の出力 F IF0 4の構成を示す図である。

第 4図は、 第 1図の装置の動作を説明するタイミングチャートであ る。

第 5図は、 第 4図の処理 1の動作を説明するフ口一チャートである 第 6図は、 第 4図の処理 3の動作を説明するフローチヤ一トである 第 7図は、 本発明を適用したデジタル信号処理装置 （エンコーダ） の構成例を示すブロック図である。

第 8図は、 ビデオフレームバッファ 1 3を説明する図である。

第 9図は、 ビデオフレームバッファ 1 3へのビデオデータの書き込 み処理について説明するフローチヤ一トである。

第 1 0図は、 エンコードについて説明するフローチャートである。 第 1 1図は、 ビデオデータの入力から出力されるまでの処理を説明 する図である。

第 1 2図は、 第 1 1図の続きを示す図である。

第 1 3図は、 媒体を説明する図である。

発明を実施するための最良の形態

まずソフトウェア処理によるデコードを行うデジタル信号処理装置 について説明する。 第 1図は、 本発明を適用した、 デジタル信号処理 装置の構成例を表している。 プログラムメモリ 2には、 入力されたス 卜リームのデコード （復号） 処理を行うデコードプログラム、 並びに 各部を制御する処理プログラムなどが記憶されている。 CPU 1は、 プ ログラムメモリ 2に記憶されているプログラムをバス 7を介して適宜 読み出し実行する。 ビデオフレームバッファ 3は、 デコードされた画 像データを一時的に記憶する記憶装置であり、 複数フレーム分の画像 データを保持する容量を有している。

出力 FIFO (First In First Out) 4は、 出力するフレームの画像が 記憶されているバッファ 1乃至バッファ Nの管理 IDを、 出力する順番 に記憶する。 ストリーム入力インタフェース （I/F ) 5は、 衛星等を 介して伝送されてくる、 例えば、 MPEG方式でエンコードされているト ランスポートストリームを入力するためのィン夕フエ一ス処理を実行 する。 ディスプレイコントローラ 6は、 デコードされた画像データを 、 図示せぬディスプレイに出力し、 表示させるための処理を行う。

ビデオフレームバッファ 3は、 第 2図に示すように、 Nフレーム分 の画像データを記憶するための領域として、 バッファ 1乃至バッファ Nを有している。 これらのバッファは、 必ずしも連続したアドレス領 域に定義する必要はない。 また、 各バッファは、 それぞれデコード出 力用としての割当、 デコード結果の保持、 およびデータの出力の順序 で使用され、 出力が終了したバッファは、 再び、 デコード出力用とし て再利用される。 さらに、 各バッファは、 全て等価的に使用され、 特 定のバッファが限定された用途に使用されることはない。

なお、 出力 FIF04は、 ビデオフレームバッファ 3内に形成してもよ い。

第 3図は、 出力 FIF04の原理的な構成を表している。 この出力 FIFO 4は、 デコード結果を出力するバッファの順番と、 出力するまでの遅 延を管理するものである。 出力 FIF04には、 第 2図に示したビデオフ レームバッファ 3のバッファ 1乃至バッファ Nの管理 IDまたはポィン 夕が、 出力する順番に入力、 記憶される。

次に、 第 4図のタイミングチャートを参照して、 第 1図に示す装置 の動作について説明する。 第 4図において、 時刻 t 1 乃至 t 4 は、 そ れぞれデコ一ドした画像デ一夕を出力するタイミングを表している。 すなわち、 各時刻 t 1 乃至 t 4 の間隔は、 1フレーム分の周期 （ 3 3 • 3 6 msec) とされる。 CPU 1は、 プログラムメモリ 2より読み出し たプログラムに従って、 時刻 t 1 のタイミングで処理 1を実行し、 そ の処理 1の処理が終了したとき、 次に、 処理 2を実行する。 そして、 処理 2の処理が完了したとき、 処理 3を実行する。 このように、 処理 の優先順位は、 処理 1が最も高く、 次に処理 2が続き、 処理 3は最も 優先順位が低い。

次に、 第 5図のフローチャートを参照して、 処理 1について説明す る。 ステップ S 1 1において、 CPU 1は、 次に出力するバッファの ID を出力 F I F0 4より取得する。 そして、 ステップ S 1 2において、 CPU 1は、 ステップ S I 1で取得した IDに対応するビデオデ一夕をビデオ フレームバッファ 3から読み出し、 バス 7を介して、 ディスプレイコ ントロ一ラ 6に出力する。 ディスプレイコントローラ 6は、 入力され たデ一夕を図示せぬディスプレイに出力し、 表示させる。

例えば、 第 4図に示す時刻 t l において、 出力 F IF0 4には、 その先 頭に管理 IDとして Aが保持されている。 そこで、 CPU 1は、 ステップ S 1 1において、 出力 F IF0 4から管理 I Dとして Aを読み出し、 ビデオ フレームバッファ 3のバッファ 1乃至バッファ Nのうち、 Aの管理 ID に対応するバッファのビデオデータを読み出し、 出力する。

次に、 CPU 1は、 処理 2を実行する。 この処理 2は、 例えば、 ォ一 ディォデータのデコード処理である。 処理されたオーディォデ一夕は 、 ディスプレイコントローラ 6から出力される所定のタイミング信号 に同期して、 図示せぬスピーカに出力される。

処理 2が終了したとき、 次に、 CPU 1は、 処理 3を実行する。 次に 、 第 6図のフローチャートを参照して、 この処理 3の詳細について説 明する。

最初に、 ステップ S 2 1において、 CPU 1は、 次のデコード出力用 バッファの割当処理を実行する。 すなわち、 第 2図に示すビデオフレ —ムバッファ 3のバッファ 1乃至バッファ Nのうち、 空いている （既 に読み出した） バッファを、 デコードしたビデオデータを記憶させる バッファとして割り当てる。 次に、 ステップ S 2 2において、 CPU 1 は、 ストリーム入力インタフェース 5より入力されてきた 1フレーム 分のビデオデータを、 プログラムメモリ 2より読み出したデコードプ ログラムにより、 MPEG方式でデコードする。 デコードされたデ一夕は 、 ステップ S 2 1で割り当てられたバッファに記憶される。 さらに、 ステップ S 2 3において、 CPU 1は、 次に出力する （読み出す） べき バッファの IDを出力 F IFO 4に登録する。

第 4図の時刻 t l から時刻 t 2 の間のタイミングにおいては、 この ような処理 3により、 管理 I Dが Dであるフレームのデコード処理が行 われたので、 CPU 1は、 出力 F IF0 4に管理 IDとして、 Dを登録する。 第 4図の例では、 時刻 t 1 から時刻 t 2 までの時間に、 処理 3は完了 することが可能であった。

これに対して、 時刻 t 2 から時刻 t 3 までの時間においては、 処理 1として管理 IDが Bであるフレームのビデオデ一夕が出力された後、 処理 2として、 オーディオデ一夕などの処理が行われ、 その後、 処理 3が開始されているのであるが、 処理 3は、 時亥 U t 4 までの間に、 完 了することができていない。

このような場合、 従来においては、 時刻 t 3 において、 直前の時刻 t 2 において出力した、 管理 I Dが Bであるフレームの画像を、 再度出 力するようにしている。 しかしながら、 本発明においては、 B寺亥 ij t 3 において、 処理 3の処理を一旦中断した後、 処理 1 として出力 F IF0 4 に記憶されている管理 IDが Cであるフレームの画像を出力する。 その 後、 さらに、 処理 2を実行した後、 それが終了したとき、 処理 3とし て、 一旦中断した処理を再開する。 そして、 その後、 続いて、 次のフ レームのビデオデータの処理を実行する。 第 4図の例では、 このよう にして、 時刻 t 3 から時刻 t 4 までの間に、 管理 IDが Eと Fの 2つの フレームのビデオデータを処理することができ、 それらのフレームの 管理 IDである Eと Fが、 出力 FIFO 4に記憶されている。

このように、 出力 FIF04により、 ノ ッファ 1乃至バッファ Nの管理 を行うようにすることで、 処理 3の実行時間が、 出力周期を一時的に 越えてしまったような場合や、 各処理の実行時間の伸縮によって、 処 理 1 と処理 3の実行タイミングが非同期になってしまったような場合 にも、 処理 1においては、 一定周期で出力するバッファを常に確保す ることが可能となる。

このようにして、 CPU 1に要求されるソフトウェアの処理能力を、 1フレームのデコ一ドに要する処理時間が最長となる場合に対応させ る必要はなく、 数フレームのデコードに要する平均的処理時間に対応 すれば良いため、 CPU 1として、 より安価なプロセッサを用いること が可能となる。

次にソフトウエア処理によるエンコードを行うデジタル信号処理装 置について説明する。 第 7図は、 本発明を適用したデジタル信号処理 装置の内部構成を示すブロック図である。 CPU (Central Processing Unit ) 1 1は、 ROM (Read Only Memory) や RAM (Random Access Memory ) などから構成されるメモリ 1 2に記憶されているプロダラ ムに従って、 所定の処理を行う。 ビデオフレームバッファ 1 3は、 入 出力インターフェース 1 4を介して入力されたビデオデ一夕を一旦記 憶する。 エンコーダ 1 5は、 ビデオフレームバッファ 1 3に記憶され ているビデオデ一夕をェンコ一ドし、 コードバッファ 1 6に出力する 。 コードバッファ 1 6は、 エンコードされたビデオデータを一旦記憶 する。 コードバッファ 1 6に記憶されているビデオデータは、 入出力 イン夕一フエ一ス 1 4を介して他の装置、 例えば、 図示されていない 記録装置に出力される。 これらの各部は、 バス 1 7により、 相互に接 続されている。

ビデオフレームバッファ 1 3は、 複数のフレームのビデオデ一夕を 記憶できる容量をもち、 第 8図に示すように、 複数のバッファが定義 されている。 すなわち、 ビデオフレームバッファ 1 3内には、 N個の ノ ッファ 1 3— 1乃至 1 3— Nが定義されており、 ビデオデ一夕 1は バッファ 1 3— 1に、 ビデオデ一夕 2はバッファ 1 3— 2に、 ビデオ デ一夕 Nはバッファ 1 3—Nに、 それぞれ記憶されるようにされてい る。 バッファ 1 3— 1乃至 1 3— Nは、 それらを一意に規定する IDま たはポインタで管理されている。 ここでは、 IDで管理されているとし て以下の説明をする。 なお、 各バッファ 1乃至 Nは、 必ずしも連続し たァドレス領域に定義される必要はない。

CPU 1 1により行われる、 ビデオフレームバッファ 1 3へのビデオ デ一夕の書き込み処理について、 第 9図のフローチャートを参照して 説明する。 ステップ S 3 1において、 入出力インターフェース 1 4を 介して、 ビデオデータが符号化装置 1 0に入力されると、 ステップ S 3 2において、 CPU 1 1は、 ビデオフレームバッファ 1 3内の空きバ ッファを調査する。 ビデオフレームバッファ 1 3内の各バッファは、 一意に規定できる IDにより管理されており、 CPU 1 1は、 その IDを参 照することにより、 空きバッファを調査する。

すなわち、 例えば、 FIFO (First In First Out) を用い、 ビデオデ —夕が記憶されたバッファの IDを順次書き込み、 その FIFOに書き込ま れていない I Dを調査することにより、 空きバッファを調査できるよう にする。 このように、 F IFOを用いて、 ビデオフレームバッファ 1 3内 の各バッファが管理されている場合、 後述する読み出し処理は、 書き 込まれた順に出力されることになる。 F I FOには、 同一 I Dは書き込まれ ることはないので、 出力された ID (従って、 F IFOには書き込まれてい ない I D) は、 空きバッファを示す IDとなる。

ステップ S 3 3において、 ステップ S 3 2により空きバッファであ ると調査されたバッファに、 ステップ S 3 1において入力されたビデ ォデータが書き込まれる。 このようにして書き込まれたビデオデータ は、 エンコーダ 1 5によるエンコードが行われる際に読み出される。 その読み出し処理について、 第 1 0図のフローチャートを参照して説 明する。 ビデオフレームバッファ 1 3にビデオデータが記憶されてお り、 かつ、 CPU 1 1が、 他の処理を行っていないとき、 ステップ S 4 1において、 ビデオフレームバッファ 1 3に記憶されている 1フレー ム分の画像をエンコードした場合のエンコード量が予測される。 ェン コードの対象となるビデオデ一夕は、 その時点で、 上述した F IFOに一 番初めに書き込まれた IDに対応するバッファに記憶されているビデオ データである。

ステップ S 4 1において、 エンコード量が予測されると、 ステップ S 4 2において、 そのエンコード量を記憶するだけの空き容量が、 コ ードバッファ 1 6にあるか否かが判断される。 コードバッファ 1 6に 、 予測されたエンコード量を記憶する空き容量がないと判断された場 合、 エンコードしたビデオデータを記憶する事できないので、 このフ ローチャートの処理は終了される。

一方、 ステップ S 4 2において、 コードバッファ 1 6に、 予測され たェンコ一ド量を記憶する容量があると判断された場合、 ステップ S 4 3に進み、 ステップ S 4 1においてェンコ一ド量が予測されたビデ ォデータが、 ビデオフレームバッファ 1 3から読み出され、 ェンコ一 ダ 1 5によりエンコードされる。 エンコーダ 1 5によりエンコードさ れたビデオデータは、 コードバッファ 1 6に記憶される。 コードバッ ファ 1 6にビデオデータが記憶されると、 ステップ S 4 4において、 ステツプ S 4 3においてェンコ一ドされたビデオデ一夕がビデオフレ —ムバッファ 1 3から削除される。 同時にェンコ一ドされたビデオデ —夕が記憶されていたビデオフレームバッファ 1 3内のバッファの ID が、 F IFOから破棄 （出力） される。

このように、 エンコーダ 1 5によるエンコードは、 CPU 1 1が他の 処理を行っていないとき、 ビデオフレームバッファ 1 3にビデオデ一 夕が記憶されているとき、 かつ、 コードバッファ 1 6にエンコードさ れたビデオデータを記憶するだけの空き容量があるときに行われる。

このような符号化装置 1 0の一連の処理を、 第 1 1図と第 1 2図を 参照してさらに説明する。 時刻 tにおいて、 ビデオデ一夕 aが符号化 装置 1 0に入力されると、 第 9図のフローチャートを参照して説明し た処理が行われ、 入力されたビデオデータ aは、 ビデオフレームバッ ファ 1 3内の割り当てられたバッファに記憶される。 時刻 t + 1にお いて、 ビデオデータ bが入力されると、 ビデオデータ aが入力された 場合と同様の処理により、 ビデオフレームバッファ 1 3内の割り当て られたバッファに、 入力されたビデオデ一夕 bが記憶される。 また、 時刻 t + 1においては、 ビデオフレームバッファ 1 3に記憶されてい るビデオデ一夕 aに対して、 第 4図のフローチャートのステップ S 4 1の処理、 すなわち、 ビデオデ一夕 aをエンコードしたときのェンコ 一ド量が予測される。 時刻 t と時刻 t + 1の時間間隔は、 例えば、 NT SC方式の場合、 3 3 . 3 6 ms ecである。 他の時間間隔も同じである。 ステップ S 4 2における処理により、 コードバッファ 1 6に、 ビデ ォデ一夕 aをェンコ一ドしたときのェンコ一ド量が記憶できると判断 された場合、 エンコーダ 1 5によるエンコードが開始される。 いまの 場合、 コードバッファ 1 6には何も記憶されていないので、 ェンコ一 ドしたビデオデータ aが記憶するだけの空き容量があると判断される 。 時刻 t + 2において、 ビデオデ一夕 cが入力され、 ビデオフレーム ノ ツファ 1 3に記憶されると、 CPU 1は、 エンコーダ 5にビデオデ一 夕 aをエンコードさせる。 スデップ S 4 3の処理として、 ビデオデー 夕 aがビデオフレームバッファ 1 3から読み出され、 エンコーダ 1 5 によりエンコードされ、 コードバッファ 1 6に記憶されると、 ステツ プ S 4 4の処理として、 ビデオフレームバッファ 1 3に記憶されてい たビデオデータ a (ビデオデ一夕 aが記憶されていたバッファに対応 する ID) が削除される。

また、 時刻 t + 2においては、 ビデオデ一夕 cの記憶とビデオデ一 夕 aのエンコードが終了された時点で、 まだ、 次の時刻 t + 3まで時 間があり、 ェンコ一ドしたビデオデ一夕 bを記憶するだけの空き容量 がコ一ドバッファ 1 6にあるので、 画像データ aのェンコ一ドだけで なく、 ビデオデータ bのエンコードも開始される。 しかしながら、 ビ デォデータ bのエンコードの途中で、 ビデオデータ dの入力時刻 t + 3になり、 ビデオデータ dの入力が行われると、 そのビデオデータ d が入力 （記憶） されている間は、 ビデオデ一夕 bのエンコードは中断 される。 そして、 ビデオデ一夕 dの入力が終了されると、 再び、 ビデ ォデ一夕 bのエンコードが再開される。 時刻 t + 4までに、 ビデオデ —夕 bのェンコ一ドが終了されるとともに、 ビデオデータ cのェンコ ードも完了される。 そのため、 時刻 t + 4の直前では、 ビデオフレー ムバッファ 1 3には新たに入力されたビデオデータ dのみが記憶され ている状態となり、 コードバッファ 1 6には、 既にエンコードされた ビデオデータ a、 ビデオデータ b、 およびビデオデ一タ cが記憶され ている状態となる。

このように、 ビデオフレームバッファ 1 3に記憶されているビデオ データをエンコードした際、 そのエンコード量が、 ビデオデータ毎に 異り、 そのため、 エンコードにかかる時間も異なるような場合でも、 所定の処理時間内 （ビデオデ一夕が入力される入力周期内） に処理を 終わらせる必要がないため、 ェンコ一ドの精度を上げることが可能と なる。

時刻 t + 4において、 ビデオデータ eが入力され、 ビデオフレーム ノ ツファ 1 3に記憶される。 この時点では、 既に、 ビデオフレームバ ッファ 1 3にビデオデータ dが記憶されており、 CPU 1は、 他の処理 を起こっていないので、 エンコード処理を行うことができるが、 コ一 ドバッファ 1 6の空き容量が充分でないため、 ェンコ一ドは行われな レ 時刻 t + 5 (第 1 2図） において、 ビデオデータ f が入力される とともに、 他の装置、 例えば、 記録装置などに、 コードバッファ 1 6 に記憶されているビデオデータが一定量で、 継続的に出力される。 こ の出力処理は、 DMAC (D i rec t Memo ry Ac c es s Con t r o l l e r ) などを備 え、 DMA 転送させるようにすることにより、 CPU 1 1は、 読み出しの 処理の開始だけ指示すれば良いので、 CPU 1自体に負担をかけずにビ デォデ一夕の出力を行うことができる。

コードバッファ 1 6に記憶されているビデオデ一夕が出力されるこ とにより、 コードバッファ 1 6自体に空き容量ができる。 そこで、 時 刻 t + 6において、 再び、 エンコードが開始される。 以後、 同様に、 第 9図と第 1 0図のフローチャートを参照して説明したように、 ビデ オフレームバッファ 1 3への記憶処理とェンコ一ド処理が行われる。 このように、 1つのビデオデ一夕に対するェンコ一ド処理を、 コ一 ドバッファ 6の空き容量や CPU 1 1の空き時間を考慮して行うように することにより、 画像デ一夕の入力周期内に処理を終了させなくては ならないという条件に拘束されることなく、 ェンコ一ド処理を行うこ とが可能となる。 その結果、 符号化装置 1 0に処理能力の低いプロセ ッサ （CPU 1 1 ) を用いたとしても、 精度の高いエンコードを行うこ とが可能となるとともに、 ビデオデータの入力とともにェンコ一ドを 行うことが可能となる。

次に、 第 1 3図を参照して、 上述した一連のエンコードまたはデコ ード処理を実行するプログラムをコンピュータにインストールし、 コ ンピュー夕によって実行可能な状態とするために用いられる媒体につ いて説明する。

プログラムは、 第 1 3図 Aに示すように、 パーソナルコンピュータ 2 1に内蔵されている記録媒体としてのハ一ドディスク 2 2や半導体 メモリ 2 3 (メモリ 2に相当する） に予めインストールした状態でュ —ザに提供することができる。

あるいはまた、 プログラムは、 第 1 3図 Bに示すように、 フロッピ —ディスク 3 1、 CD-ROM 3 2、 M Oディスク 3 3、 DVD 3 4、 磁気デ イスク 3 5、 半導体メモリ 3 6などの記録媒体に、 一時的あるいは永 続的に格納し、 パッケージソフトウェアとして提供することができる さらに、 プログラムは、 第 1 3図 Cに示すように、 ダウン口一ドサ イ ト 4 1から、 無線で衛星 4 2を介して、 パーソナルコンピュータ 4 3に転送したり、 ローカルエリアネッ トワーク、 イン夕一ネットとい つたネッ トワーク 5 1を介して、 有線または無線でパーソナルコンビ ュ一タ 4 3に転送し、 パーソナルコンピュータ 4 3において、 内蔵す るハードディスクなどにダウンロードさせるようにすることができる 本明細書における媒体とは、 これら全ての媒体を含む広義の概念を 意味するものである。

以上においては、 アクセス単位をフレームとしたが、 フィールドで もよい。 また、 MPEG方式でエンコードされているデジタル信号をデコ —ドする場合を例としたが、 符号化 （圧縮） とその復号 （伸長） 処理 は、 他の方式でもよいことは勿論である。

以上の如く、 請求の範囲 1に記載のデジタル信号処理装置、 請求の 範囲 3に記載のデジタル信号処理方法、 および請求の範囲 4に記載の 提供媒体によれば、 記憶されているアクセス単位のデジタル信号の出 力の順番を F I FO形式で管理するようにしたので、 安価な装置で、 ソフ トウエアによりリアルタイム性を確保しつつ、 デコ一ド処理すること が可能となる。

また、 請求の範囲 5に記載のデジタル信号処理装置、 請求の範囲 6 に記載のデジタル信号処理方法、 および請求の範囲 7に記載の媒体に よれば、 入力されたビデオデ一夕を符号化したときのデータ量を予測 し、 ビデオデータを符号化し、 その符号化されたビデオデ一夕を記憶 し、 その符号化は、 予測されたデータ量が記憶できると判断された場 合に行われ、 ビデオデータが入力され、 処理されている間は中断され るようにしたので、 処理能力の低いプロセッサを用いた塲合において も高精度の符号化を行うことが可能となる。

この発明は、 上述した実施例等に限定されるものでは無く、 この発 明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

Claims

請求の範囲

1 . エンコードされているデジタル信号を入力する入力手段と、 前記入力手段により入力されたデジタル信号をデコードするソフ卜 ウェアよりなるデコード手段と、

前記デコード手段によりデコードされたデジタル信号を、 複数のァ クセス単位分だけ記憶する第 1の記憶手段と、

前記第 1の記憶手段に記憶されているアクセス単位の前記デジタル 信号の出力の順番を F I FO形式で管理する管理手段と

を含むことを特徴とするデジタル信号処理装置。

2 . 前記デコード手段は、 前記デジタル信号を MPEG方式でデコードす る

ことを特徴とする請求の範囲 1 に記載のデジタル信号処理装置。

3 . エンコードされているデジタル信号を入力する入カステツプと、 前記入力ステップの処理により入力されたデジタル信号をソフトウ エアでデコードするデコードステップと、

前記デコ一ドステップの処理によりデコ一ドされたデジタル信号を 、 複数のアクセス単位分だけ記憶する第 1の記憶ステップと、 前記第 1の記憶ステツプの処理で記憶されているアクセス単位の前 記デジタル信号の出力の順番を F I FO形式で管理する管理ステツプと を含むことを特徴とするデジタル信号処理方法。

4 . ェンコ一ドされているデジタル信号を入力する入カステツプと、 前記入力ステップの処理により入力されたデジタル信号をソフトウ エアでデコ一ドするデコ一ドステツプと、

前記デコードステツプの処理によりデコードされたデジタル信号を 、 複数のアクセス単位分だけ記憶する第 1の記憶ステップと、 前記第 1の記憶ステップの処理で記憶されているアクセス単位の前 記デジタル信号の出力の順番を F IFO形式で管理する管理ステツプと を含む処理をデジタル信号処理装置に実行させるコンピュータが読 み取り可能なプログラムを提供することを特徴とする提供媒体。

5 . ビデオデ一夕を入力する入力手段と、

前記入力手段により入力された前記ビデオデ一夕を記憶する第 1の 記憶手段と、

前記第 1の記憶手段に記憶されている前記ビデオデータを符号化し たときのデータ量を予測する予測手段と、

前記第 1の記憶手段により記憶された前記ビデオデ一夕を符号化す る符号化手段と、

前記符号化手段により符号化されたビデオデ一夕を記憶する第 2の 記憶手段と

を含み、

前記符号化手段による符号化は、 前記第 2の記憶手段に、 前記予測 手段により予測された前記デ一夕量が記憶できると判断された場合に 行われ、 前記入力手段による前記ビデオデ一夕が入力され、 処理され ている間は中断される

ことを特徴とするデジタル信号処理装置。

6 . ビデオデータを入力する入力ステップと、

前記入力ステップで入力された前記ビデオデ一夕を記憶する第 1の 記憶ステツプと、

前記第 1の記憶ステップで記憶された前記ビデオデータを符号化し たときのデータ量を予測する予測ステップと、

前記第 1の記憶ステップで記憶された前記ビデオデータを符号化す る符号化ステップと、

前記符号化ステップで符号化されたビデオデータを記憶する第 2の 記憶ステップとを含み、

前記符号化ステップでの符号化は、 前記第 2の記憶ステップの処理 で、 前記予測ステップで予測された前記データ量が記憶できると判断 された場合に行われ、 前記入カステツプで前記ビデオデータが入力さ れ、 処理されている間は中断される

ことを特徴とするデジタル信号処理方法。

7 . ビデオデータを入力する入力ステップと、

前記入力ステップで入力された前記ビデオデータを記憶する第 1の 記憶ステツプと、

前記第 1の記憶ステップで記憶された前記ビデオデータを符号化し たときのデ一夕量を予測する予測ステップと、

前記第 1の記憶ステップで記憶された前記ビデオデータを符号化す る符号化ステップと、

前記符号化ステツプで符号化されたビデオデータを記憶する第 2の 記憶ステップとからなり、

前記符号化ステップでの符号化は、 前記第 2の記憶ステップの処理 で、 前記予測ステップで予測された前記データ量が記憶できると判断 された場合に行われ、 前記入カステツプで前記ビデオデータが入力さ れ、 処理されている間は中断される

ことを特徴とするプログラムをコンピュータに実行させる媒体。