JP5056600B2 - 画像復号装置 - Google Patents

Description

本発明は、低消費電力のビデオストリームを復号する画像復号装置に関する。

近年、動画像情報をデジタル信号として取り扱うことが一般化している。動画像情報の符号化フォーマットとして国際標準規格であるＭＰＥＧ（Moving Picture Experts Group）やＨ．２６ｘなどが用いられている。日本国内においては地上波デジタル放送、BSデジタル放送、DVD(Digital Versatile Disk)ではMPEG-2で、テレビ電話ではMPEG-4で、ワンセグ放送ではH.264/AVCで圧縮符号化されている。Blu-rayディスク、HD DVDなどの次世代DVDでは、動画像の圧縮符号化方式としてMPEG-2、H.264/AVC、VC-1が採用されている。さらに、中国において標準化された動画像圧縮符号化方式としてAVSがある。

図１７及び図１８は、従来の技術を説明する図である。
動画像復号処理では、１ピクチャの復号処理は決められた時間内に完了しなければならない。例えば３０ピクチャ／秒の動画像の場合、１ピクチャは０．３３３秒（０．３３３秒×３０＝１秒）以内に完了しなければならない（処理のリアルタイム性）。もし０．３３３秒以内に復号処理が完了しなかった場合、このピクチャの表示時刻が本来の時刻から遅れることとなる。遅れ時間の間は、１つ前のピクチャが延長して表示されてしまうため、撮像画像と異なる表示状態となり、視聴者が違和感を覚える再生画像になってしまう。これを防ぐために、一般的に動画像復号処理装置は、どのようなピクチャの復号処理でも所定の時間内に処理が完了するような演算性能を持つように設計される。しかし、MPEG、H.26x、VC-1、AVSなどの方式で符号化された動画像の復号処理においては、復号処理に必要な演算量はピクチャによって数倍程度の差がある。したがって、復号処理に必要な演算量がもっとも演算量を必要とするピクチャの２分の１であった場合、実際に復号処理が行われるのは処理開始時刻から、所定の時間の半分の時間であり、処理が完了した後の残りの半分の時間は復号処理を行わないアイドル状態となる。３０ピクチャ／秒の動画像の場合、図１７のように最初の６０分の1秒の間だけ復号処理が行われ、後半の６０分の１秒はアイドル状態となる。

ところで、一般的に、同一のCMOS集積回路が実現できる演算量は、クロック周波数に比例して大きくなる。したがって、単位時間あたりに必要な演算量が大きいときにはクロック周波数を大きく設定し、逆に単位時間あたりに必要な演算量が小さいときにはクロック周波数を小さく設定しても所望の演算量は実現される。このとき、設定するクロック周波数に応じて電源電圧も同時に制御することでCMOS集積回路の低電力化を実現するDVFS(Dynamic Voltage Frequency Scaling)手法がある。

図１８は、DVFSを適用した場合と適用しない場合の消費電力を説明する図である。横軸はCMOS集積回路のクロック周波数、縦軸は消費電力である。DVFSを適用した場合、図１８中の実線で示したようにクロック周波数が大きくなるほど消費電力は大きくなる。このとき、グラフの形状は下に凸である形状となることが知られている。

図１８の破線はDVFSを用いない場合の消費電力を示している。DVFSを用いない場合、前述したように、処理開始時刻から処理が完了するまで、CMOS集積回路はクロック周波数ｆｍａｘで動作させる。所望の処理が完了したあとのアイドル時間はクロック周波数を０とする。例えば、必要な演算性能が最大値の50%であった場合の消費電力は、DVFSを用いない場合、処理時間の内の半分の時間は点Ｄ、残りの半分のアイドル時間は点Ｃとなるため、平均すると点Ａの値となる。DVFSを用いた場合の消費電力は点Ｂとなるため、DVFSを適用することでΔだけ電力を削減することができる。

動画像復号処理では、決められた処理時間である１ピクチャの処理時間内に、要求される演算量、すなわち、１ピクチャの復号処理に必要となる演算量が変動するが、通常はDVFSを適用することはできない。なぜなら、各ピクチャの復号処理開始時点では、そのピクチャの復号処理に必要な演算量が分からないため、処理のリアルタイム性を保証しうるクロック周波数が分からないためである。したがって、どのようなピクチャの復号処理であっても、そのピクチャの復号処理に必要な演算量が最悪ケースの演算量に等しい場合を想定して、常に最大クロック周波数で復号処理を実行し、結果的に余った処理時間はアイドル状態とするしかなかった。

この問題を解決し、動画像復号処理にDVFSを適用して低電力化を実現する方法が提案されている。この方法では、復号処理に必要な演算量をあらかじめ別の装置で計算しておき、演算量に関する情報を復号処理対象データであるビットストリームにあらかじめ挿入しておいたり、復号処理装置がインターネット上に構築されたサーバから演算量に関する情報を取得したりすることで、各ピクチャの復号処理に必要な演算量を、そのピクチャの復号処理が開始される前に知ることができるようにすることで、DVFSを適用できるようにしている。
川上健太郎，金森美和子，森田泰弘，竹村淳，深山正幸，吉本雅彦， "リーク電力を考慮した周波数-電圧協調制御型プロセッサの消費電力最小化スケジューリング，" 電子情報通信学会技術研究報告，ICD2004-114，Vol.104, No.363，pp.37-42，2004年10月． 特願2002-551676号公報

しかし、上記の方法では、復号処理に必要な演算量を計算するための別の復号処理装置、演算量の情報をビットストリーム中に挿入する装置、復号処理装置に演算量を通知するインターネットサーバなど、低電力化したい復号処理装置の他に別途装置が必要となり、装置の製造コスト、運用コスト等を考えると、実用的とはいえない。

本発明の課題は、製造コスト、運用コスト等を低く抑えた、低消費電力の画像復号装置を提供することである。

本発明の第１の側面における画像復号装置は、符号化されたビットストリームを復号する画像復号装置において、ビットストリームを一時的に格納するビットストリームメモリ手段と、前記ビットストリームメモリ手段に格納されたビットストリームをエントロピーデコード処理して、シンタックスエレメントに復号するエントロピーデコード手段と、前記ビットストリームメモリ手段に格納されているビットストリームの残量に基づいて、前記エントロピーデコード手段の動作周波数を計算するエントロピーデコーダ動作周波数計算手段と、前記エントロピーデコーダ動作周波数計算手段の指示により、エントロピーデコード手段の動作周波数と電源電圧を制御するエントロピーデコーダ周波数・電源電圧制御手段とを備える。

本発明の第２の側面における画像復号装置は、符号化されたビットストリームを復号する画像復号装置において、ビットストリームをエントロピーデコード処理して、シンタックスエレメントに復号するエントロピーデコード処理手段と、該シンタックスエレメントを処理して、復号画像を生成する復号画像生成手段と、該エントロピーデコード処理手段が出力するシンタックスエレメントを解析して、該復号画像生成手段の動作周波数を計算
する復号画像生成部動作周波数計算手段と、該復号画像生成部動作周波数計算手段の指示により、復号画像生成手段の動作周波数と電源電圧を制御する復号画像生成手段周波数・電源電圧制御手段とを備える。

本発明によれば、製造コスト、運用コスト等を低く抑えた、低消費電力の実用的な画像復号処理装置を提供することができる。

図１は、本発明の実施形態に従った画像復号処理装置のブロック構成図である。
この画像復号処理装置は、復号処理対象のビットストリームを蓄積保存するビットストリームメモリ１０と、ビットストリームをエントロピーデコード処理しシンタックスエレメントを復号するエントロピーデコード部１１と、エントロピーデコード部１１が出力するシンタックスエレメントを蓄積保存するバッファメモリ１２と、バッファメモリに蓄積されたシンタックスエレメントを復号処理し、復号画像を生成する復号画像生成部１３と、ビットストリームメモリ１０に蓄積されているビットストリームのデータの変化量やバッファメモリ１２に蓄積されているシンタックスエレメントの変化量からエントロピーデコード部１１のクロック周波数を決定する周波数計算部１４と、エントロピーデコード部１１が出力するシンタックスエレメントの種類と値から復号画像生成部１３のクロック周波数を決定する周波数計算部１５と、エントロピーデコード部１１のクロック周波数を周波数計算部１４が計算したクロック周波数に制御し、エントロピーデコード部１１の電源電圧を上記クロック周波数を低消費電力に実現する電源電圧に制御するクロック周波数・電源電圧制御部１６と、復号画像生成部１３のクロック周波数を周波数計算部１５が計算したクロック周波数に制御し、復号画像生成部１３の電源電圧を上記クロック周波数を低消費電力に実現する電源電圧に制御するクロック周波数・電源電圧制御手部１７とを有する。

上記ビットストリームメモリ１０は、動画像復号装置に入力される復号処理対象のビットストリームを一時的に蓄積保存し、ビットストリームをエントロピーデコード部１１に逐次供給する。

周波数計算部１４は、ビットストリームメモリ１０に蓄積されているビットストリームの変化量とバッファメモリ１２に蓄積されているシンタックスエレメントの変化量をモニターし、エントロピーデコード部１１の動作周波数を計算する。

クロック・電源電圧制御部１６は、周波数計算部１４で指示されるクロック周波数情報を元に、エントロピーデコード部１１にクロック周波数と電源電圧を供給する。
エントロピーデコード部１１は、クロック・電源電圧制御部１６が供給するクロックと電源電圧で動作し、ビットストリームメモリ１０から読み出したビットストリームを逐次エントロピーデコード処理し、処理結果であるシンタックスエレメントをバッファメモリ１２に出力する。

周波数計算部１５は、エントロピーデコード部１１が出力するシンタックスエレメントの種類と値をモニターし、復号画像生成部１３の動作周波数を計算する。
クロック・電源電圧制御部１７は、周波数計算部１５で指示されるクロック周波数情報を元に、復号画像生成部１３にクロック周波数と電源電圧を供給する。

復号画像生成部１３は、クロック・電源電圧制御部１７が供給するクロックと電源電圧で動作し、バッファメモリ１２から読み出したシンタックスエレメントを逐次復号処理し、処理結果である復号画像を出力する。

バッファメモリ１２は、エントロピーデコード部１１が出力するシンタックスエレメントを一時的に蓄積保存し、シンタックスエレメントを復号画像生成部１３に逐次供給する。

図１に示す画像復号装置は圧縮符号化方式としてMPEG-2、MPEG-4、H.264/AVC、VC-1、AVSなどのいずれかの規格に基づいて符号化された動画像データであるビットストリームを復号処理し、復号済みの動画像データを出力する。

ビットストリームメモリ１０には、復号処理対象のビットストリームが逐次蓄積保存される。エントロピーデコード部１１は、ビットストリームメモリ１０からビットストリームを逐次読み出し、圧縮符号化方式で定められている手順に従ってビットストリームをエントロピーデコード処理し、シンタックスエレメントを復号する。復号されたシンタックスエレメントはバッファメモリ１２に蓄積保存される。

復号画像生成部１３は、バッファメモリ１２に保存されているシンタックスエレメントを読み出し、圧縮符号化方式で定められている手順に従って復号画像を生成する処理を行う。生成された復号画像は出力画像として外部に出力されると同時に、後続のピクチャの参照画像として復号画像生成部内部のフレームメモリに保存される。

図２は、ビットストリームメモリに蓄積されているビットストリームからシンタックスエレメントを復号するフローチャートである。
ステップ１において、周波数計算部１４は、ビットストリームメモリ１０に蓄積されているビットストリームの残量情報とバッファメモリ１２に蓄積されているシンタックスエレメントの残量情報を取得し、エントロピーデコード部１１のクロック周波数を計算し，クロック・電源電圧制御部１６に通知する。ビットストリームの残量が増加傾向の時はエントロピーデコード部１１のクロック周波数を大きくするように、減少傾向の時はクロック周波数を小さくするように計算する。または、バッファメモリ１２に蓄積されているシンタックスエレメントが増加傾向の時にはエントロピーデコード部１１のクロック周波数を小さくするように、増加傾向の時はクロック周波数を大きくするように計算する。

図３は、ビットストリームメモリの残量から（ｉ＋１）番目のピクチャの復号処理に割り当てられている時刻Ｔ［ｉ＋１］から時刻Ｔ［ｉ＋２］までの周波数を計算する具体例を説明する図である。

図３は横軸が経過時間、縦軸がビットストリームメモリに蓄積されているビットストリームの残量を表す。Ｔ［ｉ］およびＴ［ｉ＋１］は周波数計算部１４がクロック・電源電圧制御部１６にｉ回目および（ｉ＋１）回目の周波数指示信号を出力する時刻、ｂ［ｉ］およびｂ［ｉ＋１］は時刻Ｔ［ｉ］および時刻Ｔ［ｉ＋１］におけるビットストリームの残量、ｂ’［ｉ＋１］は時刻Ｔ［ｉ＋１］の直前におけるビットストリームの残量、ｂｍａｘはビットストリームメモリ１０に蓄積することができる最大ビットストリーム量である。クロック，電源電圧を１ピクチャ単位で制御する場合，Ｔ［ｉ＋１］−Ｔ［ｉ］＝１／（ピクチャレート）である。例えば，復号対象の動画像が３０［ピクチャ／秒］の場合，Ｔ［ｉ＋１］−Ｔ［ｉ］＝１／３０［秒］である。

ビットストリームが一定のビットレートｒでビットストリームメモリ１０に蓄積され、ビットストリーム残量は時間とともに一定の割合で増加していく（図３の期間Ａ）。時刻Ｔ［ｉ＋１］において、時刻Ｔ［ｉ］から時刻Ｔ［ｉ＋１］の間にエントロピーデコード部１１が処理を終えたビットストリームの分量だけビットストリームがビットストリームメモリ１０から削除されるため、時刻Ｔ［ｉ＋１］においてビットストリーム残量はｂ’
［ｉ＋１］からｂ［ｉ＋１］に減少する。

時刻Ｔ［ｉ］から時刻Ｔ［ｉ＋１］の間のエントロピーデコード部１１のクロック周波数がｆ［ｉ］で動作していたとき、時刻Ｔ［ｉ＋１］から時刻Ｔ［ｉ＋２］のエントロピーデコード部１１のクロック周波数は式（１）を満たすことが望ましい。ただしｉは０以上の自然数を表す。
ｆ［ｉ＋１］：ｆ［ｉ］＝（時刻Ｔ［ｉ＋１］から時刻Ｔ［ｉ＋２］の間に処理したいビットストリーム量）：（時刻Ｔ［ｉ］から時刻Ｔ［ｉ＋１］の間に処理したビットストリーム量）・・・・（１）
ここで，時刻Ｔ［ｉ］から時刻Ｔ［ｉ＋１］の間に処理したビットストリーム量は，ｂ’［ｉ＋１］−ｂ［ｉ＋１］である．また，時刻Ｔ［ｉ＋１］から時刻Ｔ［ｉ＋２］の間に処理したいビットストリーム量は，時刻Ｔ［ｉ＋１］から時刻Ｔ［ｉ＋２］の間に蓄積されるビットストリーム量と，時刻Ｔ［ｉ］から時刻Ｔ［ｉ＋１］の間で増減したビットストリーム量の和とすると，ｂ’［ｉ＋１］−ｂ［ｉ］＋ｂ［ｉ＋１］−ｂ［ｉ］となる．ここで，ｂ’［ｉ＋１］−ｂ［ｉ］は時刻Ｔ［ｉ＋１］から時刻Ｔ［ｉ＋２］の間に供給されると予想されるビットストリーム量を，ｂ［ｉ＋１］−ｂ［ｉ］は時刻Ｔ［ｉ］から時刻Ｔ［ｉ＋１］の間で増減したビットストリーム量である．
式（１）より，ｆ［ｉ＋１］を決定する式として、式（２）が導かれる．
ｆ［ｉ＋１］＝ｆ［ｉ］×（ｂ’［ｉ＋１］＋ｂ［ｉ＋１］−２ｂ［ｉ］）／（ｂ’［ｉ＋１］−ｂ［ｉ＋１］）・・・・（２）
図３より，ｂ’［ｉ＋１］＝ｂ［ｉ］＋ｒ×（Ｔ［ｉ＋１］−Ｔ［ｉ］）であるから，式（２）は式（２）’のように変形できる．
ｆ［ｉ＋１］＝ｆ［ｉ］×（ｒ×（Ｔ［ｉ＋１］−Ｔ［ｉ］）＋ｂ［ｉ＋１］−ｂ［ｉ］）／（ｒ×（Ｔ［ｉ＋１］−Ｔ［ｉ］）＋ｂ［ｉ］−ｂ［ｉ＋１］）・・・・（２）’
式（２）’によれば、周波数計算部１４はビットストリーム残量が増加傾向（ｂ［ｉ＋１］＞ｂ［ｉ］）の時はクロック周波数を大きくするように（ｆ［ｉ＋１］＞ｆ［ｉ］）、減少傾向（ｂ［ｉ＋１］＜ｂ［ｉ］）の時は小さくするようにクロック周波数を計算する。ｂ［ｉ＋１］＝ｂ［ｉ］，すなわち，時間が経過してもビットストリームの残量が変化しないときは，周波数は一定となる。ｆ［０］は、式（２）からは決定できないので，例えばｆ［０］＝ｆｍａｘとするなど、あらかじめ固定の値とする。

図２のステップ２において、クロック・電源電圧制御部１６は、周波数計算部１４から通知されるクロック周波数情報をもとに、エントロピーデコード部１１にクロックと電源電圧を供給する。周波数計算部１４から通知されたクロックの生成は、例えば、クロック・電源電圧制御部１６が外部から基準クロック信号の供給を受け、この基準クロック信号をＰＬＬ（Ｐｈａｓｅ Ｌｏｃｋｅｄ Ｌｏｏｐ）と分周器によって逓倍することによって生成したり、内部にＶＣＯ（Ｖｏｌｔａｇｅ Ｃｏｎｔｒｏｌｌｅｄ Ｏｓｃｉｌｌａｔｏｒ）を備えて、ＶＣＯによって生成したりする。電源電圧は内部にＤＣ−ＤＣコンバータを備えて、ＤＣ−ＤＣコンバータによって生成したり、外部から複数の異なる電圧の電源電圧の供給をうけて、それらの内から１つを選択してエントロピーデコード部１１に供給したりする。周波数計算部１４から指示されたクロックを復号画像生成部１３に供給するときに復号画像生成部１３に供給する電源電圧としては、クロック・電源電圧制御部１６の内部に備えるクロック周波数と電源電圧の対応関係を記憶した変換テーブル（図４）により、対応する電源電圧を選択する。

図４は、エントロピーデコーダの電源電圧の制御に用いる変換テーブルである。各クロック周波数に対し、各場合に適した電源電圧を、あらかじめ設計者が見積もり、テーブルとしてクロック・電源電圧制御部１６内部に格納しておく。

図２のステップ３において、エントロピーデコード部１１は、クロック・電源電圧制御
部１６が供給するクロックと電源電圧を受けて，ビットストリームメモリ１０からビットストリームを逐次読み出しながら，処理を行い，生成したシンタックスエレメントをバッファメモリ１２に出力する。

次に，周波数計算部１６が、バッファメモリ１２中のシンタックスエレメントの残量からエントロピーデコード部１１のクロック周波数を計算する場合を説明する。この場合，ビットストリームメモリ１０に蓄積されているビットストリームからシンタックスエレメントを復号するフローは図５のようになり、図２のフローとはステップ１’のみが異なる．以下、図５のステップ１’について説明する。

図５のステップ１’について、図６を用いてバッファメモリ１２の残量から周波数を計算する具体例を説明する。
図６は横軸が経過時間、縦軸がバッファメモリに蓄積されているシンタックスエレメントの残量を表す。Ｔ［ｉ］およびＴ［ｉ＋１］は周波数計算部１４がクロック・電源電圧制御部１６にｉ回目および（ｉ＋１）回目の周波数指示信号を出力する時刻、ｓ［ｉ］およびｓ［ｉ＋１］は時刻Ｔ［ｉ］および時刻Ｔ［ｉ＋１］におけるシンタックスエレメントの残量、ｓ’［ｉ＋１］は時刻Ｔ［ｉ＋１］の直前におけるシンタックスエレメントの残量、ｓｍａｘはバッファメモリに蓄積することができる最大シンタックスエレメント量である。

エントロピーデコード部１１で生成されたシンタックスエレメントが時間の経過とともに増加していく（図６の期間Ａ）。時刻Ｔ［ｉ＋１］において、時刻Ｔ［ｉ］から時刻Ｔ［ｉ＋１］の間に復号画像生成部１３が処理を終えたシンタックスエレメントの分量だけシンタックスエレメントがバッファメモリ１２から削除されるため、時刻Ｔ［ｉ＋１］においてシンタックスエレメントの残量はｓ’［ｉ＋１］からｓ［ｉ＋１］に減少する。

時刻Ｔ［ｉ］から時刻Ｔ［ｉ＋１］の間のエントロピーデコード部１１のクロック周波数がｆ［ｉ］で動作していたとき、時刻Ｔ［ｉ＋１］から時刻Ｔ［ｉ＋２］のエントロピーデコード部１１のクロック周波数は式（１０）を満たすことが望ましい。ただしｉは０以上の自然数を表す。
（時刻Ｔ［ｉ＋１］から時刻Ｔ［ｉ＋２］でエントロピーデコード部１１が供給するシンタックスエレメントの量）＋ｓ［ｉ＋１］−（時刻Ｔ［ｉ＋１］から時刻Ｔ［ｉ＋２］で復号画像生成部１３が消費するシンタックスエレメントの量）＝（シンタックスエレメントの残量の目標値）・・・・（１０）
時間あたりにエントロピーデコード部１１がバッファメモリ１２に供給するシンタックスエレメントの量はエントロピーデコード部１１の動作周波数に比例すると仮定すると，時刻Ｔ［ｉ＋１］から時刻Ｔ［ｉ＋２］の間にエントロピーデコード部１１がバッファメモリ１２に供給するシンタックスエレメントの量は（ｓ’［ｉ＋１］−ｓ［ｉ］）×ｆ［ｉ＋１］／ｆ［ｉ］と表せる．
時刻Ｔ［ｉ＋１］から時刻Ｔ［ｉ＋２］で復号画像生成部１３がバッファメモリ１２から消費するシンタックスエレメントの量は，時刻Ｔ［ｉ］から時刻Ｔ［ｉ＋１］で復号画像生成部１３が消費したシンタックスエレメントの量と同じと仮定すると，（ｓ’［ｉ＋１］−ｓ［ｉ＋１］）と表せる．
シンタックスエレメントの残量の目標値をｇと表すとき，式（１０）より，ｆ［ｉ＋１］を決定する式として，式（３）が導かれる．
ｆ［ｉ＋１］＝ｆ［ｉ］×（ｇ−ｓ［ｉ＋１］＋ｓ’［ｉ＋１］−ｓ［ｉ＋１］）／（ｓ’［ｉ＋１］−ｓ［ｉ］）・・・・（３）
式（３）によれば、周波数計算部１４は、シンタックスエレメントの残量が目標値よりも大きい（ｇ＞ｓ［ｉ＋１］）時はクロック周波数を大きくするように（ｆ［ｉ＋１］＞ｆ［ｉ］）、目標値よりも小さい（ｓ［ｉ＋１］＜ｇ）時は小さくするようにクロック周
波数を決定する。ｓ［ｉ＋１］＝ｇ，すなわち、シンタックスエレメントの残量が目標値と一致しているときは，周波数は一定となる。ｆ［０］は、式（３）からは決定できないので、例えば、ｆ［０］＝ｆｍａｘとするなど、あらかじめ固定の値を設定する。また，目標値ｇは例えば０．１×ｓｍａｘなど，あらかじめ設計者が設定しておく．
エントロピーデコード部１１の周波数の計算方法として，式（２）と式（３）の２つの方法を示したが、どちらの方法を用いてもよいし，両方を組み合わせて用いてもよい。組み合わせて使用する場合は，例えば、式（２）のｆ［ｉ＋１］と式（３）のｆ［ｉ＋１］を比較して、大きい値を採用する方法などが考えられる．
このように、エントロピーデコード部１１のクロック周波数を設定することで、時間的に平均してみると、エントロピーデコード部１１は、一定量のビットストリームをエントロピーデコードするように、また，一定量のシンタックスエレメントがバッファメモリ１２に蓄積されているようにし、ビットストリームメモリ１０がオーバーフローしたり，バッファメモリ１２がアンダーフローするのを抑制する。

クロック・電源電圧制御部１６は周波数計算部１４から通知されるクロック周波数情報をもとに、エントロピーデコード部１１にクロックと電源電圧を供給する。周波数計算部１４から通知されたクロックの生成は、例えば、クロック・電源電圧制御部１６が外部から基準クロック信号の供給を受け、この基準クロック信号をＰＬＬと分周器によって逓倍することによって生成したり、内部にＶＣＯを備えて、ＶＣＯによって生成したりする。電源電圧は内部にＤＣ−ＤＣコンバータを備えてＤＣ−ＤＣコンバータによって生成したり、外部から複数の異なる電圧の電源電圧の供給をうけて、それらの内から１つを選択してエントロピーデコード処理部１１に供給したりする。周波数計算部１４から指示されたクロックをエントロピーデコード部１１に供給するときにエントロピーデコード部１１に供給する電源電圧としては、クロック・電源電圧制御部１６の内部に備えるクロック周波数と電源電圧の対応関係を記憶した変換テーブル（図７）により、対応する電源電圧を選択する。

図７は、クロック周波数と電源電圧の対応関係を記憶した変換テーブルである。
各クロック周波数について、最適な電源電圧が登録される。
図８は、バッファメモリに蓄積されているシンタックスエレメントから復号画像を生成するフローである。

ステップ１１において、周波数計算部１５は、エントロピーデコード部１１が出力するシンタックスエレメントを入力とし、復号画像生成部１３のクロック周波数を計算し出力する。周波数計算部１５は、図９に示すシンタックスエレメントをサイクル数に変換するテーブルと、図１０に示す復号画像生成部のパイプラインモデルを備える。図９は、シンタックスエレメントの種類とその値にしたがって、そのシンタックスを処理するのに必要なマシンサイクル数を登録する。あるシンタックスの処理をするのに必要なマシンサイクル数は、本実施形態の装置の設計者であれば、設計事項として知ることが出来るので、設計者が図９のようなテーブルをあらかじめ作っておき、周波数計算部１５内部に格納させる。図１０は、復号画像生成部のパイプライン構成であるが、この場合、１つの種類のシンタックスに対し、１つの処理ステージが用意される。したがって、処理ステージ０に入力されるシンタックスの種類は常に同じであり、他の処理ステージについても、１つの処理ステージには同じ種類のシンタックスが入力され、処理される。

Ｈ．２６４を復号処理する画像復号装置の場合，シンタックスエレメントの種類としてはｍｂ＿ｔｙｐｅ，ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８ｘ８＿ｆｌａｇ，ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ，ｍｂ＿ｑｐ＿ｄｅｌｔａ，ｐｒｅｖ＿ｉｎｔｒａ４ｘ４＿ｐｒｅｄ＿ｍｏｄｅ，ｐｒｅｖ＿ｉｎｔｒａ８ｘ８＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ，ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ，ｒｅｆ＿ｉｄｘ＿ｌ０，ｒｅｆ＿ｉｄｘ＿
ｌ１，ｍｖｄ＿ｌ０，ｍｖｄ＿ｌ１，ｓｕｂ＿ｍｂ＿ｔｙｐｅ，ｃｏｅｆｆ＿ｔｏｋｅｎ，ｔｒａｉｌｉｎｇ＿ｏｎｅｓ＿ｓｉｇｎ＿ｆｌａｇ，ｌｅｖｅｌ＿ｐｒｅｆｉｘ，ｌｅｖｅｌ＿ｓｕｆｆｉｘ，ｒｕｎ＿ｂｅｆｏｒｅ，ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇ，ｓｉｇｎｉｆｉｃａｎｔ＿ｃｏｅｆｆ＿ｆｌａｇ，ｌａｓｔ＿ｓｉｆｎｉｆｉｃａｎｔ＿ｃｏｅｆｆ＿ｆｌａｇ，ｃｏｅｆｆ＿ａｂｓ＿ｌｅｖｅｌ＿ｍｉｎｕｓ１，ｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇなどがある。

周波数計算部１５は、エントロピーデコード部１１が出力するシンタックスエレメントを、図９の変換テーブルを用いてサイクル数情報に変換する。変換テーブルに記録されているサイクル数は、そのシンタックスエレメントが復号画像生成部１３で処理されるために必要なサイクル数の値である。例えばＨ．２６４ではｍｂ＿ｔｙｐｅは０から２５までの値を取り得るので，それぞれの値に対応して処理に必要なサイクル数が記録されている．図９ではｍｂ＿ｔｙｐｅ，ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８ｘ８＿ｆｌａｇ，ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎのみについて記載しているが、実際にはすべての種類のシンタックスエレメントに対してサイクル数が記録されている。１ピクチャ分のシンタックスエレメントについてサイクル数に変換した値を累積加算することで、復号画像生成部１３が当該ピクチャを復号処理するために必要なサイクル数を求めることができる。ただし、復号画像生成部１３がシンタックスエレメントをパイプライン処理にて行っており、逐次的に処理していない場合、１ピクチャの復号処理に必要なサイクル数は図１０のパイプラインモデルにより補正される。

図１０は、復号画像生成部１３が４段のパイプラインで構成されている場合を示している。各マクロブロックは処理ステージ０、処理ステージ１、処理ステージ２、処理ステージ３を逐次実行されていく。

図１１は、各マクロブロックがそれぞれのパイプラインで処理されるタイミングを示している。ｎ番目のマクロブロックがパイプライン３で処理されているとき、同時に（ｎ＋１）番目のマクロブロック、（ｎ＋２）番目のマクロブロック、（ｎ＋３）番目のマクロブロックはそれぞれ処理ステージ２、処理ステージ１、処理ステージ０で処理される。ｎ番目のマクロブロックが処理ステージｉでの処理に必要なサイクル数をＣ（ｉ，ｎ）とすると、１ピクチャの復号処理に必要なサイクル数Ｃｙｃｌｅは、式（４）で計算される。Ｃｙｃｌｅ＝Σ（ｍａｘ（Ｃ（０，ｉ＋３），Ｃ（１，ｉ＋２），Ｃ（２，ｉ＋１），Ｃ（３，ｉ）））・・・・（４）
ただし、Σはｉ＝０からｉ＝（Ｎ−１）についての和を、ｍａｘ（ａ，ｂ，ｃ，ｄ）はａ，ｂ，ｃ，ｄの中での最大値を、Ｎは１ピクチャに含まれるマクロブロックの数を表す。

ステップ１２では、周波数計算部１５は、式（４）で得られたＣｙｃｌｅの値から式（５）を用いて動作周波数Ｆを計算する．
Ｆ＝Ｃｙｃｌｅ×（ピクチャレート）・・・・（５）
例えば、Ｃｙｃｌｅ＝５００００００［サイクル］で，復号処理対象が３０［ピクチャ／秒］の動画像の場合、Ｆ＝５００００００×３０＝１５０００００００［Ｈｚ］＝１５０［ＭＨｚ］となる。

ステップ１３では、クロック・電源電圧制御部１７は、周波数計算部１５から通知されるクロック周波数情報をもとに、復号画像生成部１３にクロックと電源電圧を供給する。周波数計算部１５から通知されたクロックの生成は、例えば、クロック・電源電圧制御部１７が外部から基準クロック信号の供給を受け、この基準クロック信号をＰＬＬと分周器によって逓倍することによって生成したり、内部にＶＣＯを備えて、ＶＣＯによって生成したりする。電源電圧は内部にＤＣ−ＤＣコンバータを備えてＤＣ−ＤＣコンバータによって生成したり、外部から複数の異なる電圧の電源電圧の供給をうけて、それらの内から
１つを選択してエントロピーデコード処理手段に供給したりする。周波数計算部１５から指示されたクロックを復号画像生成部１３に供給するときに復号画像生成部１３に供給する電源電圧としては、クロック・電源電圧制御部１７の内部に備えるクロック周波数と電源電圧の対応関係を記憶した変換テーブル（図７）により、対応する電源電圧を選択する。

ステップ１４においては、復号画像生成部１３は、クロック・電源電圧制御部１７が供給するクロックと電源電圧を受けて，バッファメモリ１２からシンタックスエレメントを逐次読み出しながら，１ピクチャの復号画像生成を行い，復号した画像を出力する。

図１２は、本発明の別の実施形態を説明する図である。
クロック・電源電圧制御部１６やクロック・電源電圧制御部１７は、クロック周波数のみ制御し、電源電圧は常に一定値を供給するような構成でもよい。この場合、例えばクロック周波数をｆｍａｘ／２に設定した場合，消費電力は図１２において、点Dから点Aの値まで削減することができる。

クロック・電源電圧制御部１６やクロック・電源電圧制御部１７が供給できるクロック周波数が任意の連続的な値ではなく、離散的な不連続な値のみである場合、図１３のように２種類のクロック周波数を時間的に組み合わせて供給してもよい。例えば、周波数計算部１４や周波数計算部１５が指示するクロック周波数が３ｆｍａｘ／４であるが，クロック・電源電圧制御部１６やクロック・電源電圧制御部１７がｆｍａｘとｆｍａｘ／２のいずれかしか供給できない場合、ｆｍａｘとｆｍａｘ／２をそれぞれ１／６０秒ずつ供給することで消費電力を図１２の点Ｂと点Ｄの平均値である点Ｅの値にすることができる。

クロック・電源電圧制御部１６やクロック・電源電圧制御部１７が供給できるクロック周波数の内，周波数計算部１４や周波数計算部１５が指定するクロック周波数にもっとも近い２つのクロック周波数をｆ１，ｆ２（ｆ１＞ｆ２）とすると，ｆ１を供給すべき時間Ｔ１とｆ２を供給すべき時間Ｔ２は式（６）および式（７）を満たさなければならないことから，式（８）および式（９）で計算できる．上記の例では，ｆ＝３ｆｍａｘ／４，ｆ１＝ｆｍａｘ，ｆ２＝ｆｍａｘ／２である。
Ｔ１＋Ｔ２＝Ｔ・・・・（６）
ｆ１×Ｔ１＋ｆ２×Ｔ２＝ｆ×Ｔ・・・・（７）
Ｔ１＝Ｔ（ｆ−ｆ２）／（ｆ１−ｆ２）・・・・（８）
Ｔ２＝Ｔ（ｆ１−ｆ）／（ｆ１−ｆ２）・・・・（９）
ここで，Ｔは１ピクチャの処理時間を表す。図１３の例ではＴ＝１／３０［秒］となる。

図１４〜図１６は、本発明の別の実施形態のフローチャートである。
図１４において、周波数計算部１５は、ステップ２１では、式（４）によるＣｙｃｌｅ計算を行い、ステップ２２においては、式（５）による動作周波数の計算を行う。クロック・電源電圧制御部１７は、ステップ２３においては、クロックと電源電圧を、周波数ｆ１と、ｆ１に対応する電圧に設定する。このとき、前述のテーブルを参照する。復号画像生成部１３は、ステップ２４において、時間Ｔ１の間、シンタックスエレメントの復号処理を行う。ステップ２５において、クロック・電源電圧制御部１７は、クロックと電源電圧を周波数ｆ２と、ｆ２に対応する電圧に設定する。ステップ２６において、復号画像生成部１３は、時間Ｔ２の間、シンタックスエレメントの復号処理を行う。

図１５においては、周波数計算部１４は、ステップ３１において、ビットストリームメモリ１０の残量を取得し、式（２）により動作周波数を計算する。ステップ３２において、クロック・電源電圧制御部１６は、クロックと電源電圧を、周波数ｆ１と、ｆ１に対応する電圧に設定する。ステップ３３において、エントロピーデコード部１１は、時間Ｔ１の間、ビットストリームのエントロピーデコード処理を行う。ステップ３４において、クロック・電源電圧制御部１６は、クロックと電源電圧を、周波数ｆ２と、ｆ２に対応する電圧に設定する。ステップ３５において、エントロピーデコード部１１は、時間Ｔ２の間、ビットストリームのエントロピーデコード処理を行う。

図１６においては、周波数計算部１４は、ステップ４１において、バッファメモリの残量を取得し、式（３）により動作周波数を計算する。ステップ４２において、クロック・電源電圧制御部１６は、クロックと電源電圧を、周波数ｆ１と、ｆ１に対応する電圧に設定する。ステップ４３において、エントロピーデコード部１１は、時間Ｔ１の間、ビットストリームのエントロピーデコード処理を行う。ステップ４４において、クロック・電源電圧制御部１６は、クロックと電源電圧を、周波数ｆ２と、ｆ２に対応する電圧に設定する。ステップ４５において、エントロピーデコード部１１は、時間Ｔ２の間、ビットストリームのエントロピーデコード処理を行う。

周波数計算部１４や周波数計算部１５がクロック・電源電圧制御部１６やクロック・電源電圧制御部１７に指示するクロック周波数は、上述した手順に基づいて計算した値にマージンを加えた値としてもよい。ビットストリームメモリ１０や復号画像生成部１３内のフレームメモリ、バッファメモリ１２などが同じＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）上に配置されており、また、動画像復号処理装置以外のワークメモリも同一ＲＡＭ上に配置されており、エントロピーデコード部１１、復号画像生成部１３、その他の処理を行う演算器がバスを介してこのＲＡＭに排他的にデータを読み書きするような構成の場合、エントロピーデコード部１１、復号画像生成部１３からＲＡＭへのアクセスは、他のモジュールからのアクセスが完了するまで待たされる場合がある。前記マージンはこの待たされるサイクルを加味した値とする。

クロック・電源電圧制御部１６やクロック・電源電圧制御部１７のＰＬＬ、分周器、ＤＣ−ＤＣコンバータなどは、復号処理装置と同一チップ上に集積してもよいし、別チップ上に集積してもよい。

クロック・電源電圧制御部１６やクロック・電源電圧制御部１７がクロック周波数、電源電圧を制御する時間間隔は１ピクチャの処理時間単位でもいいし、複数ピクチャ単位、ｎ分の１ピクチャ単位でもよい。例えば、３０ピクチャ／秒の動画像の復号化処理において、クロック周波数、電源電圧を２ピクチャ単位で制御する場合は、１／１５秒ごとに、１／２ピクチャ単位で制御する場合は、１／６０秒ごとにそれぞれクロック周波数と電源電圧を設定することになる。

エントロピーデコード部１１、復号画像生成部１３、周波数計算部１４、周波数計算部１５はそれぞれソフトウェアで構築されてもよいし、専用のハードウェア回路で構成されてもよい。

周波数計算部１４、周波数計算部１５、クロック・電源電圧制御部１６、クロック・電源電圧制御部１７は一方ずつでもよい。例えば、周波数計算手段１４およびクロック・電源電圧制御部１６がなく、エントロピーデコード部１１には常に一定のクロックと電源電圧が供給されるような構成の場合、復号画像生成部１３のみにピクチャ単位に制御されたクロックと電源電圧が供給され、復号画像生成部１３のみがＤＶＦＳの適用範囲となる。

以上のように、処理に必要な演算量に応じてエントロピーデコード部１３はクロック・電源電圧制御部１６によって、復号画像生成部１３はクロック・電源電圧制御部１７によってクロック周波数と電源電圧が適切に制御され、ＤＶＦＳが適用され、処理で消費する電力を削減される。エントロピーデコード部１１と復号画像生成部１３のクロック周波数は、それぞれ処理が完了しなければならない時刻までに完了するように制御されるため、処理のリアルタイム性が保たれる。クロック周波数の計算は復号処理装置内部で生成される情報をもとに行われるため、必要演算量に関する情報を外部から取得するなどの必要がない。

上記実施形態のほかに、以下の付記を開示する。
（付記１）
符号化されたビットストリームを復号する画像復号装置において、
前記ビットストリームを格納するビットストリームメモリ手段と、
前記ビットストリームメモリ手段に格納された前記ビットストリームをエントロピーデコード処理して、シンタックスエレメントに復号するエントロピーデコード手段と、
前記ビットストリームメモリ手段に格納されている前記ビットストリームの残量に基づいて、前記エントロピーデコード手段の動作周波数を計算するエントロピーデコーダ動作周波数計算手段と、
前記エントロピーデコーダ動作周波数計算手段の指示により、前記エントロピーデコード手段の動作周波数と電源電圧を制御するエントロピーデコーダ周波数・電源電圧制御手段と、
を備えることを特徴とする画像復号装置。
（付記２）
前記シンタックスエレメントを一時的に格納するバッファメモリ手段をさらに備え、
前記エントロピーデコーダ動作周波数計算手段は、該バッファメモリ手段に格納されている前記シンタックスエレメントの残量も考慮して、前記エントロピーデコード手段の動作周波数を計算することを特徴とする付記１に記載の画像復号装置。
（付記３）
前記エントロピーデコーダ周波数・電源電圧制御手段は、
動作周波数と、対応する電源電圧を登録したテーブルを有し、
指示された動作周波数から、対応する電源電圧を該テーブルから取得して、前記エントロピーデコード手段の電源電圧を制御することを特徴とする付記１に記載の画像復号装置。
（付記４）
前記エントロピーデコーダ動作周波数計算手段は、
前記ビットストリームメモリ手段に格納されている前記ビットストリームの残量が多いときは、動作周波数を大きく計算し、残量が少ないときは、動作周波数を小さく計算することを特徴とする付記１に記載の画像復号装置。
（付記５）
符号化されたビットストリームを復号する画像復号装置において、
前記ビットストリームをエントロピーデコード処理して、シンタックスエレメントに復号するエントロピーデコード処理手段と、
該シンタックスエレメントを処理して、復号画像を生成する復号画像生成手段と、
該エントロピーデコード処理手段が出力する前記シンタックスエレメントを解析して、該復号画像生成手段の動作周波数を計算する復号画像生成部動作周波数計算手段と、
該復号画像生成部動作周波数計算手段の指示により、復号画像生成手段の動作周波数と電源電圧を制御する復号画像生成手段周波数・電源電圧制御手段と、
を備えることを特徴とする画像復号装置。
（付記６）
前記復号画像生成部動作周波数計算手段は、
前記シンタックスエレメントの種類に応じて、処理に必要なマシンサイクル数を登録したテーブルを有し、
該テーブルを参照して、１ピクチャ分の前記シンタックスエレメントについて、マシン
サイクルの加算を行い、１ピクチャを処理するために必要な総マシンサイクル数から、対応する動作周波数を演算することを特徴とする付記５に記載の画像復号装置。
（付記７）
前記復号画像生成手段周波数・電源電圧制御手段は、
動作周波数と、対応する電源電圧を登録したテーブルを有し、
指示された動作周波数から、対応する電源電圧を該テーブルから取得して、前記復号画像生成手段の電源電圧を制御することを特徴とする付記５に記載の画像復号装置。
（付記８）
動作周波数の設定可能な値が離散的な値であり、取得された動作周波数に対応する値がない場合には、設定可能な動作周波数値を所定間隔で切り替え、１ピクチャの処理全体にわたった平均の動作周波数が、対応する動作周波数に近い値となるように、動作周波数を制御することを特徴とする付記１あるいは５に記載の画像復号装置。
（付記９）
符号化されたビットストリームを復号する画像復号装置において、
前記ビットストリームを格納するビットストリームメモリ手段と、
前記ビットストリームメモリ手段に格納された前記ビットストリームをエントロピーデコード処理して、シンタックスエレメントに復号するエントロピーデコード手段と、
前記ビットストリームメモリ手段に格納されている前記ビットストリームの残量に基づいて、前記エントロピーデコード手段の動作周波数を計算するエントロピーデコーダ動作周波数計算手段と、
前記エントロピーデコーダ動作周波数計算手段の指示により、前記エントロピーデコード手段の動作周波数と電源電圧を制御するエントロピーデコーダ周波数・電源電圧制御手段と、
該シンタックスエレメントを処理して、復号画像を生成する復号画像生成手段と、
該エントロピーデコード処理手段が出力する前記シンタックスエレメントを解析して、該復号画像生成手段の動作周波数を計算する復号画像生成部動作周波数計算手段と、
該復号画像生成部動作周波数計算手段の指示により、前記復号画像生成手段の動作周波数と電源電圧を制御する復号画像生成手段周波数・電源電圧制御手段と、
を備えることを特徴とする画像復号装置。

本発明の実施形態に従った画像復号処理装置のブロック構成図である。 、ビットストリームメモリに蓄積されているビットストリームからシンタックスエレメントを復号するフローチャートである。 ビットストリームメモリの残量から（ｉ＋１）番目のピクチャの復号処理に割り当てられている時刻Ｔ［ｉ＋１］から時刻Ｔ［ｉ＋２］までの周波数を計算する具体例を説明する図である。 エントロピーデコーダの電源電圧の制御に用いる変換テーブルである。 ビットストリームメモリ１０に蓄積されているビットストリームからシンタックスエレメントを復号するフローである。 バッファメモリ１２の残量から周波数を計算する具体例を説明する図である。 クロック周波数と電源電圧の対応関係を記憶した変換テーブルである。 バッファメモリに蓄積されているシンタックスエレメントから復号画像を生成するフローである。 シンタックスエレメントをサイクル数に変換するテーブルを示す図である。 復号画像生成部のパイプライン構成を示す図である。 各マクロブロックがそれぞれのパイプラインで処理されるタイミングを示す図である。 本発明の別の実施形態を説明する図である。 ２種類のクロック周波数を時間的に組み合わせて供給する実施形態を説明する図である。 本発明の別の実施形態のフローチャート（その１）である。 本発明の別の実施形態のフローチャート（その２）である。 本発明の別の実施形態のフローチャート（その３）である。 従来の技術を説明する図（その１）である。 従来の技術を説明する図（その２）である。

符号の説明

１０ ビットストリームメモリ
１１ エントロピーデコード部
１２ バッファメモリ
１３ 復号画像生成部
１４、１５ 周波数計算部
１６、１７ クロック・電源電圧制御部

Claims (3)

1. 符号化されたビットストリームを復号する画像復号装置において、
   前記ビットストリームを格納するビットストリームメモリ手段と、
   前記ビットストリームメモリ手段に格納された前記ビットストリームをエントロピーデコード処理して、シンタックスエレメントに復号するエントロピーデコード手段と、
   前記ビットストリームメモリ手段に格納されている前記ビットストリームの残量に基づいて、前記エントロピーデコード手段の動作周波数を計算するエントロピーデコーダ動作周波数計算手段と、
   前記エントロピーデコーダ動作周波数計算手段の指示により、前記エントロピーデコード手段の動作周波数と電源電圧を制御するエントロピーデコーダ周波数・電源電圧制御手段と、
   該シンタックスエレメントを処理して、復号画像を生成する復号画像生成手段と、
   該エントロピーデコード処理手段が出力する前記シンタックスエレメントを解析して、 該復号画像生成手段の動作周波数を計算する復号画像生成部動作周波数計算手段と、
   該復号画像生成部動作周波数計算手段の指示により、前記復号画像生成手段の動作周波数と電源電圧を制御する復号画像生成手段周波数・電源電圧制御手段と、
   を備え、
   該エントロピーデコード手段と該復号画像生成手段の動作周波数が離散的な値を取る場合、２種類の動作周波数を時間的に組み合わせて供給することを特徴とする画像復号装置。
2. 前記シンタックスエレメントを格納するバッファメモリ手段をさらに備え、
   前記エントロピーデコーダ動作周波数計算手段は、該バッファメモリ手段に格納されている前記シンタックスエレメントの残量も考慮して、前記エントロピーデコード手段の動作周波数を計算することを特徴とする請求項１に記載の画像復号装置。
3. 前記復号画像生成部動作周波数計算手段は、
   前記シンタックスエレメントの種類に応じて、処理に必要なマシンサイクル数を登録したテーブルを有し、
   該テーブルを参照して、１ピクチャ分の前記シンタックスエレメントについて、マシンサイクルの加算を行い、１ピクチャを処理するために必要な総マシンサイクル数から、動作周波数を演算することを特徴とする請求項１に記載の画像復号装置。

Images