JPH066785A - 動画像復号化回路 - Google Patents

Abstract

(57)【要約】 【目的】 少ない部品点数で動画像の復号化処理を実行
することが可能な動画像復号化回路を得る。 【構成】 エントロピー復号化と直交復号化とを分離し
て処理し、フレーム間差分処理やフレーム間内挿処理を
実行するために、フレームメモリを時分割多重化してア
クセスさせる回路構成とする。例えば、データバス１１
１から入力される符号データがエントロピー復号部１０
１により、内部のソフトウェアプログラムで処理される
可変長符号データの構文解析を経て直交変換係数に復号
化される。次に、その直交変換係数がデータバス１１５
を通じて変換復号処理部１０３に入力され、内部のソフ
トウェアプログラムで処理される変換処理後、データバ
ス１１８を通じて画像として出力される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は動画像復号化に関し、特
に高能率符号化アルゴリズムに基づいて符号化された動
画像を復号化するソフトウェアプログラム可能な回路に
関する。

【０００２】

【従来の技術】動画像の復号化アルゴリズムは単一のア
ルゴリズムによるものではなく、複数のアルゴリズムが
組み合わせられて用いるのが普通である。たとえば、Ｃ
ＣＩＴＴ勧告のＨ．２６１の場合、動き補償フレーム間
予測、離散コサイン変換（ＤＣＴ）、量子化及びエント
ロピー符号化の組み合わせによって高能率符号化が実現
される。また、他の動画像符号化に関する国際標準化案
についても、これらに類似したアルゴリズムの組み合わ
せによって実現されている。

【０００３】従来の動画像復号化回路では、２つのタイ
プの回路構成方式がとられていた。１つは、高速なディ
ジタル信号処理プロセッサ（ＤＳＰ）を利用し、上述の
すべてのアルゴリズムをソフトウェア処理として実現す
るものである。アルゴリズムの変更に対する柔軟性の点
では、ＤＳＰを利用したソフトウェア処理は優れている
が、現状では、ＤＳＰの性能は動画像の復号化に必要な
性能（300MOPS 〜600MOPS ，MOPS:Million Operation P
er Second ）に対し、1/10〜1/60程度の性能しか持って
いない。よって、ＤＳＰで動画像復号化処理を実行する
ためには、多数のＤＳＰを結合するマルチプロセッサ構
成をとるなどの工夫が必要になる。このようなシステム
の構成をとるには、ソフトウェア／ハードウェアのコス
トの増大を招く場合が多い。例えば、電子情報通信学会
1989年春期全国大会予稿集Ａ３１６−Ａ３２１「 NETEC
-VisuaLINKのハードウェア」他、などによれば、ＤＳＰ
は復号化回路に10個程度必要になっている。

【０００４】他の一つは、各アルゴリズム毎に最適な専
用回路構成を用いて、複数の処理部の間でパイプライン
的に画像データを流して処理していく方法である。性能
を重視するのであれば、複数の異なる専用処理プロセッ
サを結合して並列パイプライン処理を実行するのが得策
である。アルゴリズムに最適な回路構成をとれば、マル
チプロセッサの処理プロセッサ数はＤＳＰに比べて少な
くて済む場合が多い。ここで言う専用処理プロセッサ
は、必ずしも一つのアルゴリズムに対応するものである
必要はない。実際の従来例では、２つのアルゴリズムを
統合し、１つの処理プロセッサで処理を実行させるなど
の例が見られる。例えば、グラフィックス・コミュニケ
ーション・テクノロジーズ（ＧＣＴ）や米国ＴＲＷ社、
米国 Zoran社などは、ＤＣＴとフレーム差分の加算の２
つを１つのＬＳＩチップで実行するような処理ＬＳＩを
開発している。これらの会社では、５〜10チップで動画
符号化復号化処理全体をカバーするＬＳＩチップセット
をそれぞれ開発しており、このうち復号化回路として必
要な構成要素は３〜４程度である（日経エレクトロニク
ス1990.10.15（no.511））。

【０００５】

【発明が解決しようとする課題】この従来の第２のタイ
プの回路構成法の第１の問題点は、各アルゴリズム毎に
最適な専用回路構成を一度決定してしまうと、それを修
正改変するためのコストが大きいということである。ソ
フトウェア処理であれば、アルゴリズムの変更はソフト
ウェアの変更により対応することが可能であるが、専用
プロセッサの再設計は多大なコストを費やすことになる
という問題点がある。又、従来の第２のタイプの回路構
成法の第２の問題点は、動画像処理で必要となるコアフ
レームメモリのアドレス生成及びそれと同期させた処理
開始タイミングが複雑になる点である（従来の第１のタ
イプの回路構成法であれば、ＤＳＰ自身がフレームメモ
リのアドレス生成を行うことになる）。各専用処理プロ
セッサは、前述のアルゴリズム群をいわばデータフロー
量が一定であるように処理を実行する場合が多い。たと
えば、ＤＣＴ処理プロセッサであれば、変換されるべき
画像情報を逐次入力すれば、変換結果が一定時間後逐次
出力されるといったインターフェースをとることにな
る。

【０００６】その場合、（１）ＤＣＴ処理プロセッサの
起動を何時行うか、（２）ＤＣＴ処理を行うデータをど
こから読み出すか、もしそれをフレームメモリから読み
出すのであればアドレスはどのように発生するか、
（３）ＤＣＴ処理の結果をどこへ書き込むか、もしそれ
をフレームメモリに書き込むのであればアドレスはどの
ように発生するか、という問題をすべてＤＣＴ処理プロ
セッサの外部回路で解決せねばならず、外部回路の設計
コストや部品点数削減のメリットが小さいという問題点
を有している。本発明の目的は、少ない部品点数で動画
像の復号化処理を実行することが可能な動画像復号化回
路を提供することにある。

【０００７】

【課題を解決するための手段】本発明は、ビット可変長
符号データを入力とし、エントロピー復号処理結果デー
タを出力する第１の処理手段と、前記エントロピー符号
処理結果データを入力とし、変換符号化を実行後、画像
復号結果を出力とする第２の処理手段と、前記第２の処
理手段がフレーム間差分処理あるいは、フレーム間内挿
処理を実行するために読み書きするフレームメモリ手段
とを有しており、前記第１の処理手段は、可変長符号デ
ータの構文解析用ソフトウェアプログラムを実行する処
理機能を有し、前記第２の処理手段は、変換符号化処理
用ソフトウェアプログラムを実行する処理機能を有す
る。又、第２の処理手段における復号化処理の開始タイ
ミング、第１の処理手段と第２の処理手段との間のデー
タ転送の開始タイミング、及び第２の処理手段とフレー
ムメモリ手段との間のデータ転送の開始タイミングのす
べてを制御する出力信号を出力するビデオタイミング制
御部を第１の処理手段に備える。

【０００８】

【実施例】次に、本発明について図面を参照して説明す
る。図１は本発明の実施例のブロック図である。データ
バス１１１からのビット可変長符号データを入力とし、
エントロピー復号処理結果データを出力するエントロピ
ー復号部１０１と、このエントロピー符号処理結果デー
タを入力とし、変換符号化を実行後、画像復号結果を出
力する変換復号処理部１０３と、この変換復号処理部１
０３がフレーム間差分処理あるいは、フレーム間内挿処
理を実行するために読み書きするコアフレームメモリ１
０２とで構成される。前記エントロピー復号部１０１
は、その内部構成は後述するが、可変長符号データの構
文解析用ソフトウェアプログラムを実行する処理機能を
有し、メモリ制御信号１１３，画像出力制御信号１１
４，コマンドトリガ信号１１７を出力する。前記変換復
号処理部１０３は、変換符号化処理用ソフトウェアプロ
グラムを実行する処理機能を有する。そして、前記各部
はアドレスバス１１２，データバス１１５，コマンドバ
ス１１６で接続され、かつ変換復号処理部１０３とコア
フレームメモリ１０２にはデータバス１１８が接続され
る。

【０００９】この動画像復号化回路でのデータの流れは
次のようになる。先ず、データバス１１１から入力され
る符号データがエントロピー復号部１０１により、内部
のソフトウェアプログラムで処理される可変長符号デー
タの構文解析を経て直交変換係数に復号化される。次
に、その直交変換係数がデータバス１１５を通じて変換
復号処理部１０３に入力され、内部のソフトウェアプロ
グラムで処理される変換処理後、データバス１１８を通
じて画像として出力される。ＩＳＯのＭＰＥＧで勧告さ
れる予定の動画像復号化アルゴリズムでは、データバス
１１５を流れる直交変換係数は、画面ごとの復号化方式
に依存して３つのタイプがある。図２を参照してこれを
説明する。

【００１０】タイプ１のデータは画像の時間軸方向の符
号化を行わず、画像データそのものを直交変換したもの
である。このようなデータから復号化される画像は int
raフレーム（Ｉフレーム）といわれる。タイプ２のデー
タは、過去の画像との差分値を直交変換したものであ
る。このようなデータから復号化される画像は predict
edフレーム（Ｐフレーム）といわれる。タイプ３のデー
タは、過去と未来の２つの画像の算術平均値との差分値
を直交変換したものである。このようなデータから復号
化される画像は bidirectionalフレーム（Ｂフレーム）
といわれる。ＩＳＯ ＭＰＥＧではこれら３つのタイプ
の符号データをすべて復号化できる必要がある。

【００１１】Ｐフレームの復号化のためには、時間的に
それ以前のＩフレームまたはＰフレームが必要である。
Ｂフレームの復号化のためには、ＩフレームまたはＰフ
レームが時間的に前後に必要となる。このようなＩフレ
ーム、Ｐフレームのことをコアフレームと呼ぶ。コアフ
レームからの時間内挿としてＢフレームを求めるため、
送られる符号化画像の時間順序は復元される画像の順序
とは異なっている。（図２の符号入力時刻は、画像出力
時刻とは対応していない。さらに、符号入力時刻の順序
には入れ替わりが発生している。）

【００１２】本実施例では、変換復号処理部１０３がコ
アフレームメモリ１０２を時間多重アクセスすることに
より、３つのタイプの復号化を実行することができる。
そのタイミングチャートを示しているのが図３である。
図３において、Ａと記載されたスロットでは、データバ
ス１１５の上を直交変換係数が転送される。Ｂのスロッ
トでは、データバス１１８上で、復元された画像を処理
部１０３からメモリ１０２へ転送する。Ｃのスロットで
は、データバス１１８上で、復元された画像をメモリ１
０２から画像出力へと転送する。Ｄのスロットは、Ｐフ
レームおよびＢフレームのみに存在し、過去のコアフレ
ームをメモリ１０２から処理部１０３に転送するもので
ある。ＥのスロットはＢフレームのみに存在し、将来の
コアフレームをメモリ１０２から処理部１０３に転送す
るものである。各スロットの添え字ｉは、画像単位領域
（例えば８画素×８画素）の、１枚の画像全体を通じて
のシリアル番号を表している。

【００１３】図３において画像単位領域を処理する動作
手順は次のようになる。まず、スロットＡ_i で直交変換
係数が処理部１０１から処理部１０３に転送され、処理
部１０３の処理が開始される。次に、Ｐフレームの場合
はスロットＤ_i で、Ｂフレームの場合はスロットＤ_i と
スロットＥ_i で、おのおの過去もしくは未来のコアフレ
ームが処理部１０３に転送される。最終的に復元された
画像はスロットＢ_i で処理部１０２からメモリ１０３に
一旦書込まれる。その後、メモリ１０３から外部出力へ
スロットＣ_i で転送される。この最後の読み出しは、前
述の符号入力時刻と画像出力時刻との不一致を調整する
役割を果たしている。

【００１４】このようなタイミング制御は、すべて処理
部１０１からの出力信号で制御している。アドレスバス
１１２は、スロットＢ，Ｃ，Ｄ，Ｅの各々で、メモリ１
０２のアドレスを生成する。制御信号１１３は、メモリ
１０２のリード信号あるいはライトストローブ信号であ
る。スロットＢではメモリライトサイクルが、スロット
Ｃ，Ｄ，Ｅではメモリリードサイクルがおのおの動作す
ることになる。制御信号１１４は、スロットＣで出力さ
れるビデオ信号のタイミングとその状態を示している。
コマンドバス１１６は、処理部１０３に対し、データ転
送（スロットＡ，Ｂ，Ｃ，Ｄ，Ｅのいずれか）の種類、
あるいはその内部処理の種類を指示するものである。制
御信号１１７は、コマンドバス１１６で指示されるコマ
ンドを実際にスタートするタイミング信号である。

【００１５】前記エントロピー復号部１０１の内部構成
は、エントロピー復号化ＣＰＵ１２１と、ＦＩＦＯ１２
２，１２３と、ビデオタイミング制御部１２４と、２次
元アドレス生成部１２５とで構成される。この復号部１
０１では、まず、データバス１１１から入力される復号
データがＦＩＦＯ１２２に蓄積される。その後、エント
ロピー復号化ＣＰＵ１２１により、ソフトウェアプログ
ラムで可変長符号データの構文解析が処理され、その復
号結果がＦＩＦＯ１２３に蓄積される。可変長復号化で
判明したパラメータなどで、ビデオタイミング制御部１
２４と２次元アドレス制御部１２５が初期化される。そ
れ以後、前記したようなタイミングをビデオタイミング
制御部１２４が管理する。すなわち、コマンドバス１１
６によるコマンド信号や、２次元アドレス生成部１２５
の起動信号が生成される。

【００１６】

【発明の効果】以上説明したように本発明は、アルゴリ
ズムに特有な処理を実行する２つの処理部に分割するこ
とで各処理に適合したアーキテクチャで処理を実行で
き、各々の処理部がソフトウェアプログラム可能である
ため、特定のアルゴリズムのみに固定されない処理の実
行が可能である。更に、動画のフレーム間予測内挿処理
に伴って発生するメモリアクセスのタイミングやメモリ
アドレスの発生、および、変換復号処理の起動タイミン
グをすべて第１の処理部（エントロピー復号部）が提供
することにより、少ない部品点数で動画像の復号化処理
を実行することができるという効果がある。例えば、外
部メモリを除けば２つの構成要素から画像復号化回路を
構成できる。又、第２の処理部（変換復号処理部）は、
画像単位領域（例えば８画素×８画素）単位での起動が
可能になり、画面全体の処理タイミングに依存する必要
がなくなる。このように、第１及び第２の処理部のタイ
ミング独立性を保つことで、１つの第１の処理部に対
し、複数の第２の処理部を接続するなどの拡張を容易に
実施できるという効果がある。

【図面の簡単な説明】

【図１】本発明の一実施例のブロック図である。

【図２】本発明における３種類の画像符号化法を示す図
である。

【図３】図１に示した実施例のタイミングチャートであ
る。

【符号の説明】

１０１ エントロピー復号部 １０２ コアフレームメモリ １０３ 変換復号処理部 １２１ エントロピー復号化ＣＰＵ １２２，１２３ ＦＩＦＯ １２４ ビデオタイミング制御部 １２５ ２次元アドレス生成部

Claims (2)

【特許請求の範囲】
1. 【請求項１】 高能率符号化アルゴリズムに基づいて符
   号化された動画像を復号化する回路であって、ビット可
   変長符号データを入力とし、エントロピー復号処理結果
   データを出力する第１の処理手段と、前記エントロピー
   符号処理結果データを入力とし、変換符号化を実行後、
   画像復号結果を出力とする第２の処理手段と、前記第２
   の処理手段がフレーム間差分処理あるいは、フレーム間
   内挿処理を実行するために読み書きするフレームメモリ
   手段とを有し、前記第１の処理手段は可変長符号データ
   の構文解析用ソフトウェアプログラムを実行する処理機
   能を有し、前記第２の処理手段は変換符号化処理用ソフ
   トウェアプログラムを実行する処理機能を有することを
   特徴とする動画像復号化回路。
2. 【請求項２】 第２の処理手段における復号化処理の開
   始タイミング、第１の処理手段と第２の処理手段との間
   のデータ転送の開始タイミング、及び第２の処理手段と
   フレームメモリ手段との間のデータ転送の開始タイミン
   グのすべてを制御する出力信号を出力するビデオタイミ
   ング制御部を第１の処理手段に備える請求項１の動画像
   復号化回路。