JP3410669B2 - 映像音声処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタル信号処理
の技術分野に関するものであって、圧縮された映像及び
音声データの伸長、映像及び音声データの圧縮、グラフ
ィックス処理などを行う映像音声処理装置に関する。

【０００２】

【従来の技術】近年、ディジタル動画データの圧縮／伸
長技術が確立されてきたことや、ＬＳＩ技術が向上して
きたことがあいまって、圧縮映像及び音声データを伸長
するデコーダ、映像及び音声データを圧縮するエンコー
ダ、グラフィックス処理を行うグラフィックス処理装置
などの種々の映像音声処理装置が重要視されている。

【０００３】従来技術の１つとして、ＭＰＥＧ（Moving
Picture Experts Group）規格の圧縮映像及び音声デー
タを伸長する映像音声デコーダがある。この映像音声デ
コーダは、２つのプロセッサを用いて１プロセッサが映
像デコード、他の１プロセッサが音声デコードを行う。
図１に上記映像音声デコード処理の説明図を示す。同図
において縦軸は時間を、横軸は映像デコードを行う映像
用プロセッサと音声デコードを行う音声用プロセッサそ
れぞれの演算量を表している。

【０００４】映像用プロセッサは、圧縮映像データのマ
クロブロック単位に逐次処理と映像データ本体部分のデ
コード処理とを交互に行う。映像デコードにおいて逐次
処理は、マクロブロックヘッダ部分の解析（ヘッダ解
析）であり、本体部分のデコード処理は、マクロブロッ
クのデコード（ブロックデコード）である。ヘッダ解析
は、多岐にわたる条件判断を必要とする処理であり、そ
の演算量は少ない。ブロックデコードは、ヘッダ解析結
果の各種データを用いて、ＭＰＥＧストリームの可変長
符号を復号し、さらにブロック単位に逆量子化、逆離散
余弦変換等を行う処理であり、その演算量は大きい。

【０００５】音声用プロセッサも同様に、圧縮音声デー
タの逐次処理と音声データ本体部分のデコード処理とを
交互に行う。

【０００６】

【発明が解決しようとする課題】しかしながら上記従来
技術によれば、次のような問題があった。従来技術の映
像音声デコーダにおいては、コストがかかるという問題
があった。なぜなら特に映像用プロセッサは、大量の画
像データをリアルタイムに処理することが要求されるた
め、処理能力の高い、つまり高速クロックで動作する高
価なプロセッサを使用する必要があるからである。

【０００７】さらに、ディジタル（衛星）放送用チュー
ナー（ＳＴＢ（Set Top Box）と呼ばれる）やＤＶＤ（D
igital Versatile/Video Disc）再生装置などに用いら
れるＡＶデコーダ中に上記映像音声処理装置が用いられ
る場合には、放送波から受信されたあるいはディスクか
ら読み出されたＭＰＥＧストリームを入力し、そのＭＰ
ＥＧストリームをデコードし、最終的にディスプレイ、
スピーカなどへ映像信号出力及び音声信号出力をするま
でに必要とされる一連の処理量は膨大なものとなる。最
近では、このような一連の膨大な処理を効率良く実行す
る映像音声処理装置に対する要求が高まっている。

【０００８】上記の問題に鑑み、本発明は、圧縮映像及
び圧縮音声データを表すストリームデータの入力、デコ
ード、出力という一連の処理を行い、高い周波数で動作
させなくても高い処理能力を有し、製造コストを低減さ
せることができる映像音声処理装置を提供することを目
的とする。

【０００９】

【課題を解決するための手段】上記問題を解決するた
め、圧縮音声データと圧縮映像データとを含むデータス
トリームをデコードすることにより映像データ及び音声
データを復元する映像音声処理装置であって、定型演算
を主とする定型処理であって、データストリーム中のブ
ロック単位に付加されたヘッダ情報及びデータストリー
ム中の圧縮映像データの可変長復号処理と、可変長復号
された圧縮映像データをブロック単位に復号する処理と
を行なう定型処理手段と、条件判断を主とする逐次処理
であって、定型処理手段によって可変長復号処理された
ヘッダ情報の解析処理と、データストリーム中の圧縮音
声データの復号処理とを時分割で行ない、ヘッダ情報の
解析処理を圧縮音声データの復号処理よりも優先的に行
う逐次処理手段とを備え、前記定型処理手段は、ヘッダ
情報と圧縮映像データの可変長復号処理を行い、圧縮映
像データのブロックの可変長復号処理が終了後に、前記
逐次処理手段に対して次のブロックのヘッダ情報の解析
処理を開始するように指示し、前記逐次処理手段は、解
析すべきヘッダ情報が可変長符号化されているときに
は、前記定型処理手段にそのヘッダ情報の可変長復号処
理を指示し、可変長復号されたヘッダ情報を取得すると
これを解析し、ブロックのヘッダ情報の取得が終了後
に、前記定型処理手段に対して前記ブロックの圧縮映像
データの可変長復号処理を開始し、前記解析されたヘッ
ダ情報を用いて前記可変長復号後の圧縮映像データを復
号するように指示し、前記逐次処理手段は、前記ヘッダ
情報の解析処理の指示を受けた時に、圧縮音声データの
復号処理を実行中の場合には、当該復号処理を中止し、
前記ヘッダ情報の解析処理を実行することを特徴とす
る。

【００１０】また、逐次処理手段は、プロセッサと、プ
ロセッサが実行するためのヘッダ解析用スレッドと音声
デコード用スレッドとスレッド切替制御用スレッドとを
記憶するメモリとを有し、プロセッサがヘッダ解析用ス
レッドをメモリから読み出して実行することによりヘッ
ダ解析処理を行うヘッダ解析手段と、プロセッサが音声
デコード用スレッドをメモリから読み出して実行するこ
とにより音声デコード処理を行う音声デコード手段と、
プロセッサがスレッド切替え制御用スレッドをメモリか
ら読み出して実行することにより、ヘッダ解析処理を優
先するようにプロセッサに割り当てるスレッドを切り替
える制御を行う制御手段とを備える。

【００１１】また制御手段は、スレッドの切替えの要因
となる割り込みの発生とその種別を検出する割り込み検
出手段と、割り込みの種別に応じて遷移するヘッダ解析
手段および音声デコード手段の状態が実行状態であるか
待ち状態であるか実行可能状態であるかを管理する状態
管理手段と、ヘッダ解析手段が待ち状態から実行可能状
態に遷移したときプロセッサに割り当てるスレッドを他
のスレッドからヘッダ解析用スレッドに切り替える切替
え手段とを備えることができる。

【００１２】また状態管理手段は、ヘッダ解析処理およ
び音声デコード処理それぞれの状態を記憶する状態テー
ブルと、割り込みの種別に応じて状態テーブルの更新を
行う状態更新手段とを備えることができる。ここで前記
所定ブロックは、データストリーム中の圧縮映像データ
に含まれるマクロブロックであり、割り込み検出手段
は、ヘッダ解析手段によるマクロブロックのヘッダ解析
が終了したときヘッダ解析手段により出力される第１割
り込みと、マクロブロックの復号が終了したとき定型処
理手段により出力される第２割り込みとを検出し、状態
更新手段は、割り込み検出手段により第１割り込みが検
出されると状態テーブル中のヘッダ解析手段の状態を待
ち状態に更新し、割り込み検出手段により第２割り込み
が検出されると状態テーブルのヘッダ解析手段の状態を
実行可能状態に更新するよう構成することができる。

【００１３】また切替え手段は、ヘッダ解析手段が待ち
状態である場合、音声デコード手段が待ち状態から実行
可能状態に遷移したとき音声デコード用スレッドをプロ
セッサに割り当てるよう構成することができる。さらに
前記定型処理手段は、データストリーム中の圧縮映像デ
ータ及びヘッダ情報を可変長復号するコード変換手段
と、可変長復号により得られた映像ブロックに対して、
所定の演算を施すことにより逆量子化および逆離散余弦
変換を行う演算手段と、逆離散余弦変換後の映像ブロッ
クと復号済みのブロックを合成することにより動き補償
処理を行って映像データを復元する合成手段とを備え、
ヘッダ解析手段は、コード変換手段に要求して可変長復
号されたヘッダ情報を取得する取得手段と、取得された
ヘッダ情報の解析を行い、続いて動きベクトルの算出を
行う解析手段と、解析結果として得られるパラメータを
定型処理手段に通知する通知手段と、解析手段による解
析過程の所定時点においてコード変換手段にブロックの
可変長復号開始を指示する開始指示手段とを備えること
ができる。

【００１４】

【発明の実施の形態】＜実施形態＞本実施形態における
映像音声処理装置は、衛星放送受信装置（ＳＴＢ：Set
Top Boxと呼ばれる）、ＤＶＤ（Digital Versatile Dis
c）再生装置、ＤＶＤ−ＲＡＭ記録再生装置などに備え
られ、圧縮映像音声データとして衛星放送から又はＤＶ
ＤからのＭＰＥＧストリームが入力されると、伸長処理
（以下、単にデコードと呼ぶ）を行って、映像データ及
び音声データを外部の出力装置に出力する。＜1 映像
音声処理装置の概略構成＞図２は、本発明の実施形態に
おける映像音声処理装置の概略構成を示すブロック図で
ある。

【００１５】映像音声処理装置１０００は、入出力処理
部１００１、デコード処理１００２、メモリコントロー
ラ６を備え、入出力処理とデコード処理とを並行して行
うよう構成されている。また、外部メモリ３は、ＭＰＥ
Ｇストリームやデコード後の音声データを一時的に記憶
する作業用メモリ、デコード後の映像データを記憶する
フレームメモリとして利用される。 ＜1.1 入出力処理部＞入出力処理部１００１は、映像
音声処理装置１０００の内部動作とは非同期に発生する
入出力処理を行う。この入出力処理は、（ａ）外部から
非同期に入力されるＭＰＥＧストリームを入力して外部
メモリ３に一時的に格納すること、（ｂ）外部メモリ３
に格納されたＭＰＥＧストリームをデコード処理部１０
０２に供給すること、（ｃ）デコードされた映像デー
タ、音声データを外部メモリ３から読み出し、外部の表
示装置、音声出力装置（図外）それぞれの出力レートに
合わせて出力することを内容とする。 ＜1.2 デコード処理部＞デコード処理部１００２は、
入出力処理部１００１の動作とは独立に並行して、入出
力処理部１００１によって供給されるＭＰＥＧストリー
ムをデコードし、デコード後の映像データ及び音声デー
タを外部メモリ３に格納する。ＭＰＥＧストリームの圧
縮映像データのデコード処理は演算量が多く処理内容が
多岐にわたるため、デコード処理部１００２は、逐次処
理部１００３と、定型処理部１００４とを備え、それぞ
れが処理を分担する。すなわち逐次処理部１００３は、
圧縮映像データのマクロブロックヘッダ部分のヘッダ解
析処理を行い、定型処理部１００４は、圧縮映像データ
のマクロブロック本体部分のデコード処理を行う。この
ようにデコード処理部１００２においては、圧縮映像デ
ータのマクロブロック毎に逐次処理部１００３と定型処
理部１００４とが一回ずつそれぞれの処理を行う。

【００１６】ここでＭＰＥＧストリームの圧縮映像デー
タとそのマクロブロックの関係について説明する。図３
は、ＭＰＥＧストリームとマクロブロックとの関係を示
す階層構造図である。第１階層は、ＭＰＥＧストリーム
の流れを示す。第２階層は、１秒間のＭＰＥＧストリー
ムであり、複数のフレーム（Ｉ、Ｐ、Ｂピクチャ）を含
む。第３階層はフレームであり、１フレームはピクチャ
ヘッダと複数のスライスを含む。第４階層はスライスで
あり、１スライスは、スライスヘッダと複数のマクロブ
ロックを含む。第５階層はマクロブロックであり、１マ
クロブロックはマクロブロックヘッダ部分と６つのブロ
ックを含む。６つのブロックは、４つの輝度ブロックと
２つの色差ブロックであり、ブロックは、８＊８画素か
らなる画像を表す。この６つのブロックがマクロブロッ
ク本体部分に相当する。

【００１７】同図に示す第１〜第５階層のデータ構成
は、公知文献、例えば株式会社アスキー「ポイント図解
式最新ＭＰＥＧ教科書」に詳しく説明されている。一
方、圧縮音声データのデコード処理（以下音声デコード
処理と略す）は、処理量が圧縮映像データのデコードに
比べて少ない。従って音声デコード処理については、逐
次処理部１００３が１マクロブロックのヘッダ解析処理
と次の１マクロブロックのヘッダ解析処理との間の時間
帯に行う。

【００１８】以上のように、逐次処理部１００３は、ヘ
ッダ解析処理と音声デコード処理とを行う。逐次処理部
１００３は、これら２つの処理を、ヘッダ解析処理を優
先的に、それぞれの処理が記述されたプログラムの実行
により逐次的に行う。以下これらの処理をまとめて逐次
処理と呼ぶ。また、定型処理部１００４は、マクロブロ
ック本体部分のデコード処理を行う。この処理はブロッ
ク単位に定型的な各種演算を大量に施す処理である。以
下この処理を定型処理と呼ぶ。 ＜1.2.1 逐次処理部＞逐次処理部１００３は、プロセ
ッサとメモリとを有し、プロセッサがメモリ中のスレッ
ドプログラム（以下スレッド）を実行することにより優
先的に行うヘッダ解析処理と音声デコード処理とを行
う。逐次処理部１００３においては、ヘッダ解析処理を
音声デコード処理より優先させるために、ＯＳがそれら
の処理の実行を制御する。なおここにおいてスレッドと
はマルチスレッドの環境で行われるひとかたまりの処理
プログラムのことを指す。

【００１９】ここでヘッダ解析処理は、マクロブロック
のヘッダ情報の解析と動きベクトルの計算とを含む。マ
クロブロックのヘッダ部分には、マクロブロック本体部
分のデコードを行うにあたって必要となる情報（ヘッダ
情報）が記録されており、逐次処理部１００３は、解析
によって得られた各種データを定型処理部１００４に出
力する。動きベクトルとは、参照フレーム中の８＊８の
矩形領域を指すベクトルであり、当該ブロックが参照フ
レーム中のどの矩形領域との差分がとられたかを指し示
す。

【００２０】一方、音声デコード処理は、圧縮音声デー
タのヘッダ部分の解析とデータ本体部分のデコードとを
逐次処理部１００３内部のみで独立して行う。このため
音声デコード処理の中断及び再開はヘッダ解析処理に比
べて容易である。また、上記のように音声デコード処理
は、ヘッダ解析と次のヘッダ解析との間の時間帯で十分
に処理できるほど処理量が少ない。これらの理由から逐
次処理部１００３においてはヘッダ解析処理を音声デコ
ード処理より優先的に行うよう構成されている。

【００２１】より詳しくは、ＯＳは、ヘッダ解析処理が
実行可能な場合には、必ずヘッダ解析処理を実行するよ
う制御する。このときＯＳは、音声デコード処理が実行
中である場合には、音声デコード処理を中断してからヘ
ッダ解析を実行させる。 ＜1.2.2 定型処理部＞定型処理部１００４は、定型処
理として、マクロブロック本体部分について、可変長符
号の復号（ＶＬＤ:Variable Length code Decoding）、
逆量子化（ＩＱ：Inverse Quantization）、逆離散余弦
変換（ＩＤＣＴ:Inverse Discrete Cosine Transfor
m）、動き補償（ＭＣ:Motion Compensation）を同順に
パイプライン方式によって行う。ただし逐次処理部１０
０３は、ＶＬＤについては、マクロブロック本体部分の
みでなく、マクロブロックのヘッダ部分についても行っ
て、ＶＬＤされたヘッダ部分のデータを逐次処理部１０
０３に出力する。

【００２２】定型処理部１００４は、動き補償におい
て、復号後のブロックをフレームメモリとしての外部メ
モリ３にメモリコントローラ６を介して格納する。 ＜2 映像音声処理装置の構成＞図４は、映像音声処理
装置１０００のより詳細な構成を示すブロック図であ
る。 ＜2.1 入出力処理部の構成＞同図において入出力処理
部１００１は、ストリーム入力部１、バッファメモリ
２、入出力プロセッサ５（以下ＩＯプロセッサ５と略
す）、ＤＭＡＣ（Direct Memory Access Controller）
５ａ、ビデオ出力部１２、音声出力部１３、ホストＩ／
Ｆ部１４とを備える。

【００２３】ストリーム入力部１は、外部からシリアル
に入力されるＭＰＥＧデータストリームをパラレルデー
タ（以降、ＭＰＥＧデータと呼ぶ）に変換する。その
際、ストリーム入力部１は、ＭＰＥＧデータストリーム
からＧＯＰ(Group Of Picture:Ｉピクチャを１つ含み、
約０．５秒分の動画に相当するＭＰＥＧデータストリー
ム）のスタートコードを検出し、その旨をＩＯプロセッ
サ５に通知する。この通知により変換後のＭＰＥＧデー
タは、ＩＯプロセッサ５の制御によりバッファメモリ２
に転送される。

【００２４】バッファメモリ２は、ストリーム入力部１
から転送されたＭＰＥＧデータを一時的に保持する緩衝
用メモリである。バッファメモリ２に保持されたＭＰＥ
Ｇデータは、さらに入出力プロセッサ５の制御の下でメ
モリコントローラ６を介して外部メモリ３に転送され
る。外部メモリ３は、ＳＤＲＡＭ（Synchronous Dynami
c Random Access Memory）チップにより構成され、バッ
ファメモリ２からメモリコントローラ６を介して転送さ
れたＭＰＥＧデータを一時的に保持する。さらに、外部
メモリ３は復号後の映像データ（以降、フレームデータ
とも呼ぶ）および復号後の音声データも保持する。

【００２５】入出力プロセッサ５は、ストリーム入力部
１、バッファメモリ２、外部メモリ３（メモリコントロ
ーラ６が介在する）、ＦＩＦＯメモリ４の間のデータ入
出力を制御する。すなわち以下の（１）〜（４）に示す
経路のデータ転送（ＤＭＡ転送）を制御する。 （１）ストリーム入力部１→バッファメモリ２→メモリコント
ローラ６→外部メモリ３ （２）外部メモリ３→メモリコントローラ６→ＦＩＦＯメモリ４ （３）外部メモリ３→メモリコントローラ６→バッファメモリ２
→ビデオ出力部１２ （４）外部メモリ３→メモリコントローラ６→バッファメモリ２
→音声出力部１３ これらの径路において入出力プロセッサ５は、ＭＰＥＧ
データ中の映像データと音声データとを独立にそれぞれ
の転送を制御する。また、（１）、（２）は復号前のＭ
ＰＥＧデータの転送経路である。（１）、（２）の転送
経路において入出力プロセッサ５は、圧縮映像データと
圧縮音声データとを別個に転送する。（３）、（４）は
それぞれ、復号後の映像、音声データの転送経路であ
る。復号後の映像、音声データは、外部の表示装置（図
外）、音声出力装置（図外）それぞれの出力レートに合
わせて転送される。

【００２６】ＤＭＡＣ５ａは、ストリーム入力部１、ビ
デオ出力部１２、音声出力部１３とバッファメモリ２と
の間のＤＭＡ転送、バッファメモリ２と外部メモリ３と
の間のＤＭＡ転送、外部メモリ３とＦＩＦＯメモリ４の
間のＤＭＡ転送をＩＯプロセッサ５の制御に従って実行
する。ビデオ出力部１２は、外部の表示装置（ＣＲＴ
等）の出力レート（たとえば水平同期信号Ｈsyncの周
期）に合せて入出力プロセッサ５にデータ要求を出し、
入出力プロセッサ５により上記（３）の転送経路により
入力される映像データをその表示装置に出力する。

【００２７】音声出力部１３は、外部の音声出力装置の
出力レートに合せて入出力プロセッサ５にデータ要求を
出し、入出力プロセッサ５により上記（４）の転送経路
により入力される音声データを音声出力装置（Ｄ／Ａコ
ンバータ、音声アンプ、スピーカの組み合わせ等）に出
力する。ホストI/F部１４は、外部のホストプロセッ
サ、たとえばＤＶＤ再生装置の場合にはその制御全般を
行うプロセッサとの通信を行うためのインターフェース
である。この通信では、ホストプロセッサからＭＰＥＧ
ストリームのデコード開始、停止、早送り再生、逆再生
等の指示などが送られる。 ＜2.2 デコード処理部の構成＞図４においてデコード
処理部１００２は、ＦＩＦＯメモリ４、逐次処理部１０
０３、定型処理部１００４を備え、入出力処理部１００
１からＦＩＦＯメモリ４を介して供給されるＭＰＥＧデ
ータのデコード処理を行う。また、逐次処理部１００３
は、プロセッサ７、内部メモリ８を備える。定型処理部
１００４は、コード変換部９、画素演算部１０、画素読
み書き部１１、バッファ２００、バッファ２０１を備え
る。

【００２８】ＦＩＦＯメモリ４は、２つのＦＩＦＯから
なり、ＩＯプロセッサ５の制御の下で外部メモリ３から
転送された圧縮映像データ、圧縮音声データをそれぞれ
先入れ先出し式に記憶する。 ＜2.2.1 逐次処理部＞プロセッサ７は、内部メモリ８
に記憶されるＯＳを実行し、ＯＳの制御の下に同じく内
部メモリ８に記憶されるヘッダ解析処理用のプログラ
ム、音声デコード処理用のプログラムを切替えながら行
う。以下にヘッダ解析処理と音声デコード処理の詳細を
説明する。 ＜2.2.1.1 ヘッダ解析処理＞図５は、プロセッサ７が
実行するヘッダ解析処理の詳細と他の各部への制御内容
を示す。なお、同図に略語で示されるマクロブロックヘ
ッダ中の各データは上記文献等に説明されているのでこ
こでは説明を省略する。

【００２９】同図のようにプロセッサ７は、コード変換
部９にコマンドを発行してＶＬＤされたヘッダ部分のデ
ータを逐次取得し、その内容に従ってコード変換部９、
画素演算部１０、画素読み書き部１１に対してマクロブ
ロックのデコードに必要な各種データを設定する。また
プロセッサ７は、ヘッダ解析の途中でコード変換部９に
マクロブロック本体部分のデコード開始を指示する。

【００３０】図５において、プロセッサ７は、コード変
換部９にＭＢＡＩ（Macro Block Address Increment）
を取得するためのコマンド発行して（Ｓ１０１）、コー
ド変換部９からＭＢＡＩを取得する。このＭＢＡＩに基
き当該マクロブロックデータがスキップマクロブロック
（skipped macro block）であれば（今デコードしよう
としているマクロブロックが前フレームの対応するマク
ロブロックと同じであれば）、マクロブロックが省略さ
れているのでＳ１１８に進み、スキップマクロブロック
でなければヘッダ解析を続ける（Ｓ１０２、Ｓ１０
３）。

【００３１】次いで、プロセッサ７はＭＢＴ（Macro Bl
ock Type）を取得するためのコマンドを発行して、コー
ド変換部９からＭＢＴを取得する。このＭＢＴからブロ
ックのスキャンタイプがジグザグスキャンかオールタネ
ートスキャンかを判断し、画素演算部１０にバッファ２
００の読み出し順序を指示する（Ｓ１０４）。さらに、
プロセッサ７はすでに取得したヘッダ部分のデータから
ＳＴＷＣ（Spatial Temporal Weight Code）が存在する
か否かを判定し（Ｓ１０５）、存在する場合にはコマン
ドを発行して取得する（Ｓ１０６）。

【００３２】同様にしてプロセッサ７は、ＦｒＭＴ（Fr
ame Motion Type）、ＦｉＭＴ（Field Motion Type）、
ＤＴ（DCT Type）、ＱＳＣ（Quantifier Scale Cod
e）、ＭＶ（Motion Vector）、ＣＢＰ（Coded Block Pa
ttern）を取得する（Ｓ１０７〜Ｓ１１６）。その際、
プロセッサ７は、ＦｒＭＴ、ＦｉＭＴ、ＤＴの解析結果
を画素読み書き部１１に通知し、ＱＳＣの解析結果を画
素演算部１０に通知し、ＣＢＰの解析結果をコード変換
部９に通知する。これによりＩＱ、ＩＤＣＴ、動き補償
に必要な情報がコード変換部９、画素演算部１０、画素
読み書き部１１に設定される。

【００３３】次いで、プロセッサ７はマクロブロック本
体部分のＶＬＤ開始の指示をコード変換部９に出力する
（Ｓ１１７）。この通知の結果コード変換部９は、ＶＬ
Ｄを開始する。さらにプロセッサ７は、ＭＶデータに基
いて動きベクトルを計算し（Ｓ１１８）、その計算結果
を画素読み書き部１１に通知する（Ｓ１１９）。

【００３４】このようにプロセッサ７が動きベクトルに
関する処理（Ｓ１１８〜Ｓ１１９）に先立ってＶＬＤ開
始の指示（Ｓ１１７）を行うのは、次の理由による。定
型処理部１００４においては、コード変換部９、画素演
算部１０、画素読み書き部１１の順にパイプライン方式
の処理を行う。この際、定型処理部１００４の各部は、
ヘッダ解析結果の各種データを受け取ってから各部の処
理を行う。図５においてＳ１１６の処理が完了した時点
で、画素読み書き部１１は、動きベクトルのデータを受
け取っていないので処理可能ではないが、コード変換部
９と画素演算部１０はそれぞれの処理に必要なデータを
受け取って処理が可能な状態になっている。よって先に
定型処理を開始させておき、コード変換部９及び画素演
算部１０が処理を行っている時間中に動きベクトルを計
算して画素読み書き部１１に計算結果を通知すれば良
い。これによって本実施形態は、マクロブロックのデコ
ード処理にかかる時間を短縮して、デコード処理部１０
０２の処理の効率を高めている。

【００３５】最後にプロセッサ７は、マクロブロックの
ヘッダ解析終了信号をＯＳに通知する（Ｓ１２０）。た
だし１フレーム分のヘッダ解析終了時には、プロセッサ
７は、マクロブロックのヘッダ解析終了信号の代わり
に、１フレーム終了信号をＯＳに通知する。以上のよう
にしてプロセッサ７は、マクロブロック１つ分の圧縮映
像データのヘッダ解析を完了する。 ＜2.2.1.2 音声デコード処理＞音声デコード処理にお
いて、プロセッサ７は、ＦＩＦＯメモリ４より読み出し
た圧縮音声データについてヘッダ部分とデータ部分の解
析を行い、デコード処理を行って、チャンネルへのダウ
ンミキシングを行う。プロセッサ７は、これらの一連の
処理によって得られる音声データをメモリコントローラ
６を介して外部メモリ３に出力する。 ＜2.2.2 定型処理部＞図６は、デコード処理部１００
２の各部の動作タイミングを示している。同図において
横軸は時間軸である。

【００３６】コード変換部９は、マクロブロック毎にＦ
ＩＦＯメモリ４から読み出された圧縮映像データをＶＬ
Ｄする。同図に示すようにコード変換部９は、ＶＬＤし
たデータのうち、ヘッダ部分（図中の破線区間）をプロ
セッサ７に転送し、マクロブロック（輝度ブロックＹ０
〜Ｙ３と色差ブロックＣｂ、Ｃｒとからなる６ブロッ
ク）のデータ（図中の実線区間）をバッファ２００を介
して画素演算部１０に転送する。コード変換部９による
復号後のマクロブロックデータは空間周波数成分を表す
データである。

【００３７】コード変換部９は、ヘッダ部分のＶＬＤの
際、プロセッサ７のヘッダ解析処理と並行して動作す
る。コード変換部９は、プロセッサ７より各種データを
要求する旨のコマンドを受付けると対応するデータをプ
ロセッサ７に出力する。コード変換部９は、１マクロブ
ロック分のＶＬＤが完了するとプロセッサ７にＶＬＤ終
了信号を出力する。

【００３８】バッファ２００は、コード変換部９により
書きこまれる１ブロック分（８×８画素分）の空間周波
数成分を表すデータを保持する。画素演算部１０は、バ
ッファ２００のブロックデータに対して、ＩＱ及びＩＤ
ＣＴをブロック単位に行う。画素演算部１０による処理
結果は、輝度ブロックであれば画素の輝度値又はその差
分を表すデータであり、色差ブロックであれば画素の色
差又はその差分を表すデータであり、バッファ２０１を
介して画素読み書き部１１に転送される。

【００３９】バッファ２０１は１ブロック（８×８画素
分）の画素データを保持する。画素読み書き部１１は、
画素演算部１０の処理結果に対して、ブロック単位に動
き補償を行う。すなわち、Ｐピクチャ、Ｂピクチャにつ
いては、外部メモリ３の復号済みの参照フレームから動
きベクトルが示す矩形領域をメモリコントローラ６を介
して切り出して、画素演算部１０の処理結果のブロック
と合成することにより、元のブロック画像に復号する。
画素読み書き部１１による復号結果は、メモリコントロ
ーラ６を介して外部メモリ３に格納される。 ＜3 各部の処理タイミング＞以上のように構成された
逐次処理部１００３及び定型処理部１００４の各部の処
理タイミングについて以下に説明する。

【００４０】図７は、デコード処理部１００２の各主要
部の処理タイミングを示す。なお同図において、横軸は
時間を示し、ｔ０〜ｔ４は、時間軸上の時刻を示す。同
図において、プロセッサ７は、まず１マクロブロック分
のヘッダ解析処理（ヘッダ情報の解析と動きベクトルの
計算）を行う（ｔ０〜ｔ２）。この処理中においてプロ
セッサ７は、ヘッダ情報の解析を終了すると（ｔ１）、
動きベクトルの計算処理の前に、コード変換部９にマク
ロブロック本体部分のＶＬＤ開始指示を出力する。プロ
セッサ７は、１マクロブロック分のヘッダ解析を終了し
た後、音声デコード処理を開始する（ｔ２）。コード変
換部９がマクロブロック本体部分のＶＬＤを終了すると
（ｔ３）、プロセッサ７は、音声デコード処理を中断し
てヘッダ解析処理を開始する。

【００４１】このようにプロセッサ７は、１マクロブロ
ック分のヘッダ解析終了した後すぐに次のマクロブロッ
クのヘッダ解析を行わずに音声デコード処理を行うの
は、次の理由による。すなわち、プロセッサ７はヘッダ
解析を行う際、コード変換部９にコマンドを発行してコ
ード変換部９によりＶＬＤされたヘッダ部分の情報を必
要とするので、プロセッサ７がヘッダ解析を行うとき
は、コード変換部９がヘッダ部分のＶＬＤを行える状態
でなければならない。これに対しプロセッサ７がヘッダ
解析を終了した時点においては、コード変換部９はマク
ロブロック本体のＶＬＤを行っており、ヘッダ部分のＶ
ＬＤを行えない状態だからである。

【００４２】コード変換部９は、プロセッサ７のヘッダ
解析と並行してマクロブロックヘッダ部分のＶＬＤを行
う（ｔ０〜）。次にコード変換部９は、プロセッサ７か
らのＶＬＤ開始指示を受けてマクロブロック本体部分の
ＶＬＤを開始する（ｔ１）。コード変換部９は、マクロ
ブロック本体部分のＶＬＤが終了すると、終了の旨を示
すＶＬＤ終了信号を逐次処理部１００３に出力する。こ
れによってプロセッサ７の音声デコード処理が中断され
てヘッダ解析処理が開始される（ｔ３）。

【００４３】画素演算部１０及び画素読み書き部１１は
それぞれコード変換部９、画素演算部１０に続いてパイ
プライン方式で処理を行う。以上の処理タイミングに示
すようにプロセッサ７がヘッダ解析を優先的に実行する
ことにより、定型処理部１００４の各部はマクロブロッ
クのデコードに必要な各種データを受けとって滞りなく
処理を行うことができる。加えて定型処理部１００４の
各部は、パイプライン方式による処理を行うので高速処
理が可能である。またプロセッサ７は、１マクロブロッ
クのヘッダ解析と次の１マクロブロックのヘッダ解析の
間の空き時間を利用して音声デコード処理を行うことに
よって、プロセッサ７のアイドル時間は少なくなり処理
効率が向上する。

【００４４】さらにプロセッサ７は、ヘッダ解析処理に
おけるヘッダ情報の解析が終了した時点（ｔ１）におい
てコード変換部９にマクロブロック本体のＶＬＤ開始指
示を出すので、ＶＬＤ開始タイミングが早められ、早め
られた時間分１マクロブロック全体のデコードにかかる
時間が短くなっている。 ＜4 逐次処理部のＯＳ＞上記の処理タイミングのよう
に各処理が効率良く行われるようにするためにプロセッ
サ７ではＯＳが動作する。ＯＳは、ヘッダ解析終了やマ
クロブロック本体のＶＬＤ終了等の信号を割り込み信号
として検出し、それらの検出に起因してヘッダ解析処理
を優先しつつヘッダ解析と音声デコード処理との切り替
えを行う。

【００４５】図８は、プロセッサ７におけるソフトウェ
ア構成図を示す。同図において映像スレッドは、プロセ
ッサ７がヘッダ解析処理を実行ためのスレッドである。
音声スレッドは、プロセッサ７が音声デコード処理を実
行するためのスレッドである。アイドルスレッドは、プ
ロセッサ７がヘッダ解析処理も音声デコード処理も行わ
ない場合に実行するアイドリング用のスレッドである。

【００４６】ＯＳは、プロセッサ７と各スレッドとの間
に介在して、割り込みによって遷移する各スレッドの状
態を管理する。ここにおいて各スレッドは、実行状態、
待ち状態、実行可能状態の３状態を取り得る。またＯＳ
は、各スレッドの遷移後の状態に応じて映像スレッドを
優先させながら何れかのスレッドをプロセッサ７に割り
当てる。さらにＯＳは、ヘッダ解析処理及び定型処理に
おいてエラーが発生した場合には、エラー処理を行う。 ＜4.1 割り込み信号＞図９は、ＯＳが検出する各種割
り込み信号を示す表である。

【００４７】同図において２列目は、割り込み信号の種
別を示す。３列目は、割り込み信号の出力元を示す。４
列目は、割り込み信号の要因を示す。なお、同図におい
ては説明を容易にするため１列目に識別番号を付加して
いる。 ヘッダ解析終了信号は、プロセッサ７が１マクロブロ
ック分のヘッダ解析処理終了時に出力する信号である。

【００４８】フレーム終了信号は、プロセッサ７が１
フレーム分のヘッダ解析処理終了時にヘッダ解析終了
信号の代わりに出力する信号である。 ＶＬＤ ｂｕｓｙ信号は、コード変換部９が出力する
信号である。コード変換部９は、通常の場合にはプロセ
ッサ７より発行されるコマンドに対応するデータをプロ
セッサ７に返すのであるが、当該データについてＶＬＤ
が済んでいない場合には当該データの代わりにＶＬＤ
ｂｕｓｙ信号を出力する。

【００４９】ＶＬＤ終了信号は、コード変換部９が１
マクロブロック分のＶＬＤ終了時に出力する信号であ
る。 垂直同期信号は、外部より映像音声処理装置１０００
に入力される信号である。１フレーム分のマクロブロッ
クデコードの周期を垂直同期信号の周期に合わせるため
の信号である。

【００５０】ＶＬＤ ｒｅａｄｙ信号は、コード変換
部９がＶＬＤ ｂｕｓｙ信号を出力した後、当該デー
タのＶＬＤが済んだ場合に出力する信号である。 Ａｕｄｉｏ Ｄａｔａ ｂｕｓｙ信号は、ＦＩＦＯメ
モリ４がプロセッサ７より圧縮音声データを要求された
ときに、対応する圧縮音声データが外部メモリ３からま
だ入力されていない場合に出力する信号である。

【００５１】Ａｕｄｉｏ Ｄａｔａ ｒｅａｄｙ信号
は、ＦＩＦＯメモリ４がのＡｕｄｉｏ Ｄａｔａ ｂ
ｕｓｙ信号を出力した後、対応する圧縮音声データが外
部メモリ３から入力された場合に出力する信号である。 ＶＬＤエラー信号は、コード変換部９がＶＬＤにおい
てエラーが発生した場合に出力する信号である。

【００５２】１０動き補償エラー信号は、画素読み書き
部１１が動き補償においてエラーが発生した場合に出力
する信号である。 ＜4.2 スレッドの状態遷移＞図９に示す割り込み信号
のうちからの信号が発生したときに、映像スレッド
及び音声スレッドの状態は以下のように遷移する。 ＜4.2.1 映像スレッド＞図１０は、映像スレッドの状
態遷移を示す図である。

【００５３】矢印付近に示される割り込み信号〜及
び〜は、その矢印の遷移がその割り込み信号に起因
することを示している。また待ち状態に記載されている
（１）〜（３）はそれぞれ具体的な待ち要因を示す。
〜と（１）〜（３）と〜とはそれぞれ対応してい
る。詳しくは、映像スレッドは、プロセッサ７に実行さ
れることにより１マクロブロックのヘッダ解析が終了す
ると（）、実行状態から待ち状態に遷移してコード変
換部９によるマクロブロック本体部分のＶＬＤ終了を待
ち（（１））、ＶＬＤが終了すると（）、待ち状態か
ら実行可能状態に遷移する。

【００５４】同様に映像スレッドは、プロセッサ７に実
行されることにより１フレーム分のヘッダ解析が終了す
ると（）、実行状態から待ち状態に遷移して外部から
垂直同期信号が入力されるのを待ち（（２））、垂直同
期信号が入力されると（）、待ち状態から実行可能状
態へと遷移する。また映像スレッドは、コード変換部９
よりＶＬＤ ｂｕｓｙ信号が出力されると（）、実行
状態から待ち状態へと遷移して当該データのＶＬＤが完
了するのを待ち（（３））、コード変換部９よりＶＬＤ
ｒｅａｄｙ信号が出力されると（）、待ち状態から
実行可能状態へと遷移する。 ＜4.2.2 音声スレッド＞図１１は、音声スレッドの状
態遷移を示す図である。

【００５５】同図も図１０と同様に矢印の遷移が矢印付
近に示される割り込み信号、によって起こることを
示し、割り込み信号と待ち要因（４）と割り込み信号
とが対応している。すなわち、音声スレッドは、ＦＩ
ＦＯメモリ４よりＡｕｄｉｏ Ｄａｔａ ｂｕｓｙ信号
が出力されると（）、実行状態から待ち状態に遷移し
てＦＩＦＯメモリ４にデータが用意されるのを待ち
（（４））、ＦＩＦＯメモリ４よりＡｕｄｉｏ Ｄａｔ
ａ ｒｅａｄｙ信号が出力されると（）、待ち状態か
ら実行可能状態へと遷移する。 ＜4.3 スレッド管理＞ＯＳは、スレッドとスレッドの
現在の状態とを対応させた状態表を有し、割り込み信号
〜を検出すると、割り込み信号の種別に応じて状態
表の書き換えを行うことによってスレッドの状態を管理
する。

【００５６】図１２は、状態表の一例を示す図である。
同図は、１列目がスレッド種別を示し、２列目がスレッ
ド種別のスレッドの現在の状態を示す。例えばＯＳは、
ヘッダ解析終了信号を検出すると、図１０の映像スレ
ッドの状態を実行状態から待ち状態に書き換える。この
ようにＯＳは、図１０及び図１１に示した割り込みによ
るスレッドの遷移に応じて状態表の書き換えを行う。 ＜4.4 プロセッサの割り当て＞ＯＳは、割り込みに応
じて状態表の書き換えを行った後、プロセッサ７に割り
当てるスレッドを選択する選択処理を行う。

【００５７】図１３は、ＯＳがプロセッサ７に割り当て
るスレッドを選択する場合の選択処理を示すフローチャ
ートである。まずＯＳは、状態表を参照して映像スレッ
ドが実行状態であるか否かを判定する（ステップ１２
１）。判定の結果、映像スレッドが実行状態であればこ
の選択処理を終了する。

【００５８】ステップ１２１の判定の結果、映像スレッ
ドが実行状態でない場合は、次にＯＳは、映像スレッド
が実行可能状態か否かを判定する（ステップ１２２）。
その結果、映像スレッドが実行可能状態である場合に
は、ＯＳは、現在実行状態にある音声スレッドを実行可
能状態に遷移させてから映像スレッドを実行状態に遷移
させる。つまりＯＳは、プロセッサ７が実行する音声ス
レッドと映像スレッドとの切り替えを行う。（ステップ
１２３、１２４）。

【００５９】このようにＯＳは、映像スレッドが実行状
態である場合には本選択処理を終了し、映像スレッドが
実行可能状態である場合には映像スレッドを実行状態に
遷移させることによって映像スレッドが優先して実行さ
れるように制御している。ステップ１２２の判定の結
果、映像スレッドが実行可能状態でない場合、つまり映
像スレッドが待ち状態である場合には、ＯＳは、音声ス
レッドが実行可能状態であるか否かを判定する（ステッ
プ１２５）。

【００６０】ステップ１２５の判定の結果、音声スレッ
ドが実行可能状態である場合には、ＯＳは、音声スレッ
ドを実行状態にする（ステップ１２６）。ステップ１２
５の判定の結果、音声スレッドが実行可能状態でない場
合、すなわち、映像スレッドと音声スレッドが共に待ち
状態である場合には、ＯＳは、プロセッサ７にアイドル
スレッドという何も処理を行わないプログラムをプロセ
ッサ７に実行させる（ステップ１２７）。 ＜4.5 エラー処理＞ＯＳは、図９に示すＶＬＤエラ
ー信号および１０動き補償エラー信号を検出した場合、
プロセッサ７に実行中のスレッドを中断させてエラー処
理を行う。エラー処理においてＯＳは、定型処理部１０
０４の画素演算部１０及び画素読み書き部１１にリセッ
ト信号を出力して当該マクロブロックのデコードに関す
るデータを全て破棄させる。このとき画素読み書き部１
１は、リセット信号が入力されるとエラー補償を行う。
ここでエラー補償とは、次のスライスのマクロブロック
のデコードを行うために、破棄したマクロブロックの１
つ前のフレームの同位置のマクロブロックを外部メモリ
３から読み出す処理である。

【００６１】ＯＳは、リセット信号を出力した後、状態
表における映像スレッドの状態を実行可能状態に書き換
える。これによって図１３に示すＯＳの選択処理により
映像スレッドが実行状態になる。プロセッサ７は、映像
スレッドが割り当てられて次のスライスのマクロブロッ
クのヘッダ解析を実行する。 ＜5 動作説明＞以上のように構成された映像音声処理
装置１０００について、その動作を説明する。 ＜5.1 入出力処理部の動作＞入出力処理部１００１に
おいて、ストリーム入力部１から非同期に入力されるＭ
ＰＥＧストリームは、入出力プロセッサ５の制御によっ
て、バッファメモリ２、メモリコントローラ６を介して
一旦外部メモリ３に格納され、さらに、メモリコントロ
ーラ６を介してＦＩＦＯメモリ４に保持される。このと
きＩＯプロセッサ５は、ＦＩＦＯメモリ４に残量に応じ
て圧縮動画データ、圧縮音声データを供給する。このよ
うに入出力プロセッサ５は、ＦＩＦＯメモリ４に過不足
なく一定量の圧縮映像データ、圧縮音声データを供給す
るので、デコード処理部１００２は、非同期の入出力と
は切り離されて、デコード処理に専従することができ
る。ここまでの処理は、上記入出力処理部１００１によ
り、デコード処理部１００２とは独立に並行してなされ
る。 ＜5.2 デコード処理部１００２の動作＞一方、デコー
ド処理部１００２において、ＦＩＦＯメモリ４に保持さ
れたＭＰＥＧストリームデータは、プロセッサ７、コー
ド変換部９、画素演算部１０、画素読み書き部１１によ
り復号される。ＦＩＦＯメモリ４以降の復号動作を示す
説明図を、エラーが起こらなかった場合の動作（正常時
の動作）を図１４、図１５に、ＶＬＤエラー時の動作を
図１６、図１７に、動き補償エラー時の動作を図１８、
図１９に示す。 ＜5.2.1 正常時の動作＞図１４、図１５は、デコード
処理部１００２の各部における復号動作を図７に基いて
詳細に示した図である。

【００６２】同図に示すように、プロセッサ７は、ＯＳ
の制御によってヘッダ解析終了信号及びＶＬＤ終了
信号に起因して映像スレッドによるヘッダ解析と音声ス
レッドによる音声デコードと交互に繰り返して行う。詳
しくは、プロセッサ７は、１マクロブロック分のヘッダ
解析を行い、解析結果をコード変換部９、画素演算部１
０、画素読み書き部１１に通知した後、コード変換部９
に対してマクロブロックのＶＬＤ開始を指示する。その
後プロセッサ７は、動きベクトルを計算し画素読み書き
部１１に計算結果を出力する。この出力の後、プロセッ
サ７は、ヘッダ解析終了信号を出力する。

【００６３】ＯＳは、ヘッダ解析終了信号を検出する
と図１３の選択処理によって音声スレッドを実行状態に
する。音声スレッドが実行状態になることによりプロセ
ッサ７は、音声デコード処理を開始する。デコード後の
音声データは内部メモリ８に一旦保持され、さらにメモ
リコントローラ６により外部メモリ３にＤＭＡ転送され
る。

【００６４】音声デコード処理中にＯＳはＶＬＤ終了
信号を検出すると、映像スレッドが実行可能状態になる
ので図１３の選択処理によって音声スレッドを実行可能
状態にし、映像スレッドを実行状態にする。これによっ
てプロセッサ７は、次のマクロブロックのヘッダ解析を
開始する。また、コード変換部９は、プロセッサ７から
マクロブロックのＶＬＤ開始指示を受けて、マクロブロ
ック本体のＶＬＤを実行し、マクロブロック内の各ブロ
ック毎にバッファ２００に格納する。コード変換部９
は、ＶＬＤを終えるとプロセッサ７にＶＬＤ終了信号
を出力する。

【００６５】画素演算部１０は、コード変換部９と並行
して、バッファ２００に格納されたブロックデータをブ
ロック単位にＩＱ、ＩＤＣＴを施し、その処理結果をバ
ッファ２０１に格納する。画素読み書き部１１は、画素
演算部１０と並行して、バッファ２０１のブロックデー
タと、プロセッサ７によるヘッダ解析により通知された
動きベクトルとに基づいて、図１４、図１５に示すよう
に外部メモリ３の参照フレームからの矩形領域の切り出
しと、ブロック合成とを行う。ブロック合成結果は、メ
モリコントローラ６を介して外部メモリ３に格納され
る。

【００６６】上記は、スキップマクロブロックではない
場合の動作であるが、スキップマクロブロックの場合に
はコード変換部９及び画素演算部１０は動作せず、画素
読み書き部１１のみが動作する。スキップマクロブロッ
クがある場合には、参照フレーム中の矩形領域と同じ画
像なので、画素読み書き部１１により、その画像が復号
画像として外部メモリ３にコピーされることになる。

【００６７】スキップマクロブロックの場合、コード変
換部９は、プロセッサ７へのＶＬＤ終了信号を次のよ
うにして生成する。すなわち、コード変換部９は、ま
ず、プロセッサ７が画素読み書き部１１に動き補償動作
の開始の制御信号を送付したことを示す信号と、画素読
み書き部１１が動き補償動作が可能であることを示す信
号と、スキップマクロブロックであることを示す信号と
の論理積を取る。次にコード変換部９は、この論理積と
マクロブロックの末尾に付加されているマクロブロック
終了信号との論理和を取って、その論理和の結果をＶ
ＬＤ終了信号としてプロセッサに入力する。 ＜5.2.2 ＶＬＤエラー時の動作＞図１６、図１７は、
コード変換部９においてＶＬＤエラーが発生した場合
の動作を示す図である。

【００６８】同図においてＯＳは、プロセッサ７による
ヘッダ解析処理の最中にコード変換部９より出力される
ＶＬＤエラー信号を検出すると、エラー処理を実行
し、画素演算部１０及び画素読み書き部１１にリセット
信号を出力する。これによって画素演算部１０及び画素
読み書き部１１ではデコード中のマクロブロックに関す
るデータが破棄される。エラー処理の後、ＯＳは、映像
スレッドを実行可能状態にする。これによって図１３の
選択処理により映像スレッドが実行状態になり、次のス
ライスのマクロブロックのヘッダ解析が開始される。

【００６９】この後の動作は、図１４、図１５と同様で
ある。 ＜5.2.3 動き補償エラー時の動作＞図１８、図１９
は、画素読み書き部１１において１０動き補償エラーが
発生した場合の動作を示す図である。

【００７０】この後の動作は、図１４、図１５と同様で
ある。以上の構成により、本発明の映像音声処理装置
は、デコード処理部１００２において逐次処理部１００
３と定型処理部１００４とが圧縮映像データのデコード
処理を分担して行う。これによって、従来の１つのプロ
セッサが圧縮映像データの全デコードを行う場合に比べ
ると、逐次処理部１００３と定型処理部１００４におけ
る処理にかかる負荷が軽減され、処理効率が向上する。
また逐次処理手段が、マクロブロック毎のヘッダ解析処
理を優先的に行うことによってヘッダ解析に基いて行わ
れる定型処理手段のデコード処理が滞ることなく行われ
時間的な処理効率が向上する。さらに音声デコード処理
は、圧縮映像データのデコードに比べて処理量が少ない
ため逐次処理手段がヘッダ解析処理の合間に行うことに
よって、より時間的な処理効率が向上する。このように
処理効率が向上するのでデコード処理部１００２は、高
速な動作クロックを用いなくてもＭＰＥＧストリームの
フルデコードを実現することができる。具体的には本映
像音声処理装置を、１チップにＬＳＩ化した場合、１０
０ＭＨｚ以下の動作クロック（実際には５４ＭＨｚ）で
上記フルデコードが可能である。

【００７１】なお、本発明は、汎用ＣＰＵとＤＳＰ（Di
gital Signal Processor）とを搭載したコンピュータで
実現することもできる。この場合、コンピュータの主記
憶装置は、圧縮映像データに含まれるマクロブロック毎
のヘッダ解析を行うためのヘッダ解析用プログラムと、
圧縮音声データのデコードを行うための音声デコード用
プログラムと、ヘッダ解析プログラムを優先させながら
ヘッダ解析プログラムと音声デコードプログラムとを切
替えるためのＯＳ用プログラムと、圧縮映像データのヘ
ッダ解析を除く圧縮映像データのデコードを行うための
定型処理用プログラムとを予め記憶する。そして汎用Ｃ
ＰＵは、ヘッダ解析用プログラム、音声デコード用プロ
グラム、ＯＳ用プログラムを実行し、ＤＳＰは、定型処
理用プログラムを実行する。つまりＣＰＵは、実施形態
の逐次処理部１００３が行う逐次処理を行い、ＤＳＰ
は、定型処理部１００４の定型処理を行う。この構成に
よって、汎用ＣＰＵは、ヘッダ解析処理を優先的に遅滞
なく行い、またヘッダ解析処理を行わない空き時間に音
声デコード処理を行うので、汎用ＣＰＵのスループット
が向上する。またＣＰＵがヘッダ解析処理を遅滞なく行
うので、ＤＳＰは、ヘッダ解析処理による処理結果のデ
ータを受けとって定型処理を遅滞なく行うことができ
る。

【００７２】

【発明の効果】本発明の映像音声処理装置は、圧縮音声
データと圧縮映像データとを含むデータストリームをデ
コードすることにより映像データ及び音声データを復元
する映像音声処理装置であって、定型演算を主とする定
型処理であって、データストリーム中のブロック単位に
付加されたヘッダ情報及びデータストリーム中の圧縮映
像データの可変長復号処理と、可変長復号された圧縮映
像データをブロック単位に復号する処理とを行なう定型
処理手段と、条件判断を主とする逐次処理であって、定
型処理手段によって可変長復号処理されたヘッダ情報の
解析処理と、データストリーム中の圧縮音声データの復
号処理とを時分割で行ない、ヘッダ情報の解析処理を圧
縮音声データの復号処理よりも優先的に行う逐次処理手
段とを備え、前記定型処理手段は、ヘッダ情報と圧縮映
像データの可変長復号処理を行い、圧縮映像データのブ
ロックの可変長復号処理が終了後に、前記逐次処理手段
に対して次のブロックのヘッダ情報の解析処理を開始す
るように指示し、前記逐次処理手段は、解析すべきヘッ
ダ情報が可変長符号化されているときには、前記定型処
理手段にそのヘッダ情報の可変長復号処理を指示し、可
変長復号されたヘッダ情報を取得するとこれを解析し、
ブロックのヘッダ情報の取得が終了後に、前記定型処理
手段に対して前記ブロックの圧縮映像データの可変長復
号処理を開始し、前記解析されたヘッダ情報を用いて前
記可変長復号後の圧縮映像データを復号するように指示
し、前記逐次処理手段は、前記ヘッダ情報の解析処理の
指示を受けた時に、圧縮音声データの復号処理を実行中
の場合には、当該復号処理を中止し、前記ヘッダ情報の
解析処理を実行することを特徴とする。

【００７３】この構成によれば逐次処理手段と定型処理
手段とで圧縮映像データのデコード処理を分担して行う
ことによって、従来の１つのプロセッサが圧縮映像デー
タの全デコードを行うのに比べて処理にかかる負荷が軽
減され、処理効率が向上する。また逐次処理手段が、ヘ
ッダ解析処理を優先的に行うことによってヘッダ解析に
基いて行われる定型処理手段のデコード処理が滞ること
なく行われることになり、時間的な処理効率が向上す
る。さらに音声デコード処理は、圧縮映像データのデコ
ードに比べて処理量が少ないため、逐次処理手段がヘッ
ダ解析処理の合間に行うことによって、より時間的な処
理効率が向上する。これらにより本発明の映像音声処理
装置は、高い周波数で動作させなくても高い処理能力を
有し、製造コストを低減させることができる。

【００７４】また逐次処理手段は、プロセッサと、プロ
セッサが実行するためのヘッダ解析用スレッドと音声デ
コード用スレッドとスレッド切替制御用スレッドとを記
憶するメモリとを有し、プロセッサがヘッダ解析用スレ
ッドをメモリから読み出して実行することによりヘッダ
解析処理を行うヘッダ解析手段と、プロセッサが音声デ
コード用スレッドをメモリから読み出して実行すること
により音声デコード処理を行う音声デコード手段と、プ
ロセッサがスレッド切替え制御用スレッドをメモリから
読み出して実行することにより、ヘッダ解析処理を優先
するようにプロセッサに割り当てるスレッドを切り替え
る制御を行う制御手段とを備えることができる。

【００７５】この構成によれば、制御手段はヘッダ解析
処理が優先的に実行されるようプロセッサに割り当てる
スレッドを切替えるので、ヘッダ解析及び音声デコード
処理が円滑に切り替えられ、時間的な処理効率が向上す
る。また制御手段は、スレッドの切替えの要因となる割
り込みの発生とその種別を検出する割り込み検出手段
と、割り込みの種別に応じて遷移するヘッダ解析手段お
よび音声デコード手段の状態が実行状態であるか待ち状
態であるか実行可能状態であるかを管理する状態管理手
段と、ヘッダ解析手段が待ち状態から実行可能状態に遷
移したときプロセッサに割り当てるスレッドを他のスレ
ッドからヘッダ解析用スレッドに切り替える切替え手段
とを備えることができる。

【００７６】この構成によれば、制御手段は、割り込み
検出手段が割り込みの発生を検出し、状態管理手段が割
り込みによって遷移するヘッダ解析及び音声デコードの
状態を管理して、切替え手段は、ヘッダ解析手段が実行
可能になった場合にヘッダ解析手段をプロセッサに割り
当てる。このように制御手段は、割り込みによって駆動
する方式であるので、ヘッダ解析手段と音声デコード手
段とのいずれを実行状態にすべきかを常に監視するとい
う負担から解放される。

【００７７】また状態管理手段は、ヘッダ解析処理およ
び音声デコード処理それぞれの状態を記憶する状態テー
ブルと、割り込みの種別に応じて状態テーブルの更新を
行う状態更新手段とを備えることができる。ここで前記
所定ブロックは、データストリーム中の圧縮映像データ
に含まれるマクロブロックであり、割り込み検出手段
は、ヘッダ解析手段によるマクロブロックのヘッダ解析
が終了したときヘッダ解析手段により出力される第１割
り込みと、マクロブロックの復号が終了したとき定型処
理手段により出力される第２割り込みとを検出し、状態
更新手段は、割り込み検出手段により第１割り込みが検
出されると状態テーブル中のヘッダ解析手段の状態を待
ち状態に更新し、割り込み検出手段により第２割り込み
が検出されると状態テーブルのヘッダ解析手段の状態を
実行可能状態に更新するよう構成することができる。

【００７８】この構成によれば、状態更新出手段は、割
り込み検出手段によって第１割り込み、第２割り込みが
検出されると、状態テーブル中のヘッダ解析手段の状態
を待ち状態、実行可能状態と更新する。この更新により
切替え手段が実行可能状態になったヘッダ解析をプロセ
ッサに実行させるので、定型処理手段によってヘッダ部
分の復号が終了するとすぐにヘッダ解析が行われること
となり、処理効率が向上する。

【００７９】また切替え手段は、ヘッダ解析手段が待ち
状態である場合、音声デコード手段が待ち状態から実行
可能状態に遷移したとき音声デコード用スレッドをプロ
セッサに割り当てるよう構成することができる。この構
成によれば、切替え手段は、音声デコード手段が実行状
態であっても、ヘッダ解析手段が実行可能になったとき
は、プロセッサにヘッダ解析をを実行させる。これによ
ってヘッダ解析が音声デコードに優先して行われること
となり、処理効率が向上する。

【００８０】また前記定型処理手段は、データストリー
ム中の圧縮映像データ及びヘッダ情報を可変長復号する
コード変換手段と、可変長復号により得られた映像ブロ
ックに対して、所定の演算を施すことにより逆量子化お
よび逆離散余弦変換を行う演算手段と、逆離散余弦変換
後の映像ブロックと復号済みのブロックを合成すること
により動き補償処理を行って映像データを復元する合成
手段とを備え、ヘッダ解析手段は、コード変換手段に要
求して可変長復号されたヘッダ情報を取得する取得手段
と、取得されたヘッダ情報の解析を行い、続いて動きベ
クトルの算出を行う解析手段と、解析結果として得られ
るパラメータを定型処理手段に通知する通知手段と、解
析手段による解析過程の所定時点においてコード変換手
段にブロックの可変長復号開始を指示する開始指示手段
とを備えることができる。

【００８１】この構成によれば、圧縮映像データのデコ
ード処理をヘッダ解析と定型処理手段とで分担し、定期
処理手段においては、定型的な計算を中心とする処理を
コード変換手段、演算手段、合成手段がパイプライン方
式で行う。一方、ヘッダ解析手段においては解析手段が
ヘッダ情報の解析という条件判断を伴う処理を行って、
通知手段が解析結果で得られるパラメータを定型処理に
通知する。このように処理の圧縮映像データのデコード
処理を処理の性質によって定型的な演算処理と条件判断
処理とに分けることによって定型処理手段における高速
処理を可能にしている。またヘッダ解析手段は、開始指
示手段が解析過程の所定時点においてコード変換手段に
ブロックの可変長復号開始を指示することによって、定
型処理手段による処理の開始を早め、これによりヘッダ
解析手段の処理と定型処理手段の処理とを合わせた１マ
クロブロックにかかるデコード処理時間を短くしてい
る。

【００８２】また前記開始指示手段は、解析手段による
動きベクトルの算出の前に可変長復号開始を指示し、前
記通知手段は、算出された動きベクトルを合成手段に通
知するよう構成することができる。この構成によれば、
開始指示手段は、解析手段による動きベクトルの算出の
前に可変長復号開始を指示するので、１マクロブロック
にかかるデコード処理時間は、動きベクトルの算出にか
かる時間分短くなる。また制御手段は、スレッドの切替
えの要因となる割り込みの発生とその種別を検出する割
り込み検出手段と、割り込み検出手段によりエラー割り
込みが検出された場合、定型処理手段における当該所定
ブロックに関するデータを破棄させてヘッダ解析手段を
実行可能状態にするエラー処理手段と、割り込みの種別
に応じて遷移するヘッダ解析手段および音声デコード手
段の状態が実行状態であるか待ち状態であるか実行可能
状態であるかを管理する状態管理手段と、ヘッダ解析手
段が実行可能状態に遷移したときプロセッサにヘッダ解
析用スレッドを割り当てる切替え手段とを備えることが
できる。

【００８３】この構成によれば、制御手段は、割り込み
検出手段、状態管理手段、切替え手段に加えてエラー処
理手段を備え、エラー処理手段は、エラー割り込みが発
生すると、定型処理手段の各部をリセットしてからヘッ
ダ解析手段を実行状態にする。これによってプロセッサ
は、次のスライスのマクロブロックのヘッダ解析を実行
する。このようにエラーが発生した場合においても本映
像音声処理装置は、制御手段が円滑にエラー処理を行っ
た後、プロセッサに次のスライスのマクロブロックのヘ
ッダ解析を実行させるので、時間的な処理効率が向上す
る。

【００８４】また割り込み検出手段は、ヘッダ解析手段
によるマクロブロックのヘッダ解析が終了したときヘッ
ダ解析手段により出力される第１割り込みと、マクロブ
ロックの復号が終了したとき定型処理手段により出力さ
れる第２割り込みと、可変長復号中にエラーが発生した
場合にコード変換手段により出力される第３割り込み
と、動き補償処理中にエラーが発生した場合に合成手段
により出力される第４割り込みとを検出し、状態更新手
段は、割り込み検出手段により第１割り込みが検出され
ると状態テーブル中のヘッダ解析手段の状態を待ち状態
に更新し、割り込み検出手段により第２割り込みが検出
されると状態テーブルのヘッダ解析手段の状態を実行可
能状態に更新し、割り込み検出手段により第３及び第４
割り込みが検出されると状態テーブル中のヘッダ解析手
段の状態を実行可能状態に更新し、エラー処理手段は、
割り込み検出手段により第３及び第４割り込みが検出さ
れると定型処理手段における当該所定ブロックに関する
データを破棄させるよう構成することができる。

【００８５】この構成によれば、コード変換手段が可変
長復号エラーを起こした場合及び合成手段が動き補償エ
ラーを起こした場合において、エラー処理手段は、定型
処理手段の各部をリセットしてからヘッダ解析手段を実
行状態にする。このようにエラーが発生した場合におい
ても本映像音声処理装置は、制御手段が円滑に次のスラ
イスのマクロブロックのヘッダ解析をプロセッサに実行
させるので、時間的な処理効率が向上する。

【００８６】また割り込み検出手段は、所定ブロックの
ヘッダ解析が終了したときヘッダ解析手段により出力さ
れる第１割り込みと、所定ブロックの定型処理が終了し
たとき定型処理手段により出力される第２割り込みと、
１フレーム分のヘッダ解析が終了したときヘッダ解析手
段により出力される第３割り込みと、ヘッダ取得手段が
要求した場合に、ヘッダ情報が可変長復号されていない
ときコード変換手段により出力される第４割り込みと、
映像処理装置の外部より入力される垂直同期信号である
第５割り込みと、第４割り込みの後、ヘッダ取得手段が
要求したヘッダ情報が可変長復号されたときコード変換
手段により出力される第６割り込みと、音声デコード手
段がデコードするデータを所定のメモリに要求した場合
に、そのメモリに当該データがない場合にメモリより出
力される第７割り込みと、第７割り込みの後、音声デコ
ード手段が要求したデータが所定のメモリに入力された
ときメモリより出力される第８割り込みとを検出し、状
態更新手段は、割り込み検出手段により第１割り込み、
第３割り込み、第４割り込みが検出されると状態テーブ
ル中のヘッダ解析手段の状態を待ち状態に更新し、第２
割り込み、第５割り込み、第６割り込みが検出されると
状態テーブルのヘッダ解析手段の状態を実行可能状態に
更新し、第７割り込みが検出されると状態テーブルの音
声デコード手段の状態を待ち状態に更新し、第８割り込
みが検出されると状態テーブルの音声デコード手段の状
態を実行可能状態に更新するよう構成することができ
る。

【００８７】この構成によれば、状態更新手段は、割り
込み検出手段による第１〜第８割り込み検出に応じて、
ヘッダ解析手段及び音声デコード手段の状態を更新し、
その更新に応じて切替え手段がヘッダ解析手段を優先さ
せながらヘッダ解析及び音声デコードをプロセッサに実
行させる。このように制御手段が各種割り込みに対処す
るので、プロセッサにおける時間的な処理効率が向上す
る。

【００８８】本発明にかかるプログラム記録媒体は、第
１のプロセッサ及び第２のプロセッサを備えるコンピュ
ータに、圧縮音声データと圧縮映像データとを含むデー
タストリームをデコードすることにより映像データ及び
音声データを復元する映像音声処理を実行させるための
プログラムを記録しているコンピュータ読み取り可能な
プログラム記録媒体であって、前記プログラムは、第１
のプロセッサに、データストリーム中のブロック単位に
付加されたヘッダ情報の可変長復号処理を実行させるヘ
ッダ可変長復号ステップと、第１のプロセッサに、デー
タストリーム中の圧縮映像データの可変長復号処理を実
行させる圧縮映像可変長復号ステップと、第１のプロセ
ッサに、可変長復号処理された圧縮映像データをブロッ
ク単位に復号する処理を実行させる圧縮映像復号ステッ
プと、第２のプロセッサに、可変長復号処理されたヘッ
ダ情報の解析処理を実行させるヘッダ解析ステップと、
第２のプロセッサに、データストリーム中の圧縮音声デ
ータの復号処理を実行させる圧縮音声復号ステップと、
第２のプロセッサに、前記ヘッダ解析ステップを実行す
るか前記圧縮音声復号ステップを実行するかを切り替え
させる第１の制御ステップと、第１のプロセッサに、ヘ
ッダ可変長復号復号ステップと圧縮映像可変長復号ステ
ップにより、ヘッダ情報と圧縮映像データの可変長復号
処理を行わせ、圧縮映像データのブロックの可変長復号
処理が終了後に、第２のプロセッサに対して、ヘッダ解
析ステップにより次のブロックのヘッダ情報の解析処理
を開始するように指示させる第２の制御ステップと、第
２のプロセッサに、解析すべきヘッダ情報が可変長符号
化されているときには、第１のプロセッセに対して、ヘ
ッダ可変長復号ステップによりそのヘッダ情報の可変長
復号処理を指示させ、可変長復号されたヘッダ情報を取
得すると、ヘッダ解析ステップによりこれを解析させ、
ブロックのヘッダ情報の取得が終了後に、第１のプロセ
ッサに対して、圧縮映像可変長復号ステップにより前記
ブロックの圧縮映像データの可変長復号処理を開始し、
圧縮映像復号ステップにより、前記解析されたヘッダ情
報を用いて前記前記可変長復号後の圧縮映像データの復
号処理を実行するように指示させる第３の制御ステップ
と、第２のプロセッサに、前記ヘッダ情報の解析処理の
指示を受けた時に、圧縮音声復号ステップを実行中の場
合に、第１の制御ステップに より実行する処理をヘッダ
解析ステップに切替えさせる第４の制御ステップとを含
むことを特徴とする。

【００８９】 この構成によれば、第２プロセッサは、ヘ
ッダ解析処理を優先的に遅滞なく行い、またヘッダ解析
処理を行わない空き時間に音声デコード処理を行うので
第２プロセッサのスループットが向上する。また第２プ
ロセッサがヘッダ解析を遅滞なくおこなうおかげで、第
１プロセッサは、ヘッダ解析処理による処理結果のデー
タを受けとって定型処理を遅滞なく行うことができる。

【００９０】ここで前記第２の制御ステップは、第１の
プロセッサに、映像ブロックの可変長復号が終了したと
き、第２のプロセッサに対して映像ブロックの可変長復
号終了を通知する割り込みを発生させるステップを含
み、前記第４の制御ステップは、第２のプロセッサに、
ヘッダ解析ステップと圧縮音声復号ステップの切替えの
要因となる割り込みの発生とその種別を検出させるステ
ップと、第２のプロセッサに、前記映像ブロックの可変
長復号終了を通知する割り込みを検出したら、ヘッダ解
析ステップを待ち状態から実行可能状態に遷移させるス
テップと、第２のプロセッサに、ヘッダ解析ステップが
待ち状態から実行可能状態に遷移した場合に、第１の制
御ステップにより実行する処理をヘッダ解析ステップに
切替えさせるステップとからなることを特徴とする。

【００９１】この構成によれば、第２プロセッサは、ヘ
ッダ解析処理が実行可能になった場合に遅滞なくヘッダ
解析処理を実行することとなり、処理効率が向上する。

【図面の簡単な説明】

【図１】従来技術における映像音声デコーダによるデコ
ード処理の説明図を示す。

【図２】本発明の実施形態における映像音声処理装置の
概略構成を示すブロック図である。

【図３】ＭＰＥＧストリームとマクロブロックとの関係
を示す階層構造図である。

【図４】映像音声処理装置のより詳細な構成を示すブロ
ック図である。

【図５】プロセッサ７が実行するヘッダ解析処理の詳細
と他の各部への制御内容を示す。

【図６】デコード処理部の各部の動作タイミングを示し
ている。同図において横軸は時間軸である。

【図７】デコード処理部の各主要部の処理タイミングを
示す。

【図８】プロセッサ７におけるソフトウェア構成図を示
す。

【図９】ＯＳが検出する各種割り込み信号を示す表であ
る。

【図１０】映像スレッドの状態遷移を示す図である。

【図１１】音声スレッドの状態遷移を示す図である。

【図１２】状態表の一例を示す図である。

【図１３】ＯＳがプロセッサ７に割り当てるスレッドを
選択する場合の選択処理を示すフローチャートである。

【図１４】デコード処理部の各部における復号動作を図
７に基いて詳細に示した図である。

【図１５】図１４の続きの図であって、デコード処理部
の各部における復号動作を図７に基いて詳細に示した図
である。

【図１６】コード変換部９においてＶＬＤエラーが発生
した場合の動作を示す図である。

【図１７】図１６に続く図であって、コード変換部９に
おいてＶＬＤエラーが発生した場合の動作を示す図であ
る。

【図１８】画素読み書き部において動き補償エラーが発
生した場合の動作を示す図である。

【図１９】図１８に続く図であって、画素読み書き部に
おいて動き補償エラーが発生した場合の動作を示す図で
ある。

【符号の説明】

１ ストリーム入力部 ２ バッファメモリ ３ 外部メモリ ４ ＦＩＦＯめもり ５ ＩＯプロセッサ ５ａ ＤＭＡＣ ６ メモリコントローラ ７ プロセッサ ８ 内部メモリ ９ コード変換部 １０ 画素演算部 １１ 画素読み書き部 １２ ビデオ出力部 １３ オーディオ出力部 １４ ホストＩ／Ｆ部 ２００ バッファ２００ ２０１ バッファ １０００ 映像音声処理装置 １００１ 入出力処理部 １００２ デコード処理部 １００３ 逐次処理部 １００４ 定型処理部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平８−111642（ＪＰ，Ａ) 特開 平６−326615（ＪＰ，Ａ) 特開 平９−37249（ＪＰ，Ａ) 大藤健、尾高敏則、櫻井貴康，ＨＤＴ Ｖにも対応できるリアルタイム復号化を 実現，日経エレクトロニクス，日経ＢＰ 社，1994年 ３月14日，1994年３月14日 号，ｐ．93−100 (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68

Claims (20)

(57)【特許請求の範囲】
1. 【請求項１】 圧縮音声データと圧縮映像データとを含
   むデータストリームをデコードすることにより映像デー
   タ及び音声データを復元する映像音声処理装置であっ
   て、 定型演算を主とする定型処理であって、データストリー
   ム中のブロック単位に付加されたヘッダ情報及びデータ
   ストリーム中の圧縮映像データの可変長復号処理と、可
   変長復号された圧縮映像データをブロック単位に復号す
   る処理とを行なう定型処理手段と、 条件判断を主とする逐次処理であって、定型処理手段に
   よって可変長復号処理されたヘッダ情報の解析処理と、
   データストリーム中の圧縮音声データの復号処理とを時
   分割で行ない、ヘッダ情報の解析処理を圧縮音声データ
   の復号処理よりも優先的に行う逐次処理手段とを備え、 前記定型処理手段は、ヘッダ情報と圧縮映像データの可
   変長復号処理を行い、圧縮映像データのブロックの可変
   長復号処理が終了後に、前記逐次処理手段に対して次の
   ブロックのヘッダ情報の解析処理を開始するように指示
   し、 前記逐次処理手段は、解析すべきヘッダ情報が可変長符
   号化されているときには、前記定型処理手段にそのヘッ
   ダ情報の可変長復号処理を指示し、可変長復号されたヘ
   ッダ情報を取得するとこれを解析し、ブロックのヘッダ
   情報の取得が終了後に、前記定型処理手段に対して前記
   ブロックの圧縮映像データの可変長復号処理を開始し、
   前記解析されたヘッダ情報を用いて前記可変長復号後の
   圧縮映像データを復号するように指示し、 前記逐次処理手段は、前記ヘッダ情報の解析処理の指示
   を受けた時に、圧縮音声データの復号処理を実行中の場
   合には、当該復号処理を中止し、前記ヘッダ情報の解析
   処理を実行することを特徴とする映像音声処理装置。
2. 【請求項２】 逐次処理手段は、プロセッサと、プロセ
   ッサが実行するためのヘッダ解析用スレッドと音声デコ
   ード用スレッドとスレッド切替制御用スレッドとを記憶
   するメモリとを有し、 プロセッサがヘッダ解析用スレッドをメモリから読み出
   して実行することによりヘッダ解析処理を行うヘッダ解
   析手段と、 プロセッサが音声デコード用スレッドをメモリから読み
   出して実行することにより音声デコード処理を行う音声
   デコード手段と、 プロセッサがスレッド切替え制御用スレッドをメモリか
   ら読み出して実行することにより、ヘッダ解析処理を優
   先するようにプロセッサに割り当てるスレッドを切り替
   える制御を行う制御手段とを備えることを特徴とする請
   求項１記載の映像音声処理装置。
3. 【請求項３】 前記制御手段は、 スレッドの切替えの要因となる割り込みの発生とその種
   別を検出する割り込み検出手段と、 割り込みの種別に応じて遷移するヘッダ解析手段および
   音声デコード手段の状態が実行状態であるか待ち状態で
   あるか実行可能状態であるかを管理する状態管理手段
   と、 ヘッダ解析手段が待ち状態から実行可能状態に遷移した
   ときプロセッサに割り当てるスレッドを他のスレッドか
   らヘッダ解析用スレッドに切り替える切替え手段とを備
   えることを特徴とする請求項２記載の映像音声処理装
   置。
4. 【請求項４】 前記状態管理手段は、 ヘッダ解析処理および音声デコード処理それぞれの状態
   を記憶する状態テーブルと、 割り込みの種別に応じて状態テーブルの更新を行う状態
   更新手段とを備えることを特徴とする請求項３記載の映
   像音声処理装置。
5. 【請求項５】 前記所定ブロックは、データストリーム
   中の圧縮映像データに含まれるマクロブロックであり、 割り込み検出手段は、ヘッダ解析手段によるマクロブロ
   ックのヘッダ解析が終了したときヘッダ解析手段により
   出力される第１割り込みと、マクロブロックの復号が終
   了したとき定型処理手段により出力される第２割り込み
   とを検出し、 状態更新手段は、割り込み検出手段により第１割り込み
   が検出されると状態テーブル中のヘッダ解析手段の状態
   を待ち状態に更新し、割り込み検出手段により第2割り
   込みが検出されると状態テーブルのヘッダ解析手段の状
   態を実行可能状態に更新するよう構成されることを特徴
   とする請求項４記載の映像音声処理装置。
6. 【請求項６】 切替え手段は、ヘッダ解析手段が待ち状
   態である場合、音声デコード手段が待ち状態から実行可
   能状態に遷移したとき音声デコード用スレッドをプロセ
   ッサに割り当てるよう構成されることを特徴とする請求
   項３記載の映像音声処理装置。
7. 【請求項７】 状態管理手段は、 ヘッダ解析処理および音声デコード処理それぞれの状態
   を記憶する状態テーブルと、割り込みの種別に応じて状
   態テーブルの更新を行う状態更新手段とを備えることを
   特徴とする請求項６記載の映像音声処理装置。
8. 【請求項８】 前記所定ブロックは、データストリーム
   中の圧縮映像データに含まれるマクロブロックであり、 割り込み検出手段は、ヘッダ解析手段によるマクロブロ
   ックのヘッダ解析が終了したときヘッダ解析手段により
   出力される第１割り込みとマクロブロックの復号が終了
   したとき定型処理手段により出力される第２割り込みと
   を検出し、 状態更新手段は、割り込み検出手段により第１割り込み
   が検出されると状態テーブル中のヘッダ解析手段の状態
   を待ち状態に更新し、割り込み検出手段により第2割り
   込みが検出されると状態テーブルのヘッダ解析手段の状
   態を実行可能状態に更新するよう構成されることを特徴
   とする請求項７記載の映像音声処理装置。
9. 【請求項９】 前記定型処理手段は、 データストリーム中の圧縮映像データ及びヘッダ情報を
   可変長復号するコード変換手段と、 可変長復号により得られた映像ブロックに対して、所定
   の演算を施すことにより逆量子化および逆離散余弦変換
   を行う演算手段と、 逆離散余弦変換後の映像ブロックと復号済みのブロック
   を合成することにより動き補償処理を行って映像データ
   を復元する合成手段とを備え、 ヘッダ解析手段は、 コード変換手段に要求して可変長復号されたヘッダ情報
   を取得する取得手段と、 取得されたヘッダ情報の解析を行い、続いて動きベクト
   ルの算出を行う解析手段と、 解析結果として得られるパラメータを定型処理手段に通
   知する通知手段と、 解析手段による解析過程の所定時点においてコード変換
   手段にブロックの可変長復号開始を指示する開始指示手
   段とを備えることを特徴とする請求項２記載の映像音声
   処理装置。
10. 【請求項１０】 前記開始指示手段は、解析手段による
    動きベクトルの算出の前に可変長復号開始を指示し、 前記通知手段は、算出された動きベクトルを合成手段に
    通知するよう構成されることを特徴とする請求項９記載
    の映像音声処理装置。
11. 【請求項１１】 制御手段は、 スレッドの切替えの要因となる割り込みの発生とその種
    別を検出する割り込み検出手段と、 割り込み検出手段によりエラー割り込みが検出された場
    合、定型処理手段における当該所定ブロックに関するデ
    ータを破棄させてヘッダ解析手段を実行可能状態にする
    エラー処理手段と、 割り込みの種別に応じて遷移するヘッダ解析手段および
    音声デコード手段の状態が実行状態であるか待ち状態で
    あるか実行可能状態であるかを管理する状態管理手段
    と、 ヘッダ解析手段が実行可能状態に遷移したときプロセッ
    サにヘッダ解析用スレッドを割り当てる切替え手段とを
    備えることを特徴とする請求項１０記載の映像音声処理
    装置。
12. 【請求項１２】 状態管理手段は、 ヘッダ解析処理および音声デコード処理それぞれの状態
    を記憶する状態テーブルと、 割り込みの種別に応じて状態テーブルの更新を行う状態
    更新手段とを備えることを特徴とする請求項１１記載の
    映像音声処理装置。
13. 【請求項１３】 割り込み検出手段は、ヘッダ解析手段
    によるマクロブロックのヘッダ解析が終了したときヘッ
    ダ解析手段により出力される第１割り込みと、マクロブ
    ロックの復号が終了したとき定型処理手段により出力さ
    れる第２割り込みと、可変長復号中にエラーが発生した
    場合にコード変換手段により出力される第3割り込み
    と、動き補償処理中にエラーが発生した場合に合成手段
    により出力される第4割り込みとを検出し、 状態更新手段は、割り込み検出手段により第１割り込み
    が検出されると状態テーブル中のヘッダ解析手段の状態
    を待ち状態に更新し、割り込み検出手段により第2割り
    込みが検出されると状態テーブルのヘッダ解析手段の状
    態を実行可能状態に更新し、割り込み検出手段により第
    ３及び第４割り込みが検出されると状態テーブル中のヘ
    ッダ解析手段の状態を実行可能状態に更新し、 エラー処理手段は、割り込み検出手段により第３及び第
    ４割り込みが検出されると定型処理手段における当該所
    定ブロックに関するデータを破棄させるよう構成される
    ことを特徴とする請求項１２記載の映像音声処理装置。
14. 【請求項１４】 制御手段は、 スレッドの切替えの要因となる割り込みの発生とその種
    別を検出する割り込み検出手段と、 割り込み検出手段によりエラー割り込みが検出された場
    合、定型処理手段における当該所定ブロックに関するデ
    ータを破棄させてヘッダ解析手段を実行可能状態にする
    エラー処理手段と、 割り込みの種別に応じて遷移するヘッダ解析手段および
    音声デコード手段の状態が実行状態であるか待ち状態で
    あるか実行可能状態であるかを管理する状態管理手段
    と、 ヘッダ解析手段が実行可能状態に遷移したときプロセッ
    サにヘッダ解析用スレッドを割り当てる切替え手段とを
    備えることを特徴とする請求項１０記載の映像音声処理
    装置。
15. 【請求項１５】 状態管理手段はヘッダ解析処理および
    音声デコード処理それぞれの状態を記憶する状態テーブ
    ルと、 割り込みの種別に応じて状態テーブルの更新を行う状態
    更新手段とを備えることを特徴とする請求項１４記載の
    映像音声処理装置。
16. 【請求項１６】 割り込み検出手段は、ヘッダ解析手段
    によるマクロブロックのヘッダ解析が終了したときヘッ
    ダ解析手段により出力される第１割り込みと、マクロブ
    ロックの復号が終了したとき定型処理手段により出力さ
    れる第２割り込みと、可変長復号中にエラーが発生した
    場合にコード変換手段により出力される第3割り込み
    と、動き補償処理中にエラーが発生した場合に合成手段
    により出力される第4割り込みとを検出し、 状態更新手段は、割り込み検出手段により第１割り込み
    が検出されると状態テーブル中のヘッダ解析手段の状態
    を待ち状態に更新し、割り込み検出手段により第2割り
    込みが検出されると状態テーブルのヘッダ解析手段の状
    態を実行可能状態に更新し、割り込み検出手段により第
    ３及び第４割り込みが検出されると状態テーブル中のヘ
    ッダ解析手段の状態を実行可能状態に更新し、 エラー処理手段は、割り込み検出手段により第３及び第
    ４割り込みが検出されると定型処理手段における当該所
    定ブロックに関するデータを破棄させるよう構成される
    ことを特徴とする請求項１５記載の映像音声処理装置。
17. 【請求項１７】 制御手段は、 スレッドの切替えの要因となる割り込みの発生とその種
    別を検出する割り込み検出手段と、 割り込みの種別に応じて遷移するヘッダ解析手段および
    音声デコード手段の状態が実行状態であるか待ち状態で
    あるか実行可能状態であるかを管理する状態管理手段
    と、 ヘッダ解析手段が待ち状態から実行可能状態に遷移した
    ときプロセッサに割り当てるスレッドを他のスレッドか
    らヘッダ解析用スレッドに切り替える切替え手段とを備
    えることを特徴とする請求項９記載の映像音声処理装
    置。
18. 【請求項１８】 状態管理手段は、 ヘッダ解析処理および音声デコード処理それぞれの状態
    を記憶する状態テーブルと、 割り込みの種別に応じて状態テーブルの更新を行う状態
    更新手段とを備えることを特徴とする請求項１７記載の
    映像音声処理装置。
19. 【請求項１９】 第１のプロセッサ及び第２のプロセッ
    サを備えるコンピュータに、圧縮音声データと圧縮映像
    データとを含むデータストリームをデコードすることに
    より映像データ及び音声データを復元する映像音声処理
    を実行させるためのプログラムを記録しているコンピュ
    ータ読み取り可能なプログラム記録媒体であって、 前記プログラムは、 第１のプロセッサに、データストリーム中のブロック単
    位に付加されたヘッダ情報の可変長復号処理を実行させ
    るヘッダ可変長復号ステップと、 第１のプロセッサに、データストリーム中の圧縮映像デ
    ータの可変長復号処理を実行させる圧縮映像可変長復号
    ステップと、 第１のプロセッサに、可変長復号処理された圧縮映像デ
    ータをブロック単位に復号する処理を実行させる圧縮映
    像復号ステップと、 第２のプロセッサに、可変長復号処理されたヘッダ情報
    の解析処理を実行させるヘッダ解析ステップと、 第２のプロセッサに、データストリーム中の圧縮音声デ
    ータの復号処理を実行させる圧縮音声復号ステップと、 第２のプロセッサに、前記ヘッダ解析ステップを実行す
    るか前記圧縮音声復号ステップを実行するかを切り替え
    させる第１の制御ステップと、 第１のプロセッサに、ヘッダ可変長復号復号ステップと
    圧縮映像可変長復号ステップにより、ヘッダ情報と圧縮
    映像データの可変長復号処理を行わせ、圧縮映像データ
    のブロックの可変長復号処理が終了後に、第２のプロセ
    ッサに対して、ヘッダ解析ステップにより次のブロック
    のヘッダ情報の解析処理を開始するように指示させる第
    ２の制御ステップと、 第２のプロセッサに、解析すべきヘッダ情報が可変長符
    号化されているときには、第１のプロセッセに対して、
    ヘッダ可変長復号ステップによりそのヘッダ情報の可変
    長復号処理を指示させ、可変長復号されたヘッダ情報を
    取得すると、ヘッダ解析ステップによりこれを解析さ
    せ、ブロックのヘッダ情報の取得が終了後に、第１のプ
    ロセッサに対して、圧縮映像可変長復号ステップにより
    前記ブロックの圧縮映像データの可変長復号処理を開始
    し、圧縮映像復号ステップにより、前記解析されたヘッ
    ダ情報を用いて前記前記可変長復号後の圧縮映像データ
    の復号処理を実行するように指示させる第３の制御ステ
    ップと、 第２のプロセッサに、前記ヘッダ情報の解析処理の指示
    を受けた時に、圧縮音声復号ステップを実行中の場合
    に、第１の制御ステップにより実行する処理をヘッダ解
    析ステップに切替えさせる第４の制御ステップとを含む
    ことを特徴とするコンピュータ読み取り可能なプログラ
    ム記録媒体。
20. 【請求項２０】 前記第２の制御ステップは、 第１のプロセッサに、映像ブロックの可変長復号が終了
    したとき、第２のプロセッサに対して映像ブロックの可
    変長復号終了を通知する割り込みを発生させるステップ
    を含み、 前記第４の制御ステップは、 第２のプロセッサに、ヘッダ解析ステップと圧縮音声復
    号ステップの切替えの要因となる割り込みの発生とその
    種別を検出させるステップと、 第２のプロセッサに、前記映像ブロックの可変長復号終
    了を通知する割り込みを検出したら、ヘッダ解析ステッ
    プを待ち状態から実行可能状態に遷移させるステップ
    と、 第２のプロセッサに、ヘッダ解析ステップが待ち状態か
    ら実行可能状態に遷移した場合に、第１の制御ステップ
    により実行する処理をヘッダ解析ステップに切替えさせ
    るステップとからなることを特徴とする請求項１９記載
    のコンピュータ読み取り可能なプログラム記録媒体。