JP4538161B2 - 映像音声処理装置 - Google Patents
映像音声処理装置 Download PDFInfo
- Publication number
- JP4538161B2 JP4538161B2 JP2001064650A JP2001064650A JP4538161B2 JP 4538161 B2 JP4538161 B2 JP 4538161B2 JP 2001064650 A JP2001064650 A JP 2001064650A JP 2001064650 A JP2001064650 A JP 2001064650A JP 4538161 B2 JP4538161 B2 JP 4538161B2
- Authority
- JP
- Japan
- Prior art keywords
- audio
- video
- stream
- processing
- standard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、デジタル信号処理の技術分野に関するものであって、圧縮されたビデオ及び音声データの伸長、ビデオ及び音声データの圧縮、グラフィックス処理などを行う映像音声処理装置に関するものである。
【０００２】
【従来の技術】
近年、ディジタル動画データの圧縮／伸長技術が確立されてきたことや、ＬＳＩ技術が向上してきたことがあいまって、圧縮ビデオ及び音声データを伸長するデコーダ、ビデオ及び音声データを圧縮するエンコーダ、グラフィックス処理を行うグラフィックス処理装置などの種々の映像音声処理装置が重要視されている。
【０００３】
従来技術の１つとして、ＤＶＤ−Ｖｉｄｅｏ規格の圧縮ビデオ及びオーディオストリームを伸長する映像音声処理装置がある。ＤＶＤ−Ｖｉｄｅｏ規格で知られるオーディオ信号のうちリニアＰＣＭフォーマットではその多くがサンプリング周波数４８ＫＨｚ、１６ｂｉｔ、２チャンネルであり、ビデオ信号の量がオーディオ信号の量よりも圧倒的に多い。この映像音声処理装置は、ＬＳＩ技術の向上に伴い、１チップ化に集積化されたＬＳＩとして実現されることも多い。このような映像音声処理装置のうち、たとえばＤＶＤ−Ｖｉｄｅｏ規格の圧縮ビデオ及びオーディオストリームを伸長する映像音声処理装置はおおよそ図５に示す構成となっている。
【０００４】
この映像音声処理装置本体部１０００に入出力処理部１１００、デコ−ド処理部１２００及びメモリコントローラ１３００を含み、外部には外部メモリ１４００が接続される。入出力処理部１１００は、外部より入力されるプログラムストリ−ムを入力するストリーム入力部１１１０と、データ転送時の内部バッファとして使用されるバッファメモリ１１２０と、複数のタスク手段を切り替えながら実行するＩ／Ｏプロセッサ１１４０とで構成される。デコード処理部１２００は、（First In First Out、以下ＦＩＦＯ）メモリ１２１０と、ビデオストリームの復号処理を行うビデオ処理部１２２０と、オーディオストリームの復号処理を行うオーディオ処理部１２３０とで構成される。ＦＩＦＯメモリ１２１０は、ビデオストリームをビデオ処理部１２２０に転送するビデオストリームＦＩＦＯ１２１１と、オーディオストリームをオーディオ処理部１２３０に転送するオーディオストリームＦＩＦＯ１２１２とを含んでいる。又メモリコントローラ１３００は映像音響処理装置本体部１０００と外部メモリ１４００との間でデータの入出力を行うものである。
【０００５】
また、外部に接続される外部メモリ１４００は、ビデオ用バッファエリア１４１０とオーディオ用バッファエリア１４２０が割り当てられている。
【０００６】
更に、Ｉ／Ｏプロセッサ１１４０内のストリームパーシング手段１１４１は、ストリーム入力部１１１０より入力され内部バッファメモリ１１２０に転送されたデータストリームを、オーディオ及びビデオストリームに分離し、メモリコントローラ１１３０に外部メモリ１４００内のビデオ及びオーディオ用バッファエリアへのデータ転送を指示するものである。ビデオバッファコントロール手段１１４２は、ビデオ用バッファエリア１３１０からビデオストリームＦＩＦＯ１２１１へビデオストリームの転送を行うものである。オーディオバッファコントロール手段１１４３は、オーディオ用バッファエリア１４２０からオーディオストリームＦＩＦＯ１２１２へオーディオストリームの転送を行うものである。
【０００７】
図５に示すように、まず、ＤＶＤ−Ｖｉｄｅｏ規格のプログラムストリームがストリーム入力部１１１０から入力されると、Ｉ／Ｏプロセッサ１１４０のストリームパーシング手段１１４１はビデオストリームとオーディオ用符号化信号とに分離する。そしてメモリコントローラ１３００を通じて、ビデオ用符号化信号をビデオ用バッファエリア１４１０へ、オーディオ用符号化信号はオーディオ用バッファエリア１４２０にそれぞれ転送する。次にビデオバッファコントロール手段１１４２はビデオ処理部１２２０からのストリーム供給リクエストに応じて、ビデオ用バッファエリア１４１０からビデオストリームＦＩＦＯ１２１１へビデオストリームを転送する。オーディオバッファコントロール手段１１４３は、オーディオ処理部１２３０からのストリーム供給リクエストに応じて、オーディオ用バッファエリア１４２０からオーディオストリームＦＩＦＯ１２１２へオーディオストリームを転送する。ビデオ処理部１２２０は、ビデオストリームＦＩＦＯ１２１１からビデオストリームを受信し、復号処理を行い映像出力信号を生成する。オーディオ処理部１２３０は、オーディオストリームＦＩＦＯ１２１２からオーディオストリームを受信し、復号処理を行い音声出力信号を生成する。
【０００８】
このような映像音声処理装置では、一般的に動画を対象としたＤＶＤ−Ｖｉｄｅｏ規格のビデオストリームがほとんどである。その場合にプログラムストリームに含まれるビデオストリームは、オーディオストリームに比べてデータ量が著しく大きく、また復号処理にかかる処理量もオーディオの復号処理より大きい場合がほとんどである。例えば、ビデオバッファコントロール手段１１４２のデータ転送処理能力はオーディオバッファコントロール手段１１４３と比較すると著しく大きく、またデコード処理部１２００におけるビデオ処理部１２２０の処理優先順位はオーディオ処理部１２３０より高い場合がほとんどである。ＤＶＤ−Ｖｉｄｅｏ規格のうちリニアＰＣＭフォーマットの音声信号の多くはコンパクトディスク規格とほぼ同一レベルの情報量を有し、２ｃｈ、サンプリング周波数４８ｋＨｚ、１６ビットリニアＰＣＭ信号である。
【０００９】
しかしながらこのような構成の映像音声処理装置では、オーディオ処理部とビデオ処理部とが夫々あらかじめ独立している。又他の映像音声規格として入力される音声と映像とで符号化信号の転送量や復号演算量の比率がＤＶＤ−Ｖｉｄｅｏ規格のプログラムストリームと大きく異なるＤＶＤ−Ａｕｄｉｏ規格が知られている。これは音声信号をより高音質に再生できるように音声信号の情報量を高めたもので、サンプリング周波数９６ｋＨｚ、６ｃｈ、２４ビットリニアＰＣＭや１９２ｋＨｚ、２ｃｈ、２４ビットリニアＰＣＭが選択できる。この場合、映像信号は一定間隔でスチル画像を表示する。映像音声処理装置においてＤＶＤ−Ｖｉｄｅｏ規格のプログラムストリームの処理に加えて、ＤＶＤ−Ａｕｄｉｏ規格に準拠したプログラムストリームの処理にも対応しようとした場合、オーディオバッファコントロール手段のデータ転送能力や音声処理部の演算処理能力はＤＶＤ−Ｖｉｄｅｏ規格のプログラムストリームの復号処理の場合と比べ高い能力が必要となる。これに対応するため回路規模を増大させたり、クロックの速度を速めると、結果としてコストや消費電力の増大につながってしまう。
【００１０】
【発明が解決しようとする課題】
本発明は、このような従来の問題点に鑑みてなされたものであって、回路規模を増大させたり、クロックの速度を速めることなく、例えばＤＶＤ−Ｖｉｄｅｏ規格及びＤＶＤ−Ａｕｄｉｏ規格に準拠するプログラムストリームのように、入力される音声と映像とで符号化信号の転送量や復号演算量の比率が大きく異なる少なくとも２種類のデータ方式の再生が可能な映像音声処理装置を提供するものである。
【００１１】
【課題を解決するための手段】
本願の請求項１の発明は、オーディオ及びビデオのデータストリームを含み、オーディオ及びビデオの情報量が異なる少なくとも２種類のデータストリームを復号し、再生する映像音声処理装置であって、ビデオ及びオーディオストリームを記憶するビデオ及びオーディオ用バッファエリアを含む外部メモリと、前記外部メモリからオーディオストリーム及びビデオストリームを夫々転送するオーディオストリームＦＩＦＯ及びビデオストリームＦＩＦＯと、を含み、ビデオ及びオーディオストリームを復号するデコード処理部と、入力された前記データストリームをオーディオ及びビデオストリームに分離し、前記外部メモリ内のビデオ及びオーディオ用バッファエリアへのデータ転送を指示するストリームパーシング手段と、前記外部メモリ内のビデオ及びオーディオ用バッファエリアから夫々前記ビデオ及びオーディオストリームＦＩＦＯへビデオ及びオーディオストリームの転送を行うデータ転送量の異なる第１，第２のバッファコントロール手段と、データストリームの種類に応じて前記第１，第２のバッファコントロール手段と前記ビデオ及びオーディオ用バッファエリアと前記ビデオ及びオーディオストリームＦＩＦＯをアサインするバッファコントロールアサイン手段と、を備えることを特徴とするものである。
【００１２】
本願の請求項２の発明は、請求項１の映像音声処理装置において、前記バッファコントロールアサイン手段は、オーディオストリームのデコード方式を示すオーディオデコーダ選択情報に応じて前記第１，第２のバッファコントロール手段と前記外部メモリのビデオ及びオーディオ用バッファエリア、及び前記ビデオ及びオーディオストリームＦＩＦＯへのアサインを決定するアサイン手段であることを特徴とするものである。
【００１３】
本願の請求項３の発明は、請求項２の映像音声処理装置において、前記映像音声処理装置は、前記第１のバッファコントロール手段と第２のバッファコントロール手段の最大可能データ転送量をそれぞれＸ及びＹとし、単位時間当たりの処理クロック数をそれぞれＡ及びＢとした場合、Ｘ＞Ｙ及びＡ＞Ｂの関係であることを特徴とするものである。
【００１４】
本願の請求項４の発明は、請求項３の映像音声処理装置において、前記映像音声処理装置は、映像及び音声の記録のための第１の映像・音声規格及び前記第１の映像・音声規格よりも映像の情報量が少なく、音声の情報量が多い第２の映像・音声規格に準拠したプログラムストリームを復号する映像音声処理装置であり、前記バッファコントロールアサイン手段は、前記ホストインターフェース部より伝達されるオーディオデコーダ選択情報が第１の映像・音声規格のオーディオデコーダを示す場合、前記第１バッファコントロール手段をビデオバッファエリアと前記ビデオストリームＦＩＦＯにアサインし、前記第２のバッファコントロール手段を前記オーディオバッファエリアと前記オーディオストリームＦＩＦＯにアサインすることを特徴とするものである。
【００１５】
本願の請求項５の発明は、請求項３の映像音声処理装置において、前記映像音声処理装置は、映像及び音声の記録のための第１の映像・音声規格及び前記第１の映像・音声規格よりも映像の情報量が少なく、音声の情報量が多い第２の映像・音声規格に準拠したプログラムストリームを復号する映像音声処理装置であり、前記バッファコントロールアサイン手段は、前記ホストインターフェース部より伝達されるオーディオデコーダ選択情報が第２の映像・音声規格のオーディオデコーダを示す場合、前記第１のバッファコントロール手段をオーディオバッファエリア、オーディオ用ストリームＦＩＦＯにアサインし、前記第２のバッファコントロール手段をビデオバッファエリア及び前記ビデオ用ストリームＦＩＦＯにアサインすることを特徴とするものである。
【００１６】
本願の請求項６の発明は、請求項３の映像音声処理装置において、前記映像音声処理装置は、映像及び音声の記録のための第１の映像・音声規格及び前記第１の映像・音声規格よりも映像の情報量が少なく、音声の情報量が多い第２の映像・音声規格に準拠したプログラムストリームを復号する映像音声処理装置であり、前記バッファコントロールアサイン手段は、前記ホストインターフェース部より伝達されるオーディオデコーダ選択情報が第１の映像・音声規格のオーディオデコーダを示す場合、前記第１のバッファコントロール手段をビデオバッファエリアと前記ビデオストリームＦＩＦＯにアサインし、前記第２のバッファコントロール手段を前記オーディオバッファエリアと前記オーディオストリームＦＩＦＯにアサインすると共に、前記ホストインターフェース部より伝達されるオーディオデコーダ選択情報が第２の映像・音声規格のオーディオデコーダを示す場合、前記第１のバッファコントロール手段をオーディオバッファエリア、オーディオ用ストリームＦＩＦＯにアサインし、前記第２のバッファコントロール手段をビデオバッファエリア及び前記ビデオ用ストリームＦＩＦＯにアサインすることを特徴とするものである。
【００１７】
本願の請求項７の発明は、オーディオ及びビデオのデータストリームを含み、オーディオ及びビデオの情報量が異なる少なくとも２種類のデータストリームを復号し、再生する映像音声処理装置であって、前記映像音声処理装置は、入出力処理部、デコ−ド処理部、メモリコントローラ、及び外部メモリを含んで構成され、入出力処理部は、外部より非同期に入力される前記デ−タストリ−ムを入力するストリーム入力部と、データ転送時の内部バッファとして使用されるバッファメモリと、複数のタスク手段を切り替えながら実行するＩ／Ｏプロセッサとを含んで構成され、デコード処理部は、ビデオストリームに含まれる所定ブロックのヘッダ解析とオーディオストリームの復号処理を行う逐次処理部と、前記逐次処理部の復号処理と並行してビデオストリームのヘッダ解析処理を除く復号処理を行う定型処理部と、前記外部メモリから前記メモリコントローラにより転送されるオーディオストリームを逐次処理部に転送するオーディオストリームＦＩＦＯと、外部メモリから前記メモリコントローラにより転送されるビデオストリームを定型処理部に転送するビデオストリームＦＩＦＯと、を含んで構成され、メモリコントローラは、外部メモリのデータ入出力の制御を行うコントローラであり、前記外部メモリは、前記メモリコントローラより転送されるビデオ及びオーディオストリームを記憶するビデオ及びオーディオ用バッファエリアを含んで構成され、前記入出力処理部のＩ／Ｏプロセッサは、前記ストリーム入力部より入力され前記バッファメモリに転送された前記データストリームをオーディオ及びビデオストリームに分離し前記メモリコントローラに外部メモリ内のビデオ及びオーディオ用バッファエリアへのデータ転送を指示するストリームパーシング手段と、前記外部メモリ内のビデオあるいはオーディオ用バッファエリアから前記ビデオ及びオーディオストリームＦＩＦＯへビデオ及びオーディオストリームの転送を行う第１，第２のバッファコントロール手段と、データストリームの種類に応じて前記第１，第２のバッファコントロール手段と前記ビデオ及びオーディオ用バッファエリアと前記ビデオ及びオーディオストリームＦＩＦＯをアサインするバッファコントロールアサイン手段と、を備えることを特徴とするものである。
【００１８】
本願の請求項８の発明は、請求項７の映像音声処理装置において、前記映像音声処理装置は、前記入出力処理部による入出力処理と、前記デコード処理部によるデコード処理とを平行して行うよう構成されることを特徴とするものである。
【００１９】
本願の請求項９の発明は、請求項７の映像音声処理装置において、前記入出力処理部は、外部のＣＰＵと前記Ｉ／Ｏプロセッサとの通信を行うホストインターフェース部を備え、前記Ｉ／Ｏプロセッサは、少なくともホストインターフェース部より伝達されるホストコミュニケーション情報を記憶するＩ／Ｏメモリを備え、前記ホストコミュニケーション情報は、オーディオストリームのデコード方式を示すオーディオデコーダ選択情報を含んで構成され、前記バッファコントロールアサイン手段は、オーディオデコーダ選択情報に応じて前記第１，第２のバッファコントロール手段と前記外部メモリのビデオ及びオーディオ用バッファエリア、及び前記ビデオ及びオーディオストリームＦＩＦＯへのアサインを決定するアサイン手段であることを特徴とするものである。
【００２０】
本願の請求項１０の発明は、請求項９の映像音声処理装置において、前記映像音声処理装置は、前記第１のバッファコントロール手段と第２のバッファコントロール手段の最大可能データ転送量をそれぞれＸ及びＹとし、単位時間当たりの処理クロック数をそれぞれＡ及びＢとした場合、Ｘ＞Ｙ及びＡ＞Ｂの関係であることを特徴とするものである。
【００２１】
本願の請求項１１の発明は、請求項１０の映像音声処理装置において、前記映像音声処理装置は、映像及び音声の記録のための第１の映像・音声規格及び前記第１の映像・音声規格よりも映像の情報量が少なく、音声の情報量が多い第２の映像・音声規格に準拠したプログラムストリームを復号する映像音声処理装置であり、前記バッファコントロールアサイン手段は、前記ホストインターフェース部より伝達されるオーディオデコーダ選択情報が第１の映像・音声規格のオーディオデコーダを示す場合、前記第１バッファコントロール手段をビデオバッファエリアと前記ビデオストリームＦＩＦＯにアサインし、前記第２のバッファコントロール手段を前記オーディオバッファエリアと前記オーディオストリームＦＩＦＯにアサインすることを特徴とするものである。
【００２２】
本願の請求項１２の発明は、請求項１０の映像音声処理装置において、前記映像音声処理装置は、映像及び音声の記録のための第１の映像・音声規格及び前記第１の映像・音声規格よりも映像の情報量が少なく、音声の情報量が多い第２の映像・音声規格に準拠したプログラムストリームを復号する映像音声処理装置であり、前記バッファコントロールアサイン手段は、前記ホストインターフェース部より伝達されるオーディオデコーダ選択情報が第２の映像・音声規格のオーディオデコーダを示す場合、前記第１のバッファコントロール手段をオーディオバッファエリア、オーディオ用ストリームＦＩＦＯにアサインし、前記第２のバッファコントロール手段をビデオバッファエリア及び前記ビデオ用ストリームＦＩＦＯにアサインすることを特徴とするものである。
【００２３】
本願の請求項１３の発明は、請求項１０の映像音声処理装置において、前記映像音声処理装置は、映像及び音声の記録のための第１の映像・音声規格及び前記第１の映像・音声規格よりも映像の情報量が少なく、音声の情報量が多い第２の映像・音声規格に準拠したプログラムストリームを復号する映像音声処理装置であり、前記バッファコントロールアサイン手段は、前記ホストインターフェース部より伝達されるオーディオデコーダ選択情報が第１の映像・音声規格のオーディオデコーダを示す場合、前記第１のバッファコントロール手段をビデオバッファエリアと前記ビデオストリームＦＩＦＯにアサインし、前記第２のバッファコントロール手段を前記オーディオバッファエリアと前記オーディオストリームＦＩＦＯにアサインすると共に、前記ホストインターフェース部より伝達されるオーディオデコーダ選択情報が第２の映像・音声規格のオーディオデコーダを示す場合、前記第１のバッファコントロール手段をオーディオバッファエリア、オーディオ用ストリームＦＩＦＯにアサインし、前記第２のバッファコントロール手段をビデオバッファエリア及び前記ビデオ用ストリームＦＩＦＯにアサインすることを特徴とするものである。
【００２４】
本願の請求項１４の発明は、請求項９の映像音声処理装置において、前記逐次処理部は、ビデオストリームに含まれる所定ブロックのヘッダ解析を行うヘッダ解析処理手段と、少なくとも第１の映像・音声規格のオーディオストリームの音声復号処理を行う第１オーディオデコード手段と及び第２の映像・音声規格のオーディオストリームの音声復号処理を行う第２オーディオデコード手段を含むオーディオ処理手段と、前記ヘッダ解析処理手段と前記オーディオ処理手段の切り替えを行うオペレーションスレッド手段と、を含んで構成されることを特徴とするものである。
【００２５】
本願の請求項１５の発明は、請求項７の映像音声処理装置において、前記映像音声処理装置は、映像及び音声の記録のための第１の映像・音声規格及び前記第１の映像・音声規格よりも映像の情報量が少なく、音声の情報量が多い第２の映像・音声規格に準拠したプログラムストリームを復号する映像音声処理装置であり、前記逐次処理部は、ビデオストリームに含まれる所定ブロックのヘッダ解析を行うヘッダ解析処理手段と、少なくとも第１の映像・音声規格のオーディオストリームの音声復号処理を行う第１オーディオデコード手段と及び第２の映像・音声規格のオーディオストリームの音声復号処理を行う第２オーディオデコード手段を含むオーディオ処理手段と、前記ヘッダ解析処理手段と前記オーディオ処理手段の切り替えを行うオペレーションスレッド手段と、を含んで構成され、前記オスペレーションスレッド手段は、前記ヘッダ解析処理手段によるビデオストリームに含まれる所定ブロックのヘッダ解析処理を前記第２オーディオ処理手段によるオーディオストリームの音声復号処理より優先的に行うようスレッド切り替えを実行するヘッダ解析優先手段を含み、前記オーディオ処理手段が、オペレーションスレッド手段からの割り込みを禁止する割込み禁止設定手段を備えることを特徴とするものである。
【００２６】
【発明の実施の形態】
本発明の実施の形態における映像音声処理装置について図面を参照しながら説明する。図１は、本発明の実施の形態１における映像音声処理装置の全体構成を示すブロック図である。
【００２７】
本実施の形態における映像音声処理装置は、映像及び音声の記録のための第１の映像・音声規格であるＤＶＤ−Ｖｉｄｅｏ規格準拠のプログラムストリームのデコード処理に加え、第１の映像・音声規格よりも映像の情報量が少なく、音声の情報量が多い第２の映像・音声規格であるＤＶＤ−Ａｕｄｉｏ規格準拠のプログラムストリームのデコード処理にも対応している。
【００２８】
映像音声処理装置本体部２０００は、入出力処理部２１００、デコード処理部２２００、メモリコントローラ２３００を備え、入出力処理とデコード処理とを並行して行うよう構成されている。また、外部メモリ２４００は、ＭＰＥＧストリームやデコード後の音声データを一時的に記憶する作業用メモリ、デコード後の映像データを記憶するフレームメモリとして利用される。
【００２９】
入出力処理部２１００は、映像音声処理装置本体部２０００の内部動作とは非同期に発生する以下の入出力処理を行うものである。
（ａ）外部から非同期に入力されるプログラムストリームを入力して外部メモリ２４００に一時的に格納する。
（ｂ）外部メモリ２４００に格納された映像及びオーディオストリームをデコード処理部２２００に供給する。
（ｃ）デコードされた映像データ、音声データを外部メモリ２４００から読み出し、外部の表示装置、音声出力装置（図外）それぞれの出力レートに合わせて出力する。
【００３０】
入出力処理部２１００は、ストリーム入力部２１１０、バッファメモリ２１２０、Ｉ／Ｏプロセッサ２１３０、ＤＭＡＣ（Direct Memory Access Controller ）２１４０、ビデオ出力部２１５０、オーディオ出力部２１６０、及びホストＩ／Ｆ部２１７０を備える。
【００３１】
ストリーム入力部２１１０は、外部からシリアルに入力されるプログラムストリームをパラレルデータに変換し、Ｉ／Ｏプロセッサ２１３０の制御によりバッファメモリ２１２０に転送するものである。
【００３２】
バッファメモリ２１２０は、ストリーム入力部２１１０から転送されたストリームデータを一時的に保持する緩衝用メモリである。Ｉ／Ｏプロセッサ２１３０はバッファメモリ２１２０に保持されたストリームデータをメモリコントローラ２３００を介して外部メモリ２４００に転送するものである。
【００３３】
外部メモリ２４００は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）チップにより構成され、バッファメモリ２１２０からメモリコントローラ２３００を介して転送されたストリームデータを一時的に保持するメモリである。本実施の形態では、映像及びオーディオストリームを夫々記憶するビデオバッファエリア２４１０及びオーディオ用バッファエリア２４２０が確保されているものとする。さらに、外部メモリ２４００は復号後の映像データ（以降、フレームデータとも呼ぶ）及び復号後の音声データも保持する。
【００３４】
Ｉ／Ｏプロセッサ２１３０は、図２に示すようにストリーム入力部２１１０、バッファメモリ２１２０、ビデオ及びオーディオストリームＦＩＦＯ２２１１、２２１２の間のデータ入出力を制御する。又メモリコントローラ２３００を介して外部メモリ２４００の入出力を制御する。すなわち以下の（１）〜（４）に示す経路のデータ転送（ＤＭＡ転送）を制御するものである。
（１）ストリーム入力部２１１０→バッファメモリ２１２０→メモリコントローラ２３００→外部メモリ２４００
（２）外部メモリ２４００→メモリコントローラ２３００→ＦＩＦＯメモリ２２１０
（３）外部メモリ２４００→メモリコントローラ２３００→バッファメモリ２１２０→ビデオ出力部２１５０
（４）外部メモリ２４００→メモリコントローラ２３００→バッファメモリ２１２０→オーディオ出力部２１６０
【００３５】
これらの径路においてＩ／Ｏプロセッサ２１３０は、プログラムストリーム中のビデオストリームとオーディオストリームとの転送をそれぞれ独立に制御する。また、（１）、（２）は復号前のストリームの転送経路であり、これらの転送経路においてＩ／Ｏプロセッサ２１３０は、映像符号化信号とオーディオストリームとを別個に転送する。（３）、（４）はそれぞれ、復号後の映像、音声データの転送経路である。復号後の映像、音声データは、外部の表示装置（図外）、音声出力装置（図外）それぞれの出力レートに合わせて転送される。
【００３６】
本実施の形態では、Ｉ／Ｏプロセッサ２１３０は上記（１）〜（４）を含むデータ入出力管理を時分割多重実行できるマルチスレッド型のプロセッサである。
各スレッドは、一定時間ごとに起動され、割り当てられた時間分の処理を実行するため、実時間動作を保証できるよう構成される。またＩ／Ｏプロセッサは、内部に各スレッドのワーク用メモリとしてＩ／Ｏメモリ２１３１を装備し、また内部に外部メモリ２４００とＦＩＦＯメモリ２２１０へのストリーム転送のタスクアサインを制御するバッファコントロールアサイン手段２１３８を含んで構成される。本実施の形態では、説明を容易にするため、Ｉ／Ｏプロセッサ内の各処理の構成を以下のように設定する。
【００３７】
ストリームパーシング手段２１３２は、ストリーム入力部２１１０より入力されたプログラムストリームの解析を行い、ＡＶデコードに必要なデータかどうかの判断を行い、オーディオ・ビデオ・副映像の各ストリームの分離処理とバッファメモリ２１２０への転送制御を行うタスクである。その結果たとえば、多国語対応プログラムストリームから外部ホストＣＰＵ等により選択されるオーディオストリームを選択することができる。
【００３８】
第１バッファコントロール手段２１３３は、上記（２）の経路のデータ転送を専門に扱うタスクであり、バッファコントロールアサイン手段２１３８の制御によりビデオあるいはオーディオストリームの転送制御を行う。バッファコントロールアサイン手段２１３８により、このタスクがビデオストリーム転送用に割り当てられた場合の第１バッファコントロール手段２１３３は、デコード処理部２２００のリクエストに応じて、外部メモリ２４００のビデオバッファエリア２４１０からメモリコントローラ２３００を介してＦＩＦＯメモリ２２１０内のビデオストリームＦＩＦＯ２２１１へビデオストリームデータを転送する。又オーディオストリーム転送用に割り当てられた場合、第１バッファコントロール手段２１３３は、デコード処理部２２００のリクエストに応じて、外部メモリ２４００のオーディオバッファエリア２４２０からメモリコントローラ２３００を介してＦＩＦＯメモリ２２１０内のオーディオストリームＦＩＦＯ２２１２へオーディオストリームデータを転送する。
【００３９】
第２バッファコントロール手段２１３４は、第１バッファコントロール手段２１３３と同様、上記（２）の経路のデータ転送を扱うタスクであるが、他にオーディオ出力データの転送を扱う（４）の経路等のデータ転送も扱う。第１バッファコントロール手段は上記（２）の経路のデータ転送を専門に扱うのに対し、第２バッファコントロール手段は上記（２）の経路のデータ転送以外のタスクも掛け持っている。その分第１バッファコントロール手段２１３３より最大転送レートは小さい。ここで第１，第２バッファコントロール手段の最大可能データ転送量をそれぞれＸ及びＹとし、単位時間当たりの処理クロック数をそれぞれＡ及びＢとした場合、Ｘ＞Ｙ及びＡ＞Ｂの関係であるものとする。
【００４０】
ホストインターフェース手段２１３５は、ホストＩ／Ｆ部２１７０を介して本映像音声処理装置を制御する外部ホストプロセッサとの通信を行うタスクである。例えば外部プロセッサから入力される、音声符号化方式を選択するオーディオデコーダ選択情報等の各ホストコミュニケーション情報は、このタスクによりＩ／Ｏメモリ２１３１に格納される。
【００４１】
デコード処理部インターフェース手段２１３６は、デコード処理部２２００との通信手段であり、例えばデコード処理部２２００へのホストプロセッサからの制御情報はこのタスクにより伝達される。
【００４２】
ビデオ出力信号制御手段２１３７は、上記（３）の経路のデータ転送を行うタスクであり、外部メモリ２４００内部のビデオ出力信号をビデオ出力部２１５０へ出力する。
【００４３】
また、本実施の形態におけるバッファコントロールアサイン手段２１３８は、ホストインターフェース手段２１３５によってＩ／Ｏメモリ２１３１に格納されたオーディオデコーダ選択情報を読み込む。そしてＤＶＤ−Ｖｉｄｅｏ規格のオーディオデコーダが選択されている場合は、第１バッファコントロール手段２１３３をビデオストリーム転送用に割り当て、第２バッファコントロール手段２１３４をオーディオストリーム転送用に割り当てる。又ＤＶＤ−Ａｕｄｉｏ規格のオーディオデコーダが選択されている場合は、第１バッファコントロール手段２１３３をオーディオストリーム転送用に割り当て、第２バッファコントロール手段２１３４をビデオストリーム転送用に割り当てる。これはＤＶＤ−Ｖｉｄｅｏ規格のプログラムストリームが、動画を扱うビデオストリームとオーディオストリームを多重化したもので、ビデオストリームの占めるデータ割合がオーディオストリームに比べ非常に大きい。逆にＤＶＤ−Ａｕｄｉｏ規格のプログラムストリームは、プリローディング用の静止画ストリーム以外はすべてオーディオストリームである。よって、扱う最大データ転送量が大きい第１バッファコントロール手段への割り当てをそれぞれ、前者の場合はビデオ、後者の場合はオーディオとしている。
【００４４】
デコード処理部２２００は、入出力処理部２１００の動作とは独立に並行して、入出力処理部２１００によって供給されるビデオ及びオーディオストリームをデコードし、Ｉ／Ｏプロセッサとの通信により、デコード後の映像データ及び音声データを外部メモリ２４００に格納する。
【００４５】
図１においてデコード処理部２２００は、ＦＩＦＯメモリ２２１０、逐次処理部２２２０と、定型処理部２２３０とを備え、ビデオストリームの復号処理は逐次処理部２２２０と、定型処理部２２３０のそれぞれが処理を分担する。すなわち逐次処理部２２２０は、ビデオストリームのマクロブロックヘッダ部分のヘッダ解析処理を行い、定型処理部２２３０は、ビデオストリームのマクロブロック本体部分のデコード処理を行う。このようにデコード処理部２２００においては、圧縮ビデオストリームのマクロブロック毎に逐次処理部２２２０と定型処理部２２３０とが一回ずつそれぞれの処理を行う。一方、オーディオストリームのデコード処理（以下音声デコード処理と略す）は、逐次処理部２２２０が１マクロブロックのヘッダ解析処理と次の１マクロブロックのヘッダ解析処理との間の時間帯に行う。
【００４６】
尚、ＭＰＥＧ規格のプログラムストリームにおけるビデオストリームとそのマクロブロックのデータ構成は、公知の文献、たとえば（ISO/IEC 13818-2 "Infomation Technology-Generic Coding of Moving Pictures and Accociated Adio: Part2-Video"）に詳しく説明されているので、ここでは説明は省略する。
【００４７】
ＦＩＦＯメモリ２２１０は、２つのＦＩＦＯからなり、それぞれビデオ用ＦＩＦＯメモリ２２１１、オーディオ用ＦＩＦＯメモリ２２１２として割り当てられる。Ｉ／Ｏプロセッサ２１３０の制御の下で外部メモリ２４００から転送されたビデオストリーム、オーディオストリームをそれぞれ先入れ先出し式に記憶する。尚、ビデオ用ＦＩＦＯメモリ２２１１はビデオストリームのマクロブロック本体部分のデコード処理を行う定型処理部２２３０と連結しており、オーディオ用ＦＩＦＯメモリ２２１２はオーディオストリームのデコード処理全般を行う逐次処理部２２２０と連結している。
【００４８】
逐次処理部２２２０は、図３に示すようにプロセッサと内部メモリ２２２８とを有し、メモリに含まれるスレッドプログラム（以下、スレッドという）を実行するものである。なおここでスレッドとはマルチスレッドの環境で行われるひとかたまりの処理プログラムのことを指す。逐次処理部２２２０はビデオのマクロブロックのヘッダ解析処理を主に行うヘッダ解析処理手段２２２１と、オーディオストリームのデコード処理を行うオーディオ処理手段２２２２と、ビデオ処理手段とオーディオ処理手段の切り替えを行うオペレーションスレッド手段２２２３とが含まれる。
【００４９】
逐次処理部２２２０においては、ヘッダ解析処理を音声デコード処理より優先させるために、オペレーションスレッド手段２２２３は内部のヘッダ解析優先手段２２２６によりヘッダ解析処理を音声デコード処理より優先的に行うよう構成されている。
【００５０】
ここで、ヘッダ解析処理手段２２２１によるヘッダ解析処理は、マクロブロックのヘッダ情報の解析と動きベクトルの計算とを含む。マクロブロックのヘッダ部分には、マクロブロック本体部分のデコードを行うにあたって必要となる情報（ヘッダ情報）が記録されており、逐次処理部２２２０は、解析によって得られた各種データを定型処理部２２３０に出力する。動きベクトルとは、参照フレーム中の８＊８の矩形領域を指すベクトルであり、当該ブロックが参照フレーム中のどの矩形領域との差分がとられたかを指し示す。
【００５１】
一方、オーディオ処理手段２２２２による音声デコード処理は、オーディオストリームのヘッダ部分の解析とデータ本体部分のデコードとを逐次処理部２２２０内部のみで独立して行う。このため音声デコード処理の中断及び再開はヘッダ解析処理に比べて容易である。
【００５２】
第１オーディオデコード手段２２２４によるＤＶＤ−Ｖｉｄｅｏ規格の音声デコード処理は、動画再生処理を扱うビデオ処理と比べると、ビデオ処理におけるマクロブロックのヘッダ解析と次のヘッダ解析との間の時間帯で十分に処理できるほど処理量が少ない。これらの理由から逐次処理部２２２０においてはヘッダ解析処理を音声デコード処理より優先的に行うよう構成されている。
【００５３】
第２オーディオデコード手段２２２５によるＤＶＤ−Ａｕｄｉｏ規格の音声デコード処理は、最短表示間隔が０．４秒の静止画再生処理を扱うビデオ処理と比べ、ストリームのデータ転送量や復号処理にかかる演算量は決して少ないとはいえない。
【００５４】
もし、ビデオ処理におけるマクロブロックのヘッダ解析と次のヘッダ解析との間の時間帯でそのまま処理しようとすると、オペレーションスレッド手段２２２３内部のヘッダ解析優先手段２２２６により、静止画再生の切り替え直後に次の静止画表示用のビデオストリームのデコード開始時において、ヘッダ解析処理を音声デコード処理より優先的に行うため、結果として過渡的にオーディオデコード処理量の不足が生じてしまう。
【００５５】
そこでオーディオ処理手段２２２２に割込み禁止設定手段２２２７が装備され、ＤＶＤ−Ａｕｄｉｏ規格対応の第２オーディオデコード手段２２２５では、割込み禁止設定手段２２２７によってオペレーションスレッド手段２２２３のスレッド割り込みを制限し、オーディオ処理におけるリアルタイム性を確保している。
【００５６】
定型処理部２２３０は、内部にコード変換部２２３１、画素演算部２２３２、画素読み書き部２２３３を備える。定型処理部２２３０はビデオデコード処理におけるマクロブロック本体部分について、コード変換部２２３１による可変長符号の復号（ＶＬＤ:Variable Length code Decoding）、画素演算部２２３２による逆量子化（ＩＱ：Inverse Quantization）と逆離散余弦変換（ＩＤＣＴ:Inverse Discrete Cosine Transform）、画素読み書き部２２３３による動き補償（ＭＣ:Motion Compensation）を同順に定型処理としてパイプライン方式によって行う。ただし定型処理部２２３０は、ＶＬＤについては、マクロブロック本体部分のみでなく、マクロブロックのヘッダ部分についても行って、復号されたヘッダ部分のデータを逐次処理部２２２０に出力する。定型処理部２２３０は、動き補償において、復号後のブロックをフレームメモリとしての外部メモリ２４００にメモリコントローラ２３００を介して格納する。
【００５７】
オーディオ処理手段２２２２は、ＤＶＤ−Ｖｉｄｅｏ規格対応の第１オーディオデコード手段２２２４と、ＤＶＤ−Ａｕｄｉｏ規格対応の第２オーディオデコード手段２２２５とで構成され、また内部に割込み禁止設定手段２２２７が装備されている。第１オーディオデコード手段２２２４は、たとえばドルビーディジタル方式（通称ＡＣ３）や、ＭＰＥＧオーディオ（ＩＳＯ／ＩＥＣ１１１７２−３あるいは１３８１８−３）を対象とするデコード手段であってもよい。又第２オーディオデコード手段２２２５は、ＰａｃｋｅｄＰＣＭ方式を対象とするデコード手段であってもよい。
【００５８】
本実施の形態におけるデコード処理部２２００の各主要部で行われる処理タイミングを図４に示す。なお同図において、横軸は時間を示し、ｔ０〜ｔ４は、時間軸上の時刻を示す。同図において、逐次処理部２２２０はオペレーションスレッド手段２２２３を介してヘッダ解析処理手段２２２１により、まず１マクロブロック分のヘッダ解析処理（ヘッダ情報の解析と動きベクトルの計算）を行う（ｔ０〜ｔ２）。この処理中において逐次処理部２２２０はオペレーションスレッド手段２２２３を介して、ヘッダ情報の解析を終了すると（ｔ１）、動きベクトルの計算処理の前に、コード変換部２２３１にマクロブロック本体部分のＶＬＤ開始指示を出力する。逐次処理部２２２０は、１マクロブロック分のヘッダ解析を終了した後、オペレーションスレッド手段２２２３を介してオーディオ処理手段２２２２により音声デコード処理を開始する（ｔ２）。コード変換部２２３１がマクロブロック本体部分のＶＬＤを終了すると（ｔ３）、逐次処理部２２２０はオペレーションスレッド手段２２２３のヘッダ解析優先手段２２２６により、音声デコード処理を中断してヘッダ解析処理手段２２２１へスレッド処理を移行し、ヘッダ解析処理を開始する。
【００５９】
ここで、オーディオ処理手段２２２２による音声デコード処理が、第１オーディオデコード手段２２２４（ＤＶＤ−Ｖｉｄｅｏ規格のデコード処理）によって行われる場合であれば、オペレーションスレッド手段２２２３によるスレッド切替えは、スムーズに行われるが、第２オーディオデコード手段２２２５（ＤＶＤ−Ａｕｄｉｏ規格のデコード処理）によって行われる場合は、割込み禁止設定手段２２２７によって割り込みタイミングが制限される。これは上記の説明でも触れたように、ＤＶＤ−Ｖｉｄｅｏ規格のプログラムストリーム再生における音声デコード処理は、動画再生処理を扱うビデオ処理と比べると、ビデオ処理におけるマクロブロックのヘッダ解析と次のヘッダ解析との間の時間帯で十分に処理できるほど処理量が少ないのに対し、ＤＶＤ−Ａｕｄｉｏ規格のプログラムストリーム再生における音声デコード処理が、最短表示間隔が０．４秒の静止画再生処理を扱うビデオ処理と比べ、処理量が大きいからである。そこで割込み禁止設定手段２２２７によってオペレーションスレッド手段２２２３のスレッド割り込みを制限する。こうすればＤＶＤ−Ａｕｄｉｏ規格においてもオーディオ処理のリアルタイム性を確保することができる。
【００６０】
以上のように構成された映像音声処理装置の動作について説明する。尚、本実施の形態では説明を容易にするため、最初にＤＶＤ−Ｖｉｄｅｏ規格のデコード処理における入出力処理部及びデコード処理部における動作を説明し、次にＤＶＤ−Ａｕｄｉｏ規格のデコード処理における入出力処理部及びデコード処理部における動作を説明する。
【００６１】
＜ＤＶＤ−Ｖｉｄｅｏ規格のデコード処理における入出力処理部＞
まずデコード開始前に、ホストＩ／Ｆ部２１７０を介してＩ／Ｏプロセッサ２１３０の制御（ホストインターフェース手段２１３５）によって、ホストコミュニケーション情報がＩ／Ｏメモリ２１３１に格納される。ここで音声符号化方式を選択するオーディオデコーダ選択情報によってＤＶＤ−Ｖｉｄｅｏ規格のオーディオデコーダが選択される。
【００６２】
続いて入出力処理部２１００において、ストリーム入力部２１１０から非同期に入力されるプログラムストリームは、Ｉ／Ｏプロセッサ２１３０の制御（ストリームパーシング手段２１３２）によって、解析がおこなわれ、分離処理とバッファメモリ２１２０、メモリコントローラ２３００を介して一旦外部メモリ２４００に格納される。
【００６３】
さらに、プログラムストリームはメモリコントローラ２３００を介してＦＩＦＯメモリ２２１０に保持される。このときＩ／Ｏプロセッサ２１３０では、内部のバッファコントロールアサイン手段２１３８によって、Ｉ／Ｏメモリ２１３１に格納されているオーディオデコーダ選択情報を読み出す。ここではＤＶＤ−Ｖｉｄｅｏ規格のオーディオデコーダが選択されていることから、第１バッファコントロール手段２１３３をビデオストリーム転送用に割り当て、第２バッファコントロール手段２１３４をオーディオストリーム転送用に割り当てる。これはＤＶＤ−Ｖｉｄｅｏ規格のプログラムストリームが、動画を扱うビデオストリームとオーディオストリームを多重化したもので、ビデオストリームの占めるデータ割合がオーディオストリームに比べ非常に大きいためである。
【００６４】
この場合、第１バッファコントロール手段２１３３は、デコード処理部２２００のリクエストに応じて、外部メモリ２４００のビデオバッファエリア２４１０からメモリコントローラ２３００を介してＦＩＦＯメモリ２２１０内のビデオストリームＦＩＦＯ２２１１へビデオストリームデータを転送する。又第２バッファコントロール手段２１３４は、外部メモリ２４００のオーディオバッファエリア２４２０からメモリコントローラ２３００を介してＦＩＦＯメモリ２２１０内のオーディオストリームＦＩＦＯ２２１２へオーディオストリームデータを転送する。
【００６５】
このようにＩ／Ｏプロセッサ２１３０は、ＦＩＦＯメモリ２２１０に過不足なく一定量のビデオ及びオーディオストリームデータを供給するので、デコード処理部２２００は、非同期の入出力とは切り離されて、デコード処理に専従することができる。ここまでの処理は、上記入出力処理部２１００により、デコード処理部２２００とは独立に並行してなされる。
【００６６】
＜ＤＶＤ−Ｖｉｄｅｏ規格のデコード処理におけるデコード処理部＞
まず逐次処理部２２２０では、Ｉ／Ｏプロセッサ２１３０内のデコード処理部インターフェース手段２１３６を介してオーディオデコーダ選択情報を入手し、オーディオ処理手段２２２２におけるデコーダとして第１オーディオデコード手段２２２４をセットする。
【００６７】
逐次処理部２２２０では、オペレーションスレッド手段２２２３の制御によってヘッダ解析処理手段２２２１によるビデオヘッダ解析処理とオーディオ処理手段２２２２によるオーディオデコードとを交互に繰り返して行う。逐次処理部２２２０は、ヘッダ解析処理手段２２２１によって１マクロブロック分のヘッダ解析を行い、解析結果を定型処理部２２３０のコード変換部２２３１、画素演算部２２３２、画素読み書き部２２３３に通知した後、コード変換部２２３１に対してマクロブロックのＶＬＤ開始を指示する。その後逐次処理部２２２０は、動きベクトルを計算し、画素読み書き部２２３３に計算結果を出力する。この出力の後、逐次処理部２２２０はオペレーションスレッド手段２２２３を介して、ヘッダ解析を終了する。
【００６８】
オペレーションスレッド手段２２２３は、ヘッダ解析終了後、オーディオ処理手段２２２２を実行状態にする。オーディオ処理手段２２２２が実行状態になることにより、逐次処理部２２２０はオーディオデコード処理を開始する。オーディオ処理手段２２２２の実行によって、オーディオデコード処理は、内部の第１オーディオデコード手段２２２４によって、オーディオストリームＦＩＦＯ２２１２からオーディオストリームが読み込まれ、デコード処理が行なわれる。デコード後の音声データは内部メモリ２２２８に一旦保持され、さらにメモリコントローラ２３００により外部メモリ２４００にＤＭＡ転送される。
【００６９】
音声デコード処理中にオペレーションスレッド手段２２２３は、定型処理部２２３０のコード変換部２２３１によるＶＬＤ終了を検出すると、ヘッダ解析処理手段２２２１が実行可能状態になるので、ヘッダ解析優先手段２２２４により、音声デコード処理を中断してヘッダ解析処理手段２２２１へ処理を移行し、ヘッダ解析処理を開始する。これによって逐次処理部２２２０では、次のマクロブロックのヘッダ解析を開始する。
【００７０】
ここで、オーディオ処理手段２２２２による音声デコード処理が、第１オーディオデコード手段２２２４（ＤＶＤ−Ｖｉｄｅｏ規格のデコード処理）によって行われるため、オペレーションスレッド手段２２２３によるスレッド切替えは、ビデオのヘッダ解析を優先し、スムーズに行われるので、ビデオ動画の処理はリアルタイム性を維持することができる。
【００７１】
＜ＤＶＤ−Ａｕｄｉｏ規格のデコード処理における入出力処理部＞
上記ＤＶＤ−Ｖｉｄｅｏ規格のデコード処理における場合と同様、デコード開始前に、ホストＩ／Ｆ部２１７０を介してホストインターフェース手段２１３５によって、ホストコミュニケーション情報がＩ／Ｏメモリ２１３１に格納される。ここで音声符号化方式を選択するオーディオデコーダ選択情報によってＤＶＤ−Ａｕｄｉｏ規格のオーディオデコーダが選択される。
【００７２】
続いて入出力処理部２１００において、ストリーム入力部２１１０から非同期に入力されるプログラムストリームはストリームパーシング手段２１３２によって、解析がおこなわれ、分離され、バッファメモリ２１２０、メモリコントローラ２３００を介して一旦外部メモリ２４００に格納される。
【００７３】
さらに、プログラムストリームはメモリコントローラ２３００を介してＦＩＦＯメモリ２２１０に保持される。このときＩ／Ｏプロセッサ２１３０では、内部のバッファコントロールアサイン手段２１３８によって、Ｉ／Ｏメモリ２１３１に格納されているオーディオデコーダ選択情報を読み出し、ＤＶＤ−Ａｕｄｉｏ規格のオーディオデコーダが選択されていることから、第１バッファコントロール手段２１３３をオーディオストリーム転送用に割り当て、第２バッファコントロール手段２１３４をビデオストリーム転送用に割り当てる。これは、ＤＶＤ−Ａｕｄｉｏ規格のプログラムストリームが、プリローディング用の静止画ストリーム以外はすべてオーディオストリームであるので、扱う最大データ転送量が大きい第１バッファコントロール手段へオーディオを割り当てている。
【００７４】
この場合、第２バッファコントロール手段２１３４は、デコード処理部２２００のリクエストに応じて、外部メモリ２４００のビデオバッファエリア２４１０からメモリコントローラ２３００を介してＦＩＦＯメモリ２２１０内のビデオストリームＦＩＦＯ２２１１へビデオストリームデータを転送する。第１バッファコントロール手段２１３３は、外部メモリ２４００のオーディオバッファエリア２４２０からメモリコントローラ２３００を介してＦＩＦＯメモリ２２１０内のオーディオストリームＦＩＦＯ２２１２へオーディオストリームデータを転送する。
【００７５】
上記構成により、本実施の形態における映像音声処理装置は、バッファコントロール処理にかかる回路規模や演算処理量の増大を伴うことなくＤＶＤ−Ａｕｄｉｏデコード対応を実現することができる。本実施の形態によれば、ＤＶＤ−Ａｕｄｉｏデコード対応のためにバッファコントロール処理は、ホストＣＰＵからのデコーダ選択により切り替わるバッファコントロールアサイン手段２１３８を追加するのみでよい。
【００７６】
＜ＤＶＤ−Ａｕｄｉｏ規格のデコード処理におけるデコード処理部＞
上記ＤＶＤ−Ｖｉｄｅｏ規格のデコード処理における場合と同様、まず逐次処理部２２２０では、Ｉ／Ｏプロセッサ２１３０内のデコード処理部Ｉ／Ｆ手段２１３６を介してオーディオデコーダ選択情報を入手し、オーディオ処理手段２２２２におけるデコーダとして第２オーディオデコード手段２２２５をセットする。
【００７７】
逐次処理部２２２０では、オペレーションスレッド手段２２２３の制御によってヘッダ解析処理手段２２２１によるビデオヘッダ解析処理とオーディオ処理手段２２２２によるオーディオデコードと交互に繰り返して行う。動作順序等については基本的にＤＶＤ−Ｖｉｄｅｏ規格のデコード処理の場合とほぼ同じであるが、音声デコード処理中のコード変換部２２３１によるＶＬＤ終了を検出する処理がＤＶＤ−Ｖｉｄｅｏ規格のデコード処理の場合に比べると大きく遅延がかかり、結果としてその分オーディオ処理の時間が延長される。
【００７８】
そこで第２オーディオデコード手段２２２５（ＤＶＤ−Ａｕｄｉｏ規格のデコード処理）によってデコード処理が行われるため、割込み禁止設定手段２２２７によって割り込みタイミングを制限する。これは上記の説明でも触れたように、ＤＶＤ−Ｖｉｄｅｏ規格のプログラムストリーム再生における音声デコード処理は、動画再生処理を扱うビデオ処理と比べると、ビデオ処理におけるマクロブロックのヘッダ解析と次のヘッダ解析との間の時間帯で十分に処理できるほど処理量が少ない。一方ＤＶＤ−Ａｕｄｉｏ規格のプログラムストリーム再生における音声デコード処理は、最短表示間隔が０．４秒の静止画再生処理を扱うビデオ処理と比べ、処理量が大きい。従って割込み禁止設定手段２２２７によって、オペレーションスレッド手段２２２３のスレッド割り込みを制限する。これにより静止画復号処理による一時的な処理量不足を回避することが可能である。逐次処理部の処理性能を向上させる必要なくＤＶＤ−Ｖｉｄｅｏ及びＤＶＤ−Ａｕｄｉｏの双方に対するデコード対応の実現が容易となる。オーディオ処理におけるリアルタイム性を確保することができる。
【００７９】
上記構成により、本実施の形態における映像音声処理装置は、デコード処理にかかる回路規模や演算処理量の増大を伴うことなくＤＶＤ−Ａｕｄｉｏデコード対応を実現することができる。本実施の形態によれば、ＤＶＤ−Ａｕｄｉｏデコード対応のためにデコード処理は、オーディオ処理手段に割込み禁止設定手段を追加するのみでよい。
【００８０】
【発明の効果】
以上のように、本発明によれば、バッファコントロールアサイン手段を備えることによって、復号処理を行うプログラムストリームに含まれるビデオストリームとオーディオストリームに応じて、バッファエリアからＦＩＦＯへ符号化信号の転送を行うバッファコントロールタスクとの組み合わせを変更することが可能となる。従って映像及び音声符号化データを扱うバッファコントロールタスクが固定してアサインされる場合と比較すると、ストリームの特性に適した組み合わせによる符号化信号のデータ転送が可能となり、双方のバッファコントロールタスクの処理能力をあげる必要がないので、コストアップすることなく、入力ストリームへの対応性を向上することができる。
【００８１】
又ホストインターフェース部とホストコミュニケーション記憶手段とバッファコントロールアサイン手段とを備えて構成されることで、音声符号化方式情報に応じて第１及び第２バッファコントロール手段と映像及びオーディオ用バッファエリア、ストリームＦＩＦＯへのアサインを決定することが可能となり、例えばＤＶＤ−Ｖｉｄｅｏ規格の音声符号化の復号処理の場合とＤＶＤ−Ａｕｄｉｏ規格の音声符号化の復号処理の場合とでバッファコントロールタスクのアサインを容易に指定できるので、入力される音声と映像とで符号化信号の転送量や復号演算量の比率が大きく異なるストリームへの適合が容易となる。
【００８２】
また、ホストインターフェース部とホストコミュニケーション記憶手段とバッファコントロールアサイン手段とを備えて構成することで、ＤＶＤ−Ａｕｄｉｏ準拠のプログラムストリーム再生時は音声処理優先のバッファコントロール処理が行われ、ＤＶＤ−Ｖｉｄｅｏ準拠のプログラムストリーム再生時は映像処理優先のバッファコントロール処理が行われるので、バッファコントロールタスクの性能向上の必要なくＤＶＤ−Ｖｉｄｅｏ及びＤＶＤ−Ａｕｄｉｏの双方に対するデコード対応の実現が容易となる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における映像音声処理装置の全体構成を示すブロック図である。
【図２】本実施の形態１による映像音声処理装置のＩ／Ｏプロセッサの構成を示すブロック図である。
【図３】本実施の形態１による映像音声処理装置の逐次処理部の構成を示すブロック図である。
【図４】本実施の形態１におけるデコード処理部２２００の各主要部で行われる処理タイミングを示す図である。
【図５】従来の映像音声再生装置の構成例を示すブロック図である。
【符号の説明】
１０００，２０００ 映像音声処理装置本体部
１１００，２１００ 入出力処理部
１１１０，２１１０ ストリーム入力部
１１２０，２１２０ バッファメモリ
１１４０，２１３０ Ｉ／Ｏプロセッサ
２１３１ Ｉ／Ｏメモリ
１１４１，２１３２ ストリームパーシング手段
１１４２ ビデオバッファコントロール手段
１１４３ オーディオバッファコントロール手段
２１３３ 第１バッファコントロール手段
２１３４ 第２バッファコントロール手段
２１３５ ホストインターフェース手段
２１３６ デコード処理部インターフェース手段
２１３７ ビデオ出力信号制御手段
２１３８ バッファコントロールアサイン手段
２１４０ ＤＭＡＣ
２１５０ ビデオ出力部
２１６０ オーディオ出力部
２１７０ ホストＩ／Ｆ部
１２００，２２００ デコード処理部
１２１０，２２１０ ＦＩＦＯメモリ
１２１１，２２１１ ビデオストリームＦＩＦＯ
１２１２，２２１２ オーディオストリームＦＩＦＯ
２２２０ 逐次処理部
２２２１ ヘッダ解析処理手段
２２２２ オーディオ処理手段
２２２３ オペレーションスレッド手段
２２２４ 第１オーディオデコード手段
２２２５ 第２オーディオデコード手段
２２２６ ヘッダ解析優先手段
２２２７ 割込み禁止設定手段
２２２８ 内部メモリ
２２３０ 定型処理部
２２３１ コード変換部
２２３２ 画素演算部
２２３３ 画素読み書き部
１２２０ ビデオ処理部
１２３０ オーディオ処理部
１３００，２３００ メモリコントローラ
１４００，２４００ 外部メモリ
１４１０，２４１０ ビデオ用バッファエリア
１４２０，２４２０ オーディオ用バッファエリア
【発明の属する技術分野】
本発明は、デジタル信号処理の技術分野に関するものであって、圧縮されたビデオ及び音声データの伸長、ビデオ及び音声データの圧縮、グラフィックス処理などを行う映像音声処理装置に関するものである。
【０００２】
【従来の技術】
近年、ディジタル動画データの圧縮／伸長技術が確立されてきたことや、ＬＳＩ技術が向上してきたことがあいまって、圧縮ビデオ及び音声データを伸長するデコーダ、ビデオ及び音声データを圧縮するエンコーダ、グラフィックス処理を行うグラフィックス処理装置などの種々の映像音声処理装置が重要視されている。
【０００３】
従来技術の１つとして、ＤＶＤ−Ｖｉｄｅｏ規格の圧縮ビデオ及びオーディオストリームを伸長する映像音声処理装置がある。ＤＶＤ−Ｖｉｄｅｏ規格で知られるオーディオ信号のうちリニアＰＣＭフォーマットではその多くがサンプリング周波数４８ＫＨｚ、１６ｂｉｔ、２チャンネルであり、ビデオ信号の量がオーディオ信号の量よりも圧倒的に多い。この映像音声処理装置は、ＬＳＩ技術の向上に伴い、１チップ化に集積化されたＬＳＩとして実現されることも多い。このような映像音声処理装置のうち、たとえばＤＶＤ−Ｖｉｄｅｏ規格の圧縮ビデオ及びオーディオストリームを伸長する映像音声処理装置はおおよそ図５に示す構成となっている。
【０００４】
この映像音声処理装置本体部１０００に入出力処理部１１００、デコ−ド処理部１２００及びメモリコントローラ１３００を含み、外部には外部メモリ１４００が接続される。入出力処理部１１００は、外部より入力されるプログラムストリ−ムを入力するストリーム入力部１１１０と、データ転送時の内部バッファとして使用されるバッファメモリ１１２０と、複数のタスク手段を切り替えながら実行するＩ／Ｏプロセッサ１１４０とで構成される。デコード処理部１２００は、（First In First Out、以下ＦＩＦＯ）メモリ１２１０と、ビデオストリームの復号処理を行うビデオ処理部１２２０と、オーディオストリームの復号処理を行うオーディオ処理部１２３０とで構成される。ＦＩＦＯメモリ１２１０は、ビデオストリームをビデオ処理部１２２０に転送するビデオストリームＦＩＦＯ１２１１と、オーディオストリームをオーディオ処理部１２３０に転送するオーディオストリームＦＩＦＯ１２１２とを含んでいる。又メモリコントローラ１３００は映像音響処理装置本体部１０００と外部メモリ１４００との間でデータの入出力を行うものである。
【０００５】
また、外部に接続される外部メモリ１４００は、ビデオ用バッファエリア１４１０とオーディオ用バッファエリア１４２０が割り当てられている。
【０００６】
更に、Ｉ／Ｏプロセッサ１１４０内のストリームパーシング手段１１４１は、ストリーム入力部１１１０より入力され内部バッファメモリ１１２０に転送されたデータストリームを、オーディオ及びビデオストリームに分離し、メモリコントローラ１１３０に外部メモリ１４００内のビデオ及びオーディオ用バッファエリアへのデータ転送を指示するものである。ビデオバッファコントロール手段１１４２は、ビデオ用バッファエリア１３１０からビデオストリームＦＩＦＯ１２１１へビデオストリームの転送を行うものである。オーディオバッファコントロール手段１１４３は、オーディオ用バッファエリア１４２０からオーディオストリームＦＩＦＯ１２１２へオーディオストリームの転送を行うものである。
【０００７】
図５に示すように、まず、ＤＶＤ−Ｖｉｄｅｏ規格のプログラムストリームがストリーム入力部１１１０から入力されると、Ｉ／Ｏプロセッサ１１４０のストリームパーシング手段１１４１はビデオストリームとオーディオ用符号化信号とに分離する。そしてメモリコントローラ１３００を通じて、ビデオ用符号化信号をビデオ用バッファエリア１４１０へ、オーディオ用符号化信号はオーディオ用バッファエリア１４２０にそれぞれ転送する。次にビデオバッファコントロール手段１１４２はビデオ処理部１２２０からのストリーム供給リクエストに応じて、ビデオ用バッファエリア１４１０からビデオストリームＦＩＦＯ１２１１へビデオストリームを転送する。オーディオバッファコントロール手段１１４３は、オーディオ処理部１２３０からのストリーム供給リクエストに応じて、オーディオ用バッファエリア１４２０からオーディオストリームＦＩＦＯ１２１２へオーディオストリームを転送する。ビデオ処理部１２２０は、ビデオストリームＦＩＦＯ１２１１からビデオストリームを受信し、復号処理を行い映像出力信号を生成する。オーディオ処理部１２３０は、オーディオストリームＦＩＦＯ１２１２からオーディオストリームを受信し、復号処理を行い音声出力信号を生成する。
【０００８】
このような映像音声処理装置では、一般的に動画を対象としたＤＶＤ−Ｖｉｄｅｏ規格のビデオストリームがほとんどである。その場合にプログラムストリームに含まれるビデオストリームは、オーディオストリームに比べてデータ量が著しく大きく、また復号処理にかかる処理量もオーディオの復号処理より大きい場合がほとんどである。例えば、ビデオバッファコントロール手段１１４２のデータ転送処理能力はオーディオバッファコントロール手段１１４３と比較すると著しく大きく、またデコード処理部１２００におけるビデオ処理部１２２０の処理優先順位はオーディオ処理部１２３０より高い場合がほとんどである。ＤＶＤ−Ｖｉｄｅｏ規格のうちリニアＰＣＭフォーマットの音声信号の多くはコンパクトディスク規格とほぼ同一レベルの情報量を有し、２ｃｈ、サンプリング周波数４８ｋＨｚ、１６ビットリニアＰＣＭ信号である。
【０００９】
しかしながらこのような構成の映像音声処理装置では、オーディオ処理部とビデオ処理部とが夫々あらかじめ独立している。又他の映像音声規格として入力される音声と映像とで符号化信号の転送量や復号演算量の比率がＤＶＤ−Ｖｉｄｅｏ規格のプログラムストリームと大きく異なるＤＶＤ−Ａｕｄｉｏ規格が知られている。これは音声信号をより高音質に再生できるように音声信号の情報量を高めたもので、サンプリング周波数９６ｋＨｚ、６ｃｈ、２４ビットリニアＰＣＭや１９２ｋＨｚ、２ｃｈ、２４ビットリニアＰＣＭが選択できる。この場合、映像信号は一定間隔でスチル画像を表示する。映像音声処理装置においてＤＶＤ−Ｖｉｄｅｏ規格のプログラムストリームの処理に加えて、ＤＶＤ−Ａｕｄｉｏ規格に準拠したプログラムストリームの処理にも対応しようとした場合、オーディオバッファコントロール手段のデータ転送能力や音声処理部の演算処理能力はＤＶＤ−Ｖｉｄｅｏ規格のプログラムストリームの復号処理の場合と比べ高い能力が必要となる。これに対応するため回路規模を増大させたり、クロックの速度を速めると、結果としてコストや消費電力の増大につながってしまう。
【００１０】
【発明が解決しようとする課題】
本発明は、このような従来の問題点に鑑みてなされたものであって、回路規模を増大させたり、クロックの速度を速めることなく、例えばＤＶＤ−Ｖｉｄｅｏ規格及びＤＶＤ−Ａｕｄｉｏ規格に準拠するプログラムストリームのように、入力される音声と映像とで符号化信号の転送量や復号演算量の比率が大きく異なる少なくとも２種類のデータ方式の再生が可能な映像音声処理装置を提供するものである。
【００１１】
【課題を解決するための手段】
本願の請求項１の発明は、オーディオ及びビデオのデータストリームを含み、オーディオ及びビデオの情報量が異なる少なくとも２種類のデータストリームを復号し、再生する映像音声処理装置であって、ビデオ及びオーディオストリームを記憶するビデオ及びオーディオ用バッファエリアを含む外部メモリと、前記外部メモリからオーディオストリーム及びビデオストリームを夫々転送するオーディオストリームＦＩＦＯ及びビデオストリームＦＩＦＯと、を含み、ビデオ及びオーディオストリームを復号するデコード処理部と、入力された前記データストリームをオーディオ及びビデオストリームに分離し、前記外部メモリ内のビデオ及びオーディオ用バッファエリアへのデータ転送を指示するストリームパーシング手段と、前記外部メモリ内のビデオ及びオーディオ用バッファエリアから夫々前記ビデオ及びオーディオストリームＦＩＦＯへビデオ及びオーディオストリームの転送を行うデータ転送量の異なる第１，第２のバッファコントロール手段と、データストリームの種類に応じて前記第１，第２のバッファコントロール手段と前記ビデオ及びオーディオ用バッファエリアと前記ビデオ及びオーディオストリームＦＩＦＯをアサインするバッファコントロールアサイン手段と、を備えることを特徴とするものである。
【００１２】
本願の請求項２の発明は、請求項１の映像音声処理装置において、前記バッファコントロールアサイン手段は、オーディオストリームのデコード方式を示すオーディオデコーダ選択情報に応じて前記第１，第２のバッファコントロール手段と前記外部メモリのビデオ及びオーディオ用バッファエリア、及び前記ビデオ及びオーディオストリームＦＩＦＯへのアサインを決定するアサイン手段であることを特徴とするものである。
【００１３】
本願の請求項３の発明は、請求項２の映像音声処理装置において、前記映像音声処理装置は、前記第１のバッファコントロール手段と第２のバッファコントロール手段の最大可能データ転送量をそれぞれＸ及びＹとし、単位時間当たりの処理クロック数をそれぞれＡ及びＢとした場合、Ｘ＞Ｙ及びＡ＞Ｂの関係であることを特徴とするものである。
【００１４】
本願の請求項４の発明は、請求項３の映像音声処理装置において、前記映像音声処理装置は、映像及び音声の記録のための第１の映像・音声規格及び前記第１の映像・音声規格よりも映像の情報量が少なく、音声の情報量が多い第２の映像・音声規格に準拠したプログラムストリームを復号する映像音声処理装置であり、前記バッファコントロールアサイン手段は、前記ホストインターフェース部より伝達されるオーディオデコーダ選択情報が第１の映像・音声規格のオーディオデコーダを示す場合、前記第１バッファコントロール手段をビデオバッファエリアと前記ビデオストリームＦＩＦＯにアサインし、前記第２のバッファコントロール手段を前記オーディオバッファエリアと前記オーディオストリームＦＩＦＯにアサインすることを特徴とするものである。
【００１５】
本願の請求項５の発明は、請求項３の映像音声処理装置において、前記映像音声処理装置は、映像及び音声の記録のための第１の映像・音声規格及び前記第１の映像・音声規格よりも映像の情報量が少なく、音声の情報量が多い第２の映像・音声規格に準拠したプログラムストリームを復号する映像音声処理装置であり、前記バッファコントロールアサイン手段は、前記ホストインターフェース部より伝達されるオーディオデコーダ選択情報が第２の映像・音声規格のオーディオデコーダを示す場合、前記第１のバッファコントロール手段をオーディオバッファエリア、オーディオ用ストリームＦＩＦＯにアサインし、前記第２のバッファコントロール手段をビデオバッファエリア及び前記ビデオ用ストリームＦＩＦＯにアサインすることを特徴とするものである。
【００１６】
本願の請求項６の発明は、請求項３の映像音声処理装置において、前記映像音声処理装置は、映像及び音声の記録のための第１の映像・音声規格及び前記第１の映像・音声規格よりも映像の情報量が少なく、音声の情報量が多い第２の映像・音声規格に準拠したプログラムストリームを復号する映像音声処理装置であり、前記バッファコントロールアサイン手段は、前記ホストインターフェース部より伝達されるオーディオデコーダ選択情報が第１の映像・音声規格のオーディオデコーダを示す場合、前記第１のバッファコントロール手段をビデオバッファエリアと前記ビデオストリームＦＩＦＯにアサインし、前記第２のバッファコントロール手段を前記オーディオバッファエリアと前記オーディオストリームＦＩＦＯにアサインすると共に、前記ホストインターフェース部より伝達されるオーディオデコーダ選択情報が第２の映像・音声規格のオーディオデコーダを示す場合、前記第１のバッファコントロール手段をオーディオバッファエリア、オーディオ用ストリームＦＩＦＯにアサインし、前記第２のバッファコントロール手段をビデオバッファエリア及び前記ビデオ用ストリームＦＩＦＯにアサインすることを特徴とするものである。
【００１７】
本願の請求項７の発明は、オーディオ及びビデオのデータストリームを含み、オーディオ及びビデオの情報量が異なる少なくとも２種類のデータストリームを復号し、再生する映像音声処理装置であって、前記映像音声処理装置は、入出力処理部、デコ−ド処理部、メモリコントローラ、及び外部メモリを含んで構成され、入出力処理部は、外部より非同期に入力される前記デ−タストリ−ムを入力するストリーム入力部と、データ転送時の内部バッファとして使用されるバッファメモリと、複数のタスク手段を切り替えながら実行するＩ／Ｏプロセッサとを含んで構成され、デコード処理部は、ビデオストリームに含まれる所定ブロックのヘッダ解析とオーディオストリームの復号処理を行う逐次処理部と、前記逐次処理部の復号処理と並行してビデオストリームのヘッダ解析処理を除く復号処理を行う定型処理部と、前記外部メモリから前記メモリコントローラにより転送されるオーディオストリームを逐次処理部に転送するオーディオストリームＦＩＦＯと、外部メモリから前記メモリコントローラにより転送されるビデオストリームを定型処理部に転送するビデオストリームＦＩＦＯと、を含んで構成され、メモリコントローラは、外部メモリのデータ入出力の制御を行うコントローラであり、前記外部メモリは、前記メモリコントローラより転送されるビデオ及びオーディオストリームを記憶するビデオ及びオーディオ用バッファエリアを含んで構成され、前記入出力処理部のＩ／Ｏプロセッサは、前記ストリーム入力部より入力され前記バッファメモリに転送された前記データストリームをオーディオ及びビデオストリームに分離し前記メモリコントローラに外部メモリ内のビデオ及びオーディオ用バッファエリアへのデータ転送を指示するストリームパーシング手段と、前記外部メモリ内のビデオあるいはオーディオ用バッファエリアから前記ビデオ及びオーディオストリームＦＩＦＯへビデオ及びオーディオストリームの転送を行う第１，第２のバッファコントロール手段と、データストリームの種類に応じて前記第１，第２のバッファコントロール手段と前記ビデオ及びオーディオ用バッファエリアと前記ビデオ及びオーディオストリームＦＩＦＯをアサインするバッファコントロールアサイン手段と、を備えることを特徴とするものである。
【００１８】
本願の請求項８の発明は、請求項７の映像音声処理装置において、前記映像音声処理装置は、前記入出力処理部による入出力処理と、前記デコード処理部によるデコード処理とを平行して行うよう構成されることを特徴とするものである。
【００１９】
本願の請求項９の発明は、請求項７の映像音声処理装置において、前記入出力処理部は、外部のＣＰＵと前記Ｉ／Ｏプロセッサとの通信を行うホストインターフェース部を備え、前記Ｉ／Ｏプロセッサは、少なくともホストインターフェース部より伝達されるホストコミュニケーション情報を記憶するＩ／Ｏメモリを備え、前記ホストコミュニケーション情報は、オーディオストリームのデコード方式を示すオーディオデコーダ選択情報を含んで構成され、前記バッファコントロールアサイン手段は、オーディオデコーダ選択情報に応じて前記第１，第２のバッファコントロール手段と前記外部メモリのビデオ及びオーディオ用バッファエリア、及び前記ビデオ及びオーディオストリームＦＩＦＯへのアサインを決定するアサイン手段であることを特徴とするものである。
【００２０】
本願の請求項１０の発明は、請求項９の映像音声処理装置において、前記映像音声処理装置は、前記第１のバッファコントロール手段と第２のバッファコントロール手段の最大可能データ転送量をそれぞれＸ及びＹとし、単位時間当たりの処理クロック数をそれぞれＡ及びＢとした場合、Ｘ＞Ｙ及びＡ＞Ｂの関係であることを特徴とするものである。
【００２１】
本願の請求項１１の発明は、請求項１０の映像音声処理装置において、前記映像音声処理装置は、映像及び音声の記録のための第１の映像・音声規格及び前記第１の映像・音声規格よりも映像の情報量が少なく、音声の情報量が多い第２の映像・音声規格に準拠したプログラムストリームを復号する映像音声処理装置であり、前記バッファコントロールアサイン手段は、前記ホストインターフェース部より伝達されるオーディオデコーダ選択情報が第１の映像・音声規格のオーディオデコーダを示す場合、前記第１バッファコントロール手段をビデオバッファエリアと前記ビデオストリームＦＩＦＯにアサインし、前記第２のバッファコントロール手段を前記オーディオバッファエリアと前記オーディオストリームＦＩＦＯにアサインすることを特徴とするものである。
【００２２】
本願の請求項１２の発明は、請求項１０の映像音声処理装置において、前記映像音声処理装置は、映像及び音声の記録のための第１の映像・音声規格及び前記第１の映像・音声規格よりも映像の情報量が少なく、音声の情報量が多い第２の映像・音声規格に準拠したプログラムストリームを復号する映像音声処理装置であり、前記バッファコントロールアサイン手段は、前記ホストインターフェース部より伝達されるオーディオデコーダ選択情報が第２の映像・音声規格のオーディオデコーダを示す場合、前記第１のバッファコントロール手段をオーディオバッファエリア、オーディオ用ストリームＦＩＦＯにアサインし、前記第２のバッファコントロール手段をビデオバッファエリア及び前記ビデオ用ストリームＦＩＦＯにアサインすることを特徴とするものである。
【００２３】
本願の請求項１３の発明は、請求項１０の映像音声処理装置において、前記映像音声処理装置は、映像及び音声の記録のための第１の映像・音声規格及び前記第１の映像・音声規格よりも映像の情報量が少なく、音声の情報量が多い第２の映像・音声規格に準拠したプログラムストリームを復号する映像音声処理装置であり、前記バッファコントロールアサイン手段は、前記ホストインターフェース部より伝達されるオーディオデコーダ選択情報が第１の映像・音声規格のオーディオデコーダを示す場合、前記第１のバッファコントロール手段をビデオバッファエリアと前記ビデオストリームＦＩＦＯにアサインし、前記第２のバッファコントロール手段を前記オーディオバッファエリアと前記オーディオストリームＦＩＦＯにアサインすると共に、前記ホストインターフェース部より伝達されるオーディオデコーダ選択情報が第２の映像・音声規格のオーディオデコーダを示す場合、前記第１のバッファコントロール手段をオーディオバッファエリア、オーディオ用ストリームＦＩＦＯにアサインし、前記第２のバッファコントロール手段をビデオバッファエリア及び前記ビデオ用ストリームＦＩＦＯにアサインすることを特徴とするものである。
【００２４】
本願の請求項１４の発明は、請求項９の映像音声処理装置において、前記逐次処理部は、ビデオストリームに含まれる所定ブロックのヘッダ解析を行うヘッダ解析処理手段と、少なくとも第１の映像・音声規格のオーディオストリームの音声復号処理を行う第１オーディオデコード手段と及び第２の映像・音声規格のオーディオストリームの音声復号処理を行う第２オーディオデコード手段を含むオーディオ処理手段と、前記ヘッダ解析処理手段と前記オーディオ処理手段の切り替えを行うオペレーションスレッド手段と、を含んで構成されることを特徴とするものである。
【００２５】
本願の請求項１５の発明は、請求項７の映像音声処理装置において、前記映像音声処理装置は、映像及び音声の記録のための第１の映像・音声規格及び前記第１の映像・音声規格よりも映像の情報量が少なく、音声の情報量が多い第２の映像・音声規格に準拠したプログラムストリームを復号する映像音声処理装置であり、前記逐次処理部は、ビデオストリームに含まれる所定ブロックのヘッダ解析を行うヘッダ解析処理手段と、少なくとも第１の映像・音声規格のオーディオストリームの音声復号処理を行う第１オーディオデコード手段と及び第２の映像・音声規格のオーディオストリームの音声復号処理を行う第２オーディオデコード手段を含むオーディオ処理手段と、前記ヘッダ解析処理手段と前記オーディオ処理手段の切り替えを行うオペレーションスレッド手段と、を含んで構成され、前記オスペレーションスレッド手段は、前記ヘッダ解析処理手段によるビデオストリームに含まれる所定ブロックのヘッダ解析処理を前記第２オーディオ処理手段によるオーディオストリームの音声復号処理より優先的に行うようスレッド切り替えを実行するヘッダ解析優先手段を含み、前記オーディオ処理手段が、オペレーションスレッド手段からの割り込みを禁止する割込み禁止設定手段を備えることを特徴とするものである。
【００２６】
【発明の実施の形態】
本発明の実施の形態における映像音声処理装置について図面を参照しながら説明する。図１は、本発明の実施の形態１における映像音声処理装置の全体構成を示すブロック図である。
【００２７】
本実施の形態における映像音声処理装置は、映像及び音声の記録のための第１の映像・音声規格であるＤＶＤ−Ｖｉｄｅｏ規格準拠のプログラムストリームのデコード処理に加え、第１の映像・音声規格よりも映像の情報量が少なく、音声の情報量が多い第２の映像・音声規格であるＤＶＤ−Ａｕｄｉｏ規格準拠のプログラムストリームのデコード処理にも対応している。
【００２８】
映像音声処理装置本体部２０００は、入出力処理部２１００、デコード処理部２２００、メモリコントローラ２３００を備え、入出力処理とデコード処理とを並行して行うよう構成されている。また、外部メモリ２４００は、ＭＰＥＧストリームやデコード後の音声データを一時的に記憶する作業用メモリ、デコード後の映像データを記憶するフレームメモリとして利用される。
【００２９】
入出力処理部２１００は、映像音声処理装置本体部２０００の内部動作とは非同期に発生する以下の入出力処理を行うものである。
（ａ）外部から非同期に入力されるプログラムストリームを入力して外部メモリ２４００に一時的に格納する。
（ｂ）外部メモリ２４００に格納された映像及びオーディオストリームをデコード処理部２２００に供給する。
（ｃ）デコードされた映像データ、音声データを外部メモリ２４００から読み出し、外部の表示装置、音声出力装置（図外）それぞれの出力レートに合わせて出力する。
【００３０】
入出力処理部２１００は、ストリーム入力部２１１０、バッファメモリ２１２０、Ｉ／Ｏプロセッサ２１３０、ＤＭＡＣ（Direct Memory Access Controller ）２１４０、ビデオ出力部２１５０、オーディオ出力部２１６０、及びホストＩ／Ｆ部２１７０を備える。
【００３１】
ストリーム入力部２１１０は、外部からシリアルに入力されるプログラムストリームをパラレルデータに変換し、Ｉ／Ｏプロセッサ２１３０の制御によりバッファメモリ２１２０に転送するものである。
【００３２】
バッファメモリ２１２０は、ストリーム入力部２１１０から転送されたストリームデータを一時的に保持する緩衝用メモリである。Ｉ／Ｏプロセッサ２１３０はバッファメモリ２１２０に保持されたストリームデータをメモリコントローラ２３００を介して外部メモリ２４００に転送するものである。
【００３３】
外部メモリ２４００は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）チップにより構成され、バッファメモリ２１２０からメモリコントローラ２３００を介して転送されたストリームデータを一時的に保持するメモリである。本実施の形態では、映像及びオーディオストリームを夫々記憶するビデオバッファエリア２４１０及びオーディオ用バッファエリア２４２０が確保されているものとする。さらに、外部メモリ２４００は復号後の映像データ（以降、フレームデータとも呼ぶ）及び復号後の音声データも保持する。
【００３４】
Ｉ／Ｏプロセッサ２１３０は、図２に示すようにストリーム入力部２１１０、バッファメモリ２１２０、ビデオ及びオーディオストリームＦＩＦＯ２２１１、２２１２の間のデータ入出力を制御する。又メモリコントローラ２３００を介して外部メモリ２４００の入出力を制御する。すなわち以下の（１）〜（４）に示す経路のデータ転送（ＤＭＡ転送）を制御するものである。
（１）ストリーム入力部２１１０→バッファメモリ２１２０→メモリコントローラ２３００→外部メモリ２４００
（２）外部メモリ２４００→メモリコントローラ２３００→ＦＩＦＯメモリ２２１０
（３）外部メモリ２４００→メモリコントローラ２３００→バッファメモリ２１２０→ビデオ出力部２１５０
（４）外部メモリ２４００→メモリコントローラ２３００→バッファメモリ２１２０→オーディオ出力部２１６０
【００３５】
これらの径路においてＩ／Ｏプロセッサ２１３０は、プログラムストリーム中のビデオストリームとオーディオストリームとの転送をそれぞれ独立に制御する。また、（１）、（２）は復号前のストリームの転送経路であり、これらの転送経路においてＩ／Ｏプロセッサ２１３０は、映像符号化信号とオーディオストリームとを別個に転送する。（３）、（４）はそれぞれ、復号後の映像、音声データの転送経路である。復号後の映像、音声データは、外部の表示装置（図外）、音声出力装置（図外）それぞれの出力レートに合わせて転送される。
【００３６】
本実施の形態では、Ｉ／Ｏプロセッサ２１３０は上記（１）〜（４）を含むデータ入出力管理を時分割多重実行できるマルチスレッド型のプロセッサである。
各スレッドは、一定時間ごとに起動され、割り当てられた時間分の処理を実行するため、実時間動作を保証できるよう構成される。またＩ／Ｏプロセッサは、内部に各スレッドのワーク用メモリとしてＩ／Ｏメモリ２１３１を装備し、また内部に外部メモリ２４００とＦＩＦＯメモリ２２１０へのストリーム転送のタスクアサインを制御するバッファコントロールアサイン手段２１３８を含んで構成される。本実施の形態では、説明を容易にするため、Ｉ／Ｏプロセッサ内の各処理の構成を以下のように設定する。
【００３７】
ストリームパーシング手段２１３２は、ストリーム入力部２１１０より入力されたプログラムストリームの解析を行い、ＡＶデコードに必要なデータかどうかの判断を行い、オーディオ・ビデオ・副映像の各ストリームの分離処理とバッファメモリ２１２０への転送制御を行うタスクである。その結果たとえば、多国語対応プログラムストリームから外部ホストＣＰＵ等により選択されるオーディオストリームを選択することができる。
【００３８】
第１バッファコントロール手段２１３３は、上記（２）の経路のデータ転送を専門に扱うタスクであり、バッファコントロールアサイン手段２１３８の制御によりビデオあるいはオーディオストリームの転送制御を行う。バッファコントロールアサイン手段２１３８により、このタスクがビデオストリーム転送用に割り当てられた場合の第１バッファコントロール手段２１３３は、デコード処理部２２００のリクエストに応じて、外部メモリ２４００のビデオバッファエリア２４１０からメモリコントローラ２３００を介してＦＩＦＯメモリ２２１０内のビデオストリームＦＩＦＯ２２１１へビデオストリームデータを転送する。又オーディオストリーム転送用に割り当てられた場合、第１バッファコントロール手段２１３３は、デコード処理部２２００のリクエストに応じて、外部メモリ２４００のオーディオバッファエリア２４２０からメモリコントローラ２３００を介してＦＩＦＯメモリ２２１０内のオーディオストリームＦＩＦＯ２２１２へオーディオストリームデータを転送する。
【００３９】
第２バッファコントロール手段２１３４は、第１バッファコントロール手段２１３３と同様、上記（２）の経路のデータ転送を扱うタスクであるが、他にオーディオ出力データの転送を扱う（４）の経路等のデータ転送も扱う。第１バッファコントロール手段は上記（２）の経路のデータ転送を専門に扱うのに対し、第２バッファコントロール手段は上記（２）の経路のデータ転送以外のタスクも掛け持っている。その分第１バッファコントロール手段２１３３より最大転送レートは小さい。ここで第１，第２バッファコントロール手段の最大可能データ転送量をそれぞれＸ及びＹとし、単位時間当たりの処理クロック数をそれぞれＡ及びＢとした場合、Ｘ＞Ｙ及びＡ＞Ｂの関係であるものとする。
【００４０】
ホストインターフェース手段２１３５は、ホストＩ／Ｆ部２１７０を介して本映像音声処理装置を制御する外部ホストプロセッサとの通信を行うタスクである。例えば外部プロセッサから入力される、音声符号化方式を選択するオーディオデコーダ選択情報等の各ホストコミュニケーション情報は、このタスクによりＩ／Ｏメモリ２１３１に格納される。
【００４１】
デコード処理部インターフェース手段２１３６は、デコード処理部２２００との通信手段であり、例えばデコード処理部２２００へのホストプロセッサからの制御情報はこのタスクにより伝達される。
【００４２】
ビデオ出力信号制御手段２１３７は、上記（３）の経路のデータ転送を行うタスクであり、外部メモリ２４００内部のビデオ出力信号をビデオ出力部２１５０へ出力する。
【００４３】
また、本実施の形態におけるバッファコントロールアサイン手段２１３８は、ホストインターフェース手段２１３５によってＩ／Ｏメモリ２１３１に格納されたオーディオデコーダ選択情報を読み込む。そしてＤＶＤ−Ｖｉｄｅｏ規格のオーディオデコーダが選択されている場合は、第１バッファコントロール手段２１３３をビデオストリーム転送用に割り当て、第２バッファコントロール手段２１３４をオーディオストリーム転送用に割り当てる。又ＤＶＤ−Ａｕｄｉｏ規格のオーディオデコーダが選択されている場合は、第１バッファコントロール手段２１３３をオーディオストリーム転送用に割り当て、第２バッファコントロール手段２１３４をビデオストリーム転送用に割り当てる。これはＤＶＤ−Ｖｉｄｅｏ規格のプログラムストリームが、動画を扱うビデオストリームとオーディオストリームを多重化したもので、ビデオストリームの占めるデータ割合がオーディオストリームに比べ非常に大きい。逆にＤＶＤ−Ａｕｄｉｏ規格のプログラムストリームは、プリローディング用の静止画ストリーム以外はすべてオーディオストリームである。よって、扱う最大データ転送量が大きい第１バッファコントロール手段への割り当てをそれぞれ、前者の場合はビデオ、後者の場合はオーディオとしている。
【００４４】
デコード処理部２２００は、入出力処理部２１００の動作とは独立に並行して、入出力処理部２１００によって供給されるビデオ及びオーディオストリームをデコードし、Ｉ／Ｏプロセッサとの通信により、デコード後の映像データ及び音声データを外部メモリ２４００に格納する。
【００４５】
図１においてデコード処理部２２００は、ＦＩＦＯメモリ２２１０、逐次処理部２２２０と、定型処理部２２３０とを備え、ビデオストリームの復号処理は逐次処理部２２２０と、定型処理部２２３０のそれぞれが処理を分担する。すなわち逐次処理部２２２０は、ビデオストリームのマクロブロックヘッダ部分のヘッダ解析処理を行い、定型処理部２２３０は、ビデオストリームのマクロブロック本体部分のデコード処理を行う。このようにデコード処理部２２００においては、圧縮ビデオストリームのマクロブロック毎に逐次処理部２２２０と定型処理部２２３０とが一回ずつそれぞれの処理を行う。一方、オーディオストリームのデコード処理（以下音声デコード処理と略す）は、逐次処理部２２２０が１マクロブロックのヘッダ解析処理と次の１マクロブロックのヘッダ解析処理との間の時間帯に行う。
【００４６】
尚、ＭＰＥＧ規格のプログラムストリームにおけるビデオストリームとそのマクロブロックのデータ構成は、公知の文献、たとえば（ISO/IEC 13818-2 "Infomation Technology-Generic Coding of Moving Pictures and Accociated Adio: Part2-Video"）に詳しく説明されているので、ここでは説明は省略する。
【００４７】
ＦＩＦＯメモリ２２１０は、２つのＦＩＦＯからなり、それぞれビデオ用ＦＩＦＯメモリ２２１１、オーディオ用ＦＩＦＯメモリ２２１２として割り当てられる。Ｉ／Ｏプロセッサ２１３０の制御の下で外部メモリ２４００から転送されたビデオストリーム、オーディオストリームをそれぞれ先入れ先出し式に記憶する。尚、ビデオ用ＦＩＦＯメモリ２２１１はビデオストリームのマクロブロック本体部分のデコード処理を行う定型処理部２２３０と連結しており、オーディオ用ＦＩＦＯメモリ２２１２はオーディオストリームのデコード処理全般を行う逐次処理部２２２０と連結している。
【００４８】
逐次処理部２２２０は、図３に示すようにプロセッサと内部メモリ２２２８とを有し、メモリに含まれるスレッドプログラム（以下、スレッドという）を実行するものである。なおここでスレッドとはマルチスレッドの環境で行われるひとかたまりの処理プログラムのことを指す。逐次処理部２２２０はビデオのマクロブロックのヘッダ解析処理を主に行うヘッダ解析処理手段２２２１と、オーディオストリームのデコード処理を行うオーディオ処理手段２２２２と、ビデオ処理手段とオーディオ処理手段の切り替えを行うオペレーションスレッド手段２２２３とが含まれる。
【００４９】
逐次処理部２２２０においては、ヘッダ解析処理を音声デコード処理より優先させるために、オペレーションスレッド手段２２２３は内部のヘッダ解析優先手段２２２６によりヘッダ解析処理を音声デコード処理より優先的に行うよう構成されている。
【００５０】
ここで、ヘッダ解析処理手段２２２１によるヘッダ解析処理は、マクロブロックのヘッダ情報の解析と動きベクトルの計算とを含む。マクロブロックのヘッダ部分には、マクロブロック本体部分のデコードを行うにあたって必要となる情報（ヘッダ情報）が記録されており、逐次処理部２２２０は、解析によって得られた各種データを定型処理部２２３０に出力する。動きベクトルとは、参照フレーム中の８＊８の矩形領域を指すベクトルであり、当該ブロックが参照フレーム中のどの矩形領域との差分がとられたかを指し示す。
【００５１】
一方、オーディオ処理手段２２２２による音声デコード処理は、オーディオストリームのヘッダ部分の解析とデータ本体部分のデコードとを逐次処理部２２２０内部のみで独立して行う。このため音声デコード処理の中断及び再開はヘッダ解析処理に比べて容易である。
【００５２】
第１オーディオデコード手段２２２４によるＤＶＤ−Ｖｉｄｅｏ規格の音声デコード処理は、動画再生処理を扱うビデオ処理と比べると、ビデオ処理におけるマクロブロックのヘッダ解析と次のヘッダ解析との間の時間帯で十分に処理できるほど処理量が少ない。これらの理由から逐次処理部２２２０においてはヘッダ解析処理を音声デコード処理より優先的に行うよう構成されている。
【００５３】
第２オーディオデコード手段２２２５によるＤＶＤ−Ａｕｄｉｏ規格の音声デコード処理は、最短表示間隔が０．４秒の静止画再生処理を扱うビデオ処理と比べ、ストリームのデータ転送量や復号処理にかかる演算量は決して少ないとはいえない。
【００５４】
もし、ビデオ処理におけるマクロブロックのヘッダ解析と次のヘッダ解析との間の時間帯でそのまま処理しようとすると、オペレーションスレッド手段２２２３内部のヘッダ解析優先手段２２２６により、静止画再生の切り替え直後に次の静止画表示用のビデオストリームのデコード開始時において、ヘッダ解析処理を音声デコード処理より優先的に行うため、結果として過渡的にオーディオデコード処理量の不足が生じてしまう。
【００５５】
そこでオーディオ処理手段２２２２に割込み禁止設定手段２２２７が装備され、ＤＶＤ−Ａｕｄｉｏ規格対応の第２オーディオデコード手段２２２５では、割込み禁止設定手段２２２７によってオペレーションスレッド手段２２２３のスレッド割り込みを制限し、オーディオ処理におけるリアルタイム性を確保している。
【００５６】
定型処理部２２３０は、内部にコード変換部２２３１、画素演算部２２３２、画素読み書き部２２３３を備える。定型処理部２２３０はビデオデコード処理におけるマクロブロック本体部分について、コード変換部２２３１による可変長符号の復号（ＶＬＤ:Variable Length code Decoding）、画素演算部２２３２による逆量子化（ＩＱ：Inverse Quantization）と逆離散余弦変換（ＩＤＣＴ:Inverse Discrete Cosine Transform）、画素読み書き部２２３３による動き補償（ＭＣ:Motion Compensation）を同順に定型処理としてパイプライン方式によって行う。ただし定型処理部２２３０は、ＶＬＤについては、マクロブロック本体部分のみでなく、マクロブロックのヘッダ部分についても行って、復号されたヘッダ部分のデータを逐次処理部２２２０に出力する。定型処理部２２３０は、動き補償において、復号後のブロックをフレームメモリとしての外部メモリ２４００にメモリコントローラ２３００を介して格納する。
【００５７】
オーディオ処理手段２２２２は、ＤＶＤ−Ｖｉｄｅｏ規格対応の第１オーディオデコード手段２２２４と、ＤＶＤ−Ａｕｄｉｏ規格対応の第２オーディオデコード手段２２２５とで構成され、また内部に割込み禁止設定手段２２２７が装備されている。第１オーディオデコード手段２２２４は、たとえばドルビーディジタル方式（通称ＡＣ３）や、ＭＰＥＧオーディオ（ＩＳＯ／ＩＥＣ１１１７２−３あるいは１３８１８−３）を対象とするデコード手段であってもよい。又第２オーディオデコード手段２２２５は、ＰａｃｋｅｄＰＣＭ方式を対象とするデコード手段であってもよい。
【００５８】
本実施の形態におけるデコード処理部２２００の各主要部で行われる処理タイミングを図４に示す。なお同図において、横軸は時間を示し、ｔ０〜ｔ４は、時間軸上の時刻を示す。同図において、逐次処理部２２２０はオペレーションスレッド手段２２２３を介してヘッダ解析処理手段２２２１により、まず１マクロブロック分のヘッダ解析処理（ヘッダ情報の解析と動きベクトルの計算）を行う（ｔ０〜ｔ２）。この処理中において逐次処理部２２２０はオペレーションスレッド手段２２２３を介して、ヘッダ情報の解析を終了すると（ｔ１）、動きベクトルの計算処理の前に、コード変換部２２３１にマクロブロック本体部分のＶＬＤ開始指示を出力する。逐次処理部２２２０は、１マクロブロック分のヘッダ解析を終了した後、オペレーションスレッド手段２２２３を介してオーディオ処理手段２２２２により音声デコード処理を開始する（ｔ２）。コード変換部２２３１がマクロブロック本体部分のＶＬＤを終了すると（ｔ３）、逐次処理部２２２０はオペレーションスレッド手段２２２３のヘッダ解析優先手段２２２６により、音声デコード処理を中断してヘッダ解析処理手段２２２１へスレッド処理を移行し、ヘッダ解析処理を開始する。
【００５９】
ここで、オーディオ処理手段２２２２による音声デコード処理が、第１オーディオデコード手段２２２４（ＤＶＤ−Ｖｉｄｅｏ規格のデコード処理）によって行われる場合であれば、オペレーションスレッド手段２２２３によるスレッド切替えは、スムーズに行われるが、第２オーディオデコード手段２２２５（ＤＶＤ−Ａｕｄｉｏ規格のデコード処理）によって行われる場合は、割込み禁止設定手段２２２７によって割り込みタイミングが制限される。これは上記の説明でも触れたように、ＤＶＤ−Ｖｉｄｅｏ規格のプログラムストリーム再生における音声デコード処理は、動画再生処理を扱うビデオ処理と比べると、ビデオ処理におけるマクロブロックのヘッダ解析と次のヘッダ解析との間の時間帯で十分に処理できるほど処理量が少ないのに対し、ＤＶＤ−Ａｕｄｉｏ規格のプログラムストリーム再生における音声デコード処理が、最短表示間隔が０．４秒の静止画再生処理を扱うビデオ処理と比べ、処理量が大きいからである。そこで割込み禁止設定手段２２２７によってオペレーションスレッド手段２２２３のスレッド割り込みを制限する。こうすればＤＶＤ−Ａｕｄｉｏ規格においてもオーディオ処理のリアルタイム性を確保することができる。
【００６０】
以上のように構成された映像音声処理装置の動作について説明する。尚、本実施の形態では説明を容易にするため、最初にＤＶＤ−Ｖｉｄｅｏ規格のデコード処理における入出力処理部及びデコード処理部における動作を説明し、次にＤＶＤ−Ａｕｄｉｏ規格のデコード処理における入出力処理部及びデコード処理部における動作を説明する。
【００６１】
＜ＤＶＤ−Ｖｉｄｅｏ規格のデコード処理における入出力処理部＞
まずデコード開始前に、ホストＩ／Ｆ部２１７０を介してＩ／Ｏプロセッサ２１３０の制御（ホストインターフェース手段２１３５）によって、ホストコミュニケーション情報がＩ／Ｏメモリ２１３１に格納される。ここで音声符号化方式を選択するオーディオデコーダ選択情報によってＤＶＤ−Ｖｉｄｅｏ規格のオーディオデコーダが選択される。
【００６２】
続いて入出力処理部２１００において、ストリーム入力部２１１０から非同期に入力されるプログラムストリームは、Ｉ／Ｏプロセッサ２１３０の制御（ストリームパーシング手段２１３２）によって、解析がおこなわれ、分離処理とバッファメモリ２１２０、メモリコントローラ２３００を介して一旦外部メモリ２４００に格納される。
【００６３】
さらに、プログラムストリームはメモリコントローラ２３００を介してＦＩＦＯメモリ２２１０に保持される。このときＩ／Ｏプロセッサ２１３０では、内部のバッファコントロールアサイン手段２１３８によって、Ｉ／Ｏメモリ２１３１に格納されているオーディオデコーダ選択情報を読み出す。ここではＤＶＤ−Ｖｉｄｅｏ規格のオーディオデコーダが選択されていることから、第１バッファコントロール手段２１３３をビデオストリーム転送用に割り当て、第２バッファコントロール手段２１３４をオーディオストリーム転送用に割り当てる。これはＤＶＤ−Ｖｉｄｅｏ規格のプログラムストリームが、動画を扱うビデオストリームとオーディオストリームを多重化したもので、ビデオストリームの占めるデータ割合がオーディオストリームに比べ非常に大きいためである。
【００６４】
この場合、第１バッファコントロール手段２１３３は、デコード処理部２２００のリクエストに応じて、外部メモリ２４００のビデオバッファエリア２４１０からメモリコントローラ２３００を介してＦＩＦＯメモリ２２１０内のビデオストリームＦＩＦＯ２２１１へビデオストリームデータを転送する。又第２バッファコントロール手段２１３４は、外部メモリ２４００のオーディオバッファエリア２４２０からメモリコントローラ２３００を介してＦＩＦＯメモリ２２１０内のオーディオストリームＦＩＦＯ２２１２へオーディオストリームデータを転送する。
【００６５】
このようにＩ／Ｏプロセッサ２１３０は、ＦＩＦＯメモリ２２１０に過不足なく一定量のビデオ及びオーディオストリームデータを供給するので、デコード処理部２２００は、非同期の入出力とは切り離されて、デコード処理に専従することができる。ここまでの処理は、上記入出力処理部２１００により、デコード処理部２２００とは独立に並行してなされる。
【００６６】
＜ＤＶＤ−Ｖｉｄｅｏ規格のデコード処理におけるデコード処理部＞
まず逐次処理部２２２０では、Ｉ／Ｏプロセッサ２１３０内のデコード処理部インターフェース手段２１３６を介してオーディオデコーダ選択情報を入手し、オーディオ処理手段２２２２におけるデコーダとして第１オーディオデコード手段２２２４をセットする。
【００６７】
逐次処理部２２２０では、オペレーションスレッド手段２２２３の制御によってヘッダ解析処理手段２２２１によるビデオヘッダ解析処理とオーディオ処理手段２２２２によるオーディオデコードとを交互に繰り返して行う。逐次処理部２２２０は、ヘッダ解析処理手段２２２１によって１マクロブロック分のヘッダ解析を行い、解析結果を定型処理部２２３０のコード変換部２２３１、画素演算部２２３２、画素読み書き部２２３３に通知した後、コード変換部２２３１に対してマクロブロックのＶＬＤ開始を指示する。その後逐次処理部２２２０は、動きベクトルを計算し、画素読み書き部２２３３に計算結果を出力する。この出力の後、逐次処理部２２２０はオペレーションスレッド手段２２２３を介して、ヘッダ解析を終了する。
【００６８】
オペレーションスレッド手段２２２３は、ヘッダ解析終了後、オーディオ処理手段２２２２を実行状態にする。オーディオ処理手段２２２２が実行状態になることにより、逐次処理部２２２０はオーディオデコード処理を開始する。オーディオ処理手段２２２２の実行によって、オーディオデコード処理は、内部の第１オーディオデコード手段２２２４によって、オーディオストリームＦＩＦＯ２２１２からオーディオストリームが読み込まれ、デコード処理が行なわれる。デコード後の音声データは内部メモリ２２２８に一旦保持され、さらにメモリコントローラ２３００により外部メモリ２４００にＤＭＡ転送される。
【００６９】
音声デコード処理中にオペレーションスレッド手段２２２３は、定型処理部２２３０のコード変換部２２３１によるＶＬＤ終了を検出すると、ヘッダ解析処理手段２２２１が実行可能状態になるので、ヘッダ解析優先手段２２２４により、音声デコード処理を中断してヘッダ解析処理手段２２２１へ処理を移行し、ヘッダ解析処理を開始する。これによって逐次処理部２２２０では、次のマクロブロックのヘッダ解析を開始する。
【００７０】
ここで、オーディオ処理手段２２２２による音声デコード処理が、第１オーディオデコード手段２２２４（ＤＶＤ−Ｖｉｄｅｏ規格のデコード処理）によって行われるため、オペレーションスレッド手段２２２３によるスレッド切替えは、ビデオのヘッダ解析を優先し、スムーズに行われるので、ビデオ動画の処理はリアルタイム性を維持することができる。
【００７１】
＜ＤＶＤ−Ａｕｄｉｏ規格のデコード処理における入出力処理部＞
上記ＤＶＤ−Ｖｉｄｅｏ規格のデコード処理における場合と同様、デコード開始前に、ホストＩ／Ｆ部２１７０を介してホストインターフェース手段２１３５によって、ホストコミュニケーション情報がＩ／Ｏメモリ２１３１に格納される。ここで音声符号化方式を選択するオーディオデコーダ選択情報によってＤＶＤ−Ａｕｄｉｏ規格のオーディオデコーダが選択される。
【００７２】
続いて入出力処理部２１００において、ストリーム入力部２１１０から非同期に入力されるプログラムストリームはストリームパーシング手段２１３２によって、解析がおこなわれ、分離され、バッファメモリ２１２０、メモリコントローラ２３００を介して一旦外部メモリ２４００に格納される。
【００７３】
さらに、プログラムストリームはメモリコントローラ２３００を介してＦＩＦＯメモリ２２１０に保持される。このときＩ／Ｏプロセッサ２１３０では、内部のバッファコントロールアサイン手段２１３８によって、Ｉ／Ｏメモリ２１３１に格納されているオーディオデコーダ選択情報を読み出し、ＤＶＤ−Ａｕｄｉｏ規格のオーディオデコーダが選択されていることから、第１バッファコントロール手段２１３３をオーディオストリーム転送用に割り当て、第２バッファコントロール手段２１３４をビデオストリーム転送用に割り当てる。これは、ＤＶＤ−Ａｕｄｉｏ規格のプログラムストリームが、プリローディング用の静止画ストリーム以外はすべてオーディオストリームであるので、扱う最大データ転送量が大きい第１バッファコントロール手段へオーディオを割り当てている。
【００７４】
この場合、第２バッファコントロール手段２１３４は、デコード処理部２２００のリクエストに応じて、外部メモリ２４００のビデオバッファエリア２４１０からメモリコントローラ２３００を介してＦＩＦＯメモリ２２１０内のビデオストリームＦＩＦＯ２２１１へビデオストリームデータを転送する。第１バッファコントロール手段２１３３は、外部メモリ２４００のオーディオバッファエリア２４２０からメモリコントローラ２３００を介してＦＩＦＯメモリ２２１０内のオーディオストリームＦＩＦＯ２２１２へオーディオストリームデータを転送する。
【００７５】
上記構成により、本実施の形態における映像音声処理装置は、バッファコントロール処理にかかる回路規模や演算処理量の増大を伴うことなくＤＶＤ−Ａｕｄｉｏデコード対応を実現することができる。本実施の形態によれば、ＤＶＤ−Ａｕｄｉｏデコード対応のためにバッファコントロール処理は、ホストＣＰＵからのデコーダ選択により切り替わるバッファコントロールアサイン手段２１３８を追加するのみでよい。
【００７６】
＜ＤＶＤ−Ａｕｄｉｏ規格のデコード処理におけるデコード処理部＞
上記ＤＶＤ−Ｖｉｄｅｏ規格のデコード処理における場合と同様、まず逐次処理部２２２０では、Ｉ／Ｏプロセッサ２１３０内のデコード処理部Ｉ／Ｆ手段２１３６を介してオーディオデコーダ選択情報を入手し、オーディオ処理手段２２２２におけるデコーダとして第２オーディオデコード手段２２２５をセットする。
【００７７】
逐次処理部２２２０では、オペレーションスレッド手段２２２３の制御によってヘッダ解析処理手段２２２１によるビデオヘッダ解析処理とオーディオ処理手段２２２２によるオーディオデコードと交互に繰り返して行う。動作順序等については基本的にＤＶＤ−Ｖｉｄｅｏ規格のデコード処理の場合とほぼ同じであるが、音声デコード処理中のコード変換部２２３１によるＶＬＤ終了を検出する処理がＤＶＤ−Ｖｉｄｅｏ規格のデコード処理の場合に比べると大きく遅延がかかり、結果としてその分オーディオ処理の時間が延長される。
【００７８】
そこで第２オーディオデコード手段２２２５（ＤＶＤ−Ａｕｄｉｏ規格のデコード処理）によってデコード処理が行われるため、割込み禁止設定手段２２２７によって割り込みタイミングを制限する。これは上記の説明でも触れたように、ＤＶＤ−Ｖｉｄｅｏ規格のプログラムストリーム再生における音声デコード処理は、動画再生処理を扱うビデオ処理と比べると、ビデオ処理におけるマクロブロックのヘッダ解析と次のヘッダ解析との間の時間帯で十分に処理できるほど処理量が少ない。一方ＤＶＤ−Ａｕｄｉｏ規格のプログラムストリーム再生における音声デコード処理は、最短表示間隔が０．４秒の静止画再生処理を扱うビデオ処理と比べ、処理量が大きい。従って割込み禁止設定手段２２２７によって、オペレーションスレッド手段２２２３のスレッド割り込みを制限する。これにより静止画復号処理による一時的な処理量不足を回避することが可能である。逐次処理部の処理性能を向上させる必要なくＤＶＤ−Ｖｉｄｅｏ及びＤＶＤ−Ａｕｄｉｏの双方に対するデコード対応の実現が容易となる。オーディオ処理におけるリアルタイム性を確保することができる。
【００７９】
上記構成により、本実施の形態における映像音声処理装置は、デコード処理にかかる回路規模や演算処理量の増大を伴うことなくＤＶＤ−Ａｕｄｉｏデコード対応を実現することができる。本実施の形態によれば、ＤＶＤ−Ａｕｄｉｏデコード対応のためにデコード処理は、オーディオ処理手段に割込み禁止設定手段を追加するのみでよい。
【００８０】
【発明の効果】
以上のように、本発明によれば、バッファコントロールアサイン手段を備えることによって、復号処理を行うプログラムストリームに含まれるビデオストリームとオーディオストリームに応じて、バッファエリアからＦＩＦＯへ符号化信号の転送を行うバッファコントロールタスクとの組み合わせを変更することが可能となる。従って映像及び音声符号化データを扱うバッファコントロールタスクが固定してアサインされる場合と比較すると、ストリームの特性に適した組み合わせによる符号化信号のデータ転送が可能となり、双方のバッファコントロールタスクの処理能力をあげる必要がないので、コストアップすることなく、入力ストリームへの対応性を向上することができる。
【００８１】
又ホストインターフェース部とホストコミュニケーション記憶手段とバッファコントロールアサイン手段とを備えて構成されることで、音声符号化方式情報に応じて第１及び第２バッファコントロール手段と映像及びオーディオ用バッファエリア、ストリームＦＩＦＯへのアサインを決定することが可能となり、例えばＤＶＤ−Ｖｉｄｅｏ規格の音声符号化の復号処理の場合とＤＶＤ−Ａｕｄｉｏ規格の音声符号化の復号処理の場合とでバッファコントロールタスクのアサインを容易に指定できるので、入力される音声と映像とで符号化信号の転送量や復号演算量の比率が大きく異なるストリームへの適合が容易となる。
【００８２】
また、ホストインターフェース部とホストコミュニケーション記憶手段とバッファコントロールアサイン手段とを備えて構成することで、ＤＶＤ−Ａｕｄｉｏ準拠のプログラムストリーム再生時は音声処理優先のバッファコントロール処理が行われ、ＤＶＤ−Ｖｉｄｅｏ準拠のプログラムストリーム再生時は映像処理優先のバッファコントロール処理が行われるので、バッファコントロールタスクの性能向上の必要なくＤＶＤ−Ｖｉｄｅｏ及びＤＶＤ−Ａｕｄｉｏの双方に対するデコード対応の実現が容易となる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における映像音声処理装置の全体構成を示すブロック図である。
【図２】本実施の形態１による映像音声処理装置のＩ／Ｏプロセッサの構成を示すブロック図である。
【図３】本実施の形態１による映像音声処理装置の逐次処理部の構成を示すブロック図である。
【図４】本実施の形態１におけるデコード処理部２２００の各主要部で行われる処理タイミングを示す図である。
【図５】従来の映像音声再生装置の構成例を示すブロック図である。
【符号の説明】
１０００，２０００ 映像音声処理装置本体部
１１００，２１００ 入出力処理部
１１１０，２１１０ ストリーム入力部
１１２０，２１２０ バッファメモリ
１１４０，２１３０ Ｉ／Ｏプロセッサ
２１３１ Ｉ／Ｏメモリ
１１４１，２１３２ ストリームパーシング手段
１１４２ ビデオバッファコントロール手段
１１４３ オーディオバッファコントロール手段
２１３３ 第１バッファコントロール手段
２１３４ 第２バッファコントロール手段
２１３５ ホストインターフェース手段
２１３６ デコード処理部インターフェース手段
２１３７ ビデオ出力信号制御手段
２１３８ バッファコントロールアサイン手段
２１４０ ＤＭＡＣ
２１５０ ビデオ出力部
２１６０ オーディオ出力部
２１７０ ホストＩ／Ｆ部
１２００，２２００ デコード処理部
１２１０，２２１０ ＦＩＦＯメモリ
１２１１，２２１１ ビデオストリームＦＩＦＯ
１２１２，２２１２ オーディオストリームＦＩＦＯ
２２２０ 逐次処理部
２２２１ ヘッダ解析処理手段
２２２２ オーディオ処理手段
２２２３ オペレーションスレッド手段
２２２４ 第１オーディオデコード手段
２２２５ 第２オーディオデコード手段
２２２６ ヘッダ解析優先手段
２２２７ 割込み禁止設定手段
２２２８ 内部メモリ
２２３０ 定型処理部
２２３１ コード変換部
２２３２ 画素演算部
２２３３ 画素読み書き部
１２２０ ビデオ処理部
１２３０ オーディオ処理部
１３００，２３００ メモリコントローラ
１４００，２４００ 外部メモリ
１４１０，２４１０ ビデオ用バッファエリア
１４２０，２４２０ オーディオ用バッファエリア
Claims (15)
- オーディオ及びビデオのデータストリームを含み、オーディオ及びビデオの情報量が異なる少なくとも２種類のデータストリームを復号し、再生する映像音声処理装置であって、
ビデオ及びオーディオストリームを記憶するビデオ及びオーディオ用バッファエリアを含む外部メモリと、
前記外部メモリからオーディオストリーム及びビデオストリームを夫々転送するオーディオストリームＦＩＦＯ及びビデオストリームＦＩＦＯと、を含み、ビデオ及びオーディオストリームを復号するデコード処理部と、
入力された前記データストリームをオーディオ及びビデオストリームに分離し、前記外部メモリ内のビデオ及びオーディオ用バッファエリアへのデータ転送を指示するストリームパーシング手段と、
前記外部メモリ内のビデオ及びオーディオ用バッファエリアから夫々前記ビデオ及びオーディオストリームＦＩＦＯへビデオ及びオーディオストリームの転送を行うデータ転送量の異なる第１，第２のバッファコントロール手段と、
データストリームの種類に応じて前記第１，第２のバッファコントロール手段と前記ビデオ及びオーディオ用バッファエリアと前記ビデオ及びオーディオストリームＦＩＦＯをアサインするバッファコントロールアサイン手段と、を備えることを特徴とする映像音声処理装置。 - 前記バッファコントロールアサイン手段は、オーディオストリームのデコード方式を示すオーディオデコーダ選択情報に応じて前記第１，第２のバッファコントロール手段と前記外部メモリのビデオ及びオーディオ用バッファエリア、及び前記ビデオ及びオーディオストリームＦＩＦＯへのアサインを決定するアサイン手段であることを特徴とする請求項１記載の映像音声処理装置。
- 前記映像音声処理装置は、前記第１のバッファコントロール手段と第２のバッファコントロール手段の最大可能データ転送量をそれぞれＸ及びＹとし、単位時間当たりの処理クロック数をそれぞれＡ及びＢとした場合、Ｘ＞Ｙ及びＡ＞Ｂの関係であることを特徴とする請求項２記載の映像音声処理装置。
- 前記映像音声処理装置は、映像及び音声の記録のための第１の映像・音声規格及び前記第１の映像・音声規格よりも映像の情報量が少なく、音声の情報量が多い第２の映像・音声規格に準拠したプログラムストリームを復号する映像音声処理装置であり、
前記バッファコントロールアサイン手段は、前記ホストインターフェース部より伝達されるオーディオデコーダ選択情報が第１の映像・音声規格のオーディオデコーダを示す場合、前記第１バッファコントロール手段をビデオバッファエリアと前記ビデオストリームＦＩＦＯにアサインし、前記第２のバッファコントロール手段を前記オーディオバッファエリアと前記オーディオストリームＦＩＦＯにアサインすることを特徴とする請求項３記載の映像音声処理装置。 - 前記映像音声処理装置は、映像及び音声の記録のための第１の映像・音声規格及び前記第１の映像・音声規格よりも映像の情報量が少なく、音声の情報量が多い第２の映像・音声規格に準拠したプログラムストリームを復号する映像音声処理装置であり、
前記バッファコントロールアサイン手段は、前記ホストインターフェース部より伝達されるオーディオデコーダ選択情報が第２の映像・音声規格のオーディオデコーダを示す場合、前記第１のバッファコントロール手段をオーディオバッファエリア、オーディオ用ストリームＦＩＦＯにアサインし、前記第２のバッファコントロール手段をビデオバッファエリア及び前記ビデオ用ストリームＦＩＦＯにアサインすることを特徴とする請求項３記載の映像音声処理装置。 - 前記映像音声処理装置は、映像及び音声の記録のための第１の映像・音声規格及び前記第１の映像・音声規格よりも映像の情報量が少なく、音声の情報量が多い第２の映像・音声規格に準拠したプログラムストリームを復号する映像音声処理装置であり、
前記バッファコントロールアサイン手段は、前記ホストインターフェース部より伝達されるオーディオデコーダ選択情報が第１の映像・音声規格のオーディオデコーダを示す場合、前記第１のバッファコントロール手段をビデオバッファエリアと前記ビデオストリームＦＩＦＯにアサインし、前記第２のバッファコントロール手段を前記オーディオバッファエリアと前記オーディオストリームＦＩＦＯにアサインすると共に、
前記ホストインターフェース部より伝達されるオーディオデコーダ選択情報が第２の映像・音声規格のオーディオデコーダを示す場合、前記第１のバッファコントロール手段をオーディオバッファエリア、オーディオ用ストリームＦＩＦＯにアサインし、前記第２のバッファコントロール手段をビデオバッファエリア及び前記ビデオ用ストリームＦＩＦＯにアサインすることを特徴とする請求項３記載の映像音声処理装置。 - オーディオ及びビデオのデータストリームを含み、オーディオ及びビデオの情報量が異なる少なくとも２種類のデータストリームを復号し、再生する映像音声処理装置であって、
前記映像音声処理装置は、入出力処理部、デコ−ド処理部、メモリコントローラ、及び外部メモリを含んで構成され、
入出力処理部は、
外部より非同期に入力される前記デ−タストリ−ムを入力するストリーム入力部と、
データ転送時の内部バッファとして使用されるバッファメモリと、
複数のタスク手段を切り替えながら実行するＩ／Ｏプロセッサとを含んで構成され、
デコード処理部は、
ビデオストリームに含まれる所定ブロックのヘッダ解析とオーディオストリームの復号処理を行う逐次処理部と、
前記逐次処理部の復号処理と並行してビデオストリームのヘッダ解析処理を除く復号処理を行う定型処理部と、
前記外部メモリから前記メモリコントローラにより転送されるオーディオストリームを逐次処理部に転送するオーディオストリームＦＩＦＯと、
外部メモリから前記メモリコントローラにより転送されるビデオストリームを定型処理部に転送するビデオストリームＦＩＦＯと、を含んで構成され、
メモリコントローラは、
外部メモリのデータ入出力の制御を行うコントローラであり、
前記外部メモリは、
前記メモリコントローラより転送されるビデオ及びオーディオストリームを記憶するビデオ及びオーディオ用バッファエリアを含んで構成され、
前記入出力処理部のＩ／Ｏプロセッサは、
前記ストリーム入力部より入力され前記バッファメモリに転送された前記データストリームをオーディオ及びビデオストリームに分離し前記メモリコントローラに外部メモリ内のビデオ及びオーディオ用バッファエリアへのデータ転送を指示するストリームパーシング手段と、
前記外部メモリ内のビデオあるいはオーディオ用バッファエリアから前記ビデオ及びオーディオストリームＦＩＦＯへビデオ及びオーディオストリームの転送を行う第１，第２のバッファコントロール手段と、
データストリームの種類に応じて前記第１，第２のバッファコントロール手段と前記ビデオ及びオーディオ用バッファエリアと前記ビデオ及びオーディオストリームＦＩＦＯをアサインするバッファコントロールアサイン手段と、を備えることを特徴とする映像音声処理装置。 - 前記映像音声処理装置は、前記入出力処理部による入出力処理と、前記デコード処理部によるデコード処理とを平行して行うよう構成されることを特徴とする請求項７記載の映像音声処理装置。
- 前記入出力処理部は、外部のＣＰＵと前記Ｉ／Ｏプロセッサとの通信を行うホストインターフェース部を備え、
前記Ｉ／Ｏプロセッサは、少なくともホストインターフェース部より伝達されるホストコミュニケーション情報を記憶するＩ／Ｏメモリを備え、
前記ホストコミュニケーション情報は、オーディオストリームのデコード方式を示すオーディオデコーダ選択情報を含んで構成され、
前記バッファコントロールアサイン手段は、オーディオデコーダ選択情報に応じて前記第１，第２のバッファコントロール手段と前記外部メモリのビデオ及びオーディオ用バッファエリア、及び前記ビデオ及びオーディオストリームＦＩＦＯへのアサインを決定するアサイン手段であることを特徴とする請求項７記載の映像音声処理装置。 - 前記映像音声処理装置は、前記第１のバッファコントロール手段と第２のバッファコントロール手段の最大可能データ転送量をそれぞれＸ及びＹとし、単位時間当たりの処理クロック数をそれぞれＡ及びＢとした場合、Ｘ＞Ｙ及びＡ＞Ｂの関係であることを特徴とする請求項９記載の映像音声処理装置。
- 前記映像音声処理装置は、映像及び音声の記録のための第１の映像・音声規格及び前記第１の映像・音声規格よりも映像の情報量が少なく、音声の情報量が多い第２の映像・音声規格に準拠したプログラムストリームを復号する映像音声処理装置であり、
前記バッファコントロールアサイン手段は、前記ホストインターフェース部より伝達されるオーディオデコーダ選択情報が第１の映像・音声規格のオーディオデコーダを示す場合、前記第１バッファコントロール手段をビデオバッファエリアと前記ビデオストリームＦＩＦＯにアサインし、前記第２のバッファコントロール手段を前記オーディオバッファエリアと前記オーディオストリームＦＩＦＯにアサインすることを特徴とする請求項１０記載の映像音声処理装置。 - 前記映像音声処理装置は、映像及び音声の記録のための第１の映像・音声規格及び前記第１の映像・音声規格よりも映像の情報量が少なく、音声の情報量が多い第２の映像・音声規格に準拠したプログラムストリームを復号する映像音声処理装置であり、
前記バッファコントロールアサイン手段は、前記ホストインターフェース部より伝達されるオーディオデコーダ選択情報が第２の映像・音声規格のオーディオデコーダを示す場合、前記第１のバッファコントロール手段をオーディオバッファエリア、オーディオ用ストリームＦＩＦＯにアサインし、前記第２のバッファコントロール手段をビデオバッファエリア及び前記ビデオ用ストリームＦＩＦＯにアサインすることを特徴とする請求項１０記載の映像音声処理装置。 - 前記映像音声処理装置は、映像及び音声の記録のための第１の映像・音声規格及び前記第１の映像・音声規格よりも映像の情報量が少なく、音声の情報量が多い第２の映像・音声規格に準拠したプログラムストリームを復号する映像音声処理装置であり、
前記バッファコントロールアサイン手段は、前記ホストインターフェース部より伝達されるオーディオデコーダ選択情報が第１の映像・音声規格のオーディオデコーダを示す場合、前記第１のバッファコントロール手段をビデオバッファエリアと前記ビデオストリームＦＩＦＯにアサインし、前記第２のバッファコントロール手段を前記オーディオバッファエリアと前記オーディオストリームＦＩＦＯにアサインすると共に、
前記ホストインターフェース部より伝達されるオーディオデコーダ選択情報が第２の映像・音声規格のオーディオデコーダを示す場合、前記第１のバッファコントロール手段をオーディオバッファエリア、オーディオ用ストリームＦＩＦＯにアサインし、前記第２のバッファコントロール手段をビデオバッファエリア及び前記ビデオ用ストリームＦＩＦＯにアサインすることを特徴とする請求項１０記載の映像音声処理装置。 - 前記逐次処理部は、
ビデオストリームに含まれる所定ブロックのヘッダ解析を行うヘッダ解析処理手段と、
少なくとも第１の映像・音声規格のオーディオストリームの音声復号処理を行う第１オーディオデコード手段と及び第２の映像・音声規格のオーディオストリームの音声復号処理を行う第２オーディオデコード手段を含むオーディオ処理手段と、
前記ヘッダ解析処理手段と前記オーディオ処理手段の切り替えを行うオペレーションスレッド手段と、を含んで構成されることを特徴とする請求項９記載の映像音声処理装置。 - 前記映像音声処理装置は、映像及び音声の記録のための第１の映像・音声規格及び前記第１の映像・音声規格よりも映像の情報量が少なく、音声の情報量が多い第２の映像・音声規格に準拠したプログラムストリームを復号する映像音声処理装置であり、
前記逐次処理部は、
ビデオストリームに含まれる所定ブロックのヘッダ解析を行うヘッダ解析処理手段と、
少なくとも第１の映像・音声規格のオーディオストリームの音声復号処理を行う第１オーディオデコード手段と及び第２の映像・音声規格のオーディオストリームの音声復号処理を行う第２オーディオデコード手段を含むオーディオ処理手段と、
前記ヘッダ解析処理手段と前記オーディオ処理手段の切り替えを行うオペレーションスレッド手段と、を含んで構成され、
前記オスペレーションスレッド手段は、前記ヘッダ解析処理手段によるビデオストリームに含まれる所定ブロックのヘッダ解析処理を前記第２オーディオ処理手段によるオーディオストリームの音声復号処理より優先的に行うようスレッド切り替えを実行するヘッダ解析優先手段を含み、
前記オーディオ処理手段が、オペレーションスレッド手段からの割り込みを禁止する割込み禁止設定手段を備えることを特徴とする請求項７記載の映像音声処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001064650A JP4538161B2 (ja) | 2000-03-08 | 2001-03-08 | 映像音声処理装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000-62839 | 2000-03-08 | ||
| JP2000062839 | 2000-03-08 | ||
| JP2001064650A JP4538161B2 (ja) | 2000-03-08 | 2001-03-08 | 映像音声処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001324998A JP2001324998A (ja) | 2001-11-22 |
| JP4538161B2 true JP4538161B2 (ja) | 2010-09-08 |
Family
ID=26586977
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001064650A Expired - Fee Related JP4538161B2 (ja) | 2000-03-08 | 2001-03-08 | 映像音声処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4538161B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4732730B2 (ja) | 2004-09-30 | 2011-07-27 | パナソニック株式会社 | 音声復号装置 |
| CN111986684A (zh) * | 2020-09-08 | 2020-11-24 | 广州视源电子科技股份有限公司 | 音视频处理电路及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07170290A (ja) * | 1993-12-15 | 1995-07-04 | Sony Corp | 通信システム |
| JPH0993577A (ja) * | 1995-09-28 | 1997-04-04 | Toshiba Corp | 動画像デコード装置 |
| JPH10307731A (ja) * | 1997-03-04 | 1998-11-17 | Matsushita Electric Ind Co Ltd | 非同期に実行すべきタスクが多数あっても、非同期イベントタスクを効率良く実行することができるプロセッサ |
| JPH11239348A (ja) * | 1997-11-28 | 1999-08-31 | Matsushita Electric Ind Co Ltd | 映像音声処理装置 |
-
2001
- 2001-03-08 JP JP2001064650A patent/JP4538161B2/ja not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07170290A (ja) * | 1993-12-15 | 1995-07-04 | Sony Corp | 通信システム |
| JPH0993577A (ja) * | 1995-09-28 | 1997-04-04 | Toshiba Corp | 動画像デコード装置 |
| JPH10307731A (ja) * | 1997-03-04 | 1998-11-17 | Matsushita Electric Ind Co Ltd | 非同期に実行すべきタスクが多数あっても、非同期イベントタスクを効率良く実行することができるプロセッサ |
| JPH11239348A (ja) * | 1997-11-28 | 1999-08-31 | Matsushita Electric Ind Co Ltd | 映像音声処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001324998A (ja) | 2001-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8270800B2 (en) | Information processing apparatus and method, recording medium, and program | |
| EP0919953B1 (en) | Audio-video decoding system | |
| US6205429B1 (en) | System and method to manipulate information in an audio decoder | |
| JP2004040794A (ja) | ディジタルデータレート変更および方向性再生変更の処理の方法およびシステム | |
| US20090232482A1 (en) | Optical disc player system and method of controlling a decoding unit in the optical disc player system to read encoded bitstream data from a buffer memory | |
| JP2011077564A (ja) | 映像および音声データの符号化装置とその符号化方法、及びビデオ編集システム | |
| JPH08214260A (ja) | 符号化データの特殊再生方法および特殊再生装置 | |
| US6111592A (en) | DMA data transfer apparatus, motion picture decoding apparatus using the same, and DMA data transfer method | |
| US20110316862A1 (en) | Multi-Processor | |
| JPH10276164A (ja) | 多重化装置および多重化方法、伝送装置および伝送方法、並びに記録媒体 | |
| US7151800B1 (en) | Implementation of a DV video decoder with a VLIW processor and a variable length decoding unit | |
| JP2006324848A (ja) | 情報処理装置及び情報処理方法 | |
| US6847687B2 (en) | Audio and video processing apparatus | |
| KR100629093B1 (ko) | 디코딩 장치 및 디코딩 방법 | |
| US6687305B1 (en) | Receiver, CPU and decoder for digital broadcast | |
| JP4538161B2 (ja) | 映像音声処理装置 | |
| US20080215343A1 (en) | Audio decoding apparatus and audio decoding system | |
| KR20050077145A (ko) | 듀얼 비디오 디코딩을 위한 비디오 버퍼 제어 장치 | |
| JP4770023B2 (ja) | デジタル信号処理装置および方法、並びにデジタル信号処理プログラム | |
| JPH11239348A (ja) | 映像音声処理装置 | |
| EP0917143A1 (en) | Method and apparatus for controlling the buffering of a data stream | |
| JP2002304197A (ja) | オーディオ復号方法および装置 | |
| JP4290306B2 (ja) | 記録再生装置、方法および媒体 | |
| US20140079139A1 (en) | Moving image processing apparatus that processes a plurality of moving image data sets | |
| JP2000228759A (ja) | Ｈｄ／ｓｄ対応デコード装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071228 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100524 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100601 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100621 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130625 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4538161 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |