JP3532796B2 - 単一の外部記憶メモリを備えたマルチメディア復号化装置 - Google Patents
単一の外部記憶メモリを備えたマルチメディア復号化装置Info
- Publication number
- JP3532796B2 JP3532796B2 JP18699199A JP18699199A JP3532796B2 JP 3532796 B2 JP3532796 B2 JP 3532796B2 JP 18699199 A JP18699199 A JP 18699199A JP 18699199 A JP18699199 A JP 18699199A JP 3532796 B2 JP3532796 B2 JP 3532796B2
- Authority
- JP
- Japan
- Prior art keywords
- decoder
- memory
- decoding
- audio
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、ＭＰＥＧ規格など
でディジタル圧縮された画像・音声データを復号する復
号化装置に関し、特にディジタル圧縮された画像データ
とディジタル圧縮された音声データを同時に復号して表
示を行う半導体集積回路に関する。
でディジタル圧縮された画像・音声データを復号する復
号化装置に関し、特にディジタル圧縮された画像データ
とディジタル圧縮された音声データを同時に復号して表
示を行う半導体集積回路に関する。
【０００２】
【従来の技術】ディジタル放送・ＤＶＤの普及、および
半導体集積技術の進歩という背景から、従来別個の集積
回路で実現していたＭＰＥＧ２ビデオデコーダに代表さ
れる映像の復号化器とＡＣ-３デコーダやＭＰＥＧオー
デイオデコーダに代表される音声の復号化器が単一の半
導体集積回路に集積されつつある。低コストでビデオ・
オーデイオデコーダを実装するためには、ビデオデコー
ダとオーディオデコーダが単一の集積回路内に実装され
るばかりでなく、ビデオデコーダが使用するデータメモ
リとオーディオデコーダが使用するデータメモリが、物
理的に１つのメモリを共有するユニファイドメモリアー
キテクチャをとることが望ましい。
半導体集積技術の進歩という背景から、従来別個の集積
回路で実現していたＭＰＥＧ２ビデオデコーダに代表さ
れる映像の復号化器とＡＣ-３デコーダやＭＰＥＧオー
デイオデコーダに代表される音声の復号化器が単一の半
導体集積回路に集積されつつある。低コストでビデオ・
オーデイオデコーダを実装するためには、ビデオデコー
ダとオーディオデコーダが単一の集積回路内に実装され
るばかりでなく、ビデオデコーダが使用するデータメモ
リとオーディオデコーダが使用するデータメモリが、物
理的に１つのメモリを共有するユニファイドメモリアー
キテクチャをとることが望ましい。
【０００３】一方、映像情報を取り扱うには、メモリア
クセスに高いデータレートをが必要であることが一般的
に知られている。例として、図７に示されるようなＮＴ
ＳＣ規格のＭＰＥＧ２ビデオデコーダの要求メモリバン
ド幅の時間変動が図８に示されている。ＮＴＳＣ規格の
ＭＰＥＧ２ＭＰ＠ＭＬビデオデコーダにおいてメモリア
クセスを要求する処理は、ビットストリームの読み出し
・動き補償のための参照画像読み出し・復号画像の格納
・画像表示のための復号画像読み出しの４種類である。
クセスに高いデータレートをが必要であることが一般的
に知られている。例として、図７に示されるようなＮＴ
ＳＣ規格のＭＰＥＧ２ビデオデコーダの要求メモリバン
ド幅の時間変動が図８に示されている。ＮＴＳＣ規格の
ＭＰＥＧ２ＭＰ＠ＭＬビデオデコーダにおいてメモリア
クセスを要求する処理は、ビットストリームの読み出し
・動き補償のための参照画像読み出し・復号画像の格納
・画像表示のための復号画像読み出しの４種類である。
【０００４】ビットストリームの最大平均ビットレート
が１５Ｍｂｐｓ、参照画像の読み出しが１フレーム期間
に４フィールド分の場合を仮定すると、それぞれのメモ
リアクセスに要するメモリバンド幅は、ビットストリー
ムの読み出しが毎秒約８ＭＢ、参照両像の読み出しが毎
秒約４５ＭＢ、復号画像の格納が毎秒約１６ＭＢ、画像
表示のための復号画像読み出しが毎秒約５４ＭＢとな
り、最大毎秒１２３Ｍバイトのメモリアクセスが必要と
なる。ただし、映像出力データフォーマットは一般に垂
直ブランキング期間と呼ばれる期間が存在し、この期間
にはデータは送出されない。
が１５Ｍｂｐｓ、参照画像の読み出しが１フレーム期間
に４フィールド分の場合を仮定すると、それぞれのメモ
リアクセスに要するメモリバンド幅は、ビットストリー
ムの読み出しが毎秒約８ＭＢ、参照両像の読み出しが毎
秒約４５ＭＢ、復号画像の格納が毎秒約１６ＭＢ、画像
表示のための復号画像読み出しが毎秒約５４ＭＢとな
り、最大毎秒１２３Ｍバイトのメモリアクセスが必要と
なる。ただし、映像出力データフォーマットは一般に垂
直ブランキング期間と呼ばれる期間が存在し、この期間
にはデータは送出されない。
【０００５】ＮＴＳＣ規格のディジタルデータを出力す
るＣＣＩＲＲ６０１と呼ばれる規格においては、垂直ブ
ランキング期間は１６．７ｍｓに１回、約１．３ｍｓ継
続する。この期間においては、要求されるメモリアクセ
ス量はピークレートの５０％程度である毎秒６９Ｍバイ
ト程度に滅少する。
るＣＣＩＲＲ６０１と呼ばれる規格においては、垂直ブ
ランキング期間は１６．７ｍｓに１回、約１．３ｍｓ継
続する。この期間においては、要求されるメモリアクセ
ス量はピークレートの５０％程度である毎秒６９Ｍバイ
ト程度に滅少する。
【０００６】また、オーディオのデコード処理も場合に
よっては高いレートのメモリアクセスを必要とする。例
として５．１チャネルＭＰＥＧ２ＡＡＣＬＣプロフアイ
ルデコーダについて考える。ＭＰＥＧ２ＡＡＣデコーダ
は、サンブリングされたオーデイオ信号１０２４サンプ
ル分をひとまとめにして処理を行う。これをブロックと
呼ぶ。サンブリング周波数が４８ｋＨｚの場合について
考えると、１ブロック分の期間は２１ｍｓであるから、
１チャネルあたり３．５ｍｓから４．２ｍｓ程度の時間
で１チャネルの復号処理を終えなければならない。
よっては高いレートのメモリアクセスを必要とする。例
として５．１チャネルＭＰＥＧ２ＡＡＣＬＣプロフアイ
ルデコーダについて考える。ＭＰＥＧ２ＡＡＣデコーダ
は、サンブリングされたオーデイオ信号１０２４サンプ
ル分をひとまとめにして処理を行う。これをブロックと
呼ぶ。サンブリング周波数が４８ｋＨｚの場合について
考えると、１ブロック分の期間は２１ｍｓであるから、
１チャネルあたり３．５ｍｓから４．２ｍｓ程度の時間
で１チャネルの復号処理を終えなければならない。
【０００７】ＭＰＥＧ２ＡＡＣデコーダの処理を表す簡
略化したブロックダイアグラムの例が図９に示されてい
る。ここでは、ＭＰＥＧ２ＡＡＣデコードの処理は図１
０に示されるような８ＫＢのローカルメモリを持つプロ
セッサにより逐次的に行われるものと仮定する。ISO/IE
C JTCI/SC29/WG N2005“Revised Report on Complexity
of MPEG-2 AAC Tools″によれば、ＡＡＣデコーダには
４３．７５ＫＢのＲＡＭと１３．８５１０３のＲＯＭが
必要である。ここでは、このうちのＲＯＭは内部ＲＯＭ
３４に格納され、４３７５ＫＢのＲＡＭは外部メモリに
格納されているものと仮定する。
略化したブロックダイアグラムの例が図９に示されてい
る。ここでは、ＭＰＥＧ２ＡＡＣデコードの処理は図１
０に示されるような８ＫＢのローカルメモリを持つプロ
セッサにより逐次的に行われるものと仮定する。ISO/IE
C JTCI/SC29/WG N2005“Revised Report on Complexity
of MPEG-2 AAC Tools″によれば、ＡＡＣデコーダには
４３．７５ＫＢのＲＡＭと１３．８５１０３のＲＯＭが
必要である。ここでは、このうちのＲＯＭは内部ＲＯＭ
３４に格納され、４３７５ＫＢのＲＡＭは外部メモリに
格納されているものと仮定する。
【０００８】ローカルＲＡＭは、プロセッサのワークメ
モリとして使用されるとともに、外部メモリからプロセ
ッサへのデー夕転送の際のリードバッファ、およびプロ
セッサから外部メモリへのライトバッファとして使用さ
れる。
モリとして使用されるとともに、外部メモリからプロセ
ッサへのデー夕転送の際のリードバッファ、およびプロ
セッサから外部メモリへのライトバッファとして使用さ
れる。
【０００９】図１１に、各処理が要するメモリアクセス
量の例を示す。入出力データのうち点線で囲まれたデー
タはローカルメモリ内に保持されるため、外部メモリと
のアクセスは行われない。この例の場合、一連の処理の
中でもっともメモリアクセス量が大きい処理がブロック
スイッチングである。この処理は、図１２に示されるよ
うに、前段の処理であるフィルタバンクによって得られ
た２０４８サンプルの時系列データのうち、前半１０２
４サンプルと、ディレイバッファに保存されていた１０
２４サンプルの時系列データについて、ウインドウと呼
ばれる曲線にしたがって重み付け加算を行い、オーディ
オ出力バッファヘ出力する処理である。この処理に関し
ては毎秒約５０ＭＢのメモリバンド幅を必要とするが、
他の処理では毎秒１ＭＢ程度のメモリバンド幅があれば
十分である。
量の例を示す。入出力データのうち点線で囲まれたデー
タはローカルメモリ内に保持されるため、外部メモリと
のアクセスは行われない。この例の場合、一連の処理の
中でもっともメモリアクセス量が大きい処理がブロック
スイッチングである。この処理は、図１２に示されるよ
うに、前段の処理であるフィルタバンクによって得られ
た２０４８サンプルの時系列データのうち、前半１０２
４サンプルと、ディレイバッファに保存されていた１０
２４サンプルの時系列データについて、ウインドウと呼
ばれる曲線にしたがって重み付け加算を行い、オーディ
オ出力バッファヘ出力する処理である。この処理に関し
ては毎秒約５０ＭＢのメモリバンド幅を必要とするが、
他の処理では毎秒１ＭＢ程度のメモリバンド幅があれば
十分である。
【００１０】一般にオーデイオデコーダとビデオデコー
ダの動作は非同期である。先述したＮＴＳＣビデオデコ
ードとＭＰＥＧ２ＡＡＣデコードの組み合わせでも、ビ
デオ側は図８に示されるように１６．７ｍｓ毎に要求メ
モリバンド幅が減少する期間が発生し、オーディオ側は
図１３に示されるように３．５ｍｓから４．２ｍｓ毎に
高いメモリバンド幅を要求する。
ダの動作は非同期である。先述したＮＴＳＣビデオデコ
ードとＭＰＥＧ２ＡＡＣデコードの組み合わせでも、ビ
デオ側は図８に示されるように１６．７ｍｓ毎に要求メ
モリバンド幅が減少する期間が発生し、オーディオ側は
図１３に示されるように３．５ｍｓから４．２ｍｓ毎に
高いメモリバンド幅を要求する。
【００１１】このため、ユニファイドメモリアーキテク
チャをとるビデオ・オーディオデコーダのメモリバンド
幅は、図１４に示されるように、ビデオデコーダの要求
メモリバンド幅のピーク値とオーデイオデコーダの要求
メモリバンド幅のピーク値を加算しただけのバンド幅を
用意する必要がある。先述の例では、このレートは毎秒
１７３ＭＢになる。一般的には、オーディオ復号器とビ
デオ復号器の他に、それぞれにビットストリームを供給
するシステムデマルチプレクサが存在し、これにより外
部メモリヘビットストリームの書き込みが行われる。こ
れに要するメモリバンド幅を加えると、外部メモリに要
求されるメモリバンド幅は毎秒１８０ＭＢ程度になる。
チャをとるビデオ・オーディオデコーダのメモリバンド
幅は、図１４に示されるように、ビデオデコーダの要求
メモリバンド幅のピーク値とオーデイオデコーダの要求
メモリバンド幅のピーク値を加算しただけのバンド幅を
用意する必要がある。先述の例では、このレートは毎秒
１７３ＭＢになる。一般的には、オーディオ復号器とビ
デオ復号器の他に、それぞれにビットストリームを供給
するシステムデマルチプレクサが存在し、これにより外
部メモリヘビットストリームの書き込みが行われる。こ
れに要するメモリバンド幅を加えると、外部メモリに要
求されるメモリバンド幅は毎秒１８０ＭＢ程度になる。
【００１２】
【発明が解決しようとする課題】しかしながら、高いデ
ータレートを有する外部メモリを構成するためには、メ
モリデバイスの動作周波数を上げるか、並列にメモリデ
バイスを複数個並べることが必要となる。いずれの方法
にしても、デコーダ集積回路やメモリデバイスの回路量
が増加し、コストの上昇を招く。
ータレートを有する外部メモリを構成するためには、メ
モリデバイスの動作周波数を上げるか、並列にメモリデ
バイスを複数個並べることが必要となる。いずれの方法
にしても、デコーダ集積回路やメモリデバイスの回路量
が増加し、コストの上昇を招く。
【００１３】一般に良く用いられる１６ビットのバス幅
を持つ同期型ダイナミックメモリ（シンクロナスＤＲＡ
Ｍ）をクロック周波数１００ＭＨｚで駆動した場合、メ
モリアクセスに伴うオーバーへッドが１５％程度存在す
ると仮定すると、そのメモリバンド幅は毎秒１７４ＭＢ
である。したがって、先述の毎秒１８０ＭＢのメモリバ
ンド幅を実現するためには、メモリのバス幅を３２ビッ
トにしなければならない。このバス幅を１６ビットにす
ることができれば、集積回路のピン数が削減され、組み
立てコストの低下・信頼性の向上など得られるメリット
は大きい。
を持つ同期型ダイナミックメモリ（シンクロナスＤＲＡ
Ｍ）をクロック周波数１００ＭＨｚで駆動した場合、メ
モリアクセスに伴うオーバーへッドが１５％程度存在す
ると仮定すると、そのメモリバンド幅は毎秒１７４ＭＢ
である。したがって、先述の毎秒１８０ＭＢのメモリバ
ンド幅を実現するためには、メモリのバス幅を３２ビッ
トにしなければならない。このバス幅を１６ビットにす
ることができれば、集積回路のピン数が削減され、組み
立てコストの低下・信頼性の向上など得られるメリット
は大きい。
【００１４】本発明は、上記の点に鑑みてなされ、本来
非同期であった２つの処理のうち、一方の要求データレ
ートが低い期間に他方の要求データレートが高い期間を
集中させるようにすることにより、ユニファイドメモリ
アーキテクチャにおいても不必要にデータレートを上げ
ず、１つの集積回路内でビデオｌオーデイオデコード処
理を実現させるマルチメディア復号化装置を提供するこ
とを目的とする。
非同期であった２つの処理のうち、一方の要求データレ
ートが低い期間に他方の要求データレートが高い期間を
集中させるようにすることにより、ユニファイドメモリ
アーキテクチャにおいても不必要にデータレートを上げ
ず、１つの集積回路内でビデオｌオーデイオデコード処
理を実現させるマルチメディア復号化装置を提供するこ
とを目的とする。
【００１５】
【課題を解決するための手段】本発明は、 少なくとも
符号化された映像信号を復号する第１の復号器と、この
第１の復号器とは非同期に動作し、映像信号とは異なる
信号を復号する第２の復号器と、第１の復号器と第２の
復号器によってデータメモリとして使用される外部記憶
メモリと、この外部記憶メモリとデータの送受を行うメ
モリコントローラと、第１の復号器と第２の復号器とメ
モリコントローラとを接続するデータバスとを備え、第
２の復号器が行う一連の復号処理のうち、外部記憶メモ
リへのアクセスが大きい処理を独立させ、第１の復号器
が要求するメモリバンド幅が大きい期間には、第２の復
号器はメモリアクセスの少ない処理を集中して行い、第
１の復号器が要求するメモリバンド幅が小さい期間に第
２の復号器はメモリアクセスの大きな処理をまとめて行
うマルチメデイア復号化装置を提供する。
符号化された映像信号を復号する第１の復号器と、この
第１の復号器とは非同期に動作し、映像信号とは異なる
信号を復号する第２の復号器と、第１の復号器と第２の
復号器によってデータメモリとして使用される外部記憶
メモリと、この外部記憶メモリとデータの送受を行うメ
モリコントローラと、第１の復号器と第２の復号器とメ
モリコントローラとを接続するデータバスとを備え、第
２の復号器が行う一連の復号処理のうち、外部記憶メモ
リへのアクセスが大きい処理を独立させ、第１の復号器
が要求するメモリバンド幅が大きい期間には、第２の復
号器はメモリアクセスの少ない処理を集中して行い、第
１の復号器が要求するメモリバンド幅が小さい期間に第
２の復号器はメモリアクセスの大きな処理をまとめて行
うマルチメデイア復号化装置を提供する。
【００１６】本発明によると、マルチメディア復号化装
置は、ビデオデコーダが現在映像出力を行っているか、
ブランキング期間かをオーディオデコーダに通知する手
段と、オーディオデコーダの処理のうち、もっとも要求
メモリバンド幅の高い処理を独立させる手段と、ビデオ
デコーダがブランキング期間に入ったことをオーディオ
デコーダが通知されると、数ブロック分にわたって最も
要求メモリバンド幅の高い処理をまとめて行う手段とを
備えている。
置は、ビデオデコーダが現在映像出力を行っているか、
ブランキング期間かをオーディオデコーダに通知する手
段と、オーディオデコーダの処理のうち、もっとも要求
メモリバンド幅の高い処理を独立させる手段と、ビデオ
デコーダがブランキング期間に入ったことをオーディオ
デコーダが通知されると、数ブロック分にわたって最も
要求メモリバンド幅の高い処理をまとめて行う手段とを
備えている。
【００１７】本発明によれば、本来非同期で動作するビ
デオデコーダとオーディオデコーダのデコード処理のう
ち、ビデオデコーダの要求メモリバンド幅が低くなるブ
ランキング期間と、オーデイオデコーダの要求メモリバ
ンド幅が高くなる期間とを同期させることができる。こ
のため、従来両者の最大要求メモリバンド幅の和で表現
された単一メモリのバンド幅を、一方の比較的低いメモ
リバンド幅と、他方の最大要求メモリバンド幅との和程
度に削減し、低コストにビデオデコーダとオーデイオデ
コーダを集積したユニファイドメモリァーキテクチャに
基づくビデオディオ復号化器を実現することが可能とな
る。
デオデコーダとオーディオデコーダのデコード処理のう
ち、ビデオデコーダの要求メモリバンド幅が低くなるブ
ランキング期間と、オーデイオデコーダの要求メモリバ
ンド幅が高くなる期間とを同期させることができる。こ
のため、従来両者の最大要求メモリバンド幅の和で表現
された単一メモリのバンド幅を、一方の比較的低いメモ
リバンド幅と、他方の最大要求メモリバンド幅との和程
度に削減し、低コストにビデオデコーダとオーデイオデ
コーダを集積したユニファイドメモリァーキテクチャに
基づくビデオディオ復号化器を実現することが可能とな
る。
【００１８】
【発明の実施の形態】以下、本発明の実施例について図
面を参照して説明する。
面を参照して説明する。
【００１９】図１に示す本発明の第１の実施の形態のマ
ルチメディア復号化装置によると、ビデオデコーダ１３
はＭＰＥＧ２ビデオ情報の復号処理を行う。このビデオ
デコーダ１３が必要とする最大のメモリバンド幅は毎秒
約１２３ＭＢである。ＭＰＥＧ２ビデオの復号において
は、復号しているピクチャの種類によって、必要となる
メモリバンド幅が異なる。
ルチメディア復号化装置によると、ビデオデコーダ１３
はＭＰＥＧ２ビデオ情報の復号処理を行う。このビデオ
デコーダ１３が必要とする最大のメモリバンド幅は毎秒
約１２３ＭＢである。ＭＰＥＧ２ビデオの復号において
は、復号しているピクチャの種類によって、必要となる
メモリバンド幅が異なる。
【００２０】図２にそれぞれのピクチャの種類と必要メ
モリバンド幅の関係が示されている。これによると、Ｉ
ピクチャは参照画像の読み出しの必要がないため、必要
メモリバンド幅はＢピクチャに比べ小さく、毎秒約８０
ＭＢとなる。Ｉピクチャは、一般的には０．５秒に１ピ
クチャ程度の頻度で送出される。
モリバンド幅の関係が示されている。これによると、Ｉ
ピクチャは参照画像の読み出しの必要がないため、必要
メモリバンド幅はＢピクチャに比べ小さく、毎秒約８０
ＭＢとなる。Ｉピクチャは、一般的には０．５秒に１ピ
クチャ程度の頻度で送出される。
【００２１】静止画プロセッサ１２は、例えばディジタ
ル放送におけるＥＰＧ（電子番組ガイド）のように、そ
れほど厳密にリアルタイム性を要求されない静止画の復
号処理を行う。ビデオデコーダ１３と静止画プロセッサ
１２のメモリアクセスは、メモリコントローラ１５を介
して行われる。メモリコントローラ１５は、それぞれの
プロセッサ１２，１３がデータバス１０を使用して外部
メモリ１６へアクセスする際の調停を行う。今、静止画
プロセッサ１２がＪＰＥＧ（Joint Picture Coding Exp
ert Group）によって符号化された静止画を復号する場
合を考える。
ル放送におけるＥＰＧ（電子番組ガイド）のように、そ
れほど厳密にリアルタイム性を要求されない静止画の復
号処理を行う。ビデオデコーダ１３と静止画プロセッサ
１２のメモリアクセスは、メモリコントローラ１５を介
して行われる。メモリコントローラ１５は、それぞれの
プロセッサ１２，１３がデータバス１０を使用して外部
メモリ１６へアクセスする際の調停を行う。今、静止画
プロセッサ１２がＪＰＥＧ（Joint Picture Coding Exp
ert Group）によって符号化された静止画を復号する場
合を考える。
【００２２】このＪＰＥＧの復号処理手順の例が図３に
示されている。これによると、まず、符号化ビットスト
リームはハフマンデコードされる（Ｓ１１）。ハフマン
デコードされたビットストリームのＤＣ係数はＤＰＣＭ
デコードされる（Ｓ１２）と共にＡＣ係数はランレング
スデコードされる（Ｓ１３）。ランレングスデコードに
より得られたＡＣ係数はジグザグスキャンされる（Ｓ１
４）。ＤＰＣＭデコードおよびジグザグスキャンにより
得られたＤＣＴ係数は逆量子化され（Ｓ１５）、更に逆
ＤＣＴされて画像情報に再構成される。
示されている。これによると、まず、符号化ビットスト
リームはハフマンデコードされる（Ｓ１１）。ハフマン
デコードされたビットストリームのＤＣ係数はＤＰＣＭ
デコードされる（Ｓ１２）と共にＡＣ係数はランレング
スデコードされる（Ｓ１３）。ランレングスデコードに
より得られたＡＣ係数はジグザグスキャンされる（Ｓ１
４）。ＤＰＣＭデコードおよびジグザグスキャンにより
得られたＤＣＴ係数は逆量子化され（Ｓ１５）、更に逆
ＤＣＴされて画像情報に再構成される。
【００２３】上記のＪＰＥＧの復号処理の中では、少な
くともビットストリームの読み出しおよび復号画像の書
き込みのために、外部メモリ１６へのアクセスが生じ
る。
くともビットストリームの読み出しおよび復号画像の書
き込みのために、外部メモリ１６へのアクセスが生じ
る。
【００２４】ビデオデコーダ１３は、ブランキング期間
やＩピクチャのデコードで参照画像の読み出しがないと
判断できる場合に、静止画プロセッサ１２にメモリアク
セス許可を意味する信号を通信手段１４を使用して送出
する。静止画プロセッサ１２は、この信号を受け取る
と、ＪＰＥＧ復号に伴うメモリアクセスを開始する。
やＩピクチャのデコードで参照画像の読み出しがないと
判断できる場合に、静止画プロセッサ１２にメモリアク
セス許可を意味する信号を通信手段１４を使用して送出
する。静止画プロセッサ１２は、この信号を受け取る
と、ＪＰＥＧ復号に伴うメモリアクセスを開始する。
【００２５】ビデオデコーダ１３は、ブランキング期間
やＩピクチャのデコードが終了した時点で、静止画プロ
セッサ１２にメモリアクセス不許可を意味する信号を通
信手段１４を使用して送出する。静止画プロセッサ１２
は、この信号を受け取ると、ＪＰＥＧ復号に伴うメモリ
アクセスを中止する。
やＩピクチャのデコードが終了した時点で、静止画プロ
セッサ１２にメモリアクセス不許可を意味する信号を通
信手段１４を使用して送出する。静止画プロセッサ１２
は、この信号を受け取ると、ＪＰＥＧ復号に伴うメモリ
アクセスを中止する。
【００２６】Ｉピクチャの復号時には、参照画像の読み
出しに伴うメモリバンド幅（毎秒４５ＭＢ）が開放さ
れ、かつブランキング期間には復号画像表示のためのメ
モリバンド幅（毎秒５４ＭＢ）が開放されるため、ＪＰ
ＥＧ復号のためには平均毎秒約６．９ＭＢのメモリバン
ド幅が割り当てられることになる。静止画プロセッサ１
２内に十分なライトバッファおよびリードバッファが存
在すれば、静止画プロセッサ１２はメモリアクセス待ち
なしに動作しつづけることができる。
出しに伴うメモリバンド幅（毎秒４５ＭＢ）が開放さ
れ、かつブランキング期間には復号画像表示のためのメ
モリバンド幅（毎秒５４ＭＢ）が開放されるため、ＪＰ
ＥＧ復号のためには平均毎秒約６．９ＭＢのメモリバン
ド幅が割り当てられることになる。静止画プロセッサ１
２内に十分なライトバッファおよびリードバッファが存
在すれば、静止画プロセッサ１２はメモリアクセス待ち
なしに動作しつづけることができる。
【００２７】図４は本発明の第２の実施の形態のマルチ
メディア復号化装置のブロック図である。ビットストリ
ームがシステムデマルチブレクサ２２に入力されると、
オーディオビットストリームとビデオビットストリーム
に分類され、それぞれ外部メモリ２６の別々の領域に格
納される。格納されたビットストリームは、それぞれビ
デオデコーダ２４およびオーディオデコーダ２３に入力
される。ビデオデコーダでは第１の実施の形態と同様、
ビデオ情報の復号処理が行われ、復号されたビデオ情報
がビデオ出力される。復号の際には、復号した画像情報
を一時的に保存したり、過去に復号した画像を読み出し
たり、ビデオ出力に画像情報を送出したりするために合
計毎秒１２３ＭＢ程度のバンド幅を必要とする。また、
オーデイオデコーダでは、オーデイオ情報の復号処理が
行われ、オーデイオ信号が出力される。この要求レート
の最大値は毎秒５０ＭＢである。
メディア復号化装置のブロック図である。ビットストリ
ームがシステムデマルチブレクサ２２に入力されると、
オーディオビットストリームとビデオビットストリーム
に分類され、それぞれ外部メモリ２６の別々の領域に格
納される。格納されたビットストリームは、それぞれビ
デオデコーダ２４およびオーディオデコーダ２３に入力
される。ビデオデコーダでは第１の実施の形態と同様、
ビデオ情報の復号処理が行われ、復号されたビデオ情報
がビデオ出力される。復号の際には、復号した画像情報
を一時的に保存したり、過去に復号した画像を読み出し
たり、ビデオ出力に画像情報を送出したりするために合
計毎秒１２３ＭＢ程度のバンド幅を必要とする。また、
オーデイオデコーダでは、オーデイオ情報の復号処理が
行われ、オーデイオ信号が出力される。この要求レート
の最大値は毎秒５０ＭＢである。
【００２８】デコード処理が開始されると、ビデオデコ
ーダ２４でビデオビットストリームが復号されると同時
に、図１０に示すＭＰＥＧ２ＡＡＣデコーダで構成され
るオーディオデコーダ２３ではＭＰＥＧ２ＡＡＣビット
ストリームの復号が開始される。ただし、このオーディ
オデコーダでは、図９に示されるＭＰＥＧ２ＡＡＣデコ
ーダの処理の流れにおけるハフマンデコードと逆量子化
とＴＮＳとフィルタバンクの各処理のみが行われ、最後
のブロックスイッチングを行われない。しかし、フィル
タバンクまでに発生する途中結果は外部メモリ２６に順
次格納される。この時の処理に伴う外部メモリとのメモ
リアクセスのバンド幅が図５に示されている。図１０に
示されるＭＰＥＧ２ＡＡＣデコーダの８ＫＢのローカル
ＲＡＭがライトバッファとして動作するため、フィルタ
バンクの出力である８ＫＢの時間領域サンプル情報は、
次のハフマンデコードに要する処理時間程度の間に外部
メモリ２６へ書き込めば良い。したがって、一連の処理
中に必要なメモリバンド幅は最大でも毎秒７．３ＭＢ程
度である。
ーダ２４でビデオビットストリームが復号されると同時
に、図１０に示すＭＰＥＧ２ＡＡＣデコーダで構成され
るオーディオデコーダ２３ではＭＰＥＧ２ＡＡＣビット
ストリームの復号が開始される。ただし、このオーディ
オデコーダでは、図９に示されるＭＰＥＧ２ＡＡＣデコ
ーダの処理の流れにおけるハフマンデコードと逆量子化
とＴＮＳとフィルタバンクの各処理のみが行われ、最後
のブロックスイッチングを行われない。しかし、フィル
タバンクまでに発生する途中結果は外部メモリ２６に順
次格納される。この時の処理に伴う外部メモリとのメモ
リアクセスのバンド幅が図５に示されている。図１０に
示されるＭＰＥＧ２ＡＡＣデコーダの８ＫＢのローカル
ＲＡＭがライトバッファとして動作するため、フィルタ
バンクの出力である８ＫＢの時間領域サンプル情報は、
次のハフマンデコードに要する処理時間程度の間に外部
メモリ２６へ書き込めば良い。したがって、一連の処理
中に必要なメモリバンド幅は最大でも毎秒７．３ＭＢ程
度である。
【００２９】ビデオデコーダ２４は、ビデオ出力を行わ
ないブランキング期間になると、通信手段２７を使用し
て、現在ブランキング期間中であることをオーデイオデ
コーダ２３に通知する。オーディオデコーダ２３は、ビ
デオデコーダからの通知を受信すると、現在行っている
デコード処理を一時的に休止し、これまで復号してきた
フイルタバンクの処理結果を用いて、溜まっていたブロ
ックスイッチング処理をまとめて行う。この処理は、係
数であるウインドウ２ワード（ｗｌ、ｗ２）と２つのフ
イルタバンク出力ワード（Ｆ１、Ｆ２）から、ｏｕｔ＝
ｗｌｕ＋ｗ２Ｆ２なる式によってオーディオ出力を求め
る処理である。このため、これらｗｌ、ｗ２、Ｆ１、Ｆ
２を順次読み出しながら処理を行うことにより、データ
メモリの消費は極めて小さくすることができる。よっ
て、ブランキング前に行っていた処理に伴うデータメモ
リを一時的に外部メモリ２６に待避させる必要はない。
また、ブロックスイッチングの処理時間である０．２ｍ
ｓの間に８ＫＢのフイルタバンク出力データを読み込
み、２ＫＢのオーデイオ出力を行うためには、毎秒５０
ＭＢ程度のメモリバンド幅が必要である。すべてのブロ
ックスイッチング処理を終了すると、オーディオデコー
ダ３は休止していた処理を再開する。
ないブランキング期間になると、通信手段２７を使用し
て、現在ブランキング期間中であることをオーデイオデ
コーダ２３に通知する。オーディオデコーダ２３は、ビ
デオデコーダからの通知を受信すると、現在行っている
デコード処理を一時的に休止し、これまで復号してきた
フイルタバンクの処理結果を用いて、溜まっていたブロ
ックスイッチング処理をまとめて行う。この処理は、係
数であるウインドウ２ワード（ｗｌ、ｗ２）と２つのフ
イルタバンク出力ワード（Ｆ１、Ｆ２）から、ｏｕｔ＝
ｗｌｕ＋ｗ２Ｆ２なる式によってオーディオ出力を求め
る処理である。このため、これらｗｌ、ｗ２、Ｆ１、Ｆ
２を順次読み出しながら処理を行うことにより、データ
メモリの消費は極めて小さくすることができる。よっ
て、ブランキング前に行っていた処理に伴うデータメモ
リを一時的に外部メモリ２６に待避させる必要はない。
また、ブロックスイッチングの処理時間である０．２ｍ
ｓの間に８ＫＢのフイルタバンク出力データを読み込
み、２ＫＢのオーデイオ出力を行うためには、毎秒５０
ＭＢ程度のメモリバンド幅が必要である。すべてのブロ
ックスイッチング処理を終了すると、オーディオデコー
ダ３は休止していた処理を再開する。
【００３０】ビデオデコーダ２４がＮＴＳＣ信号のデコ
ードを行った場合、ブランキング期間は１６．７ｍｓに
１回発生する。オーディオデコーダ３は、１ブロックの
デコードを３．５ｍｓ程度の時間内に終えなければいけ
ないことから、１ブランキング期間に処理しなければな
らないブロックスイッチング処理の回数は最大５回とな
る。また、１ブロックのブロックスイッチングに要する
時間は０．２ｍｓであるから、オーディオデコーダ２３
がビデオデコーダ２４のブランキング期間に行うブロッ
クスイッチングの処理は、最大でも約Ｉｍｓとなる。こ
れは、ブランキング期間の長さである１．３ｍｓよりも
短い。すなわちこれは、ビデオデコーダ２４のブランキ
ング期間内に、オーディオデコードにおけるブロックス
イッチングの処理をすべて終了させることができること
を意味する。
ードを行った場合、ブランキング期間は１６．７ｍｓに
１回発生する。オーディオデコーダ３は、１ブロックの
デコードを３．５ｍｓ程度の時間内に終えなければいけ
ないことから、１ブランキング期間に処理しなければな
らないブロックスイッチング処理の回数は最大５回とな
る。また、１ブロックのブロックスイッチングに要する
時間は０．２ｍｓであるから、オーディオデコーダ２３
がビデオデコーダ２４のブランキング期間に行うブロッ
クスイッチングの処理は、最大でも約Ｉｍｓとなる。こ
れは、ブランキング期間の長さである１．３ｍｓよりも
短い。すなわちこれは、ビデオデコーダ２４のブランキ
ング期間内に、オーディオデコードにおけるブロックス
イッチングの処理をすべて終了させることができること
を意味する。
【００３１】ビデオデコーダ２４のブランキング期間
中、ビデオデコーダが要求するメモリバンド幅の上限は
毎秒６８ＭＢである。この時のオーデイオデコーダのメ
モリバンド幅の上限は、毎秒５０ＭＢとなる。したがっ
て、この期間の両デコーダが要求するメモリバンド幅は
毎秒約１１８ＭＢとなる。
中、ビデオデコーダが要求するメモリバンド幅の上限は
毎秒６８ＭＢである。この時のオーデイオデコーダのメ
モリバンド幅の上限は、毎秒５０ＭＢとなる。したがっ
て、この期間の両デコーダが要求するメモリバンド幅は
毎秒約１１８ＭＢとなる。
【００３２】一方、非ブランキング期間にビデオデコー
ダが要求するメモリバンド幅の上限は、毎秒約１２３Ｍ
Ｂである。この時のオーディオデコーダのメモリバンド
幅の上限は毎秒７．３ＭＢであるから、両者が要求する
メモリバンド幅の合計は毎秒約１３０．３ＭＢになる。
即ち、図６に示されるように、本実施形態における外部
メモリのバンド幅は、図１４に示した従来の場合のメモ
リバンド幅に対し、毎秒４０ＭＢ程度必要メモリバンド
幅を削減することができる。
ダが要求するメモリバンド幅の上限は、毎秒約１２３Ｍ
Ｂである。この時のオーディオデコーダのメモリバンド
幅の上限は毎秒７．３ＭＢであるから、両者が要求する
メモリバンド幅の合計は毎秒約１３０．３ＭＢになる。
即ち、図６に示されるように、本実施形態における外部
メモリのバンド幅は、図１４に示した従来の場合のメモ
リバンド幅に対し、毎秒４０ＭＢ程度必要メモリバンド
幅を削減することができる。
【００３３】
【発明の効果】以上説明したように、本発明によれば、
ユニファイドメモリアーキテクチャで構成されたマルチ
メディア復号化装置において、ビデオとオーデイオの復
号処理など本来非同期に動作２つの処理に着目し、一方
が最もメモリバンド幅を要求しない期間と、他方がメモ
リバンド幅を要求する期間とを同期して処理させること
により、従来両方の最大のメモリバンド幅の和で求めら
れていたユニフアイドメモリに必要なメモリバンド幅を
削減することが可能となる。
ユニファイドメモリアーキテクチャで構成されたマルチ
メディア復号化装置において、ビデオとオーデイオの復
号処理など本来非同期に動作２つの処理に着目し、一方
が最もメモリバンド幅を要求しない期間と、他方がメモ
リバンド幅を要求する期間とを同期して処理させること
により、従来両方の最大のメモリバンド幅の和で求めら
れていたユニフアイドメモリに必要なメモリバンド幅を
削減することが可能となる。
【図１】本発明の第２の実施の形態の構成を示すブロッ
ク図
ク図
【図２】ＭＰＥＧ−２ビデオ復号におけるピクチャタイ
プと必要メモリバンド幅との関係を表す図
プと必要メモリバンド幅との関係を表す図
【図３】ＪＰＥＧの復号手順を表す図
【図４】本発明の実施の形態の構成を示すブロック図
【図５】本発明の実施の形態における、ＡＡＣデコーダ
の処理順と必要メモリバンド幅
の処理順と必要メモリバンド幅
【図６】本発明の実施の形態の場合のメモリバンド幅の
時間変化
時間変化
【図７】ビデオデコーダの構成を示すブロック図
【図８】ビデオデコーダが要求する外部メモリのバンド
幅の時間変化を示す図
幅の時間変化を示す図
【図９】ＭＰＥＧ２ＡＡＣデコーダの処理の流れを示す
図
図
【図１０】ＭＰＥＧ２ＡＡＣデコーダの構成を示すブロ
ック図
ック図
【図１１】ＡＡＣデコーダ処理別の要求メモリバンド幅
【図１２】ＭＰＥＧ２ＡＡＣデコーダにおけるブロック
スイッチングの処理を示すブロック図
スイッチングの処理を示すブロック図
【図１３】ＭＰＥＧ２ＡＡＣデコーダの要求メモリバン
ド幅
ド幅
【図１４】従来のメモリバンド幅の設定方法を示す図
１０…データバス
１２…静止画プロセッサ
１３…ビデオデコーダ
１４…通信手段
１５…メモリコントローラ
１６…ビデオフレームバッファ
２１…データバス
２２…システムデマルチプレクサ
２３…オーデイオデコーダ
２４…ビデオデコーダ
２５…メモリコントローラ
２６…外部メモリ
２７…通信手段
Claims (5)
- 【請求項１】 映像信号の復号、音声信号の復号、静止
画像復号、システム制御機能などのための単一のメモリ
を備えたマルチメディア復号化装置であって、 少なくとも符号化された映像信号を復号する第１の復号
器と、前記第１の復号器とは非同期に動作し、前記映像
信号とは異なる信号を復号する第２の復号器と、前記第
１の復号器と第２の復号器によってデータメモリとして
使用される外部記憶メモリと、前記外部記憶メモリとデ
ータの送受を行うメモリコントローラと、前記第１の復
号器と第２の復号器とメモリコントローラとを接続する
データバスとを備え、前記第２の復号器が行う一連の復
号処理のうち、前記外部記憶メモリへのアクセスが大き
い処理を独立させ、前記第１の復号器が要求するメモリ
バンド幅が大きい期間には、第２の復号器はメモリアク
セスの少ない処理を集中して行い、前記第１の復号器が
要求するメモリバンド幅が小さい期間、前記第２の復号
器はメモリアクセスの大きな処理をまとめて行うことを
特徴とするマルチメデイア復号化装置。 - 【請求項２】 前記第２の復号器は、ブランキング期間
においてブロックスイッチング処理をまとめて行うオー
ディオデコーダであることを特徴とする請求項１に記載
のマルチメデイア復号化装置。 - 【請求項３】 前記第２の復号器は、前記ブランキング
期間の終了に応答してハフマンデコードと逆量子化とＴ
ＮＳとフィルタバンクの処理のみを行うオーディオデコ
ーダであることを特徴とする請求項２に記載のマルチメ
デイア復号化装置。 - 【請求項４】 映像信号の復号、音声信号の復号、シス
テム制御機能のための単一のメモリを備えたマルチメデ
ィア復号化装置であって、 少なくとも符号化された映像信号を復号するビデオ復号
器と、前記ビデオ復号器とは非同期に動作し、符号化さ
れた音声信号を復号するオーデイオ復号器と、前記ビデ
オ復号器と前記オーディオ復号器によってデータメモリ
として使用される外部記憶メモリと、前記外部記憶メモ
リとデータの送受を行うメモリコントローラと、前記ビ
デオ復号器とオーディオ復号器とメモリコントローラと
を接続するデータバスと、前記ビデオ復号器からオーデ
ィオ復号器へ情報を伝える手段を備え、前記オーディオ
復号器が行う一連の復号処理のうち、前記外部メモリへ
のアクセスが大きい処理を独立させ、前記ビデオ復号器
が映像信号を出力している間には、前記オーデイオ復号
器はメモリアクセスの少ない処理を集中して行い、前記
ビデオ復号器が映像信号を出力しないブランキング期間
に前記オーディオ復号器はメモリアクセスの大きな処理
をまとめて行うことを特徴とするマルチメデイア復号化
装置。 - 【請求項５】 前記オーデイオ復号器は、前記ブランキ
ング期間においてブロックスイッチング処理をまとめて
行うことを特徴とする請求項４に記載のマルチメデイア
復号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18699199A JP3532796B2 (ja) | 1999-06-30 | 1999-06-30 | 単一の外部記憶メモリを備えたマルチメディア復号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18699199A JP3532796B2 (ja) | 1999-06-30 | 1999-06-30 | 単一の外部記憶メモリを備えたマルチメディア復号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001016113A JP2001016113A (ja) | 2001-01-19 |
| JP3532796B2 true JP3532796B2 (ja) | 2004-05-31 |
Family
ID=16198302
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18699199A Expired - Lifetime JP3532796B2 (ja) | 1999-06-30 | 1999-06-30 | 単一の外部記憶メモリを備えたマルチメディア復号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3532796B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9189989B2 (en) | 2010-06-28 | 2015-11-17 | Panasonic Intellectual Property Management Co., Ltd. | Integrated circuit for use in plasma display panel, access control method, and plasma display system |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4727557B2 (ja) * | 2006-11-30 | 2011-07-20 | シャープ株式会社 | 復号装置および復号方法 |
-
1999
- 1999-06-30 JP JP18699199A patent/JP3532796B2/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9189989B2 (en) | 2010-06-28 | 2015-11-17 | Panasonic Intellectual Property Management Co., Ltd. | Integrated circuit for use in plasma display panel, access control method, and plasma display system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001016113A (ja) | 2001-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5920353A (en) | Multi-standard decompression and/or compression device | |
| US6028635A (en) | Reducing the memory required for decompression by storing compressed information using DCT based techniques | |
| US7158571B2 (en) | System and method for balancing video encoding tasks between multiple processors | |
| US5870087A (en) | MPEG decoder system and method having a unified memory for transport decode and system controller functions | |
| US9172969B2 (en) | Local macroblock information buffer | |
| US5818533A (en) | Method and apparatus for decoding B frames in video codecs with minimal memory | |
| US20040028142A1 (en) | Video decoding system | |
| US5850258A (en) | High level video decoding apparatus capable of decoding video data of a plurality of channels coded at a lower level | |
| US20060233261A1 (en) | Video encoding and video/audio/data multiplexing device | |
| CN1805517B (zh) | 解码双视频信号的系统和方法 | |
| JPH08265766A (ja) | デジタルビデオ減圧プロセッサ及びそのためのｄｒａｍマッピング方法 | |
| JPH10145739A (ja) | メモリを共用するビデオ及び／又はオーディオ脱圧縮及び／又は圧縮装置 | |
| US7609768B2 (en) | Video buffer control apparatus for dual video decoding and digital broadcasting receiver thereof | |
| US8681862B2 (en) | Moving picture decoding apparatus and moving picture decoding method | |
| US6720893B2 (en) | Programmable output control of compressed data from encoder | |
| JP3532796B2 (ja) | 単一の外部記憶メモリを備えたマルチメディア復号化装置 | |
| US5760847A (en) | Processing moving image data based on an arbitrarily designated frame | |
| JP2002112268A (ja) | 圧縮画像データ復号装置 | |
| US6996185B2 (en) | Image signal decoding apparatus | |
| US6128340A (en) | Decoder system with 2.53 frame display buffer | |
| EP1079632A1 (en) | Digital signal processing device and method, and providing medium | |
| KR100247977B1 (ko) | 확장 가능한 메모리를 구비한 비디오 디코더 | |
| KR100252810B1 (ko) | 엠펙디코더 | |
| US20050018913A1 (en) | Apparatus for decoding compressed images | |
| JP2003299036A (ja) | 映像復号装置、映像復号方法、プログラム、および媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20031126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20031209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040302 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040304 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080312 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090312 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100312 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100312 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110312 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120312 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130312 Year of fee payment: 9 |