JP3917363B2 - 画像復号化装置及び画像復号化方法 - Google Patents
画像復号化装置及び画像復号化方法 Download PDFInfo
- Publication number
- JP3917363B2 JP3917363B2 JP2000377839A JP2000377839A JP3917363B2 JP 3917363 B2 JP3917363 B2 JP 3917363B2 JP 2000377839 A JP2000377839 A JP 2000377839A JP 2000377839 A JP2000377839 A JP 2000377839A JP 3917363 B2 JP3917363 B2 JP 3917363B2
- Authority
- JP
- Japan
- Prior art keywords
- decoding
- time information
- buffer
- reference time
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/85—Television signal recording using optical recording on discs or drums
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、映像を符号化したデータに復号開始時刻情報を付加したMPEG等のデータを復号する画像復号化装置および画像復号化方法に関する。
【０００２】
【従来の技術】
MPEG等のデータを復号する際に、復号開始時刻を用いる技術が例えば特開平8-116532号に記載されている。この技術は、復号開始時刻情報（Decode Time Stamp、以下、ＤＴＳと称する）を画像符号化データと共にバッファに書き込み、フレーム単位でデコードを開始する際に、バッファから読み出したＤＴＳを元に制御を行い易くするものである。
【０００３】
つまり、復号を開始する前に、フレームの先頭に付いているＤＴＳと画像復号装置側で持っているＳＴＣ（System Time Clock）カウンタにおける値を比較し、ＳＴＣカウンタにおけるカウント値がＤＴＳと一致してから、バッファからデータを読み出し、復号を開始する。
【０００４】
しかし、画像復号装置に入力される符号化データには、放送を受信している場合や記録媒体から再生する場合にはエラーが存在したり、画像復号装置が正常にデコード動作を行わずに復号開始が遅れる場合も存在する。
【０００５】
復号開始時間がいったん遅れてしまうと、ＤＴＳが合わせて書き込まれたデータをバッファから読み出し、ＤＴＳとＳＴＣカウンタにおけるカウント値を比較し、次の画像を復号しても、常に遅れたままで正常な復号動作に復帰することは困難である。また、復号開始が遅れていると、バッファのデータが溢れてしまうこともある。
【０００６】
そこで、本出願人は特開平11-225332号において、各画面毎の画像データに識別情報（ＩＤ）を付加し、複数のＩＤとそれらに対応したＤＴＳ、バッファに書き込んだ画像データの格納されている位置情報及び各画面の符号化方式等を関連付けてテーブルを作成し、プログラム時刻基準参照値（Program Clock Reference、以下ＰＣＲと称する）を元にＳＴＣカウンタにより生成されたＳＴＣをＤＴＳと比較することにより、再生すべき画面のＩＤを知り、バッファに書き込まれた該当画面のデータを読み出して、符号化された画像データを復号する画像復号化方法及び装置を提案した。
【０００７】
以下、特開平11-225332号に記載されている画像復号化方法及び装置について、図３ないし図５を用いて説明する。
【０００８】
図３は、ＰＣＲ、ＤＴＳを用いた符号化画像データ（MPEG2:Transport Streamなど）を復号するための画像復号化装置のブロック図である。
【０００９】
図３において、MPEG2のTransport Stream（ＴＳ）などの時間情報付きの符号化ビットストリームがデマルチプレクサ／ＰＣＲ抽出回路（ＤＭＵＸ＆ＰＣＲ抽出回路、以下、ＰＣＲ抽出回路と略称する）１１に入力される。そして、このＰＣＲ抽出回路１１において、ビットストリームから基準時刻（ＳＴＣ）生成に必要なＰＣＲが抽出される。抽出されたＰＣＲはＳＴＣカウンタ１２に送られる。ＳＴＣカウンタ１２ではＳＴＣとＰＣＲの比較が行われ、ずれがある場合にはＳＴＣがＰＣＲにセットし直され、ＳＴＣが符号器側の意図した基準時刻に修正される。
【００１０】
またＰＣＲ抽出回路１１に入力されたデータからMPEG2のPacketized Elementary Stream（パケット化されたデータの流れ、以下ＰＥＳと称する）などのＤＴＳ付きの符号化ビットストリームが分離され、ＤＴＳ抽出回路１３に送られる。ＤＴＳ抽出回路１３ではＤＴＳが抽出される。ここで抽出されたＤＴＳはＩＤ、ＤＴＳ、格納位置保持回路１４に送られる。
【００１１】
また、ＤＴＳ抽出回路１３に入力されたデータはＩＤ付加回路１５に送られる。ＩＤ付加回路１５は各画面（フレーム）のヘッダ情報を検出してフレーム毎に識別情報（ＩＤ）を生成し、ピクチャタイプ（フレームの符号化方式）をＩＤと共にＩＤ、ＤＴＳ、格納位置保持回路１４に送る。
【００１２】
ＩＤ付加回路１５に入力されたデータは、入力バッファ１６に順次書き込まれる。そして、この入力バッファ１６に書き込まれた各データに対応した格納位置情報（入力バッファ１６におけるアドレス）が、ＩＤ、ＤＴＳ、納位置保持回路１４に送られる。
【００１３】
ここで、ＩＤ付加回路１５に入力されるデータは、ＰＥＳなどの時間情報付きの符号化ビットストリームでも構わないが、後述する復号器で時間情報を取り除く必要があるので、時間情報を除いた符号化画像データ（Elementary Stream:ＥＳ）のみであるほうが望ましい。
【００１４】
ＩＤ、ＤＴＳ、格納位置保持回路１４は、ＤＴＳ抽出回路１３で抽出されたＤＴＳと、入力バッファ１６に書き込まれた各データの格納情報と、ＩＤ付加回路１５で生成されたＩＤを関連付けたテーブルを作成し、記憶保持する。
【００１５】
比較回路１７は、ＳＴＣカウンタ１２からのＳＴＣを、ＩＤ、ＤＴＳ、格納位置保持回路１４で記憶保持されているテーブル上のＤＴＳと比較し、デコード開始すべきフレームが存在するかどうか確認し、存在する場合には復号すべきフレームのＩＤを復号制御回路１８に送る。
【００１６】
復号制御回路１８は比較回路１７から送られてきたＩＤに対応する格納位置情報をＩＤ、ＤＴＳ、格納位置保持回路１４から読み出し、復号器１９に復号すべきデータの格納位置と復号領域、復号開始指示を与える。なお、この復号器１９は任意の矩形画面領域を復号することが可能である。この時、復号制御回路１８は、復号器１９の状態を見て種々の再生（Normal、Skip、Repeat）の判断を行う。ここで、Normal再生とは連続的に再生を行うことであり、Skip再生とは画像を飛び飛びに再生することであり、Repeat再生とは同じ画像を繰り返し再生することである。復号器１９は指示された格納位置（アドレス）からデータを順次読み出して復号を行う。
【００１７】
ここで、MPEG2の画像圧縮方法には３つの方法があり、１つ目は空間的相関関係を利用して符号化（圧縮）する方法である。自然画は、隣接画素間の値が近い値である（相関が高い）ため、画面内（空間的）相関関係を利用して符号化（圧縮）を行う。２つ目は時間的相関関係を利用して符号化（圧縮）する方法である。この方法は前画面の情報を記憶しておき、現画面を前画面の差分値で表すことによって、画面間（時間的）相関関係を利用して符号化（圧縮）を行う。３つ目は上記１つ目及び２つ目の方法で符号化（圧縮）する時、符号の出現確率の偏りを利用して符号化（圧縮）する方法である。
【００１８】
復号器１９は復号した画像データを、空間的相関関係を利用して符号化されたフレームのデータについては、デコードメモリ２０にそのまま書き込み、時間的相関関係を利用して符号化されたフレームのデータについては、デコードメモリ２０から読んできた既に復号化された画像データを使って現在復号しているデータを加工して復号化された画像データを作成し、デコードメモリ２０に書き込み、復号制御回路１８に復号終了と読出し終了位置情報とを送る。
【００１９】
なお、図３では図示していないが、多チャンネルの画像データを復号する場合には、ＩＤ、ＤＴＳ、格納位置保持回路１４において各チャンネル毎にテーブルが作成される。この場合、復号制御回路１８は復号器１９からの読み出し終了位置情報を使い、時分割によって復号器１９を異なるチャンネルの復号で使いまわすことが可能である。復号化された各フレームの画像データは図示しない表示処理部に送られる。
【００２０】
次に、図３に示す画像復号化装置の動作を、ＩＤ、ＤＴＳ、格納位置保持回路１４で作成される図４に示すテーブルを用いて説明する。ＤＴＳ抽出回路１３に入力された各フレームの画像データの先頭にはＤＴＳが含まれている。ＩＤ付加回路１５はフレームヘッダを検出し、ピクチャタイプ（Picture Type、以下、ＰＴと略称する）を特定し、フレームＩＤを生成する。
【００２１】
MPEG1及び後世代のMPEG2では、フレームメモリを２枚使った、過去再生画像からの順方向予測と未来再生画像からの逆方向予測とを使用する双方向予測が行わる。このような双方向予測を実現するために、MPEG2では、画像にＩピクチャ（Intra-Picture）、Ｐピクチャ（Predictive-Picture）、Ｂピクチャ（Bidirectionally predictive-Picture）の３つのピクチャタイプが規定されている。
【００２２】
図４では、ＩＤをＮ―１、Ｎ、Ｎ＋１、ＰＴをＩ、Ｐ、Ｂとしている。入力バッファ１６には、画像データがフレームＮ―１、フレームＮ，フレームＮ＋１の順で詰めて書き込まれている。図４中、画像データにおいて斜線を施した部分は各フレームの先頭データを示しており、ＩＤ、ＤＴＳ、格納位置保持回路１４は各フレームのＩＤ、ＰＴ、各フレームに対応するＤＴＳ、各フレームの先頭データの格納位置を関連付けたテーブルを作成し、記憶保持する。
【００２３】
比較回路１７はテーブルの内容であるＤＴＳをＳＴＣと比較して、デコードすべきフレームＩＤを発生する。復号制御回路１８は復号すべきＩＤが送られてきたら、ＩＤからデータの格納位置を特定し、復号器１９に与えて復号開始を指示する。復号制御回路１８が復号器１９にデコード開始を指示するタイミングは、図示していないが、復号制御回路１８に入力される一定周期の復号同期信号に同期して行うようにしてもよいし、また復号同期信号を比較回路１７に与え、比較回路１７が復号同期信号に同期してＤＴＳ、ＳＴＣの比較を行い、復号制御回路１８は比較回路１７からＩＤが与えられたら直ちに復号器１９に復号開始を指示するようにしてもよい。
【００２４】
次に、図５を用いて復号動作の一例を説明すると共に、前記テーブルの必要性についても説明する。
【００２５】
図５は（１）前記テーブルを持たない場合（特開平8-116532号の場合）と、（２）前記テーブルを持つ場合（特開平11-225332号）の復号動作を示す。横軸方向は時間軸を示している。時間軸上における一区切りをここでは例えば３０分の１秒と仮定する。矢印は各フレームデータを復号している期間を示している。
【００２６】
図５では第０フレームのデコードｄ０が通常通り終了し、何らかの理由で第１フレームのデコードｄ１の終了が遅れてしまった場合を示している。
【００２７】
（１）の場合にはテーブルが無いので、ＳＴＣと比較できるＤＴＳは次に復号するフレームに対応するものであるので、第１フレームのデコード終了が遅れた場合にはＳＴＣとＤＴＳの比較もそれに合わせて遅れ、第２フレームのデコードも遅れてしまう。
【００２８】
（２）の場合にはテーブルを持っているため、一定間隔の復号同期信号に同期して、ＳＴＣとテーブルのＤＴＳとの比較を行うことができ、第１フレームのデコード終了が遅れたとしても、第２フレームのデコード開始時刻には第１フレームのデコード動作を中止して、速やかに第２フレームのデコード動作を開始することができる。
【００２９】
MPEGなどの符号化方式では、単独のフレームで符号化処理して１つのフレームデータだけで画像を復元できるＩフレーム（先のＩピクチャに相当）、前方の１枚の画像を元に予測符号化を用いるＰフレーム（先のＰピクチャに相当）、前方の画像と後方の画像両方を用いて予測符号化を行うＢフレーム（先のＢピクチャに相当）の３つの符号化方法を用いている。MPEGにおいて、Ｐフレームは前方のＩフレームまたはＰフレームを予測に用いているため、前方の予測画像が現Ｐフレームの復号には必要である。Ｂフレームは、前方と後方の２枚のＩまたはＰフレームを予測に使用しているため、前後のＩ、Ｐフレームが復号には必要である。
【００３０】
これまでは第１フレームの復号を中断した場合について説明してきたが、第１フレームがＩまたはＰフレームの場合には、それ以降のＰフレームやＢフレームは画像として表示することができなくなってしまう。復号を中止する画像がＩまたはＰフレームの場合には、復号を中止せずに継続し（図５の（１）と同様に動作し）、第２フレームが他の画像の復号に使用されないＢフレームの場合にはデコードを行わずに第３フレームのデコードを開始する。
【００３１】
このように復号を中止する画像をＢフレームに限定することによって、復号を中止することによる表示への影響を少なくすることができる。また、ＤＴＳが全フレームに付加されていない場合には、ＤＴＳが付加されているフレームのＤＴＳから１フレームあるいは１.５フレームの復号時間分を付加してＤＴＳを作成して、テーブルで管理することもできるし、ＤＴＳが付加されていない画像だけをテーブルで管理することもできる。さらに特殊再生もテーブルにより容易に実現できる。
【００３２】
また、図４には図示していないが、多チャンネルのストリームを同時に処理する場合にも、各チャンネル毎にテーブルを作成しておけば容易に処理することができ、さらに処理するチャンネル数より少ない数の復号器しか持たない場合でも対応が可能になる。このように、テーブルを作成して保持しておくことは、非常に有効である。
【００３３】
しかしながら、従来では、テーブルの作成を、入力バッファ１６にデータを書き込む際に、全てのデータに対して行っているために、入力バッファ１６に書き込まれる最大フレーム数分のテーブルが必要になってしまう。このためテーブルサイズが大きくなり、ＩＤ、ＤＴＳ、格納位置保持回路１４で消費されるメモリ容量が増大する。特殊再生、特に逆転再生時においては、非常に大きな容量の入力バッファを持つ必要性があり、この影響は顕著に現れる。
【００３４】
【発明が解決しようとする課題】
この発明は上記のような事情を考慮してなされたものであり、その目的は、各画面の画像データ毎に生成される識別情報を復号化開始時刻情報、バッファに保存される画像データのバッファにおける格納位置情報と共に関連付けてテーブルとして保持する保持回路で消費されるメモリ容量の削減を図ることができ、かつ上記テーブル作成のための回路の規模が増大することを防ぐことができる画像復号化装置及び画像復号化方法を提供することである。
【００３５】
【課題を解決するための手段】
この発明の画像復号化装置は、符号化された画像データを含み符号器側の基準時刻を再現するための基準時刻情報及び復号開始時刻情報が付加されたビットストリームが入力され、このビットストリームから上記基準時刻情報を抽出する基準時刻情報抽出回路と、上記基準時刻情報抽出回路によって基準時刻情報が抽出された後のビットストリームが入力され、このビットストリームを保存するバッファと、上記バッファに保存されている複数フレームのビットストリームのうち一部の複数フレーム分のビットストリームをスキャンし、各フレームの画像データ毎に識別情報を生成し、この生成した識別情報を上記復号化開始時刻情報、上記バッファに保存されている画像データのバッファにおける格納位置情報及び各画面の符号化方式に対応した情報と共に出力する復号制御回路と、上記復号制御回路から出力される識別情報を、上記復号化開始時刻情報、上記バッファに保存されている画像データのバッファ内における格納位置情報及び各画面の符号化方式に対応した情報と共に関連付けてテーブルとして保持する保持回路と、復号器側の基準時刻情報を発生し、上記基準時刻情報抽出回路で抽出された基準時刻情報との間にずれがある場合にはこの復号器側の基準時刻情報を修正する基準時刻情報修正回路と、上記復号器側の基準時刻情報と上記保持回路で保持されている復号化開始時刻情報とを比較し、この比較結果に基づいて復号すべき画像データに対応した識別情報を出力する比較回路と、上記バッファに保存されている画像データを読み出して復号する復号器とを具備し、上記復号制御回路は、上記比較回路から出力される識別情報に対応する画像データの上記バッファ内における格納位置情報を上記保持回路から読み出し、上記バッファから画像データを読み出す際のアドレスとして上記復号器に供給することを特徴とする。
【００３６】
この発明の画像復号化方法は、符号化された画像データを含み符号器側の基準時刻を再現するための基準時刻情報及び復号開始時刻情報が付加されたビットストリームから上記基準時刻情報を抽出し、復号器側の基準時刻情報を発生し、上記抽出された基準時刻情報との間にずれがある場合にはこの復号器側の基準時刻情報を修正し、上記基準時刻情報が抽出された後のビットストリームをバッファに保存し、上記バッファに保存されている複数フレームのビットストリームのうち一部の複数フレーム分のビットストリームをスキャンして、各フレームの画像データ毎に識別情報を生成し、この生成した識別情報を、上記復号化開始時刻情報、上記バッファに保存されている画像データのバッファ内における格納位置情報及び各画面の符号化方式に対応した情報と共に関連付けてテーブルとして保持し、上記復号器側の基準時刻情報と上記テーブル上の復号化開始時刻情報とを比較し、この比較結果に基づいて復号すべき画像データに対応した識別情報を抽出し、上記抽出された識別情報に対応する画像データの上記バッファ内における格納位置情報を上記テーブルから抽出し、復号器にアドレスとして供給して上記バッファから画像データを読み出すことを特徴とする。
【００３７】
【発明の実施の形態】
以下、図面を参照してこの発明を実施の形態により説明する。
【００３８】
図１は、ＰＣＲ、ＤＴＳを用いた符号化画像データ（MPEG2:Transport Streamなど）を復号する、この発明の画像復号化装置の第１の実施の形態によるブロック図である。なお、前記図３に示した従来装置と対応する箇所には同じ符号を付して説明する。
【００３９】
図１において、MPEG2のTransport Stream（ＴＳ）などの時間情報付きの符号化ビットストリームがＰＣＲ抽出回路（ＤＭＵＸ＆ＰＣＲ抽出回路）１１に入力される。このＰＣＲ抽出回路１１において、ビットストリームから基準時刻（ＳＴＣ）生成に必要なＰＣＲが抽出される。抽出されたＰＣＲはＳＴＣカウンタ１２に送られる。ＳＴＣカウンタ１２ではＳＴＣとＰＣＲの比較が行われ、ずれがある場合にはＳＴＣがＰＣＲにセットし直され、ＳＴＣが符号器側の意図した基準時刻に修正される。
【００４０】
またＰＣＲ抽出回路１１では、入力されたデータからMPEG2のPacketized Elementary Stream（ＰＥＳ）などのＤＴＳ付きの符号化ビットストリームが分離される。ここで分離されたビットストリームは入力バッファ１６に送られ、順次書き込まれる。
【００４１】
復号制御回路２１は入力バッファ１６に格納されている未復号のデータの一部をスキャンし、ＰＥＳヘッダを解読してＤＴＳを抽出し、各画面（フレーム）のヘッダ情報を検出し、フレーム毎にＩＤを生成する。入力バッファ１６をスキャンする際、ビットストリームは非破壊的に読み出される。さらに、復号制御回路２１は、ピクチャタイプＰＴ（フレームの符号化方式）を抽出し、各フレームの先頭データの格納位置情報を特定する。そしてフレームのＩＤとＤＴＳ、ＰＴ、格納位情報を関連付けて、ＩＤ、ＤＴＳ、格納位置保持回路１４に送る。ＩＤ、ＤＴＳ、格納位置保持回路１４は、所定のフレーム数分のテーブルを作成し、記憶保持する。
【００４２】
比較回路１７は、ＩＤ、ＤＴＳ、格納位置保持回路１４で保持されているテーブルを参照し、ＤＴＳとＳＴＣとを比較して、デコード開始すべきフレームが存在するかどうか確認する。そして、デコード開始すべきフレームが存在する場合には、復号すべきフレームのＩＤを復号制御回路２１に送る。復号制御回路２１は、比較回路１７から送られてきたＩＤに対応する格納位置情報をＩＤ、ＤＴＳ、格納位置保持回路１４から読み出し、復号器１９に復号すべきデータの格納位置情報と復号領域、復号開始指示を与える。なお、この復号器１９は任意の矩形画面領域を復号することが可能である。
【００４３】
また、復号制御回路２１は、復号器１９における復号状態を見て再生の判断（Normal、Skip、Repeat）を行う。
【００４４】
復号器１９は指示された入力バッファ１６の格納位置（アドレス）に対応した領域からデータを順次読み出して復号を行う。また、復号器１９は入力バッファ１６からデータを読み出す時に、ＰＥＳヘッダ等のヘッダ情報の除去を行う。そして、復号した画像データを、空間的相関関係を利用して符号化されたフレームのデータについては、デコードメモリ２０にそのまま書き込み、時間的相関関係を利用して符号化されたフレームのデータについては、デコードメモリ２０より読んできた既に復号化された画像データを使って、現在、復号しているデータを加工して復号化された画像データを作成し、デコードメモリ２０に書き込む。また、復号器１９は、復号制御回路２１に復号終了と読み出し終了位置を送る。これらの制御は前記ＰＴを用いて行われる。復号化された各フレームの画像データは図示しない表示処理部に送られる。
【００４５】
なお、図１では図示していないが、多チャンネルの画像データを復号する場合には、ＩＤ、ＤＴＳ、格納位置保持回路１４において各チャンネル毎にテーブルが作成される。この場合、復号制御回路２１は復号器１９からの読み出し終了位置情報を使い、時分割によって復号器１９を異なるチャンネルの復号で使いまわすことが可能である。
【００４６】
このように上記実施の形態の画像復号化装置では、ＰＣＲ抽出回路１１で分離されたＤＴＳ付きの符号化ビットストリームが直接入力バッファ１６に送られ、書き込まれる。そして入力バッファ１６に書き込まれたビットストリームの一部が復号制御回路２１によってスキャンされ、ＤＴＳ及びＰＴが抽出され、フレーム毎にＩＤが生成され、各フレームの先頭データの格納位置情報が特定され、これらの情報がＩＤ、ＤＴＳ、格納位置保持回路１４でテーブルとして記憶保持される。
【００４７】
このように、テーブルの作成を、入力バッファ１６にビットストリームを書き込んだ後に、一部のビットストリームに対して行っており、入力バッファ１６に書き込まれる最大フレーム数よりも少ない所定のフレーム数分のテーブルを作成すればよいので、テーブルサイズを従来よりも小さくすることができ、ＩＤ、ＤＴＳ、格納位置保持回路１４で消費されるメモリ容量を削減することができる。
【００４８】
また、従来装置におけるＤＴＳ抽出回路１３及びＩＤ付加回路１５が不要になると共に、入力バッファ１６に書き込まれたビットストリームを復号制御回路２１でスキャンして、ＩＤ、ＤＴＳ等の情報を作成または抽出するようにしているので、ＩＤ、ＤＴＳ等の情報を作成または抽出するための時間的余裕が大きくなり、復号制御回路２１をプロセッサを用いて構成した場合に処理加速用のハードウェアが不要になり、回路規模が増大することを防ぐことができる。
【００４９】
ところで、先の第１の実施の形態において、復号制御回路２１は、必要なフレーム数分のテーブルを作成している。この処理は復号１９による復号処理の前に行わなければならないので、何フレーム分のテーブルを作成する必要があるかによるが、ある程度、高速に行うことが望ましい。
【００５０】
そこで、テーブル作成の高速化を図るようにした、この発明の第２の実施の形態について図２のブロック図を参照して説明する。
【００５１】
この第２の実施の形態に係る画像復号化装置が図１に示す第１の実施の形態による画像復号化装置と異なる点は、スタートコード検出器（Start Code検出器）２２が追加されていることである。このスタートコード検出器２２は、入力バッファ１６に書き込まれたＤＴＳ付きの符号化ビットストリームにおいて、各フレームの先頭に付加されているスタートコード（ＰＥＳヘッダ）を検出する。このスタートコードの直後にはＤＴＳやＰＴが続いており、その後に続いているデータの全てをスキャンしてスタートコードの有無を検出する必要がない。このように、スタートコード検出器２２でスタートコードを検出することによって、復号制御回路２１はその直後のＤＴＳやＰＴを速やかに抽出することができる。
【００５２】
この結果、この第２の実施の形態によれば、前記第１の実施の形態と同様の効果が得られる上に、テーブル作成の高速化を図ることができるという効果も得られる。
【００５３】
なお、この第２の実施の形態においても、多チャンネルの画像データが入力される場合には、各チャンネル毎にテーブルを作成する。この場合に、復号制御回路２１は復号器１９からの読み出し終了位置情報を用いて、時分割により復号器１９を異なるチャンネルの復号に使いまわすことが可能である。また、復号化された各フレームの画像データは図示しない表示処理部へ送られる。
【００５４】
このように、上記各実施の形態による画像復号化装置及び画像復号化方法によれば、ＤＴＳが付加された符号化画像データを入力バッファに書き込んでから、入力バッファ１６の一部の領域をスキャンし、テーブルを作成して、その後、テーブルとＳＴＣに応じて画像データを復号化するようにしたので、入力バッファ１６に符号化画像データを書き込む際に全てのデータに対してテーブルを作成するよりも、必要な画面数分のテーブルを作成すればよい。このため、テーブルサイズが小さく取れる。これによりメモリの消費容量を削減できる。入力バッファに書き込む際に全てのデータに対してテーブルを作成する場合には、入力バッファに書き込まれる最大画面数に対応するテーブルサイズが必要となるからである。特に特殊再生の逆転再生の場合などバッファサイズを非常に大きく取らなければならい場合には有効である。
【００５５】
また、一度入力バッファに書き込んでから一部のデータについてテーブルを作成するので、テーブル作成に時間的余裕ができる。このためテーブル作成用の専用ハードウェアを削減でき、回路規模の増大を防ぐことができる。
【００５６】
さらに、ある画面に対応するＤＴＳの値がおかしい場合に、ＤＴＳも一緒に入力バッファに記憶しているために、ＤＴＳの値が適当であるかを、画面の前後関係よって容易に判断できるので、エラー処理が簡素化できる。
【００５７】
なお、この発明は、上記各実施の形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。
【００５８】
さらに、上記実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施の形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも１つが解決でき、発明の効果の欄で述べられている効果の少なくとも１つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【００５９】
【発明の効果】
以上説明したようにこの発明によれば、各画面の画像データ毎に生成される識別情報を復号化開始時刻情報、バッファに保存される画像データのバッファにおける格納位置情報と共に関連付けてテーブルとして保持する保持回路で消費されるメモリ容量の削減を図ることができ、かつ上記テーブル作成のための回路の回路規模が増大することを防ぐことができる画像復号化装置及び画像復号化方法を提供することができる。
【図面の簡単な説明】
【図１】この発明の第１の実施の形態による画像復号化装置のブロック図。
【図２】この発明の第２の実施の形態による画像復号化装置のブロック図。
【図３】従来の画像復号化装置のブロック図。
【図４】従来装置及びこの発明の装置におけるＩＤ、ＤＴＳ、格納位置保持回路で保持されるテーブルを示す図。
【図５】従来の画像符号化装置の復号動作を説明するための図。
【符号の説明】
１１…ＰＣＲ抽出回路（デマルチプレクサ／ＰＣＲ抽出回路）、
１２…ＳＴＣカウンタ、
１４…ＩＤ、ＤＴＳ、格納位置保持回路、
１６…入力バッファ、
１７…比較回路、
１９…復号器、
２０…デコードメモリ、
２１…復号制御回路、
２２…スタートコード検出器。
【発明の属する技術分野】
この発明は、映像を符号化したデータに復号開始時刻情報を付加したMPEG等のデータを復号する画像復号化装置および画像復号化方法に関する。
【０００２】
【従来の技術】
MPEG等のデータを復号する際に、復号開始時刻を用いる技術が例えば特開平8-116532号に記載されている。この技術は、復号開始時刻情報（Decode Time Stamp、以下、ＤＴＳと称する）を画像符号化データと共にバッファに書き込み、フレーム単位でデコードを開始する際に、バッファから読み出したＤＴＳを元に制御を行い易くするものである。
【０００３】
つまり、復号を開始する前に、フレームの先頭に付いているＤＴＳと画像復号装置側で持っているＳＴＣ（System Time Clock）カウンタにおける値を比較し、ＳＴＣカウンタにおけるカウント値がＤＴＳと一致してから、バッファからデータを読み出し、復号を開始する。
【０００４】
しかし、画像復号装置に入力される符号化データには、放送を受信している場合や記録媒体から再生する場合にはエラーが存在したり、画像復号装置が正常にデコード動作を行わずに復号開始が遅れる場合も存在する。
【０００５】
復号開始時間がいったん遅れてしまうと、ＤＴＳが合わせて書き込まれたデータをバッファから読み出し、ＤＴＳとＳＴＣカウンタにおけるカウント値を比較し、次の画像を復号しても、常に遅れたままで正常な復号動作に復帰することは困難である。また、復号開始が遅れていると、バッファのデータが溢れてしまうこともある。
【０００６】
そこで、本出願人は特開平11-225332号において、各画面毎の画像データに識別情報（ＩＤ）を付加し、複数のＩＤとそれらに対応したＤＴＳ、バッファに書き込んだ画像データの格納されている位置情報及び各画面の符号化方式等を関連付けてテーブルを作成し、プログラム時刻基準参照値（Program Clock Reference、以下ＰＣＲと称する）を元にＳＴＣカウンタにより生成されたＳＴＣをＤＴＳと比較することにより、再生すべき画面のＩＤを知り、バッファに書き込まれた該当画面のデータを読み出して、符号化された画像データを復号する画像復号化方法及び装置を提案した。
【０００７】
以下、特開平11-225332号に記載されている画像復号化方法及び装置について、図３ないし図５を用いて説明する。
【０００８】
図３は、ＰＣＲ、ＤＴＳを用いた符号化画像データ（MPEG2:Transport Streamなど）を復号するための画像復号化装置のブロック図である。
【０００９】
図３において、MPEG2のTransport Stream（ＴＳ）などの時間情報付きの符号化ビットストリームがデマルチプレクサ／ＰＣＲ抽出回路（ＤＭＵＸ＆ＰＣＲ抽出回路、以下、ＰＣＲ抽出回路と略称する）１１に入力される。そして、このＰＣＲ抽出回路１１において、ビットストリームから基準時刻（ＳＴＣ）生成に必要なＰＣＲが抽出される。抽出されたＰＣＲはＳＴＣカウンタ１２に送られる。ＳＴＣカウンタ１２ではＳＴＣとＰＣＲの比較が行われ、ずれがある場合にはＳＴＣがＰＣＲにセットし直され、ＳＴＣが符号器側の意図した基準時刻に修正される。
【００１０】
またＰＣＲ抽出回路１１に入力されたデータからMPEG2のPacketized Elementary Stream（パケット化されたデータの流れ、以下ＰＥＳと称する）などのＤＴＳ付きの符号化ビットストリームが分離され、ＤＴＳ抽出回路１３に送られる。ＤＴＳ抽出回路１３ではＤＴＳが抽出される。ここで抽出されたＤＴＳはＩＤ、ＤＴＳ、格納位置保持回路１４に送られる。
【００１１】
また、ＤＴＳ抽出回路１３に入力されたデータはＩＤ付加回路１５に送られる。ＩＤ付加回路１５は各画面（フレーム）のヘッダ情報を検出してフレーム毎に識別情報（ＩＤ）を生成し、ピクチャタイプ（フレームの符号化方式）をＩＤと共にＩＤ、ＤＴＳ、格納位置保持回路１４に送る。
【００１２】
ＩＤ付加回路１５に入力されたデータは、入力バッファ１６に順次書き込まれる。そして、この入力バッファ１６に書き込まれた各データに対応した格納位置情報（入力バッファ１６におけるアドレス）が、ＩＤ、ＤＴＳ、納位置保持回路１４に送られる。
【００１３】
ここで、ＩＤ付加回路１５に入力されるデータは、ＰＥＳなどの時間情報付きの符号化ビットストリームでも構わないが、後述する復号器で時間情報を取り除く必要があるので、時間情報を除いた符号化画像データ（Elementary Stream:ＥＳ）のみであるほうが望ましい。
【００１４】
ＩＤ、ＤＴＳ、格納位置保持回路１４は、ＤＴＳ抽出回路１３で抽出されたＤＴＳと、入力バッファ１６に書き込まれた各データの格納情報と、ＩＤ付加回路１５で生成されたＩＤを関連付けたテーブルを作成し、記憶保持する。
【００１５】
比較回路１７は、ＳＴＣカウンタ１２からのＳＴＣを、ＩＤ、ＤＴＳ、格納位置保持回路１４で記憶保持されているテーブル上のＤＴＳと比較し、デコード開始すべきフレームが存在するかどうか確認し、存在する場合には復号すべきフレームのＩＤを復号制御回路１８に送る。
【００１６】
復号制御回路１８は比較回路１７から送られてきたＩＤに対応する格納位置情報をＩＤ、ＤＴＳ、格納位置保持回路１４から読み出し、復号器１９に復号すべきデータの格納位置と復号領域、復号開始指示を与える。なお、この復号器１９は任意の矩形画面領域を復号することが可能である。この時、復号制御回路１８は、復号器１９の状態を見て種々の再生（Normal、Skip、Repeat）の判断を行う。ここで、Normal再生とは連続的に再生を行うことであり、Skip再生とは画像を飛び飛びに再生することであり、Repeat再生とは同じ画像を繰り返し再生することである。復号器１９は指示された格納位置（アドレス）からデータを順次読み出して復号を行う。
【００１７】
ここで、MPEG2の画像圧縮方法には３つの方法があり、１つ目は空間的相関関係を利用して符号化（圧縮）する方法である。自然画は、隣接画素間の値が近い値である（相関が高い）ため、画面内（空間的）相関関係を利用して符号化（圧縮）を行う。２つ目は時間的相関関係を利用して符号化（圧縮）する方法である。この方法は前画面の情報を記憶しておき、現画面を前画面の差分値で表すことによって、画面間（時間的）相関関係を利用して符号化（圧縮）を行う。３つ目は上記１つ目及び２つ目の方法で符号化（圧縮）する時、符号の出現確率の偏りを利用して符号化（圧縮）する方法である。
【００１８】
復号器１９は復号した画像データを、空間的相関関係を利用して符号化されたフレームのデータについては、デコードメモリ２０にそのまま書き込み、時間的相関関係を利用して符号化されたフレームのデータについては、デコードメモリ２０から読んできた既に復号化された画像データを使って現在復号しているデータを加工して復号化された画像データを作成し、デコードメモリ２０に書き込み、復号制御回路１８に復号終了と読出し終了位置情報とを送る。
【００１９】
なお、図３では図示していないが、多チャンネルの画像データを復号する場合には、ＩＤ、ＤＴＳ、格納位置保持回路１４において各チャンネル毎にテーブルが作成される。この場合、復号制御回路１８は復号器１９からの読み出し終了位置情報を使い、時分割によって復号器１９を異なるチャンネルの復号で使いまわすことが可能である。復号化された各フレームの画像データは図示しない表示処理部に送られる。
【００２０】
次に、図３に示す画像復号化装置の動作を、ＩＤ、ＤＴＳ、格納位置保持回路１４で作成される図４に示すテーブルを用いて説明する。ＤＴＳ抽出回路１３に入力された各フレームの画像データの先頭にはＤＴＳが含まれている。ＩＤ付加回路１５はフレームヘッダを検出し、ピクチャタイプ（Picture Type、以下、ＰＴと略称する）を特定し、フレームＩＤを生成する。
【００２１】
MPEG1及び後世代のMPEG2では、フレームメモリを２枚使った、過去再生画像からの順方向予測と未来再生画像からの逆方向予測とを使用する双方向予測が行わる。このような双方向予測を実現するために、MPEG2では、画像にＩピクチャ（Intra-Picture）、Ｐピクチャ（Predictive-Picture）、Ｂピクチャ（Bidirectionally predictive-Picture）の３つのピクチャタイプが規定されている。
【００２２】
図４では、ＩＤをＮ―１、Ｎ、Ｎ＋１、ＰＴをＩ、Ｐ、Ｂとしている。入力バッファ１６には、画像データがフレームＮ―１、フレームＮ，フレームＮ＋１の順で詰めて書き込まれている。図４中、画像データにおいて斜線を施した部分は各フレームの先頭データを示しており、ＩＤ、ＤＴＳ、格納位置保持回路１４は各フレームのＩＤ、ＰＴ、各フレームに対応するＤＴＳ、各フレームの先頭データの格納位置を関連付けたテーブルを作成し、記憶保持する。
【００２３】
比較回路１７はテーブルの内容であるＤＴＳをＳＴＣと比較して、デコードすべきフレームＩＤを発生する。復号制御回路１８は復号すべきＩＤが送られてきたら、ＩＤからデータの格納位置を特定し、復号器１９に与えて復号開始を指示する。復号制御回路１８が復号器１９にデコード開始を指示するタイミングは、図示していないが、復号制御回路１８に入力される一定周期の復号同期信号に同期して行うようにしてもよいし、また復号同期信号を比較回路１７に与え、比較回路１７が復号同期信号に同期してＤＴＳ、ＳＴＣの比較を行い、復号制御回路１８は比較回路１７からＩＤが与えられたら直ちに復号器１９に復号開始を指示するようにしてもよい。
【００２４】
次に、図５を用いて復号動作の一例を説明すると共に、前記テーブルの必要性についても説明する。
【００２５】
図５は（１）前記テーブルを持たない場合（特開平8-116532号の場合）と、（２）前記テーブルを持つ場合（特開平11-225332号）の復号動作を示す。横軸方向は時間軸を示している。時間軸上における一区切りをここでは例えば３０分の１秒と仮定する。矢印は各フレームデータを復号している期間を示している。
【００２６】
図５では第０フレームのデコードｄ０が通常通り終了し、何らかの理由で第１フレームのデコードｄ１の終了が遅れてしまった場合を示している。
【００２７】
（１）の場合にはテーブルが無いので、ＳＴＣと比較できるＤＴＳは次に復号するフレームに対応するものであるので、第１フレームのデコード終了が遅れた場合にはＳＴＣとＤＴＳの比較もそれに合わせて遅れ、第２フレームのデコードも遅れてしまう。
【００２８】
（２）の場合にはテーブルを持っているため、一定間隔の復号同期信号に同期して、ＳＴＣとテーブルのＤＴＳとの比較を行うことができ、第１フレームのデコード終了が遅れたとしても、第２フレームのデコード開始時刻には第１フレームのデコード動作を中止して、速やかに第２フレームのデコード動作を開始することができる。
【００２９】
MPEGなどの符号化方式では、単独のフレームで符号化処理して１つのフレームデータだけで画像を復元できるＩフレーム（先のＩピクチャに相当）、前方の１枚の画像を元に予測符号化を用いるＰフレーム（先のＰピクチャに相当）、前方の画像と後方の画像両方を用いて予測符号化を行うＢフレーム（先のＢピクチャに相当）の３つの符号化方法を用いている。MPEGにおいて、Ｐフレームは前方のＩフレームまたはＰフレームを予測に用いているため、前方の予測画像が現Ｐフレームの復号には必要である。Ｂフレームは、前方と後方の２枚のＩまたはＰフレームを予測に使用しているため、前後のＩ、Ｐフレームが復号には必要である。
【００３０】
これまでは第１フレームの復号を中断した場合について説明してきたが、第１フレームがＩまたはＰフレームの場合には、それ以降のＰフレームやＢフレームは画像として表示することができなくなってしまう。復号を中止する画像がＩまたはＰフレームの場合には、復号を中止せずに継続し（図５の（１）と同様に動作し）、第２フレームが他の画像の復号に使用されないＢフレームの場合にはデコードを行わずに第３フレームのデコードを開始する。
【００３１】
このように復号を中止する画像をＢフレームに限定することによって、復号を中止することによる表示への影響を少なくすることができる。また、ＤＴＳが全フレームに付加されていない場合には、ＤＴＳが付加されているフレームのＤＴＳから１フレームあるいは１.５フレームの復号時間分を付加してＤＴＳを作成して、テーブルで管理することもできるし、ＤＴＳが付加されていない画像だけをテーブルで管理することもできる。さらに特殊再生もテーブルにより容易に実現できる。
【００３２】
また、図４には図示していないが、多チャンネルのストリームを同時に処理する場合にも、各チャンネル毎にテーブルを作成しておけば容易に処理することができ、さらに処理するチャンネル数より少ない数の復号器しか持たない場合でも対応が可能になる。このように、テーブルを作成して保持しておくことは、非常に有効である。
【００３３】
しかしながら、従来では、テーブルの作成を、入力バッファ１６にデータを書き込む際に、全てのデータに対して行っているために、入力バッファ１６に書き込まれる最大フレーム数分のテーブルが必要になってしまう。このためテーブルサイズが大きくなり、ＩＤ、ＤＴＳ、格納位置保持回路１４で消費されるメモリ容量が増大する。特殊再生、特に逆転再生時においては、非常に大きな容量の入力バッファを持つ必要性があり、この影響は顕著に現れる。
【００３４】
【発明が解決しようとする課題】
この発明は上記のような事情を考慮してなされたものであり、その目的は、各画面の画像データ毎に生成される識別情報を復号化開始時刻情報、バッファに保存される画像データのバッファにおける格納位置情報と共に関連付けてテーブルとして保持する保持回路で消費されるメモリ容量の削減を図ることができ、かつ上記テーブル作成のための回路の規模が増大することを防ぐことができる画像復号化装置及び画像復号化方法を提供することである。
【００３５】
【課題を解決するための手段】
この発明の画像復号化装置は、符号化された画像データを含み符号器側の基準時刻を再現するための基準時刻情報及び復号開始時刻情報が付加されたビットストリームが入力され、このビットストリームから上記基準時刻情報を抽出する基準時刻情報抽出回路と、上記基準時刻情報抽出回路によって基準時刻情報が抽出された後のビットストリームが入力され、このビットストリームを保存するバッファと、上記バッファに保存されている複数フレームのビットストリームのうち一部の複数フレーム分のビットストリームをスキャンし、各フレームの画像データ毎に識別情報を生成し、この生成した識別情報を上記復号化開始時刻情報、上記バッファに保存されている画像データのバッファにおける格納位置情報及び各画面の符号化方式に対応した情報と共に出力する復号制御回路と、上記復号制御回路から出力される識別情報を、上記復号化開始時刻情報、上記バッファに保存されている画像データのバッファ内における格納位置情報及び各画面の符号化方式に対応した情報と共に関連付けてテーブルとして保持する保持回路と、復号器側の基準時刻情報を発生し、上記基準時刻情報抽出回路で抽出された基準時刻情報との間にずれがある場合にはこの復号器側の基準時刻情報を修正する基準時刻情報修正回路と、上記復号器側の基準時刻情報と上記保持回路で保持されている復号化開始時刻情報とを比較し、この比較結果に基づいて復号すべき画像データに対応した識別情報を出力する比較回路と、上記バッファに保存されている画像データを読み出して復号する復号器とを具備し、上記復号制御回路は、上記比較回路から出力される識別情報に対応する画像データの上記バッファ内における格納位置情報を上記保持回路から読み出し、上記バッファから画像データを読み出す際のアドレスとして上記復号器に供給することを特徴とする。
【００３６】
この発明の画像復号化方法は、符号化された画像データを含み符号器側の基準時刻を再現するための基準時刻情報及び復号開始時刻情報が付加されたビットストリームから上記基準時刻情報を抽出し、復号器側の基準時刻情報を発生し、上記抽出された基準時刻情報との間にずれがある場合にはこの復号器側の基準時刻情報を修正し、上記基準時刻情報が抽出された後のビットストリームをバッファに保存し、上記バッファに保存されている複数フレームのビットストリームのうち一部の複数フレーム分のビットストリームをスキャンして、各フレームの画像データ毎に識別情報を生成し、この生成した識別情報を、上記復号化開始時刻情報、上記バッファに保存されている画像データのバッファ内における格納位置情報及び各画面の符号化方式に対応した情報と共に関連付けてテーブルとして保持し、上記復号器側の基準時刻情報と上記テーブル上の復号化開始時刻情報とを比較し、この比較結果に基づいて復号すべき画像データに対応した識別情報を抽出し、上記抽出された識別情報に対応する画像データの上記バッファ内における格納位置情報を上記テーブルから抽出し、復号器にアドレスとして供給して上記バッファから画像データを読み出すことを特徴とする。
【００３７】
【発明の実施の形態】
以下、図面を参照してこの発明を実施の形態により説明する。
【００３８】
図１は、ＰＣＲ、ＤＴＳを用いた符号化画像データ（MPEG2:Transport Streamなど）を復号する、この発明の画像復号化装置の第１の実施の形態によるブロック図である。なお、前記図３に示した従来装置と対応する箇所には同じ符号を付して説明する。
【００３９】
図１において、MPEG2のTransport Stream（ＴＳ）などの時間情報付きの符号化ビットストリームがＰＣＲ抽出回路（ＤＭＵＸ＆ＰＣＲ抽出回路）１１に入力される。このＰＣＲ抽出回路１１において、ビットストリームから基準時刻（ＳＴＣ）生成に必要なＰＣＲが抽出される。抽出されたＰＣＲはＳＴＣカウンタ１２に送られる。ＳＴＣカウンタ１２ではＳＴＣとＰＣＲの比較が行われ、ずれがある場合にはＳＴＣがＰＣＲにセットし直され、ＳＴＣが符号器側の意図した基準時刻に修正される。
【００４０】
またＰＣＲ抽出回路１１では、入力されたデータからMPEG2のPacketized Elementary Stream（ＰＥＳ）などのＤＴＳ付きの符号化ビットストリームが分離される。ここで分離されたビットストリームは入力バッファ１６に送られ、順次書き込まれる。
【００４１】
復号制御回路２１は入力バッファ１６に格納されている未復号のデータの一部をスキャンし、ＰＥＳヘッダを解読してＤＴＳを抽出し、各画面（フレーム）のヘッダ情報を検出し、フレーム毎にＩＤを生成する。入力バッファ１６をスキャンする際、ビットストリームは非破壊的に読み出される。さらに、復号制御回路２１は、ピクチャタイプＰＴ（フレームの符号化方式）を抽出し、各フレームの先頭データの格納位置情報を特定する。そしてフレームのＩＤとＤＴＳ、ＰＴ、格納位情報を関連付けて、ＩＤ、ＤＴＳ、格納位置保持回路１４に送る。ＩＤ、ＤＴＳ、格納位置保持回路１４は、所定のフレーム数分のテーブルを作成し、記憶保持する。
【００４２】
比較回路１７は、ＩＤ、ＤＴＳ、格納位置保持回路１４で保持されているテーブルを参照し、ＤＴＳとＳＴＣとを比較して、デコード開始すべきフレームが存在するかどうか確認する。そして、デコード開始すべきフレームが存在する場合には、復号すべきフレームのＩＤを復号制御回路２１に送る。復号制御回路２１は、比較回路１７から送られてきたＩＤに対応する格納位置情報をＩＤ、ＤＴＳ、格納位置保持回路１４から読み出し、復号器１９に復号すべきデータの格納位置情報と復号領域、復号開始指示を与える。なお、この復号器１９は任意の矩形画面領域を復号することが可能である。
【００４３】
また、復号制御回路２１は、復号器１９における復号状態を見て再生の判断（Normal、Skip、Repeat）を行う。
【００４４】
復号器１９は指示された入力バッファ１６の格納位置（アドレス）に対応した領域からデータを順次読み出して復号を行う。また、復号器１９は入力バッファ１６からデータを読み出す時に、ＰＥＳヘッダ等のヘッダ情報の除去を行う。そして、復号した画像データを、空間的相関関係を利用して符号化されたフレームのデータについては、デコードメモリ２０にそのまま書き込み、時間的相関関係を利用して符号化されたフレームのデータについては、デコードメモリ２０より読んできた既に復号化された画像データを使って、現在、復号しているデータを加工して復号化された画像データを作成し、デコードメモリ２０に書き込む。また、復号器１９は、復号制御回路２１に復号終了と読み出し終了位置を送る。これらの制御は前記ＰＴを用いて行われる。復号化された各フレームの画像データは図示しない表示処理部に送られる。
【００４５】
なお、図１では図示していないが、多チャンネルの画像データを復号する場合には、ＩＤ、ＤＴＳ、格納位置保持回路１４において各チャンネル毎にテーブルが作成される。この場合、復号制御回路２１は復号器１９からの読み出し終了位置情報を使い、時分割によって復号器１９を異なるチャンネルの復号で使いまわすことが可能である。
【００４６】
このように上記実施の形態の画像復号化装置では、ＰＣＲ抽出回路１１で分離されたＤＴＳ付きの符号化ビットストリームが直接入力バッファ１６に送られ、書き込まれる。そして入力バッファ１６に書き込まれたビットストリームの一部が復号制御回路２１によってスキャンされ、ＤＴＳ及びＰＴが抽出され、フレーム毎にＩＤが生成され、各フレームの先頭データの格納位置情報が特定され、これらの情報がＩＤ、ＤＴＳ、格納位置保持回路１４でテーブルとして記憶保持される。
【００４７】
このように、テーブルの作成を、入力バッファ１６にビットストリームを書き込んだ後に、一部のビットストリームに対して行っており、入力バッファ１６に書き込まれる最大フレーム数よりも少ない所定のフレーム数分のテーブルを作成すればよいので、テーブルサイズを従来よりも小さくすることができ、ＩＤ、ＤＴＳ、格納位置保持回路１４で消費されるメモリ容量を削減することができる。
【００４８】
また、従来装置におけるＤＴＳ抽出回路１３及びＩＤ付加回路１５が不要になると共に、入力バッファ１６に書き込まれたビットストリームを復号制御回路２１でスキャンして、ＩＤ、ＤＴＳ等の情報を作成または抽出するようにしているので、ＩＤ、ＤＴＳ等の情報を作成または抽出するための時間的余裕が大きくなり、復号制御回路２１をプロセッサを用いて構成した場合に処理加速用のハードウェアが不要になり、回路規模が増大することを防ぐことができる。
【００４９】
ところで、先の第１の実施の形態において、復号制御回路２１は、必要なフレーム数分のテーブルを作成している。この処理は復号１９による復号処理の前に行わなければならないので、何フレーム分のテーブルを作成する必要があるかによるが、ある程度、高速に行うことが望ましい。
【００５０】
そこで、テーブル作成の高速化を図るようにした、この発明の第２の実施の形態について図２のブロック図を参照して説明する。
【００５１】
この第２の実施の形態に係る画像復号化装置が図１に示す第１の実施の形態による画像復号化装置と異なる点は、スタートコード検出器（Start Code検出器）２２が追加されていることである。このスタートコード検出器２２は、入力バッファ１６に書き込まれたＤＴＳ付きの符号化ビットストリームにおいて、各フレームの先頭に付加されているスタートコード（ＰＥＳヘッダ）を検出する。このスタートコードの直後にはＤＴＳやＰＴが続いており、その後に続いているデータの全てをスキャンしてスタートコードの有無を検出する必要がない。このように、スタートコード検出器２２でスタートコードを検出することによって、復号制御回路２１はその直後のＤＴＳやＰＴを速やかに抽出することができる。
【００５２】
この結果、この第２の実施の形態によれば、前記第１の実施の形態と同様の効果が得られる上に、テーブル作成の高速化を図ることができるという効果も得られる。
【００５３】
なお、この第２の実施の形態においても、多チャンネルの画像データが入力される場合には、各チャンネル毎にテーブルを作成する。この場合に、復号制御回路２１は復号器１９からの読み出し終了位置情報を用いて、時分割により復号器１９を異なるチャンネルの復号に使いまわすことが可能である。また、復号化された各フレームの画像データは図示しない表示処理部へ送られる。
【００５４】
このように、上記各実施の形態による画像復号化装置及び画像復号化方法によれば、ＤＴＳが付加された符号化画像データを入力バッファに書き込んでから、入力バッファ１６の一部の領域をスキャンし、テーブルを作成して、その後、テーブルとＳＴＣに応じて画像データを復号化するようにしたので、入力バッファ１６に符号化画像データを書き込む際に全てのデータに対してテーブルを作成するよりも、必要な画面数分のテーブルを作成すればよい。このため、テーブルサイズが小さく取れる。これによりメモリの消費容量を削減できる。入力バッファに書き込む際に全てのデータに対してテーブルを作成する場合には、入力バッファに書き込まれる最大画面数に対応するテーブルサイズが必要となるからである。特に特殊再生の逆転再生の場合などバッファサイズを非常に大きく取らなければならい場合には有効である。
【００５５】
また、一度入力バッファに書き込んでから一部のデータについてテーブルを作成するので、テーブル作成に時間的余裕ができる。このためテーブル作成用の専用ハードウェアを削減でき、回路規模の増大を防ぐことができる。
【００５６】
さらに、ある画面に対応するＤＴＳの値がおかしい場合に、ＤＴＳも一緒に入力バッファに記憶しているために、ＤＴＳの値が適当であるかを、画面の前後関係よって容易に判断できるので、エラー処理が簡素化できる。
【００５７】
なお、この発明は、上記各実施の形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。
【００５８】
さらに、上記実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施の形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも１つが解決でき、発明の効果の欄で述べられている効果の少なくとも１つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【００５９】
【発明の効果】
以上説明したようにこの発明によれば、各画面の画像データ毎に生成される識別情報を復号化開始時刻情報、バッファに保存される画像データのバッファにおける格納位置情報と共に関連付けてテーブルとして保持する保持回路で消費されるメモリ容量の削減を図ることができ、かつ上記テーブル作成のための回路の回路規模が増大することを防ぐことができる画像復号化装置及び画像復号化方法を提供することができる。
【図面の簡単な説明】
【図１】この発明の第１の実施の形態による画像復号化装置のブロック図。
【図２】この発明の第２の実施の形態による画像復号化装置のブロック図。
【図３】従来の画像復号化装置のブロック図。
【図４】従来装置及びこの発明の装置におけるＩＤ、ＤＴＳ、格納位置保持回路で保持されるテーブルを示す図。
【図５】従来の画像符号化装置の復号動作を説明するための図。
【符号の説明】
１１…ＰＣＲ抽出回路（デマルチプレクサ／ＰＣＲ抽出回路）、
１２…ＳＴＣカウンタ、
１４…ＩＤ、ＤＴＳ、格納位置保持回路、
１６…入力バッファ、
１７…比較回路、
１９…復号器、
２０…デコードメモリ、
２１…復号制御回路、
２２…スタートコード検出器。
Claims (6)
- 符号化された画像データを含み符号器側の基準時刻を再現するための基準時刻情報及び復号開始時刻情報が付加されたビットストリームが入力され、このビットストリームから上記基準時刻情報を抽出する基準時刻情報抽出回路と、
上記基準時刻情報抽出回路によって基準時刻情報が抽出された後のビットストリームが入力され、このビットストリームを保存するバッファと、
上記バッファに保存されている複数フレームのビットストリームのうち一部の複数フレーム分のビットストリームをスキャンし、各フレームの画像データ毎に識別情報を生成し、この生成した識別情報を上記復号化開始時刻情報、上記バッファに保存されている画像データのバッファにおける格納位置情報及び各画面の符号化方式に対応した情報と共に出力する復号制御回路と、
上記復号制御回路から出力される識別情報を、上記復号化開始時刻情報、上記バッファに保存されている画像データのバッファ内における格納位置情報及び各フレームの符号化方式に対応した情報と共に関連付けてテーブルとして保持する保持回路と、
復号器側の基準時刻情報を発生し、上記基準時刻情報抽出回路で抽出された基準時刻情報との間にずれがある場合にはこの復号器側の基準時刻情報を修正する基準時刻情報修正回路と、
上記復号器側の基準時刻情報と上記保持回路で保持されている復号化開始時刻情報とを比較し、この比較結果に基づいて復号すべき画像データに対応した識別情報を出力する比較回路と、
上記バッファに保存されている画像データを読み出して復号する復号器とを具備し、
上記復号制御回路は、上記比較回路から出力される識別情報に対応する画像データの上記バッファ内における格納位置情報を上記保持回路から読み出し、上記バッファから画像データを読み出す際のアドレスとして上記復号器に供給することを特徴とする画像復号化装置。 - 前記バッファに保存されているビットストリームをスキャンしてヘッダ開始符号を検出する検出回路をさらに具備し、
前記復号制御回路はこのヘッダ開始符号に基づいて前記基準時刻情報及び復号開始時刻情報を特定することを特徴とする請求項１記載の画像復号化装置。 - 前記復号制御回路は、前記バッファに保存されているビットストリームをスキャンする際に、バッファに保存されているビットストリームを変更せずにビットストリームを読み出すことを特徴とする請求項１又は２記載の画像復号化装置。
- 符号化された画像データを含み符号器側の基準時刻を再現するための基準時刻情報及び復号開始時刻情報が付加されたビットストリームから上記基準時刻情報を抽出し、
復号器側の基準時刻情報を発生し、上記抽出された基準時刻情報との間にずれがある場合にはこの復号器側の基準時刻情報を修正し、
上記基準時刻情報が抽出された後のビットストリームをバッファに保存し、
上記バッファに保存されている複数フレームのビットストリームのうち一部の複数フレーム分のビットストリームをスキャンして、各フレームの画像データ毎に識別情報を生成し、この生成した識別情報を、上記復号化開始時刻情報、上記バッファに保存されている画像データのバッファ内における格納位置情報及び各画面の符号化方式に対応した情報と共に関連付けてテーブルとして保持し、
上記復号器側の基準時刻情報と上記テーブル上の復号化開始時刻情報とを比較し、この比較結果に基づいて復号すべき画像データに対応した識別情報を抽出し、
上記抽出された識別情報に対応する画像データの上記バッファ内における格納位置情報を上記テーブルから抽出し、復号器にアドレスとして供給して上記バッファから画像データを読み出すことを特徴とする画像復号化方法。 - 前記バッファに保存されているビットストリームをスキャンしてヘッダ開始符号を検出し、このヘッダ開始符号に基づいて前記基準時刻情報及び復号開始時刻情報を特定することを特徴とする請求項４記載の画像復号化方法。
- 前記バッファに保存されているビットストリームをスキャンする際に、バッファに保存されているビットストリームを変更せずにビットストリームを読み出すことを特徴とする請求項４又は５記載の画像復号化方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000377839A JP3917363B2 (ja) | 2000-12-12 | 2000-12-12 | 画像復号化装置及び画像復号化方法 |
| US10/011,392 US6798839B2 (en) | 2000-12-12 | 2001-12-11 | Image processing device, television receiver and image reproducing device |
| CNB011435623A CN1193617C (zh) | 2000-12-12 | 2001-12-12 | 图像处理装置和使用它的电视接收装置、图像重放装置和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000377839A JP3917363B2 (ja) | 2000-12-12 | 2000-12-12 | 画像復号化装置及び画像復号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002185958A JP2002185958A (ja) | 2002-06-28 |
| JP3917363B2 true JP3917363B2 (ja) | 2007-05-23 |
Family
ID=18846507
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000377839A Expired - Lifetime JP3917363B2 (ja) | 2000-12-12 | 2000-12-12 | 画像復号化装置及び画像復号化方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6798839B2 (ja) |
| JP (1) | JP3917363B2 (ja) |
| CN (1) | CN1193617C (ja) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6499060B1 (en) | 1999-03-12 | 2002-12-24 | Microsoft Corporation | Media coding for loss recovery with remotely predicted data units |
| JP4250319B2 (ja) * | 2000-09-25 | 2009-04-08 | キヤノン株式会社 | 再生装置、再生方法及び記憶媒体 |
| JP4681723B2 (ja) * | 2000-09-25 | 2011-05-11 | キヤノン株式会社 | 再生装置、制御方法及び記憶媒体 |
| JP2003274367A (ja) * | 2002-03-14 | 2003-09-26 | Matsushita Electric Ind Co Ltd | 再生装置 |
| JP3931843B2 (ja) * | 2003-06-13 | 2007-06-20 | 株式会社日立製作所 | 記録媒体および再生方法 |
| JP2005184626A (ja) * | 2003-12-22 | 2005-07-07 | Canon Inc | 画像処理装置 |
| JP4315827B2 (ja) * | 2004-01-29 | 2009-08-19 | 株式会社日立国際電気 | 画像表示方法及び画像表示装置並びに画像表示プログラム |
| CN101248675B (zh) * | 2004-02-09 | 2010-12-15 | 松下电器产业株式会社 | 播放接收装置、播放接收方法和播放接收电路 |
| JP4470611B2 (ja) * | 2004-06-28 | 2010-06-02 | 船井電機株式会社 | テレビジョン放送受信装置 |
| US8634413B2 (en) | 2004-12-30 | 2014-01-21 | Microsoft Corporation | Use of frame caching to improve packet loss recovery |
| CN1333579C (zh) * | 2005-06-09 | 2007-08-22 | 海信集团有限公司 | 使用map网络实现多种显示模块兼容的电路 |
| JP2007104085A (ja) * | 2005-09-30 | 2007-04-19 | Toshiba Corp | 通信回線を用いるデジタル放送方法およびその装置 |
| EP1835728A1 (en) * | 2006-03-15 | 2007-09-19 | Dibcom | Method for data transfer and data recovery |
| CN101064824A (zh) * | 2006-04-28 | 2007-10-31 | 华为技术有限公司 | 一种播放音视频数据的方法、系统和装置 |
| CN100531383C (zh) * | 2006-05-23 | 2009-08-19 | 中国科学院声学研究所 | 视频播放中视频帧的分级处理方法 |
| WO2008018626A2 (en) * | 2006-08-10 | 2008-02-14 | Canon Kabushiki Kaisha | Image decoding apparatus |
| JP4539755B2 (ja) * | 2008-04-11 | 2010-09-08 | ソニー株式会社 | 情報処理システム及び情報処理方法、並びにプログラム |
| CN201773960U (zh) * | 2008-09-30 | 2011-03-23 | 苹果公司 | 尺寸减小的多引脚插头连接器 |
| JP2013012805A (ja) * | 2011-06-28 | 2013-01-17 | Sony Corp | 受信装置、受信方法、及びプログラム |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2894958B2 (ja) | 1994-10-14 | 1999-05-24 | 株式会社グラフィックス・コミュニケーション・ラボラトリーズ | 画像復号化方式および装置 |
| JPH1032815A (ja) * | 1996-07-16 | 1998-02-03 | Toshiba Corp | 画面合成装置 |
| TW376629B (en) * | 1997-12-19 | 1999-12-11 | Toshiba Corp | Digital image decoding method and device |
| JPH11225332A (ja) | 1998-02-05 | 1999-08-17 | Toshiba Corp | 画像復号方法及び画像復号装置 |
| JP2000232649A (ja) * | 1998-12-10 | 2000-08-22 | Fujitsu Ltd | Ｍｐｅｇビデオ復号器及びｍｐｅｇビデオ復号方法 |
-
2000
- 2000-12-12 JP JP2000377839A patent/JP3917363B2/ja not_active Expired - Lifetime
-
2001
- 2001-12-11 US US10/011,392 patent/US6798839B2/en not_active Expired - Lifetime
- 2001-12-12 CN CNB011435623A patent/CN1193617C/zh not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US20020071056A1 (en) | 2002-06-13 |
| CN1193617C (zh) | 2005-03-16 |
| CN1360439A (zh) | 2002-07-24 |
| US6798839B2 (en) | 2004-09-28 |
| JP2002185958A (ja) | 2002-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3917363B2 (ja) | 画像復号化装置及び画像復号化方法 | |
| JP4398987B2 (ja) | マルチデコーダ装置及び方法 | |
| US8144791B2 (en) | Apparatus, method, and medium for video synchronization | |
| US7460182B2 (en) | Circuit for processing video signal including information such as caption | |
| US20020167607A1 (en) | Method and device for generating a video signal | |
| KR19980033398A (ko) | 복호화 방법 및 그 장치 | |
| JPH10262208A (ja) | 同期ずれ制御装置及び方法 | |
| JP2001204032A (ja) | Ｍｐｅｇ復号装置 | |
| JP2776212B2 (ja) | 符号記録装置 | |
| JP2872104B2 (ja) | タイムスタンプ付加装置および方法、並びにそれを用いた動画像圧縮伸張伝送システムおよび方法 | |
| JP4468497B2 (ja) | ディジタル符号化ビデオフィルムの原データを再生する方法及び装置 | |
| JP2000278643A (ja) | データ変換装置 | |
| JP3129092B2 (ja) | 符号化データ編集装置 | |
| JPWO2009040966A1 (ja) | データ処理装置及び方法 | |
| JP2007267420A (ja) | 映像信号のミュート方法 | |
| WO2018211613A1 (ja) | 符号化映像再生装置および符号化映像再生方法 | |
| JP2009218934A (ja) | 映像再生装置及び映像再生方法 | |
| KR101161604B1 (ko) | 비디오 스트림의 립 싱크 제어 방법 및 그 장치 | |
| JP2000287172A (ja) | 画像データ処理装置 | |
| JPH08265751A (ja) | Ｍｐｅｇ方式による画像再生器 | |
| JP2007282084A (ja) | デジタル再生装置または再生プログラム | |
| JP2007180759A (ja) | 動画像再生装置 | |
| JP2006148969A (ja) | 映像信号のミュート方法 | |
| EP0815558A1 (en) | Recording of a data reduced digital video signal in slant tracks on a record carrier | |
| JP2000270259A (ja) | Ｔｓ信号フェード制御装置およびｔｓ信号フェード制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040609 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060829 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061030 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070208 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3917363 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100216 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110216 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120216 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120216 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130216 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140216 Year of fee payment: 7 |
|
| EXPY | Cancellation because of completion of term |