JP4010617B2 - 画像復号化装置及び画像復号化方法 - Google Patents
画像復号化装置及び画像復号化方法 Download PDFInfo
- Publication number
- JP4010617B2 JP4010617B2 JP33319297A JP33319297A JP4010617B2 JP 4010617 B2 JP4010617 B2 JP 4010617B2 JP 33319297 A JP33319297 A JP 33319297A JP 33319297 A JP33319297 A JP 33319297A JP 4010617 B2 JP4010617 B2 JP 4010617B2
- Authority
- JP
- Japan
- Prior art keywords
- decoding
- video
- output
- bit stream
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する分野】
本発明は、ＭＰＥＧ方式等の高能率圧縮符号化方法により圧縮された動画像データを復号する画像復号化装置に関し、特に復号処理に伴う待ち時間を短縮するのに好適の画像復号化装置及び画像復号化方法に関する。
【０００２】
【従来の技術】
近年、画像のディジタル圧縮が検討されている。特に、ＤＣＴ（離散コサイン変換）を用いた高能率符号化については、各種標準化案が提案されている。ＤＣＴは、１フレームを複数のブロック（ｍ画素×水平走査線）に分割し、このブロック単位で映像信号を周波数成分に変換することにより、空間軸方向の冗長度を削減するものである。ところで、テレビジョン信号の動画用の高能率符号化方式として、ＣＣＩＴＴ（International Telegraph and Telephone Consultative Committee）は周知のようにＭＰＥＧ（Moving Picture Experts Group）方式を提案した。この方式においては、１フレーム内てＤＣＴによる圧縮（フレーム内圧縮）を行うだけでなく、フレーム間の相関を利用して時間軸方向の冗長度を削減するフレーム間圧縮も採用する。フレーム間圧縮は、一般の動画像が前後のフレームでよく似ているという性質を利用して、前後のフレームの差分を求め差分値を符号化することによって、ビットレートを一層低減させるものである。特に、画像の動きを予測してフレーム間差を求めることにより予測誤差を低減する動き補償フレーム間予測符号化が有効である。
【０００３】
この動き補償フレーム間予測符号化においては、現フレームの画像データＤ（ｎ）と１フレーム前の画像データＤ（ｎ−１）との間で動きベクトルを求める。前フレームの符号化データを復号して得た画像データを動きベクトルによって動き補償して、動き補償した前フレームの参照画像データＤ′（ｎ−１）と現フレームの画像データＤ（ｎ）との間で差分をとり、この差分値（動き予測による誤差成分）を符号化して出力する。
【０００４】
また、最近では、上述のＭＰＥＧ方式を更に、相互運用性、分解能可変性及び拡張性等の面で満足するように改良がなされたＭＰＥＧ２方式と呼ばれる動画像圧縮方式も提案されており、既にＩＳＯ／ＩＥＣ標準１３８１８−２に規格化されている。ＭＰＥＧ２方式は前述したＭＰＥＧ方式（通称ＭＰＥＧ１という）を包合する動画像圧縮符号化方式である。即ち、コンピュータ・放送・通信の３つの分野で使用されるアプリケーションのすべてを満足するように考慮されている。 ＭＰＥＧ２方式による動画像圧縮符号化については、例えば、「ＩＳＯ／ＩＥＣ １３８１８−２ Draft International Standard」の文献等に記述されている。即ち、この動画像圧縮方式においては、画像間の動き補償予測（ＭＣ：Motion Copensation）と８×８画素のＤＣＴを組み合わせたハイブリッド方式の変換とを行い、これにより得られる信号に対して更に量子化及び可変長符号化を施す。ＭＣ予測の種類については、過去の画像を参照画像とする前方予測、未来の画像を参照画像とする後方予測、過去及び未来両方の画像を参照画像とする双方向（内挿）予測及び予測を用いないイントラの各モードがある。
【０００５】
このＭＣ予測モードは、１６×１６画素のマクロブック毎に設定可能であるが、符号化（ピクチャ）の種類により使用可能なモードが決められている。このピクチャの種類には、インストラマクロブックのみで構成されるピクチャをＩピクチャ、イントラ及び前方予測マクロブックで構成されるＰピクチャ及び全てのＭＣ予測モードが許されるＢピクチャがあり、即ち３種類のピクチャがある。
【０００６】
Ｉピクチャは予測を用いず、原画像自体をＤＣＴ変換し、量子化及び可変長符号化を行うものである。したがって、Ｉピクチャは単独の符号化データで復号化可能であるのに対し、Ｐピクチャは入力画像順で過去のすでに符号化されたＩまたはＰピクチャとのＭＣ予測誤差信号をＤＣＴ変換、量子化及び可変長符号化を行う。そしてＢピクチャでは、過去及び未来における既に符号化されたＩまたはＰピクチャとのＤＣＴ予測誤差信号をＤＣＴ変換、量子化及び可変長符号化を行う。このため、Ｐ及びＢピクチャの復号はこれに先行してＩピクチャより始まる参照画像の復号を行う必要がある。
【０００７】
図１２はこのようなＭＰＥＧ方式で圧縮された圧縮画像データを復号する従来の画像復号化装置の一例を示すブロック図であり、図１３は該画像圧縮復号化装置に用いられた映像用のＭＰＥＧデコーダの具体構成例を示すブロック図である。
【０００８】
図１２に示すように、画像復号化装置１は入力端子２を備え、入力端子２には、ＭＰＥＧ方式で圧縮されたビットストリームが供給される。該入力端子２を介して入力したビットストリームは、デマルチプレクサ３によって所定のストリームＩＤの圧縮ビットストリームが選択され、図１３に示す構成のＭＰＥＧデコーダ４に供給される。ＭＰＥＧデコーダ４に入力された圧縮ビットストリームは、バッファ４ａを介して可変長復号化回路４ｂに供給されることによって、可変長復号化処理が施され、その後、逆量子化回路４ｃによって逆量子化処理が施されてＩＤＣＴ回路４ｄに供給される。ＩＤＣＤ回路４ｄは、逆量子化回路４ｃの出力データに対しＩＤＣＴ変換処理を施して加算器４ｅに出力する。その後、フレーム間圧縮された画像データの場合は、予測器４ｆにより動き補償予測に関する情報がフィードバックされ、つまり加算器４の出力は最終的な画像データが復元されたものとなり、この復元された画像データは、例えば表示画面に表示するための信号処理回路へと出力されるようになっている。尚、上記構成の復号化装置においては、図示はしないが音声やプライベートストリーム用にも、それぞれの圧縮方式に準じた各種デコード回路が設けられるようになっており、各種圧縮データともそれぞれ復号化されて出力されるようになっている。また、図１３には映像用のＭＰＥＧデコーダの基本的な回路構成を示したが、実際にはいろいろな実現方法があり、これに限定されるものではない。
【０００９】
次に、上記構成の画像復号化装置における映像切替時の動作について説明する。
【００１０】
上記画像復号化装置においては、選択するストリームを切り替えると、デマルチプレクサ３で選択するストリームＩＤ等が切り替えられて、新しく選択されたストリームがＭＰＥＧデコーダ４に供給される。ＭＰＥＧデコーダ４は、上述したようにＰピクチャやＢピクチャ等のフレーム間圧縮した画像からは復号処理を開始することが不可能であるため、図１４に示す表示タイミングチャートのようにＩピクチャが供給されるまで待ち、Ｉピクチャが供給されると、復号を開始することによってその復号されたデータに基づく画像の表示が開始される。通常、Ｉピクチャは、ＧＯＰ（GROUP OF PICTURES の略で任意の数の上記タイプのピクチャより構成される階層）の先頭に存在するものであることから、次のＧＯＰの先頭が表示されることになる。
【００１１】
したがって、従来の画像復号化装置では、図１４に示すように、例えば最初のＧＯＰの４フレーム目となるＢピクチャの入力時にビットストリームの切り換えが発生したとすると、この供給された画像データに基づく表示がなされるためには、次のＧＯＰの先頭フレームであるＩピクチャが供給されるときまでの期間（平均１／２ＧＯＰに相当する期間で０．２５秒）待つ必要があり、また、待たずに復号処理を開始したとしても正常に復号されない等の問題点もあった。
【００１２】
また、このような問題に鑑み、他の従来技術として特開平８−１８１９２６号によって提案されているものもある。この提案では、番組切り換え時に、その復号処理の続行により生じてしまう画像の乱れを防止するために、切り換え前に予め蓄えられていた１フレーム分の画像データに基づく画像を静止画として表示させ、切り換え処理完了後にその静止画の表示を解除することで、少しでも復号処理に伴う待ち時間を効果的に活用するようにしているが、問題解決には至っていないのが現状である。
【００１３】
【発明が解決しようとする課題】
上記の如く、従来の画像復号化装置では、選択されたビットストリームに基づく画像が表示されるためには、供給された画像データのＧＯＰの先頭にある単独で復号可能なＩピクチャから復号処理を行えば良いが、ビットストリームの切り換え時がそれよりも前のＧＯＰ内の他のピクチャが供給された時である場合には、次のＧＯＰのＩピクチャが供給されるまでの期間（例えば１／２ＧＯＰに相当する期間で０．２５秒）待たなければ表示を開始することができず、また、待たずに復号処理を開始したとしても正常に復号されない等の問題点もあった。
【００１４】
そこで、本発明は上記問題点に鑑みてなされたもので、ビットストリームの切り換え時に次のＧＯＰのＩピクチャが供給されるまで待つことなく即座に復号処理を行うことができることで、復号した画像データに基づく表示開始までの所要時間を短縮することのできる画像復号化装置の提供を目的とする。
【００１５】
【課題を解決するための手段】
本発明の画像復号化装置は、入力された複数の映像を含む符号化ビットストリームから任意の映像の符号化ビットストリームを選択する選択手段と、前記選択手段により選択された符号化ビットストリームを通常の復号速度よりも少なくとも２倍速以上の復号速度で復号可能な復号手段と、前記選択手段により選択されていない映像の符号化ビットストリームの少なくとも１ＧＯＰ分をさかのぼって、この１ＧＯＰの先頭のＩピクチャから保持する記憶手段と、前記選択手段による選択，前記復号手段による復号及び前記記憶手段における書き込み、読み出しを制御するもので、選択する映像を切り換えた場合には、前記記憶手段に保持された少なくとも１ＧＯＰ分さかのぼった符号化ビットストリームの前記１ＧＯＰの先頭のＩピクチャから読み出して前記復号手段に供給して通常の復号速度よりも少なくとも２倍速以上の復号速度で復号させるとともに、この復号したデータの内、前記符号化ビットストリームに含まれる時間情報が現在時刻と一致したときに対応するピクチャの復号したデータを表示手段に出力するように制御する復号制御手段と、を具備したものである。
【００１６】
本発明においては、選択手段は、例えばデマルチプレクサであって、入力された複数の映像を含む符号化ビットストリームから任意の映像の符号化ビットストリームを選択して出力する。復号手段は、例えば高速ＭＰＥＧデコーダであって、前記選択手段により選択された符号化ビットストリームを通常の復号速度よりも少なくとも２倍速以上の復号速度で復号可能なものである。記憶手段は、前記選択手段により選択されていない映像の符号化ビットストリームの少なくとも１ＧＯＰ分をさかのぼって、この１ＧＯＰの先頭のＩピクチャから保持する。復号制御手段は、例えばデマルチプレクサや高速ＭＰＥＧデコーダ記憶手段に含まれて構成され、あるいは装置内部や外部に設けられたＣＰＵとして構成される。この復号制御手段は、前記選択手段による選択，前記復号手段による復号及び前記記憶手段における書き込み、読み出しを制御するもので、選択する映像を切り換えた場合には、前記記憶手段に保持された少なくとも１ＧＯＰ分さかのぼった符号化ビットストリームの前記１ＧＯＰの先頭のＩピクチャから読み出して前記復号手段に供給して通常の復号速度よりも少なくとも２倍速以上の復号速度で復号させるとともに、この復号したデータの内、前記符号化ビットストリームに含まれる時間情報が現在時刻と一致したときに対応するピクチャの復号したデータを表示手段に出力するように制御する。これにより、映像を切り換えた場合でも、即座に復号可能なＩピクチャより復号することができるため、デコード映像の表示開始までの所要時間を短縮させることが可能となる。
【００１７】
本発明の画像復号化方法は、入力された複数の映像を含む符号化ビットストリームから任意の映像の符号化ビットストリームを選択する選択処理と、前記選択処理により選択された符号化ビットストリームを通常の復号速度よりも少なくとも２倍速以上の復号速度で復号可能な復号処理と、前記選択処理により選択されていない映像の符号化ビットストリームの少なくとも１ＧＯＰ分をさかのぼって、この１ＧＯＰの先頭のＩピクチャから保持するための記憶処理と、前記選択処理による選択，前記復号処理による復号及び前記記憶処理における書き込み、読み出しを制御するもので、選択する映像を切り換えた場合には、前記記憶処理によって保持された少なくとも１ＧＯＰ分さかのぼった符号化ビットストリームの前記１ＧＯＰの先頭のＩピクチャから読み出して前記復号処理を用いて通常の復号速度よりも少なくとも２倍速以上の復号速度で復号させるとともに、この復号したデータの内、前記符号化ビットストリームに含まれる時間情報が現在時刻と一致したときに対応するピクチャの復号したデータを表示処理に出力するように制御する復号制御処理と、を含んだものである。
【００１８】
本発明においては、例えばデマルチプレクサや高速ＭＰＥＧデコーダ記憶手段に含まれたＣＰＵ、あるいは装置内部や外部に設けられたＣＰＵによって、その画像復号化方法が実行される。つまり、選択処理によって、入力された複数の映像を含む符号化ビットストリームから任意の映像の符号化ビットストリームを選択し、復号処理によってその選択処理により選択された符号化ビットストリームを通常の復号速度よりも少なくとも２倍速以上の復号速度で復号する。また、ＣＰＵは記憶処理によって、前記選択処理により選択されていない映像の符号化ビットストリームの少なくとも１ＧＯＰ分をさかのぼって、この１ＧＯＰの先頭のＩピクチャから保持する。このとき、選択する映像を切り換えたとすると、ＣＰＵは復号制御処理によって、前記記憶処理によって少なくとも１ＧＯＰ分さかのぼった符号化ビットストリームの前記１ＧＯＰの先頭のＩピクチャから読み出して前記復号処理を用いて通常の復号速度よりも少なくとも２倍速以上の復号速度で復号させるとともに、この復号したデータの内、前記符号化ビットストリームに含まれる時間情報が現在時刻と一致したときに対応するピクチャの復号したデータを表示処理に出力するように制御する。これにより、上記発明と同様の効果を得ることが可能となる。
【００１９】
【発明の実施の形態】
発明の実施の形態について図面を参照して説明する。
【００２０】
図１は本発明に係る画像復号化装置の第１実施形態例を示すブロック図である。
【００２１】
本実施形態例においては、従来のデコーダを、復号処理が選択された映像等の圧縮ビットストリームを高速に復号可能なデコーダに代えるとともに、復号処理が選択されていない映像等の圧縮ビットストリームの少なくとも一部（例えば１ＧＯＰ分）をさかのぼって保持するバッファを設けて構成したことが図１２に示す従来の画像復号化装置と異なる点である。
【００２２】
具体的には、図１に示すように、画像復号化装置１１は入力端子１２を備え、入力端子１２には、複数の映像をＭＰＥＧ方式で圧縮したビットストリームが供給される。該入力端子１２を介して入力したビットストリームは、デマルチプレクサ１３に与える。デマルチプレクサ１３は、ストリームＩＤ等により選択した符号化ビットストリームのみを高速ＭＰＥＧデコーダ１４に供給する一方、選択していない符号化ビットストリームについては、バッファ１５に供給する。
【００２３】
高速ＭＰＥＧデコーダ１３としては、図１３にて説明した一般的なＭＰＥＧデコーダを用いれば良いが、復号処理能力については該復号処理能力が速ければ速いほど効果的である。例えば、高速ＭＰＥＧデコーダ１３として、通常ＭＰ＠ＭＬと呼ばれるＮＴＳＣ画像対応のデコーダよりもさらに高速に復号処理が可能な復号処理能力を備えたものが考えられ、また、このＮＴＳＣ画像対応のデコーダよりも数倍の情報量及び復号処理能力を有し、前記ＮＴＳＣ画像対応のデコーダの上位となるＭＰ＠ＨＬと呼ばれるハイビジョン対応（ＨＤという）のデコーダを用いるようにして構成した方が望ましい。これにより、少なくとも圧縮ビットストリームの復号処理に伴う処理時間を高速に行うことが可能となる。
【００２４】
上記構成の高速ＭＰＥＧデコーダ１４は、選択された符号化ビットストリームに対して復号処理を施すことによって、入力符号化ビットストリームを最終的に復元した画像データ（復元画像データともいう）を得、得られた復元画像データを、例えば表示画面に表示するための信号処理回路へと出力する。これにより、復号処理がなされるとほぼ同時に図示しない画面上には復元画像データに基づく画像が表示されることにより、復元画像の表示が開始される。
【００２５】
一方、デマルチプレクサ１３にて選択されていない符号化ビットストリームについてはバッファ１５に供給されるが、つまりこれは、バッファ１５を用いることで、ビットストリームの切り換え時における復号処理に伴う復号処理時間を短縮させるためである。バッファ１５は、例えばＦＩＦＯ方式のメモリで構成されたものであって、供給された選択されていない符号化ビットストリームを書き込むとともに、この書き込みがバッファ１５の容量一杯まで行われた場合には、該バッファ１５に新規に供給される符号化ビットストリームで更新するように上書きする。これにより、バッファ１５には、選択されていない各ストリームの最新の圧縮ビットストリームが常に約１ＧＯＰ分保持されることになる。この場合、バッファ１５の容量については、各ストリームが１ＧＯＰ分以上書き込み可能な容量があることが望ましい。また、バッファの容量を気にしなければ全ての符号化ビットストリームを約１ＧＯＰ分保持していても良い。
【００２６】
上記構成によれば、高速ＭＰＥＧデコーダ１４によってデマルチプレクサ１３からの符号化ストリームを高速に復号処理を行うことができ、また、バッファ１４を用いることにより、選択されていない符号化ビットストリームを約１ＧＯＰ分さかのぼって保持することが可能となるため、選択する映像を切り換えた場合には、バッファ１５に保持された符号化ビットストリームを前記高速ＭＰＥＧデコーダ１４に供給することで、従来生じていた復号処理に伴う待ち時間を大幅に短縮させることが可能となる。
【００２７】
尚、バッファ１５によるデータ保持については、例えば全ての映像（選択されていない映像及び選択された映像）や、選択されていない映像の一部（例えば１００個内の１０個等）を記憶保持するように構成しても良く、また、１ＧＯＰ以下の場合でも、常に直前のＩピクチャからさかのぼって記憶保持するように構成しても良い。
【００２８】
次に、図１に示す装置の動作を図２を参照しながら詳細に説明する。
【００２９】
図２は図１に示す装置の動作を説明するための表示タイミングチャートであり、細い実線で囲むピクチャはデコードはするが表示しないフレームに対応したピクチャを示しており、太い実践で囲むピクチャはデコードして表示するフレームに対応したピクチャを示している。
【００３０】
いま、複数映像の入力圧縮データから、表示しようとする映像に基づく任意の圧縮データに切り変えるものとすると、デマルチプレクサ１３によって選択するストリームＩＤ等が変更される。すると、既に選択されていない各ストリームが１ＧＯＰ分保持されているバッファ１５は、このバッファ１５内に保持していた圧縮ビットストリームから新しく選択した映像等の符号化ビットストリームを高速ＭＰＥＧデコーダ１４に高速に供給する。このデコーダに対する選択した符号化ビットストリームの供給は、高速ＭＰＥＧデコーダ１４のみに限らず該デコーダを含む他の各デコーダ（図示）にも供給される。
【００３１】
また、高速ＭＰＥＧデコーダ１４を含む各デコーダへのデータの転送中、画像復号化装置１１の入力端子１２に供給される圧縮ビットストリームについては、バッファ１５をＦＩＦＯメモリとして利用することによって、高速ＭＰＥＧデコーダ１４等の各デコーダに供給されるまでの期間、一時的に保持される。
【００３２】
この場合、バッファ１５への入力ビットストリームより、バッファ１５からのデマルチプレクサ１３を介して高速ＭＰＥＧデコーダ１４等へ出力されるビットストリームの方が伝送速度が速いため、ＦＩＦＯメモリ（バッファ）１５内の保持データは徐々に減っていき、データがなくなると、デマルチプレクサ１３から直接高速ＭＰＥＧデコーダ１４等へ圧縮ビットストリームを供給する。
【００３３】
尚、高速ＭＰＥＧデコーダ１４に供給される圧縮ビットストリームは、バッファ１５に保持されている選択された映像の過去のストリーム全てでも良いが、理想的には最も近いＩピクチャ以降の圧縮データが望ましく、通常はバッファ１５内の最後のＧＯＰの先頭から供給される。つまり、通常にデコードされて表示が開始されるＧＯＰ以前の最も近いＧＯＰのＩピクチャから供給されることになる。
【００３４】
その後、高速ＭＰＥＧデコーダ１４では、図２に示すように供給された過去の圧縮ビットストリーム（図中に示す最初のＧＯＰ内のＩピクチャからのフレーム１乃至フレーム１１）を表示せずに次々高速にデコードし、圧縮データに含まれる時間情報（いつ表示するか等の時間情報であり、以下、ＰＴＳと称す）が、該デコーダとの現在時刻に追いついた時の画面（この場合、フレーム１２に相当）から表示を開始する。
【００３５】
その後、図中に示すフレーム１３以降については、通常にデマルチプレクサ１３からの符号化ビットストリームをデコードして、また表示するようにすることでＰＴＳに合致した表示時間に基づきそのデコード映像が継続して表示されることになる。
【００３６】
したがって、このように動作することにより、選択する映像を切り換えた際に、次の復号処理可能なＧＯＰのＩピクチャを待たずとも、既に保持された圧縮データに対し復号処理を施すことができるため、デコードした映像の表示を即座に表示させることが可能となり、結果として映像切り換え時から表示開始までの所要時間を短縮させることができる。実際には、従来の画像復号化装置では、選択する映像を切り換えると、復号・表示されるまでに平均１／２ＧＯＰに相当の約０．２５秒かかってしまったが、本発明の装置によれば、高速ＭＰＥＧデコーダ１４の復号化速度が仮に２倍の場合で平均０．１２５秒、４倍の場合で平均０．０６秒に短縮させることができる。
【００３７】
尚、本実施形態例においては、高速ＭＰＥＧデコーダ１４に供給する符号化ビットストリームの入力制御を行う構成については、具体的には述べていないが、例えば入力された圧縮符号化データをバッファ１５に保持したり、該バッファ１５に保持された圧縮符号化データを前記高速ＭＰＥＧデコーダ１４に転送したり、あるいは入力圧縮符号化データをバッファ１５に保持せずに直接高速ＭＰＥＧデコーダ１４に出力させたりする制御機能を、前記バッファ１５と高速ＭＰＥＧデコーダ１４との少なくとも一方に設けて構成すれば良い。また、他の構成としては、画像復号化装置全体を制御可能なＣＰＵ、あるいは新たに該装置内に設けたＣＰＵ等の制御手段によって、上記制御を行うように構成しても良い。
【００３８】
ところで、前記第１実施形態例では、複数映像の圧縮符号化データの内、任意の映像に切り換えた場合の復号処理・表示処理について説明したが、この映像の切り換え時のタイミングを考慮すると、様々であり、必ずしも前記第１実施形態例のようにデコード・表示するまでの所要時間を短縮させることができない場合がある。つまり、切り換え直後の圧縮ビットストリームが１ＧＯＰの最後方近傍に位置するピクチャである場合である。この場合、切り換え発生後には、図１２で示した従来の画像復号化装置の方が速く切り変えた画像を出画して表示できることもある。そこで、このように映像の切り換え発生時が変更された場合でも、常にデコード・表示に伴う所要時間を短縮するように復号処理が可能な実施形態例を図３及び図４に示す。
【００３９】
図３及図４は本発明に係る画像復号化装置の第２実施形態例を示し、図３は装置に付加された判定回路を含むシステム全体の構成を示すブロック図、図４は図３の装置の動作を説明するための表示タイミングチャートであり、図４（ａ）は従来方法を示し、図４（ｂ）は前記第１実施形態例による方法を示している。尚、図３に示すシステムは、図１に示す装置と同様な構成要素には同一符号を付して説明を省略し、異なる部分のみを説明する。
【００４０】
本実施形態例では、映像の切り換え時が変更された場合に、従来技術と同様にそのままの状態で復号するか、または前記第１実施形態例のように１ＧＯＰ分さかのぼって復号するか、最初に出画し且つ表示できる方を判定する判定回路２０を設け、該判定回路２０からの判定結果に基づいて前記第１実施形態例における画像復号化装置１１の復号処理を制御するようにしたことが異なる点である。
【００４１】
具体的には、図３に示すように、前記第１実施形態例にて用いた画像復号化装置１１には、該装置１１における復号処理を制御するのに必要な判定を行う判定回路２０が設けられている。この判定回路２０は、画像復号化装置１１による復号処理動作を従来のままにするか、または前記第１実施形態例と同様にバッファ１５に保持した圧縮ビットストリームを用いてＧＯＰ先頭から高速に復号処理をすべきか、早く出画して表示可能な方を判定し、判定結果を出力する。
【００４２】
例えば、判定回路２０は、事前に高速な復号処理機能を有する画像復号化回路１１のおよその復号速度を認識しており、直前のＩピクチャから高速にデコードし続け、デコーダ内の時計にＰＴＳが追いつくまでの時間と、ストリーム切り換え時における１ＧＯＰ内のフレーム位置から次のＩピクチャが供給されるまでの時間とをそれぞれ算出し、これらの算出結果から所要時間の短い方のストリームを復号するように指示信号を出力する。
【００４３】
このような指示信号は、例えば画像復号装置１１内の復号処理を制御可能なバッファ１５，あるいは高速ＭＰＥＧデコーダ１４に供給される。供給されたバッファ１５あるいは高速ＭＰＥＧデコーダ１４は、指示信号に基づいて復号処理を行う。つまり、判定回路２０からの指示信号が、例えば映像を切り変えた際に従来技術と同様そのままの状態で復号した方が早く出画できるものを示す場合には、バッファ１５により保持された圧縮ビットストリームを用いずに選択されたそのままの圧縮ビットストリームを復号するように制御する。この場合、高速ＭＰＥＧデコーダ１４は、通常のデコーダの復号速度に可変することも可能であるため、高速ではなく通常の復号速度で復号処理を行い、画像データを出力する。一方、指示信号が前記第１実施形態例と同様バッファ１５に保持した圧縮ビットストリームを用いてＧＯＰ先頭から高速に復号した方が早く出画できるものである場合には、高速ＭＰＥＧデコーダ１４に対してバッファ１５に保持した圧縮ビットストリームを供給するとともに、高速に復号処理を行うように制御する。
【００４４】
したがって、上記構成により、映像の切り換え時が変更された場合でも、切り換えられた映像を早く出画・表示するように復号処理を制御することができることから、常に短時間でのデコード映像の表示が可能となる。
【００４５】
本実施形態例において、いま、図４に示すように表示する映像の切り換えが発生したとする。すると、判定回路２０は、図４（ａ）に示す従来方法で復号した場合の切り換え発生時からデコード映像の表示開始時までの所要時間と、図４（ｂ）に示す前記第１実施形態例と同様に復号した場合の切り換え発生時から表示開始時間での所要時間とをそれぞれ算出し、これらの算出結果から切り換えた映像が早く出画できる方を指示する判定結果を画像復号化装置１１に与える。
【００４６】
図４に示すような所定時刻に映像の切り換えが発生した場合、切り換えられたデコード映像の表示開始までの所要時間が短くなるのは、図４（ａ）に示す従来方法で復号した方であり、したがって、判定回路２０は上述したような従来方法で復号処理を行わせる。これにより、図４（ａ）に示すように次のＧＯＰのＩピクチャより復号されると同時に表示が開始されることから、図４（ｂ）に示す第１実施形態例における復号方法よりも、早くデコード映像を表示させることが可能となる。
【００４７】
したがって、本実施形態例によれば、映像の切り換えを任意に行ったとしても、常に切り換えたデコード映像の表示を早くできるように復号処理が制御されるため、デコード映像の表示開始までの所要時間を短縮させることが可能となる。
【００４８】
尚、本実施形態例においては、判定回路２０は、実際に復号する前にどちらの復号方法が最初に出画できるかを判別できれば良く、また該判定回路２０の構成及び方法については、上述したもの以外のものでも何ら問題はない。
【００４９】
また、本実施形態例においては、高速ＭＰＥＧデコーダ１４は復号速度が可変可能な機能を有していることについて説明したが、これに限定されることはなく、例えば通常の復号速度の処理機能を有するデコーダを１つの設け、前記高速ＭＰＥＧデコーダ１４とを切り換えて、判定回路２０からの判定結果に基づく復号処理を行わせるように構成しても良い。
【００５０】
次に、本発明に係る第３実施形態例について図５を参照しながら詳細に説明する。図５は本発明に係る画像復号化装置の第３実施形態例を示し、従来装置と第１実施形態例の装置と判定回路とで構成されるシステム全体の構成を示すブロック図である。尚、図５に示すシステムは、図１，図１２に示す装置と同様な構成要素には同一符号を付して説明を省略し、異なる部分のみを説明する。
【００５１】
本実施形態例では、前記第１実施形態例にて使用した画像復号化装置１１と従来技術としての画像復号化装置１とを並列に接続してそれぞれ複数映像の圧縮データを入力し、それらの出力画像データからどちらの装置が早く出画できるか否かを判定する判定回路２１を用いて、双方の装置の何れかの出力データを出力させるように構成したことが前記実施形態例とは異なる点である。
【００５２】
つまり、図５に示すように、複数映像の圧縮データは、並列に設けられた前記第１実施形態例にて使用した画像復号化装置１１（図１参照）と従来技術としての画像復号化装置１（図１２参照）とにそれぞれ供給される。従来の画像復号化装置１は、図１４にて説明したように切り換え後に供給されるＧＯＰのＩピクチャより復号処理を行い、復号した画像データを判定回路２１及び切り換えスイッチ２２の入力端ａに供給する。一方、第１実施形態例にて使用した画像復号化装置１１は、図２に示すように切り換え時からさかのぼって１ＧＯＰ分の圧縮ビットストリームが保持されたバッファ１５からの保持データより復号処理を行い、復号した画像データを判定回路２１及び切り換えスイッチ２２の入力端ｂに供給する。
【００５３】
判定回路２１は、それぞれの出力画像データからどちらのデコーダが早く出画をできるか否かを判定するもので、この判定結果に基づくデコーダの出力を出力させるように切り換えスイッチ２２を制御する。したがって、切り換えスイッチ２２は、判定回路２１からの判定結果に基づく出力画像データを出力するように入力端ａ，ｂを切り換えて図示しない表示信号処理回路へと出力する。
【００５４】
したがって、本実施形態例によれば、映像を切り換えた場合に、早く出画できるデコーダからの復号画像データを選択して出力することができるため、常に短時間でそのデコード映像の表示を開始させることが可能となる。
【００５５】
尚、本実施形態例においては、判定回路２１としての具体的な構成例は示していないが、例えば各画像復号化装置のデコード状態を示す情報（例えばフラグ等）を監視することにより判定を行うように構成しても良く、また各画像復号化装置の出力から画像データが出力されてくるのを監視することで判定を行うように構成しても良い。すなわち、画像データが最初に出力されたデコーダを判別する機能を備えるように構成すれば良い。
【００５６】
また、判定回路２１による判定は、上記のように出力を用いるだけでなく、例えば各復号化装置内部の復号処理状況や、各種フラグ、あるいはモニタ端子等を監視することで判定を行うようにしても良い。
【００５７】
ところで、通常のテレビジョン放送信号を受信する受信機器では、選局されたチャンネル以外のチャンネルのテレビジョン信号についても受信されており、選局の有無によってそのテレビジョン信号に基づく映像の表示が決定される。つまり、複数映像の圧縮符号化ストリームを受信する画像復号化装置を有する受信機器でも同様である。そこで、選択されていない映像の圧縮ビットストリーム毎に、従来の画像符号化装置を複数設け、選択時に選択された映像の圧縮ビットストリームを復号処理するデコーダの出力を出力させるように切り換えて制御すれば、短時間に選択されたデコード映像の表示が可能である。このような実施形態例を図６に示す。
【００５８】
図６は本発明に係る画像復号化装置の第４実施形態例を示し、高速ＭＰＥＧデコーダ１４を用いずに通常の復号処理能力を有する従来の画像復号化装置を複数設けて構成した場合のシステムの一例を示すブロック図である。
【００５９】
本実施形態例では、図１２に示す従来の画像復号化装置１とほぼ同一構成の画像復号化装置１ａ，１ｂ，１ｃ，１ｄを複数設けてそれぞれ並列に接続し、これらの装置には、前記第３実施形態例と同様に複数映像の圧縮符号化ストリームを供給するとともに、各装置の出力画像データについては切り換えスイッチ２３の各入力端ａ乃至ｄに供給するように構成し、図示しない切り換え制御部によって切り換えた映像に基づくデコーダからの出力画像データを出力させるようにしたことが前記第３実施形態例とは異なる点である。
【００６０】
したがって、図６に示すように、仮に選択されている映像の符号化ビットストリームを復号している装置が画像復号化装置１ａであるとすると、他の画像復号化装置１ｂ，１ｃ，１ｄは、選択されていない映像の符号かビットストリームの復号処理を行い、復号した画像データをそれぞれ対応する切り換えスイッチ２３の入力端ｂ，ｃ，ｄに供給する。この場合、各復号化装置に対する選択していない映像の割り振りは、各復号化装置自信、あるいは図示しない制御手段によって制御するようにしても良い。これにより、切り換えスイッチ２３の入力端ａを除く他の入力端ｂ，ｃ，ｄには、選択されていない映像の復号画像データが供給されることになる。
【００６１】
切り換えスイッチ２３は、上述の各復号化装置、あるいは図示しない制御手段によって、映像の切り換えに対応する復号化装置の復号画像データを出力するように切り換えが制御される。つまり、選択されていない映像については復号処理を施すものの、該切り換えスイッチ２３により選択されていないので表示はなされず、選択された映像のみ表示がなされることになる。
【００６２】
このような構成により、どの映像の符号化ビットストリームに対しても復号処理が行われていることから、映像を切り換えたとしても、すぐに選択した映像の復号画像データを出力させることができるため、選択した映像の表示を即座に開始させることが可能となる。
【００６３】
したがって、本実施形態例によれば、高速ＭＰＥＧデコーダ１４及びバッファ１５等を用いずとも、選択されている映像を復号するデコーダと、選択していない映像を復号するデコーダとの複数の従来デコーダを用いることにより、常に短時間でのデコード映像の表示が可能となる。
【００６４】
尚、本実施形態例においては、従来の画像復号化装置を４つ設けた場合について説明したが、これに限定されることはなく、それ以上設けて構成するようにしても良い。この場合も同様に動作させることにより、本実施形態例と同様の効果を得ることができる。
【００６５】
ところで、本発明では、画像復号化装置による復号処理動作を制御する制御手段を装置内、あるいは装置外に設け、この制御手段によって、映像切り換え時における復号処理動作を制御することも可能である。このような実施形態例を下記に示す。
【００６６】
図７は本発明に係る画像復号化装置の第５及び第６実施形態例を示すブロック図であり、図８は第５実施形態例における制御動作を示すフロチャート、図９は第６実施形態例における制御動作を示すフロチャート、図１０は第７実施形態例を示し、図５に示す装置に付加されたＣＰＵにおける制御動作を示すフロチャート、図１１は第８実施形態例を示し、図６に示す装置に付加されたＣＰＵにおける制御動作を示すフロチャートである。
【００６７】
第５及び第６実施形態例にて使用される画像復復号化装置３１は、図１に示す画像復号化装置１１とほぼ同様に構成されているが、この装置の復号化処理動作を制御するための制御手段としてのＣＰＵ３２を備えている。この場合、ＣＰＵ３２は、画像復号化装置３１内に設けても良く、あるいは装置外部に設けるようにし構成しても良い。また、このＣＰＵ３２による制御動作を、この復号化装置３１を有する機器のシステム全体を制御するＣＰＵ（図示せず）を用いて行わせるように構成しても良い。
【００６８】
上記ＣＰＵ３２は、例えば前記第１実施形態例にて説明したようにバッファ１５に保持された符号化ビットストリームを高速に復号させるか、あるいは従来技術と同様にそのままの符号化ビットストリームを通常の復号速度で復号させるか等の復号処理方法の判定を行うとともに、また判定された復号処理方法を実行させるように制御することが可能である。
【００６９】
例えば、ＣＰＵ３２は、デマルチプレクサ１３ａのストリームＩＤ等を指示制御して、入力複数映像の圧縮符号化データからデコードを選択された符号化ビットストリームと選択されていない符号化ビットストリームとに分離させ、選択された符号化ビットストリームについては、高速ＭＰＥＧデコーダ１４に供給して復号処理を行い、復号画像データとして出力させる。また、選択されていない復号化データについいては、各ストリームがそれぞれ１ＧＯＰ分保持することができる容量を備えたバッファ１５ａに書き込むように制御する。このとき、ＣＰＵ３２は、バッファ１５ａの空き容量がなくなると、前記第１実施形態例と同様に古いデータを順次新しいデータに更新するように書き込みを制御する。
【００７０】
次に、表示する映像を切り換えるために、復号化ストリームの切り換えが発生した場合のＣＰＵにおける具体的な制御方法について、下記に示す。
【００７１】
先ず、第５実施形態例における制御方法を説明する。
【００７２】
図８に示すように、ＣＰＵ３２は、ストリームの切り換えが発生したとすると、ステップＳ１による処理でこれを認識し、処理をステップＳ２に移行する。
【００７３】
ステップＳ２による処理では、バッファ１５ａを読み出し制御してバッファ１５ａ内の選択された符号化ビットストリームを高速ＭＰＥＧデコーダ１４に供給することによって、該符号化ビットストリームを高速にデコードする。この場合、ＣＰＵ３２は過去のＰＴＳを持つデータについてはデコードのみを行い、表示はしない次のデータに進む。
【００７４】
デコードが進んでいる期間、ＣＰＵ３２は、ステップＳ３による処理で、高速ＭＰＥＧデコーダ１４の時計（現在時刻）とデコードしているデータのＰＴＳとの比較を行い、該ＰＴＳがまだ遅い場合（現在の時間に追いついていない場合）には、処理をステップＳ２に戻し、ＰＴＳがデコーダ１４の時計に追いついた場合には、次のステップＳ４による処理でデコードされた画像データの表示を開始させる。このとき、バッファ１５ａ内の選択された符号化ビットストリームのデータがなくなるため、この時点からＣＰＵ３２は、次のステップＳ５による処理で、入力された圧縮ビットストリームをバッファ１５ａに書き込まずに、直接高速ＭＰＥＧデコーダ１４に供給するように制御して、通常のデコード処理及び表示を行うように制御する。
【００７５】
したがって、このように復号処理を制御することにより、映像の切り換えが発生した場合でも、すぐに切り換えた映像を表示することが可能となり、前記第１実施形態例と同様にデコード・表示までの所要時間を短縮させることが可能となる。
【００７６】
次に、第６実施形態例における制御方法について説明する。
【００７７】
先ず、図９に示すように、ＣＰＵ３２は、ストリームの切り換えが発生したとすると、ステップＳ１による処理でこれを認識し、続くステップＳ１０による処理で、予め認識しているデコーダの復号速度等の情報及び切り換えが発生した時刻等の情報から出画時間を算出し、処理をステップＳ１１に移行する。
【００７８】
すると、ステップＳ１１による処理では、上記の算出結果をもとに、次のＧＯＰのＩピクチャからデコードした方が早く出画できるか否かの判定を行い、早くできる場合には、ステップＳ１２による処理でそのままの符号化ビットストリームを通常の復号速度で復号するように高速ＭＰＥＧデコーダ１４を制御して復号を行い、続くステップＳ１３による処理でその復号画像データを出画させる。
【００７９】
また、上記ステップＳ１１による判定で、早く出画できない場合には、ステップＳ１４による処理で、バッファ１５内に保持された符号化ビットストリムの直前のＩピクチャにさかのぼったデータより高速ＭＰＥＧデコーダ１４に供給することによって、該符号化ビットストリームを高速にデコードする。デコードがなされている期間、ステップＳ１５によりＰＴＳがデコーダ１４の時計に追いついた場合には、デコードされた画像データの表示を開始させ、その後はステップＳ１６による処理で、入力された圧縮ビットストリームをバッファ１５ａに書き込まずに、直接高速ＭＰＥＧデコーダ１４に供給するように制御して、通常のデコード処理及び表示を行うように制御する。
【００８０】
したがって、このように復号処理を制御することにより、前記実施形態例と同様の効果を得ることが可能となる。
【００８１】
尚、上記第５及び第６実施形態例においては、図７に示すＣＰＵ３２によってデマルチプレクサ１３ａ，バッファ１５ａ及び高速ＭＰＥＧデコーダ１４等の各種制御がなされるように説明したが、これに限定されることはなく、例えば構造的に上記デマルチプレクサ１３ａ，バッファ１５ａ及び高速ＭＰＥＧデコーダ１４等の各種回路を前記ＣＰＵ内に搭載するように構成し、このＣＰＵによって上記の如く復号化処理を制御するようにしても良い。
【００８２】
次に、第７実施形態例における制御方法について説明する。
【００８３】
構成としては、例えば図５に示す画像復号化装置を含むシステムに、該装置による復号処理動作を制御するためのＣＰＵ（図示せず）が付加されたものである。この場合、このＣＰＵは図５に示す判定回路２１における処理動作等を実行するように制御するとともに、２つのデコーダにおける復号処理を制御するようになっている。
【００８４】
先ず、図１０に示すように、ＣＰＵは、ストリームの切り換えが発生したとすると、ステップＳ１による処理でこれを認識し、続くステップＳ２０による処理で、図５に示す画像復号化装置１１のバッファ１５を読み出し制御してバッファ１５内に保持された符号化ビットストリームから切り換え発生時直前のＧＯＰのＩピクチャに対応するピットストリームを読み出し且つ高速ＭＰＥＧデコーダ１４に供給することによって、該符号化ビットストリームを高速にデコードし、切り換えスイッチ２２に供給する。
【００８５】
また同時に、ＣＰＵは次のステップＳ２１による処理で、もう一方の従来の画像復号化装置１（図５参照）に対し、次のＧＯＰのＩピクチャからデコードを開始するように制御し、復号画像データを切り換えスイッチ２２に供給する。
【００８６】
その後、ＣＰＵは、次のステップＳ２２による処理で図５に示す判定回路２１とほぼ同様に出画判定を行う。つまり、データに含まれるＰＴＳを用いてどちらのデコーダからの出力復号画像データの方が出画を早くできるか否かの判定を行う。この判定で、例えば前記ステップＳ２０による処理で得られた復号出力画像データの方（装置１１からの出力）が早く出画できると判定した場合には、ステップＳ２３による処理で前記切り換えスイッチ２２を切り換えて、この復号出力画像データを出力し、続くステップＳ２４による処理で出画させる。一方、ステップＳ２１による処理で得られた復号出力画像データの方（装置１からの出力）が早く出画できると判定した場合には、ステップＳ２５による処理でこの復号出力画像データを出力させるように切り換えスイッチ２２を制御し、続きステップＳ２５による処理で出画させる。
【００８７】
これにより、前記第３実施形態例と同様の効果を得ることが可能となる。
【００８８】
次に、第８実施形態例における制御方法について説明する。
【００８９】
構成としては、例えば図６に示す画像復号化装置を含むシステムに、これらの装置による復号処理動作を制御するとともに、その出力を選択して出力させるように制御することの可能なＣＰＵ（図示せず）が付加されたものである。ＣＰＵは、例えば図１２に示す従来の画像復号化装置１とほぼ同一構成の画像復号化装置が複数並列に接続され、これらの装置からの出力画像データが供給される切り換えスイッチ２３（図６参照）を選択制御する。これにより、切り変えられた映像の復号出力画像を出力させることが可能となり、すぐに表示することができる。
【００９０】
具体的には、図１０に示すようにＣＰＵは、電源が投入されると制御動作を開始し、ステップＳ３０による処理で全ての画像復号化装置（図６参照）にて複数映像の各符号化ビットストリームをそれぞれデコードさせる。この場合、前記第４実施形態例と同様に、例えば選択されている映像の符号化ビットストリームを復号している装置がある画像復号化装置であるとすると、その他の画像復号化装置は、選択されていない映像の符号かビットストリームの復号処理を行い、復号した画像データをそれぞれ対応する切り換えスイッチ２３（図６参照）の入力端に供給する。この場合、ＣＰＵは、各復号化装置に対して選択していない映像をそれぞれ復号するように制御する。
【００９１】
その後、ストリームの切り換えが発生すると、ＣＰＵはステップＳ３１による処理でこれを認識し、続くステップＳ３２による処理で前記切り換えスイッチ２３（図６参照）に対し、映像の切り換えに対応する復号化装置の復号画像データを出力するように切り換えを制御する。つまり、ＣＰＵは、選択されていない映像については復号処理を施すものの表示はせず、選択された映像のみを表示するように制御する。
【００９２】
したがって、このように制御することにより、前記第４実施形態例と同様に選択した映像の表示を即座に開始することが可能となる。
【００９３】
尚、本発明の画像復号化方法の第５乃至第８実施形態例においては、該方法を実施するのに必要な構成として、図７に示す構成、あるいは図５及び図６に示示すシステムにＣＰＵを付加した構成等を用いて説明したが、これに限定されることはなく、図８乃至図１１に示すアルゴリズムが実行できるような構成であれば良い。また、ＣＰＵの制御動作の一例である各フローチャートは、主にストリームの切り換え発生時の動作例を示したものであり、実際に復号化を行う場合には、一般的に用いられている復号化処理動作を行う下位の各種サブルーチン（図示せず）に基づき復号処理動作が行われるようになっている。
【００９４】
また、本発明に係る各実施形態例においては、復号化処理を行うデータとして、主に映像の符号化ストリームである場合について説明したが、これに限定されることはなく、例えば、音声やプライベートストリーム等が一緒に含まれた符号化データを復号する場合でも実施可能である。この場合、各図面には記載されていないが、映像以外のデコード回路を設けることも必要である。
【００９５】
また、本発明に係る各実施形態例においては、１ＧＯＰ分さかのぼって保持する場合について説明したが、これに限定されることはなく、例えば直近のＩピクチャからさかのぼって保持するように方法でもかまわない。
【００９６】
さらに、本発明に係る実施形態例においては、復号化制御の実行に際し、符号化ビットストリーム中に含まれる時間情報などの表示時間情報を用いた場合について説明したが、これに限定されることはなく、この符号化ビットストリーム中に含まれる他の情報、例えばデコード開始時間情報等を用いるようにしても良い。
【００９７】
【発明の効果】
以上、述べたように本発明によれば、選択する圧縮符号化ビットストリームを切り換えた際に、従来は次のＧＯＰのＩピクチャが供給されるまで切り換え後の復号画像の表示が開始することができなかったが、本発明によればすぐに復号を開始し、表示時間が一致した時点で復号画像の表示を開始することができるため、表示開始までの平均的な所要時間を高速な復号化装置を用いるほど短縮できるという効果を得る。また、短時間に表示できる方法を選択することにより、遅くても従来なみの所要時間で表示開始できるという効果がある。さらに、選択していないストリームも復号し、表示を切り換えることにより、すぐに表示が可能となる効果もある。
【図面の簡単な説明】
【図１】本発明に係る画像復号化装置の第１実施形態例を示すブロック図。
【図２】図１に示す装置の動作を説明するための表示タイミングチャート。
【図３】本発明に係る画像復号化装置の第２実施形態例を示すブロック図。
【図４】図２に示す装置の動作を説明するための表示タイミングチャート。
【図５】本発明に係る画像復号化装置の第３実施形態例を示すブロック図。
【図６】本発明に係る画像復号化装置の第４実施形態例を示すブロック図。
【図７】本発明の第５及び第６実施形態例にて使用する画像復号化装置を示すブロック図。
【図８】第５実施形態例の画像復号化方法を説明するためのフローチャート。
【図９】第６実施形態例の画像復号化方法を説明するためのフローチャート。
【図１０】第７実施形態例の画像復号化方法を説明するためのフローチャート。
【図１１】第８実施形態例の画像復号化方法を説明するためのフローチャート。
【図１２】従来の画像復号化装置の一例を示すブロック図。
【図１３】図１２に示す装置に含まれるＭＰＥＧデコーダの構成例を示すブロック図。
【図１４】図１２に示す従来装置の動作・問題点を説明するための表示タイミングチャート。
【符号の説明】
１１，３１…画像復号化装置、１２…入力端子、１３…デマルチプレクサ、
１４…高速ＭＰＥＧデコーダ、１５…バッファ、１６…出力端子、
２０，２１…判定回路、２２，２３…スイッチ手段、３２…ＣＰＵ。
【発明の属する分野】
本発明は、ＭＰＥＧ方式等の高能率圧縮符号化方法により圧縮された動画像データを復号する画像復号化装置に関し、特に復号処理に伴う待ち時間を短縮するのに好適の画像復号化装置及び画像復号化方法に関する。
【０００２】
【従来の技術】
近年、画像のディジタル圧縮が検討されている。特に、ＤＣＴ（離散コサイン変換）を用いた高能率符号化については、各種標準化案が提案されている。ＤＣＴは、１フレームを複数のブロック（ｍ画素×水平走査線）に分割し、このブロック単位で映像信号を周波数成分に変換することにより、空間軸方向の冗長度を削減するものである。ところで、テレビジョン信号の動画用の高能率符号化方式として、ＣＣＩＴＴ（International Telegraph and Telephone Consultative Committee）は周知のようにＭＰＥＧ（Moving Picture Experts Group）方式を提案した。この方式においては、１フレーム内てＤＣＴによる圧縮（フレーム内圧縮）を行うだけでなく、フレーム間の相関を利用して時間軸方向の冗長度を削減するフレーム間圧縮も採用する。フレーム間圧縮は、一般の動画像が前後のフレームでよく似ているという性質を利用して、前後のフレームの差分を求め差分値を符号化することによって、ビットレートを一層低減させるものである。特に、画像の動きを予測してフレーム間差を求めることにより予測誤差を低減する動き補償フレーム間予測符号化が有効である。
【０００３】
この動き補償フレーム間予測符号化においては、現フレームの画像データＤ（ｎ）と１フレーム前の画像データＤ（ｎ−１）との間で動きベクトルを求める。前フレームの符号化データを復号して得た画像データを動きベクトルによって動き補償して、動き補償した前フレームの参照画像データＤ′（ｎ−１）と現フレームの画像データＤ（ｎ）との間で差分をとり、この差分値（動き予測による誤差成分）を符号化して出力する。
【０００４】
また、最近では、上述のＭＰＥＧ方式を更に、相互運用性、分解能可変性及び拡張性等の面で満足するように改良がなされたＭＰＥＧ２方式と呼ばれる動画像圧縮方式も提案されており、既にＩＳＯ／ＩＥＣ標準１３８１８−２に規格化されている。ＭＰＥＧ２方式は前述したＭＰＥＧ方式（通称ＭＰＥＧ１という）を包合する動画像圧縮符号化方式である。即ち、コンピュータ・放送・通信の３つの分野で使用されるアプリケーションのすべてを満足するように考慮されている。 ＭＰＥＧ２方式による動画像圧縮符号化については、例えば、「ＩＳＯ／ＩＥＣ １３８１８−２ Draft International Standard」の文献等に記述されている。即ち、この動画像圧縮方式においては、画像間の動き補償予測（ＭＣ：Motion Copensation）と８×８画素のＤＣＴを組み合わせたハイブリッド方式の変換とを行い、これにより得られる信号に対して更に量子化及び可変長符号化を施す。ＭＣ予測の種類については、過去の画像を参照画像とする前方予測、未来の画像を参照画像とする後方予測、過去及び未来両方の画像を参照画像とする双方向（内挿）予測及び予測を用いないイントラの各モードがある。
【０００５】
このＭＣ予測モードは、１６×１６画素のマクロブック毎に設定可能であるが、符号化（ピクチャ）の種類により使用可能なモードが決められている。このピクチャの種類には、インストラマクロブックのみで構成されるピクチャをＩピクチャ、イントラ及び前方予測マクロブックで構成されるＰピクチャ及び全てのＭＣ予測モードが許されるＢピクチャがあり、即ち３種類のピクチャがある。
【０００６】
Ｉピクチャは予測を用いず、原画像自体をＤＣＴ変換し、量子化及び可変長符号化を行うものである。したがって、Ｉピクチャは単独の符号化データで復号化可能であるのに対し、Ｐピクチャは入力画像順で過去のすでに符号化されたＩまたはＰピクチャとのＭＣ予測誤差信号をＤＣＴ変換、量子化及び可変長符号化を行う。そしてＢピクチャでは、過去及び未来における既に符号化されたＩまたはＰピクチャとのＤＣＴ予測誤差信号をＤＣＴ変換、量子化及び可変長符号化を行う。このため、Ｐ及びＢピクチャの復号はこれに先行してＩピクチャより始まる参照画像の復号を行う必要がある。
【０００７】
図１２はこのようなＭＰＥＧ方式で圧縮された圧縮画像データを復号する従来の画像復号化装置の一例を示すブロック図であり、図１３は該画像圧縮復号化装置に用いられた映像用のＭＰＥＧデコーダの具体構成例を示すブロック図である。
【０００８】
図１２に示すように、画像復号化装置１は入力端子２を備え、入力端子２には、ＭＰＥＧ方式で圧縮されたビットストリームが供給される。該入力端子２を介して入力したビットストリームは、デマルチプレクサ３によって所定のストリームＩＤの圧縮ビットストリームが選択され、図１３に示す構成のＭＰＥＧデコーダ４に供給される。ＭＰＥＧデコーダ４に入力された圧縮ビットストリームは、バッファ４ａを介して可変長復号化回路４ｂに供給されることによって、可変長復号化処理が施され、その後、逆量子化回路４ｃによって逆量子化処理が施されてＩＤＣＴ回路４ｄに供給される。ＩＤＣＤ回路４ｄは、逆量子化回路４ｃの出力データに対しＩＤＣＴ変換処理を施して加算器４ｅに出力する。その後、フレーム間圧縮された画像データの場合は、予測器４ｆにより動き補償予測に関する情報がフィードバックされ、つまり加算器４の出力は最終的な画像データが復元されたものとなり、この復元された画像データは、例えば表示画面に表示するための信号処理回路へと出力されるようになっている。尚、上記構成の復号化装置においては、図示はしないが音声やプライベートストリーム用にも、それぞれの圧縮方式に準じた各種デコード回路が設けられるようになっており、各種圧縮データともそれぞれ復号化されて出力されるようになっている。また、図１３には映像用のＭＰＥＧデコーダの基本的な回路構成を示したが、実際にはいろいろな実現方法があり、これに限定されるものではない。
【０００９】
次に、上記構成の画像復号化装置における映像切替時の動作について説明する。
【００１０】
上記画像復号化装置においては、選択するストリームを切り替えると、デマルチプレクサ３で選択するストリームＩＤ等が切り替えられて、新しく選択されたストリームがＭＰＥＧデコーダ４に供給される。ＭＰＥＧデコーダ４は、上述したようにＰピクチャやＢピクチャ等のフレーム間圧縮した画像からは復号処理を開始することが不可能であるため、図１４に示す表示タイミングチャートのようにＩピクチャが供給されるまで待ち、Ｉピクチャが供給されると、復号を開始することによってその復号されたデータに基づく画像の表示が開始される。通常、Ｉピクチャは、ＧＯＰ（GROUP OF PICTURES の略で任意の数の上記タイプのピクチャより構成される階層）の先頭に存在するものであることから、次のＧＯＰの先頭が表示されることになる。
【００１１】
したがって、従来の画像復号化装置では、図１４に示すように、例えば最初のＧＯＰの４フレーム目となるＢピクチャの入力時にビットストリームの切り換えが発生したとすると、この供給された画像データに基づく表示がなされるためには、次のＧＯＰの先頭フレームであるＩピクチャが供給されるときまでの期間（平均１／２ＧＯＰに相当する期間で０．２５秒）待つ必要があり、また、待たずに復号処理を開始したとしても正常に復号されない等の問題点もあった。
【００１２】
また、このような問題に鑑み、他の従来技術として特開平８−１８１９２６号によって提案されているものもある。この提案では、番組切り換え時に、その復号処理の続行により生じてしまう画像の乱れを防止するために、切り換え前に予め蓄えられていた１フレーム分の画像データに基づく画像を静止画として表示させ、切り換え処理完了後にその静止画の表示を解除することで、少しでも復号処理に伴う待ち時間を効果的に活用するようにしているが、問題解決には至っていないのが現状である。
【００１３】
【発明が解決しようとする課題】
上記の如く、従来の画像復号化装置では、選択されたビットストリームに基づく画像が表示されるためには、供給された画像データのＧＯＰの先頭にある単独で復号可能なＩピクチャから復号処理を行えば良いが、ビットストリームの切り換え時がそれよりも前のＧＯＰ内の他のピクチャが供給された時である場合には、次のＧＯＰのＩピクチャが供給されるまでの期間（例えば１／２ＧＯＰに相当する期間で０．２５秒）待たなければ表示を開始することができず、また、待たずに復号処理を開始したとしても正常に復号されない等の問題点もあった。
【００１４】
そこで、本発明は上記問題点に鑑みてなされたもので、ビットストリームの切り換え時に次のＧＯＰのＩピクチャが供給されるまで待つことなく即座に復号処理を行うことができることで、復号した画像データに基づく表示開始までの所要時間を短縮することのできる画像復号化装置の提供を目的とする。
【００１５】
【課題を解決するための手段】
本発明の画像復号化装置は、入力された複数の映像を含む符号化ビットストリームから任意の映像の符号化ビットストリームを選択する選択手段と、前記選択手段により選択された符号化ビットストリームを通常の復号速度よりも少なくとも２倍速以上の復号速度で復号可能な復号手段と、前記選択手段により選択されていない映像の符号化ビットストリームの少なくとも１ＧＯＰ分をさかのぼって、この１ＧＯＰの先頭のＩピクチャから保持する記憶手段と、前記選択手段による選択，前記復号手段による復号及び前記記憶手段における書き込み、読み出しを制御するもので、選択する映像を切り換えた場合には、前記記憶手段に保持された少なくとも１ＧＯＰ分さかのぼった符号化ビットストリームの前記１ＧＯＰの先頭のＩピクチャから読み出して前記復号手段に供給して通常の復号速度よりも少なくとも２倍速以上の復号速度で復号させるとともに、この復号したデータの内、前記符号化ビットストリームに含まれる時間情報が現在時刻と一致したときに対応するピクチャの復号したデータを表示手段に出力するように制御する復号制御手段と、を具備したものである。
【００１６】
本発明においては、選択手段は、例えばデマルチプレクサであって、入力された複数の映像を含む符号化ビットストリームから任意の映像の符号化ビットストリームを選択して出力する。復号手段は、例えば高速ＭＰＥＧデコーダであって、前記選択手段により選択された符号化ビットストリームを通常の復号速度よりも少なくとも２倍速以上の復号速度で復号可能なものである。記憶手段は、前記選択手段により選択されていない映像の符号化ビットストリームの少なくとも１ＧＯＰ分をさかのぼって、この１ＧＯＰの先頭のＩピクチャから保持する。復号制御手段は、例えばデマルチプレクサや高速ＭＰＥＧデコーダ記憶手段に含まれて構成され、あるいは装置内部や外部に設けられたＣＰＵとして構成される。この復号制御手段は、前記選択手段による選択，前記復号手段による復号及び前記記憶手段における書き込み、読み出しを制御するもので、選択する映像を切り換えた場合には、前記記憶手段に保持された少なくとも１ＧＯＰ分さかのぼった符号化ビットストリームの前記１ＧＯＰの先頭のＩピクチャから読み出して前記復号手段に供給して通常の復号速度よりも少なくとも２倍速以上の復号速度で復号させるとともに、この復号したデータの内、前記符号化ビットストリームに含まれる時間情報が現在時刻と一致したときに対応するピクチャの復号したデータを表示手段に出力するように制御する。これにより、映像を切り換えた場合でも、即座に復号可能なＩピクチャより復号することができるため、デコード映像の表示開始までの所要時間を短縮させることが可能となる。
【００１７】
本発明の画像復号化方法は、入力された複数の映像を含む符号化ビットストリームから任意の映像の符号化ビットストリームを選択する選択処理と、前記選択処理により選択された符号化ビットストリームを通常の復号速度よりも少なくとも２倍速以上の復号速度で復号可能な復号処理と、前記選択処理により選択されていない映像の符号化ビットストリームの少なくとも１ＧＯＰ分をさかのぼって、この１ＧＯＰの先頭のＩピクチャから保持するための記憶処理と、前記選択処理による選択，前記復号処理による復号及び前記記憶処理における書き込み、読み出しを制御するもので、選択する映像を切り換えた場合には、前記記憶処理によって保持された少なくとも１ＧＯＰ分さかのぼった符号化ビットストリームの前記１ＧＯＰの先頭のＩピクチャから読み出して前記復号処理を用いて通常の復号速度よりも少なくとも２倍速以上の復号速度で復号させるとともに、この復号したデータの内、前記符号化ビットストリームに含まれる時間情報が現在時刻と一致したときに対応するピクチャの復号したデータを表示処理に出力するように制御する復号制御処理と、を含んだものである。
【００１８】
本発明においては、例えばデマルチプレクサや高速ＭＰＥＧデコーダ記憶手段に含まれたＣＰＵ、あるいは装置内部や外部に設けられたＣＰＵによって、その画像復号化方法が実行される。つまり、選択処理によって、入力された複数の映像を含む符号化ビットストリームから任意の映像の符号化ビットストリームを選択し、復号処理によってその選択処理により選択された符号化ビットストリームを通常の復号速度よりも少なくとも２倍速以上の復号速度で復号する。また、ＣＰＵは記憶処理によって、前記選択処理により選択されていない映像の符号化ビットストリームの少なくとも１ＧＯＰ分をさかのぼって、この１ＧＯＰの先頭のＩピクチャから保持する。このとき、選択する映像を切り換えたとすると、ＣＰＵは復号制御処理によって、前記記憶処理によって少なくとも１ＧＯＰ分さかのぼった符号化ビットストリームの前記１ＧＯＰの先頭のＩピクチャから読み出して前記復号処理を用いて通常の復号速度よりも少なくとも２倍速以上の復号速度で復号させるとともに、この復号したデータの内、前記符号化ビットストリームに含まれる時間情報が現在時刻と一致したときに対応するピクチャの復号したデータを表示処理に出力するように制御する。これにより、上記発明と同様の効果を得ることが可能となる。
【００１９】
【発明の実施の形態】
発明の実施の形態について図面を参照して説明する。
【００２０】
図１は本発明に係る画像復号化装置の第１実施形態例を示すブロック図である。
【００２１】
本実施形態例においては、従来のデコーダを、復号処理が選択された映像等の圧縮ビットストリームを高速に復号可能なデコーダに代えるとともに、復号処理が選択されていない映像等の圧縮ビットストリームの少なくとも一部（例えば１ＧＯＰ分）をさかのぼって保持するバッファを設けて構成したことが図１２に示す従来の画像復号化装置と異なる点である。
【００２２】
具体的には、図１に示すように、画像復号化装置１１は入力端子１２を備え、入力端子１２には、複数の映像をＭＰＥＧ方式で圧縮したビットストリームが供給される。該入力端子１２を介して入力したビットストリームは、デマルチプレクサ１３に与える。デマルチプレクサ１３は、ストリームＩＤ等により選択した符号化ビットストリームのみを高速ＭＰＥＧデコーダ１４に供給する一方、選択していない符号化ビットストリームについては、バッファ１５に供給する。
【００２３】
高速ＭＰＥＧデコーダ１３としては、図１３にて説明した一般的なＭＰＥＧデコーダを用いれば良いが、復号処理能力については該復号処理能力が速ければ速いほど効果的である。例えば、高速ＭＰＥＧデコーダ１３として、通常ＭＰ＠ＭＬと呼ばれるＮＴＳＣ画像対応のデコーダよりもさらに高速に復号処理が可能な復号処理能力を備えたものが考えられ、また、このＮＴＳＣ画像対応のデコーダよりも数倍の情報量及び復号処理能力を有し、前記ＮＴＳＣ画像対応のデコーダの上位となるＭＰ＠ＨＬと呼ばれるハイビジョン対応（ＨＤという）のデコーダを用いるようにして構成した方が望ましい。これにより、少なくとも圧縮ビットストリームの復号処理に伴う処理時間を高速に行うことが可能となる。
【００２４】
上記構成の高速ＭＰＥＧデコーダ１４は、選択された符号化ビットストリームに対して復号処理を施すことによって、入力符号化ビットストリームを最終的に復元した画像データ（復元画像データともいう）を得、得られた復元画像データを、例えば表示画面に表示するための信号処理回路へと出力する。これにより、復号処理がなされるとほぼ同時に図示しない画面上には復元画像データに基づく画像が表示されることにより、復元画像の表示が開始される。
【００２５】
一方、デマルチプレクサ１３にて選択されていない符号化ビットストリームについてはバッファ１５に供給されるが、つまりこれは、バッファ１５を用いることで、ビットストリームの切り換え時における復号処理に伴う復号処理時間を短縮させるためである。バッファ１５は、例えばＦＩＦＯ方式のメモリで構成されたものであって、供給された選択されていない符号化ビットストリームを書き込むとともに、この書き込みがバッファ１５の容量一杯まで行われた場合には、該バッファ１５に新規に供給される符号化ビットストリームで更新するように上書きする。これにより、バッファ１５には、選択されていない各ストリームの最新の圧縮ビットストリームが常に約１ＧＯＰ分保持されることになる。この場合、バッファ１５の容量については、各ストリームが１ＧＯＰ分以上書き込み可能な容量があることが望ましい。また、バッファの容量を気にしなければ全ての符号化ビットストリームを約１ＧＯＰ分保持していても良い。
【００２６】
上記構成によれば、高速ＭＰＥＧデコーダ１４によってデマルチプレクサ１３からの符号化ストリームを高速に復号処理を行うことができ、また、バッファ１４を用いることにより、選択されていない符号化ビットストリームを約１ＧＯＰ分さかのぼって保持することが可能となるため、選択する映像を切り換えた場合には、バッファ１５に保持された符号化ビットストリームを前記高速ＭＰＥＧデコーダ１４に供給することで、従来生じていた復号処理に伴う待ち時間を大幅に短縮させることが可能となる。
【００２７】
尚、バッファ１５によるデータ保持については、例えば全ての映像（選択されていない映像及び選択された映像）や、選択されていない映像の一部（例えば１００個内の１０個等）を記憶保持するように構成しても良く、また、１ＧＯＰ以下の場合でも、常に直前のＩピクチャからさかのぼって記憶保持するように構成しても良い。
【００２８】
次に、図１に示す装置の動作を図２を参照しながら詳細に説明する。
【００２９】
図２は図１に示す装置の動作を説明するための表示タイミングチャートであり、細い実線で囲むピクチャはデコードはするが表示しないフレームに対応したピクチャを示しており、太い実践で囲むピクチャはデコードして表示するフレームに対応したピクチャを示している。
【００３０】
いま、複数映像の入力圧縮データから、表示しようとする映像に基づく任意の圧縮データに切り変えるものとすると、デマルチプレクサ１３によって選択するストリームＩＤ等が変更される。すると、既に選択されていない各ストリームが１ＧＯＰ分保持されているバッファ１５は、このバッファ１５内に保持していた圧縮ビットストリームから新しく選択した映像等の符号化ビットストリームを高速ＭＰＥＧデコーダ１４に高速に供給する。このデコーダに対する選択した符号化ビットストリームの供給は、高速ＭＰＥＧデコーダ１４のみに限らず該デコーダを含む他の各デコーダ（図示）にも供給される。
【００３１】
また、高速ＭＰＥＧデコーダ１４を含む各デコーダへのデータの転送中、画像復号化装置１１の入力端子１２に供給される圧縮ビットストリームについては、バッファ１５をＦＩＦＯメモリとして利用することによって、高速ＭＰＥＧデコーダ１４等の各デコーダに供給されるまでの期間、一時的に保持される。
【００３２】
この場合、バッファ１５への入力ビットストリームより、バッファ１５からのデマルチプレクサ１３を介して高速ＭＰＥＧデコーダ１４等へ出力されるビットストリームの方が伝送速度が速いため、ＦＩＦＯメモリ（バッファ）１５内の保持データは徐々に減っていき、データがなくなると、デマルチプレクサ１３から直接高速ＭＰＥＧデコーダ１４等へ圧縮ビットストリームを供給する。
【００３３】
尚、高速ＭＰＥＧデコーダ１４に供給される圧縮ビットストリームは、バッファ１５に保持されている選択された映像の過去のストリーム全てでも良いが、理想的には最も近いＩピクチャ以降の圧縮データが望ましく、通常はバッファ１５内の最後のＧＯＰの先頭から供給される。つまり、通常にデコードされて表示が開始されるＧＯＰ以前の最も近いＧＯＰのＩピクチャから供給されることになる。
【００３４】
その後、高速ＭＰＥＧデコーダ１４では、図２に示すように供給された過去の圧縮ビットストリーム（図中に示す最初のＧＯＰ内のＩピクチャからのフレーム１乃至フレーム１１）を表示せずに次々高速にデコードし、圧縮データに含まれる時間情報（いつ表示するか等の時間情報であり、以下、ＰＴＳと称す）が、該デコーダとの現在時刻に追いついた時の画面（この場合、フレーム１２に相当）から表示を開始する。
【００３５】
その後、図中に示すフレーム１３以降については、通常にデマルチプレクサ１３からの符号化ビットストリームをデコードして、また表示するようにすることでＰＴＳに合致した表示時間に基づきそのデコード映像が継続して表示されることになる。
【００３６】
したがって、このように動作することにより、選択する映像を切り換えた際に、次の復号処理可能なＧＯＰのＩピクチャを待たずとも、既に保持された圧縮データに対し復号処理を施すことができるため、デコードした映像の表示を即座に表示させることが可能となり、結果として映像切り換え時から表示開始までの所要時間を短縮させることができる。実際には、従来の画像復号化装置では、選択する映像を切り換えると、復号・表示されるまでに平均１／２ＧＯＰに相当の約０．２５秒かかってしまったが、本発明の装置によれば、高速ＭＰＥＧデコーダ１４の復号化速度が仮に２倍の場合で平均０．１２５秒、４倍の場合で平均０．０６秒に短縮させることができる。
【００３７】
尚、本実施形態例においては、高速ＭＰＥＧデコーダ１４に供給する符号化ビットストリームの入力制御を行う構成については、具体的には述べていないが、例えば入力された圧縮符号化データをバッファ１５に保持したり、該バッファ１５に保持された圧縮符号化データを前記高速ＭＰＥＧデコーダ１４に転送したり、あるいは入力圧縮符号化データをバッファ１５に保持せずに直接高速ＭＰＥＧデコーダ１４に出力させたりする制御機能を、前記バッファ１５と高速ＭＰＥＧデコーダ１４との少なくとも一方に設けて構成すれば良い。また、他の構成としては、画像復号化装置全体を制御可能なＣＰＵ、あるいは新たに該装置内に設けたＣＰＵ等の制御手段によって、上記制御を行うように構成しても良い。
【００３８】
ところで、前記第１実施形態例では、複数映像の圧縮符号化データの内、任意の映像に切り換えた場合の復号処理・表示処理について説明したが、この映像の切り換え時のタイミングを考慮すると、様々であり、必ずしも前記第１実施形態例のようにデコード・表示するまでの所要時間を短縮させることができない場合がある。つまり、切り換え直後の圧縮ビットストリームが１ＧＯＰの最後方近傍に位置するピクチャである場合である。この場合、切り換え発生後には、図１２で示した従来の画像復号化装置の方が速く切り変えた画像を出画して表示できることもある。そこで、このように映像の切り換え発生時が変更された場合でも、常にデコード・表示に伴う所要時間を短縮するように復号処理が可能な実施形態例を図３及び図４に示す。
【００３９】
図３及図４は本発明に係る画像復号化装置の第２実施形態例を示し、図３は装置に付加された判定回路を含むシステム全体の構成を示すブロック図、図４は図３の装置の動作を説明するための表示タイミングチャートであり、図４（ａ）は従来方法を示し、図４（ｂ）は前記第１実施形態例による方法を示している。尚、図３に示すシステムは、図１に示す装置と同様な構成要素には同一符号を付して説明を省略し、異なる部分のみを説明する。
【００４０】
本実施形態例では、映像の切り換え時が変更された場合に、従来技術と同様にそのままの状態で復号するか、または前記第１実施形態例のように１ＧＯＰ分さかのぼって復号するか、最初に出画し且つ表示できる方を判定する判定回路２０を設け、該判定回路２０からの判定結果に基づいて前記第１実施形態例における画像復号化装置１１の復号処理を制御するようにしたことが異なる点である。
【００４１】
具体的には、図３に示すように、前記第１実施形態例にて用いた画像復号化装置１１には、該装置１１における復号処理を制御するのに必要な判定を行う判定回路２０が設けられている。この判定回路２０は、画像復号化装置１１による復号処理動作を従来のままにするか、または前記第１実施形態例と同様にバッファ１５に保持した圧縮ビットストリームを用いてＧＯＰ先頭から高速に復号処理をすべきか、早く出画して表示可能な方を判定し、判定結果を出力する。
【００４２】
例えば、判定回路２０は、事前に高速な復号処理機能を有する画像復号化回路１１のおよその復号速度を認識しており、直前のＩピクチャから高速にデコードし続け、デコーダ内の時計にＰＴＳが追いつくまでの時間と、ストリーム切り換え時における１ＧＯＰ内のフレーム位置から次のＩピクチャが供給されるまでの時間とをそれぞれ算出し、これらの算出結果から所要時間の短い方のストリームを復号するように指示信号を出力する。
【００４３】
このような指示信号は、例えば画像復号装置１１内の復号処理を制御可能なバッファ１５，あるいは高速ＭＰＥＧデコーダ１４に供給される。供給されたバッファ１５あるいは高速ＭＰＥＧデコーダ１４は、指示信号に基づいて復号処理を行う。つまり、判定回路２０からの指示信号が、例えば映像を切り変えた際に従来技術と同様そのままの状態で復号した方が早く出画できるものを示す場合には、バッファ１５により保持された圧縮ビットストリームを用いずに選択されたそのままの圧縮ビットストリームを復号するように制御する。この場合、高速ＭＰＥＧデコーダ１４は、通常のデコーダの復号速度に可変することも可能であるため、高速ではなく通常の復号速度で復号処理を行い、画像データを出力する。一方、指示信号が前記第１実施形態例と同様バッファ１５に保持した圧縮ビットストリームを用いてＧＯＰ先頭から高速に復号した方が早く出画できるものである場合には、高速ＭＰＥＧデコーダ１４に対してバッファ１５に保持した圧縮ビットストリームを供給するとともに、高速に復号処理を行うように制御する。
【００４４】
したがって、上記構成により、映像の切り換え時が変更された場合でも、切り換えられた映像を早く出画・表示するように復号処理を制御することができることから、常に短時間でのデコード映像の表示が可能となる。
【００４５】
本実施形態例において、いま、図４に示すように表示する映像の切り換えが発生したとする。すると、判定回路２０は、図４（ａ）に示す従来方法で復号した場合の切り換え発生時からデコード映像の表示開始時までの所要時間と、図４（ｂ）に示す前記第１実施形態例と同様に復号した場合の切り換え発生時から表示開始時間での所要時間とをそれぞれ算出し、これらの算出結果から切り換えた映像が早く出画できる方を指示する判定結果を画像復号化装置１１に与える。
【００４６】
図４に示すような所定時刻に映像の切り換えが発生した場合、切り換えられたデコード映像の表示開始までの所要時間が短くなるのは、図４（ａ）に示す従来方法で復号した方であり、したがって、判定回路２０は上述したような従来方法で復号処理を行わせる。これにより、図４（ａ）に示すように次のＧＯＰのＩピクチャより復号されると同時に表示が開始されることから、図４（ｂ）に示す第１実施形態例における復号方法よりも、早くデコード映像を表示させることが可能となる。
【００４７】
したがって、本実施形態例によれば、映像の切り換えを任意に行ったとしても、常に切り換えたデコード映像の表示を早くできるように復号処理が制御されるため、デコード映像の表示開始までの所要時間を短縮させることが可能となる。
【００４８】
尚、本実施形態例においては、判定回路２０は、実際に復号する前にどちらの復号方法が最初に出画できるかを判別できれば良く、また該判定回路２０の構成及び方法については、上述したもの以外のものでも何ら問題はない。
【００４９】
また、本実施形態例においては、高速ＭＰＥＧデコーダ１４は復号速度が可変可能な機能を有していることについて説明したが、これに限定されることはなく、例えば通常の復号速度の処理機能を有するデコーダを１つの設け、前記高速ＭＰＥＧデコーダ１４とを切り換えて、判定回路２０からの判定結果に基づく復号処理を行わせるように構成しても良い。
【００５０】
次に、本発明に係る第３実施形態例について図５を参照しながら詳細に説明する。図５は本発明に係る画像復号化装置の第３実施形態例を示し、従来装置と第１実施形態例の装置と判定回路とで構成されるシステム全体の構成を示すブロック図である。尚、図５に示すシステムは、図１，図１２に示す装置と同様な構成要素には同一符号を付して説明を省略し、異なる部分のみを説明する。
【００５１】
本実施形態例では、前記第１実施形態例にて使用した画像復号化装置１１と従来技術としての画像復号化装置１とを並列に接続してそれぞれ複数映像の圧縮データを入力し、それらの出力画像データからどちらの装置が早く出画できるか否かを判定する判定回路２１を用いて、双方の装置の何れかの出力データを出力させるように構成したことが前記実施形態例とは異なる点である。
【００５２】
つまり、図５に示すように、複数映像の圧縮データは、並列に設けられた前記第１実施形態例にて使用した画像復号化装置１１（図１参照）と従来技術としての画像復号化装置１（図１２参照）とにそれぞれ供給される。従来の画像復号化装置１は、図１４にて説明したように切り換え後に供給されるＧＯＰのＩピクチャより復号処理を行い、復号した画像データを判定回路２１及び切り換えスイッチ２２の入力端ａに供給する。一方、第１実施形態例にて使用した画像復号化装置１１は、図２に示すように切り換え時からさかのぼって１ＧＯＰ分の圧縮ビットストリームが保持されたバッファ１５からの保持データより復号処理を行い、復号した画像データを判定回路２１及び切り換えスイッチ２２の入力端ｂに供給する。
【００５３】
判定回路２１は、それぞれの出力画像データからどちらのデコーダが早く出画をできるか否かを判定するもので、この判定結果に基づくデコーダの出力を出力させるように切り換えスイッチ２２を制御する。したがって、切り換えスイッチ２２は、判定回路２１からの判定結果に基づく出力画像データを出力するように入力端ａ，ｂを切り換えて図示しない表示信号処理回路へと出力する。
【００５４】
したがって、本実施形態例によれば、映像を切り換えた場合に、早く出画できるデコーダからの復号画像データを選択して出力することができるため、常に短時間でそのデコード映像の表示を開始させることが可能となる。
【００５５】
尚、本実施形態例においては、判定回路２１としての具体的な構成例は示していないが、例えば各画像復号化装置のデコード状態を示す情報（例えばフラグ等）を監視することにより判定を行うように構成しても良く、また各画像復号化装置の出力から画像データが出力されてくるのを監視することで判定を行うように構成しても良い。すなわち、画像データが最初に出力されたデコーダを判別する機能を備えるように構成すれば良い。
【００５６】
また、判定回路２１による判定は、上記のように出力を用いるだけでなく、例えば各復号化装置内部の復号処理状況や、各種フラグ、あるいはモニタ端子等を監視することで判定を行うようにしても良い。
【００５７】
ところで、通常のテレビジョン放送信号を受信する受信機器では、選局されたチャンネル以外のチャンネルのテレビジョン信号についても受信されており、選局の有無によってそのテレビジョン信号に基づく映像の表示が決定される。つまり、複数映像の圧縮符号化ストリームを受信する画像復号化装置を有する受信機器でも同様である。そこで、選択されていない映像の圧縮ビットストリーム毎に、従来の画像符号化装置を複数設け、選択時に選択された映像の圧縮ビットストリームを復号処理するデコーダの出力を出力させるように切り換えて制御すれば、短時間に選択されたデコード映像の表示が可能である。このような実施形態例を図６に示す。
【００５８】
図６は本発明に係る画像復号化装置の第４実施形態例を示し、高速ＭＰＥＧデコーダ１４を用いずに通常の復号処理能力を有する従来の画像復号化装置を複数設けて構成した場合のシステムの一例を示すブロック図である。
【００５９】
本実施形態例では、図１２に示す従来の画像復号化装置１とほぼ同一構成の画像復号化装置１ａ，１ｂ，１ｃ，１ｄを複数設けてそれぞれ並列に接続し、これらの装置には、前記第３実施形態例と同様に複数映像の圧縮符号化ストリームを供給するとともに、各装置の出力画像データについては切り換えスイッチ２３の各入力端ａ乃至ｄに供給するように構成し、図示しない切り換え制御部によって切り換えた映像に基づくデコーダからの出力画像データを出力させるようにしたことが前記第３実施形態例とは異なる点である。
【００６０】
したがって、図６に示すように、仮に選択されている映像の符号化ビットストリームを復号している装置が画像復号化装置１ａであるとすると、他の画像復号化装置１ｂ，１ｃ，１ｄは、選択されていない映像の符号かビットストリームの復号処理を行い、復号した画像データをそれぞれ対応する切り換えスイッチ２３の入力端ｂ，ｃ，ｄに供給する。この場合、各復号化装置に対する選択していない映像の割り振りは、各復号化装置自信、あるいは図示しない制御手段によって制御するようにしても良い。これにより、切り換えスイッチ２３の入力端ａを除く他の入力端ｂ，ｃ，ｄには、選択されていない映像の復号画像データが供給されることになる。
【００６１】
切り換えスイッチ２３は、上述の各復号化装置、あるいは図示しない制御手段によって、映像の切り換えに対応する復号化装置の復号画像データを出力するように切り換えが制御される。つまり、選択されていない映像については復号処理を施すものの、該切り換えスイッチ２３により選択されていないので表示はなされず、選択された映像のみ表示がなされることになる。
【００６２】
このような構成により、どの映像の符号化ビットストリームに対しても復号処理が行われていることから、映像を切り換えたとしても、すぐに選択した映像の復号画像データを出力させることができるため、選択した映像の表示を即座に開始させることが可能となる。
【００６３】
したがって、本実施形態例によれば、高速ＭＰＥＧデコーダ１４及びバッファ１５等を用いずとも、選択されている映像を復号するデコーダと、選択していない映像を復号するデコーダとの複数の従来デコーダを用いることにより、常に短時間でのデコード映像の表示が可能となる。
【００６４】
尚、本実施形態例においては、従来の画像復号化装置を４つ設けた場合について説明したが、これに限定されることはなく、それ以上設けて構成するようにしても良い。この場合も同様に動作させることにより、本実施形態例と同様の効果を得ることができる。
【００６５】
ところで、本発明では、画像復号化装置による復号処理動作を制御する制御手段を装置内、あるいは装置外に設け、この制御手段によって、映像切り換え時における復号処理動作を制御することも可能である。このような実施形態例を下記に示す。
【００６６】
図７は本発明に係る画像復号化装置の第５及び第６実施形態例を示すブロック図であり、図８は第５実施形態例における制御動作を示すフロチャート、図９は第６実施形態例における制御動作を示すフロチャート、図１０は第７実施形態例を示し、図５に示す装置に付加されたＣＰＵにおける制御動作を示すフロチャート、図１１は第８実施形態例を示し、図６に示す装置に付加されたＣＰＵにおける制御動作を示すフロチャートである。
【００６７】
第５及び第６実施形態例にて使用される画像復復号化装置３１は、図１に示す画像復号化装置１１とほぼ同様に構成されているが、この装置の復号化処理動作を制御するための制御手段としてのＣＰＵ３２を備えている。この場合、ＣＰＵ３２は、画像復号化装置３１内に設けても良く、あるいは装置外部に設けるようにし構成しても良い。また、このＣＰＵ３２による制御動作を、この復号化装置３１を有する機器のシステム全体を制御するＣＰＵ（図示せず）を用いて行わせるように構成しても良い。
【００６８】
上記ＣＰＵ３２は、例えば前記第１実施形態例にて説明したようにバッファ１５に保持された符号化ビットストリームを高速に復号させるか、あるいは従来技術と同様にそのままの符号化ビットストリームを通常の復号速度で復号させるか等の復号処理方法の判定を行うとともに、また判定された復号処理方法を実行させるように制御することが可能である。
【００６９】
例えば、ＣＰＵ３２は、デマルチプレクサ１３ａのストリームＩＤ等を指示制御して、入力複数映像の圧縮符号化データからデコードを選択された符号化ビットストリームと選択されていない符号化ビットストリームとに分離させ、選択された符号化ビットストリームについては、高速ＭＰＥＧデコーダ１４に供給して復号処理を行い、復号画像データとして出力させる。また、選択されていない復号化データについいては、各ストリームがそれぞれ１ＧＯＰ分保持することができる容量を備えたバッファ１５ａに書き込むように制御する。このとき、ＣＰＵ３２は、バッファ１５ａの空き容量がなくなると、前記第１実施形態例と同様に古いデータを順次新しいデータに更新するように書き込みを制御する。
【００７０】
次に、表示する映像を切り換えるために、復号化ストリームの切り換えが発生した場合のＣＰＵにおける具体的な制御方法について、下記に示す。
【００７１】
先ず、第５実施形態例における制御方法を説明する。
【００７２】
図８に示すように、ＣＰＵ３２は、ストリームの切り換えが発生したとすると、ステップＳ１による処理でこれを認識し、処理をステップＳ２に移行する。
【００７３】
ステップＳ２による処理では、バッファ１５ａを読み出し制御してバッファ１５ａ内の選択された符号化ビットストリームを高速ＭＰＥＧデコーダ１４に供給することによって、該符号化ビットストリームを高速にデコードする。この場合、ＣＰＵ３２は過去のＰＴＳを持つデータについてはデコードのみを行い、表示はしない次のデータに進む。
【００７４】
デコードが進んでいる期間、ＣＰＵ３２は、ステップＳ３による処理で、高速ＭＰＥＧデコーダ１４の時計（現在時刻）とデコードしているデータのＰＴＳとの比較を行い、該ＰＴＳがまだ遅い場合（現在の時間に追いついていない場合）には、処理をステップＳ２に戻し、ＰＴＳがデコーダ１４の時計に追いついた場合には、次のステップＳ４による処理でデコードされた画像データの表示を開始させる。このとき、バッファ１５ａ内の選択された符号化ビットストリームのデータがなくなるため、この時点からＣＰＵ３２は、次のステップＳ５による処理で、入力された圧縮ビットストリームをバッファ１５ａに書き込まずに、直接高速ＭＰＥＧデコーダ１４に供給するように制御して、通常のデコード処理及び表示を行うように制御する。
【００７５】
したがって、このように復号処理を制御することにより、映像の切り換えが発生した場合でも、すぐに切り換えた映像を表示することが可能となり、前記第１実施形態例と同様にデコード・表示までの所要時間を短縮させることが可能となる。
【００７６】
次に、第６実施形態例における制御方法について説明する。
【００７７】
先ず、図９に示すように、ＣＰＵ３２は、ストリームの切り換えが発生したとすると、ステップＳ１による処理でこれを認識し、続くステップＳ１０による処理で、予め認識しているデコーダの復号速度等の情報及び切り換えが発生した時刻等の情報から出画時間を算出し、処理をステップＳ１１に移行する。
【００７８】
すると、ステップＳ１１による処理では、上記の算出結果をもとに、次のＧＯＰのＩピクチャからデコードした方が早く出画できるか否かの判定を行い、早くできる場合には、ステップＳ１２による処理でそのままの符号化ビットストリームを通常の復号速度で復号するように高速ＭＰＥＧデコーダ１４を制御して復号を行い、続くステップＳ１３による処理でその復号画像データを出画させる。
【００７９】
また、上記ステップＳ１１による判定で、早く出画できない場合には、ステップＳ１４による処理で、バッファ１５内に保持された符号化ビットストリムの直前のＩピクチャにさかのぼったデータより高速ＭＰＥＧデコーダ１４に供給することによって、該符号化ビットストリームを高速にデコードする。デコードがなされている期間、ステップＳ１５によりＰＴＳがデコーダ１４の時計に追いついた場合には、デコードされた画像データの表示を開始させ、その後はステップＳ１６による処理で、入力された圧縮ビットストリームをバッファ１５ａに書き込まずに、直接高速ＭＰＥＧデコーダ１４に供給するように制御して、通常のデコード処理及び表示を行うように制御する。
【００８０】
したがって、このように復号処理を制御することにより、前記実施形態例と同様の効果を得ることが可能となる。
【００８１】
尚、上記第５及び第６実施形態例においては、図７に示すＣＰＵ３２によってデマルチプレクサ１３ａ，バッファ１５ａ及び高速ＭＰＥＧデコーダ１４等の各種制御がなされるように説明したが、これに限定されることはなく、例えば構造的に上記デマルチプレクサ１３ａ，バッファ１５ａ及び高速ＭＰＥＧデコーダ１４等の各種回路を前記ＣＰＵ内に搭載するように構成し、このＣＰＵによって上記の如く復号化処理を制御するようにしても良い。
【００８２】
次に、第７実施形態例における制御方法について説明する。
【００８３】
構成としては、例えば図５に示す画像復号化装置を含むシステムに、該装置による復号処理動作を制御するためのＣＰＵ（図示せず）が付加されたものである。この場合、このＣＰＵは図５に示す判定回路２１における処理動作等を実行するように制御するとともに、２つのデコーダにおける復号処理を制御するようになっている。
【００８４】
先ず、図１０に示すように、ＣＰＵは、ストリームの切り換えが発生したとすると、ステップＳ１による処理でこれを認識し、続くステップＳ２０による処理で、図５に示す画像復号化装置１１のバッファ１５を読み出し制御してバッファ１５内に保持された符号化ビットストリームから切り換え発生時直前のＧＯＰのＩピクチャに対応するピットストリームを読み出し且つ高速ＭＰＥＧデコーダ１４に供給することによって、該符号化ビットストリームを高速にデコードし、切り換えスイッチ２２に供給する。
【００８５】
また同時に、ＣＰＵは次のステップＳ２１による処理で、もう一方の従来の画像復号化装置１（図５参照）に対し、次のＧＯＰのＩピクチャからデコードを開始するように制御し、復号画像データを切り換えスイッチ２２に供給する。
【００８６】
その後、ＣＰＵは、次のステップＳ２２による処理で図５に示す判定回路２１とほぼ同様に出画判定を行う。つまり、データに含まれるＰＴＳを用いてどちらのデコーダからの出力復号画像データの方が出画を早くできるか否かの判定を行う。この判定で、例えば前記ステップＳ２０による処理で得られた復号出力画像データの方（装置１１からの出力）が早く出画できると判定した場合には、ステップＳ２３による処理で前記切り換えスイッチ２２を切り換えて、この復号出力画像データを出力し、続くステップＳ２４による処理で出画させる。一方、ステップＳ２１による処理で得られた復号出力画像データの方（装置１からの出力）が早く出画できると判定した場合には、ステップＳ２５による処理でこの復号出力画像データを出力させるように切り換えスイッチ２２を制御し、続きステップＳ２５による処理で出画させる。
【００８７】
これにより、前記第３実施形態例と同様の効果を得ることが可能となる。
【００８８】
次に、第８実施形態例における制御方法について説明する。
【００８９】
構成としては、例えば図６に示す画像復号化装置を含むシステムに、これらの装置による復号処理動作を制御するとともに、その出力を選択して出力させるように制御することの可能なＣＰＵ（図示せず）が付加されたものである。ＣＰＵは、例えば図１２に示す従来の画像復号化装置１とほぼ同一構成の画像復号化装置が複数並列に接続され、これらの装置からの出力画像データが供給される切り換えスイッチ２３（図６参照）を選択制御する。これにより、切り変えられた映像の復号出力画像を出力させることが可能となり、すぐに表示することができる。
【００９０】
具体的には、図１０に示すようにＣＰＵは、電源が投入されると制御動作を開始し、ステップＳ３０による処理で全ての画像復号化装置（図６参照）にて複数映像の各符号化ビットストリームをそれぞれデコードさせる。この場合、前記第４実施形態例と同様に、例えば選択されている映像の符号化ビットストリームを復号している装置がある画像復号化装置であるとすると、その他の画像復号化装置は、選択されていない映像の符号かビットストリームの復号処理を行い、復号した画像データをそれぞれ対応する切り換えスイッチ２３（図６参照）の入力端に供給する。この場合、ＣＰＵは、各復号化装置に対して選択していない映像をそれぞれ復号するように制御する。
【００９１】
その後、ストリームの切り換えが発生すると、ＣＰＵはステップＳ３１による処理でこれを認識し、続くステップＳ３２による処理で前記切り換えスイッチ２３（図６参照）に対し、映像の切り換えに対応する復号化装置の復号画像データを出力するように切り換えを制御する。つまり、ＣＰＵは、選択されていない映像については復号処理を施すものの表示はせず、選択された映像のみを表示するように制御する。
【００９２】
したがって、このように制御することにより、前記第４実施形態例と同様に選択した映像の表示を即座に開始することが可能となる。
【００９３】
尚、本発明の画像復号化方法の第５乃至第８実施形態例においては、該方法を実施するのに必要な構成として、図７に示す構成、あるいは図５及び図６に示示すシステムにＣＰＵを付加した構成等を用いて説明したが、これに限定されることはなく、図８乃至図１１に示すアルゴリズムが実行できるような構成であれば良い。また、ＣＰＵの制御動作の一例である各フローチャートは、主にストリームの切り換え発生時の動作例を示したものであり、実際に復号化を行う場合には、一般的に用いられている復号化処理動作を行う下位の各種サブルーチン（図示せず）に基づき復号処理動作が行われるようになっている。
【００９４】
また、本発明に係る各実施形態例においては、復号化処理を行うデータとして、主に映像の符号化ストリームである場合について説明したが、これに限定されることはなく、例えば、音声やプライベートストリーム等が一緒に含まれた符号化データを復号する場合でも実施可能である。この場合、各図面には記載されていないが、映像以外のデコード回路を設けることも必要である。
【００９５】
また、本発明に係る各実施形態例においては、１ＧＯＰ分さかのぼって保持する場合について説明したが、これに限定されることはなく、例えば直近のＩピクチャからさかのぼって保持するように方法でもかまわない。
【００９６】
さらに、本発明に係る実施形態例においては、復号化制御の実行に際し、符号化ビットストリーム中に含まれる時間情報などの表示時間情報を用いた場合について説明したが、これに限定されることはなく、この符号化ビットストリーム中に含まれる他の情報、例えばデコード開始時間情報等を用いるようにしても良い。
【００９７】
【発明の効果】
以上、述べたように本発明によれば、選択する圧縮符号化ビットストリームを切り換えた際に、従来は次のＧＯＰのＩピクチャが供給されるまで切り換え後の復号画像の表示が開始することができなかったが、本発明によればすぐに復号を開始し、表示時間が一致した時点で復号画像の表示を開始することができるため、表示開始までの平均的な所要時間を高速な復号化装置を用いるほど短縮できるという効果を得る。また、短時間に表示できる方法を選択することにより、遅くても従来なみの所要時間で表示開始できるという効果がある。さらに、選択していないストリームも復号し、表示を切り換えることにより、すぐに表示が可能となる効果もある。
【図面の簡単な説明】
【図１】本発明に係る画像復号化装置の第１実施形態例を示すブロック図。
【図２】図１に示す装置の動作を説明するための表示タイミングチャート。
【図３】本発明に係る画像復号化装置の第２実施形態例を示すブロック図。
【図４】図２に示す装置の動作を説明するための表示タイミングチャート。
【図５】本発明に係る画像復号化装置の第３実施形態例を示すブロック図。
【図６】本発明に係る画像復号化装置の第４実施形態例を示すブロック図。
【図７】本発明の第５及び第６実施形態例にて使用する画像復号化装置を示すブロック図。
【図８】第５実施形態例の画像復号化方法を説明するためのフローチャート。
【図９】第６実施形態例の画像復号化方法を説明するためのフローチャート。
【図１０】第７実施形態例の画像復号化方法を説明するためのフローチャート。
【図１１】第８実施形態例の画像復号化方法を説明するためのフローチャート。
【図１２】従来の画像復号化装置の一例を示すブロック図。
【図１３】図１２に示す装置に含まれるＭＰＥＧデコーダの構成例を示すブロック図。
【図１４】図１２に示す従来装置の動作・問題点を説明するための表示タイミングチャート。
【符号の説明】
１１，３１…画像復号化装置、１２…入力端子、１３…デマルチプレクサ、
１４…高速ＭＰＥＧデコーダ、１５…バッファ、１６…出力端子、
２０，２１…判定回路、２２，２３…スイッチ手段、３２…ＣＰＵ。
Claims (6)
- 入力された複数の映像を含む符号化ビットストリームから任意の映像の符号化ビットストリームを選択する選択手段と、
前記選択手段により選択された符号化ビットストリームを通常の復号速度よりも少なくとも２倍速以上の復号速度で復号可能な復号手段と、
前記選択手段により選択されていない映像の符号化ビットストリームの少なくとも１ＧＯＰ分をさかのぼって、この１ＧＯＰの先頭のＩピクチャから保持する記憶手段と、
前記選択手段による選択，前記復号手段による復号及び前記記憶手段における書き込み、読み出しを制御するもので、選択する映像を切り換えた場合には、前記記憶手段に保持された少なくとも１ＧＯＰ分さかのぼった符号化ビットストリームの前記１ＧＯＰの先頭のＩピクチャから読み出して前記復号手段に供給して通常の復号速度よりも少なくとも２倍速以上の復号速度で復号させるとともに、この復号したデータの内、前記符号化ビットストリームに含まれる時間情報が現在時刻と一致したときに対応するピクチャの復号したデータを表示手段に出力するように制御する復号制御手段と、
を具備したことを特徴とする画像復号化装置。 - 前記復号制御手段は、
現在時刻と入力された前記符号化ビットストリームに含まれる時間情報とを比較することで、比較の結果が、前記記憶手段から１ＧＯＰ分さかのぼった符号化ビットストリームを読み出して復号を行い出画したほうが映像の表示開始時刻が早くなる場合には、前記記憶手段から１ＧＯＰ分さかのぼった符号化ビットストリームを読み出して復号を行うと判定し、比較の結果が、前記選択手段からの符号化ビットストリームをそのまま復号して出画したほうが映像の表示開始時刻が早くなる場合には、前記選択手段からの符号化ビットストリームをそのまま復号すると判定し、判定結果に基づく復号処理を行うように制御することを特徴とする請求項１に記載の画像復号化装置。 - 前記入力された複数の映像を含む符号化ビットストリームの内、所定の符号化ストリームを選択して復号する他の復号手段と、この他の復号手段の出力と前記復号手段の出力とのどちらか一方に切り換えて出力可能な切り換え手段とを付加して構成されたもので、
前記復号制御手段は、これらの復号手段の出力信号または復号手段による復号が完了し表示可能になった映像を特定する情報を監視することで、前記それぞれの復号手段から得られる最新の表示可能映像の前記情報が、先に現在の時刻に追いついた方が最初に出画できる方の復号手段と判定し、判定結果に基づいて前記切り換え手段を制御することを特徴とする請求項１に記載の画像復号化装置。 - 入力された複数の映像を含む符号化ビットストリームから任意の映像の符号化ビットストリームを選択する選択処理と、
前記選択処理により選択された符号化ビットストリームを通常の復号速度よりも少なくとも２倍速以上の復号速度で復号可能な復号処理と、
前記選択処理により選択されていない映像の符号化ビットストリームの少なくとも１ＧＯＰ分をさかのぼって、この１ＧＯＰの先頭のＩピクチャから保持するための記憶処理と、
前記選択処理による選択，前記復号処理による復号及び前記記憶処理における書き込み、読み出しを制御するもので、選択する映像を切り換えた場合には、前記記憶処理によって保持された少なくとも１ＧＯＰ分さかのぼった符号化ビットストリームの前記１ＧＯＰの先頭のＩピクチャから読み出して前記復号処理を用いて通常の復号速度よりも少なくとも２倍速以上の復号速度で復号させるとともに、この復号したデータの内、前記符号化ビットストリームに含まれる時間情報が現在時刻と一致したときに対応するピクチャの復号したデータを表示処理に出力するように制御する復号制御処理と、
を含んだことを特徴とする画像復号化方法。 - 前記復号制御処理は、
現在時刻と入力された前記符号化ビットストリームに含まれる時間情報とを比較することで、比較の結果が、前記記憶処理により保持された１ＧＯＰ分さかのぼった符号化ビットストリームの復号を行い出画したほうが映像の表示開始時刻が早くなる場合には、前記記憶処理により保持された１ＧＯＰ分さかのぼった符号化ビットストリームの復号を行うと判定し、比較の結果が、前記選択処理からの符号化ビットストリームをそのまま復号して出画したほうが映像の表示開始時刻が早くなる場合には、前記選択処理からの符号化ビットストリームをそのまま復号すると判定し、判定結果に基づく復号処理を行うように制御することを特徴とする請求項４に記載の画像復号化方法。 - 前記入力された複数の映像を含む符号化ビットストリームの内、所定の符号化ストリームを選択して復号する他の復号処理と、この他の復号処理の出力と前記復号処理の出力とのどちらか一方に切り換えて出力可能な切り換え処理とを付加したもので、
前記復号制御処理は、これらの復号処理の出力または復号処理による復号が完了し表示可能になった映像を特定する情報を監視することで、前記それぞれの復号処理から得られる最新の表示可能映像の前記情報が、先に現在の時刻に追いついた方が最初に出画できる方の復号処理と判定し、判定結果に基づいて前記切り換え処理を制御することを特徴とする請求項４に記載の画像復号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33319297A JP4010617B2 (ja) | 1997-12-03 | 1997-12-03 | 画像復号化装置及び画像復号化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33319297A JP4010617B2 (ja) | 1997-12-03 | 1997-12-03 | 画像復号化装置及び画像復号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11168729A JPH11168729A (ja) | 1999-06-22 |
| JP4010617B2 true JP4010617B2 (ja) | 2007-11-21 |
Family
ID=18263347
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33319297A Expired - Lifetime JP4010617B2 (ja) | 1997-12-03 | 1997-12-03 | 画像復号化装置及び画像復号化方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4010617B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9314824B2 (en) | 2013-11-08 | 2016-04-19 | Mks Instruments, Inc. | Powder and deposition control in throttle valves |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2005295772B2 (en) * | 2004-10-15 | 2009-10-29 | Opentv, Inc. | Speeding up channel change |
| KR100725928B1 (ko) * | 2004-12-09 | 2007-06-11 | 한국전자통신연구원 | 방송콘텐츠의 고속 복호화를 위한 디지털멀티미디어방송수신 단말 장치 및 그 방법 |
| US20090240825A1 (en) * | 2004-12-13 | 2009-09-24 | Koninklijke Philips Electronics, N.V. | Delivering streaming data |
| EP1911278A2 (en) | 2005-08-04 | 2008-04-16 | Nds Limited | Advanced digital tv system |
| JP4406623B2 (ja) | 2005-08-31 | 2010-02-03 | パナソニック株式会社 | 動画受信装置 |
| EP2498494A1 (en) * | 2011-03-11 | 2012-09-12 | Thomson Licensing | Decoder and method at the decoder for synchronizing the rendering of contents received through different networks |
| JP5855234B2 (ja) | 2012-03-27 | 2016-02-09 | 三菱電機株式会社 | デジタル放送受信装置及びデジタル放送受信方法 |
| JP5943379B2 (ja) * | 2012-04-16 | 2016-07-05 | 豊丸産業株式会社 | 遊技機 |
-
1997
- 1997-12-03 JP JP33319297A patent/JP4010617B2/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9314824B2 (en) | 2013-11-08 | 2016-04-19 | Mks Instruments, Inc. | Powder and deposition control in throttle valves |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11168729A (ja) | 1999-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20070291131A1 (en) | Apparatus and Method for Controlling Image Coding Mode | |
| US20030095603A1 (en) | Reduced-complexity video decoding using larger pixel-grid motion compensation | |
| JP4010617B2 (ja) | 画像復号化装置及び画像復号化方法 | |
| JPH09200695A (ja) | 高速再生のためのビデオデータの復号化方法及びその装置 | |
| JP3976942B2 (ja) | 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体 | |
| JP3516450B2 (ja) | ビットストリームの伝送方法及び伝送システム | |
| JP3852366B2 (ja) | 符号化装置および方法、復号装置および方法、並びにプログラム | |
| JPH1042295A (ja) | 映像信号符号化方法および映像信号符号化装置 | |
| US20020113898A1 (en) | Picture processing apparatus and method, and recording medium | |
| JPH08280022A (ja) | 符号化ビデオ信号の復号化方法及び装置 | |
| JP4906197B2 (ja) | 復号装置および方法、並びに記録媒体 | |
| JP2820631B2 (ja) | 画像復号方法および装置 | |
| JP4043406B2 (ja) | 画像復号方法と装置、およびそれらを利用可能なテレビジョン受信装置 | |
| JP4433319B2 (ja) | 信号再生装置 | |
| KR100626419B1 (ko) | 비디오 전송에서 비트 스트림들간의 교환 | |
| JP4789127B2 (ja) | 画像配信方法、画像記録方法、およびそれらのプログラム | |
| JP2000115777A (ja) | 画像処理方法および画像処理装置 | |
| JP3663661B2 (ja) | 映像信号再生装置、映像信号復号化装置及び方法 | |
| JP4451022B2 (ja) | 画像配信方法、画像復号化方法、およびそれらのプログラム | |
| KR0128878B1 (ko) | 엠펙 비트 스트림 포맷을 이용하는 점프 장치 및 그 방법 | |
| JP2000078521A (ja) | 画像復号表示装置 | |
| JP2914368B1 (ja) | 時報に合わせた動画像信号符号化方法及び装置 | |
| JP3078992B2 (ja) | 画像復号装置 | |
| KR950012641B1 (ko) | 특수기능을 위한 디지탈 영상 재생장치 및 그 재생방법 | |
| JPH08265759A (ja) | 圧縮信号切換装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040216 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060509 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060523 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060724 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070213 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070416 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070522 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070712 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070724 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070803 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070828 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070904 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100914 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110914 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110914 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120914 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120914 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130914 Year of fee payment: 6 |
|
| EXPY | Cancellation because of completion of term |