JP4287558B2 - 動画像復号化装置 - Google Patents
動画像復号化装置 Download PDFInfo
- Publication number
- JP4287558B2 JP4287558B2 JP32158399A JP32158399A JP4287558B2 JP 4287558 B2 JP4287558 B2 JP 4287558B2 JP 32158399 A JP32158399 A JP 32158399A JP 32158399 A JP32158399 A JP 32158399A JP 4287558 B2 JP4287558 B2 JP 4287558B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- image data
- image memory
- memory area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ディジタル蓄積メディア、または放送、及び通信のために予測符号化方式を用いて符号化された画像データを復号するディジタル動画像復号化装置および方法に関し、特に、順方向通常再生から逆方向再生への再生モード切り替えによる、再生モード切り替え時間の高速化、及び等倍速逆方向再生制御のための動画像復号化装置および方法に関するものである。
【０００２】
【従来の技術】
ディジタル蓄積メディア、または放送、及び通信を含むさまざまな応用のための動画像、及び付随音声の汎用符号化方法に対する需要が増大し、国際標準化機構（ＩＳＯ）の国際電気標準会議（ＩＥＣ）のMoving Picture Experts Grope（以下ＭＰＥＧとする）において、動画像符号化方式の国際標準化が推進され、ＩＳＯ／ＩＥＣ１３８１８−２（ＭＰＥＧ２ビデオ）などが標準化されている。
【０００３】
以下、従来の技術の例として、ＭＰＥＧ符号化方式で符号化されたデータを復号する動画像復号化装置について説明する。
【０００４】
ＭＰＥＧによる符号化方式では、１フレームの画像にはＩピクチャ（フレーム内予測符号化画像：Intra-coded picture）、Ｐピクチャ（前方向予測符号化画像：Predictive-coded picture）、又はＢピクチャ（双方向予測符号化画像：Bidirectionally-coded picture）の３種類のピクチャタイプがあり、それらを組み合わして符号化を行うことで、高効率の画像データ圧縮を実現している。
【０００５】
また、ＭＰＥＧ方式の符号化データは図９に示すような構成をとり、ピクチャグループＧＯＰ（Group of picture）は、１枚以上のＩピクチャと、０枚以上のＰピクチャと、０枚以上のＢピクチャから構成されている。
【０００６】
図９には、Ｉピクチャ１枚（Ｉ2E）、Ｐピクチャ４枚（Ｐ5E、Ｐ8E、Ｐ11E、Ｐ14E）、及びＢピクチャ１０枚（Ｂ0E、Ｂ1E、Ｂ3E、Ｂ4E、Ｂ6E、Ｂ7E、Ｂ9E、Ｂ10E、Ｂ12E、Ｂ13E）で１ＧＯＰを構成した例をあげている。
【０００７】
ＭＰＥＧ方式などの双方向予測符号化を用いた符号化方式で符号化された符号化データの構成は、符号化データ中の画像データ配置順序と画像を再生するときの表示順序とは異なる順序であり、双方向予測符号化されたＢピクチャの復号化処理時には、表示時間的に前に位置するＰピクチャ（もしくはフレーム内予測符号化されたＩピクチャ）だけでなく、表示時間的に後に位置するＰピクチャ（もしくはＩピクチャ）までもが、既に復号化された復号化画像データとして再生画像メモリ中に蓄積されている。
【０００８】
次に、図１０及び図１１を参照しながら、従来構成による通常再生時の動作について説明する。図１０は、従来構成による動画像復号化装置のブロック図である。図１１は、従来構成における通常再生時の再生画像メモリ中の第１、第２及び第３画像メモリ領域に格納されるピクチャタイプと、表示出力されるピクチャタイプの遷移状態を表している。図１１中のＩ、Ｐ、Ｂはピクチャタイプを示し、添え字の数字はその画像が含まれるＧＯＰ中での表示順序を示す。また、添え字［’］と［’’］は違うＧＯＰであることを示し、添え字［Ｅ］と［Ｄ］はそれぞれ符号化データと復号化画像データを示している。
【０００９】
（１）先ず、ストリーム入力手段１００１からバッファメモリ１００２へ符号化データが入力される。復号化手段１００３は、バッファメモリ１００２から入力されたＧＯＰ先頭の符号化データＩ2E（図９）の復号処理を行う。Ｉピクチャはフレーム内予測符号化されたデータなので当該符号化データＩ2Eのみで復号化処理が行われ、復号化画像データＩ2Dが第１画像メモリ領域１００８に蓄積される。
【００１０】
（２）次に、上記のように復号化された復号化画像データＩ2Dと次に入力される符号化データＢ0E（図９）とから復号化処理を行い、復号化画像データＢ0Dが第３画像メモリ領域１０１０に蓄積される。なお、復号化処理を行っている現ＧＯＰの１つ前のＧＯＰを利用して符号化データＢ0Eの復号を行う場合には、１つ前のＧＯＰ中の最後のＩ又はＰピクチャの復号化画像データと、現ＧＯＰ中の上記復号化画像データＩ2Dと、符号化データＢ0Eとから復号化処理を行う。
【００１１】
復号化画像データＢ0Dは、次の表示タイミングで表示領域切替手段９０５により表示出力される。
【００１２】
（３）次の符号化データＢ1Eの復号化は、上記（２）の符号化データＢ0Eの復号化と同様な概念で、復号化画像データＩ2Dを用いて処理され、復号化画像データＢ1Dが第３画像メモリ領域１０１０に蓄積され、表示出力される。
【００１３】
（４）次に、上記（１）で復号化された復号化画像データＩ2Dと次に入力される符号化データＰ5E（図９）とから復号化処理を行い、復号化画像データＰ5Dが第２画像メモリ領域１００９に蓄積される。復号化画像データＰ5Dはすぐには表示出力されず、復号化画像データＢ1Dを表示した後の次の表示タイミングでは復号化画像データＩ2Dの表示出力が行われる。
【００１４】
（５）以降、同様な概念で処理され、その結果図１１に示すように、符号化データの復号順序はＩ2D→Ｂ0D→Ｂ1D→Ｐ5D→Ｂ3D→Ｂ4D→Ｐ8D→Ｂ6D→Ｂ7D→Ｐ11D→Ｂ9D→Ｂ10D→Ｐ14D→Ｂ12D→Ｂ13D→'Ｉ2D→'Ｂ0D→…のようになり、表示順序はＢ0D→Ｂ1D→Ｉ2D→Ｂ3D→Ｂ4D→Ｐ5D→Ｂ6D→Ｂ7D→Ｐ8D→Ｂ9D→Ｂ10D→Ｐ11D→Ｂ12D→Ｂ13D→Ｐ14D→'Ｂ0D→'Ｂ1D→…のようになる。
【００１５】
上述したように、ＭＰＥＧ方式の符号化では、フレーム間相関を利用して符号化を行っており、復号の際には表示順で前後に位置する画像データを先に復号しておき、その復号化画像データを用いて新しい画像を復号化している。
【００１６】
次に、図１０と図１２を参照しながら、上述したＭＰＥＧ方式の符号化データを逆方向再生する場合の動作について説明する。
【００１７】
図１２は、従来構成の動画像復号化装置で逆方向再生を行う場合の、再生画像メモリ１００４中の第１画像メモリ領域１００８、第２画像メモリ領域１００９、及び第３画像メモリ領域１０１０に蓄積されている復号化画像データのピクチャタイプと、表示出力のピクチャタイプの遷移状態を表している。
【００１８】
ここで、復号化手段１００３による各画像の復号化処理時間は、テレビモニタなどに１画面表示する時間の約半分の時間に設定してある。すなわち、１フィールドの表示時間中に１フレーム分の復号化処理が行われるので、表示領域切替手段１００５により１画面（１フレーム）表示している間に、復号化手段１００３は２画面分の符号化データを復号化処理することができる。
【００１９】
図１２中のＩ、Ｐ、Ｂはピクチャタイプを示し、添え字の数字はその画像が含まれるＧＯＰ中での表示順序を示す。また、添え字［’］と［’’］は違うＧＯＰであることを示している。さらに、添え字「Ｔ」は、その画像の第１フィールド画像表示中を示し、添え字「Ｂ」は第２フィールド画像を表示中であることを示す。
【００２０】
図１２に示すように、順方向再生状態で復号化画像データ''Ｂ3Dを表示画像データとして表示中に、再生モードが逆方向再生に切り替った場合、次に表示すべき画像、すなわち復号化画像データ''Ｂ3Dの１つ前に表示した復号化画像データ''Ｉ2Dは、第１画像メモリ領域１００８中に蓄積されているので、表示領域切替手段１００５により次の表示タイミングに復号化画像データ''Ｉ2Dの表示出力が行われる。
【００２１】
【発明が解決しようとする課題】
しかしながら、上述したような従来の技術では、逆方向再生順で復号化画像データ''Ｉ2Dの表示の次に表示すべき復号化画像データ''Ｂ1Dは、図１２に示すように、再生画像メモリ１００４中のどの画像メモリ領域にも蓄積されていない。
【００２２】
そのため、新たに符号化データ''Ｂ1Eを復号しなければならないが、符号化データ''Ｂ1Eの復号には、図１１に示すように、参照画像の１つとして一つ前のＧＯＰ中の最後のＰピクチャである復号化画像データ'Ｐ14Dが必要となる。その復号化画像データ'Ｐ14Dを得るためには、一つ前のＧＯＰ中の、最初のＩピクチャから符号化データを復号化手段１００３に転送して、符号化データ'Ｐ14Eまでの復号化、つまり'Ｉ2E→'Ｐ5E→'Ｐ8E→'Ｐ11E→'Ｐ14Eの５枚の画像を復号化処理しなければならない。
【００２３】
さらにその後、符号化データ''Ｂ1Eを復号化手段１００３に転送して、第１画像メモリ領域１００８から転送される復号化画像データ''Ｉ2Dと第２画像メモリ領域１００９から転送される復号化画像データ'Ｐ14Dを参照画像として、符号化データ''Ｂ1Eの復号化処理を行なわなければならない。
【００２４】
この結果、復号化画像データ''Ｉ2Dから''Ｂ1Dに表示が遷移できるまでには、図１２に示すように最低２フレームのブランク期間が発生してしまい、従来の動画像復号化装置では、順方向再生から逆方向再生に表示遷移するのに長い時間がかかるという問題があった。
【００２５】
また、復号化画像データ''Ｂ1Dを表示した後、符号化データ''Ｂ0Eを復号化手段１００３に転送して、第１画像メモリ領域１００８から転送される''Ｉ2Dと第２画像メモリ領域１００９から転送される復号化画像データ'Ｐ14Dを参照画像として復号化処理を行って、復号化画像データ''Ｂ0Dを表示した後、第２画像メモリ領域１００９には復号化画像データ'Ｐ14Dが蓄積されているので、復号化画像データ'Ｐ14Dを直接表示し、次に復号化画像データ'Ｂ13Dを表示することになる。
【００２６】
しかしながら、符号化データ'Ｂ13Eから復号化画像データ'Ｂ13Dを復号するには、参照画像として、復号化画像データ'Ｐ14D以外に復号化画像データ'Ｐ11Dが必要になる。その復号化画像データ'Ｐ11Dを得るためには、そのＧＯＰ中の、最初のＩピクチャから符号化データを復号化手段１００３に転送して、符号化データ'Ｐ11Eまでの復号化、つまり'Ｉ2E→'Ｐ5E→'Ｐ8E→'Ｐ11Eの４枚の画像を復号化処理しなければならない。
【００２７】
さらにその後、符号化データ''Ｂ13Eを復号化手段１００３に転送して、第２画像メモリ領域１００９から転送される復号化画像データ'Ｐ14Dと第３画像メモリ領域１０１０から転送される'Ｐ11Dを参照画像として、符号化データ''Ｂ1Eの復号化処理を行なわなければならない。
【００２８】
この結果、復号化画像データ'Ｐ14Dから'Ｂ13Dに表示が遷移するまでに、図１２に示すように、最低１フレームのブランク期間が発生してしまい、逆方向再生中に表示ブランク期間が発生し、等倍速の逆方向再生ができず、画面を見ている者に違和感を与えるという問題があった。
【００２９】
したがって、本発明は、上述したような課題点を解決するためになされたもので、ＭＰＥＧ方式のようなフレーム間相関を利用した動画像符号化データの復号技術において、順方向通常再生から逆方向再生への再生モード変更とそれに伴う出力画像遷移時間を短縮すると共に、等倍速の逆方向再生を容易かつ必要最小限の構成で実現する動画像復号化装置および方法を提供することを目的とする。
【００３０】
【課題を解決するための手段】
前記の目的を達成するため、本発明の動画像復号化装置は、所定単位のシーケンスに従った符号化データを蓄積するバッファメモリと、該バッファメモリからの符号化データを復号化処理する復号化手段と、該復号化手段による復号化画像データを画像メモリ領域毎に複数画面分蓄積する再生画像メモリと、前記再生画像メモリ中に蓄積された復号化画像データのうち再生画像データとして表示出力すべき復号化画像データを選択し、再生画像データの出力切り替えを制御する表示領域切替手段とを備えた動画像復号化装置において、前記符号化データから、前記所定単位毎の画像についての符号化タイプ情報と表示順序情報を含む特定コードパターンを検出しコード検出信号として出力するスタートコード検出手段と、前記スタートコード検出手段からのコード検出信号と前記バッファメモリからの格納アドレス信号を受け、前記符号化データを前記バッファメモリに蓄積する場所を管理するための管理情報を得て、該管理情報に従って前記バッファメモリを制御して、前記符号化データを前記所定単位で前記復号化手段へと転送させ、また前記バッファメモリ内の前記符号化データを削除させるバッファメモリ管理手段と、順方向通常再生時には、前記所定単位のシーケンスで連続している符号化データのうちフレーム内予測符号化画像データと前方向予測符号化画像データの復号化画像データを、復号化順で常に、前記画像メモリ領域のうちの３つ以上に蓄積するように、また逆方向再生時には、前記フレーム内予測符号化画像データと前記前方向予測符号化画像データの復号化画像データが蓄積されている前記画像メモリ領域のうちのいずれかに、表示順序に応じて、双方向予測符号化画像データの復号化画像データを蓄積するように、前記各画像メモリ領域でのデータ蓄積内容を制御する画像メモリ領域管理手段を具備したことを特徴とする。
【００３５】
前記本発明の動画像復号化装置によれば、バッファメモリ管理手段により、バッファメモリから復号化手段への符号化データの転送効率を上げ、画像メモリ管理手段により、表示順序に従って、最適な画像メモリ領域に復号化画像データを格納することができる。
【００３６】
前記本発明の動画像復号化装置はさらに、前記バッファメモリ中に蓄積されている符号化データのうち符号化画像グループ毎の先頭データが蓄積されているアドレスを管理するデータ先頭管理手段と、前記画像メモリ領域管理手段からの先頭データ転送要求信号により、前記復号化手段に対して、前記符号化画像グループの前記先頭データから符号化データの転送を行うデータ先頭転送手段を備えることが好ましい。
【００３７】
この構成によれば、復号化に必要な符号化データがバッファメモリにない場合でも、次に表示すべきＢピクチャの復号化に必要なＩ、Ｐピクチャを含む符号化画像グループをバッファメモリを介して復号化手段に対して即座に転送することができる。
【００４４】
【発明の実施の形態】
以下で、本発明の実施形態について図面を参照して説明する。
【００４５】
（第１の実施形態）
図１は、本発明の第１の実施形態による動画像復号化装置のブロック図を示す。図１において、１０１は、所定単位毎のシーケンスに従った符号化データを後述するスタートコード検出手段１１１を介して後述するバッファメモリ１０２に転送するストリーム入力手段（データ先頭転送手段）である。
【００４６】
スタートコード検出手段１１１は、そこを通過する符号化データ中から特定のコードパターン、例えばＧＯＰＨ（Grope of Picture Header）やＰＨ（Picture Header）などのヘッダー情報を検出し、そのヘッダー情報を解析して、各符号化画像データがＩ、Ｐ、Ｂのいずれのピクチャであるかというピクチャタイプ情報（符号化タイプ情報）とＧＯＰ中での各ピクチャの表示順序情報とを含む特定コードパターンをコード検出信号として、後述するバッファメモリ管理手段１１２に通知する。
【００４７】
バッファメモリ１０２は、入力された復号前の所定単位毎のシーケンスに従った符号化データを蓄積するバッファメモリであり、例えば４００Ｋｂ程度の比較的大きな容量を有しており、後述するバッファメモリ管理手段１１２からのデータ転送要求信号に従って、蓄積している符号化データを出力する。また、バッファメモリ１０２は、スタートコード検出手段１１１から入力される符号化データを蓄積するアドレス情報を格納アドレス信号として後述するバッファメモリ管理手段１１２に通知する。さらに、バッファメモリ１０２は、後述するバッファメモリ管理手段１１２からの不要データ削除信号に従って、指定された内部領域のデータを削除する。
【００４８】
バッファメモリ管理手段１１２（データ先頭管理手段）は、スタートコード検出手段１１１からのコード検出信号とバッファメモリ１０２からの格納アドレス信号を受け、バッファメモリ１０２内のどの領域に各ＧＯＰの先頭データが蓄積されているのかという格納アドレス情報と、バッファメモリ１０２内に蓄積されている各符号化画像データがＩ、Ｐ、Ｂのいずれのピクチャであるかというピクチャタイプ情報と、ＧＯＰ中での各ピクチャの表示順序情報を管理している。また、バッファメモリ管理手段１１２は、その管理情報に基づいて、不要と判断したデータの削除指示をデータ削除要求信号としてバッファメモリ１０２に出力する。さらに、バッファメモリ管理手段１１２は、後述する画像メモリ領域管理手段１０６からの画像データ要求信号に従って、バッファメモリ１０２にデータ転送要求信号を出力し、後述する復号化手段１０３で復号に必要な符号化データを復号化手段１０３に転送させる。
【００４９】
復号化手段１０３は、前記バッファメモリ１０２からの符号化データの復号化処理を行い、復号化画像データを後述する画像メモリ領域管理手段１０６からの画像メモリ領域信号により決定された後述する再生画像メモリ１０４中の第１画像メモリ領域１０８、第２画像メモリ領域１０９、又は第３画像メモリ領域１１０に転送する。ここで、復号化手段１０３で復号化されたデータは、１表示画像単位で、再生画像メモリ１０４中の第１画像メモリ領域１０８から第３画像メモリ領域１１０のうちの１つに蓄積されることになる。また、Ｐピクチャ、またはＢピクチャの復号化処理に際しては、必要であれば再生画像メモリ１０４中のＩピクチャ、またはＰピクチャの復号化画像データを参照画像データとして復号化処理を行う。
【００５０】
表示領域切替手段１０５は、後述する画像メモリ領域管理手段１０６から次に表示すべき各画像メモリ領域の情報を表示データ領域信号として受けとり、表示データ領域信号に基づいて、第１画像メモリ領域１０８、第２画像メモリ領域１０９、及び第３画像メモリ領域１１０からのそれぞれの再生画像データを切り替え、表示機器（例えば、テレビモニタ）の同期信号に合わせて表示画像データとして出力する。
【００５１】
画像メモリ領域管理手段１０６は、第１画像メモリ領域１０８、第２画像メモリ領域１０９、及び第３画像メモリ領域１１０のうちいずれの画像メモリ領域に、Ｉピクチャ、Ｐピクチャ、及びＢピクチャのうちいずれのタイプの画像データが蓄積されているか、また、ＧＯＰ中のどの順序で表示すべき画像か、また、現在表示中の領域は何処かを管理しており、前記復号化手段１０３による復号化画像データをどの領域に格納するか、さらには、次に表示可能な画像メモリ領域はどれであるのかを判断している。
【００５２】
順方向通常再生時は、以上に述べた構成により動画像の再生を行っている。
【００５３】
次に、逆方向再生動作について、図１、図４、及び図５を参照しながら説明する。
【００５４】
図４は、本発明の第１の実施形態による動画像復号化装置で逆方向再生を行う場合の、再生画像メモリ１０４中の第１画像メモリ領域１０８、第２画像メモリ領域１０９、及び第３画像メモリ領域１１０に蓄積されている復号化画像データのピクチャタイプと、表示出力のピクチャタイプの遷移状態を表している。
【００５５】
図５は、本発明の第１の実施形態による動画像復号化装置で逆方向再生を行う再生モード切替制御を示すフローチャートである。
【００５６】
まず、再生モード切替手段１０７に、例えばリモコンなどから順方向通常再生から逆方向再生への再生モード切替が入力されると、再生モード切替手段１０７は、前記復号化手段１０３と前記画像メモリ領域管理手段１０６に再生モード切替信号を出力する（Ｓ５０１）。
【００５７】
次に、復号化手段１０３は、再生モード切替信号の入力により直ちに現在行っている復号化処理を停止し、逆方向再生のために符号化データ入力待ちの状態になる（Ｓ５０２）。
【００５８】
画像メモリ領域管理手段１０６は、再生モード切替信号の入力により直ちに現在表示中の画像情報から逆方向再生順で次に表示すべき画像を判断する（Ｓ５０３）。次に表示すべき画像データが再生画像メモリ１０４中にあれば（Ｙｅｓ）、次の表示タイミングで表示データ領域信号を表示領域管理手段１０５に出力してその画像を表示出力する（Ｓ５１０）。
【００５９】
Ｓ５０３において判断した結果、次に表示すべき画像データが再生画像メモリ１０４中にない場合、画像メモリ領域管理手段１０６は、次に表示すべき画像がＢピクチャであるか否か判断する（Ｓ５０４）。
【００６０】
ここで、例として、復号化画像データ'Ｂ13Dを表示画像データとして表示中に、逆方向再生モードへの切り替えが発生した場合の逆方向再生動作について説明する。
【００６１】
（１）復号化画像データ'Ｂ13Dの１つ前に表示した復号化画像データは'Ｂ12Dであるので、Ｓ５０４においてＢピクチャであると判断し（Ｙｅｓ）、次いで再生画像メモリ１０４中に復号化画像データ'Ｂ12Dを復号処理するのに必要な参照画像、すなわち復号化画像データ'Ｐ11Dと復号化画像データ'Ｐ14Dが有るか否かを判断する（Ｓ５０５）。
【００６２】
図４に示すように、復号化画像データ'Ｐ11Dは第１画像メモリ領域１０８に、また復号化画像データ'Ｐ14Dは第２画像メモリ領域１０９に蓄積されているので（Ｙｅｓ）、バッファメモリ管理手段１１２は、画像メモリ領域管理手段１０６から受け取った画像データ要求信号と自身で管理しているバッファメモリ１０２の格納アドレス情報に基づいて、バッファメモリ１０２にデータ転送要求信号を出力し、バッファメモリ１０２を制御して、直ちに符号化データ'Ｂ12Eを復号化手段１０３に対して出力させ、復号化手段１０３は、第１画像メモリ領域１０８から転送される復号化画像データ'Ｐ11Dと第２画像メモリ領域１０９から転送される復号化画像データ'Ｐ14Dを参照画像として、符号化データ'Ｂ12Eの復号化処理を行なう（Ｓ５０８）。
【００６３】
復号化された復号化画像データ'Ｂ12Dは、再生画像メモリ１０４の第３画像メモリ領域１１０に格納され（Ｓ５０９）、次の表示タイミングで第３画像メモリ領域１１０から表示領域切替手段１０５を介して表示画像データとして出力される（Ｓ５１０）。
【００６４】
次に、再生モード切替手段１０７は、逆方向再生モードが継続されているか判断する（Ｓ５１１）。その判断の結果継続の場合（Ｙｅｓ）、Ｓ５０３に戻り、次に表示すべき復号化画像データが再生画像メモリ１０４中に有るか否かを判断する。
【００６５】
（２）復号化画像データ'Ｂ12Dの一つ前に表示した復号化画像データは'Ｐ11Dであり、第１画像メモリ領域１０８に蓄積されているので（Ｙｅｓ）、Ｓ５１０に進んで、次の表示タイミングで第１画像メモリ領域１０８から表示領域切替手段１０５を介して表示画像データとして出力される。
【００６６】
次に、再生モード切替手段１０７は、逆方向再生モードが継続されているか判断する（Ｓ５１１）。その判断の結果継続の場合（Ｙｅｓ）、Ｓ５０３に戻り、次に表示すべき復号化画像データが再生画像メモリ１０４中に有るか否かを判断する。
【００６７】
（３）復号化画像データ'Ｐ11Dの一つ前に表示した復号化画像データは'Ｂ10Dであり、再生画像メモリ１０４中に蓄積されていないので（Ｎｏ）、画像メモリ領域管理手段１０６は、次に表示すべき画像がＢピクチャであるか否か判断する（Ｓ５０４）。次に表示すべき復号化画像データは'Ｂ10Dであるので、Ｓ５０４においてＢピクチャであると判断し（Ｙｅｓ）、次いで再生画像メモリ１０４中に復号化画像データ'Ｂ10Dを復号処理するのに必要な参照画像、すなわち復号化画像データ'Ｐ11Dと復号化画像データ'Ｐ8Dが有るか否かを判断する（Ｓ５０５）。
【００６８】
図４に示すように、復号化画像データ'Ｐ11Dは第１画像メモリ領域１０８に蓄積されているが、復号化画像データ'Ｐ8Dは再生画像メモリ１０４に蓄積されていないので（Ｎｏ）、バッファメモリ管理手段１１２は、自身で管理しているバッファメモリ１０２の格納アドレス情報に基づいて、バッファメモリ１０２に、符号化データ'Ｐ8Eまでの復号化に必要な符号化データ'Ｉ2E、'Ｐ5E、'Ｐ8Eのデータ転送要求信号を連続して出力し（Ｓ５０６）、バッファメモリ１０２を制御して、復号化手段１０３に対して出力させる。
【００６９】
復号化手段１０３は、まず、バッファメモリ１０２から受け取った符号化データ'Ｉ2Eを復号して復号化画像データ'Ｉ2Dとして第２画像メモリ領域１０９に格納する。次に、第２画像メモリ領域１０９から転送される復号化画像データ'Ｉ2Dを用いて、バッファメモリ１０２から受け取った符号化データ'Ｐ5Eを復号して復号化画像データ'Ｐ5Dとして第３画像メモリ領域１１０に格納する。最後に、第３画像メモリ領域１１０から転送される復号化画像データ'Ｐ5Dを用いて、バッファメモリ１０２から受け取った符号化データ'Ｐ8Eを復号して復号化画像データ'Ｐ8Dとして第２画像メモリ領域１０９に格納する（Ｓ５０７）。
【００７０】
次に、バッファメモリ管理手段１１２は、画像メモリ領域管理手段１０６から受け取った画像データ要求信号と自身で管理しているバッファメモリ１０２の格納アドレス情報に基づいて、バッファメモリ１０２にデータ転送要求信号を出力し、バッファメモリ１０２を制御して、直ちに符号化データ'Ｂ10Eを復号化手段１０３に対して出力させ、復号化手段１０３は、第１画像メモリ領域１０８から転送される復号化画像データ'Ｐ11Dと第２画像メモリ領域１０９から転送される復号化画像データ'Ｐ8Dを参照画像として、符号化データ'Ｂ10Eの復号化処理を行なう（Ｓ５０８）。
【００７１】
復号化された復号化画像データ'Ｂ10Dは、再生画像メモリ１０４の第３画像メモリ領域１１０に格納され（Ｓ５０９）、次の表示タイミングで第３画像メモリ領域１１０から表示領域切替手段１０５を介して表示画像データとして出力される（Ｓ５１０）。
【００７２】
このようにして、上記Ｓ５０３〜Ｓ５１１を繰り返して逆方向再生が行われる。しかし、Ｓ５１１における判断の結果継続でない場合、逆方向再生モードが終了する。
【００７３】
なお、本実施形態による動画像復号化装置での処理によれば、従来ではＧＯＰ先頭の符号化データ'Ｉ2Eから'Ｂ12Eまで、すなわち'Ｉ2E→'Ｂ0E→'Ｂ1E→'Ｐ5E→'Ｂ3E→'Ｂ4E→'Ｐ8E→'Ｂ6E→'Ｂ7E→'Ｐ11E→'Ｂ9E→'Ｂ10E→'Ｐ14E→'Ｂ12Eまでの１４画像分の符号化データを復号化手段１０３に転送していたところを、バッファメモリ１０２から唯一１画像分の符号化データ'Ｂ12Eを転送することで対応できることになる。
【００７４】
上記復号化処理において、画像メモリ領域管理手段１０６から画像データ要求信号により要求された符号化データが、バッファメモリ１０２中に無い場合、バッファメモリ管理手段１１２は、画像メモリ領域管理手段１０６に要求データが無いことを通知する。この場合、画像メモリ領域管理手段１０６から必要なＧＯＰデータの要求をＧＯＰデータ要求信号としてストリーム入力手段１０１に出力し、ＧＯＰ単位のストリーム入力がなされる。
【００７５】
（第２の実施形態）
次に、本発明の第２の実施形態による動画像復号化装置およびその方法について図２及び図８を参照しながら説明する。
【００７６】
図２は、本発明の第２の実施形態による動画像復号化装置のブロック図を示す。
【００７７】
図６は、本発明の第２の実施形態による通常再生時の再生画像メモリ中の第１、第２、第３画像メモリ領域、及び第４画像メモリ領域に格納されるピクチャタイプと、表示出力されるピクチャタイプの遷移状態を表している。
【００７８】
図２において、２０１は、所定単位毎のシーケンスに従った符号化データをバッファメモリ２０２に転送するストリーム入力手段である。
【００７９】
バッファメモリ２０２は、入力された復号前の所定単位毎のシーケンスに従った符号化データを蓄積するために、例えば４００Ｋｂ程度の比較的大きな容量を有しており、後述する復号化手段２０３からのデータ転送要求に従って、蓄積している符号化データを出力する。
【００８０】
復号化手段２０３は、前記バッファメモリ２０２からの符号化データの復号化処理を行い、復号化した復号化画像データを後述する画像メモリ領域管理手段２０６からの画像メモリ領域信号により決定された再生画像メモリ２０４中の第１画像メモリ領域２０８、第２画像メモリ領域２０９、第３画像メモリ領域２１０、又は第４画像メモリ領域２１１に転送する。
【００８１】
再生画像メモリ２０４は、例えば２Ｍｂ（５００Ｋｂ×４）程度の容量を有しており、４フレーム分の復号化画像データを再生画像データとして蓄積可能である。前記復号化手段２０３で復号化された復号化画像データは、１表示画像単位で、再生画像メモリ２０４中の第１画像メモリ領域２０８から第４画像メモリ領域２１１のうちの１つに蓄積されることになる。
【００８２】
表示領域切替手段２０５は、後述する画像メモリ領域管理手段２０６から次に表示すべき各画像メモリ領域の情報を表示データ領域信号として受けとり、表示データ領域信号に基づいて、第１画像メモリ領域２０８、第２画像メモリ領域２０９、第３画像メモリ領域２１０、及び第４画像メモリ領域２１１からのそれぞれの再生画像データを切り替え、表示機器（例えば、テレビモニタ）の同期信号に合わせて表示画像データとして出力する。
【００８３】
画像メモリ領域管理手段２０６は、第１画像メモリ領域２０８、第２画像メモリ領域２０９、第３画像メモリ領域２１０、及び第４画像メモリ領域２１１のうちいずれの画像メモリ領域に、Ｉピクチャ、Ｐピクチャ、及びＢピクチャのうちいずれのタイプの画像データが蓄積されているか、また、ＧＯＰ中のどの順序で表示すべき画像か、また、現在表示中の領域は何処かを管理しており、前記復号化手段２０３による復号化画像データをどの領域に格納するか、さらには、次に表示可能な画像メモリ領域はどれであるのかを判断している。
【００８４】
順方向通常再生時は、以上に述べた構成により動画像の再生を行い、図６に示すように、Ｂピクチャを復号するのに参照画像データとして必要なＩピクチャとＰピクチャが、第１、第２、及び第３画像メモリ領域に格納され、Ｂピクチャは第４画像メモリ領域に格納されることになる。
【００８５】
次に、逆方向再生動作について、図２、図７、及び図８を参照しながら説明する。
【００８６】
図７は、本発明の第２の実施形態による動画像復号化装置で逆方向再生を行う場合の、再生画像メモリ２０４中の第１画像メモリ領域２０８、第２画像メモリ領域２０９、第３画像メモリ領域２１０、及び第４画像メモリ領域２１１に蓄積されている復号化画像データのピクチャタイプと、表示出力のピクチャタイプの遷移状態を表している。
【００８７】
図８は、本発明の第２の実施形態による動画像復号化装置で逆方向再生を行う再生モード切替制御を示すフローチャートである。
まず、再生モード切替手段２０７に、例えばリモコンなどから順方向通常再生から逆方向再生への再生モード切替が入力されると、再生モード切替手段２０７は、前記復号化手段２０３と前記画像メモリ領域管理手段２０６に再生モード切替信号を出力する（Ｓ８０１）。
【００８８】
ここで、画像メモリ領域管理手段２０６は、図６に示すように、順方向再生時には常に、３画面分のＩピクチャ、もしくはＰピクチャの復号化画像データが再生画像メモリ２０４内に蓄積されるように制御している。
【００８９】
次に、復号化手段２０３は、再生モード切替信号の入力により直ちに現在行っている復号化処理を停止し、逆方向再生のために符号化データ入力待ちの状態になる（Ｓ８０２）。
【００９０】
画像メモリ領域管理手段２０６は、再生モード切替信号の入力により直ちに、現在表示中の画像情報から逆方向再生順で次に表示すべき画像が再生画像メモリ２０４中に有るか否か判断する（Ｓ８０３）。次に表示すべき画像データが再生画像メモリ２０４中にあれば（Ｙｅｓ）、次の表示タイミングで表示データ領域信号を表示領域管理手段２０５に出力してその画像を表示出力する（Ｓ８０６）。
【００９１】
Ｓ８０３において判断した結果、次に表示すべき画像データが再生画像メモリ２０４中にない場合、画像メモリ領域管理手段２０６は、次に表示すべき画像の復号化処理のために必要な符号化データ要求をＧＯＰデータ要求信号としてストリーム入力手段２０１に出力する。例えば、図４の第１の実施形態で説明したように、復号化画像データ'Ｂ13Dを表示中に逆方向再生モードへの切り替えが発生した場合、次に表示すべき復号化画像データ'Ｂ12Dは再生画像メモリ２０４中にないので、ストリーム入力手段２０１対して符号化データ'Ｂ12Eを含むＧＯＰのデータを転送するようにＧＯＰデータ要求信号を出力する。
【００９２】
また、次に表示すべき画像データが再生画像メモリ２０４中にない場合、画像メモリ領域管理手段２０６は、表示すべき画像がＢピクチャであるか否か判断する（Ｓ８０９）。
【００９３】
ここで、復号化画像データ'Ｂ13Dを表示中に逆方向再生モードへの切り替えが発生した場合については、第１の実施形態において説明したので、別の例として図７に示すように、順方向再生モードにおいて復号化画像データ''Ｂ3Dを表示中に逆方向再生モードへの切り替えが発生した場合の逆方向再生動作について説明する。
【００９４】
（１）逆方向再生に切り替った時、次に表示すべき画像、すなわち復号化画像データ''Ｂ3Dの１つ前に表示した復号化画像データ''Ｉ2Dは第２画像メモリ領域２０９中に蓄積されているので（Ｓ８０３で判断「Ｙｅｓ」）、次の表示タイミングに表示画像データとして表示出力するように、画像メモリ領域管理手段２０６が表示データ領域信号を表示領域切替手段２０５に出力する（Ｓ８０４）。
【００９５】
ここで、第１画像メモリ領域２０８から第４画像メモリ領域２１１の中に、現在表示中の復号化画像データ''Ｂ3Dよりも順方向の表示順で後に表示すべき復号化画像データ''Ｐ5Dが蓄積されているが、このデータは表示の必要がなくなったので、画像メモリ領域管理手段２０６は、符号化画像データ''Ｐ5Dを蓄積している第３画像メモリ領域２１０のデータを無効化する。
【００９６】
（２）次に、復号化画像データ''Ｉ2Dの表示の次に表示すべき、すなわち復号化画像データ''Ｂ3Dの２つ前に表示した復号化画像データ''Ｂ1Dは、再生画像メモリ２０４中のどの領域にも蓄積されていないので（Ｓ８０５で判断「Ｎｏ」）、新たに符号化データ''Ｂ1Eを復号しなければならない（Ｓ８０９で判断「Ｙｅｓ」）。符号化データ''Ｂ1Eの復号に必要な参照画像データ''Ｉ2Dと'Ｐ14Dはそれぞれ、第２画像メモリ領域２０９と第１画像メモリ領域２０８に蓄積されているので（Ｓ８１０で判断「Ｙｅｓ」）、画像メモリ領域管理手段２０６から符号化データ''Ｂ1Eを含むＧＯＰデータの転送要求をＧＯＰデータ要求信号としてストリーム入力手段２０１に出力する。
【００９７】
復号化手段２０３は、符号化データ''Ｂ1Eが入力されるまでデータを読み飛ばし、再生画像メモリ２０４から転送される参照画像データ''Ｉ2Dと'Ｐ14Dを用いて符号化データ''Ｂ1Eのみの復号化を行い（Ｓ８１３）、画像メモリ領域管理手段２０６によってデータ無効化した第３画像メモリ領域２１０に復号化画像データ''Ｂ1Dを格納し（Ｓ８１６）、次の表示タイミングに表示画像データとして表示出力するように、画像メモリ領域管理手段２０６が表示データ領域信号を表示領域切替手段２０５に出力する（Ｓ８１７）。
【００９８】
（３）復号化画像データ''Ｂ1Dの次に表示すべき、すなわち復号化画像データ''Ｂ3Dの３つ前に表示した復号化画像データ復号化画像データ''Ｂ0Dも、再生画像メモリ２０４中のどの領域にも蓄積されていない（Ｓ８０３で判断「Ｎｏ」、Ｓ８０９で判断「Ｎｏ」）。また、符号化データ''Ｂ0Dの復号に必要な参照画像データ''Ｉ2Dと'Ｐ14Dはそれぞれ、第２画像メモリ領域２０９と第１画像メモリ領域２０８に蓄積されているので（Ｓ８１０で判断「Ｙｅｓ」）、画像メモリ領域管理手段２０６から符号化データ''Ｂ0Eを含むＧＯＰデータの転送要求をGＧＯＰデータ要求信号としてストリーム入力手段２０１に出力する。
【００９９】
ここで、画像メモリ領域管理手段２０６は、表示出力が復号化画像データ''Ｉ2Dに遷移すると、第４画像メモリ領域２１１に蓄積されている復号化画像データ''Ｂ3Dが不要になったと判断し、復号化手段２０３に対して、画像メモリ領域信号を出力することによって第４画像データ領域２１１への復号化画像データの蓄積を許可する。
【０１００】
復号化手段２０３は、符号化データ''Ｂ1Eの復号化処理の後、符号化データ''Ｂ0Eが入力されるまでデータを読み飛ばし、再生画像メモリ２０４から転送される参照画像データ''Ｉ2Dと'Ｐ14Dを用いて符号化データ''Ｂ0Eのみの復号化を行い（Ｓ８１３）、画像メモリ領域管理手段２０６によって指示された第４画像メモリ領域２１１に復号化画像データ''Ｂ0Dを格納し（Ｓ８１６）、次の表示タイミングに表示画像データとして表示出力するように、画像メモリ領域管理手段２０６が表示データ領域信号を表示領域切替手段２０５に出力する（Ｓ８１７）。
【０１０１】
（４）復号化画像データ''Ｂ0Dの次に表示すべき復号化画像データ'Ｐ14Dは、第１画像メモリ領域２０８に現在蓄積されているので（Ｓ８０３で判断「Ｙｅｓ」）、復号化画像データ'Ｐ14Dを表示するまで第１画像メモリ領域２０８のデータを保持するように画像メモリ領域管理手段２０６によって管理する。
【０１０２】
（５）復号化画像データ'Ｐ14Dの次に表示すべき復号化画像データ'Ｂ13Dは、再生画像メモリ２０４中になく（Ｓ８０３で判断「Ｎｏ」、Ｓ８０９で判断「Ｙｅｓ」）、また、参照画像として必要な復号化画像データ'Ｐ11Dも再生画像メモリ２０４中にないため（Ｓ８１０で判断「Ｎｏ」）、画像メモリ領域管理手段２０６は、符号化データ'Ｐ11Eと'Ｂ13Eを含むＧＯＰデータの転送要求をＧＯＰデータ要求信号としてストリーム入力手段２０１に出力する（Ｓ８１１）。
【０１０３】
また、画像メモリ領域管理手段２０６は、表示出力が遷移するごとに再生画像メモリ２０４中の各画像メモリ領域の内容を確認し、不要になった領域を復号化手段２０３に対して通知していく。
【０１０４】
（６）復号化手段２０３は、符号化データ''Ｂ0Eの復号化処理の後、符号化データ'Ｂ13Eを復号化するために必要な参照画像として復号化画像データ'Ｐ11Dを準備するために、画像メモリ領域管理手段２０６から通知される使用可能な画像メモリ領域を用いて、符号化データ'Ｉ2E→'Ｐ5E→'Ｐ8E→'Ｐ11Dの順にＩピクチャとＰピクチャのみの復号化処理を行う（Ｓ８１２）。その後、再生画像メモリ２０４から転送される復号化画像データ'Ｐ11Dと'Ｐ14Dを参照画像として符号化データ'Ｂ13Eの復号化処理を行う（Ｓ８１３）。
【０１０５】
これ以降も同様にして、図８の再生モード切替制御を示すフローチャートに従って処理を行うと、図７に示すような等倍速の逆方向再生が実現できる。
【０１０６】
（第３の実施形態）
次に、本発明の第３の実施形態による動画像再生装置およびその方法について図３を参照して説明する。
【０１０７】
図３は、本発明の第３の実施形態による動画像再生装置のブロック図であり、その構成は、第１の実施形態の場合と同様のスタートコード検出手段３１２とバッファメモリ管理手段３１３を含むとともに、第２の実施形態の場合と同様の第１画像メモリ領域３０８、第２画像メモリ領域３０９、第３画像メモリ領域３１０、及び第４画像メモリ領域３１１を有する再生画像メモリ３０４と、画像メモリ領域管理手段３０６を含んでいる。
【０１０８】
これによって、第１及び第２の実施形態で述べたそれぞれの効果を同時に実現することができる。
【０１０９】
【発明の効果】
以上のように、本発明にかかる動画像復号化装置および方法によれば、順方向通常再生から逆方向再生に再生モードを切り替えた場合、従来の動画像復号化装置で課題であったように、逆方向再生の表示画面が遷移している間に、最低２フレームのブランク期間が発生したり、順方向再生から逆方向再生に表示が遷移するのに長い時間がかかるということはなく、すぐに逆方向再生表示に切り替わるという効果がある。
【０１１０】
また、逆方向再生中に画像が途切れたり、それを回避するのに同一画像を繰り返し表示することなく、表示画面を見ている者に違和感を与えるという従来の問題点を解決し、高品質で滑らかな等倍速の逆方向再生を実現できるという効果がある。
【図面の簡単な説明】
【図１】 本発明の第１の実施形態による動画像復号化装置のブロック図
【図２】 本発明の第２の実施形態による動画像復号化装置のブロック図
【図３】 本発明の第３の実施形態による動画像復号化装置のブロック図
【図４】 本発明の第１の実施形態での再生画像メモリ内容及び表示出力を示す逆方向再生遷移図
【図５】 本発明の第１の実施形態による逆方向再生動作を示す再生モード切替制御のフローチャート
【図６】 本発明の第２の実施形態での再生画像メモリ内容及び表示出力を示す順方向再生遷移図
【図７】 本発明の第２の実施形態での再生画像メモリ内容及び表示出力を示す逆方向再生遷移図
【図８】 本発明の第２の実施形態による逆方向再生動作を示す再生モード切替制御のフローチャート
【図９】 ＭＰＥＧ方式の符号化データ構成図
【図１０】 従来の動画像復号化装置のブロック図
【図１１】 従来構成での再生画像メモリ内容及び表示出力を示す順方向再生遷移図
【図１２】 従来構成での再生画像メモリ内容及び表示出力を示す逆方向再生遷移図
【符号の説明】
１０１、２０１、３０１ ストリーム入力手段（データ先頭転送手段）
１０２、２０２、３０２ バッファメモリ
１０３、２０３、３０３ 復号化手段
１０４、２０４、３０４ 再生画像メモリ
１０５、２０５、３０５ 表示領域切替手段
１０６、２０６、３０６ 画像メモリ領域管理手段
１０７、２０７、３０７ 再生モード切替手段
１０８、２０８、３０８ 第１画像メモリ領域
１０９、２０９、３０９ 第２画像メモリ領域
１１０、２１０、３１０ 第３画像メモリ領域
１１１、３１２ スタートコード検出手段
１１２、３１３ バッファメモリ管理手段（データ先頭管理手段）
２１１、３１１ 第４画像メモリ領域
【発明の属する技術分野】
本発明は、ディジタル蓄積メディア、または放送、及び通信のために予測符号化方式を用いて符号化された画像データを復号するディジタル動画像復号化装置および方法に関し、特に、順方向通常再生から逆方向再生への再生モード切り替えによる、再生モード切り替え時間の高速化、及び等倍速逆方向再生制御のための動画像復号化装置および方法に関するものである。
【０００２】
【従来の技術】
ディジタル蓄積メディア、または放送、及び通信を含むさまざまな応用のための動画像、及び付随音声の汎用符号化方法に対する需要が増大し、国際標準化機構（ＩＳＯ）の国際電気標準会議（ＩＥＣ）のMoving Picture Experts Grope（以下ＭＰＥＧとする）において、動画像符号化方式の国際標準化が推進され、ＩＳＯ／ＩＥＣ１３８１８−２（ＭＰＥＧ２ビデオ）などが標準化されている。
【０００３】
以下、従来の技術の例として、ＭＰＥＧ符号化方式で符号化されたデータを復号する動画像復号化装置について説明する。
【０００４】
ＭＰＥＧによる符号化方式では、１フレームの画像にはＩピクチャ（フレーム内予測符号化画像：Intra-coded picture）、Ｐピクチャ（前方向予測符号化画像：Predictive-coded picture）、又はＢピクチャ（双方向予測符号化画像：Bidirectionally-coded picture）の３種類のピクチャタイプがあり、それらを組み合わして符号化を行うことで、高効率の画像データ圧縮を実現している。
【０００５】
また、ＭＰＥＧ方式の符号化データは図９に示すような構成をとり、ピクチャグループＧＯＰ（Group of picture）は、１枚以上のＩピクチャと、０枚以上のＰピクチャと、０枚以上のＢピクチャから構成されている。
【０００６】
図９には、Ｉピクチャ１枚（Ｉ2E）、Ｐピクチャ４枚（Ｐ5E、Ｐ8E、Ｐ11E、Ｐ14E）、及びＢピクチャ１０枚（Ｂ0E、Ｂ1E、Ｂ3E、Ｂ4E、Ｂ6E、Ｂ7E、Ｂ9E、Ｂ10E、Ｂ12E、Ｂ13E）で１ＧＯＰを構成した例をあげている。
【０００７】
ＭＰＥＧ方式などの双方向予測符号化を用いた符号化方式で符号化された符号化データの構成は、符号化データ中の画像データ配置順序と画像を再生するときの表示順序とは異なる順序であり、双方向予測符号化されたＢピクチャの復号化処理時には、表示時間的に前に位置するＰピクチャ（もしくはフレーム内予測符号化されたＩピクチャ）だけでなく、表示時間的に後に位置するＰピクチャ（もしくはＩピクチャ）までもが、既に復号化された復号化画像データとして再生画像メモリ中に蓄積されている。
【０００８】
次に、図１０及び図１１を参照しながら、従来構成による通常再生時の動作について説明する。図１０は、従来構成による動画像復号化装置のブロック図である。図１１は、従来構成における通常再生時の再生画像メモリ中の第１、第２及び第３画像メモリ領域に格納されるピクチャタイプと、表示出力されるピクチャタイプの遷移状態を表している。図１１中のＩ、Ｐ、Ｂはピクチャタイプを示し、添え字の数字はその画像が含まれるＧＯＰ中での表示順序を示す。また、添え字［’］と［’’］は違うＧＯＰであることを示し、添え字［Ｅ］と［Ｄ］はそれぞれ符号化データと復号化画像データを示している。
【０００９】
（１）先ず、ストリーム入力手段１００１からバッファメモリ１００２へ符号化データが入力される。復号化手段１００３は、バッファメモリ１００２から入力されたＧＯＰ先頭の符号化データＩ2E（図９）の復号処理を行う。Ｉピクチャはフレーム内予測符号化されたデータなので当該符号化データＩ2Eのみで復号化処理が行われ、復号化画像データＩ2Dが第１画像メモリ領域１００８に蓄積される。
【００１０】
（２）次に、上記のように復号化された復号化画像データＩ2Dと次に入力される符号化データＢ0E（図９）とから復号化処理を行い、復号化画像データＢ0Dが第３画像メモリ領域１０１０に蓄積される。なお、復号化処理を行っている現ＧＯＰの１つ前のＧＯＰを利用して符号化データＢ0Eの復号を行う場合には、１つ前のＧＯＰ中の最後のＩ又はＰピクチャの復号化画像データと、現ＧＯＰ中の上記復号化画像データＩ2Dと、符号化データＢ0Eとから復号化処理を行う。
【００１１】
復号化画像データＢ0Dは、次の表示タイミングで表示領域切替手段９０５により表示出力される。
【００１２】
（３）次の符号化データＢ1Eの復号化は、上記（２）の符号化データＢ0Eの復号化と同様な概念で、復号化画像データＩ2Dを用いて処理され、復号化画像データＢ1Dが第３画像メモリ領域１０１０に蓄積され、表示出力される。
【００１３】
（４）次に、上記（１）で復号化された復号化画像データＩ2Dと次に入力される符号化データＰ5E（図９）とから復号化処理を行い、復号化画像データＰ5Dが第２画像メモリ領域１００９に蓄積される。復号化画像データＰ5Dはすぐには表示出力されず、復号化画像データＢ1Dを表示した後の次の表示タイミングでは復号化画像データＩ2Dの表示出力が行われる。
【００１４】
（５）以降、同様な概念で処理され、その結果図１１に示すように、符号化データの復号順序はＩ2D→Ｂ0D→Ｂ1D→Ｐ5D→Ｂ3D→Ｂ4D→Ｐ8D→Ｂ6D→Ｂ7D→Ｐ11D→Ｂ9D→Ｂ10D→Ｐ14D→Ｂ12D→Ｂ13D→'Ｉ2D→'Ｂ0D→…のようになり、表示順序はＢ0D→Ｂ1D→Ｉ2D→Ｂ3D→Ｂ4D→Ｐ5D→Ｂ6D→Ｂ7D→Ｐ8D→Ｂ9D→Ｂ10D→Ｐ11D→Ｂ12D→Ｂ13D→Ｐ14D→'Ｂ0D→'Ｂ1D→…のようになる。
【００１５】
上述したように、ＭＰＥＧ方式の符号化では、フレーム間相関を利用して符号化を行っており、復号の際には表示順で前後に位置する画像データを先に復号しておき、その復号化画像データを用いて新しい画像を復号化している。
【００１６】
次に、図１０と図１２を参照しながら、上述したＭＰＥＧ方式の符号化データを逆方向再生する場合の動作について説明する。
【００１７】
図１２は、従来構成の動画像復号化装置で逆方向再生を行う場合の、再生画像メモリ１００４中の第１画像メモリ領域１００８、第２画像メモリ領域１００９、及び第３画像メモリ領域１０１０に蓄積されている復号化画像データのピクチャタイプと、表示出力のピクチャタイプの遷移状態を表している。
【００１８】
ここで、復号化手段１００３による各画像の復号化処理時間は、テレビモニタなどに１画面表示する時間の約半分の時間に設定してある。すなわち、１フィールドの表示時間中に１フレーム分の復号化処理が行われるので、表示領域切替手段１００５により１画面（１フレーム）表示している間に、復号化手段１００３は２画面分の符号化データを復号化処理することができる。
【００１９】
図１２中のＩ、Ｐ、Ｂはピクチャタイプを示し、添え字の数字はその画像が含まれるＧＯＰ中での表示順序を示す。また、添え字［’］と［’’］は違うＧＯＰであることを示している。さらに、添え字「Ｔ」は、その画像の第１フィールド画像表示中を示し、添え字「Ｂ」は第２フィールド画像を表示中であることを示す。
【００２０】
図１２に示すように、順方向再生状態で復号化画像データ''Ｂ3Dを表示画像データとして表示中に、再生モードが逆方向再生に切り替った場合、次に表示すべき画像、すなわち復号化画像データ''Ｂ3Dの１つ前に表示した復号化画像データ''Ｉ2Dは、第１画像メモリ領域１００８中に蓄積されているので、表示領域切替手段１００５により次の表示タイミングに復号化画像データ''Ｉ2Dの表示出力が行われる。
【００２１】
【発明が解決しようとする課題】
しかしながら、上述したような従来の技術では、逆方向再生順で復号化画像データ''Ｉ2Dの表示の次に表示すべき復号化画像データ''Ｂ1Dは、図１２に示すように、再生画像メモリ１００４中のどの画像メモリ領域にも蓄積されていない。
【００２２】
そのため、新たに符号化データ''Ｂ1Eを復号しなければならないが、符号化データ''Ｂ1Eの復号には、図１１に示すように、参照画像の１つとして一つ前のＧＯＰ中の最後のＰピクチャである復号化画像データ'Ｐ14Dが必要となる。その復号化画像データ'Ｐ14Dを得るためには、一つ前のＧＯＰ中の、最初のＩピクチャから符号化データを復号化手段１００３に転送して、符号化データ'Ｐ14Eまでの復号化、つまり'Ｉ2E→'Ｐ5E→'Ｐ8E→'Ｐ11E→'Ｐ14Eの５枚の画像を復号化処理しなければならない。
【００２３】
さらにその後、符号化データ''Ｂ1Eを復号化手段１００３に転送して、第１画像メモリ領域１００８から転送される復号化画像データ''Ｉ2Dと第２画像メモリ領域１００９から転送される復号化画像データ'Ｐ14Dを参照画像として、符号化データ''Ｂ1Eの復号化処理を行なわなければならない。
【００２４】
この結果、復号化画像データ''Ｉ2Dから''Ｂ1Dに表示が遷移できるまでには、図１２に示すように最低２フレームのブランク期間が発生してしまい、従来の動画像復号化装置では、順方向再生から逆方向再生に表示遷移するのに長い時間がかかるという問題があった。
【００２５】
また、復号化画像データ''Ｂ1Dを表示した後、符号化データ''Ｂ0Eを復号化手段１００３に転送して、第１画像メモリ領域１００８から転送される''Ｉ2Dと第２画像メモリ領域１００９から転送される復号化画像データ'Ｐ14Dを参照画像として復号化処理を行って、復号化画像データ''Ｂ0Dを表示した後、第２画像メモリ領域１００９には復号化画像データ'Ｐ14Dが蓄積されているので、復号化画像データ'Ｐ14Dを直接表示し、次に復号化画像データ'Ｂ13Dを表示することになる。
【００２６】
しかしながら、符号化データ'Ｂ13Eから復号化画像データ'Ｂ13Dを復号するには、参照画像として、復号化画像データ'Ｐ14D以外に復号化画像データ'Ｐ11Dが必要になる。その復号化画像データ'Ｐ11Dを得るためには、そのＧＯＰ中の、最初のＩピクチャから符号化データを復号化手段１００３に転送して、符号化データ'Ｐ11Eまでの復号化、つまり'Ｉ2E→'Ｐ5E→'Ｐ8E→'Ｐ11Eの４枚の画像を復号化処理しなければならない。
【００２７】
さらにその後、符号化データ''Ｂ13Eを復号化手段１００３に転送して、第２画像メモリ領域１００９から転送される復号化画像データ'Ｐ14Dと第３画像メモリ領域１０１０から転送される'Ｐ11Dを参照画像として、符号化データ''Ｂ1Eの復号化処理を行なわなければならない。
【００２８】
この結果、復号化画像データ'Ｐ14Dから'Ｂ13Dに表示が遷移するまでに、図１２に示すように、最低１フレームのブランク期間が発生してしまい、逆方向再生中に表示ブランク期間が発生し、等倍速の逆方向再生ができず、画面を見ている者に違和感を与えるという問題があった。
【００２９】
したがって、本発明は、上述したような課題点を解決するためになされたもので、ＭＰＥＧ方式のようなフレーム間相関を利用した動画像符号化データの復号技術において、順方向通常再生から逆方向再生への再生モード変更とそれに伴う出力画像遷移時間を短縮すると共に、等倍速の逆方向再生を容易かつ必要最小限の構成で実現する動画像復号化装置および方法を提供することを目的とする。
【００３０】
【課題を解決するための手段】
前記の目的を達成するため、本発明の動画像復号化装置は、所定単位のシーケンスに従った符号化データを蓄積するバッファメモリと、該バッファメモリからの符号化データを復号化処理する復号化手段と、該復号化手段による復号化画像データを画像メモリ領域毎に複数画面分蓄積する再生画像メモリと、前記再生画像メモリ中に蓄積された復号化画像データのうち再生画像データとして表示出力すべき復号化画像データを選択し、再生画像データの出力切り替えを制御する表示領域切替手段とを備えた動画像復号化装置において、前記符号化データから、前記所定単位毎の画像についての符号化タイプ情報と表示順序情報を含む特定コードパターンを検出しコード検出信号として出力するスタートコード検出手段と、前記スタートコード検出手段からのコード検出信号と前記バッファメモリからの格納アドレス信号を受け、前記符号化データを前記バッファメモリに蓄積する場所を管理するための管理情報を得て、該管理情報に従って前記バッファメモリを制御して、前記符号化データを前記所定単位で前記復号化手段へと転送させ、また前記バッファメモリ内の前記符号化データを削除させるバッファメモリ管理手段と、順方向通常再生時には、前記所定単位のシーケンスで連続している符号化データのうちフレーム内予測符号化画像データと前方向予測符号化画像データの復号化画像データを、復号化順で常に、前記画像メモリ領域のうちの３つ以上に蓄積するように、また逆方向再生時には、前記フレーム内予測符号化画像データと前記前方向予測符号化画像データの復号化画像データが蓄積されている前記画像メモリ領域のうちのいずれかに、表示順序に応じて、双方向予測符号化画像データの復号化画像データを蓄積するように、前記各画像メモリ領域でのデータ蓄積内容を制御する画像メモリ領域管理手段を具備したことを特徴とする。
【００３５】
前記本発明の動画像復号化装置によれば、バッファメモリ管理手段により、バッファメモリから復号化手段への符号化データの転送効率を上げ、画像メモリ管理手段により、表示順序に従って、最適な画像メモリ領域に復号化画像データを格納することができる。
【００３６】
前記本発明の動画像復号化装置はさらに、前記バッファメモリ中に蓄積されている符号化データのうち符号化画像グループ毎の先頭データが蓄積されているアドレスを管理するデータ先頭管理手段と、前記画像メモリ領域管理手段からの先頭データ転送要求信号により、前記復号化手段に対して、前記符号化画像グループの前記先頭データから符号化データの転送を行うデータ先頭転送手段を備えることが好ましい。
【００３７】
この構成によれば、復号化に必要な符号化データがバッファメモリにない場合でも、次に表示すべきＢピクチャの復号化に必要なＩ、Ｐピクチャを含む符号化画像グループをバッファメモリを介して復号化手段に対して即座に転送することができる。
【００４４】
【発明の実施の形態】
以下で、本発明の実施形態について図面を参照して説明する。
【００４５】
（第１の実施形態）
図１は、本発明の第１の実施形態による動画像復号化装置のブロック図を示す。図１において、１０１は、所定単位毎のシーケンスに従った符号化データを後述するスタートコード検出手段１１１を介して後述するバッファメモリ１０２に転送するストリーム入力手段（データ先頭転送手段）である。
【００４６】
スタートコード検出手段１１１は、そこを通過する符号化データ中から特定のコードパターン、例えばＧＯＰＨ（Grope of Picture Header）やＰＨ（Picture Header）などのヘッダー情報を検出し、そのヘッダー情報を解析して、各符号化画像データがＩ、Ｐ、Ｂのいずれのピクチャであるかというピクチャタイプ情報（符号化タイプ情報）とＧＯＰ中での各ピクチャの表示順序情報とを含む特定コードパターンをコード検出信号として、後述するバッファメモリ管理手段１１２に通知する。
【００４７】
バッファメモリ１０２は、入力された復号前の所定単位毎のシーケンスに従った符号化データを蓄積するバッファメモリであり、例えば４００Ｋｂ程度の比較的大きな容量を有しており、後述するバッファメモリ管理手段１１２からのデータ転送要求信号に従って、蓄積している符号化データを出力する。また、バッファメモリ１０２は、スタートコード検出手段１１１から入力される符号化データを蓄積するアドレス情報を格納アドレス信号として後述するバッファメモリ管理手段１１２に通知する。さらに、バッファメモリ１０２は、後述するバッファメモリ管理手段１１２からの不要データ削除信号に従って、指定された内部領域のデータを削除する。
【００４８】
バッファメモリ管理手段１１２（データ先頭管理手段）は、スタートコード検出手段１１１からのコード検出信号とバッファメモリ１０２からの格納アドレス信号を受け、バッファメモリ１０２内のどの領域に各ＧＯＰの先頭データが蓄積されているのかという格納アドレス情報と、バッファメモリ１０２内に蓄積されている各符号化画像データがＩ、Ｐ、Ｂのいずれのピクチャであるかというピクチャタイプ情報と、ＧＯＰ中での各ピクチャの表示順序情報を管理している。また、バッファメモリ管理手段１１２は、その管理情報に基づいて、不要と判断したデータの削除指示をデータ削除要求信号としてバッファメモリ１０２に出力する。さらに、バッファメモリ管理手段１１２は、後述する画像メモリ領域管理手段１０６からの画像データ要求信号に従って、バッファメモリ１０２にデータ転送要求信号を出力し、後述する復号化手段１０３で復号に必要な符号化データを復号化手段１０３に転送させる。
【００４９】
復号化手段１０３は、前記バッファメモリ１０２からの符号化データの復号化処理を行い、復号化画像データを後述する画像メモリ領域管理手段１０６からの画像メモリ領域信号により決定された後述する再生画像メモリ１０４中の第１画像メモリ領域１０８、第２画像メモリ領域１０９、又は第３画像メモリ領域１１０に転送する。ここで、復号化手段１０３で復号化されたデータは、１表示画像単位で、再生画像メモリ１０４中の第１画像メモリ領域１０８から第３画像メモリ領域１１０のうちの１つに蓄積されることになる。また、Ｐピクチャ、またはＢピクチャの復号化処理に際しては、必要であれば再生画像メモリ１０４中のＩピクチャ、またはＰピクチャの復号化画像データを参照画像データとして復号化処理を行う。
【００５０】
表示領域切替手段１０５は、後述する画像メモリ領域管理手段１０６から次に表示すべき各画像メモリ領域の情報を表示データ領域信号として受けとり、表示データ領域信号に基づいて、第１画像メモリ領域１０８、第２画像メモリ領域１０９、及び第３画像メモリ領域１１０からのそれぞれの再生画像データを切り替え、表示機器（例えば、テレビモニタ）の同期信号に合わせて表示画像データとして出力する。
【００５１】
画像メモリ領域管理手段１０６は、第１画像メモリ領域１０８、第２画像メモリ領域１０９、及び第３画像メモリ領域１１０のうちいずれの画像メモリ領域に、Ｉピクチャ、Ｐピクチャ、及びＢピクチャのうちいずれのタイプの画像データが蓄積されているか、また、ＧＯＰ中のどの順序で表示すべき画像か、また、現在表示中の領域は何処かを管理しており、前記復号化手段１０３による復号化画像データをどの領域に格納するか、さらには、次に表示可能な画像メモリ領域はどれであるのかを判断している。
【００５２】
順方向通常再生時は、以上に述べた構成により動画像の再生を行っている。
【００５３】
次に、逆方向再生動作について、図１、図４、及び図５を参照しながら説明する。
【００５４】
図４は、本発明の第１の実施形態による動画像復号化装置で逆方向再生を行う場合の、再生画像メモリ１０４中の第１画像メモリ領域１０８、第２画像メモリ領域１０９、及び第３画像メモリ領域１１０に蓄積されている復号化画像データのピクチャタイプと、表示出力のピクチャタイプの遷移状態を表している。
【００５５】
図５は、本発明の第１の実施形態による動画像復号化装置で逆方向再生を行う再生モード切替制御を示すフローチャートである。
【００５６】
まず、再生モード切替手段１０７に、例えばリモコンなどから順方向通常再生から逆方向再生への再生モード切替が入力されると、再生モード切替手段１０７は、前記復号化手段１０３と前記画像メモリ領域管理手段１０６に再生モード切替信号を出力する（Ｓ５０１）。
【００５７】
次に、復号化手段１０３は、再生モード切替信号の入力により直ちに現在行っている復号化処理を停止し、逆方向再生のために符号化データ入力待ちの状態になる（Ｓ５０２）。
【００５８】
画像メモリ領域管理手段１０６は、再生モード切替信号の入力により直ちに現在表示中の画像情報から逆方向再生順で次に表示すべき画像を判断する（Ｓ５０３）。次に表示すべき画像データが再生画像メモリ１０４中にあれば（Ｙｅｓ）、次の表示タイミングで表示データ領域信号を表示領域管理手段１０５に出力してその画像を表示出力する（Ｓ５１０）。
【００５９】
Ｓ５０３において判断した結果、次に表示すべき画像データが再生画像メモリ１０４中にない場合、画像メモリ領域管理手段１０６は、次に表示すべき画像がＢピクチャであるか否か判断する（Ｓ５０４）。
【００６０】
ここで、例として、復号化画像データ'Ｂ13Dを表示画像データとして表示中に、逆方向再生モードへの切り替えが発生した場合の逆方向再生動作について説明する。
【００６１】
（１）復号化画像データ'Ｂ13Dの１つ前に表示した復号化画像データは'Ｂ12Dであるので、Ｓ５０４においてＢピクチャであると判断し（Ｙｅｓ）、次いで再生画像メモリ１０４中に復号化画像データ'Ｂ12Dを復号処理するのに必要な参照画像、すなわち復号化画像データ'Ｐ11Dと復号化画像データ'Ｐ14Dが有るか否かを判断する（Ｓ５０５）。
【００６２】
図４に示すように、復号化画像データ'Ｐ11Dは第１画像メモリ領域１０８に、また復号化画像データ'Ｐ14Dは第２画像メモリ領域１０９に蓄積されているので（Ｙｅｓ）、バッファメモリ管理手段１１２は、画像メモリ領域管理手段１０６から受け取った画像データ要求信号と自身で管理しているバッファメモリ１０２の格納アドレス情報に基づいて、バッファメモリ１０２にデータ転送要求信号を出力し、バッファメモリ１０２を制御して、直ちに符号化データ'Ｂ12Eを復号化手段１０３に対して出力させ、復号化手段１０３は、第１画像メモリ領域１０８から転送される復号化画像データ'Ｐ11Dと第２画像メモリ領域１０９から転送される復号化画像データ'Ｐ14Dを参照画像として、符号化データ'Ｂ12Eの復号化処理を行なう（Ｓ５０８）。
【００６３】
復号化された復号化画像データ'Ｂ12Dは、再生画像メモリ１０４の第３画像メモリ領域１１０に格納され（Ｓ５０９）、次の表示タイミングで第３画像メモリ領域１１０から表示領域切替手段１０５を介して表示画像データとして出力される（Ｓ５１０）。
【００６４】
次に、再生モード切替手段１０７は、逆方向再生モードが継続されているか判断する（Ｓ５１１）。その判断の結果継続の場合（Ｙｅｓ）、Ｓ５０３に戻り、次に表示すべき復号化画像データが再生画像メモリ１０４中に有るか否かを判断する。
【００６５】
（２）復号化画像データ'Ｂ12Dの一つ前に表示した復号化画像データは'Ｐ11Dであり、第１画像メモリ領域１０８に蓄積されているので（Ｙｅｓ）、Ｓ５１０に進んで、次の表示タイミングで第１画像メモリ領域１０８から表示領域切替手段１０５を介して表示画像データとして出力される。
【００６６】
次に、再生モード切替手段１０７は、逆方向再生モードが継続されているか判断する（Ｓ５１１）。その判断の結果継続の場合（Ｙｅｓ）、Ｓ５０３に戻り、次に表示すべき復号化画像データが再生画像メモリ１０４中に有るか否かを判断する。
【００６７】
（３）復号化画像データ'Ｐ11Dの一つ前に表示した復号化画像データは'Ｂ10Dであり、再生画像メモリ１０４中に蓄積されていないので（Ｎｏ）、画像メモリ領域管理手段１０６は、次に表示すべき画像がＢピクチャであるか否か判断する（Ｓ５０４）。次に表示すべき復号化画像データは'Ｂ10Dであるので、Ｓ５０４においてＢピクチャであると判断し（Ｙｅｓ）、次いで再生画像メモリ１０４中に復号化画像データ'Ｂ10Dを復号処理するのに必要な参照画像、すなわち復号化画像データ'Ｐ11Dと復号化画像データ'Ｐ8Dが有るか否かを判断する（Ｓ５０５）。
【００６８】
図４に示すように、復号化画像データ'Ｐ11Dは第１画像メモリ領域１０８に蓄積されているが、復号化画像データ'Ｐ8Dは再生画像メモリ１０４に蓄積されていないので（Ｎｏ）、バッファメモリ管理手段１１２は、自身で管理しているバッファメモリ１０２の格納アドレス情報に基づいて、バッファメモリ１０２に、符号化データ'Ｐ8Eまでの復号化に必要な符号化データ'Ｉ2E、'Ｐ5E、'Ｐ8Eのデータ転送要求信号を連続して出力し（Ｓ５０６）、バッファメモリ１０２を制御して、復号化手段１０３に対して出力させる。
【００６９】
復号化手段１０３は、まず、バッファメモリ１０２から受け取った符号化データ'Ｉ2Eを復号して復号化画像データ'Ｉ2Dとして第２画像メモリ領域１０９に格納する。次に、第２画像メモリ領域１０９から転送される復号化画像データ'Ｉ2Dを用いて、バッファメモリ１０２から受け取った符号化データ'Ｐ5Eを復号して復号化画像データ'Ｐ5Dとして第３画像メモリ領域１１０に格納する。最後に、第３画像メモリ領域１１０から転送される復号化画像データ'Ｐ5Dを用いて、バッファメモリ１０２から受け取った符号化データ'Ｐ8Eを復号して復号化画像データ'Ｐ8Dとして第２画像メモリ領域１０９に格納する（Ｓ５０７）。
【００７０】
次に、バッファメモリ管理手段１１２は、画像メモリ領域管理手段１０６から受け取った画像データ要求信号と自身で管理しているバッファメモリ１０２の格納アドレス情報に基づいて、バッファメモリ１０２にデータ転送要求信号を出力し、バッファメモリ１０２を制御して、直ちに符号化データ'Ｂ10Eを復号化手段１０３に対して出力させ、復号化手段１０３は、第１画像メモリ領域１０８から転送される復号化画像データ'Ｐ11Dと第２画像メモリ領域１０９から転送される復号化画像データ'Ｐ8Dを参照画像として、符号化データ'Ｂ10Eの復号化処理を行なう（Ｓ５０８）。
【００７１】
復号化された復号化画像データ'Ｂ10Dは、再生画像メモリ１０４の第３画像メモリ領域１１０に格納され（Ｓ５０９）、次の表示タイミングで第３画像メモリ領域１１０から表示領域切替手段１０５を介して表示画像データとして出力される（Ｓ５１０）。
【００７２】
このようにして、上記Ｓ５０３〜Ｓ５１１を繰り返して逆方向再生が行われる。しかし、Ｓ５１１における判断の結果継続でない場合、逆方向再生モードが終了する。
【００７３】
なお、本実施形態による動画像復号化装置での処理によれば、従来ではＧＯＰ先頭の符号化データ'Ｉ2Eから'Ｂ12Eまで、すなわち'Ｉ2E→'Ｂ0E→'Ｂ1E→'Ｐ5E→'Ｂ3E→'Ｂ4E→'Ｐ8E→'Ｂ6E→'Ｂ7E→'Ｐ11E→'Ｂ9E→'Ｂ10E→'Ｐ14E→'Ｂ12Eまでの１４画像分の符号化データを復号化手段１０３に転送していたところを、バッファメモリ１０２から唯一１画像分の符号化データ'Ｂ12Eを転送することで対応できることになる。
【００７４】
上記復号化処理において、画像メモリ領域管理手段１０６から画像データ要求信号により要求された符号化データが、バッファメモリ１０２中に無い場合、バッファメモリ管理手段１１２は、画像メモリ領域管理手段１０６に要求データが無いことを通知する。この場合、画像メモリ領域管理手段１０６から必要なＧＯＰデータの要求をＧＯＰデータ要求信号としてストリーム入力手段１０１に出力し、ＧＯＰ単位のストリーム入力がなされる。
【００７５】
（第２の実施形態）
次に、本発明の第２の実施形態による動画像復号化装置およびその方法について図２及び図８を参照しながら説明する。
【００７６】
図２は、本発明の第２の実施形態による動画像復号化装置のブロック図を示す。
【００７７】
図６は、本発明の第２の実施形態による通常再生時の再生画像メモリ中の第１、第２、第３画像メモリ領域、及び第４画像メモリ領域に格納されるピクチャタイプと、表示出力されるピクチャタイプの遷移状態を表している。
【００７８】
図２において、２０１は、所定単位毎のシーケンスに従った符号化データをバッファメモリ２０２に転送するストリーム入力手段である。
【００７９】
バッファメモリ２０２は、入力された復号前の所定単位毎のシーケンスに従った符号化データを蓄積するために、例えば４００Ｋｂ程度の比較的大きな容量を有しており、後述する復号化手段２０３からのデータ転送要求に従って、蓄積している符号化データを出力する。
【００８０】
復号化手段２０３は、前記バッファメモリ２０２からの符号化データの復号化処理を行い、復号化した復号化画像データを後述する画像メモリ領域管理手段２０６からの画像メモリ領域信号により決定された再生画像メモリ２０４中の第１画像メモリ領域２０８、第２画像メモリ領域２０９、第３画像メモリ領域２１０、又は第４画像メモリ領域２１１に転送する。
【００８１】
再生画像メモリ２０４は、例えば２Ｍｂ（５００Ｋｂ×４）程度の容量を有しており、４フレーム分の復号化画像データを再生画像データとして蓄積可能である。前記復号化手段２０３で復号化された復号化画像データは、１表示画像単位で、再生画像メモリ２０４中の第１画像メモリ領域２０８から第４画像メモリ領域２１１のうちの１つに蓄積されることになる。
【００８２】
表示領域切替手段２０５は、後述する画像メモリ領域管理手段２０６から次に表示すべき各画像メモリ領域の情報を表示データ領域信号として受けとり、表示データ領域信号に基づいて、第１画像メモリ領域２０８、第２画像メモリ領域２０９、第３画像メモリ領域２１０、及び第４画像メモリ領域２１１からのそれぞれの再生画像データを切り替え、表示機器（例えば、テレビモニタ）の同期信号に合わせて表示画像データとして出力する。
【００８３】
画像メモリ領域管理手段２０６は、第１画像メモリ領域２０８、第２画像メモリ領域２０９、第３画像メモリ領域２１０、及び第４画像メモリ領域２１１のうちいずれの画像メモリ領域に、Ｉピクチャ、Ｐピクチャ、及びＢピクチャのうちいずれのタイプの画像データが蓄積されているか、また、ＧＯＰ中のどの順序で表示すべき画像か、また、現在表示中の領域は何処かを管理しており、前記復号化手段２０３による復号化画像データをどの領域に格納するか、さらには、次に表示可能な画像メモリ領域はどれであるのかを判断している。
【００８４】
順方向通常再生時は、以上に述べた構成により動画像の再生を行い、図６に示すように、Ｂピクチャを復号するのに参照画像データとして必要なＩピクチャとＰピクチャが、第１、第２、及び第３画像メモリ領域に格納され、Ｂピクチャは第４画像メモリ領域に格納されることになる。
【００８５】
次に、逆方向再生動作について、図２、図７、及び図８を参照しながら説明する。
【００８６】
図７は、本発明の第２の実施形態による動画像復号化装置で逆方向再生を行う場合の、再生画像メモリ２０４中の第１画像メモリ領域２０８、第２画像メモリ領域２０９、第３画像メモリ領域２１０、及び第４画像メモリ領域２１１に蓄積されている復号化画像データのピクチャタイプと、表示出力のピクチャタイプの遷移状態を表している。
【００８７】
図８は、本発明の第２の実施形態による動画像復号化装置で逆方向再生を行う再生モード切替制御を示すフローチャートである。
まず、再生モード切替手段２０７に、例えばリモコンなどから順方向通常再生から逆方向再生への再生モード切替が入力されると、再生モード切替手段２０７は、前記復号化手段２０３と前記画像メモリ領域管理手段２０６に再生モード切替信号を出力する（Ｓ８０１）。
【００８８】
ここで、画像メモリ領域管理手段２０６は、図６に示すように、順方向再生時には常に、３画面分のＩピクチャ、もしくはＰピクチャの復号化画像データが再生画像メモリ２０４内に蓄積されるように制御している。
【００８９】
次に、復号化手段２０３は、再生モード切替信号の入力により直ちに現在行っている復号化処理を停止し、逆方向再生のために符号化データ入力待ちの状態になる（Ｓ８０２）。
【００９０】
画像メモリ領域管理手段２０６は、再生モード切替信号の入力により直ちに、現在表示中の画像情報から逆方向再生順で次に表示すべき画像が再生画像メモリ２０４中に有るか否か判断する（Ｓ８０３）。次に表示すべき画像データが再生画像メモリ２０４中にあれば（Ｙｅｓ）、次の表示タイミングで表示データ領域信号を表示領域管理手段２０５に出力してその画像を表示出力する（Ｓ８０６）。
【００９１】
Ｓ８０３において判断した結果、次に表示すべき画像データが再生画像メモリ２０４中にない場合、画像メモリ領域管理手段２０６は、次に表示すべき画像の復号化処理のために必要な符号化データ要求をＧＯＰデータ要求信号としてストリーム入力手段２０１に出力する。例えば、図４の第１の実施形態で説明したように、復号化画像データ'Ｂ13Dを表示中に逆方向再生モードへの切り替えが発生した場合、次に表示すべき復号化画像データ'Ｂ12Dは再生画像メモリ２０４中にないので、ストリーム入力手段２０１対して符号化データ'Ｂ12Eを含むＧＯＰのデータを転送するようにＧＯＰデータ要求信号を出力する。
【００９２】
また、次に表示すべき画像データが再生画像メモリ２０４中にない場合、画像メモリ領域管理手段２０６は、表示すべき画像がＢピクチャであるか否か判断する（Ｓ８０９）。
【００９３】
ここで、復号化画像データ'Ｂ13Dを表示中に逆方向再生モードへの切り替えが発生した場合については、第１の実施形態において説明したので、別の例として図７に示すように、順方向再生モードにおいて復号化画像データ''Ｂ3Dを表示中に逆方向再生モードへの切り替えが発生した場合の逆方向再生動作について説明する。
【００９４】
（１）逆方向再生に切り替った時、次に表示すべき画像、すなわち復号化画像データ''Ｂ3Dの１つ前に表示した復号化画像データ''Ｉ2Dは第２画像メモリ領域２０９中に蓄積されているので（Ｓ８０３で判断「Ｙｅｓ」）、次の表示タイミングに表示画像データとして表示出力するように、画像メモリ領域管理手段２０６が表示データ領域信号を表示領域切替手段２０５に出力する（Ｓ８０４）。
【００９５】
ここで、第１画像メモリ領域２０８から第４画像メモリ領域２１１の中に、現在表示中の復号化画像データ''Ｂ3Dよりも順方向の表示順で後に表示すべき復号化画像データ''Ｐ5Dが蓄積されているが、このデータは表示の必要がなくなったので、画像メモリ領域管理手段２０６は、符号化画像データ''Ｐ5Dを蓄積している第３画像メモリ領域２１０のデータを無効化する。
【００９６】
（２）次に、復号化画像データ''Ｉ2Dの表示の次に表示すべき、すなわち復号化画像データ''Ｂ3Dの２つ前に表示した復号化画像データ''Ｂ1Dは、再生画像メモリ２０４中のどの領域にも蓄積されていないので（Ｓ８０５で判断「Ｎｏ」）、新たに符号化データ''Ｂ1Eを復号しなければならない（Ｓ８０９で判断「Ｙｅｓ」）。符号化データ''Ｂ1Eの復号に必要な参照画像データ''Ｉ2Dと'Ｐ14Dはそれぞれ、第２画像メモリ領域２０９と第１画像メモリ領域２０８に蓄積されているので（Ｓ８１０で判断「Ｙｅｓ」）、画像メモリ領域管理手段２０６から符号化データ''Ｂ1Eを含むＧＯＰデータの転送要求をＧＯＰデータ要求信号としてストリーム入力手段２０１に出力する。
【００９７】
復号化手段２０３は、符号化データ''Ｂ1Eが入力されるまでデータを読み飛ばし、再生画像メモリ２０４から転送される参照画像データ''Ｉ2Dと'Ｐ14Dを用いて符号化データ''Ｂ1Eのみの復号化を行い（Ｓ８１３）、画像メモリ領域管理手段２０６によってデータ無効化した第３画像メモリ領域２１０に復号化画像データ''Ｂ1Dを格納し（Ｓ８１６）、次の表示タイミングに表示画像データとして表示出力するように、画像メモリ領域管理手段２０６が表示データ領域信号を表示領域切替手段２０５に出力する（Ｓ８１７）。
【００９８】
（３）復号化画像データ''Ｂ1Dの次に表示すべき、すなわち復号化画像データ''Ｂ3Dの３つ前に表示した復号化画像データ復号化画像データ''Ｂ0Dも、再生画像メモリ２０４中のどの領域にも蓄積されていない（Ｓ８０３で判断「Ｎｏ」、Ｓ８０９で判断「Ｎｏ」）。また、符号化データ''Ｂ0Dの復号に必要な参照画像データ''Ｉ2Dと'Ｐ14Dはそれぞれ、第２画像メモリ領域２０９と第１画像メモリ領域２０８に蓄積されているので（Ｓ８１０で判断「Ｙｅｓ」）、画像メモリ領域管理手段２０６から符号化データ''Ｂ0Eを含むＧＯＰデータの転送要求をGＧＯＰデータ要求信号としてストリーム入力手段２０１に出力する。
【００９９】
ここで、画像メモリ領域管理手段２０６は、表示出力が復号化画像データ''Ｉ2Dに遷移すると、第４画像メモリ領域２１１に蓄積されている復号化画像データ''Ｂ3Dが不要になったと判断し、復号化手段２０３に対して、画像メモリ領域信号を出力することによって第４画像データ領域２１１への復号化画像データの蓄積を許可する。
【０１００】
復号化手段２０３は、符号化データ''Ｂ1Eの復号化処理の後、符号化データ''Ｂ0Eが入力されるまでデータを読み飛ばし、再生画像メモリ２０４から転送される参照画像データ''Ｉ2Dと'Ｐ14Dを用いて符号化データ''Ｂ0Eのみの復号化を行い（Ｓ８１３）、画像メモリ領域管理手段２０６によって指示された第４画像メモリ領域２１１に復号化画像データ''Ｂ0Dを格納し（Ｓ８１６）、次の表示タイミングに表示画像データとして表示出力するように、画像メモリ領域管理手段２０６が表示データ領域信号を表示領域切替手段２０５に出力する（Ｓ８１７）。
【０１０１】
（４）復号化画像データ''Ｂ0Dの次に表示すべき復号化画像データ'Ｐ14Dは、第１画像メモリ領域２０８に現在蓄積されているので（Ｓ８０３で判断「Ｙｅｓ」）、復号化画像データ'Ｐ14Dを表示するまで第１画像メモリ領域２０８のデータを保持するように画像メモリ領域管理手段２０６によって管理する。
【０１０２】
（５）復号化画像データ'Ｐ14Dの次に表示すべき復号化画像データ'Ｂ13Dは、再生画像メモリ２０４中になく（Ｓ８０３で判断「Ｎｏ」、Ｓ８０９で判断「Ｙｅｓ」）、また、参照画像として必要な復号化画像データ'Ｐ11Dも再生画像メモリ２０４中にないため（Ｓ８１０で判断「Ｎｏ」）、画像メモリ領域管理手段２０６は、符号化データ'Ｐ11Eと'Ｂ13Eを含むＧＯＰデータの転送要求をＧＯＰデータ要求信号としてストリーム入力手段２０１に出力する（Ｓ８１１）。
【０１０３】
また、画像メモリ領域管理手段２０６は、表示出力が遷移するごとに再生画像メモリ２０４中の各画像メモリ領域の内容を確認し、不要になった領域を復号化手段２０３に対して通知していく。
【０１０４】
（６）復号化手段２０３は、符号化データ''Ｂ0Eの復号化処理の後、符号化データ'Ｂ13Eを復号化するために必要な参照画像として復号化画像データ'Ｐ11Dを準備するために、画像メモリ領域管理手段２０６から通知される使用可能な画像メモリ領域を用いて、符号化データ'Ｉ2E→'Ｐ5E→'Ｐ8E→'Ｐ11Dの順にＩピクチャとＰピクチャのみの復号化処理を行う（Ｓ８１２）。その後、再生画像メモリ２０４から転送される復号化画像データ'Ｐ11Dと'Ｐ14Dを参照画像として符号化データ'Ｂ13Eの復号化処理を行う（Ｓ８１３）。
【０１０５】
これ以降も同様にして、図８の再生モード切替制御を示すフローチャートに従って処理を行うと、図７に示すような等倍速の逆方向再生が実現できる。
【０１０６】
（第３の実施形態）
次に、本発明の第３の実施形態による動画像再生装置およびその方法について図３を参照して説明する。
【０１０７】
図３は、本発明の第３の実施形態による動画像再生装置のブロック図であり、その構成は、第１の実施形態の場合と同様のスタートコード検出手段３１２とバッファメモリ管理手段３１３を含むとともに、第２の実施形態の場合と同様の第１画像メモリ領域３０８、第２画像メモリ領域３０９、第３画像メモリ領域３１０、及び第４画像メモリ領域３１１を有する再生画像メモリ３０４と、画像メモリ領域管理手段３０６を含んでいる。
【０１０８】
これによって、第１及び第２の実施形態で述べたそれぞれの効果を同時に実現することができる。
【０１０９】
【発明の効果】
以上のように、本発明にかかる動画像復号化装置および方法によれば、順方向通常再生から逆方向再生に再生モードを切り替えた場合、従来の動画像復号化装置で課題であったように、逆方向再生の表示画面が遷移している間に、最低２フレームのブランク期間が発生したり、順方向再生から逆方向再生に表示が遷移するのに長い時間がかかるということはなく、すぐに逆方向再生表示に切り替わるという効果がある。
【０１１０】
また、逆方向再生中に画像が途切れたり、それを回避するのに同一画像を繰り返し表示することなく、表示画面を見ている者に違和感を与えるという従来の問題点を解決し、高品質で滑らかな等倍速の逆方向再生を実現できるという効果がある。
【図面の簡単な説明】
【図１】 本発明の第１の実施形態による動画像復号化装置のブロック図
【図２】 本発明の第２の実施形態による動画像復号化装置のブロック図
【図３】 本発明の第３の実施形態による動画像復号化装置のブロック図
【図４】 本発明の第１の実施形態での再生画像メモリ内容及び表示出力を示す逆方向再生遷移図
【図５】 本発明の第１の実施形態による逆方向再生動作を示す再生モード切替制御のフローチャート
【図６】 本発明の第２の実施形態での再生画像メモリ内容及び表示出力を示す順方向再生遷移図
【図７】 本発明の第２の実施形態での再生画像メモリ内容及び表示出力を示す逆方向再生遷移図
【図８】 本発明の第２の実施形態による逆方向再生動作を示す再生モード切替制御のフローチャート
【図９】 ＭＰＥＧ方式の符号化データ構成図
【図１０】 従来の動画像復号化装置のブロック図
【図１１】 従来構成での再生画像メモリ内容及び表示出力を示す順方向再生遷移図
【図１２】 従来構成での再生画像メモリ内容及び表示出力を示す逆方向再生遷移図
【符号の説明】
１０１、２０１、３０１ ストリーム入力手段（データ先頭転送手段）
１０２、２０２、３０２ バッファメモリ
１０３、２０３、３０３ 復号化手段
１０４、２０４、３０４ 再生画像メモリ
１０５、２０５、３０５ 表示領域切替手段
１０６、２０６、３０６ 画像メモリ領域管理手段
１０７、２０７、３０７ 再生モード切替手段
１０８、２０８、３０８ 第１画像メモリ領域
１０９、２０９、３０９ 第２画像メモリ領域
１１０、２１０、３１０ 第３画像メモリ領域
１１１、３１２ スタートコード検出手段
１１２、３１３ バッファメモリ管理手段（データ先頭管理手段）
２１１、３１１ 第４画像メモリ領域
Claims (2)
- 所定単位のシーケンスに従った符号化データを蓄積するバッファメモリと、該バッファメモリからの符号化データを復号化処理する復号化手段と、該復号化手段による復号化画像データを画像メモリ領域毎に複数画面分蓄積する再生画像メモリと、前記再生画像メモリ中に蓄積された復号化画像データのうち再生画像データとして表示出力すべき復号化画像データを選択し、再生画像データの出力切り替えを制御する表示領域切替手段とを備えた動画像復号化装置において、
前記符号化データから、前記所定単位毎の画像についての符号化タイプ情報と表示順序情報を含む特定コードパターンを検出しコード検出信号として出力するスタートコード検出手段と、
前記スタートコード検出手段からのコード検出信号と前記バッファメモリからの格納アドレス信号を受け、前記符号化データを前記バッファメモリに蓄積する場所を管理するための管理情報を得て、該管理情報に従って前記バッファメモリを制御して、前記符号化データを前記所定単位で前記復号化手段へと転送させ、また前記バッファメモリ内の前記符号化データを削除させるバッファメモリ管理手段と、
順方向通常再生時には、前記所定単位のシーケンスで連続している符号化データのうちフレーム内予測符号化画像データと前方向予測符号化画像データの復号化画像データを、復号化順で常に、前記画像メモリ領域のうちの３つ以上に蓄積するように、また逆方向再生時には、前記フレーム内予測符号化画像データと前記前方向予測符号化画像データの復号化画像データが蓄積されている前記画像メモリ領域のうちのいずれかに、表示順序に応じて、双方向予測符号化画像データの復号化画像データを蓄積するように、前記各画像メモリ領域でのデータ蓄積内容を制御する画像メモリ領域管理手段を備えたことを特徴とする動画像復号化装置。 - 前記動画像復号化装置はさらに、前記バッファメモリ中に蓄積されている符号化データのうち符号化画像グループ毎の先頭データが蓄積されているアドレスを管理するデータ先頭管理手段と、前記画像メモリ領域管理手段からの先頭データ転送要求信号により、前記復号化手段に対して、前記符号化画像グループの前記先頭データから符号化データの転送を行うデータ先頭転送手段を備えたことを特徴とする請求項１に記載の動画像復号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32158399A JP4287558B2 (ja) | 1999-11-11 | 1999-11-11 | 動画像復号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32158399A JP4287558B2 (ja) | 1999-11-11 | 1999-11-11 | 動画像復号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001145111A JP2001145111A (ja) | 2001-05-25 |
| JP4287558B2 true JP4287558B2 (ja) | 2009-07-01 |
Family
ID=18134183
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32158399A Expired - Fee Related JP4287558B2 (ja) | 1999-11-11 | 1999-11-11 | 動画像復号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4287558B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4682759B2 (ja) | 2005-09-08 | 2011-05-11 | ソニー株式会社 | 再生装置、再生方法および再生プログラム |
| JP4710887B2 (ja) * | 2007-08-09 | 2011-06-29 | ソニー株式会社 | 画像処理装置、及び、画像処理装置の制御方法 |
-
1999
- 1999-11-11 JP JP32158399A patent/JP4287558B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001145111A (ja) | 2001-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3692642B2 (ja) | 画像符号化装置、画像符号化方法、画像復号化装置及び画像復号化方法 | |
| JP3825719B2 (ja) | 画像再生方法、画像再生装置、および画像記録装置 | |
| US5739862A (en) | Reverse playback of MPEG video | |
| JP3516450B2 (ja) | ビットストリームの伝送方法及び伝送システム | |
| JPH09200695A (ja) | 高速再生のためのビデオデータの復号化方法及びその装置 | |
| JP4010617B2 (ja) | 画像復号化装置及び画像復号化方法 | |
| JP4287558B2 (ja) | 動画像復号化装置 | |
| JP2002218472A (ja) | 可変画像レート復号化装置及び可変画像レート復号化方法 | |
| WO2001045402A1 (en) | Image reproducing method and image processing method, and image reproducing device, image processing device, and television receiver capable of using the methods | |
| JP4491918B2 (ja) | データ配信装置及び方法、データ配信システム | |
| JP4462559B2 (ja) | トリック再生用コンテンツ作成方法および装置、トリック再生用圧縮動画データ送出方法および装置、およびトリック再生用コンテンツ作成用プログラム | |
| JP3515565B2 (ja) | 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機 | |
| JP3535672B2 (ja) | 映像データ伝送装置及び映像データ伝送方法 | |
| JP3214160B2 (ja) | 画像再生装置及び画像復号装置 | |
| EP2015305A1 (en) | A device and method for smooth reverse playback of media | |
| JP3652994B2 (ja) | データ入出力装置 | |
| JP2006187037A (ja) | 画像再生方法 | |
| JP2009124521A (ja) | 映像再生装置 | |
| JP3594017B2 (ja) | ビットストリームの伝送方法及び伝送システム | |
| JP3321332B2 (ja) | 画像蓄積通信装置 | |
| JP2004064746A (ja) | 画像復号方法と装置、およびそれらを利用可能なテレビジョン受信装置 | |
| JP2003009157A (ja) | 動画像復号処理装置およびフレーム転送装置 | |
| JP3906862B2 (ja) | 画像符号化装置，画像符号化方法，画像復号化装置及び画像復号化方法 | |
| JP2000138929A (ja) | 高速画像入力変換装置 | |
| JPH09261630A (ja) | 圧縮画像データ処理方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061004 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080806 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081216 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090212 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090305 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090327 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120403 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |