JP4461303B2 - 動画復号化装置および動画復号化方法 - Google Patents

Description

本発明は、フレーム内符号化画像を参照画像としたフレーム間予測符号化画像の復号化処理装置およびその方法に関する。

特許文献１には、前段のイントラ復号部と、後段の動き補償復号部と、これらの復号部の間に存在するワークメモリ（ワーク領域として使用される記憶部）とを有し、ワークメモリを効率的に活用しながら、Ｐフレームを復号化する画像処理装置が開示されている。前段のイントラ復号部は、Ｐフレームの復号化に必要な参照画像（ＩフレームまたはＰフレーム）の復号化データを生成する。イントラ復号部から出力された参照画像の復号化データは、ワークメモリに一旦格納される。後段の動き補償復号部は、ワークメモリに格納された参照画像の復号化データを読み出し、これに基づいて、Ｐフレームの復号化データを順次生成する。Ｐフレームの復号化データは、ワークメモリに格納された参照画像の復号化データのうち、画像上における動きベクトル探索範囲の移動に伴い、この探索範囲のデータとして保持しておく必要がなくなったデータ上に順次上書きされる。参照画像の復号化データを格納するワークメモリをＰフレーム用の格納先として共用することで、Ｐフレーム用の格納先を別個に用意する必要がなくなるので、ワークメモリの省容量化を図ることができる。

また、特許文献２には、フレーム間予測符号化画像の復号化処理に直接関係するものではないが、逐次処理を基本とする復号器を複数用いて、復号処理を同時並行的に行う並列画像復号装置が開示されている。具体的には、入力ビットストリームは、各種ヘッダ類に含まれるピクチャ符号化情報と、ｎ個の分割ストリームとに分割される。ｎ個の分割画像復号部のそれぞれは、ピクチャ符号化情報を用いて分割ストリームを復号し、復号結果としての分割画像と、その分割画像の左上のマクロブロックの位置を示す分割画像位置情報とを出力する。画像結合部は、分割画像位置情報を用いて、ｎ個の分割画像を結合・出力する。

特開２００６−２１７１６６号公報 特開２００１−２１８２０１号公報

本発明の目的は、単位グループの各フレーム処理において、ワークメモリを時間軸上で効率的に活用しつつ、復号化速度の向上を図ることである。

また、本発明の別の目的は、単位グループの各フレーム処理において、単位グループ内のフレーム順序に起因した復号化速度の変動を抑制することである。

かかる課題を解決するために、第１の発明は、あるフレーム内符号化画像を共通の参照画像とした複数の連続したフレーム間予測符号化画像を主体に単位グループが構成された圧縮動画データを復号化する動画復号化装置を提供する。この復号化装置は、互いに並行して動作する第１および第２のデコーダを有する。第１のデコーダは、単位グループのそれぞれのフレーム処理において、複数の連続したフレーム間予測符号化画像の共通の参照画像となるフレーム内符号化画像の復号化をブロック単位で行うことによって、記憶部に格納すべき第１の復号化データを順次生成する。また、第２のデコーダは、単位グループのそれぞれのフレーム処理において、記憶部から読み出された第１の復号化データに基づいて、フレーム間予測符号化画像の復号化をブロック単位で行うことによって、記憶部に格納すべき第２の復号化データを順次生成する。そして、第１のデコーダは、前記共通の参照画像である前記フレーム内符号化画像の復号化を第２のデコーダよりも先行してフレーム処理毎に繰り返し行う。

ここで、第１の発明において、第１のデコーダの処理進捗を管理する調停部を設けることが好ましい。この調停部は、フレーム間予測符号化画像内の処理対象となるブロックに関して、このブロックに対応する動きベクトル探索範囲の復号化が終了したことを条件として、このブロックの復号化の開始を第２のデコーダに指示する。また、調停部は、単位グループのそれぞれのフレーム処理において、記憶部に格納された第１の復号化データのうち、フレーム内符号化画像上における動きベクトル探索範囲の移動に伴い、動きベクトル探索範囲のデータとして保持する必要がなくなったデータを、第２の復号化データに順次置き換えるようにしてもよい。

また、第１の発明において、第１のデコーダは、単位グループのそれぞれのフレーム処理において、第２のデコーダによる現在のフレームの処理が終了するよりも前に、当該現在のフレームとは別のフレームの処理を開始することが好ましい。

また、第１の発明において、動画復号化装置は、グラフィックＬＳＩであって、記憶部は、グラフィックＬＳＩに内蔵されたメモリであってもよい。

第２の発明は、あるフレーム内符号化画像を共通の参照画像とした複数の連続したフレーム間予測符号化画像を主体に単位グループが構成された圧縮動画データを復号化する動画復号化方法を提供する。この復号化方法は、単位グループのそれぞれのフレーム処理において、複数の連続したフレーム間予測符号化画像の共通の参照画像となるフレーム内符号化画像の復号化をブロック単位で行うことによって、第１の復号化データを順次生成する第１のステップと、単位グループのそれぞれのフレーム処理において、第１の復号化データに基づいて、フレーム間予測符号化画像の復号化をブロック単位で行うことによって、第２の復号化データを順次生成する第２のステップとを有する。第１の復号化データの生成および第２の復号化データの生成は並行してフレーム処理毎に繰り返し行われ、かつ、第１の復号化データの生成の方が第２の復号化データの生成よりも先行している。

ここで、第２の発明において、第２のステップは、第１の復号化データの生成進捗を管理するステップと、フレーム間予測符号化画像内の処理対象となるブロックに関して、このブロックに対応する動きベクトル探索範囲に関する第１の復号化データの生成が終了したことを条件として、このブロックに関する第２の復号化データの生成を開始するステップとを含んでいてもよい。

また、第２の発明において、第１のステップは、第１の復号化データを記憶部に順次格納するステップを含み、第２のステップは、記憶部に格納された第１の復号化データを読み出すステップと、記憶部に格納された第１の復号化データのうち、フレーム内符号化画像上における動きベクトル探索範囲の移動に伴い、動きベクトル探索範囲のデータとして保持する必要がなくなったデータを、第２の復号化データに順次置き換えるステップとを含んでいてもよい。

また、第２の発明において、第１のステップは、現在のフレームにおける第２の復号化データを生成が終了するよりも前に、次のフレームにおける第１の復号化データを生成を開始するステップを含んでいてもよい。

第１または第２の発明によれば、単位グループ内の各フレーム処理として、フレーム間予測符号化画像にとっての共通の参照画像であるフレーム内符号化画像の復号化が繰り返し実行される。したがって、フレーム内符号化画像の復号化データを複数フレームに亘ってワークメモリとしての記憶部に保持しておく必要がない。このような復号化データの保持に関する時間軸上での制約が解消された分だけ、記憶部を効率的に活用することが可能になる。また、第１および第２のデコーダによる並列処理を行うことで、第１のデコーダの処理の終了を待って第２のデコーダの処理を開始する逐次処理と比較して、単位グループ全体における処理速度の向上を図ることができる。さらに、単位グループ内のそれぞれのフレーム処理において、参照画像が単一のフレーム内符号化画像に共通化されているため、複数フレームに亘って参照画像を順番にトレースしていく必要がない。したがって、各フレームの処理に関して、単位グループ内におけるフレーム順序に起因した処理速度の変動を抑制できる。

（第１の実施形態）
［圧縮動画データのフォーマット］
まず、本実施形態に係る復号化処理に適した動画データの圧縮フォーマットについて説明する。図１は、時系列的に並んだ一連のフレームｆ１，ｆ２，ｆ３，・・によって構成された動画データの圧縮フォーマットの説明図である。動画データは、ＧＯＰ（Group of Picture）と呼ばれる単位グループの集合として規定されるが、それぞれのＧＯＰは、以下にその構成要件を示すように、標準化技術であるＭＰＥＧ等とは異なる特殊な圧縮フォーマット（データ構造）を有する。

（ＧＯＰの構成要件）
（１）複数の連続したフレーム間予測符号化画像を主体に構成されていること
ここで、「フレーム間予測符号化画像」とは、フレーム内符号化方法およびフレーム間予測符号化方法のいずれかを選択的に用いて、所定の処理単位毎に符号化されたフレームを指す。同図の例において、最初のＧＯＰ内のすべてのフレームｆ１〜ｆ５は、フレーム間予測符号化画像Ｓ１〜Ｓ５として符号化されている。本要件（１）により、基本的に、復号化時におけるＧＯＰの各フレーム処理として、フレーム間予測符号化画像Ｓ１〜Ｓ５の復号化が繰り返されることになる。

（２）各フレーム間予測符号化画像は、単一のフレーム内符号化画像を共通の参照画像とすること
ここで、「フレーム内符号化画像」とは、フレーム内符号化方式のみを用いて、所定の処理単位毎に符号化されたフレームを指す(以下、適宜「Ｉピクチャ」（Intra Picture）と略称する）。同図の例において、最初のＧＯＰ内の単一フレームｆ１は、フレーム内符号化画像Ｉ１として符号化されており、予測符号化画像Ｓ１〜Ｓ５は、フレーム内符号化画像Ｉ１を共通の参照元としている。また、フレームｆ１については、フレーム内符号化画像Ｉ１のみならず、フレーム間予測符号化画像Ｓ１も存在するが、前者は、フレーム間予測符号化画像Ｓ１〜Ｓ５の参照画像としての役割のみを担っている。換言すれば、フレーム内符号化画像Ｉ１は、復号化時に表示フレームとしては用いられない隠しフレームであり、これに代わる表示用フレームとして、フレーム間予測符号化画像Ｓ１が用いられる。本要件（２）は、復号化時に、後述するように、ＧＯＰの各フレーム処理としてフレーム内符号化画像Ｉ１の復号化を繰り返すことの必要条件となる。なお、本構成要件（２）との関係でいえば、フレーム内符号化画像Ｉ１を隠しフレームにすることは必須ではなく、表示用フレームとしてもよい。

（３）フレーム間予測符号化画像と、これらの参照画像は、同一のＧＯＰに属すること
同図の例において、フレーム間予測符号化画像Ｓ１〜Ｓ５と、これらの参照画像であるフレーム内符号化画像Ｉ１は、同一のＧＯＰに属する。本要件（３）により、それぞれのＧＯＰの独立性・編集性が担保される。

なお、同図の例では、ＧＯＰの先頭フレームｆ１をフレーム内符号化画像Ｉ１（参照画像）としているが、これ以外の任意のフレームｆ２〜ｆ５をフレーム内符号化画像化してもよい（ＭＰＥＧのように、ＧＯＰの先頭フレームをＩピクチャにすべきといった制限は存在しない）。特に、参照画像を隠しフレームとする場合、参照画像は元画像（フレームｆ１〜ｆ５）そのものである必要はなく、例えば、複数の元画像に基づき参照画像を生成するといった如く、元画像とは異なる参照画像を用いても構わない。また、あるＧＯＰにおけるフレームの時系列な並びにおいて、フレーム間予測符号化画像と、参照画像であるフレーム内符号化画像との前後関係は問わない。したがって、フレーム間予測画像は、前方参照および後方参照のどちらであっても構わない。この点が、一般にＰピクチャ（Predictive Picture）と呼ばれるフレーム間予測符号化画像とは異なるので、本明細書では、この特徴的なフレーム間予測符号化画像のことを適宜「Ｓピクチャ」（Seek-able Picture）と略称する。さらに、この圧縮フォーマットにおいて、一般にＢフレーム（Bidirectional Picture）と呼ばれる双方向予測符号化画像は存在しない。

［動画符号化手順］
つぎに、上述したようなフォーマットを有する圧縮動画データの生成手順について概略的に説明する。まず、処理対象となる原動画データ（ストリーム）にＧＯＰが設定される。例えば、ストリームを時系列的に分割することによって、ストリーム中に複数のＧＯＰを設定してもよいし、ストリーム全体を単一のＧＯＰとしてもよい。つぎに、それぞれのＧＯＰに関して、ＧＯＰ内の時系列的に並んだ一連のフレームの中から、所定の選択規則にしたがって、Ｉピクチャ化すべき単一フレームｆ１が選択される。この選択規則はどのようなものであってもよく、例えば、同図に示したようにＧＯＰの先頭フレームｆ１を選択してもよいし、フレーム間予測誤差の平準化の観点から略中央のフレームｆ３を選択してもよい。また、このような固定的な選択手法に代えて、例えば、ＧＯＰ内の画像の特性を考慮して、Ｉピクチャ化すべきフレームを動的に設定してもよいし、上述したようにフレームｆ１〜ｆ５とは異なる参照画像を生成することも可能である。そして、Ｉピクチャ化すべきフレームｆ１に関して、既知のフレーム内符号化方法（その具体的な手法は問わない）を適用し、ブロック単位で符号化することによって、フレーム内符号化画像Ｉ１、すなわち、Ｉピクチャの符号化データが生成される。

また、それぞれのＧＯＰに関して、ＧＯＰ内の時系列的に並んだ一連のフレームの中から、Ｓピクチャ化すべきフレームが特定される。Ｓピクチャ化すべきフレームは、少なくとも、Ｉピクチャ化される単一フレームを除いた複数フレームであるが、これにＩピクチャ化される単一フレーム自体を含めてもよい。ＧＯＰの全フレームをＳピクチャ化する場合はもとより、単一フレーム以外をＳピクチャ化する場合であっても、上述したＧＯＰの構成要件（１）は満たされるものとする。最初のＧＯＰを例に挙げると、先頭フレームｆ１を除いたフレームｆ２〜ｆ５のみをＳピクチャ化してもよいし、図１の例に示したように、先頭フレームｆ１を含めた全フレームｆ１〜ｆ５をＳピクチャ化してもよい。そして、Ｓピクチャ化すべき各フレームに関して、既知のフレーム内符号化方法および既知のフレーム間予測符号化方法（これらの具体的な手法問わない）のいずれかを選択的に適用し、ブロック単位で符号化することによって、フレーム間予測符号化画像、すなわち、Ｓピクチャの符号化データが生成される。周知のように、この符号化データは、符号化処理の最小単位となるブロック（画素ブロック）の動きベクトルと、Ｉピクチャの対応ブロック内における画像値との差分を表す差分情報とを含む。ＧＯＰの符号化データは、このようなＩピクチャおよび複数のＳピクチャによって構成される。また、この符号化データには、ＩピクチャＩ１が隠しフレームであることを特定するための情報が付加されており、具体的には、隠しフレームであるか否かを示すフラグがフレーム単位で付与されている。

［動画復号化装置］
図２は、動画復号化装置の一例としてのグラフィックＬＳＩのブロック構成図である。このグラフィックＬＳＩ１は、ＣＰＵやＲＯＭといった外部装置とのインターフェース２，３と、データ転送回路４と、動画復号化回路５と、メモリ６，７と、描画回路８と、表示回路９とを主体に構成されており、これらは内部バスを介して接続されている。ＣＰＵによって発行された実行情報（パラメータやコマンド等）は、ＣＰＵ Ｉ／Ｆ２を介してグラフィックＬＳＩ１内に取り込まれ、内部レジスタ（図示せず）に格納される。そして、このレジスタに格納された実行情報に基づいて、データ転送回路４や描画回路８等の制御が行われる。また、外付けのＲＯＭより読み出された圧縮画像データは、ＲＯＭ Ｉ／Ｆ３を介してグラフィックＬＳＩ１内に入力データとして取り込まれ、適宜復号化された後に、ワークメモリ６に一旦格納される。入力データが可逆圧縮データ（キャラクタ等の静止画）の場合、入力データは、ＲＯＭ Ｉ／Ｆ３によってデータ転送回路４に転送された後、データ転送回路４による復号化処理を経て、ワークメモリ６に転送される。これに対して、入力データが非可逆圧縮データ（動画）の場合、入力データは、ＲＯＭ Ｉ／Ｆ３によって動画復号化回路５に転送され、動画復号化回路５による復号化処理を経て、ワークメモリ６に転送される。描画回路８は、ワークメモリ６に格納されたデータを読み出し、レジスタより読み出された実行情報に応じた描画処理を行った上で、処理後のデータをフレームメモリ７に書き込む。表示回路９は、外部の表示装置であるＬＣＤの表示走査と同期して、フレームメモリ７に格納されたデータを読み出し、これをＬＣＤに出力する。

図３は、動画復号化回路５のブロック構成図である。この動画復号化回路５は、一対のデコーダ５ａ，５ｂと、調停部５ｃとを有する。第１のデコーダ５ａは、処理対象となる圧縮動画データの一部であるＩピクチャの符号化データに基づいて、Ｉピクチャの復号化データをブロック単位で順次生成する。生成されたＩピクチャの復号化データは、ワークメモリ６に順次格納される。一方、第２のデコーダ５ｂは、ワークメモリ６より読み出されたＩピクチャの復号化データと、圧縮動画データの一部であるＳピクチャの符号化データとに基づいて、Ｓピクチャの復号化データをブロック単位で順次生成する。最終的な復号化出力となるＳピクチャの復号化データは、ワークメモリ６に順次格納される。

本実施形態では、ＧＯＰにおける各フレーム処理において、第１のデコーダ５ａおよび第２のデコーダ５ｂを互いに並列して動作させる。その際、動きベクトルの探索範囲との関係上、第１のデコーダ５ａの処理を第２のデコーダ５ｂの処理よりも先行させる必要がある。そこで、調停部５ｃは、第１のデコーダ５ａの処理進捗、換言すれば、Ｉピクチャの復号化データの生成進捗を管理する。この点について説明すると、第１のデコーダ５ａは、カウンタを内蔵しており、自己が処理するブロックの推移に伴い、カウント値を順次カウントアップする。画面サイズやブロックサイズ等は既知なので、処理済のブロック番号を示すカウント値によって、画面上の処理済領域が一義的に特定される。調停部５ｃは、このカウント値をモニタリングすることによって、第１のデコーダ５ａの処理進捗（どのブロックまで処理が完了したのか）を把握する。そして、調停部５ｃは、Ｓピクチャ内の処理対象となるブロックに関して、このブロックに対応する動きベクトル探索範囲の復号化（この復号化は第１のデコーダ５ａによって行われる）が終了していることを条件として、このブロックの復号化の開始を第２のデコーダ５ｂに指示する。

図４は、図１に示したフレームｆ１〜ｆ５によって構成された最初のＧＯＰに関する復号化処理のタイミングチャートである。以下、図５から図９を参照しながら、このＧＯＰに関する一連のフレーム処理について詳述する。一例として、ブロックのサイズを８×８画素、動きベクトル探索範囲のサイズを２４×２４画素（３×３ブロック）とする。以下、Ｉピクチャの処理単位となるブロックをＩブロックＩｂといい、Ｓピクチャの処理単位となるブロックをＳブロックＳｂという。また、これらの表記Ｉｂ，Ｓｂに付された添字は、画面上におけるブロックの位置を示す。一方、図５に示すように、フレーム内における各ブロックの処理は、ＬＣＤ等の線順次走査方向と同様に、左から右に向かう水平ラインを上から下に向かう順序で行われるものとする。さらに、ワークメモリ６には、本実施形態に係る復号化処理の作業用領域として、第１のワーク領域と、第２のワーク領域とが予め確保されている。第１のワーク領域は、少なくとも１フレーム分の画像データを保持可能なサイズを有する。この第１のワーク領域には、最終的には、Ｓピクチャの復号化データが格納されるが、その過程において、Ｉピクチャの復号化データが一時的に格納される。また、第２のワーク領域は、少なくとも（２水平ライン＋２）ブロック分の画像データを保持可能なサイズを有する。この第２のワーク領域には、第２のデコーダ５ｂによって生成され、かつ、第１のワーク領域に格納する前のＳピクチャの復号化データが一時的に格納される。

１フレームの処理が行われる最初の期間ｔ0〜ｔ3では、ＧＯＰの先頭フレームｆ１の復号化が行われる。まず、フレーム開始タイミングｔ0において、第１のデコーダ５ａは、ＩピクチャＩ１の復号化を開始する。図５に示すように、画面左上に位置するＩブロックＩｂ11を処理対象として、Ｉピクチャ符号化データに基づいてＩピクチャ復号化データが生成される。生成されたＩブロックＩｂ11の復号化データは、第１のワーク領域内の所定の格納先に格納される。この格納先は、ＩブロックＩｂ11と位置的に対応付けて予め設定されている。以後、処理順序に応じた処理対象の移動に伴い、Ｉピクチャ復号化データの生成と、第１のワーク領域への格納とが繰り返される。この段階では、Ｓピクチャの復号化を開始するのに必要な動きベクトル探索範囲のデータ（Ｉピクチャの復号データの一部）が未だ生成されていないので、第２のデコーダ５ｂは待機状態になっている。

その後、開始指示タイミングｔ1になると、調停部５ｃは、画面左上に位置するＳブロックＳｂ11に関する処理の開始を第２のデコーダ５ｂに指示する。この開始指示は、図６に示すように、最初のＳブロックＳｂ11に関して、これに対応する動きベクトル探索範囲ＳＲ11の復号化が終了していることを条件に行われる。この探索範囲ＳＲ11は、４つのＩブロック（Ｉｂ11，Ｉｂ21，Ｉｂ12，Ｉｂ22）によって構成されている。したがって、探索範囲ＳＲ11中でもっとも遅く処理されるＩブロックＩｂ22の処理が少なくとも終了していることを条件として、換言すれば、第１のデコーダ５ａの処理が少なくとも（１水平ライン＋２）ブロックだけ先行したことを条件として、第２のデコーダ５ｂの処理が開始される。

ＳブロックＳｂ11がフレーム内符号化方法によって符号化されたイントラブロックの場合、探索範囲ＳＲ11内のデータを用いることなく、Ｉピクチャ符号化データのみに基づいて、このＳブロックＳｂ11が復号化される。これに対して、ＳブロックＳｂ11がフレーム間予測符号化方法によって符号化されたインターブロックの場合、探索範囲ＳＲ11内の、Ｓピクチャ符号化データの一部である動きベクトルによって指定された領域のデータが第１のワーク領域より読み出される。そして、この読み出された復号化データと、Ｓピクチャ符号化データの一部である差分情報とに基づいて、ＳブロックＳｂ１１が復号化される。

ＳブロックＳｂ11に復号化によって生成された復号化データは、最終的には、第１のワーク領域内におけるＩブロックＩｂ11の復号化データの格納先に格納される。しかしながら、現時点では、この格納先への格納は禁止されている。なぜなら、ＩブロックＩｂ11の復号化データは、後の処理対象の復号化の際にも使用され得るからである。それゆえに、ＩブロックＩｂ11の復号化データが不要になるまでの間、ＳブロックＳｂ11の復号化データは、第２のワーク領域に一時的に格納される。以後、調停部５ｃによる制御の下、第１のデコーダ５ａと並行して動作する第２のデコーダ５ｂは、処理順序に応じた処理対象の移動に伴い、Ｓピクチャ復号化データの生成と、第２のワーク領域への格納とを繰り返す。

図７は、タイミングｔ2におけるワークメモリ６の使用状態を示す図である。Ｓピクチャの復号化はＳブロックＳｂ12まで終了している。また、Ｉピクチャの復号化は、これよりも（１水平ライン＋２）ブロック分だけ先行した、ＩブロックＩｂ33まで終了している。このような状態、すなわち、動きベクトル探索範囲ＳＲ22のデータが生成済であることを条件として、第２のデコーダ５ｂは、ＳブロックＳｂ22の復号化を開始する。ここで留意すべきは、探索範囲ＳＲ22内の左上に位置するＩブロックＩｂ11の復号化データを必要とするのは、ＳブロックＳｂ22が最後であり、これ以降のＳブロックＳｂ32，Ｓｂ43，・・・では不要になるという点である。したがって、図８に示すように、ＳブロックＳｂ22の処理が終了したタイミングｔ2'で、第２のワーク領域に格納されているＳブロックＳｂ11の復号化データが読み出されるとともに、第１のワーク領域に格納されているＩブロックＩｂ11の復号化データ（不要データ）がこれに置き換えられる。また、図９に示すように、この置き換えが終了したタイミングｔ2''で、第２のワーク領域内のＳブロックＳｂ11の復号化データが、第２のデコーダ５ｂから出力されたＳブロックＳｂ22の復号化データに置き換えられる。それとともに、第２のデコーダ５ｂと並列動作している第１のデコーダ５ａから出力されたＩブロックＩｂ34の復号化データが、第１のワーク領域に新たに格納される。以後、調停部５ｃは、処理順序に応じた処理対象の移動に伴い、以上のような不要データの置き換えを繰り返す。

先行する第１のデコーダ５ａの一連の処理は、画面右下のＩブロックＩｂの復号化を以て終了し、それ以降は、後追いの第２のデコーダ５ｂによる単独処理となる。そして、第２のデコーダ５ｂの一連の処理は、画面右下のＳブロックＳｂの復号化の終了を以て終了する。上述した調停部５ｃによるデータの置き換えにより、最終的に、第１のワーク領域には、１フレーム分のＳピクチャＳ１の復号化データが格納される。そして、このＳピクチャの復号化データは、フレーム終了タイミングｔ3に至る前に読み出され、後段の描画回路８に出力される。

なお、ＳピクチャＳ１の復号化の過程で生成されるＩピクチャＩ１の復号化データは、第１のワーク領域に随時格納されるものの、最終的には、調停部５ｃによるデータの置き換えによって消去される。その結果、最初のフレームｆ１の表示フレームとして、ＩピクチャＩ１（隠しフレーム）は使用されず、これに代わって、ＳピクチャＳ１が使用されることになる。表示フレームとしてＩピクチャＩ１が使用されない点については、２番目以降のフレーム処理においても同様である。

２番目のフレーム処理では、上述した先頭フレーム処理と同様の手順で、ＩピクチャＩ１の復号化データの生成と、ＳピクチャＳ２の復号化データの生成とが並行して行われ、かつ、前者のデータ生成の方が後者のデータ生成よりも先行して行われる。これにより、先頭フレーム処理で第１のワーク領域に格納されたＳピクチャＳ１の復号化データは、順次、ＩピクチャＩ１の復号化データに置き換えられた後、最終的には、本フレームの最終的な出力であるＳピクチャＳ２の復号化データに置き換えられる。以下同様に、３番目のフレーム処理では、ＩピクチャＩ１およびＳピクチャＳ３、４番目のフレーム処理では、ＩピクチャＩ１およびＳピクチャＳ４、最後のフレーム処理では、ＩピクチャＩ１およびＳピクチャＳ５の復号化がそれぞれ並行に実行される。

このように、本実施形態では、フレーム間予測符号化画像を復号化する際に、第１のデコーダ５ａおよび第２のデコーダ５ｂを並行して動作させ、かつ、第２のデコーダ５ｂによるフレーム間予測符号化画像の復号化よりも第１のデコーダ５ａによるフレーム内符号化画像の復号化の方を先行させる。このような並列処理を行うことで、フレーム内符号化画像全体の復号化の終了を待ってフレーム間予測符号化画像の復号化を開始する逐次処理と比較して、処理速度の向上を図ることができる。なお、この効果のみに着目した場合、フレーム間予測符号化画像は、上述したＳピクチャに限定されるものではなく、通常のＰピクチャであっても構わない。

また、Ｉピクチャを共通の参照画像とした複数の連続したＳピクチャを主体にＧＯＰを構成した場合、ＧＯＰの各フレーム処理において、ワークメモリ６を時間軸上で効率的に活用できる。Ｓピクチャの処理に必要なＩピクチャの復号化データは、各フレーム処理でその都度新たに生成される。これにより、Ｉピクチャの復号化データを複数フレームに亘ってワークメモリ６に保持しておく必要がなくなり、復号化データの保持に関する時間軸上での制約が解消される。

その際、ワークメモリ６におけるＩピクチャの格納先（第１のワーク領域）をＳピクチャの格納先として共用すれば、復号化処理に必要なワーク領域は１フレーム＋α（αは第２のワーク領域分）で済む。これにより、ワークメモリ６を時間軸上で効率的に活用しつつ、ワークメモリ６の省容量化をも図ることができる。ただし、本発明は、第１のワーク領域の共用化を必須の構成要件とするものではなく、Ｉ，Ｓピクチャそれぞれの格納先を完全に分離した形態であっても適用可能である。

また、Ｉピクチャを共通の参照画像とした複数の連続したＳピクチャを主体にＧＯＰを構成し、ＧＯＰの各フレーム処理において、第１および第２のデコーダ５ａ，５ｂによる並列処理を行う場合には、逐次処理と比較して、ＧＯＰ全体における処理速度の向上を図ることができる。

さらに、ＧＯＰの各フレーム処理において、Ｓピクチャの参照画像がＩピクチャに共通化されているため、複数フレームに亘って参照画像を順番にトレースしていく必要がない。したがって、ＧＯＰ内におけるＳピクチャのフレーム順序に関わりなく、Ｓピクチャの処理は、参照画像の復号化およびＳピクチャ自体の復号化という２つのステップ（これらのステップは並行して行われる）で済む。その結果、ＧＯＰ内におけるフレーム順序に起因したＳピクチャの復号化処理速度の変動を有効に抑制できる。

なお、本実施形態は、特に、復号化処理における演算量の増大よりもワーク領域の省容量化を重視すべきシステム、例えば、容量的な制限を伴う内蔵メモリをワーク領域として使用するグラフィックＬＳＩ等への適用が有効である。なお、この点は、後述する各実施形態についても同様である。

（第２の実施形態）
上述した第１の実施形態では、現在のフレームにおけるＩピクチャＩ１の復号化の終了と、次のフレームにおけるＩピクチャＩ１の復号化の開始との間に、第１のデコーダ５ａの待機状態が生じていた。これに対して、本実施形態の特徴は、第１のデコーダ５ａを待機させることなく、現在のフレームとは別のフレームの処理を開始・実行させる点である。図１０は、第２の実施形態に係る復号化処理のタイミングチャートである。第１のデコーダ５ａは、ＧＯＰの各フレーム処理において、第２のデコーダ５ｂによる現在のフレームの処理が終了するよりも前に、次のフレームの処理を開始する。なお、このような同じストリーム内における次フレームの処理に代えて、この期間内で、異なるストリームのフレームの処理をパイプライン的に行ってもよい。

本実施形態によれば、上述した第１の実施形態と比較して、復号化時における全体的な処理効率の向上を図ることができる。

（第３の実施形態）
上述した第１の実施形態では、図１に示したように、ＧＯＰ内の全フレームをＳピクチャとし、これらの共通の参照画像となるＩピクチャを隠しフレームとした。これに対して、本実施形態の特徴は、Ｉピクチャを隠しフレームとせず、表示フレームとして用いる点である。

図１１は、第３の実施形態に係る復号化処理の説明図である。最初のＧＯＰに関して、中間のフレームｆ３をＩピクチャＩ３として符号化する。これ以外のフレームｆ１，ｆ２，ｆ４，ｆ５については、ＩピクチャＩ３を共通の参照画像としたＳピクチャＳ１，Ｓ２，Ｓ４，Ｓ５として符号化する。この場合、フレームｆ１，ｆ２，ｆ４，ｆ５の復号化に関しては、上述した第１の実施形態と同様に、Ｉピクチャの復号化と、Ｓピクチャの復号化とが並行に行われる。

一方、フレームｆ３の復号化に関しては、Ｉピクチャの復号化のみが単独で行われる。この場合、復号化すべきＳピクチャが存在しないので、第１のワーク領域に格納されたＩピクチャＩ３の復号化データは、他のデータに置き換えられることなく保持され、所定のタイミングで後段の描画回路８に出力される。これにより、フレームｆ３の表示フレームとして、ＩピクチャＩ１が使用されることになる。

本実施形態によれば、隠しフレームを使用しない分だけ、上述した第１の実施形態と比較して、圧縮動画データ量を低減することができる。

第１の実施形態に係る圧縮動画データのフォーマットの説明図 グラフィックＬＳＩのブロック構成図 動画復号化回路のブロック構成図 復号化処理のタイミングチャート タイミングｔ0直後におけるワークメモリの使用状態を示す図 タイミングｔ1におけるワークメモリの使用状態を示す図 タイミングｔ2におけるワークメモリの使用状態を示す図 タイミングｔ2'におけるワークメモリの使用状態を示す図 タイミングｔ2''におけるワークメモリの使用状態を示す図 第２の実施形態に係る復号化処理のタイミングチャート 第３の実施形態に係る復号化処理の説明図

符号の説明

１ グラフィックＬＳＩ
２ ＣＰＵ Ｉ／Ｆ
３ ＲＯＭ Ｉ／Ｆ
４ データ転送回路
５ 動画復号化回路
６ ワークメモリ
７ フレームメモリ
８ 描画回路
９ 表示回路
５ａ 第１のデコーダ
５ｂ 第２のデコーダ
５ｃ 調停部

Claims (9)

1. あるフレーム内符号化画像を共通の参照画像とした複数の連続したフレーム間予測符号化画像を主体に単位グループが構成された圧縮動画データを復号化する動画復号化装置において、
   前記単位グループのそれぞれのフレーム処理において、前記複数の連続したフレーム間予測符号化画像にとっての共通の参照画像である前記フレーム内符号化画像の復号化をブロック単位で行うことによって、記憶部に格納すべき第１の復号化データを順次生成する第１のデコーダと、
   前記単位グループのそれぞれのフレーム処理において、前記第１のデコーダと並行して動作し、前記記憶部から読み出された前記第１の復号化データに基づいて、前記フレーム間予測符号化画像の復号化をブロック単位で行うことによって、前記記憶部に格納すべき第２の復号化データを順次生成する第２のデコーダとを有し、
   前記第１のデコーダは、前記共通の参照画像である前記フレーム内符号化画像の復号化を前記第２のデコーダよりも先行してフレーム処理毎に繰り返し行うことを特徴とする動画復号化装置。
2. 前記第１のデコーダの処理進捗を管理し、前記フレーム間予測符号化画像内の処理対象となるブロックに関して、当該ブロックに対応する動きベクトル探索範囲の復号化が終了したことを条件として、当該ブロックの復号化の開始を前記第２のデコーダに指示する調停部をさらに有することを特徴とする請求項１に記載された動画復号化装置。
3. 前記調停部は、前記単位グループのそれぞれのフレーム処理において、前記記憶部に格納された前記第１の復号化データのうち、前記フレーム内符号化画像上における前記動きベクトル探索範囲の移動に伴い、前記動きベクトル探索範囲のデータとして保持する必要がなくなったデータを、前記第２の復号化データに順次置き換えることを特徴とする請求項２に記載された動画復号化装置。
4. 前記第１のデコーダは、前記単位グループのそれぞれのフレーム処理において、前記第２のデコーダによる現在のフレームの処理が終了するよりも前に、当該現在のフレームとは別のフレームの処理を開始することを特徴とする請求項１から３のいずれかに記載された動画復号化装置。
5. 前記動画復号化装置は、グラフィックＬＳＩであって、
   前記記憶部は、前記グラフィックＬＳＩに内蔵されたメモリであることを特徴とする請求項１から４のいずれかに記載された動画復号化装置。
6. あるフレーム内符号化画像を共通の参照画像とした複数の連続したフレーム間予測符号化画像を主体に単位グループが構成された圧縮動画データを復号化する動画復号化方法において、
   前記単位グループのそれぞれのフレーム処理において、前記複数の連続したフレーム間予測符号化画像にとっての共通の参照画像である前記フレーム内符号化画像の復号化をブロック単位で行うことによって、第１の復号化データを順次生成する第１のステップと、
   前記単位グループのそれぞれのフレーム処理において、前記第１の復号化データに基づいて、前記フレーム間予測符号化画像の復号化をブロック単位で行うことによって、第２の復号化データを順次生成する第２のステップとを有し、
   前記第１の復号化データの生成および前記第２の復号化データの生成は並行してフレーム処理毎に繰り返し行われ、かつ、前記第１の復号化データの生成の方が前記第２の復号化データの生成よりも先行していることを特徴とする動画像復号化方法。
7. 前記第２のステップは、
   前記第１の復号化データの生成進捗を管理するステップと、
   前記フレーム間予測符号化画像内の処理対象となるブロックに関して、当該ブロックに対応する動きベクトル探索範囲に関する前記第１の復号化データの生成が終了したことを条件として、当該ブロックに関する前記第２の復号化データの生成を開始するステップと
   を含むことを特徴とする請求項６に記載された動画復号化方法。
8. 前記第１のステップは、
   前記第１の復号化データを記憶部に順次格納するステップを含み、
   前記第２のステップは、
   前記記憶部に格納された前記第１の復号化データを読み出すステップと、
   前記記憶部に格納された前記第１の復号化データのうち、前記フレーム内符号化画像上における前記動きベクトル探索範囲の移動に伴い、前記動きベクトル探索範囲のデータとして保持する必要がなくなったデータを、前記第２の復号化データに順次置き換えるステップと
   を含むことを特徴とする請求項６または７に記載された動画復号化方法。
9. 前記第１のステップは、
   現在のフレームにおける前記第２の復号化データを生成が終了するよりも前に、次のフレームにおける前記第１の復号化データを生成を開始するステップを含むことを特徴とする請求項６から８のいずれかに記載された動画復号化方法。

Images