JP4976780B2 - 再生装置 - Google Patents

Description

本発明は、画面内符号化及び画面間予測符号化を使って圧縮された圧縮映像データを復号化する映像復号化装置に関する。

近年、情報処理装置の処理速度の向上により音声又は映像等のデジタルデータを記録・再生する装置が多数開発されている。とりわけ最近では、外部記憶媒体に用いられるメモリカードやディスク媒体の大容量化・低価格化が進んでいることから、これらの記録媒体に動画や音声を記録・再生する機能を持つ機器が増えてきている。

たとえば、デジタルビデオカメラにおいても、テープ媒体のみではなく、メモリカードやディスク媒体への動画の記録・再生機能を有するものが広く出回っており、テープ媒体を用いないビデオカメラも登場してきている。このような機器で映像又は音声を記録する場合、通常はデータを圧縮することでデータ量の削減をはかっている。よく用いられる動画の圧縮符号化方式の規格にはＭＰＥＧ（Moving Picture Experts Group）で定めているＭＰＥＧ１、２がある。ＭＰＥＧ−１は、動画像信号を１．５Ｍｂｐｓまで圧縮し、ＭＰＥＧ−２では、動画像信号を２〜１５Ｍｂｐｓに圧縮する。

また、現在は、さらなる高画質化の要求をみたすべく、ＩＳＯ／ＩＥＣとＩＴＵの共同で次世代画面符号化方式として、Ｈ．２６４／ＭＰＥＧ−４ Ｐａｒｔ１０：ＡＶＣ（以下、単にＨ．２６４と称す）を標準化した。一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによってデータ量を圧縮する。そこで時間的な冗長性の削減を目的とするピクチャ間予測符号化では、前方又は後方のピクチャを参照してブロック単位で動きの検出及び予測画像の作成を行い、得られた予測画像と現在のピクチャとの差分値を符号化する。

図１３及び図１４を用いて、予測符号化における復号化時のピクチャの種類とその参照関係を説明する。図１３は、Ｈ．２６４の場合の参照関係例を示し、図１４は、ＭＰＥＧ２の場合の参照関係例を示す。

ピクチャＩ０のように、参照ピクチャをもたず復号化できる画像（フレーム又はフィールド、若しくはこれらの一部）を、Ｉピクチャと呼ぶ。また、ピクチャＰ３のように、１枚のピクチャのみを参照して復号化するものを、Ｐピクチャと呼ぶ。また、同時に２枚のピクチャを参照して符号化するものを、Ｂピクチャとする。

図１４に示すＭＰＥＧ２の例では、Ｐピクチャは、直前のＩピクチャ又はＰピクチャしか参照しない。Ｂピクチャは、直前直後のＩピクチャ又はＰピクチャしか参照しない。よって復号化に必要な参照用ピクチャは、復号化するピクチャのピクチャ・タイプ毎に判別可能な最大２枚となる。

一方、Ｈ．２６４の場合、図１３に示す例のように、各ピクチャは所定期間内のどのピクチャから参照しても良いことになっているので、簡単には判別不可能である。

このように、Ｈ．２６４では、柔軟な画面間予測を採用することで、符号化効率が向上している。一方、これを実現するため、Ｈ．２６４では、ＭＰＥＧ２に比べ、復号化されたピクチャを一時保存するための参照ピクチャ用メモリに、より多くの参照ピクチャを格納しなければならず、さらにこれらを表示順に並べ替えるために、より多くのメモリ容量と演算が必要となっている。

このような問題点に対して、参照関係を制御することで、参照ピクチャ用メモリに格納すべき画像を減らす構成が、特許文献１に記載されている。
特開２００５−２６０５８８号公報

しかし、なるべくメモリ容量を削減したい機器、例えば民生用携帯型のビデオカメラでは、参照ピクチャ用メモリを増設することはコストアップや装置の肥大化に繋がるので、なるべく抑えたい。

また、ビデオカメラの駆動源となるバッテリの消費の面からしても、なるべくメモリ容量を抑えて、そこに格納するデータ量も抑えた方がよい。さらに、特許文献１に記載の技術は、運動会のような動きの激しい被写体を撮影する用途に使われる民生用ビデオカメラには適していないと考えられる。

そこで、なるべくメモリ容量を使用せずに必要な参照ピクチャを格納することができれば、ビデオカメラによって大変に有用である。

一方、単純にメモリ容量を少なく設計しただけであるならば、自己録画のストリームなら、問題なく復号化できるが、例えば他機器で生成された複雑な参照関係を有するＨ．２６４のストリームが入力された場合、参照ピクチャ格納用メモリに必要な参照ピクチャが格納できず、復号化が破綻するという状況も起こりうる。すなわち、他の機器によって符号化された複雑又は長時間の参照関係を持ったＨ．２６４ストリームを復号化する状況を考えると、単純に格納可能な画像の枚数を減らした場合に、復号化が破綻する。

そこで、本発明は、上記問題点に鑑みてなされたものであり、参照ピクチャ格納用メモリのメモリ容量が少なくても、復号化の破綻を起こしにくい映像復号化装置を提供することを目的とする。

上記の目的を達成するために、本発明に係る再生装置は、Ｈ．２６４方式で圧縮された符号化データを再生する再生装置であって、参照ピクチャを参照して、当該符号化データを復号化する復号化手段と、当該復号化手段により復号化されたピクチャを一時記憶するピクチャメモリであって、後続の復号化で参照される当該参照ピクチャを格納する参照ピクチャ領域と、後続の復号化で参照されない非参照ピクチャを格納する非参照ピクチャ領域とを有するピクチャメモリと、当該復号化手段により復号化される当該符号化データが、当該参照ピクチャ領域の容量を超える参照ピクチャ数を必要とする映像ストリームであって、復号化に必要な参照ピクチャが当該ピクチャメモリ内に格納できない場合に、当該符号化データに含まれるＩＤＲ（Instantaneous Decoder Refresh）ピクチャから復号化をやり直すよう制御する復号化制御手段と、当該復号化制御手段によって当該ＩＤＲピクチャから復号化のやり直しを行ったことに応じて、当該復号化のやり直しの後に当該復号化手段により復号化されたピクチャについてはピクチャサイズを低減し、当該ピクチャサイズが低減されたピクチャを当該ピクチャメモリに供給するリサイズ手段とを具備することを特徴とする。

本発明に係る再生装置は、Ｈ．２６４方式で圧縮されたインターレース画像の符号化データを再生する再生装置であって、参照ピクチャを参照して、当該符号化データを復号化する復号化手段と、当該復号化手段により復号化されたピクチャを一時記憶するピクチャメモリであって、後続の復号化で参照される当該参照ピクチャを格納する参照ピクチャ領域と、後続の復号化で参照されない非参照ピクチャを格納する非参照ピクチャ領域とを有するピクチャメモリと、当該復号化手段により復号化される当該符号化データが、当該参照ピクチャ領域の容量を超える参照ピクチャ数を必要とする映像ストリームであって、復号化に必要な参照ピクチャが当該ピクチャメモリ内に格納できない場合に、当該符号化データに含まれるＩＤＲ（Instantaneous Decoder Refresh）ピクチャから復号化をやり直すよう制御する復号化制御手段と、当該復号化制御手段によって当該ＩＤＲピクチャから復号化のやり直しを行ったことに応じて、当該復号化のやり直しの後に当該復号化手段により復号化されたピクチャについては一方のフィールドを選択し、当該選択された一方のフィールドのみのピクチャを当該ピクチャメモリに供給するフィールド選択手段とを具備することを特徴とする。

本発明によれば、ＩＤＲピクチャから復号化のやり直しを行った後は、参照ピクチャを格納するピクチャメモリに保持できる参照ピクチャ数を増やすことができるので、参照ピクチャが格納されていないことによる復号化の破綻を起こしにくくすることができる。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明の一実施例の概略構成ブロック図である。再生装置１０は、コーデック１２、記録媒体１４、ピクチャメモリ１６、ＣＰＵ１８、表示装置２０、リサイズ装置２２及びアップコンバータ２４を具備する。コーデック１２は、Ｈ．２６４の画像圧縮方式でデジタル画像信号を圧縮符号化し、圧縮画像データを生成するエンコーダ（符号化装置）と、圧縮画像データを復号して、元の画像データを復元するデコーダ（復号化装置）からなる。

記録媒体１４は、不揮発性半導体メモリ、ＨＤＤ（Hard Disk Drive）等の磁気ディスク、又はＤＶＤ（Digital Versatile Disk）等に準拠する記録再生可能な光ディスクからなる。

ピクチャメモリ１６は、復号化された画像データ（ピクチャ）を一時的に記憶するメモリ、いわゆる復号化ピクチャバッファＤＰＢ（Decoded Picture Buffer）であり、図２に示すように、復号化で参照されるピクチャの画像データを格納する参照ピクチャ領域と、復号化で参照されないピクチャの画像データを格納する非参照ピクチャ領域とからなる。ＣＰＵ１８は、再生装置１０の全体を制御する。表示装置２０は例えばＬＣＤ（液晶表示パネル）からなる。

リサイズ装置２２は、ピクチャのサイズを小さくする、若しくは、データ又は画素を間引く装置であり、アップコンバータ２４は、逆にサイズ、データ又は画素を補充して元のサイズ、データ数又は画素数に戻す装置である。詳細は後述するが、本実施例では、参照ピクチャの数がピクチャメモリ１６の参照ピクチャ領域の容量を超える場合、各ピクチャのサイズを小さくする、即ち、画素を間引いてデータ量を半減する。これにより、実質的に、ピクチャメモリ１６の容量が２倍になる。そのままでは、画素数が少なくて表示に支障を来すので、表示出力のために、アップコンバータ２４が、ピクチャメモリ１６から読み出した表示用ピクチャの画素を補間する。

先ず、ピクチャメモリ１６の基本的な管理方法を説明する。Ｈ．２６４では、非常に複雑な参照関係を許容しているので、復号化された複数のピクチャをＤＰＢで管理する方法が規定されている。まず、復号化された画像データは、ピクチャ単位で、参照／非参照が指定される。ピクチャメモリ１６自体又はその参照ピクチャ領域に格納可能な参照ピクチャ数は有限であるので、新たに参照ピクチャをピクチャメモリ１６に格納するためには、既存の参照ピクチャをピクチャメモリ１６から削除しなければならない。その方法として、ピクチャメモリ内の参照可能ピクチャがある一定の枚数に達していたら、もっとも古いピクチャを非参照ピクチャ領域に移動又は削除する移動窓（Sliding Window）メモリ管理法と、管理コマンドを用いてピクチャメモリ１６の参照ピクチャ領域の任意のピクチャを非参照ピクチャ領域に移動又は削除する適応メモリ管理方法（ＭＭＣＯ）が知られている。

図３は、移動窓メモリ管理法によるピクチャメモリ１６の管理フローを示す。コーデック１２が、あるピクチャを復号化する（Ｓ１０）。ピクチャメモリ１６の参照ピクチャ領域内に空き領域があるか否かを判別する（Ｓ１１）。

参照ピクチャ領域に空き領域がなければ（Ｓ１１）、ピクチャメモリ１６の非参照ピクチャ領域内に空き領域があるか否かを判別する（Ｓ１２）。非参照ピクチャ領域にも空き領域がなければ（Ｓ１２）、最も早く表示される非参照ピクチャを削除し（Ｓ１３）、参照ピクチャ領域の最も古い参照ピクチャを非参照ピクチャ領域に移動する（Ｓ１４）。非参照ピクチャ領域に空き領域があれば（Ｓ１２）、参照ピクチャ領域の最も古い参照ピクチャを非参照ピクチャ領域に移動する（Ｓ１４）。最も古い参照ピクチャを非参照ピクチャ領域に移動することにより参照ピクチャ領域に空きができるので、復号化したピクチャを参照ピクチャ領域に格納する（Ｓ１５）。

また、参照ピクチャ領域に当初から空きがあれば（Ｓ１１）、復号化したピクチャを参照ピクチャ領域に格納する（Ｓ１５）。

図４は、適応メモリ管理法によるピクチャメモリ１６の管理フローを示す。コーデック１２が、あるピクチャを復号化する（Ｓ２０）。空き領域がピクチャメモリ１６の非参照ピクチャ領域内にあるか否かを判別する（Ｓ２１）。

非参照ピクチャ領域に空きがない場合（Ｓ２１）、最も早く表示される非参照ピクチャを非参照ピクチャ領域から削除し（Ｓ２２）、ＣＰＵ２０は、管理コマンドのＩＤを解析し、ＩＤに従ってピクチャメモリ１６の参照ピクチャ領域にある任意の参照ピクチャを解放し、復号化されたピクチャが参照ピクチャになる場合には、ピクチャメモリ１６の参照ピクチャ領域に格納する（Ｓ２３）。図１５は、管理コマンドとその動作の対応表を示す。ステップＳ２３では、管理コマンドのＩＤを解析し、ＩＤに従って参照ピクチャの格納と解放を実行する。図１５に示す表で、短時間参照ピクチャ及び長時間参照ピクチャとは、いずれもＨ．２６４において規定されている参照ピクチャの形態であって、短時間参照ピクチャはＦＩＦＯ的に機能するピクチャメモリ１６において所定の期間保持される通常的な参照ピクチャである。一方、前記短時間参照ピクチャをピクチャメモリ１６内に保持しつづけるように設定変更したものが長時間参照ピクチャであり、解除されるまで参照ピクチャとして使用可能となる。

非参照ピクチャ領域に空きがある場合（Ｓ２１）、ＣＰＵ２０は、管理コマンドを解析し、ピクチャメモリ１６の参照ピクチャ領域にある任意の参照ピクチャを解放し、復号化されたピクチャが参照ピクチャになる場合には、ピクチャメモリ１６の参照ピクチャ領域に格納する（Ｓ２３）。

図３及び図４に示す方法によるピクチャメモリ１６の管理は、参照ピクチャ数に対してピクチャメモリ１６の参照ピクチャ領域の容量が十分に大きいことを前提としている。しかし、ピクチャメモリ１６の参照ピクチャ領域の容量を超える参照ピクチャ数を必要とする映像を復号化する場合、復号化が破綻する。このような状況は、例えば、他の符号化装置で符号化された映像ストリームを復号化する場合に生じ得る。

本実施例では、図３又は図４に示すピクチャメモリ１６の管理によっても、復号化に必要な参照ピクチャをピクチャメモリ１６に格納できない場合に、ＣＰＵ１８が、復号化対象の映像ストリームからＩＤＲ（Instantaneous Decoding Refresh）ピクチャに達するまで、復号化対象の映像ストリームを引き込み直し、復号化をＩＤＲピクチャからやり直す。即ち、図５に示すように、ＣＰＵ１６は復号化に必要な参照ピクチャがピクチャメモリ１６内にあるか否かを判別する（Ｓ５０）。参照ピクチャがなければ（Ｓ５０）、復号化対象の映像ストリームからＩＤＲピクチャまでを引き直す（Ｓ５１）。Ｈ．２６４の規格では、ＩＤＲピクチャを越えてより過去のピクチャを参照することは禁止されているので、ＩＤＲピクチャから復号化を開始すれば、圧縮画像を復号できることが保証されているからである。

映像ストリームの引き直しの後、ＣＰＵ１８は、コーデック１２からの復号化された画像データを、リサイズ装置２２を介してピクチャメモリ１６に供給する。即ち、図６及び図７に示すフローのステップＳ１６，Ｓ２４のように、復号化されたピクチャのサイズ又は画素数をリサイズ装置２２で小さくする又は間引きして、ピクチャメモリ１６に格納する。図６は、リサイズ装置２２を利用する場合の、移動窓メモリ管理法によるピクチャメモリ１６の管理フローを示し、図７は、リサイズ装置２２を利用する場合の、適応メモリ管理法によるピクチャメモリ１６の管理フローを示す。以後の処理は、それぞれ、図３及び図４と同じであるので、説明を省略する。

また、ピクチャメモリ１６から表示用に読み出される画像データは、アップコンバータ２４により本来の画素数に戻されてから、表示装置２０に供給される。図８は、表示動作のフローチャートを示す。ピクチャメモリ１６から読み出された各ピクチャの画像データはアップコンバータ２４に印加され、アップコンバータ２４は、入力するピクチャのサイズを本来のサイズに戻す（Ｓ３０）。アップコンバータ２４の出力画像データは表示装置２０に印加され、表示装置２０は、アップコンバータ２４からの画像データの示す画像を表示する（Ｓ３１）。

リサイズ装置２２は、最初の引き直しに対しては、復号化画像データのサイズを１／２にし、アップコンバータ２４は、逆に、ピクチャメモリ１６からの各ピクチャのサイズを本来のサイズに戻す。リサイズ装置２２がピクチャサイズを１／２にしても、ピクチャメモリ１６で参照ピクチャ領域の容量が不足する場合、ＣＰＵ１８は、リサイズ装置２２におけるリサイズ率を１／４にする。このときにも、アップコンバータ２４がピクチャメモリ１６からの各ピクチャのサイズを本来のサイズに戻すように、ＣＰＵ１６はアップコンバータ２４の変換率を変更する。

図９は、ピクチャメモリ１６に格納可能なピクチャ数の変遷のイメージを示す。図９（ａ）は、最初にピクチャメモリ１６に格納可能なピクチャ数を示す。図９（ｂ）は、リサイズ装置２２によるリサイズ率が１／２である場合の、ピクチャメモリ１６に格納可能なピクチャ数を示す。図９（ｃ）は、リサイズ装置２２によるリサイズ率が１／４の場合の、ピクチャメモリ１６に格納可能なピクチャ数を示す。

図１０は、本発明の実施例２の概略構成ブロック図を示す。図１に示す実施例と同じ構成要素には同じ符号を付してある。この実施例では、参照ピクチャとして、インターレース信号の一方のフィールドのみを、参照ピクチャとしてピクチャメモリ１６に格納する。これにより、ピクチャメモリ１６の参照ピクチャ領域に、実質的に２倍の数のピクチャを格納できる。このために、再生装置１０ａには、ピクチャメモリ１６に格納すべきフィールドを選択するフィールド選択装置２６が追加される。

ＣＰＵ１８ａは、予め指定されるフィールドをフィールド選択装置２６にセットする。フィールド選択装置２６は、コーデック１２により復号化された画像データを、ピクチャメモリ１６の非参照ピクチャ領域に表示用に格納すると共に、復号化された画像データの内、参照に用いるフィールドのピクチャの画像データをピクチャメモリ１６の参照ピクチャ領域に格納する。

本実施例では、図３又は図４に示すピクチャメモリ１６の管理によっても、復号化に必要な参照ピクチャをピクチャメモリ１６に格納できない場合に、フィールド選択装置２６を使い、特定のフィールドの画像データを参照ピクチャとしてピクチャメモリ１６の参照ピクチャ領域に格納する。

図１１は、フィールド選択装置２６を利用する場合の、移動窓メモリ管理法によるピクチャメモリ１６の管理フローを示す。フィールド選択装置２６が、コーデック１２により復号化された画像データの内、参照に用いるフィールドのピクチャを選択し（Ｓ１６ａ）、そのフィールドの画像データをピクチャメモリ１６の参照ピクチャ領域に格納する（Ｓ１５ａ）。その他の箇所の動作は、図６と同じであるので、説明を省略する。

図１２は、フィールド選択装置２６を利用する場合の、適応メモリ管理法によるピクチャメモリ１６の管理フローを示す。図７のステップＳ２４に代えて、フィールド選択装置２６が、コーデック１２により復号化された画像データの内、参照に用いるフィールドのピクチャを選択する（Ｓ２４ａ）。そして、図７のステップＳ２３に代えて、ＣＰＵ１８ａが管理コマンドの解析結果に基づき不要な参照ピクチャを参照ピクチャ領域から削除するか又は非参照ピクチャ領域に移動し、フィールド選択装置２６が、そのフィールドの画像データをピクチャメモリ１６の参照ピクチャ領域に格納する（Ｓ２３ａ）。その他の箇所の動作は、図７と同じであるので、説明を省略する。

実施例２では、参照ピクチャの片フィールドのみをピクチャメモリ１６に格納するので、ピクチャメモリ１６の参照ピクチャ領域に実質、２倍のピクチャ数を収容できる。

本発明の実施例１の概略構成ブロック図である。 ピクチャメモリ１６の参照ピクチャ領域と非参照ピクチャ領域の模式図である。 移動窓メモリ管理法によるピクチャメモリの管理フローチャートである。 適応メモリ管理法によるピクチャメモリの管理フローチャートである。 ＩＤＲピクチャ引き込み動作のフローチャートである。 ＩＤＲピクチャ引き込み後の、移動窓メモリ管理法によるピクチャメモリの管理フローチャートである。 ＩＤＲピクチャ引き込み後の、適応メモリ管理法によるピクチャメモリの管理フローチャートである。 アップコンバータによる表示用ピクチャの処理フローチャートである。 本実施例によるピクチャメモリの収容可能なピクチャ数の変遷を示す模式図である。 本発明の実施例２の概略構成ブロック図である。 実施例２の、ＩＤＲピクチャ引き込み後の、移動窓メモリ管理法によるピクチャメモリの管理フローチャートである。 実施例２の、ＩＤＲピクチャ引き込み後の、適応メモリ管理法によるピクチャメモリの管理フローチャートである。 Ｈ．２６４の参照関係を示す図である。 ＭＰＥＧ２の参照関係を示す図である。 ステップＳ２３で参照する管理コマンドのＩＤと動作の対応表である。

符号の説明

１０，１０ａ 再生装置
１２ コーデック
１４ 記録媒体
１６ ピクチャメモリ
１８ ＣＰＵ
２０ 表示装置
２２ リサイズ装置
２４ アップコンバータ
２６ フィールド選択装置

Claims (2)

1. Ｈ．２６４方式で圧縮された符号化データを再生する再生装置であって、
   参照ピクチャを参照して、当該符号化データを復号化する復号化手段と、
   当該復号化手段により復号化されたピクチャを一時記憶するピクチャメモリであって、後続の復号化で参照される当該参照ピクチャを格納する参照ピクチャ領域と、後続の復号化で参照されない非参照ピクチャを格納する非参照ピクチャ領域とを有するピクチャメモリと、
   当該復号化手段により復号化される当該符号化データが、当該参照ピクチャ領域の容量を超える参照ピクチャ数を必要とする映像ストリームであって、復号化に必要な参照ピクチャが当該ピクチャメモリ内に格納できない場合に、当該符号化データに含まれるＩＤＲ（Instantaneous Decoder Refresh）ピクチャから復号化をやり直すよう制御する復号化制御手段と、
   当該復号化制御手段によって当該ＩＤＲピクチャから復号化のやり直しを行ったことに応じて、当該復号化のやり直しの後に当該復号化手段により復号化されたピクチャについてはピクチャサイズを低減し、当該ピクチャサイズが低減されたピクチャを当該ピクチャメモリに供給するリサイズ手段
   とを具備することを特徴とする再生装置。
2. Ｈ．２６４方式で圧縮されたインターレース画像の符号化データを再生する再生装置であって、
   参照ピクチャを参照して、当該符号化データを復号化する復号化手段と、
   当該復号化手段により復号化されたピクチャを一時記憶するピクチャメモリであって、後続の復号化で参照される当該参照ピクチャを格納する参照ピクチャ領域と、後続の復号化で参照されない非参照ピクチャを格納する非参照ピクチャ領域とを有するピクチャメモリと、
   当該復号化手段により復号化される当該符号化データが、当該参照ピクチャ領域の容量を超える参照ピクチャ数を必要とする映像ストリームであって、復号化に必要な参照ピクチャが当該ピクチャメモリ内に格納できない場合に、当該符号化データに含まれるＩＤＲ（Instantaneous Decoder Refresh）ピクチャから復号化をやり直すよう制御する復号化制御手段と、
   当該復号化制御手段によって当該ＩＤＲピクチャから復号化のやり直しを行ったことに応じて、当該復号化のやり直しの後に当該復号化手段により復号化されたピクチャについては一方のフィールドを選択し、当該選択された一方のフィールドのみのピクチャを当該ピクチャメモリに供給するフィールド選択手段
   とを具備することを特徴とする再生装置。

Images