JP4584871B2 - 画像符号化記録装置および画像符号化記録方法 - Google Patents

Description

本発明は、画像データを符号化して記録する画像符号化記録装置に関し、特に、Ｈ．２６４画像符号化方式で画像データを符号化して記録メディアに記録する画像符号化記録装置に関する。

デジタル画像技術の発展に伴い、増大するデータ量を処理するために、データを圧縮する技術がデジタル画像データに使用されて発展してきた。その発展は、画像データの特性を生かした、画像データに特化した圧縮技術となっている。コンピュータの情報処理能力の向上に伴い、圧縮技術における複雑な演算も可能となり、画像データの圧縮率は大幅に高められてきている。例えば、衛星、地上波デジタルハイビジョン放送で採用されている圧縮技術は、ＭＰＥＧ２と呼ばれる方式である。

ＭＰＥＧ２の次の画像圧縮技術として規格化されたＨ．２６４は、ＭＰＥＧ２の２倍前後の圧縮率を実現する規格である。Ｈ．２６４画像符号化方式は、直交変換と動き補償とをベースとしたハイブリッド画像符号化であるという点では従来のＭＰＥＧ符号方式と変わらない。しかしながら、符号化を構成する各要素の符号化ツールの自由度が高く、それらの累積効果で高い符号化効率を実現している。

図１５は、Ｈ．２６４の画像符号化を実現する装置の機能ブロック図である。図１５に示すように、Ｈ．２６４画像符号化装置は、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部１１、画像並び替えバッファ１２、マクロブロック分割部１３、差分処理部１４、直交変換部１５、量子化部１６、エントロピー符号化部１７、蓄積バッファ１８、逆量子化部１９、逆直交変換部２０、加算処理部２１、フレームメモリ２２、フレーム内予測部２３、フレーム間予測部２４、予測選択部２５、レート制御部２６を備えている。

Ｈ．２６４画像符号化装置に入力される映像信号は、Ａ／Ｄ変換部１１によって、アナログ信号から、輝度信号Ｙと色差信号ＣｂおよびＣｒとから構成されるデジタル映像信号に変換される。この映像信号の各フレームは、画像並び替えバッファ１２によって、図１６に示すように、入力された（あるいは表示される）ピクチャ順から、符号化されるピクチャ順に並べ替えられる。符号化されるピクチャ順は、符号化されるピクチャタイプＩ、Ｐ、ＢからなるＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）構造に応じて決まる。

なお、符号化ピクチャタイプにおけるＩピクチャとは、参照ピクチャを持たずに符号化対象ピクチャのみを用いてフレーム内予測（イントラ予測とも呼ぶ）の符号化を行うピクチャである。また、Ｐピクチャとは、既に処理済みの１枚のピクチャを参照してフレーム間予測（インター予測とも呼ぶ）の符号化を行うピクチャである。また、Ｂピクチャとは、既に処理済みの２枚以上のピクチャを同時に参照してフレーム間予測の符号化を行うピクチャである。

連続するピクチャ（フレームおよびフィールドの両者を包含する１つの符号化の単位）からなる動画像の各ピクチャは、４：２：０フォーマットのピクチャである場合、図１７に示すように、１個の輝度信号（Ｙ信号３１）と２個の色差信号（Ｃｂ信号３２、Ｃｒ信号３３）とで構成される。色差信号の画像サイズは、縦横とも輝度信号の１／２となる。

また、動画像の各ピクチャは、マクロブロックと呼ばれるブロックに分割され、マクロブロック単位で符号化される。マクロブロックは、図１８に示すように、１６×１６画素の１個のＹ信号ブロック４１と、Ｙ信号ブロック４１と空間的に一致する８×８画素のＣｂ信号ブロック４２およびＣｒ信号ブロック４３とで構成される（例えば、非特許文献１参照）。

入力された各ピクチャは、マクロブロック分割部１３によって入力マクロブロックに分割され、分割された入力マクロブロックは差分処理部１４に入力される。差分処理部１４は、入力マクロブロックの各画素について、フレーム内予測部２３あるいはフレーム間予測部２４で生成された予測マクロブロックの空間的に対応する各画素との間で差分処理を施し、差分マクロブロックを出力する。

差分マクロブロックは、直交変換部１５に入力され、複数の直交変換ブロックに周波数変換される。直交変換ブロックのサイズは、従来のＭＰＥＧ方式では８×８画素であるが、Ｈ．２６４では４×４画素が基本サイズである。

直交変換部１５は、図１９に示すように、２４個の４×４画素ブロック（５１−０から５１−１５、５２−０から５２−３、５３−０から５３―３）に差分マクロブロックを分割し、それぞれについて直交変換を行う。

量子化部１６は、レート制御部２６から入力された量子化パラメータに従って、各直交変換ブロック内の変換係数を量子化する。量子化された直交変換係数は、エントロピー符号化部１７に入力され、符号化（コード化）される。

エントロピー符号化部１７は、量子化された直交変換係数および後述する予測選択部２５によって選択された予測情報をコード化し、蓄積バッファ１８に供給する。蓄積バッファ１８は、蓄積したコードをストリームとして出力する。

量子化された直交変換係数は、エントロピー符号化部１７へ供給されると同時に、逆量子化部１９に入力される。逆量子化部１９は、レート制御部２６から入力される量子化パラメータに従って、量子化された直交変換係数を逆量子化する。これにより、直交変換ブロックが復元する。復元された直交変換ブロックは、逆直交変換部２０によって差分マクロブロックに復元される。復元された差分マクロブロックは、予測マクロブロックと共に加算処理部２１に入力される。

加算処理部２１は、復元された差分マクロブロックと予測マクロブロックの各画素に加算処理を施し、再生マクロブロックを生成する。この再生マクロブロックは、さらに予測処理に用いるためフレームメモリ２２に蓄積される。

前記の逆量子化部１９、逆直交変換部２０、加算処理部２１で行われる一連の処理はローカル復号化と呼ばれる。このローカル復号化には、復号側と同様の再生マクロブロックを生成する能力をもつ必要がある。

前記予測マクロブロックの予測方法には、フレーム内予測とフレーム間測の２種類がある。フレーム内予測は、フレーム内の符号化済み画素を用いて、マクロブロック内の画素を予測する方法である。Ｈ．２６４には、予測を行う単位として、２種類のブロックサイズ（４×４ブロックおよび１６×１６ブロック）が用意されている。

また、フレーム間予測は、符号化済みのピクチャ内の画素を用いてマクロブロック内の画素を予測する方法であり、フレーム間予測のタイプにはＰタイプとＢタイプがある。なお、符号化済みのピクチャ内の画素はフレームメモリ２２から読み出す。また、現在、符号化しようとしている対象のマクロブロックはマクロブロック分割部１３から出力されたマクロブロックである。具体的には、フレーム間予測は動き推定と動き補償からなる。動き推定は、符号化済みのピクチャ（参照ピクチャ）から対象マクロブロックの内容と似通った部分を検出し、そのときの動きベクトルを算出する。動き補償は、前記算出された動きベクトルと参照ピクチャから予測ブロックを生成する。Ｈ．２６４の動き推定では、動きベクトルを算出するブロックサイズが複数存在し、符号化済みの参照ピクチャと最も誤差が少なくなるブロックサイズを選択することができる。

予測選択部２５は、フレーム内予測部２３およびフレーム間予測部２４から予測された予測画像（予測マクロブロック）を原画マクロブロックと比較し、それらマクロブロック間の誤差がより少ない方の予測マクロブロックを選択する。

選択された予測タイプ（予測マクロブロック）は、差分処理部１４および加算処理部２１に出力される。また、選択された予測方式（フレーム内予測、フレーム間予測で選択された予測タイプ、動きベクトル、参照ピクチャ番号）などの予測情報はエントロピー符号化部１７に供給される。

ところで、Ｈ．２６４では、エントロピー符号化としてＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ：コンテキスト適応型２値算術符号化方式）が採用され、従来の可変長符号化より圧縮率の向上を実現している。ＣＡＢＡＣでの処理は、主に、多値データを２値データに変換する処理と、２値データに対してコンテキストを算出し算術符号化を行う処理とに分けられる。

コンテキストを算出し算術符号化を行う処理では、圧縮すべき符号ごとに現在の符号化対象や周囲の状況に応じて切り替わるコンテキストを抽出する。そして、抽出したコンテキストごとに２値化されたシンボルの０と１の発生確率の変更を行い、また算術符号化された値によって発生確率テーブルを更新する。このため、並列化処理や投機的な処理が難しく、処理を高速化するにはＣＡＢＡＣ処理そのものの動作（クロック）速度を上げる必要がある。

ここで、Ｈ．２６４のＣＡＢＡＣでは、マクロブロックの最大符号量は、４：２：０、ｂｉｔ_ｄｅｐｔｈ８ビットの場合、３２００ビットに制限されている。このため、マクロブロックの符号量が３２００ビットを超えた場合には、そのマクロブロックの符号化の条件を変更して再符号化し、マクロブロックの符号量を３２００ビット以下に抑える必要がある。しかしながら、ＣＡＢＡＣの符号量は、コンテキストの変更や発生確率テーブルの更新によって変化するため、実際に符号化してみるまでは正確にわからない。そのため、再符号化が必要か否かは、そのマクロブロックのＣＡＢＡＣ処理後の符号量を見て判断することになる。

そこで、算術符号化部の入出データを監視し、マクロブロックの符号量が３２００ビットを超えそうな場合には、非圧縮のデジタル画像データであるＩ＿ＰＣＭ（Ｉｎｔｒａ Ｍａｃｒｏｂｌｏｃｋ Ｐｌｕｓｅ Ｃｏｄｉｎｇ Ｍｏｄｕｌａｔｉｏｎ）データに切り替えるという方法が提案されている（例えば、特許文献１参照）。この方法では、算術符号化が完了する前に発生符号量を推定することにより、３２００ビットを超えそうなマクロブロックの発生を回避することができるので再符号化を実行しなくてもよい。
ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６４ 特開２００４−１３５２５１号公報

しかしながら、３２００ビットを超えそうなマクロブロックをＩ＿ＰＣＭマクロブロックに切り替える従来技術によると、マクロブロックの再符号化は回避できたとしても、そのマクロブロックがＩ＿ＰＣＭマクロブロックに替わったことで、そのマクロブロックを参照して符号化していたブロックあるいはマクロブロックが影響を受ける可能性がある。

動画像符号化では、複数のマクロブロックを各処理プロセスの開始タイミミングをずらして並列化（パイプラン）処理することが多い。例えば、図２０や図２１に示すように、エントロピー符号化部の処理プロセスにおいて、マクロブロックＭＢ１がＩ＿ＰＣＭマクロブロックに替わってしまう場合がある。この場合、時間的にマクロブロックＭＢ１に後続するマクロブロックＭＢ２は、Ｉ＿ＰＣＭマクロブロックに替わる前の復号化マクロブロックＭＢ１を参照してフレーム内予測やフレーム間予測を実行する。

例えば、Ｈ．２６４画像符号化におけるフレーム内予測では、図２２に示すように、対象ブロック（あるいはマクロブロック）の画素値（白○で示す画素の値）を予測するのに、その周囲の符号化済みブロック（あるいはマクロブロック）の境界画素値（黒●で示す画素の値）を参照する。ここで、例えば対象ブロック（あるいはマクロブロックＭＢ２）の左にあるＡのブロック（あるいはマクロブロックＭＢ１）がＩ＿ＰＣＭデータに置き替えられる場合がある。この場合、符号化済みブロック（あるいはマクロブロック）の境界画素値が変わると、対象ブロック（あるいはマクロブロックＭＢ２）の画素値も変わるので、この対象ブロック（あるいはマクロブロックＭＢ２）を再符号化（再予測）する必要がある。

また、Ｈ．２６４画像符号化におけるフレーム間予測では、図２３に示すように、対象マクロブロックＭＢ２の動きベクトルを算出する際、その周囲（左、上、右上）にあるマクロブロック（あるいはブロック）の動きベクトル（ｍｖA、ｍｖB、ｍｖC）の中央値をその対象マクロブロックの予測動きベクトルとする。そして、対象マクロブロックの予測動きベクトルと、対象マクロブロックの実際の動きベクトルとの差分を符号化することで情報を圧縮している。この場合も、周囲のマクロブロック（例えば、左にあるマクロブロックＭＢ１）がＩ＿ＰＣＭマクロブロックに置き替えられると、動きベクトルが「なし」となって予測動きベクトル値が変わるため、再度動きベクトル値を算出し再符号化する必要がある。

このように、Ｈ．２６４符号化を並列化（パイプラン）処理する場合、マクロブロックがエントロピー符号化部でＩ＿ＰＣＭデータに置き替わると、そのマクロブロックの周囲のマクロブロックが影響を受ける。したがって、符号化処理を一旦中断して再符号化しないと、再符号化しなければならなくなるマクロブロックの範囲が広がっていく。

更に、ＣＡＢＡＣの実際の算術符号化処理では、圧縮すべき２値データやコンテキストによっては大量のデータを処理する場合がある。それに対応するには、算術符号化回路を最大推定データ量に合わせて高速に動作させればよいが、そうすると消費電力が増大してしまう。このため、ＣＡＢＡＣでは、符号化する画像データにより処理量が大きく変化する特性を利用してＣＡＢＡＣの平均的な処理量で回路実装し、２値化処理と算術符号化処理の回路とを非同期に動作させることでクロック数を抑える方法が一般的である。

しかしながら、ＣＡＢＡＣの平均的な処理速度で算術符号化を実施すると、２値化処理と算術符号化処理との間にデータの遅延が発生し、数フレーム分の２値データが算術符号化待ちの状態で蓄積される場合がある。そのような数フレームの間に規格違反が生じ、再符号化が必要となったとき、最悪、蓄積されている２値データをすべて破棄し再度符号化する必要がある。

図２４は、ＣＡＢＡＣ処理における２値化処理と算術符号化処理との間で６フレーム分の遅延が発生している状況を示す図である。各ピクチャの添え字はピクチャの種類を意味する。すなわち、Ｉは、フレーム内での予測符号化を行うピクチャ、Ｐは、１方向のフレーム間で予測符号化を行うピクチャ、Ｂは、２方向のフレーム間で予測を行うピクチャを意味する。Ｐ２３まではＣＡＢＡＣ処理が終了しており、Ｂ２１、Ｂ２２、Ｐ２６、Ｂ２４、Ｂ２５、Ｐ２９の６フレームについては２値化処理が完了し、算術符号化待ちとなっている。このとき、算術符号化後のＰ２３で３２００ビットを越えるマクロブロックを検出したとすると、遅延で蓄積している６フレームとＰ２３の計７フレームを全て破棄して再符号化する必要がある。

このように、一つのマクロブロックがＩ＿ＰＣＭマクロブロックに置き替わると、上記ＣＡＢＡＣによるデータ遅延による問題に加え、Ｉ＿ＰＣＭに置き替わったマクロブロックを参照していたブロック、マクロブロックさらにはピクチャ（フレーム）まで影響が波及し、再符号化する必要がある。とりわけ、ＩピクチャやＰピクチャでのマクロブロックがＩ＿ＰＣＭマクロブロックに置き替わった場合、その影響範囲は広く、最悪数フレーム全部を再符号化する必要がある。

以上のように、一旦規格違反が生じると、符号化処理の構成によっては再符号化が必要となる。そして、再符号化するには算術符号化処理待ちの２値データを全て破棄し、規格違反を起こしたピクチャ以降のデータ全てを再度画像メモリから読み出し、再符号化を行わなければならない場合もある。特に、ＣＡＢＡＣの入力となる符号化データを作成する予測符号化処理とＣＡＢＡＣ処理では、リアルタイム再符号化（すなわち、通常の符号化と再符号化とを同時に実施すること）が必要である。そのため、処理量が２倍となって消費電力が増大し、後戻り処理のための制御や回路も複雑になるという多くの課題がある。

なお、リアルタイム再符号化が必要となるのは、マクロブロックの最大符号量が３２００ビットを超えるような規格違反が発生した場合だけではない。例えば、符号化ピクチャバッファ（ＣＰＢ：Ｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）のｕｎｄｅｒｆｌｏｗあるいはｏｖｅｒｆｌｏｗが発生した場合など、バッファの制約違反が発生した場合も同様にリアルタイム再符号化が必要となる。

本発明は、前記課題を解決するものであって、リアルタイム再符号化による処理負荷の問題や後戻り処理のための複雑な制御や回路の問題を解決することが可能な画像符号化記録装置を提供することを目的とする。

前記目的を達成するために、本発明に係る画像符号化記録装置は、画像データを符号化して記録する画像符号化記録装置であって、画像データを符号化する符号化手段と、前記符号化手段によって符号化された符号化データを記録する記録手段と、前記記録手段に記録された前記符号化データのうち所定の条件を満たしていないデータを前記所定の条件を満たすように前記符号化手段に再符号化させ、再符号化された再符号化データと再符号化されなかった非再符号化データとが連続して再生されるように前記再符号化データを前記記録手段に記録させる再符号化制御手段とを備え、前記再符号化制御手段は、前記符号化データが前記所定の条件を満たしているか否か判定する判定手段と、前記符号化データが前記所定の条件を満たしていないと判定されたとき、その違反に関する情報である違反情報を前記記録手段から抽出する違反情報抽出手段と、前記違反情報に基づいて、前記記録手段に記録された前記符号化データのうち再符号化に必要なデータを復号化する復号化手段と、前記違反情報に基づいて、前記復号化手段によって復号化されたデータを前記所定の条件を満たすように前記符号化手段に再符号化させて前記記録手段に記録させる制御手段とを具備する。
また、前記目的を達成するために、本発明に係る画像符号化記録装置は、画像データを符号化して記録する画像符号化記録装置であって、画像データを符号化する符号化手段と、前記符号化手段によって符号化された符号化データを記録する記録手段と、前記記録手段に記録された前記符号化データのうち所定の条件を満たしていないデータを前記所定の条件を満たすように前記符号化手段に再符号化させ、再符号化された再符号化データと再符号化されなかった非再符号化データとが連続して再生されるように前記再符号化データを前記記録手段に記録させる再符号化制御手段とを備え、前記再符号化制御手段は、前記符号化データが前記所定の条件を満たしているか否か判定する判定手段と、前記符号化データが前記所定の条件を満たしていないと判定されたとき、その違反に関する情報である違反情報を前記符号化手段および前記記録手段から抽出する違反情報抽出手段と、前記違反情報抽出手段によって抽出された違反情報を記録保持する違反情報記録手段と、前記違反情報記録手段によって記録保持された違反情報に基づいて、前記記録手段に記録された前記符号化データのうち再符号化に必要なデータを復号化する復号化手段と、前記違反情報記録手段によって記録保持された違反情報に基づいて、前記復号化手段によって復号化されたデータを前記所定の条件を満たすように前記符号化手段に再符号化させて前記記録手段に記録させる制御手段とを具備する。
また、前記目的を達成するために、本発明に係る画像符号化記録装置は、画像データを符号化して記録する画像符号化記録装置であって、画像データを符号化する符号化手段と、前記符号化手段によって符号化された符号化データを記録する記録手段と、前記記録手段に記録された前記符号化データのうち所定の条件を満たしていないデータを前記所定の条件を満たすように前記符号化手段に再符号化させ、再符号化された再符号化データと再符号化されなかった非再符号化データとが連続して再生されるように前記再符号化データを前記記録手段に記録させる再符号化制御手段とを備える。これにより、通常の符号化と再符号化とを同時に実施する必要がなくなるので、リアルタイム再符号化による処理負荷の問題や後戻り処理のための複雑な制御や回路の問題を解決することが可能となる。

ここで、前記再符号化制御手段は、前記符号化データが前記所定の条件を満たしているか否か判定する判定手段と、前記符号化データが前記所定の条件を満たしていないと判定されたとき、その違反に関する情報である違反情報を前記記録手段から抽出する違反情報抽出手段と、前記違反情報に基づいて、前記記録手段に記録された前記符号化データのうち再符号化に必要なデータを復号化する復号化手段と、前記違反情報に基づいて、前記復号化手段によって復号化されたデータを前記所定の条件を満たすように前記符号化手段に再符号化させて前記記録手段に記録させる制御手段とを具備してもよい。これにより、規格を満たさなかった時点の符号化データの記録位置と違反情報とを蓄積しておいて、符号化終了後、その記録位置と違反情報とを基に再符号化することが可能となる。

また、前記再符号化制御手段は、前記符号化データが前記所定の条件を満たしているか否か判定する判定手段と、前記符号化データが前記所定の条件を満たしていないと判定されたとき、その違反に関する情報である違反情報を前記符号化手段および前記記録手段から抽出する違反情報抽出手段と、前記違反情報抽出手段によって抽出された違反情報を記録保持する違反情報記録手段と、前記違反情報記録手段によって記録保持された違反情報に基づいて、前記記録手段に記録された前記符号化データのうち再符号化に必要なデータを復号化する復号化手段と、前記違反情報記録手段によって記録保持された違反情報に基づいて、前記復号化手段によって復号化されたデータを前記所定の条件を満たすように前記符号化手段に再符号化させて前記記録手段に記録させる制御手段とを具備してもよい。これにより、規格を満たさなかった時点の符号化データの記録位置と違反情報とを蓄積しておいて、符号化終了後、その記録位置と違反情報とを基に再符号化することが可能となる。

また、前記違反情報抽出手段は、前記符号化データが前記記録手段に記録された位置情報と、前記所定の条件を満たしていないことを示す違反内容と、前記所定の条件を満たしていないときの符号化情報とを含む違反情報を抽出してもよい。これにより、違反内容等が抽出されるので、違反内容等に合わせて再符号化をすることが可能となる。

また、前記再符号化制御手段は、前記違反内容がマクロブロックの最大符号量超えを意味する場合は量子化値をより大きな値としたうえで前記符号化手段に再符号化させてもよい。これにより、再符号化後のマクロブロックの符号量が小さくなるので、マクロブロックの最大符号量超えが発生するという問題を回避することが可能となる。

また、前記再符号化制御手段は、前記違反内容がバッファのオーバーフローを意味する場合は量子化値をより大きな値としたうえで前記符号化手段に再符号化させてもよいし、前記違反内容がバッファのアンダーフローを意味する場合は量子化値をより小さな値としたうえで前記符号化手段に再符号化させてもよい。これにより、バッファのオーバーフローが発生した場合は再符号化後のデータサイズが小さくなり、バッファのアンダーフローが発生した場合は再符号化後のデータサイズが大きくなるので、バッファの制約違反の問題を回避することが可能となる。

また、前記再符号化制御手段は、Ｂｌｕｅ−ｒａｙ Ｄｉｓｋの仮想編集機能であるＶｉｒｔｕａｌ ＰｌａｙＬｉｓｔのＢｒｉｄｇｅ Ｃｌｉｐファイルとして前記再符号化データを前記記録手段に記録させてもよい。これにより、再符号化データをＢｒｉｄｇｅ Ｃｌｉｐファイルとして非再符号化データと繋ぐことができるので、シームレスな再生を実現することが可能となる。

また、前記再符号化制御手段は、前記符号化データが前記所定の条件を満たしていないと判定されたとき、違反が生じたストリームの次の独立したピクチャ群のうち先頭ピクチャであるＩピクチャをＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）ピクチャに変更して、前記独立したピクチャ群を前記符号化手段に符号化させてもよい。これにより、前記独立したピクチャ群が再符号化データの影響を受けることを回避することができるため、シームレスに再生することが可能となる。

また、前記再符号化制御手段は、一連の符号化記録動作が停止あるいは終了したタイミングで前記符号化手段に再符号化させてもよい。これにより、一連の符号化記録動作が停止あるいは終了するまでは再符号化が実施されないので、ユーザが使用する上での利便性を損なうことがない。

なお、本発明は、このような画像符号化記録装置として実現することができるだけでなく、このような画像符号化記録装置が備える特徴的な手段をステップとする画像符号化記録方法として実現したり、このような画像符号化記録装置が備える特徴的な手段を備える集積回路として実現したりすることもできる。

以上のように、本発明に係る画像符号化記録装置によれば、通常の符号化と再符号化とを同時に実施する必要がなくなるので、リアルタイム再符号化による処理負荷の問題や後戻り処理のための複雑な制御や回路の問題を解決することが可能となる。

また、Ｂｌｕｅ−ｒａｙ Ｄｉｓｋの仮想編集機能であるＶｉｒｔｕａｌ ＰｌａｙＬｉｓｔのＢｒｉｄｇｅ Ｃｌｉｐファイルとして再符号化データを非再符号化データと繋ぐことができるので、シームレスな再生を実現することが可能となる。

以下、本発明の実施の形態について、図面を参照しながら説明する。
図１は、本発明の実施の形態における画像符号化記録装置の構成を示すブロック図である。この画像符号化記録装置は、画像データを符号化して記録する装置であって、再符号化制御部１１０と記録部１２０とエントロピー復号化部１３０とを予測符号化部１００に追加した構成を採用している。

予測符号化部１００は、本発明に係る符号化手段の一例であって、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部１１、画像並び替えバッファ１２、マクロブロック分割部１３、差分処理部１４、直交変換部１５、量子化部１６、エントロピー符号化部１７、逆量子化部１９、逆直交変換部２０、加算処理部２１、フレームメモリ２２、フレーム内予測部２３、フレーム間予測部２４、予測選択部２５、レート制御部２６を有する。予測符号化部１００の構成は、上記背景技術で説明したＨ．２６４の画像符号化装置の構成とほぼ同じであるので、以下では、再符号化制御部１１０、記録部１２０、およびエントロピー復号化部１３０の構成を中心に述べる。

再符号化制御部１１０は、本発明に係る再符号化制御手段の一例であって、記録部１２０に記録された符号化データのうち所定の条件を満たしていないデータを所定の条件を満たすように予測符号化部１００に再符号化させ、再符号化された再符号化データと再符号化されなかった非再符号化データとが連続して再生されるように再符号化データを記録部１２０に記録させる処理部である。記録部１２０は、本発明に係る記録手段の一例であって、予測符号化部１００によって符号化された符号化データを記録メディア等に記録する処理部である。エントロピー復号化部１３０は、本発明に係る復号化手段の一例であって、後述する違反情報に基づいて、記録部１２０に記録された符号化データのうち再符号化に必要なデータを復号化する処理部である。

図２は、再符号化制御部１１０の構成を詳細に示す図である。図２に示すように、再符号化制御部１１０は、判定部１１１と違反情報抽出部１１２と制御部１１３とを有している。以下、再符号化制御部１１０の構成とともに、予測符号化部１００、記録部１２０、およびエントロピー復号化部１３０の構成も併せて説明する。

判定部１１１は、本発明に係る判定手段の一例であって、符号化データが所定の条件を満たしているか否か判定する処理部である。具体的には、予測符号化部１００のエントロピー符号化部１７（ＣＡＢＡＣ符号化部）から出力された符号化ストリームについて、１マクロブロック当たりの符号量が３２００ビットを超えているかどうかを判定する。また、レート制御部２６からＶＢＶ（Ｖｉｄｅｏ Ｂｕｆｆｅｒ Ｖｅｒｉｆｉｅｒ）に相当するＣＰＢ（Ｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）において、符号化されたストリームがバッファの制約を満たしているか否か、すなわち、バッファがオーバーフロー（Ｏｖｅｒｆｌｏｗ）あるいはアンダーフロー（Ｕｎｄｅｒｆｌｏｗ）していないか否かを判定する。ＯｖｅｒｆｌｏｗあるいはＵｎｄｅｒｆｌｏｗが発生すると、バッファの破綻によりピクチャのデコードに失敗し、シームレスな画像再生を実現することができない。そのときの画像は、スキップ、フリーズ、処理ストップ等となる。

なお、本画像符号化記録装置は、規格を満たしていない符号化ストリームも一旦記録部１２０に記録する。すなわち、マクロブロックの符号量が３２００ビットを超えても、そのマクロブロックを記録部１２０に記録する。また、ＣＰＢバッファのバッファ容量の基準モデルとなる規定の上限と下限に対してそれを超えるストリームのビット量に対して十分許容できるマージンを設定しておくことで、基準となるバッファモデルではＯｖｅｒｆｌｏｗあるいはＵｎｄｅｒｆｌｏｗに相当する場合でも記録部１２０へストリームが出力されるようにしておく。

判定部１１１は、規格あるいはバッファの制約を満たさないと判定した場合、エントロピー符号化部１７からのストリームあるいはレート制御部２６のバッファ状態について、その違反情報を違反情報抽出部１１２へ供給する。

違反情報抽出部１１２は、本発明に係る違反情報抽出手段の一例であって、符号化データが所定の条件を満たしていないと判定されたとき、その違反に関する情報である違反情報を記録部１２０から抽出する処理部である。具体的には、違反情報を判定部１１１から供給されると、その符号化ストリームが記録部１２０に記録された位置情報を抽出する。このときの位置情報は、記録メディア、ファイルフォーマット、アプリケーションによって異なる。ここでは、次世代記録メディアＢＤ−ＲＥ（Ｂｌｕｅ−ｒａｙ Ｄｉｓｃ Ｒｅｗｒｉｔａｂｌｅ）への適用を想定した場合について説明する。この場合は、違反した符号化ストリ−ムが記録されたデータの時間情報（例えば、違反したストリームがパケットとして記録されたタイムスタンプ）が抽出される。また、そのパケットが関連するデータのユニット（例えば、そのパケットが参照あるいは被参照の関係にある、再生に必要なひとまとまりのデータのユニット）の先頭パケットの位置情報が抽出される。

例えば、ＢＤ−ＲＥへの符号化ストリームの書き込みでは、ソースパケットが使われる。ソースパケットは、１８８バイトのＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）パケットに４バイトのタイムスタンプを加えた１９２バイトの固定長のパケットであり、ＢＤ−ＲＥディスクに順次記録されていく。

マクロブロックの最大符号量が３２００ビットを超えた場合、そのマクロブロックは４００バイト以上となるため、２パケット以上の記録領域を占める。違反情報抽出部１１２は、これら違反したストリームのパケットのタイムスタンプを抽出する。

また、違反情報抽出部１１２は、違反したストリームのパケットを含むピクチャが関連する一連のピクチャのまとまり（例えば、ＭＰＥＧ−２のＧＯＰに相当する独立したピクチャ群）の先頭パケットの位置情報を抽出する。ここでいう「関連する」とは、「参照あるいは被参照関係にある」という意味である。Ｈ．２６４符号化では、ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）ピクチャあるいはイントラピクチャが一連の関連するピクチャ群の先頭ピクチャであり、その先頭パケットの位置情報が抽出される。

先頭パケットの位置情報を抽出するには、ＴＵ＿ｍａｐと呼ばれるテーブルを事前に作成しておく。ＴＵ＿ｍａｐは、符号化ストリームの独立したピクチャ群の先頭パケットの位置情報（例えば、タイムユニット番号）と、符号化ストリームのＳＰＮ（ｓｏｕｒｃｅ ｐａｃｋｅｔ ｎｕｍｂｅｒ：符号化ストリーム・ファイルの先頭からのバイト数から得ることができる。）とを対応づけたテーブルである。これは、ＭＰＥＧ−２用のＥＰ＿ｍａｐと呼ばれるＧＯＰデータ先頭のＰＴＳ（ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ：ＴＳ中に埋め込まれているＡ／Ｖ同期用のタイムスタンプ）値と、ＧＯＰの先頭が含まれるパケット番号とを対応づけたテーブルと同じようなものである。

違反情報抽出部１１２は、判定部１１１から供給された違反情報を制御部１１３へ供給する。また、その違反ストリームが記録部１２０にパケットとして記録されると、そのパケットのタイムスタンプと、そのパケットを含む符号化ストリームの独立したピクチャ群の先頭位置情報とを抽出し、制御部１１３へ供給する。

ＯｖｅｒｆｌｏｗあるいはＵｎｄｅｒｆｌｏｗといったバッファ制約違反が生じた場合についても、マクロブロックの最大符号量の規格違反が生じた場合と同様に、違反情報抽出部１１２は、ＯｖｅｒｆｌｏｗあるいはＵｎｄｅｒｆｌｏｗが発生したときのパケットのタイムスタンプと、そのパケットを含む符号化ストリームの独立したピクチャ群の先頭位置情報とを抽出し、バッファ制約違反の違反情報と共に制御部１１３へ供給する。

制御部１１３は、本発明に係る制御手段の一例であって、違反情報に基づいて、エントロピー復号化部１３０によって復号化されたデータを所定の条件を満たすように予測符号化部１００に再符号化させて記録部１２０に記録させる処理部である。具体的には、違反情報を違反情報抽出部１１２から得るとともに、違反が生じたときの符号化制御に関する情報を予測符号化部１００から得る。これにより、所定のタイミング、例えば、一連の符号化記録動作が停止あるいは終了したタイミングで、違反したストリームおよびそれを含む関連（参照あるいは被参照関係にある）ストリームを記録部１２０から読み出して復号化するようエントロピー復号化部１３０に指示すると共に、違反回避するように設定された再符号化情報を予測符号化部１００へ供給する。そして、予測符号化部１００が再符号化情報を基に再符号化を行なうと、その再符号化されたストリームを記録部１２０に新たに書き込むための制御をする。

なお、予測符号化部１００から得られる符号化制御に関する情報とは、予測符号化部１００のレート制御部２６およびエントロピー符号化部１７において得られる情報であって、具体的には、違反が発生したときの量子化情報、発生符号量、ＣＰＢバッファの空き容量、符号化ピクチャタイプ、符号化マクロブロックタイプ、そのときの符号化モードなど符号化あるいは符号量の制御に関する情報である。制御部１１３は、これら符号化制御に関する情報と違反情報とを基に、違反を回避する再符号化情報を設定する。

前記のように、記録部２０は、違反情報抽出部１１２によって抽出された違反情報を記録保持する処理部でもある。以下、違反情報を記録保持する記録部２０のことを「違反情報記録手段」という場合がある。記録部２０に代えて、本画像符号化記録装置内のメモリバッファに違反情報を記録保持するようにしてもよい。この場合、本画像符号化記録装置内のメモリバッファが「違反情報記録手段」に相当することになる。

図３は、本発明の実施の形態における画像符号化記録装置の外観図である。ここでは、ＢＤ−ＲＥ３００を読み書き可能な録画／再生機２００を例示している。画像符号化記録装置は、録画／再生機２００に限定されるものではなく、ＭＰＥＧ動画を記録再生可能なデジタルビデオカメラ、カメラ付き携帯電話機、ハードディスクレコーダ、ＰＤＡ、パーソナルコンピュータ等でもよい。記録メディアは、ＢＤ−ＲＥ３００に限定されるものではなく、光ディスク、磁気ディスク、フラッシュメモリ等でもよい。

図４は、ＢＤ−ＲＥ３００に記録される情報を説明するための図である。ここでは、ＢＤ−ＲＥ３００上の領域３０１には規格遵守ストリームが記録され、領域３０２には規格違反ストリームが記録され、領域３０３には再符号化ストリームが記録され、領域３０４には違反情報が記録されている様子を概念的に示している。

図５は、再符号化情報の一例を示す図である。図５に示すように、再符号化情報とは、違反内容（例えば違反コード）ごとに、その違反を回避するための制御情報を対応付けた情報である。すなわち、違反が発生したときの符号化ピクチャタイプ（Ｉピクチャ，Ｐピクチャ、あるいはＢピクチャ）と、符号化マクロブロックタイプ（イントラマクロブロックあるいはインターマクロブロック）とに基づいて、ピクチャ（フレーム）あるいはマクロブロック単位で符号量制御して再符号化するための符号化情報である。

例えば、違反コード００は、ＭＢ（マクロブロック）最大符号量（３２００ビット）超えを意味する違反コードである。この違反が発生した場合、そのマクロブロック符号化時の量子化値（ＱＰ：Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ、量子化パラメータ）をより大きな量子化値に設定し、発生符号量を大きく下げる。また、量子化値の設定にともない、その違反マクロブロックを含む関連ピクチャ（フレーム）、あるいはそれらピクチャ（フレーム）を含む独立したピクチャ（フレーム）群の初期量子化値を設定する。この初期量子化値は、所定の目標符号量に応じた最適な値に設定される。

ＣＰＢバッファのＯｖｅｒｆｌｏｗあるいはＵｎｄｅｒｆｌｏｗについても同様に、違反が発生したピクチャの量子化値を設定する。具体的には、Ｏｖｅｒｆｌｏｗが発生した場合はＱＰをより大きな値に、Ｕｎｄｅｒｆｌｏｗが発生した場合はＱＰをより小さな値に設定する。また、量子化値の設定にともない、それらピクチャ（フレーム）を含む独立したピクチャ（フレーム）群の初期量子化値を設定する。この初期量子化値は、所定の目標符号量に応じた最適な値に設定される。

図６は、ＢＤ−ＲＥにおけるデレクトリファイルの構成例を示す図である。図６において、ＰＬＡＹＬＩＳＴデレクトリにＰｌａｙＬｉｓｔファイル、ＣＬＩＰＩＮＦデレクトリにＣｌｉｐ Ｉｎｆｏｒｍａｔｉｏｎファイル、ＳＴＲＥＡＭデレクトリにＣｌｉｐＡＶストリームファイルがそれぞれ格納される。

ＢＤ−ＲＥディスクに記録される符号化ストリームはＣｌｉｐＡＶストリームファイルと呼ばれ、図６のＳＴＲＥＭデレクトリに格納された拡張子「ｘｘｔｓ」のファイルがそれに相当する（なお、拡張子名はＡＶストリームによって異なる）。また、このＣｌｉｐＡＶストリームを管理するデータベースはＣｌｉｐ Ｉｎｆｏｒｍａｔｉｏｎファイルと呼ばれ、図６のＣＬＩＰＩＮＦデレクトリに格納された拡張子「ｃｌｐｉ」のファイルがそれに相当する。ＣｌｉｐＡＶストリームファイルとＣｌｉｐ Ｉｎｆｏｒｍａｔｉｏｎファイルは１対１に対応している。Ｃｌｉｐ Ｉｎｆｏｒｍａｔｉｏｎファイルには上記ＴＵ＿ｍａｐなどが格納されている。ＴＵ＿ｍａｐと時間情報のタイムスタンプとを組み合わせることで、ＣｌｉｐＡＶストリームの任意の位置にアクセスすることができる。Ｃｌｉｐ Ｉｎｆｏｒｍａｔｉｏｎファイルには、符号化の基準時刻の不連続点、ＣｌｉｐＡＶストリームに対するランダム・アクセス、特殊再生などに必要な情報が書き込まれる。

上記ＣｌｉｐＡＶストリームファイルとＣｌｉｐ Ｉｎｆｏｒｍａｔｉｏｎファイルの２つのファイルはＣｌｉｐと呼ばれ、このＣｌｉｐにアクセスし、編集時の再生制御に使用されるファイルがＰＬＡＹＬＩＳＴデレクトリに格納されたＰｌａｙＬｉｓｔファイルである。ＰｌａｙＬｉｓｔファイルは再生する映像データの区間（ＩＮ点、ＯＵＴ点）を記録したファイルである。ＰｌａｙＬｉｓｔファイルにはＲｅａｌ ＰｌａｙＬｉｓｔ（拡張子は「ｒｐｌｓ」）とＶｉｒｔｕａｌ ＰｌａｙＬｉｓｔ（拡張子は「ｖｐｌｓ」）の２種類がある。

Ｒｅａｌ ＰｌａｙＬｉｓｔは、番組やシーンの録画時に自動的に生成される。録画直後のＲｅａｌ ＰｌａｙＬｉｓｔには、録画の開始点（ｉｎ点）と終了点（ｏｕｔ点）とが指定されたＰｌａｙＩｔｅｍが１つ記述されている。これに対して、Ｖｉｒｔｕａｌ ＰｌａｙＬｉｓｔは、録画済の複数Ｃｌｉｐの好みのシーンや同じＣｌｉｐ内の離れた時間の映像を繋ぎ合わせるなどの仮想編集時に生成される。

ＰｌａｙＬｉｓｔは１つまたは複数のＰｌａｙＩｔｅｍから成っており、ＰｌａｙＩｔｅｍは再生対象のＣｌｉｐの再生開始点（ｉｎ点）と再生終了点（ｏｕｔ点）を指定する。図６では、Ｒｅａｌ ＰｌａｙＬｉｓｔファイルにおいて２つのＰｌａｙＩｔｅｍ、＃１と＃２が、それぞれ再生開始点（ｉｎ点）と再生終了点（ｏｕｔ点）の異なるｃｌｉｐファイルをアクセスしている例を示している。

以下、ストリームをＢＤ−ＲＥに記録した場合を想定し、違反したストリームを再符号化し正常なストリームと連続したストリームとして繋ぐ方法について、上記Ｖｉｒｔｕａｌ ＰｌａｙＬｉｓｔのＢｒｉｄｇｅ Ｃｌｉｐ機能を利用した手法を説明する。

図７は、再符号化したストリームをシームレスに繋いで再生するためのＶｉｒｔｕａｌ ＰｌａｙＬｉｓｔのＢｒｉｄｇｅ Ｃｌｉｐ機能の利用について説明した図である。ここでは、１カ所の規格違反あるいはバッファ制約違反が生じたときのＣｌｉｐＡＶストリームを録画した場合を想定して説明する。この場合、ＣｌｉｐＡＶストリームに対するＲｅａｌ ＰｌａｙＬｉｓｔは本来１つのＰｌａｙＩｔｅｍからなる。再符号化制御部１１０は、規格違反あるいはバッファ制約違反が生じたとき、そのときの符号化制御に関する情報を得る。それと共に、そのときのパケットのタイムスタンプおよびＴＵ＿ｍａｐのテーブルから、違反を生じたストリームが記録部１２０に記録されたときの時間情報および位置情報を得る。

そして、違反が生じたストリームのパケットに関する時間情報および位置情報をもとに、違反が生じたパケットのピクチャを境にして、違反ストリームを含むピクチャより時間的に前のストリームをＰｌａｙＬｉｓｔ１、その後ろのストリームをＰｌａｙＬｉｓｔ２として分割する。このとき、ＰｌａｙＬｉｓｔ１のＰｌａｙＩｔｅｍ＃１の開始点をＩＮ１、終了点をＯＵＴ１とする。また、ＰｌａｙＬｉｓｔ２のＰｌａｙＩｔｅｍ＃２の開始点をＩＮ２、終了点をＯＵＴ２とする。但し、この場合、本来の録画Ｃｌｉｐ（図７のＣｌｉｐＡＶストリームファイルの細い水平矢印Ｄ１参照）に変更は何もない。

本発明は、このとき、Ｖｉｒｔｕａｌ ＰｌａｙＬｉｓｔのＢｒｉｄｇｅ Ｃｌｉｐ編集機能を利用して、違反を回避するため再符号化したストリームと、残った正常なストリーム（非再符号化ストリーム）とをシームレスに繋ぐことを特徴とする。すなわち、違反を回避するため再符号化した新たなＣｌｉｐ（図７のＣｌｉｐＡ３）をＢｒｉｄｇｅ Ｃｌｉｐとして、その再符号化したＣｌｉｐ部分を除いたＰｌａｙＩｔｅｍ＃１のＣｌｉｐ部分（図７のＣｌｉｐＡ１）とＰｌａｙＩｔｅｍ＃２のＣｌｉｐ部分（図７のＣｌｉｐＡ２）とを繋ぐ。このため、Ｖｉｒｔｕａｌ ＰｌａｙＬｉｓｔファイルとして、ＰｌａｙＩｔｅｍ＃１の開始点をＩＮ１、終了点をＯＵＴ１’とする。また、ＰｌａｙＩｔｅｍ＃２の開始点をＩＮ２’、終了点をＯＵＴ２とする。このとき、Ｂｒｉｄｇｅ Ｃｌｉｐで繋ぐ開始点は、ＯＵＴ１’と同じでＩＮ２ｂｃとする。再生は、図７のＣｌｉｐＡＶストリームファイルの太い矢印で示したように、ＣｌｉｐＡ１、ＣｌｉｐＡ３、ＣｌｉｐＡ２の順に行なわれ、これにより、違反を回避したストリームとしてシームレスに再生されることになる。

次に、違反を回避するため再符号化するＣｌｉｐ部分の生成の仕方について説明する。まず、符号化ストリームのピクチャのまとまり（ＧＯＰに相当）の開始ピクチャがＩＤＲピクチャで符号化されるとする。なお、ＩＤＲピクチャが使用されると、その後のピクチャ群に含まれるピクチャはＩＤＲピクチャを超えて参照することができない。

図８は、本発明における再符号化の第一の例について説明した図である。図８の（ａ）は、再符号化前の符号化ストリーム（ＣｌｉｐＡ）を示し、そのストリームに規格違反があることを図的に示したものである。図８の（ｂ）は、ＣｌｉｐＡを再符号化部分（ＣｌｉｐＡ３）とそれを除く非再符号化部分（ＣｌｉｐＡ１とＣｌｉｐＡ２）とに分割した状態を図的に示したものである。ただし、実際（Ｒｅａｌ）にＣｌｉｐＡを分割したわけではなく、仮想（Ｖｉｒｔｕａｌ）に分割しただけである。図８の（ｃ）は、再符号化部分と非再符号化部分のＣｌｉｐについて、具体的なストリームの並びを符号化ピクチャ単位で図的に示したものである。なお、図中のＩはＩピクチャを、ＰはＰピクチャ、ＢはＢピクチャを意味する。また、その後の数字は符号化順番を示す。

図８では、符号化ストリームのＢピクチャの一部で違反が生じために再符号化が必要となった場合を示している。Ｂピクチャの再符号化には、参照ピクチャとして、時間的に隣接する前方および後方のＰピクチャあるいはＩピクチャが必要となる。図８（ｃ）では、Ｂ５５というＢピクチャの一部に違反があったため、Ｐ５４ピクチャとＰ５７ピクチャが必要となる。従って、Ｐ５４からＢ５６までを復号化し、再符号化情報に基づいてＢ５５とＢ５６のピクチャを再符号化する。

図９では、符号化ストリームのＰピクチャの一部で違反が生じために再符号化が必要となった場合を示している。Ｐピクチャの再符号化には、参照ピクチャとして、時間的に後方のＰピクチャあるいはＩピクチャが必要となる。図９（ｃ）では、Ｐ５４というＰピクチャの一部に違反があったため、Ｉ５１ピクチャが必要となる。また、Ｐ５４ピクチャが再符号化されたことにより変更されると、その後のＰピクチャやＢピクチャが影響を受ける。従って、Ｉ５１からＢ６２までを復号化し、再符号化情報に基づいてＰ５４からＢ６２までのピクチャを再符号化する。

図１０では、符号化ストリームのＩピクチャの一部で違反が生じために再符号化が必要となった場合を示している。Ｉピクチャは、参照ピクチャを持たずに符号化対象ピクチャのみを用いてフレーム内予測の符号化を行うピクチャである。Ｉピクチャが再符号化されると、その後のピクチャ（次のＩピクチャの前まで）はすべて影響を受ける。従って、図１０（ｃ）に示すように、Ｉ５１のＩピクチャの一部に違反があると、Ｉ５１からＢ６２までを復号化し、再符号化情報に基づいてＩ５１からＢ６２までのピクチャを再符号化する。

図１１では、ＯｖｅｒｆｌｏｗあるいはＵｎｄｅｒｆｌｏｗが発生したために再符号化が必要となった場合を示している。ここでは、Ｐ５７でＯｖｅｒｆｌｏｗあるいはＵｎｄｅｒｆｌｏｗが生じた場合を示している。この場合は、バッファ破綻が生じないように、Ｐ５７を含むＧＯＰ相当分を復号化し、再符号化情報に基づいてＩ５１からＢ６２までのピクチャを再符号化する。

なお、再符号化にあたって一つ問題がある。再符号化では、符号化ストリームのピクチャのまとまり（ＧＯＰに相当）の開始ピクチャをＩＤＲピクチャとした。しかしながら、Ｉピクチャの一部で違反が生じた場合、図１２に示すように、違反したピクチャを含むＧＯＰ部分でＩピクチャやＰピクチャを再符号化すると、次のＧＯＰ区間の最初のＢピクチャ（図中Ｂ６４とＢ６５）が影響を受ける。従って、この場合はＧＯＰ単位でうまくＣｌｉｐが区切れない。このため、図１３に示すように、符号化ストリームに違反が生じた場合、違反が生じたストリームの次のＧＯＰの先頭ピクチャであるＩピクチャをＩＤＲピクチャに変更して当該ＧＯＰを符号化するか、あるいは、ＧＯＰ単位で参照関係が閉じたＣｌｏｓｅｄ ＧＯＰとして当該ＧＯＰを符号化する。

図１４は、本発明の実施の形態における画像符号化記録装置の動作を示すフローチャートである。以下、図１４のフローチャートを用いて、符号化違反が生じた場合の再符号化に関する動作について説明する。

予測符号化部１００に入力された映像信号は圧縮され、ＣＡＢＡＣによってエンロピー符号化される（ステップＳ１０１）。符号化されたデータ（符号化ストリーム）は所定の記録伝送単位、例えばパケット単位に分割される（ステップＳ１０２）。パケットはクロック・カウントでカウントされ、パケットのヘッダには時間情報（例えばタイムスタンプ）が付与される。また、時間情報と録画開始からの符号化データのバイト量を計算し、独立したピクチャ群（例えば、ＧＯＰ相当）の先頭パケットの位置情報から符号化ストリームをランダム・アクセスできる位置情報（例えば、ＴＵ＿ｍａｐ）が生成される（ステップＳ１０３）。録画された一つの連続したデータはＰｌａｙＬｉｓｔファイルとして管理される（ステップＳ１０４）。ＰｌａｙＬｉｓｔファイルは、実際の符号化ストリームファイル（ＣｌｉｐＡＶストリームファイルとＴＵ＿ｍａｐなどを格納したＣｌｉｐ ＩｎｆｏｒｍａｔｉｏｎファイルからなるＣｌｉｐファイル）と関係付けされて記録部１２０に記録される（ステップＳ１０５）。

一方、再符号化制御部１１０の判定部１１１は、予測符号化部１００のエンロピー符号化部１７およびレート制御部２６からの情報を得ながら、予測符号化部１００から出力された符号化ストリームが符号化違反を起こしていないかどうか、例えば、マクロブロックの符号量がマクロブロックの最大符号量３２００ｂｉｔを超えていないかどうか、あるいはＣＰＢバッファの制約を満たしているかどうかを判定する（ステップＳ１０６）。もし、符号化違反が発生していると判定された場合（ステップＳ１０６でＹｅｓ）、符号化違反した違反内容（例えば、マクロブロック最大符号量超え、バッファのＵｎｄｅｒｆｌｏｗあるいはＯｖｅｒｆｌｏｗなど）と、そのときの符号化情報（そのときのピクチャ、マクロブロック、量子化値、バッファの空き容量など符号化に関わる情報）とを抽出する（ステップＳ１０７）。もし、符号化違反が発生していないと判定された場合は（ステップＳ１０６でＮｏ）、ステップＳ１０９へ進む。

符号化違反が発生していると判定された場合（ステップＳ１０６でＹｅｓ）、違反情報を抽出する（ステップＳ１０８）。違反情報には、その違反内容と符号化情報とに加え、符号化違反したときのデータ（符号化ストリーム）が記録部１２０に書き込まれた位置情報が含まれる。違反情報は、次のステップＳ１０９の判定後、再符号化したデータを記録部１１０へ書き込む際のＰｌａｙＬｉｓｔ作成に使用される（ステップＳ１１７）。また、違反情報は、一時的に記録装置のメモリバッファあるいは記録部１２０に保持される（ステップＳ１０８）。

ステップＳ１０８の違反情報抽出後、更に追加の違反がないかどうかを符号化（録画）の終了をもって判定する（ステップＳ１０９）。ここで、録画継続あるいは符号化継続の判定がされた場合（ステップＳ１０９でＮｏ）はステップＳ１０１へ戻り、録画終了あるいは符号化終了の判定がされた場合（ステップＳ１０９でＹｅｓ）は一時的に保持された違反情報があるか否かを判定する（ステップＳ１１０）。そして、違反情報がなかった場合（ステップＳ１１０でＮｏ）、一連の操作を終了する。

他方、違反情報があった場合（ステップＳ１１０でＹｅｓ）、その違反情報をもとに、符号化違反したストリームおよびそのストリームに関連する一連のストリームを記録部１２０から読み出す（ステップＳ１１１）。また、違反情報は制御部１１３へ送られ、符号化違反を回避する再符号化情報が設定される（ステップＳ１１３）。再符号化情報は、符号化違反内容によって異なり、また同時に保持されている違反発生時の符号化制御情報をもとに設定される。

ステップＳ１１１において記録部１２０から読み出されたストリームは、エントロピー復号化部１３０で復号化される（ステップＳ１１２）。エントロピー復号化された圧縮データは予測符号化部１００へ送られ、ステップＳ１１３において得られた再符号化情報をもとに予測符号化部１００によって再符号化される（ステップＳ１１４）。

再符号化されたデータは、ステップ１０２やステップＳ１０３と同様にパケット化され（ステップＳ１１５）、時間情報が付与されるとともに位置情報が生成される（ステップＳ１１６）。なお、ステップＳ１１６では、非再符号化ストリームＣｌｉｐと時間的に連続なＣｌｉｐＡＶストリームとして再符号化ストリームが挿入されるように、ストリームの位置情報の開始ＩＮ点と終了ＯＵＴ点とを設定するための情報をステップＳ１１３の再符号化情報から得る。

再符号化ストリームの時間情報と位置情報を得（ステップＳ１１６）、また非再符号化ストリームのＣｌｉｐの位置情報を記録部１２０から得る（ステップＳ１１１）。そして、Ｖｉｒｔｕａｌ ＰｌａｙＬｉｓｔファイルとして仮想的に再符号化ストリームのＣｌｉｐをＢｒｉｄｇｅ Ｃｌｉｐとして非再符号化ストリームのＣｌｉｐの間に挿入し、連続再生できるようにＰｌａｙＬｉｓｔを作成する（ステップＳ１１７）。

前記パケット化後、時間情報が付与された再符号化ストリームと、その再符号化ストリームをＢｒｉｄｇｅ Ｃｌｉｐとして生成したＰｌａｙＬｉｓｔファイルが記録部１２０へ記録される（ステップＳ１１８）。

以上のように、本発明の実施の形態における画像符号化記録装置によれば、通常の符号化と再符号化とを同時に実施する必要がなくなるので、リアルタイム再符号化による処理負荷の問題や後戻り処理のための複雑な制御や回路の問題を解決することが可能となる。

また、Ｂｌｕｅ−ｒａｙ Ｄｉｓｋの仮想編集機能であるＶｉｒｔｕａｌ ＰｌａｙＬｉｓｔのＢｒｉｄｇｅ Ｃｌｉｐファイルとして再符号化データを非再符号化データと繋ぐことができるので、シームレスな再生を実現することが可能となる。

なお、ここではＢＤ−ＲＥを例示して説明したが、記録メディアの種類はＢＤ−ＲＥに限定されるものではない。例えば、ハードディスク、半導体メモリ、ＢＤ以外の光ディスクについても同様な手続きで本発明を適用することが可能である。すなわち、違反したストリームを含めて一旦符号化ストリームを記録しておいた後、違反ストリームを再符号化して正常なストリームとし、その正常なストリームを非再符号化ストリームと繋げばよい。このとき、違反の情報や違反時の符号化情報、違反ストリームを記録した位置情報を保持しておくが、これら情報はストリームを記録する媒体に保持してもよいし、符号化記録装置の一時的なメモリに保持してもよい。ＢＤ−ＲＥを採用した場合は、ＰｌａｙＬｉｓｔファイルやＣｌｉｐ ｉｎｆｏｒｍａｔｉｏｎファイルなどを記録する領域であるギャザードファイル領域に保持してもよい。

なお、場合によっては、記録メディアに記録した符号化ストリームを復号化できない特殊な場合があるかもしれない。その場合は、再符号化そのものが不可能なので、復号化不可を判定した後、違反が生じたストリームを含むＧＯＰ分のストリームをダミーのＣｌｉｐファイルとして生成する。例えば、最後に復号化したピクチャをＧＯＰ分繰り返し再生するよう符号化するか、あるいはグレーのダミーの符号化ピクチャデータを事前に用意しておけばよい。これにより、記録メディアに記録した符号化ストリームを復号化できない場合でも、映像の乱れを回避することが可能となる。

本発明は、リアルタイム再符号化による処理負荷の問題や後戻り処理のための複雑な制御や回路の問題を解決することが必要なデジタルビデオカメラ、カメラ付き携帯電話機、ＢＤやＤＶＤの録画／再生機、ハードディスクレコーダ、ＰＤＡ、パーソナルコンピュータ等に適している。

本発明の実施の形態における画像符号化記録装置の全体的構成を示すブロック図 本発明の実施の形態における画像符号化記録装置の中心的な構成部分を示すブロック図 本発明の実施の形態における画像符号化記録装置の外観図 ＢＤ−ＲＥに記録される情報を説明するための図 再符号化が必要とされる符号化違反内容と回避制御の例を示す図 ＢＤ−ＲＥにおけるデレクトリファイルの構成の例を示す図 再符号化したストリームをシームレスに繋いで再生するためのＶｉｒｔｕａｌ ＰｌａｙＬｉｓｔのＢｒｉｄｇｅ Ｃｌｉｐ機能の利用について説明した図 再符号化したストリームを繋ぐ方法のある一つのケースについて説明した図 再符号化したストリームを繋ぐ方法のもう一つのケースについて説明した図 再符号化したストリームを繋ぐ方法のもう一つのケースについて説明した図 再符号化したストリームを繋ぐ方法のもう一つのケースについて説明した図 再符号化したストリームを繋ぐ際に生じる問題を説明した図 再符号化したストリームを繋ぐ際に生じる問題を解決する方法について説明した図 本発明の実施の形態における画像符号化記録装置の動作を示すフローチャート 従来の画像符号化装置の機能的な構成の一例を示す機能ブロック図 ピクチャの表示順序および符号化順序を示す図 ４：２：０フォーマットの１ピクチャの映像信号を説明するための図 ４：２：０フォーマットの１マクロブロックの映像信号を説明するための図 ４：２：０フォーマットの１マクロブロックの直交変換ブロックを説明するための図 フレーム内予測を含む符号化のパイプライン処理を示す図 フレーム間予測を含む符号化のパイプライン処理を示す図 フレーム内予測における周囲ブロックとの関係を説明する図 フレーム間予測における周囲マクロブロックとの関係を説明する図 再符号化するピクチャについて説明した図

符号の説明

１１ Ａ／Ｄ変換部
１２ 画像並び替えバッファ
１３ マクロブロック分割部
１４ 差分処理部
１５ 直交変換部
１６ 量子化部
１７ エントロピー符号化部
１８ 蓄積バッファ
１９ 逆量子化部
２０ 逆直交変換部
２１ 加算処理部
２２ フレームメモリ
２３ フレーム内予測部
２４ フレーム間予測部
２５ 予測選択部
２６ レート制御部
１００ 予測符号化部
１１０ 再符号化制御部
１１１ 判定部
１１２ 違反情報抽出部
１１３ 制御部
１２０ 記録部
１３０ エントロピー復号化部

Claims (10)

1. 画像データを符号化して記録する画像符号化記録装置であって、
   画像データを符号化する符号化手段と、
   前記符号化手段によって符号化された符号化データを記録する記録手段と、
   前記記録手段に記録された前記符号化データのうち所定の条件を満たしていないデータを前記所定の条件を満たすように前記符号化手段に再符号化させ、再符号化された再符号化データと再符号化されなかった非再符号化データとが連続して再生されるように前記再符号化データを前記記録手段に記録させる再符号化制御手段とを備え、
   前記再符号化制御手段は、
   前記符号化データが前記所定の条件を満たしているか否か判定する判定手段と、
   前記符号化データが前記所定の条件を満たしていないと判定されたとき、その違反に関する情報である違反情報を前記記録手段から抽出する違反情報抽出手段と、
   前記違反情報に基づいて、前記記録手段に記録された前記符号化データのうち再符号化に必要なデータを復号化する復号化手段と、
   前記違反情報に基づいて、前記復号化手段によって復号化されたデータを前記所定の条件を満たすように前記符号化手段に再符号化させて前記記録手段に記録させる制御手段と
   を具備することを特徴とする画像符号化記録装置。
2. 画像データを符号化して記録する画像符号化記録装置であって、
   画像データを符号化する符号化手段と、
   前記符号化手段によって符号化された符号化データを記録する記録手段と、
   前記記録手段に記録された前記符号化データのうち所定の条件を満たしていないデータを前記所定の条件を満たすように前記符号化手段に再符号化させ、再符号化された再符号化データと再符号化されなかった非再符号化データとが連続して再生されるように前記再符号化データを前記記録手段に記録させる再符号化制御手段とを備え、
   前記再符号化制御手段は、
   前記符号化データが前記所定の条件を満たしているか否か判定する判定手段と、
   前記符号化データが前記所定の条件を満たしていないと判定されたとき、その違反に関する情報である違反情報を前記符号化手段および前記記録手段から抽出する違反情報抽出手段と、
   前記違反情報抽出手段によって抽出された違反情報を記録保持する違反情報記録手段と、
   前記違反情報記録手段によって記録保持された違反情報に基づいて、前記記録手段に記録された前記符号化データのうち再符号化に必要なデータを復号化する復号化手段と、
   前記違反情報記録手段によって記録保持された違反情報に基づいて、前記復号化手段によって復号化されたデータを前記所定の条件を満たすように前記符号化手段に再符号化させて前記記録手段に記録させる制御手段と
   を具備することを特徴とする画像符号化記録装置。
3. 前記違反情報抽出手段は、前記符号化データが前記記録手段に記録された位置情報と、前記所定の条件を満たしていないことを示す違反内容と、前記所定の条件を満たしていないときの符号化情報とを含む違反情報を抽出する
   ことを特徴とする請求項１または２に記載の画像符号化記録装置。
4. 前記再符号化制御手段は、前記違反内容がマクロブロックの最大符号量超えを意味する場合は量子化値をより大きな値としたうえで前記符号化手段に再符号化させる
   ことを特徴とする請求項３に記載の画像符号化記録装置。
5. 前記再符号化制御手段は、前記違反内容がバッファのオーバーフローを意味する場合は量子化値をより大きな値としたうえで、前記違反内容がバッファのアンダーフローを意味する場合は量子化値をより小さな値としたうえで前記符号化手段に再符号化させる
   ことを特徴とする請求項３に記載の画像符号化記録装置。
6. 前記再符号化制御手段は、Ｂｌｕｅ−ｒａｙ Ｄｉｓｋの仮想編集機能であるＶｉｒｔ
   ｕａｌ ＰｌａｙＬｉｓｔのＢｒｉｄｇｅ Ｃｌｉｐファイルとして前記再符号化データを前記記録手段に記録させる
   ことを特徴とする請求項１または２に記載の画像符号化記録装置。
7. 前記再符号化制御手段は、前記符号化データが前記所定の条件を満たしていないと判定されたとき、違反が生じたストリームの次の独立したピクチャ群のうち先頭ピクチャであるＩピクチャをＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）ピクチャに変更して、前記独立したピクチャ群を前記符号化手段に符号化させる
   ことを特徴とする請求項１または２に記載の画像符号化記録装置。
8. 前記再符号化制御手段は、一連の符号化記録動作が停止あるいは終了したタイミングで前記符号化手段に再符号化させる
   ことを特徴とする請求項１または２に記載の画像符号化記録装置。
9. 画像データを符号化して記録する画像符号化記録方法であって、
   符号化手段が画像データを符号化する符号化ステップと、
   前記符号化ステップにおいて符号化された符号化データを記録手段が記録する記録ステップと、
   前記記録手段に記録された前記符号化データのうち所定の条件を満たしていないデータを前記所定の条件を満たすように前記符号化手段に再符号化させ、再符号化された再符号化データと再符号化されなかった非再符号化データとが連続して再生されるように前記再符号化データを前記記録手段に記録させる再符号化制御ステップとを含み、
   前記再符号化制御ステップは、
   前記符号化データが前記所定の条件を満たしているか否か判定する判定ステップと、
   前記符号化データが前記所定の条件を満たしていないと判定されたとき、その違反に関する情報である違反情報を前記記録手段から抽出する違反情報抽出ステップと、
   前記違反情報に基づいて、前記記録手段に記録された前記符号化データのうち再符号化に必要なデータを復号化する復号化ステップと、
   前記違反情報に基づいて、前記復号化ステップで復号化されたデータを前記所定の条件を満たすように前記符号化手段に再符号化させて前記記録手段に記録させる制御ステップと
   を含むことを特徴とする画像符号化記録方法。
10. 画像データを符号化して記録する画像符号化記録方法であって、
    符号化手段が画像データを符号化する符号化ステップと、
    前記符号化ステップにおいて符号化された符号化データを記録手段が記録する記録ステップと、
    前記記録手段に記録された前記符号化データのうち所定の条件を満たしていないデータを前記所定の条件を満たすように前記符号化手段に再符号化させ、再符号化された再符号化データと再符号化されなかった非再符号化データとが連続して再生されるように前記再符号化データを前記記録手段に記録させる再符号化制御ステップと含み、
    前記再符号化制御ステップは、
    前記符号化データが前記所定の条件を満たしているか否か判定する判定ステップと、
    前記符号化データが前記所定の条件を満たしていないと判定されたとき、その違反に関する情報である違反情報を前記符号化手段および前記記録手段から抽出する違反情報抽出ステップと、
    前記違反情報抽出ステップで抽出された違反情報を記録保持する違反情報記録ステップと、
    前記違反情報記録ステップで記録保持された違反情報に基づいて、前記記録手段に記録された前記符号化データのうち再符号化に必要なデータを復号化する復号化ステップと、
    前記違反情報記録ステップで記録保持された違反情報に基づいて、前記復号化ステップで復号化されたデータを前記所定の条件を満たすように前記符号化手段に再符号化させて前記記録手段に記録させる制御ステップと
    を含むことを特徴とする画像符号化記録方法。

Images