JP3951152B2 - 画像符号化装置および方法 - Google Patents
画像符号化装置および方法 Download PDFInfo
- Publication number
- JP3951152B2 JP3951152B2 JP25495997A JP25495997A JP3951152B2 JP 3951152 B2 JP3951152 B2 JP 3951152B2 JP 25495997 A JP25495997 A JP 25495997A JP 25495997 A JP25495997 A JP 25495997A JP 3951152 B2 JP3951152 B2 JP 3951152B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- picture
- difficulty
- difficulty level
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像データを符号化する画像符号化装置および方法に関する。
【０００２】
【従来の技術】
近年、大容量のディジタルデータを記録可能な光ディスクであるＤＶＤ（ディジタル・バーサタイル・ディスクまたはディジタル・ビデオ・ディスク）が実用化されている。ＤＶＤのうち、ビデオデータ等を記録するＤＶＤビデオでは、ＭＰＥＧ（Moving Picture Experts Group）２規格で圧縮された画像データを記録するようになっている。
【０００３】
ＭＰＥＧ２規格では、符号化方式として、動き補償を併用した双方向予測符号化方式を採用している。この符号化方式では、ＤＣＴ（離散コサイン変換）と画像の時間的および空間的な相関を用いて空間方向の冗長度および時間方向の冗長度の除去を行うことによって、効率の良い圧縮符号化を可能としている。双方向予測符号化方式では、フレーム（ピクチャ）内だけで符号化するフレーム内符号化、過去のフレームから現在のフレームを予測することによって符号化するフレーム間順方向予測符号化、過去および未来のフレームから現在のフレームを予測することによって符号化する双方向予測符号化の３つのタイプの符号化が行われる。この符号化方式では、フレーム内符号化によって符号化されるピクチャをＩピクチャ（intra coded picture ）、フレーム間順方向予測符号化によって符号化されるピクチャをＰピクチャ（predictive coded picture）、双方向予測符号化によって符号化されるピクチャをＢピクチャ（bidirectionally predictive coded picture）と呼ぶ。また、必ずＩピクチャを一つ以上含むようにＩ，Ｐ，Ｂの各ピクチャを適切に組み合わせて、ランダムアクセスの単位となるＧＯＰ（Group of picture）が構成される。
【０００４】
ここで、図１６を参照して、ＧＯＰの構造について説明する。図１６において、Ｉ，Ｐ，Ｂは、それぞれＩピクチャ、Ｐピクチャ、Ｂピクチャを表している。なお、他の図においても同様である。図１６（ａ）は、ＧＯＰの構成の一例を表示順に示したものである。この例では、１５枚のピクチャによってＧＯＰが構成され（ＧＯＰを構成するピクチャ数Ｎ＝１５）、１ＧＯＰ内に１枚のＩピクチャが含まれ、ＩピクチャまたはＰピクチャの現れる周期（Ｍ）は３であり、隣り合うＩまたはＰピクチャ間に２つのＢピクチャが挿入されている。表示順では、ＧＯＰの先頭は、Ｉピクチャの前の最初のＰピクチャまたはＩピクチャの次のピクチャであり、ＧＯＰの最後は、次のＩピクチャの前の最初のＰピクチャである。図１６（ａ）において、矢印は、予測方向を表している。図１６（ｂ）は、同じＧＯＰの構成を、符号化順に示したものである。このように、符号化の際には、Ｂピクチャの符号化の前に、Ｂピクチャの予測の際に参照するＩピクチャまたはＰピクチャが符号されるように、ピクチャの並べ替えが行われる。
【０００５】
ところで、圧縮された画像情報を、ＤＶＤ、ビデオＣＤ（コンパクト・ディスク）等のパッケージメディアに蓄積させる符号化システムでは、一般に、いわゆる２パスエンコーディング方式が採用されている。この２パスエンコーディング方式では、最初に、予備的な符号化を行って、符号化する素材の画像の符号化の難易度を表す符号化難易度を測定し、その符号化難易度に基づいて、与えられた符号量に収まるように、各ピクチャごとに符号量の配分を行って正式な符号化を行う。
【０００６】
【発明が解決しようとする課題】
ところで、ＭＰＥＧ２規格で採用している動き補償を併用した双方向予測符号化方式によって生成されるデータには、実際のＤＣＴ係数に関わる符号化データと、動き補償のための動きベクトルデータとが含まれる。
【０００７】
ところが、この動き補償を併用した双方向予測符号化方式では、符号化する素材中の画像の時間的または空間的な相関が悪い部分においては、予測が当たらないため、実際のＤＣＴ係数に関わる符号化データのデータ量に比べて、非常に多くの動きベクトルデータが発生する。特に、Ｂピクチャにおいて時間的に前後（過去および未来）のピクチャを参照した場合には、順方向予測の場合の約２倍のデータ量の動きベクトルデータが発生する。そのため、動きベクトルデータのデータ量が、そのピクチャにおける全データ量の半分以上となることもある。そのような部分では、限られた割り当て符号量（データ量）の中で、実際のＤＣＴ係数に関わる符号化データのデータ量が抑えられてしまうため、符号化効率が著しく低下し、その結果、画質が劣化するという問題点があった。
【０００８】
本発明はかかる問題点に鑑みてなされたもので、その目的は、符号化する素材中の画像の時間的または空間的な相関が悪い部分における符号化効率を向上させて、限られた割り当て符号量に対して、画質を改善できるようにした画像符号化装置および方法を提供することにある。
【０００９】
【課題を解決するための手段】
本発明の第１の画像符号化装置は、入力画像データを符号化する画像符号化装置であって、入力画像データを、Ｉピクチャを含む所定枚数のピクチャを含む符号化処理単位で符号化する符号化手段と、入力画像データのピクチャの符号化の難度を表す符号化難易度を取得すると共に、Ｂピクチャの符号化難易度の平均値とＩピクチャの符号化難易度との比率が第１の所定値を越えた符号化処理単位内において、Ｂピクチャの符号化難易度とＩピクチャの符号化難易度との比率が第２の所定値を越え、且つ、Ｂピクチャの符号化難易度が第３の所定値を越えるという条件を満たすＢピクチャを、ＩピクチャまたはＰピクチャに変更して符号化するように、符号化手段を制御する符号化制御手段とを備えたものである。
本発明の第２の画像符号化装置は、入力画像データを符号化して符号化画像データを生成する画像符号化装置であって、入力画像データを、Ｉピクチャを含む所定枚数のピクチャを含む符号化処理単位で符号化して、入力画像データのピクチャの符号化の難度を表す符号化難易度を算出する符号化難易度算出手段と、Ｂピクチャの符号化難易度の平均値とＩピクチャの符号化難易度との比率が第１の所定値を越えた符号化処理単位内において、Ｂピクチャの符号化難易度とＩピクチャの符号化難易度との比率が第２の所定値を越え、且つ、Ｂピクチャの符号化難易度が第３の所定値を越えるという条件を満たすＢピクチャを、ＩピクチャまたはＰピクチャに変更するピクチャタイプ変更手段と、このピクチャタイプ変更手段によりピクチャタイプが変更されたピクチャを対象として、このピクチャに近接したピクチャの符号化難易度を利用して、符号化難易度の値が変更後のピクチャタイプに応じた値となるように、符号化難易度算出手段により算出された符号化難易度を補正する符号化難易度補正手段と、符号化難易度算出手段により算出された符号化難易度と、符号化難易度補正手段により補正された符号化難易度と、符号化画像データを記録する記録媒体の容量とに基づいて、入力画像データを符号化する際に各ピクチャに割り当てる割り当てビット量を算出する割り当てビット量算出手段と、入力画像データを符号化する際の発生ビット量が割り当てビット量算出手段により算出された割り当てビット量となるように、入力画像データを符号化する符号化手段とを備えたものである。
本発明の第３の画像符号化装置は、入力画像データを符号化して符号化画像データを生成する画像符号化装置であって、入力画像データを、Ｉピクチャを含む所定枚数のピクチャを含む符号化処理単位で符号化して、入力画像データのピクチャの符号化の難度を表す符号化難易度を算出する符号化難易度算出手段と、Ｂピクチャの符号化難易度の平均値とＩピクチャの符号化難易度との比率が第１の所定値を越えた符号化処理単位内において、Ｂピクチャの符号化難易度とＩピクチャの符号化難易度との比率が第２の所定値を越え、且つ、Ｂピクチャの符号化難易度が第３の所定値を越えるという条件を満たすＢピクチャを、ＩピクチャまたはＰピクチャに変更するピクチャタイプ変更手段と、このピクチャタイプ変更手段によりピクチャタイプが変更されたピクチャを対象として、このピクチャに近接したピクチャの符号化難易度を利用して、符号化難易度の値が変更後のピクチャタイプに応じた値となるように、符号化難易度算出手段により算出された符号化難易度を補正する符号化難易度補正手段と、ピクチャ単位もしくは符号化処理単位の符号化難易度および符号化難易度補正手段により補正された符号化難易度と、ピクチャ単位もしくは符号化処理単位の符号化難易度および上記補正された符号化難易度の総和との比率に基づいて、入力画像データを符号化する際に各ピクチャに割り当てる割り当てビット量をピクチャ単位または符号化処理単位で算出する割り当てビット量算出手段と、入力画像データを符号化する際の発生ビット量が割り当てビット量算出手段により算出された割り当てビット量となるように、入力画像データを符号化する符号化手段とを備えたものである。
【００１０】
本発明の第１の画像符号化方法は、入力画像データを符号化する画像符号化方法であって、入力画像データを、Ｉピクチャを含む所定枚数のピクチャを含む符号化処理単位で符号化する符号化手順と、入力画像データのピクチャの符号化の難度を表す符号化難易度を取得すると共に、Ｂピクチャの符号化難易度の平均値とＩピクチャの符号化難易度との比率が第１の所定値を越えた符号化処理単位内において、Ｂピクチャの符号化難易度とＩピクチャの符号化難易度との比率が第２の所定値を越え、且つ、Ｂピクチャの符号化難易度が第３の所定値を越えるという条件を満たすＢピクチャを、ＩピクチャまたはＰピクチャに変更して符号化するように、符号化手順の符号化を制御する符号化制御手順とを含むようにしたものである。
本発明の第２の画像符号化方法は、入力画像データを符号化して符号化画像データを生成する画像符号化方法であって、入力画像データを、Ｉピクチャを含む所定枚数のピクチャを含む符号化処理単位で符号化して、入力画像データのピクチャの符号化の難度を表す符号化難易度を算出する符号化難易度算出手順と、Ｂピクチャの符号化難易度の平均値とＩピクチャの符号化難易度との比率が第１の所定値を越えた符号化処理単位内において、Ｂピクチャの符号化難易度とＩピクチャの符号化難易度との比率が第２の所定値を越え、且つ、Ｂピクチャの符号化難易度が第３の所定値を越えるという条件を満たすＢピクチャを、ＩピクチャまたはＰピクチャに変更するピクチャタイプ変更手順と、このピクチャタイプ変更手順によりピクチャタイプが変更されたピクチャを対象として、このピクチャに近接したピクチャの符号化難易度を利用して、符号化難易度の値が変更後のピクチャタイプに応じた値となるように、符号化難易度算出手順により算出された符号化難易度を補正する符号化難易度補正手順と、符号化難易度算出手順により算出された符号化難易度と、符号化難易度補正手順により補正された符号化難易度と、符号化画像データを記録する記録媒体の容量とに基づいて、入力画像データを符号化する際に各ピクチャに割り当てる割り当てビット量を算出する割り当てビット量算出手順と、入力画像データを符号化する際の発生ビット量が割り当てビット量算出手順により算出された割り当てビット量となるように、入力画像データを符号化する符号化手順とを含むようにしたものである。
本発明の第３の画像符号化方法は、入力画像データを符号化して符号化画像データを生成する画像符号化方法であって、入力画像データを、Ｉピクチャを含む所定枚数のピクチャを含む符号化処理単位で符号化して、入力画像データのピクチャの符号化の難度を表す符号化難易度を算出する符号化難易度算出手順と、Ｂピクチャの符号化難易度の平均値とＩピクチャの符号化難易度との比率が第１の所定値を越えた符号化処理単位内において、Ｂピクチャの符号化難易度とＩピクチャの符号化難易度との比率が第２の所定値を越え、且つ、Ｂピクチャの符号化難易度が第３の所定値を越えるという条件を満たすＢピクチャを、ＩピクチャまたはＰピクチャに変更するピクチャタイプ変更手順と、このピクチャタイプ変更手順によりピクチャタイプが変更されたピクチャを対象として、このピクチャに近接したピクチャの符号化難易度を利用して、符号化難易度の値が変更後のピクチャタイプに応じた値となるように、符号化難易度算出手順により算出された符号化難易度を補正する符号化難易度補正手順と、ピクチャ単位もしくは符号化処理単位の符号化難易度および符号化難易度補正手順により補正された符号化難易度と、ピクチャ単位もしくは符号化処理単位の符号化難易度および上記補正された符号化難易度の総和との比率に基づいて、入力画像データを符号化する際に各ピクチャに割り当てる割り当てビット量をピクチャ単位または符号化処理単位で算出する割り当てビット量算出手順と、入力画像データを符号化する際の発生ビット量が割り当てビット量算出手順により算出された割り当てビット量となるように、入力画像データを符号化する符号化手順とを含むようにしたものである。
【００１１】
本発明の第１の画像符号化装置および第１の画像符号化方法では、入力画像データが、Ｉピクチャを含む所定枚数のピクチャを含む符号化処理単位で符号化される。また、入力画像データのピクチャの符号化の難度を表す符号化難易度が取得される。そして、Ｂピクチャの符号化難易度の平均値とＩピクチャの符号化難易度との比率が第１の所定値を越えた符号化処理単位内において、Ｂピクチャの符号化難易度とＩピクチャの符号化難易度との比率が第２の所定値を越え、且つ、Ｂピクチャの符号化難易度が第３の所定値を越えるという条件を満たすＢピクチャが、ＩピクチャまたはＰピクチャに変更されて符号化されるように、符号化の制御がなされる。
本発明の第２の画像符号化装置および第２の画像符号化方法では、入力画像データが、Ｉピクチャを含む所定枚数のピクチャを含む符号化処理単位で符号化され、入力画像データのピクチャの符号化の難度を表す符号化難易度が算出される。また、Ｂピクチャの符号化難易度の平均値とＩピクチャの符号化難易度との比率が第１の所定値を越えた符号化処理単位内において、Ｂピクチャの符号化難易度とＩピクチャの符号化難易度との比率が第２の所定値を越え、且つ、Ｂピクチャの符号化難易度が第３の所定値を越えるという条件を満たすＢピクチャが、ＩピクチャまたはＰピクチャに変更される。また、ピクチャタイプが変更されたピクチャを対象として、このピクチャに近接したピクチャの符号化難易度を利用して、符号化難易度の値が変更後のピクチャタイプに応じた値となるように、算出された符号化難易度が補正される。そして、算出された符号化難易度と、補正された符号化難易度と、符号化画像データを記録する記録媒体の容量とに基づいて、入力画像データを符号化する際に各ピクチャに割り当てる割り当てビット量が算出され、入力画像データを符号化する際の発生ビット量が算出された割り当てビット量となるように、入力画像データが符号化される。
【００１２】
本発明の第３の画像符号化装置および第３の画像符号化方法では、入力画像データが、Ｉピクチャを含む所定枚数のピクチャを含む符号化処理単位で符号化され、入力画像データのピクチャの符号化の難度を表す符号化難易度が算出される。また、Ｂピクチャの符号化難易度の平均値とＩピクチャの符号化難易度との比率が第１の所定値を越えた符号化処理単位内において、Ｂピクチャの符号化難易度とＩピクチャの符号化難易度との比率が第２の所定値を越え、且つ、Ｂピクチャの符号化難易度が第３の所定値を越えるという条件を満たすＢピクチャが、ＩピクチャまたはＰピクチャに変更される。また、ピクチャタイプが変更されたピクチャを対象として、このピクチャに近接したピクチャの符号化難易度を利用して、符号化難易度の値が変更後のピクチャタイプに応じた値となるように、算出された符号化難易度が補正される。そして、ピクチャ単位もしくは符号化処理単位の符号化難易度および補正された符号化難易度と、ピクチャ単位もしくは符号化処理単位の符号化難易度および補正された符号化難易度の総和との比率に基づいて、入力画像データを符号化する際に各ピクチャに割り当てる割り当てビット量がピクチャ単位または符号化処理単位で算出され、入力画像データを符号化する際の発生ビット量が算出された割り当てビット量となるように、入力画像データが符号化される。
【００１３】
【発明の実施の形態】
以下、本発明の一実施の形態について図面を参照して詳細に説明する。図２は、本実施の形態に係る画像符号化装置としてのビデオエンコード装置を含むＤＶＤ用のオーサリング装置の構成を示すブロック図である。このオーサリング装置１０は、ビデオ（画像）データを入力し、圧縮符号化するビデオエンコード装置１１と、オーディオデータを入力し、圧縮符号化するオーディオエンコード装置１２と、字幕等の静止画像データを入力し、符号化するサブピクチャエンコード装置１３と、メニュー画面のビデオデータを符号化するメニューエンコード装置１４と、これらの符号化されたデータをＤＶＤ規格に即した順序で多重化するマルチプレクサ１５と、多重化処理後のデータをディスク製造工程に渡すために所定の記録媒体に記録するストリーマ１６と、各エンコード装置１１〜１４、マルチプレクサ１５およびストリーマ１６に接続された、例えばＲＡＩＤ（Redundant Array of Inexpensive Disks）構成のハードディスク装置（ＨＤＤ）１７と、ネットワーク１９を介して、上記各構成要素に接続され、これらの動作を管理するスーパバイザ１８とを備えている。
【００１４】
ここで、上述のオーサリング装置１０の動作の概略について説明する。スーパバイザ１８は、ビデオエンコード装置１１、オーディオエンコード装置１２、サブピクチャエンコード装置１３およびメニューエンコード装置１４に符号化処理の開始を指示する。各エンコード装置１１〜１４は、この指示により符号化処理を開始する。その結果得られるデータは、スーパバイザ１８から指示されたハードディスク装置１７の記憶領域に順次格納される。各エンコーダ装置１１〜１４における符号化処理が終了すると、マルチプレクサ１５において多重化処理を行う。
【００１５】
マルチプレクサ１５は、スーパバイザ１８の指示により、ハードディスク装置１７の記憶領域から、符号化によって得られたデータを読み出し、これをＤＶＤ規格に即した順序で多重化し、その結果得られる多重化データを、スーパバイザ１８に指示されたハードディスク装置１７の記憶領域に順次格納する。また、ストリーマ１６は、ディスク製造工程に多重化処理後のデータを渡すために、スーパバイザ１８の指示によりハードディスク装置１７の記憶領域から多重化データを読み出し、これを所定のテープ状の記録媒体に順次記録する。スーパバイザ１８は、ストリーマ１６から記録終了の通知を受信すると、記録処理が終了したとして記録用データの作成を終了する。
【００１６】
図１は、本実施の形態に係る画像符号化装置としてのビデオエンコード装置１１の構成を示すブロック図である。このビデオエンコード装置１１は、例えばＶＴＲ（ビデオテープレコーダ）２１にケーブル２０ａを介して接続されると共に、ハードディスク装置１７に例えばＳＣＳＩ（Small Computer System Interface ）を用いたケーブル２０ｂを介して接続され、ＶＴＲ２１より出力されるビデオデータＳ1 を、ＭＰＥＧ２規格による動き補償を併用した双方向予測符号化方式によって圧縮符号化して、圧縮画像データＳ2 をハードディスク装置１７に出力する符号化手段としてのビデオエンコーダ２２と、このビデオエンコーダ２２にケーブル２０ｃを介して接続され、ビデオエンコーダ２２による圧縮処理結果を表示するためのモニタ装置２３と、ネットワーク１９を介してスーパバイザ１８に接続されると共に、ＶＴＲ２１、ビデオエンコーダ２２にそれぞれ、例えばＲＳ−４２２規格のケーブル２０ｄ、例えばイーサネットを用いたケーブル２０ｅを介して接続され、ＶＴＲ２１およびビデオエンコーダ２２を制御する符号化制御手段としてのビデオエンコーダ制御装置２４とを備えている。なお、ＶＴＲ２１からビデオエンコーダ２２に対しては、ビデオデータＳ1 と共に、タイムコードと同期信号も送られるようになっている。
【００１７】
ビデオエンコーダ制御装置２４は、符号化処理におけるビット配分計算を行うビット配分部２５と、ビデオエンコーダ２２を制御するエンコーダコントロール部２６と、ＶＴＲ２１を制御するＶＴＲコントロール部２７と、ユーザインタフェースの制御を行うと共に、ネットワーク１９を介してスーパバイザ１８に接続され、ビット配分部２５とＶＴＲコントロール部２７を管理するグラフィカルユーザインタフェース（以下、ＧＵＩ（Graphical User Interface）という。）部２８とを有している。なお、ビット配分部２５、エンコーダコントロール部２６、ＶＴＲコントロール部２７およびＧＵＩ部２８は、それぞれ所定のプログラムによって実現されるようになっている。
【００１８】
図１において、スーパバイザ１８およびビデオエンコーダ制御装置２４は、それぞれコンピュータによって実現される。
【００１９】
図１に示した構成において、スーパバイザ１８は、ＤＶＤのオーサリングシステム全体の管理を行い、ビデオ、オーディオ、サブピクチャおよびメニュー用の各エンコード装置１１〜１４に符号化条件を与えて、各エンコード装置１１〜１４より符号化結果の報告を受けるようになっている。図１に示した例では、スーパバイザ１８は、ビデオエンコーダ制御装置２４のＧＵＩ部２８に対して、ファイルv.enc によってビデオデータの符号化条件を指定し、ビデオエンコーダ制御装置２４のＧＵＩ部２８は、スーパバイザ１８に対して、符号化結果のビットストリームが書き込まれたハードディスク装置１７上のアドレスを示すアドレスデータv.adr と、ビットストリームを多重化する際に必要な多重化用データvxxx.auiを報告するようになっている。
【００２０】
ビデオエンコーダ制御装置２４内において、ＧＵＩ部２８は、ビット配分部２５に対してファイルv.enc を与え、ビット配分部２５は、ＧＵＩ部２８に対してアドレスデータv.adr および多重化用データvxxx.auiを与えるようになっている。ＧＵＩ部２８は、ビット配分部２５に対して、更に、後述するカスタマイズにおけるビット配分のための重み付けファイルweight.txtを与えるようになっている。
【００２１】
ビット配分部２５は、エンコーダコントロール部２６に対して、ビット配分計算の結果に基づくビデオエンコーダ２２の制御条件を、コントロールファイルCTL fileとして与え、エンコーダコントロール部２６は、ビット配分部２５に対して、後述する符号化難易度を表す符号化難易度データdifficultyを与えるようになっている。
【００２２】
ＧＵＩ部２８は、ＶＴＲコントロール部２７に対して、ＶＴＲ２１を動作させるための各種コマンドcommand を与え、ＶＴＲコントロール部２７は、ＧＵＩ部２８に対して、ＶＴＲ２１の各種の状態を表すステータスデータstate とＶＴＲ２１の異常を表すエラーデータerror を与えるようになっている。
【００２３】
図３は、ビデオエンコーダ２２の構成の一例を示すブロック図である。この図に示したビデオエンコーダ２２は、入力ビデオデータＳ1 を入力し、符号化する順番に従ってピクチャ（Ｉピクチャ，Ｐピクチャ，Ｂピクチャ）の順番を並べ替える画像並べ替え回路３１と、この画像並べ替え回路３１の出力データを入力し、フレーム構造かフィールド構造かを判別し、判別結果に応じた走査変換および１６×１６画素のマクロブロック化を行う走査変換・マクロブロック化回路３２と、この走査変換・マクロブロック化回路３２の出力データに基づいて、符号化の対象となるピクチャの注目マクロブロックと、参照されるピクチャにおいて注目マクロブロックとの間の画素値の差分の絶対値和あるいは自乗和が最小となるマクロブロックを探して、動きベクトルを検出して、動きベクトルデータを出力する動き検出回路３３とを備えている。
【００２４】
ビデオエンコーダ２２は、更に、走査変換・マクロブロック化回路３２の出力データと予測画像データとの差分をとる減算回路３４と、この減算回路３４の出力データに対して、ＤＣＴブロック単位でＤＣＴを行い、ＤＣＴ係数を出力するＤＣＴ回路３５と、このＤＣＴ回路３５の出力データを量子化する量子化回路３６と、この量子化回路３６の出力データを可変長符号化して符号化データを生成する共に、この符号化データと動き検出回路３３より出力される動きベクトルデータ等の付帯データとを多重化して出力する可変長符号化回路３７と、この可変長符号化回路３７の出力データを一旦保持し、ビットストリームからなる圧縮画像データＳ2 として出力するバッファメモリ３８と、量子化回路３６の出力データを逆量子化する逆量子化回路３９と、この逆量子化回路３９の出力データに対して逆ＤＣＴを行う逆ＤＣＴ回路４０と、この逆ＤＣＴ回路４０の出力データと予測画像データとを加算して出力する加算回路４１と、この加算回路４１の出力データを保持し、動き検出回路３３より出力される動きベクトルデータに応じて動き補償を行って予測画像データを減算回路３４および加算回路４１に出力する動き補償回路４２と、量子化回路３６における量子化特性値に対応する量子化インデックスを決定し、量子化回路３６に与える量子化インデックス決定部４３とを備えている。
【００２５】
画像並べ替え回路３１は、エンコーダコントロール部２６からピクチャタイプの情報Ｓ3 を受け取り、この情報Ｓ3 に従ってピクチャの順番を並べ替えるようになっている。バッファメモリ３８は、発生ビット量の情報Ｓ5 をエンコーダコントロール部２６と量子化インデックス決定部４３とに出力するようになっている。量子化インデックス決定部４３は、エンコーダコントロール部２６から各ピクチャへの割り当てビット量の情報Ｓ4 を受け取り、この情報Ｓ4 とバッファメモリ３８からの発生ビット量の情報Ｓ5 とに基づいて、発生ビット量が割り当てビット量に近づくように量子化インデックスを決定するようになっている。
【００２６】
ここで、図３に示したビデオエンコーダ２２の動作について簡単に説明する。入力ビデオデータＳ1 は、まず、画像並べ替え回路３１に入力され、この画像並べ替え回路３１によって、ピクチャタイプの情報Ｓ3 に従ってピクチャタイプを決定して、符号化する順番に従ってピクチャ（Ｉピクチャ，Ｐピクチャ，Ｂピクチャ）の順番を並べ替える。画像並べ替え回路３１の出力データは、走査変換・マクロブロック化回路３２に入力される。走査変換・マクロブロック化回路３２は、フレーム構造かフィールド構造かを判別し、判別結果に応じた走査変換およびマクロブロック化を行う。走査変換・マクロブロック化回路３２の出力データは、動き検出回路３３および減算回路３４に送られる。動き検出回路３３は、動きベクトルを検出して、動きベクトルデータを動き補償回路４２および可変長符号化回路３７に送る。
【００２７】
Ｉピクチャの場合には、減算回路３４において予測画像データとの差分をとることなく、走査変換・マクロブロック化回路３２の出力データをそのままＤＣＴ回路３５に入力してＤＣＴを行い、量子化回路３６によってＤＣＴ係数を量子化し、可変長符号化回路３７によって量子化回路３６の出力データを可変長符号化し、バッファメモリ３８によって可変長符号化回路３７の出力データを一旦保持し、ビットストリームからなる圧縮画像データＳ2 として出力する。また、逆量子化回路３９によって量子化回路３６の出力データを逆量子化し、逆ＤＣＴ回路４０によって逆量子化回路３９の出力データに対して逆ＤＣＴを行い、逆ＤＣＴ回路４０の出力データを加算回路４１を介して動き補償回路４２に入力して保持させる。
【００２８】
Ｐピクチャの場合には、動き補償回路４２によって、保持している過去のＩピクチャまたはＰピクチャに対応する画像データと動き検出回路３３からの動きベクトルデータとに基づいて予測画像データを生成し、予測画像データを減算回路３４および加算回路４１に出力する。また、減算回路３４によって、走査変換・マクロブロック化回路３２の出力データと動き補償回路４２からの予測画像データとの差分をとり、ＤＣＴ回路３５によってＤＣＴを行い、量子化回路３６によってＤＣＴ係数を量子化し、可変長符号化回路３７によって量子化回路３６の出力データを可変長符号化すると共に動きベクトルデータを多重化し、バッファメモリ３８によって可変長符号化回路３７の出力データを一旦保持し圧縮画像データＳ2 として出力する。また、逆量子化回路３９によって量子化回路３６の出力データを逆量子化し、逆ＤＣＴ回路４０によって逆量子化回路３９の出力データに対して逆ＤＣＴを行い、加算回路４１によって逆ＤＣＴ回路４０の出力データと予測画像データとを加算し、動き補償回路４２に入力して保持させる。
【００２９】
Ｂピクチャの場合には、動き補償回路４２によって、保持している過去および未来のＩピクチャまたはＰピクチャに対応する２つの画像データと動き検出回路３３からの２つの動きベクトルとに基づいて予測画像データを生成し、予測画像データを減算回路３４および加算回路４１に出力する。また、減算回路３４によって、走査変換・マクロブロック化回路３２の出力データと動き補償回路４２からの予測画像データとの差分をとり、ＤＣＴ回路３５によってＤＣＴを行い、量子化回路３６によってＤＣＴ係数を量子化し、可変長符号化回路３７によって量子化回路３６の出力データを可変長符号化すると共に動きベクトルデータを多重化し、バッファメモリ３８によって可変長符号化回路３７の出力データを一旦保持し圧縮画像データＳ2 として出力する。なお、Ｂピクチャは動き補償回路４２に保持させない。
【００３０】
バッファメモリ３８は、発生ビット量の情報Ｓ5 をエンコーダコントロール部２６と量子化インデックス決定部４３とに出力する。量子化インデックス決定部４３は、エンコーダコントロール部２６からの各ピクチャへの割り当てビット量の情報Ｓ4 とバッファメモリ３８からの発生ビット量の情報Ｓ5 とに基づいて、発生ビット量が割り当てビット量に近づくように量子化インデックスを決定し、量子化回路３６に与える。
【００３１】
次に、図４を参照して、本実施の形態に係る画像符号化装置としてのビデオエンコード装置１１の動作について説明する。なお、以下の説明は、本実施の形態に係る画像符号化方法の説明を兼ねている。ここでは、２パスエンコーディング方式によって符号化する場合について説明する。２パスエンコーディング方式では、最初に、予備的な符号化処理を行って、符号化する素材の画像の符号化の難易度を表す符号化難易度を測定し、その符号化難易度に基づいて、与えられた符号量に収まるように、各ピクチャごとに符号量の配分を行って正式な符号化処理を行う。
【００３２】
ビデオエンコード装置１１は、始めに、ビデオエンコーダ制御装置２４のＧＵＩ部２８によって、ネットワーク１９経由で、スーパバイザ１８に対して、ＤＶＤ等のディスクの容量の中からビデオデータに割り当てられたビット総量や最大ビットレート等の符号化条件を取りに行く。この符号化条件は、ファイルv.enc によって、スーパバイザ１８よりＧＵＩ部２８に与えられ、更に、ビット配分部２５に与えられ、ビット配分部２５において符号化条件が設定される（ステップＳ１０１）。
【００３３】
次に、ビデオエンコード装置１１は、予備的な１パス目の符号化処理を行って、符号化難易度の測定を行う（ステップＳ１０２）。この予備的な符号化処理では、ＧＵＩ部２８がＶＴＲコントロール部２７にコマンドcommand を与え、このコマンドcommand に基づいて、ＶＴＲコントロール部２７がＶＴＲ２１を制御して、磁気テープよりビデオデータＳ1 を再生させる。このビデオデータＳ1 は、ビデオエンコーダ２２に入力される。ビデオエンコーダ２２は、エンコーダコントロール部２６の制御により、ビデオデータＳ1 の圧縮符号化を行う。予備的な符号化処理では、ビデオエンコーダ２２における符号化の際の量子化ステップ数を固定値に設定した条件で符号化処理を行い、発生ビット量を測定する。動きが多く、高い周波数成分が多い画像では、発生ビット量が大きくなり、静止画や平坦な部分が多い画像では発生ビット量が少なくなる。従って、予備的な符号化処理における発生ビット量は、符号化する素材の画像の符号化の難易度を表すものと言える。そこで、本実施の形態では、この発生ビット量を、符号化難易度として測定する。なお、ビデオエンコーダ２２における符号化処理によって発生されるデータには、実際のＤＣＴ係数に関わる符号化データ（以下、単に符号化データとも言う。）と、動き補償のための動きベクトルデータとが含まれる。従って、発生データ量は、符号化データのデータ量と動きベクトルデータのデータ量とを合わせたものとなる。符号化難易度の情報は、発生ビット量の情報Ｓ5 としてビデオエンコーダ２２よりエンコーダコントロール部２６に与えられ、更に、符号化難易度データdifficultyとしてエンコーダコントロール部２６よりビット配分部２５に与えられる。
【００３４】
次に、ビット配分部２５は、与えられた符号化条件を基に、各ピクチャの符号化難易度に応じて、各ピクチャへ割り当てビット量を配分するためのビット配分計算を行う（ステップＳ１０３）。ビット配分計算については、後で詳しく説明する。ビット配分計算の結果に基づくビデオエンコーダ２２の制御条件は、コントロールファイルCTL fileとして、ビット配分部２５よりエンコーダコントロール部２６に与えられる。
【００３５】
次に、ビデオエンコード装置１１は、ビット配分計算の結果に基づくビデオエンコーダ２２の制御条件に従って、プレビューの処理を行う（ステップＳ１０４）。このプレビューの処理は、使用者が任意の処理範囲を指定してビデオデータを圧縮符号化し、得られたデータを、ハードディスク装置１７に出力せずに、ビデオエンコーダ２２内部のデコーダ（復号化器）によって復号化してモニタ装置２３によって表示させる処理である。使用者は、このモニタ装置２３に表示された画像の画質を評価し（ステップＳ１０５）、画質に満足しない場合（ＮＧ）には、カスタマイズ処理を行う（ステップＳ１０６）。このカスタマイズ処理は、画質に問題のある部分のビットレートを上げたり、符号化の前に施す時間的、空間的なフィルタのフィルタレベルを調整するといった部分的に符号化の条件を変更する処理である。ビデオエンコーダ制御装置２４のＧＵＩ部２８は、カスタマイズ処理における使用者の操作に応じて、符号化難易度を補正する重み付けファイルweight.txtを作成し、ビット配分部２５に与える。ビット配分部２５は、この重み付けファイルweight.txtに基づいて、ビット配分を再計算する（ステップＳ１０７）。ビット配分再計算後のビデオエンコーダ２２の制御条件は、コントロールファイルCTL fileとして、ビット配分部２５よりエンコーダコントロール部２６に与えられる。そして、ビデオエンコード装置１１の動作は、ステップＳ１０４のプレビューの処理に戻る。
【００３６】
一方、使用者は、プレビューの処理の結果、画質に満足した場合（ＯＫ）は、正式な符号化処理の実行を指示し、これにより、正式な符号化処理が実行される（ステップＳ１０８）。この符号化処理では、ＧＵＩ部２８がＶＴＲコントロール部２７にコマンドcommand を与え、このコマンドcommand に基づいて、ＶＴＲコントロール部２７がＶＴＲ２１を制御して、磁気テープよりビデオデータＳ1 を再生させる。このビデオデータＳ1 は、ビデオエンコーダ２２に入力される。ビデオエンコーダ２２は、エンコーダコントロール部２６の制御により、ビデオデータＳ1 の圧縮符号化を行う。正式な符号化処理では、ステップＳ１０３またはステップＳ１０７によるビット配分計算後のビデオエンコーダ２２の制御条件に従って、エンコーダコントロール部２６によって、ビデオエンコーダ２２が制御されて、ビデオデータＳ1 が圧縮符号化される。圧縮符号化によって得られた圧縮画像データＳ2 は、ハードディスク装置１７に記録される。この圧縮符号化後、ビデオエンコーダ制御装置２４は、符号化処理結果（アドレスデータv.adr および多重化用データvxxx.aui）をネットワーク１９を介して、スーパバイザ１８に報告する後処理を行い（ステップＳ１０９）、ビデオエンコード装置１１による符号化作業が終了する。
【００３７】
なお、図４に示した動作のうち、ステップＳ１０１，Ｓ１０３，Ｓ１０５，Ｓ１０６，１０７，１０９は、コンピュータ（ビデオエンコーダ制御装置２４）上のオフライン処理である。
【００３８】
次に、図５を参照して、図４におけるビット配分計算（ステップＳ１０３）について詳細に説明する。このビット配分計算の概略は、スーパバイザ１８より与えられたビット総量QTY BYTES と最大ビットレートMAXRATE とに基づいて、最大ビットレート以下になるように制限を加えた総ビット量USB BYTES を求め、この値からＧＯＰヘッダに必要なビット量TOTAL HEADERを引いて、各ピクチャへの割り当てビット量の総和の目標値となるビット量SUPPLY BYTESを算出し、このビット量SUPPLY BYTESの大きさの範囲内に収まるように、各ピクチャへの割り当てビット量targetを配分することである。
【００３９】
具体的には、ビット配分部２５は、始めに、ファイルv.enc によって、ＧＵＩ部２８を介してスーパバイザ１８より、ビット総量QTY BYTES 、最大ビットレートMAXRATE 等の符号化条件を入力する（ステップＳ２０１）。次に、ビット配分部２５は、エンコーダコントロール部２６より符号化難易度データdifficultyを入力する（ステップＳ２０２）。
【００４０】
次に、ビット配分部２５は、シーンチェンジ検出および処理を行う（ステップＳ２０３）。すなわち、ビデオエンコーダ制御装置２４は、符号化難易度を測定する際に、各画像の直流（ＤＣ）成分の値や動きベクトルデータのデータ量の大きさ等のパラメータも併せて測定し、それらのパラメータの変化量から、シーンが変化するポイントを見つけることが可能であり、ビット配分部２５は、これを用いてシーンチェンジの検出およびその処理を行う。
【００４１】
ここで、図６を参照して、シーンチェンジ検出および処理について詳しく説明する。シーンチェンジとは、場面が切り換わることである。ＭＰＥＧ２規格による動き補償を併用した双方向予測符号化方式によって圧縮符号化処理を行う場合には、このシーンチェンジのフレームがＰピクチャに設定されると画質が劣化する。そこで、シーンチェンジ検出および処理では、Ｐピクチャがシーンチェンジのフレームに設定されたことを検出し、そのＰピクチャをＩピクチャに変更する処理を行う。図６（ａ）は、ＧＯＰの構成の一例を表示順に示したものであり、ここでは、符号６０で示したＰピクチャがシーンチェンジのフレームに設定されている。そのため、シーンチェンジ検出および処理では、図６（ｂ）に示したように、このＰピクチャをＩピクチャに変更する。
【００４２】
なお、シーンチェンジのフレームは、例えば、ビデオエンコーダ制御装置２４によって、符号化難易度の測定の際に、Ｉピクチャ、Ｐピクチャについて、輝度レベルの直流レベル、動き補償で用いる差分データの加算値をビデオエンコーダ２２から取得し、これら直流レベルや差分データの加算値により検出することができる。
【００４３】
また、シーンチェンジ検出および処理と同様に、フラッシュの検出および処理を行うこともできる。ここで言うフラッシュとは、例えば写真撮影のフラッシュが点灯したような場合で、フラッシュのフレームを間に挟んで、前後のフレームで連続性が維持されている場合である。フラッシュの検出および処理では、このフラッシュを検出し、フラッシュの次のフレームをＩピクチャに変更する。
【００４４】
次に、ビット配分部２５は、チャプタ処理を行う（ステップＳ２０４）。ＤＶＤプレイヤでのチャプタサーチ時には、特定されないピクチャからチャプタへジャンプしてくるが、チャプタ処理は、その場合でも、再生画像の乱れがないように、チャプタの位置が必ずＧＯＰの先頭になるようにピクチャタイプを変更する処理である。
【００４５】
ここで、図７を参照して、チャプタ処理の一例について説明する。図７（ａ）は、ＧＯＰの構成の一例を表示順に示したものであり、ここでは、符号７０で示したＰピクチャがチャプタのフレームに指定されている。この場合、チャプタ処理では、Ｐピクチャ７０をＩピクチャに変更すると共に、チャプタの直前のＢピクチャ７１をＰピクチャに変更して、チャプタの前後のフレームにおいて、チャプタの前後に予測フレームが跨らないようにＢピクチャ、Ｐピクチャを設定する。
【００４６】
次に、ビット配分部２５は、符号化難易度に基づいて、少なくとも１種類のフレーム間予測符号化ピクチャ（Ｐピクチャ，Ｂピクチャ）に関して、符号化難易度が所定の条件を満たすか否かを判断し、符号化難易度が所定の条件を満たす場合に、ピクチャタイプをフレーム内符号化ピクチャ（Ｉピクチャ）または予測方向の数がより少ないフレーム間予測符号化ピクチャ（Ｐピクチャ）に変更するピクチャタイプの変更処理を行う（ステップＳ２０５）。このピクチャタイプの変更処理については、後で詳しく説明する。
【００４７】
なお、ステップＳ２０３ないしステップＳ２０５の各処理によって決定されたピクチャタイプの情報は、後に、エンコーダコントロール部２６より、ピクチャタイプの情報Ｓ3 として、ビデオエンコーダ２２の画像並べ替え回路３１に与えられ、ビデオエンコーダ２２では、ステップＳ２０３ないしステップＳ２０５の各処理によって決定されたピクチャタイプに従って符号化処理が行われることになる。
【００４８】
次に、ビット配分部２５は、符号化難易度の補間および補正処理を行う（ステップＳ２０６）。すなわち、ステップＳ２０３ないしステップＳ２０５の各処理によってピクチャタイプが変更されると、符号化難易度を測定した際のピクチャタイプと正式な符号化処理を行う際のピクチャタイプとが異なってしまうため、符号化難易度の補間および補正処理では、ピクチャタイプが変更されたフレームに関して、例えば近接したフレームの符号化難易度の値を利用して、符号化難易度の値が変更後のピクチャタイプに応じた値となるように、符号化難易度の補間または補正を行う。
【００４９】
次に、ビット配分部２５は、補間および補正処理後の符号化難易度と、スーパバイザ１８より与えられたビット総量QTY BYTES 等に基づいて、各ピクチャへの割り当てビット量targetを計算する（ステップＳ２０７）。次に、ビット配分部２５は、計算した割り当てビット量targetに基づいて、圧縮画像データを記録するハードディスク装置１７上のアドレスを計算し（ステップＳ２０８）、更に、この計算したアドレスと割り当てビット量targetとを順次記述して、ビデオエンコーダ２２用のコントロールファイルCTL fileを作成し（ステップＳ２０９）、ビット配分計算の処理を終了し、ビデオエンコード装置１１の動作は、図４におけるステップＳ１０４へ進む。
【００５０】
以下、ステップＳ２０７における割り当てビット量targetの計算方法の一例について説明する。この例では、まず、スーパバイザ１８より与えられたビット総量QTY BYTES と最大ビットレートMAXRATE とに基づいて、次の式（１）により、最大ビットレート以下になるように制限を加えた総ビット量USB BYTES を求める。
【００５１】
USB BYTES ＝min(QTY BYTES,MAXRATE ×KT×total frame number) …（１）
【００５２】
式（１）において、KTは定数であり、ＮＴＳＣ方式の場合はKT＝１／８（bits）／３０（Hz）、ＰＡＬ方式の場合はKT＝１／８（bits）／２５（Hz）である。total frame numberは、符号化する素材のフレーム総数である。min(s,t)は、ｓとｔのうちで小さい方を選択する関数である。
【００５３】
次に、式（２）で示すように、式（１）で求めたUSB BYTES から、ＧＯＰヘッダに必要なビット量TOTAL HEADERを引いて、各ピクチャへの割り当てビット量の総和の目標値となるビット量SUPPLY BYTESを算出する。
【００５４】
SUPPLY BYTES＝USB BYTES −TOTAL HEADER …（２）
【００５５】
本例では、式（２）で求まったビット量SUPPLY BYTESを、まず、ＧＯＰ単位に配分し、その後、各ＧＯＰ内で各ピクチャの符号化難易度に応じて配分するものとする。ここでは、各ＧＯＰ毎の符号化難易度の和gop diffに応じて、符号化する際のＧＯＰ単位のビット割当量gop targetを配分している。図８は、この符号化難易度の和gop diffとＧＯＰ単位のビット割当量gop targetとを変換する関数の一例を示したものである。この例では、Ｙをgop target、Ｘをgop diffとして、Ｙ＝ＡＸ＋Ｂという評価関数を用いている。この評価関数を用いて、割り当てビット量targetを以下のようにして求める。
【００５６】
まず、次の式（３）により、全てのピクチャの符号化難易度の総和DIFFICULTY SUMを求める。なお、difficultyは、各ピクチャの符号化難易度である。
【００５７】
DIFFICULTY SUM＝Σdifficulty …（３）
【００５８】
ここで、評価関数Ｙ＝ＡＸ＋Ｂより、次の式（４）が成り立つ。
【００５９】
ΣＹ＝Ａ×ΣＸ＋Ｂ×ｎ …（４）
【００６０】
ここで、ΣＹ＝SUPPLY BYTES、ΣＸ＝DIFFICULTY SUMであり、ｎはＧＯＰの総数である。また、Ｂを、ＧＯＰ単位のビット割り当て量の最小値gop minbytesとする。
【００６１】
従って、式（４）により、Ａは次の式（５）で表される。
【００６２】
Ａ＝（SUPPLY BYTES−gop minbytes×ｎ）／DIFFICULTY SUM …（５）
【００６３】
ＧＯＰ単位のビット割り当て量gop targetは上述の評価関数より、次の式（６）で表される。
【００６４】
gop target＝Ａ×gop diff＋Ｂ …（６）
【００６５】
この式（６）中のＡは式（５）で与えられ、Ｂはgop minbytesである。
【００６６】
次に、式（６）で求まったＧＯＰ単位のビット割り当て量gop targetを、各ＧＯＰ内で各ピクチャの符号化難易度に応じて配分する。ＧＯＰ内での各ピクチャへのビット配分を符号化難易度の大きさに比例させた場合には、各ピクチャの割り当てビット量targetは、次の式（７）により求められる。
【００６７】
このようにして、各ピクチャの割り当てビット量targetが計算されるが、素材の中に極端に難しい（各ＧＯＰごとの符号化難易度の和gop diffの値が大きくなる）ピクチャがあると、ＧＯＰ単位のビット割り当て量gop targetの値が非常に大きくなり、オーサリング装置において許容されている最大ビットレートMAXRATE を越えてしまうため、ＧＯＰ単位のビット割り当て量gop targetには、図８に示したように、ＧＯＰ単位のビット割り当て量の最大値gop maxbytesといった固定値で制限をかける必要がある。また、割り当てビット量targetの最小値は、前述のgop minbytesによって制限される。
【００６８】
なお、式（７）において、ｋはＧＯＰ内のピクチャ数を越えない任意の値とし、target(k) はｋ番目のピクチャの割り当てビット量、difficulty(k) はｋ番目のピクチャの符号化難易度を表す。
【００６９】
このようにして、各ピクチャの割り当てビット量targetが計算されるが、素材の中に極端に難しい（各ＧＯＰごとの符号化難易度の和gop diffの値が大きくなる）ピクチャがあると、ＧＯＰ単位のビット割り当て量gop targetの値が非常に大きくなり、オーサリング装置において許容されている最大ビットレートMAXRATE を越えてしまうため、ＧＯＰ単位のビット割り当て量gop targetには、図７に示したように、ＧＯＰ単位のビット割り当て量の最大値gop maxbytesといった固定値で制限をかける必要がある。また、割り当てビット量targetの最小値は、前述のgop minbytesによって制限される。
【００７０】
以上のようにして求められた各ピクチャの割り当てビット量targetは、更に、次のようにして修正される。すなわち、ＭＰＥＧ２規格でビデオデータを符号化するときには、デコーダ（復号化装置）における入力バッファに対応する仮想的なバッファのバッファ残量を考慮しながらビット配分をすることが義務づけられている。この仮想的なバッファの残量の計算をＶＢＶ（Video buffering verifier）という。また、この仮想的なバッファをＶＢＶバッファともいう。ここで、図９を参照して、ＶＢＶの計算方法について説明する。ＤＶＤの場合、バッファサイズVBVMAX（例えば１．７５Mbits ）に対して、ｋ番目のピクチャにおけるバッファのスタート点をOccupancy up（ｋ）、ｋ番目のピクチャの割り当てビット量をtargetを（ｋ）とすると、ピクチャ再生のためにビットを供給した後のバッファ残量Occupancy down（ｋ）は以下の式（９）で表される。なお、バッファのスタート点の初期値Occupancy up（０）は例えば式（８）で表される固定値とする。
【００７１】
Occupancy up（０）＝VBVMAX×２／３ …（８）
Occupancy down（ｋ）＝Occupancy up（ｋ）−target（ｋ） …（９）
【００７２】
このバッファには、デコーダ側のピックアップから、ビデオデータのデータ量に応じたビットレートのデータ量SYSTEM SUPPLY が蓄積される。ここで、データ量SYSTEM SUPPLY は次の式（１０）で表される。
【００７３】
SYSTEM SUPPLY ＝MAXRATE ×TW …（１０）
【００７４】
なお、TWは、ピクチャの周期であり、ＮＴＳＣ方式の場合は１／２９．９７、ＰＡＬ方式の場合は１／２５である。
【００７５】
このデータ量SYSTEM SUPPLY が供給された後のバッファ残量Occupancy up（ｋ＋１）は次の式（１１）で表される。
【００７６】
Occupancy up（ｋ＋１）＝Occupancy down（ｋ）＋SYSTEM SUPPLY …（１１）
【００７７】
この供給されるデータ量SYSTEM SUPPLY は、図９において、Occupancy down（ｋ）とOccupancy up（ｋ＋１）との間の変化量に相当する。従って、供給されるデータのビットレートが大きいほど、Occupancy down（ｋ）からOccupancy up（ｋ＋１）への変化の傾きは大きくなり、バッファにデータが蓄積されやすくなる。バッファが飽和状態となった場合には、ピックアップからバッファへの供給が停止するため、バッファのオーバフローに関しては考慮する必要はない。これは、バッファ残量の任意の設定値に厳密に制御する必要はなく、任意の設定値以上になるように制御すればよいことを意味している。
【００７８】
一方、各ピクチャのデータ量が大きい場合、バッファに蓄積されたデータは大きく減少する。従って、バッファ残量が一定値以下にならないように割り当てビット量targetを修正する必要がある。
【００７９】
ここで、図１０および図１１を参照して、上述のようなＶＢＶの制限による割り当てビット量targetの修正処理について説明する。図１０（ａ）は、前述の評価関数とＧＯＰ単位のビット割り当て量の最大値gop maxbytesの制限を考慮して求めた割り当てビット量target、すなわち、式（７）によって求めた割り当てビット量targetの一例を示し、図１０（ｂ）は、図１０（ａ）に対応するＶＢＶバッファ残量の変化を示している。なお、図中、VBVMAXはＶＢＶバッファ残量の上限値、VBVMINはＶＢＶバッファ残量の下限値である。この例では、第１番目、第４番目、第７番目のピクチャで、ＶＢＶバッファ残量は下限値VBVMINを下回っている。従って、このままでは、デコーダ側において、連続したビデオデータの再生が一時途切れるおそれがある。
【００８０】
そこで、ＶＢＶの制限による割り当てビット量の修正処理では、下限値VBVMINを下回ったピクチャを含むＧＯＰの割り当てビット量を削減する。具体的には、まず、ＧＯＰ内でＶＢＶバッファ残量による制限を加える前の割り当てビット量を用いてＶＢＶ計算を実行したときのバッファ残量の最小値をOcc Min として、調整量ｒを、次の式（１２）によって求める。なお、制限を行うスタート点kstartは、Occupancy up（ｋ）が基準値VBVLINE （例えばVBVMAXの４分の３）以上となるときのｋの値で、このときのOccupancy up（ｋ）の値をOcc start とする。また、VBVSTARTは、Occupancy up（０）となる固定値である。
【００８１】
Occ Min ＜VBVMINのとき
ｒ＝（Occ start −VBVMIN）／（VBVSTART−Occ min ） …（１２）
【００８２】
次に、この調整量ｒを用いて、次の式（１３）により、修正後の割り当てビット量targetを求める。
【００８３】
target（ｊ）＝target′（ｊ）×ｒ …（１３）
【００８４】
ただし、target′は、修正前の割り当てビット量を表している。また、ｊは、kstart≦ｊ≦k である。
【００８５】
図１１（ａ）は、式（１３）に従って、ＶＢＶの制限による割り当てビット量の修正処理を行った後の割り当てビット量targetの一例を示し、図１１（ｂ）は、図１１（ａ）に対応するＶＢＶバッファ残量の変化を示している。このように、ＶＢＶの制限による割り当てビット量の修正処理を行うことによって、図１１（ｂ）に示した調整区間（kstart≦ｊ≦k の区間）ＲＣにおいて、ＶＢＶバッファ残量は下限値VBVMINを上回るようになる。
【００８６】
このようにして求められた割り当てビット量targetを用いて作成されたコントロールファイルCTL fileに基づいて、エンコーダコントロール部２６よりビデオエンコーダ２２の量子化インデックス決定部４３に割り当てビット量の情報Ｓ4 を与えて、ビデオエンコーダ２２において符号化処理を行うことにより、素材の画像の難しさに応じた可変ビットレートの符号化が実行される。
【００８７】
次に、図５におけるステップＳ２０５のピクチャタイプの変更処理について詳しく説明する。なお、以下の説明では、次のような記号を用いる。
【００８８】
１． gen bit （ｋ）
予備的な符号化によって測定されたｋ番目のフレームの符号化難易度の値であり、この値が大きいほど画像が難しいことを表す。なお、ｋは０以上kend（ＧＯＰの最後のｋ）以下の値とする。
２． i bits（ｊ）
ｊ番目のＧＯＰ内のＩピクチャの符号化難易度の値を表す。
３． b bits（ｊ）
ｊ番目のＧＯＰ内のＢピクチャの符号化難易度の値の和を表す。
４． b nb（ｊ）
ｊ番目のＧＯＰ内のＢピクチャの数を表す。
５． b rate（ｊ）
ｊ番目のＧＯＰのＢピクチャの符号化難易度の平均値とＩピクチャの符号化難易度の比率を表し、次の式（１４）により求められる。なお、ｊは１以上で、ＧＯＰの総数total gop nb以下の値とする。
【００８９】
b rate＝b bits／b nb／i bits …（１４）
【００９０】
６． pict rate （ｋ）
ｋ番目のフレームのピクチャの符号化難易度とそのフレームが属するＧＯＰのＩピクチャの符号化難易度の比率を表し、次の式（１５）により求められる。
【００９１】
pict rate ＝gen bit （ｋ）／i bits（ｊ） …（１５）
【００９２】
７． total gop nb
ＧＯＰの総数である。
８． gop start （ｋ）
ｋ番目のフレームがＧＯＰの先頭である場合は１とし、それ以外は０となる。
９． p type（ｋ）
ｋ番目のフレームのピクチャタイプ（Ｉ，Ｂ，Ｐ）を表す。
１０． B AVR LIMIT
符号化難易度が所定の条件を満たすか否かの判断のためのb rateに対する規定値であり、本発明における第１の所定値に対応するものである。ここでは、一例として、B AVR LIMIT ＝５５とする。
１１． BP CHG LIMIT
符号化難易度が所定の条件を満たすか否かの判断のためのpict rate に対する規定値であり、本発明における第２の所定値に対応するものである。ここでは、一例として、BP CHG LIMIT＝６５とする。
１２． DIFF LIMIT
符号化難易度が所定の条件を満たすか否かの判断のためのgen bit に対する規定値であり、本発明における第３の所定値に対応するものである。ここでは、一例として、DIFF LIMIT＝３０００とする。
【００９３】
次に、図１２の流れ図を参照して、図５におけるステップＳ２０５のピクチャタイプの変更処理について具体的に説明する。なお、ビデオエンコーダ制御装置２４では、ピクチャタイプの変更処理が開始される時点で既に各ＧＯＰのb rateおよびpict rate は算出されているものとする。ピクチャタイプの変更処理では、まず、ビデオエンコーダ制御装置２４のビット配分部２５は、初期設定値としてｊおよびｋの値を０とする（ステップＳ３０１）。次に、ビット配分部２５は、gop start （ｋ）の値が１か否かを判断することにより、ｋ番目のフレームがＧＯＰの先頭か否かを判断する（ステップＳ３０２）。
【００９４】
gop start （ｋ）が１、すなわちｋ番目のフレームがＧＯＰの先頭である場合（ステップＳ３０２；Ｙ）には、ｊ＋１を新たなｊとすると共に、変数ｋｋをｋとし（ステップＳ３０３）、ｊ番目のＧＯＰのb rate（ｊ）がB AVR LIMIT を越えているか否かを判断する（ステップＳ３０４）。b rateがB AVR LIMIT を越えている場合（ステップＳ３０４；Ｙ）は、ｋｋ番目のフレームのピクチャタイプp type（ｋｋ）がＢピクチャであり、且つｋｋ番目のフレームのpict rate （ｋｋ）がBP CHG LIMITを越えており、且つｋｋ番目のフレームのgen bit （ｋｋ）がDIFF LIMITを越えているか否かを判断する（ステップＳ３０５）。ｋｋ番目のフレームがＢピクチャで、且つpict rate （ｋｋ）がBP CHG LIMITを越えており、且つgen bit （ｋｋ）がDIFF LIMITを越えている場合（ステップＳ３０５；Ｙ）は、ピクチャタイプをＢピクチャからＰピクチャに変更し（ステップＳ３０６）、ｋｋ＋１を新たなｋｋとし（ステップＳ３０７）、gop start （ｋｋ）の値が１、すなわちｋｋ番目のフレームがＧＯＰの先頭であるか、あるいはｋｋがkendを越えているか否かを判断する（ステップＳ３０８）。
【００９５】
ｋｋ番目のフレームがＧＯＰの先頭ではなく、且つｋｋがkendを越えていない場合（ステップＳ３０８；Ｎ）は、ステップＳ３０４に戻り、新たなｋｋ番目のフレームについて、ステップＳ３０４ないしステップＳ３０８の処理を実行する。
【００９６】
ｋｋ番目のフレームがＧＯＰの先頭であるか、あるいはｋｋがkendを越えている場合（ステップＳ３０８；Ｙ）は、ｋ＋１を新たなｋとして（ステップＳ３０９）、ｋがkendを越えているか否かを判断する（ステップＳ３１０）。ｋがkendを越えている、すなわち最後のＧＯＰまで処理を行った場合（ステップＳ３１０；Ｙ）、ピクチャタイプの変更の処理を終了する。ｋがkendを越えていない場合（ステップＳ３１０；Ｎ）は、ステップＳ３０２に戻り、次のＧＯＰについて、ステップＳ３０２ないしステップＳ３１０の処理を実行する。
【００９７】
ステップＳ３０２において、gop start （ｋ）が１ではない、すなわちｋ番目のフレームがＧＯＰの先頭ではない場合（Ｎ）、およびステップＳ３０４において、b rate（ｊ）がB AVR LIMIT を越えていない場合（Ｎ）は、ステップＳ３０９に進む。また、ステップＳ３０５において、ｋｋ番目のフレームがＢピクチャではない、あるいはpict rate （ｋｋ）がBP CHG LIMITを越えていない、あるいはgen bit （ｋｋ）がDIFF LIMITを越えていない場合（Ｎ）は、ステップＳ３０７に進む。
【００９８】
以上のようなピクチャタイプの変更処理を簡単に言うと、ＧＯＰ内のＢピクチャの符号化難易度の平均値とＩピクチャの符号化難易度の比率b rateによって、Ｂピクチャによる予測が難しい区間を検出し、その区間内のＢピクチャのうち、そのピクチャの符号化難易度とそのピクチャが属するＧＯＰのＩピクチャの符号化難易度の比率pict rate が規定値BP CHG LIMITを越え、且つそのピクチャの符号化難易度gen bit が規定値DIFF LIMITを越えたものについて、ピクチャタイプを、予測方向の数がより少ないフレーム間予測符号化ピクチャであるＰピクチャに変更するというものである。このような処理により、動きベクトルデータのデータ量を減少させることができ、その結果、限られた割り当てデータ量の中で、実際のＤＣＴ係数に関わる符号化データのデータ量を増加させて、画質を改善させることができる。
【００９９】
図１３は、ピクチャタイプの変更処理の具体例を示したものである。図１３（ａ）は、予備的な符号化によって測定された符号化難易度gen bit を表示順に示したものである。なお、図１３（ａ）には、gop start を併記している。図１３（ｂ）は、図１３（ａ）で示した符号化難易度に対して、ＧＯＰ内のＢピクチャの符号化難易度の平均値とＩピクチャの符号化難易度の比率b rateを表したものである。このb rateが、規定値B AVR LIMIT を越えた区間ＴＣがピクチャタイプの変更対象区間となる。図１３（ｃ）は、図１３（ａ）と同様に符号化難易度gen bit を表示順に示すと共に、変更対象区間ＴＣ内のＢピクチャのうち、ピクチャタイプの変更処理によってＰピクチャに変更したものを丸印を付して示したものである。
【０１００】
図１４は、時間的、空間的な相関が少ない素材を、本実施の形態に係る画像符号化装置（ビデオエンコード装置１１）および画像符号化方法によって符号化した場合のb rateを表したものである。図中、縦軸はb rate、横軸はフレーム番号（Frame nb）×１０3 すなわち時間を表している。平均的な素材では、b rateの値は２５程度になるが、このように相関が少ない素材では、極端にb rateが大きくなる部分が存在する。本実施の形態では、極端にb rateが大きくなる範囲を、b rateと規定値B AVR LIMIT との比較によって検出し、この範囲について、ピクチャタイプの変更処理を行う。
【０１０１】
図１５は、図１４で用いた素材に関して、本実施の形態におけるピクチャタイプの変更処理を施して符号化した場合と従来の方式で符号化した場合とで、ＧＯＰ単位のフレーム毎の量子化ステップの平均値である平均量子化数Average Ｑを比較して表したものである。図中、縦軸は平均量子化数Average Ｑ、横軸はフレーム番号（Frame nb）×１０3 すなわち時間を表している。図中、実線が本実施の形態におけるピクチャタイプの変更処理を施して符号化した場合を表し、破線が従来の方式で符号化した場合を表している。同じビット量の割り当てに対して、平均量子化数Average Ｑが小さいということは、より細かい情報まで符号化されていることを意味し、これは符号化効率が良いことを示している。図１５から、本実施の形態におけるピクチャタイプの変更処理を施して符号化した場合、従来の方式で符号化した場合に比べて、平均量子化数Average Ｑがかなり小さくなっていることが分かり、本実施の形態によって、画質を改善できることが分かる。
【０１０２】
以上説明したように本実施の形態によれば、ＧＯＰ内のＢピクチャの符号化難易度の平均値とＩピクチャの符号化難易度の比率b rateによって、Ｂピクチャによる予測が難しい区間を検出し、その区間内のＢピクチャのうち、そのピクチャの符号化難易度とそのピクチャが属するＧＯＰのＩピクチャの符号化難易度の比率pict rate が規定値BP CHG LIMITを越え、且つそのピクチャの符号化難易度gen bit が規定値DIFF LIMITを越えたものについて、ピクチャタイプをＰピクチャに変更するようにしたので、符号化する素材中の画像の時間的または空間的な相関が悪い部分における動きベクトルデータのデータ量を減少させることができ、その結果、限られた割り当てデータ量の中で、実際のＤＣＴ係数に関わる符号化データのデータ量を増加させて符号化効率を向上させ、画質を改善させることができる。
【０１０３】
なお、本発明は上記実施の形態に限定されず、例えば、実施の形態では、符号化難易度が所定の条件を満たすＢピクチャをＰピクチャに変更するようにしたが、符号化難易度が所定の条件を満たすＢピクチャを、フレーム内符号化ピクチャであるＩピクチャに変更するようにしてもよい。
【０１０４】
また、例えば、b rate，pict rate ，gen bit に関する条件を、Ｐピクチャへの変更用とＩピクチャへの変更用の２種類設定し、b rate，pict rate ，gen bit がＰピクチャへの変更用の条件を満たす場合にはＢピクチャをＰピクチャに変更し、b rate，pict rate ，gen bit がＩピクチャへの変更用の条件を満たす場合にはＢピクチャをＩピクチャに変更するようにしてもよい。
【０１０５】
更に、Ｐピクチャに関しても、実施の形態におけるＢピクチャに関する条件と同様の条件を設定し、その条件を満たすＰピクチャをＩピクチャに変更するようにしてもよい。具体的には、例えば、ＧＯＰ内のＰピクチャの符号化難易度の平均値とＩピクチャの符号化難易度の比率が第１の所定値を越える範囲を、Ｐピクチャによる予測が難しい区間として検出し、その区間内のＰピクチャのうち、そのピクチャの符号化難易度とそのピクチャが属するＧＯＰのＩピクチャの符号化難易度の比率が第２の所定値を越え、且つそのピクチャの符号化難易度が第３の所定値を越えたものについて、ピクチャタイプをＩピクチャに変更するようにしてもよい。
【０１０６】
また、ピクチャタイプを変更するための符号化難易度の条件は、実施の形態で挙げた例に限らず，適宜に設定可能である。
【０１０７】
また、本発明は、実施の形態で挙げた２パスエンコーディング方式で符号化を行うシステムに限らず、正式な符号化の直前に予備的な符号化を行って符号化難易度を測定できるシステムや、正式な符号化の前に予備的な符号化を行うことなく、入力ビデオデータに基づいて符号化難易度を測定できるシステム等、正式な符号化の前に符号化難易度を測定できるシステム全般について適用することができる。
【０１０８】
また、符号化難易度は、実施の形態で挙げたように、予備的な符号化によって得られる符号化データと動きベクトルデータとを合わせたデータのデータ量に限らず、ピクチャの符号化の難易度を表すパラメータであればよく、例えば、予備的な符号化によって得られる符号化データと動きベクトルデータとを合わせたデータのデータ量に対する動きベクトルデータのデータ量の比率や、予備的な符号化によって得られる動きベクトルデータのみのデータ量等でもよい。
【０１０９】
【発明の効果】
以上説明したように本発明の画像符号化装置または本発明の画像符号化方法によれば、入力画像データのピクチャの符号化の難度を表す符号化難易度を取得すると共に、Ｂピクチャの符号化難易度の平均値とＩピクチャの符号化難易度との比率が第１の所定値を越えた符号化処理単位内において、Ｂピクチャの符号化難易度とＩピクチャの符号化難易度との比率が第２の所定値を越え、且つ、Ｂピクチャの符号化難易度が第３の所定値を越えるという条件を満たすＢピクチャを、ＩピクチャまたはＰピクチャに変更して符号化するようにしたので、符号化する素材中の画像の時間的または空間的な相関が悪い部分における符号化効率を向上させて、限られた割り当て符号量に対して、画質を改善することが可能となるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る画像符号化装置としてのビデオエンコード装置の構成を示すブロック図である。
【図２】本発明の一実施の形態に係る画像符号化装置としてのビデオエンコード装置を含むＤＶＤ用のオーサリング装置の構成を示すブロック図である。
【図３】図１におけるビデオエンコーダの構成の一例を示すブロック図である。
【図４】本発明の一実施の形態に係る画像符号化装置としてのビデオエンコード装置の動作を示す流れ図である。
【図５】図４におけるビット配分計算処理の詳細を説明するための流れ図である。
【図６】図５におけるシーンチェンジ検出および処理を説明するための説明図である。
【図７】図５におけるチャプタ処理を説明するための説明図である。
【図８】図５における割り当てビット量の計算処理に用いる評価関数を示す説明図である。
【図９】図５における割り当てビット量の計算処理に用いるＶＢＶの計算方法を説明するための説明図である。
【図１０】図５における割り当てビット量の計算処理中のＶＢＶの制限による割り当てビット量の修正処理について説明するための説明図である。
【図１１】図５における割り当てビット量の計算処理中のＶＢＶの制限による割り当てビット量の修正処理について説明するための説明図である。
【図１２】図５におけるピクチャタイプの変更処理を説明するための流れ図である。
【図１３】図１２に示したピクチャタイプの変更処理の具体例を示す説明図である。
【図１４】時間的、空間的な相関が少ない素材を本発明の一実施の形態によって符号化した場合におけるＢピクチャの符号化難易度の平均値とＩピクチャの符号化難易度の比率の一例を示す説明図である。
【図１５】図１４で用いた素材に関して、本発明の一実施の形態におけるピクチャタイプの変更処理を施して符号化した場合と従来の方式で符号化した場合とで平均量子化数を比較して表した説明図である。
【図１６】ＧＯＰの構造を説明するための説明図である。
【符号の説明】
１１…ビデオエンコード装置、１８…スーパバイザ、２２…ビデオエンコーダ、２４…ビデオエンコーダ制御装置、２５…ビット配分部、２６…エンコーダコントロール部、２７…ＶＴＲコントロール部、２８…ＧＵＩ部。
【発明の属する技術分野】
本発明は、画像データを符号化する画像符号化装置および方法に関する。
【０００２】
【従来の技術】
近年、大容量のディジタルデータを記録可能な光ディスクであるＤＶＤ（ディジタル・バーサタイル・ディスクまたはディジタル・ビデオ・ディスク）が実用化されている。ＤＶＤのうち、ビデオデータ等を記録するＤＶＤビデオでは、ＭＰＥＧ（Moving Picture Experts Group）２規格で圧縮された画像データを記録するようになっている。
【０００３】
ＭＰＥＧ２規格では、符号化方式として、動き補償を併用した双方向予測符号化方式を採用している。この符号化方式では、ＤＣＴ（離散コサイン変換）と画像の時間的および空間的な相関を用いて空間方向の冗長度および時間方向の冗長度の除去を行うことによって、効率の良い圧縮符号化を可能としている。双方向予測符号化方式では、フレーム（ピクチャ）内だけで符号化するフレーム内符号化、過去のフレームから現在のフレームを予測することによって符号化するフレーム間順方向予測符号化、過去および未来のフレームから現在のフレームを予測することによって符号化する双方向予測符号化の３つのタイプの符号化が行われる。この符号化方式では、フレーム内符号化によって符号化されるピクチャをＩピクチャ（intra coded picture ）、フレーム間順方向予測符号化によって符号化されるピクチャをＰピクチャ（predictive coded picture）、双方向予測符号化によって符号化されるピクチャをＢピクチャ（bidirectionally predictive coded picture）と呼ぶ。また、必ずＩピクチャを一つ以上含むようにＩ，Ｐ，Ｂの各ピクチャを適切に組み合わせて、ランダムアクセスの単位となるＧＯＰ（Group of picture）が構成される。
【０００４】
ここで、図１６を参照して、ＧＯＰの構造について説明する。図１６において、Ｉ，Ｐ，Ｂは、それぞれＩピクチャ、Ｐピクチャ、Ｂピクチャを表している。なお、他の図においても同様である。図１６（ａ）は、ＧＯＰの構成の一例を表示順に示したものである。この例では、１５枚のピクチャによってＧＯＰが構成され（ＧＯＰを構成するピクチャ数Ｎ＝１５）、１ＧＯＰ内に１枚のＩピクチャが含まれ、ＩピクチャまたはＰピクチャの現れる周期（Ｍ）は３であり、隣り合うＩまたはＰピクチャ間に２つのＢピクチャが挿入されている。表示順では、ＧＯＰの先頭は、Ｉピクチャの前の最初のＰピクチャまたはＩピクチャの次のピクチャであり、ＧＯＰの最後は、次のＩピクチャの前の最初のＰピクチャである。図１６（ａ）において、矢印は、予測方向を表している。図１６（ｂ）は、同じＧＯＰの構成を、符号化順に示したものである。このように、符号化の際には、Ｂピクチャの符号化の前に、Ｂピクチャの予測の際に参照するＩピクチャまたはＰピクチャが符号されるように、ピクチャの並べ替えが行われる。
【０００５】
ところで、圧縮された画像情報を、ＤＶＤ、ビデオＣＤ（コンパクト・ディスク）等のパッケージメディアに蓄積させる符号化システムでは、一般に、いわゆる２パスエンコーディング方式が採用されている。この２パスエンコーディング方式では、最初に、予備的な符号化を行って、符号化する素材の画像の符号化の難易度を表す符号化難易度を測定し、その符号化難易度に基づいて、与えられた符号量に収まるように、各ピクチャごとに符号量の配分を行って正式な符号化を行う。
【０００６】
【発明が解決しようとする課題】
ところで、ＭＰＥＧ２規格で採用している動き補償を併用した双方向予測符号化方式によって生成されるデータには、実際のＤＣＴ係数に関わる符号化データと、動き補償のための動きベクトルデータとが含まれる。
【０００７】
ところが、この動き補償を併用した双方向予測符号化方式では、符号化する素材中の画像の時間的または空間的な相関が悪い部分においては、予測が当たらないため、実際のＤＣＴ係数に関わる符号化データのデータ量に比べて、非常に多くの動きベクトルデータが発生する。特に、Ｂピクチャにおいて時間的に前後（過去および未来）のピクチャを参照した場合には、順方向予測の場合の約２倍のデータ量の動きベクトルデータが発生する。そのため、動きベクトルデータのデータ量が、そのピクチャにおける全データ量の半分以上となることもある。そのような部分では、限られた割り当て符号量（データ量）の中で、実際のＤＣＴ係数に関わる符号化データのデータ量が抑えられてしまうため、符号化効率が著しく低下し、その結果、画質が劣化するという問題点があった。
【０００８】
本発明はかかる問題点に鑑みてなされたもので、その目的は、符号化する素材中の画像の時間的または空間的な相関が悪い部分における符号化効率を向上させて、限られた割り当て符号量に対して、画質を改善できるようにした画像符号化装置および方法を提供することにある。
【０００９】
【課題を解決するための手段】
本発明の第１の画像符号化装置は、入力画像データを符号化する画像符号化装置であって、入力画像データを、Ｉピクチャを含む所定枚数のピクチャを含む符号化処理単位で符号化する符号化手段と、入力画像データのピクチャの符号化の難度を表す符号化難易度を取得すると共に、Ｂピクチャの符号化難易度の平均値とＩピクチャの符号化難易度との比率が第１の所定値を越えた符号化処理単位内において、Ｂピクチャの符号化難易度とＩピクチャの符号化難易度との比率が第２の所定値を越え、且つ、Ｂピクチャの符号化難易度が第３の所定値を越えるという条件を満たすＢピクチャを、ＩピクチャまたはＰピクチャに変更して符号化するように、符号化手段を制御する符号化制御手段とを備えたものである。
本発明の第２の画像符号化装置は、入力画像データを符号化して符号化画像データを生成する画像符号化装置であって、入力画像データを、Ｉピクチャを含む所定枚数のピクチャを含む符号化処理単位で符号化して、入力画像データのピクチャの符号化の難度を表す符号化難易度を算出する符号化難易度算出手段と、Ｂピクチャの符号化難易度の平均値とＩピクチャの符号化難易度との比率が第１の所定値を越えた符号化処理単位内において、Ｂピクチャの符号化難易度とＩピクチャの符号化難易度との比率が第２の所定値を越え、且つ、Ｂピクチャの符号化難易度が第３の所定値を越えるという条件を満たすＢピクチャを、ＩピクチャまたはＰピクチャに変更するピクチャタイプ変更手段と、このピクチャタイプ変更手段によりピクチャタイプが変更されたピクチャを対象として、このピクチャに近接したピクチャの符号化難易度を利用して、符号化難易度の値が変更後のピクチャタイプに応じた値となるように、符号化難易度算出手段により算出された符号化難易度を補正する符号化難易度補正手段と、符号化難易度算出手段により算出された符号化難易度と、符号化難易度補正手段により補正された符号化難易度と、符号化画像データを記録する記録媒体の容量とに基づいて、入力画像データを符号化する際に各ピクチャに割り当てる割り当てビット量を算出する割り当てビット量算出手段と、入力画像データを符号化する際の発生ビット量が割り当てビット量算出手段により算出された割り当てビット量となるように、入力画像データを符号化する符号化手段とを備えたものである。
本発明の第３の画像符号化装置は、入力画像データを符号化して符号化画像データを生成する画像符号化装置であって、入力画像データを、Ｉピクチャを含む所定枚数のピクチャを含む符号化処理単位で符号化して、入力画像データのピクチャの符号化の難度を表す符号化難易度を算出する符号化難易度算出手段と、Ｂピクチャの符号化難易度の平均値とＩピクチャの符号化難易度との比率が第１の所定値を越えた符号化処理単位内において、Ｂピクチャの符号化難易度とＩピクチャの符号化難易度との比率が第２の所定値を越え、且つ、Ｂピクチャの符号化難易度が第３の所定値を越えるという条件を満たすＢピクチャを、ＩピクチャまたはＰピクチャに変更するピクチャタイプ変更手段と、このピクチャタイプ変更手段によりピクチャタイプが変更されたピクチャを対象として、このピクチャに近接したピクチャの符号化難易度を利用して、符号化難易度の値が変更後のピクチャタイプに応じた値となるように、符号化難易度算出手段により算出された符号化難易度を補正する符号化難易度補正手段と、ピクチャ単位もしくは符号化処理単位の符号化難易度および符号化難易度補正手段により補正された符号化難易度と、ピクチャ単位もしくは符号化処理単位の符号化難易度および上記補正された符号化難易度の総和との比率に基づいて、入力画像データを符号化する際に各ピクチャに割り当てる割り当てビット量をピクチャ単位または符号化処理単位で算出する割り当てビット量算出手段と、入力画像データを符号化する際の発生ビット量が割り当てビット量算出手段により算出された割り当てビット量となるように、入力画像データを符号化する符号化手段とを備えたものである。
【００１０】
本発明の第１の画像符号化方法は、入力画像データを符号化する画像符号化方法であって、入力画像データを、Ｉピクチャを含む所定枚数のピクチャを含む符号化処理単位で符号化する符号化手順と、入力画像データのピクチャの符号化の難度を表す符号化難易度を取得すると共に、Ｂピクチャの符号化難易度の平均値とＩピクチャの符号化難易度との比率が第１の所定値を越えた符号化処理単位内において、Ｂピクチャの符号化難易度とＩピクチャの符号化難易度との比率が第２の所定値を越え、且つ、Ｂピクチャの符号化難易度が第３の所定値を越えるという条件を満たすＢピクチャを、ＩピクチャまたはＰピクチャに変更して符号化するように、符号化手順の符号化を制御する符号化制御手順とを含むようにしたものである。
本発明の第２の画像符号化方法は、入力画像データを符号化して符号化画像データを生成する画像符号化方法であって、入力画像データを、Ｉピクチャを含む所定枚数のピクチャを含む符号化処理単位で符号化して、入力画像データのピクチャの符号化の難度を表す符号化難易度を算出する符号化難易度算出手順と、Ｂピクチャの符号化難易度の平均値とＩピクチャの符号化難易度との比率が第１の所定値を越えた符号化処理単位内において、Ｂピクチャの符号化難易度とＩピクチャの符号化難易度との比率が第２の所定値を越え、且つ、Ｂピクチャの符号化難易度が第３の所定値を越えるという条件を満たすＢピクチャを、ＩピクチャまたはＰピクチャに変更するピクチャタイプ変更手順と、このピクチャタイプ変更手順によりピクチャタイプが変更されたピクチャを対象として、このピクチャに近接したピクチャの符号化難易度を利用して、符号化難易度の値が変更後のピクチャタイプに応じた値となるように、符号化難易度算出手順により算出された符号化難易度を補正する符号化難易度補正手順と、符号化難易度算出手順により算出された符号化難易度と、符号化難易度補正手順により補正された符号化難易度と、符号化画像データを記録する記録媒体の容量とに基づいて、入力画像データを符号化する際に各ピクチャに割り当てる割り当てビット量を算出する割り当てビット量算出手順と、入力画像データを符号化する際の発生ビット量が割り当てビット量算出手順により算出された割り当てビット量となるように、入力画像データを符号化する符号化手順とを含むようにしたものである。
本発明の第３の画像符号化方法は、入力画像データを符号化して符号化画像データを生成する画像符号化方法であって、入力画像データを、Ｉピクチャを含む所定枚数のピクチャを含む符号化処理単位で符号化して、入力画像データのピクチャの符号化の難度を表す符号化難易度を算出する符号化難易度算出手順と、Ｂピクチャの符号化難易度の平均値とＩピクチャの符号化難易度との比率が第１の所定値を越えた符号化処理単位内において、Ｂピクチャの符号化難易度とＩピクチャの符号化難易度との比率が第２の所定値を越え、且つ、Ｂピクチャの符号化難易度が第３の所定値を越えるという条件を満たすＢピクチャを、ＩピクチャまたはＰピクチャに変更するピクチャタイプ変更手順と、このピクチャタイプ変更手順によりピクチャタイプが変更されたピクチャを対象として、このピクチャに近接したピクチャの符号化難易度を利用して、符号化難易度の値が変更後のピクチャタイプに応じた値となるように、符号化難易度算出手順により算出された符号化難易度を補正する符号化難易度補正手順と、ピクチャ単位もしくは符号化処理単位の符号化難易度および符号化難易度補正手順により補正された符号化難易度と、ピクチャ単位もしくは符号化処理単位の符号化難易度および上記補正された符号化難易度の総和との比率に基づいて、入力画像データを符号化する際に各ピクチャに割り当てる割り当てビット量をピクチャ単位または符号化処理単位で算出する割り当てビット量算出手順と、入力画像データを符号化する際の発生ビット量が割り当てビット量算出手順により算出された割り当てビット量となるように、入力画像データを符号化する符号化手順とを含むようにしたものである。
【００１１】
本発明の第１の画像符号化装置および第１の画像符号化方法では、入力画像データが、Ｉピクチャを含む所定枚数のピクチャを含む符号化処理単位で符号化される。また、入力画像データのピクチャの符号化の難度を表す符号化難易度が取得される。そして、Ｂピクチャの符号化難易度の平均値とＩピクチャの符号化難易度との比率が第１の所定値を越えた符号化処理単位内において、Ｂピクチャの符号化難易度とＩピクチャの符号化難易度との比率が第２の所定値を越え、且つ、Ｂピクチャの符号化難易度が第３の所定値を越えるという条件を満たすＢピクチャが、ＩピクチャまたはＰピクチャに変更されて符号化されるように、符号化の制御がなされる。
本発明の第２の画像符号化装置および第２の画像符号化方法では、入力画像データが、Ｉピクチャを含む所定枚数のピクチャを含む符号化処理単位で符号化され、入力画像データのピクチャの符号化の難度を表す符号化難易度が算出される。また、Ｂピクチャの符号化難易度の平均値とＩピクチャの符号化難易度との比率が第１の所定値を越えた符号化処理単位内において、Ｂピクチャの符号化難易度とＩピクチャの符号化難易度との比率が第２の所定値を越え、且つ、Ｂピクチャの符号化難易度が第３の所定値を越えるという条件を満たすＢピクチャが、ＩピクチャまたはＰピクチャに変更される。また、ピクチャタイプが変更されたピクチャを対象として、このピクチャに近接したピクチャの符号化難易度を利用して、符号化難易度の値が変更後のピクチャタイプに応じた値となるように、算出された符号化難易度が補正される。そして、算出された符号化難易度と、補正された符号化難易度と、符号化画像データを記録する記録媒体の容量とに基づいて、入力画像データを符号化する際に各ピクチャに割り当てる割り当てビット量が算出され、入力画像データを符号化する際の発生ビット量が算出された割り当てビット量となるように、入力画像データが符号化される。
【００１２】
本発明の第３の画像符号化装置および第３の画像符号化方法では、入力画像データが、Ｉピクチャを含む所定枚数のピクチャを含む符号化処理単位で符号化され、入力画像データのピクチャの符号化の難度を表す符号化難易度が算出される。また、Ｂピクチャの符号化難易度の平均値とＩピクチャの符号化難易度との比率が第１の所定値を越えた符号化処理単位内において、Ｂピクチャの符号化難易度とＩピクチャの符号化難易度との比率が第２の所定値を越え、且つ、Ｂピクチャの符号化難易度が第３の所定値を越えるという条件を満たすＢピクチャが、ＩピクチャまたはＰピクチャに変更される。また、ピクチャタイプが変更されたピクチャを対象として、このピクチャに近接したピクチャの符号化難易度を利用して、符号化難易度の値が変更後のピクチャタイプに応じた値となるように、算出された符号化難易度が補正される。そして、ピクチャ単位もしくは符号化処理単位の符号化難易度および補正された符号化難易度と、ピクチャ単位もしくは符号化処理単位の符号化難易度および補正された符号化難易度の総和との比率に基づいて、入力画像データを符号化する際に各ピクチャに割り当てる割り当てビット量がピクチャ単位または符号化処理単位で算出され、入力画像データを符号化する際の発生ビット量が算出された割り当てビット量となるように、入力画像データが符号化される。
【００１３】
【発明の実施の形態】
以下、本発明の一実施の形態について図面を参照して詳細に説明する。図２は、本実施の形態に係る画像符号化装置としてのビデオエンコード装置を含むＤＶＤ用のオーサリング装置の構成を示すブロック図である。このオーサリング装置１０は、ビデオ（画像）データを入力し、圧縮符号化するビデオエンコード装置１１と、オーディオデータを入力し、圧縮符号化するオーディオエンコード装置１２と、字幕等の静止画像データを入力し、符号化するサブピクチャエンコード装置１３と、メニュー画面のビデオデータを符号化するメニューエンコード装置１４と、これらの符号化されたデータをＤＶＤ規格に即した順序で多重化するマルチプレクサ１５と、多重化処理後のデータをディスク製造工程に渡すために所定の記録媒体に記録するストリーマ１６と、各エンコード装置１１〜１４、マルチプレクサ１５およびストリーマ１６に接続された、例えばＲＡＩＤ（Redundant Array of Inexpensive Disks）構成のハードディスク装置（ＨＤＤ）１７と、ネットワーク１９を介して、上記各構成要素に接続され、これらの動作を管理するスーパバイザ１８とを備えている。
【００１４】
ここで、上述のオーサリング装置１０の動作の概略について説明する。スーパバイザ１８は、ビデオエンコード装置１１、オーディオエンコード装置１２、サブピクチャエンコード装置１３およびメニューエンコード装置１４に符号化処理の開始を指示する。各エンコード装置１１〜１４は、この指示により符号化処理を開始する。その結果得られるデータは、スーパバイザ１８から指示されたハードディスク装置１７の記憶領域に順次格納される。各エンコーダ装置１１〜１４における符号化処理が終了すると、マルチプレクサ１５において多重化処理を行う。
【００１５】
マルチプレクサ１５は、スーパバイザ１８の指示により、ハードディスク装置１７の記憶領域から、符号化によって得られたデータを読み出し、これをＤＶＤ規格に即した順序で多重化し、その結果得られる多重化データを、スーパバイザ１８に指示されたハードディスク装置１７の記憶領域に順次格納する。また、ストリーマ１６は、ディスク製造工程に多重化処理後のデータを渡すために、スーパバイザ１８の指示によりハードディスク装置１７の記憶領域から多重化データを読み出し、これを所定のテープ状の記録媒体に順次記録する。スーパバイザ１８は、ストリーマ１６から記録終了の通知を受信すると、記録処理が終了したとして記録用データの作成を終了する。
【００１６】
図１は、本実施の形態に係る画像符号化装置としてのビデオエンコード装置１１の構成を示すブロック図である。このビデオエンコード装置１１は、例えばＶＴＲ（ビデオテープレコーダ）２１にケーブル２０ａを介して接続されると共に、ハードディスク装置１７に例えばＳＣＳＩ（Small Computer System Interface ）を用いたケーブル２０ｂを介して接続され、ＶＴＲ２１より出力されるビデオデータＳ1 を、ＭＰＥＧ２規格による動き補償を併用した双方向予測符号化方式によって圧縮符号化して、圧縮画像データＳ2 をハードディスク装置１７に出力する符号化手段としてのビデオエンコーダ２２と、このビデオエンコーダ２２にケーブル２０ｃを介して接続され、ビデオエンコーダ２２による圧縮処理結果を表示するためのモニタ装置２３と、ネットワーク１９を介してスーパバイザ１８に接続されると共に、ＶＴＲ２１、ビデオエンコーダ２２にそれぞれ、例えばＲＳ−４２２規格のケーブル２０ｄ、例えばイーサネットを用いたケーブル２０ｅを介して接続され、ＶＴＲ２１およびビデオエンコーダ２２を制御する符号化制御手段としてのビデオエンコーダ制御装置２４とを備えている。なお、ＶＴＲ２１からビデオエンコーダ２２に対しては、ビデオデータＳ1 と共に、タイムコードと同期信号も送られるようになっている。
【００１７】
ビデオエンコーダ制御装置２４は、符号化処理におけるビット配分計算を行うビット配分部２５と、ビデオエンコーダ２２を制御するエンコーダコントロール部２６と、ＶＴＲ２１を制御するＶＴＲコントロール部２７と、ユーザインタフェースの制御を行うと共に、ネットワーク１９を介してスーパバイザ１８に接続され、ビット配分部２５とＶＴＲコントロール部２７を管理するグラフィカルユーザインタフェース（以下、ＧＵＩ（Graphical User Interface）という。）部２８とを有している。なお、ビット配分部２５、エンコーダコントロール部２６、ＶＴＲコントロール部２７およびＧＵＩ部２８は、それぞれ所定のプログラムによって実現されるようになっている。
【００１８】
図１において、スーパバイザ１８およびビデオエンコーダ制御装置２４は、それぞれコンピュータによって実現される。
【００１９】
図１に示した構成において、スーパバイザ１８は、ＤＶＤのオーサリングシステム全体の管理を行い、ビデオ、オーディオ、サブピクチャおよびメニュー用の各エンコード装置１１〜１４に符号化条件を与えて、各エンコード装置１１〜１４より符号化結果の報告を受けるようになっている。図１に示した例では、スーパバイザ１８は、ビデオエンコーダ制御装置２４のＧＵＩ部２８に対して、ファイルv.enc によってビデオデータの符号化条件を指定し、ビデオエンコーダ制御装置２４のＧＵＩ部２８は、スーパバイザ１８に対して、符号化結果のビットストリームが書き込まれたハードディスク装置１７上のアドレスを示すアドレスデータv.adr と、ビットストリームを多重化する際に必要な多重化用データvxxx.auiを報告するようになっている。
【００２０】
ビデオエンコーダ制御装置２４内において、ＧＵＩ部２８は、ビット配分部２５に対してファイルv.enc を与え、ビット配分部２５は、ＧＵＩ部２８に対してアドレスデータv.adr および多重化用データvxxx.auiを与えるようになっている。ＧＵＩ部２８は、ビット配分部２５に対して、更に、後述するカスタマイズにおけるビット配分のための重み付けファイルweight.txtを与えるようになっている。
【００２１】
ビット配分部２５は、エンコーダコントロール部２６に対して、ビット配分計算の結果に基づくビデオエンコーダ２２の制御条件を、コントロールファイルCTL fileとして与え、エンコーダコントロール部２６は、ビット配分部２５に対して、後述する符号化難易度を表す符号化難易度データdifficultyを与えるようになっている。
【００２２】
ＧＵＩ部２８は、ＶＴＲコントロール部２７に対して、ＶＴＲ２１を動作させるための各種コマンドcommand を与え、ＶＴＲコントロール部２７は、ＧＵＩ部２８に対して、ＶＴＲ２１の各種の状態を表すステータスデータstate とＶＴＲ２１の異常を表すエラーデータerror を与えるようになっている。
【００２３】
図３は、ビデオエンコーダ２２の構成の一例を示すブロック図である。この図に示したビデオエンコーダ２２は、入力ビデオデータＳ1 を入力し、符号化する順番に従ってピクチャ（Ｉピクチャ，Ｐピクチャ，Ｂピクチャ）の順番を並べ替える画像並べ替え回路３１と、この画像並べ替え回路３１の出力データを入力し、フレーム構造かフィールド構造かを判別し、判別結果に応じた走査変換および１６×１６画素のマクロブロック化を行う走査変換・マクロブロック化回路３２と、この走査変換・マクロブロック化回路３２の出力データに基づいて、符号化の対象となるピクチャの注目マクロブロックと、参照されるピクチャにおいて注目マクロブロックとの間の画素値の差分の絶対値和あるいは自乗和が最小となるマクロブロックを探して、動きベクトルを検出して、動きベクトルデータを出力する動き検出回路３３とを備えている。
【００２４】
ビデオエンコーダ２２は、更に、走査変換・マクロブロック化回路３２の出力データと予測画像データとの差分をとる減算回路３４と、この減算回路３４の出力データに対して、ＤＣＴブロック単位でＤＣＴを行い、ＤＣＴ係数を出力するＤＣＴ回路３５と、このＤＣＴ回路３５の出力データを量子化する量子化回路３６と、この量子化回路３６の出力データを可変長符号化して符号化データを生成する共に、この符号化データと動き検出回路３３より出力される動きベクトルデータ等の付帯データとを多重化して出力する可変長符号化回路３７と、この可変長符号化回路３７の出力データを一旦保持し、ビットストリームからなる圧縮画像データＳ2 として出力するバッファメモリ３８と、量子化回路３６の出力データを逆量子化する逆量子化回路３９と、この逆量子化回路３９の出力データに対して逆ＤＣＴを行う逆ＤＣＴ回路４０と、この逆ＤＣＴ回路４０の出力データと予測画像データとを加算して出力する加算回路４１と、この加算回路４１の出力データを保持し、動き検出回路３３より出力される動きベクトルデータに応じて動き補償を行って予測画像データを減算回路３４および加算回路４１に出力する動き補償回路４２と、量子化回路３６における量子化特性値に対応する量子化インデックスを決定し、量子化回路３６に与える量子化インデックス決定部４３とを備えている。
【００２５】
画像並べ替え回路３１は、エンコーダコントロール部２６からピクチャタイプの情報Ｓ3 を受け取り、この情報Ｓ3 に従ってピクチャの順番を並べ替えるようになっている。バッファメモリ３８は、発生ビット量の情報Ｓ5 をエンコーダコントロール部２６と量子化インデックス決定部４３とに出力するようになっている。量子化インデックス決定部４３は、エンコーダコントロール部２６から各ピクチャへの割り当てビット量の情報Ｓ4 を受け取り、この情報Ｓ4 とバッファメモリ３８からの発生ビット量の情報Ｓ5 とに基づいて、発生ビット量が割り当てビット量に近づくように量子化インデックスを決定するようになっている。
【００２６】
ここで、図３に示したビデオエンコーダ２２の動作について簡単に説明する。入力ビデオデータＳ1 は、まず、画像並べ替え回路３１に入力され、この画像並べ替え回路３１によって、ピクチャタイプの情報Ｓ3 に従ってピクチャタイプを決定して、符号化する順番に従ってピクチャ（Ｉピクチャ，Ｐピクチャ，Ｂピクチャ）の順番を並べ替える。画像並べ替え回路３１の出力データは、走査変換・マクロブロック化回路３２に入力される。走査変換・マクロブロック化回路３２は、フレーム構造かフィールド構造かを判別し、判別結果に応じた走査変換およびマクロブロック化を行う。走査変換・マクロブロック化回路３２の出力データは、動き検出回路３３および減算回路３４に送られる。動き検出回路３３は、動きベクトルを検出して、動きベクトルデータを動き補償回路４２および可変長符号化回路３７に送る。
【００２７】
Ｉピクチャの場合には、減算回路３４において予測画像データとの差分をとることなく、走査変換・マクロブロック化回路３２の出力データをそのままＤＣＴ回路３５に入力してＤＣＴを行い、量子化回路３６によってＤＣＴ係数を量子化し、可変長符号化回路３７によって量子化回路３６の出力データを可変長符号化し、バッファメモリ３８によって可変長符号化回路３７の出力データを一旦保持し、ビットストリームからなる圧縮画像データＳ2 として出力する。また、逆量子化回路３９によって量子化回路３６の出力データを逆量子化し、逆ＤＣＴ回路４０によって逆量子化回路３９の出力データに対して逆ＤＣＴを行い、逆ＤＣＴ回路４０の出力データを加算回路４１を介して動き補償回路４２に入力して保持させる。
【００２８】
Ｐピクチャの場合には、動き補償回路４２によって、保持している過去のＩピクチャまたはＰピクチャに対応する画像データと動き検出回路３３からの動きベクトルデータとに基づいて予測画像データを生成し、予測画像データを減算回路３４および加算回路４１に出力する。また、減算回路３４によって、走査変換・マクロブロック化回路３２の出力データと動き補償回路４２からの予測画像データとの差分をとり、ＤＣＴ回路３５によってＤＣＴを行い、量子化回路３６によってＤＣＴ係数を量子化し、可変長符号化回路３７によって量子化回路３６の出力データを可変長符号化すると共に動きベクトルデータを多重化し、バッファメモリ３８によって可変長符号化回路３７の出力データを一旦保持し圧縮画像データＳ2 として出力する。また、逆量子化回路３９によって量子化回路３６の出力データを逆量子化し、逆ＤＣＴ回路４０によって逆量子化回路３９の出力データに対して逆ＤＣＴを行い、加算回路４１によって逆ＤＣＴ回路４０の出力データと予測画像データとを加算し、動き補償回路４２に入力して保持させる。
【００２９】
Ｂピクチャの場合には、動き補償回路４２によって、保持している過去および未来のＩピクチャまたはＰピクチャに対応する２つの画像データと動き検出回路３３からの２つの動きベクトルとに基づいて予測画像データを生成し、予測画像データを減算回路３４および加算回路４１に出力する。また、減算回路３４によって、走査変換・マクロブロック化回路３２の出力データと動き補償回路４２からの予測画像データとの差分をとり、ＤＣＴ回路３５によってＤＣＴを行い、量子化回路３６によってＤＣＴ係数を量子化し、可変長符号化回路３７によって量子化回路３６の出力データを可変長符号化すると共に動きベクトルデータを多重化し、バッファメモリ３８によって可変長符号化回路３７の出力データを一旦保持し圧縮画像データＳ2 として出力する。なお、Ｂピクチャは動き補償回路４２に保持させない。
【００３０】
バッファメモリ３８は、発生ビット量の情報Ｓ5 をエンコーダコントロール部２６と量子化インデックス決定部４３とに出力する。量子化インデックス決定部４３は、エンコーダコントロール部２６からの各ピクチャへの割り当てビット量の情報Ｓ4 とバッファメモリ３８からの発生ビット量の情報Ｓ5 とに基づいて、発生ビット量が割り当てビット量に近づくように量子化インデックスを決定し、量子化回路３６に与える。
【００３１】
次に、図４を参照して、本実施の形態に係る画像符号化装置としてのビデオエンコード装置１１の動作について説明する。なお、以下の説明は、本実施の形態に係る画像符号化方法の説明を兼ねている。ここでは、２パスエンコーディング方式によって符号化する場合について説明する。２パスエンコーディング方式では、最初に、予備的な符号化処理を行って、符号化する素材の画像の符号化の難易度を表す符号化難易度を測定し、その符号化難易度に基づいて、与えられた符号量に収まるように、各ピクチャごとに符号量の配分を行って正式な符号化処理を行う。
【００３２】
ビデオエンコード装置１１は、始めに、ビデオエンコーダ制御装置２４のＧＵＩ部２８によって、ネットワーク１９経由で、スーパバイザ１８に対して、ＤＶＤ等のディスクの容量の中からビデオデータに割り当てられたビット総量や最大ビットレート等の符号化条件を取りに行く。この符号化条件は、ファイルv.enc によって、スーパバイザ１８よりＧＵＩ部２８に与えられ、更に、ビット配分部２５に与えられ、ビット配分部２５において符号化条件が設定される（ステップＳ１０１）。
【００３３】
次に、ビデオエンコード装置１１は、予備的な１パス目の符号化処理を行って、符号化難易度の測定を行う（ステップＳ１０２）。この予備的な符号化処理では、ＧＵＩ部２８がＶＴＲコントロール部２７にコマンドcommand を与え、このコマンドcommand に基づいて、ＶＴＲコントロール部２７がＶＴＲ２１を制御して、磁気テープよりビデオデータＳ1 を再生させる。このビデオデータＳ1 は、ビデオエンコーダ２２に入力される。ビデオエンコーダ２２は、エンコーダコントロール部２６の制御により、ビデオデータＳ1 の圧縮符号化を行う。予備的な符号化処理では、ビデオエンコーダ２２における符号化の際の量子化ステップ数を固定値に設定した条件で符号化処理を行い、発生ビット量を測定する。動きが多く、高い周波数成分が多い画像では、発生ビット量が大きくなり、静止画や平坦な部分が多い画像では発生ビット量が少なくなる。従って、予備的な符号化処理における発生ビット量は、符号化する素材の画像の符号化の難易度を表すものと言える。そこで、本実施の形態では、この発生ビット量を、符号化難易度として測定する。なお、ビデオエンコーダ２２における符号化処理によって発生されるデータには、実際のＤＣＴ係数に関わる符号化データ（以下、単に符号化データとも言う。）と、動き補償のための動きベクトルデータとが含まれる。従って、発生データ量は、符号化データのデータ量と動きベクトルデータのデータ量とを合わせたものとなる。符号化難易度の情報は、発生ビット量の情報Ｓ5 としてビデオエンコーダ２２よりエンコーダコントロール部２６に与えられ、更に、符号化難易度データdifficultyとしてエンコーダコントロール部２６よりビット配分部２５に与えられる。
【００３４】
次に、ビット配分部２５は、与えられた符号化条件を基に、各ピクチャの符号化難易度に応じて、各ピクチャへ割り当てビット量を配分するためのビット配分計算を行う（ステップＳ１０３）。ビット配分計算については、後で詳しく説明する。ビット配分計算の結果に基づくビデオエンコーダ２２の制御条件は、コントロールファイルCTL fileとして、ビット配分部２５よりエンコーダコントロール部２６に与えられる。
【００３５】
次に、ビデオエンコード装置１１は、ビット配分計算の結果に基づくビデオエンコーダ２２の制御条件に従って、プレビューの処理を行う（ステップＳ１０４）。このプレビューの処理は、使用者が任意の処理範囲を指定してビデオデータを圧縮符号化し、得られたデータを、ハードディスク装置１７に出力せずに、ビデオエンコーダ２２内部のデコーダ（復号化器）によって復号化してモニタ装置２３によって表示させる処理である。使用者は、このモニタ装置２３に表示された画像の画質を評価し（ステップＳ１０５）、画質に満足しない場合（ＮＧ）には、カスタマイズ処理を行う（ステップＳ１０６）。このカスタマイズ処理は、画質に問題のある部分のビットレートを上げたり、符号化の前に施す時間的、空間的なフィルタのフィルタレベルを調整するといった部分的に符号化の条件を変更する処理である。ビデオエンコーダ制御装置２４のＧＵＩ部２８は、カスタマイズ処理における使用者の操作に応じて、符号化難易度を補正する重み付けファイルweight.txtを作成し、ビット配分部２５に与える。ビット配分部２５は、この重み付けファイルweight.txtに基づいて、ビット配分を再計算する（ステップＳ１０７）。ビット配分再計算後のビデオエンコーダ２２の制御条件は、コントロールファイルCTL fileとして、ビット配分部２５よりエンコーダコントロール部２６に与えられる。そして、ビデオエンコード装置１１の動作は、ステップＳ１０４のプレビューの処理に戻る。
【００３６】
一方、使用者は、プレビューの処理の結果、画質に満足した場合（ＯＫ）は、正式な符号化処理の実行を指示し、これにより、正式な符号化処理が実行される（ステップＳ１０８）。この符号化処理では、ＧＵＩ部２８がＶＴＲコントロール部２７にコマンドcommand を与え、このコマンドcommand に基づいて、ＶＴＲコントロール部２７がＶＴＲ２１を制御して、磁気テープよりビデオデータＳ1 を再生させる。このビデオデータＳ1 は、ビデオエンコーダ２２に入力される。ビデオエンコーダ２２は、エンコーダコントロール部２６の制御により、ビデオデータＳ1 の圧縮符号化を行う。正式な符号化処理では、ステップＳ１０３またはステップＳ１０７によるビット配分計算後のビデオエンコーダ２２の制御条件に従って、エンコーダコントロール部２６によって、ビデオエンコーダ２２が制御されて、ビデオデータＳ1 が圧縮符号化される。圧縮符号化によって得られた圧縮画像データＳ2 は、ハードディスク装置１７に記録される。この圧縮符号化後、ビデオエンコーダ制御装置２４は、符号化処理結果（アドレスデータv.adr および多重化用データvxxx.aui）をネットワーク１９を介して、スーパバイザ１８に報告する後処理を行い（ステップＳ１０９）、ビデオエンコード装置１１による符号化作業が終了する。
【００３７】
なお、図４に示した動作のうち、ステップＳ１０１，Ｓ１０３，Ｓ１０５，Ｓ１０６，１０７，１０９は、コンピュータ（ビデオエンコーダ制御装置２４）上のオフライン処理である。
【００３８】
次に、図５を参照して、図４におけるビット配分計算（ステップＳ１０３）について詳細に説明する。このビット配分計算の概略は、スーパバイザ１８より与えられたビット総量QTY BYTES と最大ビットレートMAXRATE とに基づいて、最大ビットレート以下になるように制限を加えた総ビット量USB BYTES を求め、この値からＧＯＰヘッダに必要なビット量TOTAL HEADERを引いて、各ピクチャへの割り当てビット量の総和の目標値となるビット量SUPPLY BYTESを算出し、このビット量SUPPLY BYTESの大きさの範囲内に収まるように、各ピクチャへの割り当てビット量targetを配分することである。
【００３９】
具体的には、ビット配分部２５は、始めに、ファイルv.enc によって、ＧＵＩ部２８を介してスーパバイザ１８より、ビット総量QTY BYTES 、最大ビットレートMAXRATE 等の符号化条件を入力する（ステップＳ２０１）。次に、ビット配分部２５は、エンコーダコントロール部２６より符号化難易度データdifficultyを入力する（ステップＳ２０２）。
【００４０】
次に、ビット配分部２５は、シーンチェンジ検出および処理を行う（ステップＳ２０３）。すなわち、ビデオエンコーダ制御装置２４は、符号化難易度を測定する際に、各画像の直流（ＤＣ）成分の値や動きベクトルデータのデータ量の大きさ等のパラメータも併せて測定し、それらのパラメータの変化量から、シーンが変化するポイントを見つけることが可能であり、ビット配分部２５は、これを用いてシーンチェンジの検出およびその処理を行う。
【００４１】
ここで、図６を参照して、シーンチェンジ検出および処理について詳しく説明する。シーンチェンジとは、場面が切り換わることである。ＭＰＥＧ２規格による動き補償を併用した双方向予測符号化方式によって圧縮符号化処理を行う場合には、このシーンチェンジのフレームがＰピクチャに設定されると画質が劣化する。そこで、シーンチェンジ検出および処理では、Ｐピクチャがシーンチェンジのフレームに設定されたことを検出し、そのＰピクチャをＩピクチャに変更する処理を行う。図６（ａ）は、ＧＯＰの構成の一例を表示順に示したものであり、ここでは、符号６０で示したＰピクチャがシーンチェンジのフレームに設定されている。そのため、シーンチェンジ検出および処理では、図６（ｂ）に示したように、このＰピクチャをＩピクチャに変更する。
【００４２】
なお、シーンチェンジのフレームは、例えば、ビデオエンコーダ制御装置２４によって、符号化難易度の測定の際に、Ｉピクチャ、Ｐピクチャについて、輝度レベルの直流レベル、動き補償で用いる差分データの加算値をビデオエンコーダ２２から取得し、これら直流レベルや差分データの加算値により検出することができる。
【００４３】
また、シーンチェンジ検出および処理と同様に、フラッシュの検出および処理を行うこともできる。ここで言うフラッシュとは、例えば写真撮影のフラッシュが点灯したような場合で、フラッシュのフレームを間に挟んで、前後のフレームで連続性が維持されている場合である。フラッシュの検出および処理では、このフラッシュを検出し、フラッシュの次のフレームをＩピクチャに変更する。
【００４４】
次に、ビット配分部２５は、チャプタ処理を行う（ステップＳ２０４）。ＤＶＤプレイヤでのチャプタサーチ時には、特定されないピクチャからチャプタへジャンプしてくるが、チャプタ処理は、その場合でも、再生画像の乱れがないように、チャプタの位置が必ずＧＯＰの先頭になるようにピクチャタイプを変更する処理である。
【００４５】
ここで、図７を参照して、チャプタ処理の一例について説明する。図７（ａ）は、ＧＯＰの構成の一例を表示順に示したものであり、ここでは、符号７０で示したＰピクチャがチャプタのフレームに指定されている。この場合、チャプタ処理では、Ｐピクチャ７０をＩピクチャに変更すると共に、チャプタの直前のＢピクチャ７１をＰピクチャに変更して、チャプタの前後のフレームにおいて、チャプタの前後に予測フレームが跨らないようにＢピクチャ、Ｐピクチャを設定する。
【００４６】
次に、ビット配分部２５は、符号化難易度に基づいて、少なくとも１種類のフレーム間予測符号化ピクチャ（Ｐピクチャ，Ｂピクチャ）に関して、符号化難易度が所定の条件を満たすか否かを判断し、符号化難易度が所定の条件を満たす場合に、ピクチャタイプをフレーム内符号化ピクチャ（Ｉピクチャ）または予測方向の数がより少ないフレーム間予測符号化ピクチャ（Ｐピクチャ）に変更するピクチャタイプの変更処理を行う（ステップＳ２０５）。このピクチャタイプの変更処理については、後で詳しく説明する。
【００４７】
なお、ステップＳ２０３ないしステップＳ２０５の各処理によって決定されたピクチャタイプの情報は、後に、エンコーダコントロール部２６より、ピクチャタイプの情報Ｓ3 として、ビデオエンコーダ２２の画像並べ替え回路３１に与えられ、ビデオエンコーダ２２では、ステップＳ２０３ないしステップＳ２０５の各処理によって決定されたピクチャタイプに従って符号化処理が行われることになる。
【００４８】
次に、ビット配分部２５は、符号化難易度の補間および補正処理を行う（ステップＳ２０６）。すなわち、ステップＳ２０３ないしステップＳ２０５の各処理によってピクチャタイプが変更されると、符号化難易度を測定した際のピクチャタイプと正式な符号化処理を行う際のピクチャタイプとが異なってしまうため、符号化難易度の補間および補正処理では、ピクチャタイプが変更されたフレームに関して、例えば近接したフレームの符号化難易度の値を利用して、符号化難易度の値が変更後のピクチャタイプに応じた値となるように、符号化難易度の補間または補正を行う。
【００４９】
次に、ビット配分部２５は、補間および補正処理後の符号化難易度と、スーパバイザ１８より与えられたビット総量QTY BYTES 等に基づいて、各ピクチャへの割り当てビット量targetを計算する（ステップＳ２０７）。次に、ビット配分部２５は、計算した割り当てビット量targetに基づいて、圧縮画像データを記録するハードディスク装置１７上のアドレスを計算し（ステップＳ２０８）、更に、この計算したアドレスと割り当てビット量targetとを順次記述して、ビデオエンコーダ２２用のコントロールファイルCTL fileを作成し（ステップＳ２０９）、ビット配分計算の処理を終了し、ビデオエンコード装置１１の動作は、図４におけるステップＳ１０４へ進む。
【００５０】
以下、ステップＳ２０７における割り当てビット量targetの計算方法の一例について説明する。この例では、まず、スーパバイザ１８より与えられたビット総量QTY BYTES と最大ビットレートMAXRATE とに基づいて、次の式（１）により、最大ビットレート以下になるように制限を加えた総ビット量USB BYTES を求める。
【００５１】
USB BYTES ＝min(QTY BYTES,MAXRATE ×KT×total frame number) …（１）
【００５２】
式（１）において、KTは定数であり、ＮＴＳＣ方式の場合はKT＝１／８（bits）／３０（Hz）、ＰＡＬ方式の場合はKT＝１／８（bits）／２５（Hz）である。total frame numberは、符号化する素材のフレーム総数である。min(s,t)は、ｓとｔのうちで小さい方を選択する関数である。
【００５３】
次に、式（２）で示すように、式（１）で求めたUSB BYTES から、ＧＯＰヘッダに必要なビット量TOTAL HEADERを引いて、各ピクチャへの割り当てビット量の総和の目標値となるビット量SUPPLY BYTESを算出する。
【００５４】
SUPPLY BYTES＝USB BYTES −TOTAL HEADER …（２）
【００５５】
本例では、式（２）で求まったビット量SUPPLY BYTESを、まず、ＧＯＰ単位に配分し、その後、各ＧＯＰ内で各ピクチャの符号化難易度に応じて配分するものとする。ここでは、各ＧＯＰ毎の符号化難易度の和gop diffに応じて、符号化する際のＧＯＰ単位のビット割当量gop targetを配分している。図８は、この符号化難易度の和gop diffとＧＯＰ単位のビット割当量gop targetとを変換する関数の一例を示したものである。この例では、Ｙをgop target、Ｘをgop diffとして、Ｙ＝ＡＸ＋Ｂという評価関数を用いている。この評価関数を用いて、割り当てビット量targetを以下のようにして求める。
【００５６】
まず、次の式（３）により、全てのピクチャの符号化難易度の総和DIFFICULTY SUMを求める。なお、difficultyは、各ピクチャの符号化難易度である。
【００５７】
DIFFICULTY SUM＝Σdifficulty …（３）
【００５８】
ここで、評価関数Ｙ＝ＡＸ＋Ｂより、次の式（４）が成り立つ。
【００５９】
ΣＹ＝Ａ×ΣＸ＋Ｂ×ｎ …（４）
【００６０】
ここで、ΣＹ＝SUPPLY BYTES、ΣＸ＝DIFFICULTY SUMであり、ｎはＧＯＰの総数である。また、Ｂを、ＧＯＰ単位のビット割り当て量の最小値gop minbytesとする。
【００６１】
従って、式（４）により、Ａは次の式（５）で表される。
【００６２】
Ａ＝（SUPPLY BYTES−gop minbytes×ｎ）／DIFFICULTY SUM …（５）
【００６３】
ＧＯＰ単位のビット割り当て量gop targetは上述の評価関数より、次の式（６）で表される。
【００６４】
gop target＝Ａ×gop diff＋Ｂ …（６）
【００６５】
この式（６）中のＡは式（５）で与えられ、Ｂはgop minbytesである。
【００６６】
次に、式（６）で求まったＧＯＰ単位のビット割り当て量gop targetを、各ＧＯＰ内で各ピクチャの符号化難易度に応じて配分する。ＧＯＰ内での各ピクチャへのビット配分を符号化難易度の大きさに比例させた場合には、各ピクチャの割り当てビット量targetは、次の式（７）により求められる。
【００６７】
このようにして、各ピクチャの割り当てビット量targetが計算されるが、素材の中に極端に難しい（各ＧＯＰごとの符号化難易度の和gop diffの値が大きくなる）ピクチャがあると、ＧＯＰ単位のビット割り当て量gop targetの値が非常に大きくなり、オーサリング装置において許容されている最大ビットレートMAXRATE を越えてしまうため、ＧＯＰ単位のビット割り当て量gop targetには、図８に示したように、ＧＯＰ単位のビット割り当て量の最大値gop maxbytesといった固定値で制限をかける必要がある。また、割り当てビット量targetの最小値は、前述のgop minbytesによって制限される。
【００６８】
なお、式（７）において、ｋはＧＯＰ内のピクチャ数を越えない任意の値とし、target(k) はｋ番目のピクチャの割り当てビット量、difficulty(k) はｋ番目のピクチャの符号化難易度を表す。
【００６９】
このようにして、各ピクチャの割り当てビット量targetが計算されるが、素材の中に極端に難しい（各ＧＯＰごとの符号化難易度の和gop diffの値が大きくなる）ピクチャがあると、ＧＯＰ単位のビット割り当て量gop targetの値が非常に大きくなり、オーサリング装置において許容されている最大ビットレートMAXRATE を越えてしまうため、ＧＯＰ単位のビット割り当て量gop targetには、図７に示したように、ＧＯＰ単位のビット割り当て量の最大値gop maxbytesといった固定値で制限をかける必要がある。また、割り当てビット量targetの最小値は、前述のgop minbytesによって制限される。
【００７０】
以上のようにして求められた各ピクチャの割り当てビット量targetは、更に、次のようにして修正される。すなわち、ＭＰＥＧ２規格でビデオデータを符号化するときには、デコーダ（復号化装置）における入力バッファに対応する仮想的なバッファのバッファ残量を考慮しながらビット配分をすることが義務づけられている。この仮想的なバッファの残量の計算をＶＢＶ（Video buffering verifier）という。また、この仮想的なバッファをＶＢＶバッファともいう。ここで、図９を参照して、ＶＢＶの計算方法について説明する。ＤＶＤの場合、バッファサイズVBVMAX（例えば１．７５Mbits ）に対して、ｋ番目のピクチャにおけるバッファのスタート点をOccupancy up（ｋ）、ｋ番目のピクチャの割り当てビット量をtargetを（ｋ）とすると、ピクチャ再生のためにビットを供給した後のバッファ残量Occupancy down（ｋ）は以下の式（９）で表される。なお、バッファのスタート点の初期値Occupancy up（０）は例えば式（８）で表される固定値とする。
【００７１】
Occupancy up（０）＝VBVMAX×２／３ …（８）
Occupancy down（ｋ）＝Occupancy up（ｋ）−target（ｋ） …（９）
【００７２】
このバッファには、デコーダ側のピックアップから、ビデオデータのデータ量に応じたビットレートのデータ量SYSTEM SUPPLY が蓄積される。ここで、データ量SYSTEM SUPPLY は次の式（１０）で表される。
【００７３】
SYSTEM SUPPLY ＝MAXRATE ×TW …（１０）
【００７４】
なお、TWは、ピクチャの周期であり、ＮＴＳＣ方式の場合は１／２９．９７、ＰＡＬ方式の場合は１／２５である。
【００７５】
このデータ量SYSTEM SUPPLY が供給された後のバッファ残量Occupancy up（ｋ＋１）は次の式（１１）で表される。
【００７６】
Occupancy up（ｋ＋１）＝Occupancy down（ｋ）＋SYSTEM SUPPLY …（１１）
【００７７】
この供給されるデータ量SYSTEM SUPPLY は、図９において、Occupancy down（ｋ）とOccupancy up（ｋ＋１）との間の変化量に相当する。従って、供給されるデータのビットレートが大きいほど、Occupancy down（ｋ）からOccupancy up（ｋ＋１）への変化の傾きは大きくなり、バッファにデータが蓄積されやすくなる。バッファが飽和状態となった場合には、ピックアップからバッファへの供給が停止するため、バッファのオーバフローに関しては考慮する必要はない。これは、バッファ残量の任意の設定値に厳密に制御する必要はなく、任意の設定値以上になるように制御すればよいことを意味している。
【００７８】
一方、各ピクチャのデータ量が大きい場合、バッファに蓄積されたデータは大きく減少する。従って、バッファ残量が一定値以下にならないように割り当てビット量targetを修正する必要がある。
【００７９】
ここで、図１０および図１１を参照して、上述のようなＶＢＶの制限による割り当てビット量targetの修正処理について説明する。図１０（ａ）は、前述の評価関数とＧＯＰ単位のビット割り当て量の最大値gop maxbytesの制限を考慮して求めた割り当てビット量target、すなわち、式（７）によって求めた割り当てビット量targetの一例を示し、図１０（ｂ）は、図１０（ａ）に対応するＶＢＶバッファ残量の変化を示している。なお、図中、VBVMAXはＶＢＶバッファ残量の上限値、VBVMINはＶＢＶバッファ残量の下限値である。この例では、第１番目、第４番目、第７番目のピクチャで、ＶＢＶバッファ残量は下限値VBVMINを下回っている。従って、このままでは、デコーダ側において、連続したビデオデータの再生が一時途切れるおそれがある。
【００８０】
そこで、ＶＢＶの制限による割り当てビット量の修正処理では、下限値VBVMINを下回ったピクチャを含むＧＯＰの割り当てビット量を削減する。具体的には、まず、ＧＯＰ内でＶＢＶバッファ残量による制限を加える前の割り当てビット量を用いてＶＢＶ計算を実行したときのバッファ残量の最小値をOcc Min として、調整量ｒを、次の式（１２）によって求める。なお、制限を行うスタート点kstartは、Occupancy up（ｋ）が基準値VBVLINE （例えばVBVMAXの４分の３）以上となるときのｋの値で、このときのOccupancy up（ｋ）の値をOcc start とする。また、VBVSTARTは、Occupancy up（０）となる固定値である。
【００８１】
Occ Min ＜VBVMINのとき
ｒ＝（Occ start −VBVMIN）／（VBVSTART−Occ min ） …（１２）
【００８２】
次に、この調整量ｒを用いて、次の式（１３）により、修正後の割り当てビット量targetを求める。
【００８３】
target（ｊ）＝target′（ｊ）×ｒ …（１３）
【００８４】
ただし、target′は、修正前の割り当てビット量を表している。また、ｊは、kstart≦ｊ≦k である。
【００８５】
図１１（ａ）は、式（１３）に従って、ＶＢＶの制限による割り当てビット量の修正処理を行った後の割り当てビット量targetの一例を示し、図１１（ｂ）は、図１１（ａ）に対応するＶＢＶバッファ残量の変化を示している。このように、ＶＢＶの制限による割り当てビット量の修正処理を行うことによって、図１１（ｂ）に示した調整区間（kstart≦ｊ≦k の区間）ＲＣにおいて、ＶＢＶバッファ残量は下限値VBVMINを上回るようになる。
【００８６】
このようにして求められた割り当てビット量targetを用いて作成されたコントロールファイルCTL fileに基づいて、エンコーダコントロール部２６よりビデオエンコーダ２２の量子化インデックス決定部４３に割り当てビット量の情報Ｓ4 を与えて、ビデオエンコーダ２２において符号化処理を行うことにより、素材の画像の難しさに応じた可変ビットレートの符号化が実行される。
【００８７】
次に、図５におけるステップＳ２０５のピクチャタイプの変更処理について詳しく説明する。なお、以下の説明では、次のような記号を用いる。
【００８８】
１． gen bit （ｋ）
予備的な符号化によって測定されたｋ番目のフレームの符号化難易度の値であり、この値が大きいほど画像が難しいことを表す。なお、ｋは０以上kend（ＧＯＰの最後のｋ）以下の値とする。
２． i bits（ｊ）
ｊ番目のＧＯＰ内のＩピクチャの符号化難易度の値を表す。
３． b bits（ｊ）
ｊ番目のＧＯＰ内のＢピクチャの符号化難易度の値の和を表す。
４． b nb（ｊ）
ｊ番目のＧＯＰ内のＢピクチャの数を表す。
５． b rate（ｊ）
ｊ番目のＧＯＰのＢピクチャの符号化難易度の平均値とＩピクチャの符号化難易度の比率を表し、次の式（１４）により求められる。なお、ｊは１以上で、ＧＯＰの総数total gop nb以下の値とする。
【００８９】
b rate＝b bits／b nb／i bits …（１４）
【００９０】
６． pict rate （ｋ）
ｋ番目のフレームのピクチャの符号化難易度とそのフレームが属するＧＯＰのＩピクチャの符号化難易度の比率を表し、次の式（１５）により求められる。
【００９１】
pict rate ＝gen bit （ｋ）／i bits（ｊ） …（１５）
【００９２】
７． total gop nb
ＧＯＰの総数である。
８． gop start （ｋ）
ｋ番目のフレームがＧＯＰの先頭である場合は１とし、それ以外は０となる。
９． p type（ｋ）
ｋ番目のフレームのピクチャタイプ（Ｉ，Ｂ，Ｐ）を表す。
１０． B AVR LIMIT
符号化難易度が所定の条件を満たすか否かの判断のためのb rateに対する規定値であり、本発明における第１の所定値に対応するものである。ここでは、一例として、B AVR LIMIT ＝５５とする。
１１． BP CHG LIMIT
符号化難易度が所定の条件を満たすか否かの判断のためのpict rate に対する規定値であり、本発明における第２の所定値に対応するものである。ここでは、一例として、BP CHG LIMIT＝６５とする。
１２． DIFF LIMIT
符号化難易度が所定の条件を満たすか否かの判断のためのgen bit に対する規定値であり、本発明における第３の所定値に対応するものである。ここでは、一例として、DIFF LIMIT＝３０００とする。
【００９３】
次に、図１２の流れ図を参照して、図５におけるステップＳ２０５のピクチャタイプの変更処理について具体的に説明する。なお、ビデオエンコーダ制御装置２４では、ピクチャタイプの変更処理が開始される時点で既に各ＧＯＰのb rateおよびpict rate は算出されているものとする。ピクチャタイプの変更処理では、まず、ビデオエンコーダ制御装置２４のビット配分部２５は、初期設定値としてｊおよびｋの値を０とする（ステップＳ３０１）。次に、ビット配分部２５は、gop start （ｋ）の値が１か否かを判断することにより、ｋ番目のフレームがＧＯＰの先頭か否かを判断する（ステップＳ３０２）。
【００９４】
gop start （ｋ）が１、すなわちｋ番目のフレームがＧＯＰの先頭である場合（ステップＳ３０２；Ｙ）には、ｊ＋１を新たなｊとすると共に、変数ｋｋをｋとし（ステップＳ３０３）、ｊ番目のＧＯＰのb rate（ｊ）がB AVR LIMIT を越えているか否かを判断する（ステップＳ３０４）。b rateがB AVR LIMIT を越えている場合（ステップＳ３０４；Ｙ）は、ｋｋ番目のフレームのピクチャタイプp type（ｋｋ）がＢピクチャであり、且つｋｋ番目のフレームのpict rate （ｋｋ）がBP CHG LIMITを越えており、且つｋｋ番目のフレームのgen bit （ｋｋ）がDIFF LIMITを越えているか否かを判断する（ステップＳ３０５）。ｋｋ番目のフレームがＢピクチャで、且つpict rate （ｋｋ）がBP CHG LIMITを越えており、且つgen bit （ｋｋ）がDIFF LIMITを越えている場合（ステップＳ３０５；Ｙ）は、ピクチャタイプをＢピクチャからＰピクチャに変更し（ステップＳ３０６）、ｋｋ＋１を新たなｋｋとし（ステップＳ３０７）、gop start （ｋｋ）の値が１、すなわちｋｋ番目のフレームがＧＯＰの先頭であるか、あるいはｋｋがkendを越えているか否かを判断する（ステップＳ３０８）。
【００９５】
ｋｋ番目のフレームがＧＯＰの先頭ではなく、且つｋｋがkendを越えていない場合（ステップＳ３０８；Ｎ）は、ステップＳ３０４に戻り、新たなｋｋ番目のフレームについて、ステップＳ３０４ないしステップＳ３０８の処理を実行する。
【００９６】
ｋｋ番目のフレームがＧＯＰの先頭であるか、あるいはｋｋがkendを越えている場合（ステップＳ３０８；Ｙ）は、ｋ＋１を新たなｋとして（ステップＳ３０９）、ｋがkendを越えているか否かを判断する（ステップＳ３１０）。ｋがkendを越えている、すなわち最後のＧＯＰまで処理を行った場合（ステップＳ３１０；Ｙ）、ピクチャタイプの変更の処理を終了する。ｋがkendを越えていない場合（ステップＳ３１０；Ｎ）は、ステップＳ３０２に戻り、次のＧＯＰについて、ステップＳ３０２ないしステップＳ３１０の処理を実行する。
【００９７】
ステップＳ３０２において、gop start （ｋ）が１ではない、すなわちｋ番目のフレームがＧＯＰの先頭ではない場合（Ｎ）、およびステップＳ３０４において、b rate（ｊ）がB AVR LIMIT を越えていない場合（Ｎ）は、ステップＳ３０９に進む。また、ステップＳ３０５において、ｋｋ番目のフレームがＢピクチャではない、あるいはpict rate （ｋｋ）がBP CHG LIMITを越えていない、あるいはgen bit （ｋｋ）がDIFF LIMITを越えていない場合（Ｎ）は、ステップＳ３０７に進む。
【００９８】
以上のようなピクチャタイプの変更処理を簡単に言うと、ＧＯＰ内のＢピクチャの符号化難易度の平均値とＩピクチャの符号化難易度の比率b rateによって、Ｂピクチャによる予測が難しい区間を検出し、その区間内のＢピクチャのうち、そのピクチャの符号化難易度とそのピクチャが属するＧＯＰのＩピクチャの符号化難易度の比率pict rate が規定値BP CHG LIMITを越え、且つそのピクチャの符号化難易度gen bit が規定値DIFF LIMITを越えたものについて、ピクチャタイプを、予測方向の数がより少ないフレーム間予測符号化ピクチャであるＰピクチャに変更するというものである。このような処理により、動きベクトルデータのデータ量を減少させることができ、その結果、限られた割り当てデータ量の中で、実際のＤＣＴ係数に関わる符号化データのデータ量を増加させて、画質を改善させることができる。
【００９９】
図１３は、ピクチャタイプの変更処理の具体例を示したものである。図１３（ａ）は、予備的な符号化によって測定された符号化難易度gen bit を表示順に示したものである。なお、図１３（ａ）には、gop start を併記している。図１３（ｂ）は、図１３（ａ）で示した符号化難易度に対して、ＧＯＰ内のＢピクチャの符号化難易度の平均値とＩピクチャの符号化難易度の比率b rateを表したものである。このb rateが、規定値B AVR LIMIT を越えた区間ＴＣがピクチャタイプの変更対象区間となる。図１３（ｃ）は、図１３（ａ）と同様に符号化難易度gen bit を表示順に示すと共に、変更対象区間ＴＣ内のＢピクチャのうち、ピクチャタイプの変更処理によってＰピクチャに変更したものを丸印を付して示したものである。
【０１００】
図１４は、時間的、空間的な相関が少ない素材を、本実施の形態に係る画像符号化装置（ビデオエンコード装置１１）および画像符号化方法によって符号化した場合のb rateを表したものである。図中、縦軸はb rate、横軸はフレーム番号（Frame nb）×１０3 すなわち時間を表している。平均的な素材では、b rateの値は２５程度になるが、このように相関が少ない素材では、極端にb rateが大きくなる部分が存在する。本実施の形態では、極端にb rateが大きくなる範囲を、b rateと規定値B AVR LIMIT との比較によって検出し、この範囲について、ピクチャタイプの変更処理を行う。
【０１０１】
図１５は、図１４で用いた素材に関して、本実施の形態におけるピクチャタイプの変更処理を施して符号化した場合と従来の方式で符号化した場合とで、ＧＯＰ単位のフレーム毎の量子化ステップの平均値である平均量子化数Average Ｑを比較して表したものである。図中、縦軸は平均量子化数Average Ｑ、横軸はフレーム番号（Frame nb）×１０3 すなわち時間を表している。図中、実線が本実施の形態におけるピクチャタイプの変更処理を施して符号化した場合を表し、破線が従来の方式で符号化した場合を表している。同じビット量の割り当てに対して、平均量子化数Average Ｑが小さいということは、より細かい情報まで符号化されていることを意味し、これは符号化効率が良いことを示している。図１５から、本実施の形態におけるピクチャタイプの変更処理を施して符号化した場合、従来の方式で符号化した場合に比べて、平均量子化数Average Ｑがかなり小さくなっていることが分かり、本実施の形態によって、画質を改善できることが分かる。
【０１０２】
以上説明したように本実施の形態によれば、ＧＯＰ内のＢピクチャの符号化難易度の平均値とＩピクチャの符号化難易度の比率b rateによって、Ｂピクチャによる予測が難しい区間を検出し、その区間内のＢピクチャのうち、そのピクチャの符号化難易度とそのピクチャが属するＧＯＰのＩピクチャの符号化難易度の比率pict rate が規定値BP CHG LIMITを越え、且つそのピクチャの符号化難易度gen bit が規定値DIFF LIMITを越えたものについて、ピクチャタイプをＰピクチャに変更するようにしたので、符号化する素材中の画像の時間的または空間的な相関が悪い部分における動きベクトルデータのデータ量を減少させることができ、その結果、限られた割り当てデータ量の中で、実際のＤＣＴ係数に関わる符号化データのデータ量を増加させて符号化効率を向上させ、画質を改善させることができる。
【０１０３】
なお、本発明は上記実施の形態に限定されず、例えば、実施の形態では、符号化難易度が所定の条件を満たすＢピクチャをＰピクチャに変更するようにしたが、符号化難易度が所定の条件を満たすＢピクチャを、フレーム内符号化ピクチャであるＩピクチャに変更するようにしてもよい。
【０１０４】
また、例えば、b rate，pict rate ，gen bit に関する条件を、Ｐピクチャへの変更用とＩピクチャへの変更用の２種類設定し、b rate，pict rate ，gen bit がＰピクチャへの変更用の条件を満たす場合にはＢピクチャをＰピクチャに変更し、b rate，pict rate ，gen bit がＩピクチャへの変更用の条件を満たす場合にはＢピクチャをＩピクチャに変更するようにしてもよい。
【０１０５】
更に、Ｐピクチャに関しても、実施の形態におけるＢピクチャに関する条件と同様の条件を設定し、その条件を満たすＰピクチャをＩピクチャに変更するようにしてもよい。具体的には、例えば、ＧＯＰ内のＰピクチャの符号化難易度の平均値とＩピクチャの符号化難易度の比率が第１の所定値を越える範囲を、Ｐピクチャによる予測が難しい区間として検出し、その区間内のＰピクチャのうち、そのピクチャの符号化難易度とそのピクチャが属するＧＯＰのＩピクチャの符号化難易度の比率が第２の所定値を越え、且つそのピクチャの符号化難易度が第３の所定値を越えたものについて、ピクチャタイプをＩピクチャに変更するようにしてもよい。
【０１０６】
また、ピクチャタイプを変更するための符号化難易度の条件は、実施の形態で挙げた例に限らず，適宜に設定可能である。
【０１０７】
また、本発明は、実施の形態で挙げた２パスエンコーディング方式で符号化を行うシステムに限らず、正式な符号化の直前に予備的な符号化を行って符号化難易度を測定できるシステムや、正式な符号化の前に予備的な符号化を行うことなく、入力ビデオデータに基づいて符号化難易度を測定できるシステム等、正式な符号化の前に符号化難易度を測定できるシステム全般について適用することができる。
【０１０８】
また、符号化難易度は、実施の形態で挙げたように、予備的な符号化によって得られる符号化データと動きベクトルデータとを合わせたデータのデータ量に限らず、ピクチャの符号化の難易度を表すパラメータであればよく、例えば、予備的な符号化によって得られる符号化データと動きベクトルデータとを合わせたデータのデータ量に対する動きベクトルデータのデータ量の比率や、予備的な符号化によって得られる動きベクトルデータのみのデータ量等でもよい。
【０１０９】
【発明の効果】
以上説明したように本発明の画像符号化装置または本発明の画像符号化方法によれば、入力画像データのピクチャの符号化の難度を表す符号化難易度を取得すると共に、Ｂピクチャの符号化難易度の平均値とＩピクチャの符号化難易度との比率が第１の所定値を越えた符号化処理単位内において、Ｂピクチャの符号化難易度とＩピクチャの符号化難易度との比率が第２の所定値を越え、且つ、Ｂピクチャの符号化難易度が第３の所定値を越えるという条件を満たすＢピクチャを、ＩピクチャまたはＰピクチャに変更して符号化するようにしたので、符号化する素材中の画像の時間的または空間的な相関が悪い部分における符号化効率を向上させて、限られた割り当て符号量に対して、画質を改善することが可能となるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る画像符号化装置としてのビデオエンコード装置の構成を示すブロック図である。
【図２】本発明の一実施の形態に係る画像符号化装置としてのビデオエンコード装置を含むＤＶＤ用のオーサリング装置の構成を示すブロック図である。
【図３】図１におけるビデオエンコーダの構成の一例を示すブロック図である。
【図４】本発明の一実施の形態に係る画像符号化装置としてのビデオエンコード装置の動作を示す流れ図である。
【図５】図４におけるビット配分計算処理の詳細を説明するための流れ図である。
【図６】図５におけるシーンチェンジ検出および処理を説明するための説明図である。
【図７】図５におけるチャプタ処理を説明するための説明図である。
【図８】図５における割り当てビット量の計算処理に用いる評価関数を示す説明図である。
【図９】図５における割り当てビット量の計算処理に用いるＶＢＶの計算方法を説明するための説明図である。
【図１０】図５における割り当てビット量の計算処理中のＶＢＶの制限による割り当てビット量の修正処理について説明するための説明図である。
【図１１】図５における割り当てビット量の計算処理中のＶＢＶの制限による割り当てビット量の修正処理について説明するための説明図である。
【図１２】図５におけるピクチャタイプの変更処理を説明するための流れ図である。
【図１３】図１２に示したピクチャタイプの変更処理の具体例を示す説明図である。
【図１４】時間的、空間的な相関が少ない素材を本発明の一実施の形態によって符号化した場合におけるＢピクチャの符号化難易度の平均値とＩピクチャの符号化難易度の比率の一例を示す説明図である。
【図１５】図１４で用いた素材に関して、本発明の一実施の形態におけるピクチャタイプの変更処理を施して符号化した場合と従来の方式で符号化した場合とで平均量子化数を比較して表した説明図である。
【図１６】ＧＯＰの構造を説明するための説明図である。
【符号の説明】
１１…ビデオエンコード装置、１８…スーパバイザ、２２…ビデオエンコーダ、２４…ビデオエンコーダ制御装置、２５…ビット配分部、２６…エンコーダコントロール部、２７…ＶＴＲコントロール部、２８…ＧＵＩ部。
Claims (10)
- 入力画像データを符号化する画像符号化装置であって、
前記入力画像データを、Ｉピクチャを含む所定枚数のピクチャを含む符号化処理単位で符号化する符号化手段と、
前記入力画像データのピクチャの符号化の難度を表す符号化難易度を取得すると共に、Ｂピクチャの符号化難易度の平均値とＩピクチャの符号化難易度との比率が第１の所定値を越えた符号化処理単位内において、Ｂピクチャの符号化難易度とＩピクチャの符号化難易度との比率が第２の所定値を越え、且つ、Ｂピクチャの符号化難易度が第３の所定値を越えるという条件を満たすＢピクチャを、ＩピクチャまたはＰピクチャに変更して符号化するように、前記符号化手段を制御する符号化制御手段と
を備えたことを特徴とする画像符号化装置。 - 前記入力画像データを、Ｉピクチャを含む所定枚数のピクチャを含む符号化処理単位で符号化して、前記符号化難易度を算出する符号化難易度算出手段をさらに備えた
ことを特徴とする請求項１に記載の画像符号化装置。 - 前記符号化難易度は、前記入力画像データを固定の量子化ステップで符号化することによって得られる発生ビット量である
ことを特徴とする請求項１に記載の画像符号化装置。 - Ｂピクチャの符号化難易度の平均値とＩピクチャの符号化難易度との比率が前記第１の所定値を越えた区間を、ピクチャタイプ変更対象区間として検出する検出手段をさらに備えた
ことを特徴とする請求項１に記載の画像符号化装置。 - 入力画像データを符号化する画像符号化方法であって、
前記入力画像データを、Ｉピクチャを含む所定枚数のピクチャを含む符号化処理単位で符号化する符号化手順と、
前記入力画像データのピクチャの符号化の難度を表す符号化難易度を取得すると共に、Ｂピクチャの符号化難易度の平均値とＩピクチャの符号化難易度との比率が第１の所定値を越えた符号化処理単位内において、Ｂピクチャの符号化難易度とＩピクチャの符号化難易度との比率が第２の所定値を越え、且つ、Ｂピクチャの符号化難易度が第３の所定値を越えるという条件を満たすＢピクチャを、ＩピクチャまたはＰピクチャに変更して符号化するように、前記符号化手順の符号化を制御する符号化制御手順と
を含むことを特徴とする画像符号化方法。 - 入力画像データを符号化して符号化画像データを生成する画像符号化装置であって、
前記入力画像データを、Ｉピクチャを含む所定枚数のピクチャを含む符号化処理単位で符号化して、前記入力画像データのピクチャの符号化の難度を表す符号化難易度を算出する符号化難易度算出手段と、
Ｂピクチャの符号化難易度の平均値とＩピクチャの符号化難易度との比率が第１の所定値を越えた符号化処理単位内において、Ｂピクチャの符号化難易度とＩピクチャの符号化難易度との比率が第２の所定値を越え、且つ、Ｂピクチャの符号化難易度が第３の所定値を越えるという条件を満たすＢピクチャを、ＩピクチャまたはＰピクチャに変更するピクチャタイプ変更手段と、
前記ピクチャタイプ変更手段によりピクチャタイプが変更されたピクチャを対象として、このピクチャに近接したピクチャの符号化難易度を利用して、符号化難易度の値が変更後のピクチャタイプに応じた値となるように、前記符号化難易度算出手段により算出された符号化難易度を補正する符号化難易度補正手段と、
前記符号化難易度算出手段により算出された符号化難易度と、前記符号化難易度補正手段により補正された符号化難易度と、前記符号化画像データを記録する記録媒体の容量とに基づいて、入力画像データを符号化する際に各ピクチャに割り当てる割り当てビット量を算出する割り当てビット量算出手段と、
入力画像データを符号化する際の発生ビット量が前記割り当てビット量算出手段により算出された割り当てビット量となるように、入力画像データを符号化する符号化手段と
を備えたことを特徴とする画像符号化装置。 - 前記割り当てビット量算出手段は、前記符号化画像データを復号化する復号化手段における入力バッファに対応する仮想バッファのバッファ残量の下限値を上回るように、前記割り当てビット量を算出する
ことを特徴とする請求項６に記載の画像符号化装置。 - 入力画像データを符号化して符号化画像データを生成する画像符号化方法であって、
前記入力画像データを、Ｉピクチャを含む所定枚数のピクチャを含む符号化処理単位で符号化して、前記入力画像データのピクチャの符号化の難度を表す符号化難易度を算出する符号化難易度算出手順と、
Ｂピクチャの符号化難易度の平均値とＩピクチャの符号化難易度との比率が第１の所定値を越えた符号化処理単位内において、Ｂピクチャの符号化難易度とＩピクチャの符号化難易度との比率が第２の所定値を越え、且つ、Ｂピクチャの符号化難易度が第３の所定値を越えるという条件を満たすＢピクチャを、ＩピクチャまたはＰピクチャに変更するピクチャタイプ変更手順と、
前記ピクチャタイプ変更手順によりピクチャタイプが変更されたピクチャを対象として、このピクチャに近接したピクチャの符号化難易度を利用して、符号化難易度の値が変更後のピクチャタイプに応じた値となるように、前記符号化難易度算出手順により算出された符号化難易度を補正する符号化難易度補正手順と、
前記符号化難易度算出手順により算出された符号化難易度と、前記符号化難易度補正手順により補正された符号化難易度と、前記符号化画像データを記録する記録媒体の容量とに基づいて、入力画像データを符号化する際に各ピクチャに割り当てる割り当てビット量を算出する割り当てビット量算出手順と、
入力画像データを符号化する際の発生ビット量が前記割り当てビット量算出手順により算出された割り当てビット量となるように、入力画像データを符号化する符号化手順と
を含むことを特徴とする画像符号化方法。 - 入力画像データを符号化して符号化画像データを生成する画像符号化装置であって、
前記入力画像データを、Ｉピクチャを含む所定枚数のピクチャを含む符号化処理単位で符号化して、前記入力画像データのピクチャの符号化の難度を表す符号化難易度を算出する符号化難易度算出手段と、
Ｂピクチャの符号化難易度の平均値とＩピクチャの符号化難易度との比率が第１の所定値を越えた符号化処理単位内において、Ｂピクチャの符号化難易度とＩピクチャの符号化難易度との比率が第２の所定値を越え、且つ、Ｂピクチャの符号化難易度が第３の所定値を越えるという条件を満たすＢピクチャを、ＩピクチャまたはＰピクチャに変更するピクチャタイプ変更手段と、
前記ピクチャタイプ変更手段によりピクチャタイプが変更されたピクチャを対象として、このピクチャに近接したピクチャの符号化難易度を利用して、符号化難易度の値が変更後のピクチャタイプに応じた値となるように、前記符号化難易度算出手段により算出された符号化難易度を補正する符号化難易度補正手段と、
ピクチャ単位もしくは符号化処理単位の符号化難易度および前記符号化難易度補正手段により補正された符号化難易度と、前記ピクチャ単位もしくは符号化処理単位の符号化難易度および前記補正された符号化難易度の総和との比率に基づいて、入力画像データを符 号化する際に各ピクチャに割り当てる割り当てビット量をピクチャ単位または符号化処理単位で算出する割り当てビット量算出手段と、
入力画像データを符号化する際の発生ビット量が前記割り当てビット量算出手段により算出された割り当てビット量となるように、入力画像データを符号化する符号化手段と
を備えたことを特徴とする画像符号化装置。 - 入力画像データを符号化して符号化画像データを生成する画像符号化方法であって、
前記入力画像データを、Ｉピクチャを含む所定枚数のピクチャを含む符号化処理単位で符号化して、前記入力画像データのピクチャの符号化の難度を表す符号化難易度を算出する符号化難易度算出手順と、
Ｂピクチャの符号化難易度の平均値とＩピクチャの符号化難易度との比率が第１の所定値を越えた符号化処理単位内において、Ｂピクチャの符号化難易度とＩピクチャの符号化難易度との比率が第２の所定値を越え、且つ、Ｂピクチャの符号化難易度が第３の所定値を越えるという条件を満たすＢピクチャを、ＩピクチャまたはＰピクチャに変更するピクチャタイプ変更手順と、
前記ピクチャタイプ変更手順によりピクチャタイプが変更されたピクチャを対象として、このピクチャに近接したピクチャの符号化難易度を利用して、符号化難易度の値が変更後のピクチャタイプに応じた値となるように、前記符号化難易度算出手順により算出された符号化難易度を補正する符号化難易度補正手順と、
ピクチャ単位もしくは符号化処理単位の符号化難易度および前記符号化難易度補正手順により補正された符号化難易度と、前記ピクチャ単位もしくは符号化処理単位の符号化難易度および前記補正された符号化難易度の総和との比率に基づいて、入力画像データを符号化する際に各ピクチャに割り当てる割り当てビット量をピクチャ単位または符号化処理単位で算出する割り当てビット量算出手順と、
入力画像データを符号化する際の発生ビット量が前記割り当てビット量算出手順により算出された割り当てビット量となるように、入力画像データを符号化する符号化手順と
を含むことを特徴とする画像符号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25495997A JP3951152B2 (ja) | 1997-09-19 | 1997-09-19 | 画像符号化装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25495997A JP3951152B2 (ja) | 1997-09-19 | 1997-09-19 | 画像符号化装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1198514A JPH1198514A (ja) | 1999-04-09 |
| JP3951152B2 true JP3951152B2 (ja) | 2007-08-01 |
Family
ID=17272252
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25495997A Expired - Fee Related JP3951152B2 (ja) | 1997-09-19 | 1997-09-19 | 画像符号化装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3951152B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000064187A1 (en) * | 1999-04-19 | 2000-10-26 | Sony Corporation | Image encoding device and its method |
| JP4007594B2 (ja) | 2002-09-26 | 2007-11-14 | 株式会社東芝 | 動画像符号化装置及び方法、動画像符号化方式変換装置及び方法 |
| JP4775132B2 (ja) * | 2006-06-20 | 2011-09-21 | ソニー株式会社 | 画像理装置および方法、プログラム、並びに記録媒体 |
| JP5189618B2 (ja) * | 2010-05-12 | 2013-04-24 | 日本電信電話株式会社 | 映像符号化方法，映像符号化装置および映像符号化プログラム |
| JP5625512B2 (ja) * | 2010-06-09 | 2014-11-19 | ソニー株式会社 | 符号化装置、符号化方法、プログラム、および記録媒体 |
| JP6825506B2 (ja) | 2017-07-19 | 2021-02-03 | 富士通株式会社 | 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム |
-
1997
- 1997-09-19 JP JP25495997A patent/JP3951152B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1198514A (ja) | 1999-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4123567B2 (ja) | 画像信号処理装置及び方法 | |
| US6625322B1 (en) | Image coding apparatus | |
| JP3189861B2 (ja) | 動画像符号化装置および方法 | |
| JP2000278692A (ja) | 圧縮データ処理方法及び処理装置並びに記録再生システム | |
| JP4869147B2 (ja) | 画像記録再生装置 | |
| JP3740813B2 (ja) | 画像符号化方法および画像符号化装置 | |
| JP3911768B2 (ja) | 画像符号化方法及び画像符号化装置 | |
| JP3837889B2 (ja) | エンコード方法およびエンコード装置 | |
| JP3956394B2 (ja) | 音声・映像データ符号化装置およびその方法 | |
| JP4958713B2 (ja) | 動画像符号化装置及びその制御方法 | |
| JP3951152B2 (ja) | 画像符号化装置および方法 | |
| JP4650454B2 (ja) | 符号化装置及び符号化方法 | |
| JP4605183B2 (ja) | 画像信号処理装置及び方法 | |
| JP4462643B2 (ja) | 画像符号化方法及び画像符号化装置 | |
| JPH10304372A (ja) | 画像符号化方法および装置、画像伝送方法 | |
| JP3660514B2 (ja) | 可変レート動画像符号化方法および動画像編集システム | |
| JPH0888854A (ja) | 動画像符号化方式 | |
| JP4759360B2 (ja) | 画像処理装置 | |
| JP2004180345A (ja) | 撮影画像記録装置 | |
| JP3307367B2 (ja) | 可変転送レート符号化装置 | |
| JP4423216B2 (ja) | 画像処理装置 | |
| JPH1198499A (ja) | 画像符号化装置および画質予測方法 | |
| JP4423214B2 (ja) | 画像処理装置 | |
| JP3829312B2 (ja) | 画像記録装置および方法、並びに画像処理装置および方法 | |
| JPH08331556A (ja) | 画像符号化装置および画像符号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040416 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060920 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061012 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061204 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070329 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070411 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100511 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110511 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120511 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |