JPH1198514A - 画像符号化装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】 符号化する素材中の画像の時間的または空間
的な相関が悪い部分における符号化効率を向上させて、
限られた割り当て符号量に対して、画質を改善できるよ
うにする。 【解決手段】 ビデオエンコーダ制御装置２４のビット
配分部２５は、予備的な符号化によって得られたピクチ
ャ毎の符号化難易度を取得し、ＧＯＰ内のＢピクチャの
符号化難易度の平均値とＩピクチャの符号化難易度の比
率が第１の所定値を越える区間を、Ｂピクチャによる予
測が難しい区間として検出し、その区間内のＢピクチャ
のうち、ピクチャの符号化難易度とそのピクチャが属す
るＧＯＰのＩピクチャの符号化難易度の比率が第２の所
定値を越え、且つピクチャの符号化難易度が第３の所定
値を越えたものについて、ピクチャタイプを、予測方向
の数がより少ないフレーム間予測符号化ピクチャである
Ｐピクチャに変更する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像データを符号
化する画像符号化装置および方法に関する。

【０００２】

【従来の技術】近年、大容量のディジタルデータを記録
可能な光ディスクであるＤＶＤ（ディジタル・バーサタ
イル・ディスクまたはディジタル・ビデオ・ディスク）
が実用化されている。ＤＶＤのうち、ビデオデータ等を
記録するＤＶＤビデオでは、ＭＰＥＧ（Moving Picture
Experts Group）２規格で圧縮された画像データを記録
するようになっている。

【０００３】ＭＰＥＧ２規格では、符号化方式として、
動き補償を併用した双方向予測符号化方式を採用してい
る。この符号化方式では、ＤＣＴ（離散コサイン変換）
と画像の時間的および空間的な相関を用いて空間方向の
冗長度および時間方向の冗長度の除去を行うことによっ
て、効率の良い圧縮符号化を可能としている。双方向予
測符号化方式では、フレーム（ピクチャ）内だけで符号
化するフレーム内符号化、過去のフレームから現在のフ
レームを予測することによって符号化するフレーム間順
方向予測符号化、過去および未来のフレームから現在の
フレームを予測することによって符号化する双方向予測
符号化の３つのタイプの符号化が行われる。この符号化
方式では、フレーム内符号化によって符号化されるピク
チャをＩピクチャ（intra coded picture ）、フレーム
間順方向予測符号化によって符号化されるピクチャをＰ
ピクチャ（predictive coded picture）、双方向予測符
号化によって符号化されるピクチャをＢピクチャ（bidi
rectionally predictive coded picture）と呼ぶ。ま
た、必ずＩピクチャを一つ以上含むようにＩ，Ｐ，Ｂの
各ピクチャを適切に組み合わせて、ランダムアクセスの
単位となるＧＯＰ（Group of picture）が構成される。

【０００４】ここで、図１６を参照して、ＧＯＰの構造
について説明する。図１６において、Ｉ，Ｐ，Ｂは、そ
れぞれＩピクチャ、Ｐピクチャ、Ｂピクチャを表してい
る。なお、他の図においても同様である。図１６（ａ）
は、ＧＯＰの構成の一例を表示順に示したものである。
この例では、１５枚のピクチャによってＧＯＰが構成さ
れ（ＧＯＰを構成するピクチャ数Ｎ＝１５）、１ＧＯＰ
内に１枚のＩピクチャが含まれ、ＩピクチャまたはＰピ
クチャの現れる周期（Ｍ）は３であり、隣り合うＩまた
はＰピクチャ間に２つのＢピクチャが挿入されている。
表示順では、ＧＯＰの先頭は、Ｉピクチャの前の最初の
ＰピクチャまたはＩピクチャの次のピクチャであり、Ｇ
ＯＰの最後は、次のＩピクチャの前の最初のＰピクチャ
である。図１６（ａ）において、矢印は、予測方向を表
している。図１６（ｂ）は、同じＧＯＰの構成を、符号
化順に示したものである。このように、符号化の際に
は、Ｂピクチャの符号化の前に、Ｂピクチャの予測の際
に参照するＩピクチャまたはＰピクチャが符号されるよ
うに、ピクチャの並べ替えが行われる。

【０００５】ところで、圧縮された画像情報を、ＤＶ
Ｄ、ビデオＣＤ（コンパクト・ディスク）等のパッケー
ジメディアに蓄積させる符号化システムでは、一般に、
いわゆる２パスエンコーディング方式が採用されてい
る。この２パスエンコーディング方式では、最初に、予
備的な符号化を行って、符号化する素材の画像の符号化
の難易度を表す符号化難易度を測定し、その符号化難易
度に基づいて、与えられた符号量に収まるように、各ピ
クチャごとに符号量の配分を行って正式な符号化を行
う。

【０００６】

【発明が解決しようとする課題】ところで、ＭＰＥＧ２
規格で採用している動き補償を併用した双方向予測符号
化方式によって生成されるデータには、実際のＤＣＴ係
数に関わる符号化データと、動き補償のための動きベク
トルデータとが含まれる。

【０００７】ところが、この動き補償を併用した双方向
予測符号化方式では、符号化する素材中の画像の時間的
または空間的な相関が悪い部分においては、予測が当た
らないため、実際のＤＣＴ係数に関わる符号化データの
データ量に比べて、非常に多くの動きベクトルデータが
発生する。特に、Ｂピクチャにおいて時間的に前後（過
去および未来）のピクチャを参照した場合には、順方向
予測の場合の約２倍のデータ量の動きベクトルデータが
発生する。そのため、動きベクトルデータのデータ量
が、そのピクチャにおける全データ量の半分以上となる
こともある。そのような部分では、限られた割り当て符
号量（データ量）の中で、実際のＤＣＴ係数に関わる符
号化データのデータ量が抑えられてしまうため、符号化
効率が著しく低下し、その結果、画質が劣化するという
問題点があった。

【０００８】本発明はかかる問題点に鑑みてなされたも
ので、その目的は、符号化する素材中の画像の時間的ま
たは空間的な相関が悪い部分における符号化効率を向上
させて、限られた割り当て符号量に対して、画質を改善
できるようにした画像符号化装置および方法を提供する
ことにある。

【０００９】

【課題を解決するための手段】本発明の画像符号化装置
は、入力画像データを、フレーム内符号化によって符号
化されるべきフレーム内符号化ピクチャと、動き補償を
併用し、予測方向が１方向以上のフレーム間予測符号化
によって符号化されるべき１種類以上のフレーム間予測
符号化ピクチャとを含む複数のピクチャタイプに分け、
入力画像データをピクチャ毎にピクチャタイプに応じた
符号化方法によって符号化して、符号化データと動き補
償のための動きベクトルデータとを生成する符号化手段
と、この符号化手段によって符号化を行う前のピクチャ
の符号化の難易度を表す符号化難易度を取得し、この符
号化難易度に基づいて、少なくとも１種類のフレーム間
予測符号化ピクチャに関して、符号化難易度が所定の条
件を満たすか否かを判断し、符号化難易度が所定の条件
を満たす場合に、ピクチャタイプをフレーム内符号化ピ
クチャまたは予測方向の数がより少ないフレーム間予測
符号化ピクチャに変更させるように、符号化手段を制御
する符号化制御手段とを備えたものである。

【００１０】本発明の画像符号化方法は、入力画像デー
タを、フレーム内符号化によって符号化されるべきフレ
ーム内符号化ピクチャと、動き補償を併用し、予測方向
が１方向以上のフレーム間予測符号化によって符号化さ
れるべき１種類以上のフレーム間予測符号化ピクチャと
を含む複数のピクチャタイプに分け、入力画像データを
ピクチャ毎にピクチャタイプに応じた符号化方法によっ
て符号化して、符号化データと動き補償のための動きベ
クトルデータとを生成する画像符号化方法であって、符
号化を行う前のピクチャの符号化の難易度を表す符号化
難易度を取得する符号化難易度取得手順と、この符号化
難易度取得手順によって取得した符号化難易度に基づい
て、少なくとも１種類のフレーム間予測符号化ピクチャ
に関して、符号化難易度が所定の条件を満たすか否かを
判断し、符号化難易度が所定の条件を満たす場合には、
ピクチャタイプをフレーム内符号化ピクチャまたは予測
方向の数がより少ないフレーム間予測符号化ピクチャに
変更させる処理を行うピクチャタイプ変更処理手順と、
このピクチャタイプ変更処理手順による処理の実行後の
ピクチャタイプに従って、入力画像データを符号化する
符号化手順と含むものである。

【００１１】本発明の画像符号化装置では、符号化制御
手段によって、符号化を行う前のピクチャの符号化の難
易度を表す符号化難易度が取得され、この符号化難易度
に基づいて、少なくとも１種類のフレーム間予測符号化
ピクチャに関して、符号化難易度が所定の条件を満たす
か否かが判断され、符号化難易度が所定の条件を満たす
場合には、ピクチャタイプをフレーム内符号化ピクチャ
または予測方向の数がより少ないフレーム間予測符号化
ピクチャに変更させるように、符号化手段が制御され、
符号化手段によって、入力画像データがピクチャ毎にピ
クチャタイプに応じた符号化方法によって符号化され、
符号化データと動き補償のための動きベクトルデータと
が生成される。

【００１２】本発明の画像符号化方法では、符号化難易
度取得手順によって、入力画像データの符号化が行われ
る前の符号化難易度が取得され、ピクチャタイプ変更処
理手順によって、符号化難易度に基づいて、少なくとも
１種類のフレーム間予測符号化ピクチャに関して、符号
化難易度が所定の条件を満たすか否かを判断し、符号化
難易度が所定の条件を満たす場合には、ピクチャタイプ
をフレーム内符号化ピクチャまたは予測方向の数がより
少ないフレーム間予測符号化ピクチャに変更させる処理
が行われ、この処理の実行後のピクチャタイプに従っ
て、符号化手順によって、入力画像データが符号化され
る。

【００１３】

【発明の実施の形態】以下、本発明の一実施の形態につ
いて図面を参照して詳細に説明する。図２は、本実施の
形態に係る画像符号化装置としてのビデオエンコード装
置を含むＤＶＤ用のオーサリング装置の構成を示すブロ
ック図である。このオーサリング装置１０は、ビデオ
（画像）データを入力し、圧縮符号化するビデオエンコ
ード装置１１と、オーディオデータを入力し、圧縮符号
化するオーディオエンコード装置１２と、字幕等の静止
画像データを入力し、符号化するサブピクチャエンコー
ド装置１３と、メニュー画面のビデオデータを符号化す
るメニューエンコード装置１４と、これらの符号化され
たデータをＤＶＤ規格に即した順序で多重化するマルチ
プレクサ１５と、多重化処理後のデータをディスク製造
工程に渡すために所定の記録媒体に記録するストリーマ
１６と、各エンコード装置１１〜１４、マルチプレクサ
１５およびストリーマ１６に接続された、例えばＲＡＩ
Ｄ（Redundant Array of Inexpensive Disks）構成のハ
ードディスク装置（ＨＤＤ）１７と、ネットワーク１９
を介して、上記各構成要素に接続され、これらの動作を
管理するスーパバイザ１８とを備えている。

【００１４】ここで、上述のオーサリング装置１０の動
作の概略について説明する。スーパバイザ１８は、ビデ
オエンコード装置１１、オーディオエンコード装置１
２、サブピクチャエンコード装置１３およびメニューエ
ンコード装置１４に符号化処理の開始を指示する。各エ
ンコード装置１１〜１４は、この指示により符号化処理
を開始する。その結果得られるデータは、スーパバイザ
１８から指示されたハードディスク装置１７の記憶領域
に順次格納される。各エンコーダ装置１１〜１４におけ
る符号化処理が終了すると、マルチプレクサ１５におい
て多重化処理を行う。

【００１５】マルチプレクサ１５は、スーパバイザ１８
の指示により、ハードディスク装置１７の記憶領域か
ら、符号化によって得られたデータを読み出し、これを
ＤＶＤ規格に即した順序で多重化し、その結果得られる
多重化データを、スーパバイザ１８に指示されたハード
ディスク装置１７の記憶領域に順次格納する。また、ス
トリーマ１６は、ディスク製造工程に多重化処理後のデ
ータを渡すために、スーパバイザ１８の指示によりハー
ドディスク装置１７の記憶領域から多重化データを読み
出し、これを所定のテープ状の記録媒体に順次記録す
る。スーパバイザ１８は、ストリーマ１６から記録終了
の通知を受信すると、記録処理が終了したとして記録用
データの作成を終了する。

【００１６】図１は、本実施の形態に係る画像符号化装
置としてのビデオエンコード装置１１の構成を示すブロ
ック図である。このビデオエンコード装置１１は、例え
ばＶＴＲ（ビデオテープレコーダ）２１にケーブル２０
ａを介して接続されると共に、ハードディスク装置１７
に例えばＳＣＳＩ（Small Computer System Interface
）を用いたケーブル２０ｂを介して接続され、ＶＴＲ
２１より出力されるビデオデータＳ₁ を、ＭＰＥＧ２規
格による動き補償を併用した双方向予測符号化方式によ
って圧縮符号化して、圧縮画像データＳ₂ をハードディ
スク装置１７に出力する符号化手段としてのビデオエン
コーダ２２と、このビデオエンコーダ２２にケーブル２
０ｃを介して接続され、ビデオエンコーダ２２による圧
縮処理結果を表示するためのモニタ装置２３と、ネット
ワーク１９を介してスーパバイザ１８に接続されると共
に、ＶＴＲ２１、ビデオエンコーダ２２にそれぞれ、例
えばＲＳ−４２２規格のケーブル２０ｄ、例えばイーサ
ネットを用いたケーブル２０ｅを介して接続され、ＶＴ
Ｒ２１およびビデオエンコーダ２２を制御する符号化制
御手段としてのビデオエンコーダ制御装置２４とを備え
ている。なお、ＶＴＲ２１からビデオエンコーダ２２に
対しては、ビデオデータＳ₁ と共に、タイムコードと同
期信号も送られるようになっている。

【００１７】ビデオエンコーダ制御装置２４は、符号化
処理におけるビット配分計算を行うビット配分部２５
と、ビデオエンコーダ２２を制御するエンコーダコント
ロール部２６と、ＶＴＲ２１を制御するＶＴＲコントロ
ール部２７と、ユーザインタフェースの制御を行うと共
に、ネットワーク１９を介してスーパバイザ１８に接続
され、ビット配分部２５とＶＴＲコントロール部２７を
管理するグラフィカルユーザインタフェース（以下、Ｇ
ＵＩ（Graphical User Interface）という。）部２８と
を有している。なお、ビット配分部２５、エンコーダコ
ントロール部２６、ＶＴＲコントロール部２７およびＧ
ＵＩ部２８は、それぞれ所定のプログラムによって実現
されるようになっている。

【００１８】図１において、スーパバイザ１８およびビ
デオエンコーダ制御装置２４は、それぞれコンピュータ
によって実現される。

【００１９】図１に示した構成において、スーパバイザ
１８は、ＤＶＤのオーサリングシステム全体の管理を行
い、ビデオ、オーディオ、サブピクチャおよびメニュー
用の各エンコード装置１１〜１４に符号化条件を与え
て、各エンコード装置１１〜１４より符号化結果の報告
を受けるようになっている。図１に示した例では、スー
パバイザ１８は、ビデオエンコーダ制御装置２４のＧＵ
Ｉ部２８に対して、ファイルv.enc によってビデオデー
タの符号化条件を指定し、ビデオエンコーダ制御装置２
４のＧＵＩ部２８は、スーパバイザ１８に対して、符号
化結果のビットストリームが書き込まれたハードディス
ク装置１７上のアドレスを示すアドレスデータv.adr
と、ビットストリームを多重化する際に必要な多重化用
データvxxx.auiを報告するようになっている。

【００２０】ビデオエンコーダ制御装置２４内におい
て、ＧＵＩ部２８は、ビット配分部２５に対してファイ
ルv.enc を与え、ビット配分部２５は、ＧＵＩ部２８に
対してアドレスデータv.adr および多重化用データvxx
x.auiを与えるようになっている。ＧＵＩ部２８は、ビ
ット配分部２５に対して、更に、後述するカスタマイズ
におけるビット配分のための重み付けファイルweight.t
xtを与えるようになっている。

【００２１】ビット配分部２５は、エンコーダコントロ
ール部２６に対して、ビット配分計算の結果に基づくビ
デオエンコーダ２２の制御条件を、コントロールファイ
ルCTL fileとして与え、エンコーダコントロール部２６
は、ビット配分部２５に対して、後述する符号化難易度
を表す符号化難易度データdifficultyを与えるようにな
っている。

【００２２】ＧＵＩ部２８は、ＶＴＲコントロール部２
７に対して、ＶＴＲ２１を動作させるための各種コマン
ドcommand を与え、ＶＴＲコントロール部２７は、ＧＵ
Ｉ部２８に対して、ＶＴＲ２１の各種の状態を表すステ
ータスデータstate とＶＴＲ２１の異常を表すエラーデ
ータerror を与えるようになっている。

【００２３】図３は、ビデオエンコーダ２２の構成の一
例を示すブロック図である。この図に示したビデオエン
コーダ２２は、入力ビデオデータＳ₁ を入力し、符号化
する順番に従ってピクチャ（Ｉピクチャ，Ｐピクチャ，
Ｂピクチャ）の順番を並べ替える画像並べ替え回路３１
と、この画像並べ替え回路３１の出力データを入力し、
フレーム構造かフィールド構造かを判別し、判別結果に
応じた走査変換および１６×１６画素のマクロブロック
化を行う走査変換・マクロブロック化回路３２と、この
走査変換・マクロブロック化回路３２の出力データに基
づいて、符号化の対象となるピクチャの注目マクロブロ
ックと、参照されるピクチャにおいて注目マクロブロッ
クとの間の画素値の差分の絶対値和あるいは自乗和が最
小となるマクロブロックを探して、動きベクトルを検出
して、動きベクトルデータを出力する動き検出回路３３
とを備えている。

【００２４】ビデオエンコーダ２２は、更に、走査変換
・マクロブロック化回路３２の出力データと予測画像デ
ータとの差分をとる減算回路３４と、この減算回路３４
の出力データに対して、ＤＣＴブロック単位でＤＣＴを
行い、ＤＣＴ係数を出力するＤＣＴ回路３５と、このＤ
ＣＴ回路３５の出力データを量子化する量子化回路３６
と、この量子化回路３６の出力データを可変長符号化し
て符号化データを生成する共に、この符号化データと動
き検出回路３３より出力される動きベクトルデータ等の
付帯データとを多重化して出力する可変長符号化回路３
７と、この可変長符号化回路３７の出力データを一旦保
持し、ビットストリームからなる圧縮画像データＳ₂ と
して出力するバッファメモリ３８と、量子化回路３６の
出力データを逆量子化する逆量子化回路３９と、この逆
量子化回路３９の出力データに対して逆ＤＣＴを行う逆
ＤＣＴ回路４０と、この逆ＤＣＴ回路４０の出力データ
と予測画像データとを加算して出力する加算回路４１
と、この加算回路４１の出力データを保持し、動き検出
回路３３より出力される動きベクトルデータに応じて動
き補償を行って予測画像データを減算回路３４および加
算回路４１に出力する動き補償回路４２と、量子化回路
３６における量子化特性値に対応する量子化インデック
スを決定し、量子化回路３６に与える量子化インデック
ス決定部４３とを備えている。

【００２５】画像並べ替え回路３１は、エンコーダコン
トロール部２６からピクチャタイプの情報Ｓ₃ を受け取
り、この情報Ｓ₃ に従ってピクチャの順番を並べ替える
ようになっている。バッファメモリ３８は、発生ビット
量の情報Ｓ₅ をエンコーダコントロール部２６と量子化
インデックス決定部４３とに出力するようになってい
る。量子化インデックス決定部４３は、エンコーダコン
トロール部２６から各ピクチャへの割り当てビット量の
情報Ｓ₄ を受け取り、この情報Ｓ₄ とバッファメモリ３
８からの発生ビット量の情報Ｓ₅ とに基づいて、発生ビ
ット量が割り当てビット量に近づくように量子化インデ
ックスを決定するようになっている。

【００２６】ここで、図３に示したビデオエンコーダ２
２の動作について簡単に説明する。入力ビデオデータＳ
₁ は、まず、画像並べ替え回路３１に入力され、この画
像並べ替え回路３１によって、ピクチャタイプの情報Ｓ
₃ に従ってピクチャタイプを決定して、符号化する順番
に従ってピクチャ（Ｉピクチャ，Ｐピクチャ，Ｂピクチ
ャ）の順番を並べ替える。画像並べ替え回路３１の出力
データは、走査変換・マクロブロック化回路３２に入力
される。走査変換・マクロブロック化回路３２は、フレ
ーム構造かフィールド構造かを判別し、判別結果に応じ
た走査変換およびマクロブロック化を行う。走査変換・
マクロブロック化回路３２の出力データは、動き検出回
路３３および減算回路３４に送られる。動き検出回路３
３は、動きベクトルを検出して、動きベクトルデータを
動き補償回路４２および可変長符号化回路３７に送る。

【００２７】Ｉピクチャの場合には、減算回路３４にお
いて予測画像データとの差分をとることなく、走査変換
・マクロブロック化回路３２の出力データをそのままＤ
ＣＴ回路３５に入力してＤＣＴを行い、量子化回路３６
によってＤＣＴ係数を量子化し、可変長符号化回路３７
によって量子化回路３６の出力データを可変長符号化
し、バッファメモリ３８によって可変長符号化回路３７
の出力データを一旦保持し、ビットストリームからなる
圧縮画像データＳ₂ として出力する。また、逆量子化回
路３９によって量子化回路３６の出力データを逆量子化
し、逆ＤＣＴ回路４０によって逆量子化回路３９の出力
データに対して逆ＤＣＴを行い、逆ＤＣＴ回路４０の出
力データを加算回路４１を介して動き補償回路４２に入
力して保持させる。

【００２８】Ｐピクチャの場合には、動き補償回路４２
によって、保持している過去のＩピクチャまたはＰピク
チャに対応する画像データと動き検出回路３３からの動
きベクトルデータとに基づいて予測画像データを生成
し、予測画像データを減算回路３４および加算回路４１
に出力する。また、減算回路３４によって、走査変換・
マクロブロック化回路３２の出力データと動き補償回路
４２からの予測画像データとの差分をとり、ＤＣＴ回路
３５によってＤＣＴを行い、量子化回路３６によってＤ
ＣＴ係数を量子化し、可変長符号化回路３７によって量
子化回路３６の出力データを可変長符号化すると共に動
きベクトルデータを多重化し、バッファメモリ３８によ
って可変長符号化回路３７の出力データを一旦保持し圧
縮画像データＳ₂ として出力する。また、逆量子化回路
３９によって量子化回路３６の出力データを逆量子化
し、逆ＤＣＴ回路４０によって逆量子化回路３９の出力
データに対して逆ＤＣＴを行い、加算回路４１によって
逆ＤＣＴ回路４０の出力データと予測画像データとを加
算し、動き補償回路４２に入力して保持させる。

【００２９】Ｂピクチャの場合には、動き補償回路４２
によって、保持している過去および未来のＩピクチャま
たはＰピクチャに対応する２つの画像データと動き検出
回路３３からの２つの動きベクトルとに基づいて予測画
像データを生成し、予測画像データを減算回路３４およ
び加算回路４１に出力する。また、減算回路３４によっ
て、走査変換・マクロブロック化回路３２の出力データ
と動き補償回路４２からの予測画像データとの差分をと
り、ＤＣＴ回路３５によってＤＣＴを行い、量子化回路
３６によってＤＣＴ係数を量子化し、可変長符号化回路
３７によって量子化回路３６の出力データを可変長符号
化すると共に動きベクトルデータを多重化し、バッファ
メモリ３８によって可変長符号化回路３７の出力データ
を一旦保持し圧縮画像データＳ₂ として出力する。な
お、Ｂピクチャは動き補償回路４２に保持させない。

【００３０】バッファメモリ３８は、発生ビット量の情
報Ｓ₅ をエンコーダコントロール部２６と量子化インデ
ックス決定部４３とに出力する。量子化インデックス決
定部４３は、エンコーダコントロール部２６からの各ピ
クチャへの割り当てビット量の情報Ｓ₄ とバッファメモ
リ３８からの発生ビット量の情報Ｓ₅ とに基づいて、発
生ビット量が割り当てビット量に近づくように量子化イ
ンデックスを決定し、量子化回路３６に与える。

【００３１】次に、図４を参照して、本実施の形態に係
る画像符号化装置としてのビデオエンコード装置１１の
動作について説明する。なお、以下の説明は、本実施の
形態に係る画像符号化方法の説明を兼ねている。ここで
は、２パスエンコーディング方式によって符号化する場
合について説明する。２パスエンコーディング方式で
は、最初に、予備的な符号化処理を行って、符号化する
素材の画像の符号化の難易度を表す符号化難易度を測定
し、その符号化難易度に基づいて、与えられた符号量に
収まるように、各ピクチャごとに符号量の配分を行って
正式な符号化処理を行う。

【００３２】ビデオエンコード装置１１は、始めに、ビ
デオエンコーダ制御装置２４のＧＵＩ部２８によって、
ネットワーク１９経由で、スーパバイザ１８に対して、
ＤＶＤ等のディスクの容量の中からビデオデータに割り
当てられたビット総量や最大ビットレート等の符号化条
件を取りに行く。この符号化条件は、ファイルv.encに
よって、スーパバイザ１８よりＧＵＩ部２８に与えら
れ、更に、ビット配分部２５に与えられ、ビット配分部
２５において符号化条件が設定される（ステップＳ１０
１）。

【００３３】次に、ビデオエンコード装置１１は、予備
的な１パス目の符号化処理を行って、符号化難易度の測
定を行う（ステップＳ１０２）。この予備的な符号化処
理では、ＧＵＩ部２８がＶＴＲコントロール部２７にコ
マンドcommand を与え、このコマンドcommand に基づい
て、ＶＴＲコントロール部２７がＶＴＲ２１を制御し
て、磁気テープよりビデオデータＳ₁ を再生させる。こ
のビデオデータＳ₁ は、ビデオエンコーダ２２に入力さ
れる。ビデオエンコーダ２２は、エンコーダコントロー
ル部２６の制御により、ビデオデータＳ₁ の圧縮符号化
を行う。予備的な符号化処理では、ビデオエンコーダ２
２における符号化の際の量子化ステップ数を固定値に設
定した条件で符号化処理を行い、発生ビット量を測定す
る。動きが多く、高い周波数成分が多い画像では、発生
ビット量が大きくなり、静止画や平坦な部分が多い画像
では発生ビット量が少なくなる。従って、予備的な符号
化処理における発生ビット量は、符号化する素材の画像
の符号化の難易度を表すものと言える。そこで、本実施
の形態では、この発生ビット量を、符号化難易度として
測定する。なお、ビデオエンコーダ２２における符号化
処理によって発生されるデータには、実際のＤＣＴ係数
に関わる符号化データ（以下、単に符号化データとも言
う。）と、動き補償のための動きベクトルデータとが含
まれる。従って、発生データ量は、符号化データのデー
タ量と動きベクトルデータのデータ量とを合わせたもの
となる。符号化難易度の情報は、発生ビット量の情報Ｓ
₅ としてビデオエンコーダ２２よりエンコーダコントロ
ール部２６に与えられ、更に、符号化難易度データdiff
icultyとしてエンコーダコントロール部２６よりビット
配分部２５に与えられる。

【００３４】次に、ビット配分部２５は、与えられた符
号化条件を基に、各ピクチャの符号化難易度に応じて、
各ピクチャへ割り当てビット量を配分するためのビット
配分計算を行う（ステップＳ１０３）。ビット配分計算
については、後で詳しく説明する。ビット配分計算の結
果に基づくビデオエンコーダ２２の制御条件は、コント
ロールファイルCTL fileとして、ビット配分部２５より
エンコーダコントロール部２６に与えられる。

【００３５】次に、ビデオエンコード装置１１は、ビッ
ト配分計算の結果に基づくビデオエンコーダ２２の制御
条件に従って、プレビューの処理を行う（ステップＳ１
０４）。このプレビューの処理は、使用者が任意の処理
範囲を指定してビデオデータを圧縮符号化し、得られた
データを、ハードディスク装置１７に出力せずに、ビデ
オエンコーダ２２内部のデコーダ（復号化器）によって
復号化してモニタ装置２３によって表示させる処理であ
る。使用者は、このモニタ装置２３に表示された画像の
画質を評価し（ステップＳ１０５）、画質に満足しない
場合（ＮＧ）には、カスタマイズ処理を行う（ステップ
Ｓ１０６）。このカスタマイズ処理は、画質に問題のあ
る部分のビットレートを上げたり、符号化の前に施す時
間的、空間的なフィルタのフィルタレベルを調整すると
いった部分的に符号化の条件を変更する処理である。ビ
デオエンコーダ制御装置２４のＧＵＩ部２８は、カスタ
マイズ処理における使用者の操作に応じて、符号化難易
度を補正する重み付けファイルweight.txtを作成し、ビ
ット配分部２５に与える。ビット配分部２５は、この重
み付けファイルweight.txtに基づいて、ビット配分を再
計算する（ステップＳ１０７）。ビット配分再計算後の
ビデオエンコーダ２２の制御条件は、コントロールファ
イルCTL fileとして、ビット配分部２５よりエンコーダ
コントロール部２６に与えられる。そして、ビデオエン
コード装置１１の動作は、ステップＳ１０４のプレビュ
ーの処理に戻る。

【００３６】一方、使用者は、プレビューの処理の結
果、画質に満足した場合（ＯＫ）は、正式な符号化処理
の実行を指示し、これにより、正式な符号化処理が実行
される（ステップＳ１０８）。この符号化処理では、Ｇ
ＵＩ部２８がＶＴＲコントロール部２７にコマンドcomm
and を与え、このコマンドcommand に基づいて、ＶＴＲ
コントロール部２７がＶＴＲ２１を制御して、磁気テー
プよりビデオデータＳ₁を再生させる。このビデオデー
タＳ₁ は、ビデオエンコーダ２２に入力される。ビデオ
エンコーダ２２は、エンコーダコントロール部２６の制
御により、ビデオデータＳ₁ の圧縮符号化を行う。正式
な符号化処理では、ステップＳ１０３またはステップＳ
１０７によるビット配分計算後のビデオエンコーダ２２
の制御条件に従って、エンコーダコントロール部２６に
よって、ビデオエンコーダ２２が制御されて、ビデオデ
ータＳ₁ が圧縮符号化される。圧縮符号化によって得ら
れた圧縮画像データＳ₂ は、ハードディスク装置１７に
記録される。この圧縮符号化後、ビデオエンコーダ制御
装置２４は、符号化処理結果（アドレスデータｖ．ａｄ
ｒおよび多重化用データｖｘｘｘ．ａｕｉ）をネットワ
ーク１９を介して、スーパバイザ１８に報告する後処理
を行い（ステップＳ１０９）、ビデオエンコード装置１
１による符号化作業が終了する。

【００３７】なお、図４に示した動作のうち、ステップ
Ｓ１０１，Ｓ１０３，Ｓ１０５，Ｓ１０６，１０７，１
０９は、コンピュータ（ビデオエンコーダ制御装置２
４）上のオフライン処理である。

【００３８】次に、図５を参照して、図４におけるビッ
ト配分計算（ステップＳ１０３）について詳細に説明す
る。このビット配分計算の概略は、スーパバイザ１８よ
り与えられたビット総量QTY BYTES と最大ビットレート
MAXRATE とに基づいて、最大ビットレート以下になるよ
うに制限を加えた総ビット量USB BYTES を求め、この値
からＧＯＰヘッダに必要なビット量TOTAL HEADERを引い
て、各ピクチャへの割り当てビット量の総和の目標値と
なるビット量SUPPLY BYTESを算出し、このビット量SUPP
LY BYTESの大きさの範囲内に収まるように、各ピクチャ
への割り当てビット量targetを配分することである。

【００３９】具体的には、ビット配分部２５は、始め
に、ファイルv.enc によって、ＧＵＩ部２８を介してス
ーパバイザ１８より、ビット総量QTY BYTES 、最大ビッ
トレートMAXRATE 等の符号化条件を入力する（ステップ
Ｓ２０１）。次に、ビット配分部２５は、エンコーダコ
ントロール部２６より符号化難易度データdifficultyを
入力する（ステップＳ２０２）。

【００４０】次に、ビット配分部２５は、シーンチェン
ジ検出および処理を行う（ステップＳ２０３）。すなわ
ち、ビデオエンコーダ制御装置２４は、符号化難易度を
測定する際に、各画像の直流（ＤＣ）成分の値や動きベ
クトルデータのデータ量の大きさ等のパラメータも併せ
て測定し、それらのパラメータの変化量から、シーンが
変化するポイントを見つけることが可能であり、ビット
配分部２５は、これを用いてシーンチェンジの検出およ
びその処理を行う。

【００４１】ここで、図６を参照して、シーンチェンジ
検出および処理について詳しく説明する。シーンチェン
ジとは、場面が切り換わることである。ＭＰＥＧ２規格
による動き補償を併用した双方向予測符号化方式によっ
て圧縮符号化処理を行う場合には、このシーンチェンジ
のフレームがＰピクチャに設定されると画質が劣化す
る。そこで、シーンチェンジ検出および処理では、Ｐピ
クチャがシーンチェンジのフレームに設定されたことを
検出し、そのＰピクチャをＩピクチャに変更する処理を
行う。図６（ａ）は、ＧＯＰの構成の一例を表示順に示
したものであり、ここでは、符号６０で示したＰピクチ
ャがシーンチェンジのフレームに設定されている。その
ため、シーンチェンジ検出および処理では、図６（ｂ）
に示したように、このＰピクチャをＩピクチャに変更す
る。

【００４２】なお、シーンチェンジのフレームは、例え
ば、ビデオエンコーダ制御装置２４によって、符号化難
易度の測定の際に、Ｉピクチャ、Ｐピクチャについて、
輝度レベルの直流レベル、動き補償で用いる差分データ
の加算値をビデオエンコーダ２２から取得し、これら直
流レベルや差分データの加算値により検出することがで
きる。

【００４３】また、シーンチェンジ検出および処理と同
様に、フラッシュの検出および処理を行うこともでき
る。ここで言うフラッシュとは、例えば写真撮影のフラ
ッシュが点灯したような場合で、フラッシュのフレーム
を間に挟んで、前後のフレームで連続性が維持されてい
る場合である。フラッシュの検出および処理では、この
フラッシュを検出し、フラッシュの次のフレームをＩピ
クチャに変更する。

【００４４】次に、ビット配分部２５は、チャプタ処理
を行う（ステップＳ２０４）。ＤＶＤプレイヤでのチャ
プタサーチ時には、特定されないピクチャからチャプタ
へジャンプしてくるが、チャプタ処理は、その場合で
も、再生画像の乱れがないように、チャプタの位置が必
ずＧＯＰの先頭になるようにピクチャタイプを変更する
処理である。

【００４５】ここで、図７を参照して、チャプタ処理の
一例について説明する。図７（ａ）は、ＧＯＰの構成の
一例を表示順に示したものであり、ここでは、符号７０
で示したＰピクチャがチャプタのフレームに指定されて
いる。この場合、チャプタ処理では、Ｐピクチャ７０を
Ｉピクチャに変更すると共に、チャプタの直前のＢピク
チャ７１をＰピクチャに変更して、チャプタの前後のフ
レームにおいて、チャプタの前後に予測フレームが跨ら
ないようにＢピクチャ、Ｐピクチャを設定する。

【００４６】次に、ビット配分部２５は、符号化難易度
に基づいて、少なくとも１種類のフレーム間予測符号化
ピクチャ（Ｐピクチャ，Ｂピクチャ）に関して、符号化
難易度が所定の条件を満たすか否かを判断し、符号化難
易度が所定の条件を満たす場合に、ピクチャタイプをフ
レーム内符号化ピクチャ（Ｉピクチャ）または予測方向
の数がより少ないフレーム間予測符号化ピクチャ（Ｐピ
クチャ）に変更するピクチャタイプの変更処理を行う
（ステップＳ２０５）。このピクチャタイプの変更処理
については、後で詳しく説明する。

【００４７】なお、ステップＳ２０３ないしステップＳ
２０５の各処理によって決定されたピクチャタイプの情
報は、後に、エンコーダコントロール部２６より、ピク
チャタイプの情報Ｓ₃ として、ビデオエンコーダ２２の
画像並べ替え回路３１に与えられ、ビデオエンコーダ２
２では、ステップＳ２０３ないしステップＳ２０５の各
処理によって決定されたピクチャタイプに従って符号化
処理が行われることになる。

【００４８】次に、ビット配分部２５は、符号化難易度
の補間および補正処理を行う（ステップＳ２０６）。す
なわち、ステップＳ２０３ないしステップＳ２０５の各
処理によってピクチャタイプが変更されると、符号化難
易度を測定した際のピクチャタイプと正式な符号化処理
を行う際のピクチャタイプとが異なってしまうため、符
号化難易度の補間および補正処理では、ピクチャタイプ
が変更されたフレームに関して、例えば近接したフレー
ムの符号化難易度の値を利用して、符号化難易度の値が
変更後のピクチャタイプに応じた値となるように、符号
化難易度の補間または補正を行う。

【００４９】次に、ビット配分部２５は、補間および補
正処理後の符号化難易度と、スーパバイザ１８より与え
られたビット総量QTY BYTES 等に基づいて、各ピクチャ
への割り当てビット量targetを計算する（ステップＳ２
０７）。次に、ビット配分部２５は、計算した割り当て
ビット量targetに基づいて、圧縮画像データを記録する
ハードディスク装置１７上のアドレスを計算し（ステッ
プＳ２０８）、更に、この計算したアドレスと割り当て
ビット量targetとを順次記述して、ビデオエンコーダ２
２用のコントロールファイルCTL fileを作成し（ステッ
プＳ２０９）、ビット配分計算の処理を終了し、ビデオ
エンコード装置１１の動作は、図４におけるステップＳ
１０４へ進む。

【００５０】以下、ステップＳ２０７における割り当て
ビット量targetの計算方法の一例について説明する。こ
の例では、まず、スーパバイザ１８より与えられたビッ
ト総量QTY BYTES と最大ビットレートMAXRATE とに基づ
いて、次の式（１）により、最大ビットレート以下にな
るように制限を加えた総ビット量USB BYTES を求める。

【００５１】 USB BYTES ＝min(QTY BYTES,MAXRATE ×KT×total frame number) …（１）

【００５２】式（１）において、KTは定数であり、ＮＴ
ＳＣ方式の場合はKT＝１／８（bits）／３０（Hz）、Ｐ
ＡＬ方式の場合はKT＝１／８（bits）／２５（Hz）であ
る。total frame numberは、符号化する素材のフレーム
総数である。min(s,t)は、ｓとｔのうちで小さい方を選
択する関数である。

【００５３】次に、式（２）で示すように、式（１）で
求めたUSB BYTES から、ＧＯＰヘッダに必要なビット量
TOTAL HEADERを引いて、各ピクチャへの割り当てビット
量の総和の目標値となるビット量SUPPLY BYTESを算出す
る。

【００５４】 SUPPLY BYTES＝USB BYTES −TOTAL HEADER …（２）

【００５５】本例では、式（２）で求まったビット量SU
PPLY BYTESを、まず、ＧＯＰ単位に配分し、その後、各
ＧＯＰ内で各ピクチャの符号化難易度に応じて配分する
ものとする。ここでは、各ＧＯＰ毎の符号化難易度の和
gop diffに応じて、符号化する際のＧＯＰ単位のビット
割当量gop targetを配分している。図８は、この符号化
難易度の和gop diffとＧＯＰ単位のビット割当量gop ta
rgetとを変換する関数の一例を示したものである。この
例では、Ｙをgop target、Ｘをgop diffとして、Ｙ＝Ａ
Ｘ＋Ｂという評価関数を用いている。この評価関数を用
いて、割り当てビット量targetを以下のようにして求め
る。

【００５６】まず、次の式（３）により、全てのピクチ
ャの符号化難易度の総和DIFFICULTYSUMを求める。な
お、difficultyは、各ピクチャの符号化難易度である。

【００５７】DIFFICULTY SUM＝Σdifficulty …（３）

【００５８】ここで、評価関数Ｙ＝ＡＸ＋Ｂより、次の
式（４）が成り立つ。

【００５９】ΣＹ＝Ａ×ΣＸ＋Ｂ×ｎ …（４）

【００６０】ここで、ΣＹ＝SUPPLY BYTES、ΣＸ＝DIFF
ICULTY SUMであり、ｎはＧＯＰの総数である。また、Ｂ
を、ＧＯＰ単位のビット割り当て量の最小値gop minbyt
esとする。

【００６１】従って、式（４）により、Ａは次の式
（５）で表される。

【００６２】 Ａ＝（SUPPLY BYTES−gop minbytes×ｎ）／DIFFICULTY SUM …（５）

【００６３】ＧＯＰ単位のビット割り当て量gop target
は上述の評価関数より、次の式（６）で表される。

【００６４】gop target＝Ａ×gop diff＋Ｂ …（６）

【００６５】この式（６）中のＡは式（５）で与えら
れ、Ｂはgop minbytesである。

【００６６】次に、式（６）で求まったＧＯＰ単位のビ
ット割り当て量gop targetを、各ＧＯＰ内で各ピクチャ
の符号化難易度に応じて配分する。ＧＯＰ内での各ピク
チャへのビット配分を符号化難易度の大きさに比例させ
た場合には、各ピクチャの割り当てビット量targetは、
次の式（７）により求められる。

【００６７】 target(k) ＝gop target×difficulty(k) ／gop diff …（７）

【００６８】なお、式（７）において、ｋはＧＯＰ内の
ピクチャ数を越えない任意の値とし、target(k) はｋ番
目のピクチャの割り当てビット量、difficulty(k) はｋ
番目のピクチャの符号化難易度を表す。

【００６９】このようにして、各ピクチャの割り当てビ
ット量targetが計算されるが、素材の中に極端に難しい
（各ＧＯＰごとの符号化難易度の和gop diffの値が大き
くなる）ピクチャがあると、ＧＯＰ単位のビット割り当
て量gop targetの値が非常に大きくなり、オーサリング
装置において許容されている最大ビットレートMAXRATE
を越えてしまうため、ＧＯＰ単位のビット割り当て量go
p targetには、図７に示したように、ＧＯＰ単位のビッ
ト割り当て量の最大値gop maxbytesといった固定値で制
限をかける必要がある。また、割り当てビット量target
の最小値は、前述のgop minbytesによって制限される。

【００７０】以上のようにして求められた各ピクチャの
割り当てビット量targetは、更に、次のようにして修正
される。すなわち、ＭＰＥＧ２規格でビデオデータを符
号化するときには、デコーダ（復号化装置）における入
力バッファに対応する仮想的なバッファのバッファ残量
を考慮しながらビット配分をすることが義務づけられて
いる。この仮想的なバッファの残量の計算をＶＢＶ（Vi
deo buffering verifier）という。また、この仮想的な
バッファをＶＢＶバッファともいう。ここで、図９を参
照して、ＶＢＶの計算方法について説明する。ＤＶＤの
場合、バッファサイズVBVMAX（例えば１．７５Mbits ）
に対して、ｋ番目のピクチャにおけるバッファのスター
ト点をOccupancy up（ｋ）、ｋ番目のピクチャの割り当
てビット量をtargetを（ｋ）とすると、ピクチャ再生の
ためにビットを供給した後のバッファ残量Occupancy do
wn（ｋ）は以下の式（９）で表される。なお、バッファ
のスタート点の初期値Occupancy up（０）は例えば式
（８）で表される固定値とする。

【００７１】 Occupancy up（０）＝VBVMAX×２／３ …（８） Occupancy down（ｋ）＝Occupancy up（ｋ）−target（ｋ） …（９）

【００７２】このバッファには、デコーダ側のピックア
ップから、ビデオデータのデータ量に応じたビットレー
トのデータ量SYSTEM SUPPLY が蓄積される。ここで、デ
ータ量SYSTEM SUPPLY は次の式（１０）で表される。

【００７３】 SYSTEM SUPPLY ＝MAXRATE ×TW …（１０）

【００７４】なお、TWは、ピクチャの周期であり、ＮＴ
ＳＣ方式の場合は１／２９．９７、ＰＡＬ方式の場合は
１／２５である。

【００７５】このデータ量SYSTEM SUPPLY が供給された
後のバッファ残量Occupancy up（ｋ＋１）は次の式（１
１）で表される。

【００７６】 Occupancy up（ｋ＋１）＝Occupancy down（ｋ）＋SYSTEM SUPPLY …（１１）

【００７７】この供給されるデータ量SYSTEM SUPPLY
は、図９において、Occupancy down（ｋ）とOccupancy
up（ｋ＋１）との間の変化量に相当する。従って、供給
されるデータのビットレートが大きいほど、Occupancy
down（ｋ）からOccupancy up（ｋ＋１）への変化の傾き
は大きくなり、バッファにデータが蓄積されやすくな
る。バッファが飽和状態となった場合には、ピックアッ
プからバッファへの供給が停止するため、バッファのオ
ーバフローに関しては考慮する必要はない。これは、バ
ッファ残量の任意の設定値に厳密に制御する必要はな
く、任意の設定値以上になるように制御すればよいこと
を意味している。

【００７８】一方、各ピクチャのデータ量が大きい場
合、バッファに蓄積されたデータは大きく減少する。従
って、バッファ残量が一定値以下にならないように割り
当てビット量targetを修正する必要がある。

【００７９】ここで、図１０および図１１を参照して、
上述のようなＶＢＶの制限による割り当てビット量targ
etの修正処理について説明する。図１０（ａ）は、前述
の評価関数とＧＯＰ単位のビット割り当て量の最大値go
p maxbytesの制限を考慮して求めた割り当てビット量ta
rget、すなわち、式（７）によって求めた割り当てビッ
ト量targetの一例を示し、図１０（ｂ）は、図１０
（ａ）に対応するＶＢＶバッファ残量の変化を示してい
る。なお、図中、VBVMAXはＶＢＶバッファ残量の上限
値、VBVMINはＶＢＶバッファ残量の下限値である。この
例では、第１番目、第４番目、第７番目のピクチャで、
ＶＢＶバッファ残量は下限値VBVMINを下回っている。従
って、このままでは、デコーダ側において、連続したビ
デオデータの再生が一時途切れるおそれがある。

【００８０】そこで、ＶＢＶの制限による割り当てビッ
ト量の修正処理では、下限値VBVMINを下回ったピクチャ
を含むＧＯＰの割り当てビット量を削減する。具体的に
は、まず、ＧＯＰ内でＶＢＶバッファ残量による制限を
加える前の割り当てビット量を用いてＶＢＶ計算を実行
したときのバッファ残量の最小値をOcc Min として、調
整量ｒを、次の式（１２）によって求める。なお、制限
を行うスタート点kstartは、Occupancy up（ｋ）が基準
値VBVLINE （例えばVBVMAXの４分の３）以上となるとき
のｋの値で、このときのOccupancy up（ｋ）の値をOcc
start とする。また、VBVSTARTは、Occupancy up（０）
となる固定値である。

【００８１】Occ Min ＜VBVMINのとき ｒ＝（Occ start −VBVMIN）／（VBVSTART−Occ min ） …（１２）

【００８２】次に、この調整量ｒを用いて、次の式（１
３）により、修正後の割り当てビット量targetを求め
る。

【００８３】 target（ｊ）＝target′（ｊ）×ｒ …（１３）

【００８４】ただし、target′は、修正前の割り当てビ
ット量を表している。また、ｊは、kstart≦ｊ≦k であ
る。

【００８５】図１１（ａ）は、式（１３）に従って、Ｖ
ＢＶの制限による割り当てビット量の修正処理を行った
後の割り当てビット量targetの一例を示し、図１１
（ｂ）は、図１１（ａ）に対応するＶＢＶバッファ残量
の変化を示している。このように、ＶＢＶの制限による
割り当てビット量の修正処理を行うことによって、図１
１（ｂ）に示した調整区間（kstart≦ｊ≦k の区間）Ｒ
Ｃにおいて、ＶＢＶバッファ残量は下限値VBVMINを上回
るようになる。

【００８６】このようにして求められた割り当てビット
量targetを用いて作成されたコントロールファイルCTL
fileに基づいて、エンコーダコントロール部２６よりビ
デオエンコーダ２２の量子化インデックス決定部４３に
割り当てビット量の情報Ｓ₄を与えて、ビデオエンコー
ダ２２において符号化処理を行うことにより、素材の画
像の難しさに応じた可変ビットレートの符号化が実行さ
れる。

【００８７】次に、図５におけるステップＳ２０５のピ
クチャタイプの変更処理について詳しく説明する。な
お、以下の説明では、次のような記号を用いる。

【００８８】１． gen bit （ｋ） 予備的な符号化によって測定されたｋ番目のフレームの
符号化難易度の値であり、この値が大きいほど画像が難
しいことを表す。なお、ｋは０以上kend（ＧＯＰの最後
のｋ）以下の値とする。 ２． i bits（ｊ） ｊ番目のＧＯＰ内のＩピクチャの符号化難易度の値を表
す。 ３． b bits（ｊ） ｊ番目のＧＯＰ内のＢピクチャの符号化難易度の値の和
を表す。 ４． b nb（ｊ） ｊ番目のＧＯＰ内のＢピクチャの数を表す。 ５． b rate（ｊ） ｊ番目のＧＯＰのＢピクチャの符号化難易度の平均値と
Ｉピクチャの符号化難易度の比率を表し、次の式（１
４）により求められる。なお、ｊは１以上で、ＧＯＰの
総数total gop nb以下の値とする。

【００８９】 b rate＝b bits／b nb／i bits …（１４）

【００９０】６． pict rate （ｋ） ｋ番目のフレームのピクチャの符号化難易度とそのフレ
ームが属するＧＯＰのＩピクチャの符号化難易度の比率
を表し、次の式（１５）により求められる。

【００９１】 pict rate ＝gen bit （ｋ）／i bits（ｊ） …（１５）

【００９２】７． total gop nb ＧＯＰの総数である。 ８． gop start （ｋ） ｋ番目のフレームがＧＯＰの先頭である場合は１とし、
それ以外は０となる。 ９． p type（ｋ） ｋ番目のフレームのピクチャタイプ（Ｉ，Ｂ，Ｐ）を表
す。 １０． B AVR LIMIT 符号化難易度が所定の条件を満たすか否かの判断のため
のb rateに対する規定値であり、本発明における第１の
所定値に対応するものである。ここでは、一例として、
B AVR LIMIT ＝５５とする。 １１． BP CHG LIMIT 符号化難易度が所定の条件を満たすか否かの判断のため
のpict rate に対する規定値であり、本発明における第
２の所定値に対応するものである。ここでは、一例とし
て、BP CHG LIMIT＝６５とする。 １２． DIFF LIMIT 符号化難易度が所定の条件を満たすか否かの判断のため
のgen bit に対する規定値であり、本発明における第３
の所定値に対応するものである。ここでは、一例とし
て、DIFF LIMIT＝３０００とする。

【００９３】次に、図１２の流れ図を参照して、図５に
おけるステップＳ２０５のピクチャタイプの変更処理に
ついて具体的に説明する。なお、ビデオエンコーダ制御
装置２４では、ピクチャタイプの変更処理が開始される
時点で既に各ＧＯＰのb rateおよびpict rate は算出さ
れているものとする。ピクチャタイプの変更処理では、
まず、ビデオエンコーダ制御装置２４のビット配分部２
５は、初期設定値としてｊおよびｋの値を０とする（ス
テップＳ３０１）。次に、ビット配分部２５は、gop st
art （ｋ）の値が１か否かを判断することにより、ｋ番
目のフレームがＧＯＰの先頭か否かを判断する（ステッ
プＳ３０２）。

【００９４】gop start （ｋ）が１、すなわちｋ番目の
フレームがＧＯＰの先頭である場合（ステップＳ３０
２；Ｙ）には、ｊ＋１を新たなｊとすると共に、変数ｋ
ｋをｋとし（ステップＳ３０３）、ｊ番目のＧＯＰのb
rate（ｊ）がB AVR LIMIT を越えているか否かを判断す
る（ステップＳ３０４）。b rateがB AVR LIMIT を越え
ている場合（ステップＳ３０４；Ｙ）は、ｋｋ番目のフ
レームのピクチャタイプp type（ｋｋ）がＢピクチャで
あり、且つｋｋ番目のフレームのpict rate （ｋｋ）が
BP CHG LIMITを越えており、且つｋｋ番目のフレームの
gen bit （ｋｋ）がDIFF LIMITを越えているか否かを判
断する（ステップＳ３０５）。ｋｋ番目のフレームがＢ
ピクチャで、且つpict rate （ｋｋ）がBP CHG LIMITを
越えており、且つgen bit （ｋｋ）がDIFF LIMITを越え
ている場合（ステップＳ３０５；Ｙ）は、ピクチャタイ
プをＢピクチャからＰピクチャに変更し（ステップＳ３
０６）、ｋｋ＋１を新たなｋｋとし（ステップＳ３０
７）、gop start （ｋｋ）の値が１、すなわちｋｋ番目
のフレームがＧＯＰの先頭であるか、あるいはｋｋがke
ndを越えているか否かを判断する（ステップＳ３０
８）。

【００９５】ｋｋ番目のフレームがＧＯＰの先頭ではな
く、且つｋｋがkendを越えていない場合（ステップＳ３
０８；Ｎ）は、ステップＳ３０４に戻り、新たなｋｋ番
目のフレームについて、ステップＳ３０４ないしステッ
プＳ３０８の処理を実行する。

【００９６】ｋｋ番目のフレームがＧＯＰの先頭である
か、あるいはｋｋがkendを越えている場合（ステップＳ
３０８；Ｙ）は、ｋ＋１を新たなｋとして（ステップＳ
３０９）、ｋがkendを越えているか否かを判断する（ス
テップＳ３１０）。ｋがkendを越えている、すなわち最
後のＧＯＰまで処理を行った場合（ステップＳ３１０；
Ｙ）、ピクチャタイプの変更の処理を終了する。ｋがke
ndを越えていない場合（ステップＳ３１０；Ｎ）は、ス
テップＳ３０２に戻り、次のＧＯＰについて、ステップ
Ｓ３０２ないしステップＳ３１０の処理を実行する。

【００９７】ステップＳ３０２において、gop start
（ｋ）が１ではない、すなわちｋ番目のフレームがＧＯ
Ｐの先頭ではない場合（Ｎ）、およびステップＳ３０４
において、b rate（ｊ）がB AVR LIMIT を越えていない
場合（Ｎ）は、ステップＳ３０９に進む。また、ステッ
プＳ３０５において、ｋｋ番目のフレームがＢピクチャ
ではない、あるいはpict rate （ｋｋ）がBP CHG LIMIT
を越えていない、あるいはgen bit （ｋｋ）がDIFF LIM
ITを越えていない場合（Ｎ）は、ステップＳ３０７に進
む。

【００９８】以上のようなピクチャタイプの変更処理を
簡単に言うと、ＧＯＰ内のＢピクチャの符号化難易度の
平均値とＩピクチャの符号化難易度の比率b rateによっ
て、Ｂピクチャによる予測が難しい区間を検出し、その
区間内のＢピクチャのうち、そのピクチャの符号化難易
度とそのピクチャが属するＧＯＰのＩピクチャの符号化
難易度の比率pict rate が規定値BP CHG LIMITを越え、
且つそのピクチャの符号化難易度gen bit が規定値DIFF
LIMITを越えたものについて、ピクチャタイプを、予測
方向の数がより少ないフレーム間予測符号化ピクチャで
あるＰピクチャに変更するというものである。このよう
な処理により、動きベクトルデータのデータ量を減少さ
せることができ、その結果、限られた割り当てデータ量
の中で、実際のＤＣＴ係数に関わる符号化データのデー
タ量を増加させて、画質を改善させることができる。

【００９９】図１３は、ピクチャタイプの変更処理の具
体例を示したものである。図１３（ａ）は、予備的な符
号化によって測定された符号化難易度gen bit を表示順
に示したものである。なお、図１３（ａ）には、gop st
art を併記している。図１３（ｂ）は、図１３（ａ）で
示した符号化難易度に対して、ＧＯＰ内のＢピクチャの
符号化難易度の平均値とＩピクチャの符号化難易度の比
率b rateを表したものである。このb rateが、規定値B
AVR LIMIT を越えた区間ＴＣがピクチャタイプの変更対
象区間となる。図１３（ｃ）は、図１３（ａ）と同様に
符号化難易度gen bit を表示順に示すと共に、変更対象
区間ＴＣ内のＢピクチャのうち、ピクチャタイプの変更
処理によってＰピクチャに変更したものを丸印を付して
示したものである。

【０１００】図１４は、時間的、空間的な相関が少ない
素材を、本実施の形態に係る画像符号化装置（ビデオエ
ンコード装置１１）および画像符号化方法によって符号
化した場合のb rateを表したものである。図中、縦軸は
b rate、横軸はフレーム番号（Frame nb）×１０³ すな
わち時間を表している。平均的な素材では、b rateの値
は２５程度になるが、このように相関が少ない素材で
は、極端にb rateが大きくなる部分が存在する。本実施
の形態では、極端にb rateが大きくなる範囲を、b rate
と規定値B AVR LIMIT との比較によって検出し、この範
囲について、ピクチャタイプの変更処理を行う。

【０１０１】図１５は、図１４で用いた素材に関して、
本実施の形態におけるピクチャタイプの変更処理を施し
て符号化した場合と従来の方式で符号化した場合とで、
ＧＯＰ単位のフレーム毎の量子化ステップの平均値であ
る平均量子化数Average Ｑを比較して表したものであ
る。図中、縦軸は平均量子化数Average Ｑ、横軸はフレ
ーム番号（Frame nb）×１０³ すなわち時間を表してい
る。図中、実線が本実施の形態におけるピクチャタイプ
の変更処理を施して符号化した場合を表し、破線が従来
の方式で符号化した場合を表している。同じビット量の
割り当てに対して、平均量子化数Average Ｑが小さいと
いうことは、より細かい情報まで符号化されていること
を意味し、これは符号化効率が良いことを示している。
図１５から、本実施の形態におけるピクチャタイプの変
更処理を施して符号化した場合、従来の方式で符号化し
た場合に比べて、平均量子化数Average Ｑがかなり小さ
くなっていることが分かり、本実施の形態によって、画
質を改善できることが分かる。

【０１０２】以上説明したように本実施の形態によれ
ば、ＧＯＰ内のＢピクチャの符号化難易度の平均値とＩ
ピクチャの符号化難易度の比率b rateによって、Ｂピク
チャによる予測が難しい区間を検出し、その区間内のＢ
ピクチャのうち、そのピクチャの符号化難易度とそのピ
クチャが属するＧＯＰのＩピクチャの符号化難易度の比
率pict rate が規定値BP CHG LIMITを越え、且つそのピ
クチャの符号化難易度gen bit が規定値DIFF LIMITを越
えたものについて、ピクチャタイプをＰピクチャに変更
するようにしたので、符号化する素材中の画像の時間的
または空間的な相関が悪い部分における動きベクトルデ
ータのデータ量を減少させることができ、その結果、限
られた割り当てデータ量の中で、実際のＤＣＴ係数に関
わる符号化データのデータ量を増加させて符号化効率を
向上させ、画質を改善させることができる。

【０１０３】なお、本発明は上記実施の形態に限定され
ず、例えば、実施の形態では、符号化難易度が所定の条
件を満たすＢピクチャをＰピクチャに変更するようにし
たが、符号化難易度が所定の条件を満たすＢピクチャ
を、フレーム内符号化ピクチャであるＩピクチャに変更
するようにしてもよい。

【０１０４】また、例えば、b rate，pict rate ，gen
bit に関する条件を、Ｐピクチャへの変更用とＩピクチ
ャへの変更用の２種類設定し、b rate，pict rate ，ge
n bit がＰピクチャへの変更用の条件を満たす場合には
ＢピクチャをＰピクチャに変更し、b rate，pict rate
，gen bit がＩピクチャへの変更用の条件を満たす場
合にはＢピクチャをＩピクチャに変更するようにしても
よい。

【０１０５】更に、Ｐピクチャに関しても、実施の形態
におけるＢピクチャに関する条件と同様の条件を設定
し、その条件を満たすＰピクチャをＩピクチャに変更す
るようにしてもよい。具体的には、例えば、ＧＯＰ内の
Ｐピクチャの符号化難易度の平均値とＩピクチャの符号
化難易度の比率が第１の所定値を越える範囲を、Ｐピク
チャによる予測が難しい区間として検出し、その区間内
のＰピクチャのうち、そのピクチャの符号化難易度とそ
のピクチャが属するＧＯＰのＩピクチャの符号化難易度
の比率が第２の所定値を越え、且つそのピクチャの符号
化難易度が第３の所定値を越えたものについて、ピクチ
ャタイプをＩピクチャに変更するようにしてもよい。

【０１０６】また、ピクチャタイプを変更するための符
号化難易度の条件は、実施の形態で挙げた例に限らず，
適宜に設定可能である。

【０１０７】また、本発明は、実施の形態で挙げた２パ
スエンコーディング方式で符号化を行うシステムに限ら
ず、正式な符号化の直前に予備的な符号化を行って符号
化難易度を測定できるシステムや、正式な符号化の前に
予備的な符号化を行うことなく、入力ビデオデータに基
づいて符号化難易度を測定できるシステム等、正式な符
号化の前に符号化難易度を測定できるシステム全般につ
いて適用することができる。

【０１０８】また、符号化難易度は、実施の形態で挙げ
たように、予備的な符号化によって得られる符号化デー
タと動きベクトルデータとを合わせたデータのデータ量
に限らず、ピクチャの符号化の難易度を表すパラメータ
であればよく、例えば、予備的な符号化によって得られ
る符号化データと動きベクトルデータとを合わせたデー
タのデータ量に対する動きベクトルデータのデータ量の
比率や、予備的な符号化によって得られる動きベクトル
データのみのデータ量等でもよい。

【０１０９】

【発明の効果】以上説明したように本発明の画像符号化
装置または本発明の画像符号化方法によれば、入力画像
データの符号化が行われる前に符号化難易度を取得し、
この符号化難易度に基づいて、少なくとも１種類のフレ
ーム間予測符号化ピクチャに関して、符号化難易度が所
定の条件を満たすか否かを判断し、符号化難易度が所定
の条件を満たす場合には、ピクチャタイプをフレーム内
符号化ピクチャまたは予測方向の数がより少ないフレー
ム間予測符号化ピクチャに変更させて、入力画像データ
を符号化するようにしたので、符号化する素材中の画像
の時間的または空間的な相関が悪い部分における符号化
効率を向上させて、限られた割り当て符号量に対して、
画質を改善することが可能となるという効果を奏する。

【図面の簡単な説明】

【図１】本発明の一実施の形態に係る画像符号化装置と
してのビデオエンコード装置の構成を示すブロック図で
ある。

【図２】本発明の一実施の形態に係る画像符号化装置と
してのビデオエンコード装置を含むＤＶＤ用のオーサリ
ング装置の構成を示すブロック図である。

【図３】図１におけるビデオエンコーダの構成の一例を
示すブロック図である。

【図４】本発明の一実施の形態に係る画像符号化装置と
してのビデオエンコード装置の動作を示す流れ図であ
る。

【図５】図４におけるビット配分計算処理の詳細を説明
するための流れ図である。

【図６】図５におけるシーンチェンジ検出および処理を
説明するための説明図である。

【図７】図５におけるチャプタ処理を説明するための説
明図である。

【図８】図５における割り当てビット量の計算処理に用
いる評価関数を示す説明図である。

【図９】図５における割り当てビット量の計算処理に用
いるＶＢＶの計算方法を説明するための説明図である。

【図１０】図５における割り当てビット量の計算処理中
のＶＢＶの制限による割り当てビット量の修正処理につ
いて説明するための説明図である。

【図１１】図５における割り当てビット量の計算処理中
のＶＢＶの制限による割り当てビット量の修正処理につ
いて説明するための説明図である。

【図１２】図５におけるピクチャタイプの変更処理を説
明するための流れ図である。

【図１３】図１２に示したピクチャタイプの変更処理の
具体例を示す説明図である。

【図１４】時間的、空間的な相関が少ない素材を本発明
の一実施の形態によって符号化した場合におけるＢピク
チャの符号化難易度の平均値とＩピクチャの符号化難易
度の比率の一例を示す説明図である。

【図１５】図１４で用いた素材に関して、本発明の一実
施の形態におけるピクチャタイプの変更処理を施して符
号化した場合と従来の方式で符号化した場合とで平均量
子化数を比較して表した説明図である。

【図１６】ＧＯＰの構造を説明するための説明図であ
る。

【符号の説明】

１１…ビデオエンコード装置、１８…スーパバイザ、２
２…ビデオエンコーダ、２４…ビデオエンコーダ制御装
置、２５…ビット配分部、２６…エンコーダコントロー
ル部、２７…ＶＴＲコントロール部、２８…ＧＵＩ部。

Claims (10)

【特許請求の範囲】
1. 【請求項１】 入力画像データを、フレーム内符号化に
   よって符号化されるべきフレーム内符号化ピクチャと、
   動き補償を併用し、予測方向が１方向以上のフレーム間
   予測符号化によって符号化されるべき１種類以上のフレ
   ーム間予測符号化ピクチャとを含む複数のピクチャタイ
   プに分け、入力画像データをピクチャ毎にピクチャタイ
   プに応じた符号化方法によって符号化して、符号化デー
   タと動き補償のための動きベクトルデータとを生成する
   符号化手段と、 この符号化手段によって符号化を行う前のピクチャの符
   号化の難易度を表す符号化難易度を取得し、この符号化
   難易度に基づいて、少なくとも１種類のフレーム間予測
   符号化ピクチャに関して、符号化難易度が所定の条件を
   満たすか否かを判断し、符号化難易度が所定の条件を満
   たす場合に、ピクチャタイプをフレーム内符号化ピクチ
   ャまたは予測方向の数がより少ないフレーム間予測符号
   化ピクチャに変更させるように、前記符号化手段を制御
   する符号化制御手段とを備えたことを特徴とする画像符
   号化装置。
2. 【請求項２】 前記フレーム間予測符号化ピクチャは、
   予測方向が過去のフレームからの１方向となる順方向予
   測符号化ピクチャと、予測方向が過去および未来のフレ
   ームからの２方向となる双方向予測符号化ピクチャとを
   含むことを特徴とする請求項１記載の画像符号化装置。
3. 【請求項３】 前記符号化制御手段は、前記双方向予測
   符号化ピクチャに関して、符号化難易度が所定の条件を
   満たすか否かを判断し、符号化難易度が所定の条件を満
   たす場合に、ピクチャタイプをフレーム内符号化ピクチ
   ャまたは順方向予測符号化ピクチャに変更させるよう
   に、前記符号化手段を制御することを特徴とする請求項
   ２記載の画像符号化装置。
4. 【請求項４】 前記符号化制御手段は、フレーム内符号
   化ピクチャを含む所定枚数のピクチャを含む符号化処理
   単位のうち、双方向予測符号化ピクチャの符号化難易度
   の平均値とフレーム内符号化ピクチャの符号化難易度と
   の比率が第１の所定値を越えた符号化処理単位内におい
   て、双方向予測符号化ピクチャの符号化難易度とフレー
   ム内符号化ピクチャの符号化難易度との比率が第２の所
   定値を越え、且つ双方向予測符号化ピクチャの符号化難
   易度が第３の所定値を越えるという条件を満たす双方向
   予測符号化ピクチャを、フレーム内符号化ピクチャまた
   は順方向予測符号化ピクチャに変更させるように、前記
   符号化手段を制御することを特徴とする請求項３記載の
   画像符号化装置。
5. 【請求項５】 前記符号化難易度は、前記符号化手段に
   よる正式な符号化を行う前の予備的な符号化によって得
   られることを特徴とする請求項１記載の画像符号化装
   置。
6. 【請求項６】 入力画像データを、フレーム内符号化に
   よって符号化されるべきフレーム内符号化ピクチャと、
   動き補償を併用し、予測方向が１方向以上のフレーム間
   予測符号化によって符号化されるべき１種類以上のフレ
   ーム間予測符号化ピクチャとを含む複数のピクチャタイ
   プに分け、入力画像データをピクチャ毎にピクチャタイ
   プに応じた符号化方法によって符号化して、符号化デー
   タと動き補償のための動きベクトルデータとを生成する
   画像符号化方法であって、 符号化を行う前のピクチャの符号化の難易度を表す符号
   化難易度を取得する符号化難易度取得手順と、 この符号化難易度取得手順によって取得した符号化難易
   度に基づいて、少なくとも１種類のフレーム間予測符号
   化ピクチャに関して、符号化難易度が所定の条件を満た
   すか否かを判断し、符号化難易度が所定の条件を満たす
   場合には、ピクチャタイプをフレーム内符号化ピクチャ
   または予測方向の数がより少ないフレーム間予測符号化
   ピクチャに変更させる処理を行うピクチャタイプ変更処
   理手順と、 このピクチャタイプ変更処理手順による処理の実行後の
   ピクチャタイプに従って、入力画像データを符号化する
   符号化手順と含むことを特徴とする画像符号化方法。
7. 【請求項７】 前記フレーム間予測符号化ピクチャは、
   予測方向が過去のフレームからの１方向となる順方向予
   測符号化ピクチャと、予測方向が過去および未来のフレ
   ームからの２方向となる双方向予測符号化ピクチャとを
   含むことを特徴とする請求項６記載の画像符号化方法。
8. 【請求項８】 前記ピクチャタイプ変更処理手順は、双
   方向予測符号化ピクチャに関して、符号化難易度が所定
   の条件を満たすか否かを判断し、符号化難易度が所定の
   条件を満たす場合に、ピクチャタイプをフレーム内符号
   化ピクチャまたは順方向予測符号化ピクチャに変更させ
   ることを特徴とする請求項７記載の画像符号化方法。
9. 【請求項９】 前記ピクチャタイプ変更処理手順は、フ
   レーム内符号化ピクチャを含む所定枚数のピクチャを含
   む符号化処理単位のうち、双方向予測符号化ピクチャの
   符号化難易度の平均値とフレーム内符号化ピクチャの符
   号化難易度との比率が第１の所定値を越えた符号化処理
   単位内において、双方向予測符号化ピクチャの符号化難
   易度とフレーム内符号化ピクチャの符号化難易度との比
   率が第２の所定値を越え、且つ双方向予測符号化ピクチ
   ャの符号化難易度が第３の所定値を越えるという条件を
   満たす双方向予測符号化ピクチャを、フレーム内符号化
   ピクチャまたは順方向予測符号化ピクチャに変更させる
   ことを特徴とする請求項８記載の画像符号化方法。
10. 【請求項１０】 前記符号化難易度は、前記符号化手段
    による正式な符号化を行う前の予備的な符号化によって
    得られることを特徴とする請求項６記載の画像符号化方
    法。