JPH1198499A

JPH1198499A - 画像符号化装置および画質予測方法

Info

Publication number: JPH1198499A
Application number: JP25496097A
Authority: JP
Inventors: Masaaki Isozaki; 正明五十崎
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-09-19
Filing date: 1997-09-19
Publication date: 1999-04-09

Abstract

(57)【要約】【課題】早い時点で、与えられた符号化条件による符
号化後の画質を予測し、符号化条件の評価および符号化
作業の効率化を可能にする。【解決手段】ビデオエンコーダ制御装置２４のビット
配分部２５は、予備的な符号化によって得られたピクチ
ャ毎の符号化難易度を取得し、この符号化難易度とスー
パバイザ１８より与えられた符号化条件とに基づいて、
正式な符号化の際の各ピクチャ毎の割り当てビット量を
決定する。ビット配分部２５は、符号化難易度とと割り
当てビット量とに基づいて、正式な符号化の際の量子化
特性を推定し、与えられた符号化条件による符号化後の
画質を予測する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像データを符号
化する画像符号化装置および符号化後の画質を予測する
画質予測方法に関する。

【０００２】

【従来の技術】近年、大容量のディジタルデータを記録
可能な光ディスクであるＤＶＤ（ディジタル・バーサタ
イル・ディスクまたはディジタル・ビデオ・ディスク）
が実用化されている。ＤＶＤのうち、ビデオデータ等を
記録するＤＶＤビデオでは、ＭＰＥＧ（Moving Picture
Experts Group）２規格で圧縮された画像データを記録
するようになっている。

【０００３】ＭＰＥＧ２規格では、符号化方式として、
動き補償を併用した双方向予測符号化方式を採用してい
る。この符号化方式では、ＤＣＴ（離散コサイン変換）
と画像の時間的および空間的な相関を用いて空間方向の
冗長度および時間方向の冗長度の除去を行うことによっ
て、効率の良い圧縮符号化を可能としている。双方向予
測符号化方式では、フレーム（ピクチャ）内だけで符号
化するフレーム内符号化、過去のフレームから現在のフ
レームを予測することによって符号化するフレーム間順
方向予測符号化、過去および未来のフレームから現在の
フレームを予測することによって符号化する双方向予測
符号化の３つのタイプの符号化が行われる。この符号化
方式では、フレーム内符号化によって符号化されるピク
チャをＩピクチャ（intra coded picture ）、フレーム
間順方向予測符号化によって符号化されるピクチャをＰ
ピクチャ（predictive coded picture）、双方向予測符
号化によって符号化されるピクチャをＢピクチャ（bidi
rectionally predictive coded picture）と呼ぶ。ま
た、必ずＩピクチャを一つ以上含むようにＩ，Ｐ，Ｂの
各ピクチャを適切に組み合わせて、ランダムアクセスの
単位となるＧＯＰ（Group of picture）が構成される。

【０００４】ここで、図１５を参照して、ＧＯＰの構造
について説明する。図１５において、Ｉ，Ｐ，Ｂは、そ
れぞれＩピクチャ、Ｐピクチャ、Ｂピクチャを表してい
る。なお、他の図においても同様である。図１５（ａ）
は、ＧＯＰの構成の一例を表示順に示したものである。
この例では、１５枚のピクチャによってＧＯＰが構成さ
れ（ＧＯＰを構成するピクチャ数Ｎ＝１５）、１ＧＯＰ
内に１枚のＩピクチャが含まれ、ＩピクチャまたはＰピ
クチャの現れる周期（Ｍ）は３であり、隣り合うＩまた
はＰピクチャ間に２つのＢピクチャが挿入されている。
表示順では、ＧＯＰの先頭は、Ｉピクチャの前の最初の
ＰピクチャまたはＩピクチャの次のピクチャであり、Ｇ
ＯＰの最後は、次のＩピクチャの前の最初のＰピクチャ
である。図１５（ａ）において、矢印は、予測方向を表
している。図１５（ｂ）は、同じＧＯＰの構成を、符号
化順に示したものである。このように、符号化の際に
は、Ｂピクチャの符号化の前に、Ｂピクチャの予測の際
に参照するＩピクチャまたはＰピクチャが符号されるよ
うに、ピクチャの並べ替えが行われる。

【０００５】ところで、圧縮された画像情報を、ＤＶ
Ｄ、ビデオＣＤ（コンパクト・ディスク）等のパッケー
ジメディアに蓄積させる符号化システムでは、一般に、
いわゆる２パスエンコーディング方式が採用されてい
る。この２パスエンコーディング方式では、最初に、予
備的な符号化を行って、符号化する素材の画像の符号化
の難易度を表す符号化難易度を測定し、その符号化難易
度に基づいて、与えられた符号量に収まるように、各ピ
クチャごとに符号量の配分を行って正式な符号化を行
う。

【０００６】

【発明が解決しようとする課題】ところで、ＤＶＤのよ
うなディスクの作成のための符号化作業では、オーディ
オ、ビデオ、サブタイトル、メニュー等について並行し
て行われるため、平均ビットレートや最大ビットレート
制限等の符号化の条件は、作成されるディスクの条件
（演奏時間、オーディオへのビット配分等）に応じて、
全体を管理するスーパバイザより与えられる。

【０００７】ところが、スーパバイザ側では、ビデオ素
材の符号化の難しさを判別する方法がないため、スーパ
バイザによって与えられた符号化条件によって満足のい
く画質が得られるかどうかは、符号化の結果を見るしか
なかった。そのため、符号化条件が適切か否かの判定が
遅れることとなる。ビデオデータの符号化条件に修正が
必要となった場合には、ディスク全体の仕様変更が伴う
ため、ビデオ以外の工程（例えば、オーディオデータの
符号化条件）にも影響が及ぶ。そのため、ビデオ工程従
事者の単独の作業時間の無駄だけでなく、並行して作業
しているオーディオ工程従事者のそれまでの作業をやり
直すケースも発生する等、ディスク作成の作業全体とし
て大幅な作業時間の無駄が発生する。また、ビデオデー
タの符号化条件が適切か否かの判定が遅れれば遅れるほ
ど、作業のやり直しに伴う多くの無駄な工数および作業
時間がかかってしまう。このように、従来は、与えられ
たビデオデータの符号化条件の評価が遅れることによ
り、ビデオデータの符号化作業のみならずディスク作成
の作業全体に無駄が発生するという問題点があった。

【０００８】本発明はかかる問題点に鑑みてなされたも
ので、その目的は、早い時点で、与えられた符号化条件
による符号化後の画質を予測でき、その結果、符号化条
件の評価および符号化作業の効率化を可能とした画像符
号化装置および画質予測方法を提供することにある。

【０００９】

【課題を解決するための手段】本発明の画像符号化装置
は、量子化を含む符号化処理によって入力画像データを
符号化すると共に、割り当て符号量に応じて量子化特性
を変化させることの可能な符号化手段と、この符号化手
段に対して、量子化特性を固定して、正式な符号化を行
う前の予備的な符号化を行わせ、得られるデータに基づ
いて各ピクチャ毎に符号化の難易度を表す符号化難易度
を測定する符号化難易度測定手段と、与えられた符号化
条件に基づいて、正式な符号化の際の各ピクチャ毎の割
り当て符号量を決定する割り当て符号量決定手段と、符
号化難易度測定手段によって測定された符号化難易度と
割り当て符号量決定手段によって決定された割り当て符
号量とに基づいて、正式な符号化の際の量子化特性を推
定する量子化特性推定手段とを備えたものである。

【００１０】本発明の画質予測方法は、量子化を含む符
号化処理によって入力画像データを符号化すると共に、
割り当て符号量に応じて量子化特性を変化させることの
可能な符号化手段に対して、量子化特性を固定して、正
式な符号化を行う前の予備的な符号化を行わせ、得られ
るデータに基づいて各ピクチャ毎に符号化の難易度を表
す符号化難易度を測定する符号化難易度測定手順と、与
えられた符号化条件に基づいて、正式な符号化の際の各
ピクチャ毎の割り当て符号量を決定する割り当て符号量
決定手順と、符号化難易度測定手順によって測定された
符号化難易度と割り当て符号量決定手順によって決定さ
れた割り当て符号量とに基づいて、正式な符号化の際の
量子化特性を推定することによって、与えられた符号化
条件による符号化後の画質を予測する画質予測手順と含
むものである。

【００１１】本発明の画像符号化装置では、符号化難易
度測定手段によって、量子化特性を固定した予備的な符
号化によって得られるデータに基づいて各ピクチャ毎に
符号化難易度が測定され、割り当て符号量決定手段によ
って、与えられた符号化条件に基づいて、正式な符号化
の際の各ピクチャ毎の割り当て符号量が決定され、量子
化特性推定手段によって、符号化難易度と割り当て符号
量とに基づいて、正式な符号化の際の量子化特性が推定
される。

【００１２】本発明の画質予測方法では、符号化難易度
測定手順によって、量子化特性を固定した予備的な符号
化によって得られるデータに基づいて各ピクチャ毎に符
号化難易度が測定され、割り当て符号量決定手順によっ
て、与えられた符号化条件に基づいて、正式な符号化の
際の各ピクチャ毎の割り当て符号量が決定され、画質予
測手段によって、符号化難易度と割り当て符号量とに基
づいて、正式な符号化の際の量子化特性を推定すること
によって、与えられた符号化条件による符号化後の画質
が予測される。

【００１３】

【発明の実施の形態】以下、本発明の一実施の形態につ
いて図面を参照して詳細に説明する。図２は、本実施の
形態に係る画像符号化装置としてのビデオエンコード装
置を含むＤＶＤ用のオーサリング装置の構成を示すブロ
ック図である。このオーサリング装置１０は、ビデオ
（画像）データを入力し、圧縮符号化するビデオエンコ
ード装置１１と、オーディオデータを入力し、圧縮符号
化するオーディオエンコード装置１２と、字幕等の静止
画像データを入力し、符号化するサブピクチャエンコー
ド装置１３と、メニュー画面のビデオデータを符号化す
るメニューエンコード装置１４と、これらの符号化され
たデータをＤＶＤ規格に即した順序で多重化するマルチ
プレクサ１５と、多重化処理後のデータをディスク製造
工程に渡すために所定の記録媒体に記録するストリーマ
１６と、各エンコード装置１１〜１４、マルチプレクサ
１５およびストリーマ１６に接続された、例えばＲＡＩ
Ｄ（Redundant Array of Inexpensive Disks）構成のハ
ードディスク装置（ＨＤＤ）１７と、ネットワーク１９
を介して、上記各構成要素に接続され、これらの動作を
管理するスーパバイザ１８とを備えている。

【００１４】ここで、上述のオーサリング装置１０の動
作の概略について説明する。スーパバイザ１８は、ビデ
オエンコード装置１１、オーディオエンコード装置１
２、サブピクチャエンコード装置１３およびメニューエ
ンコード装置１４に符号化処理の開始を指示する。各エ
ンコード装置１１〜１４は、この指示により符号化処理
を開始する。その結果得られるデータは、スーパバイザ
１８から指示されたハードディスク装置１７の記憶領域
に順次格納される。各エンコーダ装置１１〜１４におけ
る符号化処理が終了すると、マルチプレクサ１５におい
て多重化処理を行う。

【００１５】マルチプレクサ１５は、スーパバイザ１８
の指示により、ハードディスク装置１７の記憶領域か
ら、符号化によって得られたデータを読み出し、これを
ＤＶＤ規格に即した順序で多重化し、その結果得られる
多重化データを、スーパバイザ１８に指示されたハード
ディスク装置１７の記憶領域に順次格納する。また、ス
トリーマ１６は、ディスク製造工程に多重化処理後のデ
ータを渡すために、スーパバイザ１８の指示によりハー
ドディスク装置１７の記憶領域から多重化データを読み
出し、これを所定のテープ状の記録媒体に順次記録す
る。スーパバイザ１８は、ストリーマ１６から記録終了
の通知を受信すると、記録処理が終了したとして記録用
データの作成を終了する。

【００１６】図１は、本実施の形態に係る画像符号化装
置としてのビデオエンコード装置１１の構成を示すブロ
ック図である。このビデオエンコード装置１１は、例え
ばＶＴＲ（ビデオテープレコーダ）２１にケーブル２０
ａを介して接続されると共に、ハードディスク装置１７
に例えばＳＣＳＩ（Small Computer System Interface
）を用いたケーブル２０ｂを介して接続され、ＶＴＲ
２１より出力されるビデオデータＳ₁を、ＭＰＥＧ２規
格による動き補償を併用した双方向予測符号化方式によ
って圧縮符号化して、圧縮画像データＳ₂をハードディ
スク装置１７に出力する符号化手段としてのビデオエン
コーダ２２と、このビデオエンコーダ２２にケーブル２
０ｃを介して接続され、ビデオエンコーダ２２による圧
縮処理結果を表示するためのモニタ装置２３と、ネット
ワーク１９を介してスーパバイザ１８に接続されると共
に、ＶＴＲ２１、ビデオエンコーダ２２にそれぞれ、例
えばＲＳ−４２２規格のケーブル２０ｄ、例えばイーサ
ネットを用いたケーブル２０ｅを介して接続され、ＶＴ
Ｒ２１およびビデオエンコーダ２２を制御するビデオエ
ンコーダ制御装置２４とを備えている。なお、ＶＴＲ２
１からビデオエンコーダ２２に対しては、ビデオデータ
Ｓ₁と共に、タイムコードと同期信号も送られるように
なっている。ビデオエンコーダ制御装置２４は、本発明
における符号化難易度測定手段、割り当て符号量決定手
段および量子化特性推定手段に対応する。

【００１７】ビデオエンコーダ制御装置２４は、符号化
処理におけるビット配分計算を行うビット配分部２５
と、ビデオエンコーダ２２を制御するエンコーダコント
ロール部２６と、ＶＴＲ２１を制御するＶＴＲコントロ
ール部２７と、ユーザインタフェースの制御を行うと共
に、ネットワーク１９を介してスーパバイザ１８に接続
され、ビット配分部２５とＶＴＲコントロール部２７を
管理するグラフィカルユーザインタフェース（以下、Ｇ
ＵＩ（Graphical User Interface）という。）部２８と
を有している。なお、ビット配分部２５、エンコーダコ
ントロール部２６、ＶＴＲコントロール部２７およびＧ
ＵＩ部２８は、それぞれ所定のプログラムによって実現
されるようになっている。

【００１８】図１において、スーパバイザ１８およびビ
デオエンコーダ制御装置２４は、それぞれコンピュータ
によって実現される。

【００１９】図１に示した構成において、スーパバイザ
１８は、ＤＶＤのオーサリングシステム全体の管理を行
い、ビデオ、オーディオ、サブピクチャおよびメニュー
用の各エンコード装置１１〜１４に符号化条件を与え
て、各エンコード装置１１〜１４より符号化結果の報告
を受けるようになっている。図１に示した例では、スー
パバイザ１８は、ビデオエンコーダ制御装置２４のＧＵ
Ｉ部２８に対して、ファイルv.enc によってビデオデー
タの符号化条件を指定し、ビデオエンコーダ制御装置２
４のＧＵＩ部２８は、スーパバイザ１８に対して、符号
化結果のビットストリームが書き込まれたハードディス
ク装置１７上のアドレスを示すアドレスデータv.adr
と、ビットストリームを多重化する際に必要な多重化用
データvxxx.auiを報告するようになっている。

【００２０】ビデオエンコーダ制御装置２４内におい
て、ＧＵＩ部２８は、ビット配分部２５に対してファイ
ルv.enc を与え、ビット配分部２５は、ＧＵＩ部２８に
対してアドレスデータv.adr および多重化用データvxx
x.auiを与えるようになっている。ＧＵＩ部２８は、ビ
ット配分部２５に対して、更に、後述するカスタマイズ
におけるビット配分のための重み付けファイルweight.t
xtを与えるようになっている。

【００２１】ビット配分部２５は、エンコーダコントロ
ール部２６に対して、ビット配分計算の結果に基づくビ
デオエンコーダ２２の制御条件を、コントロールファイ
ルCTL fileとして与え、エンコーダコントロール部２６
は、ビット配分部２５に対して、後述する符号化難易度
を表す符号化難易度データdifficultyを与えるようにな
っている。

【００２２】ＧＵＩ部２８は、ＶＴＲコントロール部２
７に対して、ＶＴＲ２１を動作させるための各種コマン
ドcommand を与え、ＶＴＲコントロール部２７は、ＧＵ
Ｉ部２８に対して、ＶＴＲ２１の各種の状態を表すステ
ータスデータstate とＶＴＲ２１の異常を表すエラーデ
ータerror を与えるようになっている。

【００２３】図３は、ビデオエンコーダ２２の構成の一
例を示すブロック図である。この図に示したビデオエン
コーダ２２は、入力ビデオデータＳ₁を入力し、符号化
する順番に従ってピクチャ（Ｉピクチャ，Ｐピクチャ，
Ｂピクチャ）の順番を並べ替える画像並べ替え回路３１
と、この画像並べ替え回路３１の出力データを入力し、
フレーム構造かフィールド構造かを判別し、判別結果に
応じた走査変換および１６×１６画素のマクロブロック
化を行う走査変換・マクロブロック化回路３２と、この
走査変換・マクロブロック化回路３２の出力データに基
づいて、符号化の対象となるピクチャの注目マクロブロ
ックと、参照されるピクチャにおいて注目マクロブロッ
クとの間の画素値の差分の絶対値和あるいは自乗和が最
小となるマクロブロックを探して、動きベクトルを検出
して、動きベクトルデータを出力する動き検出回路３３
とを備えている。

【００２４】ビデオエンコーダ２２は、更に、走査変換
・マクロブロック化回路３２の出力データと予測画像デ
ータとの差分をとる減算回路３４と、この減算回路３４
の出力データに対して、ＤＣＴブロック単位でＤＣＴを
行い、ＤＣＴ係数を出力するＤＣＴ回路３５と、このＤ
ＣＴ回路３５の出力データを量子化する量子化回路３６
と、この量子化回路３６の出力データを可変長符号化し
て符号化データを生成する共に、この符号化データと動
き検出回路３３より出力される動きベクトルデータ等の
付帯データとを多重化して出力する可変長符号化回路３
７と、この可変長符号化回路３７の出力データを一旦保
持し、ビットストリームからなる圧縮画像データＳ₂と
して出力するバッファメモリ３８と、量子化回路３６の
出力データを逆量子化する逆量子化回路３９と、この逆
量子化回路３９の出力データに対して逆ＤＣＴを行う逆
ＤＣＴ回路４０と、この逆ＤＣＴ回路４０の出力データ
と予測画像データとを加算して出力する加算回路４１
と、この加算回路４１の出力データを保持し、動き検出
回路３３より出力される動きベクトルデータに応じて動
き補償を行って予測画像データを減算回路３４および加
算回路４１に出力する動き補償回路４２と、量子化回路
３６における量子化特性値に対応する量子化インデック
スを決定し、量子化回路３６に与える量子化インデック
ス決定部４３とを備えている。

【００２５】画像並べ替え回路３１は、エンコーダコン
トロール部２６からピクチャタイプの情報Ｓ₃を受け取
り、この情報Ｓ₃に従ってピクチャの順番を並べ替える
ようになっている。バッファメモリ３８は、発生ビット
量の情報Ｓ₅をエンコーダコントロール部２６と量子化
インデックス決定部４３とに出力するようになってい
る。量子化インデックス決定部４３は、エンコーダコン
トロール部２６から各ピクチャへの割り当てビット量
（割り当て符号量）の情報Ｓ₄を受け取り、この情報Ｓ
₄とバッファメモリ３８からの発生ビット量の情報Ｓ₅
とに基づいて、発生ビット量が割り当てビット量に近づ
くように量子化インデックスを決定するようになってい
る。

【００２６】ここで、図３に示したビデオエンコーダ２
２の動作について簡単に説明する。入力ビデオデータＳ
₁は、まず、画像並べ替え回路３１に入力され、この画
像並べ替え回路３１によって、ピクチャタイプの情報Ｓ
₃に従ってピクチャタイプを決定して、符号化する順番
に従ってピクチャ（Ｉピクチャ，Ｐピクチャ，Ｂピクチ
ャ）の順番を並べ替える。画像並べ替え回路３１の出力
データは、走査変換・マクロブロック化回路３２に入力
される。走査変換・マクロブロック化回路３２は、フレ
ーム構造かフィールド構造かを判別し、判別結果に応じ
た走査変換およびマクロブロック化を行う。走査変換・
マクロブロック化回路３２の出力データは、動き検出回
路３３および減算回路３４に送られる。動き検出回路３
３は、動きベクトルを検出して、動きベクトルデータを
動き補償回路４２および可変長符号化回路３７に送る。

【００２７】Ｉピクチャの場合には、減算回路３４にお
いて予測画像データとの差分をとることなく、走査変換
・マクロブロック化回路３２の出力データをそのままＤ
ＣＴ回路３５に入力してＤＣＴを行い、量子化回路３６
によってＤＣＴ係数を量子化し、可変長符号化回路３７
によって量子化回路３６の出力データを可変長符号化
し、バッファメモリ３８によって可変長符号化回路３７
の出力データを一旦保持し、ビットストリームからなる
圧縮画像データＳ₂として出力する。また、逆量子化回
路３９によって量子化回路３６の出力データを逆量子化
し、逆ＤＣＴ回路４０によって逆量子化回路３９の出力
データに対して逆ＤＣＴを行い、逆ＤＣＴ回路４０の出
力データを加算回路４１を介して動き補償回路４２に入
力して保持させる。

【００２８】Ｐピクチャの場合には、動き補償回路４２
によって、保持している過去のＩピクチャまたはＰピク
チャに対応する画像データと動き検出回路３３からの動
きベクトルデータとに基づいて予測画像データを生成
し、予測画像データを減算回路３４および加算回路４１
に出力する。また、減算回路３４によって、走査変換・
マクロブロック化回路３２の出力データと動き補償回路
４２からの予測画像データとの差分をとり、ＤＣＴ回路
３５によってＤＣＴを行い、量子化回路３６によってＤ
ＣＴ係数を量子化し、可変長符号化回路３７によって量
子化回路３６の出力データを可変長符号化すると共に動
きベクトルデータを多重化し、バッファメモリ３８によ
って可変長符号化回路３７の出力データを一旦保持し圧
縮画像データＳ₂として出力する。また、逆量子化回路
３９によって量子化回路３６の出力データを逆量子化
し、逆ＤＣＴ回路４０によって逆量子化回路３９の出力
データに対して逆ＤＣＴを行い、加算回路４１によって
逆ＤＣＴ回路４０の出力データと予測画像データとを加
算し、動き補償回路４２に入力して保持させる。

【００２９】Ｂピクチャの場合には、動き補償回路４２
によって、保持している過去および未来のＩピクチャま
たはＰピクチャに対応する２つの画像データと動き検出
回路３３からの２つの動きベクトルとに基づいて予測画
像データを生成し、予測画像データを減算回路３４およ
び加算回路４１に出力する。また、減算回路３４によっ
て、走査変換・マクロブロック化回路３２の出力データ
と動き補償回路４２からの予測画像データとの差分をと
り、ＤＣＴ回路３５によってＤＣＴを行い、量子化回路
３６によってＤＣＴ係数を量子化し、可変長符号化回路
３７によって量子化回路３６の出力データを可変長符号
化すると共に動きベクトルデータを多重化し、バッファ
メモリ３８によって可変長符号化回路３７の出力データ
を一旦保持し圧縮画像データＳ₂として出力する。な
お、Ｂピクチャは動き補償回路４２に保持させない。

【００３０】バッファメモリ３８は、発生ビット量の情
報Ｓ₅をエンコーダコントロール部２６と量子化インデ
ックス決定部４３とに出力する。量子化インデックス決
定部４３は、エンコーダコントロール部２６からの各ピ
クチャへの割り当てビット量の情報Ｓ₄とバッファメモ
リ３８からの発生ビット量の情報Ｓ₅とに基づいて、発
生ビット量が割り当てビット量に近づくように量子化イ
ンデックスを決定し、量子化回路３６に与える。

【００３１】次に、図４を参照して、本実施の形態に係
る画像符号化装置としてのビデオエンコード装置１１の
動作について説明する。なお、以下の説明は、本実施の
形態に係る画質予測方法の説明を兼ねている。本実施の
形態では、２パスエンコーディング方式によって、ビデ
オデータを符号化する。２パスエンコーディング方式で
は、最初に、予備的な符号化処理を行って、符号化する
素材の画像の符号化の難易度を表す符号化難易度を測定
し、その符号化難易度に基づいて、与えられた符号量に
収まるように、各ピクチャごとに符号量の配分を行って
正式な符号化処理を行う。

【００３２】ビデオエンコード装置１１は、始めに、ビ
デオエンコーダ制御装置２４のＧＵＩ部２８によって、
ネットワーク１９経由で、スーパバイザ１８に対して、
ＤＶＤ等のディスクの容量の中からビデオデータに割り
当てられたビット総量や最大ビットレート等の符号化条
件を取りに行く。この符号化条件は、ファイルv.encに
よって、スーパバイザ１８よりＧＵＩ部２８に与えら
れ、更に、ビット配分部２５に与えられ、ビット配分部
２５において符号化条件が設定される（ステップＳ１０
１）。

【００３３】次に、ビデオエンコード装置１１は、予備
的な１パス目の符号化処理を行って、符号化難易度の測
定を行う（ステップＳ１０２）。この予備的な符号化処
理では、ＧＵＩ部２８がＶＴＲコントロール部２７にコ
マンドcommand を与え、このコマンドcommand に基づい
て、ＶＴＲコントロール部２７がＶＴＲ２１を制御し
て、磁気テープよりビデオデータＳ₁を再生させる。こ
のビデオデータＳ₁は、ビデオエンコーダ２２に入力さ
れる。ビデオエンコーダ２２は、エンコーダコントロー
ル部２６の制御により、ビデオデータＳ₁の圧縮符号化
を行う。予備的な符号化処理では、ビデオエンコーダ２
２における符号化の際の量子化ステップ数を固定値に設
定した条件で符号化処理を行い、発生ビット量を測定す
る。動きが多く、高い周波数成分が多い画像では、発生
ビット量が大きくなり、静止画や平坦な部分が多い画像
では発生ビット量が少なくなる。従って、予備的な符号
化処理における発生ビット量は、符号化する素材の画像
の符号化の難易度を表すものと言える。そこで、本実施
の形態では、この発生ビット量を、符号化難易度として
測定する。なお、ビデオエンコーダ２２における符号化
処理によって発生されるデータには、実際のＤＣＴ係数
に関わる符号化データと、動き補償のための動きベクト
ルデータとが含まれる。従って、発生データ量は、符号
化データのデータ量と動きベクトルデータのデータ量と
を合わせたものとなる。符号化難易度の情報は、発生ビ
ット量の情報Ｓ₅としてビデオエンコーダ２２よりエン
コーダコントロール部２６に与えられ、更に、符号化難
易度データdifficultyとしてエンコーダコントロール部
２６よりビット配分部２５に与えられる。

【００３４】次に、ビット配分部２５は、与えられた符
号化条件を基に、各ピクチャの符号化難易度に応じて、
各ピクチャへ割り当てビット量を配分するためのビット
配分計算を行う（ステップＳ１０３）。ビット配分計算
については、後で詳しく説明する。ビット配分計算の結
果に基づくビデオエンコーダ２２の制御条件は、コント
ロールファイルCTL fileとして、ビット配分部２５より
エンコーダコントロール部２６に与えられる。

【００３５】次に、ビデオエンコード装置１１は、ビッ
ト配分計算の結果に基づくビデオエンコーダ２２の制御
条件に従って、プレビューの処理を行う（ステップＳ１
０４）。このプレビューの処理は、使用者が任意の処理
範囲を指定してビデオデータを圧縮符号化し、得られた
データを、ハードディスク装置１７に出力せずに、ビデ
オエンコーダ２２内部のデコーダ（復号化器）によって
復号化してモニタ装置２３によって表示させる処理であ
る。使用者は、このモニタ装置２３に表示された画像の
画質を評価し（ステップＳ１０５）、画質に満足しない
場合（ＮＧ）には、カスタマイズ処理を行う（ステップ
Ｓ１０６）。このカスタマイズ処理は、画質に問題のあ
る部分のビットレートを上げたり、符号化の前に施す時
間的、空間的なフィルタのフィルタレベルを調整すると
いった部分的に符号化の条件を変更する処理である。ビ
デオエンコーダ制御装置２４のＧＵＩ部２８は、カスタ
マイズ処理における使用者の操作に応じて、符号化難易
度を補正する重み付けファイルweight.txtを作成し、ビ
ット配分部２５に与える。ビット配分部２５は、この重
み付けファイルweight.txtに基づいて、ビット配分を再
計算する（ステップＳ１０７）。ビット配分再計算後の
ビデオエンコーダ２２の制御条件は、コントロールファ
イルCTL fileとして、ビット配分部２５よりエンコーダ
コントロール部２６に与えられる。そして、ビデオエン
コード装置１１の動作は、ステップＳ１０４のプレビュ
ーの処理に戻る。

【００３６】一方、使用者は、プレビューの処理の結
果、画質に満足した場合（ＯＫ）は、正式な符号化処理
の実行を指示し、これにより、正式な符号化処理が実行
される（ステップＳ１０８）。この符号化処理では、Ｇ
ＵＩ部２８がＶＴＲコントロール部２７にコマンドcomm
and を与え、このコマンドcommand に基づいて、ＶＴＲ
コントロール部２７がＶＴＲ２１を制御して、磁気テー
プよりビデオデータＳ₁を再生させる。このビデオデー
タＳ₁は、ビデオエンコーダ２２に入力される。ビデオ
エンコーダ２２は、エンコーダコントロール部２６の制
御により、ビデオデータＳ₁の圧縮符号化を行う。正式
な符号化処理では、ステップＳ１０３またはステップＳ
１０７によるビット配分計算後のビデオエンコーダ２２
の制御条件に従って、エンコーダコントロール部２６に
よって、ビデオエンコーダ２２が制御されて、ビデオデ
ータＳ₁が圧縮符号化される。圧縮符号化によって得ら
れた圧縮画像データＳ₂は、ハードディスク装置１７に
記録される。この圧縮符号化後、ビデオエンコーダ制御
装置２４は、符号化処理結果（アドレスデータv.adrお
よび多重化用データvxxx.aui）をネットワーク１９を介
して、スーパバイザ１８に報告する後処理を行い（ステ
ップＳ１０９）、ビデオエンコード装置１１による符号
化作業が終了する。

【００３７】なお、図４に示した動作のうち、ステップ
Ｓ１０１，Ｓ１０３，Ｓ１０５，Ｓ１０６，１０７，１
０９は、コンピュータ（ビデオエンコーダ制御装置２
４）上のオフライン処理である。

【００３８】次に、図５を参照して、図４におけるビッ
ト配分計算（ステップＳ１０３）について詳細に説明す
る。このビット配分計算の概略は、スーパバイザ１８よ
り与えられたビット総量QTY BYTES と最大ビットレート
MAXRATE とに基づいて、最大ビットレート以下になるよ
うに制限を加えた総ビット量USB BYTES を求め、この値
からＧＯＰヘッダに必要なビット量TOTAL HEADERを引い
て、各ピクチャへの割り当てビット量の総和の目標値と
なるビット量SUPPLY BYTESを算出し、このビット量SUPP
LY BYTESの大きさの範囲内に収まるように、各ピクチャ
への割り当てビット量targetを配分することである。

【００３９】具体的には、ビット配分部２５は、始め
に、ファイルv.enc によって、ＧＵＩ部２８を介してス
ーパバイザ１８より、ビット総量QTY BYTES 、最大ビッ
トレートMAXRATE 等の符号化条件を入力する（ステップ
Ｓ２０１）。次に、ビット配分部２５は、エンコーダコ
ントロール部２６より符号化難易度データdifficultyを
入力する（ステップＳ２０２）。

【００４０】次に、ビット配分部２５は、シーンチェン
ジ検出および処理を行う（ステップＳ２０３）。すなわ
ち、ビデオエンコーダ制御装置２４は、符号化難易度を
測定する際に、各画像の直流（ＤＣ）成分の値や動きベ
クトルデータのデータ量の大きさ等のパラメータも併せ
て測定し、それらのパラメータの変化量から、シーンが
変化するポイントを見つけることが可能であり、ビット
配分部２５は、これを用いてシーンチェンジの検出およ
びその処理を行う。

【００４１】ここで、図６を参照して、シーンチェンジ
検出および処理について詳しく説明する。シーンチェン
ジとは、場面が切り換わることである。ＭＰＥＧ２規格
による動き補償を併用した双方向予測符号化方式によっ
て圧縮符号化処理を行う場合には、このシーンチェンジ
のフレームがＰピクチャに設定されると画質が劣化す
る。そこで、シーンチェンジ検出および処理では、Ｐピ
クチャがシーンチェンジのフレームに設定されたことを
検出し、そのＰピクチャをＩピクチャに変更する処理を
行う。図６（ａ）は、ＧＯＰの構成の一例を表示順に示
したものであり、ここでは、符号６０で示したＰピクチ
ャがシーンチェンジのフレームに設定されている。その
ため、シーンチェンジ検出および処理では、図６（ｂ）
に示したように、このＰピクチャをＩピクチャに変更す
る。

【００４２】なお、シーンチェンジのフレームは、例え
ば、ビデオエンコーダ制御装置２４によって、符号化難
易度の測定の際に、Ｉピクチャ、Ｐピクチャについて、
輝度レベルの直流レベル、動き補償で用いる差分データ
の加算値をビデオエンコーダ２２から取得し、これら直
流レベルや差分データの加算値により検出することがで
きる。

【００４３】また、シーンチェンジ検出および処理と同
様に、フラッシュの検出および処理を行うこともでき
る。ここで言うフラッシュとは、例えば写真撮影のフラ
ッシュが点灯したような場合で、フラッシュのフレーム
を間に挟んで、前後のフレームで連続性が維持されてい
る場合である。フラッシュの検出および処理では、この
フラッシュを検出し、フラッシュの次のフレームをＩピ
クチャに変更する。

【００４４】次に、ビット配分部２５は、チャプタ処理
を行う（ステップＳ２０４）。ＤＶＤプレイヤでのチャ
プタサーチ時には、特定されないピクチャからチャプタ
へジャンプしてくるが、チャプタ処理は、その場合で
も、再生画像の乱れがないように、チャプタの位置が必
ずＧＯＰの先頭になるようにピクチャタイプを変更する
処理である。

【００４５】ここで、図７を参照して、チャプタ処理の
一例について説明する。図７（ａ）は、ＧＯＰの構成の
一例を表示順に示したものであり、ここでは、符号７０
で示したＰピクチャがチャプタのフレームに指定されて
いる。この場合、チャプタ処理では、Ｐピクチャ７０を
Ｉピクチャに変更すると共に、チャプタの直前のＢピク
チャ７１をＰピクチャに変更して、チャプタの前後のフ
レームにおいて、チャプタの前後に予測フレームが跨ら
ないようにＢピクチャ、Ｐピクチャを設定する。

【００４６】次に、ビット配分部２５は、符号化難易度
に基づいて、少なくとも１種類のフレーム間予測符号化
ピクチャ（Ｐピクチャ，Ｂピクチャ）に関して、符号化
難易度が所定の条件を満たすか否かを判断し、符号化難
易度が所定の条件を満たす場合に、ピクチャタイプをフ
レーム内符号化ピクチャ（Ｉピクチャ）または予測方向
の数がより少ないフレーム間予測符号化ピクチャ（Ｐピ
クチャ）に変更するピクチャタイプの変更処理を行う
（ステップＳ２０５）。このピクチャタイプの変更処理
は、具体的には、例えば、ＧＯＰ内のＢピクチャの符号
化難易度の平均値とＩピクチャの符号化難易度の比率が
第１の所定値を越える区間を、Ｂピクチャによる予測が
難しい区間として検出し、その区間内のＢピクチャのう
ち、ピクチャの符号化難易度とそのピクチャが属するＧ
ＯＰのＩピクチャの符号化難易度の比率が第２の所定値
を越え、且つピクチャの符号化難易度が第３の所定値を
越えたものについて、ピクチャタイプを、予測方向の数
がより少ないフレーム間予測符号化ピクチャであるＰピ
クチャに変更するという処理である。このようなピクチ
ャタイプの変更処理により、符号化する素材中の画像の
時間的または空間的な相関が悪い部分における動きベク
トルデータのデータ量を減少させることができ、その結
果、限られた割り当てデータ量の中で、実際のＤＣＴ係
数に関わる符号化データのデータ量を増加させて、画質
を改善させることができる。

【００４７】なお、ステップＳ２０３ないしステップＳ
２０５の各処理によって決定されたピクチャタイプの情
報は、後に、エンコーダコントロール部２６より、ピク
チャタイプの情報Ｓ₃として、ビデオエンコーダ２２の
画像並べ替え回路３１に与えられ、ビデオエンコーダ２
２では、ステップＳ２０３ないしステップＳ２０５の各
処理によって決定されたピクチャタイプに従って符号化
処理が行われることになる。

【００４８】次に、ビット配分部２５は、符号化難易度
の補間および補正処理を行う（ステップＳ２０６）。す
なわち、ステップＳ２０３ないしステップＳ２０５の各
処理によってピクチャタイプが変更されると、符号化難
易度を測定した際のピクチャタイプと正式な符号化処理
を行う際のピクチャタイプとが異なってしまうため、符
号化難易度の補間および補正処理では、ピクチャタイプ
が変更されたフレームに関して、例えば近接したフレー
ムの符号化難易度の値を利用して、符号化難易度の値が
変更後のピクチャタイプに応じた値となるように、符号
化難易度の補間または補正を行う。

【００４９】次に、ビット配分部２５は、補間および補
正処理後の符号化難易度と、スーパバイザ１８より与え
られたビット総量QTY BYTES 等に基づいて、各ピクチャ
への割り当てビット量targetを計算する（ステップＳ２
０７）。次に、ビット配分部２５は、計算した割り当て
ビット量targetに基づいて、圧縮画像データを記録する
ハードディスク装置１７上のアドレスを計算する（ステ
ップＳ２０８）。

【００５０】次に、ビット配分部２５は、符号化難易度
と割り当てビット量とに基づいて、正式な符号化の際の
量子化特性を推定するために、tg ratioの算出処理を行
う（ステップＳ２０９）。このtg ratioの算出処理につ
いては、後で詳しく説明する。

【００５１】次に、ビット配分部２５は、ステップＳ２
０８で計算したアドレスとステップＳ２０７で計算した
割り当てビット量targetとを順次記述して、ビデオエン
コーダ２２用のコントロールファイルCTL fileを作成す
る（ステップＳ２１０）。

【００５２】次に、ビット配分部２５は、画質の予測、
判別処理を実行して（ステップＳ２１１）、ビット配分
計算の処理を終了し、ビデオエンコード装置１１の動作
は、図４におけるステップＳ１０４へ進む。なお、画質
の予測、判別処理については、後で詳しく説明する。

【００５３】以下、ステップＳ２０７における割り当て
ビット量targetの計算方法の一例について説明する。こ
の例では、まず、スーパバイザ１８より与えられたビッ
ト総量QTY BYTES と最大ビットレートMAXRATE とに基づ
いて、次の式（１）により、最大ビットレート以下にな
るように制限を加えた総ビット量USB BYTES を求める。

【００５４】 USB BYTES ＝min(QTY BYTES,MAXRATE ×KT×total frame number) …（１）

【００５５】式（１）において、KTは定数であり、ＮＴ
ＳＣ方式の場合はKT＝１／８（bits）／３０（Hz）、Ｐ
ＡＬ方式の場合はKT＝１／８（bits）／２５（Hz）であ
る。total frame numberは、符号化する素材のフレーム
総数である。min(s,t)は、ｓとｔのうちで小さい方を選
択する関数である。

【００５６】次に、式（２）で示すように、式（１）で
求めたUSB BYTES から、ＧＯＰヘッダに必要なビット量
TOTAL HEADERを引いて、各ピクチャへの割り当てビット
量の総和の目標値となるビット量SUPPLY BYTESを算出す
る。

【００５７】 SUPPLY BYTES＝USB BYTES −TOTAL HEADER …（２）

【００５８】本例では、式（２）で求まったビット量SU
PPLY BYTESを、まず、ＧＯＰ単位に配分し、その後、各
ＧＯＰ内で各ピクチャの符号化難易度に応じて配分する
ものとする。ここでは、各ＧＯＰ毎の符号化難易度の和
gop diffに応じて、符号化する際のＧＯＰ単位のビット
割当量gop targetを配分している。図８は、この符号化
難易度の和gop diffとＧＯＰ単位のビット割当量gop ta
rgetとを変換する関数の一例を示したものである。この
例では、Ｙをgop target、Ｘをgop diffとして、Ｙ＝Ａ
Ｘ＋Ｂという評価関数を用いている。この評価関数を用
いて、割り当てビット量targetを以下のようにして求め
る。

【００５９】まず、次の式（３）により、全てのピクチ
ャの符号化難易度の総和DIFFICULTYSUMを求める。な
お、difficultyは、各ピクチャの符号化難易度である。

【００６０】 DIFFICULTY SUM＝Σdifficulty …（３）

【００６１】ここで、評価関数Ｙ＝ＡＸ＋Ｂより、次の
式（４）が成り立つ。

【００６２】ΣＹ＝Ａ×ΣＸ＋Ｂ×ｎ …（４）

【００６３】ここで、ΣＹ＝SUPPLY BYTES、ΣＸ＝DIFF
ICULTY SUMであり、ｎはＧＯＰの総数である。また、Ｂ
を、ＧＯＰ単位のビット割り当て量の最小値gop minbyt
esとする。

【００６４】従って、式（４）により、Ａは次の式
（５）で表される。

【００６５】Ａ＝（SUPPLY BYTES−gop minbytes×ｎ）／DIFFICULTY SUM …（５）

【００６６】ＧＯＰ単位のビット割り当て量gop target
は上述の評価関数より、次の式（６）で表される。

【００６７】gop target＝Ａ×gop diff＋Ｂ …（６）

【００６８】この式（６）中のＡは式（５）で与えら
れ、Ｂはgop minbytesである。

【００６９】次に、式（６）で求まったＧＯＰ単位のビ
ット割り当て量gop targetを、各ＧＯＰ内で各ピクチャ
の符号化難易度に応じて配分する。ＧＯＰ内での各ピク
チャへのビット配分を符号化難易度の大きさに比例させ
た場合には、各ピクチャの割り当てビット量targetは、
次の式（７）により求められる。

【００７０】 target(k) ＝gop target×difficulty(k) ／gop diff …（７）

【００７１】なお、式（７）において、ｋはＧＯＰ内の
ピクチャ数を越えない任意の値とし、target(k) はｋ番
目のピクチャの割り当てビット量、difficulty(k) はｋ
番目のピクチャの符号化難易度を表す。

【００７２】このようにして、各ピクチャの割り当てビ
ット量targetが計算されるが、素材の中に極端に難しい
（各ＧＯＰごとの符号化難易度の和gop diffの値が大き
くなる）ピクチャがあると、ＧＯＰ単位のビット割り当
て量gop targetの値が非常に大きくなり、オーサリング
装置において許容されている最大ビットレートMAXRATE
を越えてしまうため、ＧＯＰ単位のビット割り当て量go
p targetには、図７に示したように、ＧＯＰ単位のビッ
ト割り当て量の最大値gop maxbytesといった固定値で制
限をかける必要がある。また、割り当てビット量target
の最小値は、前述のgop minbytesによって制限される。

【００７３】以上のようにして求められた各ピクチャの
割り当てビット量targetは、更に、次のようにして修正
される。すなわち、ＭＰＥＧ２規格でビデオデータを符
号化するときには、デコーダ（復号化装置）における入
力バッファに対応する仮想的なバッファのバッファ残量
を考慮しながらビット配分をすることが義務づけられて
いる。この仮想的なバッファの残量の計算をＶＢＶ（Vi
deo buffering verifier）という。また、この仮想的な
バッファをＶＢＶバッファともいう。ここで、図９を参
照して、ＶＢＶの計算方法について説明する。ＤＶＤの
場合、バッファサイズVBVMAX（例えば１．７５Mbits ）
に対して、ｋ番目のピクチャにおけるバッファのスター
ト点をOccupancy up（ｋ）、ｋ番目のピクチャの割り当
てビット量をtargetを（ｋ）とすると、ピクチャ再生の
ためにビットを供給した後のバッファ残量Occupancy do
wn（ｋ）は以下の式（９）で表される。なお、バッファ
のスタート点の初期値Occupancy up（０）は例えば式
（８）で表される固定値とする。

【００７４】 Occupancy up（０）＝VBVMAX×２／３ …（８） Occupancy down（ｋ）＝Occupancy up（ｋ）−target（ｋ） …（９）

【００７５】このバッファには、デコーダ側のピックア
ップから、ビデオデータのデータ量に応じたビットレー
トのデータ量SYSTEM SUPPLY が蓄積される。ここで、デ
ータ量SYSTEM SUPPLY は次の式（１０）で表される。

【００７６】 SYSTEM SUPPLY ＝MAXRATE ×TW …（１０）

【００７７】なお、TWは、ピクチャの周期であり、ＮＴ
ＳＣ方式の場合は１／２９．９７、ＰＡＬ方式の場合は
１／２５である。

【００７８】このデータ量SYSTEM SUPPLY が供給された
後のバッファ残量Occupancy up（ｋ＋１）は次の式（１
１）で表される。

【００７９】 Occupancy up（ｋ＋１）＝Occupancy down（ｋ）＋SYSTEM SUPPLY …（１１）この供給されるデータ量SYSTEM SUPPLY は、図９におい
て、Occupancy down（ｋ）とOccupancy up（ｋ＋１）と
の間の変化量に相当する。従って、供給されるデータの
ビットレートが大きいほど、Occupancy down（ｋ）から
Occupancy up（ｋ＋１）への変化の傾きは大きくなり、
バッファにデータが蓄積されやすくなる。バッファが飽
和状態となった場合には、ピックアップからバッファへ
の供給が停止するため、バッファのオーバフローに関し
ては考慮する必要はない。これは、バッファ残量の任意
の設定値に厳密に制御する必要はなく、任意の設定値以
上になるように制御すればよいことを意味している。

【００８０】一方、各ピクチャのデータ量が大きい場
合、バッファに蓄積されたデータは大きく減少する。従
って、バッファ残量が一定値以下にならないように割り
当てビット量targetを修正する必要がある。

【００８１】ここで、図１０および図１１を参照して、
上述のようなＶＢＶの制限による割り当てビット量targ
etの修正処理について説明する。図１０（ａ）は、前述
の評価関数とＧＯＰ単位のビット割り当て量の最大値go
p maxbytesの制限を考慮して求めた割り当てビット量ta
rget、すなわち、式（７）によって求めた割り当てビッ
ト量targetの一例を示し、図１０（ｂ）は、図１０
（ａ）に対応するＶＢＶバッファ残量の変化を示してい
る。なお、図中、VBVMAXはＶＢＶバッファ残量の上限
値、VBVMINはＶＢＶバッファ残量の下限値である。この
例では、第１番目、第４番目、第７番目のピクチャで、
ＶＢＶバッファ残量は下限値VBVMINを下回っている。従
って、このままでは、デコーダ側において、連続したビ
デオデータの再生が一時途切れるおそれがある。

【００８２】そこで、ＶＢＶの制限による割り当てビッ
ト量の修正処理では、下限値VBVMINを下回ったピクチャ
を含むＧＯＰの割り当てビット量を削減する。具体的に
は、まず、ＧＯＰ内でＶＢＶバッファ残量による制限を
加える前の割り当てビット量を用いてＶＢＶ計算を実行
したときのバッファ残量の最小値をOcc Min として、調
整量ｒを、次の式（１２）によって求める。なお、制限
を行うスタート点kstartは、Occupancy up（ｋ）が基準
値VBVLINE （例えばVBVMAXの４分の３）以上となるとき
のｋの値で、このときのOccupancy up（ｋ）の値をOcc
start とする。また、VBVSTARTは、Occupancy up（０）
となる固定値である。

【００８３】 Occ Min ＜VBVMINのときｒ＝（Occ start −VBVMIN）／（VBVSTART−Occ min ） …（１２）

【００８４】次に、この調整量ｒを用いて、次の式（１
３）により、修正後の割り当てビット量targetを求め
る。

【００８５】 target（ｊ）＝target′（ｊ）×ｒ …（１３）

【００８６】ただし、target′は、修正前の割り当てビ
ット量を表している。また、ｊは、kstart≦ｊ≦k であ
る。

【００８７】図１１（ａ）は、式（１３）に従って、Ｖ
ＢＶの制限による割り当てビット量の修正処理を行った
後の割り当てビット量targetの一例を示し、図１１
（ｂ）は、図１１（ａ）に対応するＶＢＶバッファ残量
の変化を示している。このように、ＶＢＶの制限による
割り当てビット量の修正処理を行うことによって、図１
１（ｂ）に示した調整区間（kstart≦ｊ≦k の区間）Ｒ
Ｃにおいて、ＶＢＶバッファ残量は下限値VBVMINを上回
るようになる。

【００８８】このようにして求められた割り当てビット
量targetを用いて作成されたコントロールファイルCTL
fileに基づいて、エンコーダコントロール部２６よりビ
デオエンコーダ２２の量子化インデックス決定部４３に
割り当てビット量の情報Ｓ₄を与えて、ビデオエンコー
ダ２２において符号化処理を行うことにより、素材の画
像の難しさに応じた可変ビットレートの符号化が実行さ
れる。

【００８９】次に、図５におけるステップＳ２０９のtg
ratioの算出処理およびステップＳ２１１の画質の予
測、判別処理による正式な符号化の際の量子化特性の推
定と与えられた符号化条件による符号化後の画質の予測
について詳しく説明する。なお、以下の説明では、次の
ような記号を用いる。

【００９０】１． gen bit （ｋ）予備的な符号化によって測定されたｋ番目のフレームの
符号化難易度の値であり、この値が大きいほど画像が難
しいことを表す。なお、ｋは０以上kend（ＧＯＰの最後
のｋ）以下の値とする。２． target（ｋ）符号化条件に従ってビット配分されたｋ番目のフレーム
の割り当てビット量の値であり、この値が大きいほど画
像が難しいことを表す。３． gop start （ｋ）ｋ番目のフレームがＧＯＰの先頭である場合は１とし、
それ以外は０となる。４． index （ｋ）ｋ番目のフレームのインデックス情報であり、特に、１
のときはチャプタポイントであることを表し、９のとき
は画質チェックポイントであることを表す。５． total gop nb ＧＯＰの総数である。６． gop gen bits（ｊ）ｊ番目のＧＯＰ内の符号化難易度の和を表す。なお、ｊ
は０以上total gop nb未満の値とする。７． gop target（ｊ）ｊ番目のＧＯＰ内の割り当てビット量の和を表す。８． tg ratio（ｊ）ｊ番目のＧＯＰ内の符号化難易度の和と割り当てビット
量の和の比率を表し、次の式（１４）により求められ
る。

【００９１】 tg ratio（ｊ）＝gop gen bits（ｊ）／gop target（ｊ） …（１４）

【００９２】９． sum tg ratio 全ＧＯＰにおけるtg ratioの総和を表し、次の式（１
５）により求められる。 sum tg ratio＝Σtg ratio（ｊ） …（１５）

【００９３】１０． avr tg ratio 全ＧＯＰにおけるtg ratioの平均値を表し、次の式（１
６）により求められる。

【００９４】 avr tg ratio＝sum tg ratio／total gop nb …（１６）

【００９５】１１． max tg ratio 全ＧＯＰにおけるtg ratioの最大値を表し、次の式（１
７）により求められる。なお、MAX （）は、（）のうち
の最大値をとる関数である。

【００９６】 max tg ratio＝MAX （tg ratio（ｊ）） …（１７）

【００９７】１２． func（）正式な符号化の際の量子化ステップ数を予測するための
予測関数である。１３． gop Quant （ｊ）ｊ番目のＧＯＰの符号化結果の平均量子化ステップ数の
予測値を表し、次の式（１８）により求められる。

【００９８】 gop Quant （ｊ）＝func（tg ratio（ｊ）） …（１８）

【００９９】１４． avr Quant 全ＧＯＰの符号化結果の平均量子化ステップ数の予測値
を表し、次の式（１９）により求められる。

【０１００】 avr Quant ＝func（avr tg ratio） …（１９）

【０１０１】１５． max Quant 全ＧＯＰの符号化結果の最大量子化ステップ数の予測値
を表し、次の式（２０）により求められる。

【０１０２】 max Quant ＝func（max tg ratio） …（２０）

【０１０３】１６． AVR Q LIMIT 符号化後の画質を予測、判別するためのavr Quant に対
する閾値である。１７． MAX Q LIMIT 符号化後の画質を予測、判別するためのmax Quant に対
する閾値である。１８． GOP Q LIMIT 符号化後の画質を予測、判別するためのgop Quant に対
する閾値である。

【０１０４】本実施の形態において、予備的な符号化に
おける符号化難易度の測定では、符号化の際の量子化ス
テップ数を固定値に設定した条件で、発生ビット量を測
定し、その発生ビット量を符号化難易度の値とみなして
いる。従って、そのときの符号化難易度の値の平均値と
ビット配分によって与えられた割り当てビット量の平均
値との関係から、正式な符号化の際の平均量子化ステッ
プ数を推定することができる。

【０１０５】図１２は、本実施の形態におけるシステム
を用いて、様々な素材および符号化条件で、予備的な符
号化および正式な符号化を行った結果におけるavr tg r
atioと実際の平均量子化ステップ数との関係を示したも
のである。なお、量子化ステップ数は、小さいほど、細
かい情報を符号化することとなるため、相対的に画質の
向上を意味する。図１２から、avr tg ratioと実際の平
均量子化ステップ数は、増加関数の関係にあることが分
かる。従って、適切な予測関数を用いれば、実際に正式
な符号化を行う前に、avr tg ratioから、実際の平均量
子化ステップ数を予測することが可能である。

【０１０６】ここでは、図１２の関係に基づいて、一例
として、予測関数func（）を、次の式（２１）で定義す
る。また、この予測関数を、図１２において、符号８０
で示す。

【０１０７】func（ｘ）＝９．５ｘ＋５ …（２１）

【０１０８】また、一例として、各閾値を次のように設
定する。 AVR Q LIMIT ＝１２ MAX Q LIMIT ＝３０ GOP Q LIMIT ＝２４

【０１０９】次に、図１３の流れ図を参照して、図５に
おけるステップＳ２０９のtg ratioの算出処理について
説明する。なお、ビデオエンコーダ制御装置２４では、
tg ratioの算出処理が開始される時点で既に各ＧＯＰの
gop gen bits、gop targetおよびtotal gop nbは算出さ
れているものとする。tg ratioの算出処理では、まず、
ビデオエンコーダ制御装置２４のビット配分部２５は、
初期設定値としてｊおよびｋの値を０とすると共に、su
m tg ratioおよびmax tg ratioも０とする（ステップＳ
３０１）。次に、ビット配分部２５は、gop start
（ｋ）の値が１か否かを判断することにより、ｋ番目の
フレームがＧＯＰの先頭か否かを判断する（ステップＳ
３０２）。

【０１１０】gop start （ｋ）が１、すなわちｋ番目の
フレームがＧＯＰの先頭である場合（ステップＳ３０
２；Ｙ）には、ｊ＋１を新たなｊとし、式（１４）より
tg ratio（ｊ）を求め、sum tg ratio＋tg ratio（ｊ）
を新たなsum tg ratioとする（ステップＳ３０３）。

【０１１１】次に、tg ratio（ｊ）がmax tg ratioを越
えているか否かを判断する（ステップＳ３０４）。tg r
atio（ｊ）がmax tg ratioを越えている場合（ステップ
Ｓ３０４；Ｙ）は、tg ratio（ｊ）を新たなmax tg rat
ioとする（ステップＳ３０５）。次に、式（１８）よ
り、gop Quant （ｊ）を求める（ステップＳ３０６）。
次に、gop Quant （ｊ）がGOP Q LIMIT を越えているか
否かを判断する（ステップＳ３０７）。gop Quant
（ｊ）がGOP Q LIMIT を越えている場合（ステップＳ３
０７；Ｙ）は、index （ｋ）を、画質チェックポイント
であることを示す９とする（ステップＳ３０８）。次
に、ｋ＋１を新たなｋとして（ステップＳ３０９）、ｋ
がkendを越えているか否かを判断する（ステップＳ３１
０）。ｋがkendを越えている、すなわち最後のＧＯＰま
で処理を行った場合（ステップＳ３１０；Ｙ）、tg rat
ioの算出処理を終了する。ｋがkendを越えていない場合
（ステップＳ３１０；Ｎ）は、ステップＳ３０１に戻
り、次のＧＯＰについて、ステップＳ３０１ないしステ
ップＳ３１０の処理を実行する。

【０１１２】ステップＳ３０２において、gop start
（ｋ）が１ではない、すなわちｋ番目のフレームがＧＯ
Ｐの先頭ではない場合（Ｎ）、およびステップＳ３０７
において、gop Quant （ｊ）がGOP Q LIMIT を越えてい
ない場合（Ｎ）は、ステップＳ３０９に進む。また、ス
テップＳ３０４において、tg ratio（ｊ）がmax tg rat
ioを越えていない場合（Ｎ）は、ステップＳ３０６に進
む。

【０１１３】以上のようなtg ratioの算出処理を簡単に
言うと、ＧＯＰ内の符号化難易度の和と割り当てビット
量の和からtg ratioを求め、このtg ratioから、予測関
数func（）を用いて、ＧＯＰの符号化結果の平均量子化
ステップ数の予測値gop Quant を求め、この予測値gop
Quant が閾値GOP Q LIMIT を越えた場合には、インデッ
クス情報index （ｋ）を画質チェックポイントであるこ
とを示す９とするいうものである。

【０１１４】次に、図１４の流れ図を参照して、図５に
おけるステップＳ２１１の画質の予測、判別処理につい
て説明する。画質の予測、判別処理では、まず、ビデオ
エンコーダ制御装置２４のビット配分部２５は、式（１
６）よりavr tg ratioを求め、このavr tg ratioから式
（１９）を用いてavr Quant を求め、図１３のステップ
Ｓ３０５で求めたmax tg ratioから式（２０）を用いて
max Quant を求める（ステップＳ４０１）。次に、ビッ
ト配分部２５は、avr Quant がAVR Q LIMIT を越えてい
るか否かを判断する（ステップＳ４０２）。avr Quant
がＡＶＲＱＬＩＭＩＴを越えている場合（ステップ
Ｓ４０２；Ｙ）には、スーパバイザ１８より与えられた
ビット総量ＱＴＹＢＹＴＥＳが不足している旨の警
告を示す情報をＧＵＩ部２８に出す（ステップＳ４０
３）。

【０１１５】次に、ビット配分部２５は、max Quant が
MAX Q LIMIT を越えているか否かを判断する（ステップ
Ｓ４０４）。max Quant がMAX Q LIMIT を越えている場
合（ステップＳ４０４；Ｙ）には、スーパバイザ１８よ
り与えられた最大ビットレートMAXRATE が不足している
旨の警告を示す情報をＧＵＩ部２８に出して（ステップ
Ｓ４０５）、画質の予測、判別処理を終了する。

【０１１６】ステップＳ４０２において、avr Quant が
AVR Q LIMIT を越えていない場合（Ｎ）は、ステップＳ
４０４に進む。また、ステップＳ４０４において、max
Quant がMAX Q LIMIT を越えていない場合（Ｎ）は、画
質の予測、判別処理を終了する。

【０１１７】ＧＵＩ部２８は、ステップＳ４０３または
ステップＳ４０５によって出力される情報に従って、ユ
ーザインタフェースを用いて警告を出す。

【０１１８】以上のような画質の予測、判別処理を簡単
に言うと、avr tg ratioとmax tg ratioから、それぞれ
予測関数func（）を用いて、全ＧＯＰの符号化結果の平
均量子化ステップ数の予測値avr Quant と全ＧＯＰの符
号化結果の最大量子化ステップ数の予測値max Quant と
を求めることによって画質を予測し、予測値avr Quant
、max Quant を、それぞれ閾値AVR Q LIMIT 、MAX Q L
IMIT と比較することで、画質を判別し、予測値avr Qua
nt が閾値AVR Q LIMIT を越えている場合にはビット総
量QTY BYTES が不足している旨の警告を示す情報（与え
られた符号化条件が不適切である旨の情報）を出し、予
測値max Quant が閾値MAX Q LIMIT を越えている場合に
は最大ビットレートMAXRATE が不足している旨の警告を
示す情報（与えられた符号化条件が不適切である旨の情
報）を出すというものである。

【０１１９】以上説明したように本実施の形態によれ
ば、正式な符号化処理を行う前に、与えられた符号化条
件による符号化後の画質を予測することが可能となる。
具体的には、予測値avr Quant と閾値AVR Q LIMIT を用
いることで、与えられた符号化条件による符号化後の画
質に対する警告（画質の劣化の制限）を行うことが可能
となる。avr Quant が大き過ぎるということは、スーパ
バイザ１８より与えられた符号化条件のうち、素材の符
号化難易度に対してビデオデータに割り当てられたビッ
ト総量QTY BYTES が不十分であることを意味するため、
スーパバイザ１８に対してビット総量QTY BYTES を増や
してもらうように提言することになる。

【０１２０】また、同様に、予測値max Quant と閾値MA
X Q LIMIT を用いることで、難しい画像に対する警告
（画質の劣化の制限）を行うことが可能となる。max Qu
ant が大き過ぎるということは、スーパバイザ１８より
与えられた符号化条件のうち、素材の難しい箇所の符号
化難易度の分布に対して最大ビットレートMAXRATE が不
十分であることを意味するため、スーパバイザ１８に対
して最大ビットレートMAXRATE を増やしてもらうように
提言することになる。

【０１２１】このようなビデオデータの符号化条件の変
更は、ディスク全体の仕様変更が伴うため、できるだけ
早い時点で判断できないと、大幅な作業時間の無駄を招
く。従来の方法では、正式な符号化が終了した時点での
画質評価の結果が出るまで、符号化条件の変更の判断が
できなかったため、符号化条件の変更によって、ビデオ
工程従事者の単独の作業時間の無駄だけでなく、並行し
て作業しているオーディオ工程従事者のそれまでの作業
をやり直すケースも発生する等、ディスク作成の作業全
体として大幅な作業時間の無駄が発生していた。これに
対し、本実施の形態によれば、正式な符号化を行う前の
比較的早い時点で、与えられた符号化条件による符号化
後の画質を予測でき、符号化条件の変更が必要か否かを
判断できるため、作業時間の短縮が可能となる。

【０１２２】また、本実施の形態では、ＧＯＰの符号化
結果の平均量子化ステップ数の予測値gop Quant が閾値
GOP Q LIMIT を越えた場合には、インデックス情報inde
x （ｋ）を画質チェックポイントであることを示す９と
している。インデックス情報index （ｋ）は、それが特
定の値の場合には、図５におけるステップＳ２１０でコ
ントロールファイルCTL fileを作成する際に、時間情報
であるタイムコードと対応付けられて、インデックス情
報ファイルとして記録される。使用者は、ＧＵＩ部２８
を介して、このインデックス情報ファイルを利用するこ
とができる。

【０１２３】以下に、インデックス情報ファイルの一例
を示す。なお、この例では、ロール番号も併記されてい
る。

【０１２４】

【０１２５】このように、予測値gop Quant が閾値GOP
Q LIMIT を越えた場合に、その旨を、ＧＯＰの時間情報
等と共にインデックス情報として記録することにより、
使用者が、画質に問題がありそうな箇所の数や場所を瞬
時に把握することが可能となる。このようなインデック
ス情報により、その場所を重点的にチェックしたり、カ
スタマイズしたりすることが可能となるため、作業効率
を大幅に向上させることが可能となる。例えば、インデ
ックス情報を用いることで、カスタマイズやプレビュー
が何度か繰り返される場合に、処理の開始点や終了点の
タイムコードの指定を迅速に行うことが可能となる。ま
た、符号化の前に施す時間的、空間的なフィルタの変化
点だけをサーチするといった内容を指定して検索するこ
とも可能となる。

【０１２６】以上説明したように、本実施の形態によれ
ば、早い時点で、与えられた符号化条件による符号化後
の画質を予測でき、その結果、符号化条件の評価および
符号化作業の効率化が可能となる。

【０１２７】なお、本発明は上記実施の形態に限定され
ず、例えば、実施の形態では、正式な符号化の際の量子
化特性を推定するためのパラメータとして、ＧＯＰ内の
符号化難易度の和と割り当てビット量の和の比率tg rat
ioや、tg ratioの総和sum tgratioや、tg ratioの平均
値avr tg ratioや、tg ratioの最大値max tg ratioを用
いたが、正式な符号化の際の量子化特性を推定するため
のパラメータとしては、これらに限らず、例えば、符号
化難易度と割り当てビット量の比率の分散値等を用いて
もよい。

【０１２８】また、予測関数は、式（２１）のような一
次関数に限らず、より精度の高い関数を用いてもよい。

【０１２９】また、与えられた符号化条件が適切か否か
を判断するための条件は、実施の形態で挙げた例に限ら
ず、適宜に設定可能である。

【０１３０】また、符号化難易度は、実施の形態で挙げ
たように、予備的な符号化によって得られる発生ビット
量に限らず、ピクチャの符号化の難易度を表すパラメー
タであればよい。

【０１３１】

【発明の効果】以上説明したように本発明の画像符号化
装置によれば、符号化難易度測定手段によって、量子化
特性を固定した予備的な符号化によって得られるデータ
に基づいて各ピクチャ毎に符号化難易度を測定し、割り
当て符号量決定手段によって、与えられた符号化条件に
基づいて、正式な符号化の際の各ピクチャ毎の割り当て
符号量を決定し、量子化特性推定手段によって、符号化
難易度と割り当て符号量とに基づいて、正式な符号化の
際の量子化特性を推定するようにしたので、早い時点
で、与えられた符号化条件による符号化後の画質を予測
でき、その結果、符号化条件の評価および符号化作業の
効率化が可能となるという効果を奏する。

【０１３２】また、本発明の画質予測方法によれば、量
子化特性を固定した予備的な符号化によって得られるデ
ータに基づいて各ピクチャ毎に符号化難易度を測定し、
与えられた符号化条件に基づいて、正式な符号化の際の
各ピクチャ毎の割り当て符号量を決定し、符号化難易度
と割り当て符号量とに基づいて、正式な符号化の際の量
子化特性を推定することによって、与えられた符号化条
件による符号化後の画質を予測するようにしたので、早
い時点で、与えられた符号化条件による符号化後の画質
を予測でき、その結果、符号化条件の評価および符号化
作業の効率化が可能となるという効果を奏する。

【図面の簡単な説明】

【図１】本発明の一実施の形態に係る画像符号化装置と
してのビデオエンコード装置の構成を示すブロック図で
ある。

【図２】本発明の一実施の形態に係る画像符号化装置と
してのビデオエンコード装置を含むＤＶＤ用のオーサリ
ング装置の構成を示すブロック図である。

【図３】図１におけるビデオエンコーダの構成の一例を
示すブロック図である。

【図４】本発明の一実施の形態に係る画像符号化装置と
してのビデオエンコード装置の動作を示す流れ図であ
る。

【図５】図４におけるビット配分計算処理の詳細を説明
するための流れ図である。

【図６】図５におけるシーンチェンジ検出および処理を
説明するための説明図である。

【図７】図５におけるチャプタ処理を説明するための説
明図である。

【図８】図５における割り当てビット量の計算処理に用
いる評価関数を示す説明図である。

【図９】図５における割り当てビット量の計算処理に用
いるＶＢＶの計算方法を説明するための説明図である。

【図１０】図５における割り当てビット量の計算処理中
のＶＢＶの制限による割り当てビット量の修正処理につ
いて説明するための説明図である。

【図１１】図５における割り当てビット量の計算処理中
のＶＢＶの制限による割り当てビット量の修正処理につ
いて説明するための説明図である。

【図１２】本実施の形態において符号化難易度の値の平
均値と割り当てビット量の平均値との関係から正式な符
号化の際の平均量子化ステップ数を推定する方法につい
て説明するための特性図である。

【図１３】図５におけるtg ratioの算出処理を説明する
ための流れ図である。

【図１４】図５における画質の予測、判別処理を説明す
るための流れ図である。

【図１５】ＧＯＰの構造を説明するための説明図であ
る。

【符号の説明】

１１…ビデオエンコード装置、１８…スーパバイザ、２
２…ビデオエンコーダ、２４…ビデオエンコーダ制御装
置、２５…ビット配分部、２６…エンコーダコントロー
ル部、２７…ＶＴＲコントロール部、２８…ＧＵＩ部。

Claims

【特許請求の範囲】

【請求項１】量子化を含む符号化処理によって入力画
像データを符号化すると共に、割り当て符号量に応じて
量子化特性を変化させることの可能な符号化手段と、この符号化手段に対して、量子化特性を固定して、正式
な符号化を行う前の予備的な符号化を行わせ、得られる
データに基づいて各ピクチャ毎に符号化の難易度を表す
符号化難易度を測定する符号化難易度測定手段と、与えられた符号化条件に基づいて、正式な符号化の際の
各ピクチャ毎の割り当て符号量を決定する割り当て符号
量決定手段と、前記符号化難易度測定手段によって測定された符号化難
易度と前記割り当て符号量決定手段によって決定された
割り当て符号量とに基づいて、正式な符号化の際の量子
化特性を推定する量子化特性推定手段とを備えたことを
特徴とする画像符号化装置。
【請求項２】前記量子化特性推定手段は、前記符号化
難易度と前記割り当て符号量との比率に基づいて、正式
な符号化の際の量子化特性を推定することを特徴とする
請求項１記載の画像符号化装置。
【請求項３】前記量子化特性推定手段は、推定した量
子化特性が所定の条件を満たす場合に、与えられた符号
化条件が不適切である旨の情報を出力することを特徴と
する請求項１記載の画像符号化装置。
【請求項４】前記量子化特性推定手段は、推定した量
子化特性が所定の条件を満たすピクチャを示す情報を記
録することを特徴とする請求項１記載の画像符号化装
置。
【請求項５】前記割り当て符号量決定手段は、与えら
れた符号化条件と前記符号化難易度測定手段によって測
定された符号化難易度とに基づいて、正式な符号化の際
の各ピクチャ毎の割り当て符号量を決定することを特徴
とする請求項１記載の画像符号化装置。
【請求項６】量子化を含む符号化処理によって入力画
像データを符号化すると共に、割り当て符号量に応じて
量子化特性を変化させることの可能な符号化手段に対し
て、量子化特性を固定して、正式な符号化を行う前の予
備的な符号化を行わせ、得られるデータに基づいて各ピ
クチャ毎に符号化の難易度を表す符号化難易度を測定す
る符号化難易度測定手順と、与えられた符号化条件に基づいて、正式な符号化の際の
各ピクチャ毎の割り当て符号量を決定する割り当て符号
量決定手順と、前記符号化難易度測定手順によって測定された符号化難
易度と前記割り当て符号量決定手順によって決定された
割り当て符号量とに基づいて、正式な符号化の際の量子
化特性を推定することによって、与えられた符号化条件
による符号化後の画質を予測する画質予測手順とを含む
ことを特徴とする画質予測方法。
【請求項７】前記画質予測手順は、前記符号化難易度
と前記割り当て符号量との比率に基づいて、正式な符号
化の際の量子化特性を推定することを特徴とする請求項
６記載の画質予測方法。
【請求項８】前記画質予測手順は、推定した量子化特
性が所定の条件を満たす場合に、与えられた符号化条件
が不適切である旨の情報を出力することを特徴とする請
求項６記載の画質予測方法。
【請求項９】前記画質予測手順は、推定した量子化特
性が所定の条件を満たすピクチャを示す情報を記録する
ことを特徴とする請求項６記載の画質予測方法。
【請求項１０】前記割り当て符号量決定手順は、与え
られた符号化条件と前記符号化難易度測定手順によって
測定された符号化難易度とに基づいて、正式な符号化の
際の各ピクチャ毎の割り当て符号量を決定することを特
徴とする請求項６記載の画質予測方法。