JPH09261631A

JPH09261631A - 目標符号量制御方法

Info

Publication number: JPH09261631A
Application number: JP7285596A
Authority: JP
Inventors: Kanji Mihara; 寛司三原
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1996-03-27
Filing date: 1996-03-27
Publication date: 1997-10-03
Anticipated expiration: 2016-03-27
Also published as: JP3767007B2

Abstract

(57)【要約】【課題】適切なビット量の割り当てを実現して、復元
時における画像の画質を向上させることを目的とする。【解決手段】入力画像データを第１エンコーダでエン
コードすると共に、この入力画像データをＦＩＦＯで遅
延させその出力を第２エンコーダに供給し、第１エンコ
ーダにおけるエンコードにより求められるディフィカル
ティデータに基いてターゲットビット量データを求め、
上記ＦＩＦＯからの画像データを第２エンコーダでエン
コードするときにターゲットビット量となるよう制御す
る際、１枚分の画像の符号化の都度、以降のＬ枚の画像
のディフィカルティの合算値に対する符号化する画像の
ディフィカルティの比率に、Ｌ枚の画像に割り当てられ
る平均ビット量データを乗じてターゲットビット量デー
タを得る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えばディジタル
・ビデオ・ディスク（ＤＶＤ）等のオーサリングシステ
ムや、ディジタル放送（ＤｉｇｉｔａｌＶｉｄｅｏ
Ｂｒｏａｄｃａｓｔｉｎｇ：ＤＶＢ）ディジタルデータ
の伝送システム等に適用して好適な目標符号量制御方法
及びその装置に関する。

【０００２】

【従来の技術】映像や音声信号をディジタルデータに変
換し、当該ディジタルデータに対して変換符号化処理を
施すことにより、記録時におけるディジタルデータのデ
ータ量を減らす技術は、ＭＰＥＧ（ＭｏｖｉｎｇＰｉ
ｃｔｕｒｅｓＥｘｐｅｒｔＧｒｏｕｐ）により、標準
化されている。映像データはマクロブロック毎にインタ
ー若しくはイントラ符号化のための処理が施された後
に、符号化処理が施される。上記インター符号化のため
の処理とは、現在のフレームの画像データと過去のフレ
ームの画像データとの差分を取り、その差分に対して符
号化処理を施すことである。つまり、既に過去のフレー
ムの画像データが送られているのならば、その差だけ送
れば現在のフレームの当該画像データの復元は簡単に行
うことができるのである。

【０００３】差分をとるために必要な処理が、動き検出
と動き補償である。動き検出は、現在のフレームの注目
マクロブロックとの画素値の差分絶対値和が最も小さい
マクロブロックが、過去の参照フレームのどの位置にあ
るのかを検出する処理である。この検出は、現在のフレ
ームの注目マクロブロックの位置から、Ｘ及びＹ方向に
何画素分移動すれば現在のフレームの注目マクロブロッ
クと参照フレームの画素値の差分絶対値和が最小となる
のかを見ることにより実現される。通常、このＸ及びＹ
方向への画素単位の移動量データを動きベクトルデータ
と称している。

【０００４】動き補償は、過去の参照フレーム上におい
て、注目マクロブロックの位置から、上記動きベクトル
データの指し示す位置を求め、その位置のマクロブロッ
クデータを抽出する処理を言う。そして、抽出された過
去の参照マクロブロックと、現在の注目マクロブロック
との差分、即ち、動き予測誤差が求められる。尚、ここ
で用いられる過去の参照フレームとしては、局部復号器
（ＬｏｃａｌＤｅｃｏｄｅｒ）からの出力フレームが
用いられる。

【０００５】動き予測誤差信号は、空間方向の相関性を
取り除くために、例えば離散余弦変換（Ｄｉｓｃｒｅｔ
ｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ：以下単にＤＣ
Ｔと称する）に代表されるような、直交変換をあるブロ
ック単位で施す。変換されたＤＣＴ係数は、ある量子化
ステップで割算する、量子化と呼ばれる処理で微小な信
号の切り捨てを行い、その商の整数値のみを、量子化イ
ンデックスと共に出力する。このようにして、量子化さ
れたＤＣＴ係数、量子化インデックス、及び上記動きベ
クトルデータは、可変長符号化（ＶａｌｉａｂｌｅＬ
ｅｎｇｔｈＣｏｄｉｎｇ：ＶＬＣ）されて出力され
る。

【０００６】一方、イントラ符号化処理においては、上
述したような動き検出や動き補償処理が施されず、画素
値がそのままブロック単位に直交変換され、同様に量子
化、ＶＬＣが施されて出力される。

【０００７】以上説明したような処理により、画像デー
タの時間方向、及び空間方向の冗長性を取り除くことに
よって、情報量の圧縮が実現されるのである。

【０００８】尚、ＭＰＥＧ等において、１枚のイントラ
符号化されたフレーム、即ち、Ｉ（Ｉｎｔｒａ）ピクチ
ャと、複数の、インター符号化されたフレーム、即ち、
Ｐ（Ｐｒｅｄｉｃｔｉｖｅ）ピクチャやＢ（Ｂｉｄｉｒ
ｅｃｔｉｏｎａｌｙＰｒｅｄｉｃｔｉｖｅ）ピクチャ
との組み合わせでＧＯＰ（ＧｒｏｕｐｏｆＰｉｃｔ
ｕｒｅ）を構成する。

【０００９】このような画像圧縮技術は、例えばＤＶＤ
（ＤｉｇｉｔａｌＶｉｄｅｏＤｉｓｋ）等では、画
像及び音声データが１枚の光ディスクに記録できるよう
に、或いは、通信回線や衛星回線を用いた画像音声の伝
送においては、回線容量の中で動画像と音声データを伝
送できるように用いられているのである。

【００１０】ところで、例えばＤＶＤをＲＯＭディスク
で構成する場合などのオーサリングにおいては、圧縮符
号化された画像データが、ディスクの容量内に収まる必
要があるのは勿論のこと、その符号量の範囲内で、最も
高い画質が実現するような符号量配分が行われる、可変
レート符号化という手法がしばしば用いられる。この方
法は、画像データの時間及び空間方向の相関の強さが常
に変動することにより、画像圧縮にとっての難しさが時
間的に変動することを利用するものである。

【００１１】例えば、時間方向の相関性の変動について
例をあげて説明する。動画像中の移動体の移動パターン
は、単なる平行移動にとどまらず、例えば移動体の移動
速度、移動方向、移動体の形状の変化等のように複雑な
移動パターンが存在し、このような場合は、上述したよ
うな動き補償では、動き予測誤差データが増大する。ま
た、或いは、ランダムノイズのような完全に時間方向に
相関がないような動画像データにおいては、動き補償に
よる圧縮効果が全く失われ、現フレームからのデータ量
と大差ないほどの動き予測誤差データを発生する場合が
ある。このような画像圧縮にとっての難易度（以下、デ
ィフィカルティと称する）の変動は、フレーム単位のみ
ならず、ＧＯＰ単位、マクロブロック単位等でも当然存
在する。

【００１２】このように、ディフィカルティが変動する
ようなデータを、単位時間あたりに均一のビットレート
（以下目標符号レート）で圧縮符号化しようとすると、
ディフィカルティが高いような、即ち、時間空間方向の
相関性が低く、圧縮効果が現れにくい映像データについ
ては、上記ＤＣＴ係数を大きめの量子化ステップで粗く
量子化して発生符号レートが目標符号レートに近づける
必要があり、結果として、量子化誤差が増大し、符号伸
長したときの符号化歪が顕著に現れる。一方、ディフィ
カルティが低いような、即ち、相関性が高いデータにつ
いては、ＤＣＴ係数は低周波数成分側に集中するから、
目標符号量に近づけるためには、これを小さめの量子化
ステップで細かく量子化することが可能になり、結果と
して、符号伸長後の歪が少なくなる。

【００１３】そこで、ＤＶＤオーサリング等において
は、このような、画像の符号化歪が時間単位で変動し、
結果として画質の劣化が瞬間的に顕著になるような弊害
を回避するために、予め、固定の量子化ステップで全て
の画像データを圧縮符号化し、その際に発生した符号量
を、ディフィカルティデータと定義して、一旦記憶し
（１パス目）、次に、そのディフィカルティデータに基
いて２回目に圧縮符号化するときに、難しい画像データ
のところには多めに符号量を割り当てるといった、いわ
ゆる２パスエンコードを用いた、可変長符号化が用いら
れていた。尚、ディフィカルティデータという言葉は、
ある一定の画質を実現するのに必要なデータ量に比例す
る量であると定義する。

【００１４】さて、しかしながら、このような２パスエ
ンコードは、全ての映像データを一旦エンコードし終わ
って始めて、実際のエンコードが始められるので、間断
なく供給される画像や音声データに対して、このような
制御を行うことは、殆ど不可能に近い。従って、上記制
御は、通信時におけるエンコードや、無限に長いデータ
を間断なく、しかも実時間的にエンコードしなくてはな
らないような放送のような用途には適応することができ
なかった。

【００１５】そこで、ＦＩＦＯ（ＦｉｒｓｔＩｎＦ
ｉｒｓｔＯｕｔ）構造のメモリを通ったデータをエン
コードする第１のエンコーダと、ＦＩＦＯ構造のメモリ
を通らない第２のエンコーダの２つ目のエンコーダを用
いることが提案された。以下、この２パスエンコード
を、予め全てのディフィカルティを求めておく上記２パ
スエンコードと区別するために、「簡易な２パスエンコ
ード」と称する。この簡易な２パスエンコードは、最初
のパスでディフィカルティを求め、次のパスで求めたデ
ィフィカルティを用いてエンコードを行う方法である。

【００１６】提案されている簡易２パスエンコードは、
２種類ある。１つは、数ＧＯＰ分のディフィカルティに
基いて、各ＧＯＰの目標ビット量を決定する。ＧＯＰ単
位のレートコントロールである。もう１つは、更に、上
記ＧＯＰの中で各ピクチャ単位の目標ビット量を制御す
るピクチャ単位のレートコントロールである。

【００１７】

【発明が解決しようとする課題】ところで、上記簡易２
パスエンコードは、参照しているＫ個のＧＯＰの中でデ
ィフィカルティの情報が完結してしまうので、Ｋ個のＧ
ＯＰの前後の絵柄の情報が全く生かされない。Ｋ個のＧ
ＯＰの前後の絵柄の情報が全く生かされないでエンコー
ドが行われると、問題が生じる。これについて図５Ａ〜
図５Ｄを参照して説明する。

【００１８】図５は、各レートコントロール方式による
ビット量割り当てについて説明するための説明図であ
る。図５Ａは、入力素材のディフィカルティの一例を示
す説明図、図５Ｂは理想的なビット量が割り当てられた
状態を示す説明図、図５Ｃは簡易２パスエンコードによ
るＧＯＰ単位のビット量の割り当てを示す説明図、図５
Ｄは、簡易２パスエンコードによるピクチャ単位のビッ
ト量の割り当てを示す説明図である。図５においては、
ディフィカルティデータを予め測定する長さ、即ち、Ｆ
ＩＦＯメモリの容量が、２ＧＯＰである場合の例を示し
ている。

【００１９】入力素材のディフィカルティが、図５Ａに
示す通りであることを前提とする。ここで、縦軸はディ
フィカルティ、横軸は時間（単位は１ＧＯＰである）で
ある。この図５Ａに示されているように、入力素材のデ
ィフィカルティは、最初の２ＧＯＰ分の期間においては
徐々に上昇して最高の値となり、次の２ＧＯＰ分の期間
の先頭で最も低くなり、以降、この期間内では同じ値と
なり、更に次の２ＧＯＰ分の期間に入ってから最高の値
となり、以降、徐々に低い値となっている。尚、図５に
おいてはピクチャタイプによるディフィカルティの差
は、簡単のために無視している。

【００２０】この図５Ａに示すようなディフィカルティ
の分布を有する入力素材に対しては、図５Ｂに示すよう
に、図５Ａに示されるディフィカルティの分布に比例し
たビット量が与えられるべきである。つまり、難しい絵
柄には多くのビット量を与え、簡単な絵柄にはビット量
を少なく与えることが、画質劣化を招くことなくエンコ
ードできるからである。参考までに、図５Ｂにおいて
は、平均レートを破線で示す。

【００２１】図５Ｃは、簡易な２パスエンコードによる
ＧＯＰ単位のビット量の割り当てを示している。この図
５Ｃに示されているビット量の割り当ては、殆ど平坦で
あり、図５Ａに示されるディフィカルティの分布に正確
に比例していないことが分かる。これは、ＧＯＰ単位で
ビット量の割り当てが行われるからである。つまり、ビ
ット量は、１つのＧＯＰ内では一定となるからである。

【００２２】図５Ｄは、簡易な２パスエンコードによる
ピクチャ単位のビット量の割り当てを示している。この
図５Ｄに示されているビット量の割り当ては、図５Ａに
示されるディフィカルティの分布に正確に比例している
ことが分かる。ピクチャ単位でビット量の割り当てが行
われるからである。しかしながら、図５Ｂに示されてい
るビット量よりも少ない。これは、割り当てることので
きるビット量が２ＧＯＰ単位で決まっているからであ
る。割り当てることのできるビット量が２ＧＯＰ単位で
決まっていると、難しい絵柄の続く２ＧＯＰ内では、割
り当てるべきビット量が足りなくなり、簡単な絵柄の続
く２ＧＯＰ内では、割り当てるべきビット量が余剰にな
るからである。

【００２３】以上の説明から分かるように、簡易な２パ
スエンコードは、予め全てのディフィカルティを求めて
おく２パスエンコードと比較して、入力素材に対するビ
ット量の割り当ての適切さの点についてはかなり劣る。

【００２４】本発明はこのような点を考慮してなされた
もので、簡易な２パスエンコードを用いても、入力素材
に対するビット量の割り当てを適切とでき、復元画像の
画質を劣化させない目標符号量制御方法及びその装置を
提案しようとするものである。

【００２５】

【課題を解決するための手段】本発明は、入力映像デー
タを第１の符号化手段で符号化すると共に、上記入力映
像データを遅延手段で遅延させて当該遅延出力を第２の
符号化手段に供給し、上記第１の符号化手段における符
号化により求められる映像データの難しさを示すディフ
ィカルティデータに基いて目標符号量を求め、上記遅延
手段からの映像データを上記第２の符号化手段で符号化
するときに上記目標符号量となるよう制御する目標符号
量制御方法であって、１枚分の画像の符号化の都度、以
降のＬ枚の画像の難しさを示すディフィカルティの和に
対する上記符号化する画像のディフィカルティの比率
に、Ｌ枚の画像に割り当てられる平均ビット量を乗じて
目標符号量を決定するものである。上述せる本発明によ
れば、１枚分の画像の符号化の都度、以降のＬ枚の画像
の難しさを示すディフィカルティの和に対する上記符号
化する画像のディフィカルティの比率に、Ｌ枚の画像に
割り当てられる平均ビット量を乗じて目標符号量を決定
する。

【００２６】

【発明の実施の形態】以下に、図１〜図４を順次参照し
て本発明の実施の形態について詳細に説明する。

【００２７】先ず、図１を参照して、本発明目標符号量
制御方法及びその装置の概念について説明する。図１
は、本発明目標符号量制御方法及びその装置の概念を説
明するための説明図である。既に説明したように、予め
ディフィカルティを検出しておくための第１エンコーダ
と、第１エンコーダで検出されたディフィカルティに基
いて実際のエンコード処理を行う第２エンコーダとが用
いられることを前提とする。図１Ａは、上記第１エンコ
ーダの入力を、図１Ｂは、第１エンコーダで検出された
ディフィカルティデータを、図１Ｃは、ターゲットビッ
ト量（目標符号量）データを得るための数式を、図１Ｄ
は、図１Ｃに示される数式により得られるターゲットビ
ット量データを、図１Ｅは、上記第２エンコーダの出力
を、図１Ｆは、第２エンコーダによりエンコードされた
ときの発生ビット量データを夫々示している。

【００２８】第１エンコーダ入力は、図１Ａに示す通り
である。画像データＶ１、Ｖ２、・・・・は、順次第１
エンコーダに入力される。ここで、各画像データＶ１、
Ｖ２、・・・・は、夫々、上述したピクチャに相当す
る。第１エンコーダにおいては、所定の量子化ステップ
サイズにより、エンコード処理が行われる。ここでいう
エンコードは、既に説明したように、インター若しくは
イントラ符号化のための処理と、この処理の後に行われ
る、ＤＣＴ、量子化、可変長符号化等の処理を意味す
る。

【００２９】第１エンコーダにより画像データＶ１、Ｖ
２、・・・・に対して順次エンコード処理が施される
と、図１Ｂに示すように、ディフィカルティデータＤ
１、Ｄ２、・・・・が得られる。１ＧＯＰが１５ピクチ
ャで構成されている場合、図１Ｃに示されるように、デ
ィフィカルティデータＤ１〜Ｄ１５、ディフィカルティ
データＤ２〜Ｄ１６、・・・・のように、１ピクチャず
つずらされ、且つ、１５ピクチャ分ずつディフィカルテ
ィデータが用いられて演算が行われる。そして、その結
果、図１Ｄに示されるように、ターゲットビット量デー
タＴ１、Ｔ２、・・・・が得られる。例えばディフィカ
ルティデータＤ１〜Ｄ１５が用いられて演算された結果
得られるターゲットビット量データは、図１Ｄに示され
る“Ｔ１”である。また、ディフィカルティデータＤ２
〜Ｄ１６が用いられて演算された結果得られるターゲッ
トビット量データは、図１Ｄに示される“Ｔ２”であ
る。

【００３０】この図１Ｄに示されるターゲットビット量
データＴ１、Ｔ２、・・・・は、順次第２エンコーダに
供給される。図１Ａに示される画像データＶ１、Ｖ２、
・・・・は、ＦＩＦＯを介して、第２エンコーダに供給
される。よって、第２エンコーダにおいては、図１Ａに
示される画像データＶ１、Ｖ２、・・・・が、図１Ｄに
示されるターゲットビット量データに基いてエンコード
される。この結果は、図１Ｅに示す通りであり、発生ビ
ット量データは、図１Ｆに示される通りである。

【００３１】発生ビット量データＳ１、Ｓ２、・・・・
は、図１Ｃに示される演算で用いられる。例えば発生ビ
ット量データＳ１は、ディフィカルティデータＤ２〜Ｄ
１６を用いてターゲットビット量データＴ２を得るため
の演算に用いられ、発生ビット量データＳ２は、ディフ
ィカルティデータＤ３〜Ｄ１７を用いてターゲットビッ
ト量データＴ３を得るための演算に用いられる。尚、図
１Ｄに示されるターゲットビット量データＴ１を得るた
めの演算（図１Ｃ参照）においては、発生ビット量デー
タは用いられない。

【００３２】ここで、図１Ｃに示される演算について説
明する。図１Ｃにおいて、Ｒ１、Ｒ２、・・・・は１５
ピクチャ分のシーケンスに割り当てることのできる平均
のビット量を示す平均ビット量データである。但し、Ｒ
１は先頭であるから、このＲ１だけは初期値となり、Ｒ
２以降は、１つ前の平均ビット量データを用いる。平均
ビット量データＲ１は、１秒分のビット量であるところ
のビットレートＢｒと、１秒分のピクチャ数であるとこ
ろのピクチャレートＰｒの比にＧＯＰのピクチャ枚数で
あるところの１５を乗じることによって得られる。ま
た、平均ビット量データＲ２から後の平均ビット量デー
タは、１つ前の平均ビット量データＲ１、Ｒ２、・・・
・から、１つ前に発生した発生ビット量データＳ１、Ｓ
２、・・・・を減算し、この結果に、フレームあたりの
ビット量データＦ１６、Ｆ１７、・・・・を加算するこ
とによって得られる。このフレームあたりのビット量デ
ータＦ１６、Ｆ１７、・・・・は、新たにディフィカル
ティを求めているピクチャについて、平均ビット量をそ
のピクチャのピクチャタイプによって割り振ることによ
り得られる。

【００３３】以上のようにして、平均ビット量データＲ
１、Ｒ２、・・・・が順次求められる。そして、これら
平均ビット量データＲ１、Ｒ２、・・・・に対し、処理
対象であるところのピクチャのディフィカルティと、１
５枚分のピクチャの各ディフィカルティの合計との比が
乗じられる。例えば、初期値であるとことの平均ビット
量データＲ１に対しては、ピクチャＶ１のディフィカル
ティＤ１と、ピクチャＶ１〜Ｖ１５までのディフィカル
ティＤ１〜Ｄ１５の合計との比が乗じられる。また、平
均ビット量データＲ２に対しては、ピクチャＶ２のディ
フィカルティＤ２と、ピクチャＶ２〜Ｖ１６までのディ
フィカルティＤ２〜Ｄ１６の合計との比が乗じられる。

【００３４】第１エンコーダのエンコード結果から、上
述のような演算を行ってターゲットビット量データＴ
１、Ｔ２、・・・・を得、このターゲットビット量デー
タＴ１、Ｔ２、・・・・に基いて第２エンコードでエン
コードを行うようにしているので、結果的に、リアルタ
イム性の重視される素材に対応することができる。以
下、より具体的な例を、実施の形態として説明する。

【００３５】〔第１の実施の形態〕図１は、第１の実施
の形態としてのエンコーダの構成を示す構成図である。

【００３６】この図１に示すエンコーダは、入力端子１
を介して供給される映像データＶｉの動き予測を行う動
き予測回路２と、エンコーダコントローラ３と、動き予
測回路２からエンコーダコントローラ３を介して供給さ
れる動き予測処理後の映像データをエンコードする第１
エンコーダ４と、全体の制御を司るホストコンピュータ
５と、上記映像データを遅延させるためのＦＩＦＯ（Ｆ
ｉｒｓｔＩｎＦｉｒｓｔＯｕｔ）メモリ６と、Ｆ
ＩＦＯメモリ６から読み出された映像データをホストコ
ンピュータ５からのターゲットビット量データＴｊに基
いてエンコードし、エンコードした映像データを、出力
端子８から出力する第２エンコーダ７とで構成される。

【００３７】ここで、上記動き予測回路２は、エンコー
ダコントローラ３からのピクチャタイプデータＩＢＰに
基いて、入力端子１を介して供給される映像データの
内、Ｂ及びＰピクチャに対し、上述した動き検出及び動
き補償処理を施す。エンコーダコントローラ３は、ピク
チャタイプデータＩＢＰを、動き予測回路２、ホストコ
ンピュータ５に供給する他、Ｉピクチャはそのまま出力
し、Ｂピクチャ及びＰピクチャの場合には、前の映像デ
ータとの差分をとりその差分信号を出力する。

【００３８】また、エンコーダコントローラ３からの映
像データは、上記ＦＩＦＯメモリ６により所定時間だけ
遅延される。この所定時間は、第１エンコーダ４でディ
フィカルティデータＤｋが得られ、このディフィカルテ
ィデータＤｋを用いてホストコンピュータ５が演算を行
ってターゲットビット量データＴｊを得、このターゲッ
トビット量データＴｊを、第２エンコーダ７に供給する
までの時間に略等しい。

【００３９】また、上記ホストコンピュータ５は、第１
エンコーダ４からのディフィカルティデータＤｋと、第
２エンコーダ７からの発生ビット量データＳｊとに基い
て、上述した演算を行い、ターゲットビット量データＴ
ｊを求め、このターゲットビット量データＴｊを、第２
エンコーダ７に供給する。

【００４０】この第１の実施の形態においては、Ｌピク
チャ分（Ｌは任意の整数）のディフィカルティデータを
用いてターゲットビット量データを求め、このターゲッ
トビット量データに基いて１つのピクチャを符号化す
る。つまり、ビット量のフィード・フォワード制御が行
われる。１ピクチャのターゲットビット量を示すターゲ
ットビット量データは、Ｌピクチャ分として許容できる
ビット量に対し、これから符号化するピクチャのディフ
ィカルティと、Ｌピクチャ分のディフィカルティの和と
の比率を乗じることで求められる。１ピクチャの符号化
が終了すると、次のピクチャの符号化のために、Ｌピク
チャで使用可能なビット量から、発生ビット量が減じら
れ、更に、そのピクチャタイプに応じた平均ビット量が
加算される。尚、Ｌは例えば“１５”等である。以下、
上記ホストコンピュータ５が行う演算について詳細に説
明する。

【００４１】映像シーケンス全体の中のｊ番目のピクチ
ャのターゲットビット量データＴｊは、次の数１で表す
ことができる。

【００４２】

【数１】

【００４３】ここで、Ｌは、ディフィカルティデータを
予め測定するピクチャの数であり、通常はフレームメモ
リの容量と１フレームの映像データのデータ量で決ま
る。Ｄｊは、ピクチャｊのディフィカルティである。Ｒ
ｊは、ピクチャｊからＬピクチャ分のシーケンスに割り
当てることのできる平均ビット量を示す平均ビット量デ
ータである。この数１から、ディフィカルティの変化の
仕方によっては、ピクチャに対して平均ビット量データ
Ｒｊが示すビット量よりも多くのビット量が割り当てら
れる場合と、少なく割り当てられる場合とがあることが
分かる。平均ビット量データＲｊの初期値であるところ
の平均ビット量データＲ１は、平均のビット量のＬフレ
ーム分である。これを数２で表す。

【００４４】

【数２】

【００４５】但し、Ｂｒは１秒あたりのビット量、Ｐｒ
は１秒あたりのピクチャ数である。初期値としての平均
ビット量データＲ１以外の平均ビット量データＲｊ＋１
（但し、ｊは１、２、３、・・・・）は、数３で表され
る。

【００４６】

【数３】

【００４７】ここで、Ｓｊは、ピクチャｊが、図２に示
した第２エンコーダ７でエンコードされたときに発生し
たビット量を示す発生ビット量データ、Ｆｊ＋Ｌは、第
１エンコーダ４で新たにディフィカルティが求められて
いるピクチャｊ＋Ｌについて、平均ビット量を、ピクチ
ャｊ＋Ｌのピクチャタイプに応じて割り振ったときの、
フレームあたりのビット量である。

【００４８】次に、図３及び図４を参照して、図２に示
したエンコーダのホストコンピュータの制御動作を中心
に説明する。

【００４９】ステップＳ１では、ホストコンピュータ５
が、フラグＦＬＧに“０”をセットする。

【００５０】ステップＳ２では、ホストコンピュータ５
が、エンコーダコントローラ３からのピクチャタイプデ
ータＩＢＰの受付及び記憶を開始する。

【００５１】ステップＳ３では、ホストコンピュータ５
が、変数ｉ及びｊに夫々“１”をセットする。

【００５２】ステップＳ４では、ホストコンピュータ５
が、エンコード処理が終了か否かを判断し、「ＹＥＳ」
であれば終了し、「ＮＯ」であればステップＳ５に移行
する。

【００５３】ステップＳ５では、ホストコンピュータ５
が、第１エンコーダ４からディフィカルティデータＤｉ
が供給されたか否かを判断し、「ＹＥＳ」であればステ
ップＳ６に移行し、「ＮＯ」であれば再びステップＳ４
に移行する。

【００５４】ステップＳ６では、ホストコンピュータ５
が、ディフィカルティデータＤｉを記憶する。

【００５５】ステップＳ７では、ホストコンピュータ５
が、変数ｉに“１”を加算する。

【００５６】ステップＳ８では、ホストコンピュータ５
が、変数ｉが“Ｌ”よりも大きいか否かを判断し、「Ｙ
ＥＳ」であれば図４に示すステップＳ１６に移行し、
「ＮＯ」であれば再びステップＳ４に移行する。

【００５７】ステップＳ９では、ホストコンピュータ５
が、フラグＦＬＧが“０”か否かを判断し、「ＹＥＳ」
であればステップＳ１０に移行し、「ＮＯ」であればス
テップＳ１６に移行する。ステップＳ１０〜ステップＳ
１２までは、最初のピクチャを第２エンコーダ７で符号
化するときに通るステップであり、ステップＳ１６〜Ｓ
１９までは、２番目以降のピクチャを第２エンコーダ７
で符号化するときに通るステップである。これで分かる
ように、上記フラグＦＬＧは、最初のピクチャと、２番
目以降のピクチャとで処理経路を変えるためのものであ
る。

【００５８】ステップＳ１０では、ホストコンピュータ
５が、１秒あたりのビット量とピクチャ数の比にＬを乗
じて得られる初期値としての平均ビット量データＲｊを
読み出す。この平均ビット量データＲｊは、数３に示し
た式により求められる。

【００５９】ステップＳ１１では、ホストコンピュータ
５が、上記平均ビット量データＲ１に、符号化するフレ
ームのディフィカルティＤｊの値と、映像データＶｊ〜
Ｖｊ＋ｌ−１の各ディフィカルティＤｊ〜Ｄｊ＋ｌ−１
の合算値との比を乗じ、ターゲットビット量データＴｊ
を得る。

【００６０】ステップＳ１２では、ホストコンピュータ
５が、フラグＦＬＧに“１”をセットする。

【００６１】ステップＳ１３では、ホストコンピュータ
５が、ターゲットビット量データＴｊを、第２エンコー
ダ７に供給する。第２エンコーダ７は、上記ターゲット
ビット量データＴｊに基いて、ＦＩＦＯ６から供給され
る映像データＶｊをエンコードする。第２エンコーダ７
は、エンコードによって発生した発生ビット量を示す発
生ビット量データＳｊを、ホストコンピュータ５に供給
する。

【００６２】ステップＳ１４では、ホストコンピュータ
５が、第２エンコーダ７から発生ビット量データＳｊが
供給されたか否かを判断し、「ＹＥＳ」であればステッ
プＳ１５に移行する。

【００６３】ステップＳ１５では、ホストコンピュータ
５が、第２エンコーダ７から供給された発生ビット量デ
ータＳｊを記憶する。

【００６４】ステップＳ１６では、ホストコンピュータ
５が、次に第２エンコーダ７で符号化するフレームの映
像データについて、フレームあたりのビット量データＦ
ｊ＋Ｌを求める。

【００６５】ステップＳ１７では、ホストコンピュータ
５が、１つ前の平均ビット量データＲｊから、１フレー
ム前に第２エンコーダ７で符号化により発生した発生ビ
ット量データＳｊを減じ、この減算結果に、フレームあ
たりのビット量データＦｊ＋Ｌを加算し、次の平均ビッ
ト量データＲｊ＋１を求める。

【００６６】ステップＳ１８では、ホストコンピュータ
５が、変数ｊに“１”を加算する。

【００６７】ステップＳ１９では、ホストコンピュータ
５が、平均ビット量データＲｊに対し、第２エンコーダ
７で符号化するフレームのディフィカルティＤｊの値
と、ディフィカルティの合算値Ｄｋとの比を乗じてター
ゲットビット量データＴｊを得る。そしてステップＳ１
３に移行する。

【００６８】〔第１の実施の形態における効果〕以上説
明したように、本形態においては、図２に示したよう
に、エンコーダは、動き予測回路２、エンコーダコント
ローラ３、第１エンコーダ４、ホストコンピュータ５、
ＦＩＦＯメモリ６及び第２エンコーダ７で構成される。
そして、第１エンコーダ４が予めＬピクチャ分のエンコ
ードを行い、各ディフィカルティデータをホストコンピ
ュータ５に与え、以降、１ピクチャずつディフィカルテ
ィデータをホストコンピュータ５に与える。ホストコン
ピュータ５は、既に説明したように、第１エンコーダ４
からのピクチャｊのディフィカルティデータＤｊと、Ｌ
ピクチャ分のディフィカルティデータＤｋとの比にピク
チャｊからＬピクチャ分のシーケンスに対して割り当て
ることのできる平均ビット量を示す平均ビット量データ
Ｒｊを乗算し、ターゲットビット量データＴｊを求め、
当該ターゲットビット量データＴｊを、第２エンコーダ
７に供給する。これにより、第２エンコーダ７は、上記
ターゲットビット量データＴｊとなるようにエンコード
処理を行う。従って、フィードフォワードの利点を生か
しながら、より適切なビット量の割り当てを行うことに
より、復元画像の画質を良好とできるといった効果があ
る。図５Ｅに示されるように、図５Ｃや図５Ｄに示され
る従来のビット量の割り当て結果と比較して、格段に適
切なビット量の割り当てを行うことができる。この図５
Ｅから分かるように、本形態によるビット量の配分は、
図５Ａに示したディフィカルティの分布に比例し、しか
も、最大限にビット量が配分されている。

【００６９】〔第２の実施の形態〕上記フレームあたり
のビット量データＦｊ＋Ｌを、ピクチャタイプによら
ず、一律にフレームあたりの平均ビット量データとする
ことが考えられる。即ち、数４で表されているように、
１秒あたりのビット量を、１秒あたりのピクチャ数で除
することにより、１ピクチャあたりの平均ビット量を
得、これを上記Ｆｊ＋Ｌとするのである。

【００７０】

【数４】

【００７１】しかしながら、通常、発生ビット量は、Ｉ
ピクチャが最も多く、これにＰ、Ｂが続く。従って、上
記ビット量データＦｊ＋Ｌを、ピクチャタイプに応じて
変えた方が得策である。つまり、より適切なビット配分
を実現できる。もしもビット量データＦｊ＋Ｌを一定に
してしまうと、問題が発生する。例えば、ディフィカル
ティを新たに求めたピクチャｊ＋ＬがＩピクチャの場合
で考える。この場合、ディフィカルティの値は非常に大
きくなるので、数１の分母、即ち、Ｄｋが大きくなる。
しかしながら、平均ビット量データＲｊ＋１は大きくな
らないので、ピクチャｊ＋１のターゲットビット量デー
タＴｊ＋１の値が小さくなってしまう。これは、数１を
参考にすれば一目瞭然であろう。

【００７２】そこで、この第２の実施の形態では、各ピ
クチャタイプに対し、或固定の比率でＦｊ＋Ｌを与える
ようにする。即ち、Ｉ：Ｐ：Ｂピクチャの１ピクチャあ
たりのビット量の比率を、或固定の比率ｉ：ｐ：ｂであ
るものとし、各ピクチャについてビット量データＦｊ＋
Ｌを、次の数５、数６、数７に示す式で示される演算に
より決定する。数５は、ｊがＩピクチャのとき、数６
は、ｊがＰピクチャのとき、数７は、ｊがＢピクチャの
ときのフレームあたりのビット量を夫々求めるための式
である。

【００７３】

【数５】

【００７４】

【数６】

【００７５】

【数７】

【００７６】ここで、Ｎは、ＧＯＰあたりのピクチャの
枚数（Ｉピクチャの間隔）、ＭはＰピクチャの間隔であ
る。ＧＯＰあたりのＰピクチャの枚数は、Ｎ／Ｍ−１、
Ｂピクチャの枚数は、Ｎ（１−１／Ｍ）である。

【００７７】〔第２の実施の形態における効果〕第１の
実施の形態に加え、本形態においては、ピクチャタイプ
によらず、一律にフレームあたりの平均ビットレートを
Ｆｊとし、更に、より適切なビット量の配分を実現する
ために、数５〜数７に示されるように、固定の比率で各
ピクチャタイプに対してフレームあたりのビット量Ｆｊ
＋Ｌを決定するようにした。よって、各ピクチャタイプ
毎に決まったビット量が加算されるので、例えばＩピク
チャのディフィカルティデータの値が大きいことに起因
して、ターゲットビット量データＴｊの値が小さくな
り、よって、発生ビット量が少なくエンコードされ、復
元画像が劣化するといった不都合を回避することができ
る。

【００７８】〔第３の実施の形態〕ところで、各ピクチ
ャタイプ毎のビット量の比率は、絵柄によってかなり変
動する。よって、より理想的なビット量の配分を実現す
るためには、第１エンコーダ４において、これからディ
フィカルティを求めようとしているピクチャのピクチャ
タイプ別のビット量の比率を用いることが望ましい。即
ち、上述したｉ：ｐ：ｂの比率を、絵柄によってダイナ
ミックに変更するのである。より具体的には、ディフィ
カルティを求めようとしているＧＯＰのビット量の比率
は確定していないのであるから、その１つ前のＧＯＰの
ピクチャタイプ別のビット量の比率を用いる。前のＧＯ
ＰのＩピクチャ、Ｐピクチャ、Ｂピクチャの発生ビット
量を夫々Ｓ_I-picture、Ｓ_P-Picture、Ｓ_B-Pictureと
すると、フレームあたりのビット量Ｆｊは、ｊがＩピク
チャのとき、Ｐピクチャのとき、Ｂピクチャのときで夫
々数８、数９、数１０で示す式により求められる。

【００７９】

【数８】

【００８０】

【数９】

【００８１】

【数１０】

【００８２】〔第３の実施の形態における効果〕第２の
実施の形態に加え、本形態においては、数８〜数１０に
示されるように、ｉ：ｐ：ｂの比率を、絵柄に応じて変
えるようにした。よって、より適切にビット量の配分を
行うことができる。

【００８３】〔第４の実施の形態〕尚、上記形態におい
ては、同一シーン内でのピクチャタイプ別の発生ビット
量の相関性を利用した場合について説明した。しかしな
がら、シーンが変わった場合には、前後の絵柄の相関性
はなくなる。そこで、シーンチェンジを検出し、その結
果を積極的に利用する。この方法としては、２つの方法
がある。

【００８４】１つの方法は、シーンチェンジを検出した
ときに、シーンチェンジ前後の数ピクチャのビット量
は、局所的に大きくなっているので、その部分をピクチ
ャタイプ別のビット量比率の計算に入れない方法であ
る。もう１つの方法は、シーンチェンジの後の絵柄とそ
の前の絵柄とは相関性がないのであるから、シーンチェ
ンジ以降のピクチャのみについてビット量の比率を計算
に用いる方法である。上記方法のどちらを採用しても、
より理想的なビット量の配分に近づけることができるこ
とは明かであろう。

【００８５】〔変形例〕尚、上記数３に示した式におい
て、発生ビット量データＳｊを用いずに、略その値に近
い、ターゲットビット量データＴｊを用いるようにして
も良い。この場合、第２エンコーダからの発生ビット量
データＳｊをホストコンピュータ５に戻さなくても良い
ので、ホストコンピュータ５だけでビット量の制御を行
うことができるといったメリットがある。

【００８６】

【発明の効果】上述せる本発明によれば、１枚分の画像
の符号化の都度、以降のＬ枚の画像の難しさを示すディ
フィカルティの和に対する上記符号化する画像のディフ
ィカルティの比率に、Ｌ枚の画像に割り当てられる平均
ビット量を乗じて目標符号量を決定するので、限られた
範囲内においてディフィカルティを参照して符号化を行
う場合と比較して、より、適切なビット量の割り当てを
実現できるので、復元時における画像の画質を向上させ
ることができるという効果がある。

【図面の簡単な説明】

【図１】本発明目標符号量制御方法及びその装置の概念
を説明するための説明図である。

【図２】一実施の形態を示すオーサリングシステムや伝
送システムのエンコーダの構成図である。

【図３】図２に示したエンコーダの動作を説明するため
のフローチャートである。

【図４】図２に示したエンコーダの動作を説明するため
のフローチャートである。

【図５】本発明及び従来の２パスエンコードを説明する
ための説明図である。〔図５Ａ〕入力素材のディフィカルティのモデルを示
す説明図である。〔図５Ｂ〕図５Ｂに示したディフィカルティの分布を
有する入力素材に対して最も適切にビット量が与えられ
た場合を示す説明図である。〔図５Ｃ〕ＧＯＰ単位でビット量を与える簡易な２パ
スエンコードにより、図５Ａに示したディフィカルティ
の分布を有する入力素材に対してエンコード処理を施し
たときのビット量の分布を示す説明図である。〔図５Ｄ〕ピクチャ単位でビット量を与える簡易な２
パスエンコードにより、図５Ａに示したディフィカルテ
ィの分布を有する入力素材に対してエンコード処理を施
したときのビット量の分布を示す説明図である。〔図５Ｅ〕本発明目標符号量制御方法及びその装置に
より、図５Ａに示したディフィカルティの分布を有する
入力素材に対してエンコード処理を施したときのビット
量の分布を示す説明図である。

【符号の説明】

２エンコーダコントローラ、３動き予測回路、４
第１エンコーダ、５ホストコンピュータ、６ＦＩＦ
Ｏ、７第２エンコーダ

Claims

【特許請求の範囲】

【請求項１】入力映像データを第１の符号化手段で符
号化すると共に、上記入力映像データを遅延手段で遅延
させて当該遅延出力を第２の符号化手段に供給し、上記
第１の符号化手段における符号化により求められる映像
データの難しさを示すディフィカルティデータに基いて
目標符号量を求め、上記遅延手段からの映像データを上
記第２の符号化手段で符号化するときに上記目標符号量
となるよう制御する目標符号量制御方法であって、１枚分の画像の符号化の都度、以降のＬ枚の画像の難し
さを示すディフィカルティの和に対する上記符号化する
画像のディフィカルティの比率に、Ｌ枚の画像に割り当
てられる平均ビット量を乗じて目標符号量を決定するこ
とを特徴とする目標符号量決定方法。
【請求項２】上記１枚分の画像の符号化が終了した後
に、Ｌ枚の画像の割り当てられる平均ビット量から、上
記第２の符号化手段における符号化により発生する発生
ビット量を減じ、該減算結果に対し、上記第１の符号化
手段において新たに符号化された画像の符号化ピクチャ
タイプに応じて、該画像に割り当てるべき平均ビット量
を加算することを特徴とする請求項１記載の目標符号量
決定方法。
【請求項３】上記１枚分の画像の符号化が終了した後
に、Ｌ枚の画像の割り当てられる平均ビット量から、過
去に求められた目標符号量を減じ、該減算結果に対し、
上記第１の符号化手段において新たに符号化された画像
のタイプに応じて、該画像に割り当てるべき平均ビット
量を加算することを特徴とする請求項１記載の目標符号
量決定方法。
【請求項４】上記平均ビット量を、画像毎の固定のビ
ット量の割合で求めることを特徴とする請求項２記載の
目標符号量決定方法。
【請求項５】上記平均ビット量を、上記第２の符号化
手段において符号化しようとしている画像の直前若しく
は周辺の画像のタイプ別の発生ビット量の比率によって
決定することを特徴とする請求項２記載の目標符号量決
定方法。
【請求項６】上記画像のタイプ別の発生ビット量の比
率の決定にあたり、シーンチェンジを検出したときに
は、当該シーンチェンジの直前、直後の画像を、上記発
生ビット量の比率の決定に用いないことを特徴とする請
求項５記載の目標符号量決定方法。
【請求項７】上記画像のタイプ別の発生ビット量の比
率の決定にあたり、シーンチェンジを検出したときに
は、当該シーンチェンジ後の画像の発生ビット量のみか
ら上記発生ビット量の比率を決定することを特徴とする
請求項５記載の目標符号量決定方法。