JP4462643B2 - 画像符号化方法及び画像符号化装置 - Google Patents
画像符号化方法及び画像符号化装置 Download PDFInfo
- Publication number
- JP4462643B2 JP4462643B2 JP10978097A JP10978097A JP4462643B2 JP 4462643 B2 JP4462643 B2 JP 4462643B2 JP 10978097 A JP10978097 A JP 10978097A JP 10978097 A JP10978097 A JP 10978097A JP 4462643 B2 JP4462643 B2 JP 4462643B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- encoding
- picture
- group
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、フレーム内符号化画像（Ｉピクチャ）、フレーム間順方向予測符号化画像（Ｐピクチャ）、双方向予測符号化画像（Ｂピクチャ）を所定数含んでなる画像符号化グループ（ＧＯＰ）により、ビデオ素材を符号化する画像符号化方法及び画像符号化装置に関する。
【０００２】
【従来の技術】
ビデオ情報をディジタルビデオディスク（Digital Video Disk：ＤＶＤ）やビデオＣＤのようなパッケージメディアに蓄積する際、上記ビデオ情報に圧縮符号化処理を施すエンコードシステムでは、最初に素材の画像の符号化難易度（Difficulty）を測定し、その符号化難易度を元に、パッケージメディアの記録容量内の与えられたバイト数に収まるように、各ビデオ情報のフレームごとにビット配分（以下、Bit assign）処理を行ってエンコードしている。
【０００３】
例えば、上記ディジタルビデオディスク用に、ビデオ情報を圧縮符号化するビデオエンコードシステムの具体例を図１２に示す。
【０００４】
図１２において、ビデオエンコードの制御を行うビデオエンコードコントローラ１０は、システム全体を管理するスーパーバイザコントローラ１に、ネットワーク２を介して接続されている。
【０００５】
スーパーバイザコントローラ１はオペレーティングシステムを構成するプログラムの内、特にシステム全体の動きを監視し、効率的に制御するプログラムであるスーパーバイザを実行するコントローラである。このビデオエンコードシステムにおいてはＤＶＤのオーサリングシステム全体の管理を行い、ビデオ、オーディオ、字幕やメニューといった各エンコードシステムにエンコード条件を与え、エンコード結果の報告を受ける。
【０００６】
このビデオエンコードシステムの具体例に対しては、例えばv.enc というファイルによってビデオエンコード条件を指定している。そして、ビデオエンコードコントローラ１０側からは、エンコード結果のビットストリームがハードディスクドライブ（ＨＤＤ）等を複数並列に接続して記録容量と転送速度性能を向上させたＲＡＩＤ１６（Redundant Arrays of Inexpensive Diskes）上に書き込まれたアドレスv.adrと、エンコード結果のビットストリームがオーディオや字幕，メニュー等のサブピクチャとマルチプレックスされる際に必要とされるデータ(vxxx.aui)を報告している。
【０００７】
ビデオエンコードコントローラ１０は、グラフィカルユーザインターフェース（Graphical User Interfece:ＧＵＩ）１１と、後述するビット配分計算処理プログラム（Bit_Assign）を格納しているビット配分計算部１２と、このビット配分計算部１２内部のビット配分計算処理プログラム（Bit_Assign）を実行させるＭＰＥＧエンコーダコントローラ１３と、ディジタルＶＴＲコントローラ１４とを備えている。
【０００８】
ユーザは、グラフィカルユーザインターフェース１１を用い、ビット配分計算部１２の上記ビット配分計算処理プログラム（BIT_ASSIGN）と、ＭＰＥＧエンコーダコントローラ１３の３つのプログラムを管理することができる。また、ＤＶＴＲコントローラ１４も管理できる。
【０００９】
ＭＰＥＧエンコーダコントローラ１３は、上記ビット配分計算部１２内部の上記ビット配分計算処理プログラム（BIT_ASSIGN）を実行すると共に、ＭＰＥＧエンコーダ１５を制御する。また、ＤＶＴＲコントローラ１４はＤＶＴＲ１７を制御する。このＤＶＴＲ１７はＭＰＥＧエンコーダ１５に接続しており、ＭＰＥＧエンコーダ１５はエンコードした結果を表示するためにモニタ１８に接続している。さらに、ＭＰＥＧエンコーダ１５は、エンコード結果を記録するために上記ＲＡＩＤ１６にも接続している。
【００１０】
ＭＰＥＧエンコーダ１５では、動き補償予測による時間方向の冗長度の除去を行っている。また、ＭＰＥＧエンコーダ１５では、フレーム内だけで符号化されるフレーム内符号化画像をＩピクチャ（Intra Coded）、過去の画面から現在を予測することによって符号化されるフレーム間順方向予測符号化画像をＰピクチャ（Predictive Coded）、過去、未来の両方向の画像から現在を予測することによって符号化される双方向予測符号化画像をＢピクチャ（Bidirectionaly Predictive Coded）を用いて、ビデオ情報を圧縮符号化している。ここでは、必ずＩピクチャを１つ含むピクチャーのまとまりを図１３に示すようなＧＯＰ（Group of Pictures）としている。この図１３において、ＧＯＰのフレーム数Ｎは１５であり、表示順のＧＯＰの先頭は、Ｉピクチャの前で、Ｐ又はＩピクチャの次のＢピクチャーである。ＧＯＰの最後は、次のＩピクチャの前の最初のＰピクチャである。
【００１１】
このビデオエンコードシステムの動作について図１４のフローチャートを参照して説明する。先ず、ステップＳ１で、スーパーバイザコントローラ１からネットワーク２経由でビデオに割り当てるビット総量や最大レートなどのエンコード条件v.encが与えられ、ＭＰＥＧエンコーダコントローラ１３はエンコード条件を設定する。その後、ステップＳ２でＭＰＥＧエンコーダコントローラ１３の制御の基にＭＰＥＧエンコーダ１５がエンコード素材の符号化難易度を測定する。ここでは、各画素のＤＣ値や動きベクトル量ＭＥも読んでおく。そして、これらの測定結果により、ファイルを作成しておく。
【００１２】
実際の符号化難易度の測定は以下のように行う。エンコード素材となるビデオ情報はＤＶＴＲ１７によってディジタルビデオカセットにマスターとして収録されており、このマスターをＤＶＴＲコントローラ１４でＤＶＴＲ１７を制御しながら再生してエンコード素材の符号化難易度を測定する。
【００１３】
ここでは、符号化の際に量子化ステップ数を固定値に設定した条件で発生ビット量を測定する。動きが多く、高い周波数成分が大きい画像では発生ビット量が大きくなり、静止画や平坦な部分が多い画像では発生ビット量が少なくなる。この発生ビット量の大きさを上記符号化難易度としている。
【００１４】
次に、ステップＳ３では、ステップＳ１で設定されたエンコード条件を元に、ステップＳ２で測定された各ピクチャーの符号化難易度の大きさに応じて、ビット配分計算部１２内部のビット配分計算プログラム（BIT_ASSIGN）を実行し、割り当てビット量（ターゲット量 :target）の配分計算を行う。
【００１５】
そして、このステップＳ３でのビット配分計算による結果を使ってエンコードを実行するかどうかをＭＰＥＧエンコーダ１５に内蔵されているローカルデコーダ出力の画質によってユーザに判断させる。
【００１６】
実際には、ステップＳ４で、上記ビット配分によるビットストリームをＲＡＩＤ１６に出力しないで、任意の処理範囲を指定できるプレビユーモード（Preview）を行って、ユーザーが画質をチェックする。
【００１７】
ステップＳ５の画質評価で画質に問題がない場合にはステップＳ６に進み、エンコード処理を実行するが、画質に問題がある場合には、ステップＳ８に進み、問題のある部分のレートを上げるとか、フィルターレベルを調整するといった画質調整のためのカスタマイズ作業を行ってから、ステップＳ９で再びビット配分計算部１２内部のビット配分計算処理プログラム（BIT_ASSIGN）を実行し、ビット再配分計算を行う。
【００１８】
その後、ステップＳ４に戻り、カスタマイズした部分をプレビューして、ステップＳ５で画質を確認し、すべての部分が良ければステップＳ６に進み、全体のエンコードをＭＰＥＧエンコーダ１５に実行させる。エンコード結果であるビットストリームは、ステップＳ７でＳＣＳＩ（Small Computer System Interface）経由で直接、ＲＡＩＤ１６に書き込まれる。
【００１９】
ステップＳ６でのエンコード後、ビデオエンコードコントローラ１０は上述したようなエンコード結果情報をネットワーク経由でスーパーバイザコントローラ１に報告する。
【００２０】
この図１４のフローチャートにおいて、ステップＳ２，ステップＳ４及びステップＳ６を除いた各ステップの処理はオフライン処理を意味している。
以下、特に、ステップＳ３で実行されるビット配分計算部１２内のビット配分計算処理について詳細に説明する。先ず、スーパーバイザコントローラ１からディスク容量の中から上記ビット総量（QTY_BYTES）と、最大ビットレート（MAXRATE）が指定されると、これに対して、ＭＰＥＧエンコーダコントローラ１３は、最大ビットレート（MAXRATE）以下になるように制限を加えた総ビット数 (USB_BYTES)を求め、この値からＧＯＰのヘッダ（GOP header）に必要なビット数(TOTAL_HEADER)を引いた値と、全体のフレーム総数からターゲット数の総和の目標値となるSUPPLY_BYTESを算出する。
【００２１】
そして、このSUPPLY_BYTESの大きさに収まるようにビット配分計算部１２内部のビット配分計算処理プログラムを実行し、各ピクチャーへの割り当てビット量（以下、ターゲット量：target）を配分する。
【００２２】
このステップＳ３でのビット配分計算処理を詳細に示したのが図１５のフローチャートである。
【００２３】
先ず、ステップＳ１１で上述したように、スーパーバイザコントローラ１から送られた上記ビット総量（QTY_BYTES）と、最大ビットレート（MAXRATE）が入力されると、ＭＰＥＧエンコーダコントローラ１３は、上述したようにSUPPLY_BYTESを算出する。
【００２４】
次に、上記図１４のステップＳ２の符号化難易度の測定で作成された測定ファイルをステップＳ１２でそのまま読み込み、符号化難易度の測定の際に、併せて測定された各画像のＤＣ値や動きベクトル量ＭＥの大きさのパラメータの変化量から、ステップＳ１３でシーンが変化するポイントを見つける。
【００２５】
このステップＳ１３でのシーンチェンジ検出／処理は、本件出願人が既に特願平８-２７４０９４号明細書及び図面にて開示した「映像信号処理装置」に応じてシーンチェンジ点を検出する処理である。
【００２６】
この「映像信号処理装置」は、映像信号の各フレームの直流レベルを検出し、この直流レベルを曲線近似して得られる誤差値より、上記映像信号のシーンチェンジのフレームを検出して、シーンチェンジ点を明らかにする。
【００２７】
そして、図１６に示すように、シーンがチェンジしたとして検出したポイントは、ＰピクチャーをＩピクチャーに変更して、画質改善を計る。
【００２８】
次に、ステップＳ１４でチャプター（CHAPTER）境界処理を行う。ＤＶＤ再生装置でのチャプターサーチ時には、特定されないピクチャーからジャンプしてくることになるが、その場合でも再生画像の乱れがないようにするため、図１７に示すようにチャプターの位置が必ずＧＯＰの先頭になるようにピクチャータイプを変更する。図１７ではＰピクチャをＩピクチャに変更している。
【００２９】
このようなステップＳ１３，ステップＳ１４での一連の作業の結果、ピクチャータイプ（Ｉ，Ｐ，Ｂピクチャ）の変更処理が実行されると、符号化難易度測定時のピクチャータイプが変更されるため、ステップＳ１５で変更後のピクチャータイプに合わせた符号化難易度の値に補間／補正する。ステップＳ１５での符号化難易度の補間／補正によって得られた符号化難易度と、全体に与えられたビット数（SUPPLY_BYTES）に応じて、ステップＳ１６で各ピクチャーごとのターゲットビット数を計算する。
【００３０】
そして、ステップＳ１７でＲＡＩＤ１６にエンコード結果のビットストリームを書き込む際のアドレスの計算を行った上で、ステップＳ１８に進み、エンコーダ用のコントロールファイルを作成する。
【００３１】
例えば、ビット配分計算の具体例として、先ずＧＯＰ単位にビット量を配分してから、各ＧＯＰ内で各ピクチャーの符号化難易度に応じたビット配分を行う場合を説明する。ここでは、各ＧＯＰ毎の符号化難易度の和であるGOP_DIFFに応じて、エンコードする際のＧＯＰ単位のビット割り当て量（GOP_TARGET）を配分している。このGOP_DIFFとGOP_TARGETとを変換するもっとも簡単な関数の例を図１８に図示する。
【００３２】
この例では、縦軸YをGOP_TARGET、横軸XをGOP_DIFFとして、Y=AX+Bという評価関数を用いている。なお、全てのピクチャーの符号化難易度の総和（DIFFICULTY_SUM）を算出しておく。
【００３３】
先ず、最大ビットレート以下になるように制限を加えた総ビット数USB_BYTESを、スーパーバイザコントローラ１から与えられたビット総量QTY_BYTESと、最大ビットレートMAXRATEを使って、
USB_BYTES = min (QTY_BYTES，MAXRATE × KT × total_frame_number）・・・（１）
のように求める。
【００３４】
ここで、NTSCの場合 KT=1/8(bits)/30(Hz), PALの場合1/8(bits)/25(Hz)である。また、total_frame_number はエンコードする素材のフレーム総数、min(s,t)は s,t の内で小さい方を選択する関数である。
【００３５】
また、SUPPLY_BYTESは、上記（１）式で求めたUSB_BYTESからＧＯＰのヘッダに必要なビット数TOTAL_HEADERを引いて、
SUPPLY_BYTES = USB_BYTES - TOTAL_HEADER ・・・（２）
のように求める。
【００３６】
次に、全てのピクチャの符号化難易度の総和は、
DIFFICULTY_SUM = Σdifficulty ・・・（３）
と表せる。
【００３７】
また、GOP_TARGETの最小値を次の（４）式のように、
B = GOP_MINBYTES ・・・（４）
とする。
【００３８】
すると、図１８に示した評価関数のような
Σy = A×Σx + B×n
が得られる。
【００３９】
ここで、Σy = SUPPLY_BYTES, Σx = DIFFICULTY_SUM 、n は GOP の総数である。
【００４０】
よって A = (SUPPLY_BYTES - B×n)/ DIFFICULTY_SUM となる。すると、各ＧＯＰ毎のターゲット量は、
GOP_TARGET = A × GOP_DIFF + B ・・・（５）
と表せる。
【００４１】
その後、各ＧＯＰ内で各ピクチャーの符号化難易度に応じたビット配分を行う。ＧＯＰ内での各ピクチャーの配分は符号化難易度 の大きさに比例させた場合には、各ピクチャーのターゲット量は以下の（６）式で求められる。
【００４２】
target(k) = GOP_TARGET × diffuculty(k)/GOP_DIFF ・・・（６）
(1 ≦ k ≦ GOP 内の picture 数）
この場合、素材の中に極端に難しい（GOP_DIFFが大きい）ピクチャーがあると、非常に大きいGOP_TARGET量となってしまい、システムで許容されている最大レートを越えてしまうため、GOP_MAXBYTESといった固定量でリミッタをかけることが必要である。また、最小のターゲット量もGOP_MINBYTESで制限する。具体的には、以下に説明するアルゴリズムによっている。
【００４３】
ＭＰＥＧビデオのエンコード時には、仮想デコーダのバッファ残量を考慮しながらビット配分することが義務付けられている。この仮想バッファ残量の計算をＶＢＶ（Video buffering Verifier） という。
【００４４】
先ず、図１９を用いてＶＢＶ計算方法を説明する。この計算の最初のOCCUPANCY_UP(0)は次の（７）式に示すように、固定値（この例では VBVMAX * 2/3 )からスタートする。
【００４５】
OCCUPANCY_UP(0) = VBVMAX * 2/3 ・・・（７）
以下の OCCUPANCY_UPはグラフ上の各ピクチャーの上側のポイント、OCCUPANCY_DOWNはグラフ上の各ピクチャーの下側のポイントを意味している。
【００４６】
ＤＶＤのバッファサイズVBVMAX(1.75Mbits)に対して、k番目のピクチャーのバッファーのスタート点をOccupancy_up(k), k 番目のピクチャーのターゲット量をtarget(k)とすると、ピクチャーにビットを吐き出したあとのバッファー残量 OCCUPANCY_DOWN(k)は後述する（８）式で表される。このバッファーには、デコーダーのピックアップからビデオのデータ量に応じたビットレートのデータ量(SYSTEM_SUPPLY)が蓄積される。この供給後のバッファー残量 OCCUPANCY_UP(k+1) は次の（９）式で表される。
【００４７】
OCCUPANCY_DOWN(k) = OCCUPANCY_UP(k) - target(k) ・・・（８）
OCCUPANCY_UP(k+1) = OCCUPANCY_DOWN(k) + SYSTEM_SUPPLY ・・・（９）
この供給後のバッファ残量は、図１９の図中の右上に上がる量に相当する。供給されるビットレートが大きいほど傾きは大きくなり、バッファーにデータがたまりやすくなる。バッファがいっぱいになった場合には、ピックアップからバッファーへの供給がストップするため、バッファーのオーバーフローに関しては考慮する必要はない。このことは、ある設定値ちょうどに制御する必要はなく、設定値以上になるように制御すれば良いことを意味している。
【００４８】
逆に、各ピクチャーのデータ量が大きいと、バッファにたまったデータは減少する。このバッファー残量が一定値以下にならないようにターゲットビット量を計算する。そして、ビデオのデータ量に応じたビットレートのデータ量のSYSTEM_SUPPLYを、
SYSTEM_SUPPLY = MAXRATE(bps) * KT ・・・（１０）
のように求める。
【００４９】
図２０にＧＯＰ単位でのターゲットビット配分計算をおこなった例を示す。図２０の（Ａ）は評価関数とGOP_MAXRATE制限を考慮して求めたターゲット量に対して上記VBVバッファ計算をおこなった場合である。ここで、図２０の（Ａ）での［１］，［４」，「７」のピクチャーでVBVバッファーの下限であるVBVMINの値を下回っている。そこで、VBVがVBVMINを下回ったピクチャーを含むＧＯＰのターゲット量を削減させる。ＧＯＰ内でVBV制限を加える前のターゲット量でVBV計算を実行したときのOCCUPANCYの最小値をOcc_minとすると調整量は以下の式であらわされる。ここで、制限をおこなうスタート点kstartは、OCCUPANCY_UP(k)が基準値（VBVLINE : たとえば VBVMAX * 3/4) 以上のkの値で、このときのOCCUPANCY_UP(k)の値をOcc_startとする。
OCCUPANCY_MIN＜ VBVMIN の時
r = (Occ_start - VBVMIN)/ (VBVSTART - Occ_min) ・・・（１１）
各ターゲットに対して target(j) = target(j) × r （kstart ≦ j ≦ k) とする。
【００５０】
このようにして求められたターゲット量を用いて作成されたコントロールファイルによるエンコード処理を行うことで、素材の画像の難しさに応じた可変ビットレートエンコーディングが実行される。
【００５１】
【発明が解決しようとする課題】
ところで、ＤＶＤフォーマットでは、１つのＧＯＰ構造に含まれるフィールド数（以下 display_fields) がNTSCで36以下、PALで30以下という規定がある。符号化難易度測定時には、この制限を守るＧＯＰの長さでＧＯＰの構造が決められる。オフライン処理によるチャプター指定やシーンチェンジ指定が加わると、図１６、図１７のようにＩピクチャが追加されるため、ＧＯＰの数が増加し、かつ、長さの短いＧＯＰが発生することになる。
【００５２】
そもそも、Ｉピクチャはフレーム内だけで符号化されるため、符号化効率が悪い。したがって、ＧＯＰの数がむやみに増加すると符号化効率が悪くなる。また、極端に短い長さのＧＯＰが存在するということは、符号量の多いＩピクチャの間隔が狭いことを意味する。
【００５３】
図２０に示したVBVの計算の例でわかるように、大きいターゲット量のピクチャーの間隔が短いとVBVバッファー制限にかかりやすくなり、その結果その部分のレートを下げなければならなくなり問題となっていた。
【００５４】
本発明は、上記実情に鑑みてなされたものであり、フレーム内符号化画像、フレーム間順方向予測符号化画像、双方向予測符号化画像を所定数含んでなる画像符号化グループの長さが短くなっても符号化効率の悪化を防ぐことのできる画像符号化方法及び装置の提供を目的とする。
【００５５】
【課題を解決するための手段】
本発明に係る画像符号化方法は、上記課題を解決するために、Ｉピクチャ、Ｐピクチャ、Ｂピクチャを所定数含んでなる画像符号化グループにより、ビデオ素材を符号化する画像符号化方法において、上記画像符号化グループ内でシーンがチェンジするポイントを検出したか、又はチャプター指定を行ったことにより符号化画像のタイプを変更し、さらに変更した符号化画像に関連する各画像符号化グループの長さを変更する変更工程と、上記変更工程で長さを変更した画像符号化グループと隣接する他の画像符号化グループとの間隔を予め決定されている符号化画像数の範囲内で調整する際に、当該画像符号化グループより一つ前の画像符号化グループ内のＰピクチャのうち、符号化難易度の大きいＰピクチャをＩピクチャに変更することにより各画像符号化グループの修正を行う修正工程と、上記修正工程で構造が修正された上記各画像符号化グループ内の符号化難易度を補正する補正工程と、上記補正工程で補正された符号化難易度を基に、上記各画像符号化グループの各画像のビット数を計算する計算工程とを備える。
【００５６】
また、本発明に係る画像符号化装置は、上記課題を解決するために、Ｉピクチャ、Ｐピクチャ、Ｂピクチャを所定数含んでなる画像符号化グループにより、ビデオ素材を符号化する画像符号化装置において、上記画像符号化グループ内でシーンがチェンジするポイントを検出したか、又はチャプター指定を行ったことにより符号化画像のタイプを変更し、さらに変更した符号化画像に関連する各画像符号化グループの長さを変更する変更手段と、上記変更手段で長さを変更した画像符号化グループと、隣接する他の画像符号化グループとの間隔を予め決定されている符号化画像数の範囲内で調整する際に、当該画像符号化グループより一つ前の画像符号化グループ内のＰピクチャのうち、符号化難易度の大きいＰピクチャをＩピクチャに変更することにより各画像符号化グループの修正を行う修正手段と、上記修正手段で構造が修正された上記各画像符号化グループ内の符号化難易度を補正する補正手段と、上記補正手段で補正された符号化難易度を基に、上記各画像符号グループの各画像のビット数を計算する計算手段とを備える。
【００５９】
ここで、上記画像符号化グループの長さは、隣接する他の画像符号化グループとの間隔が予め決定されている符号化画像数の範囲内となるように調整されるので符号量の多いフレーム内符号化画像の狭い範囲での発生頻度を抑えることができる。
【００６０】
【発明の実施の形態】
以下、本発明に係る画像符号化方法及び装置の実施の形態について図面を参照しながら説明する。
【００６１】
この実施の形態は、例えばディジタルビデオカセットテープに記録されたビデオ素材をディジタルビデオディスク（Digital Video Disk：ＤＶＤ）用に、エンコードするためのビデオエンコードシステムであり、図１に示すような構成である。
【００６２】
このビデオエンコードシステムは、上記図１２に示したビデオエンコードシステムと基本的に構成を同じにしているが、ビデオエンコードコントーローラ２０でのビット配分処理を異ならせている。なお、上記図１２と同様の動作を行う各部については同一符号を付し説明を省略する。
【００６３】
本実施の形態となる図１に示したビットエンコードシステムの基本的な動作は、上記図１４のフローチャートを参照しながら説明することができるが、制御手段となるＭＰＥＧエンコーダコントローラ２３が実行する上記ビット配分計算部２２内のビット配分プログラム（BIT_ASSIGN）は、図２に示すような処理フローとなる。
【００６４】
この図２に示す処理フローは、上記図１５に示したフローチャートのステップＳ１４とステップＳ１５との間に、ステップＳ２０としてＧＯＰ構造の修正処理工程を設けている。
【００６５】
このステップＳ２０は、ステップＳ１３，ステップＳ１４で画像符号化グループの長さが変更されたときには、隣接する複数の画像符号化グループとの間隔を、予め決定されている上記各符号化画像の数の範囲内で調整するという処理である。
【００６６】
以下、ステップＳ１３のシーンチェンジ処理や、ステップＳ１４でのチャプターの境界処理で、短くなったＧＯＰに対して、ＤＶＤフォーマットの制限内（DISPLAY_MAX:この例では36以内）で数を削減または、極端に短いＧＯＰ長（8以下）の構造を修正する例を図３〜図８を用いて説明する。ここでは後述するプルダウン（pulldown）変換処理は無いものとする。また、ＧＯＰの並びをＧＯＰ０,ＧＯＰ１,ＧＯＰ２とし、ＧＯＰ１を処理の対象とする。ただし、ＧＯＰ１のＩピクチャがチャプター指定又はシーンチェンジ指定されている場合にはこの処理は行わない。
【００６７】
先ず、図３及び図４を用い、チャプター指定に対してＧＯＰ数を削減する場合について説明する。図３の（Ａ）はチャプター指定される前の、各ＧＯＰ内の構成を示している。チャプター指定される前のＧＯＰ０の長さ、すなわちフィールド数display_fieldsと、ＧＯＰ１のフィールド数display_fieldsは共に“２４”である。ここで、ＧＯＰ１内の先頭から５番目のピクチャ（Ｂピクチャ）のときにチャプター（CHAPTERと図示する）指定されると、このＢピクチャは図３の（Ｂ）のようにＩピクチャになる。
【００６８】
このため、図３の（Ａ）のＧＯＰ１は、図３の（Ｂ）に示すようにフィールド数display_fields“８”のＧＯＰ１と、フィールド数display_fields“１６”のＧＯＰ２の二つになる。
【００６９】
しかし、この図３の（Ｂ）に示したＧＯＰ１は、フィールド数display_fieldsが“８”と極端に短いのでＩピクチャが、次のＧＯＰ２のＩピクチャと接近し過ぎることになり符号化効率が悪くなり上述したように構造の修正を必要とする。ここでは、ＧＯＰ１のＩピクチャをＰピクチャに変更することにより、上記図３の（Ｂ）のＧＯＰ１を削除し、ＧＯＰ０とＧＯＰ２よりなる図３の（Ｃ）を形成する。ＧＯＰ０の先頭Ｇ［０］とＧＯＰ２の先頭Ｇ［２］間のフィールド数display_fieldsは“３２”となるので、上述したDISPLAY_MAX“３６“以内というＤＶＤフォーマットの制限を満たすことができる。
【００７０】
チャプター指定によりＧＯＰを削減する場合を示した図３を一般化すると図４のようになる。
【００７１】
ここで、フレーム番号k1とk2の間のdisplay_fields数を次の式で表し、
display_fields(k1 〜 k2)=(k2 - k1)×2+d_adjx
d_adjを、プルダウン変換処理されている場合の補正値とする。プルダウン変換処理されていない場合には d_adjx = 0 となる。
ＧＯＰ１のＩピクチャがチャプター、シーンチェンジ指定されていないとした場合を前提に図４は、
(G[2] - G[0])× 2 + d_adj0 ≦ DISPLAY_MAXの時、ＧＯＰ１のＩピクチャＩ［１］のピクチャータイプをＰピクチャＰ［０］に変換した状態を示す。
【００７２】
すなわち、チャプター指定によりＢピクチャをＩピクチャに変更して図４の（Ａ）に示すようにＧ［１］を先頭にしたＧＯＰ１と、Ｇ［２］を先頭にしたＧＯＰ２とを形成したが、これではＧＯＰ１のフィールド数が“８”と短いので、ＧＯＰ１のＩピクチャＩ［１］をＰピクチャＰ［０］に変換して図４の（Ｂ）に示すようにＧＯＰ１を削除している。
【００７３】
次に、図５及び図６を用いてチャプター指定に対してＧＯＰを削減できないとき、隣接する一つ前のＧＯＰ長を短くする場合について説明する。図５の（Ａ）はチャプター指定される前の、各ＧＯＰの構成を示している。チャプター指定される前のＧＯＰ０の長さ、すなわちフィールド数display_fieldsと、ＧＯＰ１のフィールド数display_fieldsは共に“３０”である。ここで、ＧＯＰ１内の先頭から５番目ピクチャであるＢピクチャの位置でチャプター指定されると、この５番目のＢピクチャは図５の（Ｂ）のようにＩピクチャになる。
【００７４】
このため、図５の（Ａ）のＧＯＰ１は、図５の（Ｂ）に示すようにフィールド数display_fields“８”のＧＯＰ１と、フィールド数display_fields“２２”のＧＯＰ２との二つのＧＯＰに分けられる。
【００７５】
ここで、ＧＯＰ０の長さが閾値（ここでは２３）以上のため、図５の（Ｂ）のＧＯＰ１のＩピクチャを図５の（Ｃ）のようにＰピクチャに変え、図５の（Ｂ）のＧＯＰ０の一番後ろのＰピクチャを図５の（Ｃ）のようにＩピクチャに変更してＧＯＰ０の長さ、すなわちフィールド数display_fieldsを“２４”フィールドに削減し、ＧＯＰ１の長さdisplay_fieldsを“１４”に伸ばしている。
【００７６】
また、図５の（Ｄ）に示すように、図５の（Ｂ）のＧＯＰ１のＩピクチャをＰピクチャに変え、図５の（Ｂ）のＧＯＰ０の後ろから４番目のピクチャであるＰピクチャをＩピクチャに変更してＧＯＰ０の長さを１８フィールドに削減し、ＧＯＰ１の長さを２０フィールドに伸ばしてもよい。
【００７７】
このように、変更の対象となるＧＯＰ０のＰピクチャは複数（この例では２個）存在するが、その場合には、Ｐピクチャの符号化難易度の大きい方を選択してＩピクチャに変更する。その理由は、符号化難易度の大きい方は、符号化予測が悪いことを意味しているため、フレーム内で処理させるように変更した方が有利だからである。
【００７８】
チャプター指定によりＧＯＰの長さを削減する場合を示した図５を一般化すると図６のようになる。
【００７９】
ここで、図６は、
(G[1] - G[0])× 2 + d_adj1≧23で、
かつ(G[2] - G[1])× 2 + d_adj2 ≦8
の変換条件のとき、
Ｉ［１］のピクチャータイプをＰピクチャＰ［１］に変更し、
さらに、ＧＯＰ０内の複数のＰピクチャの内、符号化難易度が大きい方のＰピクチャをＩピクチャに変換する場合について、二つに分けて示している。
【００８０】
変換前の図６の（Ａ）において、ＧＯＰ０の先頭から１５番目のＰピクチャＰ15［０］が、先頭から１２番目のＰピクチャＰ12［０］の符号化難易度より大きい場合、図６の（Ｂ）に示すように、ＰピクチャＰ15［０］をＩピクチャに変換する。
【００８１】
一方、変換前の図６の（Ａ）において、ＧＯＰ０の先頭から１５番目のＰピクチャＰ15［０］が、先頭から１２番目のＰピクチャＰ12［０］の符号化難易度以下である場合、図６の（Ｃ）に示すように、ＰピクチャＰ12［０］をＩピクチャに変換する。
【００８２】
次に、図７及び図８を用いてシーンチェンジ処理に対してＧＯＰを削減できない場合で隣接する一つ後ろのＧＯＰ長を短くする場合について説明する。図７の（Ａ）はシーンチェンジ処理される前の、各ＧＯＰの構成を示している。シーンチェンジ処理される前のＧＯＰ０とＧＯＰ１のフィールド数display_fieldsの長さは“３０”である。ここで、ＧＯＰ０内の最後のＰピクチャの位置でシーンチェンジ（Scene changeと図示する）処理されると、この最後のＰピクチャを図７の（Ｂ）のようにＩピクチャに変換する。このため、図７の（Ａ）のＧＯＰ０は二つのＧＯＰに分けられ、図７の（Ｂ）に示すようにフィールド数display_fields“２４”のＧＯＰ０’と、フィールド数display_fields“６”のＧＯＰ０になる。このＧＯＰ０の後には、フィールド数display_fields“３０”のＧＯＰ１が続いている。
【００８３】
ここで、ＧＯＰ１の長さが閾値（ここでは 23 ）以上のため、図７の（Ｃ）に示すようにＧＯＰ１のＩピクチャをＰピクチャに変え、ＧＯＰ１の先頭から６番目のピクチャであるＰピクチャをＩピクチャに変更してＧＯＰ１の長さを“２４”フィールドに削減し、ＧＯＰ０の長さを“１２”に伸ばしている。
【００８４】
この場合、変更の対象となるＰピクチャの数は上記図５の場合より制限している。その理由は、処理をフレーム番号の小さい順におこなっていることから、ＧＯＰ１の長さを短くしすぎると、次のＧＯＰの処理に影響がおよぼされることを防止するためである。
【００８５】
シーンチェンジ処理によりＧＯＰの長さを削減する場合を示した図７を一般化すると図８のようになる。
【００８６】
ここで、図８は、
(G[2] - G[1])× 2 + d_adj2≧23で、
かつ(G[1]-G[0])× 2 + d_adj1 ≦8
の変換条件のとき、
Ｉ［１］のピクチャータイプをＰピクチャに変更し、Ｐ［１］のピクチャータイプをＩピクチャに変更する様子を示している。
【００８７】
すなわち、シーンチェンジ処理によりＰピクチャをＩピクチャに変更して図７の（Ｂ）に示すようにＧＯＰ０’とＧＯＰ１とを形成したが、これではＧＯＰ０のフィールド数が“６”と短いので、ＧＯＰ１のＩピクチャＩ［１］をＰピクチャに変換し、さらにＧＯＰ１の最初のＰピクチャをＩピクチャに変換して図８の（Ｂ）に示すようにＧＯＰ１の長さを削減している。
【００８８】
このように、本発明による画像符号化方法及び装置によれば、チャプターの指定やシーンチェンジ処理されて短くなったＧＯＰを削減または、極端に短いＧＯＰ長の構造を修正することができ、符号化効率を改善することができる。
【００８９】
なお、以上には、プルダウン変換処理を考慮しない場合を説明したが、プルダウン変換処理によりdisplay_fields 数を補正する場合について以下に説明する。最初にプルダウン変換処理について説明する。
【００９０】
映画フィルムは２４コマ／秒で構成されているが、これをＮＴＳＣの３０フレーム／秒に変換するために、周期的に同じフィールド画像を繰り返す処理を行っている。ここでは、この処理を２−３プルダウン処理変換ということにする。図９に２−３プルダウン変換処理の原理を示す。プルダウンのパターンの位相は、フィルム素材からＮＴＳＣビデオ素材の変換時に決定され、多くの場合パターンは規則的に変換されている。
【００９１】
ビデオの１フレームは２フィールドで構成されるが、その内の 1st field を top_field とし、2nd field を bottom_field とする。また、同じフィールド画を繰り返す場所は repeat_first_field と呼ぶこととする。このような映画素材の場合、同じフィールドである位置がわかっていれば、エンコードの際にそのフィールドを符号化しないようにすれば、圧縮効率があがることになる。
【００９２】
このような２−３プルダウン変換処理パターンの検出及び、パターンを考慮したプルダウンパターンの自動検出手法では、エンコードの際に現在と１フレーム前の top_field, bottom_field の差分を元に repeat_first_field の位置を調べ、プルダウン位相を検出できる。
符号化の際の２−３プルダウン変換処理のパターンによる組合せは以下の４通りである。
【００９３】
0: bottom_field_first
1: bottom_field_first, repeat_first_field
2: top_field_first
3: top_field_first, repeat_first_field
これらをピクチャーモードと定義する。
【００９４】
次に、２−３プルダウン変換処理パターンとＮＴＳＣのロールの先頭からのビデオフレーム番号kの関係を考える。リピートされていないtop_fieldを含む位置のkのピクチャーモードをp_mode[k]とする。すると、０〜３に属さないフレーム番号が存在することがわかる。この場合のp_modeの値を４とする。
【００９５】
図１０は、p_mode[k] の状態遷移図である。プルダウンが規則正しく連続している場合には、p_mode[k]の値は、次の（１２）式に示すように、フレーム番号 kの増加にともなって５で割った余りの体（mod 5）において１ずつ増加していく。
p_mode[k+1] = (p_mode[k] + 1 ) mod 5 ・・・（１２）
図１１のadjust0, adjust1 はそれぞれ display_fields を数えるスタートのフレーム番号の p_mode と、終りのフレーム番号の p_mode に対する補正量を示している。たとえば、数え始めの p_mode が０の場合には、符号化されているものには前のフレームの bottom_field が含まれているため＋１となる。数え終りの p_mode が０の場合には、最後の bottom_field が含まれていないため−１となる。
【００９６】
結局、上記図４、図６、図８でプルダウン変換処理が行われた場合、Ｇ［０］，Ｇ［１］，Ｇ［２］に対する補正量 d_adjx は以下の式で表すことができる。
【００９７】
adjust0[4] = {+1,+1,0,0} ・・・（１３）
adjust1[4] = {-1,-1,0,0} ・・・（１４）
d_adj0 = adjust0[p_mode[G[0]]] + adjust1[p_mode[G[2]]] ・・・（１５）
d_adj1 = adjust0[p_mode[G[0]]] + adjust1[p_mode[G[1]]] ・・・（１６）
d_adj2 = adjust0[p_mode[G[1]]] + adjust1[p_mode[G[2]]] ・・・（１７）
このようにプルダウン変換処理により、映画フィルムをビデオに変換する場合においても、上述したようにフィールド数を補正することができるので、本発明の画像符号化方法及び装置を適用でき、チャプターの指定やシーンチェンジ処理が施されて短くなったＧＯＰを削減または、極端に短いＧＯＰ長の構造を修正することができ、符号化効率を改善することができる。
【００９８】
なお、上記画像符号化方法により圧縮画像信号が記録された記録媒体は、チャプターの指定やシーンチェンジ処理がされていても、隣接する他の画像符号化グループとの間隔が予め決定されている符号化画像数の範囲内で調整されてから、上記各符号化画像に配分するビット量が決定されている画像符号化グループを記録することになるので、符号化効率が改善された高品質の映像を提供できる。
【００９９】
また、上記画像符号化方法により符号化された画像情報を記録媒体に記録するのではなく、例えば有線回線等の伝送路を用いて伝送する画像伝送方法においては、フレーム内符号化画像、フレーム間順方向予測符号化画像、双方向予測符号化画像を所定数含んでなる画像符号化グループの長さを変更するときには、隣接する他の画像符号化グループの間隔を、予め決定されている符号化画像数の範囲内で調整してから、上記各符号化画像に配分するビット量を計算して伝送するので、チャプターの指定やシーンチェンジ処理されて短くなったＧＯＰを削減または、極端に短いＧＯＰ長の構造を修正することができ、符号化効率を改善することができる。
【０１００】
【発明の効果】
本発明に係る画像符号化方法及び装置は、フレーム内符号化画像、フレーム間順方向予測符号化画像、双方向予測符号化画像を所定数含んでなる画像符号化グループの長さが短くなっても符号化効率の悪化を防ぐことができる。
【０１０１】
また、本発明に係る記録媒体は、チャプターの指定やシーンチェンジ処理がされていても、符号化効率が改善された高品質の映像を提供できる。
【０１０２】
また、本発明に係る画像伝送方法は、フレーム内符号化画像、フレーム間順方向予測符号化画像、双方向予測符号化画像を所定数含んでなる画像符号化グループの長さが短くなっても符号化効率の悪化を防いで画像を伝送できる。
【図面の簡単な説明】
【図１】本発明に係る画像符号化方法及び装置の実施の形態となるビデオエンコードシステムの具体例のブロック図である。
【図２】上記ビデオエンコードシステムに使われるビデオエンコードコントローラ内部のビット配分計算部の実行するビット配分プログラムを説明するためのフローチャートである。
【図３】チャプター指定に対してＧＯＰ数を削減する場合の、上記ビデオエンコードシステムの動作を説明するための図である。
【図４】上記図３を一般化した図である。
【図５】チャプター指定に対してＧＯＰを削減できないとき、隣接する一つ前のＧＯＰ長を短くする場合の、上記ビデオエンコードシステムの動作を説明するための図である。
【図６】上記図５を一般化した図である。
【図７】シーンチェンジ処理に対してＧＯＰを削減できないとき、隣接する一つ後ろのＧＯＰ長を短くする場合の、上記ビデオエンコードシステムの動作を説明するための図である。
【図８】上記図７を一般化した図である。
【図９】プルダウン変換処理を説明するための図である。
【図１０】プルダウン変換処理の状態遷移図である。
【図１１】プルダウン変換処理に対するＧＯＰ内フィールド数の補正値を説明するための図である。
【図１２】従来のビデオエンコードシステムの具体例のブロック図である。
【図１３】ＧＯＰ構造を説明するための図である。
【図１４】上記従来のビデオエンコードシステムにおけるエンコード処理を説明するためのフローチャートである。
【図１５】上記図１４に示したエンコード処理におけるビット配分計算処理を説明するためのフローチャートである。
【図１６】シーンチェンジ指定によるピクチャタイプの変更を説明するための図である。
【図１７】チャプター指定によるピクチャタイプの変更を説明するための図である。
【図１８】ＧＯＰ単位の評価関数の例を示す特性図である。
【図１９】ＶＢＶの計算方法を説明するための特性図である。
【図２０】ターゲットビット配分の具体例を示す図である。
【符号の説明】
１ スーパーバイザコントローラ、２０ ビデオエンコードコントローラ、２２ ビット配分計算部、２３ ＭＰＥＧエンコーダコントローラ、２５ ＭＰＥＧエンコーダ
【発明の属する技術分野】
本発明は、フレーム内符号化画像（Ｉピクチャ）、フレーム間順方向予測符号化画像（Ｐピクチャ）、双方向予測符号化画像（Ｂピクチャ）を所定数含んでなる画像符号化グループ（ＧＯＰ）により、ビデオ素材を符号化する画像符号化方法及び画像符号化装置に関する。
【０００２】
【従来の技術】
ビデオ情報をディジタルビデオディスク（Digital Video Disk：ＤＶＤ）やビデオＣＤのようなパッケージメディアに蓄積する際、上記ビデオ情報に圧縮符号化処理を施すエンコードシステムでは、最初に素材の画像の符号化難易度（Difficulty）を測定し、その符号化難易度を元に、パッケージメディアの記録容量内の与えられたバイト数に収まるように、各ビデオ情報のフレームごとにビット配分（以下、Bit assign）処理を行ってエンコードしている。
【０００３】
例えば、上記ディジタルビデオディスク用に、ビデオ情報を圧縮符号化するビデオエンコードシステムの具体例を図１２に示す。
【０００４】
図１２において、ビデオエンコードの制御を行うビデオエンコードコントローラ１０は、システム全体を管理するスーパーバイザコントローラ１に、ネットワーク２を介して接続されている。
【０００５】
スーパーバイザコントローラ１はオペレーティングシステムを構成するプログラムの内、特にシステム全体の動きを監視し、効率的に制御するプログラムであるスーパーバイザを実行するコントローラである。このビデオエンコードシステムにおいてはＤＶＤのオーサリングシステム全体の管理を行い、ビデオ、オーディオ、字幕やメニューといった各エンコードシステムにエンコード条件を与え、エンコード結果の報告を受ける。
【０００６】
このビデオエンコードシステムの具体例に対しては、例えばv.enc というファイルによってビデオエンコード条件を指定している。そして、ビデオエンコードコントローラ１０側からは、エンコード結果のビットストリームがハードディスクドライブ（ＨＤＤ）等を複数並列に接続して記録容量と転送速度性能を向上させたＲＡＩＤ１６（Redundant Arrays of Inexpensive Diskes）上に書き込まれたアドレスv.adrと、エンコード結果のビットストリームがオーディオや字幕，メニュー等のサブピクチャとマルチプレックスされる際に必要とされるデータ(vxxx.aui)を報告している。
【０００７】
ビデオエンコードコントローラ１０は、グラフィカルユーザインターフェース（Graphical User Interfece:ＧＵＩ）１１と、後述するビット配分計算処理プログラム（Bit_Assign）を格納しているビット配分計算部１２と、このビット配分計算部１２内部のビット配分計算処理プログラム（Bit_Assign）を実行させるＭＰＥＧエンコーダコントローラ１３と、ディジタルＶＴＲコントローラ１４とを備えている。
【０００８】
ユーザは、グラフィカルユーザインターフェース１１を用い、ビット配分計算部１２の上記ビット配分計算処理プログラム（BIT_ASSIGN）と、ＭＰＥＧエンコーダコントローラ１３の３つのプログラムを管理することができる。また、ＤＶＴＲコントローラ１４も管理できる。
【０００９】
ＭＰＥＧエンコーダコントローラ１３は、上記ビット配分計算部１２内部の上記ビット配分計算処理プログラム（BIT_ASSIGN）を実行すると共に、ＭＰＥＧエンコーダ１５を制御する。また、ＤＶＴＲコントローラ１４はＤＶＴＲ１７を制御する。このＤＶＴＲ１７はＭＰＥＧエンコーダ１５に接続しており、ＭＰＥＧエンコーダ１５はエンコードした結果を表示するためにモニタ１８に接続している。さらに、ＭＰＥＧエンコーダ１５は、エンコード結果を記録するために上記ＲＡＩＤ１６にも接続している。
【００１０】
ＭＰＥＧエンコーダ１５では、動き補償予測による時間方向の冗長度の除去を行っている。また、ＭＰＥＧエンコーダ１５では、フレーム内だけで符号化されるフレーム内符号化画像をＩピクチャ（Intra Coded）、過去の画面から現在を予測することによって符号化されるフレーム間順方向予測符号化画像をＰピクチャ（Predictive Coded）、過去、未来の両方向の画像から現在を予測することによって符号化される双方向予測符号化画像をＢピクチャ（Bidirectionaly Predictive Coded）を用いて、ビデオ情報を圧縮符号化している。ここでは、必ずＩピクチャを１つ含むピクチャーのまとまりを図１３に示すようなＧＯＰ（Group of Pictures）としている。この図１３において、ＧＯＰのフレーム数Ｎは１５であり、表示順のＧＯＰの先頭は、Ｉピクチャの前で、Ｐ又はＩピクチャの次のＢピクチャーである。ＧＯＰの最後は、次のＩピクチャの前の最初のＰピクチャである。
【００１１】
このビデオエンコードシステムの動作について図１４のフローチャートを参照して説明する。先ず、ステップＳ１で、スーパーバイザコントローラ１からネットワーク２経由でビデオに割り当てるビット総量や最大レートなどのエンコード条件v.encが与えられ、ＭＰＥＧエンコーダコントローラ１３はエンコード条件を設定する。その後、ステップＳ２でＭＰＥＧエンコーダコントローラ１３の制御の基にＭＰＥＧエンコーダ１５がエンコード素材の符号化難易度を測定する。ここでは、各画素のＤＣ値や動きベクトル量ＭＥも読んでおく。そして、これらの測定結果により、ファイルを作成しておく。
【００１２】
実際の符号化難易度の測定は以下のように行う。エンコード素材となるビデオ情報はＤＶＴＲ１７によってディジタルビデオカセットにマスターとして収録されており、このマスターをＤＶＴＲコントローラ１４でＤＶＴＲ１７を制御しながら再生してエンコード素材の符号化難易度を測定する。
【００１３】
ここでは、符号化の際に量子化ステップ数を固定値に設定した条件で発生ビット量を測定する。動きが多く、高い周波数成分が大きい画像では発生ビット量が大きくなり、静止画や平坦な部分が多い画像では発生ビット量が少なくなる。この発生ビット量の大きさを上記符号化難易度としている。
【００１４】
次に、ステップＳ３では、ステップＳ１で設定されたエンコード条件を元に、ステップＳ２で測定された各ピクチャーの符号化難易度の大きさに応じて、ビット配分計算部１２内部のビット配分計算プログラム（BIT_ASSIGN）を実行し、割り当てビット量（ターゲット量 :target）の配分計算を行う。
【００１５】
そして、このステップＳ３でのビット配分計算による結果を使ってエンコードを実行するかどうかをＭＰＥＧエンコーダ１５に内蔵されているローカルデコーダ出力の画質によってユーザに判断させる。
【００１６】
実際には、ステップＳ４で、上記ビット配分によるビットストリームをＲＡＩＤ１６に出力しないで、任意の処理範囲を指定できるプレビユーモード（Preview）を行って、ユーザーが画質をチェックする。
【００１７】
ステップＳ５の画質評価で画質に問題がない場合にはステップＳ６に進み、エンコード処理を実行するが、画質に問題がある場合には、ステップＳ８に進み、問題のある部分のレートを上げるとか、フィルターレベルを調整するといった画質調整のためのカスタマイズ作業を行ってから、ステップＳ９で再びビット配分計算部１２内部のビット配分計算処理プログラム（BIT_ASSIGN）を実行し、ビット再配分計算を行う。
【００１８】
その後、ステップＳ４に戻り、カスタマイズした部分をプレビューして、ステップＳ５で画質を確認し、すべての部分が良ければステップＳ６に進み、全体のエンコードをＭＰＥＧエンコーダ１５に実行させる。エンコード結果であるビットストリームは、ステップＳ７でＳＣＳＩ（Small Computer System Interface）経由で直接、ＲＡＩＤ１６に書き込まれる。
【００１９】
ステップＳ６でのエンコード後、ビデオエンコードコントローラ１０は上述したようなエンコード結果情報をネットワーク経由でスーパーバイザコントローラ１に報告する。
【００２０】
この図１４のフローチャートにおいて、ステップＳ２，ステップＳ４及びステップＳ６を除いた各ステップの処理はオフライン処理を意味している。
以下、特に、ステップＳ３で実行されるビット配分計算部１２内のビット配分計算処理について詳細に説明する。先ず、スーパーバイザコントローラ１からディスク容量の中から上記ビット総量（QTY_BYTES）と、最大ビットレート（MAXRATE）が指定されると、これに対して、ＭＰＥＧエンコーダコントローラ１３は、最大ビットレート（MAXRATE）以下になるように制限を加えた総ビット数 (USB_BYTES)を求め、この値からＧＯＰのヘッダ（GOP header）に必要なビット数(TOTAL_HEADER)を引いた値と、全体のフレーム総数からターゲット数の総和の目標値となるSUPPLY_BYTESを算出する。
【００２１】
そして、このSUPPLY_BYTESの大きさに収まるようにビット配分計算部１２内部のビット配分計算処理プログラムを実行し、各ピクチャーへの割り当てビット量（以下、ターゲット量：target）を配分する。
【００２２】
このステップＳ３でのビット配分計算処理を詳細に示したのが図１５のフローチャートである。
【００２３】
先ず、ステップＳ１１で上述したように、スーパーバイザコントローラ１から送られた上記ビット総量（QTY_BYTES）と、最大ビットレート（MAXRATE）が入力されると、ＭＰＥＧエンコーダコントローラ１３は、上述したようにSUPPLY_BYTESを算出する。
【００２４】
次に、上記図１４のステップＳ２の符号化難易度の測定で作成された測定ファイルをステップＳ１２でそのまま読み込み、符号化難易度の測定の際に、併せて測定された各画像のＤＣ値や動きベクトル量ＭＥの大きさのパラメータの変化量から、ステップＳ１３でシーンが変化するポイントを見つける。
【００２５】
このステップＳ１３でのシーンチェンジ検出／処理は、本件出願人が既に特願平８-２７４０９４号明細書及び図面にて開示した「映像信号処理装置」に応じてシーンチェンジ点を検出する処理である。
【００２６】
この「映像信号処理装置」は、映像信号の各フレームの直流レベルを検出し、この直流レベルを曲線近似して得られる誤差値より、上記映像信号のシーンチェンジのフレームを検出して、シーンチェンジ点を明らかにする。
【００２７】
そして、図１６に示すように、シーンがチェンジしたとして検出したポイントは、ＰピクチャーをＩピクチャーに変更して、画質改善を計る。
【００２８】
次に、ステップＳ１４でチャプター（CHAPTER）境界処理を行う。ＤＶＤ再生装置でのチャプターサーチ時には、特定されないピクチャーからジャンプしてくることになるが、その場合でも再生画像の乱れがないようにするため、図１７に示すようにチャプターの位置が必ずＧＯＰの先頭になるようにピクチャータイプを変更する。図１７ではＰピクチャをＩピクチャに変更している。
【００２９】
このようなステップＳ１３，ステップＳ１４での一連の作業の結果、ピクチャータイプ（Ｉ，Ｐ，Ｂピクチャ）の変更処理が実行されると、符号化難易度測定時のピクチャータイプが変更されるため、ステップＳ１５で変更後のピクチャータイプに合わせた符号化難易度の値に補間／補正する。ステップＳ１５での符号化難易度の補間／補正によって得られた符号化難易度と、全体に与えられたビット数（SUPPLY_BYTES）に応じて、ステップＳ１６で各ピクチャーごとのターゲットビット数を計算する。
【００３０】
そして、ステップＳ１７でＲＡＩＤ１６にエンコード結果のビットストリームを書き込む際のアドレスの計算を行った上で、ステップＳ１８に進み、エンコーダ用のコントロールファイルを作成する。
【００３１】
例えば、ビット配分計算の具体例として、先ずＧＯＰ単位にビット量を配分してから、各ＧＯＰ内で各ピクチャーの符号化難易度に応じたビット配分を行う場合を説明する。ここでは、各ＧＯＰ毎の符号化難易度の和であるGOP_DIFFに応じて、エンコードする際のＧＯＰ単位のビット割り当て量（GOP_TARGET）を配分している。このGOP_DIFFとGOP_TARGETとを変換するもっとも簡単な関数の例を図１８に図示する。
【００３２】
この例では、縦軸YをGOP_TARGET、横軸XをGOP_DIFFとして、Y=AX+Bという評価関数を用いている。なお、全てのピクチャーの符号化難易度の総和（DIFFICULTY_SUM）を算出しておく。
【００３３】
先ず、最大ビットレート以下になるように制限を加えた総ビット数USB_BYTESを、スーパーバイザコントローラ１から与えられたビット総量QTY_BYTESと、最大ビットレートMAXRATEを使って、
USB_BYTES = min (QTY_BYTES，MAXRATE × KT × total_frame_number）・・・（１）
のように求める。
【００３４】
ここで、NTSCの場合 KT=1/8(bits)/30(Hz), PALの場合1/8(bits)/25(Hz)である。また、total_frame_number はエンコードする素材のフレーム総数、min(s,t)は s,t の内で小さい方を選択する関数である。
【００３５】
また、SUPPLY_BYTESは、上記（１）式で求めたUSB_BYTESからＧＯＰのヘッダに必要なビット数TOTAL_HEADERを引いて、
SUPPLY_BYTES = USB_BYTES - TOTAL_HEADER ・・・（２）
のように求める。
【００３６】
次に、全てのピクチャの符号化難易度の総和は、
DIFFICULTY_SUM = Σdifficulty ・・・（３）
と表せる。
【００３７】
また、GOP_TARGETの最小値を次の（４）式のように、
B = GOP_MINBYTES ・・・（４）
とする。
【００３８】
すると、図１８に示した評価関数のような
Σy = A×Σx + B×n
が得られる。
【００３９】
ここで、Σy = SUPPLY_BYTES, Σx = DIFFICULTY_SUM 、n は GOP の総数である。
【００４０】
よって A = (SUPPLY_BYTES - B×n)/ DIFFICULTY_SUM となる。すると、各ＧＯＰ毎のターゲット量は、
GOP_TARGET = A × GOP_DIFF + B ・・・（５）
と表せる。
【００４１】
その後、各ＧＯＰ内で各ピクチャーの符号化難易度に応じたビット配分を行う。ＧＯＰ内での各ピクチャーの配分は符号化難易度 の大きさに比例させた場合には、各ピクチャーのターゲット量は以下の（６）式で求められる。
【００４２】
target(k) = GOP_TARGET × diffuculty(k)/GOP_DIFF ・・・（６）
(1 ≦ k ≦ GOP 内の picture 数）
この場合、素材の中に極端に難しい（GOP_DIFFが大きい）ピクチャーがあると、非常に大きいGOP_TARGET量となってしまい、システムで許容されている最大レートを越えてしまうため、GOP_MAXBYTESといった固定量でリミッタをかけることが必要である。また、最小のターゲット量もGOP_MINBYTESで制限する。具体的には、以下に説明するアルゴリズムによっている。
【００４３】
ＭＰＥＧビデオのエンコード時には、仮想デコーダのバッファ残量を考慮しながらビット配分することが義務付けられている。この仮想バッファ残量の計算をＶＢＶ（Video buffering Verifier） という。
【００４４】
先ず、図１９を用いてＶＢＶ計算方法を説明する。この計算の最初のOCCUPANCY_UP(0)は次の（７）式に示すように、固定値（この例では VBVMAX * 2/3 )からスタートする。
【００４５】
OCCUPANCY_UP(0) = VBVMAX * 2/3 ・・・（７）
以下の OCCUPANCY_UPはグラフ上の各ピクチャーの上側のポイント、OCCUPANCY_DOWNはグラフ上の各ピクチャーの下側のポイントを意味している。
【００４６】
ＤＶＤのバッファサイズVBVMAX(1.75Mbits)に対して、k番目のピクチャーのバッファーのスタート点をOccupancy_up(k), k 番目のピクチャーのターゲット量をtarget(k)とすると、ピクチャーにビットを吐き出したあとのバッファー残量 OCCUPANCY_DOWN(k)は後述する（８）式で表される。このバッファーには、デコーダーのピックアップからビデオのデータ量に応じたビットレートのデータ量(SYSTEM_SUPPLY)が蓄積される。この供給後のバッファー残量 OCCUPANCY_UP(k+1) は次の（９）式で表される。
【００４７】
OCCUPANCY_DOWN(k) = OCCUPANCY_UP(k) - target(k) ・・・（８）
OCCUPANCY_UP(k+1) = OCCUPANCY_DOWN(k) + SYSTEM_SUPPLY ・・・（９）
この供給後のバッファ残量は、図１９の図中の右上に上がる量に相当する。供給されるビットレートが大きいほど傾きは大きくなり、バッファーにデータがたまりやすくなる。バッファがいっぱいになった場合には、ピックアップからバッファーへの供給がストップするため、バッファーのオーバーフローに関しては考慮する必要はない。このことは、ある設定値ちょうどに制御する必要はなく、設定値以上になるように制御すれば良いことを意味している。
【００４８】
逆に、各ピクチャーのデータ量が大きいと、バッファにたまったデータは減少する。このバッファー残量が一定値以下にならないようにターゲットビット量を計算する。そして、ビデオのデータ量に応じたビットレートのデータ量のSYSTEM_SUPPLYを、
SYSTEM_SUPPLY = MAXRATE(bps) * KT ・・・（１０）
のように求める。
【００４９】
図２０にＧＯＰ単位でのターゲットビット配分計算をおこなった例を示す。図２０の（Ａ）は評価関数とGOP_MAXRATE制限を考慮して求めたターゲット量に対して上記VBVバッファ計算をおこなった場合である。ここで、図２０の（Ａ）での［１］，［４」，「７」のピクチャーでVBVバッファーの下限であるVBVMINの値を下回っている。そこで、VBVがVBVMINを下回ったピクチャーを含むＧＯＰのターゲット量を削減させる。ＧＯＰ内でVBV制限を加える前のターゲット量でVBV計算を実行したときのOCCUPANCYの最小値をOcc_minとすると調整量は以下の式であらわされる。ここで、制限をおこなうスタート点kstartは、OCCUPANCY_UP(k)が基準値（VBVLINE : たとえば VBVMAX * 3/4) 以上のkの値で、このときのOCCUPANCY_UP(k)の値をOcc_startとする。
OCCUPANCY_MIN＜ VBVMIN の時
r = (Occ_start - VBVMIN)/ (VBVSTART - Occ_min) ・・・（１１）
各ターゲットに対して target(j) = target(j) × r （kstart ≦ j ≦ k) とする。
【００５０】
このようにして求められたターゲット量を用いて作成されたコントロールファイルによるエンコード処理を行うことで、素材の画像の難しさに応じた可変ビットレートエンコーディングが実行される。
【００５１】
【発明が解決しようとする課題】
ところで、ＤＶＤフォーマットでは、１つのＧＯＰ構造に含まれるフィールド数（以下 display_fields) がNTSCで36以下、PALで30以下という規定がある。符号化難易度測定時には、この制限を守るＧＯＰの長さでＧＯＰの構造が決められる。オフライン処理によるチャプター指定やシーンチェンジ指定が加わると、図１６、図１７のようにＩピクチャが追加されるため、ＧＯＰの数が増加し、かつ、長さの短いＧＯＰが発生することになる。
【００５２】
そもそも、Ｉピクチャはフレーム内だけで符号化されるため、符号化効率が悪い。したがって、ＧＯＰの数がむやみに増加すると符号化効率が悪くなる。また、極端に短い長さのＧＯＰが存在するということは、符号量の多いＩピクチャの間隔が狭いことを意味する。
【００５３】
図２０に示したVBVの計算の例でわかるように、大きいターゲット量のピクチャーの間隔が短いとVBVバッファー制限にかかりやすくなり、その結果その部分のレートを下げなければならなくなり問題となっていた。
【００５４】
本発明は、上記実情に鑑みてなされたものであり、フレーム内符号化画像、フレーム間順方向予測符号化画像、双方向予測符号化画像を所定数含んでなる画像符号化グループの長さが短くなっても符号化効率の悪化を防ぐことのできる画像符号化方法及び装置の提供を目的とする。
【００５５】
【課題を解決するための手段】
本発明に係る画像符号化方法は、上記課題を解決するために、Ｉピクチャ、Ｐピクチャ、Ｂピクチャを所定数含んでなる画像符号化グループにより、ビデオ素材を符号化する画像符号化方法において、上記画像符号化グループ内でシーンがチェンジするポイントを検出したか、又はチャプター指定を行ったことにより符号化画像のタイプを変更し、さらに変更した符号化画像に関連する各画像符号化グループの長さを変更する変更工程と、上記変更工程で長さを変更した画像符号化グループと隣接する他の画像符号化グループとの間隔を予め決定されている符号化画像数の範囲内で調整する際に、当該画像符号化グループより一つ前の画像符号化グループ内のＰピクチャのうち、符号化難易度の大きいＰピクチャをＩピクチャに変更することにより各画像符号化グループの修正を行う修正工程と、上記修正工程で構造が修正された上記各画像符号化グループ内の符号化難易度を補正する補正工程と、上記補正工程で補正された符号化難易度を基に、上記各画像符号化グループの各画像のビット数を計算する計算工程とを備える。
【００５６】
また、本発明に係る画像符号化装置は、上記課題を解決するために、Ｉピクチャ、Ｐピクチャ、Ｂピクチャを所定数含んでなる画像符号化グループにより、ビデオ素材を符号化する画像符号化装置において、上記画像符号化グループ内でシーンがチェンジするポイントを検出したか、又はチャプター指定を行ったことにより符号化画像のタイプを変更し、さらに変更した符号化画像に関連する各画像符号化グループの長さを変更する変更手段と、上記変更手段で長さを変更した画像符号化グループと、隣接する他の画像符号化グループとの間隔を予め決定されている符号化画像数の範囲内で調整する際に、当該画像符号化グループより一つ前の画像符号化グループ内のＰピクチャのうち、符号化難易度の大きいＰピクチャをＩピクチャに変更することにより各画像符号化グループの修正を行う修正手段と、上記修正手段で構造が修正された上記各画像符号化グループ内の符号化難易度を補正する補正手段と、上記補正手段で補正された符号化難易度を基に、上記各画像符号グループの各画像のビット数を計算する計算手段とを備える。
【００５９】
ここで、上記画像符号化グループの長さは、隣接する他の画像符号化グループとの間隔が予め決定されている符号化画像数の範囲内となるように調整されるので符号量の多いフレーム内符号化画像の狭い範囲での発生頻度を抑えることができる。
【００６０】
【発明の実施の形態】
以下、本発明に係る画像符号化方法及び装置の実施の形態について図面を参照しながら説明する。
【００６１】
この実施の形態は、例えばディジタルビデオカセットテープに記録されたビデオ素材をディジタルビデオディスク（Digital Video Disk：ＤＶＤ）用に、エンコードするためのビデオエンコードシステムであり、図１に示すような構成である。
【００６２】
このビデオエンコードシステムは、上記図１２に示したビデオエンコードシステムと基本的に構成を同じにしているが、ビデオエンコードコントーローラ２０でのビット配分処理を異ならせている。なお、上記図１２と同様の動作を行う各部については同一符号を付し説明を省略する。
【００６３】
本実施の形態となる図１に示したビットエンコードシステムの基本的な動作は、上記図１４のフローチャートを参照しながら説明することができるが、制御手段となるＭＰＥＧエンコーダコントローラ２３が実行する上記ビット配分計算部２２内のビット配分プログラム（BIT_ASSIGN）は、図２に示すような処理フローとなる。
【００６４】
この図２に示す処理フローは、上記図１５に示したフローチャートのステップＳ１４とステップＳ１５との間に、ステップＳ２０としてＧＯＰ構造の修正処理工程を設けている。
【００６５】
このステップＳ２０は、ステップＳ１３，ステップＳ１４で画像符号化グループの長さが変更されたときには、隣接する複数の画像符号化グループとの間隔を、予め決定されている上記各符号化画像の数の範囲内で調整するという処理である。
【００６６】
以下、ステップＳ１３のシーンチェンジ処理や、ステップＳ１４でのチャプターの境界処理で、短くなったＧＯＰに対して、ＤＶＤフォーマットの制限内（DISPLAY_MAX:この例では36以内）で数を削減または、極端に短いＧＯＰ長（8以下）の構造を修正する例を図３〜図８を用いて説明する。ここでは後述するプルダウン（pulldown）変換処理は無いものとする。また、ＧＯＰの並びをＧＯＰ０,ＧＯＰ１,ＧＯＰ２とし、ＧＯＰ１を処理の対象とする。ただし、ＧＯＰ１のＩピクチャがチャプター指定又はシーンチェンジ指定されている場合にはこの処理は行わない。
【００６７】
先ず、図３及び図４を用い、チャプター指定に対してＧＯＰ数を削減する場合について説明する。図３の（Ａ）はチャプター指定される前の、各ＧＯＰ内の構成を示している。チャプター指定される前のＧＯＰ０の長さ、すなわちフィールド数display_fieldsと、ＧＯＰ１のフィールド数display_fieldsは共に“２４”である。ここで、ＧＯＰ１内の先頭から５番目のピクチャ（Ｂピクチャ）のときにチャプター（CHAPTERと図示する）指定されると、このＢピクチャは図３の（Ｂ）のようにＩピクチャになる。
【００６８】
このため、図３の（Ａ）のＧＯＰ１は、図３の（Ｂ）に示すようにフィールド数display_fields“８”のＧＯＰ１と、フィールド数display_fields“１６”のＧＯＰ２の二つになる。
【００６９】
しかし、この図３の（Ｂ）に示したＧＯＰ１は、フィールド数display_fieldsが“８”と極端に短いのでＩピクチャが、次のＧＯＰ２のＩピクチャと接近し過ぎることになり符号化効率が悪くなり上述したように構造の修正を必要とする。ここでは、ＧＯＰ１のＩピクチャをＰピクチャに変更することにより、上記図３の（Ｂ）のＧＯＰ１を削除し、ＧＯＰ０とＧＯＰ２よりなる図３の（Ｃ）を形成する。ＧＯＰ０の先頭Ｇ［０］とＧＯＰ２の先頭Ｇ［２］間のフィールド数display_fieldsは“３２”となるので、上述したDISPLAY_MAX“３６“以内というＤＶＤフォーマットの制限を満たすことができる。
【００７０】
チャプター指定によりＧＯＰを削減する場合を示した図３を一般化すると図４のようになる。
【００７１】
ここで、フレーム番号k1とk2の間のdisplay_fields数を次の式で表し、
display_fields(k1 〜 k2)=(k2 - k1)×2+d_adjx
d_adjを、プルダウン変換処理されている場合の補正値とする。プルダウン変換処理されていない場合には d_adjx = 0 となる。
ＧＯＰ１のＩピクチャがチャプター、シーンチェンジ指定されていないとした場合を前提に図４は、
(G[2] - G[0])× 2 + d_adj0 ≦ DISPLAY_MAXの時、ＧＯＰ１のＩピクチャＩ［１］のピクチャータイプをＰピクチャＰ［０］に変換した状態を示す。
【００７２】
すなわち、チャプター指定によりＢピクチャをＩピクチャに変更して図４の（Ａ）に示すようにＧ［１］を先頭にしたＧＯＰ１と、Ｇ［２］を先頭にしたＧＯＰ２とを形成したが、これではＧＯＰ１のフィールド数が“８”と短いので、ＧＯＰ１のＩピクチャＩ［１］をＰピクチャＰ［０］に変換して図４の（Ｂ）に示すようにＧＯＰ１を削除している。
【００７３】
次に、図５及び図６を用いてチャプター指定に対してＧＯＰを削減できないとき、隣接する一つ前のＧＯＰ長を短くする場合について説明する。図５の（Ａ）はチャプター指定される前の、各ＧＯＰの構成を示している。チャプター指定される前のＧＯＰ０の長さ、すなわちフィールド数display_fieldsと、ＧＯＰ１のフィールド数display_fieldsは共に“３０”である。ここで、ＧＯＰ１内の先頭から５番目ピクチャであるＢピクチャの位置でチャプター指定されると、この５番目のＢピクチャは図５の（Ｂ）のようにＩピクチャになる。
【００７４】
このため、図５の（Ａ）のＧＯＰ１は、図５の（Ｂ）に示すようにフィールド数display_fields“８”のＧＯＰ１と、フィールド数display_fields“２２”のＧＯＰ２との二つのＧＯＰに分けられる。
【００７５】
ここで、ＧＯＰ０の長さが閾値（ここでは２３）以上のため、図５の（Ｂ）のＧＯＰ１のＩピクチャを図５の（Ｃ）のようにＰピクチャに変え、図５の（Ｂ）のＧＯＰ０の一番後ろのＰピクチャを図５の（Ｃ）のようにＩピクチャに変更してＧＯＰ０の長さ、すなわちフィールド数display_fieldsを“２４”フィールドに削減し、ＧＯＰ１の長さdisplay_fieldsを“１４”に伸ばしている。
【００７６】
また、図５の（Ｄ）に示すように、図５の（Ｂ）のＧＯＰ１のＩピクチャをＰピクチャに変え、図５の（Ｂ）のＧＯＰ０の後ろから４番目のピクチャであるＰピクチャをＩピクチャに変更してＧＯＰ０の長さを１８フィールドに削減し、ＧＯＰ１の長さを２０フィールドに伸ばしてもよい。
【００７７】
このように、変更の対象となるＧＯＰ０のＰピクチャは複数（この例では２個）存在するが、その場合には、Ｐピクチャの符号化難易度の大きい方を選択してＩピクチャに変更する。その理由は、符号化難易度の大きい方は、符号化予測が悪いことを意味しているため、フレーム内で処理させるように変更した方が有利だからである。
【００７８】
チャプター指定によりＧＯＰの長さを削減する場合を示した図５を一般化すると図６のようになる。
【００７９】
ここで、図６は、
(G[1] - G[0])× 2 + d_adj1≧23で、
かつ(G[2] - G[1])× 2 + d_adj2 ≦8
の変換条件のとき、
Ｉ［１］のピクチャータイプをＰピクチャＰ［１］に変更し、
さらに、ＧＯＰ０内の複数のＰピクチャの内、符号化難易度が大きい方のＰピクチャをＩピクチャに変換する場合について、二つに分けて示している。
【００８０】
変換前の図６の（Ａ）において、ＧＯＰ０の先頭から１５番目のＰピクチャＰ15［０］が、先頭から１２番目のＰピクチャＰ12［０］の符号化難易度より大きい場合、図６の（Ｂ）に示すように、ＰピクチャＰ15［０］をＩピクチャに変換する。
【００８１】
一方、変換前の図６の（Ａ）において、ＧＯＰ０の先頭から１５番目のＰピクチャＰ15［０］が、先頭から１２番目のＰピクチャＰ12［０］の符号化難易度以下である場合、図６の（Ｃ）に示すように、ＰピクチャＰ12［０］をＩピクチャに変換する。
【００８２】
次に、図７及び図８を用いてシーンチェンジ処理に対してＧＯＰを削減できない場合で隣接する一つ後ろのＧＯＰ長を短くする場合について説明する。図７の（Ａ）はシーンチェンジ処理される前の、各ＧＯＰの構成を示している。シーンチェンジ処理される前のＧＯＰ０とＧＯＰ１のフィールド数display_fieldsの長さは“３０”である。ここで、ＧＯＰ０内の最後のＰピクチャの位置でシーンチェンジ（Scene changeと図示する）処理されると、この最後のＰピクチャを図７の（Ｂ）のようにＩピクチャに変換する。このため、図７の（Ａ）のＧＯＰ０は二つのＧＯＰに分けられ、図７の（Ｂ）に示すようにフィールド数display_fields“２４”のＧＯＰ０’と、フィールド数display_fields“６”のＧＯＰ０になる。このＧＯＰ０の後には、フィールド数display_fields“３０”のＧＯＰ１が続いている。
【００８３】
ここで、ＧＯＰ１の長さが閾値（ここでは 23 ）以上のため、図７の（Ｃ）に示すようにＧＯＰ１のＩピクチャをＰピクチャに変え、ＧＯＰ１の先頭から６番目のピクチャであるＰピクチャをＩピクチャに変更してＧＯＰ１の長さを“２４”フィールドに削減し、ＧＯＰ０の長さを“１２”に伸ばしている。
【００８４】
この場合、変更の対象となるＰピクチャの数は上記図５の場合より制限している。その理由は、処理をフレーム番号の小さい順におこなっていることから、ＧＯＰ１の長さを短くしすぎると、次のＧＯＰの処理に影響がおよぼされることを防止するためである。
【００８５】
シーンチェンジ処理によりＧＯＰの長さを削減する場合を示した図７を一般化すると図８のようになる。
【００８６】
ここで、図８は、
(G[2] - G[1])× 2 + d_adj2≧23で、
かつ(G[1]-G[0])× 2 + d_adj1 ≦8
の変換条件のとき、
Ｉ［１］のピクチャータイプをＰピクチャに変更し、Ｐ［１］のピクチャータイプをＩピクチャに変更する様子を示している。
【００８７】
すなわち、シーンチェンジ処理によりＰピクチャをＩピクチャに変更して図７の（Ｂ）に示すようにＧＯＰ０’とＧＯＰ１とを形成したが、これではＧＯＰ０のフィールド数が“６”と短いので、ＧＯＰ１のＩピクチャＩ［１］をＰピクチャに変換し、さらにＧＯＰ１の最初のＰピクチャをＩピクチャに変換して図８の（Ｂ）に示すようにＧＯＰ１の長さを削減している。
【００８８】
このように、本発明による画像符号化方法及び装置によれば、チャプターの指定やシーンチェンジ処理されて短くなったＧＯＰを削減または、極端に短いＧＯＰ長の構造を修正することができ、符号化効率を改善することができる。
【００８９】
なお、以上には、プルダウン変換処理を考慮しない場合を説明したが、プルダウン変換処理によりdisplay_fields 数を補正する場合について以下に説明する。最初にプルダウン変換処理について説明する。
【００９０】
映画フィルムは２４コマ／秒で構成されているが、これをＮＴＳＣの３０フレーム／秒に変換するために、周期的に同じフィールド画像を繰り返す処理を行っている。ここでは、この処理を２−３プルダウン処理変換ということにする。図９に２−３プルダウン変換処理の原理を示す。プルダウンのパターンの位相は、フィルム素材からＮＴＳＣビデオ素材の変換時に決定され、多くの場合パターンは規則的に変換されている。
【００９１】
ビデオの１フレームは２フィールドで構成されるが、その内の 1st field を top_field とし、2nd field を bottom_field とする。また、同じフィールド画を繰り返す場所は repeat_first_field と呼ぶこととする。このような映画素材の場合、同じフィールドである位置がわかっていれば、エンコードの際にそのフィールドを符号化しないようにすれば、圧縮効率があがることになる。
【００９２】
このような２−３プルダウン変換処理パターンの検出及び、パターンを考慮したプルダウンパターンの自動検出手法では、エンコードの際に現在と１フレーム前の top_field, bottom_field の差分を元に repeat_first_field の位置を調べ、プルダウン位相を検出できる。
符号化の際の２−３プルダウン変換処理のパターンによる組合せは以下の４通りである。
【００９３】
0: bottom_field_first
1: bottom_field_first, repeat_first_field
2: top_field_first
3: top_field_first, repeat_first_field
これらをピクチャーモードと定義する。
【００９４】
次に、２−３プルダウン変換処理パターンとＮＴＳＣのロールの先頭からのビデオフレーム番号kの関係を考える。リピートされていないtop_fieldを含む位置のkのピクチャーモードをp_mode[k]とする。すると、０〜３に属さないフレーム番号が存在することがわかる。この場合のp_modeの値を４とする。
【００９５】
図１０は、p_mode[k] の状態遷移図である。プルダウンが規則正しく連続している場合には、p_mode[k]の値は、次の（１２）式に示すように、フレーム番号 kの増加にともなって５で割った余りの体（mod 5）において１ずつ増加していく。
p_mode[k+1] = (p_mode[k] + 1 ) mod 5 ・・・（１２）
図１１のadjust0, adjust1 はそれぞれ display_fields を数えるスタートのフレーム番号の p_mode と、終りのフレーム番号の p_mode に対する補正量を示している。たとえば、数え始めの p_mode が０の場合には、符号化されているものには前のフレームの bottom_field が含まれているため＋１となる。数え終りの p_mode が０の場合には、最後の bottom_field が含まれていないため−１となる。
【００９６】
結局、上記図４、図６、図８でプルダウン変換処理が行われた場合、Ｇ［０］，Ｇ［１］，Ｇ［２］に対する補正量 d_adjx は以下の式で表すことができる。
【００９７】
adjust0[4] = {+1,+1,0,0} ・・・（１３）
adjust1[4] = {-1,-1,0,0} ・・・（１４）
d_adj0 = adjust0[p_mode[G[0]]] + adjust1[p_mode[G[2]]] ・・・（１５）
d_adj1 = adjust0[p_mode[G[0]]] + adjust1[p_mode[G[1]]] ・・・（１６）
d_adj2 = adjust0[p_mode[G[1]]] + adjust1[p_mode[G[2]]] ・・・（１７）
このようにプルダウン変換処理により、映画フィルムをビデオに変換する場合においても、上述したようにフィールド数を補正することができるので、本発明の画像符号化方法及び装置を適用でき、チャプターの指定やシーンチェンジ処理が施されて短くなったＧＯＰを削減または、極端に短いＧＯＰ長の構造を修正することができ、符号化効率を改善することができる。
【００９８】
なお、上記画像符号化方法により圧縮画像信号が記録された記録媒体は、チャプターの指定やシーンチェンジ処理がされていても、隣接する他の画像符号化グループとの間隔が予め決定されている符号化画像数の範囲内で調整されてから、上記各符号化画像に配分するビット量が決定されている画像符号化グループを記録することになるので、符号化効率が改善された高品質の映像を提供できる。
【００９９】
また、上記画像符号化方法により符号化された画像情報を記録媒体に記録するのではなく、例えば有線回線等の伝送路を用いて伝送する画像伝送方法においては、フレーム内符号化画像、フレーム間順方向予測符号化画像、双方向予測符号化画像を所定数含んでなる画像符号化グループの長さを変更するときには、隣接する他の画像符号化グループの間隔を、予め決定されている符号化画像数の範囲内で調整してから、上記各符号化画像に配分するビット量を計算して伝送するので、チャプターの指定やシーンチェンジ処理されて短くなったＧＯＰを削減または、極端に短いＧＯＰ長の構造を修正することができ、符号化効率を改善することができる。
【０１００】
【発明の効果】
本発明に係る画像符号化方法及び装置は、フレーム内符号化画像、フレーム間順方向予測符号化画像、双方向予測符号化画像を所定数含んでなる画像符号化グループの長さが短くなっても符号化効率の悪化を防ぐことができる。
【０１０１】
また、本発明に係る記録媒体は、チャプターの指定やシーンチェンジ処理がされていても、符号化効率が改善された高品質の映像を提供できる。
【０１０２】
また、本発明に係る画像伝送方法は、フレーム内符号化画像、フレーム間順方向予測符号化画像、双方向予測符号化画像を所定数含んでなる画像符号化グループの長さが短くなっても符号化効率の悪化を防いで画像を伝送できる。
【図面の簡単な説明】
【図１】本発明に係る画像符号化方法及び装置の実施の形態となるビデオエンコードシステムの具体例のブロック図である。
【図２】上記ビデオエンコードシステムに使われるビデオエンコードコントローラ内部のビット配分計算部の実行するビット配分プログラムを説明するためのフローチャートである。
【図３】チャプター指定に対してＧＯＰ数を削減する場合の、上記ビデオエンコードシステムの動作を説明するための図である。
【図４】上記図３を一般化した図である。
【図５】チャプター指定に対してＧＯＰを削減できないとき、隣接する一つ前のＧＯＰ長を短くする場合の、上記ビデオエンコードシステムの動作を説明するための図である。
【図６】上記図５を一般化した図である。
【図７】シーンチェンジ処理に対してＧＯＰを削減できないとき、隣接する一つ後ろのＧＯＰ長を短くする場合の、上記ビデオエンコードシステムの動作を説明するための図である。
【図８】上記図７を一般化した図である。
【図９】プルダウン変換処理を説明するための図である。
【図１０】プルダウン変換処理の状態遷移図である。
【図１１】プルダウン変換処理に対するＧＯＰ内フィールド数の補正値を説明するための図である。
【図１２】従来のビデオエンコードシステムの具体例のブロック図である。
【図１３】ＧＯＰ構造を説明するための図である。
【図１４】上記従来のビデオエンコードシステムにおけるエンコード処理を説明するためのフローチャートである。
【図１５】上記図１４に示したエンコード処理におけるビット配分計算処理を説明するためのフローチャートである。
【図１６】シーンチェンジ指定によるピクチャタイプの変更を説明するための図である。
【図１７】チャプター指定によるピクチャタイプの変更を説明するための図である。
【図１８】ＧＯＰ単位の評価関数の例を示す特性図である。
【図１９】ＶＢＶの計算方法を説明するための特性図である。
【図２０】ターゲットビット配分の具体例を示す図である。
【符号の説明】
１ スーパーバイザコントローラ、２０ ビデオエンコードコントローラ、２２ ビット配分計算部、２３ ＭＰＥＧエンコーダコントローラ、２５ ＭＰＥＧエンコーダ
Claims (3)
- Ｉピクチャ、Ｐピクチャ、Ｂピクチャを所定数含んでなる画像符号化グループにより、ビデオ素材を符号化する画像符号化方法において、
上記画像符号化グループ内でシーンがチェンジするポイントを検出したか、又はチャプター指定を行ったことにより符号化画像のタイプを変更し、さらに変更した符号化画像に関連する各画像符号化グループの長さを変更する変更工程と、
上記変更工程で長さを変更した画像符号化グループと隣接する他の画像符号化グループとの間隔を予め決定されている符号化画像数の範囲内で調整する際に、当該画像符号化グループより一つ前の画像符号化グループ内のＰピクチャのうち、符号化難易度の大きいＰピクチャをＩピクチャに変更することにより各画像符号化グループの修正を行う修正工程と、
上記修正工程で構造が修正された上記各画像符号化グループ内の符号化難易度を補正する補正工程と、
上記補正工程で補正された符号化難易度を基に、上記各画像符号化グループの各画像のビット数を計算する計算工程と
を備えることを特徴とする画像符号化方法。 - 上記変更工程にてチャプター指定に伴い、符号化画像のタイプを変更することにより、当該画像符号化グループと上記他の画像符号化グループとの間隔が予め決定されている長さよりも短くなったが、画像符号化グループを削減できないとき、当該画像符号化グループより一つ前の画像符号化グループ内のＰピクチャのうち、符号化難易度の大きいＰピクチャをＩピクチャに変更することを特徴とする請求項１記載の画像符号化方法。
- Ｉピクチャ、Ｐピクチャ、Ｂピクチャを所定数含んでなる画像符号化グループにより、ビデオ素材を符号化する画像符号化装置において、
上記画像符号化グループ内でシーンがチェンジするポイントを検出したか、又はチャプター指定を行ったことにより符号化画像のタイプを変更し、さらに変更した符号化画像に関連する各画像符号化グループの長さを変更する変更手段と、
上記変更手段で長さを変更した画像符号化グループと、隣接する他の画像符号化グループとの間隔を予め決定されている符号化画像数の範囲内で調整する際に、当該画像符号化グループより一つ前の画像符号化グループ内のＰピクチャのうち、符号化難易度の大きいＰピクチャをＩピクチャに変更することにより各画像符号化グループの修正を行う修正手段と、
上記修正手段で構造が修正された上記各画像符号化グループ内の符号化難易度を補正する補正手段と、
上記補正手段で補正された符号化難易度を基に、上記各画像符号グループの各画像のビット数を計算する計算手段と
を備えることを特徴とする画像符号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10978097A JP4462643B2 (ja) | 1997-04-25 | 1997-04-25 | 画像符号化方法及び画像符号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10978097A JP4462643B2 (ja) | 1997-04-25 | 1997-04-25 | 画像符号化方法及び画像符号化装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007148438A Division JP4650454B2 (ja) | 2007-06-04 | 2007-06-04 | 符号化装置及び符号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10304375A JPH10304375A (ja) | 1998-11-13 |
| JP4462643B2 true JP4462643B2 (ja) | 2010-05-12 |
Family
ID=14519044
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10978097A Expired - Fee Related JP4462643B2 (ja) | 1997-04-25 | 1997-04-25 | 画像符号化方法及び画像符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4462643B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3209210B2 (ja) | 1999-02-10 | 2001-09-17 | 日本電気株式会社 | 動画像圧縮方法、動画像圧縮装置及び動画像圧縮プログラムを記憶した記憶媒体 |
| JP4449915B2 (ja) * | 2006-02-08 | 2010-04-14 | ソニー株式会社 | 符号化装置、符号化方法およびプログラム、並びに、記録媒体 |
| JP4786602B2 (ja) | 2007-06-26 | 2011-10-05 | 株式会社東芝 | 情報処理装置およびプログラム |
| JP5057872B2 (ja) * | 2007-07-17 | 2012-10-24 | 株式会社東芝 | 情報処理装置およびプログラム |
| CN102217309B (zh) * | 2008-11-13 | 2014-04-09 | 汤姆逊许可证公司 | 使用hrd信息共享和比特分配等待的多线程视频编码 |
-
1997
- 1997-04-25 JP JP10978097A patent/JP4462643B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10304375A (ja) | 1998-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2008109637A (ja) | 動画像符号化装置及びその方法 | |
| JP3529599B2 (ja) | 符号化装置における編集可能点挿入方法および符号化装置 | |
| JP3740813B2 (ja) | 画像符号化方法および画像符号化装置 | |
| JP3911768B2 (ja) | 画像符号化方法及び画像符号化装置 | |
| JP3837889B2 (ja) | エンコード方法およびエンコード装置 | |
| JP4650454B2 (ja) | 符号化装置及び符号化方法 | |
| JP4462643B2 (ja) | 画像符号化方法及び画像符号化装置 | |
| JP3951152B2 (ja) | 画像符号化装置および方法 | |
| JPH10304372A (ja) | 画像符号化方法および装置、画像伝送方法 | |
| JP4710108B2 (ja) | 画像信号符号化方法及び装置 | |
| JP4288897B2 (ja) | 符号化装置及び方法、プログラム、記録媒体 | |
| JP4257504B2 (ja) | 立体映像データ処理装置、立体映像データ伝送装置、立体映像データ記録装置 | |
| JP3307367B2 (ja) | 可変転送レート符号化装置 | |
| JP4161385B2 (ja) | 画像符号化方法及び装置並びに画像処理装置及び画像処理方法 | |
| JP4759360B2 (ja) | 画像処理装置 | |
| KR100681992B1 (ko) | 기록 장치 및 방법 | |
| JP3558384B2 (ja) | 映像記録再生方法 | |
| JP3660514B2 (ja) | 可変レート動画像符号化方法および動画像編集システム | |
| JP3089990B2 (ja) | 高速サーチ画像再生装置及びその方法 | |
| JPH10308942A (ja) | 画像符号化方法及び装置並びに記録媒体並びに画像伝送方法 | |
| JP2004180345A (ja) | 撮影画像記録装置 | |
| JP4867872B2 (ja) | 画像処理装置、この画像処理装置の制御方法、及び、プログラム | |
| JPH10108200A (ja) | 画像符号化方法およびその装置 | |
| US8149679B2 (en) | Recording/reproducing device and method, recording medium, and program | |
| JPH10304376A (ja) | 画像符号化方法及び装置並びに記録媒体並びに画像伝送方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060711 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060725 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060925 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070403 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070604 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070627 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20070817 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071207 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100216 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130226 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |