JP4924746B2 - 符号量制御装置、符号量制御方法、符号量制御プログラム、動画記録装置 - Google Patents

Description

本発明は、動画記録装置に用いて好適な符号量制御装置、符号量制御方法、符号量制御プログラム、及び動画記録装置に関するものである。

従来、例えば動画記録装置において、ＭＰＥＧ方式などの動画像圧縮技術により動画像を圧縮して記録する場合の符号量制御方法として、単位時間あたりの符号量を可変とするＶＢＲ（variable bit rate）方式が知られている。係る方式においては、動画像において変化が著しい部分のピクチャ、つまり情報量が多いピクチャにはより多くの符号量を使用し、かつ変化が乏しい部分のピクチャ、つまり情報量が少ないピクチャにはより少ない符号量を使用することによって、動画データの記憶量をいたずらに増やすことなく動画像の高画質化を図ることが可能である（例えば下記特許文献１参照）。

特開２００４−２９７２６６号公報

しかしながら、上記のＶＢＲ方式によって符号量を制御する場合、各ピクチャの情報量に適した符号化を行うことができるメリットがある反面、単位時間当たりの符号量が変化するため、動画データを任意の記録媒体に記録しているときには、記録媒体の残量を知ることができても、例えば動画記録中に記録可能な動画像の残り時間を予測することが困難であるといった問題があった。

無論、係る問題は、符号量の制御を、ＶＢＲ方式とは異なり単位時間あたりの符号量を一定に制御するＣＢＲ（constant bit rate）方式を採用する場合には生じない。しかし、その場合には、情報量が少ないピクチャの記録に不必要に多くの符号量が使用されたり、情報量が多いピクチャが少ない符号量で記録されたりする。そのため、動画像の高画質化を図ろうとすれば、動画データの記憶量がいたずらに増えてしまい、逆に動画データの記憶量を削減しようとすれば、動画像の画質が低下してしまうという別の問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、記録媒体への動画データの記録に際し、データ記録量をいたずらに増やすことなく動画像の高画質化を図ると同時に、記録可能な残り時間を得ることを可能とする符号量制御装置、符号量制御方法、符号量制御プログラム、及び動画記録装置を提供することを目的とする。

前記課題を解決するため請求項１記載の発明に係る符号量制御装置にあっては、動画像の圧縮符号化に際し、圧縮符号化後の符号量を制御する符号量制御装置において、各フレームの画像を圧縮符号化する時の目標符号量として、単位時間当たりの複数フレームからなる画像グループの発生符号量を維持するための目標符号量をフレーム毎に設定する設定手段と、この設定手段により設定された目標符号量を所定の情報に基づき補正する補正手段と、この補正手段による所定の情報に基づく目標符号量の増加補正動作を、補正に伴う増加分に応じた符号量が仮想的な蓄積管理バッファの蓄積符号量を超え、且つ、その超過分が所定量を超える場合には行わせない制限手段と、前記補正手段の補正による目標符号量の減少分に応じた符号量を、前記蓄積管理バッファの蓄積符号量に対して所定の蓄積量を限度として加算するとともに、前記補正手段の補正による目標符号量の増加分に応じた符号量を、前記蓄積管理バッファの蓄積符号量を超え、所定量を限度として前記蓄積管理バッファの蓄積符号量に対して減算する蓄積量管理手段と、前記補正手段の補正による目標符号量に従って前記各フレームの画像を圧縮符号化する符号化手段と、を備え、前記蓄積量管理手段は、前記補正手段の補正による目標符号量の減少分に応じた符号量として、補正後の目標符号量に従った前記符号化手段による圧縮符号化後における前記画像グループの残りの全画像に対する割当符号量から、補正前の目標符号量に対する補正後の目標符号量の減少率を当該割当符号量に乗じた符号量を差し引いた符号量を前記蓄積管理バッファの蓄積符号量に対して加算することを特徴とする。

また、請求項２記載の発明に係る符号量制御装置にあっては、前記補正手段は、前記所定の情報に基づき補正係数を決定し、決定した補正係数を前記設定手段により設定された目標符号量に乗じることにより当該目標符号量を増減することを特徴とする。

また、請求項３記載の発明に係る符号量制御装置にあっては、前記補正手段は、前記所定の情報に基づき、圧縮符号化対象の画像が符号量を増加すべき画像であるか、又は符号量を削減すべき画像であるかを判断する判断手段と、この判断手段によって対象フレームの画像が符号量を増加すべき画像であると判断された場合には、予め決められている符号量増加用の補正係数を前記補正係数として設定するとともに、判断手段によって対象フレームの画像が符号量を削減すべき画像であると判断された場合には、予め決められている符号量削減用の補正係数を前記補正係数として設定する補正係数設定手段とを含むことを特徴とする。

また、請求項４記載の発明に係る符号量制御装置にあっては、前記判断手段は、複数の前記所定の情報に基づき、圧縮符号化対象の画像が符号量を増加すべき画像であるか、又は符号量を削減すべき画像であるかを判断することを特徴とする。

また、請求項５記載の発明に係る符号量制御装置にあっては、前記補正手段が前記設定手段により設定された目標符号量を所定の情報に基づき補正する際の当該所定の情報には、対象フレームの画像に関する画像情報が含まれることを特徴とする。

また、請求項６記載の発明に係る符号量制御装置にあっては、前記補正手段が前記設定手段により設定された目標符号量を所定の情報に基づき補正する際の当該所定の情報には、対象フレームの画像の取得環境を示す環境情報が含まれることを特徴とする。

また、請求項７記載の発明に係る符号量制御装置にあっては、前記符号化手段は、動き補償によるフレーム間予測技術を用いた符号化方式により各フレームの画像をフレーム内符号化画像及びフレーム間予測符号化画像として圧縮符号化し、前記補正手段は、前記フレーム間予測符号化画像に対して前記設定手段により設定された目標符号量を所定の情報に基づき補正することを特徴とする。

また、請求項８記載の発明に係る符号量制御装置にあっては、前記補正手段が前記設定手段により設定された目標符号量を所定の情報に基づき補正する際の当該所定の情報には、前記符号化手段による直前フレームの画像の圧縮符号化時におけるフレーム間予測後の残差値が含まれることを特徴とする。

また、請求項９記載の発明に係る符号量制御装置にあっては、前記補正手段は、前記フレーム内符号化画像に対して前記設定手段により設定された目標符号量が所定の上限を超える場合に、前記設定手段により設定された目標符号量を前記上限の符号量に補正する規制手段を含むことを特徴とする。

また、請求項１０記載の発明に係る符号量制御装置にあっては、前記補正手段は、前記規制手段により規制される前記フレーム内符号化画像の目標符号量の上限を所定の情報に基づき設定する上限設定手段を含むことを特徴とする。

また、請求項１１記載の発明に係る符号量制御装置にあっては、前記上限設定手段が前記目標符号量の上限を所定の情報に基づき設定する際の当該所定の情報には、対象フレームの画像に関する画像情報が含まれることを特徴とする。

また、請求項１２記載の発明に係る符号量制御装置にあっては、前記上限設定手段が前記目標符号量の上限を所定の情報に基づき設定する際の当該所定の情報には、対象フレームの画像の取得環境を示す環境情報が含まれることを特徴とする。

また、請求項１３記載の発明に係る符号量制御装置にあっては、前記蓄積量管理手段は、前記補正手段の補正によるフレーム間予測符号化画像の目標符号量の減少分に応じた符号量のみを、所定の蓄積量を上限として仮想的な蓄積管理バッファの蓄積符号量に対して加算するとともに、前記補正手段の補正によるフレーム間予測符号化画像の目標符号量の増加分に応じた符号量を前記蓄積管理バッファの蓄積符号量に対して減算し、前記制限手段は、前記補正手段におけるフレーム間予測符号化画像の目標符号量の増加補正動作を制御し、前記補正手段による補正に伴うフレーム間予測符号化画像の目標符号量の増加分を、前記蓄積管理バッファの蓄積符号量を超え、且つ、その超過分が所定量である符号量以下に制限することを特徴とする。

また、請求項１４記載の発明に係る符号量制御方法にあっては、符号化手段による動画像の圧縮符号化に際し、各フレームの画像を圧縮符号化する時の目標符号量として、単位時間当たりの複数フレームからなる画像グループの発生符号量を維持するための目標符号量をフレーム毎に設定する工程と、設定した目標符号量を所定の情報に基づき補正する工程と、補正に伴う目標符号量の増加分に応じた符号量が、仮想的な蓄積管理バッファの蓄積符号量を超え、且つ、その超過分が所定量を超える場合には、前記補正を行わせない工程と、前記補正が目標符号量の減少である場合に、目標符号量の減少分に応じた符号量として、補正後の目標符号量に従った圧縮符号化後における前記画像グループの残りの全画像に対する割当符号量から、補正前の目標符号量に対する補正後の目標符号量の減少率を当該割当符号量に乗じた符号量を差し引いた符号量を、前記蓄積管理バッファの蓄積符号量に対して所定の蓄積量を限度として加算する工程と、前記補正が目標符号量の増加である場合に、目標符号量の増加分に応じた符号量を、前記蓄積管理バッファの蓄積符号量を超え、所定量を限度として前記蓄積管理バッファの蓄積符号量に対して減算する工程と、前記補正された目標符号量に従って前記各フレームの画像を圧縮符号化する工程と、を含むことを特徴とする。

また、請求項１５記載の発明にあっては、コンピュータに、動画像の圧縮符号化に際し、各フレームの画像を圧縮符号化する時の目標符号量として、単位時間当たりの複数フレームからなる画像グループの発生符号量を維持するための目標符号量をフレーム毎に設定する機能と、設定した目標符号量を所定の情報に基づき補正する機能と、補正に伴う目標符号量の増加分に応じた符号量が、仮想的な蓄積管理バッファの蓄積符号量を超え、且つ、その超過分が所定量を超える場合には、前記補正を行わせない機能と、前記補正が目標符号量の減少である場合に、目標符号量の減少分に応じた符号量として、補正後の目標符号量に従った圧縮符号化後における前記画像グループの残りの全画像に対する割当符号量から、補正前の目標符号量に対する補正後の目標符号量の減少率を当該割当符号量に乗じた符号量を差し引いた符号量を、前記蓄積管理バッファの蓄積符号量に対して所定の蓄積量を限度として加算する機能と、前記補正が目標符号量の増加である場合に、目標符号量の増加分に応じた符号量を、前記蓄積管理バッファの蓄積符号量を超え、所定量を限度として前記蓄積管理バッファの蓄積符号量に対して減算する機能と、前記補正された目標符号量に従って前記各フレームの画像を圧縮符号化する機能と、を実現させるための符号量制御プログラムとした。

また、請求項１６記載の発明に係る動画記録装置にあっては、動画像を撮影する撮影手段と、この撮影手段により撮影された動画像を構成する各フレームの画像を圧縮符号化する時の目標符号量として、単位時間当たりの複数フレームからなる画像グループの発生符号量を維持するための目標符号量をフレーム毎に設定する設定手段と、この設定手段により設定された目標符号量を所定の情報に基づき補正する補正手段と、この補正手段による所定の情報に基づく目標符号量の増加補正動作を、補正に伴う増加分に応じた符号量が仮想的な蓄積管理バッファの蓄積符号量を超え、且つ、その超過分が所定量を超える場合には行わせない制限手段と、前記補正手段の補正による目標符号量の減少分に応じた符号量を、前記蓄積管理バッファの蓄積符号量に対して所定の蓄積量を限度として加算するとともに、前記補正手段の補正による目標符号量の増加分に応じた符号量を、前記蓄積管理バッファの蓄積符号量を超え、所定量を限度として前記蓄積管理バッファの蓄積符号量に対して減算する蓄積量管理手段と、前記補正手段の補正による目標符号量に従って前記各フレームの画像を圧縮符号化する符号化手段と、を備え、前記蓄積量管理手段は、前記補正手段の補正による目標符号量の減少分に応じた符号量として、補正後の目標符号量に従った前記符号化手段による圧縮符号化後における前記画像グループの残りの全画像に対する割当符号量から、補正前の目標符号量に対する補正後の目標符号量の減少率を当該割当符号量に乗じた符号量を差し引いた符号量を前記蓄積管理バッファの蓄積符号量に対して加算することを特徴とする。

本発明によれば、記録媒体への動画データの記録に際し、データ記録量をいたずらに増やすことなく動画像の高画質化を図ると同時に、記録可能な残り時間を得ることが可能となる。

本発明に係るディジタルビデオカメラを示すブロック図である。 ＣＰＵによる符号量制御の処理内容を示すフローチャートである。 レート制御処理を示すフローチャートである。 Ｔｐ＆Ｔｂ再設定処理を示すフローチャートである。 蓄積制御処理を示すフローチャートである。 輝度平均値に対応する第３のリミット値を示す図である。 ＳＡＤＲに対応する符号量調整係数の値を示す図である。 転送レートが変化する場合に設定すべき、Ｉピクチャの目標符号量の上限である第１のリミット値の例を示す図である。 レート制御で第１のリミット値を転送ビットレートに応じて変化させる場合の例を示す第１のリミット値の変化特性図である。 Ｔｐ＆Ｔｂ再設定処理で第１のＡＥ条件に該当するフレームの画像に設定する符号量調整係数を輝度平均値に応じて変化させる場合の例を示す符号量調整係数の変化特性図である。

以下、本発明の一実施の形態を図にしたがって説明する。図１は、本発明の符号量制御装置を含むディジタルビデオカメラ１の概略構成を示す図である。このディジタルビデオカメラ１は、被写体を撮影して得られる動画データを符号化してメモリ１４（記録手段）に保存する装置である。

図に示したレンズ・アイリスブロック２は、ズームレンズ及びフォーカスレンズを構成するレンズ群と、レンズ群を駆動するズーム機構及びフォーカス機構と、アイリス（絞り）機構などから構成され、各機構がＣＰＵ９の指令に基づき動作するとともに、被写体の光学像をＣＣＤやＣＭＯＳセンサ等の撮像素子３に結像させる。

撮像素子３は、被写体の光学像を所定のフレームレートで光電変換し画像信号としてＡＧＣ４へ出力する。ＡＧＣ４はアナログゲインコントローラであり、入力した画像信号のゲインをＣＰＵ９の指令に基づき調整し、ＡＤＣ５へ出力する。ＡＤＣ５はアナログデジタルコンバータであり、入力した画像信号をディジタルの画像データへ変換しＤＧＣ６へ出力する。ＤＧＣ６はデジタルゲインコントローラであり、入力した各フレームの画像データのゲインをＣＰＵ９の指令に基づき調整し、画像処理部７へ出力する。

画像処理部７は、入力したゲイン調整後の画像データ（ベイヤーデータ等）に対するガンマ補正、画素毎のＲ，Ｇ，Ｂの色成分データの生成、生成したＲＧＢデータからＹＵＶデータを生成するＹＵＶ変換等の種々の画像処理を行い、処理後のＹＵＶデータを符号化器８とＣＰＵ９へ出力する。なお、本実施形態においては、各フレームの画像データの生成に不可欠なレンズ・アイリスブロック２から画像処理部７の各部により本発明の撮影手段が構成されている。

符号化器８は、画像処理部７から出力されたＹＵＶデータ（以下、単に画像データと言う）を動き補償によるフレーム間予測技術を用いたＭＰＥＧ方式に準拠する符号化方式により順次圧縮符号化し、符号化画像データを生成する本発明の符号化手段である。なお、図示しないが符号化器８は、動画像を構成する一連の画像データをＩピクチャ（Intra-coded picture：フレーム内符号化画像）、Ｐピクチャ（Predictive-coded picture：順方向予測符号化画像）及びＢピクチャ（Bi-directionally predictive coded picture：双方向予測符号化画像）として符号化するための、直交変換回路、量子化回路、動き検出回路、順方向予測回路、符号化回路、復号化回路、逆直交変換回路、フレームメモリ等から構成されている。

符号化器８により生成された符号化画像データは、最終的にはＣＰＵ９の指令に基づき前記メモリ１４に記録される。なお、符号化器８における画像データの圧縮符号化処理の詳細については後述する。

ＣＰＵ９にはＲＯＭ１０、ＲＡＭ１１、表示部１２、操作部１３が接続されている。表示部１２はＬＣＤ及びＬＣＤコントローラから構成されており、ＣＰＵ９に入力した画像データは表示部１２に送られ、ＬＣＤコントローラによってビデオ信号の変換された後、ＬＣＤにおいて被写体画像として表示される。操作部１３は、ユーザーによるディジタルビデオカメラ１の操作を受け付けるためのズームキー等の各種の操作ボタン等により構成される。なお、本実施形態においてはズームキーを一定時間以上、継続して操作することにより、ズーム速度を低速から高速に自動的に着替えることができよう構成されている。

ＣＰＵ９は、ＲＡＭ１１を作業メモリとして、ＲＯＭ１０に記憶されている本発明に係る符号量制御プログラムを含む種々のプログラムを実行することによりディジタルビデオカメラ１の各部を制御する。また、動画撮影時には前記アイリスの開度や、ＡＧＣ４及びＤＧＣ６のゲインの調整による自動露出補正（ＡＥ）、画像データに基づいて前記フォーカスレンズを位置調整するコントラスト検出方式による自動焦点調整（ＡＦ）、画像処理部７にいて生成されるＹＵＶデータの色成分の比率調整による自動白バランス調整（ＡＷＢ）を行う。

ここで、ＣＰＵ９による動画撮影時のＡＥ制御について説明する。前記ディジタルビデオカメラ１には、測光モードとして平均測光、中央重点測光、スポット測光、マルチパターン測光といった複数の測光モードが用意されており、動画撮影時には、それらの中からユーザーが所望の測光モードを選択できるように構成されている。そして、動画撮影時のＡＥ制御に際して、ＣＰＵ９は、まず、順次取得される撮影画像の各々に、選択されている測光モードに応じて予め定められている１又は複数の評価領域を設定し、その領域の平均輝度情報から所定の露出評価値を取得する。以後、現在の取得画像の露出評価値と最終目標露出値の相違に基づき、その差分が小さくなるように次回の露出目標値（次回露出目標値）を調整するといった処理を繰り返し行うことにより、前記露出評価値を最終目標露出値に収束させることにより、適正露出を確保する。

なお、次回露出目標値の調整に際しては、
次回露出目標値 ＝ 現取得画像の露出評価値 × Ｅｋ
Ｅｋ： 露出補正係数
とし、例えば「最終目標露出値 ＜ 取得画像の露出評価値」の場合、両者の差分が大きい時には、露出補正係数Ｅｋを小さな値（例えば０．９０）に設定することにより露出調整を大胆に行って、露出評価値を最終目標露出値へ迅速に近づける。逆に、両者の差分が小さい時には、発散しないように露出補正係数Ｅｋを大きな値（０．９９）に設定し、露出調整幅を少なくする。

そして、動画撮影時にＣＰＵ９は、前記符号量制御プログラムに従い動作することにより、本発明の設定手段、補正手段（判断手段、補正係数設定手段、規制手段、上限設定手段を含む）、蓄積量管理手段、制限手段として機能し、前記符号化器８による画像データの圧縮符号化時における符号量制御を行う。

まず、符号量制御の概略について説明する。すなわちＣＰＵ９はＣＢＲ方式による制御（以下、ＣＢＲ制御）を基本として、フレーム毎に単位時間内のビットレートを一定とする目標符号量を決定するとともに、その目標符号量を、決められた条件の下で必要に応じて増減制御する。

本実施形態においてＣＰＵ９が基本とする基本となるＣＢＲ制御は、ＭＰＥＧ−２ Test Model 5（以後、ＴＭ５と略す）方式における下記ｓｔｅｐ１，２，３に従った制御である。

ｓｔｅｐ１：各ピクチャの目標符号量を決定する
各フレームの画像データの符号化に先立ち、次式で定義したＩ，Ｐ，Ｂピクチャの複雑度ｘｉ，ｘｐ，ｘｂを更新する。
xi ＝ Si×Qi
xp ＝ Sp×Qp
xb ＝ Sb×Qb
Si :Iピクチャ発生符号量
Sp :Pピクチャ発生符号量
Sb :Bピクチャ発生符号量
Qi :Iピクチャ符号時の平均量子化パラメータ
Qp :Pピクチャ符号時の平均量子化パラメータ
Qb :Bピクチャ符号時の平均量子化パラメータ
この複雑度ｘｉ，ｘｐ，ｘｂは、
符号化情報量が多く発生するような画像に対して大きくなる。
符号化情報量が小さく発生するような画像に対して小さくなる。
したがって、この複雑度は、これから符号化しようとする画像タイプ毎に、どの程度の情報量かを示す指標となる。ただし、この複雑度は実際に画像の符号化を行って得られる物である。
符号化開始時の初期値（ｉｎｉｔ）は次式によって算出される。
xi(init) ＝ 160×Bit-rate /115
xp(init) ＝ 60×Bit-rate /115
xb(init) ＝ 42×Bit-rate /115
Bit-rate :ビットレート(bps)

ＧＯＰの中のこれから符号化を行う画像の目標ビット数Ｔｉ，Ｔｐ，Ｔｂは次式で求める。
Ti ＝ Rest/(1＋NpXp/(XiKp)＋Nbxb/(XiKb))
Tp ＝ Rest/(Np＋NbKpXb/(KbXp))
Tb ＝ Rest/(Nb＋NpKbXp/(KpXb))
Kp :調整用係数 Kp＝1.0
Kb :調整用係数 Kb＝1.4
Np : GOP内の未符号化枚数(Pピクチャ)
Nb : GOP内の未符号化枚数(Bピクチャ)
Rest :残りGOPに与えられた残りのビット数
この目標ビット数は、
ＧＯＰの残りのビット数（以下、rest）を、残りの枚数の自分のピクチャタイプに換算したもので割った値である。ＧＯＰ中のまだ符号化していない画像のすべてが、これから符号化しようとする自分のピクチャタイプであると仮定したときの、１フレームあたりに与える事が可能なビット数（目標符号量）を示している。

ｓｔｅｐ２：フレーム内の量子化ステップを求める
これから符号化しようとしている画像に対する目標符号量（Ｔｉ，Ｔｐ，Ｔｂ）と実際に発生したＭＢ（マクロブロック）毎の符号量の差を基にＭＢ単位でＱＰ（量子化パラメータ）を制御する。
実際の発生符号量が、
・目標より大きい場合はＱＰを大きく(量子化値を大きくすることにより発生符号量を削減)
・目標より小さい場合はＱＰを小さくする。
ｊ番目のＭＢの符号化の前にＩ，Ｐ，Ｂフレームに対する仮想的なバッファ（以下、仮想バッファ）の充満度を次式で計算する。
di(j) ＝ di(O)＋B(j−1)−Ti×(j−1)/MB-cnt
dp(j) ＝ dp(O)＋B(j−1)−Tp×(j−1)/MB-cnt
db(j) ＝ db(O)＋B(j−1)−Tb×(j−1)/MB-cnt
B(j) :符号済みMBの符号量発生量合計
MB-cnt :ピクチャ内MB数
di(O) :前回符号化したIピクチャにおけるバッファ充満度
dp(O) :前回符号化したPピクチャにおけるバッファ充満度
db(O) :前回符号化したBピクチャにおけるバッファ充満度
マクロブロックｊのＱＰは次式で算出される。
QP(j) ＝ d(j)×51/r
r :リアクションパラメータ（＝2×Bit-rate / Picture-rate）
符号化開始時のｄｉ（０）、ｄｐ（０）、ｄｂ（０）は次式によって算出される。
di(0) ＝ 10×r/31
dp(0) ＝ Kp×di(0)
db(0) ＝ Kb×di(0)

ｓｔｅｐ３：アクティビティ制御
ＱＰの平均値を、ＭＢごとのアクティビティによって変化させる。
マクロブロックｊの空間的アクティビティ測定ａｃｔ（ｊ）として、入力画像の輝度ブロック（ＭＢ中に４個含まれる）の画素値を使って分散を次式で計算する。
var_sblk ＝ 1/64・Σ(Pk−P(ave))＾2 (k=1〜64)
sblk :輝度ブロックの番号
Pk :8×8ブロックの画素値
P(ave) :8×8ブロックの画素値平均
アクティビティａｃｔ（ｊ）を、次式で計算する。
act(j) ＝ 1＋min(var_sblk)
マクロブロック内の一部分だけでも平坦性が高い部分が存在した場合に量子化を細かく行う目的で、最小値ｍｉｎ（）を選択している。平均的なアクティビティの値からの偏りによって０．５以上、２以下の範囲に正規化した係数Ｎａｃｔ（ｊ）を次式にて計算する。
Nact(j) ＝ (2×act(j)＋avg-act) / (act(j)＋2×avg-act)
avg-act :直前の時刻の画像のact(j)の平均値(初期値＝400)
この正規化した係数を用いて最終的な量子化ステップは次式で得られる。
Mq(j) ＝ Q(j)×Nact(j)
・視覚特性上ノイズに敏感なアクティビティの低い部分(平坦画像)は小さな量子化値
・視覚特性上ノイズに鈍感なアクティビティの高い部分(平坦でない画像)は大きな量子化値がそれぞれ与えられる結果となり、視覚特性を考慮した符号化が行われる。逆に、ノイズの目立ちにくい、変化の激しい部分には粗い量子化ステップが割り当てられる。

そして、本実施形態においてＣＰＵ９は、上述したＴＭ５方式による基本的な符号量制御と並行して、まず、下記のＡ−１、Ａ−２、Ａ−３を実施することにより、Ｉピクチャの符号量を極力減らす。
Ａ−１：Ｉピクチャの目標符号量（目標ビット数）ＴＩに上限を設ける。
前述したＴＭ５方式では、被写体移動・カメラ移動等が無い状態が続くと、Ｉピクチャの割合がＰ・Ｂピクチャに対して非常に高くなる。そのためＩピクチャに多くの符号量を割いた後、それに続くＰ・Ｂピクチャの符号化時にパン又はチルトやズーム等によって画像情報量が増加した場合には、符号量不足により画質が大きく劣化する。これを考慮して、ブリージングが問題ない程度のレベルまでＩピクチャの目標符号量を制限することにより符号量に余力を残し、続くＰ・Ｂピクチャにおける画質劣化を未然に防止する。ここで、上記ブリージングとは、隣接フレーム間の画像情報の差が大きいほど顕著に発生する息継ぎ現象であり、ピクチャタイプの差及びピクチャ間の平均ＱＰの差が大きいときに発生する。

Ａ−２：パン又はチルト、ズーム時にＩピクチャの目標符号量ＴＩを下げる。
ある程度以上の速度のパン又はチルト時は、画像自体に高周波成分がなくなる。よって、Ｉピクチャへの割り当て比率を下げてもブリージングは発生しない。Ｉピクチャへの割り当て符号量を削減して符号量に余力を残し、その後の画質劣化を未然に防ぐ。

Ａ−３：白飽和後のＡＥ動作中にＩピクチャの目標符号量ＴＩを輝度に応じて変化させる。
白飽和状態の画像のＩピクチャに多くの符号量を与えても無意味であるため、白飽和が生じた場合には輝度に応じて目標符号量を下げることにより符号量に余力を残し、その後の画質劣化を未然に防止する。ただし、白飽和状態からの復帰途中は、その復帰具合（輝度Ｙにて判断する）に応じてＩピクチャに割り当てる符号量を順次上げる。

また、下記のＢ−１、Ｂ−２、Ｂ−３、Ｂ−４、Ｂ−５、Ｂ−６を実施することにより、ＧＯＰのビットレートをほぼ一定に維持したままで、Ｐピクチャ又はＢピクチャの符号量を必要に応じて増減する。

Ｂ−１：目標符号量増加
これから符号化する画像の劣化を、ディジタルビデオカメラ１のカメラパラメータ（撮影条件）や、カメラ自体の制御状態、前フレームの符号化状態等から予測し、画像の劣化が予測できたときには、あらかじめ当該フレームに対する目標符号量を高く設定して符号化を行う。

Ｂ−２：目標符号量減少
これから符号化する画像の情報量が低いことを、ディジタルビデオカメラ１のカメラパラメータ（撮影条件）や、カメラ自体の制御状態、前フレームの符号化状態等から予測し、画像の情報量が低いことが予測できたときには、あらかじめ当該フレームに対する目標符号量を低く設定して符号化を行う。

Ｂ−３：貯蓄
あるフレームの符号化が終了した後、「目標符号量＞発生符号量」であれば、余剰符号量を後述する蓄積管理バッファに加算する。

Ｂ−４：引き出し
あるフレームの符号化が終了した後、目標符号量を低く設定していたら、その分を蓄積管理バッファから減算する。

Ｂ−５：余剰符号量の蓄積量に上限を設けておく
蓄積管理バッファの蓄積符号量に上限を設けておくことにより、上限を超える場合には、上記Ｂ−３における貯蓄を禁止する。

Ｂ−６：目標符号量増加を制限する
上記Ｂ−１における目標符号量増加を、蓄積管理バッファに増加分以上の符号量が蓄積されている場合に限定する。

次に、本実施形態における具体的な符号量制御の内容を図に従い説明する。図２は、動画撮影時における一連の画像データからなる動画像の圧縮符号化に際してＣＰＵ９が実行する処理の内容を示したフローチャートである。なお、以下の説明においては、ＧＯＰが３０枚の画像により構成されるとともに、ＧＯＰの先頭のみがＩピクチャであるものとする。

まず、画像データの圧縮符号化に際してＣＰＵ９は、ＴＭ５のｓｔｅｐ１を実行して、画像タイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）の初期化処理を行い、符号量比率の初期値設定、目標符号量の決定を行い（ステップＳ１）、さらにＭＰＥＧ−２ ＴＭ５のｓｔｅｐ２を実行して、マクロブロック制御用の仮想バッファを初期化する（ステップＳ２）。

引き続き、ステップＳ１，Ｓ２で設定した初期値にしたがって、フレーム単位の目標符号量を算出するレート制御を行い（ステップＳ３）、算出したフレーム単位の目標符号量を目標とした１フレーム目の画像（Ｉピクチャ）の符号化処理を符号化器８に行わせる（ステップＳ４）。

その後、例えばユーザーにより録画終了が指示されるか、前記メモリ１４の記憶容量に空きがなくなることによって符号化が終了するまでは（ステップＳ５でＮＯ）、これから符号化する画像がＩピクチャの場合には（ステップＳ６でＹＥＳ）、前述したステップＳ３とは異なる図３に示したレート制御を行った後（ステップＳ８）、符号化器８に１フレームの符号化処理を行わせる（ステップＳ４）。また、これから符号化する画像がＩピクチャ以外、すなわちＰピクチャかＢピクチャであれば（ステップＳ６でＮＯ）、図５に示した貯蓄制御を先に行った後、前記レート制御を行い（ステップＳ７，Ｓ８）、符号化器８に１フレームの符号化処理を行わせる（ステップＳ４）。以後、ステップＳ４〜ステップＳ８の処理を繰り返し実行する。

以下、ステップＳ８のレート制御の詳細を図３のフローチャートに従い説明する。レート制御においては、まず、これから符号化する画像がＩピクチャ（ＧＯＰの先頭ピクチャ）であるか否かを判定する（ステップＳ１０１）。この判断は入力フレーム数をカウントすることにより行う。これは前述したステップＳ６においても同様である。

そして、これから符号化する画像がＩピクチャである場合には（ステップＳ１０１でＹＥＳ）、まず、仮想的な蓄積管理バッファの蓄積符号量（Ｂａｎｋ）を初期化し、蓄積管理バッファを空（Ｂａｎｋ＝０）にした後（ステップＳ１０２）、ＴＭ５のｓｔｅｐ１，２に従い、ＧＯＰの目標符号量（＝bit rate / 1（sec））を一定として、Ｉピクチャの目標符号量ＴＩの算出、及びＴＭ５で使用する仮想バッファ値の設定、複雑度ｘｉの更新といったＩピクチャ処理を行う（ステップＳ１０３）。

次に、Ｉピクチャの符号化に際して実際に使用する目標符号量ＴＩを、以下の手順により必要に応じて再設定する。まず、ステップＳ１０３で算出した目標符号量ＴＩが、予め決められている第１のリミット値Ｔｌｍａｘ１を超えているときには（ステップＳ１０４でＹＥＳ）、目標符号量をリミット値に制限する（ステップＳ１０５）。つまり先に概略説明で述べた（Ａ−１）を実施する。本実施形態おいて、上記第１のリミット値Ｔｌｍａｘ１は録画時に設定されている画質に応じた転送レートによって異なり、例えば画質に応じた転送レートが１．３Ｍｂｐｓの時には３８０ｋｂとし、画質に応じた転送レートが２．５Ｍｂｐｓの時には５００ｋｂとする。なお、転送ビットレート（画質）が固定されない構成においては、例えば図９に示したように、第１のリミット値Ｔｌｍａｘ１を転送ビットレートに比例して高くするようにしてもよい。

引き続き、直前のフレームを符号化した時の動きベクトルに基づきカメラの移動速度ＣＡＭｍｏｖを取得し（ステップＳ１０６）、その移動速度に基づいて、当該フレームの撮影時にパン又はチルトが行われていたか否かを判断する（ステップＳ１０７）。そして、パン又はチルトが行われており、かつ移動速度が所定の閾値ＴＨｍｏｖよりも速いときには（ステップＳ１０７，Ｓ１０８が共にＹＥＳ）、画像の高周波成分が欠落していると判断できるため、実際に使用する目標符号量ＴＩとして、第１のリミット値Ｔｌｍａｘ１よりも小さな値である第２のリミット値Ｔｌｍａｘ２（例えば１５０ｋｂ）を再設定する（ステップＳ１０９）。つまり先に概略説明で述べた（Ａ−２）を実施する。

なお、直前のフレームを符号化した時にパン又はチルトが行われているとき、上記ステップＳ１０８においては、例えば下記式
Tlmax2 ＝ Kmov ／ CAMmov
CAMmov ：固定係数
によって、カメラの移動速度に応じて変化する線形特性を有する第２のリミット値Ｔｌｍａｘ２を求め、それを実際に使用する目標符号量ＴＩとして再設定するようにしてもよい。

引き続き、当該フレームの撮影時に白飽和後の露出制御が行われていたか否かを判定する（ステップＳ１１０）。係る判定は、直前のＡＥ制御時に「最終目標露出値 ＜ 取得画像の露出評価値」であって、露光量を低下させるための制御を行っており、かつ全画素の輝度平均値ａｖｅＹが予め決められている規定値１１５以上であるか否かを確認することにより行う。

そして、白飽和後の露出制御が行われていたときには（ステップＳ１１０でＹＥＳ）、当該フレームにおける全画素の輝度平均値に応じた第３のリミット値Ｔｌｍａｘ３を下記式
Tlmax3 ＝（aveY×（-2.35）＋650）×1000
により取得する（ステップＳ１１１）。図６は、上記式により得られる輝度平均値に対応する第３のリミット値Ｔｌｍａｘ３の変化を示した図である。

しかる後、それまで設定されていた目標符号量ＴＩが上記第３のリミット値Ｔｌｍａｘ３よりも大きな値であれば（ステップＳ１１２でＹＥＳ）、実際に使用する目標符号量ＴＩとして第３のリミット値Ｔｌｍａｘ３を再設定する（ステップＳ１１３）。つまり先に概略説明で述べた（Ａ−３）を実施する。

以上述べたステップＳ１０４〜Ｓ１１３によって、Ｉピクチャの目標符号量をブリージングが問題ない範囲内で小さな値に制限し、これにより続くＧＯＰ内のＰ・Ｂピクチャへの符号量の割当比率を増加する。

一方、ステップＳ１０１の判別結果がＮＯであって、これから符号化する画像がＰピクチャ又はＢピクチャである場合には、ＴＭ５のｓｔｅｐ１，２に従い、ＧＯＰの残りの目標符号量ｒｅｓｔに応じた該当ピクチャタイプの目標符号量の算出、及び仮想バッファ値の設定、複雑度ｘｐ，ｘｂの更新といったＩピクチャ以外の処理を行う（ステップＳ１１４）。

次に、Ｐピクチャ又はＢピクチャの符号化に際して実際に使用する目標符号量Ｔｐ，Ｔｂを再設定するＴｐ＆Ｔｂ再設定処理を行う（ステップＳ１１５）。図４は、Ｔｐ＆Ｔｂ再設定処理の内容を示すフローチャートである。

Ｔｐ＆Ｔｂ再設定処理においてＣＰＵ９は、まず当該フレームが第１のＡＥ条件に該当するか否かを判別する（ステップＳ１２１）。本実施形態においては、直前のＡＥ制御時において
abs（1−Ek）＞ 0.06
Ek： 露出補正係数
であって、露出評価値と目標露出値の差が大きく、６％以上の調整が行われていること、さらに
輝度平均値aveY ＞ 250 or 輝度平均値aveY ＜ 10
であって、当該フレームの画像全体がほぼ白とび状態、若しくは黒つぶれ状態であることを第１のＡＥ条件とし、係る条件に該当するときには（ステップＳ１２１でＹＥＳ）、現画像に多くの符号量を与えても価値がないと判断し、符号量調整係数Ｆｋとして０．８を設定するとともに、下記式
T ＝ 算出目標符号量（Tp or Tb）× Fk
Fk :符号量調整係数
算出目標符号量 ：ＴＭ５によるフレーム単位に算出された目標符号量
T ：修正後の目標符号量
によって修正後の目標符号量Ｔを求める（ステップＳ１２２）。

しかる後、上記目標符号量Ｔを実際に使用する目標符号量として再設定する（ステップＳ１３２）。すなわち当初算出した目標符号量を、それよりも少ない目標符号量に補正する。つまり先に概略説明で述べた（Ｂ−２）を実施する。

なお、ステップＳ１２２では、修正後の目標符号量Ｔの計算に使用する符号量調整係数Ｆｋとして０．８を設定したが、係る符号量調整係数Ｆｋは固定値でなくともよく、例えば図１０に示したように、輝度平均値ａｖｅＹに応じ、予め決めておいた特性に従い変化させるようにしてもよい。

また、ステップＳ１２１の判別結果がＮＯであって、当該フレームが第１のＡＥ条件に該当しないときには、さらに当該フレームの撮影時に高速ズーム中であったか否かを判別する（ステップＳ１２３）。係る判別はズームキーが一定時間以上、継続操作されていた場合には高速ズームと判別する。ここで高速ズーム中であったときには（ステップＳ１２３でＹＥＳ）、フレーム間予測が当たりにくく、より多くの符号を与えないと画像劣化が激しくなると判断し、符号量調整係数Ｆｋとして１．５を設定するとともに、ステップＳ１２２と同様に
T ＝ 算出目標符号量（Tp or Tb）× Fk
によって修正後の目標符号量Ｔを求める（ステップＳ１２４）。

次に、前述した蓄積管理バッファにおける蓄積符号量Ｂａｎｋが、修正後の目標符号量Ｔにおける当初の算出目標符号数からの符号量増加分（Ｔ−Ｔｐ又はＴ−Ｔｂ）以上であるか否かを確認し、蓄積符号量Ｂａｎｋが上記符号量増加分以上であれば（ステップＳ１２６でＹＥＳ）、修正後の目標符号数Ｔを実際に使用する目標符号量として再設定する（ステップＳ１３２）。すなわち当初算出した目標符号量を、それよりも多い目標符号量に補正する。つまり先に概略説明で述べた（Ｂ−１）を実施する。また、蓄積管理バッファの蓄積符号量Ｂａｎｋが符号量増加分以上でないときには（ステップＳ１２６でＮＯ）、ここで符号量調整係数Ｆｋに１を設定し（ステップＳ１２７）、そのままＴｐ＆Ｔｂ再設定処理を終了する。つまり先に概略説明で述べた（Ｂ−６）を実施する。

また、前述したステップＳ１２３の判別結果がＮＯであって、第１のＡＥ条件に該当せず、かつ高速ズーム中でもなかったときには、当該フレームが第２のＡＥ条件に該当するか否かを判別する（ステップＳ１２５）。本実施形態においては、直前のＡＥ制御時に、
abs（1−Ek）＞ 0.06
Ek： 露出補正係数
であって、露出評価値と目標露出値の差が大きく、６％以上の調整が行われていること、さらに
70 ＜ 輝度平均値aveY ＜ 180
であって、当該フレームの輝度レベルが中間領域（８ｂｉｔ）であり、画面内の画像情報も十分に含まれていることを第２のＡＥ条件とし、係る条件に該当するときには（ステップＳ１２５でＹＥＳ）、激しい輝度変動により、フレーム間予測があたりにくく、より多くの符号を与えないと画像劣化が激しくなると判断し、高速ズーム中であった場合と同様の処理を行う。すなわち符号量調整係数Ｆｋに１．５を設定して修正後の目標符号量Ｔを求め、蓄積管理バッファの蓄積符号量Ｂａｎｋが符号量増加分以上であった場合に限り、修正後の目標符号数Ｔを実際に使用する目標符号量として再設定する。

なお、本実施形態では、上述した第１のＡＥ条件、第２のＡＥ条件において、直前のＡＥ制御時の露出目標値の調整幅（輝度変動）の閾値を６％としたが、係る閾値は一例であり変更しても構わない。

一方、ステップＳ１２５の判別結果もＮＯであって、上述したいずれの条件にも該当しないときには、符号量調整係数Ｆｋを、前フレーム符号化時のフレーム予測後の残差値ＳＡＤＲ（インターマクロブロックの１マクロブロック当たりのＳＡＤ（Sum of Absolute Difference：差分絶対和）の平均値）に応じて設定する（ステップＳ１２８）。

図７は、ステップＳ１２８において設定するＳＡＤＲに対応する具体的なＦｋの値を示した図であって、横軸がＳＡＤＲ、縦軸がＦｋである。本実施形態では、図示したようにＳＡＤＲが２５００以下の時にはＦｋを１以下とする。すなわちＳＡＤＲが十分小さい時はフレーム間予測が十分に当たっており、前フレームの画像品質が十分良好な符号化が行われている状況である。そのため、当該フレームの目標符号量Ｔｐ，Ｔｂを減じて、それ以降の画像のため符号量余力を残すようにする。

また、ＳＡＤＲが２５００以上、８０００以下の時はＦｋを１以上とする。すなわちＳＡＤＲが大きいときはフレーム間予測が十分に当たらず、前フレームの画像品質が劣化している状況である。そのため、当該フレームの目標符号量を増加させることにより、劣化画像継続を打ち切るようにする。ただし、ＳＡＤＲが５０００までの間についてはＳＡＤＲに比例してＦｋを徐々に高くするが、５０００以上では、目標符号量を増加させても画質の改善効果が低いため、ＦｋをＳＡＤＲに比例して徐々に低い値とする。

さらに、ＳＡＤＲが８０００以上の時にはＦｋを１とする。すなわちＳＡＤＲが非常に大きくフレーム間予測が全く当たっていないときには、例えば高速に移動する物体を撮影している場合であって、元画像自体が非常に流れた画像となっている状況であり、符号量を与えて劣化を未然に防いだとしても、動画として重要な部分は撮影されておらず、また視覚的にも画質向上のメリットは少ない。そのため、当初計算した目標符号量を維持するようにする。

なお、ＳＡＤＲが５０００〜８０００の間では、ＦｋをＳＡＤＲに比例して徐々に下げるようにしたが、ＳＡＤＲが５０００以上であるときには、常にＦｋに１を設定して、当初計算した目標符号量を維持するようにしてもよい。

しかる後、上記のように設定した符号量調整係数Ｆｋを用い、ステップＳ１２２，Ｓ１２４と同様の下記式
T ＝ 算出目標符号量（Tp or Tb）× Fk
によって修正後の目標符号量Ｔを求める（ステップＳ１２９）。

引き続き、設定した符号量調整係数Ｆｋが１よりも大きな値であったときには（ステップＳ１３０でＹＥＳ）、蓄積管理バッファの蓄積符号量Ｂａｎｋが、修正後の目標符号量Ｔにおける符号量増加分以上であった場合に限り（ステップＳ１２６でＹＥＳ）、修正後の目標符号数Ｔを実際に使用する目標符号量として再設定する（ステップＳ１３２）。つまり、ここでも先に概略説明で述べた（Ｂ−１）を実施する。

また、ステップＳ１２８で設定した符号量調整係数Ｆｋが１よりも小さな値であったときには（ステップＳ１３０，Ｓ１３１が共にＮＯ）、無条件に修正後の目標符号数Ｔを実際に使用する目標符号量として再設定する（ステップＳ１３２）。つまり、ここでも先に概略説明で述べた（Ｂ−２）を実施する。さらに、ステップＳ１２８で設定した符号量調整係数Ｆｋが１であったときには（ステップＳ１３１でＹＥＳ）、目標符号量の再設定を行わずに、そのままＴｐ＆Ｔｂ再設定処理を終了する。

なお、前述したステップＳ１２８では、符号量調整係数ＦｋとしてＳＡＤＲに応じた値を設定したが、ステップＳ１２８においては、前フレームの符号化時のイントラマクロブロックの割合や、Ｑ（マクロブロック毎の量子化符号係数）の平均値に応じて符号量調整係数Ｆｋに異なる値を設定してもよい。つまり、当該フレームの目標符号量をＳＡＤＲ以外の情報により変化させてもよい。

そして、以上述べたＴｐ＆Ｔｂ再設定を含むレート制御が終了したら、ＣＰＵ９は前述した図２の処理に戻り、レート制御で再設定した目標符号量（ＴＩ，Ｔ）を目標として新たなフレームの符号化処理を符号化器８に行わせる（ステップＳ４）。

次に、ステップＳ６の判別結果がＮＯであって、これから符号化する画像がＩピクチャ以外（Ｐ・Ｂピクチャ）のときには、レート制御に先立ち貯蓄引出制御を実行する（ステップＳ７）。図５は、その詳細を示したフローチャートである。

貯蓄引出制御においてＣＰＵ９は、まず、ステップＳ４の符号化処理により生成したＰピクチャ又はＢピクチャの実際の発生符号量を取得し（ステップＳ２０１）、それをＧＯＰの残りの目標符号量ｒｅｓｔから差し引いて目標符号量ｒｅｓｔを更新した後（ステップＳ２０２）、前述したＴｐ＆Ｔｂ再設定処理（図４）において設定されていた符号量調整係数Ｆｋの値に応じて、以下の処理を行う。

まず、符号量調整係数Ｆｋとして１よりも小さな値を設定していた場合には（ステップＳ２０３でＹＥＳ）、フレーム符号化後の発生符号量が、再設定していた目標符号量Ｔよりも少なく、かつ蓄積管理バッファの蓄積符号量Ｂａｎｋが所定の上限値Ｂａｍｋｍａｘに達していないことを条件として（ステップＳ２０４，Ｓ２０５が共にＹＥＳ）、以下の貯蓄処理を行う（ステップＳ２０６）。

貯蓄処理においては、前記符号量調整係数Ｆｋを貯蓄係数として用い、次式
Bank ＝ Bank＋rest×（1-Fk）
によって、目標符号量の削減分に相当する符号量を余剰符号量として蓄積管理バッファの蓄積符号量Ｂａｎｋに加算するとともに、次式
Rest ＝ Rest×Fk
によって、次のフレーム符号化に向けて上記余剰符号量をＧＯＰの残りの目標符号量Ｒｅｓｔから減じる調整を行う。つまり先に概略説明で述べた（Ｂ−３）、（Ｂ−５）を実施する。

図８（ａ）は、係る貯蓄処理の内容を示した模式図であり、例えば、符号量調整係数Ｆｋが０．９のときには、ＧＯＰの残りの目標符号量Ｒｅｓｔの１０％を蓄積管理バッファに貯蓄（蓄積）し、かつＧＯＰの残りの目標符号量Ｒｅｓｔを９０％とする。

また、符号量調整係数Ｆｋとして１よりも小さな値を設定していた場合であっても（ステップＳ２０３でＹＥＳ）、続くステップＳ２０４，Ｓ２０５のいずれか一方の判別結果がＮＯであって、フレーム符号化後の発生符号量が、再設定していた目標符号量Ｔ以上か、もしくは蓄積管理バッファの蓄積符号量Ｂａｎｋが上限値Ｂａｍｋｍａｘに達しているときには、その時点で貯蓄引出制御を終了する。なお、図では省略したが、蓄積符号量Ｂａｎｋが上限値Ｂａｍｋｍａｘに達していなくとも、蓄積管理バッファに、前述した余剰符号量分以上の空きがないときにも、その時点で貯蓄引出制御を終了する。

一方、符号量調整係数Ｆｋとして１よりも大きな値を設定していた場合には（ステップＳ２０３でＮＯ、ステップＳ２０７でＹＥＳ）、以下の引出処理を行う（ステップＳ２０８）。

引出処理においては、次式
Bank ＝ Bank−（T−Tp）、
又は
Bank ＝ Bank−（T−Tｂ）
によって、直前のフレーム符号化処理で使用した修正後の目標符号量Ｔにおける当初の算出目標符号数からの符号量増加分（Ｔ−Ｔｐ又はＴ−Ｔｂ）を蓄積管理バッファの蓄積符号量Ｂａｎｋから減算する。つまり先に概略説明で述べた（Ｂ−４）を実施する。

また、ここで次式
Rest ＝ Rest−（T−Tp）
又は
Rest ＝ Rest−（T−Tｂ）
によって、次のフレーム符号化に向けて上記符号量増加分をＧＯＰの残りの目標符号量Ｒｅｓｔから減じる調整を行う。図８（ｂ）は、係る引出処理の内容を示した模式図である。

そして、以上の貯蓄引出制御が終了したら、再び前述したレート制御により目標符号量を設定する（ステップＳ８）。その際、Ｐピクチャ又はＢピクチャについてＴＭ５により決定した目標符号量（Ｔｐ，Ｔｂ）を増加する必要がある場合には、それを貯蓄引出制御による更新後の蓄積管理バッファにおける蓄積符号量の範囲内で行う。以後はステップＳ４〜ステップＳ８の処理を繰り返し実行する。

以上説明したように本実施形態においては、フレーム毎に基本となる目標符号量をＣＢＲ方式により決定し、Ｐピクチャ又はＢピクチャについては、その画像が多くの符号量を割り当てても画質に寄与しない画像であると判断できる場合には、目標符号量（Ｔｐ，Ｔｂ）を削減することにより、それ以降におけるＧＯＰ内のＰピクチャ又はＢピクチャにより多くの符号量を割り当てることができようにした。これにより、それ以降の画像の高画質化を図ることができる。また、より多くの符号量を割り当てることが好ましい画像であると判断できる場合には、目標符号量（Ｔｐ，Ｔｂ）を増加するようにした。これにより、画像の劣化を防止することができる。

また、Ｉピクチャについては、Ｉピクチャの目標符号量に上限を設けることにより、Ｉピクチャに続くＧＯＰ内のＰ・Ｂピクチャへの符号量の割当比率を増加するようにした。これによっても、画像の高画質化を図ることができる。

そして、Ｐピクチャ又はＢピクチャにおける目標符号量（Ｔｐ，Ｔｂ）の削減分を余剰符号量として蓄積管理バッファに貯蓄し、目標符号量（Ｔｐ，Ｔｂ）を増加したときの増加分を蓄積管理バッファから引き出すものとする一方、蓄積管理バッファに上限を設け、上記目標符号量（Ｔｐ，Ｔｂ）の増加を、その増加分が蓄積管理バッファに蓄積されていることを条件として行うようにした。これにより、ＧＯＰのビットレートをほぼ一定に維持することができる。

したがって、動画撮影時には、動画データのメモリ１４への記録量をいたずらに増やすことなく動画像の高画質化を図ると同時に、記録可能な残り時間を得ることができる。

また、本実施形態においては、符号化対象のＰピクチャ又はＢピクチャが、白飽和等による情報量の少ない画像である（第１のＡＥ条件に該当する）場合に、多くの符号量を割り当てても画質に寄与しない画像、つまり目標符号量（Ｔｐ，Ｔｂ）を削減すべき画像であると判断し、また、ズーム動作により情報量の大きくなった画像である場合、ＡＥ制御により情報量の大きくなった画像である（第２のＡＥ条件に該当する）場合には、より多くの符号量を割り当てることが好ましい画像、つまり目標符号量（Ｔｐ，Ｔｂ）を増加すべき画像であると判断するようにした。つまり、複数種類の情報に基づいて、符号化対象のＰピクチャ又はＢピクチャが目標符号量（Ｔｐ，Ｔｂ）を削減すべき画像であるか、目標符号量（Ｔｐ，Ｔｂ）を増加すべき画像であるかを判断するようにした。

これにより、Ｐピクチャ又はＢピクチャが目標符号量（Ｔｐ，Ｔｂ）を増加すべき画像であるか、又は削減すべき画像であるかを適切に判断することができ、より確実に動画像の高画質化を実現することができる。

また、符号化対象のＰピクチャ又はＢピクチャの直前フレームのＳＡＤＲの値に基づき、前のフレームの画像の品質等に応じて符号量調整係数Ｆｋを決定し、それを用いて目標符号量（Ｔｐ，Ｔｂ）を増減補正するようにした。

したがって、Ｐピクチャ又はＢピクチャが目標符号量（Ｔｐ，Ｔｂ）を増加すべき画像であるか、又は削減すべき画像であるかを詳細に判断するとともに、その判断結果に応じた目標符号量（Ｔｐ，Ｔｂ）の詳細な増減補正を行うことができ、これによっても、より確実に動画像の高画質化を実現することができる。

さらに、Ｉピクチャの目標符号量を制限するとき、目標符号量の上限として、Ｉピクチャがパンチルトによる積分効果で高周波成分の欠落した情報量の少ない画像である場合には、無条件に設定する第１のリミット値Ｔｌｍａｘ１よりも小さな第２のリミット値Ｔｌｍａｘ２を設定し、さらにＩピクチャが白飽和後の露出制御が行われていたときの画像である場合には、当該フレームにおける全画素の輝度平均値に応じた第３のリミット値Ｔｌｍａｘ３を設定するようにした。

したがって、Ｉピクチャの符号量（発生符号量）をブリージングが問題ない範囲内において可能な限り削減することができ、これによっても、より確実に動画像の高画質化を実現することができる。

ここで、本実施形態において、標符号量（Ｔｐ，Ｔｂ）を減少補正していたＰピクチャ又はＢピクチャのフレーム符号化後には、貯蓄引出制御の貯蓄処理（図５のステップＳ２０６）では、
Bank ＝ Bank＋rest×（1-Fk）
Rest ＝ Rest×Fk
を行い、目標符号量（Ｔｐ，Ｔｂ）の削減分に相当する余剰符号量を、ＧＯＰの残りの目標符号量Ｒｅｓｔに標符号量（Ｔｐ，Ｔｂ）の減少率を乗じた符号量、つまり目標符号量（Ｔｐ，Ｔｂ）の実際の削減分よりも多い符号量であって、符号量調整係数Ｆｋが同一であってもＧＯＰの残りピクチャ数が多いときほど（ＧＯＰの先頭側のピクチャほど）多くなる符号量として蓄積管理バッファに貯蓄し、かつそれに応じて次のフレーム符号化に向けたＧＯＰの残りの目標符号量Ｒｅｓｔを調整するようにしたが、前記貯蓄処理では、以下の処理を行うようにしてもよい。

例えば一枚あたりの残りの目標符号量を「ｒｅｓｔ１ｐｉｃ」として、
rest1pic ＝ rest ／ ＧＯＰの残りピクチャ数
bank = bank ＋（rest1pic ×（１−Fk））
rest = rest −（rest1pic ×（１−Fk））
としてもよい。つまり目標符号量（Ｔｐ，Ｔｂ）の削減分に相当する余剰符号量を、一枚あたりの残りの目標符号量に標符号量（Ｔｐ，Ｔｂ）の減少率を乗じた符号量であって、ＧＯＰ内の残りピクチャ数に関係なく、目標符号量（Ｔｐ，Ｔｂ）の削減分（節約した符号量）に応じた符号量とし、それをＧＯＰの残りの目標符号量Ｒｅｓｔから差し引く調整を行ってもよい。なお、詳細については省略するが、本実施形態における貯蓄処理を行った場合の方が長いシーケンスで見たときの画像の劣化防止効果が高いことが本発明者らにおいて実験により確認されている。

また、標符号量（Ｔｐ，Ｔｂ）を増加補正していたＰピクチャ又はＢピクチャのフレーム符号化後には、貯蓄引出制御の引出処理（図５のステップＳ２０８）では、
Bank ＝ Bank−（T−Tp）
Rest ＝ Rest−（T−Tp）
又は、
Bank ＝ Bank−（T−Tb）
Rest ＝ Rest−（T−Tb）
を行い、目標符号量（Ｔｐ，Ｔｂ）の増加分に応じた符号量をそのまま蓄積管理バッファから減算し、かつそれに応じて次のフレーム符号化に向けたＧＯＰの残りの目標符号量Ｒｅｓｔを調整するようにしたが、例えば、蓄積管理バッファから、目標符号量（Ｔｐ，Ｔｂ）とフレーム符号化後の発生符号（Ｐ，Ｂ）との差分を減算する以下の処理を行うようにしてもよい。
Bank ＝ Bank−（P−Tp）
Rest ＝ Rest−（P−Tp）
又は、
Bank ＝ Bank−（B−Tb）
Rest ＝ Rest−（B−Tb）

また、本実施形態では、Ｐピクチャ及びＢピクチャの目標符号量（Ｔｐ，Ｔｂ）を減少補正した場合にのみ、その減少分に応じた符号量を蓄積管理バッファに蓄積するようにしたが、前述したレート制御（図３参照）においてＩピクチャの目標符号量（ＴＩ）を所定のリミット値に制限したときの、目標符号量（ＴＩ）の減少分についても蓄積管理バッファに蓄積するようにしても構わない。

また、レート制御においては、Ｐピクチャ及びＢピクチャの目標符号量（Ｔｐ，Ｔｂ）の増減補正のみを行うものとし、Ｉピクチャの目標符号量（ＴＩ）を常にＴＭ５で算出したものをそのまま使用するようにしてもよい。さらには、動画像をＭＰＥＧ方式により圧縮符号化する場合、通常ＧＯＰ内のピクチャ数はＰピクチャが最も多いため、Ｐピクチャのみを対象として目標符号量を増減補正するとともに、それに応じた貯蓄引出制御を行うようにしてもよい。いずれの場合であっても、動画撮影時には、動画データのメモリ１４への記録量をいたずらに増やすことなく動画像の高画質化を図ると同時に、記録可能な残り時間を得ることができる。但し、動画像の高画質化を考えれば本実施形態のようにすることが好ましい。

また、前述したＴｐ＆Ｔｂ再設定処理（図４参照）において、目標符号量（Ｔｐ，Ｔｂ）を補正する場合における補正係数Ｆｋの具体的な決定方法については、本実施形態に示した方法に限定されるものではなく、必要に応じて適宜変更することができる。また、本実施形態においては、上記補正係数Ｆｋを全画素の輝度平均値ａｖｅＹ、直前フレームのＳＡＤＲといった画像情報や、ＡＥ制御時の露出補正係数Ｅｋ、高速ズームの実施の有無といった環境情報に基づき決定したが、上記補正係数Ｆｋを他の画像情報や環境情報に基づき決定するようにしてもよい。

また、前述したレート制御（図３参照）においてＩピクチャの目標符号量（ＴＩ）を制限する際の上限（リミット値）の具体的な決定方法についても、本実施形態に示した方法に限定されるものではなく、必要に応じて適宜変更することができる。また、上記リミット値を、全画素の輝度平均値ａｖｅＹ、ＡＥ制御時の露出補正係数Ｅｋ、及び環境情報であるカメラの移動速度ＣＡＭｍｏｖに基づき決定したが、上記リミット値を他の画像情報や環境情報に基づき決定するようにしてもよい。さらに、例えばカメラの移動速度ＣＡＭｍｏｖについては、直前のフレームを符号化した時の動きベクトルではなく、直前のフレームを符号化した時のアクティビティ（ａｃｔ（ｊ））や、手プレ検出用の加速度センサを有する構成であれば手ブレ量から求めるようにしてもよい。

また、本実施形態においては、Ｉピクチャ（ＧＯＰの先頭ピクチャ）に対するレート制御で蓄積管理バッファを初期化する際には蓄積管理バッファを空としたが、蓄積符号量（Ｂａｎｋ）として予め所定の符号量を割り当てておくようにしてもよい。その場合、任意のフレームに対するＴｐ＆Ｔｂ再設定処理においては、上記所定の符号量を限度として、それまでの蓄積管理バッファへの符号量の蓄積分を超えて目標符号量（Ｔｐ，Ｔｂ）を増加したり、それまでに目標符号量（Ｔｐ，Ｔｂ）の減少補正（符号量の蓄積）を全く行っていないときであっても目標符号量（Ｔｐ，Ｔｂ）を増加したりすることができる。つまり上記所定の符号量を限度とした符号量の借入を伴う目標符号量（Ｔｐ，Ｔｂ）の増加補正を許容するようにしてもよい。

その場合においては、ＧＯＰの先頭側のＰピクチャ又はＢピクチャに対しても必要に応じてより多くの符号量を割り当てることができる。つまりそれらのピクチャが情報量の多い画像である場合であったとしても画質の劣化を防止することができる。無論、ＧＯＰの最大ビットレートが上記の所定の符号量、つまり蓄積符号量（Ｂａｎｋ）の初期値分だけ増えることにより動画像の記録時間は短くなるが、本実施形態と同様にＧＯＰのビットレートをほぼ一定に維持することができ、記録可能な残り時間を得ることが可能となる。

さらに、上述したように所定の符号量を限度とした符号量の借入を伴う目標符号量（Ｔｐ，Ｔｂ）の増加補正を可能とするには、例えば蓄積管理バッファの蓄積符号量（Ｂａｎｋ）を超え、所定量を限度として、目標符号量（Ｔｐ，Ｔｂ）の増加分に応じた符号量を蓄積符号量（Ｂａｎｋ）から引き出すようにしてもよい。つまり蓄積符号量（Ｂａｎｋ）が所定の符号量を限度してマイナスとなることを許容するようにしてもよい。

より具体的には、ＣＰＵ９を本発明の超過引き出し手段として機能させ、Ｔｐ＆Ｔｂ再設定処理に際して処理対象のフレームのＰピクチャ又はＢピクチャが目標符号量（Ｔｐ，Ｔｂ）の増加すべき画像であると判断したとき（Ｆｋ＞１のとき）、目標符号量（Ｔｐ，Ｔｂ）の増加分が蓄積管理バッファの蓄積符号量（Ｂａｎｋ）を超える場合には、その超過分（マイナス分）が予め決めてある所定の符号量以下であるか否かを確認し、所定の符号量以下であれば目標符号量（Ｔｐ，Ｔｂ）を増加補正し、所定の符号量を超える場合には、増加補正を中止する。あるいは前記超過分を蓄積符号量（Ｂａｎｋ）にマイナス分として逐次加算するようにし、マイナス分が予め決めてある所定の符号量に達しないことを条件として目標符号量（Ｔｐ，Ｔｂ）を増加補正するようにする。

これによっても、ＧＯＰの先頭側のＰピクチャ又はＢピクチャが情報量の多い画像である場合であったとしても画質の劣化を防止することができるとともに、ＧＯＰのビットレートをほぼ一定に維持することにより、記録可能な残り時間を得ることが可能となる。

また、ここでは本発明をディジタルビデオカメラに適用した場合について説明したが、これに限らず本発明は、例えば動画撮影機能を有するものであれば、デジタルカメラや、携帯電話端末等の他の情報機器に内蔵されたカメラ装置等の他の動画記録装置にも適用可能である。

さらに、本発明は、動画撮影機能を有するものに限らず、例えば動画記録機能を有するものであれば、ディジタルテレビ、ＤＶＤ（ハードディスク）レコーダー、パソコン等の他の動画記録装置にも適用可能である。

１ ディジタルビデオカメラ
２ レンズ・アイリスブロック
３ 撮像素子
４ ＡＧＣ
５ ＡＤＣ
６ ＤＧＣ
７ 画像処理部
８ 符号化器
９ ＣＰＵ
１０ ＲＯＭ
１１ ＲＡＭ
１２ 表示部
１３ 操作部
１４ メモリ

Claims (16)

1. 動画像の圧縮符号化に際し、圧縮符号化後の符号量を制御する符号量制御装置において、
   各フレームの画像を圧縮符号化する時の目標符号量として、単位時間当たりの複数フレームからなる画像グループの発生符号量を維持するための目標符号量をフレーム毎に設定する設定手段と、
   この設定手段により設定された目標符号量を所定の情報に基づき補正する補正手段と、
   この補正手段による所定の情報に基づく目標符号量の増加補正動作を、補正に伴う増加分に応じた符号量が仮想的な蓄積管理バッファの蓄積符号量を超え、且つ、その超過分が所定量を超える場合には行わせない制限手段と、
   前記補正手段の補正による目標符号量の減少分に応じた符号量を、前記蓄積管理バッファの蓄積符号量に対して所定の蓄積量を限度として加算するとともに、前記補正手段の補正による目標符号量の増加分に応じた符号量を、前記蓄積管理バッファの蓄積符号量を超え、所定量を限度として前記蓄積管理バッファの蓄積符号量に対して減算する蓄積量管理手段と、
   前記補正手段の補正による目標符号量に従って前記各フレームの画像を圧縮符号化する符号化手段と、を備え、
   前記蓄積量管理手段は、前記補正手段の補正による目標符号量の減少分に応じた符号量として、補正後の目標符号量に従った前記符号化手段による圧縮符号化後における前記画像グループの残りの全画像に対する割当符号量から、補正前の目標符号量に対する補正後の目標符号量の減少率を当該割当符号量に乗じた符号量を差し引いた符号量を前記蓄積管理バッファの蓄積符号量に対して加算する
   ことを特徴とする符号量制御装置。
2. 前記補正手段は、前記所定の情報に基づき補正係数を決定し、決定した補正係数を前記設定手段により設定された目標符号量に乗じることにより当該目標符号量を増減することを特徴とする請求項１記載の符号量制御装置。
3. 前記補正手段は、
   前記所定の情報に基づき、圧縮符号化対象の画像が符号量を増加すべき画像であるか、又は符号量を削減すべき画像であるかを判断する判断手段と、
   この判断手段によって対象フレームの画像が符号量を増加すべき画像であると判断された場合には、予め決められている符号量増加用の補正係数を前記補正係数として設定するとともに、判断手段によって対象フレームの画像が符号量を削減すべき画像であると判断された場合には、予め決められている符号量削減用の補正係数を前記補正係数として設定する補正係数設定手段と
   を含むことを特徴とする請求項２記載の符号量制御装置。
4. 前記判断手段は、複数の前記所定の情報に基づき、圧縮符号化対象の画像が符号量を増加すべき画像であるか、又は符号量を削減すべき画像であるかを判断することを特徴とする請求項３記載の符号量制御装置。
5. 前記補正手段が前記設定手段により設定された目標符号量を所定の情報に基づき補正する際の当該所定の情報には、対象フレームの画像に関する画像情報が含まれることを特徴とする請求項１乃至４いずれか記載の符号量制御装置。
6. 前記補正手段が前記設定手段により設定された目標符号量を所定の情報に基づき補正する際の当該所定の情報には、対象フレームの画像の取得環境を示す環境情報が含まれることを特徴とする請求項１乃至５いずれか記載の符号量制御装置。
7. 前記符号化手段は、動き補償によるフレーム間予測技術を用いた符号化方式により各フレームの画像をフレーム内符号化画像及びフレーム間予測符号化画像として圧縮符号化し、
   前記補正手段は、前記フレーム間予測符号化画像に対して前記設定手段により設定された目標符号量を所定の情報に基づき補正することを特徴とする請求項１乃至６いずれか記載の符号量制御装置。
8. 前記補正手段が前記設定手段により設定された目標符号量を所定の情報に基づき補正する際の当該所定の情報には、前記符号化手段による直前フレームの画像の圧縮符号化時におけるフレーム間予測後の残差値が含まれることを特徴とする請求項７記載の符号量制御装置。
9. 前記補正手段は、前記フレーム内符号化画像に対して前記設定手段により設定された目標符号量が所定の上限を超える場合に、前記設定手段により設定された目標符号量を前記上限の符号量に補正する規制手段を含むことを特徴とする請求項７又は８記載の符号量制御装置。
10. 前記補正手段は、前記規制手段により規制される前記フレーム内符号化画像の目標符号量の上限を所定の情報に基づき設定する上限設定手段を含むことを特徴とする請求項９記載の符号量制御装置。
11. 前記上限設定手段が前記目標符号量の上限を所定の情報に基づき設定する際の当該所定の情報には、対象フレームの画像に関する画像情報が含まれることを特徴とする請求項１０記載の符号量制御装置。
12. 前記上限設定手段が前記目標符号量の上限を所定の情報に基づき設定する際の当該所定の情報には、対象フレームの画像の取得環境を示す環境情報が含まれることを特徴とする請求項１０又は１１記載の符号量制御装置。
13. 前記蓄積量管理手段は、前記補正手段の補正によるフレーム間予測符号化画像の目標符号量の減少分に応じた符号量のみを、所定の蓄積量を上限として仮想的な蓄積管理バッファの蓄積符号量に対して加算するとともに、前記補正手段の補正によるフレーム間予測符号化画像の目標符号量の増加分に応じた符号量を前記蓄積管理バッファの蓄積符号量に対して減算し、
    前記制限手段は、前記補正手段におけるフレーム間予測符号化画像の目標符号量の増加補正動作を制御し、前記補正手段による補正に伴うフレーム間予測符号化画像の目標符号量の増加分を、前記蓄積管理バッファの蓄積符号量を超え、且つ、その超過分が所定量である符号量以下に制限する
    ことを特徴とする請求項７乃至１２いずれか記載の符号量制御装置。
14. 符号化手段による動画像の圧縮符号化に際し、各フレームの画像を圧縮符号化する時の目標符号量として、単位時間当たりの複数フレームからなる画像グループの発生符号量を維持するための目標符号量をフレーム毎に設定する工程と、
    設定した目標符号量を所定の情報に基づき補正する工程と、
    補正に伴う目標符号量の増加分に応じた符号量が、仮想的な蓄積管理バッファの蓄積符号量を超え、且つ、その超過分が所定量を超える場合には、前記補正を行わせない工程と、
    前記補正が目標符号量の減少である場合に、目標符号量の減少分に応じた符号量として、補正後の目標符号量に従った圧縮符号化後における前記画像グループの残りの全画像に対する割当符号量から、補正前の目標符号量に対する補正後の目標符号量の減少率を当該割当符号量に乗じた符号量を差し引いた符号量を、前記蓄積管理バッファの蓄積符号量に対して所定の蓄積量を限度として加算する工程と、
    前記補正が目標符号量の増加である場合に、目標符号量の増加分に応じた符号量を、前記蓄積管理バッファの蓄積符号量を超え、所定量を限度として前記蓄積管理バッファの蓄積符号量に対して減算する工程と、
    前記補正された目標符号量に従って前記各フレームの画像を圧縮符号化する工程と、
    を含むことを特徴とする符号量制御方法。
15. コンピュータに、
    動画像の圧縮符号化に際し、各フレームの画像を圧縮符号化する時の目標符号量として、単位時間当たりの複数フレームからなる画像グループの発生符号量を維持するための目標符号量をフレーム毎に設定する機能と、
    設定した目標符号量を所定の情報に基づき補正する機能と、
    補正に伴う目標符号量の増加分に応じた符号量が、仮想的な蓄積管理バッファの蓄積符号量を超え、且つ、その超過分が所定量を超える場合には、前記補正を行わせない機能と、
    前記補正が目標符号量の減少である場合に、目標符号量の減少分に応じた符号量として、補正後の目標符号量に従った圧縮符号化後における前記画像グループの残りの全画像に対する割当符号量から、補正前の目標符号量に対する補正後の目標符号量の減少率を当該割当符号量に乗じた符号量を差し引いた符号量を、前記蓄積管理バッファの蓄積符号量に対して所定の蓄積量を限度として加算する機能と、
    前記補正が目標符号量の増加である場合に、目標符号量の増加分に応じた符号量を、前記蓄積管理バッファの蓄積符号量を超え、所定量を限度として前記蓄積管理バッファの蓄積符号量に対して減算する機能と、
    前記補正された目標符号量に従って前記各フレームの画像を圧縮符号化する機能と、
    を実現させるための符号量制御プログラム。
16. 動画像を撮影する撮影手段と、
    この撮影手段により撮影された動画像を構成する各フレームの画像を圧縮符号化する時の目標符号量として、単位時間当たりの複数フレームからなる画像グループの発生符号量を維持するための目標符号量をフレーム毎に設定する設定手段と、
    この設定手段により設定された目標符号量を所定の情報に基づき補正する補正手段と、
    この補正手段による所定の情報に基づく目標符号量の増加補正動作を、補正に伴う増加分に応じた符号量が仮想的な蓄積管理バッファの蓄積符号量を超え、且つ、その超過分が所定量を超える場合には行わせない制限手段と、
    前記補正手段の補正による目標符号量の減少分に応じた符号量を、前記蓄積管理バッファの蓄積符号量に対して所定の蓄積量を限度として加算するとともに、前記補正手段の補正による目標符号量の増加分に応じた符号量を、前記蓄積管理バッファの蓄積符号量を超え、所定量を限度として前記蓄積管理バッファの蓄積符号量に対して減算する蓄積量管理手段と、
    前記補正手段の補正による目標符号量に従って前記各フレームの画像を圧縮符号化する符号化手段と、を備え、
    前記蓄積量管理手段は、前記補正手段の補正による目標符号量の減少分に応じた符号量として、補正後の目標符号量に従った前記符号化手段による圧縮符号化後における前記画像グループの残りの全画像に対する割当符号量から、補正前の目標符号量に対する補正後の目標符号量の減少率を当該割当符号量に乗じた符号量を差し引いた符号量を前記蓄積管理バッファの蓄積符号量に対して加算する
    ことを特徴とする動画記録装置。

Images