JP4649318B2 - 画像符号化装置、画像符号化方法、プログラム及び記憶媒体 - Google Patents

Description

本発明は、画像符号化装置、画像符号化方法、プログラム及び記憶媒体に関する。

撮像した動画像を符号化する場合、複数のピクチャ単位（以下、ＧＯＰという）で符号量を制御する方法が知られている。ＧＯＰは、ＧＯＰの先頭ピクチャをＩピクチャ、その他のピクチャをＰピクチャ、Ｂピクチャで構成するのが一般的である。ここで、Ｉピクチャとは、そのピクチャ内だけで符号化を行うフレーム内符号化ピクチャのことである。また、Ｐピクチャとは、時間的に前のピクチャとの差分を利用して符号化を行う前方向フレーム間予測符号化ピクチャのことである。また、Ｂピクチャとは、時間的に前後のピクチャとの差分を利用して符号化を行う前後方向フレーム間予測符号化ピクチャのことである。

符号化効率の点から見るとＢピクチャが最も良く、次にＰピクチャ、Ｉピクチャという順序になる。ただし、Ｂピクチャ、Ｐピクチャはフレーム間の差分を利用して符号化されるので、そのピクチャ単独で復号することはできない。また、フレーム間の相関性が高い場合の符号化効率はよいが、相関性が低い場合、符号化効率が悪くなってしまうという欠点もある。このようにＢピクチャ、Ｐピクチャの符号量は動画像の構成に左右されやすく、予定内の符号量にするために量子化値を大きくしすぎてかえって画質の劣化を招くことがあるという問題がある。

画質の劣化を回避するために、ＧＯＰごとの割り当て符号量を可変にし、量子化値をなるべく一定に保つ可変符号量制御という方法もあるが、撮像する時間によって総符号量が変化し、期待する総符号量にするための制御が困難である。総符号量を一定にするため、一度動画像全体の量子化値を一定にして符号化を行い、生成された符号量の推移を元にＧＯＰ単位或いはピクチャ単位の目標符号量を変化させながらもう一度符号化をやり直す２パス符号化という方式が一般的に知られている。しかし、この方式は動画デジタルカメラのようにリアルタイム性が必須であるシステムに対しては有効ではない。２パス符号化でリアルタイム処理を実現するために、複数の符号化器を用いて並列に符号化するという手段もあるが、回路規模の大幅増加は避けられない。

上述した問題に対して、撮像部の制御パラメータから撮像部の状態をリアルタイムに把握する。そして、撮像部の状態が変化するよう制御中（以下、非定常状態という）の場合には、量子化値を大きくすることにより２パスで符号化しなくとも良好な画質を得ることができるビデオカメラ装置が開示されている（例えば、特許文献１参照。）。

特開２００３−２１９４１６号公報

上記特許文献１に記載のビデオカメラ装置では、撮像部の状況に応じた符号量制御が可能である。しかしながら、撮像部がズーム中、オートフォーカスの動作中、オートアイリスの動作中、オートホワイトバランスの引き込み中といった非定常状態にある場合、参照画像との差分も必然的に大きくなってしまう。即ち、フレーム間の相関性を考慮に入れずに量子化値を操作する上記装置では、撮像部が非定常状態の場合には、符号化処理後のピクチャにおける発生符号量を抑えるために量子化値を大きくとらなければならなくなる。その結果、非定常状態における画質が悪くなりすぎてしまうという問題が発生する。

本発明は上記の問題点に鑑みなされたもので、撮像部の制御パラメータを使用してＧＯＰの構成を制御することで、効率的な符号量制御を行うことを目的とする。

そこで、上記問題を解決するため、本発明は、動画像データ及び前記動画像データの撮影状態に関する情報である状態情報が入力される画像符号化装置であって、前記動画像データに対してフレーム内符号化或いはフレーム間符号化を行うことで、少なくとも１枚の符号化処理されたピクチャから構成される符号化グループを有する符号化データを出力する符号化手段と、前記符号化手段における符号化処理の符号化歪み量を算出する符号化歪み算出手段と、前記動画像データにおけるフレーム間の相関度を算出するフレーム間相関算出手段と、前記フレーム間相関算出手段が出力する前記相関度と、前記状態情報と、前記符号化歪み算出手段が算出した前記符号化歪み量とを基に、前記符号化グループの構成の判断に用いる指標値を算出する指標値算出手段と、前記指標値算出手段が出力する前記指標値を基に、前記符号化手段において少なくとも前記符号化グループの構成を制御する制御パラメータを出力する符号化制御手段とを有することを特徴とする。

本発明によれば、動画像データ及び前記動画像データの撮影状態に関する情報である状態情報が入力される画像符号化装置であって、前記動画像データに対してフレーム内符号化或いはフレーム間符号化を行うことで、少なくとも１枚の符号化処理されたピクチャから構成される符号化グループを有する符号化データを出力する符号化手段と、前記符号化手段における符号化処理の符号化歪み量を算出する符号化歪み算出手段と、前記動画像データにおけるフレーム間の相関度を算出するフレーム間相関算出手段と、前記フレーム間相関算出手段が出力する前記相関度と、前記状態情報と、前記符号化歪み算出手段が算出した前記符号化歪み量とを基に、前記符号化グループの構成の判断に用いる指標値を算出する指標値算出手段と、前記指標値算出手段が出力する前記指標値を基に、前記符号化手段において少なくとも前記符号化グループの構成を制御する制御パラメータを出力する符号化制御手段とを有することにより、撮像部の制御パラメータを使用してＧＯＰの構成を制御することで、効率的な符号量制御を行うことができる。

また、上記問題を解決するため、本発明は、画像符号化方法、プログラム及び記憶媒体としてもよい。

本発明によれば、撮像部の制御パラメータを使用してＧＯＰの構成を制御することで、効率的な符号量制御を行うことができる。

以下、本発明の実施形態について図面に基づいて説明する。

（実施形態１）
図１は、第１の実施形態における画像符号化装置の構成例を示した図である。なお、本実施形態の画像符号化装置は、一例として入力画像である非圧縮の動画像データ（デジタル画像データ）に対してＭＰＥＧ２方式に準拠した符号化処理を行うとする。

図１において、Ｐｃは、画像符号化装置に入力される入力画像１００の状況を示すパラメータであり例えば入力画像１００がビデオカメラで撮影された動画像であれば、そのビデオカメラのカメラパラメータである。本実施形態では、カメラパラメータＰｃとする。また、Ｐｓはフレーム間相関度、Ｐｄは符号化歪み量、Ｔｅはシーン指標値を示す。

１０１は、フレーム間相関算出部であり、入力画像１００において処理対象の画像と、直前の画像とのフレーム間相関を算出してフレーム間相関度Ｐｓを出力する。１０２は、シーン層指標値算出部であり、カメラパラメータＰｃ、フレーム間相関度Ｐｓ、符号化歪み量Ｐｄから現在の画像の指標値を算出する。１０３は、シーン分割部であり、シーン層指標値算出部１０２の結果を受けてシーン分割指示（ＧＯＰの分割指示）を出力する。１０４は、符号化パラメータ生成部であり、シーン分割部１０３の指示を受けて新たなＧＯＰ（符号化グループ）構成のためのパラメータを生成する。

１０５は符号化部であり、入力画像１００に対して符号化パラメータ生成部１０４が生成した符号化パラメータに従って符号化処理を行い、符号化ストリーム１０６を出力する。１０７は、復号部であり、符号化部１０５が出力した符号化ストリーム１０６を復号処理して復号画像を出力する。１０８は、符号化歪み算出部であり、入力画像１００と復号部１０７が出力する復号画像との差分を符号化歪み量Ｐｄとして出力する。

次に、上述した図１と、後述する図２とを用いて第１の実施形態における画像符号化装置の動作について説明する。

ここで、フレーム間相関算出部１０１は、内部にフレームメモリを内蔵している。フレーム間相関算出部１０１は、入力画像１００と、フレーム間相関算出部１０１内のフレームメモリに蓄積されている時間的に前に入力された画像（前フレームの画像）とを比較し、二枚の画像のフレーム間相関度Ｐｓを出力する。

本実施形態では、符号化部１０５の外部にフレーム間相関算出部１０１を設けているが、符号化部１０５内部の動きベクトル探索時に得られる相関度を使用する場合には符号化部１０５内部に設けてもよい。

シーン層指標値算出部１０２は、入力画像１００の状況を示すカメラパラメータＰｃと、フレーム間相関度Ｐｓと、符号化歪み算出部１０８より出力される符号化歪み量Ｐｄとを入力とし、以下の式（１）でシーン指標値Ｔｅを算出する。

Ｔｅ＝α×Ｐｃ＋β×Ｐｓ＋γ×Ｐｄ 式（１）

ここで、αはカメラパラメータに対する重み付け係数、βはフレーム間相関度に対する重み付け係数、γは符号化歪み量に対する重み付け係数で、シーン層指標値算出部１０２内部で与えられる係数である。

シーン層指標値算出部１０２は、上記重み付け係数α、β、γによりカメラパラメータＰｃ、フレーム間相関度Ｐｓ、符号化歪み量Ｐｄの重要度をコントロールし、シーン指標値Ｔｅを算出する。

シーン分割部１０３は、シーン層指標値算出部１０２が算出したシーン指標値Ｔｅと、内部に持つ閾値Ｔｔｈとを比較してシーン分割するか否かを決定する。シーン指標値Ｔｅが閾値Ｔｔｈを越えていた場合、シーン分割部１０３は、シーン分割をすると決定し、符号化パラメータ生成部１０４に新規ＧＯＰの生成指示を出す。指標値Ｔｅが閾値Ｔｔｈを下回っていた場合、シーン分割部１０３は、シーン分割しないと決定し、新規ＧＯＰの生成指示を出力しない。

図２は、シーン分割部１０３の閾値Ｔｔｈと、シーン指標値Ｔｅとの関係を示す図である。図２のグラフ中における縦軸Ｔは、シーン指標値、横軸Ｎはピクチャの枚数を表している。シーン分割部１０３は、シーン指標値Ｔｅを式（１）に示したように、α×Ｐｃ、
β×Ｐｓ、γ×Ｐｄの３種類のデータを加算して算出する。これにより、シーン分割部１０３においてシーン指標値Ｔｅが閾値Ｔｔｈを越えたと判断した時点で、符号化パラメータ生成部１０４は、新規ＧＯＰを生成する。

ここで、閾値Ｔｔｈが固定値で与えられていた場合について考える。固定値である閾値Ｔｔｈが低い場合は新規ＧＯＰが頻繁に生成され、閾値Ｔｔｈが高すぎる場合はシーン分割すべきところでも新規ＧＯＰ生成指示がでないという状況が発生する。頻繁にＧＯＰ構成を変化させると、符号量の制御内容を複雑化させ、画質の劣化に繋がってしまい、逆にＧＯＰ構成が長いと符号化歪みが蓄積して画質の劣化に繋がる。

そこで、本実施形態では閾値ＴｔｈはＧＯＰの始まり時は高く、時間が経つにつれ低くなるように設定する。これは指標値Ｔｅが閾値Ｔｔｈを越えて新規ＧＯＰを生成した直後に再び指標値Ｔｅが閾値Ｔｔｈを越えて更に新規ＧＯＰを生成してしまうことを防ぐこともできる。新規ＧＯＰが生成されると、閾値Ｔｔｈは初期値である高い値をとる。図２のＴｔｈ曲線に示すように、ＧＯＰの開始と共に初期値から徐々に下降する値であるので、ＧＯＰを生成してからある程度の時間が経過するまで閾値Ｔｔｈは高い値をとり、シーン分割指示を出しにくい仕様とすることができ、画質の安定化を図ることができる。

シーン分割部１０３の動作例について、図２を用いて説明する。新規ＧＯＰが開始された点をピクチャ０とする。その時点のシーン指標値Ｔｅは閾値Ｔｔｈを下回っているので、シーン分割部１０３はシーン分割指示を出さない。同様にピクチャ０から１４枚目にあたるピクチャ１４の時点まで指標値Ｔｅは閾値Ｔｔｈを下回っているので、シーン分割部１０３はピクチャ０の時点と同様にシーン分割指示を出さない。

図２に示すようにピクチャ１４で、初めて指標値Ｔｅが閾値Ｔｔｈを上回り、その時点でシーン分割部１０３は、シーン分割指示１を符号化パラメータ生成部１０４へ出力すると同時に、閾値Ｔｔｈを初期値（ピクチャ０の時点における値と同じ値）へと戻す。上述したように、シーン分割部１０３が新規ＧＯＰ作成後に閾値Ｔｔｈを高い値（初期値）に設定することで、ピクチャ１４の次のピクチャで指標値Ｔｅが再び閾値Ｔｔｈを越えてしまい、更に新規ＧＯＰを作成してしまうことを防ぐことができる。

ピクチャ１４の時点でのシーン指標値Ｔｅはピクチャ０の時点でのシーン指標値Ｔｅの値より相対的に小さい。しかし、閾値Ｔｔｈは図２に示すようにＧＯＰ開始から徐々に低下していくように設定されているので、ピクチャ１４の時点でのシーン指標値Ｔｅは閾値Ｔｔｈを越えることとなる。このように、図２では、ＧＯＰ構成が長くなるほど閾値Ｔｔｈが徐々に低下していくような曲線を持たせている。なお、閾値Ｔｔｈの変化は、図２に示す曲線に応じた変化に限定されるものではなく、例えば、特定のピクチャ数が経過するごとに閾値Ｔｔｈを階段状に降下させていくように変化させて、変化処理を簡略化してもよい。

更に、予めＧＯＰを構成するピクチャの最大枚数Ｐｍａｘを設定しておき、ピクチャ数が最大枚数Ｐｍａｘまできた場合、指標値Ｔｅが閾値Ｔｔｈを越えていなくてもシーン分割部１０３は強制的にシーン分割指示を出し、新規ＧＯＰを生成する。これとは逆に、最大枚数Ｐｍａｘの指定がない場合、ＧＯＰ内のピクチャ数を符号化器１０５が把握できず、符号量の制御が困難となってしまう。即ち、最大枚数Ｐｍａｘの設定により、ＧＯＰ構成が一定期間内に必ず更新されることになり、それを考慮した符号量制御が可能となる。

図２の例では、ピクチャＸｎの時点で示されるように、シーン評価値Ｔｅは閾値Ｔｔｈを超えていないが、ピクチャ１５からピクチャＸｎまでの期間におけるピクチャ枚数が最大枚数Ｐｍａｘと等しいと判断し、シーン分割部１０３はシーン分割指示２を出力する。

次に、シーン分割部１０３は、ピクチャＸｎの次のピクチャで閾値Ｔｔｈを初期値へと戻し、新規ＧＯＰの連続生成を防ぐ。ピクチャ数のカウントは新規ＧＯＰ構成指示が出る度にリセットするので、次の最大枚数ＰｍａｘはピクチャＸｎ＋Ｐｍａｘ後になる。なお、閾値Ｔｔｈの導出方法及び最大枚数Ｐｍａｘの枚数の導出方法については、任意の方法でよく、ここでは特に言及しない。

符号化パラメータ生成部１０４は、シーン分割部１０３から出されたシーン分割指示に従って新規ＧＯＰを構成する符号化パラメータを生成する。符号化部１０５は、符号化パラメータ生成部１０４で生成された符号化パラメータを受け、入力画像１００を符号化し、符号化ストリーム１０６として出力する。復号部１０７は、符号化ストリームを受けて復号画像を生成する。符号化歪み算出部１０８は、フレームメモリを内蔵しており、復号画像と、メモリに保持されている符号化前の入力画像１００とを比較して符号化によって発生した符号化歪み量Ｐｄを算出し、シーン層指標値算出部１０２へと出力する。なお、シーン分割指示によるパラメータの生成方法は特に言及しない。

以上に説明したように、本実施形態における画像符号化装置においては、カメラパラメータ（カメラパラメータＰｃ）及び画像の符号化情報（フレーム間相関度Ｐｓ、符号化歪み量Ｐｄ）を用いて最適なＧＯＰ構成となるよう制御することができる。これにより、各ＧＯＰ内の相関性がより高くなるようにすることができ、効率的な符号量制御を行うことができる。

（実施形態２）
次に、第２の実施形態における画像符号化装置について説明する。なお、第２の実施形態における画像符号化装置の構成において、図１に示した第１の実施形態における画像符号化装置と同様の部分には同じ符号を付与してある。以下、第２の実施形態における画像符号化装置において、第１の実施形態と異なる部分を主に説明する。

図３は、第２の実施形態における画像符号化装置の構成例を示した図である。図３における１００〜１０７及びＴｅ、Ｐｃ、Ｐｓ、Ｐｄの内容は図１と同等である。３００は、撮像部であり、被写体を撮像して入力画像１００を出力する。３０１は、撮像制御部であり、カメラパラメータを生成すると共に撮像部３００を制御する。３０２は、ユーザ指示であり、撮像制御部３０１に入力されるユーザの操作に応じて撮像部３００を制御するための指示信号である。３０３は、重み付け係数指定指示であり、ユーザの操作に応じてシーン層指標値算出部１０２へ入力される重み付け係数（α、β、γ）を指定するための指示信号である。

より具体的には、ユーザ指示３０１とは、ズーム操作や撮影モード等ユーザが任意に制御することが可能な指示のことである。例えば、ユーザが画像符号化装置のズームボタン（図示せず）を操作した場合、ズーム動作を指示する信号であるユーザ指示３０１が撮像制御部３０１に入力される。これにより、撮像制御部３０１は撮像部３００へズーム動作の指示を出すと同時にシーン層指標値算出部１０２へ現在ズーム操作が行われていることを示すデータ及びその制御量（以下、制御情報という）をカメラパラメータＰｃとして出力する。

シーン層指標値算出部１０２は、カメラパラメータＰｃを受信し、制御量及びズームの方向から重み付け係数α、β、γを決定する。例えば、ズームの速度が遅く、ズームインの方向である場合、シーン層指標値算出部１０２は、そのシーンの重要度は高いと判断する。そして、シーン層指標値算出部１０２は、αの値を相対的に大きく取る等、カメラパラメータＰｃに応じて重み付け係数α、β、γを制御する。シーン層指標値算出部１０２
は、ズームだけではなく、カメラの撮影モード（例えばスポーツモードや、ポートレートモード等）に応じた制御等を行う。つまり、シーン層指標値算出部１０２は、ユーザからの指示に対応してそれぞれの重み付け係数α、β、γの値を適応的に変化させ、シーン層指標値算出部１０２の出力である指標値Ｔｅに反映させる。

また、重み付け係数指定指示３０３によってユーザが直接的に重み付け係数α、β、γを指定することもできる。これは、ズーム操作、カメラモード等のユーザが指示する動作が発生した場合、予めそれぞれの動作に対応したα、β、γの組み合わせパターンを用意しておき、重み付け係数の値を強制的に固定する。即ち、ユーザが特定の操作や特定のモードを選択している間は、重み付け係数α、β、γは変化させず固定値とする。これにより、画質的に安定した画像、つまりユーザが意図的に作成した画像が得られる。更に、上記ユーザ指示３０１と、重み付け係数指定指示３０３とを同時に使用し、初期値として重み付け係数指定指示３０３で選択された係数α、β、γを用い、その後ユーザ指示３０１に従って変化させる方法もある。

（実施形態３）
次に、第３の実施形態における画像符号化装置について説明する。なお、第３の実施形態における画像符号化装置の構成において、図１に示した第１の実施形態における画像符号化装置と同様の部分には同じ符号を付与してある。以下、第３の実施形態における画像符号化装置において、第１の実施形態と異なる部分を主に説明する。

図４は、第３の実施形態における画像符号化装置の構成例を示した図である。図４において符号１００〜１０７及びＴｅ、Ｐｃ、Ｐｓ、Ｐｄの内容は図１と同等である。また、図４における撮像部３００は、第２の実施形態で示した図３の撮像部３００と同等である。４００は、撮像制御データ算出部であり、撮像部３００の状況からカメラパラメータＰｃを算出する。

撮像制御データ算出部４００は、撮像部３００の状況を解析し、シーン層指標値算出部１０２へカメラパラメータＰｃを出力する。撮像部３００が非定常状態（制御過渡状態）であるとき、撮像制御データ算出部４００は非定常状態の内容を解析し、カメラパラメータＰｃに反映させる。より具体的には、撮像制御データ算出部４００は非定常状態の内容として、フォーカス制御中、アイリス制御中、及びホワイトバランス制御中の何れか一つ又はそれらの組合せを特定する。

本実施形態の撮像制御データ算出部４００は、図５に示すように、解析した非定常状態の内容に応じていくつかのレベル分けを行う。撮像制御データ算出部４００は、図５において、レベルが高い場合は現在撮像中の画像は重要度が低く、レベルが低い（定常状態に近い）場合は重要度が高いと判断する。例えば、図５において最高レベルであるレベル３では、フォーカス制御、アイリス制御、ホワイトバランス制御中であり、ユーザが期待している画像が得られているとは言えない。このような場合、撮像制御データ算出部４００はレベル３とすることで、現在の画像の重要度は低いと判断し、カメラパラメータＰｃにその旨を反映させてシーン層指標値算出部１０２へと出力する。これにより、シーン層指標値算出部１０２は無駄な符号量を割り振らないように重要度の低いシーンであると認識して指標値Ｔｅを算出する。

逆に図５のレベル１では、フォーカス制御、アイリス制御、及びホワイトバランス制御が停止している。よって、撮像制御データ算出部４００は、撮像部３００が定常状態であると判断し、より精度の高い符号量割り振りを行えるように（重要度の高いシーンであると認識して）指標値Ｔｅを算出する。カメラパラメータＰｃへの反映方法としてはカメラパラメータＰｃそのものの値を大きく変化させたり、レベル情報をカメラパラメータＰｃ
内に内蔵させたりすること等が考えられる。このように、撮像部３００の状況に応じてカメラパラメータＰｃを更新することで、非定常状態と定常状態を区別したシーンの分割が可能である。本実施形態では説明の簡略化のため、判定レベルと判定項目を３つずつに絞っているが、それらの数を制限するものではなく、レベルの判断基準についても任意の基準を用いて好適である。

（実施形態３の変形例）
また、第３の実施形態に第２の実施形態の撮像制御部３０１を組み合わせて使用することも可能である。図６は、第３の実施形態の変形例における画像符号化装置の構成例を示した図である。図６に示すように、上述した非定常状態（撮像状態）であるか否か等に関する情報（状態情報）に、更にユーザからの制御指示に応じた撮像部３００の制御情報を加えて、撮像部３００の撮像状態及び制御情報をカメラパラメータＰｃに反映させる例を示している。

６００の破線で示すように撮像制御部３０１と、撮像制御データ算出部４００とを、一つのマイコンで構成してもよい。このような構成にすることで、ユーザからの制御情報及び撮像部３００の状態情報考慮した、より詳細で適切なＧＯＰの生成制御が可能となる。例えば、撮像部３００が非定常状態にあるとき、その原因としてユーザからの指示なのかそれ以外の要因なのかが把握でき、シーン層指標値算出部１０２の制御内容をより最適に制御可能である。

（実施形態４）
次に、第４の実施形態における画像符号化装置について説明する。なお、第４の実施形態における画像符号化装置の構成において、図１に示した第１の実施形態における画像符号化装置と同様の部分には同じ符号を付与してある。以下、第４の実施形態における画像符号化装置において、第１の実施形態と異なる部分を主に説明する。

図７は、第４の実施形態における画像符号化装置の構成例を示した図である。図７における１００〜１０７及びＴｅ、Ｐｃ、Ｐｓ、Ｐｄの内容は図１と同等である。７００は、シーン分割閾値算出部であり、入力画像１００の状況を示すカメラパラメータＰｃと、フレーム間相関度Ｐｓと、符号化歪み量Ｐｄとを入力としてシーン分割閾値Ｔｔｈを出力する。シーン分割部１０３はシーン層指標値算出部１０２が出力する指標値Ｔｅと、シーン分割閾値算出部７００が出力する閾値Ｔｔｈとを比較して、指標値Ｔｅが閾値Ｔｔｈを越えた場合、符号化パラメータ生成部１０４にシーン分割指示を出し、新規ＧＯＰを生成する。

以下、第４の実施形態における画像符号化装置の動作について説明する。
まず、入力画像１００が入力され始めると、シーン分割閾値算出部７００は、初期値Ｔｉからはじめて、予め定められた曲線を持って減少させた閾値Ｔｔｈを出力する。また、シーン分割閾値算出部７００は、閾値Ｔｔｈを、予め定められた曲線を持って減少させるだけでなく、指標値Ｔｅ内部の各要素（Ｐｃ、Ｐｓ、Ｐｄ）の比率及び大きさから閾値Ｔｔｈの減少具合を変更するか否かを判定する。図８は、シーン分割閾値算出部７００による閾値Ｔｔｈの制御例を示す図である。

図８におけるピクチャ５の時点で、シーン分割閾値算出部７００は、そのピクチャ以前のα×Ｐｃと、β×Ｐｓと、γ×Ｐｄと、を比較する。図８に示す例では、γ×Ｐｄの比率が最も高く、値も大きいので、符号化歪みが蓄積されていると判断し、シーン分割閾値算出部７００は、閾値Ｔｔｈを予め定められた曲線よりも下げる処理を行う。閾値Ｔｔｈを下げると、評価値Ｔｅが閾値Ｔｔｈを上回る可能性が高くなり、シーン分割指示（新規ＧＯＰの構成指示）が出やすくなる。これにより、図８では、ピクチャ７において指標値
Ｔｅは閾値Ｔｔｈを越え、シーン分割部１０３はシーン分割指示を出して新規ＧＯＰを生成する。シーン分割指示が出されると、シーン分割閾値算出部７００は閾値Ｔｔｈを初期値Ｔｉへと戻す。

次に、ピクチャ２１の時点で、シーン分割閾値算出部７００は、そのピクチャ以前のα×Ｐｃと、β×Ｐｓと、γ×Ｐｄと、を比較する。図８の例ではα×Ｐｃの比率が最も高く、値も大きいので、カメラ制御が安定していないとシーン分割閾値算出部７００は判断し、閾値Ｔｔｈを引き上げる。その際、各要素（Ｐｃ、Ｐｓ、Ｐｄ）の比率及び大きさから、シーン分割閾値算出部７００は、今回は重要度が低い画像が連続していると判定して閾値Ｔｔｈの値を初期値Ｔｉよりも大きな値である初期値Ｔｃに設定する。以降は、前述の実施形態と同様にピクチャ数が最大枚数Ｐｍａｘを越える時点のピクチャＸｎにおいて、シーン分割部１０３はシーン分割指示を出す。

以上に説明したように、各要素の変化量等に従って閾値Ｔｔｈ自体を変更することで入力画像１００の変化が緩やかで、シーンの判別が困難な場合でも最適なシーンの分割が可能となる。図８で示した実施の形態では、閾値Ｔｔｈを変更する方法を一つの例として挙げているが、符号化歪みＰｄの蓄積量が多くなった場合でも、シーン分割閾値算出部７００が元々重要なシーンでない、と判断していた場合は閾値Ｔｔｈを下げる必要はない。また、閾値Ｔｔｈの値自体を変更するのではなく、閾値Ｔｔｈを減少させる曲線の形を変更する方法もある。本実施形態はこれらの導出方法を特に限定するものではない。

（実施形態４の変形例）
次に、上述した第４の実施形態の変形例における画像符号化装置について説明する。図９は、第４の実施形態の変形例における画像符号化装置の構成例を示した図である。図９の画像符号化装置は、図７に示した第４の実施形態における画像符号化装置とほぼ同じ構成をとる。本変形例が第４の実施の形態と異なる点は、シーン分割閾値算出部７００が、シーン分割の閾値Ｔｔｈを出力するだけでなく、シーン層指標値算出部１０２に対して指標値Ｔｅ算出に用いる重み付け係数α、β、γを更新するための情報も出力する点である。

シーン分割閾値算出部７００は、閾値Ｔｔｈを算出するために各入力要素（Ｐｃ、Ｐｓ、Ｐｄ）の変化及び大きさを監視しているので、意図的に重み付け係数を変化させている場合を除き、現在の重み付けと実際の出力結果の不整合性を算出できる。その不整合性を正す方向に重み付け係数（α、β、γ）を適宜変更することにより、最適なシーン分割が可能である。

次に、第４の実施形態の変形例におけるシーン分割判定の処理の流れを説明する。
図１０は、第４の実施形態の変形例におけるシーン分割判定の処理の流れを示したフロー図である。なお、図１０に示す処理には、閾値Ｔｔｈ及び重み付け係数α、β、γの適応的な更新に関する部分の処理は含まれていない。それらの値は、シーン判定に入る前に変更されている必要がある。

まず、ステップ１０００において、シーン階層指標地算出部１０２は、フレーム間相関度を表すβ×Ｐｓに対する判定を行う。ここでフレーム間相関度が高いと判定された場合（ステップ１０００のＮｏ）に、ステップ１００１において、シーン階層指標地算出部１０２は、符号化歪み量を表すγ×Ｐｄに対する判定を行う。ここで、符号化歪み量が小さいと判定された場合（ステップ１００１のＮｏ）、ステップ１００２において、カメラパラメータを表すα×Ｐｃに対する判定を行う。ここで、カメラパラメータより撮像部が制御中ではないと判定された場合（ステップ１００２のＮｏ）、ステップ１００３において、各要素の合計である指標値Ｔｅと閾値Ｔｔｈとを比較して判定を行う。ここで、指標値
Ｔｅ＞閾値Ｔｔｈではないと判定した場合（ステップ１００３のＮｏ）には、ステップ１００４において、シーン階層指標地算出部１０２は、ピクチャ数とピクチャ最大数Ｐｍａｘを比較して判定を行う。ここで、ピクチャ数＜ピクチャ最大数Ｐｍａｘであると判定した場合（ステップ１００４のＮｏ）には、シーン分割部１０３は、シーン分割指示を出力しない。また、上記ステップ１０００から１００４においてＹｅｓの場合には、シーン分割部１０３は、シーン分割指示を出力する。

以上に示したように判定順序として、まず、各個別要素について判定する。図１０ではフレーム間相関、符号化歪み量、カメラパラメータの順に判定している。これはシーンを分割する際の重要度という点から優先順位を決めている一つの例である。従って、常にこの順序が不変であるとは限らない。各要素の判定順序はシーンの遷移によって任意に指定できるものとする。

各個別要素の判定後、それらの合計である指標値Ｔｅと閾値Ｔｔｈの判定、ピクチャ数と最大枚数Ｐｍａｘの判定を順次行う。これら全ての判定にかからない場合、シーン分割指示を出さない。以上の流れを経てシーン分割指示の要否が判断される。シーン分割部１０３は、同じ重要度を持つシーン構成を実現するために、現在のＧＯＰはどの要素判定を元に構成されているのかを把握し、符号化パラメータ生成部１０４の制御を行う。例えば、カメラパラメータを表すα×Ｐｃの判定であるステップ１００２でＹｅｓとなりシーン分割指示が出た場合、現在はカメラの制御途上、つまり非定常状態であることがわかり、重要なシーンではない。よって、符号化パラメータ生成部１０４は符号量を抑える方向のパラメータを生成する。逆に符号化歪みを表すγ×Ｐｄの判定であるステップ１００１でＹｅｓとなりシーン分割指示が出た場合は、符号化パラメータ生成部１０４は符号量を増やす方向のパラメータを生成する。以上のように動作することで、最適な符号量制御が可能である。なお、本実施形態では符号量制御自体の動作については特に限定するものではない。

以上説明したように、本実施形態における画像符号化装置は、カメラパラメータ、入力画像情報、符号化情報を使用してＧＯＰ構成を変更し、各ＧＯＰ内の相関性を高く保つことにより、目標符号量の割り当てが容易になり、効果的な符号量制御が可能となる。

（実施形態５）
図１１は、第５の実施形態における画像符号化装置の構成例を示した図である。
図１１において、１１００は被写体である。１１０１は、撮像部であり、被写体１１００を撮像して動画像データを出力する。１１０２は、撮像部制御部であり、撮像部１１０１より出力される動画像データとユーザからの要求を受けて撮像部１１０１の制御パラメータ（以下、カメラパラメータという）を生成することで、撮像部１１０１の制御を行う。１１０３は、符号化制御部であり、カメラパラメータを受けて符号化の制御を行う。１１０４は、符号化パラメータ生成部であり、動画像を符号化するためのパラメータを生成する。１１０５は、符号化部であり、設定されたパラメータに従って動画像を符号化する。１１０６は、ユーザアクションであり、撮像開始／終了・ズーム操作等ユーザからの指示であるユーザアクションを示す信号として撮像部制御部１１０２に入力される。１１０７は、ヘッダ情報付加部であり、ヘッダ情報を符号化データに付加する。

図１１を用いて制御の流れを説明する。撮像部制御部１１０２はユーザアクション１１０６の指示を受け、撮像部１１０１を制御する。撮像部１１０１は、撮像部制御部１１０２の指示に従い被写体１１００を撮像してデジタル画像データに変換した動画像データを符号化部１１０５へ出力する。また、撮像部１１０１は、撮像時のフォーカス／アイリス／ホワイトバランス等に関する情報（以下、撮像情報という）及び上記動画像データを撮像部制御部１１０２へ出力する。

撮像部制御部１１０２は、ユーザアクション１１０６と撮像部１１０１から出力された撮像情報及び動画像データから被写体１１００の状況を解析し、撮像部１１０１が最適な撮像状態となるように制御する。また、撮像部制御部１１０２は、同時に、制御データをカメラパラメータとして符号化制御部１１０３へと出力する。

符号化制御部１１０３は、撮像部制御部１１０２からカメラパラメータを受けて符号化パラメータ生成部１１０４へＧＯＰ構成の変更指示や目標符号量の設定等の要求を出力する。上記の一連動作は、撮像部１１０１が動作している期間常に行われる。一方、符号化パラメータ生成部１１０４は、符号化制御部１１０３の指示に従い符号化済みデータに付加するヘッダ情報の生成と各ピクチャ単位の符号量の設定及びピクチャタイプの指定等、符号化に必要な符号化パラメータの生成を行う。符号化部１１０５は、符号化パラメータ生成部１１０４が生成した符号化パラメータに従い、動画像データを符号化して、符号化画像データを出力する。ヘッダ情報付加部１１０７は、符号化部１１０５が出力する符号化画像データに符号化パラメータ生成部１１０４で生成したヘッダ情報を付加し、符号化データとして出力する。

次に、上述した符号化制御部１１０３の動作例を図１２、図１３を用いて詳しく述べる。図１２は、撮像部制御部１１０２による撮像部１１０１の制御状況と、符号化制御部１１０３による符号化パラメータ生成部１１０４に対する制御内容とを示す図である。図１２では、撮像部制御部１１０２からの撮像部１１０１に対する複数種類の制御（ホワイトバランス、アイリス、フォーカスの制御）が重なっていない場合を示している。図１２において、ピクチャＮｏ．１〜１５は、撮像部１１０１が出力する動画像データ（入力ピクチャ）の１ピクチャ（１フレーム）を識別するために付与した番号である。

図１２におけるピクチャＮｏ．１〜４はホワイトバランスの制御中、ピクチャＮｏ．７〜８はアイリスの制御中、ピクチャＮｏ．１２〜１４はフォーカス制御中である。即ち、撮像部制御部１１０２は、ピクチャＮｏ．１〜４、ピクチャＮｏ．７〜８、及びピクチャＮｏ．１２〜１４の期間、撮影状態を変更するよう撮像部１１０１を制御中であり、その旨を示すカメラパラメータを符号化制御部１１０３へ出力する。符号化制御部１１０３は、カメラパラメータからピクチャＮｏ．１〜４、ピクチャＮｏ．７〜８、及びピクチャＮｏ．１２〜１４の期間は撮像部１１０１が非定常状態であると判断する。

入力ピクチャＮｏ．１直前のピクチャで撮像部制御部１１０２がホワイトバランス不良と判断した場合、図１２におけるピクチャＮｏ．１の撮像時点で撮像部制御部１１０２は撮像部１１０１に対してホワイトバランスの制御を始める。同時に撮像部制御部１１０２は、符号化制御部１１０３にカメラパラメータとして処理内容を出力する。これにより、符号化制御部１１０３は、符号化パラメータ部１１０４に対してその時点までのＧＯＰの終了と、新規ＧＯＰ（Ａ）の生成とを指示する。

次に、ピクチャＮｏ．５の撮影開始前にホワイトバランスが正常値に戻ったと判断した場合、撮像部制御部１１０２は、カメラパラメータとしてホワイトバランスの制御を終えた旨のカメラパラメータを符号化制御部１１０３へ出力する。符号化制御部１１０３は、ピクチャＮｏ．５の撮影開始前にホワイトバランスが正常値に戻った時点でＧＯＰ（Ａ）の終了と、新規ＧＯＰ（Ｂ）の生成とを符号化パラメータ部１１０４に対して指示する。

以下同様に、符号化制御部１１０３は、ピクチャＮｏ．７でアイリスの制御に入ると同時にＧＯＰ（Ｂ）の終了と、新規ＧＯＰ（Ｃ）の生成とを符号化パラメータ部１１０４に対して指示する。そして、符号化制御部１１０３は、ピクチャＮｏ．１０のアイリス制御が終了した時点でＧＯＰ（Ｃ）の終了と、新規ＧＯＰ（Ｄ）の生成とを符号化パラメータ
部１１０４に対して指示する。次に、符号化制御部１１０３は、ピクチャＮｏ．１２でフォーカスの制御に入ると同時にＧＯＰ（Ｄ）の終了と、新規ＧＯＰ（Ｅ）の生成とを符号化パラメータ部１１０４に対して指示する。そして、符号化制御部１１０３は、ピクチャＮｏ．１５のフォーカス制御が終了した時点でＧＯＰ（Ｅ）の終了と、新規ＧＯＰ（Ｆ）の生成とを符号化パラメータ部１１０４に対して指示する。図１２中の斜線で示している非定常状態とは、撮像部１１０１の状況が変わるよう制御していることを示している。

このように、本実施形態における画像符号化装置においては、撮像部１１０１の状況が変化するたびに新規ＧＯＰを生成することで非定常状態とそうでないときの切り分けがＧＯＰ単位で可能となる。

図１３は、撮像部制御部１１０２による撮像部１１０１の制御状況と、符号化制御部１１０３による符号化パラメータ生成部１１０４に対する制御内容とを示す図である。図１３において図１２と異なる点は、撮像部１１０１に対する制御が重なっている点とユーザアクション１１０６が発生している点である。図３におけるピクチャＮｏ．１〜４はホワイトバランス制御中、ピクチャＮｏ．３〜６はアイリス制御中、ピクチャＮｏ．２〜８はフォーカス制御中、ピクチャＮｏ．１１〜１４はユーザアクション１１０６によりズーム操作が行われている期間である。

図１２の例と同様に入力ピクチャＮｏ．１直前のピクチャで撮像部制御部１１０２がホワイトバランス不良と判断した場合、図１３におけるピクチャＮｏ．１の時点で撮像部制御部１１０２は撮像部１１０１に対してホワイトバランスの制御を始める。同時に、撮像部制御部１１０２は、符号化制御部１１０３にカメラパラメータとして処理内容を出力する。

これにより、符号化制御部１１０３は符号化パラメータ部１１０４に対してそれまでのＧＯＰの終了と、新規ＧＯＰ（Ｇ）の生成とを指示する。ピクチャＮｏ．１においてホワイトバランスの制御中にフォーカスの不良も撮像部制御部１１０２において検出された場合、撮像部制御部１１０２はピクチャＮｏ．２のタイミングで撮像部１１０１に対してフォーカスの制御も並列して始める。そして、撮像部制御部１１０２は、符号化制御部１１０３へカメラパラメータとして処理内容を出力する。この場合、符号化制御部１１０３は、符号化パラメータ生成部１１０４に対して新規ＧＯＰの生成指示を出さない。

同様に、ピクチャＮｏ．３においてアイリスの制御を開始するときも、符号化制御部１１０３は、符号化パラメータ生成部１１０４に対して新規ＧＯＰの生成指示は出さない。全ての制御が完了して非定常状態でなくなったピクチャＮｏ．９において、符号化制御部１１０３は、符号化パラメータ生成部１１０４に対してＧＯＰ（Ｇ）の終了と、新規ＧＯＰ（Ｈ）の生成との指示を出す。

ピクチャＮｏ．１１においてユーザアクションであるズーム操作が発生した場合、撮像部制御部１１０２は撮像部１１０１に対してズーム制御を行うと同時に符号化制御部１１０３にカメラパラメータとして処理内容を出力する。これにより、符号化制御部１１０３は、ＧＯＰ（Ｈ）の終了と、新規ＧＯＰ（Ｉ）の生成とを符号化パラメータ生成部１１０４に対して指示する。同様に、符号化制御部１１０３は、ズーム操作終了のピクチャＮｏ．１５においてＧＯＰ（Ｉ）の終了と、新規ＧＯＰ（Ｊ）の生成とを指示する。

図１３の例では撮像部１１０１に対する制御が重なった場合には、その制御内容に関係なく制御中であるか否か（非定常状態であるか否か）により、ＧＯＰの生成を管理することができる。また、図１３のようにＧＯＰを管理する以外にも、例えば図１４に示すようなＧＯＰの管理であってもよい。図１４は、撮像部制御部１１０２による撮像部１１０１
の制御状況と、符号化制御部１１０３における符号化パラメータ生成部１１０４に対する制御内容とを示す図である。

図１３では、複数の制御の重なりを一つのＧＯＰ（Ｇ）として処理しているが、図１４では、同様の制御の重なりから５つのＧＯＰ（Ｋ）、ＧＯＰ（Ｌ）、ＧＯＰ（Ｍ）、ＧＯＰ（Ｎ）、ＧＯＰ（Ｏ）を生成している。このように、重なった制御それぞれに対して更に細かくＧＯＰを分割して生成することも可能である。これにより、分割したそれぞれのＧＯＰに対して処理内容を変更することが可能である。

以上図１２〜１４に示したように、撮像部１１０１の状態に応じてＧＯＰの構成を変化させることにより様々な利点が生まれてくる。撮像部１１０１が非定常状態にあるということは、ユーザが欲している画像に到達していないということと同等であると考えられる。つまり、非定常状態の画像はユーザにとって重要ではない、と判断して目標符号量を低く設定して無駄な符号量の発生を抑えることができる。

このように、符号量の発生を抑えることで、限りのある記録媒体を用いている場合は、残り撮像時間を延長できるというメリットが生まれる。或いは、余った符号量をプールしておき、撮像部１１０１が非定常状態でなくなったときにその分の符号を目標符号量に追加してより高画質な符号化を行うということも可能である。更に、符号量の余りをユーザに提示して、ユーザの判断で自由に符号量を割り振るといった使い方への展開も容易である。また、非定常状態の要因を考慮することで、それぞれに適した目標符号量を割り振るアルゴリズムを用いることが可能である。なお目標符号量を割り振るアルゴリズムに関しては特に言及しない。以上に説明したように、本実施形態における画像符号化装置は、撮像部１１０１のカメラパラメータを利用してＧＯＰ構成を変更することにより、効率的な符号量制御を行うことができる。

（実施形態６）
次に、第６の実施形態における画像符号化装置の符号化パラメータ生成方法の一例について説明する。なお、第６の実施形態における画像符号化装置の構成は、図１１に示した第５の実施形態における画像符号化装置と同様であり、説明を省略する。第６の実施形態における画像符号化装置において、第５の実施形態と異なるのは、符号化パラメータ生成部１１０４の処理が異なる。

図１５は、第６の実施形態における符号化パラメータ生成部１１０４の処理フローを示す図である。この図１５に示す処理は入力ピクチャ毎に行われる処理である。図１５のステップ１５０１において、符号化パラメータ生成部１１０４は、符号化制御部１１０３からの指示の有無をチェックする。ここで、符号化制御部１１０３からの新規ＧＯＰ生成指示があったか否かを判断する。ここで、新規ＧＯＰ生成指示があったと判断した場合（ステップ１５０１のＹＥＳ）、符号化パラメータ生成部１１０４は、ステップ１５０４に進む。ステップ１５０４において、符号化パラメータ生成部１１０４は、現在のピクチャを新規ＧＯＰの始まりとして新たなＧＯＰヘッダを生成する。また、符号化パラメータ生成部１１０４は、符号化制御部１１０３の制御に従って符号化部１１０５に対してピクチャタイプ、目標符号量といった符号化パラメータを設定する。

また、符号化制御部１１０３からの生成指示がなかったと判断した場合（ステップ１５０１のＮＯ）、符号化パラメータ生成部１１０４は、ステップ１５０２に進む。ステップ１５０３において、符号化パラメータ生成部１１０４は、符号化制御部１１０３からの制御データで現在の撮像部１１０１の状態が非定常状態であるか否かを判断する。現在の撮像部１１０１の状況が非定常状態であると判断した場合（ステップ１５０２のＹＥＳ）には、符号化パラメータ生成部１１０４は、次のピクチャが入力されるまで何も処理しない
。また、撮像部１１０１が非定常状態ではないと判断した場合（ステップ１５０２のＮＯ）には、符号化パラメータ生成部１１０４は、ステップ１５０３において、現在のＧＯＰの構成状態をチェックする。より具体的には、符号化パラメータ生成部１１０４は、現在のＧＯＰにおいて非定常状態ではないピクチャが何枚続いているかをチェックする。

ここで、現在のＧＯＰにおいて非定常状態ではないピクチャが連続する枚数が規定枚数Ｎ未満であると判断した場合（ステップ１５０３のＮＯ）には、符号化パラメータ生成部１１０４は、次のピクチャが入力されるまで何も処理しない。また、現在のＧＯＰにおいて非定常状態ではないピクチャが連続する枚数が規定枚数Ｎ以上であると判断した場合（ステップ１５０３のＹＥＳ）には、符号化パラメータ生成部１１０４は、ステップ１５０４に進む。ステップ１５０４において、符号化パラメータ生成部１１０４は、符号化制御部１１０３からの新規ＧＯＰ生成指示なしに新規ＧＯＰの始まりとして新たなＧＯＰヘッダを生成する。その際のパラメータは前のＧＯＰのパラメータを引き継ぐ。

本実施形態の符号化制御部１１０３は、撮像部制御部１１０２を通して得られるカメラパラメータにより、撮像部１１０１の状況変化或いはユーザアクション１１０６によって新規ＧＯＰ生成指示を符号化パラメータ生成部１１０４へ出力する。しかしながら、本実施形態の符号化制御部１１０３は、それ以外の場合は特に指示を出さない。そこで、図１５に示したように符号化パラメータ生成部１１０４は、非定常状態でなく且つ新規ＧＯＰ生成指示がない連続するピクチャ数をカウントし、周期的にリフレッシュをかける手段を設けている。これにより、フレーム間予測符号化を使用する符号化方式において、ＧＯＰ内のピクチャ枚数を多くとりすぎると、誤差が蓄積して画質が劣化したり、符号化データ蓄積後の編集に手間がかかってしまったりするという問題を解決できる。なお、本実施形態の符号化パラメータ生成部１１０４において、リフレッシュの期間となる規定枚数Ｎは特に制限しないが、通常１／２秒程度の期間によりリフレッシュをかけるのが望ましく、その期間に対応する規定枚数Ｎを設定すればよい。

（実施形態７）
次に、第７の実施形態における画像符号化装置の符号化グループ（ＧＯＰ）の構成方法の一例について説明する。なお、第７の実施形態における画像符号化装置の構成は、図１１に示した第５の実施形態における画像符号化装置と同様であり、説明を省略する。第７の実施形態における画像符号化装置において、第５の実施形態と異なるのは、符号化パラメータ生成部１１０４のＧＯＰの構成処理が異なる。

第７の実施形態における符号化グループ（ＧＯＰ）内のピクチャ構成方法の一例を図１６、図１７、図１８、図１９、図２０を用いて説明する。図１６、図１７、図１８、図１９、図２０は、符号化制御部１１０３から新規ＧＯＰ生成指示が出た時点でどのような順番で入力されたピクチャに対して符号化を施すかの一例を示した図である。

図１６において、１６０１は入力ピクチャ、１６０２は入力ピクチャ１６０１を符号化順に並べ替えたピクチャ（以下、リオーダピクチャという）である。１６０３は、符号化制御部１１０３より新規ＧＯＰ生成指示が出された時点の入力ピクチャ１６０１及びリオーダピクチャ１６０２を示す枠である。また、入力ピクチャ１６０１の各ピクチャの上部にはピクチャＮｏ．が付与されている。また、リオーダピクチャ１６０２の各ピクチャの下部にはＩピクチャであるかＰピクチャであるかの符号化の種類を示す「Ｉ」、「Ｐ」が記載されている。

ピクチャＮｏ．で示している順番（横方向）は時間の流れ（ピクチャの入力順番）を示すものである。図１６の例ではフレーム内符号化であるＩピクチャと、前方向フレーム間予測符号化であるＰピクチャとの２種類のピクチャタイプを用いて符号化を行う場合のピ
クチャの並び順を示している。更に図１６で示すＧＯＰ内のピクチャ数は１１枚以上で、符号化制御部１１０３の新規ＧＯＰ生成指示がない場合は図１６中にはＩピクチャが１枚しか存在しないものとする。

図１６の入力ピクチャ１６０１で示しているように、入力ピクチャ１６０１がピクチャＮｏ．＝１、２、３、・・・と番号順に入力される場合、リオーダピクチャ１６０２も入力ピクチャ１６０１と同じ順序で符号化処理される。ここで、枠１６０３で示す時点で符号化制御部１１０３から新規ＧＯＰ生成指示が出された場合の処理について説明する。本来指示が出されなかったらＰピクチャとして符号化される予定であった１６０３の時点での入力ピクチャ１６０２は、指示によってＩピクチャに変更して符号化される。入力ピクチャ順と、符号化順とは同じであるので、ＰピクチャをＩピクチャに変更してもシーケンスとしてなんら問題はない。時間的に前のピクチャＮｏ．＝７の入力ピクチャ１６０２との差分をとることで得られるＰピクチャからフレーム内だけで符号化処理を行うＩピクチャに変更する。このことにより、ピクチャＮｏ．＝７の入力ピクチャ１６０２との相関をとる必要がなくなり、ピクチャＮ０．＝８は独立したピクチャとなる。このように、ＩピクチャとＰピクチャのみで構成される符号化時は、ＧＯＰ構成を変更するための複雑な手順は発生しない。なお、図１６ではＧＯＰを１１枚以上としているが説明図上の限定であり、実施においては特に限定するものではない。

次に図１７を用いてＩピクチャ、Ｐピクチャ、Ｂピクチャの３種類のピクチャ構成で符号化される例を示す。図１７においては、符号化制御部１１０３から符号化パラメータ生成部１１０４へ新規ＧＯＰ生成指示が出されていない状態を示している。図１７において１２枚のピクチャを含む入力ピクチャ１７０１と、リオーダピクチャ１７０２とが示されている。リオーダピクチャ１７０２の下部の「Ｉ」、「Ｐ」、「Ｂ」は、Ｉピクチャ、Ｐピクチャ、Ｂピクチャを示す。

図１７に示すＧＯＰ（リオーダピクチャ７０２）は、Ｉ、Ｐピクチャ間に２枚のＢピクチャをはさむＩＢＢＰ・・・・の構成をとっているが、これは説明のための簡略化であり、ピクチャ構成自体に制限をかけるものではない。入力ピクチャ１７０１の上部にはＩピクチャ、Ｂピクチャ、Ｐピクチャの３種類のピクチャタイプを用いて符号化を行う場合のピクチャＮｏ．を示している。また、リオーダピクチャ１７０２の上部にも、入力ピクチャ１７０１のピクチャＮｏ．に対応するピクチャＮｏ．が付与されている。

図１７に示すように、ＧＯＰ内のピクチャ数は１２枚以上で、符号化制御部１１０３からの新規ＧＯＰ生成指示がない場合は、図１７中にはＩピクチャが１枚しか存在しないものとする。図１７の入力ピクチャ１７０１で示しているように、ピクチャＮｏ．＝１、２、３、・・・と番号順に入力される場合、リオーダピクチャ７０２の上部に示しているように符号化後のピクチャの順番は矢印のように入れ替えられ、３、１、２、・・・となる。但し、先頭２枚のＢピクチャは後方予測のみとなる。

なお、前後方フレーム間予測符号化を行う場合、符号化部１１０５はＢピクチャ枚数分のバッファが必要である。Ｂピクチャは先に符号化されたＩピクチャ若しくはＰピクチャを参照画像として符号化される。時間的に後になるべきピクチャを参照画像とする必要があるため、符号化順番をリオーダピクチャ１７０２のように入れ替え、参照となる画像を必ず先に符号化する必要がある。

図１７とＧＯＰの構成が異なる場合として、符号化途中で符号化制御部１１０３からの新規ＧＯＰ生成指示が発生した場合のＧＯＰの構成例を示す図が図１８、図１９、図２０である。図１８は、枠１８０３の時点で符号化制御部１１０３からの新規ＧＯＰ生成指示が発生した場合のＧＯＰ構成例を示す図である。図１８ではリオーダピクチャ１８０２の
順番は、図１７のリオーダピクチャ１７０２と同じであるが、ピクチャタイプは異なる。つまり、指示発生時点１８０３でのピクチャＮｏ．＝６の入力ピクチャ１７０１は、Ｉピクチャとして符号化される。そして前ＧＯＰ内のピクチャを参照画像にするＢピクチャとしてバッファに蓄積されていたピクチャＮｏ．＝４、５の入力ピクチャ１７０１は、Ｐピクチャとして符号化される。ピクチャＮｏ．＝４、５の参照画像はピクチャＮｏ．＝６のリオーダピクチャ１８０２ではなく、点線矢印１８０４、１８０５で示すように前のＧＯＰ内にあるピクチャＮｏ．＝３のリオーダピクチャ１８０２である。この結果、時間的に前のＧＯＰ内の参照画像を使用するＰピクチャが２枚挿入されていることになるが、実用上は問題ない。

次に、上述した図１８と異なるＧＯＰの構成例について図１９を用いて説明する。図１８では前ＧＯＰ内のＩピクチャを参照画像として使用するＢピクチャがバッファに２枚蓄積されたところで符号化制御部１１０３から新規ＧＯＰ生成指示が発生した例を示しているが、図１９は１枚のみ蓄積されたところで指示が発生した例を示している。図１８の例と同様に、枠１９０３の時点でのピクチャＮｏ．＝５の入力ピクチャ１７０１はＩピクチャとして符号化される。その時点でバッファに蓄積されているＢピクチャはピクチャＮｏ．＝４の１枚だけである。

Ｂピクチャとして符号化する予定であったピクチャＮｏ．＝４のＢピクチャは、Ｐピクチャとして符号化される。このときピクチャＮｏ．＝４のＰピクチャの参照画像はピクチャＮｏ．＝５ではなく、点線矢印１９０４で示しているようにピクチャＮｏ．＝３のＩピクチャである。ピクチャＮｏ．＝６の入力ピクチャ１７０１はそのままＩピクチャとして符号化され、それ以降の参照画像となる。但し、図１９では新規ＧＯＰの最初のＩピクチャとなるピクチャＮｏ．５を参照画像とするピクチャは存在しないことになる。なお、この例でも図１８の例と同じように、時間的に前のＧＯＰ内の参照画像を使用するピクチャが１枚挿入されていることになるが、実用上は問題ない。

次に、図１８、１９と異なるＧＯＰの構成例について図２０を用いて説明する。図２０は、前ＧＯＰ内のピクチャを参照画像として使用するピクチャがバッファに蓄積される前に符号化制御部１１０３から新規ＧＯＰ生成指示が発生した例を示している。図２０においても、符号化順序は図１７と同等であり、入力ピクチャ１７０１に示す順となる。枠２００３の時点で、Ｂピクチャとして符号化される予定であったピクチャＮｏ．＝７、８の入力ピクチャ１７０１は、ピクチャタイプとしては同じＢピクチャではあるが、参照画像は点線矢印２００４、２００５で示すように後方向のみの予測となる。Ｐピクチャとして符号化する予定であったピクチャＮｏ．＝９の入力ピクチャ１７０１はＩピクチャとして符号化される。なお、図２０に示す例では新規ＧＯＰ内に時間的に前のＧＯＰ内の参照画像を用いるピクチャは存在しない。

以上のように第７の実施形態では、符号化制御部１１０３から新規ＧＯＰ生成指示が発生したときのＧＯＰ内の構成を状況にあわせて適応的に変化させることを特徴としている。この例で示すような制御をすることで、相関性の低い画像間での差分をとることがなくなる。従って、目標符号量を割り当てるアルゴリズムはＧＯＰ単位の符号量制御を用いるだけでよく、処理負荷が軽くなる。

（実施形態８）
次に、第８の実施形態における画像符号化装置の撮像部１１０１の制御の一例について図２１を用いて説明する。図２１は、第８の実施形態における画像符号化装置の構成例を示した図である。なお、第８の実施形態における画像符号化装置の構成は、図２１に示すように、図１１に示した第５の実施形態における画像符号化装置とほぼ同様であり、異なるのは、撮像部制御部１１０２に画像符号化装置外部からパラメータ２１０１が供給され
ている点である。即ち、第８の実施形態における画像符号化装置において、第５の実施形態と異なるのは、撮像部制御部１１０２における撮像部１１０１の制御処理が異なる。

図２１に示した、第８の実施形態の画像符号化装置における制御及びデータの流れにおいて、第５の実施形態と同等である点については、説明を省略する。第８の実施形態においては、撮像部制御部１１０２は、画像データと、ユーザアクション１１０６とに加えて、外部パラメータ２１０１を基に、撮像部１１０１を制御する点に特徴がある。撮像部制御部１１０２は撮像部１１０１より出力される動画像データでのみ撮像部１１０１の動作状況を監視している。従って、撮像部１１０１が非定常状態ではない場合は、通常の符号化と変わりはない。しかしながら撮像部１１０１が非定常状態ではないからといって、安定した画像が得られているとは限らない。例えば、画像符号化装置がデジタルビデオカメラであり、撮像部１１０１の制御は止まっているが画像符号化装置自体が大きく動いていた場合、安定した画像ではないにも関わらず、フレーム間符号化等が実行されてしまう。このような問題を解決するため、撮像部制御部１１０２にその他のパラメータ２１０１から供給されるデータも同時に用いて制御する手段を設けた。

より具体的には、パラメータ２１０１として、画像符号化装置自体（以下、単に本体という）の動きを検出するために、手ぶれ補正のために搭載している角速度センサの情報を用いたり、ＡＦ等の補助測光機のパラメータを用いたりする。これら角度センサの情報又は補助測光機のパラメータ等を用いることによって、撮像部制御部１１０２において、本体が急激に動いたか否かを判断可能となり、より正確な符号化の制御ができるようになる。

以上説明したように、第１〜第８の実施形態における画像符号化装置においては、符号化の状況のみで量子化スケールを制御するのではなく、カメラパラメータ等を使用してＧＯＰ構成を変更する。よって、従来の回路規模とほぼ同等でありながら目標符号量の割り当てが容易になり、効率的な符号量制御が可能となる。なお、上述した全ての実施形態においては、符号化方式としてＭＰＥＧ２を例に示したが、この限りではなく、本発明は、フレーム内符号化、フレーム間符号化を行う種々の符号化方式に適用することができる。

第１〜第８の実施形態では、ＧＯＰ単位での符号量制御を容易にする手段を提供するものであり、符号量制御そのものの手段を限定するものではない。符号量制御の方法としては、例えば前述したように非定常状態の符号量を抑制することが考えられる。更に、符号量を抑制することで余裕ができた分、定常状態の符号量に割り振る可変ビットレート制御を容易にすることが可能である。或いは、余剰符号量の割り振りを行わないように制御することで、記憶容量に制限がある機器の場合（例えばハードディスクやメモリ等）、通常よりも長い時間の記録が可能となる。

更に、第１〜第８の実施形態における画像符号化装置において生成されたＧＯＰに含まれているＩピクチャのみを抽出して再生することで、通常再生よりも高速な再生（以下、ダイジェスト再生という）が可能となる。従来の再生装置のダイジェスト再生は、画像の状況を考慮しない時間的に一定間隔のダイジェストであることがほとんどである。しかし、第１〜第８の実施形態における画像符号化装置を利用した場合は、撮影時の状況の変化点であるＧＯＰ単位で動作するので、動画像の特徴をとらえたより効果的なダイジェスト再生が可能である。同様に、頭出しも容易である。

また、上述した図１、図３、図４、図６、図７、図９、図１１等に示した各処理部の各処理（以下、特定ブロックの各処理という）は、各処理部の機能に係るプログラムが提供してもよい。つまり、画像符号化装置のＣＰＵが、前記プログラムを、メモリ等から読み出して実行することにより、各処理部の機能を提供するようにしてもよい。

また、上述した構成に限定さるものではなく、特定ブロックの各処理の全部又は一部の機能を専用のハードウェアにより実現してもよい。また、上述したＣＰＵがプログラムを読み出すメモリは、ＨＤＤ、光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記録媒体、ＲＡＭ以外の揮発性のメモリ等であってもよい。

また、特定ブロックの各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、コンピュータシステム内部の揮発メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、或いは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記プログラムは、前述した機能の一部を実現する為のものであってもよい。更に、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体及びプログラムプロダクトは、本発明の範疇に含まれる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

第１の実施形態における画像符号化装置の構成例を示した図である。 シーン分割部１０３の閾値Ｔｔｈと、シーン指標値Ｔｅとの関係を示す図である。 第２の実施形態における画像符号化装置の構成例を示した図である。 第３の実施形態における画像符号化装置の構成例を示した図である。 解析した撮像部３００の非定常状態の内容に応じたレベル分け例を示す図である。 第３の実施形態の変形例における画像符号化装置の構成例を示した図である。 第４の実施形態における画像符号化装置の構成例を示した図である。 シーン分割閾値算出部７００による閾値Ｔｔｈの制御例を示す図である。 第４の実施形態の変形例における画像符号化装置の構成例を示した図である。 第４の実施形態の変形例におけるシーン分割判定の処理の流れを示したフロー図である。 第５の実施形態における画像符号化装置の構成例を示した図である。 撮像部制御部１１０２による撮像部１１０１の制御状況と、符号化制御部１０３が符号化パラメータ生成部１１０４に対する制御内容を示す図である。 撮像部制御部１１０２による撮像部１１０１の制御状況と、符号化制御部１１０３が符号化パラメータ生成部１１０４に対する制御内容を示す図である。 撮像部制御部１１０２による撮像部１１０１の制御状況と、符号化制御部１１０３が符号化パラメータ生成部１１０４に対する制御内容を示す図である。 第６の実施形態における符号化パラメータ生成部１１０４の処理フローを示す図である。 符号化制御部１１０３から新規ＧＯＰ生成指示が出た時点でどのような順番で入力されたピクチャに対して符号化を施すかの一例を示した図（その１）である。 符号化制御部１１０３から新規ＧＯＰ生成指示が出た時点でどのような順番で入力されたピクチャに対して符号化を施すかの一例を示した図（その２）である。 符号化制御部１１０３から新規ＧＯＰ生成指示が出た時点でどのような順番で入力されたピクチャに対して符号化を施すかの一例を示した図（その３）である。 符号化制御部１１０３から新規ＧＯＰ生成指示が出た時点でどのような順番で入力されたピクチャに対して符号化を施すかの一例を示した図（その４）である。 符号化制御部１１０３から新規ＧＯＰ生成指示が出た時点でどのような順番で入力されたピクチャに対して符号化を施すかの一例を示した図（その５）である。 第８の実施形態における画像符号化装置の構成例を示した図である。

符号の説明

１０１ フレーム間相関算出部
１０２ シーン層指標値算出部
１０３ シーン分割部
１０４ 符号化パラメータ生成部
１０５ 符号化部
１０７ 復号部
１０８ 符号化歪み算出部
３００ 撮像部
３０１ 撮像制御部
４００ 撮像制御データ算出部
７００ シーン分割閾値算出部
１１０１ 撮像部
１１０２ 撮像部制御部
１１０３ 符号化制御部
１１０４ 符号化パラメータ生成部
１１０５ 符号化部
１１０７ ヘッダ情報付加部

Claims (13)

1. 動画像データ及び前記動画像データの撮影状態に関する情報である状態情報が入力される画像符号化装置であって、
   前記動画像データに対してフレーム内符号化或いはフレーム間符号化を行うことで、少なくとも１枚の符号化処理されたピクチャから構成される符号化グループを有する符号化データを出力する符号化手段と、
   前記符号化手段における符号化処理の符号化歪み量を算出する符号化歪み算出手段と、
   前記動画像データにおけるフレーム間の相関度を算出するフレーム間相関算出手段と、
   前記フレーム間相関算出手段が出力する前記相関度と、前記状態情報と、前記符号化歪み算出手段が算出した前記符号化歪み量とを基に、前記符号化グループの構成の判断に用いる指標値を算出する指標値算出手段と、
   前記指標値算出手段が出力する前記指標値を基に、前記符号化手段において少なくとも前記符号化グループの構成を制御する制御パラメータを出力する符号化制御手段と
   を有することを特徴とする画像符号化装置。
2. 前記符号化歪み算出手段は、
   前記符号化手段が出力する前記符号化データを復号処理して復号画像データを出力する復号手段と、
   前記復号手段が出力する前記復号画像データと、前記動画像データとを比較して符号化処理における符号化歪み量を算出する比較算出手段と
   を有することを特徴とする請求項１に記載の画像符号化装置。
3. 被写体を撮像して前記動画像データを出力する撮像手段と、
   利用者からの前記撮像手段に対する制御指示を受けて、前記撮像手段に対して前記制御指示に応じた制御データを出力すると共に、前記指標値算出手段に対して前記状態情報として前記制御データに関する情報を出力する撮像制御手段と
   を更に有することを特徴とする請求項１に記載の画像符号化装置。
4. 被写体を撮像して前記動画像データを出力する撮像手段と、
   前記撮像手段から前記撮像手段の状態に関する情報を取得して、前記状態情報として前記指標値算出手段へ出力する状態情報処理手段と
   を更に有することを特徴とする請求項１に記載の画像符号化装置。
5. 利用者からの前記撮像手段に対する制御指示を受けて、前記撮像手段に対して前記制御指示に応じた制御データを出力すると共に、前記指標値算出手段に対して前記状態情報として前記制御データに関する情報を出力する撮像制御手段を更に有することを特徴とする請求項４に記載の画像符号化装置。
6. 前記指標値算出手段は、前記相関度と、前記状態情報と、前記符号化歪み量とのそれぞれに対して前記指標値に対する影響を定める重み付け処理を行うと共に、利用者からの指示に応じて前記重み付けを変更可能であることを特徴とする請求項１に記載の画像符号化装置。
7. 前記指標値算出手段は、前記相関度と、前記状態情報と、前記符号化歪み量とのそれぞれに対して前記指標値に対する影響を定める重み付け処理を行うと共に、前記相関度、前記状態情報、及び前記符号化歪み量における各変化量又は比率に応じて前記重み付けを変更可能であることを特徴とする請求項１に記載の画像符号化装置。
8. 前記符号化制御手段は、前記符号化手段において生成中の前記符号化グループが所定のピクチャ数を超えたと判断した場合には、自動的に新たな符号化グループを生成するための制御パラメータを出力することを特徴とする請求項１に記載の画像符号化装置。
9. 前記符号化制御手段は、前記指標値と、閾値とを比較することで前記指標値が前記閾値を超えた場合には、前記符号化手段において前記符号化グループの構成を制御する前記制御パラメータを出力し、前記閾値を前記符号化グループにおけるピクチャ数が増加するに連れて減少させることを特徴とする請求項１に記載の画像符号化装置。
10. 前記符号化制御手段は、前記指標値と、閾値とを比較することで前記指標値が前記閾値を超えた場合には、前記符号化手段において前記符号化グループの構成を制御する前記制御パラメータを出力し、
    前記フレーム間相関算出手段が出力する前記相関度と、前記状態情報と、前記符号化歪み算出手段が算出した前記符号化歪み量とを基に、前記閾値を定める閾値決定手段を更に有することを特徴とする請求項１に記載の画像符号化装置。
11. 動画像データ及び動画像データの撮影状態に関する情報である状態情報が入力され、前記動画像データに対してフレーム内符号化或いはフレーム間符号化を行うことで、少なくとも１枚の符号化処理されたピクチャから構成される符号化グループを有する符号化データを出力する符号化手段を有する画像符号化装置における画像符号化方法であって、
    前記符号化手段における符号化処理の符号化歪み量を算出する符号化歪み算出ステップと、
    前記動画像データにおけるフレーム間の相関度を算出するフレーム間相関算出ステップと、
    前記フレーム間相関算出ステップで出力する前記相関度と、前記状態情報と、前記符号化歪み算出ステップで算出した前記符号化歪み量とを基に、前記符号化グループの構成の判断に用いる指標値を算出する指標値算出ステップと、
    前記指標値算出ステップで出力する前記指標値を基に、前記符号化手段において少なくとも前記符号化グループの構成を制御する制御パラメータを出力する符号化制御ステップと
    を有することを特徴とする画像符号化方法。
12. 請求項１１に記載の画像符号化方法をコンピュータに実行させることを特徴とするプログラム。
13. 請求項１２に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。

Images