JP6016332B2 - 画像処理装置、画像処理方法 - Google Patents

Description

本発明は、符号化技術に関するものである。

動画像の伝送や蓄積再生を行うために、画像信号の符号化技術が用いられる。そのような技術として、動画像の符号化技術としてはIso／IEC International Standard 14496-2（MPEG‐4 Visual）などの国際標準化符号化方式が知られている。また、他の国際標準符号化方式としてITU-TとISO／IECによる、H.264等が知られている。本明細書においては、ITU-T Rec. H.264 Advanced Video Coding | ISO／IEC International Standard 14496-10 (MPEG-4 AVC)を単にH.264と呼ぶ。

これらの技術はビデオカメラやレコーダ等の分野にも用いられており、特に近年では監視用ビデオカメラ（以下、監視カメラと呼ぶ）への適用が積極的に行われている。監視カメラ用途においては、長時間の録画を行う必要性から比較的低ビットレートで符号化して符号化データのサイズを抑えるケースが多い。しかし、低ビットレートで符号化することにより多くの情報が失われて画質が劣化するために、人物の顔の特定等、本来の用途として機能しないという問題があった。

そこで、画面全体を一様に符号化するのではなく、人物の顔等重要な領域を特定領域として検出し、画面を特定領域と非特定領域とに分け、非特定領域は符号量を抑えるように、特定領域は画質を落とさないように符号化する技術が一般的に用いられている。

しかし、この技術には、画面内に特定領域が複数存在する場合に、全ての特定領域に多くの符号量を割り当てると、画面全体としての符号量が増加して目標値をオーバーしてしまうという課題があった。またその一方で、全ての特定領域に画面全体の符号量目標値をオーバーしない範囲で平均的に符号量を割り当てると、特定領域に対して人物の特定等意図した画質を得ることができないという課題があった。

こうした課題に対し、それぞれの特定領域毎に符号量の割り当てを制御することでこのような課題を解決する技術が提案されてきている。このような従来技術の例として、特許文献１が挙げられる。特許文献１では、入力画像全体に対する特定領域の面積比が相対的に大きい場合、特定領域に対して符号量を多く割り当てる度合いを小さくする。他方、入力画像全体に対する特定領域の面積比が相対的に小さい場合には、特定領域に対して符号量を多く割り当てる度合いを大きくする。このようにすれば、小さく映った顔を鮮明に映しだすことができる圧縮データを確実に作成することができ、大きく映った顔については、圧縮率が殆ど下がらなかったとしても、顔を十分に認識できる画質を維持できるとしている。

特開２０１０−１９３４４１号公報

しかしながら、上記の従来技術では、特定領域の入力画像全体に対する面積比が小さい場合でも、特定領域が多数存在する場合においては、意図した画質を得ることができないケースが存在する。また、入力画像全体に対する特定領域の面積比に応じて割り当てる符号量を制御しているため、顔の向きが横向きであった場合などには小さく映った顔を判別できないという問題がある。

本発明は、このような問題に鑑み、画像中に特定領域が多数存在する場合でも、画像全体の符号量を増加させることなく、特定領域に対して意図した画質を得ることができる符号化技術を提供する。

本発明の目的を達成するために、例えば、本発明の画像処理装置は、動画を取得する取得手段と、
前記動画を構成するフレームから検出された被写体について、該被写体の位置に基づいて特定領域を抽出する抽出手段と、
前記特定領域の評価値を算出する評価手段と、
前記動画を構成するフレームのうち着目フレームよりもＮ（Ｎは自然数）フレーム前のフレームから該着目フレームまでの各フレームにおける評価値が何れも予め定められた閾値を超えている特定領域を着目特定領域として特定する特定手段と、
前記特定手段が前記着目フレームにおいて前記着目特定領域を特定した場合であって、該着目特定領域と、前記着目特定領域ではない特定領域である非着目特定領域と、が該着目フレームに含まれる場合には、前記着目フレームにおける前記着目特定領域の符号量を、前記着目フレームの前のフレームにおける該着目特定領域の符号量よりも小さくさせる符号化パラメータを、前記着目フレームにおける該着目特定領域に対して設定すると共に、前記着目フレームにおける前記非着目特定領域の符号量を、前記着目フレームの前のフレームにおける該非着目特定領域の符号量よりも大きくさせる符号化パラメータを、前記着目フレームにおける該非着目特定領域に対して設定する設定手段と、
前記設定手段により設定された符号化パラメータに基づいて前記着目特定領域及び前記非着目特定領域を含む前記着目フレームの符号化を実行する符号化手段と、
前記符号化手段による符号化結果を、前記着目フレームの画像の符号化結果として出力する手段と
を備えることを特徴とする。

本発明の構成によれば、画像中に特定領域が多数存在する場合でも、画像全体の符号量を増加させることなく、特定領域に対して意図した画質を得ることができる。

画像処理装置の機能構成例を示すブロック図。 画像処理装置が行う処理のフローチャート。 画像処理装置が行う処理のフローチャート。 画像処理装置の機能構成例を示すブロック図。 画像処理装置が行う処理のフローチャート。 画像処理装置が行う処理のフローチャート。 符号化処理の一例を示す図。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の一つである。

［第１の実施形態］
本実施形態では、動画像を構成する各フレームを符号化する画像処理装置について説明する。先ず、本実施形態に係る画像処理装置の機能構成例について、図１のブロック図を用いて説明する。

動画像を構成する各フレームの画像は順次、検出部１０１及び符号化部１０５に入力される。

検出部１０１は、入力されたフレームの画像（着目フレームの画像）から、特定の被写体が映っている領域を特定領域として検出（抽出）する。そして検出部１０１は、検出した特定領域について、画像内における位置、そのサイズ、識別子、を特定領域情報として生成する。例えば、画像から特定領域１、特定領域２、…、特定領域Ｐを検出した場合、特定領域１の特定領域情報としては（画像内における特定領域１の位置、特定領域１のサイズ、識別子＝１）を出力する。また、特定領域Ｐの特定領域情報としては（画像内における特定領域Ｐの位置、特定領域Ｐのサイズ、識別子＝Ｐ）を出力する。このようにして、画像から検出したそれぞれの特定領域について特定領域情報を生成する。そしてこのような処理をフレーム毎に行う。なお、特定領域情報は、画像中のそれぞれの特定領域を一意に特定することができる情報であれば、如何なる情報であってもよい。

評価部１０２は、着目フレームの画像から検出された特定領域の評価値を、予め定められた評価式を用いて計算する。然るに画像から複数の特定領域が検出された場合、評価部１０２はそれぞれの特定領域について評価値を計算する。

判定部１０３は、着目フレームよりもＮ（Ｎは自然数）フレーム前のフレームから着目フレームまでの全てのフレームで評価値が閾値を超えている特定領域が存在するか否かを判定する。然るに画像から複数の特定領域が検出された場合、判定部１０３はそれぞれの特定領域を対象に、このような判定を行う。

制御部１０４は、着目フレームの画像における特定領域、非特定領域、のそれぞれに対する符号化パラメータを設定する。特に、着目フレームよりもＮフレーム前のフレームから着目フレームまでの各フレームに渡って評価値が何れも閾値を超えていると判断された特定領域に対する符号化パラメータは次のようにして設定する。即ち、着目フレームの画像における特定領域の符号量を、着目フレームよりも過去のフレームの画像における該特定領域の符号量よりも小さくさせる符号化パラメータを、着目フレームの画像における特定領域に対して設定する。本実施形態では符号化パラメータの一例として量子化ステップを取り扱う。また、制御部１０４は、符号化パラメータの設定以外にも、画像処理装置全体の動作制御も行う。

符号化部１０５は着目フレームの画像内の特定領域及び非特定領域を、それぞれに対して制御部１０４が設定した量子化ステップを用いて符号化する。そして符号化部１０５は、この符号化結果を、着目フレームの画像の符号化結果として出力する。

次に、図１に示した各部の動作について、図２，３のフローチャートに従って説明する。先ず、ステップＳ１００では制御部１０４は、以下の処理で用いる変数Ｆ（）を０に初期化する。Ｆ（）は配列変数で、この場合、Ｆ（１）＝Ｆ（２）＝…＝Ｆ（Ｑ）＝０（Ｑは充分に大きい規定値）として初期化する。

次に、ステップＳ１０１では検出部１０１及び符号化部１０５は、画像処理装置に入力された着目フレームの画像を取得する。

次にステップＳ１０２では検出部１０１は、着目フレームの画像から、特定の被写体が映っている領域を特定領域として検出する。そして検出部１０１は、検出した特定領域について、画像内における位置、そのサイズ、識別子、を特定領域情報として生成する。なお、検出部１０１は、一度検出して識別子を発行した特定領域についてはそれ以降、フレームをまたいで追尾し続け、同一の識別子を発行するものとする。なお、「特定の被写体」については別段限定を設けるものではなく、人の顔でも良いし、人体そのものや動物の顔、車のナンバープレート等、ユースケースによって重要な被写体として予め設定されたものであれば、如何なる対象を採用しても良い。

次にステップＳ１０３では制御部１０４は、以下で用いる変数Ｍに、検出部１０１が着目フレームの画像から検出した特定領域の個数を設定する。特定領域の個数は、検出部１０１が着目フレームの画像から検出したそれぞれの特定領域について発行した識別子のうち最大値と同じである。

次に、ステップＳ１０４では制御部１０４は、以下の処理で用いる変数ｉを１に初期化する。

次にステップＳ１０５では評価部１０２は、識別子＝ｉの特定領域（以下、特定領域ｉと呼称する）の評価値Ｖｅ（ｉ）を、予め定められた評価式を用いて計算する。ステップＳ１０５における処理の詳細を、図３のフローチャートに従って説明する。

ステップＳ１０５１では評価部１０２は、特定領域ｉの特定領域情報に含まれている、特定領域ｉのサイズを変数Ａに設定する。ここで、符号化部１０５は、画像を複数の画素ブロックに分割して符号化するため、特定領域ｉのサイズとは、特定領域ｉに含まれる画素ブロックの数を指すものとする。なお、ここで用いる特定領域ｉの特定領域情報は、着目フレームの画像から生成したものであっても良いし、着目フレームよりも過去のフレームの画像から生成したものであっても良い。

ステップＳ１０５２では評価部１０２は、着目フレーム（着目フレームよりも過去のフレームでも良い）の画像内の特定領域ｉ内に映っている被写体の向きに応じた値を変数Ｄに設定する。例えば、被写体が正面を向いている場合は変数Ｄに１０を設定し、真横を向いている場合は変数Ｄに５を設定し、真後ろを向いている場合は変数Ｄに０を設定し、その他は、向きの程度に応じてこれらの中間値を変数Ｄに設定する。画像中の被写体の向きを求める方法は、周知の画像認識技術により可能であるため、これについての詳細な説明は省略する。

ステップＳ１０５３では評価部１０２は、着目フレームよりも過去のフレームにおける特定領域ｉの符号化結果から得られる該特定領域ｉのブロック歪みに応じた値を変数ＢＤに設定する。例えば、ブロック歪みが無い場合は変数ＢＤに０を設定し、歪みが大きいほど大きい値を変数ＢＤに設定する。ブロック歪みは、例えば、着目フレームの画像を現在設定されている符号化パラメータを用いて符号化した後にこれを復号し、符号化前の画素ブロックと復号後の画素ブロックとから求めるようにしても良いし、その方法については特に限定するものではない。

ステップＳ１０５４では評価部１０２は、ステップＳ１０５１〜ステップＳ１０５３の処理で値が確定した変数Ａ、Ｄ、ＢＤを用いて以下の式を計算することで、特定領域ｉに対する評価値Ｖｅ（ｉ）を求める。

Ｖｅ＝Ｃａ・Ａ × Ｃｄ・Ｄ ／ Ｃｂｄ・（ＢＤ＋１）
ここで、Ｃａ、Ｃｄ、Ｃｂｄ、はそれぞれ予め定めた重み付け係数であり、それぞれの重み係数には０以上の任意の値が予め設定されている。このような計算処理を行うことで、特定領域ｉに対する評価値Ｖｅ（ｉ）を求めることができる。なお、評価値の計算方法や評価値の計算に用いるパラメータについては上記の説明に限るものではない。

図２に戻って、次に、ステップＳ１０６では、判定部１０３は、着目フレームよりもＮ（Ｎは自然数）フレーム前のフレームから着目フレームまでの各フレームについて、評価値Ｖｅ（ｉ）が何れも予め定められた閾値を超えているか否かを判断する。Ｎは、予め定められた値である。

この判断の結果、超えていると判断した場合には処理はステップＳ１０７に進み、超えていないと判断した場合には、処理はステップＳ１０８に進む。ステップＳ１０７では、特定領域ｉに対する変数Ｆ（ｉ）に１を設定する。

ステップＳ１０８では制御部１０４は、ステップＳ１０２で検出した全ての特定領域についてステップＳ１０５，Ｓ１０６，Ｓ１０７の処理を行ったか否か、即ち、変数ｉの値が、変数Ｍの値に等しいか否かを判断する。この判断の結果、ｉ＝Ｍの場合には処理はステップＳ１１０に進み、ｉ＜Ｍの場合には処理はステップＳ１０９に進む。

ステップＳ１０９では制御部１０４は、変数ｉの値を１つインクリメントする。その後、処理はステップＳ１０５に戻り、未だ処理対象となっていない特定領域について以降の処理を行う。

一方、ステップＳ１１０では、制御部１０４は、着目フレームの画像における特定領域、非特定領域、のそれぞれに対する符号化パラメータを設定する。特定領域に対して設定する符号化パラメータは、この特定領域の変数Ｆ（）の値が１であるのか、それとも０であるのかに応じて異なる。

特定領域ｉに対して符号化パラメータを設定する場合、先ず、変数Ｆ（ｉ）の値を参照する。そして、Ｆ（ｉ）＝１の場合、着目フレームにおける特定領域ｉの符号量を、着目フレームよりも過去のフレームの画像における特定領域ｉの符号量よりも小さくさせる符号化パラメータを設定する。本実施形態では符号化パラメータとして量子化ステップを用いる。然るにこの場合、量子化ステップを、Ｆ（ｉ）＝０のときに特定領域ｉに設定していた量子化ステップよりも大きい量子化ステップに変更しても良いし、特定領域ｉの従前の量子化ステップよりも大きい量子化ステップに変更しても良い。これにより一度Ｆ（）が１となった特定領域の符号量は、それ以降、Ｆ（）が０に初期化されない限り抑えられることとなる。

一方、Ｆ（ｉ）＝０の場合、着目フレームにおける特定領域ｉの符号量を、着目フレームよりも過去のフレームの画像における特定領域ｉの符号量よりも大きくさせる符号化パラメータを設定する。本実施形態では符号化パラメータとして量子化ステップを用いる。然るにこの場合、量子化ステップを、特定領域ｉについて初期設定された量子化ステップよりも小さい量子化ステップに変更しても良いし、特定領域ｉの従前の量子化ステップよりも小さい量子化ステップに変更しても良い。なお、Ｆ（ｉ）＝０の場合、全体の符号量を削減させる目的であえて符号化パラメータは変えずにそのままとしてもよい。

一方、非特定領域については、少なくともＦ（ｉ）＝０の場合に設定した量子化ステップよりも大きい量子化ステップを設定する。

次にステップＳ１１１では、符号化部１０５は、着目フレームの画像内における特定領域及び非特定領域を、それぞれに対して制御部１０４が設定した符号化パラメータを用いて符号化することで、この着目フレームの画像を符号化する。そして符号化した結果は符号化ストリームとして出力する。出力先については特に限定するものではなく、本装置若しくは外部装置が管理するメモリに対して出力しても良いし、ネットワークを介して外部装置に対して送信しても良い。

次にステップＳ１１２では制御部１０４は、本装置に入力された全てのフレームについてステップＳ１０１〜ステップＳ１１１の処理を行ったか否かを判断する。この判断の結果、全てのフレームについて処理を行った場合には、本処理は終了し、まだステップＳ１０１〜ステップＳ１１１の処理を行っていないフレームがあれば、処理はステップＳ１０１に進み、そのフレームについて以降の処理を行う。

以上説明した符号化処理の一例について、着目フレームの画像から２つの特定領域（特定領域１、特定領域２）を検出した場合を例に取り、図７を用いて説明する。なお、図７では、閾値を１０に設定している。

時刻Ｔ０〜Ｔ１の期間（期間０１）に入力された各フレームからは特定領域１及び特定領域２が検出され、何れの特定領域のサイズも５で維持されているため、期間０１においてはそれぞれの特定領域に対する変数Ａには５が設定される。また、期間０１においては、それぞれの特定領域内における被写体の向きは横で維持されているため、期間０１においては対応する値５がそれぞれの特定領域に対する変数Ｄに設定される。また、期間０１においては特定領域１、特定領域２のそれぞれのブロック歪みは７，８であるため、期間０１においてはそれぞれの特定領域に対する変数ＢＤには７，８が設定される。

ここで、上記の重み付け係数Ｃａ、Ｃｄ、Ｃｂｄを何れも１に予め設定しておくと、特定領域１に対する評価値Ｖｅ（１）、特定領域２に対する評価値Ｖｅ（２）は以下の式に従って計算される。

Ｖｅ（１）＝Ｃａ・Ａ × Ｃｄ・Ｄ ／ Ｃｂｄ・（ＢＤ＋１）
＝１・５ × １・５ ／ １・（７＋１）
＝３．１３
Ｖｅ（２）＝Ｃａ・Ａ × Ｃｄ・Ｄ ／ Ｃｂｄ・（ＢＤ＋１）
＝１・５ × １・５ ／ １・（８＋１）
＝２．７８
このように、期間０１においては特定領域１及び特定領域２の何れの評価値も閾値を超えない値に維持されたままであるので、期間０１においては量子化ステップには変化がない。

次に、時刻Ｔ１では特定領域１のサイズが５から１０に変化する。これによって相対的に非特定領域の面積が小さくなるため、非特定領域の占める符号量が減少する。また、特定領域１のサイズが変化したことにより、評価値Ｖｅ（１）は3.13から6.25へと変化する。一方、Ｖｅ（２）は2.78から変化しない。それ以降、時刻Ｔ１〜Ｔ２の期間（期間１２）においては特定領域１及び特定領域２の何れの評価値も変わらず、閾値を超えないので、期間１２においては量子化ステップには変化がない。

次に、時刻Ｔ２では、特定領域１内における被写体が正面を向くため、変数Ｄの値が５から１０に変化する。これによって評価値Ｖｅ（１）は6.25から12.5へと変化し、閾値を超える。一方、Ｖｅ（２）は2.78から変化しない。それ以降、時刻Ｔ２〜Ｔ３の期間（期間２３）においては、評価値Ｖｅ（１）は閾値を超えているものの、この期間２３の長さは上記のＮを超えない。また、特定領域２の評価値は変わらず、閾値を超えない。そのため、期間２３においては量子化ステップには変化がない。

ここで、時刻Ｔ３の時点で、特定領域１の評価値Ｖｅ（１）が連続Ｎフレームに渡って閾値を超えたことになる。然るにこの場合、特定領域１に対する変数Ｆ（１）に１が設定される。この時点でＦ（２）＝０である。これにより、特定領域１に対する量子化ステップを、それまでより大きく設定する。それ以降、時刻Ｔ３〜Ｔ４の期間（期間３４）においては、特定領域１に対する量子化ステップがこれまでより大きく設定されたことにより、特定領域１に対するブロック歪みが７から１７に変化する。これによって評価値Ｖｅ（１）は12.5から5.56へと変化する。なお、特定領域１に対する量子化ステップを大きくした分、特定領域１の占める符号量の減少が見込まれるため、制御部１０４では特定領域２の量子化ステップをこれまでより小さくするよう制御している。このような制御により、特定領域２に対するブロック歪みが８から２に変化する。これによって評価値Ｖｅ（２）は2.78から8.33へと変化する。また、特定領域１及び特定領域２の量子化ステップが変えられたことにより、特定領域１の占める符号量は減少し、特定領域２の占める符号量は増加する。それ以降、時刻Ｔ４までの期間では、評価値Ｖｅ（２）は閾値を超えないので、量子化ステップには変化がない。

次に、時刻Ｔ４において特定領域１内における被写体の向きが正面向きから横向きに変化するため、変数Ｄの値が１０から５に変化する。これによって評価値Ｖｅ（１）は5.56から2.78へと変化する。一方、評価値Ｖｅ（２）は8.33から変化しない。それ以降、時刻Ｔ４〜Ｔ５の期間（期間４５）では、評価値Ｖｅ（２）は閾値を超えないので、量子化ステップには変化がない。

［第２の実施形態］
先ず、本実施形態に係る画像処理装置の機能構成例について、図４のブロック図を用いて説明する。なお、図４における検出部２０１、判定部２０３、制御部２０４、符号化部２０５はそれぞれ、図１に示した検出部１０１、判定部１０３、制御部１０４、符号化部１０５と同様の動作を行うものであるため、これら各部に係る説明は省略する。然るに以下では、図１とは異なる構成用件について重点的に説明する。

評価部２０２は、着目フレームの画像から検出された特定領域の評価値を、予め定められた評価式と、重要度決定部２０６から得られる該特定領域の重要度と、を用いて計算する。然るに画像から複数の特定領域が検出された場合、評価部２０２はそれぞれの特定領域について評価値を計算する。

重要度決定部２０６は、着目フレームの画像から検出された特定領域の重要度を、該特定領域内の被写体と、データベース２１０内に保持されている多数の被写体に係る情報と、を照合することで決定する。然るに画像から複数の特定領域が検出された場合、重要度決定部２０６はそれぞれの特定領域について重要度を計算する。

次に、図４に示した各部の動作について、図５，６のフローチャートに従って説明する。なお、図５に示したステップＳ２００〜Ｓ２０４、ステップＳ２０７〜ステップＳ２１３はそれぞれ、図２に示したステップＳ１００〜Ｓ１０４、ステップＳ１０６〜ステップＳ１１２と同様の処理ステップであるため、これらのステップに係る説明は省略する。

ステップＳ２０５では重要度決定部２０６は、特定領域ｉ内の被写体を示す被写体情報と、データベース２１０内に登録されている様々な被写体の被写体情報と、を照合することで、特定領域ｉ内の被写体に対する重要度Ｐ（ｉ）を求める。

例えば、データベース２１０内には被写体の画像毎に、該被写体に対する重要度を示す重要度情報を関連付けて予め登録しておく。そして重要度決定部２０６は、データベース２１０内に登録されている様々な被写体の画像のうち、特定領域ｉ内の被写体の画像と最も類似する画像を特定し、特定した画像と関連付けてデータベース２１０内に登録されている重要度情報を読み出す。そして重要度決定部２０６は、この読み出した重要度情報が示す重要度をＰ（ｉ）に設定する。もちろん、重要度Ｐ（ｉ）を決定する方法はこれに限るものではない。

次にステップＳ２０６では評価部２０２は、特定領域ｉの評価値Ｖｅ（ｉ）を、予め定められた評価式と、ステップＳ２０５で得た重要度Ｐ（ｉ）と、を用いて計算する。ステップＳ２０６における処理の詳細を、図６のフローチャートに従って説明する。なお、図６に示したステップＳ２０６１〜Ｓ２０６３はそれぞれ、図３のステップＳ１０５１〜Ｓ１０５３と同様の処理ステップであるため、これらのステップに係る説明は省略する。

ステップＳ２０６４では評価部２０２は、ステップＳ２０５で得た重要度Ｐ（ｉ）を変数Ｃｐに設定する。

ステップＳ２０６５では評価部２０２は、ステップＳ２０６１〜ステップＳ２０６４の処理で値が確定した変数Ａ、Ｄ、ＢＤ、Ｃｐを用いて以下の式を計算することで、特定領域ｉに対する評価値Ｖｅ（ｉ）を求める。

Ｖｅ＝Ｃａ・Ａ × Ｃｄ・Ｄ ／ Ｃｂｄ・（ＢＤ＋１）・Ｃｐ
ここで、Ｃａ、Ｃｄ、Ｃｂｄ、はそれぞれ予め定めた重み付け係数であり、それぞれの重み係数には０以上の任意の値が予め設定されている。評価値Ｖｅ（ｉ）は重要度Ｐ（ｉ）が高いほど低く算出されるため、重要な特定領域ほど符号量が多く割り当てられやすくなる。このような計算処理を行うことで、特定領域ｉに対する評価値Ｖｅ（ｉ）を求めることができる。なお、評価値の計算方法や評価値の計算に用いるパラメータについては上記の説明に限るものではない。

以上説明したように、一旦評価値として高い値（例：人物特定ができるレベル）で符号化した特定領域は量子化ステップの割り当てをそれまでより大きくし、他の領域には符号量を多く割り当てる。これにより、結果として他の領域の評価値が高くなるように符号化することができる。

なお、第１，２の実施形態では、変数Ｆ（）はあるフレームで「１」に設定されると、それ以降もずっと「１」のままであるが、適宜「０」に初期化しても良い。例えば、検出部１０１（２０１）における特定領域の追尾機能の性能に応じてＬ（Ｌは自然数）フレーム毎に初期化する、というように、定期的に初期化しても良い。つまり、この追尾機能の性能があまり高くないことがわかっている場合にはＬを小さめに設定することによって、特定領域の追尾結果が誤っていた場合のリスクを低減できる。

また、変数Ｆ（）が一旦「１」となった特定領域でも、変数Ｆ（）が「１」となったときの大きさＡや顔の向きＤの値を保持しておき、それらの値より高いＡ、Ｄが発生した場合に変数Ｆ（）を０に初期化するようにしても良い。これにより、より評価値の高い結果を残すことが可能となる。

また、第１，２の実施形態では、符号化パラメータの一例として量子化ステップを用いているが、例えば量子化スケーリング値や量子化テーブルの選択番号等、符号量を制御可能なパラメータであれば如何なるパラメータを符号化パラメータに適用しても良い。

また、第１，２の実施形態では、採用する符号化技術については特に言及していないが、例えばH.264やMPEG-2方式等のように、画面内の位置に応じて符号量を制御するための符号化パラメータを有する符号化方式に従ったものを用いる。

また、第１，２の実施形態で説明した画像処理装置は、リアルタイム・エンコーダとしての用途ばかりでなく、一旦高画質で符号化したデータを復号化し、適宜再符号化を行う際のリエンコーダとしての用途にも適用できる。

［第３の実施形態］
図１，４に示した各部は何れもハードウェアで実装しても良いが、データベース２１０はデータファイル、データベース２１０以外の各部はソフトウェア（コンピュータプログラム）で実装しても良い。この場合、このデータベース２１０及びこのソフトウェアを保持する記憶装置（ハードディスク等）を有するコンピュータは第１，２の実施形態に係る画像処理装置として機能することができる。即ち、このコンピュータが有するＣＰＵがこのソフトウェアを読み出して（必要に応じてデータベース２１０も読み出して）処理を実行することで、このコンピュータは、図１，４に示した各部の機能を実現することになる。もちろん、このコンピュータは、１台の装置から構成しても良いし、２台以上の装置で構成しても良い。

＜産業上の利用可能性＞
以上の各実施形態によれば、フレーム内に人物の顔等の重要な領域が多数存在する場合であってもフレーム全体の符号量を抑えることができ、かつそれぞれの領域内にある人物の顔等の重要な対象物の識別が容易になるように符号化することが可能となる。従って、特に監視用途のビデオカメラ等に有利に適用可能である。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 動画を取得する取得手段と、
   前記動画を構成するフレームから検出された被写体について、該被写体の位置に基づいて特定領域を抽出する抽出手段と、
   前記特定領域の評価値を算出する評価手段と、
   前記動画を構成するフレームのうち着目フレームよりもＮ（Ｎは自然数）フレーム前のフレームから該着目フレームまでの各フレームにおける評価値が何れも予め定められた閾値を超えている特定領域を着目特定領域として特定する特定手段と、
   前記特定手段が前記着目フレームにおいて前記着目特定領域を特定した場合であって、該着目特定領域と、前記着目特定領域ではない特定領域である非着目特定領域と、が該着目フレームに含まれる場合には、前記着目フレームにおける前記着目特定領域の符号量を、前記着目フレームの前のフレームにおける該着目特定領域の符号量よりも小さくさせる符号化パラメータを、前記着目フレームにおける該着目特定領域に対して設定すると共に、前記着目フレームにおける前記非着目特定領域の符号量を、前記着目フレームの前のフレームにおける該非着目特定領域の符号量よりも大きくさせる符号化パラメータを、前記着目フレームにおける該非着目特定領域に対して設定する設定手段と、
   前記設定手段により設定された符号化パラメータに基づいて前記着目特定領域及び前記非着目特定領域を含む前記着目フレームの符号化を実行する符号化手段と、
   前記符号化手段による符号化結果を、前記着目フレームの画像の符号化結果として出力する手段と
   を備えることを特徴とする画像処理装置。
2. 前記評価手段は、前記特定領域のサイズが第１のサイズである場合よりも、前記特定領域のサイズが前記第１のサイズより大きい第２のサイズである場合のほうが、より高い評価値となるように特定領域の評価値を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記評価手段は、前記特定領域で検出される顔が第１の方向を向いている場合よりも、前記特定領域で検出される顔が前記第１の方向より正面に近い第２の方向を向いている場合のほうが、より高い評価値となるように特定領域の評価値を算出することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記評価手段は、前記特定領域の符号化によるブロック歪み量が第１の歪み量の場合よりも、前記特定領域の符号化によるブロック歪み量が前記第１の歪み量より少ない第２の歪み量の場合のほうが、より高い評価値となるように特定領域の評価値を算出することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記評価手段は、前記特定領域から検出されるオブジェクトの重要度が第１の重要度である場合よりも、前記重要度が前記第１の重要度より重要度が低い第２の重要度である場合のほうが、より高い評価値となるように特定領域の評価値を算出することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記評価手段は、前記オブジェクトと重要度とを対応付けて記憶するデータベースにアクセスすることで、前記オブジェクトの重要度を取得することを特徴とする請求項５に記載の画像処理装置。
7. 画像処理装置が行う画像処理方法であって、
   前記画像処理装置の取得手段が、動画を取得する取得工程と、
   前記画像処理装置の抽出手段が、前記動画を構成するフレームから検出された被写体について、該被写体の位置に基づいて特定領域を抽出する抽出工程と、
   前記画像処理装置の評価手段が、前記特定領域の評価値を算出する評価工程と、
   前記画像処理装置の特定手段が、前記動画を構成するフレームのうち着目フレームよりもＮ（Ｎは自然数）フレーム前のフレームから該着目フレームまでの各フレームにおける評価値が何れも予め定められた閾値を超えている特定領域を着目特定領域として特定する特定工程と、
   前記画像処理装置の設定手段が、前記特定工程で前記着目フレームにおいて前記着目特定領域を特定した場合であって、該着目特定領域と、前記着目特定領域ではない特定領域である非着目特定領域と、が該着目フレームに含まれる場合には、前記着目フレームにおける前記着目特定領域の符号量を、前記着目フレームの前のフレームにおける該着目特定領域の符号量よりも小さくさせる符号化パラメータを、前記着目フレームにおける該着目特定領域に対して設定すると共に、前記着目フレームにおける前記非着目特定領域の符号量を、前記着目フレームの前のフレームにおける該非着目特定領域の符号量よりも大きくさせる符号化パラメータを、前記着目フレームにおける該非着目特定領域に対して設定する設定工程と、
   前記画像処理装置の符号化手段が、前記設定工程で設定された符号化パラメータに基づいて前記着目特定領域及び前記非着目特定領域を含む前記着目フレームの符号化を実行する符号化工程と、
   前記画像処理装置の出力手段が、前記符号化工程による符号化結果を、前記着目フレームの画像の符号化結果として出力する工程と
   を備えることを特徴とする画像処理方法。
8. コンピュータを、請求項１乃至６の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images