JP4407600B2 - 画像処理装置 - Google Patents

Description

本発明は、映像情報の開心領域（ＲＯＩ）を高画質で符号化するための画像処理装置に関する。

画像のデータ量を圧縮し伝送・蓄積するために各種符号化技術が標準化されている。このうち、ＪＰＥＧ２０００圧縮方式では、注目領域の画質を他の領域より高画質に符号化するＲＯＩ（Region Of Interest：関心領域）機能が知られている。ＲＯＩの設定手法としては、ＲＯＩを動きのある被写体に設定する画像処理装置の一例が特許文献１及び特許文献２に開示されている。
特開２００４−２００７３９号公報 特開２００４−２４０８４４号公報

しかしながら、特許文献１に記載された発明にあっては、動きのある特定被写体をＲＯＩ対象とするため、被写体が停止した場合はＲＯＩとして設定されない。また、動きの大きい画像ではほとんどの領域がＲＯＩに設定されてしまい、符号量／画質の画面内での配分において十分な効果が期待できないといった問題があった。

また、特許文献２に記載された発明にあっては、任意のフレームでユーザが初期設定したＲＯＩについて、この領域の特徴的画像を識別し以降のフレームで特徴的画像を探索しＲＯＩを追従させている。この場合、ユーザが映像を観察し特徴的画像が出現する時点で自ら初期のＲＯＩ領域枠を指定するという煩わしさが有る。また、特徴的画像を探索するために相当量の計算コストが必要となる。これについては、初期設定したＲＯＩの領域の画像を参照画像として次フレーム以降で参照画像を探索する方法も同様である。

一方、フレーム間の差分情報を元にＲＯＩを決定する方法では、特許文献１記載の発明の場合と同様の不都合が生ずる。

そこで、本発明は、上記に鑑みてなされたもので、その目的としては、映像中の被写体が停止した場合でも被写体領域をＲＯＩとして適当な期間保持し、動きの大きい画像においても被写体中の注目すべき領域を簡便にＲＯＩとして検出することができる画像処理装置を提供することにある。

また、本発明は、ユーザが映像を観察し初期のＲＯＩを自ら設定するという煩わしさ無しに適切なＲＯＩ設定を開始し、継続することができる画像処理装置を提供することにある。

上記目的を達成するため、本発明に係る画像処理装置は、時系列に入力される画像情報を符号化する画像処理装置において、入力された画像情報を１フレーム以上蓄積する蓄積手段と、前記画像情報中の第１の所定変化領域を動物体領域として検出する第１の領域検出手段と、前記画像情報中の第２の所定変化領域を動物体の頭部領域として検出する第２の領域検出手段と、前記第１の領域検出手段により検出された前記動物体領域及び前記第２の領域検出手段により検出された前記頭部領域の少なくとも一方を関心領域として選択する選択手段であり、前記動物体領域の占める画積が所定の閾値より大きい場合または前記動物体領域の個数が所定の閾値より多い場合には前記頭部領域を優先的に関心領域として選択する関心領域選択手段と、前記画像情報中の関心領域の符号化に用いる第１の符号化パラメータと、前記画像情報中の関心領域以外の領域の符号化に用いる第２の符号化パラメータとを設定する符号化パラメータ設定手段と、前記関心領域選択手段により選択された前記画像情報の関心領域と、前記符号化パラメータ設定手段により設定された前記第１及び第２の符号化パラメータとを用いて前記画像情報を符号化する符号化手段とを備えることを要旨とする。

本発明によれば、映像情報中の所定変化領域を動物体領域として検出し、或いは映像情報中の所定変化領域を人物の頭部領域として検出し、動物体領域または人物の頭部領域の何れか又は両方の領域を関心領域として指定することにより、被写体の動きが停止した場合でも適当な期間関心領域を保持し、この関心領域に対して高画質の符号化を行ことができる。

また、本発明によれば、動物体領域の面積や個数によって動物体領域と頭部領域の何れかを関心領域として優先的に選択することにより、動きの大きい画像や複数人が映る画像においても人物識別に重要な顔を含む頭部領域をより注目すべき関心領域として効果的に符号化することができる。

さらに、本発明によれば、映像情報中の所定変化領域を関心領域として自動抽出することができるため、ユーザが画像を注視し初期の関心領域の対象を手作業で設定するような煩わしさは無く、適切な関心領域設定を開始継続することができる。

以下、本発明に係る画像処理装置を実施するための最良の形態について、図面を参照して説明する。以下の各実施例では、本発明による画像処理装置を監視カメラシステム等の画像撮影記録再生システムに搭載して実施したものである。

まず、本発明の第１の実施例について、図１〜図１３を参照して説明する。本実施例は、本発明による画像処理装置を監視カメラシステムに搭載して実施したものである。

図１は、本実施例による監視カメラシステムの構成図である。

図１に示す監視カメラシステムは、画像を撮像する監視カメラ１０１と、この監視カメラ１０１の画像出力側に接続される画像人力インタフエース（Ｉ／Ｆ）１０２と、この画像入力Ｉ／Ｆ１０２の出力側に接続される画像処理装置１０３と、この画像処理装置１０３の出力側に接続されるデータ記録装置１０４とを備える。この構成において、監視カメラ１０１で撮像された画像は、画像入力Ｉ／Ｆ１０２でデジタル画像データに変換され、画像処理装置１０３に送られる。この画像処理装置１０３に入力された画像データは、ＪＰＥＧ２０００に基づく圧縮方式で符号化され、順次、データ記録装置１０４に記録されていく。

このうち、画像処理装置１０３は、本発明の画像処理装置に対応するもので、図１に示すように、機能上、画像入力Ｉ／Ｆ１０２の出力側に接続される画像メモリ１０５と、画像メモリ１０５の出力側に接続される動物体領域検出部１０６と、画像メモリ１０５および動物体領域検出部１０６の出力側に接続される頭部領域検出部１０７と、両領域検出部１０６、１０７に接続されるＲＯＩ領域選択部１０８と、符号化パラメータ設定部１０９と、画像メモリ１０５、ＲＯＩ領域選択部１０８、および符号化パラメータ設定部１０９の出力側に接続されるＪＰＥＧ２０００エンコーダ１１０とを有している。

画像メモリ１０５は、本発明の蓄積手段に対応するもので、画像入力Ｉ／Ｆ１０２から入力された画像情報を１フレーム以上蓄積して記憶する。

動物体領域検出部１０６は、本発明の第１の領域検出手段に対応するもので、画像メモリ１０５の画像情報を元に、画像情報中の所定の変化領域を動物体領域として検出する（詳細は後述参照）。

頭部領域検出部１０７は、本発明の第２の領域検出手段に対応するもので、画像メモリ１０５の画像情報及び動物体領域検出部１０６による動物体領域の検出結果を元に、画像情報中の所定の変化領域を頭部領域として検出する（詳細は後述参照）。

ＲＯＩ領域選択部１０８は、本発明の関心領域選択手段に対応するもので、動物体領域検出部１０６にて検出された動物体領域及び頭部領域検出部１０７にて検出された頭部領域の何れか又は両方をＲＯＩとして選択し、ＲＯＩマスクデータを出力する（詳細は後述参照）。ＲＯＩの選択は、用途により予め設定し、設定された検出領域（動物体領域又は頭部領域）をＲＯＩとして選択可能となっている。この場合、ＲＯＩとして選択されない検出領域（動物体領域又は頭部領域）に対応する領域検出部（動物体領域検出部１０６又は頭部領域検出部１０７）の動作は実行されない。

符号化パラメータ設定部１０９は、本発明の符号化パラメータ設定手段に対応するもので、画像データ中のＲＯＩの符号化に用いる符号化パラメータと、画像データ中のＲＯＩ以外の領域の符号化に用いる符号化パラメータとをそれぞれ設定する。

ＪＰＥＧ２０００エンコーダ１１０は、本発明の符号化手段に対応するもので、画像メモリ１０５の画像データと、ＲＯＩ領域選択部１０８からのＲＯＩマスクデータと、符号化パラメータ設定部１０９からの符号化パラメータとを元に、ＪＰＥＧ２０００に基づく符号化を行い、ＪＰＥＧ２０００ビットストリームを出力する。

図２は、画像処理装置１０３による画像処理の流れを示す概要図である。

図２に示すように、画像処理装置１０３は、画像入力Ｉ／Ｆ１０２を介して画像データを画像メモリに１０５に入力すると（ステップＳ１０）、動物体領域検出部１０６、頭部領域検出部１０７、及びＲＯＩ領域検出部１０８により、その入力画像に対してＲＯＩを検出する（ステップＳ２０）。次いで、画像処理装置１０３は、検出されたＲＯＩに対応するＲＯＩマスクデータと、符号化パラメータ設定部１０９により設定された符号化パラメータとに基づいて、ＪＰＥＧ２０００エンコーダ１１０により、ＪＰＥＧ２０００に基づくエンコードを行い（ステップＳ３０）、エンコードされたコードストリーム（ＪＰＥＧ２０００ビットストリーム）をデータ記録装置１０４に出力する（ステップＳ４０）。

図３は、上記の動物体領域検出部１０６、頭部領域検出部１０７、及びＲＯＩ領域検出部１０８によるＲＯＩ検出処理（ステップＳ２０）の詳細を示すフローチャート、図４は、図３に示すＲＯＩ検出処理に伴う入力データから出力データまでの処理画像データの遷移状況を説明する図である。

図３に示すように、動物体領域検出部１０６は、入力画像１１１（図４参照）に対してフィルタ処理・縮小の前処理を行い（ステップＳ１１０）、比較画像を更新する（ステップＳ１２０）。

図５は、画像処理装置１０３による比較画像作成の処理の具体例を示すフローチャートである。この処理に際し、画像処理装置１０３は、入力画像１１１に対して空間方向にローパスフィルタ（ＬＰＦ）を適用し、ノイズ除去と画像データ縮小を行って縮小画像１１２（図４参照）を得る（ステップＳ２１０）。次いで、得られた縮小画像１１２に対し、画像処理装置１０３は、時間軸方向に係数の異なる２種類のＩＩＲ（Infinite Impulse Response）フィルタ、すなわち長期蓄積用ＩＩＲフィルタおよび短期蓄積用ＩＩＲフィルタをそれぞれ適用する（ステップＳ２２０、Ｓ２３０）。ここで適用されるＬＰＦ及び２種類のＩＩＲフィルタは、画像処理装置１０３内に予め設定される。

図６は、上記の縮小画像１１２を入力データとするＩＩＲフィルタの回路図を示す。図６において、ＩＩＲフィルタの係数ａ（０≦ａ≦１）は、フレーム毎の画像データの更新割合に相当する。ここで、ＩＩＲフィルタの係数ａが大きければ、出力データは短期間で速やかに更新される画像データ、即ち短期蓄積画像１１４（図４参照）となる。一方、ＩＩＲフィルタの係数ａが小さければ、出力データは長期間に亘って蓄積され僅かずつ更新される画像データ、即ち長期蓄積画像１１３（図４参照）となる。

従って、短期蓄積用ＩＩＲフィルタの係数ａは、出力データが短期蓄積画像１１４となるようにその範囲内で大きく、長期蓄積用ＩＩＲフィルタの係数ａは、出力データが長期蓄積画像１１３となるようにその範囲内で小さく設定される。例えば、短期蓄積用ＩＩＲフィルタの係数ａを、短期蓄積画像用の更新パラメータＡｓ（短期蓄積用時定数）とし、長期蓄積用ＩＩＲフィルタの係数ａを、長期蓄積用ＩＩＲフィルタの更新パラメータＡｌ（長期蓄積用時定数）とした場合、一例として、Ａｌ＝０．００１、Ａｓ＝１に設定される。

図３に戻り説明を続けると、動物体領域検出部１０６は、上記のＩＩＲフィルタから出力された短期蓄積画像１１４と長期蓄積画像１１３とを比較することにより、入力画像上の動物体領域を抽出する（ステップＳ１３０）。

図７は、上記の動物体領域検出部１０６による動物体領域抽出処理（ステップＳ１３０）の詳細を示す。

図７において、動物体領域検出部１０６は、長期蓄積画像１１３と短期蓄積画像１１４の対応する画素位置の輝度差分の絶対値を求める（ステップＳ３１０）。次いで、動物体領域検出部１０６は、絶対値が所定の閾値Ｔｈより大きければ、「変化画素」として２値化マップ１１５（図４参照）の対応する画素位置に「１」を与え、絶対値が所定の閾値Ｔｈ以下であれば、「変化の無い画素」として２値化マップ１１５の対応する画素位置に「０」を与え、このようにして変化領域の２値化マップ１１５を作成する（ステップＳ３２０）。

次いで、動物体領域検出部１０６は、ノイズの影響を低減するために２値化マップ１１５中の孤立点を除去し（ステップＳ３３０）、隣接する「変化画素」をグループ化し、「変化領域」としてラベルを付与する（ステップＳ３４０）。

次いで、動物体領域検出部１０６は、「変化領域」の大きさ（サイズ）が所定の閾値Ｔｈｓｉｚｅ（後述参照）より大きければ、この領域を動物体領域として選択する（ステップＳ３５０）。次いで、動物体領域検出部１０６は、複数の動物体領域に重なりが生じる場合は、これを一つの動物体領域としてまとめ（ステップＳ３６０）、動物体領域の形状を整形し（ステップＳ３７０）、動物体領域マップ１１６（図４参照）を作成する（ステップＳ３８０）。

図３に戻り説明を続けると、上記のように動物体領域検出部１０６により動物体領域抽出処理が実行されると、その結果に基づいて、ＲＯＩ領域検出部１０８は、入力画像上に動物体領域が有るか否かを判断し（ステップＳ１４０）、その結果、動物体領域が有る場合（ステップＳ１４０：Ｙｅｓ）には、ＲＯＩ領域選択部１０８により頭部領域検出が選択されているか否かを判断する（ステップＳ１５０）。

その結果、ＲＯＩ領域選択部１０８により頭部領域検出が選択されていれば（ステップＳ１５０：Ｙｅｓ）、頭部領域検出部１０７による頭部領域抽出処理を行い（ステップＳ１６０）、抽出された頭部領域に基づいて、ＲＯＩ領域検出部１０８は、ＲＯＩマスク１１７（図４参照）を作成する（ステップＳ１７０）。

一方、動物体領域が無い場合（ステップＳ１４０：Ｎｏ）、又は、動物体領域が有る場合（ステップＳ１４０：Ｙｅｓ）で且つＲＯＩ領域選択部１０８により頭部領域検出が選択されていない場合（ステップＳ１５０：Ｎｏ）、ＲＯＩ領域検出部１０８は、動物体領域抽出による動物体領域マップ１１６を元に、ＲＯＩマスク１１７を作成する（ステップＳ１７０）。

図８は、上記の頭部領域検出部１０７による頭部領域抽出処理（ステップＳ１６０）の詳細を示すフローチャートである。

図８において、頭部領域検出部１０７は、動物体領域マップ１１６から動物体領域の輪郭情報を抽出し（ステップＳ４１０）、ハフ変換・投票を用いて動物体領域上部の円近似領域を頭部領域候補として検出する（ステップＳ４２０）。次いで、頭部領域検出部１０７は、頭部領域候補から得票数が上位の要素を頭部領域として選択し（ステップＳ４３０）、選択された頭部領域の頭部領域マップを作成し、その頭部領域マップで動物体領域マップ１１６を更新する（ステップＳ４４０）。

本実施例の監視カメラシステムでは、例えば、長期蓄積画像１１３用の更新パラメータＡｌを０．００１、短期蓄積画像１１４用の更新パラメータＡｓを１として、前述したＩＩＲフィルタによるフィルタ処理を行うことができる。例えば、図９のように画像の輝度範囲を１〜２５５の８ビットで表現し、室内の壁面の輝度レベルが８０程度の場面に現れた人物の輝度レベルが１５０程度の場合、差分２値化閾値Ｔｈを５０とすると、この人物が停止しても、約３３０フレーム（フルフレームで１１秒間）に亘って動物体領域を保持する。このように更新パラメータＡｌ、Ａｓと、差分２値化閾値Ｔｈの調整により、動物体領域が停止した場合でも、特別な領域マッチングの処理を要さずに一定期間検出領域を保持することが可能となる。

なお、本実施例では、ＲＯＩ検出への入力画像は輝度成分を用いたが、色差成分を併せて用い、総合的に動物体領域を判定してもよい。

また、「変化領域」の選択閾値Ｔｈｓｉｚｅは、撮影場面に応じて、画面上の位置により変化させてもよい。即ち、面面下部（手前側）では閾値が大きく、画面上部（奥側）では閾値が小さくなるように設定することができる。

さらに、初期のＲＯＩ検出処理は、タイマー設定により長期蓄積画像１１３が十分平均化され、安定するまで適当な時間経過後に開始してもよい。或いは、初期の長期蓄積画像１１３は、ＦＩＲ（Finite Impulse Response）フィルタを用いて短時間で蓄積し、その後設定した係数で長期蓄積画像１１３を更新するようにして、ＲＯＩ検出の不感時間を無くすことも可能である。

また、差分絶対値の２値化閾値を適用する際の仕方は、以下のように比較画像間の平均輝度の差を差し引き、更に２段階の閾値に設定することにより、検出部分の輝度に応じてより安定した検出を行うようにしてもよい。

即ち、その設定閾値は、図１０に示すようなテーブルデータとして予め格納されており、使用場面に応じて、高／中／低の何れかの感度を選択し、選択した感度に対応する３つの閾値Ｔｈ１、Ｔｈ２、Ｔｈ３を２値化ステップ（ステップＳ３２０）の中で利用する。なお、各閾値Ｔｈ１、Ｔｈ２、Ｔｈ３の値は、８ビットで量子化された画像データの輝度値を０〜２５５として表現した場合を基準にとってある。

本実施例における２値化処理において、長期蓄積画像１１３のフレーム全体の輝度平均値をＦａｖｌとし、短期蓄積画像１１４のフレーム全体の輝度平均値をＦａｖｓとし、各面素位置（ｉ，ｊ）における長期蓄積画像１１３の輝度値をＦｌ（ｉ，ｊ）とし、短期蓄積画像１１４の輝度値をＦｓ（ｉ，ｊ）とすると、差分の絶対値Ｄａｂｓ（ｉ，ｊ）は、
△Ｆａｖ＝Ｆａｖｓ−Ｆａｖｌ
△Ｆ（ｉ，ｊ）＝Ｆｓ（ｉ，ｊ）−Ｆｌ（ｉ，ｊ）
Ｄａｂｓ（１，ｊ）＝｜△Ｆ（ｉ，ｊ）−△Ｆａｖ｜
で表すことができる。

この場合、前記の絶対値Ｄａｂｓ（ｉ，ｊ）が求まると、短期蓄積画像１１４の画素位置（ｉ，ｊ）における輝度値Ｆｓ（ｉ，ｊ）と、長期蓄積画像１１３の画素位置（ｉ，ｊ）における輝度値Ｆ１（ｉ，ｊ）とをそれぞれ閾値Ｔｈ１と比較する。そして、少なくともＦｓ（ｉ，ｊ）、Ｆｌ（ｉ，ｊ）の何れか一方が閾値Ｔｈ１よりも大きい場合には、判定閾値としてＴｈ２を適用し、双方とも閾値Ｔｈ１以下であった場合には、判定閾値としてＴｈ３を適用する。

その結果、Ｄａｂｓ（ｉ，ｊ）＞適用閾値（Ｔｈ２又はＴｈ３）であれば、画素位置（ｉ，ｊ）に有意な変化が有ると判定し、Ｄａｂｓ（１，ｊ）≦適用閾値（Ｔｈ２又はＴｈ３）であれば、画素位置（ｉ，ｊ）に有意な変化が無いと判定する。

なお、孤立点除去・ラベリングされた動き領域を有効な動物体と判定する閾値Ｔｈｓｉｚｅには、想定される物体領域の面積を用いる。監視カメラでは、斜め上から監視エリアを撮影することが多く、この場合には、画面下部がカメラに近く画面上部がカメラから遠くなり、想定する動物体の画面上の大きさは画面下部で大きく画面上部で小さくなる。そこで、検出された「変化領域」の重心の画面上の座標位置を元に、想定される動物体領域の面積をパラメータとして設定する。想定される動物体領域の大きさは、図１１のように撮影場面に応じて予め簡易的にユーザが設定できるようにしてもよい。図１１の例では、検出画面上で、動物体領域が下端に有る時と上端に有る時とにそれぞれ想定される動物体の面積をユーザが初期設定し、これを元に、動物体領域の位置毎に想定される動物体の面積を設定する場合を模式的に示している。

また、本実施例では、面面全体よりＲＯＩを検出しているが、撮影場面に応じて領域をマスクしてもよい。また、領域検出の安定化のために、変化領域にＩＩＲフィルタを適用し、一瞬だけ現れる領域を除去してもよい。さらに、関心領域（ＲＯＩ）の選択は、撮影場面に応じてユーザが予め設定することができる。

図１２は、ＲＯＩ領域の検出イメージである。動物体領域の情報を元に頭部領域を推定しＲＯＩをより限定することができる。なお、本実施例においては、頭部領域検出を動物体領域検出結果を用いて効率的な検出を行っているが、頭部領域検出を独立して行ってもよい。

図１３は、ＲＯＩ検出結果を用いたＪＰＥＧ２０００エンコーダ１１０による符号化の詳細を示すフローチャートである。なお、ＪＰＥＧ２０００の符号化技術は、公知であるので、本明細書では詳述しない。

図１３において、ＪＰＥＧ２０００エンコーダ１１０は、入力画像データに対し、ＤＣレベルシフト（ステップＳ５１０）、色変換（ステップＳ５２０）を行った後、ウェーブレット変換を適用し（ステップＳ５３０）、量子化する（ステップＳ５４０）。次いで、ＪＰＥＧ２０００エンコーダ１１０は、量子化データに対し、ＥＢＣＯＴと呼ばれるビットプレーン単位のエントロピー符号化を適用する。ＥＢＣＯＴでは、係数ビットモデリング（ステップＳ５５０）の後、算術符号化（ステップＳ５６０）を行う。次いで、ＪＰＥＧ２０００エンコーダ１１０は、符号化結果から設定符号量に合わせたビットストリームを生成し、データ記録装置１０４に出力する（ステップＳ５７０）。

符号化パラメータは、ＪＰＥＧ２０００エンコーダ１１０に対してＲＯＩ領域を高画質に符号化する設定値を与えるものである。ＪＰＥＧ２０００では、ＭＡＸＳＨＩＦＴ法がＲＯＩ優先符号化の基本仕様となっているが、本実施例においては、ビットプレーンシフトの適用の有無をＲＯＩ領域用の符号化パラメータとして与えてもよいし、より一般化してビットプレーンシフトを行うシフト係数をＲＯＩ領域用の符号化パラメータとして与えてもよい（図１３中の点線矢印（Ａ）参照）。或いは、量子化のステップ設定を符号化パラメータとして与えてもよい（図１３中の点線矢印（Ｂ）参照）。

ここで、ＲＯＩ検出・符号化する画像のフレーム間隔は、フルフレーム（３０フレーム／秒）で行うことが可能であるが、必要に応じより少ないフレーム数で検出・符号化を行ってもよい。フレームレートを変更する際には、蓄積画像の更新パラメータを調節することにより、動物体領域の保持時間を調整することができる。

従って、本実施例によれば、映像情報中の所定変化領域を動物体領域として検出し、或いは映像情報中の所定変化領域を人動の頭部領域として検出し、動物体領域または人物の頭部領域の何れか又は両方の領域をＲＯＩとして指定することにより、被写体の動きが停止した場合でも適当な期間ＲＯＩを保持し、高画質の符号化を行うことができる。

また、本実施例によれば、動物体領域の面積や個数によって動物体領域と頭部領域の何れかをＲＯＩとして選択することにより、動きの大きい画像や複数人が映る画像においても、人物識別に重要な顔を含む頭部領域をより注目すべきＲＯＩとして効果的に符号化することができる。

さらに、本実施例によれば、映像情報中の所定変化領域をＲＯＩとして自動抽出することができるため、ユーザが画像を注視し初期のＲＯＩの対象を手作業で設定するような煩わしさは無く、適切なＲＯＩ設定を開始継続することができる。

次に、本発明の第２の実施例を説明する。本実施例は、前述の図３に示すＲＯＩ検出処理の一部を変更して実施したものである。その他については、第１の実施例（図１〜図１３）と同様であるため、以下、相違点のみ説明する。

図１４は、本実施例による画像処理装置のＲＯＩ検出処理の流れを示すフローチャートである。第１の実施例（図３）と比べると、ステップＳ６１０〜Ｓ６４０の処理は、ステップＳ１１０〜Ｓ１４０と同様であり、ステップＳ６５０以降のＲＯＩ領域選択部１０８に関する処理が相違する。

すなわち、図１４において、ＲＯＩ領域選択部１０８は、動物体領域が無ければ（ステップＳ６４０：Ｎｏ）、動物体領域抽出による動物体領域マップを元に空のＲＯＩマスクを作成する（ステップＳ６７０）。一方、ＲＯＩ領域選択部１０８は、動物体領域が有れば（ステップＳ６４０：Ｙｅｓ）、動物体領域の面積Ａｏｂｊを評価する（ステップＳ６５０）。この際、複数の動物体領域が有る場合は、各領域の面積の総和を求め、ＲＯＩ面積閾値Ｔｈａｒｅａと比較する。

その結果、Ａｏｂｊ≦Ｔｈａｒｅａならば、頭部領域検出部１０７による頭部領域検出は行わず（ステップＳ６５０：Ｎｏ）、ＲＯＩ領域選択部１０８は、動物体領域検出部１０６による動物体領域抽出で得られた動物体領域マップを元に、ＲＯＩマスク１１７を作成する（ステップＳ６７０）。一方、Ａｏｂｊ＞Ｔｈａｒｅａならば、頭部領域検出部１０７による頭部領域抽出を行い（ステップＳ６６０）、抽出された頭部領域に基づいて、ＲＯＩ領域選択部１０８は、ＲＯＩマスク１１７を作成する（ステップＳ６７０）。

なお、ＲＯＩ面積閾値Ｔｈａｒｅａは、ユーザが初期設定することができる。また、ＲＯＩと非ＲＯＩの符号化パラメータの差分または比率を元に割り当て符号量の差が大きくなるほど、ＲＯＩ面積閾値Ｔｈａｒｅａを低く設定する計算式を用いてもよい。

例えば、ＲＯＩの量子化ステップ幅をＱｒｏｉ、ＲＯＩ以外の量子化ステップ幅をＱｎｒｏｉとすると、ＲＯＩ面積閾値Ｔｈａｒｅａは、一定の係数Ｃａｒｅａを用いて、
Ｔｈａｒｅａ＝Ｃａｒｅａ×（Ｑｒｏｉ／Ｑｎｒｏｉ）
と表すことができる。この場合、ＲＯＩの量子化ステップが細かくなるほど、ＲＯＩ面積閾値は小さなくり、少ない領域を際立たせるように符号化することができる。

図１５（Ａ）及び（Ｂ）は、上記のＲＯＩ選択例を示す図である。

図１５（Ａ）に示すように動物体領域の面積がＲＯＩ面積閾値Ｔｈａｒｅａ（図中の例：Ｔｈａｒｅａ＝ｗ（画面の幅）＊ｈ（画面の高さ）／４）以下の場合は、動物体領域全体をＲＯＩとして選択する。図１５（Ｂ）に示すように動物体領域の面積がＲＯＩ面積閾値Ｔｈａｒｅａより大きい場合には、頭部領域をＲＯＩとして選択する。

次に、本発明の第３の実施例を説明する。本実施例は、前述の図３に示すＲＯＩ検出処理の一部を変更して実施したものである。その他については、第１の実施例（図１〜図１３）と同様であるため、以下、相違点のみ説明する。

図１６は、本実施例による画像処理装置のＲＯＩ検出処理の流れを示すフローチャートである。前述の図３に示す処理と比べると、ステップＳ７１０〜Ｓ７４０の処理は、ステップＳ１１０〜Ｓ１４０と同様であり、ステップＳ７５０以降のＲＯＩ領域選択部１０８に関する処理が相違する。

すなわち、図１６において、ＲＯＩ領域選択部１０８は、動物体領域が無ければ（ステップＳ７４０：Ｎｏ）、動物体領域抽出による動物体領域マップを元に空のＲＯＩマスクを作成する（ステップＳ７７０）。一方、ＲＯＩ領域選択部１０８は、動物体領域が有れば（ステップＳ７４０：Ｙｅｓ）、動物体領域の個数ＮｏｂｊをＲＯＩ個数閾値Ｔｈｎと比較する（ステップＳ７５０）。

その結果、Ｎｏｂｊ≦Ｔｈｎならば、頭部領域検出部１０７による頭部領域検出は行わず（ステップＳ７５０：Ｎｏ）、ＲＯＩ領域選択部１０８は、動物体領域検出部１０６による動物体領域抽出で得られた動物体領域マップ１１６を元に、ＲＯＩマスク１１７を作成する（ステップＳ７７０）。一方、Ｎｏｂｊ＞Ｔｈｎならば、頭部領域検出部１０７による頭部領域抽出を行い（ステップＳ７６０）、抽出された頭部領域に基づいて、ＲＯＩ領域選択部１０８は、ＲＯＩマスク１１７を作成する（ステップＳ７７０）。

なお、ＲＯＩ個数閾値Ｔｈｎは、ユーザが初期設定することができる。また、ＲＯＩと非ＲＯＩの符号化パラメータの差分または比率を元に、割り当て符号量の差が大きくなるほど、ＲＯＩ個数閾値Ｔｈｎを低く設定する計算式を用いてもよい。

例えば、ＲＯＩの量子化ステップ幅をＱｒｏｉ、ＲＯＩ以外の量子化ステップ幅をＱｎｒｏｉとすると、ＲＯＩ個数閾値Ｔｈｎは、一定の係数Ｃｎを用いて、
Ｔｈｎ＝Ｃｎ×（Ｑｒｏｉ／Ｑｎｒｏｉ）
と表すことができる。この場合、ＲＯＩの量子化ステップが細かくなるほど、ＲＯＩ個数閾値Ｔｈｎは小さくなり、数少ない領域を際立たせるように符号化することができる。

図１５（Ａ）及び（Ｂ）は、上記のＲＯＩ選択例を示す図である。

図１５（Ａ）に示すように、動物体領域の個数がＲＯＩ個数閾値Ｔｈｎ（図中の例：Ｔｈｎ＝２）以下の場合は、動物体領域全体をＲＯＩとして選択する。図１５（Ｂ）に示すように、動物体領域の個数がＲＯＩ個数閾値Ｔｈｎより多い場合には、頭部領域をＲＯＩとして選択する。

なお、前述のＲＯＩ面積閾値及びＲＯＩ個数閾値を併用して、動物体領域またはＲＯＩ領域を選択してもよい。

また、上記の各実施例では、ＪＰＥＧ２０００のＲＯＩ領域を用いているが、本発明の画像処理装置で用いる符号化方式はＪＰＥＧ２０００に限定するものではなく、例えば同一フレーム内で複数の画質を設定可能な全ての符号化方式に適用できる。

また、上記の各実施例で適用される監視カメラシステムの応用例としては、ＲＯＩが一定期間検出された時に警報を出力、または、イベント情報を記録してもよい。また、前述した第２の実施例で適用される監視カメラシステムの場合には、ＲＯＩが頭部領域となったタイミングで警報を出力、またはイベント情報を記録してもよい。

なお、上記の各実施例で説明した画像処理装置の各部（画像メモリ、動物体領域検出部、頭部領域検出部、ＲＯＩ領域検出部、符号化パラメータ設定部、ＪＰＥＧ２０００エンコーダ）が有している機能の少なくとも一部をプログラムによりコンピュータに実現させるようにしてもよい。このプログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。

この場合に用いるプログラムの例として、時系列に入力される画像情報を符号化する画像処理プログラムを対象とすることができる。この画像処理プログラムは、入力された画像情報を１フレーム以上蓄積するステップと、画像情報中の第１の所定変化領域を動物体領域として検出する第１の領域検出ステップと、画像情報中の第２の所定変化領域を人物の頭部領域として検出する第２の領域検出ステップと、動物体領域または人物の頭部領域の何れか又は両方の領域を関心領域として選択する関心領域選択ステップと、画像情報中の関心領域の符号化に用いる第１の符号化パラメータと画像情報中の関心領域以外の領域の符号化に用いる第２の符号化パラメータを設定するステップと、映像情報の関心領域指定と第１及び第２の符号化パラメータを用いて映像情報を符号化するステップとをコンピュータに実行させるように構成してもよい。

この画像処理プログラムを用いた場合、関心領域選択ステップは、動物体領域の占める面積が所定の閾値より大きい場合に人物の頭部領域を関心領域として選択してもよく、動物体領域の個数が所定の閾値より多い場合に人物の頭部領域を関心領域として選択してもよい。

本発明は、映像情報の開心領域を高画質で符号化する画像処理装置に適用でき、例えば監視カメラシステム等の画像撮影記録再生システムにも適用できる。

本発明の第１の実施例に係る画像処理装置を搭載した監視カメラシステムの全体構成を示すブロック図である。 画像処理の流れを示す図である。 画像処理装置のＲＯＩ検出処理の流れを示すフローチャートである。 ＲＯＩ検出処理に伴う処理画像データの遷移状況を示す図である。 比較画像作成の処理の流れを示すフローチャートである。 ＩＩＲフィルタの回路図である。 動物体領域抽出処理の詳細を示すフローチャートである。 頭部領域抽出処理の詳細を示すフローチャートである。 動物体領域検出を説明する概念図である。 差分絶対値の２値化閾値として適用可能な閾値テーブルの内容を示す図である。 動物体領域選択閾値の設定例を示す図である。 ＲＯＩ検出処理結果の概念図である。 ＪＰＥＧ２０００符号化処理の流れを示すフローチャートである。 本発明の第２の実施例に係る画像処理装置のＲＯＩ検出処理の流れを示すフローチャートである。 （Ａ）及び（Ｂ）は、ＲＯＩ選択例を示す図である。 本発明の第３の実施例に係る画像処理装置のＲＯＩ検出処理の流れを示すフローチャートである。

符号の説明

１０１ 監視カメラ
１０２ 画像入力Ｉ／Ｆ
１０３ 画像処理装置
１０４ データ記録装置
１０５ 画像メモリ
１０６ 動物体領域検出部
１０７ 頭部領域検出部
１０８ ＲＯＩ領域選択部
１０９ 符号化パラメータ設定部
１１０ ＪＰＥＧ２０００エンコーダ

Claims (1)

1. 時系列に入力される画像情報を符号化する画像処理装置において、
   入力された画像情報を１フレーム以上蓄積する蓄積手段と、
   前記画像情報中の第１の所定変化領域を動物体領域として検出する第１の領域検出手段と、
   前記画像情報中の第２の所定変化領域を動物体の頭部領域として検出する第２の領域検出手段と、
   前記第１の領域検出手段により検出された前記動物体領域及び前記第２の領域検出手段により検出された前記頭部領域の少なくとも一方を関心領域として選択する手段であり、前記動物体領域の占める画積が所定の閾値より大きい場合または前記動物体領域の個数が所定の閾値より多い場合には前記頭部領域を優先的に関心領域として選択する関心領域選択手段と、
   前記画像情報中の関心領域の符号化に用いる第１の符号化パラメータと、前記画像情報中の関心領域以外の領域の符号化に用いる第２の符号化パラメータとを設定する符号化パラメータ設定手段と、
   前記関心領域選択手段により選択された前記画像情報の関心領域と、前記符号化パラメータ設定手段により設定された前記第１及び第２の符号化パラメータとを用いて前記画像情報を符号化する符号化手段と、
   を備えることを特徴とする画像処理装置。
   

Images