JP5872401B2 - 領域分割装置 - Google Patents

Description

本発明は、人物などの対象物を背景と共に撮像した画像を対象物領域と背景領域とに領域分割する領域分割装置に関する。

防犯等の目的で、監視画像から抽出した人物領域の形状を基に人物の姿勢を推定して異常の発生を検知することが行われている。監視画像中の人物領域は比較的小さいため、背景画素の混入や人物画素の欠損といった人物領域の抽出誤差は後段の処理に影響しやすい。そのため、人物領域の抽出精度向上が望まれる。

人物領域などの対象物領域を高精度に抽出するための技術として、画像を対象物領域と背景領域とに分割することを画素間のリンクの切断でモデル化するグラフカット法が知られている。グラフカット法では、例えば、各画素をノードに見立てたグラフを作成して当該グラフを最小のエネルギーにて対象物領域のノード群と背景領域のノード群とに分割する切断を導出する。

非特許文献１の技術では、領域分割のエネルギーとして、各画素の輝度値の対象物または背景としての尤もらしさに基づく輝度値（以下、色特徴）のエネルギーを利用すると共に、各画素の位置の対象物または背景としての尤もらしさに基づく形状特徴のエネルギーを利用している。すなわち、画像上に対象物の形状モデルを配置して形状モデルから近い距離に位置する画素ほど対象物の画素として尤もらしく、形状モデルから遠い距離に位置する画素ほど背景としても尤もらしいとされる。これにより対象物と背景との色特徴が似ている部分で生じやすかった誤分割を形状特徴により補うことができ、領域分割の精度が向上する。

非特許文献１の技術では、色特徴のエネルギーと形状特徴のエネルギーとを領域分割に寄与させる比率λを予め設定した固定値で与えていた。

D.Freedman and T. Zhang. Interactive graph cut based segmentation with shapepriors. In Proceedings of the IEEE Conference on Computer Vision and PatternRecognition (CVPR), volume 1, pages 755-762, 2005.

しかしながら、従来技術では２種類の特徴量がエネルギー関数に寄与する率を予め設定しているため、特徴量のいずれかが適さない状況で抽出精度が低下する問題があった。

例えば、白いシャツを着た人物が白い壁の前に存在するとき、シャツと壁との境界以外にシャツの領域内でも壁の領域内でも色特徴のエネルギーが小さくなり得る。そのため、シャツの一部が欠けた人物領域が抽出されやすくなる、あるいは壁の領域を含んだ人物領域が抽出されやすくなる。

このように人物と背景との色が似た状況で抽出精度の低下が生じるが、人物の色は様々であり、また人物の移動によって人物周囲の背景の色は変わるため、色特徴のエネルギーの寄与率を予め適切に設定することは困難である。

また、人物の姿勢が形状モデルからずれたとき、モデルからずれた部分で形状特徴のエネルギーが大きくなって一部が欠けた人物領域が抽出されやすくなる。他方、ずれたモデル側の位置に背景のエッジが存在すればそのエッジにより形状特徴のエネルギーが小さくなり、背景の領域を含んだ人物領域が抽出されやすくなる。

このように人物の姿勢が形状モデルからずれた状況で抽出精度の低下が生じるが、人物の姿勢は変化し、また人物の移動によって人物周囲の背景のエッジは変わるため、形状特徴のエネルギーの寄与率を予め適切に設定することは困難である。

本発明は、上記問題を鑑みてなされたものであり、複数種類の画像特徴量に基づいて画像を対象物領域と背景領域とに領域分割する領域分割装置において、対象物や背景の状況によらず対象物の領域の抽出精度を向上させることを目的とする。

本発明に係る領域分割装置は、所定の対象物を背景と共に撮像した画像において、少なくとも１つの画素からなる複数の素領域をそれぞれ対象物領域と背景領域とのいずれかに帰属させて帰属状態を決定することにより、前記画像を領域分割するものであって、前記素領域における所定の複数種類の画像特徴それぞれを前記領域分割に寄与させる寄与度を複数通りに設定する寄与度設定部と、前記寄与度ごとに、前記帰属状態を適宜変更しつつ、前記素領域それぞれの前記各画像特徴が当該各帰属状態にあることの尤もらしさの程度を当該寄与度で重み付けて総和した寄与度依存評価値を比較して前記尤もらしさを最大化する帰属状態候補を選定する候補選定部と、前記寄与度ごとに選定した前記帰属状態候補について、それらの優劣を前記寄与度に依存しない一律の評価基準により評価した領域分割評価値を算出し、当該領域分割評価値が最も高い前記帰属状態候補を領域分割結果として決定する領域分割決定部と、を備える。

本発明の好適な態様は、前記複数種類の画像特徴が、前記素領域の色及び位置である領域分割装置である。

本発明に係る領域分割装置において、前記評価基準は、前記各寄与度での前記帰属状態候補に共通して予め与えられた前記対象物領域についての近似領域と当該各帰属状態候補との形状一致度を含む。

他の本発明に係る領域分割装置において、前記評価基準は、前記帰属状態候補における対象物領域と背景領域との境界部での色の相違度を含む。

また、本発明に係る領域分割装置において、前記素領域を、画素値が所定の類似性を有する画素からなる画像断片とすることができる。

本発明によれば、複数種類の特徴量のエネルギーの寄与率を適応的に設定することで、例えば、対象物とその付近の背景の色が似ているときは形状重視の領域分割を行い、対象物の姿勢が形状モデルからずれたときは色重視の領域分割を行うことが可能となる。これにより、対象物や背景の状況によらず対象物領域と背景領域とを高精度に領域分割できる。

本発明の実施形態に係る画像監視装置の概略の構成を示したブロック図である。 本発明の実施形態でのグラフカット法に用いるグラフの模式図である。 初期領域設定部による処理を説明する模式図である。 図３に示す初期領域に基づいて設定される対象物シード及び背景シードの一例と、対象物画素の存在確率ρ_Ｏ及び背景画素の存在確率ρ_Ｂの一例とを示す模式図である。 対象物画素の存在確率ρ_Ｏ及び背景画素の存在確率ρ_Ｂの他の例を示す模式図である。 色に関する領域評価値の算出に用いられる、対象物の輪郭画素に隣接する背景画素の集合を説明する模式図である。 特徴比率λと領域評価値Ｓとの関係を示すグラフであり、対象物の周囲に対象物の周囲と似た色の背景が存在する状況での例である。 特徴比率λと領域評価値Ｓとの関係を示すグラフであり、対象物の周囲に対象物の周囲と似た色の背景が存在しない状況での例である。 本発明の実施形態に係る画像監視装置の監視動作の概略を示すフロー図である。 人物領域抽出処理の概略のフロー図である。 特徴比率λと領域評価値との関係を示すグラフであり、第１段階で粗いΔλを用いて大域的な探索を行い、第２段階で細かいΔλを用いて局所的な探索を行う処理例である。 画像特徴ごとのソースを有するグラフの例を示すグラフの模式図である。

以下、本発明の領域分割装置を含んだ好適な実施の形態（以下実施形態という）の一例として、領域分割装置により監視画像上の人物領域を抽出し、人物領域の形状に基づく人物姿勢の推定により異常の発生を監視する画像監視装置１について、図面に基づいて説明する。本発明の領域分割装置は、領域分割部４１として画像監視装置１に具備され、監視画像を注目人物が写っている人物領域とそれ以外の背景領域に分割する。

［画像監視装置１の構成］
図１は画像監視装置１の概略の構成を示したブロック図である。画像監視装置１は撮像部２、記憶部３及び出力部５が制御部４に接続されてなる。

撮像部２は監視カメラである。撮像部２は監視空間を移動する人物を撮像するために監視空間を臨むように設置され、監視空間を所定の時間間隔で撮影する。撮影された監視空間の監視画像は順次、制御部４へ出力される。本実施形態においては、人物の位置を３次元座標で特定するために、２つの撮像部２−１，２−２が共通視野を有して設置される。これらの撮像部２のカメラパラメータは、予めのキャリブレーションにより計測して記憶部３に記憶させておく。

記憶部３は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の記憶装置である。記憶部３は、各種プログラムや各種データを記憶し、制御部４との間でこれらの情報を入出力する。

各種データには、追跡情報３０、人物形状モデル３１、グラフ情報３２、領域評価情報３３及びカメラパラメータ（不図示）が含まれる。

追跡情報３０は人物を追跡した結果である人物位置、人物の追跡のために生成され当該人物を特徴づける人物テンプレートなどのデータである。人物ごとの人物ＩＤに対応付けられて当該人物の人物位置及び人物テンプレートなどが記憶される。監視空間を模した３次元座標系における人物の頭部中心の座標が当該人物の人物位置として記憶される。

人物形状モデル３１は人物の形状を模した形状データである。本実施形態では、立位の人物の頭部、胴部及び脚部の３部分それぞれを鉛直軸を回転軸とする回転楕円体で近似し、これらを上から順に鉛直方向に整列した立体形状データを予め作成して記憶させておく。

後述する領域分割部４１は、監視画像に対して図２に示すようなグラフを生成し、当該グラフを最小のエネルギーで人物領域（対象物領域）と背景領域とに２分割する切断をグラフカット（Graph Cut）法により導出することで監視画像から人物領域を抽出する。人物領域及び背景領域の最小単位を素領域と称する。素領域は少なくとも１つの画素からなり、監視画像は複数の素領域からなる。領域分割部４１は素領域をそれぞれ対象物領域と背景領域とのいずれかに帰属させて帰属状態を決定することにより監視画像を領域分割する。

図２に示すグラフにおいて、水平面の斜視図が画素の集合である画像を模式的に表している。領域分割部４１は素領域として１つ１つの画素をノードに設定すると共に人物領域側及び背景領域側の仮想のターミナルとしてソースＳ及びシンクＴを設定する。また、各隣接ノード間のリンク（ｎ−ｌｉｎｋ）を設定し、各ノードとソースとの間及び各ノードとシンクとの間にもリンク（ｔ−ｌｉｎｋ）を設定する。さらに各リンクに当該リンクの結合度を設定する。こうして領域分割部４１は監視画像に対するグラフを生成する。結合度は領域分割のために行うリンクの切断に要するコストとしてエネルギーに計上される。以下、結合度の値をコストと称する。

領域分割部４１は各ｎ−ｌｉｎｋに、領域分割に伴い当該ｎ−ｌｉｎｋを切断するときのエッジコストを設定する。また、各ノードとソースＳとの間のｔ−ｌｉｎｋには当該ｔ−ｌｉｎｋを切断して当該ノードを背景領域に帰属させるときのコスト（背景帰属時コスト）を設定し、各ノードとシンクＴとの間のｔ−ｌｉｎｋには当該ｔ−ｌｉｎｋを切断して当該ノードを対象物領域に帰属させるときのコスト（対象物帰属時コスト）を設定する。各コストは帰属状態が尤もらしくないときに高くなる値であるため、監視画像を人物領域側のノードと背景領域側のノードとに２分割する際に切断されるリンクのコストの総和が領域分割のエネルギーとして定義され、エネルギーを最小化する切断がグラフカット法により導出される。エネルギーを最小化する切断を導出することは帰属状態の尤もらしさを最大化する領域分割を導出することと等価である。

グラフ情報３２は領域分割のエネルギーの基礎となるコストのデータである。隣接画素｛ｐ（ｘ_ｐ，ｙ_ｐ），ｑ（ｘ_ｑ，ｙ_ｑ）｝の組み合わせごとのエッジコストｃ_Ｅ（ｐ，ｑ）が記憶されると共に、画素ｐ（ｘ_ｐ，ｙ_ｐ）ごとに、ソースＳとの間の背景帰属時コスト｛ｃ_Ｃ（ｐ，Ｓ）＋λ・ｃ_Ｓ（ｐ，Ｓ）｝、シンクＴとの間の対象物帰属時コスト｛ｃ_Ｃ（ｐ，Ｔ）＋λ・ｃ_Ｓ（ｐ，Ｔ）｝が記憶される。

ここで、ｃ_Ｃ（ｐ，Ｓ）は色特徴に係る背景帰属時コスト（背景帰属時色コスト）、ｃ_Ｓ（ｐ，Ｓ）は形状特徴に係る背景帰属時コスト（背景帰属時形状コスト）、ｃ_Ｃ（ｐ，Ｔ）は色特徴に係る対象物帰属時コスト（対象物帰属時色コスト）、ｃ_Ｓ（ｐ，Ｔ）は形状特徴に係る対象物帰属時コスト（対象物帰属時形状コスト）である。λは領域分割のエネルギーに対する色特徴のエネルギー（色エネルギー）の寄与度と比較した、領域分割のエネルギーに対する形状特徴のエネルギー（形状エネルギー）の寄与度の比の値である。当該寄与度の比の値であるλを特徴比率と称する。

後述する領域分割部４１は特徴比率λを調整することで、高精度な領域分割を行う。そのために領域分割部４１は、複数通りの特徴比率λで領域分割を行って特徴比率λごとにエネルギーを最小化する帰属状態候補を決定し、帰属状態候補の優劣の指標である領域評価値（領域分割評価値）を各候補に対して算出し、領域評価値が高い候補を最終的な領域分割結果として決定する。

領域評価情報３３は各特徴比率λにおける帰属状態候補、及びその領域評価値である。帰属状態候補は、各画素の帰属領域を表すラベル行列のデータである。領域評価値はスカラのデータであり、対応する領域分割結果の良否を表す指標値である。

制御部４は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、記憶部３からプログラムを読み出して実行することで人物追跡部４０、領域分割部４１、異常姿勢判定部４２等として機能する。

人物追跡部４０は撮像部２からの監視画像を処理して、監視画像上に写っている各人物の人物位置を追跡し、当該監視画像、当該人物位置、当該人物に付与した人物ＩＤ及び当該監視画像を撮像した撮像部２に予め付与されたカメラＩＤを領域分割部４１に出力する。

領域分割部４１は人物追跡部４０から監視画像及び各人物の人物位置を入力されると、当該監視画像を当該人物が写っている人物領域とそれ以外の背景領域とに領域分割し、領域分割結果を異常姿勢判定部４２に出力する。

領域分割部４１は、初期領域設定部４１０、特徴比率設定部４１１、分割コスト算出部４１２、エネルギー算出部４１３、分割候補生成部４１４及び領域決定部４１５から構成される。

以下、領域分割部４１を構成する各部について説明する。

初期領域設定部４１０は、人物領域の初期値として監視画像上に人物領域の概略位置と概略形状とを有した初期領域を設定し、初期領域の情報を分割コスト算出部４１２に出力する。初期領域は領域分割の手がかりとなる。

具体的には初期領域設定部４１０は、人物追跡部４０から入力された各人物の人物位置及び人物形状モデル３１を参照し、人物位置を基準にして人物形状モデル３１を監視画像上に配置することにより初期領域を設定する。そのために初期領域設定部４１０は、監視空間を模した仮想空間中の人物位置に人物形状モデル３１を配置し、配置した人物形状モデル３１をカメラパラメータを用いた座標変換により監視画像に投影し、投影した領域を初期領域に設定する。初期領域は人物ごとに設定され、さらに当該人物を複数の撮像部２により撮像している場合は各撮像部２が撮像した監視画像ごとに設定される。撮像部２とカメラパラメータと監視画像との対応関係はカメラＩＤにより特定される。

図３は初期領域設定部４１０による処理を説明する模式図である。図３（ａ）は人物１０１が写った監視画像１００である。初期領域設定部４１０には当該監視画像１００と、当該人物１０１を追跡して得た仮想空間１１０におけるＸＹＺ座標系の人物位置１１２が入力される。入力される人物位置１１２は頭部中心座標で代表されている。図３（ｂ）は人物モデル１１３から初期領域１２１を生成する処理を説明する仮想空間１１０の模式的な斜視図であり、図３（ｃ）はその処理結果を示す模式図である。初期領域設定部４１０は、人物モデル１１３を、その頭部中心を人物位置１１２に合わせ、その下端を床面１１１に接地させて仮想空間１１０に配置し、カメラパラメータを用いて人物モデル１１３を撮像部２（カメラ１１４）の撮像面１１５のｘｙ座標系に投影する。これにより監視画像１００と同じｘｙ座標系の投影画像１２０に人物モデル１１３を投影した初期領域１２１が算出される。

領域分割部４１は、互いに種類が異なる複数種類の画像特徴を用いて領域分割を行う。例えば領域分割部４１は対象物及び背景の色特徴と対象物の形状特徴とを領域分割に用いる。複数種類の画像特徴を用いることで、例えば色特徴による領域分割の精度が低下するときに形状特徴の寄与度を上げるといったように制御することで、単独の画像特徴を用いた場合よりも高精度な領域分割が期待できる。ところが対象物と背景との間の関係は多様であり、予め寄与度を設定するのは難しい。そこで領域分割部４１は複数通りの寄与度で領域分割を行って最良の寄与度での領域分割結果を求める。

領域分割部４１は、色エネルギーＥ_Ｃ、形状エネルギーＥ_Ｓ及びエッジのエネルギーＥ_Ｅの線形和である領域分割のエネルギーＥを最小化する帰属状態を最良の帰属状態として導出する。このときエッジのエネルギーＥ_Ｅに対する色エネルギーＥ_Ｃ及び形状エネルギーＥ_Ｓそれぞれの寄与度をα_Ｃ、α_Ｓで表わすと、領域分割のエネルギーＥは次式のようになる。

本実施形態では式（１）を下記式（２）のように変形し、またα_Ｃを定数として扱うことにより、上述した１つの変数λで色特徴及び形状特徴それぞれの寄与度合を制御する。

ここで、Ａは各ノードがそれぞれ対象物領域と背景領域とのいずれに帰属するか、つまり帰属状態を設定したラベル行列である。

特徴比率設定部４１１は、素領域における複数種類の画像特徴それぞれを領域分割に寄与させる寄与度を複数通りに設定する寄与度設定部である。具体的には、特徴比率設定部４１１は上述の特徴比率λを複数通りに設定し、当該特徴比率λを分割コスト算出部４１２に入力する。特徴比率設定部４１１は例えば特徴比率λを０．０，０．１，０，２，０．３，…，３．９と４０段階で設定する。

領域分割部４１は、寄与度ごとに、帰属状態を適宜変更し、素領域それぞれの各画像特徴が当該各帰属状態にあることの尤もらしさの程度を当該寄与度で重み付けて総和した寄与度依存評価値を比較して当該尤もらしさを最大化する帰属状態候補を選定する候補選定部としての機能と、寄与度ごとに選定した帰属状態候補について、それらの優劣を寄与度に依存しない評価基準により評価した領域分割評価値を算出し、当該領域分割評価値が最も高い帰属状態候補を領域分割結果として決定する領域分割決定部の機能とを備える。この領域分割部４１の候補選定部としての機能は、本実施形態では分割コスト算出部４１２、エネルギー算出部４１３及び分割候補生成部４１４で実現される。また領域分割部４１の領域分割決定部としての機能は領域決定部４１５で実現される。

分割コスト算出部４１２は、初期領域を基準にして、監視画像の各画素に対し、当該画素の画像特徴が対象物領域及び背景領域それぞれに帰属することの尤もらしくなさ、すなわち尤もらしさの程度の低さを表すコストを画像特徴ごとに上記帰属度として算出する。

具体的には分割コスト算出部４１２は、初期領域を基準に、監視画像中で対象物の一部である可能性が十分に高い複数の画素（対象物シード）と監視画像中で背景の一部である可能性が十分に高い複数の画素（背景シード）を設定して対象物シードの色特徴量（対象物色特徴）及び背景シードの色特徴量（背景色特徴）を抽出する。そして、対象物色特徴と各画素の色特徴とを比較して当該画素が対象物領域に帰属することの尤もらしくなさを表す対象物帰属時色コストｃ_Ｃ（ｐ，Ｔ）を算出し、背景色特徴と各画素の色特徴とを比較して当該画素が背景領域に帰属することの尤もらしくなさを表す背景帰属時色コストｃ_Ｃ（ｐ，Ｓ）を算出する。

さらに分割コスト算出部４１２は、初期領域の形状を基準に各画素の位置が対象物領域内である確率と背景領域内である確率とを設定する。そして分割コスト算出部４１１は各画素の位置が対象物領域内である確率に基づいて当該画素が対象物領域に帰属することの尤もらしくなさを表す対象物帰属時形状コストｃ_Ｓ（ｐ，Ｔ）を算出し、各画素の位置が背景領域内である確率に基づいて当該画素が背景領域に帰属することの尤もらしくなさを表す背景帰属時形状コストｃ_Ｓ（ｐ，Ｓ）を算出する。

そして分割コスト算出部４１２は、背景帰属時色コストと背景帰属時形状コストを特徴比率λにて重みづけ加算して背景帰属時コスト｛ｃ_Ｃ（ｐ，Ｓ）＋λ・ｃ_Ｓ（ｐ，Ｓ）｝を求め、対象物帰属時色コストと対象物帰属時形状コストを特徴比率λにて重みづけ加算して対象物帰属時コスト｛ｃ_Ｃ（ｐ，Ｔ）＋λ・ｃ_Ｓ（ｐ，Ｔ）｝を求めて、これらを記憶部３のグラフ情報３２に記憶させる。

また分割コスト算出部４１２は各隣接画素間に対してその輝度差に応じたエッジコストｃ_Ｅ（ｐ，ｑ）を算出して記憶部３のグラフ情報３２に記憶させる。

以下、エッジコストｃ_Ｅ（ｐ，ｑ）の算出について説明する。

分割コスト算出部４１２は、画素ｐとその隣接画素ｑの間に設定したｎ−ｌｉｎｋそれぞれに対して次式で表されるエッジコストｃ_Ｅ（ｐ，ｑ）を算出する。

ここで、Ｉｐは画素ｐの画素値、Ｉｑは隣接画素ｑの画素値、ｄｉｓｔ（ｐ,ｑ）は画素ｐの位置と隣接画素ｑの位置との間の距離を表す。βは調整用の定数であり、事前実験等を通じて適切な値が予め設定される。

以下、対象物シードの設定と対象物帰属時色コストｃ_Ｃ（ｐ，Ｔ）の算出について説明する。

分割コスト算出部４１２は、監視画像における初期領域の内側の画素値から対象物の色特徴の基準とする対象物色特徴を抽出する。対象物領域を高精度に抽出するには、対象物色特徴は、対象物の一部である可能性が十分に高く、対象物を構成する色を網羅していることが望ましい。そこで、分割コスト算出部４１２は、初期領域の中心軸上の画素群を対象物シードと定め、当該対象物シードの画素値の正規化色ヒストグラムｈ_Ｏを対象物色特徴として抽出する。

図４には図３の初期領域１２１の中心軸上に設定した対象物シード２００を例示している。対象物シード２００は対象物領域か背景物領域かが曖昧な初期領域１２１の輪郭付近を含まないように設定されている。

分割コスト算出部４１２は、以下に示す式（４）及び式（５）に従い対象物帰属時色コストｃ_Ｃ（ｐ，Ｔ）を算出する。

ここで、Ｉｐは画素ｐの画素値、ｈ_Ｏは対象物シードの正規化色ヒストグラムであり、ｈ_Ｏ（Ｉｐ）は画素値Ｉｐが対象物の色である確率を表す。Ｌ_Ｃ（ｐ｜оｂｊ）の値は画素ｐの色が対象物の色である確率が高いほど小さく、同確率が低いほど大きくなる。Ｋ（＞１）は大きなコスト値を表す定数であり、十分に大きな値が予め設定される。

以下、背景シードの設定と背景帰属時色コストｃ_Ｃ（ｐ，Ｓ）の算出について説明する。

分割コスト算出部４１２は、監視画像における初期領域の外側の画素値から背景の色特徴の基準とする背景色特徴を抽出する。対象物領域を高精度に抽出するには、背景シードは、背景の一部である可能性が十分に高く、対象物との境界に存在する背景の色を網羅していることが望ましい。そこで、分割コスト算出部４１２は、初期領域を所定距離だけ離れて囲む外周部の画素群を背景シードと定め、当該背景シードの画素値の正規化色ヒストグラムｈ_Ｂを背景色特徴として抽出する。具体的には、分割コスト算出部４１２は、初期領域を所定回数だけ膨張して膨張領域の周囲画素を背景シードと定める。膨張回数は初期領域の近似誤差より大きく定めることができ、例えば１０回程度とすることができる。

図４には初期領域１２１の輪郭から１０画素だけ離れた外周部に設定した背景シード２０１を例示している。背景シード２０１は対象物領域か背景物領域かが曖昧な初期領域１２１の輪郭付近を含まないように設定されている。

分割コスト算出部４１２は、以下に示す式（６）及び式（７）に従い背景帰属時色コストｃ_Ｃ（ｐ，Ｓ）を算出する。

ここで、ｈ_Ｂは背景シードの正規化色ヒストグラムであり、ｈ_Ｂ（Ｉｐ）は画素値Ｉｐが背景領域の色である確率を表す。Ｋ，Ｉｐは上述の通りである。Ｌ_Ｃ（ｐ｜ｂｋｇ）の値は画素ｐの色が背景の色である確率が高いほど小さく、同確率が低いほど大きくなる。

以下、対象物帰属時形状コストｃ_Ｓ（ｐ，Ｔ）の算出について説明する。

分割コスト算出部４１２は、初期領域の位置及び形状に基づいて各画素位置における対象物画素の存在確率ρ_Ｏを設定する。具体的には分割コスト算出部４１２は、対象物画素の存在確率ρ_Ｏとして初期領域の外側の画素に０、初期領域の内側で初期領域の輪郭からの距離が遠い画素ほど１に近づく値を設定する。対象物画素の存在確率ρ_Ｏの例を図４に示す。図４に示す存在確率ρ_Ｏのグラフの横軸は、図４の上部に示す初期領域１２１を含む画像にて一点鎖線で示すｘ軸方向の直線に沿った位置を画素数で表しており、縦軸がρ_Ｏである。この例ではρ_Ｏは対象物シード２００で最大値である１となり、初期領域１２１の輪郭での値０へ向けて直線的に減少し、当該輪郭より外側では０となる。

分割コスト算出部４１２は、以下に示す式（８）及び式（９）に従いρ_Ｏを基にした対象物帰属時形状コストｃ_Ｓ（ｐ，Ｔ）を算出する。

ここで、ρ_Ｏ（ｐ）は画像中において画素ｐの位置が対象物領域内である確率を表す。Ｋは上述の通りである。Ｌ_Ｓ（ｐ｜оｂｊ）の値は画素ｐの位置が対象物領域内である確率が高いほど小さく、同確率が低いほど大きくなる。

以下、背景帰属時形状コストｃ_Ｓ（ｐ，Ｓ）の算出について説明する。

分割コスト算出部４１２は、初期領域の位置及び形状に基づいて各画素位置における背景画素の存在確率ρ_Ｂを設定する。具体的には分割コスト算出部４１２は、背景画素の存在確率ρ_Ｂとして背景シード２０１の内側の画素に０、背景シード２０１の外側で背景シード２０１からの距離が遠い画素ほど１に近づく値を設定する。背景画素の存在確率ρ_Ｂの例を図４に示す。図４に示す存在確率ρ_Ｂのグラフの横軸は、図４の上部に示す初期領域１２１を含む画像にて一点鎖線で示すｘ軸方向の直線に沿った位置を画素数で表しており、縦軸がρ_Ｂである。この例ではρ_Ｂは背景シード２０１から外側へ向けて直線的に増加する。

分割コスト算出部４１２は、以下に示す式（１０）及び式（１１）に従いρ_Ｂを基にした背景帰属時形状コストｃ_Ｓ（ｐ，Ｓ）を算出する。

ここで、ρ_Ｂ（ｐ）は画像中において画素ｐの位置が背景領域内である確率を表す。Ｋは上述の通りである。Ｌ_Ｓ（ｐ｜ｂｋｇ）の値は画素ｐの位置が背景領域内である確率が高いほど小さく、同確率が低いほど大きくなる。

なお、図４では対象物画素の存在確率ρ_Ｏと背景画素の存在確率ρ_Ｂの値を初期領域１２１と背景シード２０１とに挟まれる周囲にて共に０とする例を示したが、図５のように初期領域１２１の境界の外側及び内側にρ_Ｏ及びρ_Ｂが０より大きな値となる範囲を設定してもよい。

このように分割コスト算出部４１２が各コストを計算し、画像特徴ごとの寄与度で重み付けされたコストをグラフ情報３２に設定することにより監視画像を領域分割するためのグラフが完成する。

エネルギー算出部４１３は、各画素の帰属領域を仮決めした試行帰属領域設定において各画素の設定と対応するコスト値を当該画素の帰属度として記憶部３から読み出し、これらを画像内にて総和して当該試行帰属領域設定が表す領域分割のエネルギー値（寄与度依存評価値）を算出する。

具体的にはエネルギー算出部４１３は、分割候補生成部４１４から入力されるラベル行列Ａに対し、以下のようにして式（２）のエネルギーＥを算出し、分割候補生成部４１４に出力する。

すなわち、エネルギー算出部４１３は、背景領域に帰属させた各画素の背景帰属時コスト｛ｃ_Ｃ（ｐ，Ｓ）＋λ・ｃ_Ｓ（ｐ，Ｓ）｝及び対象物領域に帰属させた各画素の対象物帰属時コスト｛ｃ_Ｃ（ｐ，Ｔ）＋λ・ｃ_Ｓ（ｐ，Ｔ）｝を加算して色エネルギーと形状エネルギーの重みづけ和（Ｅ_Ｃ＋λ・Ｅ_Ｓ）を算出する。

また、エネルギー算出部４１３は、対象物領域に帰属させた画素と背景領域に帰属させた画素とが隣り合っている隣接画素すなわち領域分割により切断されるｎ−ｌｉｎｋのエッジコストｃ_Ｅ（ｐ，ｑ）の総和をエッジエネルギーＥ_Ｅとして算出する。

そして、エネルギー算出部４１３は、これらを加算して（Ｅ_Ｃ＋λ・Ｅ_Ｓ＋Ｅ_Ｅ）をエネルギーＥとして算出する。

分割候補生成部４１４は、各特徴比率λにおいてエネルギーＥを最小化する帰属状態を帰属状態候補として導出し、帰属状態候補を領域決定部４１５に出力する。そのために分割候補生成部４１４は、分割コスト算出部４１２により生成されたグラフにグラフカット法を適用することにより帰属状態候補を導出する。すなわち分割候補生成部４１４は、帰属状態を適宜変更しつつ、当該帰属状態をエネルギー算出部４１３に入力してエネルギーを算出させ、算出させたエネルギーの大小を比較する処理を繰り返して、エネルギーを最小化する帰属状態候補を導出する。エネルギーの最小化を図ることは、各画素の画像特徴が帰属状態にあることの尤もらしさを画像全体で最大化することと等価である。

領域決定部４１５（領域分割決定部）は、特徴比率ごとに選定した帰属状態候補についてそれらの優劣を、特徴比率に依存しない一律の評価基準により評価して領域評価値を算出し、領域評価値が最も高い帰属状態候補を領域分割結果として決定して異常姿勢判定部４２に出力する。

具体的には、領域決定部４１５は、評価基準として各特徴比率における帰属状態候補に対して以下に示す式（１２）〜（１４）に従い領域評価値Ｖを算出し、帰属状態候補の間で領域評価値Ｖを比較して領域評価値Ｖが最も高い帰属状態候補を選出する。

式（１２）の１／Ｖ_Ｃは帰属状態候補における対象物領域と背景領域との境界部における色の相違度を評価する評価基準である。式（１２）の１／Ｖ_Ｓは対象物の形状を近似して予め設定された近似領域と帰属状態候補における対象物領域との形状一致度を評価する評価基準である。ここで、式（１２）に示したようにＶに対する１／Ｖ_Ｃと１／Ｖ_Ｓの配分はλに依らず一定である。また、式（１２）の（Ｖ_Ｃ＋Ｖ_Ｓ）は領域分割の結果である帰属状態候補に対して算出できるものの、（Ｖ_Ｃ＋Ｖ_Ｓ）をエネルギーとして定義し（Ｖ_Ｃ＋Ｖ_Ｓ）を最小化する帰属状態候補をグラフカット法により導出することは困難である。

式（１３）における総和対象とする画素ｐの集合Ｅｄｇｅは対象物の輪郭画素からなる集合であり、また、Ｎ（ｐ）は対象物の輪郭画素に隣接する背景画素の集合、ｄｉｓｔは画素ｐとｑとの距離である。γは調整用の定数であり、事前実験等を通じて適切な一定値が予め設定される。１／Ｖ_Ｃの値はλごとの帰属状態候補それぞれにおける対象物領域と背景領域との境界が実際に監視画像における色の境界に近く位置するときほど高くなり、色の境界から外れて位置するときほど低くなる。１／Ｖ_Ｃの値は領域分割の結果の優劣に応じて変化するが、λの値そのものに依存しない値である。

図６はＮ（ｐ）を説明する図であり、同図の左側に対象物の輪郭画素を含む部分画像の模式図を示している。ここで、ｎ−ｌｉｎｋのコストは図２に示すように各画素の４近傍について算出している。これに対し、Ｎ（ｐ）は図６に示すように対象物の輪郭画素の８近傍から求めるなど、ｎ−ｌｉｎｋのコストを算出したときよりも多くの隣接画素との相違を評価するのがよい。こうすることで分割候補生成部４１４における色特徴のエネルギーによる評価よりも厳しい領域評価値を算出でき、帰属状態候補間の優劣をより厳密に評価することができる。

式（１４）におけるＭ_λは帰属状態候補における対象物領域と初期領域とで画素位置が一致する画素数であり、Ｍ_０は初期領域の画素数、Ｍ_Ｓは帰属状態候補の画素数である。初期領域との一致画素数Ｍ_λが増えると１／Ｖ_Ｓは高くなる。ただし１／Ｍ_Ｓの項により、対象物領域が単に大きいだけ（例えば対象物領域が初期領域を包含する状態）で１／Ｖ_Ｓが不当に高くなることを抑制している。つまり、１／Ｖ_Ｓは対象物がとり得る形状を近似して予め設定された初期領域に対する対象物領域の形状一致度である。１／Ｖ_Ｓは帰属状態候補それぞれにおける対象物領域の形状が対象物のとり得る形状に近いほど高くなり、とり得る形状から外れるほど低くなる。１／Ｖ_Ｓの値は領域分割の結果の優劣に応じて変化するが、λの値そのものに依存しない値である。

図７、図８は特徴比率λと領域評価値Ｓとの関係を示すグラフであり、ぞれぞれ横軸を特徴比率λ、縦軸を領域評価値Ｓとしている。

このうち図７は対象物の周囲に対象物の周囲と似た色の背景が存在する状況での例であり、一方、図８は対象物の周囲に対象物の周囲と似た色の背景が存在しない状況での例である。すなわち図７の状況では図８の状況よりも色特徴による領域分割の精度が低下し、特徴比率λを大きくして形状特徴の寄与を増加させることで領域分割の精度が向上すると考察できる。実際に、図８の状況ではλが０．４のときにＳが最大となっているに対し、図７の状況ではλが１．０のときにＳが最大となっており、考察と符合する結果となっている。

以上のようにして監視画像ごとに各画像特徴の寄与度を適応的に設定した領域分割が可能となる。これにより領域分割の精度低下要因となる画像特徴の寄与度を下げて他の画像特徴の寄与度を上げることができるので対象物と背景との関係の多様性に適応した高精度な領域分割が可能となる。

異常姿勢判定部４２は、領域分割部４１が抽出した各人物の人物領域の形状が異常事態の発生を示す異常姿勢であるか否かを判定し、人物領域のいずれかが異常姿勢と判定された場合に所定の異常信号を出力部５に出力する。具体的には、異常姿勢判定部４２は各人物領域の形状と予め登録してある異常姿勢パターンとの類似度を算出して予め設定したしきい値と比較し、しきい値以上の類似度が算出された人物領域を異常姿勢であると判定し、そうでなければ異常姿勢でないと判定する。例えば、両手を挙げた姿勢の形状パターンを強盗事件の発生を示す異常姿勢パターンとして予め登録しておくことができる。

出力部５は異常姿勢判定部４２から異常信号が入力されると当該異常信号を外部に出力する外部出力装置である。例えば、出力部５は、電話網あるいはインターネットなどの広域網を介して警備センターと接続された通信回路で構成され、警備センターに異常信号を送信することによって異常事態の発生を通報する。

［画像監視装置１の動作］
図９は画像監視装置１の監視動作の概略を示すフロー図である。図９を参照して画像監視装置１の動作を説明する。監視空間が無人であることを確認した管理者が装置に電源を投入すると、各部、各手段が初期化され動作を開始する（Ｓ１）。初期化の後は、撮像部２から制御部４へ新たな監視画像が入力されるたびに、ステップＳ２〜Ｓ７の処理がループ処理として繰り返される。

新たな監視画像が入力されると制御部４の人物追跡部４０は、監視画像上の人物を追跡して監視画像上での当該人物の位置を特定する（Ｓ２）。人物追跡部４０は新たな監視画像にて特定した人物位置を人物ＩＤ及びカメラＩＤと対応付けて記憶部３の追跡情報３０に記憶させる。

制御部４は、新たな監視画像上に人物が存在しているか否か、すなわち追跡情報３０に新たな監視画像にて特定した人物位置が記憶されているか否かを確認する（Ｓ３）。人物が存在しなければ（ステップＳ３にてＮＯ）、制御部４は以降の処理をスキップして処理をステップＳ１へ戻す。

人物が存在していれば（ステップＳ３にてＹＥＳ）、制御部４は新たな監視画像から得た追跡情報３０を領域分割部４１に入力し、領域分割部４１は各人物の人物領域を抽出する（Ｓ４）。

図１０は人物領域抽出処理の概略のフロー図である。以下、図１０を参照してステップＳ４の人物領域抽出処理を説明する。

まず、領域分割部４１の初期領域設定部４１０は、記憶部３から人物形状モデル３１と、監視画像に対応するカメラＩＤのカメラパラメータとを読みだし、各人物の人物位置を基準にして仮想空間中に人物形状モデル３１を配置し、配置した人物形状モデル３１をカメラパラメータにより監視画像上に投影して各人物の初期領域を設定する（Ｓ１００）。

次に、領域分割部４１の分割コスト算出部４１２は、各人物の初期領域に基づいて対象物シードと背景シードを生成する。そして分割コスト算出部４１２は、各初期領域の中央部に位置する対象物シードから正規化色ヒストグラムｈ_Ｏを対象物色特徴として抽出し、また各初期領域の周辺部に位置する背景シードから正規化色ヒストグラムｈ_Ｂを背景色特徴として抽出する（Ｓ１０１）。

続いて、分割コスト算出部４１２は、各人物の初期領域からの距離に応じて各画素における対象物画素の存在確率ρ_Ｏと背景画素の存在確率ρ_Ｂをそれぞれ対象物形状特徴、背景形状特徴として算出する（Ｓ１０２）。

続いて領域分割部４１の特徴比率設定部４１１は特徴比率λに初期値を設定し（Ｓ１０３）、特徴比率λについてのループ処理Ｓ１０４〜Ｓ１０８を実行する。初期値は例えば０．１である。

λのループ処理において、まず領域分割部４１の分割コスト算出部４１２は監視画像に対して領域分割のためのグラフを生成する。

すなわち分割コスト算出部４１２は、式（３）に従って隣接画素の組み合わせごとのエッジコストｃ_Ｅ（ｐ，ｑ）を算出し、記憶部３のグラフ情報３２に記憶させる。また分割コスト算出部４１２は、式（６），式（７）に従って画素ごとの背景帰属時色コストｃ_Ｃ（ｐ，Ｓ）を算出すると共に式（１０），式（１１）に従って画素ごとの背景帰属時形状コストｃ_Ｓ（ｐ，Ｓ）を算出し、これらを特徴比率λにて重み加算して背景帰属時コスト｛ｃ_Ｃ（ｐ，Ｓ）＋λ・ｃ_Ｓ（ｐ，Ｓ）｝を記憶部３のグラフ情報３２に記憶させる。さらに分割コスト算出部４１２は、式（４），式（５）に従って画素ごとの対象物帰属時色コストｃ_Ｃ（ｐ，Ｔ）を算出すると共に式（８），式（９）に従って画素ごとの対象物帰属時形状コストｃ_Ｓ（ｐ，Ｔ）を算出し、これらを特徴比率λにて重み加算して対象物帰属時コスト｛ｃ_Ｃ（ｐ，Ｔ）＋λ・ｃ_Ｓ（ｐ，Ｔ）｝を記憶部３のグラフ情報３２に記憶させる（Ｓ１０４）。

λのループ処理において、次に領域分割部４１の分割候補生成部４１４はグラフ情報３２で定義されるグラフにＭｉｎｉｍｕｍ Ｃｕｔ／Ｍａｘｉｍｕｍ Ｆｌｏｗアルゴリズムを適用して最小のエネルギーにて当該グラフを対象物領域のノードと背景領域のノードに２分割する帰属状態候補を導出する（Ｓ１０５）。すなわち分割候補生成部４１４は帰属状態Ａを微小変動させながら当該帰属状態をエネルギー算出部４１３に入力して式（２）のエネルギーＥを算出させる処理を繰り返して、エネルギーＥを最小化する帰属状態候補Ａを選定する。分割候補生成部４１４は導出した帰属状態候補を特徴比率λと対応付けて記憶部３の領域評価情報３３に記憶させる。

λのループ処理において、次に領域分割部４１の領域決定部４１５は式（１２）〜（１４）に従って、ステップＳ１０５にて選定した帰属状態候補に対して特徴比率に依存しない一律の領域評価値を算出する（Ｓ１０６）。領域決定部４１５は算出した領域評価値を現時点の特徴比率λと対応付けて記憶部３の領域評価情報３３に記憶させる。

続いて特徴比率設定部４１１はλにΔλを加算してλを更新し（Ｓ１０７）、更新したλをλ_ｍａｘと比較し（Ｓ１０８）、λがλ_ｍａｘ以下である間は（Ｓ１０８にてＮＯ）、領域分割部４１は処理をステップＳ１０４に戻して更新したλの設定でループ処理を繰り返す。

他方、λがλ_ｍａｘを超えていたら（Ｓ１０８にてＹＥＳ）、領域分割部４１はループ処理を終了してステップＳ１０９に処理を進める。

このようにして複数通りの特徴比率λにて領域評価情報３３が生成されると、領域決定部４１５は領域評価情報３３の中から領域評価値が最大のときの人物領域を選出して異常姿勢判定部４２に出力する（Ｓ１０９）。

一般に、最良の特徴比率は画像ごとに異なり、特徴比率に対する領域分割結果の変動は比較的大きい。よって最良の領域分割結果を得るには、最良の特徴比率と当該特徴比率設定下での最良の帰属状態を求めなければならないが、特徴比率と帰属状態を同時探索することは困難であり、現実的ではない。そこで領域分割部４１は処理を２段階に分け、これにより最良の領域分割結果を求めることを可能にしている。

すなわち最良の領域分割結果を求めるために領域分割部４１は、ステップＳ１０５においては、特徴比率を複数通りに固定して帰属状態の変更を許容することで特徴比率に依存して定義されたエネルギーを最小化する帰属状態候補を選定し、ステップＳ１０９においては、選定された各帰属状態（各帰属状態候補）を固定することで特徴比率に依存しない一律の領域分割評価値が最大となる帰属状態候補及び特徴比率を決定する。つまり、複数通りの特徴比率の設定それぞれにおいてローカル・ベストな領域分割結果を得、これらを特徴比率に依存しない領域評価値で優劣を比較してグローバル・ベストな領域分割結果を決定するのである。

以上の処理により各人物の人物領域が抽出されると、制御部４は図９のステップＳ５へ処理を進める。

再び図９を参照して画像監視処理の続きを説明する。

制御部４の異常姿勢判定部４２は、領域決定部４１５から入力された各人物の人物領域の形状と異常姿勢パターンとの類似度を算出して予め設定したしきい値と比較し、しきい値以上の類似度が算出された人物領域を異常姿勢であると判定し、そうでなければ異常姿勢でないと判定する（Ｓ５）。

異常姿勢判定部４２は人物領域のいずれかが異常姿勢と判定された場合に（ステップＳ６にてＹＥＳ）、所定の異常信号を生成して出力部５に当該信号を出力する（Ｓ７）。異常信号を入力された出力部５は警備センターに異常信号を送信し、通報を行う。他方、人物領域のいずれも異常姿勢と判定されなければ（ステップＳ６にてＮＯ）、ステップＳ７の異常出力処理はスキップされる。

以上の処理を終えると、制御部４は処理をステップＳ１に戻し、次の監視画像に対する処理が行われる。

［変形例］
（１）別の実施形態において領域決定部４１５は以下のようにして領域評価値Ｖを算出することもできる。

（１−１）図６を参照した説明において領域決定部４１５は対象物の輪郭画素を、総和対象とする画素ｐの集合Ｅｄｇｅとし、対象物の輪郭画素に隣接する背景画素を隣接画素Ｎ（ｐ）とした。別の実施形態において、領域決定部４１５は対象物領域と背景画素との境界に沿う背景側の画素ｐを集合Ｅｄｇｅとし、各画素ｐに隣接する対象物画素を隣接画素Ｎ（ｐ）とすることもできる。

（１−２）領域決定部４１５は、対象物の輪郭画素を集合Ｅｄｇｅとして式（１３）と同様にＶ_Ｃ１を算出するとともに、境界に沿う背景側の画素を集合Ｅｄｇｅとして式（１３）と同様にＶ_Ｃ２を算出し、これらの和（Ｖ_Ｃ１＋Ｖ_Ｃ２）をＶ_Ｃとして算出することもできる。

（１−３）領域決定部４１５は、監視画像にエッジオペレータによる処理を施してエッジ強度画像を生成し、境界に沿ってエッジ強度値を累積して累積値を累積数にて正規化することによりＶ_Ｃを算出してもよい。

（１−４）上記実施形態において領域決定部４１５は、３つの回転楕円体で模した人物形状モデルを投影して生成した１つの近似領域（初期領域）を基にＶ_Ｓを算出した。これに代えて領域決定部４１５は、腕や脚をさらに加えた人物形状モデルを腕や脚の姿勢を複数通りに変更して姿勢ごとの近似領域を生成し、各近似領域との形状一致度を算出してそれらの最大値をＶ_Ｓとしてもよい。

（１−５）上記いずれかの方法により算出したＶ_Ｃのみから領域評価値Ｖを求めてもよいし（Ｖ＝１／Ｖ_Ｃ）、上記いずれかの方法により算出したＶ_Ｓのみから領域評価値Ｖを求めてもよい（Ｖ＝１／Ｖ_Ｓ）。

（２）上記実施形態では１つ１つの画素を素領域として領域分割を行う例を示した。しかし、ノードに対応付ける素領域は画素以外であってもよい。例えば、互いに画素値が類似する画素を予めまとめてセグメント化し、各セグメントをノードに設定して領域分割を行うこともできる。

この場合、各セグメントに対する色コストは、当該セグメントの代表画素値（画素値の平均値、中央値または最頻値）を用いて算出する、あるいは当該セグメントを構成する画素それぞれに対する色コストを算出してそれらの色コストの代表値（コストの平均値、中央値または最大値）を当該セグメントの色コストとする。

また各セグメントに対する形状コストは、当該セグメントと初期領域との重なり度合いを用いて算出する、あるいは当該セグメントを構成する画素に対する存在確率の代表値（存在確率の平均値、中央値または最頻値）を当該セグメントの形状コストとする。

このようにすることで領域分割の精度を低下させずにノードを減らすことができるので、精度維持と負荷減少を両立することができる。

セグメントをノードに設定した場合、特徴比率λの変化に対して領域評価値が細かく変化しなくなり段階的な変化となる傾向が得られる。これは特徴比率λの変化に対する帰属状態候補の変化がセグメント単位になるためである。このことから領域評価値の最大値探索において、特徴比率λのステップを粗く（Δλを大きく）して探索の処理負荷を減ずることができる、または特徴比率λのステップを段階的に細かくして探索の処理負荷を減ずることができる。

図１１は、後者を適用して２段階探索を行ったときの特徴比率λと領域評価値との関係を示すグラフであり、第１段階で粗いΔλを用いて大域的な探索を行い、第２段階で細かいΔλを用いて局所的な探索を行う処理例である。

すなわち探索の第１段階にて、特徴比率設定部４１１はΔλを０．２に設定して０．０〜３．８までの２０段階の特徴比率λを設定し、分割コスト算出部４１２とエネルギー算出部４１３と分割候補生成部４１４はこれら２０段階のコスト算出とエネルギー算出と帰属状態候補生成を行い、領域決定部４１５はこれら２０段階の帰属状態候補に対する領域評価値（図１１中の○で示すプロット）を算出して領域評価値が最大となる特徴比率λ_１を仮決定する。そして探索の第２段階にて、Δλを０．０５に設定してλ_１周辺に１０段階の特徴比率λを設定し、領域決定部４１５はこれら１０段階の帰属状態候補に対する領域評価値（図１１中の◆で示すプロット）を算出して領域評価値が最大となる特徴比率λを最終決定する。このようにすれば０．０〜３．８までの特徴比率λの範囲での探索を、を全範囲にてΔλを０．０５に設定して均一に探索する場合よりも少ないλの設定数で行うことができ、λの設定数を少なくして細かいΔλでの探索が可能となる。すなわちセグメントをノードに設定することにより処理負荷の減少と領域分割の精度向上とを両立することができる。

（３）上記実施形態では画像特徴として色と形状とを用いる例を示したが、他の画像特徴を用いることもできる。例えば色と動き特徴量とを用いる。この場合、背景差分処理を行って各画素の背景差分値を動き特徴量とすることができる。また、オプティカルフロー分析を行って各画素の移動ベクトルの大きさを動き特徴量とすることもできる。

（４）上記実施形態ではグラフカット法によりエネルギーを最小化する帰属状態候補を導出した。別の実施形態ではグラフカット法に代えてマルコフ連鎖モンテカルロ (Markov Chain Monte Carlo：MCMC) 法、信念伝播（Belief Propagation）法、ツリー重み再配分メッセージ伝達（Tree-Reweighted Message Passing：TRW）法を用いてエネルギーを最小化する帰属状態候補を導出できる。

（５）上記実施形態では、色特徴量に係るコストと形状特徴量に係るコストを特徴比率λにて重み付け加算した背景帰属時コストと対象物帰属時コストをｔ−ｌｉｎｋに設定して領域分割を行った。別の実施形態では、背景帰属時コストを背景帰属時色コストと背景帰属時形状コストの２種類に分けて設定すると共に、対象物帰属時コストを対象物帰属時色コストと対象物帰属時形状コストの２種類に分けて設定する。この場合、図１２に示すような色特徴に係るソースＳ_Ｃ及び形状特徴に係るソースＳ_Ｓという画像特徴ごとのソースを有するグラフを生成して、各ノードから色コストと形状コストのいずれかを選択してエネルギーＥを算出する。

図１２のような複数のソースを有するグラフに対してエネルギーＥを最小化する分割領域を導出する方法としては、複数種類の画像特徴を順次、選択画像特徴に設定し、当該選択画像特徴をラベルαとするα拡張（α-expansion）法や、選択画像特徴をラベルαとし非選択画像特徴の１つをラベルβとするα−β交換（αβ-swap）法を利用することができる。

こうすることで、さらに、頭部では色重視の領域分割を行い脚部では形状重視の領域分割を行うというように、部位ごとにエネルギーＥを最小化する画像特徴を選択することができるので、対象物の部位ごとに異なる精度低下要因が生じても対象物の領域を高精度に抽出できる。

（６）上記実施形態において初期領域は初期領域設定部４１０により自動設定される例を示したが、本発明の領域分割装置を静止画からの領域分割処理に適用する場合、初期領域設定部４１０にポインティングデバイス等を含めて構成し、人手により初期領域を設定するのが好適である。

１ 画像監視装置、２ 撮像部、３ 記憶部、４ 制御部、５ 出力部、３０ 追跡情報、３１ 人物形状モデル、３２ グラフ情報、３３ 領域評価情報、４０ 人物追跡部、４１ 領域分割部、４２ 異常姿勢判定部、１００ 監視画像、１０１ 人物、１１０ 仮想空間、１１１ 床面、１１２ 人物位置、１１３ 人物モデル、１１４ カメラ、１１５ 撮像面、１２０ 投影画像、１２１ 初期領域、２００ 対象物シード、２０１ 背景シード、４１０ 初期領域設定部、４１１ 特徴比率設定部、４１２ 分割コスト算出部、４１３ エネルギー算出部、４１４ 分割候補生成部、４１５ 領域決定部。

Claims (5)

1. 所定の対象物を背景と共に撮像した画像において、少なくとも１つの画素からなる複数の素領域をそれぞれ対象物領域と背景領域とのいずれかに帰属させて帰属状態を決定することにより、前記画像を領域分割する領域分割装置であって、
   前記素領域における所定の複数種類の画像特徴それぞれを前記領域分割に寄与させる寄与度を複数通りに設定する寄与度設定部と、
   前記寄与度ごとに、前記帰属状態を適宜変更しつつ、前記素領域それぞれの前記各画像特徴が当該各帰属状態にあることの尤もらしさの程度を当該寄与度で重み付けて総和した寄与度依存評価値を比較して前記尤もらしさを最大化する帰属状態候補を選定する候補選定部と、
   前記寄与度ごとに選定した前記帰属状態候補について、それらの優劣を前記寄与度に依存しない一律の評価基準により評価した領域分割評価値を算出し、当該領域分割評価値が最も高い前記帰属状態候補を領域分割結果として決定する領域分割決定部と、
   を備えたことを特徴とする領域分割装置。
2. 前記複数種類の画像特徴は、前記素領域の色及び位置であることを特徴とする請求項１に記載の領域分割装置。
3. 前記評価基準は、前記各寄与度での前記帰属状態候補に共通して予め与えられた前記対象物領域についての近似領域と当該各帰属状態候補との形状一致度を含むことを特徴とする請求項１又は請求項２に記載の領域分割装置。
4. 前記評価基準は、前記帰属状態候補における対象物領域と背景領域との境界部での色の相違度を含むことを特徴とする請求項１から請求項３のいずれか１つに記載の領域分割装置。
5. 前記素領域は、画素値が所定の類似性を有する画素からなる画像断片であることを特徴とする請求項１から請求項４のいずれか１つに記載の領域分割装置。

Images