JP5091095B2

JP5091095B2 - 動作検出装置および動作検出方法

Info

Publication number: JP5091095B2
Application number: JP2008299955A
Authority: JP
Inventors: 拓雄森口; 健宏馬渕; 聡二見; 正貴村川
Original assignee: SOHGO SECURITY SERVICES CO.,LTD.
Current assignee: SOHGO SECURITY SERVICES CO.,LTD.
Priority date: 2008-11-25
Filing date: 2008-11-25
Publication date: 2012-12-05
Anticipated expiration: 2028-11-25
Also published as: JP2010128594A

Description

この発明は、カメラなどの撮像手段により撮像された画像情報から人物などの物体の動作を検出する動作検出装置および動作検出方法に関する。

従来から、監視カメラ等で撮影した画像を分析して、人物などの監視対象物の行動を認識する認識装置が知られている。例えば、特許文献１では、ステレオカメラで撮影した映像から、ＳＶＭ（サポートベクタマシーン）などのパターン認識技術を用いて正常パターンか異常パターンかを判定することにより、複数の監視対象の中から不審な行動をしている監視対象を検出する技術が提案されている。

特開２００８−２１７６０２号公報

しかしながら、特許文献１の方法は、学習した歩行軌跡データを用いることにより、例えば複数人の歩行軌跡情報からパターン認識により異常な行動（歩行軌跡）を検出するものである。すなわち、複数人の歩行軌跡のそれぞれが正常か異常かを判定するのみである。このため、例えば、複数人が共謀して不正行為を行っている場合などでは、個々の人物の歩行軌跡のパターン認識のみでは高精度に行動を検出することができず、結果として異常な行動であると判定できない場合があった。

本発明は、上記に鑑みてなされたものであって、複数の物体の情報を用いることにより、高精度に物体の動作を検出することができる動作検出装置および動作検出方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、物体の動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素とを含み、前記動詞と前記格要素との間の意味関係を示す格フレームによって表された状態情報を記憶する状態記憶手段と、前記状態記憶手段から、複数の前記物体それぞれの動作状態を表す複数の前記状態情報を取得する状態取得手段と、取得された複数の前記状態情報それぞれに含まれる前記動詞の組み合わせに応じた物体の動作を予め定めた規則に基づいて、前記組み合わせに対応する物体の動作を検出する検出手段と、を備え、前記状態情報は、前記動作の主体となる物体を表す主格と、前記主格による前記動作の対象となる他の物体を表す対象格と、を前記格要素として含み、前記規則は、前記主格による前記動作の種類を表す前記動詞と前記対象格を主体とする前記動作の種類を表す前記動詞との組み合わせ、および、前記組み合わせに応じて定められた前記動作を含み、前記検出手段は、取得された複数の前記状態情報のうち、一方の前記状態情報である第１状態情報の前記対象格と他方の前記状態情報である第２状態情報の前記主格とが一致し、前記第１状態情報の前記動詞と前記第２状態情報の前記動詞との組み合わせが前記規則に含まれる前記組み合わせに一致する場合に、一致した前記組み合わせに対応する前記動作を検出すること、を特徴とする。

また、請求項２にかかる発明は、請求項１に記載の動作検出装置において、前記状態情報は、前記格要素として前記物体の動作が発生した時刻を含み、前記状態取得手段は、前記状態記憶手段から、前記時刻が略同一である複数の前記状態情報を取得すること、を特徴とする。

また、請求項３にかかる発明は、請求項１に記載の動作検出装置において、前記状態情報は、さらに、前記動作が生じた位置を表す場所格と、を前記格要素として含み、前記規則は、さらに、第１物体の前記動作の種類を表す前記動詞と第２物体の前記動作の種類を表す前記動詞との組み合わせ、および、前記組み合わせに応じて定められた前記動作を含み、前記検出手段は、さらに、取得された複数の前記状態情報のうち、一方の前記状態情報である第１状態情報の前記場所格と他方の前記状態情報である第２状態情報の前記場所格とが一致し、前記第１状態情報の前記動詞と前記第２状態情報の前記動詞との組み合わせが前記規則に含まれる前記組み合わせに一致する場合に、一致した前記組み合わせに対応する前記動作を検出すること、を特徴とする。

また、請求項４にかかる発明は、請求項１に記載の動作検出装置において、前記検出手段は、さらに、取得された複数の前記状態情報のうち、前記状態情報に含まれる前記動詞が予め定められた特定動詞と一致し、かつ、前記状態情報に含まれる前記対象格が相互に一致する前記状態情報の個数を算出し、前記個数が予め定められた閾値より大きい場合に、異常が発生したことを検出すること、を特徴とする。

また、請求項５にかかる発明は、請求項１に記載の動作検出装置において、不審者の動作状態として予め定められた情報であって、前記不審者の動作の種類を表す動詞と、前記不審者の動作に関連する名詞である格要素に関する条件とを含む不審者情報を記憶する不審者情報記憶手段と、検出された前記動作を表す動詞が前記不審者情報に含まれる動詞と一致し、かつ、検出された前記動作に関連する格要素が前記不審者情報に含まれる前記条件を満たす前記動作の主体である前記物体を不審者であると判定する判定手段と、をさらに備えたこと、を特徴とする。

また、請求項６にかかる発明は、状態取得手段が、物体の動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素とを含み、前記動詞と前記格要素との間の意味関係を示す格フレームによって表された状態情報を記憶する状態記憶手段から、複数の前記物体それぞれの動作状態を表す複数の前記状態情報を取得する状態取得ステップと、検出手段が、取得された複数の前記状態情報それぞれに含まれる前記動詞の組み合わせに応じた物体の動作を予め定めた規則に基づいて、前記組み合わせに対応する物体の動作を検出する検出ステップと、を含み、前記状態情報は、前記動作の主体となる物体を表す主格と、前記主格による前記動作の対象となる他の物体を表す対象格と、を前記格要素として含み、前記規則は、前記主格による前記動作の種類を表す前記動詞と前記対象格を主体とする前記動作の種類を表す前記動詞との組み合わせ、および、前記組み合わせに応じて定められた前記動作を含み、前記検出ステップは、取得された複数の前記状態情報のうち、一方の前記状態情報である第１状態情報の前記対象格と他方の前記状態情報である第２状態情報の前記主格とが一致し、前記第１状態情報の前記動詞と前記第２状態情報の前記動詞との組み合わせが前記規則に含まれる前記組み合わせに一致する場合に、一致した前記組み合わせに対応する前記動作を検出すること、特徴とする。

本発明によれば、予め定められた規則に基づき、複数の物体それぞれの動作状態を表す複数の状態情報に含まれる各物体の動作の種類を表す動詞の組み合わせに応じた物体の動作を検出することができるため、高精度に物体の動作を検出することができるという効果を奏する。

以下に添付図面を参照して、この発明にかかる動作検出装置および動作検出方法の最良な実施の形態を詳細に説明する。

本実施の形態にかかる動作検出装置は、監視カメラで撮像した画像情報から、監視対象物である人物の行動（動作状態）を解析し、解析結果を深層格フレーム構造で表して記憶部に保存する。そして、記憶部に保存した深層格フレームを相互に比較することによって、さらに人物の行動を検出する。具体的には、同時刻に発生した複数人物の行動の組み合わせが、事前に定めた組み合わせに一致する場合に、当該組み合わせに応じた所定の行動が発生したことを検出する。

なお、以下では、監視カメラや各種センサからの情報を用いて所定領域を警備する警備装置として動作検出装置を実現した例について説明する。適用可能な装置は警備装置に限られず、画像情報を解析して物体の動作を検出する機能を備える装置であればあらゆる装置に適用できる。

本実施の形態について、添付図面を参照して説明する。まず、本実施の形態が適用される監視システムの構成例について説明する。図１は、本実施の形態にかかる監視システム１０の構成を示すブロック図である。図１に示すように、監視システム１０は、警備装置１００と監視センタ２００とを備えている。警備装置１００と監視センタ２００は、電話回線、無線ネットワーク、インターネットなどのネットワーク３００を介して接続されている。

監視センタ２００は、監視領域の異常を検知した警備装置１００からの通報を受け、待機中の警備員に対して異常が検知された監視領域（不図示）へ向かう旨の指示を出すとともに、必要に応じて警察や消防等の関係機関への通報を行う。

警備装置１００は、センサ１１０と、監視カメラ１２０と、警備操作部１３０とを備えている。

センサ１１０は、警備対象である監視領域に設置されており、主に侵入者等の異常を検知する目的で設置された人感センサである。センサ１１０は、人の存在や扉の開閉を検知した場合に検知信号を出力する。センサ１１０は、例えば赤外線の受光量の変化をもとに人の存在を検出する赤外線センサ、赤外線等の受信が遮断されることで人の存在を検出する遮断センサ、電磁波の乱れで人の存在を検知する電波センサ、およびマグネットにより扉の開閉を検出するマグネットセンサなどの監視領域の異常を検出する各種センサによって構成できる。

監視カメラ１２０は、警備対象である監視領域を撮像する。監視カメラ１２０は、主に監視領域である住居の出入口付近や敷地内への出入口付近に設置されている。

次に、警備操作部１３０について説明する。警備操作部１３０は、検知情報受信部１３１と、画像情報取得部１３２と、警備状態切替部１３３と、操作パネル制御部１３４と、操作パネル１３５と、送受信部１３６と、警備状態記憶部１３７と、第１検出部１３８と、状態取得部１３９と、第２検出部１４０と、不審者判定部１４１と、ＨＤＤ（Hard Disk Drive）１５０と、を備えている。

検知情報受信部１３１は、センサ１１０によって異常が検知された場合に送出される検知情報を受信する。検知情報は、センサ１１０から送出される検知信号である。センサ１１０が複数設置されている場合、検知情報は検知信号およびセンサ１１０を識別するセンサＩＤを含む。画像情報取得部１３２は、監視カメラ１２０によって撮像された画像情報を取得する。

警備状態切替部１３３は、操作パネル制御部１３４によって受付けた警備状態を警備状態記憶部１３７に格納する。

警備状態記憶部１３７は、現在の警備装置１００の警備状態である警備モードまたは警備解除モードのいずれかを記憶する。なお、警備状態記憶部１３７は、ハードディスク、光ディスク、メモリカード、ＲＡＭ（Random Access Memory）などの一般的に利用されているあらゆる記憶媒体により構成することができる。

ここで、警備モードとは、センサ１１０が異常を検知して検知情報を取得した場合に、警備領域での異常を知らせる警報情報をネットワーク３００で接続されている監視センタ２００に送信する状態をいう。また、警備解除モードとは、上記検知情報を取得した場合でも異常を知らせる警報情報を監視センタ２００に送信しない状態をいう。

操作パネル１３５は、警備装置１００に関する情報が表示され、警備装置１００に対して情報が入力される。操作パネル１３５は、ボタンの押下等によって警備モードまたは警備解除モードのいずれかの警備状態を入力する。操作パネル制御部１３４は、操作パネル１３５への表示情報の出力や、操作パネル１３５から入力された入力情報の取得等の操作パネル１３５に対する制御を行う。

送受信部１３６は、ネットワーク３００を介して監視センタ２００との間で各種情報を送受信する。例えば、送受信部１３６は、監視カメラ１２０が撮像した画像情報を監視センタ２００に送信する。また、送受信部１３６は、センサ１１０から検知情報を受信した場合で、かつ警備状態記憶部１３７に記憶された現在の警備状態に警備モードが記憶されている場合に、警報情報を監視センタ２００に送信する。

ＨＤＤ１５０は、物体の動作検出に関する各種データを記憶する。具体的には、ＨＤＤ１５０は、状態情報ＤＢ（データベース）１５１と、規則ＤＢ１５２と、不審者情報ＤＢ１５３と、を格納している。なお、各ＤＢを、光ディスク、メモリカードなどのＨＤＤ１５０以外の記憶媒体に格納するように構成してもよい。

なお、第１検出部１３８、第２検出部１４０、ＨＤＤ１５０等を監視センタ２００に設け、センサ１１０や監視カメラ１２０で得られた情報を監視センタ２００に送り、動作検出を監視センタで行うように構成してもよい。

状態情報ＤＢ１５１は、物体の動作状態を深層格フレーム構造で表した状態情報を記憶する。深層格フレーム（以下、単に格フレームとも言う）とは、動詞を基準として、動詞に対する名詞の意味関係を深層格として表した言語構造をいう。

図２は、状態情報ＤＢ１５１に記憶される状態情報のデータ構造の一例を示す図である。図２に示すように、状態情報は、格フレームを識別する格フレームＩＤと、動作（行動）の種類を表す行動名と、動作に関連する名詞である格要素（深層格）とを含んでいる。深層格には、主格、属性格、場所格、時間格、源泉格、目標格、対象格、および道具格が含まれる。

主格は、動作を引き起こす主体を表す。属性格は、主格に関する情報をいう。例えば、属性格は、身長高、体型、上半身色、下半身色、頭色、顔情報、および歩容情報等を含む。

顔情報および歩容情報は、さらに詳細な要素に分けられる。例えば、顔情報は、顔の特徴を表す顔特徴、視線方向、マスクの有無、サングラスの有無、性別、および年代などの要素を含む。また、歩容情報は、歩幅、姿勢、脚長、および歩速などの要素を含む。

場所格は、動作や状態が起こる場所を表す。例えば、場所格は、頭部位置、体位置、手位置、顔位置、および脚部位置等を含む。

時間格は、動作や状態が起こる時間を表す。例えば、時間格は、現在時刻を表す時刻、動作が開始された時刻を表す動作開始時刻、動作が終了した時刻を表す動作終了時刻、および動作が発生した年月日等を表す。

源泉格は、移動や状態変化などの起点を表す。例えば、源泉格は、主格が移動や動作等を行う起点の位置を表す場所情報、および起点での主格の属性を表す属性情報を含む。

目標格は、移動や状態変化などの終点を表す。例えば、目標格は、主格が移動や動作等を行う終点の位置を表す場所情報、および終点での主格の属性を表す属性情報を含む。

対象格は、動作や状態の対象となる事物を表す。対象格は、固有の識別情報である対象ＩＤ、および固有の情報である属性情報を含む。

道具格は、動作の補助的手段を表す。道具格は、固有の識別情報である道具ＩＤ、および固有の情報である属性情報を含む。

なお、利用できる深層格はこれらに限られず、例えば精神的事象の経験者を表す経験者格などの、その他のあらゆる深層格を用いることができる。

図３は、状態情報ＤＢ１５１に記憶される状態情報の具体例を示す図である。図３は、人物Ａ（主格）が、「しゃがむ」という行動を検出したときに生成される状態情報の一例を示している。この場合、属性格には、人物Ａの身長高、体型などの具体的な値が設定される。また、場所格および時間格には、それぞれ人物Ａがしゃがんだときの位置や時刻に関する具体的な値が設定される。

図１に戻り、規則ＤＢ１５２は、後述する第２検出部１４０が、状態情報ＤＢ１５１に保存された格フレームを比較して動作を検出するときに参照する行動検出規則を記憶する。図４は、規則ＤＢ１５２に記憶される行動検出規則のデータ構造の一例を示す図である。

図４に示すように、行動検出規則は、比較元となる情報であって、時間的に前の状態情報である前格フレームと、比較先となる情報であって、時間的に後の状態情報である後格フレームと、その他の条件と、検出される状態情報とを対応づけた形式となっている。

前格フレームおよび後格フレームは、それぞれ行動名と格情報とを含んでいる。格情報には、比較すべき少なくとも１つの深層格を設定する。

前格フレームおよび後格フレームは、２つの格フレームが差異を有するパターンを表す情報（差分情報）に相当する。すなわち、ある２つの格フレームが、それぞれ前格フレームと後格フレームとで設定された行動名および格情報と適合するとき、この２つの格フレーム間には差異が存在すると判断される。例えば、図４では、ある格フレーム（格フレーム１）の行動名が「存在する」、場所格に含まれる体位置が「Ａ」であり、他の格フレーム（格フレーム２）の行動名が「存在する」、場所格に含まれる体位置が「Ｂ」であるとき、格フレーム１と格フレーム２との間には差分が存在すると判断される。そして、差分が存在すると判断された場合、差分に対応する行動として、「検出される状態情報」欄に記載された行動名の行動が検出される。

その他の条件には、必要に応じて、比較する状態情報が満たすべき条件が設定される。例えば、同図の行動名「しゃがむ」の行動を検出する行動検出規則では、前格フレームに含まれる頭部位置Ｂと、後格フレームに含まれる頭部位置Ｃとが、Ｂ＞Ｃの関係を満たすことが条件として設定されている。

検出される状態情報は、検出される行動の行動名と、保存すべき少なくとも１つの深層格を表す格情報とを含んでいる。同図では、例えば、行動名「移動する」の行動が検出された場合は、前格フレームに含まれる体位置Ａおよび後格フレームに含まれる体位置Ｂを、それぞれ検出した行動に対応する格フレームの源泉格の体位置Ａおよび目標格の体位置Ｂとして保存する例が示されている。

なお、行動検出規則は同図に示す形式に限られるものではなく、複数の状態情報間の差分に応じて予め定められた行動を決定可能なものであればあらゆる形式の規則を適用できる。

図５は、検出される行動間の遷移関係を表す図である。具体的には、図５は、画像情報から検出される行動と、状態情報ＤＢ１５１に保存された状態情報を比較し、行動検出規則によって検出される行動との関係を表している。同図の楕円は、検出される行動名の一例を表している。また、楕円間の矢印に付された文字列は、ある行動から他の行動を検出するための状態情報間の差分の基準を表している。

なお、この基準は、図４の規則ＤＢ１５２に記憶された行動検出規則に対応する。例えば、「位置座標の変異」という基準は、図４では行動名「移動する」を検出する最初の行動検出規則に対応する。すなわち、例えば同図の行動名５０１（存在する）に対応する複数の状態情報を比較することにより、「位置座標の変異」という差分が検出された場合は、「移動する」という行動名の行動が新たに検出される。

なお、図５の行動名５０１〜５０４は、後述する第１検出部１３８によって画像情報から検出される行動名を表している。それ以外の行動名は、後述する第２検出部１４０によって、行動検出規則を用いて検出される行動名を表している。また、同図の行動名５１１〜５１３は、他の行動へ派生しない行動名を表している。すなわち、この状態に達した場合は、同図の遷移から離脱することを意味する。

本実施の形態では、さらに、規則ＤＢ１５２が、複数の物体（人物）の状態情報の組み合わせに応じた動作を検出するときに参照する行動検出規則を記憶する。以下では、このように複数の物体の状態から動作を検出するための行動検出規則を、状況把握規則という。図６は、状況把握規則のデータ構造の一例を示す図である。

図６に示すように、状況把握規則は、ある人物Ａに関する情報と、他の人物Ｂに関する情報と、その他の条件と、検出される状態情報とを対応づけた形式となっている。

人物Ａに関する情報および人物Ｂに関する情報は、それぞれ行動名と格情報とを含んでいる。格情報には、各人物が満たすべき深層格の条件を設定する。

ある２人の人物それぞれに対応する２つの格フレームが、それぞれ人物Ａに関する情報と人物Ｂに関する情報とで設定された行動名および格情報に適合するとき、「検出される状態情報」欄に記載された行動名の行動が検出される。

その他の条件には、必要に応じて、比較する状態情報が満たすべき条件が設定される。例えば、同図の行動名「脅す」の行動を検出する状況把握規則では、行動名「見る」の格フレームが存在し、その格フレームの主格および対象格がそれぞれ人物Ａおよび人物Ｂであるという条件が設定されている。

検出される状態情報は、検出される行動の行動名と、保存すべき少なくとも１つの深層格を表す格情報とを含んでいる。同図では、例えば、行動名「脅す」の行動が検出された場合は、人物Ｂを検出した行動に対応する格フレームの対象格として保存する例が示されている。

なお、状況把握規則は同図に示す形式に限られるものではなく、複数人の行動を表す状態情報の組み合わせに応じて予め定められた行動を決定可能なものであればあらゆる形式の規則を適用できる。また、同図では２人の状態情報の組み合わせから行動を検出する規則が例示されているが、３人以上の状態情報の組み合わせから行動を検出する規則を用いてもよい。

複数人の行動の組み合わせとしては、例えば、犯罪行為等の被害者および加害者、または、異常な状況が発生するときの周囲の人物等の行動の組み合わせなどを想定する。そして、このような複数人の行動の組み合わせが発生したときに予測される行動を検出される状態情報に設定した状況把握規則を定める。

例えば、同図の１行目および２行目は、人物Ａを加害者、人物Ｂを被害者としたときの状況に対応する状況把握規則を表している。また、同図の３行目は、複数人の行動の組み合わせから不審行動を検出する状況把握規則を表している。このような規則を用いることにより、例えば個々の人物の行動が不審行動と思われるが不審と断定できない場合であっても、他の人物の行動と同時に発生していることを条件として不審行動であると判断することが可能となる。

図１に戻り、不審者情報ＤＢ１５３は、不審者の動作状態を表す行動パターンとして予め定められた不審者情報を記憶する。図７は、本実施の形態の不審者情報ＤＢ１５３に記憶された不審者情報のデータ構造の一例を示す図である。図７に示すように、不審者情報は、不審者の動作の種類を表す行動名と、不審者の動作に関連する深層格（格情報）と、当該深層格が満たすべき条件とを含んでいる。

同図の網掛け部は、行動名が「きょろきょろする」である場合であって、かつ場所格の体位置が「玄関前」、すなわち、玄関前できょろきょろしている場合を不審者または不審行動として記憶している例を示している。

なお、不審者情報ＤＢ１５３に記憶される行動名や、深層格の種類等は、予めユーザによって記憶される。

図１に戻り、第１検出部１３８は、画像情報取得部１３２によって取得された画像情報を解析することにより、画像情報から物体の動作状態を検出する。また、第１検出部１３８は、検出した動作状態を表す状態情報を生成して状態情報ＤＢ１５１に保存する。

第１検出部１３８は、例えば画像情報から人物領域を抽出することにより、人物が「存在する」という動作状態を検出する。また、第１検出部１３８は、検出した人物の視線方向を検出することにより、当該人物の「見る」という動作状態を検出する。また、第１検出部１３８は、人物以外の他の物体を画像情報から抽出し、抽出した物体が新たに現れた場合には「取り出す」という動作状態を、抽出した物体が以前から存在し、人物の手の位置と重なった場合には「触る」という動作状態を検出する。

なお、第１検出部１３８が人物または物体を抽出する方法としては、連続する画像情報の背景を比較することにより抽出した変動領域を人物領域とする方法や、人物パターンまたは物体パターンと照合することにより人物または物体を抽出する方法などの、従来から用いられているあらゆる方法を適用できる。また、第１検出部１３８が人物の視線方向を検出する方法としては、顔領域パターンと照合することにより顔領域を抽出するとともに視線方向を検出する方法などの従来から用いられているあらゆる方法を適用できる。

状態取得部１３９は、状態情報ＤＢ１５１から複数の状態情報を取得する。例えば、状態取得部１３９は、第１検出部１３８によって検出され、状態情報ＤＢ１５１に保存された状態情報のうち、時刻が連続する２つの状態情報を取得する。また、状態取得部１３９は、状態情報ＤＢ１５１に保存された状態情報のうち、同一時刻で主格が異なる２つの状態情報を取得する。前者は、図４の行動検出規則によって行動を検出するときに利用される。また、後者は、図６の状況把握規則によって行動を検出するときに利用される。なお、時刻は厳密に同一である必要はなく、誤差が所定の時間範囲内であれば略同一の時刻と判断するように構成してもよい。

第２検出部１４０は、時刻が連続する２つの状態情報が規則ＤＢ１５２に保存された行動検出規則に適合するか否かを判定することによって、新たな行動を検出する。

具体的には、第２検出部１４０は、状態取得部１３９によって取得された時刻が連続する２つの状態情報の行動名および格情報が一致する行動検出規則を規則ＤＢ１５２から取得する。そして、第２検出部１４０は、行動検出規則が取得できた場合に、行動検出規則で定められた行動を新たな行動として検出する。

また、第２検出部１４０は、同一時刻で主格が異なる２つの状態情報が規則ＤＢ１５２に保存された状況把握規則に適合するか否かを判定することによって、新たな行動を検出する。

具体的には、第２検出部１４０は、状態取得部１３９によって取得された同一時刻で主格が異なる２つの状態情報の行動名および格情報が一致する状況把握規則を規則ＤＢ１５２から取得する。そして、第２検出部１４０は、状況把握規則が取得できた場合に、状況把握規則で定められた行動を新たな行動として検出する。

不審者判定部１４１は、不審者情報ＤＢ１５３に記憶されている不審者情報に適合する状態情報を状態情報ＤＢ１５１から検索することにより、不審者の有無を判定する。具体的には、不審者判定部１４１は、状態情報ＤＢ１５１に記憶されている状態情報のうち、状態情報の行動名が不審者情報の行動名と一致し、かつ状態情報の格要素のうち不審者情報の格情報に記載された格要素が不審者情報の条件を満たす状態情報を検索する。そして、不審者判定部１４１は、条件を満たす状態情報の主格である人物が不審者であると判定する。

次に、このように構成された本実施の形態にかかる警備装置１００による画像からの動作検出処理について図８を用いて説明する。画像からの動作検出処理とは、監視カメラ１２０で撮影された画像情報から人物等の動作（行動）を検出する処理をいう。図８は、本実施の形態における画像からの動作検出処理の全体の流れを示すフローチャートである。

まず、画像情報取得部１３２は、監視カメラ１２０が撮影した画像情報を入力する（ステップＳ６０１）。次に、第１検出部１３８が、画像情報から人物領域を検出する（ステップＳ６０２）。次に、第１検出部１３８は、人物領域が検出されたか否かを判断する（ステップＳ６０３）。人物領域が検出されなかった場合は（ステップＳ６０３：ＮＯ）、次の画像情報を入力して処理を繰り返す（ステップＳ６０１）。

人物領域が検出された場合（ステップＳ６０３：ＹＥＳ）、第１検出部１３８は、行動名＝「存在する」の格フレームを作成する（ステップＳ６０４）。なお、作成した格フレームの格フレームＩＤには、他の格フレームと重複しない値を割り当てる。

次に、第１検出部１３８は、検出した人物領域の各部位の検出位置を場所格へ格納する（ステップＳ６０５）。例えば、第１検出部１３８は、検出した人物領域に含まれる頭部、体、手、顔、および脚部の座標を算出し、それぞれ頭部位置、体位置、手位置、顔位置、および脚部位置として場所格に格納する。なお、人物領域の各部位は、部位ごとの照合パターンと照合して検出する方法などの従来から用いられているあらゆる方法により検出できる。

第１検出部１３８は、ステップＳ６０４〜ステップＳ６０５と並行して、人物同定処理（ステップＳ６０６〜ステップＳ６０７）、顔検出処理（ステップＳ６０８〜ステップＳ６１０）、体型判定処理（ステップＳ６１１〜ステップＳ６１２）、および歩容検出処理（ステップＳ６１３〜ステップＳ６１４）の各処理を実行する。なお、これらの各処理は必ずしも並行して処理する必要はなく、任意の順序で実行するように構成することができる。

人物同定処理では、第１検出部１３８は、抽出済みの人物領域と照合する方法などにより、抽出された人物を同定する（ステップＳ６０６）。そして、第１検出部１３８は、同定した人物に既に割り当てられているエージェントＩＤ（図２のＡｇｔＩＤ）を、作成した格フレームの主格に格納する（ステップＳ６０７）。

顔検出処理では、第１検出部１３８は、顔領域パターンと照合する方法などによって顔領域を検出する（ステップＳ６０８）。また、第１検出部１３８は、照合結果に応じて、視線方向、マスクの有無、およびサングラスの有無などの顔情報を属性格に格納する（ステップＳ６０９）。視線方向が検出された場合は、第１検出部１３８は、行動名＝「見る」の格フレームを作成する（ステップＳ６１０）。

体型判定処理では、第１検出部１３８は、照合した人物パターンに予め付与された体型を求める方法などにより、検出した人物の体型を判定する（ステップＳ６１１）。そして、第１検出部１３８は、判定した体型を、作成した格フレームの属性格に格納する（ステップＳ６１２）。

歩容検出処理では、第１検出部１３８は、主に検出した人物領域の脚部を解析することにより、歩速、歩幅、脚長、姿勢などの歩容情報を検出する（ステップＳ６１３）。歩速は、例えば連続する画像情報の脚部の位置を比較することにより算出することができる。そして、第１検出部１３８は、検出した歩容情報を、作成した格フレームの属性格に格納する（ステップＳ６１４）。

次に、第１検出部１３８は、画像情報から物体を検出する（ステップＳ６１５）。なお、物体検出処理は、人物領域検出処理（ステップＳ６０２）とともに実行してもよい。

次に、第１検出部１３８は、物体が検出されたか否かを判断する（ステップＳ６１６）。物体が検出された場合（ステップＳ６１６：ＹＥＳ）、第１検出部１３８は、物体が前の画像情報で検出されていたか否か、および物体と人物領域の位置関係に応じて、行動名＝「触る」または「取り出す」の格フレームを作成する（ステップＳ６１７）。

具体的には、第１検出部１３８は、前の画像情報で検出された物体と照合することなどにより、物体が既に検出されていると判断でき、かつ、人物の手の位置と物体の位置とが重なると判断できる場合は、行動名＝「触る」の格フレームを新たに作成する。また、第１検出部１３８は、未検出の物体が新たに検出されたと判断でき、かつ、人物の手の位置と物体の位置とが重なると判断できる場合は、行動名＝「取り出す」の格フレームを新たに作成する。

ステップＳ６１６で物体が検出されなかったと判断された場合（ステップＳ６１６：ＮＯ）、またはステップＳ６１７で新たな格フレームを作成後、第１検出部１３８は、これまでに作成した格フレームを状態情報ＤＢに保存し（ステップＳ６１８）、画像からの動作検出処理を終了する。

次に、本実施の形態にかかる警備装置１００による状態情報からの動作検出処理について図９を用いて説明する。状態情報からの動作検出処理とは、状態情報ＤＢ１５１に保存されている状態情報から人物等の動作（行動）を検出する処理をいう。図９は、本実施の形態における状態情報からの動作検出処理の全体の流れを示すフローチャートである。

まず、状態取得部１３９は、状態情報ＤＢ１５１に保存されている状態情報である格フレームのうち、未処理の格フレーム（以下、第１格フレームという）を取得する（ステップＳ７０１）。次に、状態取得部１３９は、取得した第１格フレームと時間的に連続する格フレーム（以下、第２格フレームという）を状態情報ＤＢ１５１から取得する（ステップＳ７０２）。

次に、第２検出部１４０は、取得した２つの格フレームが満たす行動検出規則を規則ＤＢ１５２から検索する（ステップＳ７０３）。具体的には、第２検出部１４０は、第１格フレームおよび第２格フレームの行動名が、それぞれ行動検出規則の前格フレームおよび後格フレームの行動名と一致し、格情報が行動検出規則の格情報が表す条件を満たす行動検出規則を検索する。

例えば、第１格フレームおよび第２格フレームの行動名が共に「存在する」であり、第１格フレームの体位置（体位置Ａとする）と、第２格フレームの体位置（体位置Ｂとする）とが異なる場合、図４に示すような規則ＤＢ１５２の最初の行動検出規則が検索される。

次に、第２検出部１４０は、行動検出規則が検索されたか否かを判断し（ステップＳ７０４）、検索された場合は（ステップＳ７０４：ＹＥＳ）、検索した行動検出規則の「検出される状態情報」に設定された行動名の格フレームを作成する（ステップＳ７０５）。

行動検出規則が検索されなかった場合（ステップＳ７０４：ＮＯ）、または、格フレームを作成後、第２検出部１４０は、未処理の格フレームが存在するか否かを判断する（ステップＳ７０６）。

未処理の格フレームが存在する場合（ステップＳ７０６：ＹＥＳ）、状態取得部１３９は、次の格フレームを取得して処理を繰り返す（ステップＳ７０１）。未処理の格フレームが存在しない場合は（ステップＳ７０６：ＮＯ）、状態情報からの動作検出処理を終了する。

このような処理により、画像情報からだけでなく、テキスト情報として保存した状態情報から、人物等の対象物の行動を検出することができる。このため、画像の分析のみによって監視対象物の動作を認識する従来の方法と比較して、動作検出処理の処理負荷を低減することが可能となる。

次に、本実施の形態にかかる警備装置１００による状況把握処理について図１０を用いて説明する。状況把握処理とは、状態情報ＤＢ１５１に保存されている複数人（物体）の状態情報から動作の状況を把握し、新たな人物等の動作（行動）を検出する処理をいう。図１０は、本実施の形態における状況把握処理の全体の流れを示すフローチャートである。

まず、状態取得部１３９は、状態情報ＤＢ１５１に保存されている状態情報である格フレームのうち、未処理の格フレーム（以下、第１格フレームという）を取得する（ステップＳ１００１）。次に、状態取得部１３９は、取得した第１格フレームと同時刻の他の格フレーム（以下、第２格フレームという）を状態情報ＤＢ１５１から取得する（ステップＳ１００２）。

次に、第２検出部１４０は、複数人物の格フレームが取得されたか否か、すなわち、第１格フレームの主格と、第２格フレームの主格とが異なるか否かを判断する（ステップＳ１００３）。複数人物の格フレームが取得された場合（ステップＳ１００３：ＹＥＳ）、第２検出部１４０は、各人物の格フレームの行動名を取得する（ステップＳ１００４）。

次に、第２検出部１４０は、行動名＝「見る」の格フレームが存在するか否かを判断する（ステップＳ１００５）。存在する場合（ステップＳ１００５：ＹＥＳ）、第２検出部１４０は、行動名＝「見る」の対象となる物体（人物）が一致する他の人物の人数を算出し、人数が所定の閾値より大きいか否かを判断する（ステップＳ１００６）。例えば、第２検出部１４０は、第１格フレームまたは第２格フレームの対象格に設定された物体（人物）と同一物体（人物）が、行動名＝「見る」の対象格に設定され、主格が異なる他の格フレームの個数を算出し、閾値と比較する。

人物数が閾値より大きい場合（ステップＳ１００６：ＹＥＳ）、第２検出部１４０は、複数の人物が特定の人物に注目していることから、異常な状況が生じていると判断し、異常が発生したことを表す情報を出力する（ステップＳ１００７）。

このように、本実施の形態によれば、複数人の状態情報から特定の人物の異常な行動を検出するだけでなく、複数人の状態情報から何らかの異常な状況が生じているということを検出することもできる。なお、上記例では、特定の対象を複数人が「見る」という行動が生じたときに異常と判断していたが、行動は「見る」に限られるものではなく、予め定められた特定の行動を対象として判断するように構成してもよい。この場合、特定の行動を表す特定の動詞が含まれる状態情報の個数を算出し、個数が所定の閾値より大きいか否かを判定すればよい。

人物数が閾値より大きくない場合（ステップＳ１００６：ＮＯ）、第２検出部１４０は、第１格フレームおよび第２格フレームのうち、行動名＝「見る」の格フレームの主格を人物Ａ、対象格を人物Ｂとして取得する（ステップＳ１００８）。そして、第２検出部１４０は、人物Ａの格フレームおよび人物Ｂの格フレームが満たす状況把握規則を規則ＤＢ１５２から検索する（ステップＳ１００９）。具体的には、第２検出部１４０は、人物Ａの格フレームおよび人物Ｂの格フレームの行動名が、それぞれ状況把握規則の人物Ａに関する情報および人物Ｂに関する情報の行動名と一致し、格情報が状況把握規則の格情報が表す条件を満たす状況把握規則を検索する。

例えば、人物Ａの格フレームの行動名が「手を突き出す」であり、人物Ｂの格フレームの行動名が「手を上げる」であり、人物Ａの格フレームの対象格が人物Ｂである場合、図６に示すような状況把握規則の最初の規則が検索される。

また、ステップＳ１００５で、行動名＝「見る」の格フレームが存在しないと判断された場合（ステップＳ１００５：ＮＯ）、第２検出部１４０は、第１格フレームおよび第２格フレームが満たす状況把握規則を規則ＤＢ１５２から検索する（ステップＳ１０１０）。具体的には、第２検出部１４０は、第１格フレームおよび第２格フレームの行動名が、それぞれ状況把握規則の人物Ａに関する情報および人物Ｂに関する情報の行動名と一致し、格情報が状況把握規則の格情報が表す条件を満たす状況把握規則を検索する。

例えば、第１格フレームの行動名が「移動する」であり、第２格フレームの行動名が「見回す」であり、第１格フレームおよび第２格フレームの場所格が表す地点が一致する（例えば地点Ａ）場合、図６に示すような状況把握規則の３行目の規則が検索される。

次に、第２検出部１４０は、状況把握規則が検索されたか否かを判断し（ステップＳ１０１１）、検索された場合は（ステップＳ１０１１：ＹＥＳ）、検索した状況把握規則の「検出される状態情報」に設定された行動名の格フレームを作成する（ステップＳ１０１２）。

ステップＳ１００３で複数人物の格フレームが取得されなかった場合（ステップＳ１００３：ＮＯ）、ステップＳ１０１１で状況把握規則が検索されなかった場合（ステップＳ１０１１：ＮＯ）、または、格フレームを作成後、第２検出部１４０は、未処理の格フレームが存在するか否かを判断する（ステップＳ１０１３）。

未処理の格フレームが存在する場合（ステップＳ１０１３：ＹＥＳ）、状態取得部１３９は、次の格フレームを取得して処理を繰り返す（ステップＳ１００１）。未処理の格フレームが存在しない場合は（ステップＳ１０１３：ＮＯ）、状況把握処理を終了する。

このような処理により、個々の物体（人物）の状態情報の差分（変異）から、個々の物体（人物）の状態情報を検出するだけでなく、複数の物体（人物）の状態情報から物体（人物）の行動の状況を把握し、行動（動作）をより高精度に検出することが可能となる。

次に、このように構成された本実施の形態にかかる警備装置１００による不審者判定処理について図１１を用いて説明する。図１１は、本実施の形態における不審者判定処理の全体の流れを示すフローチャートである。

同図に示す各処理では、図７に示すような不審者情報ＤＢ１５３が、ユーザや監視センタ２００によって予め記憶され、さらに操作パネル１３５等からユーザによって不審者判定を行うための指示がなされたものとする。

まず、不審者判定部１４１は、不審者情報ＤＢ１５３を参照して、記憶されている不審者情報を読み込む（ステップＳ１１０１）。そして、読み込んだ不審者情報をキーにして、その不審者情報を含む深層格フレームを状態情報ＤＢ１５１の中から検索する（ステップＳ１１０２）。

そして、状態情報ＤＢ１５１の中に、不審者情報を含む深層格フレームが存在するか否かを判定し(ステップＳ１１０３)、不審者情報を含む深層格フレームがないと判定した場合(ステップＳ１１０３：ＮＯ)、何もせずに次のステップに進む。

一方、不審者情報を含む深層格フレームが存在すると判定した場合(ステップＳ１１０３：ＹＥＳ)、その不審者情報を含む深層格フレームを操作パネル１３５に表示する(ステップＳ１１０４)。その後、不審者情報ＤＢ１５３に記憶されているすべての不審者情報の規則を参照したか否かを判定し（ステップＳ１１０５）、すべての不審者情報の規則を参照していないと判定した場合（ステップＳ１１０５：ＮＯ）、ステップＳ１１０１に戻り、以降の処理を繰り返す。一方、すべての不審者情報の規則を参照したと判定した場合（ステップＳ１１０５：ＹＥＳ）、不審者判定処理が終了する。

次に、複数人の状態情報の解析による不審者判定処理の具体例について図１２〜図１５を用いて説明する。図１２は、この例で撮影された画像の一例を示す図である。同図では、右側の人物（人物Ａとする）が、左側の人物（人物Ｂとする）に対して手を突き出し、人物Ｂが両手を挙げている状況の例が示されている。

図１３および図１４は、それぞれ図１２の画像から検出された人物Ａおよび人物Ｂの動作状態を表す格フレームの一例を示す図である。

図１２の例では、人物Ａが人物Ｂに対して、手を突き出している動作状態であることが記述されている。図１４の例では、人物Ｂが手を上げている動作状態であることが記述されている。このような状態情報が検出された場合、第２検出部１４０は、図６に示すような状況把握規則の１行目の規則を適用することにより、人物Ａが人物Ｂを脅しているという行動を検出することができる。

図１５は、検出された行動名で図１２の格フレームを更新した場合の例を示す図である。図１５に示すように、図１３で「手を突き出す」であった行動名が、「脅す」に変化している。なお、行動名を更新するのではなく、検出された新たな行動名の格フレームを作成して状態情報ＤＢ１５１に保存するように構成してもよい。

また、このような状態情報が検出された場合、不審者判定部１４１は、図７に示すような不審者情報ＤＢ１５３の６行目の不審者情報を適用することにより、行動名「脅す」の主格である人物Ａを不審者として検出することができる。

このように、本実施の形態にかかる動作検出装置では、一人の行動の状態情報では判断できない異常行動および不審行動等を、複数人の状態情報を用いることにより、より的確に検出することができる。

なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。

本実施の形態にかかる監視システムの構成を示すブロック図である。状態情報ＤＢに記憶される状態情報のデータ構造の一例を示す図である。状態情報ＤＢに記憶される状態情報の具体例を示す図である。規則ＤＢに記憶される行動検出規則のデータ構造の一例を示す図である。検出される行動間の遷移関係を表す図である。状況把握規則のデータ構造の一例を示す図である。不審者情報ＤＢに記憶された不審者情報のデータ構造の一例を示す図である。本実施の形態における画像からの動作検出処理の全体の流れを示すフローチャートである。本実施の形態における状態情報からの動作検出処理の全体の流れを示すフローチャートである。本実施の形態における状況把握処理の全体の流れを示すフローチャートである。本実施の形態における不審者判定処理の全体の流れを示すフローチャートである。撮影された画像の一例を示す図である。図１２の画像から検出された人物Ａの動作状態を表す格フレームの一例を示す図である。図１２の画像から検出された人物Ｂの動作状態を表す格フレームの一例を示す図である。検出された行動名で図１２の格フレームを更新した場合の例を示す図である。

符号の説明

１０監視システム
１００警備装置
１１０センサ
１２０監視カメラ
１３０警備操作部
１３１検知情報受信部
１３２画像情報取得部
１３３警備状態切替部
１３４操作パネル制御部
１３５操作パネル
１３６送受信部
１３７警備状態記憶部
１３８第１検出部
１３９状態取得部
１４０第２検出部
１４１不審者判定部
１５０ＨＤＤ
１５１状態情報ＤＢ
１５２規則ＤＢ
１５３不審者情報ＤＢ
２００監視センタ
３００ネットワーク
５０１〜５０４、５１１〜５１３行動名

Claims

物体の動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素とを含み、前記動詞と前記格要素との間の意味関係を示す格フレームによって表された状態情報を記憶する状態記憶手段と、
前記状態記憶手段から、複数の前記物体それぞれの動作状態を表す複数の前記状態情報を取得する状態取得手段と、
取得された複数の前記状態情報それぞれに含まれる前記動詞の組み合わせに応じた物体の動作を予め定めた規則に基づいて、前記組み合わせに対応する物体の動作を検出する検出手段と、を備え、
前記状態情報は、前記動作の主体となる物体を表す主格と、前記主格による前記動作の対象となる他の物体を表す対象格と、を前記格要素として含み、
前記規則は、前記主格による前記動作の種類を表す前記動詞と前記対象格を主体とする前記動作の種類を表す前記動詞との組み合わせ、および、前記組み合わせに応じて定められた前記動作を含み、
前記検出手段は、取得された複数の前記状態情報のうち、一方の前記状態情報である第１状態情報の前記対象格と他方の前記状態情報である第２状態情報の前記主格とが一致し、前記第１状態情報の前記動詞と前記第２状態情報の前記動詞との組み合わせが前記規則に含まれる前記組み合わせに一致する場合に、一致した前記組み合わせに対応する前記動作を検出すること、
を特徴とする動作検出装置。
前記状態情報は、前記格要素として前記物体の動作が発生した時刻を含み、
前記状態取得手段は、前記状態記憶手段から、前記時刻が略同一である複数の前記状態情報を取得すること、
を特徴とする請求項１に記載の動作検出装置。
前記状態情報は、さらに、前記動作が生じた位置を表す場所格と、を前記格要素として含み、
前記規則は、さらに、第１物体の前記動作の種類を表す前記動詞と第２物体の前記動作の種類を表す前記動詞との組み合わせ、および、前記組み合わせに応じて定められた前記動作を含み、
前記検出手段は、さらに、取得された複数の前記状態情報のうち、一方の前記状態情報である第１状態情報の前記場所格と他方の前記状態情報である第２状態情報の前記場所格とが一致し、前記第１状態情報の前記動詞と前記第２状態情報の前記動詞との組み合わせが前記規則に含まれる前記組み合わせに一致する場合に、一致した前記組み合わせに対応する前記動作を検出すること、
を特徴とする請求項１に記載の動作検出装置。
前記検出手段は、さらに、取得された複数の前記状態情報のうち、前記状態情報に含まれる前記動詞が予め定められた特定動詞と一致し、かつ、前記状態情報に含まれる前記対象格が相互に一致する前記状態情報の個数を算出し、前記個数が予め定められた閾値より大きい場合に、異常が発生したことを検出すること、
を特徴とする請求項１に記載の動作検出装置。
不審者の動作状態として予め定められた情報であって、前記不審者の動作の種類を表す動詞と、前記不審者の動作に関連する名詞である格要素に関する条件とを含む不審者情報を記憶する不審者情報記憶手段と、
検出された前記動作を表す動詞が前記不審者情報に含まれる動詞と一致し、かつ、検出された前記動作に関連する格要素が前記不審者情報に含まれる前記条件を満たす前記動作の主体である前記物体を不審者であると判定する判定手段と、をさらに備えたこと、
を特徴とする請求項１に記載の動作検出装置。
状態取得手段が、物体の動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素とを含み、前記動詞と前記格要素との間の意味関係を示す格フレームによって表された状態情報を記憶する状態記憶手段から、複数の前記物体それぞれの動作状態を表す複数の前記状態情報を取得する状態取得ステップと、
検出手段が、取得された複数の前記状態情報それぞれに含まれる前記動詞の組み合わせに応じた物体の動作を予め定めた規則に基づいて、前記組み合わせに対応する物体の動作を検出する検出ステップと、を含み、
前記状態情報は、前記動作の主体となる物体を表す主格と、前記主格による前記動作の対象となる他の物体を表す対象格と、を前記格要素として含み、
前記規則は、前記主格による前記動作の種類を表す前記動詞と前記対象格を主体とする前記動作の種類を表す前記動詞との組み合わせ、および、前記組み合わせに応じて定められた前記動作を含み、
前記検出ステップは、取得された複数の前記状態情報のうち、一方の前記状態情報である第１状態情報の前記対象格と他方の前記状態情報である第２状態情報の前記主格とが一致し、前記第１状態情報の前記動詞と前記第２状態情報の前記動詞との組み合わせが前記規則に含まれる前記組み合わせに一致する場合に、一致した前記組み合わせに対応する前記動作を検出すること、
を特徴とする動作検出方法。