JP6968248B1 - 画像解析通報システム、画解析通報プログラム及び画像解析通報方法 - Google Patents

Abstract

【課題】撮影画像から検出した通報対象事象が真であるか否かをチェックして誤報を抑制しつつ自動で外部装置に通報する技術を提供する。【解決手段】カメラＣで撮像した撮影画像から通報対象事象を検出したときに、外部装置Ｔへ通報を行う画像解析通報システムにおいて、画像解析通報装置１は、画像取込部２と、画像から通報対象事象を検出する検出処理部３と、検出した通報対象事象が真であるか否かを判断する誤報抑制処理部４と、通報処理部５と、を備える。検出処理部３は、物を検出する物検出部３ａと、人を検出する人検出部３ｂとを有する。誤報抑制処理部４は、画像撮影空間を基準として被検出物と被検出人との関係を比較する空間軸比較手段と、画像からフレーム画像を複数取り出し、各フレーム画像において被検出物と被検出人の関係を比較する時間軸比較手段とを用いて、通報対象事象が真であるか否かを判断することにより誤報を抑制する。【選択図】図１

Description

本発明は、防犯カメラ等のカメラによって撮影された画像（動画像又は静止画像）を解析し、例えば「ナイフを持った異常者」等の通報対象事象を上記画像から検出した際に、自動で外部装置に通報する技術に関する。

近年、鉄道の駅をはじめとして、空港、繁華街、ショッピングモール等の不特定多数の人が集まる場所には、至るところに防犯カメラが設置され、膨大な数の画像が常時撮影されている。さらに、警備員が身に着けたウェアラブルカメラや警備用ロボットに内蔵されたカメラ等により移動しながら画像を撮影するケースも増えている。

これら撮影された画像は事件や事故が発生した際にその内容を確認するのに役立つのは勿論であるが、その前段階として、これら撮影画像をリアルタイムに確認して事件や事故の兆候を発見して警備員や警備会社等に通報し、事件や事故を未然に防ぐことが強く望まれている。

他方、膨大な数の画像を人の目によってリアルタイムに確認するのは困難である。

そのため、人の目を介さずに、自動で画像解析するシステムや方法、さらには画像解析に基づいて通報（発報）を行うシステムや方法が種々開発されており、特に検出対象物（人を含む。）を如何に高精度で検出するかが共通課題となっている。

下記特許文献１には、撮影画像から所定間隔で複数のフレーム画像を抽出し、時間的に連続した３つのフレーム画像間で検出した物を対応付けすることにより、高精度で検出対象物を検出するシステムや方法が開示されている。

また、下記特許文献２には、所定の場所を撮影し、当該場所に侵入してきた対象物が人であるか否かを、撮影画像から検出した対象物の面積比、縦横比、移動量、移動速度、重心、高さ等の特徴量に基づいて判断し、当該対象物が人であると判断した場合には発報を行うシステムや方法が開示されている。

特開２０１５−１７９４３９号公報 特開２００３−４４８５９号公報

しかしながら、上記特許文献１のシステムや方法においては、時間的に連続するフレーム画像間で同じ対象物を検出し当該対象物を追跡するという前提に立っており、フレーム画像間で異なる対象物を検出した場合、若しくは、あるフレーム画像では検出された対象物が別のフレーム画像では検出されなかった場合についての想定がなされていない。

また、上記特許文献２のシステムや方法においては、所定場所の画像から検出した対象物が人であるか否かを人の特徴量から判断するに過ぎず、当該人が上記場所内に侵入したことが分かるだけで、例えば当該人が武器を所持する異常者であるというような通報対象事象が生じているか否かは判断することはできない。

既述のように、従来技術においては、撮影画像から人を含む対象物を検出して追跡したり、検出した対象物が人か否かを人の特徴量に基づき判断したりすることはできるとしても、撮影場所への光の当たり具合やカメラの角度、対象物の動き等により、背景の一部等の検出対象でない物を誤って対象物として検出した場合の想定がなされていない。したがって、これらの技術を採用して通報を行うと、誤検出に基づく誤報を抑えることができない。特に移動カメラの撮影画像の解析に基づいた通報においては、誤報が頻発するおそれがある。

固定カメラによる撮影か移動カメラによる撮影かに関わらず、撮影された画像からリアルタイムに対象物を検出し、該検出した対象物から事件や事故の予兆、すなわち通報対象となるような事象が生じているか否かを判断し、さらにはその判断が正しいか否かをチェックして誤報を抑制しつつ通報を行うシステムや方法は未だ確立されていない。

本発明は、撮影画像から対象物のみならず通報対象事象を検出すると共に、当該通報対象事象が真であるか否かをチェックして誤報を抑制しつつ通報を行う、シンプル且つ確実な技術を提供する。

要述すると、本発明に係る画像解析通報システムは、カメラで撮影した画像を解析し、該画像から通報対象事象を検出したときに外部装置へ通報を行う画像解析通報システムであって、上記カメラから画像を取り込む画像取込部と、該取り込んだ画像から通報対象事象を検出する検出処理部と、該検出処理部で検出された通報対象事象が真であるか否かを判断する誤報抑制処理部と、該誤報抑制処理部において真であると判断された通報対象事象について通報処理を行う通報処理部を備える。

加えて、本発明に係る画像解析通報システムにおいて、検出処理部は、物を検出する物検出部と、人を検出する人検出部とを有し、上記誤報抑制処理部は、上記画像が撮影された空間を基準として上記検出された物（以下、「被検出物」という。）及び上記検出された人（以下、「被検出人」という。）の位置に関するデータ並びに上記被検出物及び上記被検出人の大きさに関するデータが、上記被検出物を上記被検出人の所持物と見做すことができるための条件内か否かを確認することにより、上記被検出物が上記被検出人の所持物と見做すことができるか否かを判断する空間軸比較手段と、上記画像からフレーム画像を複数取り出し、該取り出した各フレーム画像間の上記被検出物及び上記被検出人の位置に関するデータ並びに上記被検出物及び上記被検出人の大きさに関するデータが、事前に定めた、上記被検出物を上記被検出人の所持物と見做すことができるための条件内か否かを確認することにより、上記被検出物が上記被検出人の所持物と見做すことができるか否かを判断する時間軸比較手段を用い、当該両比較手段による、上記被検出物を上記被検出人の所持物と見做すことができるか否かの判断に基づいて上記検出された通報対象事象が真と見做すことができるか否かの判断を行うことにより、シンプル且つ確実に通報対象事象について誤報を抑制しつつ通報を行うことができる。

また、本発明に係る画像解析通報プログラムは、カメラから画像を取り込む画像取込ステップと、該取り込んだ画像から通報対象事象を検出する検出ステップと、該検出ステップで検出された通報対象事象が真と見做すことができるか否かを判断し誤報を抑制する誤報抑制ステップと、該誤報抑制ステップにおいて真と見做すことができると判断された通報対象事象について通報処理を行う通報ステップとをコンピュータに実行させるためのプログラムであって、上記検出ステップは、物を検出する物検出ステップと、人を検出する人検出ステップを有し、上記誤報抑制ステップは、上記画像が撮影された空間を基準として上記検出された物（以下、「被検出物」という。）及び上記検出された人（以下、「被検出人」という。）の位置に関するデータ並びに上記被検出物及び上記被検出人の大きさに関するデータが、事前に定めた、上記被検出物を上記被検出人の所持物と見做すことができるための条件内か否かを確認することにより、上記被検出物が上記被検出人の所持物と見做すことができるか否かを判断する空間軸比較ステップと、上記画像からフレーム画像を複数取り出し、該取り出した各フレーム画像間の上記被検出物及び上記被検出人の位置に関するデータ並びに上記被検出物及び上記被検出人の大きさに関するデータが、事前に定めた、上記被検出物を上記被検出人の所持物と見做すことができるための条件内か否かを確認することにより、上記被検出物が上記被検出人の所持物と見做すことができるか否かを判断する時間軸比較ステップを有し、当該両比較ステップによる、上記被検出物を上記被検出人の所持物と見做すことができるか否かの判断に基づいて上記検出された通報対象事象が真と見做すことができるか否かの判断を行う。

また、本発明に係る画像解析通報方法は、カメラで撮影した画像を解析し、該画像から通報対象事象を検出したときに外部装置へ通報を行う画像解析通報方法であって、上記カメラから画像を取り込む画像取込ステップと、該取り込んだ画像から通報対象事象を検出する検出ステップと、該検出ステップで検出された通報対象事象が真と見做すことができるか否かを判断し誤報を抑制する誤報抑制ステップと、該誤報抑制ステップにおいて真と見做すことができると判断された通報対象事象について通報処理を行う通報ステップを備え、上記検出ステップは、物を検出する物検出ステップと、人を検出する人検出ステップを有し、上記誤報抑制ステップは、上記画像が撮影された空間を基準として上記検出された物（以下、「被検出物」という。）及び上記検出された人（以下、「被検出人」という。）の位置に関するデータ並びに上記被検出物及び上記被検出人の大きさに関するデータが、事前に定めた、上記被検出物を上記被検出人の所持物と見做すことができるための条件内か否かを確認することにより、上記被検出物が上記被検出人の所持物と見做すことができるか否かを判断する空間軸比較ステップと、上記画像からフレーム画像を複数取り出し、該取り出した各フレーム画像間の上記被検出物及び上記被検出人の位置に関するデータ並びに上記被検出物及び上記被検出人の大きさに関するデータが、事前に定めた、上記被検出物を上記被検出人の所持物と見做すことができるための条件内か否かを確認することにより、上記被検出物が上記被検出人の所持物と見做すことができるか否かを判断する時間軸比較ステップを有し、当該両比較ステップによる、上記被検出物を上記被検出人の所持物と見做すことができるか否かの判断に基づいて上記検出された通報対象事象が真と見做すことができるか否かの判断を行う。

本発明によれば、固定カメラによる撮影か移動カメラによる撮影かに関わらず、撮影された画像から事件や事故の予兆、すなわち通報対象となるような事象を検出し、さらにはその通報対象事象が正しいか否かをチェックして誤報を抑制しつつ通報を行うことができる。

また、撮影画像から「物」と当該物を所持する「人」の少なくとも二種類の対象物を検出し、当該二種類の対象物の組み合わせに基づいて、通報対象事象が生じているか否かを容易に判断して通報することができる。たとえば、被検出物が「ナイフ」であり、「当該ナイフを手に握っている人」が被検出人である場合、「殺傷事件が生ずる予兆」という事象として通報することができる。また、被検出物が「白杖」であり、「当該白杖を地面についている人」が被検出人である場合、「転落事故に要注意」の事象として通報することができる。

また、通報を行う前に、検出した通報対象事象が真であるか否かを判断するにあたり、被検出物と被検出人の位置関係や大きさ関係等について矛盾がないかを、空間的観点と時間的観点の二つの観点から確認することにより、簡易的でありながら適切且つ確実に誤報を抑制することができる。

本発明に係る画像解析通報システムの概略図である。 検出処理部の概略図である。 空間軸比較手段における比較判断処理例を示すフローチャートである。 時間軸比較手段における比較判断処理例を示すフローチャートである。 時間軸比較手段におけるフレーム比較例を示すイメージ図である。 時間軸比較手段におけるフレーム比較例の他例を示すイメージ図である。 フレームの処理順と入力順の関係を示す説明図である。 ＰフレームとＢフレームの比較処理の違いを示す説明図である。

以下、本発明に係る画像解析通報システム、画像解析通報プログラム及び画像解析通報方法の最適な実施例について図１乃至図８に基づき説明する。

＜システムの基本構成＞
本発明に係る画像解析通報システムは、図１に示すように、カメラＣで撮影した画像を解析し、該画像から通報対象事象を検出したときに外部装置Ｔへ通報を行う画像解析通報システム１である。

ここで、本書において、「カメラＣ」は、設置済の防犯カメラ、警備員等が身につけたウェラブルカメラ、警備用ロボット等の移動するシステムに内蔵されたカメラ等のような不特定多数の人が集まる場所を撮影するカメラである。また、「外部装置Ｔ」は、警備員（上記カメラを身につけた警備員とは別の警備員を想定。）や駅員等の施設関係者が携帯する端末、警備会社の通報センターや警察機関に設置されたパソコン等の端末やサーバーのような事件・事故に対応する人や組織に繋がる装置である。

本発明に係る画像解析通報システム１について詳述すると、基本構成として、上述したカメラＣから画像を取り込む画像取込部２と、該取り込んだ画像から通報対象事象を検出する検出処理部３と、該検出処理部３で検出された通報対象事象が真であるか否かを判断する誤報抑制処理部４と、該誤報抑制処理部４において真であると判断された通報対象事象について通報処理を行う通報処理部５を備える。

＜検出処理部＞
検出処理部３は、画像取込部２で取り込んだ画像（動画像又は静止画像）から検出対象物を検出し該検出した検出対象物に基づいて通報対象事象を検出するために設けられている。また、図１中の７は露光制御部７であり、画像取込部２から検出処理部３へ送られた画像の露光を制御してコントラストを高め、検出処理部３における検出精度の向上に貢献する。

検出処理部３は、検出対象物として物を検出する物検出部３ａと、検出対象物として人を検出する人検出部３ｂとを有している。ここで、「人」とは、文字通り、人間を指すが、人型の装置やロボットも含むものとする。また、「物」とは、あらゆる物ではなく、上記人が所持する「物」である、例えば、ナイフ等の武器のように異常者が所持している物、白杖や車椅子、盲導犬のように身体的障害者が所持している物である。

物検出部３ａは画像内において検出した物（以下、「被検出物」という。）の領域（以下、「被検出物領域」という。）の位置、大きさ（縦横比を含む。）、全体形状、部分形状、色合い、光沢等の画像から把握できるデータと、記憶部６に格納されている「分類情報データベース」及び「信頼度情報データベース」内の「分類」及び「信頼度」に関するデータとを照らし合わせ、被検出物が如何なる分類の物なのか、またその分類の物であるという信頼度が如何ほどであるのかを確定する。このように、「分類」や「信頼度」のデータは、予め定めたルールベースのデータでも良いが、好ましくは、「分類」や「信頼度」のデータをニューラルネットワークの出力として受け取り、当該ニューラルネットワークを学習によって随時チューニングすることにより、被検出物領域から把握するデータに基づき、当該物の「分類」及びその分類であるという「信頼度」をより正確に出力することができる。

人検出部３ｂも、物検出部３ａと同様に、画像内において検出した人（以下、「被検出人」という。）の領域（以下、「被検出人領域」という。）の位置、大きさ（縦横比を含む。）、全体形状、部分形状、色合い、光沢等の画像から把握できるデータと、記憶部６に格納されている「分類情報データベース」及び「信頼度情報データベース」内の「分類」及び「信頼度」に関するデータとを照らし合わせ、被検出人が如何なる分類の人なのか、またその分類の人であるという信頼度が如何ほどであるのかを確定する。また、人に関する「分類」や「信頼度」のデータにおいても、予め定めたルールベースのデータでも良いが、好ましくは、「分類」や「信頼度」のデータをニューラルネットワークの出力として受け取り、当該ニューラルネットワークを学習によって随時チューニングすれば、被検出人領域から得られるデータに基づき、当該人の「分類」及びその分類であるという「信頼度」をより正確に出力することができる。

なお、本実施例においては、上述のように、検出対象物は「人」と該人が所持している「物」若しくは「物」と該物を所持している「人」を必須とするが、本発明においては、これら二種類の検出対象物を必須としていれば、他の検出対象物、例えば、背景中の「道路」、「線路」や、「鉄道ホーム」のように上記「人」と上記「物」以外の物体を検出対象物として追加することを排除しない。

また、本発明において、画像内における被検出物領域（画像内の被検出物が占める領域）は当該被検出物を含む矩形状の領域でも良いし、当該被検出物の外形に沿った形状の領域でもよい。同様に、画像内における被検出人領域（画像内の被検出人が占める領域）は当該被検出人を含む矩形状の領域でも良いし、当該被検出人の外形に沿った形状の領域でもよい。また、カメラの設置個所、カメラレンズの画角や画像の解像度、被検出物や被検出人の姿勢等を基に、被検出物領域及び被検出人領域から被検出物や被検出人の実寸を推測することができる。

＜誤報抑制処理部＞
誤報抑制処理部４は、検出処理部３で検出した通報対象事象を、画像が撮影された空間（撮影場所における背景、構造物、施設備品、路面や床面等を含む空間）を基準として被検出物と被検出人との関係が適切であるか否かを判断する空間軸比較手段４ａと、上記画像からフレーム画像を複数取り出し、該取り出した各フレーム画像において被検出物と被検出人の関係が適切か否かを判断する時間軸比較手段４ｂを用い、当該両比較手段４ａ，４ｂによる判断に基づいて、検出処理部３にて検出された通報対象事象（被検出物と被検出人の組み合わせによる事象）が真であるか否かの判断を行うことにより、シンプル且つ確実に通報対象事象について誤報を抑制しつつ通報を行うことができる。

誤報抑制処理部４について詳述すると、誤報抑制処理部４は検出処理部３から被検出物及び被検出人の「位置」及び「大きさ」のデータ、さらには被検出物及び被検出人がいずれの分類であるかの「分類」のデータ、当該分類の「信頼度」に関するデータ等の判断要素を取得し、被検出物及び被検出人から導き出される通報対象事象が真であるか否かを判断し、もって誤報を抑制する。

検出処理部３から入手する、被検出物及び被検出人の「位置」のデータは、具体的には被検出物領域及び被検出人領域の「位置」のデータであり、被検出物及び被検出人の「大きさ」のデータは、具体的には被検出物領域及び被検出人領域の「大きさ」のデータか、若しくは被検出物領域から推定した被検出物の実寸のデータ及び被検出人領域から推定した被検出人の実寸のデータである。なお、検出処理部３から被検出物領域及び被検出人領域の「大きさ」のデータを入手した場合、誤報抑制処理部４においても検出処理部３と同様に当該被検出物領域及び被検出人領域のデータから被検出物や被検出人の実寸を推測することができる。

図２に示すように、誤報抑制処理部４は、空間軸比較手段４ａと時間軸比較手段４ｂを用いて、検出処理部３で検出された被検出物及び被検出人に基づく通報対象事象が真に通報対象であるか否かを判断することにより誤報を抑制する。

好ましくは、誤報抑制処理部４は、検出処理部３から被検出物及び被検出人の「位置」「大きさ」をはじめ「分類」や「信頼度」に関するデータを受け取り保持する検出結果保持手段４ｃを用いる。該検出結果保持手段４ｃは、後記する誤報判定手段４ｄからのデータをも保持する。なお、検出結果保持手段４ｃは上述した記憶部６により構築しても良い。

また、誤報判定手段４ｄは、空間軸比較手段４ａと時間軸比較手段４ｂによる比較結果から通報対象事象が真である可能性、つまり誤報ではない可能性の高低を判定して最終的には誤報か否かを判定すると共に、その判定結果に関するデータを検出処理部３から受け取ったデータと共に通報処理部５へ出力する。通報対象事象が真である可能性（誤報ではない可能性）を判定する基準については適宜調整することができる。

≪空間軸比較手段≫
空間軸比較手段４ａは、検出処理部３、すなわち物検出部３ａ及び人検出部３ｂからの被検出物及び被検出人の「位置」「大きさ」をはじめ「分類」や「信頼度」に関するデータを受けて、これらのデータを比較し、事前に定めた条件内であるか否かを確認し、検出処理部３で得た通報対象事象が真であるか否かを判断する。また、上記の「位置」、「大きさ」のデータから被検出物又は被検出人の重心を推定し、該重心に関するデータも比較要素とすることも実施に応じ任意である。このように重心データも比較要素にすると、より多面的な比較が可能となる。なお、「被検出物及び被検出人の重心」の具体例としては「被検出物領域及び被検出人領域の重心」又は「被検出物及び被検出人の推定実寸に基づいた重心」である。

空間軸比較手段４ａにおいては、たとえば、図３に示すように、検出処理部３（物検出部３ａ及び人検出部３ｂ）からの被検出物及び被検出人の「位置」「大きさ」のデータを求めて入手し、これらデータが条件内であるか否かを確認して、検出処理部３で得た通報対象事象が真である可能性を決定する。

なお、空間軸比較手段４ａにおいて、予め定める条件は、以下のようなものである。各条件例において、「適切な範囲」や「想定使用範囲」は被検出人、被検出物又は撮影場所等に応じて適宜調整する。
〔条件例〕
・被検出人領域の位置から推定したカメラと被検出人との間の距離が適切な範囲内であること
・被検出人領域と被検出物領域が適切な範囲で重なっていること
・被検出人領域の大きさ及び被検出物領域の大きさが適切な範囲内であること
・被検出人領域及び被検出物領域は適切な縦横比（大きさ）であること
・被検出人の推定実寸及び被検出物の推定実寸は適切な高さと幅であること
・被検出物の重心は被検出物の想定使用範囲に含まれていること（極端に被検出人の頭の上や足の下にないこと）
・被検出人領域の大きさと被検出物領域の大きさの差が適切な範囲内であること（一方が他方よりも極端に小さく又は大きく検出されていないこと）

また、同じ画像内で２人以上の人を検出したとき、つまり被検出人が複数いるとき、それぞれの被検出人領域と被検出物領域との重なりから被検出物の所持者たる被検出人を決め、当該被検出人の被検出人領域と上記被検出物領域に対して、上述した条件内であるか否かを確認する。逆に、同じ画像内で被検出物が複数あるときも、それぞれの被検出物領域と被検出人領域との重なりから被検出人が所持する物の被検出物領域を決め、当該検出物領域と上記検出人領域に対して、上述した条件内であるか否かを確認する。

≪時間軸比較手段≫
時間軸比較手段４ｂは、検出処理部３（物検出部３ａ及び人検出部３ｂ）がフレーム画像ごとに検出した被検出物及び被検出人に関する「位置」「大きさ」をはじめ「分類」や「信頼度」のデータを比較し、事前に定めた条件内か否かを確認して、検出処理部３で検出された通報対象事象が真であるか否かを判断する。このように、既知のフレーム差分方式を用いずに、画像から検出したデータに基づき判断するため、被検出物の変形等に惑わされず、精度の高い判断を行うことができる。

具体的には、基準となるフレーム画像（以下、「基準フレーム画像」という。）における被検出物及び被検出人に関するデータと、基準フレーム画像と時間的に近い過去に撮影されたフレーム画像（以下、「過去フレーム画像」という。）における被検出物及び被検出人に関するデータを比較し、矛盾がないかを確認する。基準フレーム画像と過去フレーム画像における被検出物及び被検出人に関するデータは、検出処理部３から検出結果保持手段４ｃによって保持し、これらのデータを時間軸比較手段４ｂが検出保持手段４ｃから入手して上述した比較を行う。

なお、時間軸比較手段４ｂにおいて、予め定める条件は、以下のようなものである。
〔条件例〕
・基準フレーム画像における被検出人領域の位置と、過去フレーム画像における被検出人領域の位置が想定内の距離的範囲であること。同様に、基準フレーム画像における被検出物領域の位置と、過去フレーム画像における被検出物領域の位置が想定内の距離的範囲であること（本条件例において、「想定内」な範囲はフレーム画像の間隔時間、被検出人、被検出物又は撮影場所等に応じて適宜調整する。）。
・基準フレーム画像における被検出人の分類と、過去フレーム画像における被検出人の分類が一致していること。同様に、基準フレーム画像における被検出物の分類と、過去フレーム画像における被検出物の分類が一致していること
・基準フレーム画像における被検出人領域の近傍に過去フレーム画像で別の分類の被検出人又は被検出物が検出されていないこと。同様に、基準フレーム画像における被検出物領域の近傍に過去フレーム画像で別の分類の被検出物又は被検出人が検出されていないこと。

上述した条件例の内、特に位置に関する条件については、次のように比較し判断する。
図５において、過去フレーム画像１は基準フレーム画像よりも過去に撮影されたフレーム画像であり、過去フレーム画像２は過去フレーム画像１よりも過去に撮影されたフレーム画像である。図５に示すように、位置に関する条件内と判定する領域（以下、「条件内領域」という。）を、基準フレーム画像の検出物領域と検出人領域を元に、時間的に過去の過去フレーム画像における条件内領域ほど拡張して、つまり「過去フレーム画像１における条件内領域」＜「過去フレーム画像２における条件内領域」として設定する。過去フレーム画像１や過去フレーム画像２において被検出物領域が条件内領域の中にあれば、基準フレーム画像における被検出物は過去の被検出物と近い位置にあり、被検出物について矛盾はなく誤報ではないと判断する。好ましくは、基準フレーム画像における被検出物と過去フレーム画像における被検出物の分類等の位置以外のデータが一致するかについても確認し判断精度を向上させることができる。

また、位置に関する条件において、上述した比較方法とは異なる比較方法を説明する。
この比較方法は、被検出人領域と被検出物領域の位置関係について、基準フレーム画像における位置関係と、過去フレーム画像における位置関係とを比較する方法であり、基準フレーム画像における位置関係と過去フレーム画像における位置関係が全く同じか想定範囲内での変化であれば、矛盾せず、誤報ではないと判断する。

好ましくは、図６に示すように、基準フレーム画像における被検出人領域の重心と、被検出物領域の重心の間をベクトルとして計算し、過去フレーム画像１及び過去フレーム画像２において同様にベクトルを計算する。そして基準フレーム画像のベクトルと過去フレーム画像のベクトルとを比較し、ベクトル同士の差異がある閾値以下であれば位置関係の近い過去フレームが存在すると判断する。なお、図６に示した例では、「被検出物の重心」として「被検出物領域の重心」を、「被検出人の重心」として「被検出人領域の重心」を用いているが、既述の如く、「被検出物及び被検出人の推定実寸に基づいた重心」を用いることも実施に応じ任意である。

次に、時間軸比較手段４ｂにおけるフレーム画像の処理方法について説明する。まず、過去フレーム画像における検出データとのみ比較する基準フレーム画像を「Ｐフレーム」と定義する。また、過去フレーム画像における検出データ及び基準フレーム画像よりも未来に撮影されたフレーム画像（以下、「未来フレーム画像」という。）における検出データの双方と比較する基準フレーム画像を「Ｂフレーム」と定義する。

図７に示すように、フレーム画像を時系列順ではなく、一部のフレーム画像の順番を入れ替えて、その一部入れ替えた順番を処理順として比較処理を行う。図７においては、ドットで模様付けしたフレーム画像が「Ｂフレーム」となり、その余のフレーム画像が「Ｐフレーム」となる。

図８に示すように、Ｐフレームを基準フレーム画像とする場合、二つの過去フレーム画像（図中「NO.1」と「NO.2」のフレーム画像）の検出データと比較せねばならず、当然に二つの過去フレーム画像の内、最も過去のもの（図中「NO.1」のフレーム画像）は基準フレーム画像と時間的に大きく離れている。他方、Ｂフレームを基準フレーム画像とする場合、過去フレーム画像（図中「NO.1」のフレーム画像）も未来フレーム画像（図中「NO.3」のフレーム画像）も時間的に近いフレーム画像であり、このように時間的に近いフレーム画像同士の検出データを比較することができるので、より効率的な比較が可能となる。

上述したように、本発明にあっては、誤報抑制処理部４における空間軸比較手段４ａ及び時間軸比較手段４ｂによって、検出処理部３で検出した通報対象事象が真であるか否か（誤報ではないか、誤報であるか）を判定する。なお、本発明においては、空間軸比較手段４ａ及び時間軸比較手段４ｂでの比較において用いる条件や当該条件に基づく誤報か否かの判定基準については自由に設定することができる。

＜通報処理部＞
通報処理部５は、誤報抑制処理部４で「誤報ではない」と判断された通報対象事象を通信部９から通信ネットワークＮを介して外部装置Ｔに送信することによって通報する。また本発明に係るシステムにおいては、上記した外部装置Ｔへの通報の他、通報処理部５から表示部８に通報対象事象を伝達し表示することによって通報することも実施に応じ任意である。ここで「通報対象事象」の通報として、例えば「ナイフ」と当該ナイフを「手に握っている人」という検出処理部３で検出した被検出物及び被検出人に関するデータをそのまま通報対象事象として通報してもいいし、上記「ナイフ」と当該ナイフを「手に握っている人」の組み合わせから「殺傷事件の予兆」というデータを通報対象事象として通報しても良い。

上記のとおり、本発明に係る画像解析通報システムは、撮影画像から少なくとも「人」と「物」の２つを検出し、「人」検出用の条件、「物」検出用の条件、両者の関係が適切であることを判断するための条件をそれぞれ個別に設定し、精度及び効率の良い通報及び誤報抑制を実現する。

また、被検出物と被検出人について、位置関係・大きさといった空間軸での矛盾が無いかと、時間連続性といった時間軸での矛盾がないかとの両方を検討して誤報を抑制するため、高精度且つ効率的に誤報を抑制することができ、警備員の無駄な出動等、誤報に基づく様々な無駄を省くことができる。

したがって、本発明に係る画像解析通報システムを用いれば、次に示す画像解析通報方法を実現することができる。

すなわち、本発明に係る画像解析通報方法は、カメラから画像を取り込む画像取込ステップと、該取り込んだ画像から通報対象事象を検出する検出ステップと、該検出ステップで検出された通報対象事象が真に通報対象事象であるか否かを判断し誤報を抑制する誤報抑制ステップと、該誤報抑制ステップにおいて真に通報対象事象と判断された事象について通報処理を行う通報ステップを備え、上記検出ステップは、物を検出する物検出ステップと、人を検出する人検出ステップを有し、上記誤報抑制ステップは、上記画像が撮影された空間を基準として被検出物と被検出人との関係を比較し上記被検出物が上記被検出人の所持物として適切であるか否かを判断する空間軸比較ステップと、上記画像からフレーム画像を複数取り出し、該取り出した各フレーム画像において上記被検出物と上記被検出人との関係を比較し上記被検出物が上記被検出人の所持物として適切であるか否かを判断する時間軸比較ステップを有する

また、上述した本発明に係る画像解析通報方法を実現させるプログラムとして、本発明に係る画像解析通報プログラムは、カメラから画像を取り込む画像取込ステップと、該取り込んだ画像から通報対象事象を検出する検出ステップと、上記検出ステップで検出された通報対象事象が真であるか否かを判断し誤報を抑制する誤報抑制ステップと、該誤報抑制ステップにおいて真であると判断された通報対象事象について通報処理を行う通報ステップとをコンピュータに実行させるためのプログラムであって、上記検出ステップは、物を検出する物検出ステップと、人を検出する人検出ステップを有し、上記誤報抑制ステップは、上記画像が撮影された空間を基準として被検出物と被検出人との関係を比較し上記被検出物が上記被検出人の所持物として適切であるか否かを判断する空間軸比較ステップと、上記画像からフレーム画像を複数取り出し、該取り出した各フレーム画像において上記被検出物と上記被検出人との関係を比較し上記被検出物が上記被検出人の所持物として適切であるか否かを判断する時間軸比較ステップを有する。

本発明に係る画像解析通報に関するシステム、プログラム及び方法において、どのような「物」を検出し、どのような「人」を検出して、通報対象事象とするかは、警備会社等のユーザーの経験やノウハウ等により自由に設定できることは勿論である。

１…画像解析通報システム、２…画像取込部、３…検出処理部、３ａ…物検出部、３ｂ…人検出部、４…誤報抑制処理部、４ａ…空間軸比較手段、４ｂ…時間軸比較手段、４ｃ…検出結果保持手段、４ｄ…誤報判定手段、５…通報処理部、６…記憶部、７…露光制御部、８…表示部、９…通信部、Ｃ…カメラ、Ｔ…外部装置、Ｎ…通信ネットワーク。

Claims (3)

1. カメラで撮影した画像を解析し、該画像から通報対象事象を検出したときに外部装置へ通報を行う画像解析通報システムであって、上記カメラから画像を取り込む画像取込部と、該取り込んだ画像から通報対象事象を検出する検出処理部と、該検出処理部で検出された通報対象事象が真と見做すことができるか否かを判断する誤報抑制処理部と、該誤報抑制処理部において真と見做すことができると判断された通報対象事象について通報処理を行う通報処理部を備え、上記検出処理部は、物を検出する物検出部と、人を検出する人検出部とを有し、上記誤報抑制処理部は、上記画像が撮影された空間を基準として上記検出された物（以下、「被検出物」という。）及び上記検出された人（以下、「被検出人」という。）の位置に関するデータ並びに上記被検出物及び上記被検出人の大きさに関するデータが、事前に定めた、上記被検出物を上記被検出人の所持物と見做すことができるための条件内か否かを確認することにより、上記被検出物が上記被検出人の所持物と見做すことができるか否かを判断する空間軸比較手段と、上記画像からフレーム画像を複数取り出し、該取り出した各フレーム画像間の上記被検出物及び上記被検出人の位置に関するデータ並びに上記被検出物及び上記被検出人の大きさに関するデータが、事前に定めた、上記被検出物を上記被検出人の所持物と見做すことができるための条件内か否かを確認することにより、上記被検出物が上記被検出人の所持物と見做すことができるか否かを判断する時間軸比較手段を用い、当該両比較手段による、上記被検出物を上記被検出人の所持物と見做すことができるか否かの判断に基づいて上記検出された通報対象事象が真と見做すことができるか否かの判断を行うことを特徴とする画像解析通報システム。
2. カメラから画像を取り込む画像取込ステップと、該取り込んだ画像から通報対象事象を検出する検出ステップと、該検出ステップで検出された通報対象事象が真と見做すことができるか否かを判断し誤報を抑制する誤報抑制ステップと、該誤報抑制ステップにおいて真と見做すことができると判断された通報対象事象について通報処理を行う通報ステップとをコンピュータに実行させるためのプログラムであって、上記検出ステップは、物を検出する物検出ステップと、人を検出する人検出ステップを有し、上記誤報抑制ステップは、上記画像が撮影された空間を基準として上記検出された物（以下、「被検出物」という。）及び上記検出された人（以下、「被検出人」という。）の位置に関するデータ並びに上記被検出物及び上記被検出人の大きさに関するデータが、事前に定めた、上記被検出物を上記被検出人の所持物と見做すことができるための条件内か否かを確認することにより、上記被検出物が上記被検出人の所持物と見做すことができるか否かを判断する空間軸比較ステップと、上記画像からフレーム画像を複数取り出し、該取り出した各フレーム画像間の上記被検出物及び上記被検出人の位置に関するデータ並びに上記被検出物及び上記被検出人の大きさに関するデータが、事前に定めた、上記被検出物を上記被検出人の所持物と見做すことができるための条件内か否かを確認することにより、上記被検出物が上記被検出人の所持物と見做すことができるか否かを判断する時間軸比較ステップを有し、当該両比較ステップによる、上記被検出物を上記被検出人の所持物と見做すことができるか否かの判断に基づいて上記検出された通報対象事象が真と見做すことができるか否かの判断を行うことを特徴とする画像解析通報プログラム。
3. カメラで撮影した画像を解析し、該画像から通報対象事象を検出したときに外部装置へ通報を行う画像解析通報方法であって、上記カメラから画像を取り込む画像取込ステップと、該取り込んだ画像から通報対象事象を検出する検出ステップと、該検出ステップで検出された通報対象事象が真と見做すことができるか否かを判断し誤報を抑制する誤報抑制ステップと、該誤報抑制ステップにおいて真と見做すことができると判断された通報対象事象について通報処理を行う通報ステップを備え、上記検出ステップは、物を検出する物検出ステップと、人を検出する人検出ステップを有し、上記誤報抑制ステップは、上記画像が撮影された空間を基準として上記検出された物（以下、「被検出物」という。）及び上記検出された人（以下、「被検出人」という。）の位置に関するデータ並びに上記被検出物及び上記被検出人の大きさに関するデータが、事前に定めた、上記被検出物を上記被検出人の所持物と見做すことができるための条件内か否かを確認することにより、上記被検出物が上記被検出人の所持物として適切であるか否かを判断する空間軸比較ステップと、上記画像からフレーム画像を複数取り出し、該取り出した各フレーム画像間の上記被検出物及び上記被検出人の位置に関するデータ並びに上記被検出物及び上記被検出人の大きさに関するデータが、事前に定めた、上記被検出物を上記被検出人の所持物と見做すことができるための条件内か否かを確認することにより、上記被検出物が上記被検出人の所持物と見做すことができるか否かを判断する時間軸比較ステップを有し、当該両比較ステップによる、上記被検出物を上記被検出人の所持物と見做すことができるか否かの判断に基づいて上記検出された通報対象事象が真と見做すことができるか否かの判断を行うことを特徴とする画像解析通報方法。

Images