JP6905849B2 - 画像処理システム、情報処理装置、プログラム - Google Patents

Description

本発明は、画像処理システム、情報処理装置、及び、プログラムに関する。

カメラが撮像した画像を識別装置が認識し、画像に写っている警報原因を検出する画像処理が知られている。人間と同様の作業をコンピュータで実現できるため、識別装置の機能を人工知能（AI：Artificial Intelligence）と呼ぶ場合がある。人工知能とは、人間の脳が行っている知的な作業をコンピュータで模倣したソフトウェアやコンピュータをいう。

しかしながら、識別が困難な画像もあるため識別装置が警報原因を誤認識又は未認識する場合があり、従来から認識率を向上させる技術が考案されている（例えば、特許文献１参照。）。特許文献１には、車載された識別装置が誤認識又は未認識した画像を人が確認し、数秒間の動画をより高性能な識別装置に送信し、高性能な識別装置が動画から学習すべき画像を抽出する学習方法が開示されている。高性能な識別装置で抽出された画像を車両の識別装置が学習し、シミュレーションで学習の効果を評価して、改善している場合に学習結果を更新する。このような処理によれば、車両の識別装置の認識率を徐々に向上させることができる。

特開２０１１−５９８１０号公報

しかしながら、特許文献１に開示された方法では、車載された識別装置よりも高性能な識別装置を用意する必要があるという問題がある。一般に、高性能な識別装置は大量の学習画像が必要であるため、人手により又は適切な情報処理で大量の学習画像を収集しなければならない。また、学習する画像の量が多いほど学習に時間がかかってしまう。

本発明は、上記課題に鑑み、高性能な識別装置を使わずに認識率を向上させることができる画像処理システムを提供することを目的とする。

本発明は、撮像装置が撮像した画像から予め定められた警報原因を識別する画像処理システムであって、前記撮像装置から前記画像を取得する画像取得手段と、前記画像に写っている、警報原因である検知対象の確度を検知対象ごとに算出し、前記画像に写っている前記警報原因を識別する第一の識別手段と、前記画像を表示装置に表示する表示処理手段と、前記表示装置に表示された前記警報原因のリストから前記画像に写っている前記警報原因の入力を受け付ける受付手段と、前記受付手段が入力を受け付けた前記警報原因について前記第一の識別手段が算出した該警報原因が識別される確度が第一の閾値以上の場合、前記画像を画像記憶部に格納する画像抽出手段と、前記画像記憶部に記憶されている前記画像を用いて第二の識別手段を構築する識別手段構築手段と、を有する。

本発明によれば、高性能な識別装置を使わずに認識率を向上させることができる画像処理システムを提供することができる。

画像処理システムが学習対象の警報画像を抽出する動作の概略を説明する図である。 画像処理システムのシステム構成図の一例である。 カメラ装置の概略的なハードウェア構成図の一例である。 情報処理装置の概略的なハードウェア構成を示したブロック図の一例である。 画像処理システムが備える各機能を図示した機能ブロック図の一例である。 カメラ装置が警報画像に描画した外接矩形の一例を示す図である。 学習のモデルの一例であるニューラルネットワークにおける多層パーセプトロンと呼ばれるモデルを示す図である。 ＬＣＤに表示される警報原因の入力画面の一例である。 学習に用いられる警報画像の抽出方法を説明する図の一例である。 複数の警報画像から算出された各警報原因の確度のうち監視員が入力した警報原因の確度を時系列に示す図である。 情報処理装置が警報画像を抽出して学習ＤＢに格納する処理を説明するフローチャート図の一例である。 情報処理装置による識別装置の評価の概略を説明する図の一例である。 画像処理システムが備える各機能を図示した機能ブロック図の一例である（実施例２）。 警報原因推定部（現行）と警報原因推定部（新）のそれぞれで評価用画像を識別した際の識別結果を示す図の一例である。 警報原因推定部（現行）と警報原因推定部（新）のそれぞれで評価用画像を識別した際の確度を示す図の一例である。 情報処理装置が警報原因推定部の性能を評価して更新するか否かを判断する手順を示すフローチャート図の一例である。

以下、本発明を実施するための形態について図面を参照しながら説明する。

＜画像処理システムの動作の概略＞
図１は、画像処理システム１００が学習対象の警報画像６を抽出する動作の概略を説明する図である。本実施例の画像処理システム１００は、画像に写った対象を画像処理により検出する技術に関する。この対象は警報の原因となるため警報原因と称される。

監視場所８のカメラ装置１０は異常を検出すると警報画像６を監視センター９に送信する。従来、監視センター９の監視員７は、警報画像６を１枚１枚目視し、例えば侵入者が検出されたのかどうかを判断していた。警報画像６は、異常が検出された時刻の前後の少なくとも数秒の画像を含むため、監視員７が１枚１枚目視することが負担となっている。

そこで、監視センター９で機械的な識別装置を採用して警報原因を特定することで、監視員７の負担を低減することが検討されている。

このためには、識別装置の認識率が高いことが望ましいため、本実施形態では認識率を向上させる技術について説明される。識別装置が警報原因を識別した警報画像６に確度が閾値ａ（第二の閾値）以上の警報画像６が含まれない場合、監視員７は警報画像６を目視して警報原因を入力する。そして、この警報原因の確度が閾値ｂ（第一の閾値）以上の警報画像６を新たな学習データとして学習する。したがって、警報画像６の中に、警報原因の確度が十分高いものがなく識別装置が警報原因を推定又は判断できない場合であっても、監視員７が推定又は判断した警報原因の確度が一定以上である場合に、警報画像６が学習されるので認識率を向上することができる。

図１を用いて画像処理システム１００の動作の概略を説明する。
（１） まず、カメラ装置１０は動体かつ／又は遠赤外線を放射する動物などを検出する。
動物等を以下、検知対象という。
（２） カメラ装置１０は検知対象が検知された時刻の前後数秒の警報画像６を監視センター９に送信する。
（３） 警報原因推定部３４は、警報原因と画像の関係を予め学習してある識別装置である。警報原因推定部３４が警報画像６を識別することで、１枚の警報画像６ごとに各警報原因とその確度を算出する。
（４） 確度が十分に高い場合（確度が閾値ａ以上）、確度が閾値ａ以上の警報原因が警報画像６に写っている可能性が高いと判断してよいので、閾値ａ以上の確度を有する警報原因に着目して確度が閾値ｂ以上の警報画像６が学習ＤＢ３９２（Data Base）に認識結果（警報原因）と共に格納される。
（５） 一方、確度が閾値ａ以上の警報画像６が存在しない場合、監視員７は確度が閾値ａ未満の警報画像６を目視して警報原因を入力する。警報画像６が複数枚でも、１回の警報では同じ警報原因が写っているため、監視員７は複数の警報画像６を確認して１つの警報原因を入力するだけでよい。
（６） 学習画像自動抽出部３５は監視員７が入力した警報原因の確度が閾値ｂ以上の警報画像６のみを学習ＤＢ３９２に該入力した警報原因と共に格納する。

この結果、学習ＤＢ３９２には警報原因の確度が高い（閾値ａ又はｂ以上）警報画像６が警報原因と共に格納されたことになる。後述する学習部は警報原因を教師信号に警報画像６を学習するので、認識率が向上した識別装置を作成できる。また、認識率が向上するほど、監視員７による警報原因の入力負担を低減できる。

＜用語について＞
警報原因とは、警報の原因となった対象をいう。例えば、警報画像に写っている動体、遠赤外線が検知された動物などの検知対象である。

また、識別とは、画像に写っている警報原因を見分けることであるが、特定すること、判断すること、又は、認識すること等と表現してもよい。

確度とは、確実さの程度又はたしかさである。本実施形態では、主に警報原因が識別された場合、それがどのくらい確かかを示す。尤度や確率と称してもよい。

＜システム構成例＞
図２は、画像処理システム１００のシステム構成図の一例を示す。画像処理システム１００は、ネットワークＮを介して接続されたカメラ装置１０と情報処理装置３０とを主に有する。カメラ装置１０は監視場所８に設置され、毎秒数枚の画像を撮像する撮像装置である。監視場所８は、例えば、オフィス、個人邸宅、ホテル、店舗、研究所、倉庫、工場など第三者の出入りが監視されうる場所である。屋内に限られず、駐車場、競技施設、山林、臨海地域、立ち入り禁止区域などの屋外に設置される場合もある。

カメラ装置１０は撮像する機能だけでなく動体を検出する画像処理機能及び対象から放出される遠赤外線を検知する機能を有している。カメラ装置１０は画像に動体が写っている場合、かつ／又は、遠赤外線を検出した場合、その前後の画像を警報画像６として監視センター９に送信する。監視中のカメラ装置１０に撮像されうる検知対象は様々であり監視場所８によって異なるが、例えば虫、鳥、小動物（ねずみ、猫、犬、りす、とかげ等）、及び、人等である。多くの監視場所８でカメラ装置１０が検知すべきは人であるが、人だけを検出しようとすると画像処理が複雑になったり、人が存在しても未検知となったりする場合が生じうるので、動体かつ／又は遠赤外線を放射する動物などの検知対象を検知している。

ネットワークＮは、カメラ装置１０が設置されている監視場所８に構築されているＬＡＮ、ＬＡＮをインターネットに接続するプロバイダのプロバイダネットワーク、及び、回線事業者が提供する回線等により構築されている。ネットワークＮが複数のＬＡＮを有する場合、ネットワークＮはＷＡＮと呼ばれ、インターネットが含まれる場合がある。ネットワークＮは有線又は無線のどちらで構築されてもよく、また、有線と無線が組み合わされていてもよい。また、カメラ装置１０が、３Ｇ、４Ｇ、５Ｇ、ＬＴＥ(Long Term Revolution)などの無線の公衆回線網に接続する場合は、ＬＡＮを介さずにプロバイダネットワークに接続することができる。

監視センター９は、監視員７が警報画像６を確認して検知対象が警報の対象か否かを判断する場所である。情報処理装置３０は本実施例で説明するように認識率が向上される識別装置を有している。情報処理装置３０は検知対象を識別して、人である場合は警報の対象であると確定したり、監視員７が最終的な確認を行ったりして、警備員を監視場所８に派遣する。

情報処理装置３０は、一般的なコンピュータ、ＰＣ（Personal Computer）、サーバなどとよばれる装置である。図２では説明の便宜上、一台の情報処理装置３０を示したが、情報処理装置３０は一台とは限らず、図１で説明した機能を複数の情報処理装置３０が分担して有していてもよい。

＜ハードウェア構成例＞
図３は、カメラ装置１０のハードウェア構成図の一例である。カメラ装置１０は、撮像部１０１、画像処理ＩＣ１０３、遠赤外線センサ１０２、信号処理ＩＣ１０４、ＲＯＭ１０５、ＣＰＵ１０６、ＲＡＭ１０７、及び、通信装置１０８を有している。

撮像部１０１は、レンズ、絞り、シャッター（メカ・電子）、ＣＭＯＳやＣＣＤなどの固体撮像素子、及び、メモリ等を有するカメラである。画像は白黒でもカラーでもよい。撮像部１０１はＣＰＵ１０６からの制御により定期的に所定範囲を撮像し、画像を画像処理ＩＣ１０３に送出する。画像処理ＩＣ１０３は、画像に動体を検出する画像処理を施す集積回路である。

遠赤外線センサ１０２は、物体から放射される遠赤外線を検知して温度変化を検知するセンサである。具体的には焦電素子又はサーモパイルセンサが知られている。レンズを有しており、レンズの画角に入る遠赤外線を焦電素子又はサーモパイルセンサに誘導し、主に恒温動物が放射する遠赤外線を電気信号に変換する。信号処理ＩＣ１０４は、電気信号を監視して温度変化の有無を判断する集積回路である。

ＣＰＵ１０６は、ＲＡＭ１０７を作業メモリにしてＲＯＭ１０５に記憶されたプログラムを実行し、カメラ装置１０の全体を制御する。すなわち、撮像部１０１による撮像を制御したり、遠赤外線センサ１０２による遠赤外線の検出を制御したりする。また、通信装置１０８を制御して監視センター９に警報画像６を送信したりする。

通信装置１０８は、ネットワークインタフェースやイーサネット（登録商標）カードと呼ばれ、ネットワークに接続する機能を提供する。無線ＬＡＮのアクセスポイントや携帯電話網の基地局に接続してもよい。

図４は、情報処理装置３０の概略的なハードウェア構成を示したブロック図である。情報処理装置３０は、概ねパーソナル・コンピュータ、ワークステーション又はアプライアンス・サーバとして実装することができる。情報処理装置３０は、ＣＰＵ２０１と、ＣＰＵ２０１が使用するデータの高速アクセスを可能とするメモリ２０２とを備える。ＣＰＵ２０１及びメモリ２０２は、システム・バス２０３を介して、情報処理装置３０の他のデバイス又はドライバ、例えば、グラフィックス・ドライバ２０４及びネットワーク・ドライバ（ＮＩＣ）２０５へと接続されている。

ＬＣＤ（表示装置）２０６はグラフィックス・ドライバ２０４に接続されて、ＣＰＵ２０１による表示指示を実行し画面を表示する。ＬＣＤ２０６にはタッチパネルが一体に配置されていてもよい。この場合、監視員７は操作手段として指を使って情報処理装置３０を操作できる。

また、ネットワーク・ドライバ２０５は、トランスポート層レベル及び物理層レベルで情報処理装置３０をネットワークＮへと接続して、カメラ装置１０等とのセッションを確立させている。

システム・バス２０３には、更にＩ／Ｏバス・ブリッジ２０７が接続されている。Ｉ／Ｏバス・ブリッジ２０７の下流側には、ＰＣＩなどのＩ／Ｏバス２０８を介して、ＩＤＥ、ＡＴＡ、ＡＴＡＰＩ、シリアルＡＴＡ、ＳＣＳＩ、ＵＳＢなどにより、ＨＤＤ２０９などの記憶装置が接続されている。ＨＤＤ２０９の代わりに又はＨＤＤ２０９と共にＳＳＤ（Solid State Drive）を有していてもよい。

ＨＤＤ２０９は情報処理装置３０の全体を制御するプログラム２０９ｐを記憶している。情報処理装置３０はプログラム２０９ｐを実行することで、監視員の操作を受け付けたり学習したりする。プログラム２０９ｐは、プログラムを配信するサーバから配信される他、ＵＳＢメモリや光記憶媒体などの可搬性の記憶媒体に記憶された状態で配布されてもよい。

また、Ｉ／Ｏバス２０８には、ＵＳＢなどのバスを介して、キーボード及びマウス（ポインティング・デバイスと呼ばれる）などの入力装置２１０が接続され、監視員７などのオペレータによる入力及び指令を受け付けている。

情報処理装置３０はクラウドコンピューティングに対応していてもよい。クラウドコンピューティングとは、特定ハードウェア資源が意識されずにネットワーク上のリソースが利用される利用形態をいう。この場合、図４に示したハードウェア構成は、１つの筐体に収納されていたり一まとまりの装置として備えられていたりする必要はなく、情報処理装置３０が備えていることが好ましいハード的な要素を示す。

＜画像処理システムの機能構成例＞
図５は、画像処理システム１００が備える各機能を図示した機能ブロック図の一例である。なお、本実施形態では認識率の向上に関する機能について主に説明する。

<<カメラ装置の機能構成>>
カメラ装置１０は、画像取得部１１、画像処理部１２、遠赤外線検知部１３、温度変化判断部１４、及び通信部１５を有している。これらの各機能は図３に示したＣＰＵ１０６がプログラムを実行してカメラ装置１０のハードウェアと協働することで実現される機能又は手段である。ハード的又はソフト的に実現される機能を明確に区別する必要はなく、これらの機能の一部又は全てがＩＣなどのハードウェア回路により実現されてもよい。

また、カメラ装置１０は、図３に示したＲＯＭ１０５又はＲＡＭ１０７により構築される記憶部１９を有している。記憶部１９には画像ＤＢ１９１が構築されている。画像ＤＢ１９１は、カメラ装置１０が直接有していなくてもよく、カメラ装置１０がアクセス可能なネットワーク上の任意の場所にあればよい。

画像取得部１１は、検知対象の有無に関係なく定期的に画像を取得する（撮像する）。検知対象が検知されるまでは撮像の間隔を長くし、検知対象が検知されたら撮像の間隔を短くしてもよい。画像取得部１１は、図３のＣＰＵ１０６が撮像部１０１を制御すること等により実現される。

画像処理部１２は、時系列の画像から動体を検出する。例えば時刻ｔの画像を記憶部１９に記憶しておき、時刻ｔ＋１の画像と画素又は画素ブロックごとに比較することで、変化の有無を判断する。画素値が変化する画素には動体が写っていると判断し、変化した画素に外接矩形を描画する。画像処理部１２は、動体がないと判断した画像と共に動体があると判断した画像にフラグなどを付与して画像ＤＢ１９１に記憶する。画像ＤＢ１９１では古い画像から上書きされ常に一定枚数の新しい画像が保持されている。

遠赤外線検知部１３は、遠赤外線の波長域の電磁波を定期的に収集してＡ／Ｄ変換を行うことで電気信号を生成する。遠赤外線検知部１３は、図３のＣＰＵ１０６が遠赤外線センサ１０２を制御すること等により実現される。

温度変化判断部１４は、遠赤外線検知部１３が生成した電気信号を監視して温度変化があったか否かを判断する。温度変化があると判断した場合、画像に動体が写っている可能性があるため、最も新しく撮像された画像にフラグなどを付与する。この画像は画像処理により動体が検出されているものであることが好ましい（例えば、遠赤外線を検知した時刻に撮像した画像から動体を検出した場合、該画像にフラグを付与することで可能になる）。しかし、遠赤外線の検知で付与されたフラグの前後の複数の画像が警報画像６となるので、画像処理により動体が検出されていない画像にフラグが付されても、動体が検出された画像を含めてカメラ装置１０が警報画像６を情報処理装置３０に送信できる。

通信部１５は、フラグが付された画像を画像ＤＢ１９１から検出して警報画像６として情報処理装置３０に送信する。例えば、フラグが付された画像の時間的に前後の数枚〜数十枚を送信する。通信部１５は、図３のＣＰＵ１０６が通信装置１０８を制御すること等により実現される。

<<情報処理装置の機能構成>>
情報処理装置３０は、通信部３１、表示制御部３２、操作受付部３３、警報原因推定部３４、及び学習画像自動抽出部３５を有している。これらの各機能は図４に示したＣＰＵ２０１がプログラム２０９ｐを実行して情報処理装置３０のハードウェアと協働することで実現される機能又は手段である。ハード的又はソフト的に実現される機能を明確に区別する必要はなく、これらの機能の一部又は全てがＩＣなどのハードウェア回路により実現されてもよい。

また、情報処理装置３０は、図４に示したメモリ２０２又はＨＤＤ２０９より構築される記憶部３９を有している。記憶部３９には警報画像ＤＢ３９１及び学習ＤＢ３９２が構築されている。これらＤＢは、情報処理装置３０が直接有していなくてもよく、情報処理装置３０がアクセス可能なネットワーク上の任意の場所にあればよい。

通信部３１は、カメラ装置１０から警報画像６を受信する。受信した警報画像６は警報画像ＤＢ３９１に記憶される。通信部３１は図４に示したＣＰＵ２０１がプログラム２０９ｐを実行してネットワーク・ドライバ２０５を制御すること等により実現される。

表示制御部３２は、警報原因の入力のため監視員７の操作により又は自動的に警報画像ＤＢ３９１に記憶された警報画像６をＬＣＤ２０６に表示する。表示制御部３２が表示する警報原因の入力画面の一例を図８に示す。表示制御部３２は、例えば図４に示したＣＰＵ２０１がプログラム２０９ｐを実行してグラフィックス・ドライバ２０４を制御すること等により実現される。

操作受付部３３は、情報処理装置３０に対する監視員７の操作を受け付ける。本実施形態では、ＬＣＤ２０６に表示した警報画像６に対する監視員７の警報原因の入力操作を受け付け、該警報画像６を入力された警報原因と対応付けて警報画像ＤＢ３９１に登録する。操作受付部３３は、例えば図４に示したＣＰＵ２０１がプログラム２０９ｐを実行して入力装置２１０を制御すること等により実現される。

警報原因推定部３４は、警報画像６から検知対象を識別する識別装置である。本実施形態ではこの警報原因推定部３４の認識率を向上させることが可能になる。警報原因推定部３４は、学習により構築された識別機能により、警報画像６に写っている検知対象の確度を検知対象ごとに算出する。警報原因推定部３４は各検知対象の確度を警報画像６に対応付けて警報画像ＤＢ３９１に記憶させる。警報原因推定部３４は、例えば図４に示したＣＰＵ２０１がプログラム２０９ｐを実行すること等により実現される。

学習画像自動抽出部３５は、警報画像ＤＢ３９１の警報画像６に対応付けて登録された各警報原因とその確度を読み出して、まず、確度が閾値ａ以上の警報画像６を学習ＤＢ３９２に移動する。また、監視員７が入力した警報原因の確度が閾値ｂ以上の警報画像６を学習ＤＢ３９２に移動させる。学習画像自動抽出部３５は、例えば図４に示したＣＰＵ２０１がプログラム２０９ｐを実行すること等により実現される。

表１は、警報画像ＤＢ３９１に記憶されている情報を模式的に示す。表１には警報画像６の画像番号に各警報原因の確度が対応付けられている。警報原因は、例えば、虫、鳥、小動物、及び、人等である。表１（ａ）は確度が閾値ａ以上の警報原因が写っている警報画像６を記憶する警報画像ＤＢ３９１を示す。表１（ｂ）は確度が閾値ａ以上の警報原因が写っている警報画像６を記憶せず、閾値ｂ以上の警報原因が写っている警報画像６を記憶する警報画像ＤＢ３９１を示す。一例として、監視員７が警報原因を入力することなく自動で警報画像６が学習ＤＢ３９２に記憶されるための閾値ａを０．７、監視員７が警報原因（例えば、小動物）を入力した場合に警報画像６が学習ＤＢ３９２に記憶されるための閾値ｂを０．３とする。閾値ａは警報原因が写っていることが９０〜１００％の確度に相当し、ほぼ間違いなく警報原因が写っている確度である。閾値ｂは警報原因が写っていることが５０〜９０％の確度に相当し、警報原因が写っていることは概ね当たるが完全ではない場合もある確度である。

表２は、学習ＤＢ３９２に記憶されている情報を模式的に示す。学習ＤＢ３９２には画像番号に対応付けて、警報原因とその確度が登録されている。表２（ａ）は表１（ａ）に対応し、表２（ｂ）（ｃ）は表１（ｂ）に対応する。表２（ａ）は、確度が閾値ａ以上の警報原因が写っている警報画像が格納された学習ＤＢ３９２を示す。表１（ａ）の警報画像ＤＢ３９１で確度が０．７以上なのは小動物という警報原因である。小動物という警報原因に着目すると閾値ｂ以上の確度を有するのは画像番号が１〜３の警報画像６なので、画像番号が１〜３の警報画像６が学習ＤＢ３９２に記憶されている。

表２（ｂ）は、監視員７が警報原因として小動物を入力し、確度が閾値ａ未満ｂ以上の警報原因が写っている警報画像６が格納された学習ＤＢ３９２を示す。表１（ｂ）では閾値が０．７以上の警報原因が検出されていないので、監視員７が警報原因を入力する。入力された警報原因が小動物の場合、表１（ｂ）の警報画像ＤＢ３９１で確度が０．３以上（０．７未満）で警報原因が小動物なのは画像番号が１〜３の警報画像６なので、画像番号が１〜３の警報画像６が警報原因「小動物」と対応付けて学習ＤＢ３９２に記憶されている。

表２（ｃ）は、監視員７が警報原因として人を入力したが、警報画像６が格納されなかった学習ＤＢ３９２を示す。表１（ｂ）では閾値が０．７以上の警報原因が検出されていないので、監視員７が警報原因を入力する。入力された警報原因が人の場合、表１（ｂ）の警報画像ＤＢ３９１で確度が０．３以上（０．７未満）で警報原因が人の警報画像６は存在しない。このため、学習ＤＢ３９２には警報画像６が記憶されない。これにより、監視員７が誤入力しても学習にふさわしくない警報画像６が抽出されることを抑制できる。

＜カメラ装置が描画する外接矩形＞
図６を用いて、カメラ装置１０が動体を検知した場合に警報画像６に描画する外接矩形について説明する。図６は、カメラ装置１０が警報画像６に描画した外接矩形３０１の一例を示す。この警報画像６では動体として人が検知されている。動体を囲むように外接矩形３０１が描画されている。監視員は外接矩形３０１に着目することで警報原因を早期に判断できる。

また、情報処理装置３０による警報原因の識別ではこの外接矩形３０１を利用して、外接矩形の３０１内部でのみ行うことができる。これにより、識別に要する時間を短縮し、負荷を軽減できる。

しかしながら、外接矩形３０１が警報原因を正しく囲んでいるとは限らないので、情報処理装置３０が警報画像６の全体を識別することも有効である。外接矩形３０１は、監視員７が警報原因の場所を把握しやすくためには有効であるが、画像処理による識別では認識率の向上の妨げになる場合がある。このため、情報処理装置３０が警報画像６の全体を識別する場合は、警報画像６から外接矩形３０１を削除することが好ましい。警報画像６に外接矩形３０１が直接、描画されている場合、外接矩形３０１の削除により画像の一部が無くなってしまうため、警報画像６とは別のレイヤに外接矩形３０１が描画されていることが好ましい。

＜確度について＞
図７を用いて、警報画像６の学習と確度について説明する。図７は学習のモデルの一例であるニューラルネットワークにおける多層パーセプトロンと呼ばれるモデルを示す。

図７（ａ）では学習フェーズを説明している。入力層５０１にはメッシュ状に区分された警報画像６の各領域画像が入力され、中間層５０２と出力層５０３の間で特徴量が算出されると共に、出力層５０３から検知対象の確度が出力される。図７では入力層５０１のノードの数は領域画像の数であり、出力層５０３のノードの数は検知対象の種類の数である。また、図７では、中間層５０２の数は１であるが、中間層５０２の数は適宜設計され、ディープラーニングと呼ばれる学習方法では１０〜２０以上となる場合もある。

入力層５０１に入力された領域画像はそれぞれ画像フィルタにより特徴抽出され、後段に行くほど領域画像が結合される。これにより、入力層５０１から出力層５０３に近づくほど、警報画像６の大域の特徴が抽出されるようになる。

学習フェーズにおいて出力層５０３の各ノードには、ノードに対応する検知対象が写っている場合に「１」がそれ以外の場合は「０」が教師信号として設定される。例えば、図７ではノードｙ１の検知対象が虫、ノードｙ２の検知対象が鳥、及び、ノードｙ３の検知対象が人である。入力された警報画像６の警報原因が「虫」なので、ノードｙ１に「１」が設定され、ノードｙ２とノードｙ３には「０」が設定されている。

出力層５０３のノードの値と教師信号の差は、誤差逆伝播法に基づき画像フィルタに伝播される。これにより、ディープラーニングでは警報画像の特徴の抽出に適した画像フィルタが自動的に最適化されるという特徴がある。したがって、ディープラーニングでは特徴の抽出を自動的に行うことができる。

図７（ｂ）は認識フェーズを説明している。図７（ｂ）のニューラルネットワークは警報画像６から写っている検知対象の確度を出力する。学習がある程度完了すると、入力層５０１から警報原因が写っている警報画像が入力された場合に、出力層５０３の各ノードは、警報原因に対応するノードから１に近い確度を出力し、それ以外のノードから０に近い確度を出力する。例えば、図７（ｂ）では入力される警報画像に警報原因として虫が写っているので、ノードｙ１が０．８を出力し、ノードｙ２が０．２を出力し、ノードｙ３が０．１を出力している。このようにして、１つの警報画像６から各検知対象の確度が得られる。

なお、図７のような学習方法又は確度の算出方法は一例に過ぎず、前段にディープラーニングを採用して特徴抽出し、後段にＳＶＭ（サポートベクターマシン）を採用して警報原因を識別してもよい。また、ＳＩＦＴ（Scale-Invariant Feature Transform）やＧＩＳＴなどで抽出した特徴量をＳＶＭに入力して警報原因を識別してもよい。

また、警報原因推定部３４が推定した確度以外に、警報原因の確からしさを算出する方法で確度と同等の情報を算出してもよい。しかし、警報原因推定部３４が推定した確度を利用することで、確度と同等の情報を算出する工程を省くことができる。

＜監視員７が入力する警報原因のユーザインタフェース＞
続いて、図８を用いて監視員７による警報原因の入力について説明する。図８は、ＬＣＤ２０６に表示される警報原因の入力画面４０１の一例である。警報原因の入力画面４０１は、カメラ装置１０から警報画像６が受信されると自動的に又は監視員７の操作により情報処理装置３０のＬＣＤ２０６に表示される。警報原因の入力画面４０１は、警報画像欄４１１、戻るボタン４１２、送るボタン４１３、画像番号表示欄４１４、複数の警報原因ボタン４１５、及び、ＯＫボタン４１６を有する。

警報画像欄４１１は警報画像６が表示される欄である。検知対象が検知された前後の複数の警報画像６が時系列に表示される。戻るボタン４１２は監視員７が１つ前の警報画像６を表示させるためのボタンであり、送るボタン４１３は監視員７が１つ後の警報画像６を表示させるためのボタンである。画像番号表示欄４１４は、現在、警報画像欄４１１に表示されている警報画像６が何枚中何枚目かを示す。警報原因ボタン４１５は、それぞれ虫、鳥、小動物、及び人という表記を有し、監視員７は警報画像欄４１１を見て警報原因を判断し警報原因ボタン４１５を押下する。ＯＫボタン４１６は監視員７の入力結果を確定するためのボタンであり、ＯＫボタン４１６の押下により学習ＤＢ３９２に抽出される警報画像６の抽出処理が開始される。

なお、監視員７は複数の警報画像６に対し１つの警報原因を入力すればよい。こうすることで、監視員７が警報原因を判断する負担を低減できる。

警報原因の入力画面４０１に閾値ａ以上の警報画像６が表示される必要はないが、監視員７が念のため確認することは差し支えない。このため、確度が閾値ａ以上の警報画像６が警報原因の入力画面４０１に表示されるかどうかは監視員７の設定により切り替え可能であることが好ましい。確度が閾値ａ以上の警報画像６が表示される場合はその旨（例えば、この画像は虫と判断され学習ＤＢに格納済です）を表示制御部３２が表示する。これにより、自分の判断を検証できる。あるいは、警報原因が正しくない場合は学習ＤＢから削除したりすることもできる。

＜学習ＤＢ３９２に抽出される警報画像＞
図９は、学習に用いられる警報画像６の抽出方法を説明する図の一例である。上記のように監視員７は複数の警報画像６に対し１つの警報原因を入力する。学習画像自動抽出部３５は、各警報画像６から監視員７が入力した警報原因の確度が閾値ｂ以上の警報画像６を抽出する。例えば、入力された警報原因が虫の場合を例にして説明する。

警報画像６１の虫の確度は閾値ｂ未満、警報画像６２の虫の確度は閾値ｂ以上、警報画像６３の虫の確度は閾値ｂ未満である。この場合、学習画像自動抽出部３５は、警報画像６２のみを抽出して学習ＤＢ３９２に格納する。

監視員７が警報画像６に写っている正しい警報原因を入力した場合、この警報原因の確度が高い警報画像６のみが抽出され学習に使用されるので、学習画像自動抽出部３５は複数の警報画像６のうち警報原因が写っている警報画像６を抽出できる。したがって、警報画像６と警報原因の関係を学習するために適切な警報画像６を抽出できる。

仮に、監視員７が警報画像６に写っていない誤った警報原因を入力した場合、この警報原因の確度が高い警報画像６は存在しないので、誤った警報原因が対応付けられた警報画像６は抽出されない。したがって、情報処理装置３０が警報画像６と警報原因の誤った関係を学習することを抑制できる。換言すると、監視員７の誤入力に対応できる。

具体的には、監視員７が警報画像６に写っている警報原因とは異なる警報原因を入力した場合は以下のように処理される。すなわち、警報画像６に写っている警報原因の確度が閾値ａ未満であり、監視員７が警報画像６に写っている警報原因とは異なる警報原因を入力した場合、警報画像６に写っている警報原因の確度が閾値ｂ以上でも、監視員７が入力した警報原因の確度は閾値ｂ未満となっていると考えられるので、学習ＤＢ３９２には格納されない。したがって、学習ＤＢ３９２に格納される警報画像は減る可能性があるが、情報処理装置３０が警報画像６と警報原因の誤った関係を学習することを抑制できる。

カメラ装置１０が撮像する警報画像は、低フレームレートのため、似た画像が存在しにくく、また、警報前後の数秒の画像であるため、警報原因が写っていない画像が多いという特徴がある。このため、警報原因が写っていない警報画像を排除することで学習による精度向上が見込める。

<<確度が安定しない警報画像の排除>>
このように警報原因の確度が高い警報画像が学習ＤＢ３９２に格納されることで、情報処理装置３０は警報画像６と警報原因の関係を学習できる。しかしながら、確度が高くても学習ＤＢ３９２には入れない方がよい警報画像６もあり得る。

図１０は複数の警報画像６から算出された各警報原因の確度のうち監視員７が入力した警報原因の確度を時系列に示す。この一連の警報画像６の確度は閾値ａ又はｂを超える場合があるが、確度が極度に大きく変動している。同じ警報原因の確度が極度に大きく変動することは考えにくく、警報原因推定部３４が正しく確度を算出できなかった可能性が高い。このような警報画像６は学習に用いられるべきではないので、学習画像自動抽出部３５は学習画像ＤＢに移動しないことが好ましい。

具体的には、各警報画像６の警報原因ごとに確度の分散を算出し、閾値を超えた分散を持つ警報画像６を学習ＤＢ３９２に移動しない。こうすることで、認識率を向上しやすくなる。

＜動作手順＞
図１１は、情報処理装置３０が警報画像６を抽出して学習ＤＢ３９２に格納する処理を説明するフローチャート図の一例である。

まず、情報処理装置３０の通信部３１は、検知対象が検知されたことによりカメラ装置１０から送信された複数の警報画像６を取得する（Ｓ１０）。複数の警報画像６は警報画像ＤＢ３９１に格納される。

次に、情報処理装置３０の警報原因推定部３４は各警報画像６に画像認識を施し、各警報原因の確度を算出する（Ｓ２０）。これにより、表１に示したように警報画像ＤＢ３９１には、警報画像６ごとに各警報原因の確度が登録される。

次に、情報処理装置３０の学習画像自動抽出部３５は、確度が閾値ａ以上の警報画像６があるか否かを判断する（Ｓ３０）。この確度は任意の警報原因が有する確度でよい。警報原因に関わらず確度が高い場合は警報原因が検知されていると判断してよいためである。

ステップＳ３０の判断がＹｅｓの場合、この警報画像６には警報原因が写っている可能性が高いので、学習画像自動抽出部３５は確度が閾値ａ以上であると判断された警報原因に着目してこの警報原因の確度が閾値ｂ以上の警報画像６を抽出し学習ＤＢ３９２に格納する（Ｓ４０）。例えば表１（ａ）の警報画像６で閾値ａ（０．７）以上の確度を有するのは小動物という警報原因である。よって、小動物の確度が閾値ｂ（０．３）以上である警報画像６が抽出される。表１（ａ）の警報画像６に対し表２（ａ）の学習ＤＢ３９２が作成され図１１の処理は終了する。閾値ａ以上の確度を有する警報原因は監視員７が確認しなくてもこの警報原因が警報画像６に写っていることがほぼ間違いないので、同じ警報原因の確度が閾値ｂ以上の警報画像６にも同じ警報原因が写っていると判断してよいためである。これにより、より多くの警報画像６を自動的に抽出できる。

ステップＳ３０の判断がＮｏの場合、警報原因の確度が閾値ａ以上の警報画像６がないので、操作受付部３３は監視員７の警報原因の入力を受け付ける（Ｓ５０）。すなわち、表示制御部３２は警報原因の入力画面４０１を表示して、監視員７が複数の警報画像６に対し１つの警報原因を入力する。

情報処理装置３０の学習画像自動抽出部３５は、監視員７が入力した警報原因の確度が閾値ｂ以上の警報画像６を抽出する（Ｓ６０）。こうすることで、学習に適切な警報画像６のみを抽出できる。

情報処理装置３０の学習画像自動抽出部３５は、抽出した警報画像６を学習ＤＢ３９２に格納する（Ｓ７０）。以上により、学習ＤＢ３９２に学習に適切な警報画像６のみが格納されたことになる。表１（ｂ）の警報画像６に対し監視員７が「小動物」という警報原因を入力した場合、表２（ｂ）の学習ＤＢ３９２が作成される。表１（ｂ）の警報画像６に対し監視員７が「人」という警報原因を入力した場合、表２（ｃ）の学習ＤＢ３９２が作成される。

このように、本実施例の画像処理システム１００は、高性能な識別装置を別途用意することなく、１つの識別装置で警報原因が写っている警報画像を自動的に抽出できる。

本実施例では学習ＤＢ３９２に格納された警報画像６を用いて学習することで得られた識別装置の更新について説明する。

図１２は、情報処理装置３０による識別装置の評価の概略を説明する図の一例である。まず、学習ＤＢ３９２には実施例１で抽出された警報画像６が格納されている。また、構成ＤＢ３９３は、現行の識別装置である警報原因推定部３４を構築するために利用された警報画像６を格納している。現行の警報原因推定部３４を警報原因推定部（現行）３４ｂと称し、新しい警報原因推定部３４を警報原因推定部（新）３４ａと称する。

（１）まず、学習部３６は構成ＤＢ３９３及び学習ＤＢ３９２の両方の警報画像６を用いて学習する。学習することで新しい警報原因推定部（新）３４ａを構築できる。

（２）評価部３７は、評価用画像ＤＢ３９４の評価用画像を用いて警報原因推定部（新）３４ａの性能を評価する。

（３）警報原因推定部（現行）３４ｂが認識できた評価用画像を、警報原因推定部（新）３４ａが認識できた場合、警報原因推定部（現行）３４ｂは警報原因推定部（新）３４ａで置き換えられる。

（４）置き換えた場合、学習ＤＢ３９２の警報画像６は構成ＤＢ３９３に移動され、置き換えられない場合、学習ＤＢ３９２の警報画像６は削除される。したがって、いずれの場合も学習ＤＢ３９２には警報画像６が残らない。

実施例１のように抽出した警報画像６で学習しても認識率が低下する可能性はゼロでないが、本実施例の更新方法では、警報原因推定部（現行）３４ｂが認識できた評価用画像は、警報原因推定部（新）３４ａでも認識できることが保証されるため、認識率が向上する場合にだけ警報原因推定部３４を更新できる。

＜画像処理システムの機能構成例＞
図１３は、本実施例の画像処理システム１００が備える各機能を図示した機能ブロック図の一例である。なお、図１３では警報原因推定部３４の更新に関する機能を説明する。また、図１３の説明において、図５において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する。

まず、カメラ装置１０の機能は図５から変更がない。これに対し、情報処理装置３０は学習部３６、警報原因推定部（新）３４ａ、評価部３７、警報原因推定部（現行）３４ｂ、及び、更新部３８を有している。また、記憶部３９には、学習ＤＢ３９２、構成ＤＢ３９３、及び、評価用画像ＤＢ３９４が構築されている。構成ＤＢ３９３は、警報原因推定部（現行）３４ｂを構築するために使用された警報画像６を記憶している。評価用画像ＤＢ３９４は警報原因推定部３４の性能を評価するために用意された評価用画像と、評価用画像に写っていることが検証された警報原因とを対応付けて記憶している。なお、評価用画像は、実際の警報画像６がシーン（監視場所８でどのような画像が撮像されるかに基づいて画像が分類されたもの）ごとに分類されたものであり、発生頻度が高いシーンほど多様な警報画像６が用意されている。したがって、実際の警報画像６の認識率を評価しやすい。

学習部３６は、学習ＤＢ３９２と構成ＤＢ３９３の警報画像６を取得して、ニューラルネットワーク、ＳＶＭ、ディープラーニングなどの機械学習の手法で、警報画像６に検知対象が写っている確度を算出する算出方法（学習モデルという場合がある）を学習する。教師信号は、閾値ａ以上の警報画像６では警報原因推定部（現行）３４ｂが推定した警報原因であり、閾値ａ以上の確度がない警報画像６では監視員７が入力した警報原因である。

警報原因推定部（新）３４ａは、学習部３６が学習ＤＢ３９２と構成ＤＢ３９３の警報画像６で学習して生成した識別装置である。警報原因推定部（新）３４ａは警報画像６の入力に対し、各警報原因の確度を算出する。

警報原因推定部（現行）３４ｂは、現行の警報原因推定部３４である。警報原因推定部（現行）３４ｂは図５の警報原因推定部３４に相当する。

評価部３７は、警報原因推定部（新）３４ａの性能を評価して、警報原因推定部（新）３４ａの性能が警報原因推定部（現行）３４ｂよりも向上したか否かを判断する。例えば、警報原因推定部（新）３４ａと警報原因推定部（現行）３４ｂのそれぞれで評価用画像ＤＢ３９４の評価用画像から警報原因を識別する処理を行う。

更新部３８は、警報原因推定部（現行）３４ｂを警報原因推定部（新）３４ａで更新する。

＜識別装置の更新の判断＞
警報原因推定部（現行）３４ｂを警報原因推定部（新）３４ａで更新するか否かの判断方法は２つある。それぞれを説明する。
Ａ．正しく識別できたか否かに基づく判断
図１４を用いて警報原因推定部３４の性能の評価について説明する。図１４は、警報原因推定部（現行）３４ｂと警報原因推定部（新）３４ａのそれぞれで評価用画像を識別した際の識別結果を示す。図１４では、「○」が正しく識別できたことを示し、「×」が正しく識別できないことを示す。正しく識別できるとは、評価用画像に添付された警報原因を閾値１以上で検出できることをいう。また、正しく識別できないとは、評価用画像に添付された警報原因を閾値１未満で検出することをいう。閾値１は例えば閾値ａに相当する。

図１４（ａ）は警報原因推定部３４が更新される場合の評価結果である。評価用画像１（画像番号１）は、警報原因推定部（現行）３４ｂと警報原因推定部（新）３４ａのどちらでも正しく識別されている。評価用画像２（画像番号２）は、警報原因推定部（現行）３４ｂでは正しく識別できないが、警報原因推定部（新）３４ａでは正しく識別されている。評価用画像３（画像番号３）は、警報原因推定部（現行）３４ｂと警報原因推定部（新）３４ａのどちらでも正しく識別できない。このように、図１４（ａ）では警報原因推定部（現行）３４ｂが正しく識別できた評価用画像を警報原因推定部（新）３４ａも正しく識別できるため、評価部３７は性能が向上したと判断する。

なお、本実施例の性能とは主に認識率をいう。この認識率には、警報画像６に写っている警報原因を識別できること、及び、警報画像６に写っていない警報原因を識別しないことが含まれる。

図１４（ｂ）は警報原因推定部３４が更新されない場合の評価結果である。評価用画像１（画像番号１）は、警報原因推定部（現行）３４ｂで正しく識別できたが、警報原因推定部（新）３４ａでは正しく識別できない。一方、評価用画像２（画像番号２）と評価用画像３（画像番号３）は、警報原因推定部（現行）３４ｂでは正しく識別できないが、警報原因推定部（新）３４ａでは正しく識別できる。このように、警報原因推定部（現行）３４ｂが正しく識別できた評価用画像を１つでも警報原因推定部（新）３４ａが正しく識別できない場合、評価部３７は性能が向上したと判断しない。こうすることで、警報原因推定部３４の性能が向上したことを保証できる。

しかしながら、評価用画像ＤＢ３９４の全体の評価用画像の認識率が向上した場合に、性能が向上したと判断してもよい。

Ｂ．確度が向上したか否かに基づく判断
図１５を用いて確度に基づく警報原因推定部３４の性能の評価について説明する。図１５は、警報原因推定部（現行）３４ｂと警報原因推定部（新）３４ａのそれぞれで評価用画像を識別した際の確度を示す。この確度は、評価用画像に添付されている警報原因の確度である。したがって、警報原因推定部（現行）３４ｂよりも警報原因推定部（新）３４ａの方が高いことが望まれる。

図１５（ａ）は警報原因推定部３４が更新される場合の評価結果である。評価用画像１〜３（画像番号１〜３）の全てで、警報原因推定部（現行）３４ｂよりも警報原因推定部（新）３４ａの確度の方が大きくなっている。このように、図１５（ａ）では全ての評価用画像の警報原因の確度において警報原因推定部（現行）３４ｂよりも警報原因推定部（新）３４ａの方が高いため、評価部３７は性能が向上したと判断する。

図１５（ｂ）は警報原因推定部３４が更新されない場合の評価結果である。これに対し図１５（ｂ）では、評価用画像２、３（画像番号２，３）では警報原因推定部（現行）３４ｂよりも警報原因推定部（新）３４ａの確度の方が大きくなっているが、評価用画像１（画像番号１）では警報原因推定部（現行）３４ｂよりも警報原因推定部（新）３４ａの確度の方が低くなっている。

警報原因推定部（新）３４ａの確度が警報原因推定部（現行）３４ｂの確度よりも低い評価用画像が１つでも見つかる場合、評価部３７は性能が向上したと判断しない。こうすることで、警報原因推定部３４の性能が向上したことを保証できる。

しかしながら、警報原因推定部（新）３４ａの確度の平均と警報原因推定部（新）３４ａの確度の平均を比較して、警報原因推定部（新）３４ａの確度の平均の方が高ければ性能が向上したと判断してもよい。

＜動作手順＞
図１６は、情報処理装置３０が警報原因推定部３４の性能を評価して更新するか否かを判断する手順を示すフローチャート図の一例である。図１６の処理は定期的に実行されてもよいし、一定量の警報画像６が学習ＤＢ３９２に格納された場合に実行されてもよい。

まず、学習部３６は、学習ＤＢ３９２と構成ＤＢ３９３の警報画像６を用いて学習することで、警報原因推定部（新）３４ａを構築する（Ｓ１１０）。

次に、評価部３７は、警報原因推定部（新）３４ａを用いて評価用画像の識別を行う（Ｓ１２０）。警報原因推定部（現行）３４ｂを用いた評価用画像の識別を行ってもよいが、警報原因推定部（現行）３４ｂの識別結果は前回の評価時のものを利用すればよい。

評価部３７は、図１４、図１５にて説明したように警報原因推定部（新）３４ａの性能が警報原因推定部（現行）３４ｂよりも向上した否かを判断する（Ｓ１３０）。

ステップＳ１３０の判断がＹｅｓの場合、更新部３８は警報原因推定部（現行）３４ｂを警報原因推定部（新）３４ａで更新する（Ｓ１４０）。なお、警報原因推定部（現行）３４ｂは破棄してもよいし保存しておいてもよい。

そして、更新部３８は学習ＤＢ３９２の警報画像６を構成ＤＢ３９３に移動させる（Ｓ１５０）。このように性能向上をもたらす警報画像６を構成ＤＢ３９３に蓄積することができる。

ステップＳ１３０の判断がＮｏの場合、更新部３８は学習ＤＢ３９２の警報画像６を削除する（Ｓ１６０）。したがって、性能向上をもたらさない警報画像６が学習ＤＢ３９２に残ることを防止できる。

以上説明したように、本実施例の画像処理システム１００は、学習ＤＢ３９２に格納された警報画像６を用いて警報原因推定部（識別装置）の性能を向上させることができる。警報原因推定部（識別装置）の性能を評価するので、学習によって発生しうる認識性能の低下を抑制しながら改善できる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

本実施形態では画像を識別して警報原因が判断されたが、情報処理装置３０は音を識別して警報原因を判断することも可能である。この場合、カメラ装置１０は音を集音するマイク等を有している。検知対象が発する音データは警報画像と共に情報処理装置３０に送信される。情報処理装置は音データがどのような音であるか（音原因）識別することができる。例えば、鍵の操作、ドアの開閉、人声、動物の声、ガラスの破壊音、等を識別する。音の認識率を向上させるため、同様に確度が閾値ａ以上の音データは学習ＤＢ３９２に格納される。それ以外の音データを監視員が聞き取り音の内容を判断し音原因を入力する。入力された音原因の確度が閾値ｂ以上の音データが学習ＤＢ３９２に格納される。したがって、音データに関しても識別される。

また、図２のシステム構成図ではカメラ装置１０と情報処理装置３０が別体であるが、カメラ装置１０と情報処理装置３０は一体でもよい。この場合、カメラ装置１０は単体で画像を識別でき、警報原因を出力できる。また、カメラ装置１０は単体で性能を向上できる。この場合、カメラ装置１０は以下のように動作する。
（１）警報原因が識別できなかった場合は警報画像を監視センター９に送信する。
（２）監視員７が警報原因を入力する。前述と同様の手順で学習ＤＢ３９２に警報画像と警報原因を格納する。
（３）学習の結果性能が向上した警報原因推定部（新）をカメラ装置１０に送信し、カメラ装置１０が内部の警報原因推定部（現行）を更新する。

また、図２のシステム構成図において、監視センター９はクライアントサーバの構成であってもよい。監視員７はＰＣなどの端末を操作して情報処理装置３０と通信し、警報原因の入力を行う。また、この場合、情報処理装置３０は監視センター９になくクラウド上にあってもよい。

また、図５、１３などの構成例は、カメラ装置１０と情報処理装置３０による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。カメラ装置１０と情報処理装置３０の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、図５、１３では情報処理装置３０が一台であるが、同じ情報処理装置３０が複数台、存在してもよいし、複数の情報処理装置３０に図５、１３の機能が分散されていてもよい。

なお、通信部３１は画像取得手段の一例であり、警報原因推定部（現行）３４ｂは第一の識別手段の一例であり、表示制御部３２は表示処理手段の一例であり、操作受付部３３は受付手段の一例であり、学習画像自動抽出部３５は画像抽出手段の一例であり、学習部３６は識別手段構築手段の一例であり、警報原因推定部（新）３４ａは第二の識別手段の一例であり、評価部３７は評価手段の一例であり、更新部３８は更新手段の一例である。学習ＤＢ３９２は画像記憶部の一例である。

６ ：警報画像
７ ：監視員
１０ ：カメラ装置
３０ ：情報処理装置
３１ ：通信部
３２ ：表示制御部
３３ ：操作受付部
３４ ：警報原因推定部
３５ ：学習画像自動抽出部
３６ ：学習部
３７ ：評価部
３８ ：更新部
１００ ：画像処理システム

Claims (9)

1. 撮像装置が撮像した画像から予め定められた警報原因を識別する画像処理システムであって、
   前記撮像装置から前記画像を取得する画像取得手段と、
   前記画像に写っている、警報原因である検知対象の確度を検知対象ごとに算出し、前記画像に写っている前記警報原因を識別する第一の識別手段と、
   前記画像を表示装置に表示する表示処理手段と、
   前記表示装置に表示された前記警報原因のリストから前記画像に写っている前記警報原因の入力を受け付ける受付手段と、
   前記受付手段が入力を受け付けた前記警報原因について前記第一の識別手段が算出した該警報原因が識別される確度が第一の閾値以上の場合、前記画像を画像記憶部に格納する画像抽出手段と、
   前記画像記憶部に記憶されている前記画像を用いて第二の識別手段を構築する識別手段構築手段と、
   を有する画像処理システム。
2. 前記画像取得手段は、異常が検出された時刻の前後を含む複数の前記画像を前記撮像装置から取得し、
   前記受付手段は、複数の前記画像に対し１つの前記警報原因の入力を受け付け、
   前記画像抽出手段は、複数の前記画像のうち前記受付手段が受け付けた前記警報原因の確度が前記第一の閾値以上の前記画像を全て前記画像記憶部に記憶させる請求項１に記載の画像処理システム。
3. 前記画像抽出手段は、前記第一の識別手段が識別した複数の前記画像に前記警報原因の確度が前記第一の閾値より大きい第二の閾値以上の前記画像が含まれる場合、
   前記第二の閾値以上の確度を有する前記警報原因の確度が前記第一の閾値以上である前記画像を前記第二の閾値以上の確度を有する前記警報原因と対応付けて前記画像記憶部に記憶させる請求項１又は２に記載の画像処理システム。
4. 複数の前記画像に前記確度の変動が極度に大きい前記画像がある場合、前記確度が前記第一の閾値以上でも、前記画像抽出手段は、前記確度の変動が極度に大きい前記画像を前記画像記憶部に記憶させない請求項１〜３のいずれか１項に記載の画像処理システム。
5. 前記第二の識別手段と前記第一の識別手段の性能を評価する評価手段と、
   前記第二の識別手段の性能が前記第一の識別手段よりも向上していると前記評価手段が評価した場合、前記第一の識別手段を前記第二の識別手段で更新する更新手段と、
   を有する請求項１〜４のいずれか１項に記載の画像処理システム。
6. 前記評価手段は、
   前記第一の識別手段で識別できた前記画像の全てを前記第二の識別手段で識別できた場合、前記第二の識別手段の性能が前記第一の識別手段よりも向上していると評価する請求項５に記載の画像処理システム。
7. 前記評価手段は、
   前記第二の識別手段で前記画像を識別した際の確度が、前記第一の識別手段で前記画像を識別した際の確度よりも全ての前記画像において高い場合、前記第二の識別手段の性能が前記第一の識別手段よりも向上していると評価する請求項５に記載の画像処理システム。
8. 撮像装置が撮像した画像から予め定められた警報原因を識別する情報処理装置であって
   、
   前記撮像装置から前記画像を取得する画像取得手段と、
   前記画像に写っている、警報原因である検知対象の確度を検知対象ごとに算出し、前記画像に写っている前記警報原因を識別する第一の識別手段と、
   前記画像を表示装置に表示する表示処理手段と、
   前記表示装置に表示された前記警報原因のリストから前記画像に写っている前記警報原因の入力を受け付ける受付手段と、
   前記受付手段が入力を受け付けた前記警報原因について前記第一の識別手段が算出した該警報原因が識別される確度が第一の閾値以上の場合、前記画像を画像記憶部に格納する画像抽出手段と、
   前記画像記憶部に記憶されている前記画像を用いて第二の識別手段を構築する識別手段構築手段と、を有する情報処理装置。
9. 撮像装置が撮像した画像から予め定められた警報原因を識別する情報処理装置を、
   前記撮像装置から前記画像を取得する画像取得手段と、
   前記画像に写っている、警報原因である検知対象の確度を検知対象ごとに算出し、前記画像に写っている前記警報原因を識別する第一の識別手段と、
   前記画像を表示装置に表示する表示処理手段と、
   前記表示装置に表示された前記警報原因のリストから前記画像に写っている前記警報原因の入力を受け付ける受付手段と、
   前記受付手段が入力を受け付けた前記警報原因について前記第一の識別手段が算出した該警報原因が識別される確度が第一の閾値以上の場合、前記画像を画像記憶部に格納する画像抽出手段と、
   前記画像記憶部に記憶されている前記画像を用いて第二の識別手段を構築する識別手段構築手段、として機能させるためのプログラム。

Images