JP6733765B1 - 処理装置、処理方法及びプログラム - Google Patents

Abstract

【課題】従来にない手法で不審者を検出する技術を提供する。【解決手段】本発明は、画像から検出された人物の複数種類の特徴量を抽出する画像解析部１１と、抽出された特徴量に基づき、複数の人物各々の特徴量を記憶した記憶部１３に検出された人物のデータが記憶されているか判断する登録管理部１２と、検出された人物のデータが記憶されていると判断された場合、記憶部１３に記憶されている特徴量と、抽出された特徴量とに基づき、検出された人物の外観の変化の有無を判断する変化判断部１４と、外観の変化が有ると判断された人物を通知する通知部１５とを有する処理装置１０を提供する。【選択図】図２

Description

本発明は、処理装置、処理方法及びプログラムに関する。

特許文献１は、画像に映る人物を追跡して動線を算出し、算出した動線と、異常行動を示す動線とを照合することで、異常行動を行う不審者を検出する技術を開示している。

特開２００６−２３６２５５号公報

不審者の特徴は、特許文献１に開示されている動線異常に限らず、各種存在する。不審者検出に利用できる特徴の種類が増加すれば、不審者の検出精度が向上する。本発明は、従来にない手法で不審者を検出する技術を提供することを課題とする。

本発明によれば、
画像から検出された人物の複数種類の特徴量を抽出する画像解析手段と、
抽出された前記特徴量に基づき、複数の人物各々の前記特徴量を記憶した記憶部に前記検出された人物のデータが記憶されているか判断する登録管理手段と、
前記検出された人物のデータが記憶されていると判断された場合、前記記憶部に記憶されている前記特徴量と、抽出された前記特徴量とに基づき、前記検出された人物の外観の変化の有無を判断する変化判断手段と、
を有し、
前記登録管理手段は、
複数種類の特徴量の中の少なくとも１つにおいて、類似度が閾値Ｆ以上、又は、
複数種類の特徴量の中の２つ以上において、類似度が閾値Ｌ以上、
を満たす人物の特徴量が前記記憶部に記憶されている場合、前記検出された人物のデータが前記記憶部に記憶されていると判断し、
閾値Ｆ及びＬは特徴量の種類ごとに定められ、ＦはＬより大きい処理装置が提供される。

また、本発明によれば、
コンピュータが、
画像から検出された人物の複数種類の特徴量を抽出し、
抽出された前記特徴量に基づき、複数の人物各々の前記特徴量を記憶した記憶部に前記検出された人物のデータが記憶されているか判断し、
前記検出された人物のデータが記憶されていると判断された場合、前記記憶部に記憶されている前記特徴量と、抽出された前記特徴量とに基づき、前記検出された人物の外観の変化の有無を判断し、
前記検出された人物のデータが前記記憶部に記憶されているか否かの判断において、
複数種類の特徴量の中の少なくとも１つにおいて、類似度が閾値Ｆ以上、又は、
複数種類の特徴量の中の２つ以上において、類似度が閾値Ｌ以上、
を満たす人物の特徴量が前記記憶部に記憶されている場合、前記検出された人物のデータが前記記憶部に記憶されていると判断し、
閾値Ｆ及びＬは特徴量の種類ごとに定められ、ＦはＬより大きい処理方法が提供される。

また、本発明によれば、
コンピュータを、
画像から検出された人物の複数種類の特徴量を抽出する画像解析手段、
抽出された前記特徴量に基づき、複数の人物各々の前記特徴量を記憶した記憶部に前記検出された人物のデータが記憶されているか判断する登録管理手段、
前記検出された人物のデータが記憶されていると判断された場合、前記記憶部に記憶されている前記特徴量と、抽出された前記特徴量とに基づき、前記検出された人物の外観の変化の有無を判断する変化判断手段、
として機能させ、
前記登録管理手段は、
複数種類の特徴量の中の少なくとも１つにおいて、類似度が閾値Ｆ以上、又は、
複数種類の特徴量の中の２つ以上において、類似度が閾値Ｌ以上、
を満たす人物の特徴量が前記記憶部に記憶されている場合、前記検出された人物のデータが前記記憶部に記憶されていると判断し、
閾値Ｆ及びＬは特徴量の種類ごとに定められ、ＦはＬより大きいプログラムが提供される。

本発明によれば、従来にない手法で不審者を検出する技術が実現される。

本実施形態の処理装置のハードウエア構成の一例を示す図である。 本実施形態の処理装置の機能ブロック図の一例である。 本実施形態の処理装置が処理する情報の一例を模式的に示す図である。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の処理システムの機能ブロック図の一例である。 本実施形態の処理装置が出力する情報の一例を模式的に示す図である。 本実施形態の処理装置が出力する情報の一例を模式的に示す図である。

本発明者は、不審者の特徴の１つである「外観の変化」に着目した。例えば、変装による外観の変化（顔の変化、体型の変化、服装の変化、所持物の変化等）や、服の中に何かを隠すことによる外観の変化（体型の変化、歩容の変化、所持物の変化等）や、不審物を放置することによる外観の変化（所持物の変化等）等が例示される。本実施形態の処理装置は、画像に映る不特定多数の人物の中から、外観が変化した人物を検出する機能を有する。以下、詳細に説明する。

まず、処理装置のハードウエア構成の一例について説明する。処理装置が備える各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

図１は、処理装置のハードウエア構成を例示するブロック図である。図１に示すように、処理装置は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。処理装置は周辺回路４Ａを有さなくてもよい。なお、処理装置は物理的及び／又は論理的に分かれた複数の装置で構成されてもよいし、物理的及び／又は論理的に一体となった１つの装置で構成されてもよい。処理装置が物理的及び／又は論理的に分かれた複数の装置で構成される場合、複数の装置各々が上記ハードウエア構成を備えることができる。

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサー、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク、物理ボタン、タッチパネル等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

次に、処理装置１０の機能構成を説明する。図２は、処理装置１０の機能ブロック図の一例を示す。図示するように、処理装置１０は、画像解析部１１と、登録管理部１２と、記憶部１３と、変化判断部１４と、通知部１５とを有する。なお、処理装置１０は記憶部１３を有さなくてもよい。この場合、処理装置１０と通信可能に構成された外部装置が、記憶部１３を備える。

画像解析部１１は、画像から人物を検出し、検出された人物の複数種類の特徴量を抽出する。複数種類の特徴量は画像から検出できるものであり、例えば、顔の特徴量、体型の特徴量、服装の特徴量、歩容の特徴量、所持物の特徴量等が例示されるがこれらに限定されない。画像から人物を検出する手段、及び、これら特徴量を抽出する手段は広く知られているので、ここでの説明は省略する。

登録管理部１２は、画像解析部１１により抽出された特徴量に基づき、複数の人物各々の特徴量を記憶した記憶部１３に、画像解析部１１により検出された人物のデータが記憶されているか判断する。そして、登録管理部１２は、画像解析部１１により検出された人物のデータが記憶部１３に記憶されていないと判断した場合、画像解析部１１により検出された人物各々を識別する検出人物識別情報（例：通番）を新たに発行し、新たに発行した検出人物識別情報と画像解析部１１により抽出された特徴量とを対応付けて記憶部１３に登録する。

図３に、記憶部１３が記憶する情報の一例を模式的に示す。図示する例では、検出人物識別情報と、検出日時と、画像解析部１１による画像解析で抽出された各人物の特徴量とが互いに対応付けて登録されている。検出日時は、登録されている特徴量を抽出した画像の撮影日時である。

ここで、登録管理部１２が、画像解析部１１により検出された人物のデータが記憶部１３に記憶されているか判断する手法を説明する。登録管理部１２は、画像解析部１１により抽出された特徴量と、記憶部１３に記憶されている複数の人物各々の特徴量との類似度に基づき、上記判断を行うことができる。以下、当該判断の具体例を説明する。

例えば、以下の検索条件１乃至検索条件３のいずれかである検索条件、または、以下の検索条件１乃至検索条件３の中の任意の２つ以上を論理和で繋いだ検索条件が、記憶部１３に記憶されていてもよい。

そして、登録管理部１２は、その検索条件を満たす人物（対象人物）のデータが記憶部１３に記憶されている場合、画像解析部１１により検出された人物のデータが記憶部１３に記憶されていると判断し、その検索条件を満たす人物のデータが記憶部１３に記憶されていない場合、画像解析部１１により検出された人物のデータが記憶部１３に記憶されていないと判断してもよい。

（検索条件１）「所定種類の特徴量において、画像解析部１１により抽出された特徴量との類似度が登録判定閾値以上」

検索条件１の具体例は、例えば以下の検索条件１−１乃至検索条件１−６の中の何れかである。
（検索条件１−１）「顔の特徴量において、画像解析部１１により抽出された特徴量との類似度が登録判定閾値Ｆ１以上」
（検索条件１−２）「体型の特徴量において、画像解析部１１により抽出された特徴量との類似度が登録判定閾値Ｆ２以上」
（検索条件１−３）「歩容の特徴量において、画像解析部１１により抽出された特徴量との類似度が登録判定閾値Ｆ３以上」
（検索条件１−４）「服装の特徴量において、画像解析部１１により抽出された特徴量との類似度が登録判定閾値Ｆ４以上」
（検索条件１−５）「所持物の特徴量において、画像解析部１１により抽出された特徴量との類似度が登録判定閾値Ｆ５以上」
（検索条件１−６）「（検索条件１−１）乃至（検索条件１−５）の中の任意の２つ以上を論理和で繋いだ条件」

登録判定閾値Ｆ１乃至Ｆ５は、各種特徴量に応じた値とすることができる。なお、ここでは顔、体型、歩容、服装、所持物を用いた具体例を示したが、その他の種類の特徴量を利用する場合も同様にして検索条件を作成することができる。

（検索条件２）「所定の２種以上の特徴量の全てにおいて、画像解析部１１により抽出された特徴量との類似度が各種特徴量毎に指定された登録判定閾値以上」

検索条件２の具体例は、以下の検索条件２−１乃至検索条件２−５の中の任意の２つ以上を論理積で繋いだものである。

（検索条件２−１）「顔の特徴量において、画像解析部１１により抽出された特徴量との類似度が登録判定閾値Ｌ１（Ｌ１＜Ｆ１）以上」
（検索条件２−２）「体型の特徴量において、画像解析部１１により抽出された特徴量との類似度が登録判定閾値Ｌ２（Ｌ２＜Ｆ２）以上」
（検索条件２−３）「歩容の特徴量において、画像解析部１１により抽出された特徴量との類似度が登録判定閾値Ｌ（Ｌ３＜Ｆ３）以上」
（検索条件２−４）「服装の特徴量において、画像解析部１１により抽出された特徴量との類似度が登録判定閾値Ｌ４（Ｌ４＜Ｆ４）以上」
（検索条件２−５）「所持物の特徴量において、画像解析部１１により抽出された特徴量との類似度が登録判定閾値Ｌ５（Ｌ５＜Ｆ５）以上」

また、検索条件２の他の具体例は、上記検索条件２−１乃至検索条件２−５を異なる組み合わせでかつ論理積で繋いだ複数の条件を、論理和で繋いだものである。

登録判定閾値Ｌ１乃至Ｌ５は、各種特徴量に応じた値とすることができる。なお、ここでは顔、体型、歩容、服装、所持物を用いた具体例を示したが、その他の種類の特徴量を利用する場合も同様にして検索条件を作成することができる。

（検索条件３）「複数種類の特徴量各々における画像解析部１１により抽出された特徴量との類似度に基づき算出された類似スコアがスコア閾値以上」

登録管理部１２は、記憶部１３に記憶されている複数の人物のデータ各々に対して、類似スコア算出するための以下の処理１乃至処理３を実行する。

（処理１）「複数種類の特徴量各々において、画像解析部１１により抽出された特徴量との類似度を算出する」
（処理２）「各種特徴量毎に算出した類似度と、各種特徴量毎に予め指定された重み係数との積を算出する」
（処理３）「各種特徴量毎に算出した類似度と重み係数の積を足し合わせて類似スコアを算出する」

なお、人物を識別できる精度がより高い特徴量の重み係数がより大きくなる。例えば、重み係数の大小は、「顔の特徴量」＞「体型の特徴量」＞「歩容の特徴量」＞「服装の特徴量」＞「所持物の特徴量」となる。

図２に戻り、変化判断部１４は、画像解析部１１により検出された人物のデータが記憶部１３に記憶されていると判断された場合、記憶部１３に記憶されている特徴量と、画像解析部１１により抽出された特徴量とに基づき、検出された人物の外観の変化の有無を判断する。

変化判断部１４は、複数種類の特徴量の中の少なくとも１種類の特徴量において、画像解析部１１により抽出された特徴量（画像解析部１１により検出された人物の特徴量）と、記憶部１３に記憶されているその人物の特徴量との類似度が変化検出閾値未満である場合、その人物の外観の変化が有ったと判断する。一方、変化判断部１４は、複数種類の特徴量の中の全ての特徴量において、画像解析部１１により抽出された特徴量（画像解析部１１により検出された人物の特徴量）と、記憶部１３に記憶されているその人物の特徴量との類似度が変化検出閾値以上である場合、その人物の外観の変化がないと判断する。

変化検出閾値は、各種特徴量毎に指定することができる。なお、各種特徴量の変化検出閾値は、各種特徴量の登録判定閾値より大きくてもよい。

なお、登録管理部１２が上記検索条件１を満たす人物のデータが記憶部１３に記憶されていることにより、画像解析部１１により検出された人物のデータが記憶部１３に記憶されていると判断した場合、変化判断部１４は、第１の種類（類似度が登録判定閾値以上だった種類）と異なる第２の種類の特徴量に基づき、検出された人物の外観の変化の有無を判断することができる。すなわち、変化判断部１４は、第２の種類の特徴量において、画像解析部１１により抽出されたその人物の特徴量と、記憶部１３に記憶されているその人物の特徴量との類似度が変化検出閾値未満であるか判断することで、その人物の外観の変化の有無を判断する。このように、検索条件１に基づき、画像解析部１１により検出された人物のデータが記憶部１３に記憶されていると判断された場合には、第１の種類と異なる第２の種類の特徴量に基づき、外観の変化の有無を判断できる。

また、登録管理部１２が上記検索条件２又は３を満たす人物のデータが記憶部１３に記憶されていることにより、画像解析部１１により検出された人物のデータが記憶部１３に記憶されていると判断した場合、変化判断部１４は、複数種類の特徴量の全てに基づき、検出された人物の外観の変化の有無を判断することができる。すなわち、変化判断部１４は、複数種類の特徴量各々において、画像解析部１１により抽出されたその人物の特徴量と、記憶部１３に記憶されているその人物の特徴量との類似度が変化検出閾値未満であるか判断することで、その人物の外観の変化の有無を判断する。このように、検索条件２又は３に基づき、画像解析部１１により検出された人物のデータが記憶部１３に記憶されていると判断された場合には、複数種類の特徴量の全てに基づき、外観の変化の有無を判断できる。

通知部１５は、外観の変化が有ると判断された人物を通知する。例えば、通知部１５は、外観の変化が有ると判断された人物のリストを作成し、出力してもよい。図８に、当該リストの一例を模式的に示す。図示するように、当該リストは、外観の変化があると判断された人物の変化前後の情報及び変化内容を示す情報を含んでもよい。変化前後の情報は、変化前後の画像や、各画像の撮影日時及び撮影場所等の情報を含んでもよい。画像は静止画像であってもよいし、動画像であってもよい。例えば、通知部１５は、歩容等のように、静止画像ではその内容を把握できない種類の特徴が変化した場合、変化前後の情報として、動画像をリストに含めてもよい。そして、通知部１５は、顔、体型、服装、所持物等のように、静止画像でその内容を把握できる種類の特徴が変化した場合、変化前後の情報として、静止画像をリストに含めてもよい。リストの出力は、ディスプレイ、投影装置、プリンター、メーラ等のあらゆる出力装置を介して実現される。

その他、画像解析部１１、登録管理部１２及び変化判断部１４がリアルタイム処理で上述した処理を実行している場合、通知部１５は、ある人物の外観の変化が有ったと変化判断部１４が判断すると、それに応じて、オペレータに警告する警告処理を実行してもよい。警告処理は、スピーカを介した警告音の出力、ディスプレイへの警告情報の表示、投影装置による警告情報の投影、メーラによる所定の通知先への警告情報の送信、警告ランプの点灯等が例示されるが、これらに限定されない。例えば、通知部１５は、図９に示すように、カメラが撮影した画像をリアルタイムに表示するディスプレイにおいて、警告情報を表示してもよい。図示するように、通知部１５は、外観の変化があると判断された人物に対応付けて、変化前の情報及び変化内容を示す情報を含んでもよい。変化前の情報は、変化前の画像や、その画像の撮影日時及び撮影場所等の情報を含んでもよい。画像は静止画像であってもよいし、動画像であってもよい。例えば、通知部１５は、歩容等のように、静止画像ではその内容を把握できない種類の特徴が変化した場合、変化前の情報の中に動画像を含めてもよい。そして、通知部１５は、顔、体型、服装、所持物等のように、静止画像でその内容を把握できる種類の特徴が変化した場合、変化前の情報の中に静止画像を含めてもよい。

なお、通知部１５による通知手段は上記例に限定されず、その他の手段を採用することもできる。

次に、図４のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。

画像解析部１１は、処理対象の画像を取得すると（Ｓ１０１）、画像から人物を検出し（Ｓ１０２）、検出した人物の複数種類の特徴量を抽出する（Ｓ１０３）。画像解析部１１は、カメラが生成した画像をリアルタイム処理で取得してもよい。

その後、登録管理部１２は、Ｓ１０３で抽出された特徴量に基づき記憶部１３を検索し、Ｓ１０２で検出された人物のデータが記憶部１３に記憶されているか確認する（Ｓ１０４）。ここで、Ｓ１０４の処理の流れの一例を、図５のフローチャートを用いて説明する。

まず、Ｓ２０１では、登録管理部１２は、上述した検索条件１を満たす人物のデータが記憶部１３に記憶されているか確認する。検索条件１を満たす人物のデータが記憶部１３に記憶されている場合（Ｓ２０１のＹｅｓ）、登録管理部１２は、Ｓ１０２で検出された人物のデータが記憶部１３に記憶されていると判断する（Ｓ２０４）。一方、検索条件１を満たす人物のデータが記憶部１３に記憶されていない場合（Ｓ２０１のＮｏ）、登録管理部１２は、Ｓ２０２に進む。

Ｓ２０２では、登録管理部１２は、上述した検索条件２を満たす人物のデータが記憶部１３に記憶されているか確認する。検索条件２を満たす人物のデータが記憶部１３に記憶されている場合（Ｓ２０２のＹｅｓ）、登録管理部１２は、Ｓ１０２で検出された人物のデータが記憶部１３に記憶されていると判断する（Ｓ２０４）。一方、検索条件２を満たす人物のデータが記憶部１３に記憶されていない場合（Ｓ２０２のＮｏ）、登録管理部１２は、Ｓ２０３に進む。

Ｓ２０３では、登録管理部１２は、上述した検索条件３を満たす人物のデータが記憶部１３に記憶されているか確認する。検索条件３を満たす人物のデータが記憶部１３に記憶されている場合（Ｓ２０３のＹｅｓ）、登録管理部１２は、Ｓ１０２で検出された人物のデータが記憶部１３に記憶されていると判断する（Ｓ２０４）。一方、検索条件３を満たす人物のデータが記憶部１３に記憶されていない場合（Ｓ２０３のＮｏ）、登録管理部１２は、Ｓ１０２で検出された人物のデータが記憶部１３に記憶されていないと判断する（Ｓ２０５）。

なお、ここでは、検索条件１乃至検索条件３を論理和で繋いだ検索条件に基づき、Ｓ１０２で検出された人物のデータが記憶部１３に記憶されているか判断する例を説明したが、上述の通り、検索条件１乃至検索条件３のいずれかを検索条件としてもよいし、検索条件１乃至検索条件３の中の任意の２つを論理和で繋いだものを検索条件としてもよい。また、検索条件１乃至３の適用順は、図５に示す例に限定されない。

図４に戻り、Ｓ１０２で検出された人物のデータが記憶部１３に記憶されていないと判断された場合（Ｓ１０５のＮｏ）、登録管理部１２は、Ｓ１０３で抽出された特徴量を記憶部１３に登録する。すなわち、登録管理部１２は、新たな検出人物識別情報を発行し、新たに発行した検出人物識別情報とＳ１０３で抽出された特徴量とを対応付けて、記憶部１３に記憶させる。その後、処理装置１０は、処理を終了する入力なければ（Ｓ１０９のＮｏ）、Ｓ１０１に戻って処理を繰り返す。

一方、Ｓ１０２で検出された人物のデータが記憶部１３に記憶されていると判断された場合（Ｓ１０５のＹｅｓ）、変化判断部１４は、記憶部１３に記憶されている特徴量と、Ｓ１０３で抽出された特徴量とに基づき、Ｓ１０２で検出された人物の外観の変化の有無を判断する（Ｓ１０６）。ここで、Ｓ１０６の処理の流れの一例を、図６のフローチャートを用いて説明する。

まず、変化判断部１４は、Ｓ１０２で検出された人物のＳ１０３で抽出された特徴量と、Ｓ１０２で検出された人物の記憶部１３に記憶されている特徴量との類似度を、各種特徴量毎に算出する（Ｓ３０１）。次いで、変化判断部１４は、各種特徴量毎に算出した類似度と、各種特徴量毎に指定された変化検出閾値とを大小比較する（Ｓ３０２）。

そして、類似度が変化検出閾値未満である特徴量がある場合（Ｓ３０３のＹｅｓ）、変化判断部１４は、Ｓ１０２で検出された人物の外観の変化があると判断する（Ｓ３０４）。一方、類似度が変化検出閾値未満である特徴量がない場合（Ｓ３０３のＮｏ）、変化判断部１４は、Ｓ１０２で検出された人物の外観の変化がないと判断する（Ｓ３０５）。

なお、Ｓ１０４及びＳ１０５において、登録管理部１２が検索条件１（第１の種類の特徴量において、画像解析部１１により抽出された特徴量との類似度が登録判定閾値以上）を満たす人物のデータが記憶部１３に記憶されていることにより、画像解析部１１により検出された人物のデータが記憶部１３に記憶されていると判断した場合、変化判断部１４は、第１の種類と異なる第２の種類の特徴量各々の類似度に基づき、図６の処理を行ってもよい。すなわち、第１の種類の特徴量は、登録管理部１２による処理により十分に類似していることが確認済みなので、図６の処理の対象から外してもよい。このようにすれば、コンピュータの処理負担を軽減できる。

図４に戻り、Ｓ１０２で検出された人物の外観の変化があると判断された場合（Ｓ１０７のＹｅｓ）、通知部１５はその人物をオペレータに通知する（Ｓ１０８）。例えば、通知部１５は、スピーカを介した警告音の出力、ディスプレイへの警告情報の表示、投影装置による警告情報の投影、メーラによる所定の通知先への警告情報の送信、警告ランプの点灯等を実行する。上記警告情報には、外観の変化が有ると判断された人物の画像（例：外観の変化前後の画像）が含まれてもよい。その後、処理装置１０は、処理を終了する入力なければ（Ｓ１０９のＮｏ）、Ｓ１０１に戻って処理を繰り返す。

なお、Ｓ１０２で検出された人物の外観の変化がないと判断された場合（Ｓ１０７のＮｏ）、処理装置１０は、処理を終了する入力なければ（Ｓ１０９のＮｏ）、Ｓ１０１に戻って処理を繰り返す。

次に、図７に、処理装置１０を含む処理システムの機能ブロック図の一例を示す。図示するように、処理システムは、処理装置１０と、複数のカメラ２０とを有する。処理装置１０と複数のカメラ２０とは有線及び／又は無線で互いに接続し、通信可能になっている。処理装置１０は、複数のカメラ２０各々から、各カメラ２０が生成した画像を取得する。

なお、本明細書において、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置が他の装置や記憶媒体に格納されているデータを取りに行くこと（能動的な取得）」、たとえば、他の装置にリクエストまたは問い合わせして受信すること、他の装置や記憶媒体にアクセスして読み出すこと等、および、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置に他の装置から出力されるデータを入力すること（受動的な取得）」、たとえば、配信（または、送信、プッシュ通知等）されるデータを受信すること、また、受信したデータまたは情報の中から選択して取得すること、及び、「データを編集（テキスト化、データの並び替え、一部データの抽出、ファイル形式の変更等）などして新たなデータを生成し、当該新たなデータを取得すること」の少なくともいずれか一方を含む。

カメラ２０は、動画像又は所定時間毎に静止画像を生成し、生成した画像を処理装置１０に送信する。カメラ２０は、生成した画像をリアルタイム処理で処理装置１０に送信してもよいし、バッチ処理で処理装置１０に送信してもよい。

複数のカメラ２０は、同一の施設内に設置されてもよい。施設は、駅、空港、ビル、公園、ショッピングモール等が例示されるが、これらに限定されない。ある施設にカメラ２０を設定することで、処理装置１０は、その施設に入場した人物のデータを記憶部１３に記憶させ、その施設にいる間に外観が変化した人物を検出することができる。

例えば、複数のカメラ２０の中の１台は、ある施設の出入口に設置され、当該施設に入場する人を撮影してもよい。このようにすれば、施設に入場する人のデータを漏らさず記憶部１３に登録できる確率が高くなる。また、複数のカメラ２０の中の１台は、その施設内のトイレや更衣室等、不審者が外観を変化させる場所として選択する可能性が高い場所の出入口に設置され、そこから出てくる人を撮影してもよい。このようにすれば、高い確率で、外観が変化した人を撮影し、変化判断部１４による判断の対象とすることができる。

ここで、本実施形態の変形例を説明する。登録管理部１２は、画像解析部１１により検出された人物のデータが記憶部１３に記憶されているか判断する処理において、記憶部１３に記憶されている複数の人物全てのデータを照合対象としてもよいし、一部のデータを照合対象としてもよい。一部のデータを照合対象とする場合、登録管理部１２は、検出日時（図３参照）に基づき、照合対象とするデータを絞り込んでもよい。例えば、登録管理部１２は、「検出日時からの経過時間が基準時間以内の人物のデータ」や、「検出日が登録管理部１２による判断の処理日と同日である人物のデータ」等を、照合対象としてもよい。

処理装置１０の他の変形例を説明する。処理装置１０は、通知部１５を有さなくてもよい。この場合であっても、処理装置１０は、少なくとも、画像から検出された人物の複数種類の特徴量を抽出し（画像解析部１１）、抽出された特徴量に基づき、複数の人物各々の特徴量を記憶した記憶部１３に検出された人物のデータが記憶されているか判断し（登録管理部１２）、検出された人物のデータが記憶されていると判断された場合、記憶部１３に記憶されている特徴量と、抽出された特徴量とに基づき、検出された人物の外観の変化の有無を判断する（変化判断部１４）機能を備える。

以上、説明した本実施形態の処理装置１０によれば、画像に映る不特定多数の人物の中から、外観が変化した人物を検出することができる。このため、処理装置１０によれば、例えば、変装により外観が変化（顔の変化、体型の変化、服装の変化、所持物の変化等）した不審者や、服の中に何かを隠すことにより外観が変化（体型の変化、歩容の変化、所持物の変化等）した不審者や、不審物を放置することによる外観が変化（所持物の変化等）した不審者等を、画像に映る不特定多数の人物の中から検出することが可能となる。

一例として、処理装置１０によれば、空港の税関のトイレ等で服の中に何かを隠すことで、体型や歩容が変化した不審者を、画像に映る不特定多数の人物の中から検出することができる。また、処理装置１０によれば、駅等で不審物を放置した不審者を、画像に映る不特定多数の人物の中から検出することができる。また、処理装置１０によれば、ショッピングモール等において、試着室で商品を試着後、試着したまま立ち去ることで体型や服装が変化した不審者を、画像に映る不特定多数の人物の中から検出することができる。また、処理装置１０によれば、マスクをつけて別人になりすました不審者を、画像に映る不特定多数の人物の中から検出することができる。また、処理装置１０によれば、靴の中に不審物を隠すことで歩容が変化した不審者を、画像に映る不特定多数の人物の中から検出することができる。

また、本実施形態の処理装置１０によれば、事前に登録していない人の不正行動を既存の映像解析の組み合わせから可能になる。

以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限定されない。
１． 画像から検出された人物の複数種類の特徴量を抽出する画像解析手段と、
抽出された前記特徴量に基づき、複数の人物各々の前記特徴量を記憶した記憶部に前記検出された人物のデータが記憶されているか判断する登録管理手段と、
前記検出された人物のデータが記憶されていると判断された場合、前記記憶部に記憶されている前記特徴量と、抽出された前記特徴量とに基づき、前記検出された人物の外観の変化の有無を判断する変化判断手段と、
を有する処理装置。
２． １に記載の処理装置において、
外観の変化が有ると判断された人物を通知する通知手段をさらに有する処理装置。
３． １又は２に記載の処理装置において、
前記登録管理手段は、前記検出された人物のデータが記憶されていないと判断した場合、抽出された前記特徴量を前記記憶部に登録する処理装置。
４． １から３のいずれかに記載の処理装置において、
前記登録管理手段は、第１の種類の前記特徴量において、抽出された前記特徴量との類似度が閾値以上である対象人物のデータが前記記憶部に記憶されている場合、前記検出された人物のデータが記憶されていると判断し、
前記変化判断手段は、前記第１の種類と異なる第２の種類の前記特徴量に基づき、前記検出された人物の外観の変化の有無を判断する処理装置。
５． １から４のいずれかに記載の処理装置において、
前記登録管理手段は、２種以上の前記特徴量の全てにおいて、抽出された前記特徴量との類似度が各種特徴量毎に指定された登録判定閾値以上である対象人物のデータが前記記憶部に記憶されている場合、前記検出された人物の前記人物情報が記憶されていると判断し、
前記変化判断手段は、複数種類の前記特徴量の中の少なくとも１種類の前記特徴量において、前記対象人物のデータが含む特徴量と抽出された前記特徴量との類似度が各種特徴量毎に指定された変化検出閾値未満である場合、前記検出された人物の外観の変化が有ったと判断し、
前記各種特徴量の前記変化検出閾値は、前記登録判定閾値より大きい処理装置。
６． １から５のいずれかに記載の処理装置において、
前記登録管理手段は、
前記記憶部に記憶されている複数の人物のデータ各々に対して、
複数種類の前記特徴量各々において、抽出された前記特徴量との類似度を算出し、
各種特徴量毎に算出した前記類似度と、各種特徴量毎に指定された重み係数との積を算出し、
各種特徴量毎に算出した積を足し合わせて類似スコアを算出し、
前記類似スコアが前記スコア閾値以上である対象人物のデータが前記記憶部に記憶されている場合、前記検出された人物の前記人物情報が記憶されていると判断し、
前記変化判断手段は、
複数種類の前記特徴量の中の少なくとも１種類の前記特徴量において、前記対象人物のデータが含む特徴量と抽出された前記特徴量との類似度が各種特徴量毎に指定された変化検出閾値未満である場合、前記検出された人物の外観の変化が有ったと判断する処理装置。
７． コンピュータが、
画像から検出された人物の複数種類の特徴量を抽出し、
抽出された前記特徴量に基づき、複数の人物各々の前記特徴量を記憶した記憶部に前記検出された人物のデータが記憶されているか判断し、
前記検出された人物のデータが記憶されていると判断された場合、前記記憶部に記憶されている前記特徴量と、抽出された前記特徴量とに基づき、前記検出された人物の外観の変化の有無を判断する処理方法。
８． コンピュータを、
画像から検出された人物の複数種類の特徴量を抽出する画像解析手段、
抽出された前記特徴量に基づき、複数の人物各々の前記特徴量を記憶した記憶部に前記検出された人物のデータが記憶されているか判断する登録管理手段、
前記検出された人物のデータが記憶されていると判断された場合、前記記憶部に記憶されている前記特徴量と、抽出された前記特徴量とに基づき、前記検出された人物の外観の変化の有無を判断する変化判断手段、
として機能させるプログラム。

１Ａ プロセッサ
２Ａ メモリ
３Ａ 入出力Ｉ／Ｆ
４Ａ 周辺回路
５Ａ バス
１０ 処理装置
１１ 画像解析部
１２ 登録管理部
１３ 記憶部
１４ 変化判断部
１５ 通知部

Claims (8)

1. 画像から検出された人物の複数種類の特徴量を抽出する画像解析手段と、
   抽出された前記特徴量に基づき、複数の人物各々の前記特徴量を記憶した記憶部に前記検出された人物のデータが記憶されているか判断する登録管理手段と、
   前記検出された人物のデータが記憶されていると判断された場合、前記記憶部に記憶されている前記特徴量と、抽出された前記特徴量とに基づき、前記検出された人物の外観の変化の有無を判断する変化判断手段と、
   を有し、
   前記登録管理手段は、
   複数種類の特徴量の中の少なくとも１つにおいて、類似度が閾値Ｆ以上、又は、
   複数種類の特徴量の中の２つ以上において、類似度が閾値Ｌ以上、
   を満たす人物の特徴量が前記記憶部に記憶されている場合、前記検出された人物のデータが前記記憶部に記憶されていると判断し、
   閾値Ｆ及びＬは特徴量の種類ごとに定められ、ＦはＬより大きい処理装置。
2. 請求項１に記載の処理装置において、
   外観の変化が有ると判断された人物を通知する通知手段をさらに有する処理装置。
3. 請求項１又は２に記載の処理装置において、
   前記登録管理手段は、前記検出された人物のデータが記憶されていないと判断した場合、抽出された前記特徴量を前記記憶部に登録する処理装置。
4. 請求項１から３のいずれか１項に記載の処理装置において、
   前記登録管理手段は、第１の種類の前記特徴量において、抽出された前記特徴量との類似度が閾値以上である対象人物のデータが前記記憶部に記憶されている場合、前記検出された人物のデータが記憶されていると判断し、
   前記変化判断手段は、前記第１の種類と異なる第２の種類の前記特徴量に基づき、前記検出された人物の外観の変化の有無を判断する処理装置。
5. 請求項１から４のいずれか１項に記載の処理装置において、
   前記登録管理手段は、２種以上の前記特徴量の全てにおいて、抽出された前記特徴量との類似度が各種特徴量毎に指定された登録判定閾値以上である対象人物のデータが前記記憶部に記憶されている場合、前記検出された人物のデータが記憶されていると判断し、
   前記変化判断手段は、複数種類の前記特徴量の中の少なくとも１種類の前記特徴量において、前記対象人物のデータが含む特徴量と抽出された前記特徴量との類似度が各種特徴量毎に指定された変化検出閾値未満である場合、前記検出された人物の外観の変化が有ったと判断し、
   前記各種特徴量の前記変化検出閾値は、前記登録判定閾値より大きい処理装置。
6. 請求項１から５のいずれか１項に記載の処理装置において、
   前記登録管理手段は、
   前記記憶部に記憶されている複数の人物のデータ各々に対して、
   複数種類の前記特徴量各々において、抽出された前記特徴量との類似度を算出し、
   各種特徴量毎に算出した前記類似度と、各種特徴量毎に指定された重み係数との積を算出し、
   各種特徴量毎に算出した積を足し合わせて類似スコアを算出し、
   前記類似スコアがスコア閾値以上である対象人物のデータが前記記憶部に記憶されている場合、前記検出された人物のデータが記憶されていると判断し、
   前記変化判断手段は、
   複数種類の前記特徴量の中の少なくとも１種類の前記特徴量において、前記対象人物のデータが含む特徴量と抽出された前記特徴量との類似度が各種特徴量毎に指定された変化検出閾値未満である場合、前記検出された人物の外観の変化が有ったと判断する処理装置。
7. コンピュータが、
   画像から検出された人物の複数種類の特徴量を抽出し、
   抽出された前記特徴量に基づき、複数の人物各々の前記特徴量を記憶した記憶部に前記検出された人物のデータが記憶されているか判断し、
   前記検出された人物のデータが記憶されていると判断された場合、前記記憶部に記憶されている前記特徴量と、抽出された前記特徴量とに基づき、前記検出された人物の外観の変化の有無を判断し、
   前記検出された人物のデータが前記記憶部に記憶されているか否かの判断において、
   複数種類の特徴量の中の少なくとも１つにおいて、類似度が閾値Ｆ以上、又は、
   複数種類の特徴量の中の２つ以上において、類似度が閾値Ｌ以上、
   を満たす人物の特徴量が前記記憶部に記憶されている場合、前記検出された人物のデータが前記記憶部に記憶されていると判断し、
   閾値Ｆ及びＬは特徴量の種類ごとに定められ、ＦはＬより大きい処理方法。
8. コンピュータを、
   画像から検出された人物の複数種類の特徴量を抽出する画像解析手段、
   抽出された前記特徴量に基づき、複数の人物各々の前記特徴量を記憶した記憶部に前記検出された人物のデータが記憶されているか判断する登録管理手段、
   前記検出された人物のデータが記憶されていると判断された場合、前記記憶部に記憶されている前記特徴量と、抽出された前記特徴量とに基づき、前記検出された人物の外観の変化の有無を判断する変化判断手段、
   として機能させ、
   前記登録管理手段は、
   複数種類の特徴量の中の少なくとも１つにおいて、類似度が閾値Ｆ以上、又は、
   複数種類の特徴量の中の２つ以上において、類似度が閾値Ｌ以上、
   を満たす人物の特徴量が前記記憶部に記憶されている場合、前記検出された人物のデータが前記記憶部に記憶されていると判断し、
   閾値Ｆ及びＬは特徴量の種類ごとに定められ、ＦはＬより大きいプログラム。

Images