図1から図19に基づいて、本発明の実施形態に係る画像認証システムおよび当該システムを実現する画像認証方法、および画像認証プログラムについて説明する。
〔第一実施形態〕
〔概略説明〕
本実施形態に係る画像認証システム100は、図2に示すように、監視対象エリアRを撮像して監視画像Pを取得するカメラ24(撮像部の一例)と、監視画像Pに含まれる撮像対象(例えば、店舗へ入場する人である入場者H)を認証する画像認証サーバであるサーバ1と、サーバ1が認証した認証結果などを表示する表示端末3と、で構成されている。サーバ1は、監視対象(例えば、窃盗常習犯T)の情報である登録情報F(登録認証情報の一例、図14から図16参照)が登録画像データベースとして記憶された登録情報記憶部51を有している。
画像認証システム100は、撮像対象として、人や車などの物体を対象としうる。以下では、画像認証システム100が、店舗や建物などに入場する人である入場者Hから窃盗常習犯Tを検知して店舗の監視者A(図3、図4参照)に通知して警戒行動を促し、窃盗常習犯Tによる窃盗を未然防止するインテリジェントセキュリティシステムである場合を例示して説明する。また、以下では、撮像対象が入場者Hであり、監視対象が窃盗常習犯Tである場合を例示して説明する。
画像認証システム100は、サーバ1、撮像端末2、および表示端末3が連携し、監視対象エリアRを撮像して監視画像Pを取得する撮像ステップと、監視画像Pを記憶する監視画像記憶ステップと、監視画像Pに含まれる入場者Hの特徴画像を入力特徴画像43として切出すと共に、入力特徴画像43と、監視画像Pを特定する画像特定情報と、監視画像Pにおける入力特徴画像43の切出し位置を特定する位置情報と、を含む入力画像データ43dを生成する特徴画像切出ステップと、入力画像データ43dと予め記憶された窃盗常習犯Tの登録画像データベース(登録情報記憶部51、図1参照)とを照合し、登録画像データベースに該当する入力画像データ43dを検出画像データXとして検出する照合ステップと、照合ステップによる照合の結果、検出画像データXが検出された場合に、検出画像データXに基づいて特定される監視画像Pの入力特徴画像43を含む少なくとも一部と入力特徴画像43の位置とを表示する表示ステップと、を実行するようになっている。
なお、画像認証システム100は、監視対象エリアRを撮像して取得された監視画像Pを記憶している撮像端末2とこれら監視画像Pを表示するための表示端末3との間の情報処理をコンピュータに実行させるための画像認証プログラムの実行により実現される。
この画像認証プログラムは、撮像端末2の監視画像Pに含まれる撮像対象の特徴画像を入力特徴画像43として切出すと共に、入力特徴画像43と、監視画像Pを特定する画像特定情報と、監視画像Pにおける入力特徴画像43の切出し位置を特定する位置情報と、を含む入力画像データ43dを生成する特徴画像切出処理と、入力画像データ43dと予め記憶された監視対象の登録画像データベースとを照合し、登録画像データベースに該当する入力画像データ43dを検出画像データXとして検出する照合処理と、当該照合処理による照合の結果、検出画像データXが検出された場合に、検出画像データXに基づいて特定される監視画像Pの入力特徴画像43を含む少なくとも一部と入力特徴画像43の位置とを表示端末3に表示させる表示処理と、を備えている。
〔詳細説明〕
〔用語および定義の説明〕
本実施形態における店舗とは、スーパーやコンビニエンスストアなどの小規模小売店や、デパートや百貨店などの総合小売店、ショッピングモールやショッピングセンタなどの商業地域などを含む。また、建物には、会社施設、市役所や小学校、幼稚園などの公共施設を包含する。
図2に示すように、入場者Hとは、店舗に入場する人物であって、画像認証システム100にて認証を受ける人物である。入場者Hは、画像認証システム100ないし監視者A(図3、図4参照)の監視対象の候補である。入場者Hには窃盗常習犯Tが含まれる。
窃盗常習犯Tとは、サーバ1の登録情報記憶部51(図1参照)に登録されている人物である。また、窃盗常習犯Tは、画像認証システム100ないし監視者Aの監視対象とされた人物である。
以下で言及する顔データとは、顔画像の画像情報(つまり情報化されたもの)またはその特徴量であり、入力特徴画像43の概念に含まれる。なお、顔画像とは、人物の顔をカメラ等で撮影した画像である。特徴量とは、顔画像における人物の顔の特徴を数値化した量である。特徴量の例示としては例えば、目や鼻や口などの形や、目間距離、目と鼻の距離、輪郭の情報や、メガネの有無、髪型、およびこれらから判断できる、性別の情報を数値化したものである。以下では、顔画像の画像情報またはその特徴量のいずれかもしくは両方を含めて、単に顔データと称する。
〔システム構成の説明〕
上述のごとく、画像認証システム100は、図1、図2に示すように、サーバ1、撮像端末2、および表示端末3を含んで構成されている。サーバ1、撮像端末2、および表示端末3は、電気通信回線のネットワークN(例えば、ローカルエリアネットワークや、インターネット)で双方向通信可能に接続されており、一体的に連携して動作できるようになっている。サーバ1は、ネットワークNを介して、複数の撮像端末2と接続されている。また、サーバ1は、ネットワークNを介して、複数の表示端末3と接続されている。表示端末3は、ネットワークNを介して、複数の撮像端末2と接続されている。画像認証システム100は、さらに報知機9を含んで構成されている。
画像認証システム100は、複数の撮像端末2と、複数の表示端末3と、一つのサーバ1とが一個のドメインを形成し、当該ドメイン内のサーバ1と、撮像端末2と、表示端末3とがそれぞれ通信可能になっている。以下では、一つの撮像端末2と、一つの表示端末3と、一つのサーバ1とが通信する場合を例示して説明するが、撮像端末2や表示端末3は一つの場合に限られない。
画像認証システム100として、複数の撮像端末2と、複数の表示端末3と、報知機9とが、ネットワークNとしてのイントラネットに接続されている場合を例示して説明する。また、サーバ1は、ネットワークNとしてのインターネットに接続されている場合を例示して説明する。また、表示端末3等が接続されたイントラネットは、インターネットと双方向通信可能に接続されている場合を例示して説明している。また、イントラネット内の通信は、インターネットを介する通信よりも容易に大容量通信が可能で、また、通信コストが低廉である場合を例示して説明している。
〔撮像端末の説明〕
撮像端末2は、カメラ24などを備えた静止画や動画を撮影して記録する装置である。撮像端末2は、図2に示すように、監視対象エリアRを撮像する位置に設置されている。撮像端末2は、監視対象エリアRとして設定した店舗の入口扉の入口周囲を撮像するように設置される。これにより、撮像端末2は、入口扉から店舗内に入場する入場者Hの顔等を撮像する。撮像端末2は、表示端末3が接続されたイントラネット(ネットワークNの一部)と同じイントラネットに接続されている。このイントラネットは、上述のごとく、インターネット(ネットワークNの一部)と双方向通信可能に接続されている。
撮像端末2は、図1に示すように、撮像側中央制御部20と、監視対象エリアRを撮像して監視画像Pを取得するカメラ24と、監視画像Pを記憶する撮像側記憶部26(監視画像記憶部の一例)と、ネットワークNと通信する撮像側通信部29とを備えている。
撮像端末2は、図1、図2に示すように、例えば、ネットワーク機能を有するハードディスクレコーダ(撮像側記憶部26)の画像入力インタフェースにカメラ24を接続し、さらに当該ハードディスクレコーダを、撮像側通信部29を介してネットワークNに接続した一連のシステムである。
撮像側通信部29は、撮像端末2をネットワークNと接続する通信インタフェースである。撮像側通信部29は、ネットワークNとの物理的ないし電気的な接続インタフェースとしての役割と共に、通信のプロトコル制御を行う場合もある。撮像側通信部29の機能としては、いわゆるLANカードなどのようなネットワークNとのインタフェース機能と共に、ルーターやゲートウェイなどの通信制御やプロトコル変換の機能を包含することができる。
カメラ24は、CCDセンサやCMOSセンサなどを有する撮像ユニットである。カメラ24は、撮像端末2の監視対象エリアRを通過する入場者Hの顔を含めて撮影し監視画像Pを取得する。カメラ24は、監視対象エリアRを、一定の間隔で、連続して静止画として監視画像Pを撮像している。そしてカメラ24は、各々の監視画像Pが時系列で配列された動画のデータとして撮像側記憶部26に記憶している。つまり、監視画像Pは、カメラ24が撮像した動画のワンフレームである。
以下では、カメラ24が撮像した動画のワンフレーム(ある時点での静止画)を監視画像Pとして説明する。画像認証システム100においては、下記で説明する監視画像Pに対して行われる処理や操作などが、時系列で配列された監視画像Pに対して時系列で適応される。なお、画像認証システム100のカメラ24は動画を撮像する場合に限られない。
撮像側中央制御部20は、撮像端末2の動作を制御する機能部である。撮像側中央制御部20は、例えば、各種の処理を実現するためのソフトウェアプログラムと、該ソフトウェアプログラムを実行するCPUと、当該CPUによって制御される各種ハードウェア等によって構成されている。
撮像側中央制御部20は、カメラ24、撮像側記憶部26および撮像側通信部29などへ動作の指示を出力し、カメラ24と、撮像側記憶部26および撮像側通信部29などから情報を取得する。撮像側中央制御部20は、撮像側通信部29を介して監視画像Pもしくは監視画像Pを包含する動画の送信要求を取得して受け付けると、送信要求に対応する監視画像Pもしくは監視画像Pおよび監視画像Pの前後の画像を撮像側記憶部26から読み出して、監視画像Pを撮像側通信部29を介して送信する。以下では、監視画像Pおよび監視画像Pの前後の画像として、監視画像Pおよび監視画像Pの前後所定時間の動画(以下では監視動画45と称する)を、監視動画データ45dとして送信する場合を例示して説明する。
撮像側中央制御部20は、例えば、表示端末3へ監視画像Pもしくは監視動画45を送信する要求をサーバ1から受け付ける。また、撮像側中央制御部20は、表示端末3へ監視画像Pを送信する要求をその表示端末3から受け付ける場合もある。以下、撮像側中央制御部20が、表示端末3へ監視動画45を送信する要求をその表示端末3から受け付ける場合を説明する。なお、以下では、監視画像Pもしくは監視動画45を送信する要求のいずれの場合も包含して、監視画像を送信する要求、と称する場合がある。監視画像Pや監視動画45を包括して、単に監視画像と称する場合がある。
撮像側中央制御部20は、撮像側制御部21と、切出部22(特徴画像切出部の一例)とを有する。
撮像側制御部21は、監視画像Pから入場者Hの顔画像を検出する機能部である。撮像側制御部21は人の顔の構造的な特徴(例えば両目間の距離、目と鼻と口の距離)などに基づいて、監視画像Pにおける入場者Hの顔画像を検出する。撮像側制御部21は、撮像側中央制御部20において、顔を検出するためのプログラムの実行により実現される。
切出部22は、監視画像Pに含まれる入場者Hの顔画像の切り出しなどを行う。切出部22は、撮像側制御部21が入場者Hの顔を検出すると、監視画像Pから入場者Hの顔を含む画像範囲を切り出して、入力特徴画像43とし、入力特徴画像43の画像情報を含む入力画像データ43dを生成する。
切出部22は、撮像側中央制御部20において、顔を含む画像範囲を切り出すためのプログラムの実行により実現される。当該プログラムには、撮像端末2の監視画像Pに含まれる撮像対象の特徴画像を入力特徴画像43として切出すと共に、入力特徴画像43と、監視画像Pを特定する画像特定情報と、監視画像Pにおける入力特徴画像43の切出し位置を特定する位置情報と、を含む入力画像データ43dを生成する特徴画像切出処理が含まれている。
なお、切出部22が入場者Hの顔画像を切り出すことで、入力画像データ43dの情報量(いわゆる、バイトなどを単位とする量)を削減することができる。これにより、後述するサーバ1とのインターネットを介した通信を、高速かつ低廉なコストで実現することができる。
切出部22は、入力画像データ43dに、監視画像Pを特定する情報(画像特定情報と称する)を含ませる。また、切出部22は、入力特徴画像43が、監視画像Pにおけるどの画像範囲であるかを特定する位置情報を入力画像データ43dに含ませる。
また、監視画像Pにおけるどの画像範囲であるかを特定する位置情報が入力画像データ43dに含まれるため、登録画像データベースに該当する入力画像データ43dである検出画像データXにも、入力特徴画像43が、監視画像Pにおけるどの画像範囲であるかを特定する位置情報が含まれることになる。したがって、検出画像データXに含まれる位置情報に基づいて、入力特徴画像43が、監視画像Pにおけるどの画像範囲であるかを特定することが可能となる。
切出部22が入力画像データ43dに含ませる画像特定情報としては、例えば、監視画像Pを撮像した時刻(撮像時刻)の情報が挙げられる。時刻の情報とは、例えば、日時、時分の情報である。また、画像特定情報に含む情報は、監視画像Pを含む動画の撮影を開始してからの経過時間でもよい。また、動画は静止画を経時的に配列したものであるから、先頭画像からの連番(いわゆる、フレーム番号)でもよい。撮像端末2は複数存在する場合は、撮像端末2を特定する情報(例えば、撮像端末2に固有のID番号やカメラ24の設置場所に係る情報)も含みうる。以下では、画像特定情報として、撮像時刻とカメラ24の設置場所に係る情報を含む場合を例示して説明する。
切出部22が入力画像データ43dに含ませる位置情報として、例えば、監視画像Pの画素における座標情報を含むことができる。切出部22が入力画像データ43dに含ませる位置情報としては、図11に示すように、入場者Hの顔画像における両目Eの座標や、図12に示すように、顔Kの輪郭を包含する範囲が含まれる矩形の四隅の座標情報(例えば、位置p1から位置p4の座標)などが挙げられる。座標情報として、顔画像における両目Eの座標を含む場合を説明している。
人の顔のディメンジョンは、通常、所定の比率に定まる。そのため、図11に示すように、画像中における目の位置(座標)を特定すれば、当該画像中における顔画像の範囲を推定することができる。顔画像の位置(顔画像の範囲)を例えば矩形の内側として特定すべく矩形の四隅の四点の座標情報(例えば、図12に示すp1からp4)で表現する場合に比べて、目の座標情報を用いる場合は二点の座標を特定すれば足りるため、情報量を削減できる。
切出部22は、入力画像データ43dを生成すると、撮像側通信部29に送信指令を発して、入力画像データ43dをサーバ1に送信させる。入力画像データ43dは上述のごとく情報量を削減されているため、サーバ1への送信は高速かつ低廉なコストで実現することができる。
入力画像データ43dをサーバ1に送信する際、撮像側通信部29は、入力画像データ43dを、分離できない一つの情報群として送信する。例えば、入力画像データ43dを、JPEG(ジェイペグ、Joint Photographic Experts Group)フォーマットの画像データとし、当該画像データのメタデータの一つとして、監視画像Pを特定する画像特定情報や、監視画像Pにおけるどの画像範囲であるかを特定する位置情報を含ませる。これにより、入力画像データ43dに含まれる情報を、常に一体に管理して、情報の取り違いや、情報の欠落を防止することができる。また、この結果、画像認証システム100の情報セキュリティも高まるため有益である。
入力画像データ43dは、例えば図13に示すように、情報区分i01のヘッダ情報から開始し、情報区分in(ただしnは3以上の整数)のフッタ情報で終了する一群の情報パッケージ(フォーマット)に含めて送信することができる。
図13に図示する例では、情報区分in-1に入力特徴画像43の画像情報を包含している。情報区分in-2には、画像特定情報を包含している。情報区分in-2には、位置情報も包含している。なお、画像特定情報と位置情報とは、それぞれ別の情報区分に包含してもよい。
図5に図示したフローチャートを参照しつつ、撮像端末2の動作を説明する。以下では、各ステップを#123などと記載する。#記号の直後の数字が、各ステップの通し番号に相当する。たとえば、#123と記載する場合、第123番のステップ(ステップ#123)を指し示す。
#101は、カメラ24で監視画像Pの撮像を開始するステップ(撮像ステップの一例)である。また、#102は、監視画像Pを撮像側記憶部26へ記録するステップ(監視画像記憶ステップの一例)である。カメラ24は、撮像を開始する(#101)と、#102に移行して、監視画像Pを動画として撮像側記憶部26への記録を開始し、#103に移行する。
#103は、撮像側制御部21が、監視画像Pから入場者Hの顔画像を検出するまで待機(#103、No)し、監視画像Pから入場者Hの顔画像を検出すると(#103、Yes)、#104へ移行するステップである。#101で監視画像Pの記録を開始した後、当該記録を継続しながら、撮像側制御部21が、監視画像Pから入場者Hの顔画像を検出すると(#103、Yes)、#104へ移行する。
#104は、入力特徴画像43を切出すステップである(特徴画像切出ステップの一例)。#104では、切出部22が監視画像Pに含まれる入場者Hの顔画像の切り出しを行って、入力特徴画像43を生成する。#104で入力特徴画像43を生成すると、切出部22は、#105で入力画像データ43dを生成する。#105で入力画像データ43dを生成すると、切出部22は、サーバ1に、入力画像データ43dを送信する(#106)。当該送信は、切出部22の送信指示に基づいて、撮像側通信部29が行う。撮像側通信部29による入力画像データ43dの送信が行われた後、#107へ移行する。
#107は、撮像端末2が、サーバ1や、表示端末3から、表示端末3へ監視画像を送信する要求を受け付けるまで待機(#107、No)し、当該要求を受け付けると(#107、Yes)、#108へ移行するステップである。
#108は、撮像端末2が表示端末3へ、監視画像を送信するステップである。監視画像は、監視画像Pの前後所定時間(例えば、前後30秒)の範囲を包含した監視動画45である場合を例示して説明している。
#108では、撮像側中央制御部20が撮像側記憶部26から監視動画45を読み出して、撮像側通信部29を介して表示端末3への監視動画45を送信する。その後、#109へ移行して一連の動作を終了する。#109へ移行して一連の動作を終了すると、#101へ戻る。なお、監視画像が監視動画45である場合を例示したが、監視画像が監視画像Pである場合も上記と同様である。また、監視画像として、監視画像Pと監視動画45とを送信する場合もある。
〔サーバの説明〕
〔サーバの構成と動作についての説明〕
サーバ1は、入場者Hを窃盗常習犯Tであると認証する機能を提供する。なお、以下で説明する、入場者Hが窃盗常習犯Tであると認証するとの概念には、後述するように、入場者Hが窃盗常習犯Tであると判定されることが含まれる。また、認証の概念には、入場者Hが窃盗常習犯Tである蓋然性が高いと判定されることが含まれる。さらに、認証の概念には、入場者Hが窃盗常習犯Tであるとの推定が否定されないと判定されることが含まれる。
図1、図2に示すように、サーバ1は、サーバ側中央制御部10と、サーバ1で取り扱う情報を記憶するサーバ側記憶部50と、ネットワークNと通信するサーバ側通信部19とを備えている。サーバ1は、ネットワークNとしてのインターネットを介して撮像端末2や表示端末3と接続されている。
サーバ側通信部19は、サーバ側中央制御部10の動作指令によりサーバ1の外部のネットワークNと通信するための通信インタフェースである。サーバ側通信部19は、ネットワークNを介して、撮像端末2および表示端末3と通信する。
サーバ側記憶部50には、登録情報記憶部51、照合情報記憶部52および一時記憶部53が含まれる。サーバ側記憶部50は、HDD(Hard Disk Drive)や不揮発性RAM(Random Access Memory)といった記憶デバイスで構成される。サーバ側記憶部50は、物理的に別個の記憶デバイスであってもよいし、一つの記憶デバイスに設けられた二つの記憶領域であってもよい。また、サーバ側記憶部50は、画像認証システム100が設けられた場所(例えばサーバールーム)に設けられてもよいし、いわゆるクラウド上の記憶領域であってもよい。
登録情報記憶部51には、図14から図16に示すように、登録情報Fが記憶されている。登録情報Fには、窃盗常習犯Tの顔画像が登録画像44(図2参照)として含まれている。窃盗常習犯Tである人物H1等の顔データを含む登録情報Fを、末尾に同じ番号を付して登録情報F1等と呼ぶ場合がある。また、同じ人物(例えば人物H1)に関して複数の登録情報Fが記憶されている場合があり、それら登録情報Fを、末尾にさらに連番を付して登録情報F11、F12、F13等と呼ぶ場合がある。この場合、アルファベットの直後の数字が人物H1等の番号に対応し、その次の数字が人物H1等の複数の顔データの中での通し番号を表す。
図1、図2に戻り、照合情報記憶部52には、入力画像データ43dと登録情報Fとを照合して一致度を算出するプログラム(以下では照合プログラムと称する)が記憶されている。なお、一致度は0から100の範囲で算出される。一致度は、完全に一致する場合が100である。また、一致度は、完全な不一致である場合が0である。
一時記憶部53には、サーバ1がネットワークNから取得した情報が一時的に記憶される。サーバ側通信部19が、ネットワークNを介して撮像端末2から受信した入力画像データ43dや、照合部12が照合した結果が記憶される。
サーバ側中央制御部10は、サーバ1の動作全体を制御する機能部である。サーバ側中央制御部10は、サーバ側記憶部50や、サーバ側通信部19などへ動作の指示を出力し、また、サーバ側記憶部50やサーバ側通信部19から情報を取得する。
サーバ側中央制御部10は、中央制御部11と、入力画像データ43dと登録情報Fとを照合して検出画像データXを検出する照合部12と、照合部12が照合した結果に基づいて、入場者Hが窃盗常習犯Tであると認証する認証部13と、検出画像データXに認証部13がした認証の結果に係る情報を付加する処理部14と、を備えている。ここで、検出画像データXとは、複数の入力画像データ43dのうち、照合部12が登録情報Fと一致することを検出した入力画像データ43dのことを言う。
図2には、監視画像Pから検出された複数の入場者Hのそれぞれに対応する複数の入力画像データ43dがサーバ1に送信されている場合を図示している。そして、サーバ1に送信された複数の入力画像データ43dのうち、登録情報Fと一致する入力画像データ43dが検出画像データXとして、サーバ1から表示端末3に送信されている場合を図示している。
サーバ側中央制御部10は、例えば、各種の処理を実現するためのソフトウェアプログラムと、該ソフトウェアプログラムを実行するCPUと、該CPUによって制御される各種ハードウェア等によって構成されている。サーバ側中央制御部10の動作に必要なソフトウェアプログラムやデータはサーバ側記憶部50に保存されるが、保存先は特に限定されず、別途専用に設けられたディスクやフラッシュメモリ等の記憶装置に保存される態様であってもよいし、通信可能に接続されたサーバや記憶装置等に保存される態様であっても構わない。
中央制御部11は、サーバ1が受信した情報や、サーバ1が送信する情報の送受信を制御する機能部である。中央制御部11は、サーバ側通信部19がネットワークNから入力画像データ43dを受信すると、入力画像データ43dを一時記憶部53に記憶する。
中央制御部11は、検出画像データXが一時記憶部53に記憶されると、サーバ側通信部19に、検出画像データXを表示端末3へ送信させる指示を送る。なお、この際、中央制御部11は、報知機9に、報知を指示することができる。当該指示により、報知機9は、表示端末3が検出画像データXを受信したことを監視者A(図3、図4参照)に報知する。これにより監視者Aは、表示端末3の確認を促されて、表示端末3による検出画像データXの受信を即座に気付くことができる。なお、検出画像データXは、入力画像データ43dと同様に情報量を削減されているため、サーバ1から表示端末3への検出画像データXの送信は、高速かつ低廉なコストで実現される。
照合部12は、入力画像データ43dと登録情報F(図14から図16参照)とを照合し、入場者Hが、登録情報Fに窃盗常習犯Tとして登録されている人物H1等との一致度を算出する。
照合部12は、照合情報記憶部52に記憶されている照合プログラムを呼びだして、当該照合プログラムを実行する。照合部12は、照合プログラムの実行により、入力画像データ43dと登録情報Fとを照合する。照合プログラムには、入力画像データ43dと予め記憶された監視対象の登録画像データベースとを照合し、登録画像データベースに該当する入力画像データ43dを検出画像データXとして検出する照合処理が含まれる。
照合部12は、入力画像データ43dと登録情報Fとを照合するに際し、入力画像データ43dに含まれる顔データ、特に特徴量に基づいて照合することができる。また、入力画像データ43dに基づいて新たに顔画像の特徴量を算出し、照合することもできる。
照合部12は、照合して求めた一致度に基づいて、入力画像データ43dを検出画像データXとして検出する。照合部12は、照合部12が照合して求めた一致度が所定の閾値(例えば第一判定値V1、60)以上である場合に、監視対象が検出されたと判定し、入力画像データ43dを検出画像データXとして検出する。照合部12は一致度が所定の閾値(例えば第一判定値V1)未満である場合に、入力画像データ43dを検出画像データXとして検出しない。なお、画像特定情報が入力画像データ43dに含まれているため、登録画像データベースに該当する入力画像データ43dである検出画像データXにも画像特定情報が含まれることになる。
認証部13は、照合部12が検出画像データXを検出すると、後述するように所定の条件のもと、検出画像データXに対応する入場者Hを窃盗常習犯Tである、と認証する。認証部13は認証に際し、照合部12が求めた一致度の情報を参酌し、認証結果に係る情報として、認証した旨の情報と、後述する認証スコアとを出力し、これらを認証結果として一時記憶部53に記憶する。以下では、認証スコアと認証した旨の情報とを包含して、単に認証結果と称する。
処理部14は、認証部13により検出画像データXに対応する入場者Hが窃盗常習犯Tであると認証されると、すなわち、認証結果が一時記憶部53に記憶されると、検出画像データXとして検出された入力画像データ43dに、照合部12が求めた一致度の情報と、認証部13がした認証結果と、登録画像44の画像データとを付加する。以下では、照合部12が求めた一致度の情報と認証部13がした認証結果に係る情報と登録画像44の画像データとを包括して、単に付帯情報と称する場合がある。
検出画像データXとして検出された入力画像データ43dは、図13に示されるように、情報区分i01のヘッダ情報から開始し、情報区分in(ただしnは3以上の整数)のフッタ情報で終了する一群の情報パッケージとしてハンドリングされている。処理部14は、付帯情報を、検出画像データXの情報区分in-2に記録して検出画像データXを更新し、一時記憶部53に記憶する。つまり、一時記憶部53には、付帯情報が付加されて更新された検出画像データX(以下では単に検出画像データXと称する)が記憶される。
〔サーバが行う認証についての説明〕
照合部12が行う照合について説明する。照合部12は1つの入力画像データ43dと複数の登録情報Fとを照合して一致度を求め、複数の登録情報Fの中で最も一致度が大きい登録情報Fを選択する。この際、最も大きな一致度が第一判定値V1(例えば、60)以上であれば入力画像データ43dを検出画像データXとして検出する。
認証部13が、照合部12で検出された登録情報F(最も一致度が大きい登録情報F)の一致度が所定の閾値よりも大きい場合に、入場者Hを窃盗常習犯Tであると認証する。以下では、特定の窃盗常習犯Tであると認証するための一致度の閾値を、第二判定値V2と称する場合がある。また、以下では、登録情報Fの中で最も一致度が大きい登録情報Fを選択した際の一致度を、単に一致度と称する場合がある。
第二判定値V2は第一判定値V1と等しく設定されている。なお、第二判定値V2は第一判定値V1よりも大きな値を設定してもよい。
以下では、サーバ1における認証の実行について具体例を挙げて説明する。まず、窃盗常習犯Tの登録情報Fについて説明する。
登録情報記憶部51には、図14から図16に示すように、窃盗常習犯Tの登録情報Fがあらかじめ記憶されている。この例では、窃盗常習犯Tである3人の人物H1、H2およびH3について、各々複数の登録情報Fが、人物毎に関連づけられた状態で、登録情報記憶部51に記憶されている。
詳しくは、人物H1について、4つの登録情報F11、F12、F13およびF14が記憶されている。人物H2について、2つの登録情報F21およびF22が記憶されている。人物H3について、3つの登録情報F31、F32およびF33が記憶されている。このように一人の窃盗常習犯Tに対して複数の登録情報Fが関連づけられている。
図14の例では、照合部12により算出された一致度が登録情報Fの下に示されている。例えば、人物H1に係る入力画像データ43dと、人物H2に係る登録情報F21~F24との一致度は、18、21、22、19と算出されている。
この図14の例では、人物H3に係る登録情報F32が、一致度が97であり最も大きいので、登録情報F32に対応する入力画像データ43dを検出画像データXとして検出する。図15の例では、人物H3に係る登録情報F32が、一致度が67であり最も大きいので、登録情報F32に対応する入力画像データ43dを検出画像データXとして検出する。また、図16の例では、人物H3に係る登録情報F32が、一致度が27であり最も大きいので、登録情報F32に対応する入力画像データ43dを検出画像データXとして検出する。
図6に図示したフローチャートを参照しつつ、サーバ1の動作を説明する。
サーバ1が認証可能な状態になる(#111)と、中央制御部11は、サーバ側通信部19が撮像端末2から入力画像データ43dを受信するまで待機する(#112、No)。サーバ側通信部19が撮像端末2から入力画像データ43dを受信する(#112、Yes)と、中央制御部11は、入力画像データ43dを一時記憶部53に記憶して、#113へ移行する。
#113は照合するステップである(照合ステップの一例)。#113では、照合部12が、入力画像データ43dと登録情報Fとを照合する。照合部12は、入力画像データ43dを一時記憶部53から読み出す。また、照合部12は、登録情報記憶部51から登録情報Fを読み出す。そして照合部12は、入力画像データ43dを登録情報Fと照合し、一致度が第一判定値V1(60)未満であれば(#114、No)、#119へ移行して終了する。照合部12は、一致度が第一判定値V1(60)以上であれば(#114、Yes)、監視対象が検出されたと判定して#115に移行する。この際、照合部12は、入力画像データ43dを検出画像データXとして検出する。
#115は認証を行うステップである。#115では、認証部13は、検出画像データXとして検出された入力画像データ43dに対応する入場者Hを窃盗常習犯Tであると認証し、#116へ移行する。
本実施形態では、第二判定値V2は第一判定値V1と等しいため、検出画像データXとして検出された入力画像データ43dに対応する入場者Hは全て窃盗常習犯Tとして認証される。
なお、#115では、認証部13は認証に際し、認証スコアを生成する。認証スコアとは、認証の確からしさを所定の水準に区分け(例えば、「高」と「低」、など)したり、認証の確からしさを数値表示(例えば、0から100の範囲で表示し、100が最も認証の確からしさが高い)したりするものである。認証部13は、認証すると、認証結果を一時記憶部53に記憶する。認証部13が認証スコアを生成する動作については後述する。
#116は、検出画像データXに付帯情報を付加するステップである。#116では、処理部14は、検出画像データXとして検出された入力画像データ43dに、照合部12が求めた一致度の情報と、認証部13がした認証結果と、を付加し、あらたな検出画像データXとして一時記憶部53に記憶する。そして#117へ移行する。
#117は、検出画像データXを表示端末3へ送信するステップである。#117では、中央制御部11が一時記憶部53から検出画像データXを読み出す。そして、中央制御部11は、サーバ側通信部19を介して検出画像データXを表示端末3へ送信する。そして#118へ移行する。
#118は、報知機9に報知指示を送信するステップである。#118では、中央制御部11は、サーバ側通信部19を介して報知すべき旨の指示を報知機9へ送信する。そして#119へ移行して一連の動作を終了する。#119へ移行して一連の動作を終了すると、#111へ戻る。
〔認証部が認証スコアを生成する動作についての説明〕
図6および図18に示すフローチャートを参照しつつ、認証部13が認証スコアを生成する動作について説明する。
図6に示す#115における認証においては、図18に示すフローチャートの動作が行われる。
#121で認証が開始されると、認証部13は、一致度が第三判定値V3(例えば80)以上であるか否かを判定する(#122)。第三判定値V3は第二判定値V2よりも大きな値として設定される。一致度が第三判定値V3以上であれば(#122、Yes)、#123へ移行する。一致度が第三判定値V3未満であれば(#122、No)、#124へ移行する。
#123と#124とは、認証スコアを生成して出力するステップである。
#123では認証スコアとして「高」を出力する。なお、この認証スコアは、後述するように、表示端末3のモニタ35(表示部の一例)に表示される。一致度が第三判定値V3以上であるから、認証スコアとして「高」を出力して表示することで、監視者A(図3、図4参照)をして、入場者Hが窃盗常習犯Tであると判定されていることを直感的に把握せしめるためである。これにより、監視者Aは、確かな自信をもって、窃盗常習犯Tと認証された入場者Hに声掛けなどして犯罪抑止に務めることが可能となる。
#124では認証スコアとして「低」を出力する。なお、この認証スコアは、後述するように、表示端末3のモニタ35に表示される。一致度が第二判定値V2以上、かつ、第三判定値V3未満であるから、認証スコアとして「低」を出力することで、監視者Aをして、入場者Hが窃盗常習犯Tである蓋然性が高いと判定されていることを直感的に把握せしめるためである。これにより、監視者Aは、誤認(人違い)のおそれを勘案しつつ、慎重に窃盗常習犯Tと認証された入場者Hの行動を監視するなどして、犯罪抑止に備えることが可能となる。
#123もしくは#124において認証スコアを出力すると#125へ移行して認証を終了する。その後、図6に示す#116へ移行する。
〔表示端末の説明〕
〔表示端末の構成と動作についての説明〕
表示端末3は、監視者Aが監視画像Pなどを閲覧する端末である。
図1、図2に示すように、表示端末3は、表示側中央制御部30と、モニタ35と、モニタ35に画像を表示させる描画部34と、端末側記憶部36と、ネットワークNと通信する端末側通信部39とを備えている。表示端末3は、いわゆるタブレット端末である。表示端末3は、撮像端末2が接続されたイントラネットと同じイントラネットに接続されている。
端末側通信部39は、表示側中央制御部30の動作指令により表示端末3の外部のネットワークNと通信するための通信インタフェースである。端末側通信部39は、ネットワークNを介して、サーバ1および撮像端末2と通信する。端末側通信部39は、例えば検出画像データXなどをサーバ1や撮像端末2から受信したり、監視画像を送信する要求を撮像端末2へ送信したりする。
描画部34は、モニタ35に表示させる画像を出力する描画装置である。いわゆるGPU(Graphics Processing Unit、グラフィックスプロセッシングユニット)である。
モニタ35は、タッチ入力機能を兼ね備えた表示装置である。モニタ35は、タッチパネル式の液晶モニタである。モニタ35は描画部34が出力する画像を表示する。モニタ35が表示する情報については後述する。また、モニタ35は、監視者Aがタッチ操作により入力した動作指令を受け付けて、後述する端末側制御部31へ送信する。
端末側記憶部36は、HDD(Hard Disk Drive)や不揮発性RAM(Random Access Memory)といった記憶デバイスで構成される。端末側記憶部36は、物理的に別個の記憶デバイスであってもよいし、一つの記憶デバイスに設けられた二つの記憶領域であってもよい。
端末側記憶部36には、表示端末3の端末側通信部39がネットワークNから受信した検出画像データXや監視画像Pや監視動画45が記憶される。表示端末3は、検出画像データXを、イントラネット内においてインターネットを介して受信する。一方、監視画像Pや監視動画45は、表示端末3が接続されているイントラネットと同じイントラネットに接続された撮像端末2から受信する。これにより、表示端末3は監視画像Pや監視動画45を、イントラネット内の高速な通信網を活用して高速に受信することができる。また、外部通信であるインターネット通信のデータ通信量を削減してコスト削減を容易にする。また、表示端末3は、監視画像Pや監視動画45を、サーバ1を介さずに受信することができるため、インターネット通信のデータ通信量を削減してコスト削減を容易にする。
表示側中央制御部30は、表示端末3の動作全体を制御する機能部である。表示側中央制御部30は、モニタ35、描画部34、端末側記憶部36および端末側通信部39などへ動作の指示を出力し、また、モニタ35、描画部34、端末側記憶部36および端末側通信部39から情報を取得する。
表示側中央制御部30は、端末側制御部31と、位置選択部32と、を備えている。表示側中央制御部30は、例えば、各種の処理を実現するためのソフトウェアプログラムと、該ソフトウェアプログラムを実行するCPUと、該CPUによって制御される各種ハードウェア等によって構成されている。サーバ側中央制御部10の動作に必要なソフトウェアプログラムやデータはサーバ側記憶部50に保存されるが、保存先は特に限定されず、別途専用に設けられたディスクやフラッシュメモリ等の記憶装置に保存される態様であってもよいし、通信可能に接続されたサーバや記憶装置等に保存される態様であっても構わない。
端末側制御部31は、モニタ35が受け付けた監視者A(図3、図4参照)の動作指令にしたがって表示端末3の動作を制御し、また、表示端末3が受信した情報や、表示端末3が送信する情報の送受信を制御する機能部である。
端末側制御部31は、端末側通信部39がネットワークNから検出画像データXを受信すると、検出画像データXを端末側記憶部36に記憶する。端末側制御部31は、検出画像データXが端末側記憶部36に記憶されると、撮像端末2に対して検出画像データXに対応する監視画像を送信させる要求を端末側通信部39に指示する。このとき、端末側通信部39は、検出画像データXに含まれる画像特定情報に基づいて特定された監視画像を受信することとなる。
端末側制御部31は、端末側通信部39がネットワークNから監視画像Pや監視動画45を受信すると、これらを端末側記憶部36に記憶する。
位置選択部32は、モニタ35が検出画像データXに基づいて特定される監視画像Pの入力特徴画像43を含む少なくとも一部と入力特徴画像43の位置とを表示する際に、入力特徴画像43を含む位置の表示範囲を特定する機能部である。
位置選択部32が特定した表示範囲に基づいて、描画部34がモニタ35に位置表示5を表示させる。位置選択部32は、端末側記憶部36に記憶された表示プログラムを呼びだして実行することで、位置表示5の表示を実現する。表示プログラムには、照合部12の照合処理による照合の結果、検出画像データXが検出された場合に、検出画像データXに基づいて特定される監視画像Pの入力特徴画像43を含む少なくとも一部と入力特徴画像43の位置とを表示端末3に表示させる表示処理が含まれる。なお、位置表示5については後述する。
モニタ35が表示する情報について説明する。モニタ35は、描画部34が出力する画像を表示する。図3、図4に示すように、モニタ35は、監視画像Pもしくは入力特徴画像43を含む監視画像Pの一部や、後述する位置表示5など表示する。また、後述するその他の情報表示46を行う。
モニタ35が表示する情報表示46としては、後述する第一情報表示46aや第二情報表示46bを含む、種々の情報を表示することができる。情報表示46として第一情報表示46aと第二情報表示46bとが表示される場合を例示して以下説明する。情報表示46は検出画像データXに含まれる画像特定情報や位置情報を基にして表示される。具体的には、第一情報表示46aとして、入力特徴画像43が撮像端末2で撮像された時刻(撮像時刻)と撮像端末2のカメラ24(図1、図2参照)を特定する情報が表示されており、第二情報表示46bとして、本人確率と、認証スコアとが表示されている。
図3には、モニタ35に第一表示画41が表示されている場合を図示している。第一表示画41には、入力特徴画像43と、登録画像44と、情報表示46と、入力操作を受け付ける部分を監視者Aに認識させる表示として入力部49を示す画像が表示されている。なお、入力部49は、監視者Aによる、監視画像Pや監視動画45を表示する指令を受け付ける入力インタフェースである。
入力部49は、監視者Aが監視動画45を再生する指令を受け付けている。監視者Aが入力部49を介して監視動画45を再生する指令を入力すると、中央制御部11は、監視動画45の再生を試みる。この動作については後述する。なお、入力部49が、監視者Aが監視画像Pを表示する指令を受け付けている場合もある。
情報表示46としては、第一情報表示46aと第二情報表示46bとが表示されている。第一情報表示46aとしては、入力特徴画像43が撮像端末2で撮像された時刻(撮像時刻)と撮像端末2のカメラ24を特定する情報が表示されている。また、第二情報表示46bとしては、本人確率と、認証スコアとが表示されている。なお、本人確率は、本実施形態では一致度の値に等しい。
図4には、モニタ35に第二表示画42が表示されている場合を図示している。第二表示画42には、入力特徴画像43と、登録画像44と、監視画像Pを包含する監視動画45と、第一情報表示46aと、入力部49を示す画像が表示されている。なお、第二表示画42においても第二情報表示46bを併せて表示してもよい。監視画像Pを包含する監視動画45は、監視動画45に含まれるフレームの全領域を表示する場合に限られず、入力特徴画像43と少なくともその周囲の画像領域を包含する画像部分とをトリミングして(切出して)表示してもよい。
位置選択部32と位置表示5について説明する。位置表示5は、検出画像データXに基づいて特定される監視画像Pの入力特徴画像43を含む少なくとも一部と入力特徴画像43の位置とを表示する。
検出画像データXは、入力特徴画像43における顔画像の両目E(図11参照)の座標を位置情報として含んでおり、位置選択部32は両目Eの座標を基にして入力特徴画像43を含む位置の表示範囲を特定する。位置選択部32は、特定した表示範囲に基づいて描画部34に位置表示5の描画指令を発する。描画部34は、監視画像Pもしくは入力特徴画像43を含む監視画像Pの一部をモニタ35に表示させる際に、例えば入力特徴画像43を矩形に囲う表示などを、位置表示5としてモニタ35に描画させる。描画部34は、位置表示5を、監視画像Pや監視動画45にオーバーレイ表示することができる。
位置表示5は、図4および図11に示すように、入場者Hの顔Kの輪郭の範囲を包含する領域を表示する記号として例示される。図4および図11に示す例では、位置表示5は、顔画像を包含する矩形に描かれる場合を示している。その他、位置表示5は、入場者Hの顔(入力特徴画像43)を指し示す矢印などの記号を用いる場合もある。位置表示5は、入場者Hの顔Kの輪郭の範囲を特定する座標を示す数値で表示される場合もある。このように、位置表示5は、入場者Hの顔画像(入力特徴画像43)を強調するための表示である。
位置表示5の表示態様は、上記で説明する態様に限定されない。位置表示5は、入場者Hの顔画像(入力特徴画像43、顔画像)を起点とする吹き出しの形態で表示することもできる。そして、吹き出し部分には、入場者Hの顔を拡大表示するとよい。この場合は、吹き出しの形態と、入場者Hの顔の拡大表示とが位置表示5である。位置表示5がこのような入場者Hの顔の拡大表示を含む場合、監視画像Pをそのまま表示すると入場者Hの顔を視認できないときでも、入場者Hの顔が拡大表示されることで、目視可能に表示することができる。
図4および図11に例示した位置表示5について説明する。位置表示5は、上下方向に長手方向が沿う長方形の記号として表示されている。換言すると、位置表示5は、入場者Hの顔画像(入力特徴画像43)を、視覚的に容易に認識する目印となる表示である。位置表示5により、監視者Aは、入場者Hの顔画像(入力特徴画像43)を目視で容易に認識し、入場者Hが窃盗常習犯Tである場合に、即座に必要な行動を起こすことができるため有益である。
位置選択部32は、例えば、位置表示5の長辺および短辺の表示を以下のように定めることができる。位置選択部32は、図11に示すように、左目E1と右目E2との距離を目間距離Edとした場合に、顔の左右の範囲をこの目間距離Edを基準に定めることができる。図11の場合は、左目E1から距離d1だけ左に偏位した位置と、右目E2から距離d1だけ右に偏位した位置と、を顔の左右の範囲として規定して、位置表示5の長辺として表示している。なお、図11の例示では、距離d1を、目間距離Edの1.3倍としている。なお、この実施例で説明する距離d1と目間距離Edとの関係はあくまで例示に過ぎない。
また、位置選択部32は、図11に示すように、左目E1と右目E2との距離を目間距離Edとした場合に、顔の上下の範囲をこの目間距離Edを基準に定めることができる。図11の場合は、両目Eの高さから上方に向けて距離d2だけ偏位した位置と、両目Eの高さから下方に向けて距離d3だけ偏位した位置と、を顔の上下の範囲として規定している場合を例示して図示している。なお、図11の例示では、距離d2を、目間距離Edの1.5倍としている。また、距離d3を、目間距離Edの2.0倍としている。なお、この実施例で説明する距離d2および距離d3と、目間距離Edとの関係はあくまで例示に過ぎない。
図7に図示したフローチャートを参照しつつ、表示端末3の動作を説明する。
表示端末3が検出画像データXを受信可能な状態になる(#131)と、端末側制御部31は、端末側通信部39がサーバ1から検出画像データXを受信するまで待機する(#132、No)。端末側通信部39がサーバ1から検出画像データXを受信する(#132、Yes)と、端末側制御部31は、検出画像データXを端末側記憶部36に記憶して、#133へ移行する。
#133は第一表示画41をモニタ35で表示するステップである。#133では、端末側制御部31が、検出画像データXを端末側記憶部36から読み出す。そして、端末側制御部31は、この検出画像データXに基づいて、描画部34に第一表示画41の描画を指令する。描画部34は当該指令に基づいて、モニタ35に第一表示画41を表示させる(図3参照)。その後、#134へ移行する。
#134は、入力部49で、監視者Aによる監視動画45を再生する指令の入力を待機するステップである。#134では、入力部49に監視者Aによる指令の入力があるまで待機する(#134、No)。入力部49に監視者Aによる指令の入力があると(#134、Yes)、#135へ移行する。
#135は、監視画像を送信する要求を行うステップである。#135では、端末側制御部31が、端末側通信部39を介して、撮像端末2に、監視画像を送信する要求を行う。監視画像を送信する要求として、監視動画45を送信する要求を行うが、監視画像Pを送信する要求である場合もある。その後、#136へ移行する。
#136は、端末側通信部39が監視画像の受信を待機するステップである。#136では、端末側通信部39が監視画像の受信を完了するまで待機する(#136、No)。端末側通信部39が監視画像の受信を完了すると(#136、Yes)、端末側制御部31は監視画像を端末側記憶部36へ記憶して、#137へ移行する。監視画像として監視動画45が端末側記憶部36へ記憶されるが、監視画像として監視画像Pが記憶される場合もある。
#137は、第二表示画42をモニタ35で表示するステップである(表示ステップの一例)。#137では、端末側制御部31が、検出画像データXと監視動画45とを端末側記憶部36から読み出す。そして、端末側制御部31は、この検出画像データXと監視動画45とに基づいて、描画部34に第二表示画42の描画を指令する。描画部34は当該指令に基づいて、モニタ35に第二表示画42を表示させる(図4参照)。この際、位置選択部32は、位置表示5のオーバーレイ表示を描画部34に指令する。これにより、第二表示画42における監視動画45上に、入場者H(窃盗常習犯T)の顔画像(入力特徴画像43)の位置が強調して表示される。そして、一連の動作を終了する(#138)。なお、#138で一連の動作を終了すると、再び#131へ戻る。
〔第一実施形態の変形例の説明〕
なお、表示端末3は、図8に示すフローチャートのように動作させてもよい。図8において、#231から#233、および、#235から#238は、図7における#131から#133、および、#135から#138と同じである。図8の場合は、図7の#134に対応するステップを有さない点で異なる。
図8の場合は、#233において第一表示画41をモニタ35に表示させると供に、#235において監視画像を送信する要求を行う。つまり、監視者Aによる監視動画45を再生する指令の入力が無くても、監視画像を取得するようになっている。この場合、端末側通信部39がサーバ1から検出画像データXを受信してから最短のリードタイムで監視動画45などの監視画像をモニタ35に表示させることができる。監視画像が監視画像Pではなく、情報容量の大きな監視動画45である場合に特に有益である。
〔第二実施形態〕
以下では第二実施形態について説明する。第二実施形態は、第一実施形態に対してサーバ1および表示端末3の動作の一部が異なる。
図6および図9に図示したフローチャートを参照しつつサーバ1の動作を説明する。図9の場合は、#318の動作が図6の#118の動作と異なり、それ以外は同じである。
図9の場合は、サーバ1は、#317で、検出画像データXを表示端末3へ送信すると共に、#318において、表示端末3に対して検出画像データXに対応する監視画像を送信する要求を撮像端末2へ送信する。これにより、表示端末3は、最短のリードタイムで監視画像を受信することができる。なお、サーバ1は、#318を実行すると供に、報知機9へ報知の指示をしてもよい。
図7および図10に図示したフローチャートを参照しつつ表示端末3の動作を説明する。図10の場合は、図10において、#331から#333、および、#336から#338は、図7における#131から#133、および、#136から#138と同じである。図10の場合は、図7の#135に対応するステップを有さない点で異なる。
表示端末3に対して検出画像データXに対応する監視画像を送信する要求をサーバ1が撮像端末2へ送信するため、表示端末3は、#135のような監視画像を送信する要求を行うステップを有さなくとも、監視画像を受信することができる(いわゆるプッシュ受信)。
このように、画像認証システム100においては、撮像端末2で撮像した入力特徴画像43を用いて入場者Hが窃盗常習犯Tであることがサーバ1により認証(検知)されると、表示端末3で入力特徴画像43を含む画像を表示して、監視者Aに通知して注意を促すことができる。これにより、監視者Aは、窃盗常習犯Tであると認証された入場者Hに声掛けしたり、その行動を注意して監視したりすることができる。したがって、画像認証システム100は、窃盗などの犯罪の未然防止を実現することができる。
以上のようにして、本実施形態は、監視画像から生成された入力画像データに基づいて元の監視画像を特定して表示した場合に、当該入力画像データに対応する特徴画像が、当該入力画像データに対応する監視画像もしくはその一部の画像のうち、どの画像部分であるかを視覚的に容易に特定することができる画像認証システム、画像認証方法および画像認証プログラムを提供するものである。
〔別実施形態〕
(1)上記実施形態では、画像認証システム100が、店舗に入場する入場者Hから窃盗常習犯Tを検知して店舗の監視者Aに通知して警戒行動を促し、窃盗常習犯Tによる窃盗を未然防止するインテリジェントセキュリティシステムである場合を例示した。
しかしながら、画像認証システム100は、入場者Hから窃盗常習犯Tを検知する場合に限られない。例えば、図17に示すように、店舗などの駐車場などに入場したり、駐車スペースに駐車したりする車両Cの内、窃盗常習犯Tの車両Cを検知するシステムとすることもできる。この場合、画像認証システム100は、入場者Hの顔画像の代わりに、車両CのナンバープレートGを撮像し、これを入力特徴画像43とすることができる。
(2)上記実施形態では、撮像端末2は、#102で監視画像Pを動画として撮像側記憶部26への記録を開始する場合を説明した。そして、図5のフローチャートには、#101で、カメラ24で監視画像Pの撮像を開始し、#102で監視画像Pを動画として撮像側記憶部26への記録を開始し、さらに#103で監視画像Pから入場者Hの顔画像を検出すると(#103、Yes)、#104、#105へ移行して入力特徴画像43を生成する場合を説明した。
しかしながら、撮像端末2は、監視画像Pを動画として記録する場合に限られない。例えば、図19に示すフローチャートのように、#401で、カメラ24で監視画像Pの撮像を開始するが、監視画像Pを動画として記録することは行わず、#402で監視画像Pから入場者Hの顔画像の検出を待機し(#402、No)、監視画像Pから入場者Hの顔画像を検出すると(#402、Yes)、#403へ移行して、その監視画像Pを静止画として撮像側記憶部26に記録する場合もある。この場合、撮像側記憶部26の記憶容量を節約することができる。なお、図19の#404から#409は、図5の#104から#109と同じとすることができる。
(3)上記実施形態では、サーバ1の認証部13により、認証スコアとして「高」ないし「低」が出力され、表示端末3は、モニタ35に、第二情報表示46bとして、本人確率と、認証スコアとを表示する場合を説明した。
しかしながら、認証部13は、認証スコアを出力しなくてもよい。また、認証部13は、認証スコアを「高」ないし「低」の二水準に区分して出力する場合に限られず、3段階以上の多水準に区分して出力してもよい。例えば、一致度が40以上60未満の場合に認証スコアを「低」とし、一致度が60以上80未満の場合に認証スコアを「中」とし、一致度が80以上の場合に認証スコアを「高」とすることもできる。このように一致度が40以上60未満となる際に認証スコアとして「低」が出力される場合には、監視者Aは入場者Hが窃盗常習犯Tであるとの推定が否定されない、という程度の注意認識を持つことが可能となる。
(4)上記実施形態では、表示端末3は、モニタ35に、情報表示46として第一情報表示46aと第二情報表示46bとが表示される場合を説明した。そして、第一情報表示46aとしては、入力特徴画像43が撮像端末2で撮像された時刻(撮像時刻)と撮像端末2のカメラ24を特定する情報が表示されており、第二情報表示46bとしては、本人確率と、認証スコアとが表示されている場合を例示した。
しかしながら、表示端末3は、モニタ35に上記以外の情報を表示してもよい。例えば、照合部12が入力画像データ43dと登録情報Fとを照合した際に用いた個別の特徴量を表示してもよい。例えば、メガネの有無、髪型、性別の情報を表示してもよい。これにより、監視者Aは、視覚的に容易に窃盗常習犯Tの特徴を把握することができるため犯罪抑止に有益である。
また、モニタ35は、必ずしも情報表示46に含まれる情報の全てを表示しなくてもよい。本実施形態で説明した情報表示46に含まれる情報の一部だけを表示する場合もある。例えば情報表示46に含まれる本人確率や認証スコアを表示することを要しない。本人確率や認証スコアの両方とも表示しなくてもよいし、本人確率もしくは認証スコアを表示してもよい。
(5)上記実施形態では、複数の撮像端末2と、複数の表示端末3とは、ネットワークNとしてのイントラネットに接続されている場合を例示して説明した。また、サーバ1は、ネットワークNとしてのインターネットに接続されている場合を例示して説明した。
しかしながら、撮像端末2、表示端末3、およびサーバ1は、同一のイントラネット内で接続されてもよい。また、撮像端末2、表示端末3、およびサーバ1はそれぞれ、インターネットに直接接続されてもよい。
また、撮像端末2、表示端末3、およびサーバ1は、ネットワークNを介して接続される場合に限られず、撮像端末2、表示端末3、およびサーバ1の機能が、一つのシステム(例えば、コンピュータシステム)にインテグレートされている態様も採り得る。この場合、撮像端末2、表示端末3、およびサーバ1はコンピュータシステム内部のバス(データバス)を介して接続することができる。ネットワークNの代わりにバス接続される場合にも、バスの通信量が削減されるため、高速処理を実現することができる。
(6)上記実施形態では、画像認証システム100の適用対象が、人である入場者Hである場合を説明した。しかしながら、画像認証システム100の適用対象は、入場者Hに限定されるものでは無い。
たとえば、退場する人である場合もある。また、人ではなく、犬や猫などの動物である場合もある。また、人ではなく鞄や、靴、メガネや帽子などの物(たとえば、人の所持品)である場合もある。画像認証システム100の適用対象は、姿、形のある物体であればよい。
(7)上記実施形態では、画像認証システム100を使用する場所として店舗を例示して説明した。しかしながら、画像認証システム100の適用範囲はこれに限られない。
店舗以外にも、商業施設、空港、銀行、オフィスビル、マンション等の、多数の人が出入りする施設等において適用することができる。
なお、上記実施形態(別実施形態を含む、以下同じ)で開示される構成は、矛盾が生じない限り、他の実施形態で開示される構成と組み合わせて適用することが可能であり、また、本明細書において開示された実施形態は例示であって、本発明の実施形態はこれに限定されず、本発明の目的を逸脱しない範囲内で適宜改変することが可能である。