JP7098508B2 - 物体認証システム、物体登録装置、物体認証方法及び物体認証プログラム - Google Patents

Description

本発明は、動画データから物体の特徴を抽出し、抽出した物体の特徴と参照用の特徴とを照合し、物体を認証する物体認証システム、動画データに含まれる物体の特徴と照合するための参照用の特徴を登録する物体登録装置において、物体登録装置、物体認証方法及び物体認証プログラムに関する。

従来、顔画像等の物体の画像を用い、物体の画像から取得される特徴を用いて特定の物体であるか否かを判定、認証する物体認証システムが存在する。この物体認証システムは、セキュリティ、防犯、警備、万引き防止、顧客認証などを目的として、セキュリティシステムや監視カメラシステムなどに用いられている。認証においては、まず、動画データに含まれる物体を検出し、検出された物体の画像から物体の特徴を抽出する。そして、抽出された物体の特徴と、予め登録された参照用の特徴とを照合して、両者の類似度が算出される。この類似度の大きさに基づき、撮像された物体が予め登録された特定の物体であるか否かが判定、認証される。

ここで、予め参照用の特徴を登録する物体認証システムとして、様々な装置が存在する（例えば、特許文献１～２参照）。特許文献１に記載の装置においては、カメラが撮像した動画データを録画機器に記録し、当該動画データから人物の顔画像を切り出した情報を、カメラＩＤ及び日時情報等と紐づけてデータベースに記憶する。そして、コンピュータは、切り出された顔画像から特徴を抽出し、参照用の特徴として登録する。

特許文献２に記載の装置においては、カメラが撮像した動画データを録画機器に記録し、当該動画データから人物の顔画像を切り出した情報を、カメラＩＤ及び日時情報等と紐づけてコンピュータに記憶する。そして、カメラＩＤや日時情報等の指定を操作者より受け付ければ、指定された条件に従い、該当するカメラＩＤや日時情報等の動画データをディスプレイに表示し、また当該動画データから切り出された顔画像のサムネイルも表示する。操作者は表示されたサムネイルから、参照用に用いたい顔画像を指定する。これにより、コンピュータは、指定された顔画像から特徴を抽出し、参照用の特徴として登録することが可能となる。

特開２０１８－７４３１７号公報 特開２０１７－２２４９５６号公報

特許文献１に記載の装置においては、動画データから人物の顔画像を切り出した情報全てを、カメラＩＤ及び日時情報等と紐づけて、データベースに参照用の特徴として記憶している。このため、不特定多数の人物が出入りするスーパー等の施設において当該装置を適用した場合、本来登録が必要のない人物まで登録することとなり、データ量の増大を招くばかりか、登録が必要のない人物の参照用データを後から削除する必要があり、使い勝手が悪い。

ところで、監視カメラシステムにおいては、動画データを監視員がリアルタイムに監視している場合がある。万引確認時には、当該動画データに映し出されている万引犯の顔画像を迅速に登録したいとするニーズがある。しかしながら、特許文献２に記載の装置においては、操作者により指定された条件に合致する録画された動画データを抽出し、抽出した動画データから切り出した顔画像から登録したい顔画像の選択を受け付け、参照用の特徴を登録している。このように、予め条件を指定していることから、登録作業は煩わしさに耐えない。

そこで、参照用の特徴の登録を迅速に行える物体認証システム、物体登録装置、物体認証方法及び物体認証プログラムが望まれている。

本発明に係る物体認証システムの特徴構成は、動画データから物体の特徴を抽出し、抽出した物体の特徴と参照用の特徴とを照合し、当該物体を認証する物体認証システムにおいて、動画データを取得する取得部と、前記動画データをリアルタイムに表示し、併せて当該動画データに含まれる物体を示すサムネイルを表示する表示部と、前記表示部に表示された前記サムネイルが選択された場合、選択された前記サムネイルに対応する物体の特徴を、前記参照用の特徴として登録するための登録処理を実行する制御部と、を備える点にある。

また、本発明に係る物体登録装置の特徴構成は、動画データに含まれる物体の特徴と照合するための参照用の特徴を登録する物体登録装置において、動画データを取得する取得部と、前記動画データをリアルタイムに表示し、併せて当該動画データに含まれる物体を示すサムネイルを表示する表示部と、前記表示部に表示された前記サムネイルが選択された場合、選択された前記サムネイルに対応する物体の特徴を、前記参照用の特徴として登録するための登録処理を実行する制御部と、を備える点にある。

また、本発明に係る物体認証方法の特徴は、動画データから物体の特徴を抽出し、抽出した物体の特徴と参照用の特徴とを照合し、当該物体を認証する物体認証方法において、動画データを取得する取得ステップと、前記動画データをリアルタイムに表示し、併せて当該動画データに含まれる物体を示すサムネイルを表示する表示ステップと、前記表示ステップに表示された前記サムネイルが選択された場合、選択された前記サムネイルに対応する物体の特徴を、前記参照用の特徴として登録する登録ステップと、を備える点にある。

また、本発明に係る物体認証プログラムの特徴構成は、動画データから物体の特徴を抽出し、抽出した物体の特徴と参照用の特徴とを照合し、当該物体を認証する処理をコンピュータに実行させるための物体認証プログラムにおいて、動画データを取得する取得処理と、前記動画データをリアルタイムに表示し、併せて当該動画データに含まれる物体を示すサムネイルを表示する表示処理と、前記表示処理に表示された前記サムネイルが選択された場合、選択された前記サムネイルに対応する物体の特徴を、前記参照用の特徴として登録する登録処理と、をコンピュータに実行させる点にある。

本構成又は本方法では、動画データをリアルタイムに表示し、併せて動画データに含まれる物体を示すサムネイルを表示する。そして、該サムネイルを選択することで、選択されたサムネイルに対応する物体の特徴を、参照用の特徴として登録することができる。このため、特許文献１に記載の装置のように全ての物体の特徴を参照用の特徴として登録することなく、必要な物体の特徴のみ参照用の特徴として登録することが可能となる。しかも、特許文献２に記載の装置のようにカメラＩＤや日時情報等の指定を行う必要がなく、動画データに含まれる物体を示すサムネイルを選択するだけで参照用の特徴として登録をすることができる。したがって、例えば、監視カメラシステムにおいて、動画データに映し出されている物体を迅速に登録したいとするニーズに対応することができる。

他の特徴構成は、前記制御部は、前記登録処理として、登録用画面を前記表示部に表示させる点にある。

本構成では、動画データに含まれる物体を示すサムネイルを選択するだけで登録用画面が表示されるので、特許文献２に記載の装置のようにカメラＩＤや日時情報等の指定を行う必要がない。また、登録用画面において、操作者は、物体の属性情報といった任意の情報を入力することが可能となるため、利便性が高い。

他の特徴構成は、前記制御部は、複数の前記サムネイルに対応する前記物体の特徴を夫々比較して同一の物体であれば、当該同一の物体を示す複数の前記サムネイルのうちの１つの前記サムネイルを選定し、前記表示部は、選定された前記１つのサムネイルを表示する点にある。

本構成では、同一の物体を示す複数のサムネイルのうち、代表となるサムネイルを表示するため、膨大なサムネイルの表示を抑制できる。その結果、操作者は、都度更新される動画データに含まれる物体を示すサムネイルを選択し易い。

他の特徴構成は、前記取得部は、複数のカメラ夫々から前記動画データを取得し、前記表示部は、複数の前記カメラから取得した複数の前記動画データを同一画面上で表示する点にある。

本構成によると、複数のカメラ夫々から取得した複数の動画データをまとめて閲覧できるため、利便性が高い。

他の特徴構成は、前記制御部は、前記表示部に表示された前記動画データが選択された場合、選択された当該動画データに含まれる物体を示すサムネイルを生成し、前記表示部は、生成された前記サムネイルを表示する点にある。

本構成では、複数のカメラから取得した複数の動画データのうち、選択された動画データに含まれる物体を示すサムネイルを表示部に表示するため、操作者が確認を必要とするカメラに絞って、物体のサムネイルを表示部に表示させることができる。

他の特徴構成は、前記表示部に表示された画面に対する操作を受け付ける操作部をさらに備え、前記制御部は、前記操作部を介して所定の操作を受け付けた場合、前記表示部における前記サムネイルの表示の更新を停止させる点にある。

本構成のように、都度更新される動画データに含まれる物体を示すサムネイルを、操作部の操作があったときに停止させれば、サムネイルの選択作業が容易である。

他の特徴構成は、前記制御部は、前記サムネイルの表示の更新を停止した状態において、所定期間内に前記サムネイルが選択された場合、前記表示部における前記サムネイルの表示の更新を再開させる点にある。

本構成のように、所定期間内にサムネイルが選択されたときにサムネイルの表示の更新を再開させれば、短期間に最新のサムネイルを表示させることができる。よって、確認が必要な物体を見逃すことを防止できる。

他の特徴構成は、前記表示部は、複数の前記サムネイルを時系列で表示する点にある。

本構成のように時系列でサムネイルを表示すれば、動画データに連動した最新のサムネイルを確実に確認することができる。

他の特徴構成は、前記表示部は、抽出した物体の特徴が前記参照用の特徴であると認証された当該物体を示す前記サムネイルと、抽出した物体の特徴が前記参照用の特徴であると認証されなかった当該物体を示す前記サムネイルとを異なる態様で表示する点にある。

本構成のように、参照用の特徴として登録された物体と登録されていない物体とを異なる態様で表示すれば、追加登録なのか新規登録なのかが瞬時に判断することができる。

他の特徴構成は、前記表示部は、抽出した物体の特徴が前記参照用の特徴であると認証された当該物体を示す複数の前記サムネイル夫々を、物体の属性に応じて異なる態様で表示する点にある。

本構成のように物体の属性に応じてサムネイルを異なる態様で表示すれば、例えばスーパーなどの施設において緊急性の高い要注意人物を瞬時に把握可能となるため、当該要注意人物に声掛けなどを行うことができる。

他の特徴構成は、前記物体は、人物の顔である点にある。

本構成のように物体を人物の顔とすれば、万引き防止、顧客認証などに本システムを使用することができる。

物体認証システムを示す概念図である。 物体認証システムのブロック図である。 物体認証フローを示す図である。 表示画面の一例である。 表示画面の一例である。 表示画面の一例である。 登録用画面の一例である。 別実施形態に係る物体認証システムを示す概念図である。 別実施形態に係る物体認証システムのブロック図である。 別実施形態に係る物体認証フローを示す図である。

以下に、本発明に係る物体認証システム、物体登録装置、物体認証方法及び物体認証プログラムの実施形態について、図面に基づいて説明する。本実施形態では、物体認証システムの一例として、スーパー等の店舗で用いられる監視カメラシステムＸとして説明する。ただし、以下の実施形態に限定されることなく、その要旨を逸脱しない範囲内で種々の変形が可能である。

図１に示すように、本実施形態における監視カメラシステムＸは、店舗に配置された複数のカメラＷで撮像された動画データが管理用サーバＳ（物体登録装置の一例）に送信され、監視員（操作者）が管理用サーバＳで要注意人物（万引き犯等）を確認できるものである。また、監視カメラシステムＸは、参照用の登録顔データ（参照用の特徴の一例）であると認証された要注意人物の顔画像（物体の特徴の一例）及び顔の特徴量（物体の特徴の一例）を追加登録したり、未登録の要注意人物の顔画像（物体の特徴の一例）及び顔の特徴量（物体の特徴の一例）を新規登録したりする機能を有している。「登録顔データ」とは、予め要注意人物として登録された顔画像及び顔の特徴量である。ここで、「特徴量」とは、顔の輪郭、色合い及び表面形状等の特徴情報を含むデータのことである。以下、「物体」の一例として人物を用いて説明し、動画データから抽出した人物の顔画像及び顔の特徴量を「人物の特徴」として説明する。

本実施形態におけるカメラＷは、ＣＣＤやＣＭＯＳ等の撮像素子を内蔵した可視光カメラである。カメラＷは、スーパーの入口，出口，レジ等に所定の画角で設置されており、動画データを撮像する。この動画データには、撮影日時及び撮影したカメラＷの属性情報（ＩＤ等）も含まれている。

図２に示すように、管理用サーバＳは、ＣＰＵやメモリを中核とするコンピュータで構成されており、通信部１（取得部の一例）と操作部２と表示部３と記憶部４と制御部５とを備えている。

通信部１は、カメラＷが撮像した動画データを有線又は無線で構成されるネットワークを介して受信するためのインターフェースである。また、通信部１は、店舗内に配置されたＥＡＳ装置（不正持出防止装置、不図示）から警告信号を受信しても良い。このＥＡＳ装置は公知であるため詳細説明を省略するが、例えば店舗の出入口のゲートに配置されており、不正に持ち出された商品を検知するＲＦＩＤタグのリーダ／ライタとしての機能を有している。

操作部２は、マウスやキーボード等で構成されており、表示部３に表示された画面に対する監視員の操作を受け付ける。例えば、マウス操作によりポインタを表示画面の所定位置に移動させ、マウスをその位置でクリックすることで所定の操作が実行される。

表示部３は、コンピュータのディスプレイで構成されており、動画データをリアルタイムに表示し、併せて動画データに含まれる人物の顔画像を示すサムネイルを表示する。サムネイルとは、顔画像を一覧表示するために公知の圧縮方式で符号化圧縮された圧縮画像のことである。このサムネイルには、カメラＷの属性情報や撮影日時等が紐づけられている。

詳細は後述するが、一例として図４に示すように、表示部３は、画面左上側の枠内（ライブビューアー）に複数のカメラＷで撮像された動画データをリアルタイムに表示すると共に、動画データに写っている人物の顔領域を検出し、検出された人物の顔画像のサムネイルを画面下側の枠内（タイムライン）に一列に表示している。また、表示部３は、画面右上側の枠内（アラートモニター）に動画データから検出された人物が記憶部４に既に登録済みであると認証された場合に、その人物の情報を一覧表示している。さらに、画面右中ほどの枠内（アプリケーションの起動）に各種アプリケーションの一覧を表示している。人物の顔領域の検出と顔認証については後述する。

記憶部４は、ＲＡＭやＨＤＤといったハードウェアで構成されており、登録顔データと、カメラＷの属性情報や撮影日時が紐づけられた、動画データ，顔画像，顔の特徴量及びサムネイルと、各種プログラム等とが記憶されている。記憶部４は、短期保存モードとして、全動画データを短期間（例えば２週間）分保存しており、さらに長期保存モードとして、人物が撮像されていないデータを除いた動画データを長期間（例えば２ヶ月から２週間を引いた期間）分保存している。この記憶部４に記憶される動画データは、公知の圧縮形式で符号化圧縮されたものであっても良い。

制御部５は、検出部５１とサムネイル生成部５２と照合部５３と表示制御部５４と登録部５５とを有している。これらの機能部は、記憶部４からメモリに一時的に読み出されたプログラムに基づき、ＣＰＵ等の制御回路によって実行される。

検出部５１は、動画データに含まれる人物の顔領域を検出する処理を実行する。例えば、動画データに含まれる連続する複数の静止画データを順次メモリ上に展開し、人物の顔領域に相当するテンプレートを用いたテンプレートマッチング等を行うことで、顔領域を検出する。このとき、複数の連続する静止画データに同一人物が含まれている場合には、連続する１つの区間として特定される。また、動画データ上の人物が途中で消え、再度動画データに映っている場合には、原則として別々の区間として特定されるが、所定時間内（例えば１秒以内）であれば１つの区間として特定しても良い。

サムネイル生成部５２は、検出部５１により動画データ上に検出された顔領域の画像データを所定のサイズに拡大縮小して正規化（例えば、縦１２０画素×横９０画素に圧縮）し、サムネイルを生成する。このサムネイルは、カメラＷの属性情報や撮像日時を静止画データ上の座標と共に記憶部４に記憶される。このとき、同一人物について複数のサムネイルがある場合、顔の正面度合いや画像の鮮明度を数値化した品質値（以下、「品質値」と言う）が最も高いサムネイルが、表示サムネイル（以下、「表示サムネイル」と言う）として設定される。つまり、動画データ上に１区間として連続した顔画像の静止画データが複数あるときに、１区間が終了した時点（例えば、人物が動画データ上から消えた時点）で、複数の静止画データに基づいて表示サムネイルが設定される。この表示サムネイルの設定は、リアルタイムに表示される動画データとほぼ同時に実行されるため、監視員は、動画データと表示サムネイルとが連続したものとして認識することができる。

照合部５３は、動画データ上に登録顔データの人物が映っているか否かを判定する処理を実行する。照合部５３は、検出部５１で検出された動画データの顔領域から人物の特徴として顔の特徴量を抽出し、当該顔の特徴量（人物の特徴）と登録顔データに含まれる登録された顔の特徴量（参照用の特徴）とを照合し、類似度に基づいて人物を認証する。例えば、動画データから抽出された顔の特徴量と、テンプレートとしての登録顔データに含まれる登録された顔の特徴量とを比較するテンプレートマッチング等により照合を行い、類似度が所定値以上の場合に、当該登録顔データに該当する人物であると認証する。

また、照合部５３は、サムネイル生成部５２で生成された複数の表示サムネイルに対応する人物の特徴を夫々照合（比較）して、同一人物（同一の物体の一例）であるか否かを判定する。例えば、所定期間内（例えば５秒以内）に存在する複数の表示サムネイルに対応する顔の特徴量同士をテンプレートマッチング等により照合を行い、類似度が所定値以上の場合に同一人物であると認証する。ここで、複数の表示サムネイルに対応する人物の特徴とは、照合部５３において動画データから抽出された顔の特徴量のことであるが、表示サムネイル自体から抽出された顔の特徴量であっても良い。

表示制御部５４は、表示部３に対する表示制御を実行する。表示制御部５４は、通信部１を介してカメラＷから受信した動画データを、表示部３にリアルタイムに表示させる（図４～図６の画面左上側「ライブビューアー」参照）。このとき、検出部５１で検出された顔領域を枠で囲む等により強調表示しても良い。本実施形態では、複数のカメラＷから受信した複数の動画データを、カメラＷの属性情報と共に表示部３の同一画面上（図４～図６の画面左上側「ライブビューアー」参照）に表示させている。これにより、監視員は、複数のカメラＷから取得した複数の動画データをまとめて閲覧することができる。

表示制御部５４は、照合部５３で登録顔データに該当する人物であると認証された顔画像を、当該人物が映っている動画データや登録データに含まれる登録顔画像と共に、表示部３に表示させる（図４～図６の画面右上側「アラートモニター」参照）。また、表示制御部５４は、各種設定が可能なアプリケーションのアイコンを一列に一覧表示して、表示部３に表示させる（図４～図６の画面右中ほど「アプリケーションの起動」参照）。

表示制御部５４は、動画データに含まれる複数の人物の顔画像に基づいてサムネイル生成部５２で生成された複数の表示サムネイルを、表示部３に一列に一覧表示させる（図４～図６の画面下側「タイムライン」参照）。このとき、表示制御部５４は、照合部５３で同一人物であると認証された複数の表示サムネイルのうちの１つの表示サムネイルを選定し、表示部３に表示させる。例えば、照合部５３で同一人物であると認証された複数の表示サムネイルのうち、表示部３で１番目に表示された表示サムネイルの品質値が２番目に表示された表示サムネイルの品質値よりも低い場合、１番目に表示された表示サムネイルが削除されることとなる。これにより、動画データ上に映っている同一人物の顔が途中で隠れ、再度動画データに当該同一人物の顔が映る場合に、当該同一人物を示す複数の表示サムネイルが表示部３に幾つも表示されることがない。このため、監視員は要注意人物の監視が容易となる。

表示制御部５４は、表示部３において一列に一覧表示された複数の表示サムネイルは、撮像時刻が新しい順に、夫々時系列で表示制御している。本実施形態における表示制御部５４は、画面の左から右に向かって時系列となるように、つまり左側が新しい撮像時刻の表示サムネイルとなるように表示制御している。図４～図６に示す表示部３の画面下側「タイムライン」では、表示サムネイルの下部に撮像日時等が記載されており、その更に下部にスクロールバーが設けられている。全ての表示サムネイルが画面上に収まらない場合、スクロールバーを操作することで、表示サムネイルを閲覧することができる。これにより、監視員は、動画データに連動した最新の表示サムネイルを確認することができる。

さらに、図５に示す表示部３の画面下側「タイムライン」の左側には、上矢印ボタンと下矢印ボタンが表示されており、これらのボタンをクリックすることで、現在表示されている表示サムネイルに対応するカメラＷ（入口に設置されたcamera001）とは異なるカメラＷ（出口に設置されたcamera002）から受信した動画データの表示サムネイルが表示される（図６参照）。また、図４の画面左上側「ライブビューアー」に表示された動画データをクリックした場合に、選択されたカメラＷから受信した動画データに含まれる人物を示す表示サムネイルを表示しても良い。また、カメラＷのＩＤをプルダウン方式で選択可能に構成しても良い。このように、表示部３は、複数のカメラＷから取得した複数の動画データのうち、選択された動画データに含まれる人物を示す表示サムネイルを表示するため、監視員が確認を必要とするカメラＷに絞って、表示サムネイルを確認することができる。

表示制御部５４は、操作部２を介して所定の操作を受け付けた場合、表示部３における表示サムネイルの表示の更新を停止させる。つまり、表示部３において時系列で表示される表示サムネイルの更新が停止され、所定の操作が行われた時点における複数の表示サムネイルが一列に一覧表示された状態で固定される。所定の操作を受け付けた場合とは、図４～図６の画面下側「タイムライン」にマウスのポインタが入ったときであっても良いし、マウスが右クリックされたとき、スクロールバーが操作されたとき、不図示の停止ボタンが押下されたとき等であっても良い。これによって、都度更新される動画データに含まれる人物を示す表示サムネイルの選択操作が容易となる。

表示制御部５４は、表示サムネイルの表示の更新を停止した状態において、所定期間内（例えば５秒以内）に表示サムネイルが選択された場合、表示部３における表示サムネイルの表示の更新を再開させる。また、表示制御部５４は、表示サムネイルの表示の更新を停止した状態において、所定期間（例えば５秒）が経過した場合、表示部３における表示サムネイルの表示の更新を再開させる。つまり、後述する登録部５５の登録処理に移行する操作が所定期間内に実行されなかった場合、表示部３における表示サムネイルの表示の更新を再開させる。これによって、短期間に表示サムネイルの表示を再開させることが可能となり、監視員として確認が必要な人物を見逃すことを防止できる。

登録部５５は、表示制御部５４によって表示制御された表示サムネイルが選択された場合、選択された表示サムネイルに対応する人物の特徴を、登録顔データ（参照用の特徴）として登録するための登録処理を実行する。表示サムネイルの選択方法としては種々の形態が考えられる。例えば、マウスのポインタを選択したい表示サムネイルに移動させた後、マウスを左クリックしたり、キーボードの「Enter」キーを押下したりすることが考えられる。ここで、表示サムネイルに対応する人物の特徴とは、照合部５３において動画データから抽出された顔画像及び顔の特徴量のことである。この表示サムネイルに対応する人物の特徴は、複数の顔画像及び顔の特徴量が存在するため、後述する登録用画面で登録する顔画像及び顔の特徴量を有するサムネイルを選択可能に構成されている。

本実施形態における登録処理は、表示制御部５４が、登録用画面を表示部３に表示させるように構成されている。図７には、新規登録時における登録用画面の一例が示されている。登録用画面では、画面左上側に選択された表示サムネイルを表示しており、「もっと見る」ボタンをクリックした場合、表示サムネイル以外の動画データに含まれる人物を示す複数（本実施形態では９つ）のサムネイルが追加で表示される。また、登録用画面の画面左下側は、追加登録時に表示される部分であり、登録顔データに含まれる登録顔画像が表示可能に構成されている。

登録用画面の画面右側は、登録ＩＤ，名前，アクション，生年月日等の個人の属性が入力可能となっている。アクションについては、図４～図６の「タイムライン」に表示された表示サムネイルを枠線で囲む色を指定することが可能である。つまり、表示部３は、抽出した人物の特徴が登録顔データであると認証された人物を示す複数の表示サムネイルを、物体の属性に応じて異なる態様で夫々表示することが可能である。これによって、監視員は、緊急性の高い要注意人物を瞬時に把握可能となるため、当該要注意人物に声掛けなどを行うことができる。また、表示部３は、抽出した人物の特徴が登録顔データであると認証された人物を示す表示サムネイルが色付き枠線（例えば、赤色枠線）で囲まれ、抽出した人物の特徴が登録顔データであると認証されなかった人物を示す表示サムネイルが枠線無し又は黒色枠線で囲まれた状態となり、夫々を異なる態様で表示している。これによって、監視員は、新規登録又は追加登録の何れが必要なのかを瞬時に判断できる。

そして、登録部５５は、画面右下側の「登録」ボタンが選択されれば、登録処理を実行する。このとき、画面左上側の「登録ウインドウ」に表示された複数のサムネイルのうち、登録顔データとして登録するサムネイルを選択可能に構成されていても良い。また、登録部５５は、画面左上側の「登録ウインドウ」に表示された複数のサムネイルのうち、登録顔データとして登録するサムネイルを選択した場合に登録処理を実行しても良い。

このように、本実施形態の表示部３は、動画データをリアルタイムに表示し、併せて動画データに含まれる人物を示す表示サムネイルを表示する。そして、監視員が表示サムネイルを選択することで、登録部５５は、選択されたサムネイルに対応する人物の特徴を、参照用の特徴として登録する。このため、登録が必要な人物の特徴のみ参照用の特徴として登録することが可能となる。しかも、動画データに含まれる人物を示す表示サムネイルが一覧表示されており、この表示サムネイルを選択するだけで参照用の特徴として登録をすることができる。したがって、監視カメラシステムＸにおいて、動画データに映し出されている人物を迅速に登録したいとするニーズに対応することができる。

続いて、図３を用いて、物体認証方法及び物体認証プログラムについて説明する。

本実施形態に係る物体認証方法又は物体認証プログラムは、まず、管理用サーバＳの通信部１が複数のカメラＷから複数の動画データを取得する（♯３１、取得ステップ又は取得処理）。そして、管理用サーバＳの検出部５１が、動画データから人物の顔領域を検出する（♯３２、検出ステップ又は検出処理）。次いで、管理用サーバＳの照合部５３は、検出された顔領域から抽出された顔の特徴量（人物の特徴）と登録顔データに含まれる登録された顔の特徴量（参照用の特徴）とを照合し、類似度が所定値以上である場合に要注意人物であると認証し、類似度が所定値未満の場合に登録されていない人物であると認証する（♯３３、認証ステップ又は認証処理）。そして、管理用サーバＳのサムネイル生成部５２が、検出部５１により動画データ上に検出された顔領域の画像データを所定のサイズに拡大縮小して正規化（例えば、縦１２０画素×横９０画素に圧縮）し、サムネイルを生成する（♯３４、サムネイル生成ステップ又はサムネイル生成処理）。

次いで、管理用サーバＳの照合部５３は、同一人物における複数のサムネイルのうち品質値が最も高いサムネイルを表示サムネイルとして設定し、管理用サーバＳの表示部３は、動画データをリアルタイムに表示し、併せて動画データに含まれる人物を示す表示サムネイルを同一画面に表示させる（♯３４、表示ステップ又は表示処理）。具体的には、図４に示すように、表示部３は、複数の動画データを画面左上側の「ライブビューアー」に表示し、複数の表示サムネイルを画面下側「タイムライン」に一覧表示させる。

次いで、管理用サーバＳの表示制御部５４は、所定の操作が行われたか否か（例えば、マウスのポインタが表示部３の画面下側「タイムライン」の枠内に入ったか否か）を判定する（♯３６、判定ステップ又は判定処理）。♯３６で所定の操作が行われたと判定された場合（♯３６ＹＥＳ）、表示制御部５４は、表示部３における表示サムネイルの更新を停止し、所定の操作が行われた時点における複数の表示サムネイルが一列に一覧表示された状態で固定される（＃３７、停止ステップ又は停止処理）。

次いで、表示制御部５４は、表示サムネイルの更新を停止してから所定時間（例えば、５秒）経過したか否かを判定する（♯３８、判定ステップ又は判定処理）。表示サムネイルが選択されない状態で所定時間経過した場合（♯３９ＮＯ、♯３８ＹＥＳ）、表示部３は表示サムネイルの更新を再開する（＃４３、再開ステップ又は再開処理）。

一方、表示サムネイルの更新を停止してから所定時間経過しておらず（♯３８ＮＯ）、且つ表示サムネイルが選択された場合（♯３９ＹＥＳ）、表示部３は表示サムネイルの更新を再開する（＃４０、再開ステップ又は再開処理）。次いで、管理用サーバＳの登録部５５は、選択された表示サムネイルに対応する人物の顔の特徴を、登録顔データ（参照用の特徴）として登録するための登録用画面（図７参照）を表示する（♯４１、表示ステップ又は表示処理）。次いで、監視員が登録用画面に所定の入力を行い、登録操作が実行されたとき、登録部５５は、選択された表示サムネイルに対応する人物の顔の特徴を、登録顔データ（参照用の特徴）として登録する（♯４２、登録ステップ又は登録処理）。

［別実施形態］
図８～図１０を用いて、別実施形態に係る物体認証システム、物体登録装置、物体認証方法及び物体認証プログラムを説明する。なお、図面の理解を容易にするため、上述した実施形態と同様の機能部について同一の符号を用いて説明する。また、以下の説明において、上述した実施形態と同様の機能部については詳細説明を省略する。

図８に示すように、本実施形態における監視カメラシステムＸ（物体認証システムの一例）は、店舗に配置された複数のカメラＷで撮像された動画データが夫々複数の認証用端末Ｔに送信され、複数の認証用端末Ｔから管理用サーバＳａ（物体登録装置の一例）に所定のデータが送信され、監視員（操作者）が管理用サーバＳａで要注意人物（万引き犯等）を確認できるものである。本実施形態では、上述した実施形態における管理用サーバＳの各機能部の一部を、管理用サーバＳａとは別の認証用端末Ｔが備えている点が異なっている。

図９に示すように、本実施形態における管理用サーバＳａは、上述した実施形態における管理用サーバＳと同様の操作部２と表示部３とサーバ側制御部５Ａに含まれる表示制御部５４及び登録部５５とを備えている。また、本実施形態における認証用端末Ｔは端末側制御部５Ｂを備えており、この端末側制御部５Ｂは、上述した実施形態における管理用サーバＳと同様の検出部５１とサムネイル生成部５２とを有している。これらの機能部については説明を省略する。

認証用端末Ｔは、端末側通信部１Ｂと端末側記憶部４Ｂと端末側制御部５Ｂに含まれる端末側照合部５３Ｂとを備えている。管理用サーバＳａは、サーバ側通信部１Ａとサーバ側記憶部４Ａとサーバ側制御部５Ａに含まれるサーバ側照合部５３Ａとを備えている。つまり、上述した実施形態における管理用サーバＳの通信部１と記憶部４と照合部５３の機能部を、本実施形態における管理用サーバＳａと認証用端末Ｔとに分散している。

端末側通信部１Ｂは、カメラＷが撮像した動画データを有線又は無線で構成されるネットワークを介して受信するためのインターフェースである。また、端末側通信部１Ｂは、登録顔データ（参照用の特徴）をサーバ側通信部１Ａからネットワークを介して受信する。

サーバ側通信部１Ａは、動画データ，顔画像，顔の特徴量及びサムネイル等を端末側通信部１Ｂからネットワークを介して受信するためのインターフェースである。また、サーバ側通信部１Ａは、後述する端末側照合部５３Ｂでの認証結果を端末側通信部１Ｂからネットワークを介して受信する。さらに、サーバ側通信部１Ａは、店舗内に配置されたＥＡＳ装置（不正持出防止装置、不図示）から警告信号を受信しても良い。

端末側記憶部４Ｂは、ＲＡＭやＨＤＤといったハードウェアで構成されており、カメラＷの属性情報や撮影日時が紐づけられた、動画データ，顔画像，顔の特徴量及びサムネイルや各種プログラム等が記憶されている。端末側記憶部４Ｂは、短期保存モードとして、全動画データを短期間（例えば２週間）分保存しており、さらに長期保存モードとして、人物が撮像されていないデータを除いた動画データを長期間（例えば２ヶ月から２週間を引いた期間）分保存している。この端末側記憶部４Ｂに記憶される動画データは、公知の圧縮形式で符号化圧縮されたものであっても良い。

サーバ側記憶部４Ａは、ＲＡＭやＨＤＤといったハードウェアで構成されており、登録顔データや各種プログラム等が記憶されている。

端末側照合部５３Ｂは、動画データ上に登録顔データの人物が映っているか否かを判定する処理を実行する。端末側照合部５３Ｂは、検出部５１で検出された動画データの顔領域から人物の特徴として顔の特徴量を抽出し、抽出された顔の特徴量（人物の特徴）と登録顔データに含まれる登録された顔の特徴量（参照用の特徴）とを照合し、類似度に基づいて人物を認証する。例えば、動画データから抽出された顔の特徴量と、テンプレートとしての登録顔データに含まれる登録された顔の特徴量とを比較するテンプレートマッチング等により照合を行い、類似度が所定値以上の場合に、当該登録顔データに該当する人物であると認証する。

サーバ側照合部５３Ａは、認証用端末Ｔのサムネイル生成部５２で生成された複数の表示サムネイルに対応する人物の特徴を夫々照合（比較）して、同一人物（同一の物体の一例）であるか否かを判定する。例えば、所定期間内（例えば５秒以内）に存在する複数の表示サムネイルに対応する顔の特徴量同士をテンプレートマッチング等により照合を行い、類似度が所定値以上の場合に同一人物であると認証する。ここで、複数の表示サムネイルに対応する人物の特徴とは、端末側照合部５３Ｂにおいて動画データから抽出された顔の特徴量のことであるが、表示サムネイル自体から抽出された顔の特徴量であっても良い。

続いて、図１０を用いて、物体認証方法及び物体認証プログラムについて説明する。

本実施形態に係る物体認証方法又は物体認証プログラムは、まず、複数の認証用端末Ｔの端末側通信部１Ｂが夫々、対応するカメラＷから動画データを取得する（♯８１、取得ステップ又は取得処理）。そして、認証用端末Ｔの検出部５１が、動画データから人物の顔領域を検出する（♯８２、検出ステップ又は検出処理）。次いで、認証用端末Ｔの端末側照合部５３Ｂは、検出された顔領域から抽出された顔の特徴量（人物の特徴）と登録顔データに含まれる登録された顔の特徴量（参照用の特徴）とを照合し、類似度が所定値以上である場合に要注意人物であると認証し、類似度が所定値未満の場合に登録されていない人物であると認証する（♯８３、認証ステップ又は認証処理）。そして、認証用端末Ｔのサムネイル生成部５２が、検出部５１により動画データ上に検出された顔領域の画像データを所定のサイズに拡大縮小して正規化し、サムネイルを生成する（♯８４、サムネイル生成ステップ又はサムネイル生成処理）。

次いで、複数の認証用端末Ｔの端末側通信部１ＢからカメラＷの属性情報や撮影日時が紐づけられた動画データ，顔の特徴量及びサムネイルが送信され、これらカメラＷの属性情報や撮影日時が紐づけられた動画データ，顔の特徴量及びサムネイルを、管理用サーバＳａのサーバ側通信部１Ａが受信する（♯８５、取得ステップ又は取得処理）。次いで、管理用サーバＳａのサーバ側照合部５３Ａは、同一人物における複数のサムネイルのうち品質値が最も高いサムネイルを表示サムネイルとして設定し、管理用サーバＳａの表示部３は、動画データをリアルタイムに表示し、併せて動画データに含まれる人物を示す表示サムネイルを同一画面に表示させる（♯８６、表示ステップ又は表示処理）。具体的には、図４に示すように、表示部３は、複数の動画データを画面左上側の「ライブビューアー」に表示し、複数の表示サムネイルを画面下側「タイムライン」に一覧表示させる。

次いで、管理用サーバＳａの表示制御部５４は、所定の操作が行われたか否か（例えば、マウスのポインタが表示部３の画面下側「タイムライン」の枠内に入ったか否か）を判定する（♯８７、判定ステップ又は判定処理）。♯８７で所定の操作が行われたと判定された場合（♯８７ＹＥＳ）、表示制御部５４は、表示部３における表示サムネイルの更新を停止し、所定の操作が行われた時点における複数の表示サムネイルが一列に一覧表示された状態で固定される（＃８８、停止ステップ又は停止処理）。

次いで、表示制御部５４は、表示サムネイルの更新を停止してから所定時間（例えば、５秒）経過したか否かを判定する（♯８９、判定ステップ又は判定処理）。表示サムネイルが選択されない状態で所定時間経過した場合（♯９０ＮＯ、♯８９ＹＥＳ）、表示部３は表示サムネイルの更新を再開する（＃９５、再開ステップ又は再開処理）。

一方、表示サムネイルの更新を停止してから所定時間経過しておらず（♯８９ＮＯ）、且つ表示サムネイルが選択された場合（♯９０ＹＥＳ）、表示部３は表示サムネイルの更新を再開する（＃９１、再開ステップ又は再開処理）。次いで、管理用サーバＳａの登録部５５は、選択された表示サムネイルに対応する人物の顔の特徴を、登録顔データ（参照用の特徴）として登録するための登録用画面（図７参照）を表示する（♯９２、表示ステップ又は表示処理）。次いで、監視員が登録用画面に所定の入力を行い、登録操作が実行されたとき、登録部５５は、選択された表示サムネイルに対応する人物の顔の特徴を、登録顔データ（参照用の特徴）として登録する（♯９３、登録ステップ又は登録処理）。そして、更新された登録顔データ（参照用の特徴）が管理用サーバＳａのサーバ側通信部１Ａから送信され、この更新された登録顔データ（参照用の特徴）を、複数の認証用端末Ｔの端末側通信部１Ｂが受信し、端末側記憶部４Ｂに記憶させる（♯９４、取得ステップ又は取得処理）。

［その他の実施形態］
（１）上述した実施形態では、登録顔データとして要注意人物（万引き犯等）の顔の特徴として説明したが、ＶＩＰ等の重要人物の顔の特徴であっても良い。また。登録顔データは、顔画像及び顔の特徴量の少なくとも一方であっても良い。
（２）物体の特徴としては、顔の特徴量だけでなく、人物の姿（シルエット）、服の色・柄、眼鏡等の人物が有する属性のうち少なくとも１つを含むものであっても良い。また、物体を車体として、物体の特徴を、車体の形状、ナンバープレートの文字（地名、番地）等で構成しても良く、特に限定されない。
（３）取得部は通信部１に限定されず、記憶部４を取得部と見做しても良い。

（４）上述した実施形態では、選択された表示サムネイルに対応する顔画像データを、照合部５３における参照用の特徴として用いた。これに代えて、選択された表示サムネイルに該当する動画データを再度読み込んで、当該表示サムネイルに対応する顔画像データを抽出し、参照用の特徴として用いても良い。
（５）登録部５５の登録処理は、登録用画面として「登録しますか？」－「はい」「いいえ」という表示のうち「はい」が選択された場合に登録しても良いし、登録用画面を経ずに表示サムネイルが選択された場合、即座に登録しても良い。

（６）上述した実施形態では、登録部５５が新規登録を実行するケースを主として説明したが、既に登録顔データが存在する人物の顔画像データについて追加登録を実行しても良い。例えば、図４の画面右上側「アラートモニター」において、「登録画像」と「検知画像」とを比較して「検知画像」の方が正面を向いている場合に「検知画像」を追加登録用の表示サムネイルとして選択可能に構成しても良い。
（７）複数のカメラＷを１つのカメラＷであっても良いし、３つ以外の複数のカメラＷのカメラであっても良い。また、管理用サーバＳを複数設けても良い。
（８）別実施形態に係る管理用サーバＳａにおいて、サーバ側通信部１Ａでの動画データの取得を省略して、表示部３に「タイムライン」のみを表示させても良いし、表示部３に「タイムライン」と「アラートモニター」のみを表示させても良いし、表示部３に「タイムライン」と「アラートモニター」と「アプリケーションの起動」のみを表示させても良い。

本発明は、セキュリティシステムや監視カメラシステム等に用いられる物体認証システム、物体登録装置、物体認証方法及び物体認証プログラムに利用可能である。

１ ：通信部（取得部）
１Ａ ：サーバ側通信部（取得部）
１Ｂ ：端末側通信部（取得部）
２ ：操作部
３ ：表示部
４ ：記憶部
４Ａ ：サーバ側記憶部
４Ｂ ：端末側記憶部
５ ：制御部
５Ａ ：サーバ側制御部
５Ｂ ：端末側制御部
５１ ：検出部
５２ ：サムネイル生成部
５３ ：照合部
５３Ａ ：サーバ側照合部
５３Ｂ ：端末側照合部
５４ ：表示制御部
５５ ：登録部
Ｓ，Ｓａ：管理用サーバ（物体登録装置）
Ｔ ：認証用端末
Ｗ ：カメラ
Ｘ ：監視カメラシステム（物体認証システム）

Claims (14)

1. 動画データから物体の特徴を抽出し、抽出した物体の特徴と参照用の特徴とを照合し、当該物体を認証する物体認証システムにおいて、
   動画データを取得する取得部と、
   前記動画データをリアルタイムに表示し、併せて当該動画データに含まれる物体を示すサムネイルを表示する表示部と、
   前記表示部に表示された前記サムネイルが選択された場合、選択された前記サムネイルに対応する物体の特徴を、前記参照用の特徴として登録するための登録処理を実行する制御部と、を備える
   ことを特徴とする物体認証システム。
2. 前記制御部は、前記登録処理として、登録用画面を前記表示部に表示させる
   ことを特徴とする請求項１に記載の物体認証システム。
3. 前記制御部は、複数の前記サムネイルに対応する前記物体の特徴を夫々比較して同一の物体であれば、当該同一の物体を示す複数の前記サムネイルのうちの１つの前記サムネイルを選定し、
   前記表示部は、選定された前記１つのサムネイルを表示する
   ことを特徴とする請求項１又は２に記載の物体認証システム。
4. 前記取得部は、複数のカメラ夫々から前記動画データを取得し、
   前記表示部は、複数の前記カメラから取得した複数の前記動画データを同一画面上で表示する
   ことを特徴とする請求項１から３の何れか一項に記載の物体認証システム。
5. 前記制御部は、前記表示部に表示された前記動画データが選択された場合、選択された当該動画データに含まれる物体を示すサムネイルを生成し、
   前記表示部は、生成された前記サムネイルを表示する
   ことを特徴とする請求項４に記載の物体認証システム。
6. 前記表示部に表示された画面に対する操作を受け付ける操作部をさらに備え、
   前記制御部は、前記操作部を介して所定の操作を受け付けた場合、前記表示部における前記サムネイルの表示の更新を停止させる
   ことを特徴とする請求項１から５の何れか一項に記載の物体認証システム。
7. 前記制御部は、前記サムネイルの表示の更新を停止した状態において、所定期間内に前記サムネイルが選択された場合、前記表示部における前記サムネイルの表示の更新を再開させる
   ことを特徴とする請求項６に記載の物体認証システム。
8. 前記表示部は、複数の前記サムネイルを時系列で表示する
   ことを特徴とする請求項１から７の何れか一項に記載の物体認証システム。
9. 前記表示部は、抽出した物体の特徴が前記参照用の特徴であると認証された当該物体を示す前記サムネイルと、抽出した物体の特徴が前記参照用の特徴であると認証されなかった当該物体を示す前記サムネイルとを異なる態様で表示する
   ことを特徴とする請求項１から８の何れか一項に記載の物体認証システム。
10. 前記表示部は、抽出した物体の特徴が前記参照用の特徴であると認証された当該物体を示す複数の前記サムネイル夫々を、物体の属性に応じて異なる態様で表示する
    ことを特徴とする請求項９に記載の物体認証システム。
11. 前記物体は、人物の顔である
    ことを特徴とする請求項１から１０の何れか一項に記載の物体認証システム。
12. 動画データに含まれる物体の特徴と照合するための参照用の特徴を登録する物体登録装置において、
    動画データを取得する取得部と、
    前記動画データをリアルタイムに表示し、併せて当該動画データに含まれる物体を示すサムネイルを表示する表示部と、
    前記表示部に表示された前記サムネイルが選択された場合、選択された前記サムネイルに対応する物体の特徴を、前記参照用の特徴として登録するための登録処理を実行する制御部と、を備える
    ことを特徴とする物体登録装置。
13. 動画データから物体の特徴を抽出し、抽出した物体の特徴と参照用の特徴とを照合し、当該物体を認証する物体認証方法において、
    動画データを取得する取得ステップと、
    前記動画データをリアルタイムに表示し、併せて当該動画データに含まれる物体を示すサムネイルを表示する表示ステップと、
    前記表示ステップに表示された前記サムネイルが選択された場合、選択された前記サムネイルに対応する物体の特徴を、前記参照用の特徴として登録する登録ステップと、を備える
    ことを特徴とする物体認証方法。
14. 動画データから物体の特徴を抽出し、抽出した物体の特徴と参照用の特徴とを照合し、当該物体を認証する処理をコンピュータに実行させるための物体認証プログラムにおいて、
    動画データを取得する取得処理と、
    前記動画データをリアルタイムに表示し、併せて当該動画データに含まれる物体を示すサムネイルを表示する表示処理と、
    前記表示処理に表示された前記サムネイルが選択された場合、選択された前記サムネイルに対応する物体の特徴を、前記参照用の特徴として登録する登録処理と、をコンピュータに実行させる
    ことを特徴とする物体認証プログラム。

Images