JP7103229B2 - 不審度推定モデル生成装置 - Google Patents

不審度推定モデル生成装置 Download PDF

Info

Publication number
JP7103229B2
JP7103229B2 JP2018560328A JP2018560328A JP7103229B2 JP 7103229 B2 JP7103229 B2 JP 7103229B2 JP 2018560328 A JP2018560328 A JP 2018560328A JP 2018560328 A JP2018560328 A JP 2018560328A JP 7103229 B2 JP7103229 B2 JP 7103229B2
Authority
JP
Japan
Prior art keywords
suspiciousness
feature amount
estimation model
suspicious degree
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018560328A
Other languages
English (en)
Other versions
JPWO2018128015A1 (ja
Inventor
雅弘 西光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2018128015A1 publication Critical patent/JPWO2018128015A1/ja
Application granted granted Critical
Publication of JP7103229B2 publication Critical patent/JP7103229B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、不審度推定モデル生成装置、不審度推定モデル生成方法、不審度推定装置、不審度推定方法、プログラム、不審度推定システム、カメラに関し、特に、顔画像から特徴量を抽出して所定の推定を行う不審度推定モデル生成装置、不審度推定モデル生成方法、不審度推定装置、不審度推定方法、プログラム、不審度推定システム、カメラに関する。
顔画像を処理して当該顔画像の人物の属性を推定する技術が知られている。
例えば、特許文献1には、顔領域抽出手段と、特徴量抽出手段と、登録情報保持手段と、制御手段と、を有する顔画像認識装置が記載されている。具体的には、登録情報保持手段は、各年齢層の特徴を示す固有ベクトル等である基準特徴量を保持している。そして、制御手段は、特徴量抽出手段により抽出された特徴量と基準特徴量とを比較して、最も類似度が高いとされた年齢層をその被験者の年齢と判定する。特許文献1によると、このような構成により、顔画像に基づいて被験者の属性である年齢を推定して、例えば、所定年齢以上の場合に操作を許可する、などの制御を行うことが可能となる。
なお、本発明と技術分野が異なる、商取引分野の先行技術に、例えば、特許文献2がある。特許文献2には、画像取得手段と、顔画像抽出手段と、商品情報が関連付けられたグループ情報が記憶されたデータベースと、利用者の特徴量とグループ情報とを照合し、商品情報を特定する特徴量照合手段と、を有する情報提供システムが記載されている。特許文献2によると、上記構成により、利用者に娯楽性の高い商品情報を提供することが出来る。
特許第4521086号公報 特開2010-198199号公報
特許文献1に記載されている技術の場合、特徴量抽出手段により抽出された特徴量と基準特徴量とを比較して、最も類似度が高いとされた年齢層をその被験者の年齢と判定する。このような処理を行うため、特許文献1に記載されている技術では、顔画像に基づいて顔画像の持ち主の属性である年齢を推定するためには、顔画像の特徴量と比較する各年齢の固有ベクトルなどの基準特徴量を予め保持していることが必要となる。換言すると、特許文献1に記載されている技術の場合、推定対象の属性である各年齢層の定義が予め行われていないと、顔画像の人物の属性を推定することが出来ない。従って、特許文献1に記載されている技術では、クラス定義が困難な属性を推定することが難しかった。
このように、顔画像から抽出した特徴量に基づいて、クラス定義が困難な属性を推定することは難しかった。そのため、例えば、顔画像に基づいて人物の不審度などクラス定義が困難な属性を推定することは難しく、顔画像に基づいて予め要注意人物として登録されていない不審者を検知することが難しい、という問題が生じていた。
そこで、本発明の目的は、顔画像に基づいて、予め要注意人物として登録されていない不審者を検知することが難しい、という問題を解決する不審度推定モデル生成装置、不審度推定モデル生成方法、不審度推定装置、不審度推定方法、プログラム、不審度推定システム、カメラを提供することにある。
かかる目的を達成するため本発明の一形態である不審度推定モデル生成装置は、
入力される顔画像から抽出される特徴量に基づいて、前記顔画像をクラスタリングするクラスタリング手段と、
前記クラスタリング手段によるクラスタリング結果と、前記クラスタリング結果に含まれる顔画像に予め対応付けられた当該顔画像が示す人物の不審度を示す不審度情報と、に基づいて、推定対象の人物の不審度を推定する際に用いる不審度推定モデルを生成する不審度推定モデル生成手段と、
を有する
という構成を採る。
また、本発明の他の形態である不審度推定モデル生成方法は、
入力される顔画像から抽出される特徴量に基づいて、前記顔画像をクラスタリングし、
クラスタリングした結果と、クラスタリングした結果に含まれる顔画像に予め対応付けられた当該顔画像が示す人物の不審度を示す不審度情報と、に基づいて、推定対象の人物の不審度を推定する際に用いる不審度推定モデルを生成する
という構成を採る。
また、本発明の他の形態であるプログラムは、
情報処理装置に、
入力される顔画像から抽出される特徴量に基づいて、前記顔画像をクラスタリングするクラスタリング手段と、
前記クラスタリング手段によるクラスタリング結果と、前記クラスタリング結果に含まれる顔画像に予め対応付けられた当該顔画像が示す人物の不審度を示す不審度情報と、に基づいて、推定対象の人物の不審度を推定する際に用いる不審度推定モデルを生成する不審度推定モデル生成手段と、
を実現させるためのプログラムである。
また、本発明の他の形態である不審度推定装置は、
推定対象の人物の顔領域から特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された前記特徴量と、予め生成された不審度推定モデルと、に基づいて、前記推定対象の人物の不審度を推定する不審度推定手段と、
を有し、
前記不審度推定モデルは、予め格納された顔画像から抽出した特徴量に基づいて当該顔画像をクラスタリングした結果と、前記クラスタリングした結果に含まれる顔画像に予め対応付けられている、当該顔画像が示す人物の不審度を示す不審度情報と、に基づいて、生成されている
という構成を採る。
また、本発明の他の形態である不審度推定方法は、
推定対象の人物の顔領域から特徴量を抽出し、
抽出された前記特徴量と、予め格納された顔画像から抽出した特徴量に基づいて当該顔画像をクラスタリングした結果と前記クラスタリングした結果に含まれる顔画像に予め対応付けられている、当該顔画像が示す人物の不審度を示す不審度情報とに基づいて予め生成された不審度推定モデルと、に基づいて、前記推定対象の人物の不審度を推定する
という構成を採る。
また、本発明の他の形態であるプログラムは、
情報処理装置に、
推定対象の人物の顔領域から特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された前記特徴量と、予め生成された不審度推定モデルと、に基づいて、前記推定対象の人物の不審度を推定する不審度推定手段と、
を実現させ、
前記不審度推定モデルは、予め格納された顔画像から抽出した特徴量に基づいて当該顔画像をクラスタリングした結果と、前記クラスタリングした結果に含まれる顔画像に予め対応付けられている、当該顔画像が示す人物の不審度を示す不審度情報と、に基づいて、生成されているプログラムである。
また、本発明の他の形態である不審度推定システムは、
入力される顔画像から抽出される特徴量に基づいて、前記顔画像をクラスタリングするクラスタリング手段と、
前記クラスタリング手段によるクラスタリング結果と、前記クラスタリング結果に含まれる顔画像に予め対応付けられた当該顔画像が示す人物の不審度を示す不審度情報と、に基づいて、推定対象の人物の不審度を推定する際に用いる不審度推定モデルを生成する不審度推定モデル生成手段と、
を有する不審度推定モデル生成装置と、
推定対象の人物の顔領域から特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された前記特徴量と、前記不審度推定モデル生成装置が生成した前記不審度推定モデルと、に基づいて、前記推定対象の人物の不審度を推定する不審度推定手段と、を有する不審度推定装置と、
を有する
という構成を採る。
また、本発明の他の形態であるカメラは、
撮像手段を有するカメラであって、
前記撮像手段により撮像された推定対象の人物の顔領域から特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された前記特徴量と、予め生成された不審度推定モデルと、に基づいて、前記推定対象の人物の不審度を推定する不審度推定手段と、
を有し、
前記不審度推定モデルは、予め格納された顔画像から抽出した特徴量に基づいて当該顔画像をクラスタリングした結果と、前記クラスタリングした結果に含まれる顔画像に予め対応付けられている、当該顔画像が示す人物の不審度を示す不審度情報と、に基づいて、生成されている
という構成を採る。
本発明は、以上のように構成されることにより、顔画像に基づいて、予め要注意人物として登録されていない不審者を検知することが難しい、という問題を解決する不審度推定装置、不審度推定モデル生成装置、不審度推定方法、不審度推定モデル生成方法、プログラム、不審度推定システム、カメラを提供することが可能となる。
本発明の第1の実施形態に係る不審度推定システムの全体の構成の一例を示す図である。 図1で示す不審度推定モデル生成装置の構成の一例を示すブロック図である。 図2で示す顔不審度情報の一例を示す図である。 図1で示すカメラの構成の一例を示すブロック図である。 図1で示す不審度推定装置の構成の一例を示すブロック図である。 不審度推定モデル生成装置が不審度推定モデルを生成する際の処理の一例を示すフローチャートである。 不審度推定装置が人物の不審度を推定する際の処理の一例を示すフローチャートである。 本発明の第2の実施形態に係る不審度推定システムの全体の構成の一例を示す図である。 図8で示す不審度推定モデル生成装置の構成の一例を示すブロック図である。 図9で示す付加情報付顔不審度情報の一例を示す図である。 図8で示す不審度推定装置の構成の一例を示すブロック図である。 不審度推定モデル生成装置が不審度推定モデルを生成する際の処理の一例を示すフローチャートである。 不審度推定装置が人物の不審度を推定する際の処理の一例を示すフローチャートである。 本発明の第3の実施形態に係る不審度推定モデル生成装置の構成の一例を示す概略ブロック図である。 本発明の第3の実施形態に係る不審度推定装置の構成の一例を示す概略ブロック図である。
[第1の実施形態]
本発明の第1の実施形態を図1乃至図7を参照して説明する。図1は、不審度推定システム1の全体の構成の一例を示す図である。図2は、不審度推定モデル生成装置2の構成の一例を示すブロック図である。図3は、顔不審度情報241の一例を示す図である。図4は、カメラ3の構成の一例を示すブロック図である。図5は、不審度推定装置4の構成の一例を示すブロック図である。図6は、不審度推定モデル生成装置2が不審度推定モデル242を生成する際の処理の一例を示すフローチャートである。図7は、不審度推定装置4が人物の不審度を推定する際の処理の一例を示すフローチャートである。
第1の実施形態では、カメラ3で撮像した人物の不審度を推定する不審度推定システム1について説明する。後述するように、不審度推定システム1は、予め生成された不審度推定モデル242を有している。そして、不審度推定システム1は、カメラ3が撮像した画像データ中の人物の顔領域より抽出した特徴量と、不審度推定モデル242と、に基づいて、カメラ3が撮像した人物の不審度を判断する。本実施形態においては、不審度推定モデル242は、例えば、予め用意された顔画像を当該顔画像から抽出した顔の特徴量に基づいてクラスタリングした結果と、顔画像に対応付けられた不審度情報と、に基づいて生成されている。このように、人物の属性である不審度などを用いずに顔特徴量のみを用いてクラスタリングを行った結果に基づいて不審度推定モデル242を生成することで、クラス定義を行うことが困難な不審度などの属性の推定を行うことが可能となる。
図1は、不審度推定システム1の全体の構成の一例を示している。図1を参照すると、不審度推定システム1は、不審度推定モデル生成装置2と、カメラ3と、不審度推定装置4と、を有している。図1で示すように、カメラ3と不審度推定装置4とは、互いに通信可能なよう接続されている。また、不審度推定装置4と不審度推定モデル生成装置2とは、互いに通信可能なよう接続されている。なお、カメラ3と不審度推定装置4、不審度推定装置4と不審度推定モデル生成装置2は、それぞれ、図示しないネットワークを介して接続されていても構わない。
不審度推定モデル生成装置2は、情報処理装置である。不審度推定モデル生成装置2は、例えば、予め格納された顔不審度情報241に基づいて、不審度推定モデル242を生成する。そして、不審度推定モデル生成装置2は、生成した不審度推定モデル242を不審度推定装置4に送信する。
図2は、不審度推定モデル生成装置2が有する主な構成の一例である。図2を参照すると、不審度推定モデル生成装置2は、主な構成要素として、例えば、通信I/F部21と、操作入力部22と、画面表示部23と、記憶部24と、演算処理部25と、を有している。
通信I/F部21は、データ通信回路からなり、通信回線を介して接続された各種装置との間でデータ通信を行う機能を有している。不審度推定モデル生成装置2は、通信I/F部21を介して、不審度推定装置4や図示しない外部の装置と情報の送受信を行うことが出来る。
操作入力部22は、キーボードやマウスなどの操作入力装置である。操作入力部22は、不審度推定モデル生成装置2を操作する操作者による操作入力装置に対する操作を検出して、演算処理部25に出力する。操作入力部22の構成は、一般的な構成を採用することが出来る。
画面表示部23は、LCD(Liquid Crystal Display、液晶ディスプレイ)などの画面表示装置である。画面表示部23は、演算処理部25からの指示に応じて、顔不審度情報241や不審度推定モデル242などの各種情報を画面表示することが出来る。
記憶部24は、ハードディスクやメモリなどの記憶装置である。記憶部24は、演算処理部25における各種処理に必要な処理情報やプログラム243を記憶している。プログラム243は、演算処理部25に読み込まれて実行されることにより各種処理部を実現するプログラムである。プログラム243は、通信I/F部21などのデータ入出力機能を介して外部装置(図示せず)や記憶媒体(図示せず)から予め読み込まれ、記憶部24に保存されている。記憶部24で記憶される主な情報としては、顔不審度情報241と、不審度推定モデル242と、がある。
顔不審度情報241は、人物の顔を含む画像データである顔画像と当該顔画像の人物の不審度を示す不審度情報とを対応付けた情報である。顔不審度情報241は、例えば、通信I/F部21を介して外部のデータベースなどから予め取得されていたり、操作入力部22を用いて予め入力されていたりする。
図3を参照すると、顔不審度情報241は、識別情報と、顔画像と、不審度情報と、を対応付けている。例えば、図3の1行目は、識別情報「1」と、顔画像「A」と、不審度情報「a」と、を対応付けている。換言すると、図3の1行目は、顔画像が「A」の人物の不審度が「a」であることを示している。
ここで、図3中の識別情報とは、例えば、顔画像ごとに予め割り当てられた情報である。識別情報は、顔画像や顔画像と不審度情報とを対応づけた情報を識別するために用いることが出来る。また、図3中の顔画像は、人物の顔やその周辺を撮像した画像データであり、カメラ3や図示しない他の撮像装置などにより予め撮像されている。また、図3中の不審度情報は、例えば、顔画像が示す人物の逮捕歴の有無や指名手配の有無などを示しており、顔画像の人物が要注意人物であるか否かを示している。不審度情報は、上記のように不審度の有無(不審であるか否か)のみを示しても構わないし、例えば過去の罪状など人物の危険度等に応じて複数段階で評価するなど、段階的な評価を示しても構わない。
不審度推定モデル242は、後述する顔画像のクラスタリング結果と、クラスタリング結果に含まれる各顔画像に対応付けられた不審度情報と、に基づいて、推定モデル生成手段253により生成される推定モデルである。不審度推定モデル242は、例えば、クラスタリング結果に含まれる各クラスタや顔画像などと、不審度情報と、を対応付けることで生成される。不審度推定モデル242は、通信I/F部21を介して不審度推定装置4に送信される。不審度推定モデル242は、不審度推定装置4において、カメラ3が取得した、不審度情報が不明である顔画像の人物の不審度を推定する際に用いられることになる。
演算処理部25は、MPU(Micro-Processing Unit)などのマイクロプロセッサとその周辺回路を有する。演算処理部25は、記憶部24からプログラム243を読み込んで実行することにより、上記ハードウェアとプログラム243とを協働させて各種処理部を実現する。演算処理部25で実現される主な処理部としては、例えば、顔特徴量抽出手段251と、クラスタリング手段252と、推定モデル生成手段253(不審度推定モデル生成手段)と、がある。
顔特徴量抽出手段251は、顔不審度情報241に含まれる各顔画像から当該顔画像が示す人物の顔の(顔領域の)特徴量をそれぞれ抽出する。そして、顔特徴量抽出手段251は、抽出した特徴量を示す情報をクラスタリング手段252に送信する。
例えば、顔特徴量抽出手段251は、顔不審度情報241から、顔画像を取得する。続いて、顔特徴量抽出手段251は、取得した顔画像のうちの人物の顔領域を抽出する。そして、顔特徴量抽出手段251は、抽出した顔領域に含まれる目、鼻、口などの特徴点の特徴量を抽出する。その後、顔特徴量抽出手段251は、抽出した特徴量を1つにまとめて特徴ベクトルを算出する。
このように、顔特徴量抽出手段251は、顔不審度情報241に含まれる顔画像から当該顔画像の特徴量である特徴ベクトルを算出する。その後、顔特徴量抽出手段251は、算出した特徴ベクトルを顔画像の特徴量としてクラスタリング手段252に送信する。なお、本実施形態においては、顔特徴量抽出手段251が顔領域を抽出する際や特徴点の特徴量を抽出する際、特徴ベクトルを算出する際の具体的な手法については特に限定しない。顔特徴量抽出手段251は、既知の様々な手法を用いて、特徴ベクトルを算出することが出来る。
クラスタリング手段252は、顔特徴量抽出手段251から受信した特徴ベクトルを用いて、顔不審度情報241に含まれる各顔画像をクラスタリングする。この際、クラスタリング手段252は、顔不審度情報241に含まれる不審度情報を利用しないでクラスタリングを行う。このように、クラスタリング手段252は、不審度情報を用いずに顔画像より抽出した特徴量(特徴ベクトル)のみを用いて、特徴量の近似度により顔不審度情報241に含まれる顔画像のクラスタリングを行う。換言すると、クラスタリング手段252は、顔画像より抽出した特徴量を用いて顔特徴量の近似度に基づくクラスタを生成して、顔不審度情報241に含まれる顔画像を複数のクラスタに分割する。そして、クラスタリング手段252は、クラスタリングした結果であるクラスタリング結果を推定モデル生成手段253へ送信する。
推定モデル生成手段253は、クラスタリング手段252によるクラスタリング結果と、クラスタリング結果に含まれる顔画像と予め対応付けられている不審度情報と、に基づいて、不審度推定モデル242を生成する。そして、推定モデル生成手段253は、生成した不審度推定モデル242を、通信I/F部21を介して不審度推定装置4へと送信する。また、推定モデル生成手段253は、生成した不審度推定モデル242を記憶部24に格納する。
例えば、推定モデル生成手段253は、クラスタリング手段252からクラスタリング結果を受信する。また、推定モデル生成手段253は、顔不審度情報241を参照して、クラスタリング結果に含まれる各顔画像と対応付けられている不審度情報を確認する。そして、推定モデル生成手段253は、クラスタリング結果と、不審度情報と、に基づいて、不審度推定モデル242を生成する。
例えば、推定モデル生成手段253は、クラスタリング結果に含まれる各クラスタと、当該クラスタに含まれる顔画像と対応付けられている不審度情報に基づく不審度情報とを対応付けて、不審度推定モデル242を生成する。具体的には、例えば、推定モデル生成手段253は、各クラスタと、クラスタに含まれる顔画像と対応付けられている不審度情報の平均とを対応付ける(例えば、不審である=1、不審でない=0とみなして平均を算出する)。又は、推定モデル生成手段253は、不審である旨の不審度情報が対応付けられた顔画像の数や割合に応じた不審度情報を各クラスタに対応付けて不審度推定モデル242を生成する。例えば、推定モデル生成手段253は、クラスタ内に所定割合以上の不審であると判定される不審度情報が含まれる場合に、当該クラスタの不審度情報に不審である旨の不審度情報を付与する。
また、推定モデル生成手段253は、顔不審度情報241を参照して、クラスタリング結果に含まれる各顔画像のそれぞれと、顔画像に対応する不審度情報と、を対応付けて不審度推定モデル242を生成する。
このように、推定モデル生成手段253は、クラスタリング結果と、不審度情報と、に基づいて、不審度推定モデル242を生成する。その後、推定モデル生成手段253は、生成した不審度推定モデル242を記憶部24に格納するとともに、通信I/F部21を介して不審度推定装置4へと送信する。なお、推定モデル生成手段253は、上記例示した方法のいずれか、又は複数を組み合わせて不審度推定モデル242を生成しても構わない。また、推定モデル生成手段253は、上記例示した方法以外の方法により、クラスタリング結果と不審度情報とに基づいて不審度推定モデル242を生成しても構わない。
カメラ3は、画像データを取得する監視カメラなどの撮像手段である。カメラ3は、例えば、ネットワークカメラ(IPカメラ)やインテリジェントカメラなどであっても良い。カメラ3は、例えば空港などの公共施設や街中、店舗など任意の場所に設置され、設置された箇所の画像データである画像データ情報331を取得する。そして、カメラ3は、取得した画像データ情報331を不審度推定装置4に送信する。
図4は、カメラ3が有する主な構成の一例である。図4を参照すると、カメラ3は、主な構成要素として、例えば、撮像手段31と、送受信手段32と、記憶装置33と、を有している。
撮像手段31は、カメラ3が設置された箇所の画像データを取得する。撮像手段31が取得する画像データには、カメラ3の設置箇所付近を通過する人物の画像データなどが含まれている。撮像手段31は、取得した画像データを画像データ情報331として記憶装置33に格納する。送受信手段32は、不審度推定装置4や外部の他の装置と情報の送受信を行う。本実施形態において、カメラ3は、撮像手段31が取得した画像データ情報331を、送受信手段32を介して不審度推定装置4へと送信する。記憶装置33は、メモリなどの記憶装置である。記憶装置33には、画像データ情報331などが格納される。
不審度推定装置4は、情報処理装置である。不審度推定装置4は、不審度推定モデル生成装置2から受信した不審度推定モデル242と、カメラ3から受信した画像データ情報331と、に基づいて、画像データ情報331に含まれる人物の不審度を推定する。不審度推定装置4は、推定した不審度を例えば、画面表示部43に表示したり通信I/F部41を介して外部の装置に送信したりすることが出来る。
図5は、不審度推定装置4が有する主な構成の一例である。図5を参照すると、不審度推定装置4は、主な構成要素として、例えば、通信I/F部41と、操作入力部42と、画面表示部43と、記憶部44と、演算処理部45と、を有している。
なお、通信I/F部41、操作入力部42、画面表示部43は、図2を参照して説明した不審度推定モデル生成装置2が有する通信I/F部21、操作入力部22、画面表示部23と同様の構成である。そのため、通信I/F部41、操作入力部42、画面表示部43の説明は省略する。
記憶部44は、ハードディスクやメモリなどの記憶装置である。記憶部44は、演算処理部45における各種処理に必要な処理情報やプログラム442を記憶している。プログラム442は、演算処理部45に読み込まれて実行されることにより各種処理部を実現するプログラムである。プログラム442は、通信I/F部41などのデータ入出力機能を介して外部装置(図示せず)や記憶媒体(図示せず)から予め読み込まれ、記憶部44に保存されている。記憶部44で記憶される主な情報としては、例えば、不審度推定モデル242と、画像データ情報331と、推定結果情報441と、がある。
不審度推定モデル242は、不審度推定モデル生成装置2において生成された推定モデルである。不審度推定モデル242は、通信I/F部41を介して、不審度推定モデル生成装置2から送信されて記憶部44内に格納されている。
画像データ情報331は、カメラ3において取得された画像データである。画像データ情報331には、カメラ3が設置された箇所付近を通過する人物の画像データなどが含まれている。画像データ情報331は、通信I/F部41を介して、カメラ3から送信されて記憶部44内に格納されている。
推定結果情報441は、不審度推定手段452により推定された、カメラ3が取得した画像データ情報331に含まれる人物(推定対象の人物)の不審度を示す情報である。推定結果情報441は、例えば、顔不審度情報241と同様の構造を有しており、画像データ情報331に含まれる人物を識別するための情報(例えば、当該人物を含む画像データ)と、不審度推定手段452により推定された推定結果と、を対応づけた情報を含んでいる。後述するように、推定結果情報441は、画面表示部43に表示したり、通信I/F部41を介して外部の装置へと送信したりすることが出来る。
このように、不審度推定装置4が有する記憶部44には、不審度推定モデル生成装置2が生成した不審度推定モデル242とカメラ3が取得した画像データ情報331とが格納されている。
演算処理部45は、MPUなどのマイクロプロセッサとその周辺回路を有する。演算処理部45は、記憶部44からプログラム442を読み込んで実行することにより、上記ハードウェアとプログラム442とを協働させて各種処理部を実現する。演算処理部45で実現される主な処理部としては、例えば、顔特徴量抽出手段451(特徴量抽出手段)と、不審度推定手段452と、がある。
顔特徴量抽出手段451は、画像データ情報331に含まれる人物(推定対象の人物)の顔の特徴量を抽出する。そして、顔特徴量抽出手段451は、抽出した顔の特徴量を示す情報を不審度推定手段452に送信する。
例えば、顔特徴量抽出手段451は、画像データ情報331を参照して、当該画像データ情報331に含まれる人物を抽出する。続いて、顔特徴量抽出手段451は、抽出した人物の顔領域を抽出する。そして、顔特徴量抽出手段451は、抽出した顔領域に含まれる目、鼻、口などの特徴点の特徴量を抽出する。その後、顔特徴量抽出手段451は、抽出した特徴量を1つにまとめて特徴ベクトルを算出する。
このように、顔特徴量抽出手段451は、不審度推定モデル生成装置2が有する顔特徴量抽出手段251と同様に、人物の顔領域から顔の特徴量である特徴ベクトルを算出する。その後、顔特徴量抽出手段451は、算出した特徴ベクトルを抽出した人物の顔の特徴量として不審度推定手段452に送信する。なお、本実施形態においては、顔特徴量抽出手段451が画像データ情報331から人物を抽出する際や顔領域を抽出する際、特徴点の特徴量を抽出する際、特徴ベクトルを算出する際の具体的な手法については特に限定しない。顔特徴量抽出手段451は、既知の様々な手法を用いて、特徴ベクトルを算出することが出来る。ただし、顔特徴量抽出手段451は、顔特徴量抽出手段251と同様の手法により特徴ベクトルを算出することが望ましい。
不審度推定手段452は、顔特徴量抽出手段451から受信した特徴ベクトルと、記憶部44に格納された不審度推定モデル242と、に基づいて、特徴ベクトル抽出元の人物の不審度を推定する。そして、不審度推定手段452は、推定結果を推定結果情報441として記憶部44に格納する。また、不審度推定手段452は、推定結果を画面表示部43に表示したり、通信I/F部41を介して外部装置に送信したりすることが出来る。
例えば、不審度推定手段452は、顔特徴量抽出手段451から特徴ベクトルを受信する。また、不審度推定手段452は、記憶部44から不審度推定モデル242を取得する。そして、不審度推定手段452は、受信した特徴ベクトルと特徴が近いクラスタや顔画像を特定し、当該クラスタや顔画像に対応付けられた不審度情報から特徴ベクトル抽出元の人物の不審度を推定する。
具体的には、例えば、不審度推定手段452は、受信した特徴ベクトルと不審度推定モデル242に含まれる各要素(各顔画像から抽出した特徴量)との間の距離を算出する。そして、不審度推定手段452は、顔特徴が最も似ている人物(例えば、特徴量間の距離が最も近い顔画像)の不審度情報を、特徴ベクトル抽出元の人物の不審度情報であるとする。又は、不審度推定手段452は、顔特徴が似ている複数人を選別し、特徴が似ている複数人の不審度情報の平均を、特徴ベクトル抽出元の人物の不審度情報であるとする。つまり、不審度推定手段452は、特徴量間の距離が近い複数の特徴量の顔画像に対応付けられている不審度情報に基づいて、特徴ベクトル抽出元の人物の不審度情報を推定する。不審度推定手段452は、特徴が似ている複数人の中の不審度情報の割合に応じて不審度情報を特定しても構わない。又は、不審度推定手段452は、受信した特徴ベクトルと不審度推定モデル242に含まれる各要素との間の距離に基づいて、特徴ベクトルが属するクラスタを特定する。そして、不審度推定手段452は、特定したクラスタに対応付けられている不審度情報を、特徴ベクトル抽出元の人物の不審度情報であるとする。
このように、不審度推定手段452は、特徴ベクトルと不審度推定モデル242とに基づいて、特徴ベクトル抽出元の人物の不審度を推定する。その後、不審度推定手段452は、推定した不審度を推定結果情報441として、記憶部44に格納したり、画面表示部43に表示したりする。
なお、不審度推定手段452は、上記例示した方法のいずれか、又は、組み合わせにより、特徴ベクトル抽出元の人物の不審度を推定するよう構成することが出来る。例えば、不審度推定手段452は、顔特徴が最も似ている人物の不審度情報又は顔特徴が似ている複数人の不審度情報の平均と、特徴ベクトルが属するクラスタに対応付けられている不審度情報と、に基づいて特徴ベクトル抽出元の推定対象の人物の不審度を推定するよう構成しても構わない。
以上が、不審度推定システム1が有する各構成の一例についての説明である。続いて、図6、図7を参照して、不審度推定モデル生成装置2による処理と不審度推定装置4による処理の一例について説明する。
まず、図6を参照して、不審度推定モデル生成装置2が不審度推定モデル242を生成する際の処理の一例について説明する。
図6を参照すると、不審度推定モデル生成装置2の顔特徴量抽出手段251は、顔不審度情報241に含まれる各顔画像から当該顔画像の顔の特徴量である特徴ベクトルをそれぞれ抽出する(ステップS101)。そして、顔特徴量抽出手段251は、抽出した特徴ベクトルを示す情報をクラスタリング手段252に送信する。
クラスタリング手段252は、顔特徴量抽出手段251から受信した特徴ベクトルを用いて、顔不審度情報241に含まれる各顔画像をクラスタリングする(ステップS102)。この際、クラスタリング手段252は、顔不審度情報241に含まれる不審度情報を利用しないでクラスタリングを行う。その後、クラスタリング手段252は、クラスタリングした結果であるクラスタリング結果を推定モデル生成手段253へ送信する(ステップS102)。
推定モデル生成手段253は、クラスタリング手段252からクラスタリング結果を受信する。また、推定モデル生成手段253は、顔不審度情報241を参照して、クラスタリング結果に含まれる各顔画像と対応付けられている不審度情報を確認する。そして、推定モデル生成手段253は、クラスタリング結果と、不審度情報と、に基づいて、不審度推定モデル242を生成する(ステップS103)。その後、推定モデル生成手段253は、生成した不審度推定モデル242を記憶部24に格納したり、通信I/F部21を介して不審度推定装置4へ送信したりする。
以上が、不審度推定モデル生成装置2が不審度推定モデル242を生成する際の処理の一例である。続いて、図7を参照して、不審度推定装置4が人物の不審度を推定する際の処理の一例について説明する。
図7を参照すると、不審度推定装置4の顔特徴量抽出手段451は、画像データ情報331から当該画像データ情報331に含まれる人物(推定対象の人物)を抽出する(ステップS201)。また、顔特徴量抽出手段451は、抽出した人物の顔領域の特徴量である特徴ベクトルを抽出する(ステップS202)。そして、顔特徴量抽出手段451は、抽出した特徴ベクトルを示す情報を不審度推定手段452に送信する。
不審度推定手段452は、顔特徴量抽出手段451から特徴ベクトルを受信する。また、不審度推定手段452は、記憶部44から不審度推定モデル242を取得する。そして、不審度推定手段452は、特徴ベクトルと不審度推定モデル242とに基づいて、画像データ情報331が示す顔画像の人物の不審度を推定する(ステップS203)。その後、不審度推定手段452は、推定した不審度を推定結果情報441として、記憶部44に格納したり、画面表示部43に表示したりする。
以上が、不審度推定装置4が人物の不審度を推定する際の処理の一例である。
このように、本実施形態における不審度推定モデル生成装置2は、顔特徴量抽出手段251とクラスタリング手段252と推定モデル生成手段253とを有している。このような構成により、クラスタリング手段252は、顔特徴量抽出手段251が抽出した特徴量のみを用いて顔画像のクラスタリングを行うことが出来る。また、推定モデル生成手段253は、特徴量のみを用いて行われたクラスタリング結果と、クラスタリング結果に含まれる顔画像と予め対応付けられている不審度情報と、に基づいて、不審度推定モデル242を生成することが出来る。その結果、不審度推定モデル生成装置2は、不審度の定義を行うことなく不審度推定モデル242を生成することが可能となり、クラス定義を行うことが困難な不審度を推定する際に用いることが可能な不審度推定モデル242を生成することが可能となる。
また、本実施形態における不審度推定装置4は、顔特徴量抽出手段451と不審度推定手段452とを有しており、不審度推定モデル生成装置2から不審度推定モデル242を受信するよう構成されている。このような構成により、不審度推定手段452は、特徴量抽出手段451が抽出した特徴量と、不審度推定モデル生成装置2から受信した不審度推定モデル242と、に基づいて、顔特徴量抽出手段451が特徴量を抽出した人物の不審度を推定することが可能となる。つまり、上記構成によると、クラス定義を行うことが困難な不審度を推定することが可能となる。
なお、本実施形態においては、不審度推定システム1は、不審度推定モデル生成装置2とカメラ3と不審度推定装置4とを有するとした。しかしながら、不審度推定システム1の構成は、本実施形態で例示した場合に限定されない。例えば、不審度推定モデル生成装置2と不審度推定装置4とは、一つの情報処理装置として一体的に構成されても構わない。つまり、不審度推定システム1は、不審度推定モデル生成装置2としての機能と不審度推定装置4としての機能とを有する情報処理装置と、カメラ3と、から構成されていても構わない。また、カメラ3が不審度推定装置4や不審度推定モデル生成装置2としての機能を有するよう構成しても構わない。換言すると、不審度推定システム1は、不審度推定モデル生成装置2としての機能や不審度推定装置4としての機能を有するカメラ3のみから構成されていても構わない。カメラ3は、不審度推定装置4や不審度推定モデル生成装置2の機能うち顔特徴量抽出手段451の機能のみを有するなど、不審度推定装置4や不審度推定モデル生成装置2の機能の一部のみを有していても構わない。また、カメラ3が不審度推定装置4や不審度推定モデル生成装置2としての機能の一部を有する場合、不審度推定装置4や不審度推定モデル生成装置2は、カメラ3が有する機能を有していなくても構わない。
また、本実施形態においては、顔特徴量抽出手段251は、顔不審度情報241に含まれる各顔画像から特徴量をそれぞれ抽出するとした。しかしながら、顔特徴量抽出手段251が特徴量を抽出する対象は、顔不審度情報241に限定されない。顔特徴量抽出手段251は、例えば、通信I/F部21を介してカメラ3や外部装置から取得する画像データ中の人物から特徴量を抽出しても構わない。この場合、クラスタリング手段252は、顔不審度情報241や外部装置から取得した顔画像のクラスタリングを行うことになる。
[第2の実施形態]
続いて、本発明の第2の実施形態を図8乃至図13を参照して説明する。図8は、不審度推定システム5の全体の構成の一例を示す図である。図9は、不審度推定モデル生成装置6の構成の一例を示すブロック図である。図10は、付加情報付顔不審度情報641の一例を示す図である。図11は、不審度推定装置7の構成の一例を示すブロック図である。図12は、不審度推定モデル生成装置6が不審度推定モデル642を生成する際の処理の一例を示すフローチャートである。図13は、不審度推定装置7が人物の不審度を推定する際の処理の一例を示すフローチャートである。
第2の実施形態では、第1の実施形態と同様に、カメラ3で撮像した人物の不審度を推定する不審度推定システム5について説明する。後述するように、本実施形態における不審度推定システム5は、推定モデルを生成する際や推定を行う際に付加情報を用いる点で第1の実施形態と差異を有している。
図8は、不審度推定システム5の全体の構成の一例を示している。図8を参照すると、不審度推定システム5は、不審度推定モデル生成装置6と、カメラ3と、不審度推定装置7と、を有している。このように、本実施形態における不審度推定システム5は、不審度推定モデル生成装置6と不審度推定装置7とを有している点で第1の実施形態で説明した不審度推定システム1と異なっている。そのため、以下においては、不審度推定モデル生成装置6と不審度推定装置7について説明する。
不審度推定モデル生成装置6は、情報処理装置である。不審度推定モデル生成装置6は、例えば、予め格納された付加情報付顔不審度情報641に基づいて、不審度推定モデル642を生成する。そして、不審度推定モデル生成装置6は、生成した不審度推定モデル642を不審度推定装置7に送信する。
図9は、不審度推定モデル生成装置6が有する主な構成の一例である。図9を参照すると、不審度推定モデル生成装置6は、主な構成要素として、例えば、通信I/F部61と、操作入力部62と、画面表示部63と、記憶部64と、演算処理部65と、を有している。
なお、通信I/F部61、操作入力部62、画面表示部63は、図2を参照して説明した不審度推定モデル生成装置2が有する通信I/F部21、操作入力部22、画面表示部23と同様の構成である。そのため、通信I/F部61、操作入力部62、画面表示部63の説明は省略する。
記憶部64は、ハードディスクやメモリなどの記憶装置である。記憶部64は、演算処理部65における各種処理に必要な処理情報やプログラム643を記憶している。プログラム643は、演算処理部65に読み込まれて実行されることにより各種処理部を実現するプログラムである。プログラム643は、通信I/F部61などのデータ入出力機能を介して外部装置(図示せず)や記憶媒体(図示せず)から予め読み込まれ、記憶部64に保存されている。記憶部64で記憶される主な情報としては、付加情報付顔不審度情報641と、不審度推定モデル642と、がある。
付加情報付顔不審度情報641は、人物の顔を含む画像データである顔画像と、当該顔画像の人物の不審度を示す不審度情報と、顔画像が示す人物の年齢や性別などの顔画像に付加的な情報を示す付加情報と、を対応付けた情報である。付加情報付顔不審度情報641は、例えば、通信I/F部61を介して外部のデータベースなどから予め取得されていたり、操作入力部62を用いて予め入力されていたりする。
図10を参照すると、付加情報付顔不審度情報641は、識別情報と、顔画像と、不審度情報と、付加情報と、を対応付けている。例えば、図10の1行目は、識別情報「1」と、顔画像「A」と、不審度情報「a」と、負荷情報「x」と、を対応付けている。換言すると、図3の1行目は、顔画像が「A」の人物の不審度が「a」であり、付加情報が「x」であることを示している。
ここで、図10中の識別情報、顔画像、不審度情報は、第1の実施形態において図3を参照して説明した顔不審度情報241と同様の情報である。そのため、説明を省略する。付加情報は、顔画像が示す人物の年齢や性別などの情報であり、顔画像に附随する情報である。付加情報は、上記例示した以外の情報を含んでも構わないが、顔画像から抽出する特徴量に基づいて推定可能な情報であることが望ましい。換言すると、付加情報は、上記例示した場合に限定されないが、クラス定義が容易な情報であることが望ましい。
不審度推定モデル642は、顔画像のクラスタリング結果と、クラスタリング結果に含まれる各顔画像に対応付けられた不審度情報と、に基づいて生成されるモデルである。不審度推定モデル642は、例えば、不審度推定装置7に送信され、カメラ3が取得した、不審度情報が不明である顔画像の人物の不審度を推定する際に用いられる。
なお、後述するように、本実施形態におけるクラスタリング手段653は、フィルタリング手段651による選別後の顔画像をクラスタリングする。従って、本実施形態におけるクラスタリング手段653がクラスタリングする対象は、付加情報付顔不審度情報641に含まれる顔画像の全部又はその一部となる。そのため、不審度推定モデル642に含まれる顔画像の数は、付加情報付顔不審度情報641に含まれる顔画像の数以下となる。また、本実施形態における不審度推定モデル642には、不審度推定モデル642に含まれる顔画像を選別する際に用いられた付加情報を識別するための情報を含むことが出来る。
また、後述するように、フィルタリング手段651は、同一の付加情報付顔不審度情報641に対して複数回の選別を行うよう構成することが出来る。その結果、推定モデル生成手段654は、フィルタリング手段651による選別に応じて、複数の推定モデルを生成する。そのため、不審度推定モデル642には、同一の付加情報付顔不審度情報641から生成された、含まれる顔画像が異なる複数種類の推定モデルを含むことが出来る。なお、不審度推定モデル642に含まれる複数の推定モデルは、例えば、各推定モデルに含まれる付加情報を識別するための情報を参照することで識別可能である。
演算処理部65は、MPUなどのマイクロプロセッサとその周辺回路を有する。演算処理部65は、記憶部64からプログラム643を読み込んで実行することにより、上記ハードウェアとプログラム643とを協働させて各種処理部を実現する。演算処理部65で実現される主な処理部としては、例えば、フィルタリング手段651と、顔特徴量抽出手段652と、クラスタリング手段653と、推定モデル生成手段654と、がある。
フィルタリング手段651は、付加情報付顔不審度情報641に含まれる付加情報を利用して、付加情報付顔不審度情報641に含まれる顔画像を選別する。そして、フィルタリング手段651は、選別後の顔画像を示す情報を顔特徴量抽出手段652に送信する。また、フィルタリング手段651は、選別する際に用いた基準を示す情報(付加情報を識別するための情報)を顔特徴量抽出手段652や推定モデル生成手段654などに送信する。
例えば、フィルタリング手段651は、付加情報付顔不審度情報641に含まれる顔画像のうち、付加情報が「男性」である顔画像のみを選別する。または、フィルタリング手段651は、付加情報付顔不審度情報641に含まれる顔画像のうち、付加情報が「女性」であり年齢が「20~40歳」である顔画像のみを選別する。このように、フィルタリング手段651は、付加情報付顔不審度情報641に含まれる付加情報を利用して、付加情報付顔不審度情報641に含まれる顔画像を選別する。そして、フィルタリング手段651は、選別後の顔画像を示す情報を顔特徴量抽出手段652に送信する。
なお、フィルタリング手段651がどのような付加情報を用いて付加情報付顔不審度情報641に含まれる顔画像を選別するかは、任意に設定することが出来る。例えば、フィルタリング手段651は、不審度を推定する対象となると推定される人物像に対応する付加情報を用いて顔画像の選別を行うよう構成することが出来る。フィルタリング手段651は、上述したように、一つの付加情報のみを用いて顔画像の選別を行っても構わないし、複数の付加情報を用いて顔画像の選別を行っても構わない。
また、例えば、フィルタリング手段651は、同一の付加情報付顔不審度情報641に対して複数回の選別を行うよう構成することが出来る。例えば、フィルタリング手段651は、付加情報が「男性」の顔画像のみを顔特徴量抽出手段652に送信した後、別の推定モデル生成のため付加情報が「女性」の顔画像のみを顔特徴量抽出手段652に送信するよう構成することが出来る。なお、フィルタリング手段651は、複数回の選別を行う際に、選別する顔画像が重複しないよう選別を行っても構わないし、重複を許容するよう選別を行っても構わない。また、フィルタリング手段651は、複数回の選別により、不審度推定モデル642に含まれる全ての顔画像をカバーするよう選別を行っても構わない。
顔特徴量抽出手段652は、フィルタリング手段651から受信した情報が示す各顔画像から顔画像の特徴量を示す特徴ベクトルをそれぞれ抽出する。そして、顔特徴量抽出手段251は、抽出した特徴ベクトルを示す情報をクラスタリング手段252に送信する。
なお、顔特徴量抽出手段652が特徴ベクトルを抽出する際の処理は、第1の実施形態で説明した顔特徴量抽出手段251と同様である。そのため、説明は省略する。
クラスタリング手段653は、顔特徴量抽出手段652から受信した特徴ベクトルを用いて、フィルタリング手段651が選別した顔画像をクラスタリングする。クラスタリング手段653は、第1の実施形態で説明したクラスタリング手段252と同様に、不審度情報を利用しないでクラスタリングを行う。そして、クラスタリング手段653は、クラスタリングした結果であるクラスタリング結果を推定モデル生成手段654へ送信する。
推定モデル生成手段654は、クラスタリング手段653によるクラスタリング結果と、クラスタリング結果に含まれる顔画像と予め対応付けられている不審度情報と、に基づいて、不審度推定モデル642を生成する。この際、推定モデル生成手段654は、生成する不審度推定モデル642に、当該不審度推定モデル642に含まれる顔画像を選別する際に用いられた付加情報を識別するための情報を含めることが出来る。そして、推定モデル生成手段654は、生成した不審度推定モデル642を、通信I/F部61を介して不審度推定装置7へと送信する。また、推定モデル生成手段654は、生成した不審度推定モデル642を記憶部64に格納する。
例えば、推定モデル生成手段654は、クラスタリング手段653からクラスタリング結果を受信する。また、推定モデル生成手段654は、付加情報付顔不審度情報641を参照して、クラスタリング結果に含まれる各顔画像と対応付けられている不審度情報を確認する。そして、推定モデル生成手段654は、クラスタリング結果と、不審度情報と、に基づいて、不審度推定モデル642を生成する。
なお、推定モデル生成手段654は、第1の実施形態で説明した推定モデル生成手段253と同様の処理により不審度推定モデル642を生成する。そのため、推定モデル生成手段654による具体的な処理の詳細は省略する。また、本実施形態における推定モデル生成手段654は、フィルタリング手段651によるフィルタリングの結果に応じて不審度推定モデル642を生成する。換言すると、推定モデル生成手段654は、フィルタリング手段651が複数回の選別を行った場合には、複数の不審度推定モデル642を生成することになる。
不審度推定装置7は、情報処理装置である。不審度推定装置7は、不審度推定モデル生成装置6から受信した不審度推定モデル642と、カメラ3から受信した画像データ情報331と、に基づいて、画像データ情報331に含まれる人物(推定対象の人物)の不審度を推定する。不審度推定装置4は、推定した不審度を含む推定結果情報441を例えば、画面表示部43に表示したり通信I/F部41を介して外部の装置に送信したりすることが出来る。
図11は、不審度推定装置7が有する主な構成の一例である。図11を参照すると、不審度推定装置7は、主な構成要素として、例えば、通信I/F部71と、操作入力部72と、画面表示部73と、記憶部74と、演算処理部75と、を有している。
なお、通信I/F部71、操作入力部72、画面表示部73は、図2を参照して説明した不審度推定モデル生成装置2が有する通信I/F部21、操作入力部22、画面表示部23と同様の構成である。そのため、通信I/F部71、操作入力部72、画面表示部73の説明は省略する。
記憶部74は、ハードディスクやメモリなどの記憶装置である。記憶部74は、演算処理部75における各種処理に必要な処理情報やプログラム743を記憶している。プログラム743は、演算処理部75に読み込まれて実行されることにより各種処理部を実現するプログラムである。プログラム743は、通信I/F部71などのデータ入出力機能を介して外部装置(図示せず)や記憶媒体(図示せず)から予め読み込まれ、記憶部74に保存されている。記憶部74で記憶される主な情報としては、例えば、不審度推定モデル642と、画像データ情報331と、基準情報741と、推定結果情報742と、がある。
不審度推定モデル642は、不審度推定モデル生成装置6において生成された推定モデルである。不審度推定モデル642は、通信I/F部71を介して、不審度推定モデル生成装置6から送信されて記憶部74内に格納されている。
画像データ情報331は、カメラ3において取得された画像データである。画像データ情報331には、カメラ3が設置された箇所付近を通過する人物の画像データなどが含まれている。画像データ情報331は、通信I/F部71を介して、カメラ3から送信されて記憶部74内に格納されている。
基準情報741は、抽出した特徴量(特徴ベクトル)に基づいて付加情報を推定する際に基準となる情報である。基準情報741には、例えば、付加情報付顔不審度情報641に含まれる付加情報に対応する情報が含まれている。具体的には、例えば、基準情報741は、年齢層ごとの基準特徴量であったり、性別を判別するための基準となる情報であったりする。基準情報741は、例えば外部装置などにより予め作成され、通信I/F部71を介して予め読み込まれている。基準情報741は、付加情報推定手段752により用いられることになる。
推定結果情報742は、不審度推定手段754により推定された、カメラ3が取得した画像データ情報331に含まれる人物の不審度を示す情報である。推定結果情報742の構成は、第1の実施形態で説明した推定結果情報441と同様である。そのため、説明は省略する。
演算処理部75は、MPUなどのマイクロプロセッサとその周辺回路を有する。演算処理部75は、記憶部74からプログラム743を読み込んで実行することにより、上記ハードウェアとプログラム743とを協働させて各種処理部を実現する。演算処理部75で実現される主な処理部としては、例えば、顔特徴量抽出手段751と、付加情報推定手段752と、使用モデル選択手段753と、不審度推定手段754と、がある。
顔特徴量抽出手段751は、画像データ情報331に含まれる人物(推定対象の人物)の顔の特徴量である特徴ベクトルを抽出する。そして、顔特徴量抽出手段751は、抽出した特徴ベクトルを示す情報を、付加情報推定手段752に送信するとともに不審度推定手段754へ送信する。なお、顔特徴量抽出手段751が特徴ベクトルを抽出する際の処理は、第1の実施形態で説明した顔特徴量抽出手段451と同様である。そのため、説明は省略する。
付加情報推定手段752は、顔特徴量抽出手段751から受信した特徴ベクトルに基づいて、当該特徴ベクトル抽出元の人物の付加情報を推定する。そして、付加情報推定手段752は、推定した付加情報を使用モデル選択手段753へ送信する。
例えば、付加情報推定手段752は、顔特徴量抽出手段751から特徴ベクトルを受信する。また、付加情報推定手段752は、基準情報741を参照する。そして、付加情報推定手段752は、特徴ベクトルと基準情報741とに基づいて、特徴ベクトル抽出元の人物の付加情報を推定する。具体的には、例えば、付加情報推定手段752は、基準情報741を参照して年齢ごとの基準特徴量を参照する。そして、付加情報推定手段752は、受信した特徴ベクトルと最も距離が近くなる基準特徴量の年齢を特徴ベクトル抽出元の人物の年齢として推定する。また、付加情報推定手段752は、特徴ベクトルと基準情報741とに基づいて、特徴ベクトル抽出元の人物の性別を推定する。このように、付加情報推定手段752は、特徴ベクトルと基準情報741とに基づいて、特徴ベクトル抽出元の人物の付加情報を推定する。その後、付加情報推定手段752は、推定した付加情報を使用モデル選択手段753へ送信する。
使用モデル選択手段753は、付加情報推定手段752から受信した付加情報に基づいて、不審度推定手段754が不審度の推定を行う際に用いる不審度推定モデル642を選択する。その後、使用モデル選択手段753は、選択した不審度推定モデル642を示す情報を不審度推定手段754へ送信する。
例えば、使用モデル選択手段753は、付加情報推定手段752から付加情報を受信する。また、使用モデル選択手段753は、不審度推定モデル642を参照して不審度推定モデル642に含まれる付加情報を識別するための情報を確認する。そして、使用モデル選択手段753は、付加情報推定手段752から受信した付加情報に対応する不審度推定モデル642を選択する。具体的には、例えば、使用モデル選択手段753は、付加情報推定手段752から受信した付加情報ともっとも近い情報を有する不審度推定モデル642や当該付加情報を含む不審度推定モデル642を選択する。この際、使用モデル選択手段753は、1つのモデルのみを選択するよう構成しても構わないし、複数のモデルを選択するよう構成しても構わない。その後、使用モデル選択手段753は、選択した不審度推定モデル642を示す情報を不審度推定手段754へ送信する。
不審度推定手段754は、顔特徴量抽出手段751から受信した特徴ベクトルと、使用モデル選択手段753が選択した不審度推定モデル642と、に基づいて、特徴ベクトル抽出元の人物(推定対象の人物)の不審度を推定する。そして、不審度推定手段754は、推定結果を推定結果情報742として記憶部74に格納する。また、不審度推定手段754は、推定結果を画面表示部73に表示したり、通信I/F部71を介して外部装置に送信したりすることが出来る。
例えば、不審度推定手段754は、顔特徴量抽出手段751から特徴ベクトルを受信する。また、不審度推定手段754は、使用モデル選択手段753から不審度推定モデル642を示す情報を受信する。そして、不審度推定手段754は、受信した特徴ベクトルと特徴が近いクラスタや顔画像を特定し、当該クラスタや顔画像に対応付けられた不審度情報から特徴ベクトル抽出元の人物の不審度を推定する。具体的な手法は第1の実施形態で説明したものと同様であるため省略する。
なお、上述したように、使用モデル選択手段753は、複数の不審度推定モデル642を選択することがある。この場合、不審度推定手段754は、複数の不審度推定モデル642それぞれを用いて人物の不審度を推定することになる。このような場合、不審度推定手段754は、既知の様々な方法により推定した不審度を統合して、最終的な不審度の推定とすることが出来る。例えば、不審度推定手段754は、推定した不審度情報のうち最も値の高い不審度を採用することが考えられる。また、不審度推定手段754は、推定した不審度の平均値を算出しても構わない。不審度推定手段754は、上記例示した以外の方法により最終的な不審度を算出しても構わない。
以上が、不審度推定システム5が有する各構成の一例についての説明である。続いて、図12、図13を参照して、不審度推定モデル生成装置6の動作と不審度推定装置7の動作の一例について説明する。
まず、図12を参照して、不審度推定モデル生成装置6が不審度推定モデル642を生成する際の処理の一例について説明する。
図12を参照すると、不審度推定モデル生成装置6のフィルタリング手段651は、付加情報付顔不審度情報641に含まれる付加情報を利用して、不審度推定モデル642を生成する際に用いる顔画像を付加情報付顔不審度情報641に含まれる顔画像の中から選別する(ステップS301)。そして、フィルタリング手段651は、選別後の顔画像を示す情報を顔特徴量抽出手段652に送信する。
顔特徴量抽出手段652は、フィルタリング手段651から受信した情報が示す各顔画像から顔画像の特徴量を示す特徴ベクトルをそれぞれ抽出する(ステップS302)。そして、顔特徴量抽出手段652は、抽出した特徴ベクトルを示す情報をクラスタリング手段653に送信する。
クラスタリング手段653は、顔特徴量抽出手段652から受信した特徴ベクトルに基づいて、フィルタリング手段651が選別した顔画像をクラスタリングする(ステップS303)。その後、クラスタリング手段653は、クラスタリングした結果であるクラスタリング結果を推定モデル生成手段654へ送信する。
推定モデル生成手段654は、クラスタリング手段653からクラスタリング結果を受信する。また、推定モデル生成手段654は、付加情報付顔不審度情報641を参照して、クラスタリング結果に含まれる各顔画像と対応付けられている不審度情報を確認する。そして、推定モデル生成手段654は、クラスタリング結果と、不審度情報と、に基づいて、不審度推定モデル642を生成する(ステップS304)。その後、推定モデル生成手段654は、生成した不審度推定モデル642を記憶部64に格納したり、通信I/F部61を介して不審度推定装置7へ送信したりする。
以上が、不審度推定モデル生成装置6が不審度推定モデル642を生成する際の処理の一例である。続いて、図13を参照して、不審度推定装置7が人物の不審度を推定する際の処理の一例について説明する。
図13を参照すると、不審度推定装置7の顔特徴量抽出手段751は、画像データ情報331から当該画像データ情報331に含まれる人物(推定対象の人物)を抽出する(ステップS401)。続いて、顔特徴量抽出手段751は、抽出した人物の顔領域の特徴量である特徴ベクトルを抽出する(ステップS402)。そして、顔特徴量抽出手段751は、抽出した特徴ベクトルを示す情報を付加情報推定手段752と不審度推定手段754に送信する。
付加情報推定手段752は、顔特徴量抽出手段751から受信した特徴ベクトルに基づいて、当該特徴ベクトル抽出元の人物の付加情報を推定する(ステップS403)。そして、付加情報推定手段752は、推定した付加情報を使用モデル選択手段753へ送信する。
使用モデル選択手段753は、付加情報推定手段752から受信した付加情報に基づいて、不審度推定手段754が不審度の推定を行う際に用いる不審度推定モデル642を選択する(ステップS404)。その後、使用モデル選択手段753は、選択した不審度推定モデル642を示す情報を不審度推定手段754へ送信する。
不審度推定手段754は、顔特徴量抽出手段751から特徴ベクトルを受信する。また、不審度推定手段754は、使用モデル選択手段753から不審度推定モデル642を示す情報を受信する。そして、不審度推定手段754は、受信した特徴ベクトルと、使用モデル選択手段753が選択した不審度推定モデル642と、に基づいて、推定対象の人物の不審度を推定する(ステップS405)。その後、不審度推定手段754は、推定した不審度を推定結果情報742として、記憶部74に格納したり、画面表示部73に表示したりする。
以上が、不審度推定装置7が人物の不審度を推定する際の処理の一例である。
このように、本実施形態における不審度推定モデル生成装置6は、付加情報を用いてフィルタリングした後の顔画像に基づいて不審度推定モデル642を生成する。また、不審度推定装置7は、不審度推定モデル642に基づいて、人物の不審度を推定する。このような構成により、不審度推定モデル生成装置6は、含まれる顔画像を付加情報により予め選別した不審度推定モデル642を生成することが可能となる。その結果、不審度推定装置7は、例えば、不審人物として想定する付加情報を有する顔画像のみを含む不審度推定モデル642と、画像データ情報331に含まれる人物の顔領域から抽出した特徴量と、に基づいて、推定対象の人物の不審度を推定することが可能となる。これにより、特徴量と比較する対象となるデータを事前に絞り込むことが可能となり、不審度を推定する際の処理を高速化させることが可能となる。また、より精度を高めることが可能となる。
なお、本実施形態における不審度推定システム5は、第1の実施形態で説明した不審度推定システム1と同様に、様々な変形例を含むことが出来る。
[第3の実施形態]
続いて、本発明の第3の実施形態を、図14、15を参照して説明する。図14は、不審度推定モデル生成装置8の構成の一例を示す概略ブロック図である。図15は、不審度推定装置9の構成の一例を示す概略ブロック図である。
第3の実施形態では、不審度推定モデルを生成する不審度推定モデル生成装置8の構成の概略について説明する。また、本実施形態においては、不審度推定モデル生成装置8などの外部装置により生成された不審度推定モデルを用いて人物の不審度を推定する不審度推定装置9の構成の概略について説明する。
図14を参照すると、不審度推定モデル生成装置8は、クラスタリング手段81と、不審度推定モデル生成手段82と、を有している。例えば、不審度推定モデル生成装置8は、図示しない記憶装置と演算装置とを有しており、記憶装置に格納されたプログラムを演算装置が実行することで、上記各手段を実現する。
クラスタリング手段81には、顔画像から抽出される特徴量が入力される。クラスタリング手段81は、入力される顔画像から抽出される特徴量に基づいて、顔画像をクラスタリングする。その後、クラスタリング手段81は、クラスタリング結果を不審度推定モデル生成手段82に送信する。
不審度推定モデル生成手段82は、クラスタリング手段81からクラスタリング結果を受信する。すると、不審度推定モデル生成手段82は、受信したクラスタリング結果と、クラスタリング結果に含まれる顔画像に予め対応付けられた不審度情報と、に基づいて、不審度推定モデルを生成する。
なお、不審度情報とは、顔画像が示す人物の不審度を示す情報のことをいう。また、不審度推定モデルは、推定対象の人物の不審度を推定する際に用いることになる。
このように、本実施形態における不審度推定モデル生成手段82は、クラスタリング手段81と、不審度推定モデル生成手段82と、を有している。このような構成により、クラスタリング手段81は、顔画像から抽出される特徴量に基づいて、顔画像をクラスタリングすることが出来る。また、不審度推定モデル生成手段82は、特徴量を用いて行われたクラスタリング結果と、クラスタリング結果に含まれる顔画像と予め対応付けられている不審度情報と、に基づいて、不審度推定モデルを生成することが出来る。その結果、不審度推定モデル生成装置8は、不審度の定義を行うことなく不審度推定モデルを生成することが可能となり、クラス定義を行うことが困難な不審度を推定する際に用いることが可能な不審度推定モデルを生成することが可能となる。
なお、上述した不審度推定モデル生成装置8は、当該不審度推定モデル生成装置8に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、情報処理装置に、入力される顔画像から抽出される特徴量に基づいて、顔画像をクラスタリングするクラスタリング手段81と、クラスタリング手段81によるクラスタリング結果と、クラスタリング結果に含まれる顔画像に予め対応付けられた当該顔画像が示す人物の不審度を示す不審度情報と、に基づいて、推定対象の人物の不審度を推定する際に用いる不審度推定モデルを生成する不審度推定モデル生成手段82と、を実現させるためのプログラムである。
また、上述した不審度推定モデル生成装置8により実行される不審度推定モデル生成方法は、入力される顔画像から抽出される特徴量に基づいて、前記顔画像をクラスタリングし、クラスタリングした結果と、クラスタリングした結果に含まれる顔画像に予め対応付けられた当該顔画像が示す人物の不審度を示す不審度情報と、に基づいて、推定対象の人物の不審度を推定する際に用いる不審度推定モデルを生成する、という方法である。
上述した構成を有する、プログラム、又は、不審度推定モデル生成方法、の発明であっても、上記不審度推定モデル生成装置8と同様の作用を有するために、上述した本発明の目的を達成することが出来る。
また、図15を参照すると、不審度推定装置9は、特徴量抽出手段91と、不審度推定手段92と、を有している。例えば、不審度推定装置9は、図示しない記憶装置と演算装置とを有しており、記憶装置に格納されたプログラムを演算装置が実行することで、上記各手段を実現する。
特徴量抽出手段91は、推定対象の人物の顔領域から特徴量を抽出する。特徴量抽出手段91が画像データから人物の顔領域の特徴量を抽出する際の処理の詳細については、本実施形態においては特に限定しない。その後、特徴量抽出手段91は、抽出した特徴量を不審度推定手段92に送信する。
不審度推定手段92は、特徴量抽出手段91から特徴量を受信する。すると、不審度推定手段92は、受信した特徴量と、予め生成された不審度推定モデルと、に基づいて、推定対象の人物の不審度を推定する。
なお、上記不審度推定モデルは、予め格納された顔画像から抽出した特徴量に基づいて当該顔画像をクラスタリングした結果と、クラスタリングした結果に含まれる顔画像に予め対応付けられている、当該顔画像が示す人物の不審度を示す不審度情報と、に基づいて、生成されている。
このように、不審度推定装置9は、特徴量抽出手段91と、不審度推定手段92と、を有している。また、不審度推定手段92が用いる不審度推定モデルは、顔画像から抽出した特徴量に基づいて当該顔画像をクラスタリングした結果に基づいて予め生成されている。このような構成により、不審度推定手段92は、特徴量抽出手段91が抽出した特徴量と、上記不審度推定モデルと、に基づいて、特徴量抽出手段91が特徴量を抽出した人物の不審度を推定することが可能となる。つまり、上記構成によると、クラス定義を行うことが困難な不審度を推定することが可能となる。
なお、上述した不審度推定装置9は、当該不審度推定装置9に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、情報処理装置に、推定対象の人物の顔領域から特徴量を抽出する特徴量抽出手段91と、特徴量抽出手段91により抽出された特徴量と、予め生成された不審度推定モデルと、に基づいて、推定対象の人物の不審度を推定する不審度推定手段92と、を実現させるプログラムである。なお、上記不審度推定モデルは、予め格納された顔画像から抽出した特徴量に基づいて当該顔画像をクラスタリングした結果と、前記クラスタリングした結果に含まれる顔画像に予め対応付けられている、当該顔画像が示す人物の不審度を示す不審度情報と、に基づいて、生成されている。
また、上述した不審度推定装置9により実行される不審度推定方法は、推定対象の人物の顔領域から特徴量を抽出し、抽出された特徴量と、予め格納された顔画像から抽出した特徴量に基づいて当該顔画像をクラスタリングした結果とクラスタリングした結果に含まれる顔画像に予め対応付けられている、当該顔画像が示す人物の不審度を示す不審度情報とに基づいて予め生成された不審度推定モデルと、に基づいて、推定対象の人物の不審度を推定する、という方法である。
上述した構成を有する、プログラム、又は、不審度推定方法、の発明であっても、上記不審度推定装置9と同様の作用を有するために、上述した本発明の目的を達成することが出来る。
<付記>
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における不審度推定モデル生成装置などの概略を説明する。但し、本発明は、以下の構成に限定されない。
(付記1)
入力される顔画像から抽出される特徴量に基づいて、前記顔画像をクラスタリングするクラスタリング手段と、
前記クラスタリング手段によるクラスタリング結果と、前記クラスタリング結果に含まれる顔画像に予め対応付けられた当該顔画像が示す人物の不審度を示す不審度情報と、に基づいて、推定対象の人物の不審度を推定する際に用いる不審度推定モデルを生成する不審度推定モデル生成手段と、
を有する不審度推定モデル生成装置。
(付記2)
付記1に記載の不審度推定モデル生成装置であって、
顔画像と当該顔画像の人物の不審度を示す不審度情報とを含む顔不審度情報に含まれる顔画像から特徴量を抽出する顔特徴量抽出手段を有し、
前記クラスタリング手段は、前記顔特徴量抽出手段が抽出した特徴量に基づいて前記顔不審度情報に含まれる前記顔画像をクラスタリングする
不審度推定モデル生成装置。
(付記3)
付記2に記載の不審度推定モデル生成装置であって、
前記クラスタリング手段は、前記顔特徴量抽出手段が抽出した特徴量の近似度により前記顔不審度情報に含まれる前記顔画像をクラスタリングする
不審度推定モデル生成装置。
(付記4)
付記2又は3に記載の不審度推定モデル生成装置であって、
前記顔不審度情報には、前記顔情報に附随的な付加情報が含まれており、
前記付加情報に基づいて前記顔不審度情報に含まれる前記顔画像を選別するフィルタリング手段を有し、
前記顔特徴量抽出手段は、前記フィルタリング手段が選別した前記顔画像の特徴量を抽出し、
前記クラスタリング手段は、前記顔特徴量抽出手段が抽出した特徴量に基づいて前記フィルタリング手段が選別した前記顔画像をクラスタリングする
不審度推定モデル生成装置。
(付記5)
付記1乃至4のいずれかに記載の不審度推定モデル生成装置であって、
前記不審度推定モデル生成手段は、前記クラスタリング結果に含まれる各クラスタと、当該クラスタに含まれる前記顔画像と対応付けられている前記不審度情報に基づく不審度情報とを対応付けて、前記不審度推定モデルを生成する
不審度推定モデル生成装置。
(付記6)
入力される顔画像から抽出される特徴量に基づいて、前記顔画像をクラスタリングし、
クラスタリングした結果と、クラスタリングした結果に含まれる顔画像に予め対応付けられた当該顔画像が示す人物の不審度を示す不審度情報と、に基づいて、推定対象の人物の不審度を推定する際に用いる不審度推定モデルを生成する
不審度推定モデル生成方法。
(付記6-1)
付記6に記載の不審度推定モデル生成方法であって、
顔画像と当該顔画像の人物の不審度を示す不審度情報とを含む顔不審度情報に含まれる顔画像から特徴量を抽出し、
抽出した特徴量に基づいて前記顔不審度情報に含まれる前記顔画像をクラスタリングする
不審度推定モデル生成方法。
(付記6-2)
付記6-1に記載の不審度推定モデル生成方法であって、
抽出した特徴量の近似度により前記顔不審度情報に含まれる前記顔画像をクラスタリングする
不審度推定モデル生成方法。
(付記7)
情報処理装置に、
入力される顔画像から抽出される特徴量に基づいて、前記顔画像をクラスタリングするクラスタリング手段と、
前記クラスタリング手段によるクラスタリング結果と、前記クラスタリング結果に含まれる顔画像に予め対応付けられた当該顔画像が示す人物の不審度を示す不審度情報と、に基づいて、推定対象の人物の不審度を推定する際に用いる不審度推定モデルを生成する不審度推定モデル生成手段と、
を実現させるためのプログラム。
(付記7-1)
付記7に記載のプログラムであって、
顔画像と当該顔画像の人物の不審度を示す不審度情報とを含む顔不審度情報に含まれる顔画像から特徴量を抽出する顔特徴量抽出手段を実現させ、
前記クラスタリング手段は、前記顔特徴量抽出手段が抽出した特徴量に基づいて前記顔不審度情報に含まれる前記顔画像をクラスタリングする
プログラム。
(付記7-2)
付記7-1に記載のプログラムであって、
前記クラスタリング手段は、前記顔特徴量抽出手段が抽出した特徴量の近似度により前記顔不審度情報に含まれる前記顔画像をクラスタリングする
プログラム。
(付記8)
推定対象の人物の顔領域から特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された前記特徴量と、予め生成された不審度推定モデルと、に基づいて、前記推定対象の人物の不審度を推定する不審度推定手段と、
を有し、
前記不審度推定モデルは、予め格納された顔画像から抽出した特徴量に基づいて当該顔画像をクラスタリングした結果と、前記クラスタリングした結果に含まれる顔画像に予め対応付けられている、当該顔画像が示す人物の不審度を示す不審度情報と、に基づいて、生成されている
不審度推定装置。
(付記9)
付記8に記載の不審度推定装置であって、
前記不審度推定モデルは、前記特徴量の近似度により前記顔画像をクラスタリングした結果と、前記クラスタリングした結果に含まれる顔画像に予め対応付けられている、当該顔画像が示す人物の不審度を示す不審度情報と、に基づいて、生成されている
不審度推定装置。
(付記10)
付記8又は9に記載の不審度推定装置であって、
前記不審度推定手段は、前記特徴量抽出手段により抽出された前記特徴量と距離が最も近い特徴量の顔画像に対応付けられている不審度を、前記推定対象の人物の不審度として推定する
不審度推定装置。
(付記11)
付記8又は9に記載の不審度推定装置であって、
前記不審度推定手段は、前記特徴量抽出手段により抽出された前記特徴量と距離が近い複数の特徴量の顔画像に対応付けられている不審度に基づいて、前記推定対象の人物の不審度を推定する
不審度推定装置。
(付記12)
付記8又は9に記載の不審度推定装置であって、
前記不審度推定手段は、前記特徴量抽出手段により抽出された前記特徴量が属するクラスタに対応付けられている不審度を、前記推定対象の人物の不審度として推定する
不審度推定装置。
(付記13)
付記8乃至12のいずれかに記載の不審度推定装置であって、
前記特徴量抽出手段が抽出した特徴量に基づいて、前記推定対象の人物の付加情報を推定する付加情報推定手段と、
前記付加情報推定手段が推定した前記付加情報に基づいて、前記不審度推定手段が不審度の推定を行う際に用いる前記不審度推定モデルを選択する使用モデル選択手段と、
を有する不審度推定装置。
(付記14)
推定対象の人物の顔領域から特徴量を抽出し、
抽出された前記特徴量と、予め格納された顔画像から抽出した特徴量に基づいて当該顔画像をクラスタリングした結果と前記クラスタリングした結果に含まれる顔画像に予め対応付けられている、当該顔画像が示す人物の不審度を示す不審度情報とに基づいて予め生成された不審度推定モデルと、に基づいて、前記推定対象の人物の不審度を推定する
不審度推定方法。
(付記14-1)
付記14に記載の不審度推定方法であって、
前記不審度推定モデルは、前記特徴量の近似度により前記顔画像をクラスタリングした結果と、前記クラスタリングした結果に含まれる顔画像に予め対応付けられている、当該顔画像が示す人物の不審度を示す不審度情報と、に基づいて、生成されている
不審度推定方法。
(付記14-2)
付記14又は14-1に記載の不審度推定方法であって、
抽出した特徴量に基づいて、前記推定対象の人物の付加情報を推定し、
推定した前記付加情報に基づいて、不審度の推定を行う際に用いる前記不審度推定モデルを選択する、
不審度推定方法。
(付記15)
情報処理装置に、
推定対象の人物の顔領域から特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された前記特徴量と、予め生成された不審度推定モデルと、に基づいて、前記推定対象の人物の不審度を推定する不審度推定手段と、
を実現させ、
前記不審度推定モデルは、予め格納された顔画像から抽出した特徴量に基づいて当該顔画像をクラスタリングした結果と、前記クラスタリングした結果に含まれる顔画像に予め対応付けられている、当該顔画像が示す人物の不審度を示す不審度情報と、に基づいて、生成されている
プログラム。
(付記15-1)
付記15に記載のプログラムであって、
前記不審度推定モデルは、前記特徴量の近似度により前記顔画像をクラスタリングした結果と、前記クラスタリングした結果に含まれる顔画像に予め対応付けられている、当該顔画像が示す人物の不審度を示す不審度情報と、に基づいて、生成されている
プログラム。
(付記15-2)
付記15又は15-1に記載のプログラムであって、
前記特徴量抽出手段が抽出した特徴量に基づいて、前記推定対象の人物の付加情報を推定する付加情報推定手段と、
前記付加情報推定手段が推定した前記付加情報に基づいて、前記不審度推定手段が不審度の推定を行う際に用いる前記不審度推定モデルを選択する使用モデル選択手段と、
を実現させるためのプログラム。
(付記16)
入力される顔画像から抽出される特徴量に基づいて、前記顔画像をクラスタリングするクラスタリング手段と、
前記クラスタリング手段によるクラスタリング結果と、前記クラスタリング結果に含まれる顔画像に予め対応付けられた当該顔画像が示す人物の不審度を示す不審度情報と、に基づいて、推定対象の人物の不審度を推定する際に用いる不審度推定モデルを生成する不審度推定モデル生成手段と、
を有する不審度推定モデル生成装置と、
推定対象の人物の顔領域から特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された前記特徴量と、前記不審度推定モデル生成装置が生成した前記不審度推定モデルと、に基づいて、前記推定対象の人物の不審度を推定する不審度推定手段と、を有する不審度推定装置と、
を有する不審度推定システム。
(付記16-1)
付記16に記載の不審度推定システムであって、
前記不審度推定モデル生成装置は、
顔画像と当該顔画像の人物の不審度を示す不審度情報とを含む顔不審度情報に含まれる顔画像から特徴量を抽出する顔特徴量抽出手段を有し、
前記クラスタリング手段は、前記顔特徴量抽出手段が抽出した特徴量に基づいて前記顔不審度情報に含まれる前記顔画像をクラスタリングする
不審度推定システム。
(付記16-2)
付記16又は16-1に記載の不審度推定システムであって、
前記不審度推定モデル生成装置の前記クラスタリング手段は、前記顔特徴量抽出手段が抽出した特徴量の近似度により前記顔不審度情報に含まれる前記顔画像をクラスタリングする
不審度推定システム。
(付記17)
撮像手段を有するカメラであって、
前記撮像手段により撮像された推定対象の人物の顔領域から特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された前記特徴量と、予め生成された不審度推定モデルと、に基づいて、前記推定対象の人物の不審度を推定する不審度推定手段と、
を有し、
前記不審度推定モデルは、予め格納された顔画像から抽出した特徴量に基づいて当該顔画像をクラスタリングした結果と、前記クラスタリングした結果に含まれる顔画像に予め対応付けられている、当該顔画像が示す人物の不審度を示す不審度情報と、に基づいて、生成されている
カメラ。
(付記17-1)
付記17に記載のカメラであって、
前記不審度推定モデルは、前記特徴量の近似度により前記顔画像をクラスタリングした結果と、前記クラスタリングした結果に含まれる顔画像に予め対応付けられている、当該顔画像が示す人物の不審度を示す不審度情報と、に基づいて、生成されている
カメラ。
(付記17-2)
付記17又は17-1に記載のカメラであって、
前記特徴量抽出手段が抽出した特徴量に基づいて、前記推定対象の人物の付加情報を推定する付加情報推定手段と、
前記付加情報推定手段が推定した前記付加情報に基づいて、前記不審度推定手段が不審度の推定を行う際に用いる前記不審度推定モデルを選択する使用モデル選択手段と、
を有するカメラ。
なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることが出来る。
なお、本発明は、日本国にて2017年1月5日に特許出願された特願2017-000543の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
1 不審度推定システム
2、6 不審度推定モデル生成装置
21、61 通信I/F部
22、62 操作入力部
23、63 画面表示部
24、64 記憶部
241 顔不審度情報
242 不審度推定モデル
243 プログラム
641 付加情報付顔不審度情報
642 不審度推定モデル
25、65 演算処理部
251、652 顔特徴量抽出手段
252、653 クラスタリング手段
253、654 推定モデル生成手段
651 フィルタリング手段
3 カメラ
31 撮像手段
32 送受信手段
33 記憶装置
331 画像データ情報
4、7 不審度推定装置
41、71 通信I/F部
42、72 操作入力部
43、73 画面表示部
44、74 記憶部
441、742 推定結果情報
442、743 プログラム
741 基準情報
45、75 演算処理部
451、751 顔特徴量抽出手段
452、754 不審度推定手段
752 付加情報推定手段
753 使用モデル選択手段
5 不審度推定システム
6 不審度推定
8 不審度推定モデル生成装置
81 クラスタリング手段
82 不審度推定モデル生成手段
9 不審度推定装置
91 特徴量抽出手段
92 不審度推定手段

Claims (10)

  1. 入力される顔画像から抽出される特徴量に基づいて、前記顔画像をクラスタリングするクラスタリング手段と、
    前記クラスタリング手段によるクラスタリング結果と、前記クラスタリング結果に含まれる顔画像に予め対応付けられた当該顔画像が示す人物の不審度を示す不審度情報と、に基づいて、推定対象の人物の不審度を推定する際に用いる不審度推定モデルを生成する不審度推定モデル生成手段と、
    を有する不審度推定モデル生成装置。
  2. 請求項1に記載の不審度推定モデル生成装置であって、
    顔画像と当該顔画像の人物の不審度を示す不審度情報とを含む顔不審度情報に含まれる顔画像から特徴量を抽出する顔特徴量抽出手段を有し、
    前記クラスタリング手段は、前記顔特徴量抽出手段が抽出した特徴量に基づいて前記顔不審度情報に含まれる前記顔画像をクラスタリングする
    不審度推定モデル生成装置。
  3. 請求項2に記載の不審度推定モデル生成装置であって、
    前記クラスタリング手段は、前記顔特徴量抽出手段が抽出した特徴量の近似度により前記顔不審度情報に含まれる前記顔画像をクラスタリングする
    不審度推定モデル生成装置。
  4. 請求項2又は3に記載の不審度推定モデル生成装置であって、
    前記顔不審度情報には、前記顔情報に附随的な付加情報が含まれており、
    前記付加情報に基づいて前記顔不審度情報に含まれる前記顔画像を選別するフィルタリング手段を有し、
    前記顔特徴量抽出手段は、前記フィルタリング手段が選別した前記顔画像の特徴量を抽出し、
    前記クラスタリング手段は、前記顔特徴量抽出手段が抽出した特徴量に基づいて前記フィルタリング手段が選別した前記顔画像をクラスタリングする
    不審度推定モデル生成装置。
  5. 請求項1乃至4のいずれかに記載の不審度推定モデル生成装置であって、
    前記不審度推定モデル生成手段は、前記クラスタリング結果に含まれる各クラスタと、当該クラスタに含まれる前記顔画像と対応付けられている前記不審度情報に基づく不審度情報とを対応付けて、前記不審度推定モデルを生成する
    不審度推定モデル生成装置。
  6. 情報処理装置が、
    入力される顔画像から抽出される特徴量に基づいて、前記顔画像をクラスタリングし、
    クラスタリングした結果と、クラスタリングした結果に含まれる顔画像に予め対応付けられた当該顔画像が示す人物の不審度を示す不審度情報と、に基づいて、推定対象の人物の不審度を推定する際に用いる不審度推定モデルを生成する
    不審度推定モデル生成方法。
  7. 情報処理装置に、
    入力される顔画像から抽出される特徴量に基づいて、前記顔画像をクラスタリングするクラスタリング手段と、
    前記クラスタリング手段によるクラスタリング結果と、前記クラスタリング結果に含まれる顔画像に予め対応付けられた当該顔画像が示す人物の不審度を示す不審度情報と、に基づいて、推定対象の人物の不審度を推定する際に用いる不審度推定モデルを生成する不審度推定モデル生成手段と、
    を実現させるためのプログラム。
  8. 推定対象の人物の顔領域から特徴量を抽出する特徴量抽出手段と、
    前記特徴量抽出手段により抽出された前記特徴量と、予め生成された不審度推定モデルと、に基づいて、前記推定対象の人物の不審度を推定する不審度推定手段と、
    を有し、
    前記不審度推定モデルは、予め格納された顔画像から抽出した特徴量に基づいて当該顔画像をクラスタリングした結果と、前記クラスタリングした結果に含まれる顔画像に予め対応付けられている、当該顔画像が示す人物の不審度を示す不審度情報と、に基づいて、生成されている
    不審度推定装置。
  9. 入力される顔画像から抽出される特徴量に基づいて、前記顔画像をクラスタリングするクラスタリング手段と、
    前記クラスタリング手段によるクラスタリング結果と、前記クラスタリング結果に含まれる顔画像に予め対応付けられた当該顔画像が示す人物の不審度を示す不審度情報と、に基づいて、推定対象の人物の不審度を推定する際に用いる不審度推定モデルを生成する不審度推定モデル生成手段と、
    を有する不審度推定モデル生成装置と、
    推定対象の人物の顔領域から特徴量を抽出する特徴量抽出手段と、
    前記特徴量抽出手段により抽出された前記特徴量と、前記不審度推定モデル生成装置が生成した前記不審度推定モデルと、に基づいて、前記推定対象の人物の不審度を推定する不審度推定手段と、を有する不審度推定装置と、
    を有する不審度推定システム。
  10. 撮像手段を有するカメラであって、
    前記撮像手段により撮像された推定対象の人物の顔領域から特徴量を抽出する特徴量抽出手段と、
    前記特徴量抽出手段により抽出された前記特徴量と、予め生成された不審度推定モデルと、に基づいて、前記推定対象の人物の不審度を推定する不審度推定手段と、
    を有し、
    前記不審度推定モデルは、予め格納された顔画像から抽出した特徴量に基づいて当該顔画像をクラスタリングした結果と、前記クラスタリングした結果に含まれる顔画像に予め対応付けられている、当該顔画像が示す人物の不審度を示す不審度情報と、に基づいて、生成されている
    カメラ。
JP2018560328A 2017-01-05 2017-11-17 不審度推定モデル生成装置 Active JP7103229B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017000543 2017-01-05
JP2017000543 2017-01-05
PCT/JP2017/041538 WO2018128015A1 (ja) 2017-01-05 2017-11-17 不審度推定モデル生成装置

Publications (2)

Publication Number Publication Date
JPWO2018128015A1 JPWO2018128015A1 (ja) 2019-11-07
JP7103229B2 true JP7103229B2 (ja) 2022-07-20

Family

ID=62791033

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018560328A Active JP7103229B2 (ja) 2017-01-05 2017-11-17 不審度推定モデル生成装置

Country Status (3)

Country Link
US (3) US11023712B2 (ja)
JP (1) JP7103229B2 (ja)
WO (1) WO2018128015A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11023712B2 (en) * 2017-01-05 2021-06-01 Nec Corporation Suspiciousness degree estimation model generation device
JP6778736B2 (ja) * 2018-12-28 2020-11-04 富士通クライアントコンピューティング株式会社 判定装置およびプログラム
US11210673B2 (en) * 2019-05-29 2021-12-28 Advanced New Technologies Co., Ltd. Transaction feature generation
JP7351413B2 (ja) 2020-05-08 2023-09-27 富士通株式会社 識別方法、生成方法、識別プログラム及び識別装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004158013A (ja) 2002-11-04 2004-06-03 Samsung Electronics Co Ltd 顔検出システム及び方法、並びに顔画像認証方法
JP2007140695A (ja) 2005-11-15 2007-06-07 Nippon Telegr & Teleph Corp <Ntt> 不審顔検出システム、不審顔検出方法および不審顔検出プログラム
JP2009077064A (ja) 2007-09-19 2009-04-09 Fujifilm Corp 監視方法および監視装置
JP2012212969A (ja) 2011-03-30 2012-11-01 Secom Co Ltd 画像監視装置
JP2013088870A (ja) 2011-10-13 2013-05-13 Toyota Infotechnology Center Co Ltd 不審者検知装置、不審者検知方法およびプログラム

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4521086B2 (ja) 2000-03-13 2010-08-11 株式会社東芝 顔画像認識装置及び顔画像認識方法
JP4177598B2 (ja) * 2001-05-25 2008-11-05 株式会社東芝 顔画像記録装置、情報管理システム、顔画像記録方法、及び情報管理方法
JP4397212B2 (ja) * 2003-02-05 2010-01-13 富士フイルム株式会社 本人認証装置
JP4702598B2 (ja) * 2005-03-15 2011-06-15 オムロン株式会社 監視システム、監視装置および方法、記録媒体、並びにプログラム
DE602007010523D1 (de) * 2006-02-15 2010-12-30 Toshiba Kk Vorrichtung und Verfahren zur Personenidentifizierung
US20080080748A1 (en) * 2006-09-28 2008-04-03 Kabushiki Kaisha Toshiba Person recognition apparatus and person recognition method
JP2010198199A (ja) 2009-02-24 2010-09-09 Fujifilm Corp 情報提供システム及び情報提供方法
JP2011060058A (ja) * 2009-09-11 2011-03-24 Hitachi Kokusai Electric Inc 撮影装置および監視システム
WO2012029518A1 (ja) * 2010-08-31 2012-03-08 オムロン株式会社 挙動解析装置
JP5824806B2 (ja) * 2010-12-28 2015-12-02 オムロン株式会社 顔画像管理装置、顔画像管理方法、並びにプログラム
JP5617627B2 (ja) * 2010-12-28 2014-11-05 オムロン株式会社 監視装置および方法、並びにプログラム
US9025872B2 (en) * 2011-08-29 2015-05-05 Panasonic Intellectual Property Corporation Of America Image processing device, image processing method, program, and integrated circuit
JP5795979B2 (ja) * 2012-03-15 2015-10-14 株式会社東芝 人物画像処理装置、及び人物画像処理方法
JP6026119B2 (ja) * 2012-03-19 2016-11-16 株式会社東芝 生体情報処理装置
JP6080940B2 (ja) * 2013-02-28 2017-02-15 株式会社日立国際電気 人物検索方法及びホーム滞留人物検索装置
US9135499B2 (en) * 2013-03-05 2015-09-15 Tyco Fire & Security Gmbh Predictive theft notification for the prevention of theft
JP6253311B2 (ja) * 2013-08-28 2017-12-27 キヤノン株式会社 画像処理装置、画像処理方法
JP5780569B1 (ja) * 2014-03-19 2015-09-16 株式会社 テクノミライ デジタルロス・デフェンスセキュリティシステム、方法及びプログラム
EP3131076B1 (en) * 2014-04-09 2018-12-19 Technomirai Co., Ltd Digital loss/accident defense system, method, and program
JP5871296B1 (ja) * 2015-08-19 2016-03-01 株式会社 テクノミライ スマートセキュリティ・デジタルシステム、方法及びプログラム
WO2017061429A1 (ja) * 2015-10-05 2017-04-13 日本電気株式会社 アンテナ指向制御信号生成装置と無線通信装置と無線通信制御システムとアンテナ指向性制御方法並びにプログラム
JP6744736B2 (ja) * 2016-03-23 2020-08-19 株式会社ユニバーサルエンターテインメント 撮影システム
JP7031588B2 (ja) * 2016-07-05 2022-03-08 日本電気株式会社 不審者検出装置、不審者検出方法およびプログラム
US10936882B2 (en) * 2016-08-04 2021-03-02 Nec Corporation People flow estimation device, display control device, people flow estimation method, and recording medium
EP3291191B1 (en) * 2016-08-29 2019-10-09 Panasonic Intellectual Property Management Co., Ltd. Suspicious person report system and suspicious person report method
US11023712B2 (en) * 2017-01-05 2021-06-01 Nec Corporation Suspiciousness degree estimation model generation device
US9852606B1 (en) * 2017-04-10 2017-12-26 Verint Americas Inc System and method for crime investigation
US10817710B2 (en) * 2018-01-12 2020-10-27 Sensormatic Electronics, LLC Predictive theft notification
JP6778736B2 (ja) * 2018-12-28 2020-11-04 富士通クライアントコンピューティング株式会社 判定装置およびプログラム
JP7272626B2 (ja) * 2019-01-09 2023-05-12 i-PRO株式会社 照合システム、照合方法およびカメラ装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004158013A (ja) 2002-11-04 2004-06-03 Samsung Electronics Co Ltd 顔検出システム及び方法、並びに顔画像認証方法
JP2007140695A (ja) 2005-11-15 2007-06-07 Nippon Telegr & Teleph Corp <Ntt> 不審顔検出システム、不審顔検出方法および不審顔検出プログラム
JP2009077064A (ja) 2007-09-19 2009-04-09 Fujifilm Corp 監視方法および監視装置
JP2012212969A (ja) 2011-03-30 2012-11-01 Secom Co Ltd 画像監視装置
JP2013088870A (ja) 2011-10-13 2013-05-13 Toyota Infotechnology Center Co Ltd 不審者検知装置、不審者検知方法およびプログラム

Also Published As

Publication number Publication date
US11023713B2 (en) 2021-06-01
US20200050838A1 (en) 2020-02-13
US11023714B2 (en) 2021-06-01
WO2018128015A1 (ja) 2018-07-12
US20190347473A1 (en) 2019-11-14
JPWO2018128015A1 (ja) 2019-11-07
US11023712B2 (en) 2021-06-01
US20200042774A1 (en) 2020-02-06

Similar Documents

Publication Publication Date Title
JP7103229B2 (ja) 不審度推定モデル生成装置
JP5740210B2 (ja) 顔画像検索システム、及び顔画像検索方法
JP6139364B2 (ja) 人物特定装置、人物特定方法及びプログラム
EP3010229B1 (en) Video surveillance system, video surveillance device
KR20140102181A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
JP2018160219A (ja) 移動経路予測装置、及び移動経路予測方法
CN103140862A (zh) 用户界面系统及其操作方法
CN104484814B (zh) 一种基于视频地图的广告方法及系统
WO2010016175A1 (ja) 対象検出装置および対象検出方法
CN108229375B (zh) 用于检测人脸图像的方法和装置
JP2016170542A (ja) 画像処理装置、画像処理方法及びプログラム
CN111107278B (zh) 图像处理方法、装置、电子设备及可读存储介质
CN110442783A (zh) 基于人脸识别的信息推送方法、装置、计算机设备
CN108289191B (zh) 图像识别方法及装置
JP2014164374A (ja) 情報表示システム、情報端末、サーバ装置、情報端末の制御方法、サーバ装置の制御方法、及びプログラム
JP2013046135A (ja) 映像提供装置、映像利用装置、映像提供システム、映像提供方法、および、コンピュータ・プログラム
WO2019215780A1 (ja) 識別システム、モデル再学習方法およびプログラム
CN114079801A (zh) 按需将元数据叠加到视频流上以进行智能视频分析
JP2009289210A (ja) 重要物体認識装置および重要物体認識方法ならびにそのプログラム
JP2015139001A (ja) 情報処理装置、情報処理方法及びプログラム
CN114742561A (zh) 人脸识别方法、装置、设备及存储介质
JP2018137639A (ja) 動画像処理システム、並びに、符号化装置及びプログラム、並びに、復号装置及びプログラム
JP2018142137A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2018045517A (ja) 付与装置、付与方法および付与プログラム
CN110196633A (zh) 使用增强现实系统提供实体位置的方法及设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190614

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220620

R151 Written notification of patent or utility model registration

Ref document number: 7103229

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151