JP6164899B2 - ハッシュ値生成装置、システム、判定方法、プログラム、記憶媒体 - Google Patents

ハッシュ値生成装置、システム、判定方法、プログラム、記憶媒体 Download PDF

Info

Publication number
JP6164899B2
JP6164899B2 JP2013079445A JP2013079445A JP6164899B2 JP 6164899 B2 JP6164899 B2 JP 6164899B2 JP 2013079445 A JP2013079445 A JP 2013079445A JP 2013079445 A JP2013079445 A JP 2013079445A JP 6164899 B2 JP6164899 B2 JP 6164899B2
Authority
JP
Japan
Prior art keywords
hash value
hash
hash function
normal
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013079445A
Other languages
English (en)
Other versions
JP2014203289A (ja
Inventor
大岳 八谷
大岳 八谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013079445A priority Critical patent/JP6164899B2/ja
Priority to US14/242,557 priority patent/US20140304236A1/en
Publication of JP2014203289A publication Critical patent/JP2014203289A/ja
Application granted granted Critical
Publication of JP6164899B2 publication Critical patent/JP6164899B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • G06F16/9014Indexing; Data structures therefor; Storage structures hash tables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Description

本発明は、未知のデータを識別するための技術に関する。
センサが取得したデータが異常であるか否かを識別する異常検知の問題がある。この異常検知の問題に対するアプローチには、判定対象のデータが、判定の基準となるデータから乖離している場合に、判定対象のデータが異常であると識別するものがある。
非特許文献1では、乖離の度合いを測る基準として、局所性鋭敏型ハッシュ関数が用いられている。具体的には、判定対象のデータと、判定の基準となるデータとが、ランダムに選択された複数のハッシュ関数によりハッシュ値へと変換される。そして、判定対象のデータと、判定の基準データとなるデータとが、同じハッシュ値を取る回数が乖離度合いとして用いられている。
Locality Sensitive Outlier Detection: A ranking drive approach, Ye Wang, Srinivasan Parthasarathy, Shirish Tatikonda, The proceedings of 2011 IEEE 27th International Conference on Data Engineering
しかしながら、非特許文献1に記載の異常検知方法では、ランダムにハッシュ関数が選択されるため、各々のハッシュ関数の信頼性が低く、精度よく乖離度合いを測定するためには、ハッシュ関数を多数用いる必要があった。そのため、乖離度合いを測定するのに時間がかかるという問題があった。
本発明は、以上の課題に鑑みてなされたものであり、未知のデータを、高精度かつ高速に特定のクラスに識別することを目的とする。
本発明のハッシュ値生成装置は、例えば、未知のデータを、特定クラスと特定外クラスに識別するためのハッシュ値を生成するハッシュ値生成装置であって、前記特定クラスに属するデータの特徴量を示す特定特徴量からの距離と前記特定特徴量との位置関係とに基づき、ハッシュ関数を含むハッシュ関数情報を生成する生成手段と、前記生成されたハッシュ関数情報に基づき、前記特定特徴量をハッシュ値に変換する変換手段と、前記変換されたハッシュ値を正常ハッシュ値として、前記ハッシュ関数情報と関連づけて記憶する記憶手段とを備える。
本発明によれば、未知のデータを、高精度かつ高速に特定のクラスに識別することができる。
本発明の第1の実施形態に係るハッシュ値生成装置と情報処理装置とを用いた異常検知システムの構成の一例を示す構成を示す図である。 本発明の第1の実施形態に係る正常特徴量記憶部(特定特徴量記憶部)が記憶する情報の一例を示す図である。 本発明の第1の実施形態に係るハッシュ関数記憶部が記憶する情報の一例を示す図である。 本発明の第1の実施形態に係るハッシュ関数生成部が選択するハッシュ関数情報の一例を示す図である。 本発明の第1の実施形態に係るハッシュ関数生成部が生成するハッシュ関数にて考慮される距離の尺度の一例を示す図である。 本発明の第1の実施形態に係る正常ハッシュ値記憶部(特定ハッシュ値記憶部)が記憶する情報の一例を示す図である。 本発明の第1の実施形態に係る異常検知システムのハッシュ関数生成に係る動作の一例を示すフローチャートである。 本発明の第1の実施形態に係る異常検知システムの識別に係る動作の一例を示すフローチャートである。 本発明の第1の実施形態に係るハッシュ関数生成部が生成したハッシュ関数の一例を示す図である。 本発明の第1の実施形態に係る識別部が識別した結果の一例を示す図である。 本発明の第1の実施形態に係る異常検知システムと本実施形態のハッシュ関数生成部の代わりに非特許文献1のp−stable hashを用いた場合との、UMNデータにおける平均AUCを示す図である。 本発明の第1の実施形態に係る異常検知システムと本実施形態のハッシュ関数生成部の代わりに非特許文献1のp−stable hashを用いた場合との、UCSDデータにおけるEER及びAUCを示す図である。 本発明の第2の実施形態に係るハッシュ値生成装置と情報処理装置とを用いた異常検知システムの構成の一例を示す構成を示す図である。 本発明の第2の実施形態に係る異常検知システムのハッシュ関数生成に係る動作の一例を示すフローチャートである。 本発明の第3の実施形態に係るハッシュ値生成装置と情報処理装置とを用いた異常検知システムの構成の一例を示す構成を示す図である。 本発明の第3の実施形態に係る正常・異常特徴量記憶部(特定・特定外特徴量記憶部)が記憶する情報の一例を示す図である。 本発明の第3の実施形態に係る正常・異常ハッシュ値記憶部(特定・特定外ハッシュ値記憶部)が記憶する情報の一例を示す図である。
[第1の実施形態]
本発明を実施するための第1の実施形態について、図面を参照して説明する。本実施形態における異常検知システム1000では、監視対象をカメラ等の撮像装置で撮影し、撮影した映像データ(未知のデータ)に基づいて、監視対象に異常があるか否かを判定する。そして、異常がある場合は、警備室等の監視センタに常駐する監視者に警告する場合について説明する。つまり、ここでは、特定のクラス(特定クラス)を正常クラス、特定外のクラス(特定外クラス)を異常クラスとする。この監視対象には、例えば、一般家庭の屋内及び屋外、又は病院、駅などの公共施設が含まれる。
図1は、本発明の一実施形態に係るハッシュ値生成装置と情報処理装置とを用いた異常検知システムの構成の一例を示すブロック図である。本実施形態の異常検知システム1000は、ネットワークを介して接続されたハッシュ値生成装置100と、情報処理装置200と、撮像装置30と、端末装置40とを備えている。このネットワークは、有線でも無線でもかまわない。例えば、携帯電話回線網やインターネットが適用できる。
次に、ハッシュ値生成装置100の詳細な構成について、説明する。
ハッシュ値生成装置100は、情報処理装置200で識別に用いられるハッシュ値を生成する装置である。ハッシュ値生成装置100は、正常特徴量(特定特徴量記憶部)11と、ハッシュ関数記憶部120と、正常ハッシュ値記憶部(特定ハッシュ値記憶部)130と、ハッシュ関数生成部140と、ハッシュ値変換部150と、を備えている。
正常特徴量記憶部(特定特徴量記憶部)110は、データを識別するデータIDと関連付けて、正常クラス(特定のクラス)に属するデータの特徴量を示す正常特徴量(特定特徴量)を記憶する。ここで、正常クラスに属するデータとは、人間により予め正常であると確認された監視対象の映像データである。また、正常特徴量とは、正常クラスに属する映像データから所定の抽出方法を用いて抽出された、監視対象の複数の特徴を示す情報である。特徴量の抽出方法については、情報処理装置200が備える特徴量抽出部210の説明にて後述する。
図2は、本実施形態の正常徴量記憶部110が記憶する情報の一例を示す表である。図2に示すように、データIDは、例えば、アルファベット及び数字とから成る文字列である。例えば、2つのデータは、データID「D0001」とデータID「D0002」とにより識別される。そして、図2では、データIDに関連付けて複数の特徴量、例えば、特徴量1、特徴量2の値が格納されていることが示されている。
ハッシュ関数記憶部120は、ハッシュ関数を識別するハッシュ関数IDと関連付けて、ハッシュ関数を示すハッシュ関数情報を記憶する。ここで、ハッシュ関数情報には、例えば、ハッシュ関数で用いられる一つ又は複数のパラメータが含まれる。
図3は、本実施形態のハッシュ関数記憶部12が記憶する情報の一例を示す表である。図3に示すように、ハッシュ関数IDは、例えば、アルファベット及び数字とから成る文字列である。例えば、1つ目のハッシュ関数と2つ目の関数とは、「H0001」と「H0002」とにより識別される。そして、図3は、このハッシュ関数IDに関連付けられたハッシュ関数のパラメータ、例えば、パラメータ1、パラメータ2の値が記憶されていることを示している。
再び、図1を参照して、ハッシュ値生成装置100の構成について説明する。
ハッシュ関数生成部140は、正常特徴量記憶部110が記憶する正常特徴量に基づき、ハッシュ関数情報を生成し、ハッシュ関数IDと関連付けてハッシュ関数記憶部120に記憶させる。具体的には、ハッシュ関数生成部140は、正常特徴量記憶部110から、正常特徴量を読み込む。次に、ハッシュ関数生成部140は、読み込んだ正常特徴量に基づいて、予め定められた個数のハッシュ関数情報を生成する。そして、ハッシュ関数生成部140は、ハッシュ関数IDと関連づけて、生成したハッシュ関数情報を、ハッシュ関数記憶部120に記憶させる。ここで、ハッシュ関数IDは、本実施形態においては、例えば、ハッシュ関数情報が生成された順番に基づいて決定される。この場合、3番目に生成されたハッシュ関数のハッシュ関数IDは、「H0003」である。
なお、ハッシュ関数生成部140は、特徴空間上の正常ハッシュ値(特定ハッシュ値)に対応する領域に対して、正常特徴量の密度が大きくなるようにハッシュ関数情報を生成する。具体的には、ハッシュ関数は、特徴空間上での超平面としてモデル化される。ここで、特徴空間とは、各要素に特徴量(例えば、図2の特徴量1又は特徴量2)を持つ特徴ベクトルの空間である。そして、超平面を境界として、法線ベクトルの方向側にある特徴ベクトルのハッシュ値を「0」、その反対側にある特徴ベクトルのハッシュ値を「1」とする。例えば、m番目のハッシュ関数を式(1)で表す。
Figure 0006164899
ここで、Tは、ベクトルの転置、xは各要素に一つの特徴量を持つ特徴ベクトルであり、wは超平面の法線ベクトルであり、bはバイアスである。つまり、ハッシュ関数を示すハッシュ関数情報は、パラメータwとbに対応する。ここで、超平面の左辺を式(2)のようにzとする。
Figure 0006164899
ある特徴ベクトルxが法線ベクトルwの方向側にある場合、zは正の値をとり、反対側にある場合は、負の値を取る。この性質を利用することにより、ハッシュ関数生成部140は、次の評価式を用いてハッシュ関数を評価する。
Figure 0006164899

ここで、Nは正常データ数、λはバイアス重みパラメータである。また、L(z)は、正常データを異常と判定した場合の誤差を表す関数であり、例えば次のように定義される。
Figure 0006164899
関数L(z)は、次の性質を持つ。正常特徴ベクトルが超平面の法線ベクトルの方向側にあればL(z)の値は0になる。一方、当該ベクトルが超平面の反対側にある場合は、L(z)の値は、超平面からの距離に比例した正の値を持つ。つまり、出来るだけ多くの正常特徴ベクトルが、超平面の法線ベクトル方向側にある超平面は、式(3)の第1項目の値が小さい。
一方、式(3)の第2項目のバイアスパラメータbは、その値が0のとき、超平面は原点(つまり、特徴ベクトルの全要素が0になる点)を通る。そして、その値が大きくなるにつれ、超平面は法線ベクトルの方向に平行移動する。一方、その値が小さく(例えば負の値)なるにつれ、超平面は、法線ベクトルの逆方向に平行移動する。バイアス重みパラメータλは、式(3)において、第1項目に対して相対的に第2項目のバイアスパラメータbの影響度を調整することができる。λの値は、予め人間により設定される。なお、クロスバリデーション等を用いて、自動的にλの値を自動的に設定してもよい。
ハッシュ関数生成部140は、ランダムに所定の数M個のパラメータwとbとの組みを生成することにより、ハッシュ関数の候補を用意する。例えば、パラメータwの各要素及びbは、正規分布や一様分布に従って選択する。そして、ハッシュ関数生成部140は、該候補の中から式(3)を最小化するパラメータwとbとの組を選択する。これにより、ハッシュ関数生成部140は、多くの正常特徴ベクトルが超平面の法線ベクトルの方向側にあり、かつ超平面が正常特徴ベクトルに近いハッシュ関数を選択することが出来る。つまり、正常特徴量の密度が大きいハッシュ関数が選択される。
図4は、本実施形態のハッシュ関数生成部が生成するハッシュ関数の一例を示す図である。4つの点は、それぞれの点が、2次元の特徴空間上の正常特徴量を表しており、また、3つの点線(a)、(b)及び(c)は、ハッシュ関数に対応する超平面(2次元なので直線)の候補を表している。また、点線に対して垂直な矢印は、直線の法線ベクトルの方向を示している。これらの候補のうち(a)は、正常データの一部が超平面の反対側にあるため、評価式(3)の第1項目の値が大きい。(c)は評価式(3)の第1項目の値は0になるものの、正常データから離れているため、第2項目の値が大きい。これらに対して、(b)は、全ての正常データが超平面の法線ベクトル方向側にあり、かつ、超平面が正常データの近くにあるため、評価式(3)の値は3つの候補の中では最小となる。これにより、ハッシュ関数生成部11は、超平面(b)を選択する。
図5は、本実施形態のハッシュ関数生成部140が生成するハッシュ関数にて考慮される距離の尺度の例を示す図である。黒丸印で示したpは、2次元の特徴空間上の正常特徴量を表しており、白丸印で示した点(q)は、映像特徴量(未知特徴量)を表している。また、θxは、横軸上のある点xを基準とした2つの正常特徴量間の最大角度を表し、βxは、映像特徴量と正常特徴量との間の最小角度を表す。ここで、簡単化のために、ハッシュ関数生成部140により生成されるハッシュ関数を点xを通る直線に限定すると、当該ハッシュ関数では、次の式のように、正常データの領域に係る距離の尺度が考慮されていると解釈できる。
Figure 0006164899

また、当該ハッシュ関数は、次の局所鋭敏型ハッシュの条件を満たす。
Figure 0006164899
つまり、式(6)は、正常特徴量及び映像特徴量が角度θxに対応する領域内にある場合、2つのハッシュ値(h(p)及びh(q))が等しくなる確率が高いことを示す。それとともに、式(6)は、映像特徴量が角度θxに対応する領域内に無い場合、2つのハッシュ値が等しくなる確率は、βxが大きい程、低いことを示す。
ハッシュ関数生成部14は、上述した方法により所定の数L個のハッシュ関数情報(パラメータwとbの組み)を生成する。そして、ハッシュ関数生成部140は、L個のハッシュ関数情報を、ハッシュ関数IDに関連付けてハッシュ関数記憶部120に記憶させるとともに、ハッシュ値変換部150に、変換の開始を示す変換トリガーをに出力する。
正常ハッシュ値記憶部(特定ハッシュ値記憶部)130は、ハッシュ関数IDとハッシュ値とに関連付けて、ハッシュ関数によりハッシュ値に変換されたデータIDを記憶する。
図6は、本実施形態の正常ハッシュ値記憶部13が記憶する情報の一例を示す表である。図6に示すように、ハッシュ値は整数値で、例えば、「0」及び「1」である。図6では、ハッシュ関数「H0001」により、データ「D0001」と「D0002」とがハッシュ値「0」に変換されたことが示されている。また、ハッシュ関数「H0002」により、データ「D0001」がハッシュ値「0」に、データ「D0002」がハッシュ値「1」に変換されたことが示されている。なお、所定の個数のハッシュ値を連結して一つのハッシュ値としてもよい。例えば、ハッシュ値「0」および「1」の2個のハッシュ値を連結すると、ハッシュ値は4つの値「00」、「01」、「10」及び「11」のいずれかを取る。
再び、図1を参照して、ハッシュ値生成装置100の構成について説明する。
ハッシュ値変換部150は、ハッシュ関数記憶部120が記憶するハッシュ関数情報に基づき、正常特徴量記憶部110が記憶する正常特徴量を正常ハッシュ値に変換する。そして、ハッシュ関数IDと、正常ハッシュ値とに関連付けて、正常ハッシュ値に変換したデータIDを正常ハッシュ値記憶部130に記憶させる。具体的には、ハッシュ値変換部150は、ハッシュ関数生成部140から変換トリガーが入力されると、ハッシュ関数記憶部120(図3を参照)から、ハッシュ関数IDとハッシュ関数情報とを読み込む。それとともに、データIDと、正常特徴量とを、正常特徴量記憶部110から(図2を参照)読み込む。ハッシュ値変換部150は、読み込んだハッシュ関数情報に基づき、読み込んだ正常特徴量を正常ハッシュ値に変換する。そして、ハッシュ値変換部150は、正常ハッシュ値に変換したデータのIDを、正常ハッシュ値記憶部120(図6を参照)に、ハッシュ関数IDと正常ハッシュ値とに関連付けて記憶させる。
なお、ハッシュ値変換部150は、映像データ(未知のデータ)の特徴量を示す映像データ特徴量(未知特徴量)を情報処理装置200から入力する。そして、ハッシュ値変換部12は、入力した映像データ特徴量を、ハッシュ関数記憶部120が記憶するハッシュ関数情報に基づいて、ハッシュ値に変換した映像ハッシュ値(未知ハッシュ値)を出力する。具体的には、情報処理装置200により未知のデータがネットワークを介してハッシュ値変換部150に出力される。ハッシュ値変換部150は、映像データの特徴量を取得したことに応じて、ハッシュ関数記憶部120が記憶するハッシュ関数情報を読み込む。そして、ハッシュ値変換部150は、読み込んだハッシュ関数情報に基づいて、取得した当該特徴量を、ハッシュ値に変換し、ネットワークを介して情報処理装置200に出力する。
次に、図1を参照して、情報処理装置200の構成について説明する。
撮像装置30は、監視対象に係る画像データ又は映像データを撮像するカメラを備える。なお、該装置は、監視対象の音声を入力するマイクロフォン、温度を測定する温度計、又は距離を測る距離センサなどを備えてもよい。撮像装置30は、取得した映像データを、情報処理装置200にネットワークを介して送信する。
情報処理装置200は、撮像装置30が撮像した映像データに異常があるか否かを判定する装置である。情報処理装置200は、特徴量抽出部210と、識別部220と、出力部230とを備えている。
特徴量抽出部210は、撮像装置30から取得した映像データから映像特徴量を抽出する。具体的には、所定の時間間隔で映像データがネットワークを介して撮像部30から特徴抽出部21に出力される。特徴抽出部210は、映像データを取得したことに応じて、取得した映像データを、所定の特徴量抽出方法により特徴量に変換し、識別部220に出力する。ここで、映像データは、所定の長さで、所定のフレームレートで構成される。例えば、長さは5秒で、フレームレートは3fpsである。そして、特徴量抽出方法には、例えば、映像データの各フレームの局所的な特徴を抽出するHOG(Histogram of Gradient)、HOF(Histogram of Optical Flow)、MHOF(Multi−scale Histogram of Optical Flow)又はSIFT(Scale Invariant Feature Transform)などが用いられる。なお、これらの特徴抽出方法を、映像データの各フレームを複数の領域に分割した各領域に適用してもよい。なお、特徴量抽出方法は、特定の監視対象に特化してもよい。例えば、監視対象が人物の場合は、人物の姿勢及び移動軌跡などを特徴量として抽出する方法でもよい。
識別部220は、映像特徴量をハッシュ値生成装置100が備えるハッシュ値変換部150によって映像ハッシュ値に変換し、該映像ハッシュ値と、正常ハッシュ値記憶部130が記憶する正常ハッシュ値とに基づいて、映像データが正常クラス又は異常クラスに属するかを識別する。そして、識別部220は、識別結果を示す識別結果情報を出力部230に出力する。具体的には、識別部220は、映像特徴量を特徴抽出部210から入力する。識別部220は、入力した映像特徴量をハッシュ値生成装置100が備えるハッシュ値変換部150を介して、映像特徴量を映像ハッシュ値へと変換するとともに、ハッシュ値生成装置100が備える正常ハッシュ値記憶部120が記憶する正常ハッシュ値を読み込む。そして、識別部220は、変換した映像データのハッシュ値と、読み込んだ正常ハッシュ値とを比較し、映像データが正常クラス又は異常クラスに属するかを識別する。識別方法としては、例えば2つの方法がある。
第1の識別方法として、映像ハッシュ値と一致する正常ハッシュ値が一つもないハッシュ関数が存在する場合、識別部220は、映像データが異常クラスに属すると識別する。これは該ハッシュ関数に対応する超平面により、映像データが全ての正常データから分離されるため、映像データが正常データから乖離していることを意味する。
第2の識別方法として、正常ハッシュ値と映像ハッシュ値とが一致した回数または、回数のハッシュ関数に関する平均が所定の閾値よりも低い場合、識別部220は、映像データが異常クラスに属すると識別する。これはハッシュ関数に対応する超平面により、映像データが多くの正常データから分離されるため、映像データが正常データから乖離していることを意味する。なお、第2の識別方法には、複数の映像ハッシュ値に関する当該回数の統計量を用いてよい。この複数の映像ハッシュ値は、例えば、映像データの各フレームを分割した各フレームの複数領域や、各領域の複数フレームに対応する。この統計量には、例えば、平均値及び最小値などがある。
識別部220は、映像データが正常クラス又は異常クラスに属するかを示す識別結果情報を、出力部230に出力する。この識別結果情報は、例えば、異常の場合は「−1」、正常の場合は「1」の値を取る。
出力部230は、識別結果情報に基づいて、映像データに係る表示情報を生成して、生成した表示情報を出力する。具体的には、出力部23は、撮像装置30から映像データを、特徴量抽出部210から映像特徴量を入力するとともに、識別部220から識別結果情報を入力する。そして、識別部220は、入力した識別結果情報に基づいて、入力した映像データの表示情報を生成し、生成した表示情報をネットワークを介して端末装置40に出力する。この表示情報は、識別結果情報が映像データに異常がないことを示す場合(例えば、「1」の場合)、例えば、そのままの映像データ、又は解像度及びフレームレートを低くした映像データである。一方、識別結果情報が映像データに異常があることを示す場合(例えば、「−1」の場合)、表示情報は、映像データに加え、監視者の注意を促すための警告情報を含む。この警告情報は、例えば、「異常があります」等のテキストまたは音声である。なお、この表示情報には、入力した映像特徴量を含めてもよい。
端末装置40は、監視ユーザが利用するコンピュータ装置であり、情報処理装置200からネットワークを介して供給される表示情報を提供する。図示はしないが、端末装置40は、表示部41を備える。端末装置40には、例えばPC(Personal Computer)やタブレットPC、スマートフォン、フューチャーフォン等が適用できる。具体的には、情報処理装置200が表示情報を出力したことに応じて、端末装置40は、表示情報を取得する。そして、端末装置40は、取得した表示情報を不図示の表示部41に出力する。
次に、図7を参照して、異常検知システム1000におけるハッシュ関数生成の動作について説明する。図7は、本実施形態の異常検知システム1000のハッシュ関数生成の動作の一例を示すフローチャートである。
(ステップS101)
まず、ハッシュ関数生成部140は、正常特徴量記憶部110から、正常特徴量を読み込む。
(ステップS102)
次に、ハッシュ関数生成部140は、生成したハッシュ関数の数を示すカウンターlを「0」に設定する。
(ステップS103)
次に、ハッシュ関数生成部149は、ランダムにハッシュ関数情報の候補を生成する。具体的には、ランダムにパラメータwとbとの値を設定することにより、M個のハッシュ関数の候補(wとbの組み)を生成する。
(ステップS104)
次に、ハッシュ関数生成部140は、ハッシュ関数を選択する。具体的には、ハッシュ関数生成部14は、M個のハッシュ関数の候補の中から、式(3)を最小化するハッシュ関数を選択する。そして、ハッシュ関数生成部140は、カウンターlに「1」を加算する。
(ステップS105)
次に、ハッシュ関数生成部140は、カウンターlが所定のハッシュ関数の個数L以上か否かを判定する。カウンターlが所定のハッシュ関数の個数L以上の場合、ハッシュ関数生成部140は、処理をステップS106に進める。カウンターlが所定のハッシュ関数の個数Lより小さい場合、ハッシュ関数生成部140は、処理をステップS103に戻す。
(ステップS106)
次に、ハッシュ関数生成部140は、生成したハッシュ関数情報を、記憶させる。具体的には、ハッシュ関数生成部140は、生成したL個のハッシュ関数情報を、ハッシュ関数記憶部120に、ハッシュ関数IDと関連付けて記憶させる。それとともに、ハッシュ関数生成部140は、変換トリガーをハッシュ値変換部150に出力する。
(ステップS107)
次に、ハッシュ値変換部150は、正常特徴量をハッシュ値に変換する。具体的には、ハッシュ値変換部150は、ハッシュ関数生成部140から変換トリガーが入力されると、ハッシュ関数記憶部120(図3を参照)から、ハッシュ関数IDとハッシュ関数情報とを読み込む。それとともに、データIDと、正常特徴量とを正常特徴量記憶部110から(図2を参照)読み込む。ハッシュ値変換部150は、読み込んだハッシュ関数情報に基づき、読み込んだ正常特徴量をハッシュ値に変換する。
(ステップS108)
次に、ハッシュ値変換部150は、ハッシュ値に変換したデータIDを記憶させて、処理を終了させる。具体的には、ハッシュ値変換部150は、ハッシュ値に変換したデータのIDを、正常ハッシュ値記憶部130(図6を参照)に、ハッシュ関数IDとハッシュ値とに関連付けて記憶させる。
次に、図8を参照して、異常検知システム1000における識別の動作について説明する。図8は、本実施形態の異常検知システム1000の識別の動作の一例を示すフローチャートである。
(ステップS201)
まず、特徴抽出部210は、映像データを撮像装置から取得する(第2の取得)。具体的には、撮像装置30により撮像された映像データが、ネットワークを介して特徴抽出部210と出力部230に出力される。特徴抽出部210は、映像データを取得したことに応じて、所定の特徴抽出方法を用いて、取得した映像データから映像特徴量を抽出する。そして、特徴抽出部210は、抽出した映像特徴量を識別部220に出力する。
(ステップS202)
次に、ハッシュ値変換部150は、映像データをハッシュ値に変換する。具体的には、識別部220は、特徴抽出部210から映像特徴量を入力したことに応じて、映像特徴量をハッシュ値生成装置100が備えるハッシュ値変換部150に出力する。ハッシュ値変換部150は、情報処理装置200の識別部220から映像特徴量を入力(第1の取得)したことに応じて、ハッシュ関数記憶部120からハッシュ関数情報を読み込む。そして、ハッシュ値変換部150は、読み込んだハッシュ関数情報に基づき、入力した映像特徴量をハッシュ値に変換し、映像ハッシュ値として、情報処理装置200の識別部220に出力する。
(ステップS203)
次に、識別部220は、映像データが正常クラス又は異常クラスに属するかを識別する。具体的には、ハッシュ値生成装置100のハッシュ値変換部220から映像特徴量を入力したことに応じて、ハッシュ値生成装置100が備える正常ハッシュ値記憶部130から正常ハッシュ値を読み込む。そして、識別部220は、読み込んだ正常ハッシュ値と、入力した映像ハッシュ値とに基づき、映像データが正常クラス又は異常クラスに属するかを識別する。そして、識別部220は、識別結果示す識別結果情報を出力部230に出力する。
(ステップS204)
次に、出力部230は、表示情報を端末装置40に出力する。具体的には、出力部230は、識別部220から、入力した識別結果情報と、撮像装置30から入力した映像データとに基づいて生成した表示情報を、ネットワークを介して端末装置40に出力する。
(ステップS205)
次に、端末装置40は、表示情報を出力し、処理を終了する。具体的には、端末装置40は、情報処理装置200の出力部230から入力した表示情報を、不図示の表示部41に出力する。
次に、図9と図10とを参照して、人工データを用いた異常検知システム1000による異常検知の例について説明する。図9は、本実施形態のハッシュ関数生成部110が生成したハッシュ関数の例を示す図である。点は、2次元の特徴空間上で、各次元がガウス混合分布 0.5N(1, 0.25)+0.5N(1,1)に従う正常特徴量を表している。線は、ハッシュ関数生成部11により、M=200個のハッシュ関数の候補からそれぞれ選ばれたL=100個のハッシュ関数に対応する超平面(2次元なので直線)を表している。ここで、バイアス重みパラメータλは、0.0001に設定されている。図9は、ハッシュ関数生成部140が、多くの正常特徴量を分割せず、かつ、正常特徴量の近くにあるハッシュ関数を選択していることを示している。
次に、図10は、本実施形態の識別部22が識別した結果の例を示す図である。×の点は、2次元特徴空間上で、各次元が一様分布 U(−5,5)に従う映像特徴量(未知特徴量)を表している。また、丸印の中に×がある点は、映像特徴量のうち、識別部22により、異常クラスに属すると識別された映像特徴量を示している。ここで、識別方法としては、正常ハッシュ値と映像ハッシュ値とが一致した回数のハッシュ関数に関する平均が閾値199以下の場合、識別部22は、映像特徴量が異常クラスに属すると識別する。図10は、識別部22により、正常データにより囲まれた領域内では、映像特徴量が正常クラスに属すると識別され、領域外では、異常クラスに属すると識別されていることを示している。
次に、図11及び図12を参照して、公開データであるUMNデータとUCSDデータとを用いた、異常検知システム1000の性能評価について説明する。
図11は、本実施形態の異常検知システム1000と、本実施形態のハッシュ関数生成部140の代わりに非特許文献1のp−stable hashを用いた場合との、UMNデータにおける平均AUC(Area Under the Curve)を示す表である。UMNデータは、3つの異なる環境にて複数回、数十人の群衆が正常である「歩く」動作と異常である「走って逃げる」動作とを繰り返す映像データであり、http://mha.cs.umn.edu/movies/crowdactivity−all.aviにて提供される。各反復のうち最初の400フレーム(もし「歩く」動作に対応するフレーム数が400未満の場合は、200フレーム)を正常クラスに属するデータとし、残りのフレームを未知のデータとする。
これらのデータからオプティカルフローの強度と方向を推定し、各フレームを4x5に分割した各領域からMHOFが、正常特徴量及び映像特徴量として抽出される。なお、MHOFの強度閾値には、正常データの強度の1パーセンタイルが用いられる。本実施形態の異常検知システム1000では、ハッシュ関数の候補数M=1000、ハッシュ関数の数L=50、バイアス重みパラメータλ=0.001、及び連結数B=5に設定されている。また、p−stable hashでは、ハッシュ関数の数L=50及び連結数B=5に設定されている。正常ハッシュ値と映像ハッシュ値とが一致した回数の4x5領域分の平均が閾値よりも低い場合、当該フレームが異常であると判定される。図11は、本実施形態の異常検知システム1000が、p−stable hashを用いた場合よりも、群衆の異常行動検知において、高い性能を持つことを示している。
図12は、本実施形態の異常検知システム1000と、本実施形態のハッシュ関数生成部140の代わりに非特許文献1のp−stable hashを用いた場合との、UCSDデータにおけるEER(Equal Error Rate)及びAUCを示す表である。UCSDデータは、34個の正常映像データと、36個の未知のデータを含む。ここで、正常映像データには、歩行者のみが映っているのに対し、未知のデータには、歩行者の他に、自転車、車などの歩行者以外の物体が映っている。なお、UCSDデータは、http://www.svcl.ucsd.edu/projects/anomaly/dataset.htmlにて提供される。
これらのデータから、オプティカルフローの強度と方向を推定し、各フレームを7x7に分割した各領域からMHOFが、正常特徴量と映像特徴量として抽出される。なお、MHOFの強度閾値には、正常クラスに属するデータの強度の5パーセンタイルを用いられる。本実施形態の異常検知システム1では、7x7の各領域ごとに、ハッシュ関数の候補数M=1000、ハッシュ関数の数L=300、バイアス重みパラメータλ=0.0001、及び連結数B=5に設定されている。また、p−stable hashでは、7x7の各領域ごとに、ハッシュ関数の数L=300及び連結数B=5に設定されている。両方法において、7x7の各領域のうちオプティカルフローの平均が全体の平均よりも大きい場合、正常ハッシュ値と映像ハッシュ値とが一致した回数の前後20フレームの平均値が計算される。そして、7x7領域のうち最小の平均値が閾値よりも低い場合、当該フレームが異常であると判定される。図12は、本実施形態のハッシュ値生成装置100が、p−stable hashよりも、異常行動検知において、高い性能を持つことを示している。
以上説明したように、ハッシュ値生成装置100は、映像データを正常クラス又は異常クラスに識別する情報処理装置で用いられるハッシュ値を生成する装置である。ハッシュ関数生成部140は、正常特徴量記憶部110が記憶する正常のクラスに属するデータの特徴量を示す正常特徴量に基づき、ハッシュ関数を示すハッシュ関数情報を生成し、ハッシュ関数記憶部に記憶させる。ハッシュ値変換部150は、ハッシュ関数記憶部が記憶するハッシュ関数情報に基づき、正常特徴量記憶部110が記憶する正常特徴量をハッシュ値に変換し、正常ハッシュ値として、正常ハッシュ値記憶部130に記憶させる。これにより、ハッシュ関数の生成において正常特徴量の領域を考慮できるため、正常ハッシュ値生成装置100は、正常からの乖離度合いを測る基準として、信頼性の高いハッシュ関数を生成できる。また、当該ハッシュ関数を用いることにより、信頼性の高い正常ハッシュ値を生成することができる。
なお、ハッシュ値生成装置100のハッシュ関数生成部140は、特徴空間上の正常ハッシュ値に対応する領域に対して、正常特徴量の密度が大きくなるようにハッシュ関数情報を生成する。これにより、ハッシュ値生成装置100は、正常特徴量が同じハッシュ値を取り、該ハッシュ値を取る特徴空間上の領域が小さくなるようなハッシュ関数を生成することができる。そのため、正常ハッシュ値生成装置100は、異常クラスに属するデータを誤って正常クラスに属すると識別する割合を減らすことが可能な信頼性の高いハッシュ関数を生成することができる。また、当該ハッシュ関数を用いることにより、信頼性の高い正常ハッシュ値を生成することができる。
なお、ハッシュ値生成装置100のハッシュ値変換部150は、映像データの特徴量を示す映像特徴量を入力し、ハッシュ関数記憶部120が記憶するハッシュ関数情報に基づいて、映像特徴量をハッシュ値に変換し、映像ハッシュ値として出力する。これにより、正常からの乖離度合いを測る基準として、信頼性の高いハッシュ関数を用いることができるため、ハッシュ値変換部150は、信頼性の高い映像ハッシュ値を生成できる。
なお、情報処理装置200は、特徴抽出部210が、映像データを入力し映像特徴量を抽出する。識別部22は、特徴量をハッシュ値変換部150を介して映像ハッシュ値に変換し、正常ハッシュ値記憶部130が記憶する正常ハッシュ値と、映像ハッシュ値とに基づいて、映像データが正常クラス又は異常クラスに属するかを識別し、識別結果を示す識別結果情報を出力する。出力部230は、識別結果情報に基づいて、映像データに係る表示情報を生成し出力する。これにより、正常からの乖離度合いを測る基準として信頼できる少数の正常ハッシュ関数を用いるため、情報処理装置200は、高速に識別することができる。
[第2の実施形態]
次に、本発明を実施するための第2の実施形態について、図面を参照して説明する。なお、上述した第1の実施形態における各構成と同一の構成については、同一の符号を付して説明を省略する。
本実施形態における異常検知システム2000について、正常データがオンラインで追加された場合を例に説明する。つまり、本実施形態のハッシュ値生成装置300は、監視者により新たに追加された正常データに基づいて、ハッシュ関数を更新できる点において、第1の実施形態と異なる。ここでは、第1の実施形態と同様に、特定のクラスを正常クラス、特定外のクラスを異常クラスとする。
図13は、本発明の第2の実施形態に係る異常検知システム2000の構成の一例を示す構成図である。異常検知システム2000は、ネットワークを介して接続されたハッシュ値生成装置300aと、情報処理装置400と、撮像装置30と、端末装置40aとを備えている。本実施形態では、ハッシュ生成装置と、端末装置のみが第1の実施形態と異なり、撮像装置と情報処理装置は、第1の実施形態と同一である。
端末装置40は、監視ユーザが利用するコンピュータ装置であり、情報処理装置400からネットワークを介して供給される表示情報を提供するとともに、ハッシュ値生成装置300で用いられる正常特徴量の追加を行う。図示はしないが、端末装置40は、表示部41と操作検出部42とを備える。具体的には、情報処理装置400が表示情報を出力したことに応じて、端末装置40は、表示情報を取得する。そして、端末装置40は、取得した表示情報を表示部41に出力する。そして、監視ユーザが特徴量を追加することを示す特徴量追加情報を入力すると、端末装置40は、情報処理装置400から入力した表示情報に含まれる映像特徴量を、正常特徴量としてハッシュ値生成装置300に出力する。
例えば、図示はしないが、表示部41に表示された映像データに基づく、監視ユーザによる「特徴量を追加する」ボタンの押下を、端末装置40aの操作検出部42が検出すると、映像特徴量が、正常特徴量として、ハッシュ値生成装置300に出力される。
次に、ハッシュ値生成装置300の詳細な構成について説明する。
ハッシュ値生成装置300は、情報処理装置400で識別に用いられるハッシュ値を生成する装置である。ハッシュ値生成装置300は、正常特徴量記憶部310と、ハッシュ関数記憶部320と、正常ハッシュ値記憶部130と、ハッシュ関数生成部340と、ハッシュ値変換部150と、特徴量追加部370と、ハッシュ関数評価部360とを備えている。
特徴量追加部13は、正常特徴量を正常特徴量記憶部M1に記憶させる。具体的には、端末装置40が映像データ特徴量を、正常特徴量としてネットワークを介して出力したことに応じて、特徴量追加部13は正常特徴量を取得する。特徴量追加部13は、取得した正常特徴量を正常特徴量記憶部M1(図2を参照)に、データIDと関連付けて記憶させる。それとともに、特徴量抽出部13は、評価の開始を示す評価トリガーをハッシュ関数評価部14に出力する。
ハッシュ関数評価部360は、正常特徴量記憶部310が記憶する正常特徴量に基づいて、ハッシュ関数記憶部320が記憶するハッシュ関数情報を評価し、評価が低いハッシュ関数情報をハッシュ関数記憶部320から削除し、ハッシュ関数生成部360を介して、ハッシュ関数記憶部320に新しいハッシュ関数情報を追加する。具体的には、ハッシュ関数評価部360は、特徴量追加部370から評価トリガーを入力したことに応じて、正常特徴量記憶部310から正常特徴量を読み込むとともに、ハッシュ関数記憶部320からハッシュ関数情報を読み込む。そして、ハッシュ関数評価部360は、読み込んだ正常特徴量と、ハッシュ関数情報とに基づいて、各ハッシュ関数の所定の評価方法を用いて評価を行う。評価方法は、例えば、次の2つの方法がある。
第1の評価方法として、各ハッシュ関数情報に対する評価式(3)の値を算出し、値が所定の閾値より小さい場合、ハッシュ関数評価部360は、当該ハッシュ関数を削除すると判定する。
第2の評価方法として、各ハッシュ関数情報に対する評価式(3)の値を算出し、ハッシュ関数評価部360は、最小の値を持つ1つまたは複数のハッシュ関数を削除すると判定する。
ハッシュ関数評価部360は、削除すると判定したハッシュ関数のハッシュ関数IDと一致するハッシュ関数IDを有するハッシュ関数情報をハッシュ関数記憶部320から削除する。それとともに、ハッシュ関数生成部340に追加するハッシュ関数の情報を示す追加情報を出力する。この追加情報は、例えば、追加するハッシュ関数の個数を含む。この個数は、ハッシュ関数生成部340が削除したハッシュ関数の個数と同じである。
ハッシュ関数生成部11aは、ハッシュ関数評価部14から追加情報を入力したことに応じて、ハッシュ関数を生成する。具体的には、ハッシュ関数生成部340は、ハッシュ関数評価部360から追加情報を入力したことに応じて、正常特徴量記憶部310から正常特徴量を読み込む。そして、入力したハッシュ関数情報と、読み込んだ正常特徴量に基づき、追加情報に含まれる個数のハッシュ関数を生成し、ハッシュ関数IDと関連付けてハッシュ関数記憶部320(図3を参照)に記憶させる。例えば第1の実施形態で説明したハッシュ関数生成部140と同じ方法を用いて、ハッシュ関数生成部340は、追加情報に含まれる個数のハッシュ関数情報を生成する。
次に、図14を参照して、異常検知システム2000におけるハッシュ関数生成の動作についての動作について説明する。図14は、本実施形態異常検知システム2000のハッシュ関数生成の動作の一例を示すフローチャートである。なお、ステップS301からステップS308までの処理に関しては、第1の実施形態で説明した図7のステップS101からステップS108までの処理と同一であるので、その説明を省略する。
(ステップS309)
まず、監視ユーザが端末装置40にて特徴量追加情報を入力したことに応じて、端末装置40は、正常特徴量を出力する。具体的には、端末装置40は、自装置が備える検出部42が監視ユーザによる特徴量追加情報の入力を検知した(つまり、YES)場合、情報処理装置400から入力した映像特徴量を、正常特徴量としてハッシュ値生成装置10に出力するとともに、処理をステップS310に移動する。一方、検知しない(つまり、NO)場合、端末装置40は、処理をステップS309に戻す。
(ステップS310)
次に、特徴追量追加部370は、正常データ特徴記憶部310に正常特徴量を追加する。具体的には、端末装置40が正常特徴量を出力したことに応じて、特徴追量追加部370は、正常特徴量を取得する。特徴量追加部370は、取得した正常特徴量を正常特徴量記憶部310(図2を参照)に、データIDと関連付けて記憶させる。それとともに、特徴量追加部370は、評価トリガーをハッシュ関数評価部360に出力する。
(ステップS311)
次に、ハッシュ関数評価部360は、ハッシュ関数を評価する。具体的には、ハッシュ関数評価部360は、特徴量追加部370から評価トリガーを入力したことに応じて、正常特徴量記憶部310から正常特徴量を読み込むとともに、ハッシュ関数記憶部320からハッシュ関数情報を読み込む。そして、ハッシュ関数評価部360は、読み込んだ正常特徴量と、ハッシュ関数情報とに基づいて、各ハッシュ関数の所定の評価方法(例えば、第1又は第2の評価方法)を用いて評価を行う。
(ステップS312)
次に、ハッシュ関数評価部360は、評価が低いハッシュ関数を削除する。具体的には、ハッシュ関数評価部360は、所定の評価方法に基づいて評価が低いと判定されたハッシュ関数のハッシュ関数IDと一致するハッシュ関数IDを有するハッシュ関数情報を、ハッシュ関数記憶部320から削除する。そして、削除したハッシュ関数の個数を含む追加情報を、ハッシュ関数生成部340に出力する。
(ステップS313)
次に、ハッシュ関数生成部340は、ハッシュ関数を追加し、処理を終了させる。具体的には、ハッシュ関数評価部360から追加情報を入力したことに応じて、ハッシュ関数生成部340は、正常特徴量記憶部から正常特徴量を読み込む。ハッシュ関数生成部340は、追加情報が示す個数のハッシュ関数を、読み込んだ正常特徴量に基づいて生成する。そして、ハッシュ関数生成部340は、生成したハッシュ関数を示すハッシュ関数情報を、ハッシュ関数IDに関連付けてハッシュ関数記憶部320に記憶させる。
以上説明したように、ハッシュ値生成装置300は、特徴量追加部370が正常特徴量記憶部310に、正常特徴量を追加する。ハッシュ関数評価部360は、正常特徴量記憶部310が記憶する正常特徴量に基づいて、ハッシュ関数記憶部320が記憶するハッシュ関数情報を評価し、評価が低いハッシュ関数情報をハッシュ関数記憶部320から削除し、追加するハッシュ関数の情報を示す追加情報をハッシュ関数生成部340に出力する。ハッシュ関数生成部340は、追加情報に基づきハッシュ関数情報を生成し、生成したハッシュ関数をハッシュ関数記憶部320に記憶させる。これにより、新しく正常データが追加された場合でも、全てのハッシュ関数を再度生成する必要がないため、ハッシュ値生成装置300は、高速にハッシュ関数を更新することができる。
[第3の実施形態]
次に、本発明を実施するための第3の実施形態について、図面を参照して説明する。なお、上述した第1の実施形態における各構成と同一の構成については、同一の符号を付して説明を省略する。
本実施形態における異常検知システム3000について、正常データに加え少数の異常データの特徴量が訓練データとして与えられる場合を例に説明する。つまり、本実施形態のハッシュ値生成装置500は、正常データに加え異常データの特徴量に基づいて、ハッシュ関数を選択できる点において、第1の実施形態と異なる。ここでは、第1の実施形態及び第2の実施形態と同様に、特定のクラスを正常クラス、特定外のクラスを異常クラスとする。
図15は、本発明の第3の実施形態に係る異常検知システム3000の構成の一例を示す構成図である。異常検知システム3000は、ネットワークを介して接続されたハッシュ値生成装置500と、情報処理装置600と、撮像装置30と、端末装置40とを備えている。
次に、ハッシュ値生成装置500の詳細な構成について説明する。
ハッシュ値生成装置500は、情報処理装置600の識別部620における識別に用いられるハッシュ値を生成する装置である。ハッシュ値生成装置500は、正常・異常特徴量記憶部(特定・特定外特徴量記憶部)510と、ハッシュ関数記憶部520と、正常・異常ハッシュ値記憶部(特定・特定外ハッシュ値記憶部)530と、ハッシュ関数生成部540bと、ハッシュ値変換部550と、を備えている。
正常・異常特徴量記憶部(特定・特定外特徴量記憶部)510は、データを識別するデータIDと関連付けて、データが属するクラスを示すクラス情報と、データの特徴量を記憶する。ここで、クラスを示すクラス情報とは、人間により予め正常のクラス又は異常のクラスのいずれかにデータが属することを示す情報である。
図16は、本実施形態の正常・異常特徴量記憶部510が記憶する情報の一例を示す表である。図16に示すように、データIDは、例えば、アルファベット及び数字とから成る文字列である。また、クラス情報は、「1」、「−1」の数値であり、「1」は正常のクラス、「−1」は異常のクラスを示す。図16では、例えば、データ「D0001」と「D0002」とは、正常クラス「1」に属し、データ「D0003」は異常クラス「−1」に属することが示されている。また、データIDに関連付けられた特徴量、例えば、特徴量1、特徴量2の値が格納されていることが示されている。
ハッシュ関数生成部540は、正常・異常特徴量記憶部510が記憶する、正常特徴量に加え、異常クラスに属するデータの特徴量を示す異常特徴量(特定外特徴量)に基づき、ハッシュ関数を示すハッシュ関数情報を生成し、ハッシュ関数記憶部520に記憶させる。具体的には、ハッシュ関数生成部500は、正常・異常徴量記憶部510から、正常特徴量と異常特徴量とを読み込む。そして、ハッシュ関数生成部540は、読み込んだ正常特徴量と異常特徴量とに基づいて、予め定められた個数Lのハッシュ関数情報を生成する。そして、ハッシュ関数IDと関連づけて、生成したハッシュ関数情報を、ハッシュ関数記憶部520に記憶させる。
なお、ハッシュ関数生成部540は、正常特徴量と、異常特徴量とが異なるハッシュ値を取り、かつ特徴空間上の正常ハッシュ値に対応する領域に対して、正常特徴量の密度が大きくなるようにハッシュ関数情報を生成する。ここで、第1の実施形態で説明したハッシュ関数生成部540と異なる点は、評価式(3)の代わりに次の評価式を用いるところである。
Figure 0006164899
ここで、Npは正常データの数、Nnは異常データの数、NはNpとNnの合計である。具体的には、第1項目と第3項目は式(7)の第1項目と同じ性質を持つ。第2項目は、異常データの特徴ベクトルが超平面の法線ベクトルの反対方向側にあれば、L(−z)の値は0になる。一方、当該ベクトルが超平面の法線ベクトル方向側にある場合は、L(−z)は、超平面からの距離に比例した正の値を持つ。つまり、複数の異常ベクトルのうち出来るだけ多くの当該ベクトルが、超平面の法線ベクトル反対側にある超平面を選べば、式(7)の第2項目の値が小さくすることができる。また、第1項目と第2項目の係数であるNn/Nと、Np/Nとは、正常データ数Npに比べて異常データが少数Nnの場合に対応するために、各項の影響度を調整するためのものである。
正常・異常ハッシュ値記憶部(特定・特定外ハッシュ値記憶部)530は、ハッシュ関数IDとハッシュ値とクラス情報とに関連付けて、ハッシュ関数によりハッシュ値に変換されたデータIDを記憶する。
図17は、本実施形態の正常・異常ハッシュ値記憶部530が記憶する情報の一例を示す表である。図17に示すように、クラス情報が示すクラスのラベルごとに表がある。例えば、クラス情報が「1」の表には、クラス「1」に属するデータID「D0001」及び「D0002」が、ハッシュ関数IDとハッシュ値とに関連付けて記憶されている。また、クラス情報が「−1」の表には、クラス「−1」に属するデータID「D0003」が、ハッシュ関数IDとハッシュ値とに関連付けて記憶されている。
ハッシュ値変換部550は、ハッシュ関数記憶部520が記憶するハッシュ関数情報に基づき、正常・異常特徴量記憶部510が記憶する正常特徴量と異常特徴量とをハッシュ値に変換した正常ハッシュ値と異常ハッシュ値とを、ハッシュ値記憶部520に記憶させる。具体的には、ハッシュ値変換部550は、ハッシュ関数生成部540から変換トリガーが入力されると、ハッシュ関数記憶部530(図3を参照)からハッシュ関数情報を読み込む。次に、ハッシュ値変換部550は、正常又は異常特徴量を正常・異常特徴量記憶部510(図15を参照)から読み込み、ハッシュ関数を用いて、ハッシュ値に変換する。そして、ハッシュ値変換部550は、ハッシュ値に変換したデータIDを、正常・異常ハッシュ値記憶部550(図17を参照)に、ハッシュ関数IDと、ハッシュ値と、クラス情報とに関連付けて記憶させる。
情報処理装置600は、撮像装置30が撮像した映像データが正常又は異常であるかを識別する装置である。情報処理装置600は、特徴量抽出部610と、識別部620と、出力部630とを備えている。
識別部620は、映像特徴量をハッシュ値変換部550を介して映像ハッシュ値(未知ハッシュ値)に変換し、ハッシュ値記憶部520が記憶する正常ハッシュ値と異常ハッシュ値と、映像ハッシュ値とに基づいて、映像データが正常クラス又は異常クラスに属するかを識別し、識別結果を示す識別結果情報を出力部630に出力する。具体的には、識別部620は、映像特徴量を特徴抽出部610から入力する。識別部620は、入力した映像特徴量をハッシュ値生成装置500が備えるハッシュ値変換部550を介して、映像ハッシュ値へと変換する。それとともに、ハッシュ値生成装置500が備えるハッシュ値記憶部520が記憶する正常ハッシュ値と異常ハッシュ値とを読み込む。そして、識別部620は、映像ハッシュ値と、読み込んだ正常ハッシュ値及び異常ハッシュ値とを比較し、映像データが正常クラス又は異常クラスに属するかを識別する。識別方法としては、例えば2つの方法がある。
第1の識別方法として、映像ハッシュ値と一致する正常ハッシュ値が一つもないハッシュ関数が存在する場合、識別部620は、映像データが異常クラスに属すると識別する。これは該ハッシュ関数に対応する超平面により、映像データが全ての正常データから分離されるため、映像データが正常データから乖離していることを意味する。
第2の判定方法として、異常ハッシュ値と映像ハッシュ値とが一致した回数が所定の閾値よりも大きい場合、識別部620は、映像データが異常クラスに属すると識別する。これはハッシュ関数に対応する超平面により、映像データが多くの異常データから分離できないため、映像データが異常データから乖離していないことを意味する。
異常検知システム3000におけるハッシュ関数生成の動作及び識別動作は、第1の実施形態にて説明した異常システム1と同様であるため、その説明を省略する。
以上説明したように、ハッシュ値生成装置500は、正常・異常特徴量記憶部510が記憶する正常特徴量と、異常特徴量とに基づき、ハッシュ関数情報を生成する。これにより、ハッシュ関数の生成において正常特徴量と異常特徴と、それぞれの領域を考慮できるためできるため、ハッシュ値生成装置500は、正常及び異常からの乖離度合いを測る基準として、信頼性の高いハッシュ関数を生成できる。また、当該ハッシュ関数を用いることにより、信頼性の高い正常ハッシュ値を生成することができる。
なお、ハッシュ値生成装置3000のハッシュ関数生成部540は、正常特徴量と、異常特徴量とが異なるハッシュ値を取り、かつ特徴空間上の正常ハッシュ値に対応する領域に対して、正常特徴量の密度が大きくなるようにハッシュ関数情報を生成する。これにより、ハッシュ値生成装置500は、正常特徴量と異常特徴量とが異なるハッシュ値を取り、かつ正常ハッシュ値を取る特徴空間上の領域が小さくなるようなハッシュ関数を生成することができる。そのため、異常クラスに属するデータを誤って正常クラスに属すると識別する割合を減らすことが可能な信頼性の高いハッシュ関数を生成することができる。また、当該ハッシュ関数を用いることにより、信頼性の高い正常ハッシュ値を生成することができる。
以上、本発明の実施の形態について図面を参照して詳述したが、具体的な構成はその実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。また、各実施形態は、上記の各実施形態を組み合せて実施してもよい。
また、上記の各実施形態においては、異常検知の問題を例に、本発明の実施形態について説明したが、本発明の装置は、この発明の要旨を逸脱しない範囲内において一般的な識別問題に適用することが可能である。例えば、本発明の装置は、特定のクラスを人体のクラス、特定外のクラスを人体以外のクラスとし、画像又は映像データから人体を検知する問題に適用することができる。また、本発明のハッシュ関数生成装置が生成するハッシュ関数と、局所性鋭敏型ハッシュ関数などの他のハッシュ関数とを組み合わせることにより、本発明の情報装置は、多クラスの識別問題に適用することができる。
また、上記の各実施形態においては、ハッシュ値生成装置100、300及び500はハッシュ関数記憶部、正常ハッシュ値記憶部、正常・異常ハッシュ値記憶部及びハッシュ値変換部を備えていると説明したが、情報処理装置200、400、600がこれらの構成を備えてもよい。
また、上記の各実施形態においては、ハッシュ値生成装置100、300及び500が,正常特徴量記憶部及び正常・異常特徴量記憶部を備える例を示したが、これら各構成を他の装置が備えるようにシステムを構成してもよい。
以上、実施形態を詳述したが、本発明は、例えば、システム、装置、方法、プログラム、もしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
また、各装置が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、各装置が備える各部はメモリおよびCPU(中央演算装置)により構成され、各装置が備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
また、各装置が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、各装置が備える各部による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。即ち、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したコンピュータプログラムである。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。
コンピュータプログラムを供給するためのコンピュータ読み取り可能な記憶媒体としては以下が挙げられる。例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などである。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記憶媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布するという形態をとることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどとの協働で実施形態の機能が実現されてもよい。この場合、OSなどが、実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。
さらに、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行なう。

Claims (12)

  1. 未知のデータを、特定クラスと特定外クラスに識別するためのハッシュ値を生成するハッシュ値生成装置であって、
    前記特定クラスに属するデータの特徴量を示す特定特徴量からの距離と前記特定特徴量との位置関係とに基づき、ハッシュ関数を含むハッシュ関数情報を生成する生成手段と、
    前記生成されたハッシュ関数情報に基づき、前記特定特徴量をハッシュ値に変換する変換手段と、
    前記変換されたハッシュ値を正常ハッシュ値として、前記ハッシュ関数情報と関連づけて記憶する記憶手段とを備えることを特徴とするハッシュ値生成装置。
  2. 前記生成手段は、特徴空間上で、前記特定特徴量の密度が大きくなるように前記ハッシュ関数情報を生成することを特徴とする請求項1に記載のハッシュ値生成装置。
  3. 前記生成手段は、前記特定特徴量と、前記特定外クラスに属するデータの特徴量を示す特定外特徴量とに基づき、前記ハッシュ関数情報を生成することを特徴とする請求項1または2に記載のハッシュ値生成装置。
  4. 前記生成手段は、前記特定特徴量と、前記特定外クラスの特徴量を示す特定特徴量とが、前記特徴空間上で分離して分布するように前記ハッシュ関数情報を生成すること特徴とする請求項3に記載のハッシュ値生成装置。
  5. 前記記憶手段に記憶されているハッシュ関数情報を評価する評価手段と、
    前記評価手段の結果に基づいて、前記ハッシュ関数情報を更新する更新手段とを更に備えることを特徴とする請求項1乃至4のいずれか1項に記載のハッシュ値生成装置。
  6. 前記更新手段は、前記記憶手段に記憶されているハッシュ関数情報を削除することを特徴とする請求項5に記載のハッシュ値生成装置。
  7. 前記変換手段は、未知のデータの特徴量を示す未知特徴量を取得し、前記ハッシュ関数記憶部が記憶する前記ハッシュ関数情報に基づいて、前記取得した未知特徴量をハッシュ値に変換し、未知ハッシュ値として出力することを特徴とする請求項1乃至請求項6のいずれか1項に記載のハッシュ値生成装置。
  8. 前記生成手段は、前記ハッシュ関数に対応する超平面からの記特定特徴量の距離に係る評価結果と、前記特定特徴量が前記超平面に対して一方の面の側に位置しているか否かの評価結果とに基づいて、前記ハッシュ関数情報を生成することを特徴とする請求項1乃至請求項7のいずれか1項に記載のハッシュ値生成装置。
  9. 請求項1乃至のいずれか一項に記載のハッシュ値生成装置と、前記ハッシュ値生成装置と接続される情報処理装置とを備えるシステムであって、
    前記ハッシュ値生成装置は、
    更に、前記情報処理装置から特徴量を取得する第1の取得手段を備え、
    前記変換手段は、前記取得した特徴量を前記記憶手段に記憶されているハッシュ関数情報を用いて、ハッシュ値に変換して、未知ハッシュ値とし、
    前記情報処理装置は、
    未知のデータを取得する第2の取得手段と、
    前記取得した未知のデータから、特徴量を抽出する抽出手段と、
    前記ハッシュ値生成装置から、前記変換された未知ハッシュ値と、前記正常ハッシュ値とを取得する第2の取得手段と、
    前記取得された前記ハッシュ値と、前記正常ハッシュ値とに基づいて、前記未知のデータが前記特定のクラスに属するか否かを判定する判定手段とを備えることを特徴とするしシステム。
  10. 前記情報処理装置は、
    更に、前記未知のデータを撮像する撮像手段と、
    前記判定された結果を出力する出力手段とを更に備えることを特徴とする請求項に記載のシステム。
  11. 未知のデータを、特定クラスと特定外クラスに識別するためのハッシュ値を生成するハッシュ値生成方法であって、
    前記特定クラスに属するデータの特徴量を示す特定特徴量からの距離と前記特定特徴量との位置関係とに基づき、ハッシュ関数を含むハッシュ関数情報を生成する生成工程と、
    前記生成されたハッシュ関数情報に基づき、前記特定特徴量をハッシュ値に変換する変換工程と、
    前記変換されたハッシュ値を正常ハッシュ値として、前記ハッシュ関数情報と関連づけて記憶する記憶工程とを備えることを特徴とするハッシュ値生成方法。
  12. コンピュータを、請求項1乃至のいずれか1項に記載のハッシュ値生成装置の各手段として機能させるプログラム。
JP2013079445A 2013-04-05 2013-04-05 ハッシュ値生成装置、システム、判定方法、プログラム、記憶媒体 Active JP6164899B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013079445A JP6164899B2 (ja) 2013-04-05 2013-04-05 ハッシュ値生成装置、システム、判定方法、プログラム、記憶媒体
US14/242,557 US20140304236A1 (en) 2013-04-05 2014-04-01 Hash value generation apparatus, system, determination method, program, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013079445A JP6164899B2 (ja) 2013-04-05 2013-04-05 ハッシュ値生成装置、システム、判定方法、プログラム、記憶媒体

Publications (2)

Publication Number Publication Date
JP2014203289A JP2014203289A (ja) 2014-10-27
JP6164899B2 true JP6164899B2 (ja) 2017-07-19

Family

ID=51655217

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013079445A Active JP6164899B2 (ja) 2013-04-05 2013-04-05 ハッシュ値生成装置、システム、判定方法、プログラム、記憶媒体

Country Status (2)

Country Link
US (1) US20140304236A1 (ja)
JP (1) JP6164899B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107146088B (zh) 2012-03-01 2021-09-17 系统科技解决方案公司 来自标记的特征的唯一识别信息
US20150379321A1 (en) 2012-03-01 2015-12-31 Sys-Tech Solutions, Inc. Methods and a system for verifying the authenticity of a mark
US20150169928A1 (en) 2012-03-01 2015-06-18 Sys-Tech Solutions, Inc. Methods and a system for verifying the identity of a printed item
US9519942B2 (en) * 2015-02-17 2016-12-13 Sys-Tech Solutions, Inc. Methods and a computing device for determining whether a mark is genuine
JP6334431B2 (ja) 2015-02-18 2018-05-30 株式会社日立製作所 データ分析装置、データ分析方法、およびデータ分析プログラム
JP6439056B2 (ja) 2015-06-16 2018-12-19 シス−テック ソリューションズ,インコーポレイテッド マークが真正であるかどうかを判定する方法及びコンピューティング装置
CN106557765A (zh) 2015-09-29 2017-04-05 欧姆龙株式会社 注意检测装置以及注意检测方法
MX2018011200A (es) 2016-03-14 2018-11-21 Sys Tech Solutions Inc Metodos y un dispositivo informatico para determinar si una marca es genuina.
JP6523195B2 (ja) * 2016-03-17 2019-05-29 株式会社東芝 データ圧縮システム及び方法
US10778707B1 (en) * 2016-05-12 2020-09-15 Amazon Technologies, Inc. Outlier detection for streaming data using locality sensitive hashing
CN106294540B (zh) * 2016-07-22 2019-07-09 长江大学 基于p-stable局部敏感哈希检索数据样式的多点地质统计建模方法
US10706327B2 (en) 2016-08-03 2020-07-07 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
CN109889891B (zh) * 2019-03-05 2023-03-24 腾讯科技(深圳)有限公司 获取目标媒体文件的方法、装置及存储介质
CN112562146B (zh) * 2020-10-29 2023-09-22 重庆恢恢信息技术有限公司 一种基于智慧云平台实现建筑工地人员流动方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06161979A (ja) * 1992-11-17 1994-06-10 Nippon Telegr & Teleph Corp <Ntt> ニューラルネットワークの学習方式
CN101536035B (zh) * 2006-08-31 2012-09-26 公立大学法人大阪府立大学 图像识别方法、以及图像识别装置
JP5446127B2 (ja) * 2008-05-19 2014-03-19 新日鐵住金株式会社 判別方法、判別装置及びプログラム
US8676725B1 (en) * 2009-06-05 2014-03-18 Google Inc. Method and system for entropy-based semantic hashing
JP2011221688A (ja) * 2010-04-07 2011-11-04 Sony Corp 認識装置、認識方法、およびプログラム
US9237263B2 (en) * 2012-10-05 2016-01-12 Vidinoti Sa Annotation method and apparatus

Also Published As

Publication number Publication date
JP2014203289A (ja) 2014-10-27
US20140304236A1 (en) 2014-10-09

Similar Documents

Publication Publication Date Title
JP6164899B2 (ja) ハッシュ値生成装置、システム、判定方法、プログラム、記憶媒体
US10909401B2 (en) Attention-based explanations for artificial intelligence behavior
Ren et al. User verification leveraging gait recognition for smartphone enabled mobile healthcare systems
US11250324B2 (en) Intelligent recognition and alert methods and systems
US11449746B2 (en) Behavioral biometric feature extraction and verification
KR102291039B1 (ko) 사용자 맞춤형 운동 서비스 제공 방법 및 장치
US20180089519A1 (en) Multi-modal user authentication
JP6969878B2 (ja) 識別器学習装置および識別器学習方法
CN112820071B (zh) 一种行为识别方法和装置
CN111626082A (zh) 检测装置和方法及图像处理装置和系统
CN113167704A (zh) 信息处理装置、信息处理方法、学习模型生成方法以及程序
KR20210155655A (ko) 이상 온도를 나타내는 객체를 식별하는 방법 및 장치
KR101738057B1 (ko) 사회감성 네트워크 구축 시스템 및 그 방법
JP2010015472A (ja) 歩行者性別判定装置、歩行者性別判定方法、歩行者性別判定プログラムおよびその記録媒体
JP6590477B2 (ja) 情報処理装置、情報処理方法、プログラム
US11527091B2 (en) Analyzing apparatus, control method, and program
Malekmohamadi et al. Low-cost automatic ambient assisted living system
JP2016099716A (ja) システム、識別装置、識別モデル生成装置、情報処理方法及びプログラム
KR20160044858A (ko) 얼굴 정보를 이용한 실종 가족 찾기 시스템 및 방법 그리고 이를 구현하는 프로그램을 기록한 기록 매체
JP2014215747A (ja) 追跡装置、追跡システム、及び、追跡方法
Ali et al. An innovative algorithm for privacy protection in a voice disorder detection system
Moon et al. Explainable gait recognition with prototyping encoder–decoder
Bouchard et al. Regression analysis for gesture recognition using rfid technology
JP5275376B2 (ja) 情報処理装置及び情報処理プログラム
JP6478650B2 (ja) 識別装置及びデータ関係生成装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160304

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170321

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170620

R151 Written notification of patent or utility model registration

Ref document number: 6164899

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151