JPWO2014132841A1 - 人物検索方法及びホーム滞留人物検索装置 - Google Patents

Abstract

単純なルールで広範に利用可能な不審者検出方法を提供する。まず入力映像に対して、顔画像検出、特徴量抽出、特徴量DB登録を行なう、通常の類似顔画像検索の登録を行なう。次に、入力画像中から自動検出、手動で指定した顔画像を、判定したい顔画像として指定する。次に、特徴量DBに対して時間縮約付きで類似顔画像検索をする。次に、特徴量間の距離が所定のしきい値以下（類似度が高い）検索結果が何件あるか算出し、検索数が多ければ、登場回数が多くうろつきの可能性高いとし、検索数が少なければ、登場回数が少なくうろつきの可能性低いと判定する。最後に、事前登録された居住者の顔と、前記検索数が多い人物との類似度を算出し、類似度が高ければ先の判定に拘わらず居住者と判定する。【選択図】図１

Description

本発明は、人物検索方法に係り、特に動画像に映った複数の人物の中から、行動に特徴がある人物を自動的に抽出するための人物検索方法に関する。

従来、監視カメラ等で撮影され或いは記録された映像（動画像）の中から、所望の人物を画像認識技術等を用いてコンピュータに検索させる人物検索システムが知られる（例えば、特許文献１乃至４参照。）。このような、タグ付け等の外部情報に拠らずに画像そのものの特徴に基づき検索する技術は、一般にＣＢＩＲ（Content-Based Image Retrieval）と呼ばれ、人物の検索にも利用され始めている。
特許文献１は、画像から人物（の顔）が映った部分を切出し、人物を個々に特定するための特徴量として色ヒストグラム等を抽出し、この特徴量が所望の人物のものと類似する場合に同一人物であると推定する、映像検索システムおよび人物検索方法を開示している。

ある程度の精度で同一人物であるかどうか判断できるようになると、特許文献２のように、複数の異なるカメラで異なる時刻に撮影された同じ人物を紐付けることによって、１台のカメラによる場合とは比較にならないほど広いエリアで、人物の移動を追跡できるようになり、様々な応用が提案されている。 例えば、特許文献３は、撮影映像を検索して人の移動経路を特定し、その移動経路をセキュリティ管理に用いる画像セキュリティシステムを開示している。 また特許文献４は、駅ホームにおける利用者の行動が特異であるかどうかを判定する安全管理装置を開示している。

特開２００９−０２７３９３号公報 特許第４７００４７７号公報 特開２０１２−０６８７１７号公報 特開２０１０−２０５１９１号公報 特開２０１１−６６８６７号公報 特開２０１１−２１０２５２号公報

上述したとおり、類似画像検索技術の応用により人物の行動を把握できるようになったが、カメラの台数や映像や特徴量の蓄積期間によっては、膨大な情報量となる。いわゆるビッグデータのように、それらの情報のうち監視カメラシステムにおいて有用なものはごく一部であり、有用な情報を何を契機としてどのように抽出すべきかについて、未だ十分検討されているとは言えない。
防犯カメラで不審者を検知する場合を例にとっても、「不審」という抽象的な観念を、機械で行なうことができる低次元の処理に一意に翻訳することが困難である。特許文献６（特開2011-210252）のサポートベクターマシン等の学習機械を用いるとしても、学習結果に再利用可能性が見込めないと、学習データ（不審人物を検知すべき条件）を用意する労力に見合わない。

本発明は、このような問題に鑑みてなされたものであり、より普遍的に有用と考えられる情報を抽出でき、あるいは特定の用途において特に有意な事象を検知できる人物検索装置を提供することを目的とする。

本発明の一側面に係る人物検索方法は、入力映像に対して、人物画像検出、特徴量抽出、及び特徴量DB登録を行なう、通常の類似顔画像検索用の登録を行なう第１ステップと、 入力画像中から自動検出した或いは手動で指定した人物画像を、判定したい顔画像として指定する第２ステップと、 第１ステップで構築した特徴量DBに対して時間縮約付きで類似顔画像検索をする第３ステップと、特徴量間の距離が所定のしきい値以下（類似度が高い）検索結果が何件あるか算出し、検索数が多ければ、登場回数が多くうろつきの可能性高いとし、検索数が少なければ、登場回数が少なくうろつきの可能性低いと判定する第４ステップと、事前登録された居住者の顔と、前記検索数が多い人物との類似度を算出し、類似度が高ければ第４ステップの判断に拘わらず居住者と判定する第５ステップと、を有する。

本発明によれば、より普遍的に有用と考えられる情報を抽出でき、あるいは特定の用途において特に有意な事象を検知できる。

うろつき者検知システム１の構成（実施例１〜２） うろつき者の判定の原理を概念的に示す図（実施例１） うろつき者検知システムの処理ブロック図（実施例２） 滞留人物検索装置の設置の様子を示す図（実施例３） 滞留人物検索装置の構成図（実施例３）

以下、本発明に係る実施形態について図面を参照して説明する。なお、各図の説明において、実質的に同一な機能を有する構成要素には同一の参照番号を付し、説明を省略する。

まず、図１〜図４を参照して、本発明をうろつき者検知に応用した実施例を概略的に説明する。図１には、本実施例１のうろつき者検知システム１の構成を例示してある。
本例のうろつき者検知システムは、集合住宅、企業の事業所、学校のような、主に特定の人々によって利用される空間の周囲を監視することを意図している。図１に示すように、施設（建物）１１があり、その周りの土地を撮影する複数の監視カメラ１２が設置される。これら監視カメラ１２により撮影できる範囲を、監視対象範囲と呼ぶ。監視カメラ１２のそれぞれは、顔検出機能を有し、撮影した画像に顔が含まれているときは、顔の部分を切り出した部分画像（顔画像）及びその顔画像から算出した特徴量ベクトル等を送出する。データベース（ＤＢ）１３は、監視カメラ１２から受信した特徴量ベクトルを時刻等と対応付けて登録する。

図２に、本実施例１におけるうろつき者の判定の原理を概念的に示す。多数の特徴量ベクトルが登録されたＤＢ１３に対して、例えばたった今監視カメラ１２が検出した人物の顔画像をキー画像として、検索を行なうことを考える。図２ａ、図２ｂそれぞれの上側に示すものが、そのキー画像である。図２ａはキー画像の人物が、登場回数の多い人物だった場合、図２ｂは登場回数の少ない人物だった場合を示す。

ＤＢ１３に行なわせる検索は、登録された特徴量ベクトルの中から、キー画像の特徴量ベクトルと類似するものを、望ましくは全て取り出す処理である。図２では、最も類似する１０件を、検索結果として示してある。検索結果の各顔は、キー画像との類似度が低下するほど、別人であることが多くなる。従って、類似度に所定の第一のしきい値を設け、このしきい値を超える類似度の顔を、同一人物であると推定して、その数を計数することができる。そして、この数が、第二の所定のしきい値を越えた場合、登場回数が多いと判定できる。

施設１１の敷地の周囲（塀の外側）、或いは敷地内であっても通路でない、人の往来が少ない場所（例えば倉庫の裏）を監視対象範囲としていた場合、そこで頻繁に検出される人物は、通常とは別の目的を持ってその場所に訪れていることが推定され、うろつき者と言うことができる。或いは人の往来が多い場所を監視対象範囲とする場合、予めうろつき者ではないことがわかっている人物の特徴量ベクトルのリスト（ホワイトリスト）を作り、検索結果からそのリストに含まれる人物を除外することで、うろつき者を検出することができる。うろつき者ではない人物とは、例えば、集合住宅におけるその居住者、企業におけるその従業員、学校における生徒及び教師である。

従来の異常行動検出では、人物を特定しないので、原理的に居住者との区別は付けられなかった。また人物を単に移動物体とみてその動きから判断するため、動き（移動の軌跡）を正確に検出する必要があり、各監視カメラの撮影範囲（視野）を一部重複させなければならない等、の設置上の難しさがあった。また撮影範囲を通過する短い時間では異常性が無く長い時間の観察でしか検知できない異常行動を同一人物のものとして把握することができなかった。本例ではそれらの問題が解消される。

本実施例２のうろつき者検知システムは、先の実施例１において、更にホワイトリストや登場履歴（行動パターン）の記録を自動作成し、登場履歴の示す時刻情報、場所情報を利用して、うろつき者を判定するものである。
図３に、本例のうろつき者検知システムの処理ブロックを示す。システムの基本構成や各構成要素は、特に言及しない限り実施例１と同様である。本例では少なくとも２つの監視カメラ１２ａ、１２ｂを用い、監視カメラ１２ａは不審者ではないことが判明している人（居住者）のみが撮影できる環境（例えば、ＩＤカード等による認証が必要なセキュリティエリア）に設置し、監視カメラ１２ｂは不審者を検知したい場所（例えば、エントランス）に設置する。またＤＢ１３も、２種類の監視環境に応じて、内部的に２つのＤＢ１３ａ、１３ｂに分ける。

各監視カメラ１２ａ、１２ｂは、顔画像及び特徴量ベクトルを送出する際に、個々のカメラを特定可能なカメラＩＤ、撮影時刻、顔向き情報等を一緒に送出する。これらをまとめて、顔検出データと呼ぶ。ＤＢ１３はカメラＩＤを判別することで、ＤＢ１３ａが監視カメラ１２ａからの居住者の顔検出データのみを登録し、ＤＢ１３ｂが監視カメラ１２ｂからの居住者及び非居住者の顔を登録するようにする。本例では、居住者数が数千以下の用途を想定し、ＤＢ１３ａ、１３ｂには、ＳＱＬ等の汎用のリレーショナルＤＢ（インメモリデータベース、列指向データベースが望ましい）を利用する。ＤＢ１３ａ、１３ｂにおける１つのレコード（行）は、表１に示されるように、顔検出データに推定人物ＩＤを追加したものである。

顔画像ＩＤは、別のサーバに保存された顔画像にアクセスする際の識別子で、通常はユニーク値であるので、ＤＢ１３での主キーを兼ねる。顔画像ＩＤは、顔を切り出す前の全体画像（フレーム）を特定できるＩＤとそのフレームで検出された顔に付される顔ＩＤの組合せでもよい。

ホワイトリスト１４は、推定人物ＩＤを主キーとするレコードの集合であり、１つのレコードが含む要素の一例を表２に示す。

全特徴量ベクトルの平均（セントロイド）や分散は、望ましくはその推定人物ＩＤが付与された全レコードの平均や分散であり、標本数はそれらの計算に用いたレコードの総数である。顔向き毎に区別して計算した平均等を含む。顔向き、特徴量ベクトルの平均、分散の３要素は１組であり、もし算出できるなら顔向き毎に算出した平均や分散を保持する。この組の数は任意である。特に明示しない限り、最初に検索の対象となる特徴量は、この全平均特徴量である。なお、特徴量ベクトルの平均に代えて、代表的な特徴量ベクトルを記憶しても良い。また標本数に代えて、標本としたＤＢ１３のレコードの主キーを全て列挙してもよく、ＤＢ１３ａについては主キー列挙、ＤＢ１３ｂは標本数としてもよい。

不審者登場リスト１５は、不審者ＩＤを主キーとするレコードの集合であり、レコードの要素は表３に示す通りである。

このレコードは、ホワイトリスト１４のそれと同様に不審者ＩＤが付与された顔の特徴量ベクトルの平均（或いは代表的な特徴量ベクトル）、分散、標本数を保持するほか、過去に登録された際の撮影時刻、カメラＩＤ、顔向き情報のセット（登録イベント）の有限個の列挙である登場履歴を有する。登場履歴は、ＤＢ１３ｂの対応するレコードの主キーでもよい。登録イベントの数が規定値に達したときは古いものから削除される。

本例のうろつき者検知システムの運用は、以下の４つの段階がある。
［段階１］ 意味のある検索ができる程度まで、ＤＢ１３への顔の登録数を増やす、初期的な段階である。この段階では、監視カメラ１２ａ、１２ｂから受信した顔をそのまま登録するのみで、推定人物ＩＤは未定（空）、グループ化試行回数は初期値（０）である。ただし、動画像には同一人物が持続的に映ることが多いという性質を利用した下記のルールにより、推定人物ＩＤを付与することができる。
｛ルール１−１｝：同一のカメラＩＤの監視カメラ１２ａから持続的に送信されてきた顔検出データで、同一の撮影時刻のものが他にない場合或いは時間的に直前の顔検出データと特徴量の類似度が所定のしきい値以上である場合、それらの顔検出データに同じ推定人物ＩＤを付与してＤＢ１３ａに登録する。また新たに発行された推定人物ＩＤをホワイトリスト１４に登録する。なおこのルールにおいて特徴量の類似度に基づく確認をせずに付与した推定人物ＩＤは、他のルールで付与したＩＤと区別できるものを使用してもよい。

［段階２］ 同一人物をグループ化しホワイトリスト１４を作成する段階である。この段階では、グループ化部１７は、ＤＢ１３ａに登録されている、推定人物ＩＤが未定となっているある１つのレコードの顔をキーとしてＤＢ１３ａ、１３ｂで類似顔検索を行い、下記のルールで検索結果を処理して、検索キーとしたレコードに何らかの推定人物ＩＤを付与するとともに、ホワイトリスト１４を更新する。
｛ルール２−１｝：ＤＢ１３ａからの検索結果のうち、類似度が第１しきい値以上である同一人物候補の中で推定人物ＩＤが付与済みものを抽出し、その中で最多の推定人物ＩＤ（Ａ）が第１の所定割合以上を占めていた場合、或いはカメラＩＤが同一で撮影時刻に連続性がある推定人物ＩＤ（Ａ）を発見した場合、キー顔にしたレコード及び同一人物候補中で推定人物ＩＤが未定のレコードの推定人物ＩＤにもＡを付与する。
｛ルール２−２｝：ＤＢ１３ａ、１３ｂからの検索結果のうち、類似度が第２しきい値以上でかつ顔向きがキー顔の顔向きと近いものを同一人物候補とし、その中に第２の所定割合以上で同じ推定人物ＩＤ（Ａ）が付与されたレコードがある場合、キー顔にしたレコード及び同一人物候補中で推定人物ＩＤが未定のレコードの推定人物ＩＤにもＡを付与する。なお第２の所定割合は０でもよい。つまり同一人物候補の中に１つでも推定人物ＩＤが付与されているものがあれば、それを他の同一人物候補にも付与する。

｛ルール２−３｝：ルール２及びルール３の条件を満たさなかった場合（同一人物候補がいない場合）、キー顔にしたＤＢ１３ａのレコードに新規の推定人物ＩＤを付与するとともに、ホワイトリスト１４にその新規推定人物ＩＤのレコードを作成する。
｛ルール２−４｝：ルール２及びルール３で、推定人物ＩＤを付与した際に、同一人物候補の中に別の推定人物ＩＤ（Ｂ）を有するレコードがあれば、更新後のホワイトリストを参照し、推定人物ＩＤがＡとＢの特徴量ベクトルを比較して、併合の要否を判定する。例えば、複数の顔向き毎の特徴量ベクトルの平均等が十分に得られているときに、顔向き毎に比較して十分な類似が認められれば、同一人物として併合する。これにより、顔向きを考慮しない特徴量分布が他人と重なっていても、誤った併合を防ぐことができる。併合により消滅するほうの推定人物ＩＤが付与されたＤＢ１３ａ、１３ｂのレコードについては、推定人物ＩＤの更新を行なう。
これらのルールは、公知のｋ近傍法や最小平均分散法、併合のみ行うＬＢＧ（Linde-Buzo- Gray）法の一実装とも解釈でき、公知の他のクラスタリング手法でも代用できるが、グループ同士の併合は無理に行う必要はない。なおＤＢ１３ａと１３ｂとでは元となる顔画像の撮影環境が異なり同一人物でも特徴量がばらつくため、クラスタリングの評価尺度は、ばらつきの主な要因である顔向きを考量したものとした。類似度（特徴量空間での距離）を計算する際の重みを、顔向きに応じて最適化して（異ならせて）もよい。

［段階３］ ホワイトリスト１４を利用して不審者登場リスト１５を作成し、不審者を検出できる段階である。この段階では、不審者候補検索部１８は、ＤＢ１３ａ、１３ｂに新たにレコードが追加される都度、類似の特徴量ベクトルを有する推定人物をホワイトリスト１４あるいは不審者登場リスト１５から検索し、下記のルールで不審者候補と判断されたものは不審者登場リスト１５に登録あるいは更新する。
｛ルール３−１｝：ＤＢ１３ｂ（及びＤＢ１３ａ）の新規追加レコードの特徴量ベクトルとの類似度が第３しきい値以上となる推定人物ＩＤを、不審者登場リスト１５から検索する。同一人物をもらさないよう、複数の推定人物ＩＤ（Ｃ）が抽出される程度に第３しきい値を設定する。その後、複数の推定人物ＩＤ（Ｃ）について、不審者登場リスト１５のレコードに保持された登場履歴の内、新規追加レコードの顔向きと近い顔向きのものについて、その特徴量ベクトルを、顔画像ＩＤをキーにしてＤＢ１３ｂから取り出す。取り出した特徴量ベクトルに、類似度が第４しきい値以上のものが見つかれば、登録済み不審者候補であるので、不審者登場リストの登場履歴を更新する。

｛ルール３−２｝：ルール３−１で見つからなかった場合、ホワイトリスト１４から同様に検索する。つまり、ＤＢ１３ａ、１３ｂの新規追加レコードの特徴量ベクトルとの類似度が第３しきい値以上となる推定人物ＩＤを、ホワイトリスト１４から検索する。同一人物をもらさないよう、複数の推定人物ＩＤ（Ｄ）が抽出される程度に第３しきい値を設定する。その後、複数の推定人物ＩＤ（Ｄ）について、ホワイトリスト１４のレコードに保持された顔向き毎の特徴量ベクトルを参照して、類似度が第４しきい値以上でかつ顔向きが新規追加レコードの顔向きと近いものを探す。見つかった場合、推定人物ＩＤをその追加レコードに格納し、必要ならばホワイトリスト１４も更新する。見つからなかった場合、それがＤＢ１３ａへの追加レコードであれば、ルール２−３同様にホワイトリスト１４に新規登録し、ＤＢ１３ｂへの追加レコードであれば、不審者登場リスト１５に新規登録する。
なお、２度目の検索に用いる第４しきい値は、１度目の検索を絞り込むためのものであり、類似度が高くなり易い同じ顔向きでの比較でもあるので、（同じ特徴量空間及び距離尺度を用いているのであれば）通常、第３しきい値以上である。また顔向き毎の特徴量ベクトルが網羅的に収集されていないときは、複数の特徴量ベクトルを補間して、新規追加レコードの顔向きと同じ顔向きの特徴量ベクトルを得るようにする。またルール３−２をホワイトリスト１４の登録数が少ないうちに適用すると、居住者も不審者登場リスト１５に入ってしまう恐れがあるので、登録数が少ない時は、不審者登場リスト１５への登録は保留するとよい。

ルール３−１や２−２で不審者候補が検出された（不審者登場リストに登録或いは更新した）場合、不審者判断部１９は、登場履歴が下記のルールを満たすか否か（命題が真か偽か）を照合し、それらのブール代数演算や、重み付き採点により、今回の登場がうろつき者に該当するか判断する。
｛ルール４−１｝：通常の方法で敷地や建物に入ったり、移動したりする際に、監視カメラ１２で撮影されるであろう順番（望ましくは、時間情報を含むパターン）と一致しない。
｛ルール４−２｝：通常の居住者が登場することがまれな時間帯である。
｛ルール４−３｝：通常の移動速度に比べて遅い、或いは途中で引き返す等、何処かしらの目的地へ向かっている気配が無い（つまりうろついている）。
｛ルール４−４｝：通常の居住者であれば登場する前後に生じるはずの特定のイベント（門の開閉、ＩＤ認証等）が、ない。
｛ルール４−５｝：事前に作成された来訪予定者リストに該当がない。
｛ルール４−６｝：一人である。（同時に同一の監視カメラで撮影された別の（推定人物ＩＤ）のレコードが存在しない。）
なお、ルール４−３の移動速度は、隣接する登場履歴のカメラＩＤの組合せについて、予め標準的な移動時間を求めておき、それよりも顕著に長い時に遅いと判断する。引き返しは、所定時間以内にある２つの登場履歴のカメラＩＤが同一であることで判断される。

［段階４］ 定期的に、ＤＢ１３ａ、１３ｂや不審者登場リストの容量（レコード数）が規定値に近づくように、古くなったレコードを纏めて削除する。ＤＢ１３ａ、１３ｂから削除されたレコードの推定人物ＩＤ（Ｂ）については、下記のルールでホワイトリスト１４を更新する。ホワイトリストも必要に応じて、最終更新日時が古いレコードを削除する。
｛ルール５−１｝：ホワイトリスト１４におけるその推定人物ＩＤ（Ｂ）のレコードが保持する特徴量ベクトルの平均をキー顔として、ＤＢ１３ａ、１３ｂで類似顔検索を行い、｛ルール３−１｝または｛ルール３−２｝と同様の基準でグループ化しなおす。
｛ルール５−２｝：ルール５−１に拘わらず、その推定人物ＩＤ（Ｂ）のレコードが保持する標本数が１のときは、更新は行なわない。
なお（再）グループ化には、上記の他、公知のクラスター分析手法（k-means法、確定的アニーリングＥＭアルゴリズムなど）も利用でき、ホワイトリスト１４のレコードに保存する要素は、使用する手法において必要なものを選べばよい。例えばＥＭ等の多くの手法は、各クラスタの広がりの尺度を必要とする。同一人物を１つのグループにまとめることを特に重視する場合は、グループの中心（全平均特徴量）付近で局所的に独立成分分析等を適用して特徴量ベクトルに新たな成分を追加したり、近隣のグループを含む局所的に利用可能なマハラノビス距離を用いたり（計量学習と呼ばれる）、カーネルＰＣＡによる非線形判別を取り入れもよく、その際には教師なし（弱教師付き）学習が可能なOne class SVMを利用できる。

なお、段階４においては段階３の動作も続けている。また段階２や３において、ＤＢ１３ａ、１３ｂへの短時間当たりの追加レコード数が多い状態が続くと、処理が追い付かず推定人物ＩＤが未付与のレコードが蓄積してしまう。そのため追加頻度や未付与レコード数を監視し、所定の上限を超えないようにＤＢ１３ａ、１３ｂへの登録を適宜間引くようにする。また、段階３のルール３−１においてＤＢ１３ａの新規追加レコードは必ずしも検索対象とする必要はないが、うろつき者が検出された時には一時的に検索対象にし、所定時間以内にホワイトリスト１４に新規登録された中にうろつき者がいないか検索するとよい。

上述したように、本実施例２によれば、居住者等のホワイトリスト１４を人手に頼らず自動的に作成し、居住者等が不審者と判定されることを防ぐことができる。また、同一人物について連続撮影により得られる特徴量分布をできるだけ維持して活用し、またホワイトリストに顔向き毎の代表特徴量を保持し、顔向き毎に類似度を判断するようにした。これにより複雑な分類学習を行わなくとも、居住者以外の人物を識別できる程度の精度が期待できる。なお特徴量分布が広がる他の要因である、元の顔画像の解像度や照明環境等についても、特徴量を区別して保持してもよい。

もし、データベース自体がグループ化（同列内の値の中で、同じ値を持つデータごとに集合化すること）の機能を内部的に有している場合、ホワイトリスト１４や不審者登場リスト１５を意識的に用意する必要はなく、都度ＤＢ１３ａ、１３ｂを参照すればよい。ただし、少なくとも分類学習、計量学習、カーネル学習用のパラメータ（推定人物ＩＤ毎の平均特徴量（代表値）や分散等）だけは別途保持したほうが効率的である。

本例ではごく少数の不審者を前提とし、複数の不審者間で正確に識別することは重視していないため、不審者登場リスト１５に平均特徴量等は保持しないようにしたが、ホワイトリストと同じ構造のレコードにしてもよい。また本例では、ホワイトリストを先に作成するようにしたが、不審者登場リストが先でも良い。例えば、セキュリティ区画がない或いは共連れが可能な緩いセキュリティの場合、不審者（非居住者）登場リストに記録された行動パターンに基づいて、居住者かどうかの確度を求め、ホワイトリストを自動構築するようにしてもよい。行動パターンに登場の周期性がある（毎日決まった時間にカメラに映る等）の場合、居住者であることが強く推定される。先のルール４−１〜３−６に該当しないことも居住者の推定に利用できる。また既に居住者確度が高いと判明している人物と一緒に登場する人物も居住者の確度が高いと判断することもできる。居住者と判断された人物は、不審者登場リスト１５から消去され、ホワイトリストに登録される。

図３〜図４を参照して、本発明の実施例３に係る滞留人物検索装置を説明する。
図３は、本実施例３の滞留人物検索装置の設置の様子を示す図である。この装置は、鉄道の駅のプラットホームにおいて、到着列車に乗らずに滞留する人物を検出することを目的とする。そのような人物は、列車の進入速度が速いホームの後ろよりで滞留していると、時には列車の進入時に線路内に立ち入って事故の原因となるおそれがおり、状況によっては保護が必要な人物である。

プラットホームの屋根には、ドーム型カメラ１２ｃや固定カメラ１２ｄが、プラットホームの端に滞留する人物の顔を撮影するうえで十分な数だけ設置される。ドーム型カメラ１２ｃは、撮影方向や範囲を遠隔から操作できるようにジンバルに搭載された小型テレビカメラであり、暗色系で透明の半球状カバーで覆われている。ドーム型カメラ１２ｃや固定カメラ１２ｄは、視野内に日陰と日向があっても、人物の顔を判別できるよう、ダイナミックレンジ圧縮された映像信号を出力する。なお、ドーム型カメラ１２ｃや固定カメラ１２ｄは、それが設置されたプラットホームを撮影するものに限らず、隣のプラットホームを撮影しても良い。

図４は、本例３の滞留人物検索装置の構成図である。この装置は、ドーム型カメラ１２ｃや固定カメラ１２ｄの他、映像蓄積サーバ２、類似顔画像検索サーバ３、表示端末４、管理端末５を少なくとも１つ備え、またそれらを通信可能に接続するＬＡＮ（ローカルエリアネットワーク）６を有する。

映像蓄積サーバ２は、ＬＡＮ６を介してドーム型カメラ１２ｃに映像送信要求を送り、ドーム型カメラ１２ｃから画像データを受信して蓄積する。また蓄積映像を、類似顔画像検索サーバ３等からの求めに応じて提供する。
映像蓄積サーバ２は、機能構成として、カメラＩ／Ｆ２１、記録配信制御部２２、Ｗｅｂサーバ部２３、ストレージ２４、設定保持部２５を有する。

カメラＩ／Ｆ２１は、ドーム型カメラ１２ｃ等の固有プロトコルに従って、ＬＡＮ６を介してドーム型カメラ１２ｃ等と通信する。通信の内容は、映像を取得できる権限の確認を行う認証、画質等の指定を含む映像送信要求、画像データ等である。

記録配信制御部２２は、大容量のキャッシュメモリを有し、ストレージ２４への画像データの書込みや読出しを管理する。記録の際は、画像データに加え、画像データを読出す際の情報となる画像ＩＤ（画像の識別情報）も併せて記録する。
多数のカメラからの画像データのストリームを、欠落することなくリアルタイムで記録しつつ読出し要求にも応える必要から、記録配信制御部２２は、画像データの書込み単位やストレージ２４上での記録配置を最適化するとともに、書込みや読出しのスケジューリングを行なう。またストレージ２４をＲＡＩＤ（Redundant Arrays of Inexpensive Disks）化するために、冗長データ（パリティ）の生成や書込みの制御を行う。複数の画像データのストリームを、複数の書込みストリームに振り分けて、それらから水平パリティ等を生成することで、パリティ生成のための読出しを要しないようにしている。

Ｗｅｂサーバ２３は、ＨＴＴＰプロトコルで類似顔画像検索サーバ３等から画像要求を受付け、記録配信制御部２２に要求して読み出された画像データを、画像要求応答として返す。また、映像蓄積サーバ２の稼動状態等をＷｅｂページとして提供する。

ストレージ２４は、複数のＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）で構成されるディスクアレイであり、映像ストリームの同時複数アクセスに適した特別のファイルシステムが用いられる。例えば、１つ画像を一意に特定できる画像ＩＤと、記録位置との対応付けを全てテーブル化すると、主記憶の容量より大きくなってしまうため、その対応付けを効率的に参照できるようにしている。記録するデータは、ＲＡＩＤコントローラにより或いは個々のドライブ毎でＡＥＳ（Advanced Encryption Standard）−２５６等による暗号化を施す。

設定保持部２５は、カメラＩ／Ｆがドーム型カメラ１２ｃ等から映像を取得すべきスケジュールや、表示装置等への再配信のスケジュール等を記憶する。

類似顔画像検索サーバ３は、機能構成として、画像取得Ｉ／Ｆ３１、顔検出・特徴量算出部３２、顔登録・検索部３３、顔特徴量ＤＢ３４、Ｗｅｂサービス部３５、検索トリガー部３６、設定保持部３７、障害通知部３８を有する。
画像取得Ｉ／Ｆ３１は、ＬＡＮ６に接続されており、ドーム型カメラ１２ｃ等からマルチキャスト配信される映像や、映像蓄積サーバ２の記録画像データを、画像取得要求等を行なうことで取得する。

顔検出・特徴量算出部３２は、画像取得Ｉ／Ｆ３１が取得した画像をフレーム毎に分割し、各フレームから人の顔と推定される領域を抽出する。推定は、基本的には肌の色や、目鼻口が検出できるかどうかにより行ない、抽出した顔領域毎に、顔の領域の重心と目鼻口の相対位置から顔の向きを更に推定する。顔領域は、所定の縦横比の矩形画像として扱われるが、四隅などの顔以外の部分（背景領域）は規定色に塗りつぶされる。
次に、各顔領域について、サイズ（縦及び横の画素数）、解像度、明度及びコントラスト（ヒストグラム）等の正規化処理を行う。サイズについては複数の大きさに正規化する。
次に、複数のサイズ毎に、正規化された顔領域を一定サイズのブロックに分割し、ブロック毎に色や輝度、それらの勾配やエッジ、或いは勾配やエッジのパターンのヒストグラムを求め、その結果を集約した多次元ベクトルを顔特徴量として出力する。その際、抽出する元となったフレームが有していた、撮影時刻、カメラＩＤ、画像ＩＤその他のメタデータや顔向き情報を一緒に出力する。

メタデータとしては、サイズ正規化時の拡大率、顔推定の確度、顔を抽出したフレーム内での空間座標、同じフレーム内で抽出された複数の顔のうちの何番目かを示す抽出ＩＤ、イベントの種別等を含みうる。顔推定の確度は、顔の一部に別の物体が被った場合などに０に近づく値である。イベント種別とは、取得した画像が通常録画（配信）とアラーム録画（配信）のどちらによるものかを示す情報である。なお、顔特徴量はそのままでは数千次元を有するため、他の成分と相関の高い冗長な成分を除去する。また次元（データ量）を減らすものとしては、公知の主成分分析、線形（フィッシャー）判別分析、独立成分分析により予め求めておいた固有ベクトル（基底ベクトル）からなる行列を、特徴量ベクトルに左から掛け算する方法が簡単である。主成分分析だけで次元削減する場合、1000次元程度にまで減らすとよい。

顔登録・検索部３３は、顔検出・特徴量算出部３２で算出した特徴量を顔特徴量ＤＢ３４へ書込む（登録）ほか、読出しや検索やその他の操作を行う。特徴量は、撮影時刻、カメラＩＤ、顔画像ＩＤ、顔向き、拡大率等の属性情報を含むレコードとして登録される。登録の際、顔登録・検索部３３は特徴量をいずれかのカテゴリに分類し、そのカテゴリに対応するクラスタ（葉クラスタ）に登録する。クラスタは、多分岐の決定木のように階層化された構造を有し、登録の際は、分岐数だけ識別を行えばよい。クラスタへの登録は、辞書（マップ、コードブックなどとも呼ばれる）やハッシュ関数を用いて多階層的に行なう。

辞書を使う方式として、ベクトル量子化、自己組織化写像等が知られる。辞書には、代表ベクトル（重みベクトルなどとも呼ばれる）と次に参照すべき辞書または末端クラスタ（葉クラスタ）のアドレスとの組が複数記録されており、登録対象の特徴量は、最初に最上位の辞書から全探索により最も距離の近い代表ベクトルを見つけ次の辞書に移る、ということを繰り返し、最終的に葉クラスタに到達する。葉クラスタのアドレスを指し示す辞書では、アドレスのほか、その葉クラスタが含む人物の人物ＩＤを保持する。葉クラスタは、よく類似した複数の特徴量のレコードのデータを格納する。辞書は、最も距離の近い代表ベクトルが見つかるたびに、そのクラスタ及び近隣のクラスタの代表ベクトルを僅かに修正する、ＬＢＧやＬＶＱなどと呼ばれるアルゴリズムにより更新する。なお辞書に代えて特徴量ベクトルをLocality Sensitive Hashing等のハッシュ関数（識別器）でコード化したものをそのクラスタのアドレスとする方法で実現することもできる。

共分散行列等を使う方式は、混合分布モデルに基づくもので、登録対象の特徴量ベクトルと、平均値ベクトルや共分散行列等との行列演算により、事後確率（対数尤度、或いはマハラノビス距離の符号を負にした値）が最大のものを選択することで分類、つまり次に参照すべき１つ下の階層のクラスタを決める。共分散行列等のパラメータを最適化するアルゴリズムとしてＥＭアルゴリズムが知られる。なお、古くから知られるｋ-ｄ ｔｒｅｅ法は、本例のような高次元ベクトルの探索には不適である。ただし、特徴量ベクトルの成分のうち、小さいサイズに正規化され抽出された成分に限るなどすれば、ツリーの上位において使用できる可能性がある。

各葉クラスタは、プロトタイプに対応するよう、一人の人の顔画像の分布をちょうど１つ含むサイズとなることが望ましい。葉クラスタの辞書等が保持する人物ＩＤは、上述のクラスタリングアルゴリズムによる葉クラスタの生成、分割、統合に応じて、対応付けが維持される。ただし葉クラスタは、実際の個々の人物と１対１に対応するものとは限らず、葉クラスタＩＤと人物ＩＤを別々に扱っても良い。

人物ＩＤをキーにした参照を高速化するため、人物ＩＤと対応する葉クラスタのアドレスを格納した人物ＩＤテーブル７１を設けても良い。顔画像ＩＤをキーにした参照を行ないたい場合は、顔画像ＩＤテーブルを別途設けるか、人物ＩＤテーブル７１に代表的な顔画像ＩＤの列を加える。いずれにしても、蓄積蓄積サーバ２の映像から検出されうる全ての顔が顔特徴量ＤＢ３４に登録されているわけではないので、顔画像ＩＤによる検索は完全ではない。つまり、任意のフレームに映った顔をキーにして検索したい場合は、そのフレームから（再度）特徴量を抽出することになる。

特徴量の検索の方法は、登録と似ており、顔登録・検索部３３は、与えられた特徴量をキーに、最上位のクラスターから順次、最近傍探索（ＮＮＳ：Nearest neighbor search）を行ない、葉クラスタでは各レコードの特徴量とキー特徴量とのマンハッタン距離をそれぞれ求める線形（総当り）探索を行い、所望の類似度あるいは所望の数のレコードを得る。なお、葉クラスタに至るまでの複数の分類階層のどこかで１回だけ最近傍ではなく２番目に近いクラスタを選択すると、最大で階層数個の葉クラスタにたどり着く。これらの中で線形探索を行なうようにすると検索漏れを削減できる。なお、葉クラスタのサイズが、一人の人の特徴量の分布より小さくなるようにしていれば、葉クラスタでの検索は不要である。

顔特徴量ＤＢ３４は、末端のクラスタが含むレコードのデータを、多階層のクラスタ化の構造（ツリー）の情報を保って保持する、ＨＤＤ等の記録媒体である。また、辞書やハッシュ関数、共分散行列等のパラメータ及びそのパラメータを最適化するアルゴリズムが使用する数値（計算途中の値など）も保持するほか、適宜、人物ＩＤテーブル７１、最終検索日時リスト７２、ブラックリスト７３７３（後述する）等も保持する。顔特徴量ＤＢ３４は、それ全体がインメモリＤＢで実現されることが望ましいが、少なくともツリー情報やパラメータや数値並びにリスト類は、運用中においてはメモリに全てキャッシュされるべきである。また末端のクラスタは、連続して読み出せる記録位置（セクター）に配置される。これにより、少なくとも検索時は、１件の検索に対し１回のシークしか発生しない。顔特徴量ＤＢ３４のレコードへの操作は、基本的には新規登録と削除のみで変更はない。顔特徴量ＤＢ３４は内部的には複数の分割ＤＢ（これまで述べたクラスタ化とは異なる）から構成され、ある分割ＤＢの容量が上限に達したときは、最も古い分割ＤＢを初期化してそれを新たな登録先とするローテーションにより運用する。分割ＤＢの時間的系列を世代と呼ぶ。また拡大率、顔向き等に応じて、さらに分割して構成してもよい。上述のクラスタリングにおける識別を最適化するために、特徴量の次元削減に使う基底関数を更新する場合には、世代が変わるときにその更新を行うことができる。その結果、世代間で特徴量空間が異なりうる。滞留人物検索が目的であれば、世代の間隔は滞留時間と同程度でよい。

Ｗｅｂサービス部３５は、表示端末４からの検索要求、画像要求、或いは管理端末５からの類似顔画像検索サーバ３の設定情報等を受信し、それに対する処理結果をＷｅｂページ等のデータで応答することで検索アプリケーションを体現する。検索要求には、滞留者検知要求（短期検索要求）、キー指定検索要求、ブラックリスト７３照合要求、イベント検索要求、及びそれらの組合せがあり、それらを受信すると、それらが含んでいた検索条件の情報（キーとする特徴量に対応する顔画像ＩＤ等）を顔登録・検索部３３に渡す。そして顔登録・検索部３３から受取った検索結果を元に、Ｗｅｂページ（表示画面）データを生成して、表示端末４への応答とする。検索結果は、複数の顔画像を格子状に並べたタイル表示等として提供され、各顔画像は顔画像ＩＤに基づく映像蓄積サーバ２でのアドレス（ＵＲＩ）をＷｅｂページ中に記述することで、表示端末４に取得させ、また顔画像ＩＤそのものや人物ＩＤ等を併せて記述することで、表示端末４がそれら検索結果中の顔をキーに指定した新たな検索要求をできるようにする。

検索トリガー部３６は、適切な時間間隔で自動的に滞留者検知を行なうよう顔登録・検索部３３を制御する。検索トリガー部３６は、鉄道の運行データ等を入力され、現在日時と照合して適切な検索条件を顔登録・検索部３３に与える。
ここで、現時刻から、その駅に停車した２本前の列車の停車時刻より数分前の時刻までのＴ時間の間、持続的に撮影された顔を検索することを考える。顔登録・検索部３３が顔を新たに登録する際、登録する葉クラスタに対応付けられた人物ＩＤを取得する。そしてその人物ＩＤをキーにして最終検索日時リスト７２を参照し、その人物の最終検索日時を得る。その最終検索日時と現時刻との差がα×Ｔ時間（αは１未満の係数）を超えた場合、過去Ｔ時間の間に登録されたレコードに限定した類似顔検索を行ない、抽出数が顔登録・検索部３３から返される。この時間限定は、例えば、総当り検索の際に、類似度の計算より先に撮影時刻を検査し、その条件に合わないものを除外することで実現できる。検索を行なった際は、最終検索日時リスト７２を更新する。最終検索日時リスト７２は、人物ＩＤを主キーとし、最終検索日時を保持するテーブルである。
Ｗｅｂサービス部３５や検索トリガー部３６は、受取った抽出数と、滞留者に見込まれる登録数（検索対象時間Ｔを、登録時間間隔（画像蓄積サーバ２からの画像の取得頻度に依存する）で除算した値）と比較することで、滞留者か否かを容易に判定でき、適宜表示端末での報知やブラックリスト７３への登録を行なう。抽出数が少なくても、ブラックリスト７３に登録されていれば、報知対象となる。ブラックリスト７３は、人物ＩＤを主キーとし、滞留者として検知された日時、その時の顔画像ＩＤ等からなる登録履歴を数か月程度保持する。

設定保持部３７は、類似顔画像検索サーバ３で必要な各種設定や、ログインできるユーザの情報等を保持する。 障害通知部３８は、類似顔画像検索サーバ３で生じた障害を、ＳＭＴＰトラップ等で管理端末等５に通知する。

表示端末４は、Ｗｅｂブラウザの機能を有するＰＣ（パーソナルコンピュータ）であり、類似顔画像検索サーバ３や映像蓄積サーバ２に対して検索要求や画像要求を送信し、その応答として受取ったＷｅｂページ等を表示する。検索要求制御部４２、検索結果表示処理部４３、検索条件指定処理部４４、サーバ状態表示処理部４５の機能は、ＷｅｂブラウザおよびＷｅｂページが含むjavascript（商標）やActive X（商標）や.Net Frameworks（商標）のコンポーネント等で実現され、映像表示処理部４１はDirectshow（商標）等で実現される。表示端末４は、一般的な監視カメラシステムの表示端末と同様の機能を有しても良い。つまり任意のカメラを指定して、ＭＲＣＰ（Media Resource Control Protocol）等のプロトコルにより、映像蓄積サーバ２からライブ映像あるいは記録映像を取得して表示することができる。

管理端末５は、本例の滞留人物検索装置に対して、外部媒体の映像を取り込ませたり、或いは録画映像のバックアップを行なったりするため、一般的なＰＣ（パーソナルコンピュータ）である。外部媒体I/F５１はＤＶＤドライブ、或いはＵＳＢ（商標）等の任意の外付け媒体を接続可能なインターフェースである。 フォーマット変化部５２は、外部媒体I/F５１等から取り込んだ映像やＤＢを滞留人物検索装置のフォーマットに合致するよう変換する。

ファイル部５３は、外部媒体I/F５１等から取り込んだ或いはフォーマット変換後の映像等を保持する記憶装置である。 アップロード部５４は、類似顔画像検索サーバ３や映像蓄積サーバ２とファイル部５３との間で、ＬＡＮ６を介してＦＴＰプロトコル等によりファイルを伝送する。例えば、外部から取得したブラックリスト元データを類似顔画像検索サーバ３にアップロードし、類似顔画像検索サーバ３のブラックリスト７３とマージさせたり、顔特徴量ＤＢ３４のスナップショットをファイル部５３にダウンロードしたりする。
外部ＤＢ Ｉ／Ｆ５５は、ＯＤＢＣ（Open DataBase Connectivity）やＪＥＴデータベースエンジン等であり、ネットワーク上の任意のサーバにアクセスし、データを入出力できる。例えば他の鉄道会社の路線に設置された同様の滞留人物検索装置のブラックリストを互いに連携させる場合に使用する。

ＬＡＮ６は、例えば、Ｅｔｈｅｒｎｅｔ（商標）等で構築されたプライベートネットワークであり、様々な拠点に設置されうる映像蓄積サーバ２から管理端末５までの各装置を接続する。ＬＡＮ６は、単一のコリジョンドメインのネットワークに限定されない。

これまで述べた実施例において、学習機械は、人物の識別（類似度、クラスタリング）には利用されうるものの、不審者か否かの判断自体に直接には関わらない。つまり不審者は、登場履歴に基づく理解し易いルールによって抽出され、最終的には監視員によって判断される。ルールは抽出対象時間等のパラメータを調整することで、用途ごとに直感的に適応させ、広範に利用可能である。もちろん本発明は、この監視員の判断を学習機械の教師とすることを妨げるものではない。

ここで、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは装置や、そのような方法をコンピュータに実現させるためのプログラムや、当該プログラムを記録する一過性ではない有形の媒体などとして提供することもできる。例えば、スマートフォンにインストールすることでそれを監視カメラ１２として機能させるプログラムと、パソコン等にインストールしてそれらをホームセキュリティシステムとして機能させるプログラムの組合せ或いは後者の単品として提供されうる。

ＣＣＴＶ（Closed-Circuit Television ）システムやセキュリティ警報システム等に利用可能である。

２：映像蓄積サーバ、 ３：類似顔画像検索サーバ、 ４：表示端末、 ５：管理端末、 ６：ＬＡＮ、 １１：施設、 １２、１２ａ、１２ｂ、１２ｃ、１２ｄ：監視カメラ、 １３：データベース（ＤＢ）、 １４：ホワイトリスト、１５：不審者登場リスト、１６：選別・間引き部、 １７：グループ化部、 １８：不審者候補検索部、 １９：不審者判断部、
２１：カメラＩ／Ｆ、 ２２：記録配信制御部、 ２３：Ｗｅｂサーバ部、 ２４：ストレージ、 ２５：設定保持部２５、 ３１：画像取得Ｉ／Ｆ、 ３２：顔検出・特徴量算出部、 ３３：顔登録・検索部、 ３４：顔特徴量ＤＢ、 ３５：Ｗｅｂサービス部、 ３６：検索トリガー部、 ３７：設定保持部、 ３８：障害通知部、７１：人物ＩＤテーブル、 ７２：最終検索日時リスト、 ７３：ブラックリスト。

まず、図１〜図２を参照して、本発明をうろつき者検知に応用した実施例を概略的に説明する。図１には、本実施例１のうろつき者検知システム１の構成を例示してある。
本例のうろつき者検知システムは、集合住宅、企業の事業所、学校のような、主に特定の人々によって利用される空間の周囲を監視することを意図している。図１に示すように、施設（建物）１１があり、その周りの土地を撮影する複数の監視カメラ１２が設置される。これら監視カメラ１２により撮影できる範囲を、監視対象範囲と呼ぶ。監視カメラ１２のそれぞれは、顔検出機能を有し、撮影した画像に顔が含まれているときは、顔の部分を切り出した部分画像（顔画像）及びその顔画像から算出した特徴量ベクトル等を送出する。データベース（ＤＢ）１３は、監視カメラ１２から受信した特徴量ベクトルを時刻等と対応付けて登録する。

｛ルール２−３｝：ルール２−１及びルール２−２の条件を満たさなかった場合（同一人物候補がいない場合）、キー顔にしたＤＢ１３ａのレコードに新規の推定人物ＩＤを付与するとともに、ホワイトリスト１４にその新規推定人物ＩＤのレコードを作成する。
｛ルール２−４｝：ルール２−１及びルール２−２で、推定人物ＩＤを付与した際に、同一人物候補の中に別の推定人物ＩＤ（Ｂ）を有するレコードがあれば、更新後のホワイトリストを参照し、推定人物ＩＤがＡとＢの特徴量ベクトルを比較して、併合の要否を判定する。例えば、複数の顔向き毎の特徴量ベクトルの平均等が十分に得られているときに、顔向き毎に比較して十分な類似が認められれば、同一人物として併合する。これにより、顔向きを考慮しない特徴量分布が他人と重なっていても、誤った併合を防ぐことができる。併合により消滅するほうの推定人物ＩＤが付与されたＤＢ１３ａ、１３ｂのレコードについては、推定人物ＩＤの更新を行なう。
これらのルールは、公知のｋ近傍法や最小平均分散法、併合のみ行うＬＢＧ（Linde-Buzo- Gray）法の一実装とも解釈でき、公知の他のクラスタリング手法でも代用できるが、グループ同士の併合は無理に行う必要はない。なおＤＢ１３ａと１３ｂとでは元となる顔画像の撮影環境が異なり同一人物でも特徴量がばらつくため、クラスタリングの評価尺度は、ばらつきの主な要因である顔向きを考量したものとした。類似度（特徴量空間での距離）を計算する際の重みを、顔向きに応じて最適化して（異ならせて）もよい。

ルール３−１や３−２で不審者候補が検出された（不審者登場リストに登録或いは更新した）場合、不審者判断部１９は、登場履歴が下記のルールを満たすか否か（命題が真か偽か）を照合し、それらのブール代数演算や、重み付き採点により、今回の登場がうろつき者に該当するか判断する。
｛ルール４−１｝：通常の方法で敷地や建物に入ったり、移動したりする際に、監視カメラ１２で撮影されるであろう順番（望ましくは、時間情報を含むパターン）と一致しない。
｛ルール４−２｝：通常の居住者が登場することがまれな時間帯である。
｛ルール４−３｝：通常の移動速度に比べて遅い、或いは途中で引き返す等、何処かしらの目的地へ向かっている気配が無い（つまりうろついている）。
｛ルール４−４｝：通常の居住者であれば登場する前後に生じるはずの特定のイベント（門の開閉、ＩＤ認証等）が、ない。
｛ルール４−５｝：事前に作成された来訪予定者リストに該当がない。
｛ルール４−６｝：一人である。（同時に同一の監視カメラで撮影された別の（推定人物ＩＤ）のレコードが存在しない。）
なお、ルール４−３の移動速度は、隣接する登場履歴のカメラＩＤの組合せについて、予め標準的な移動時間を求めておき、それよりも顕著に長い時に遅いと判断する。引き返しは、所定時間以内にある２つの登場履歴のカメラＩＤが同一であることで判断される。

図４〜図５を参照して、本発明の実施例３に係る滞留人物検索装置を説明する。
図４は、本実施例３の滞留人物検索装置の設置の様子を示す図である。この装置は、鉄道の駅のプラットホームにおいて、到着列車に乗らずに滞留する人物を検出することを目的とする。そのような人物は、列車の進入速度が速いホームの後ろよりで滞留していると、時には列車の進入時に線路内に立ち入って事故の原因となるおそれがおり、状況によっては保護が必要な人物である。

図５は、本例３の滞留人物検索装置の構成図である。この装置は、ドーム型カメラ１２ｃや固定カメラ１２ｄの他、映像蓄積サーバ２、類似顔画像検索サーバ３、表示端末４、管理端末５を少なくとも１つ備え、またそれらを通信可能に接続するＬＡＮ（ローカルエリアネットワーク）６を有する。

人物ＩＤをキーにした参照を高速化するため、人物ＩＤと対応する葉クラスタのアドレスを格納した人物ＩＤテーブル７１を設けても良い。顔画像ＩＤをキーにした参照を行ないたい場合は、顔画像ＩＤテーブルを別途設けるか、人物ＩＤテーブル７１に代表的な顔画像ＩＤの列を加える。いずれにしても、蓄積サーバ２の映像から検出されうる全ての顔が顔特徴量ＤＢ３４に登録されているわけではないので、顔画像ＩＤによる検索は完全ではない。つまり、任意のフレームに映った顔をキーにして検索したい場合は、そのフレームから（再度）特徴量を抽出することになる。

顔特徴量ＤＢ３４は、末端のクラスタが含むレコードのデータを、多階層のクラスタ化の構造（ツリー）の情報を保って保持する、ＨＤＤ等の記録媒体である。また、辞書やハッシュ関数、共分散行列等のパラメータ及びそのパラメータを最適化するアルゴリズムが使用する数値（計算途中の値など）も保持するほか、適宜、人物ＩＤテーブル７１、最終検索日時リスト７２、ブラックリスト７３（後述する）等も保持する。顔特徴量ＤＢ３４は、それ全体がインメモリＤＢで実現されることが望ましいが、少なくともツリー情報やパラメータや数値並びにリスト類は、運用中においてはメモリに全てキャッシュされるべきである。また末端のクラスタは、連続して読み出せる記録位置（セクター）に配置される。これにより、少なくとも検索時は、１件の検索に対し１回のシークしか発生しない。顔特徴量ＤＢ３４のレコードへの操作は、基本的には新規登録と削除のみで変更はない。顔特徴量ＤＢ３４は内部的には複数の分割ＤＢ（これまで述べたクラスタ化とは異なる）から構成され、ある分割ＤＢの容量が上限に達したときは、最も古い分割ＤＢを初期化してそれを新たな登録先とするローテーションにより運用する。分割ＤＢの時間的系列を世代と呼ぶ。また拡大率、顔向き等に応じて、さらに分割して構成してもよい。上述のクラスタリングにおける識別を最適化するために、特徴量の次元削減に使う基底関数を更新する場合には、世代が変わるときにその更新を行うことができる。その結果、世代間で特徴量空間が異なりうる。滞留人物検索が目的であれば、世代の間隔は滞留時間と同程度でよい。

Claims (7)

1. 入力映像に対して、顔画像を検出し、該顔画像から特徴量を抽出し、該特徴量を時刻情報とともにデータベースに登録することで、該データベースを構築するステップと、
   前記入力映像から自動検出された、或いは、手動で指定した顔画像を、判定したい顔画像として指定するステップと、
   前記構築するステップで構築したデータベースに対して時間軸上での限定付きで類似顔を検索するステップと、
   前記検索するステップの検索結果の中に、類似度が所定値より高い結果が何件あるか算出し、件数が多ければ、登場回数が多くうろつきの可能性が高いとし、件数が少なければ、登場回数が少なくうろつきの可能性が低いと判定するステップと、
   事前登録された不審者ではない人物の顔と、前記検索数が多い人物との類似度を算出し、類似度が高ければ前記判定数するステップの判断に拘わらず不審者ではないと再判定するステップと、を有する人物検索方法。
2. 複数のカメラからの映像から検出された顔画像から抽出した特徴量及び時刻情報を含む顔検出データを受信し、カメラの属性に応じて第１データベース若しくは第２データベースに振り分けて登録する第１ステップと、
   第１データベースに登録されている、推定人物ＩＤが未定となっているある１つのレコードの顔をキーとして、第１データベース若しくは第２データベースの少なくとも一方に対して類似検索を行い、所定の第１ルールに基づいて、検索キーとしたレコードに何らかの推定人物ＩＤを付与するとともに、付与済みの推定人物ＩＤとその特徴量と対応付けて保持するホワイトリストを更新することで、同一人物をグループ化する第２ステップと、
   所定の第２ルールに基づいてホワイトリスト１４を利用して不審者登場リスト１５を作成し、少なくとも第２データベースに新たに登録された顔検出データの顔をキーとして、不審者リストに対して類似検索を行い、不審者候補を検出する第３ステップと、
   前記不審者候補が検出された時に、該第３ステップでキーとした顔検出データの少なくとも一部を前記不審者登場リストに登場履歴として追記するとともに、該不審者登場リストに保持されている該登場履歴から、所定の第３ルールに基づいて不審者に該当するか判断する第４ステップと、を有する人物検索方法。
3. 前記顔検出データは、検出した顔の向き情報を含み、前記ホワイトリストは、該顔の向き情報のそれぞれに対応する複数の代表特徴量と、全ての顔向きに対応する全代表特徴量とを保持することを特徴とする請求項２記載の人物検索方法。
4. 前記所定の第２ルールは、前記第２データベースに新たに登録された顔検出データの顔をキーとしてホワイトリストに対して類似検索を行い、類似度が所定値より高い結果が無い場合、不審者登場リストに新規登録することを特徴とする請求項２記載の人物検索方法。
5. 前記所定の第１ルールは、
   第２ステップにおける第１データベースに対する検索の結果のうち、全代表特徴量との類似度が第１しきい値以上である同一人物候補の中で推定人物ＩＤが付与済みものを抽出し、その中で最多の推定人物ＩＤが第１の所定割合以上を占めていた場合、或いはカメラＩＤが同一で撮影時刻に連続性がある推定人物ＩＤを発見した場合、それら推定人物ＩＤと同じＩＤを、前記キー顔にしたレコード及び同一人物候補中で推定人物ＩＤが未定のレコードに付与するサブルールと、
   第２ステップにおける第１データベース若しくは第２データベースの少なくとも一方に対する検索の結果のうち、前記キー顔と顔向きが近い代表特徴量との類似度が第２しきい値以上のものを同一人物候補とし、その中に第２の所定割合以上で同じ推定人物ＩＤが付与されたレコードがある場合、それら同じ推定人物ＩＤと同じＩＤを、前記キー顔にしたレコード及び同一人物候補中で推定人物ＩＤが未定のレコードに付与するサブルールと、の少なくとも１つを含むことをを特徴とする請求項３記載の人物検索方法。
6. 前記所定の第３ルールは、
   正当な方法で敷地若しくは建物に入り或いはその中を移動する際に、前記複数のカメラで撮影されるべき順番と一致しないこと、
   前記敷地若しくは建物の所有者、強従者若しくは関係者が登場することがまれな時間帯であること、
   通常の移動速度に比べて遅い、或いは途中で引き返していること、
   前記所有者、強従者若しくは関係者であれば登場する前後に生じるべき特定のイベントが、検出されていないこと、
   事前に通知された来訪者の予定時刻と一致しないこと、および同時に同一の監視カメラで撮影された別のレコードが存在しないこと、の内の１つ若しくは複数の命題の真偽に基づき、類似度の学習機械は直接には関係しないことを特徴とする請求項２記載の人物検索方法。
7. 駅のプラットホームの撮影する複数のカメラからの入力映像に対して、顔画像を検出し、該顔画像から特徴量を抽出し、該特徴量を時刻情報とともにデータベースに登録することで、該データベースを構築するステップと、
   前記構築するステップで構築した前記データベースに対して、該プラットホームを列車が発着する時間間隔より広くかつ時間軸上での限定付きで類似する特徴量を検索するステップと、
   前記検索するステップによる抽出数と、滞留者に見込まれる登録数との比較により、滞留者か否かを判定するステップと、
   判定された前記滞留者をブラックリストに登録するステップと、
   前記登録された滞留者と類似する特徴量が、データベースから検索された時に報知するステップと、を有するホーム滞留人物検索装置。

Images