JP7218795B2 - 照合装置、制御方法、及びプログラム - Google Patents

Description

本発明は撮像画像に含まれる物体を特定する技術に関する。

カメラから得られる撮像画像に含まれる物体を特定する技術が開示されている。例えば特許文献１は、生体照合装置から所定範囲内にある携帯端末に関連づけられた登録生体画像を抽出し、抽出した登録生体画像を利用者の入力生体情報と照合する技術を開示している。各携帯端末の位置情報は、定期的に生体照合装置に送信されている。

特開２０１７－５９０６０号公報

特許文献１の発明では、携帯端末を保持する人が生体照合装置から所定範囲内に多く存在すると、多くの登録生体画像が照合対象として抽出される。そのため、利用者の特定に要する時間が長くなってしまう。

本発明は、上述の課題に鑑みてなされたものであり、その目的の一つは、撮像画像に含まれる物体の特定に要する時間を短くする技術を提供することである。

本発明の照合装置は、１）カメラによって生成された撮像画像を取得し、取得した撮像画像から検出された検出物体の画像特徴を抽出する抽出部と、２）抽出された画像特徴、及び複数の登録物体それぞれの物体情報を利用して、検出物体の特定を行う特定部と、を有する。
各登録物体の物体情報は、登録物体の画像特徴を含む。
特定部は、各登録物体の位置情報に基づいて各物体情報の照合順序を決定し、決定した照合順序が早い物体情報から順に、その物体情報に含まれる画像特徴を抽出された画像特徴と照合することで、検出物体の特定を行う。

本発明の制御方法はコンピュータによって実行される。当該制御方法は、１）カメラによって生成された撮像画像を取得し、取得した撮像画像から検出された検出物体の画像特徴を抽出する抽出ステップと、２）抽出された画像特徴、及び複数の登録物体それぞれの物体情報を利用して、検出物体の特定を行う特定ステップと、を有する。
各登録物体の物体情報は、登録物体の画像特徴を含む。
特定ステップにおいて、各登録物体の位置情報に基づいて各物体情報の照合順序を決定し、決定した照合順序が早い物体情報から順に、その物体情報に含まれる画像特徴を抽出された画像特徴と照合することで、検出物体の特定を行う。

本発明のプログラムは、本発明の制御方法が有する各ステップをコンピュータに実行させる。

本発明によれば、撮像画像に含まれる物体の特定に要する時間を短くする技術が提供される。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
本実施形態の照合装置の動作の概要を例示する図である。 実施形態１の照合装置の構成を例示する図である。 照合装置を実現するための計算機を例示する図である。 実施形態１の照合装置によって実行される処理の流れを例示するフローチャートである。 物体が移動する場所が複数のエリアに分けられているケースを例示する図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

＜概要＞
図１は、本実施形態の照合装置２０００の動作の概要を例示する図である。図１は、照合装置２０００の動作についての理解を容易にするための概念的な説明を表す図であり、照合装置２０００の動作を具体的に限定するものではない。

照合装置２０００は、カメラ１０から得られる撮像画像１２を用いて、カメラ１０によって撮像された物体の特定を行う装置である。例えばカメラ１０は、空港やスタジアムなどといった施設に設置される監視カメラである。ただし、カメラ１０が設置される場所は、屋内に限定されず、屋外であってもよい。

ここでいう「物体の特定」とは、複数の既知の物体（以下、登録物体）の中から、撮像画像１２から検出された物体（検出物体２０）と合致する登録物体を特定することを意味する。また、ここでいう「登録物体」とは、その物体の識別子と、その物体の画像上の特徴量である画像特徴とを対応付けた情報（後述する物体情報３０）が、検出物体２０の特定を行う際に存在している物体のことを意味する。

照合装置２０００は、撮像画像１２から検出された検出物体２０について、その検出物体２０の画像上の特徴量（画像特徴２２）を抽出する。画像特徴としては、画像から抽出することができる種々の特徴量を利用することができる。ここで、検出物体２０は、例えば人物である。検出物体２０が人物である場合、照合装置２０００が行う処理は、「既知の人物の中から、撮像画像１２から検出された人物と合致する人物を特定する」という処理となる。ただし、検出物体２０は人物に限定されない。例えば検出物体２０は、動物や機械（自動車やロボット）などであってもよい。

照合装置２０００は、複数の物体情報３０を利用して、検出物体２０の特定を行う。各物体情報３０は、登録物体の識別子（物体識別子３２）と、その登録物体の画像特徴（画像特徴３４）とを対応づけた情報である。物体情報３０は、物体情報記憶装置６０に記憶されている。

照合装置２０００は、撮像画像１２から得られた検出物体２０の画像特徴２２と、各物体情報３０が示す画像特徴３４とを照合することで、画像特徴２２とマッチする画像特徴３４（例えば、画像特徴２２との類似度が閾値以上である画像特徴３４）を特定する。そして、特定した画像特徴３４に対応づけられている物体識別子３２を、検出物体２０の識別子として特定する。これにより、検出物体２０が特定される。

ここで、照合装置２０００は、画像特徴２２と画像特徴３４との照合について、照合に利用する物体情報３０の順序（照合順序）を、各登録物体の位置情報４０に基づいて決定する。位置情報４０は、登録物体の識別子（物体識別子４２）、その登録物体の位置（位置４４）、及びその位置が検出された時刻（検出時刻４６）を対応づけている。ただし、検出時刻４６については、必ずしも位置情報４０に含まれていなくてもよい。照合装置２０００は、例えば、位置情報４０に示されている位置４４がカメラ１０の位置に近い登録物体の物体情報３０ほど早く照合に利用する。位置情報４０は、位置情報記憶装置７０に記憶されている。

＜代表的な作用効果＞
本実施形態の照合装置２０００によれば、各登録物体の位置情報４０に基づく照合順序で、物体情報３０に示される画像特徴３４と画像特徴２２とを照合することにより、検出物体２０の特定を行う。このように登録物体の位置を考慮した順序で照合行うことにより、検出物体２０と一致する確率が高いと推測される登録物体の物体情報３０が、より早く照合に利用される。そのため、検出物体２０の特定に要する時間を短くすることができる。

また、本実施形態の照合装置２０００によれば、各物体情報３０を順に照合に利用していくため、各登録物体の物体情報３０はいずれかのタイミングで照合に利用される。そのため、仮に位置情報４０の更新の頻度を低くした結果、検出物体２０と一致する登録物体の位置情報４０によって示される位置がその登録物体の実際の現在位置と大きくずれていたとしても、その登録物体の物体情報３０が照合に利用されずに検出物体２０の特定ができなくなるという結果にはならない。そのため、位置情報４０の更新の頻度は、照合装置２０００の処理負荷などを考慮して柔軟に決めることができる。

以下、本実施形態の照合装置２０００についてさらに詳細に説明する。

＜照合装置２０００の機能構成の例＞
図２は、実施形態１の照合装置２０００の構成を例示する図である。照合装置２０００は、抽出部２０２０及び特定部２０４０を有する。抽出部２０２０は、カメラ１０によって生成された撮像画像１２から画像特徴２２（検出物体２０の画像特徴）を抽出する。特定部２０４０は、画像特徴２２及び複数の物体情報３０を利用して、検出物体２０の特定を行う。ここで、特定部２０４０は、各登録物体の位置情報４０に基づいて、物体情報３０の照合順序を決定する。そして、特定部２０４０は、決定した照合順序が早い物体情報３０から順に、その物体情報３０に示されている画像特徴３４を画像特徴２２と照合することにより、検出物体２０の特定を行う。

＜照合装置２０００のハードウエア構成＞
照合装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、照合装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

図３は、照合装置２０００を実現するための計算機１０００を例示する図である。計算機１０００は任意の計算機である。例えば計算機１０００は、Personal Computer（PC）、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機１０００は、照合装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。

計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field-Programmable Gate Array）などのプロセッサである。メモリ１０６０は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスクドライブ、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。ただし、ストレージデバイス１０８０は、RAM など、主記憶装置を構成するハードウエアと同様のハードウエアで構成されてもよい。

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。ネットワークインタフェース１１２０は、計算機１０００を通信網に接続するためのインタフェースである。この通信網は、例えば LAN（Local Area Network）や WAN（Wide Area Network）である。ネットワークインタフェース１１２０が通信網に接続する方法は、無線接続であってもよいし、有線接続であってもよい。図３において、計算機１０００は、ネットワークインタフェース１１２０を介して、カメラ１０と接続されている。

ストレージデバイス１０８０は、照合装置２０００の機能構成部を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。

＜カメラ１０について＞
カメラ１０は、撮像を行ってその結果を表す画像データ（撮像画像１２）を生成する機能を有する任意の装置である。カメラ１０は、動画を生成するビデオカメラであってもよいし、静止画を生成するスチルカメラであってもよい。カメラ１０が動画を生成する場合、撮像画像１２は、その動画を構成する動画フレームである。

照合装置２０００は、複数のカメラ１０を扱ってもよい。この場合、照合装置２０００は、複数のカメラ１０それぞれから得られる各撮像画像１２について、その中に含まれる登録物体を特定する処理を行う。

＜物体情報記憶装置６０と位置情報記憶装置７０について＞
物体情報記憶装置６０及び位置情報記憶装置７０は、照合装置２０００からアクセス可能な任意の記憶装置である。なお、物体情報３０と位置情報４０は、１つの記憶装置に記憶されてもよい。すなわち、１つの記憶装置に、物体情報記憶装置６０としての機能と位置情報記憶装置７０としての機能の双方を持たせてもよい。ここで、１つの記憶装置に物体情報３０と位置情報４０の双方を記憶させる場合、物体情報３０と位置情報４０は、これらを併合した１つの情報（例えば、１つのテーブル）で実現されてもよいし、個々の情報（例えば、それぞれ異なるテーブル）で実現されてもよい。

＜処理の流れ＞
図４は、実施形態１の照合装置２０００によって実行される処理の流れを例示するフローチャートである。抽出部２０２０は撮像画像１２を取得する（Ｓ１０２）。抽出部２０２０は、撮像画像１２から画像特徴２２を抽出する（Ｓ１０４）。

Ｓ１０６からＳ１１２は、各物体情報３０を対象として実行されるループ処理Ａである。Ｓ１０６において、特定部２０４０は、まだ照合に利用していない物体情報３０が存在するか否かを判定する。既に全ての物体情報３０を対象として照合が実行された場合、ループ処理Ａは終了する。これにより、図４の処理は、検出物体２０が特定されることなく終了する。

一方、まだ照合の対象としていない物体情報３０が存在する場合、図４の処理はＳ１０８に進む。特定部２０４０は、各登録物体の位置情報４０に基づいて、まだ照合に利用していない物体情報３０の中から、次の照合に利用する物体情報３０を決定する（Ｓ１０８）。特定部２０４０は、決定した物体情報３０が示す画像特徴３４がＳ１０４で抽出した画像特徴２２にマッチするか否かの判定（画像特徴３４と画像特徴２２の照合）を行う（Ｓ１１０）。

画像特徴３４と画像特徴２２とがマッチしないと判定された場合（Ｓ１１０：ＮＯ）、図４の処理はＳ１１２に進む（Ｓ１１２）。Ｓ１１２はループ処理Ａの終端であるため、図４の処理はＳ１０６に戻る。

画像特徴３４と画像特徴２２とがマッチすると判定された場合（Ｓ１１０：ＹＥＳ）、特定部２０４０は、検出物体２０を、画像特徴３４に対応する物体識別子３２を持つ登録物体として特定する（Ｓ１１４）。そして、図４の処理は終了する。

なお、図４に示すフローチャートは、照合装置２０００が実行する処理の流れの一例であり、照合装置２０００が実行する処理の流れは、図４に示す流れに限定されない。例えば図４では、ループ処理Ａの中で、次の照合に利用する物体情報３０を逐次決定している。しかしながら、例えば、ループ処理Ａに入る前に各物体情報３０の照合順序を決定し、決定された照合順序が早い順に物体情報３０を照合に利用してもよい。

＜撮像画像１２の取得：Ｓ１０２＞
抽出部２０２０は、カメラ１０から撮像画像１２を取得する（Ｓ１０２）。ここで、カメラによって生成された撮像画像を取得する技術には、既存の技術を利用することができる。例えばカメラ１０は、新たな撮像画像１２を生成する度に、その撮像画像１２を照合装置２０００へ送信するように構成されている。照合装置２０００は、カメラ１０から送信された撮像画像１２を受信することにより、撮像画像１２を取得する。

その他にも例えば、カメラ１０は、照合装置２０００からアクセス可能な記憶装置に、生成した撮像画像１２を格納していってもよい。この場合、例えば照合装置２０００は、定期的にこの記憶装置にアクセスし、未取得の撮像画像１２を取得するようにする。

なお、抽出部２０２０は、カメラ１０によって生成された全ての撮像画像１２ではなく、一部の撮像画像１２を取得するようにしてもよい。例えば、カメラ１０は、所定の期間の中で生成した複数の撮像画像１２のうちの１つを、照合装置２０００へ送信する。その他にも例えば、照合装置２０００は、撮像画像１２が記憶されている記憶装置に定期的にアクセスし、その時点の最新の撮像画像１２のみを取得する。

＜画像特徴２２の抽出：Ｓ１０４＞
抽出部２０２０は、撮像画像１２から画像特徴２２を抽出する（Ｓ１０４）。その前提として、抽出部２０２０は、撮像画像１２から物体を検出する処理を行う。この処理によって検出された物体を、検出物体２０と呼ぶ。なお、画像から物体を検出する具体的な技術については、既存の技術を利用することができる。例えば抽出部２０２０は、撮像画像１２から、背景領域に含まれない画像領域（いわゆる前景領域）を検出し、検出した前景領域を検出物体２０として検出する。

抽出部２０２０は、撮像画像１２から検出された検出物体２０について、画像特徴２２を抽出する処理を行う。ここで、物体を表す画像領域から画像特徴を抽出する技術には、既存の技術を利用することができる。なお、検出物体２０が人物である場合、顔を表す画像領域から画像特徴を抽出することが特に好適である。

＜物体情報３０について＞
物体情報３０は、登録物体の識別子とその登録物体の画像特徴とを対応づけた情報である。登録物体について物体情報３０を生成する方法は様々である。例えばカメラ１０が施設に設置される場合、その施設の利用者が、その施設の利用登録を事前に行うようにする。以下、利用登録に利用される装置を、登録装置と呼ぶ。登録装置は、以下に示す利用登録の結果に基づいて物体情報３０を生成し、生成した物体情報３０を物体情報記憶装置６０に格納する。

登録装置を施設に設置する場合、例えば登録装置は、施設の入り口や受付（例えば空港におけるチェックインカウンター）の付近などに設置される。この場合、利用者は、登録装置を操作することで、利用登録を行う。

その他にも例えば、登録装置は、ネットワークを介して利用者の端末から利用登録のリクエストを受け付けるサーバマシンとして実現されてもよい。この場合、例えば登録装置は、利用登録のための web サイトを提供する web サーバとして実現される。利用者は、自身の端末（PC や検体端末など）からこの web サイトにアクセスすることで、施設の利用登録を行うことができる。

登録装置は、施設の利用者から、氏名や住所などの個人情報の登録を受け付ける。この際、利用者は、自身が含まれる画像（例えば顔写真）の登録も行う。登録装置は、登録された画像から利用者の画像特徴を抽出し、その画像特徴（画像特徴３４に相当）を、利用者の識別子（物体識別子３２に相当）と対応づけて、物体情報３０を生成する。利用者の識別子には、登録装置によって生成される値が設定されてもよいし、利用者によって入力された値（例えば、パスポート番号など）が設定されてもよい。

利用者の画像の登録は、利用者が用意した画像データを登録することによって実現されてもよいし、登録装置に併設されたカメラを利用して実現されてもよい。後者の場合、このカメラが利用者を撮像することで画像データを生成し、その画像データが利用者の画像として登録される。

ここで、検出物体２０として人物以外を扱うとする。この場合、物体の管理者等が、前述した利用登録と同様にして、その物体を施設内で利用するための登録を行う。例えば検出物体２０としてロボットなどの機械を扱う場合、その機械の管理者が、その機械を施設内で利用するための登録を行う。この際、利用者の個人情報に加え、その機械の画像の登録を行う。検出物体２０が動物などである場合についても同様である。

＜位置情報４０について＞
位置情報４０は、登録物体の識別子に対応づけて登録物体の位置を示す。また、位置情報４０は、その登録物体をその位置で検出した時刻（検出時刻４６）をさらに示してもよい。

ここで、物体の位置の表し方は様々である。例えば登録物体の位置は、GPS（Global Positioning System）やビーコンシステムなど、物体の位置を特定するために利用されるシステムにおける座標で表される。この場合、座標を特定するためのセンサ（GPS センサやビーコン受信機など）が利用される。例えば検出物体２０として人物を扱う場合には、人物が所持している携帯端末に設けられている GPS センサや、その人物が所持しているビーコン受信機などを用いて、その人物の座標が特定される。検出物体２０として人物以外を扱う場合、例えば、これらのセンサを登録物体に備え付けておく。なお、GPS やビーコンを利用して登録物体の位置を座標で表す技術には、既存の技術を利用することができる。

GPS センサやビーコン受信機によって定まる座標を位置情報４０が示す位置４４として利用する場合、例えば、これらのセンサが設けられている携帯端末において、その携帯端末の識別子（アドレスなど）を物体識別子４２とし、座標を位置４４とし、その座標の検出時刻を検出時刻４６とする位置情報４０が生成される。各携帯端末は、例えば、位置情報４０の収集を行う装置（以下、位置情報収集装置）に対して、定期的に位置情報４０を送信する。位置情報装置は、受信した位置情報４０を位置情報記憶装置７０に格納する。

その他にも例えば、登録物体の位置は、その登録物体に関連づけられた携帯端末が受信する電波の電波強度を利用して特定されてもよい。より具体的には、人物などの登録物体が、携帯端末を所持するようにする。また、照合装置２０００が利用される施設には、無線 LAN のアクセスポイントなど、所定の電波を送信する送信機が設けられているとする。この場合、携帯端末の位置は、その携帯端末が各送信機から受信する電波の強度に基づいて推測することができる。そこで例えば、登録物体の位置は、その登録物体に所持されている携帯端末から得られる「送信機の識別子、その送信機から受信した電波の強度」という組み合わせによって定めることができる。この場合、物体識別子４２としては、携帯端末の識別子を利用することができる。また、検出時刻４６としては、携帯端末が電波を受信した時刻を利用することができる。このケースでも、位置情報４０は、各携帯端末によって生成される。

また、携帯端末の位置は、各送信機の位置及び各送信機から携帯端末が受信した電波の電波強度に基づき、施設内の位置を表す座標として算出されてもよい。なお、複数の送信機それぞれの位置、及びそれら複数の送信機から受信機が受信した電波の強度に基づいて、その受信機の位置を算出する技術には、既存の技術を利用することができる。

前述した通り、各携帯端末は、生成した位置情報４０を位置情報収集装置に送信する。位置情報装置は、受信した位置情報４０を位置情報記憶装置７０に格納する。

その他にも例えば、登録物体の位置は、その登録物体に関連づけられた携帯端末がアクセスしたアクセスポイントによって定められてもよい。アクセスポイントでは、そのアクセスポイントにアクセスした携帯端末のアドレス（例えば、MAC アドレス）とそのアクセス日時との組み合わせを記録することができる。そこで、アドレスを物体識別子４２とし、アクセスポイントの識別子（アドレスや SSID など）を位置４４とし、アクセス日時を検出時刻４６とする位置情報４０を生成することができる。

このケースでは、アクセスポイントが、そのアクセスポイントにアクセスした各携帯端末についての位置情報４０を生成し、生成した各位置情報４０を位置情報収集装置に送信する。位置情報装置は、受信した位置情報４０を位置情報記憶装置７０に格納する。

また、登録物体の位置は、その登録物体を含む撮像画像１２を生成したカメラ１０の識別子によって定められてもよい。例えば、或る時刻 t1 においてカメラ c1 が生成した撮像画像１２から、検出物体２０が検出されたとする。そして、照合装置２０００がこの検出物体２０の特定を行った結果、その検出物体２０の識別子が obj1 として特定されたとする。この場合、obj1 で特定される登録物体の時刻 t1 における位置は、カメラ c1 の撮像範囲内であると言える。そこで例えば、物体識別子４２に obj1 を示し、位置４４に c1 を示し、検出時刻４６に t1 を示す位置情報４０を生成することができる。

このケースでは、照合装置２０００によって、検出物体２０として特定した登録物体についての位置情報４０が生成される。照合装置２０００は、生成した位置情報４０を位置情報記憶装置７０に格納する。

＜物体情報３０と位置情報４０との対応付け＞
物体識別子３２と物体識別子４２には、同種類の情報が利用されてもよいし、異なる種類の情報が利用されてもよい。例えば後者の場合、物体識別子３２としては、利用登録の際に入力されたパスポート番号などを利用し、物体識別子４２としては、携帯端末の識別子などを利用する。この場合、物体情報３０には、物体識別子３２に加えて、物体識別子４２と同種の識別子も含めておく。

例えば利用者が登録装置を利用して利用登録を行うことで、その利用者についての物体情報３０が生成されるとする。この場合、利用者は、利用登録の際に、物体識別子４２として利用される情報の登録も行う。例えば、物体識別子４２として携帯端末の識別子が利用される場合、利用者は、自身が所有する携帯端末の識別子を登録する。こうすることで、物体情報３０に、物体識別子４２に相当する情報が含まれるようになる。この情報を利用することで、物体情報３０と位置情報４０とを対応づけることができる。

例えば或る物体情報３０についての照合順序を決定する場合、特定部２０４０は、その物体情報３０に示されている物体識別子４２に相当する情報を利用して、位置情報４０の検索を行う。こうすることで、その物体情報３０で特定される登録物体についての位置情報４０を取得することができる。

＜照合順序の決定＞
特定部２０４０は、各登録物体の位置情報４０が示す登録物体の位置と、取得した撮像画像１２を生成したカメラ１０の位置との関係に基づいて、物体情報３０の照合順序を決定する。例えば特定部２０４０は、カメラ１０に近い位置に存在すると推測される登録物体の物体情報３０ほど、照合順序を早くする。ただし後述するように、登録物体が移動すべき方向などを考慮することにより、必ずしも、カメラ１０に近い位置に存在すると推測される登録物体の物体情報３０ほど、照合順序が早くなるわけではない。

例えば特定部２０４０は、複数の物体情報３０それぞれによって表されている登録物体について、その登録物体についての位置情報４０を取得し、位置情報４０によって示されている登録物体の位置とカメラ１０の位置との間の距離を算出する。そして、特定部２０４０は、算出された距離が小さい登録物体の物体情報３０ほど、照合順序を早くする。

位置情報４０が示す登録物体の位置とカメラ１０の位置とを間の距離を算出する方法は様々である。例えば、登録物体の位置とカメラ１０の位置がいずれも座標で表されている場合、登録物体の位置とカメラ１０の位置との間の距離は、これらの座標の間の距離として算出することができる。その他にも例えば、登録物体の位置が、無線 LAN のアクセスポイントなどといった電波の送信機の識別子で表されているとする。この場合、登録物体の位置とカメラ１０の位置との間の距離は、その登録物体の位置として示されている送信機が、カメラ１０から何番目に近い送信機であるかによって表されてもよい。具体的には、カメラ１０からｎ番目に近い送信機とカメラ１０との間の距離をｎとする（ｎは自然数）。

ここで、カメラ１０からの距離が等しい登録物体が複数あることも考えられる。例えば、２つの登録物体についての位置情報４０がいずれも、カメラ１０から２番目に近い送信機の識別子を示しているようなケースである。この場合、例えば特定部２０４０は、検出時刻４６がより遅い（現在時刻と検出時刻４６との差分がより小さい）位置情報４０に対応する登録物体ほど、カメラ１０に近いものとして扱ってもよい。これは、検出時刻４６が遅い位置情報４０ほど情報が正確である（実際の現在位置との誤差が小さい）と考えられるためである。

また、位置情報４０に示されている情報が古い場合（検出時刻４６と現在時刻との差が大きい場合）、登録物体の実際の現在位置は、位置４４によって表される位置から離れてしまっている可能性がある。そこで特定部２０４０は、位置４４、及び検出時刻４６と現在時刻との差分に基づいて、登録物体の現在の推定位置を算出してもよい。この場合、特定部２０４０は、算出した推定位置に基づいて、物体情報３０の照合順序を決定する。

例えば特定部２０４０は、各登録物体について、その登録物体についての位置情報４０が生成されてからの経過時間（現在時刻と検出時刻４６との差分）に、登録物体の速さを掛けることで、登録物体の推定移動距離を算出する。そして、特定部２０４０は、登録物体の位置を、登録物体の移動方向に沿って位置４４から推定移動距離だけ動かした位置を、その登録物体の推定位置として算出する。

ここで、登録物体の速さと移動方向について説明する。登録物体の速さには、登録物体にかかわらず固定の値が用いられてもよいし、登録物体ごとに異なる値が用いられてもよい。後者の場合、例えば登録物体の速さは、登録物体の属性に基づいて算出される。例えば、性別や年齢層などといった各属性の値に対応づけて、登録物体の速さを定めておく。また、各登録物体の属性値は、物体情報３０に含めておく。登録物体の属性値は、過去にその登録物体を撮像することで得られた画像を画像解析することで得てもよいし、利用登録の際に利用者によって入力されてもよい。特定部２０４０は、或る登録物体の推定位置を算出する際、その登録物体について物体情報３０を参照することでその登録物体の属性値を取得し、取得した属性値に対応づけて定められている登録物体の速さを利用する。

その他にも例えば、登録物体の速さは、その登録物体の過去の位置の変化に基づいて算出されてもよい。例えば、各登録物体について位置情報４０が更新されていく場合、登録物体の位置４４及び検出時刻４６の組み合わせを複数用いることで、登録物体の位置の時間変化を把握することができる。そこで特定部２０４０は、１つの登録物体についてこれまでに生成された複数の位置情報４０（すなわち、位置情報４０の履歴）を用いて、その登録物体の速さを算出する。

登録物体の推定位置を算出するケースでは、カメラ１０が設置されている場所において登録物体が移動すべき方向（以下、既定方向）を予め定めておき、この既定方向を、登録物体の移動方向として扱う。例えば、既定方向は、照合装置２０００が運用される施設の構成に基づいて予め定めておく。例えば空港では、保安検査場の入り口以降の移動方向は、搭乗口に向かう方向であると考えられる。

また、特定部２０４０は、カメラ１０の位置と上述した既定方向に基づき、登録物体の照合順序を決めてもよい。具体的には、特定部２０４０は、カメラ１０の位置から既定方向に進んだ場所に位置する各登録物体の照合順序を、カメラ１０の位置から既定方向と逆方句に進んだ場所に位置する各登録物体の照合順序よりも早くする。

＜＜エリアに区切られているケース＞＞
登録物体が移動する場所を複数のエリアに区分することが考えられる。図５は、登録物体が移動する場所が複数のエリアに分けられているケースを例示する図である。図５は、照合装置２０００が利用されている施設内の通路を示している。この通路は、５つのエリア５０（５０－１から５０－５）に分けられている。ここで、照合装置２０００によって検出物体２０を特定する処理は、各エリアにおいて行われるとする。そのために、各エリアにカメラ１０が設けられている。

以下、説明を簡単にするため、Ｓ１０２で取得した撮像画像１２を生成したカメラ１０が設置されているエリアを、基準エリアと呼ぶ。例えば、照合装置２０００がエリア５０－３に設置されているカメラ１０－３から得られた撮像画像１２について、検出物体２０を特定する処理を行うとする。この場合、エリア５０－３が基準エリアとなる。

このように複数のエリアが設けられている場合、特定部２０４０は、エリアの順序づけを行い、その順序に基づいて物体情報３０の照合順序を決定してもよい。例えば特定部２０４０は、基準エリアに近いエリア５０ほど早い順序を設定する。そして、順序が早いエリアの中に位置する物体情報３０ほど、照合順序を早くする。

例えば図５の例において、基準エリアが５０－３であるとする。この場合、例えば特定部２０４０は、基準エリア５０－３の中に位置する各登録物体の物体情報３０、エリア５０－２及びエリア５０－４の中に位置する各登録物体の物体情報３０、エリア５０－１及びエリア５０－５の中に位置する各登録物体の物体情報３０という順序で、物体情報３０を利用する。

ここで、基準エリアからの距離が等しいエリア５０が複数存在する場合、特定部２０４０は、それら複数のエリア５０の順序を決定する。例えば前述したように、登録物体が移動すべき方向である既定方向を予め定めておく。特定部２０４０は、基準エリアからの距離が等しい複数のエリア５０について、基準エリアから既定方向に進んだエリア５０の順序を、基準エリアから既定方向とは逆に進んだエリア５０の順序よりも先にする。例えば、図５の例において、基準エリアがエリア５０－３であるとする。エリア５０－４の順序は、エリア５０－２よりも先になる。また、エリア５０－５の順序は、エリア５０－１の順序よりも先になる。よって、エリアの順序が、基準エリア、エリア５０－４、エリア５０－２、エリア５０－５、及びエリア５０－１という順序となる。

その他にも例えば、特定部２０４０は、基準エリアから既定方向へ進んだ全てのエリア５０の順序をいずれも、基準エリアから既定方向とは逆方向へ進んだ各エリア５０の順序よりも早くしてもよい。例えば前述の例では、エリアの順序が、基準エリア、エリア５０－４、エリア５０－５、エリア５０－２、及びエリア５０－１という順序となる。

＜＜＜同一エリア内の複数の登録物体について＞＞＞
ここで、同一エリア内に複数の登録物体が位置することがある。この場合、例えば特定部２０４０は、各登録物体の位置の検出時刻４６に基づいて、各登録物体の順序づけを行ってもよい。例えば特定部２０４０は、検出時刻４６がより遅い（検出時刻４６が現在時刻により近い）登録物体の物体情報３０ほど、照合順序を早くする。

＜＜＜現在エリアの推定＞＞＞
特定部２０４０は、位置情報４０を利用して、登録物体が現在位置するエリアを推定してもよい。具体的には、特定部２０４０は、各登録物体について、位置４４、登録物体の速さ、及び登録物体の移動方向を用いて、登録物体の現在位置を推定する。そして、特定部２０４０は、その現在位置が含まれるエリアを、登録物体が現在位置するエリアとして扱う。この場合、特定部２０４０は、各登録物体が位置するエリアとして、推定によって得られたエリアを利用する。なお、検出時刻４６等を利用して登録物体の現在位置を推定する方法については、前述した通りである。

＜照合について：Ｓ１１０＞
特定部２０４０は、物体情報３０が示す画像特徴３４と画像特徴２２とがマッチするか否かの判定を行う。ここで、画像特徴同士がマッチするか否かの判定を行う具体的な方法には、既存の技術を利用することができる。例えば特定部２０４０は、画像特徴３４と画像特徴２２との間の類似度を算出する。そして、その類似度が閾値以上であれば、特定部２０４０は、これらの画像特徴がマッチすると判定する。一方で、その類似度が閾値未満であれば、特定部２０４０は、これらの画像特徴がマッチしないと判定する。

＜特定の結果について＞
特定部２０４０は、物体情報３０が示す画像特徴３４と画像特徴２２とがマッチしたら、その物体情報３０が示す物体識別子３２を持つ登録物体として、検出物体２０を特定する（Ｓ１１４）。この際、特定部２０４０は、特定結果を表す情報（以下、出力情報）を出力してもよい。ここで、出力情報の出力態様は様々である。例えば特定部２０４０は、出力情報を照合装置２０００に接続されたディスプレイ装置に表示させたり、他の装置に送信したり、記憶装置に格納したりする。

出力情報の内容は様々である。例えば特定部２０４０は、検出物体２０として特定された登録物体の物体情報３０を、出力情報として出力する。この際、特定部２０４０は、撮像画像１２をさらに出力してもよい。こうすることで、照合装置２０００のユーザ（例えば、施設の管理者や警備員など）は、検出物体２０を含む撮像画像１２と物体情報３０とを対応づけて把握することができる。なお、物体情報３０の全てを出力する必要はなく、その一部のみが出力されてもよい。物体情報３０に含まれる情報のうち、どの情報を出力情報に含めるのかについては、予め設定しておく。

ここで、物体情報３０には、登録物体の画像特徴に加え、その登録物体の画像を含めておくことが好適である。この場合、例えば特定部２０４０は、物体情報３０に含まれる登録物体の画像と共に、撮像画像１２を出力する。こうすることで、照合装置２０００のユーザは、検出物体２０の画像と、その検出物体２０と一致すると判定された登録物体の画像とを視覚的に比較することが可能となる。

撮像画像１２から複数の物体が検出される場合、照合装置２０００は、出力情報に含める撮像画像１２において、検出物体２０として扱った物体について強調表示を行う（例えば枠で囲む）ことが好適である。こうすることで、照合装置２０００のユーザが、検出物体２０と一致すると判定された登録物体を容易に把握することができる。

なお、照合装置２０００は、検出物体２０を特定できなかった場合（画像特徴２２とマッチする画像特徴３４が無かった場合）、その旨を表す出力情報を出力することが好適である。この出力情報には、検出物体２０を特定できなかった旨、及びその検出物体２０を含む撮像画像１２を含める。こうすることで、照合装置２０００のユーザは、照合装置２０００によって特定できなかった物体を視覚的に把握することができる。

例えば事前に施設の利用登録が行われる場合、照合装置２０００によって特定できなかった物体は、事前の利用登録が行われていない人物などである蓋然性が高い。そのため、施設のセキュリティ上、注意を要する物体であると言える。よって、上述した出力情報を提供することで、要注意の人物等を容易に把握することができる。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１． カメラによって生成された撮像画像を取得し、前記取得した撮像画像から検出された検出物体の画像特徴を抽出する抽出部と、
前記抽出された画像特徴、及び複数の登録物体それぞれの物体情報を利用して、前記検出物体の特定を行う特定部と、を有し、
各前記登録物体の前記物体情報は、登録物体の画像特徴を含み、
前記特定部は、各前記登録物体の位置情報に基づいて各前記物体情報の照合順序を決定し、前記決定した照合順序が早い前記物体情報から順に、その物体情報に含まれる画像特徴を前記抽出された画像特徴と照合することで、前記検出物体の特定を行う、照合装置。
２． 前記登録物体が移動可能な場所が複数のエリアを含み、
前記登録物体の前記位置情報は、その登録物体が検出されたエリアを示し、
前記特定部は、前記登録物体の前記位置情報に基づいて定まるその登録物体が位置するエリアと、前記カメラが設置されているエリアとの近さに基づいて、各前記物体情報の照合順序を決定する、１．に記載の照合装置。
３． 前記カメラが設置されている場所において、前記登録物体が移動すべき既定方向が定められており、
前記特定部は、前記カメラが設置されているエリアから前記既定方向へ進んだエリアに位置する各前記登録物体の前記物体情報の照合順序を、前記カメラが設置されているエリアから前記既定方向と逆方向へ進んだエリアに位置する各前記登録物体の前記物体情報の照合順序よりも早くする、２．に記載の照合装置。
４． 前記登録物体の前記位置情報は、その登録物体が検出された位置及びその検出時刻を示し、
前記特定部は、前記位置情報に同一のエリアが示されている複数の前記登録物体それぞれの前記物体情報の照合順序を、前記位置情報に示されている検出時刻が遅いほど早くする、２．に記載の照合装置。
５． 前記特定部は、前記登録物体の前記位置情報によって示される位置及び検出時刻、並びにその登録物体の速さに基づいて、その登録物体が現在位置するエリアを推定し、前記推定したエリアと前記カメラが設置されているエリアとの近さに基づいて、各前記物体情報の照合順序を決定する、２．乃至４．いずれか一つに記載の照合装置。
６． 前記カメラが設置されている場所において、前記登録物体が移動すべき既定方向が定められており、
前記カメラが設置されている場所から前記既定方向へ進んだ場所に位置する各前記登録物体の前記物体情報の照合順序を、前記カメラが設置されている場所から前記既定方向とは逆の方向へ進んだ場所に位置する各前記登録物体の前記物体情報の照合順序よりも早くする、１．に記載の照合装置。
７． 前記特定部は、各前記登録物体の位置情報を用いて、前記登録物体の位置と前記カメラの位置との間の距離を算出し、算出された距離が小さい前記登録物体の前記物体情報ほど、照合順序を早くする、１．に記載の照合装置。
８． 前記登録物体の前記位置情報は、その登録物体が検出された位置及びその検出時刻を示し、
前記特定部は、前記登録物体の前記位置情報によって示される位置及び検出時刻、並びにその登録物体の速さに基づいて、その登録物体の現在位置を推定し、前記推定した現在位置と前記カメラの位置との間の距離を算出する、７．に記載の照合装置。
９． 前記特定部は、前記登録物体の速さを、その登録物体についてこれまでに生成された複数の前記位置情報を用いて算出する、５．又は８．に記載の制御方法。
１０． コンピュータによって実行される制御方法であって、
カメラによって生成された撮像画像を取得し、前記取得した撮像画像から検出された検出物体の画像特徴を抽出する抽出ステップと、
前記抽出された画像特徴、及び複数の登録物体それぞれの物体情報を利用して、前記検出物体の特定を行う特定ステップと、を有し、
各前記登録物体の前記物体情報は、登録物体の画像特徴を含み、
前記特定ステップにおいて、各前記登録物体の位置情報に基づいて各前記物体情報の照合順序を決定し、前記決定した照合順序が早い前記物体情報から順に、その物体情報に含まれる画像特徴を前記抽出された画像特徴と照合することで、前記検出物体の特定を行う、制御方法。
１１． 前記登録物体が移動可能な場所が複数のエリアを含み、
前記登録物体の前記位置情報は、その登録物体が検出されたエリアを示し、
前記特定ステップにおいて、前記登録物体の前記位置情報に基づいて定まるその登録物体が位置するエリアと、前記カメラが設置されているエリアとの近さに基づいて、各前記物体情報の照合順序を決定する、１０．に記載の制御方法。
１２． 前記カメラが設置されている場所において、前記登録物体が移動すべき既定方向が定められており、
前記特定ステップにおいて、前記カメラが設置されているエリアから前記既定方向へ進んだエリアに位置する各前記登録物体の前記物体情報の照合順序を、前記カメラが設置されているエリアから前記既定方向と逆方向へ進んだエリアに位置する各前記登録物体の前記物体情報の照合順序よりも早くする、１１．に記載の制御方法。
１３． 前記登録物体の前記位置情報は、その登録物体が検出された位置及びその検出時刻を示し、
前記特定ステップにおいて、前記位置情報に同一のエリアが示されている複数の前記登録物体それぞれの前記物体情報の照合順序を、前記位置情報に示されている検出時刻が遅いほど早くする、１１．に記載の制御方法。
１４． 前記特定ステップにおいて、前記登録物体の前記位置情報によって示される位置及び検出時刻、並びにその登録物体の速さに基づいて、その登録物体が現在位置するエリアを推定し、前記推定したエリアと前記カメラが設置されているエリアとの近さに基づいて、各前記物体情報の照合順序を決定する、１１．乃至１３．いずれか一つに記載の制御方法。
１５． 前記カメラが設置されている場所において、前記登録物体が移動すべき既定方向が定められており、
前記カメラが設置されている場所から前記既定方向へ進んだ場所に位置する各前記登録物体の前記物体情報の照合順序を、前記カメラが設置されている場所から前記既定方向とは逆の方向へ進んだ場所に位置する各前記登録物体の前記物体情報の照合順序よりも早くする、１０．に記載の制御方法。
１６． 前記特定ステップにおいて、各前記登録物体の位置情報を用いて、前記登録物体の位置と前記カメラの位置との間の距離を算出し、算出された距離が小さい前記登録物体の前記物体情報ほど、照合順序を早くする、１０．に記載の制御方法。
１７． 前記登録物体の前記位置情報は、その登録物体が検出された位置及びその検出時刻を示し、
前記特定ステップにおいて、前記登録物体の前記位置情報によって示される位置及び検出時刻、並びにその登録物体の速さに基づいて、その登録物体の現在位置を推定し、前記推定した現在位置と前記カメラの位置との間の距離を算出する、１６．に記載の制御方法。
１８． 前記特定ステップにおいて、前記登録物体の速さを、その登録物体についてこれまでに生成された複数の前記位置情報を用いて算出する、１４．又は１７．に記載の制御方法。
１９． １０．乃至１８．いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。

Claims (10)

1. カメラによって生成された撮像画像を取得し、前記取得した撮像画像から検出された検出物体の画像特徴を抽出する抽出部と、
   前記抽出された画像特徴、及び複数の登録物体それぞれの物体情報を利用して、前記検出物体の特定を行う特定部と、を有し、
   各前記登録物体の前記物体情報は、登録物体の画像特徴を含み、前記登録物体毎に前記物体情報は物体情報記憶装置に記憶されており、
   前記特定部は、前記物体情報記憶装置に記憶されている前記物体情報の中から、前記検出物体との照合に利用する前記物体情報の順序を決定する際、各前記登録物体の位置情報を取得し、取得した各前記登録物体の前記位置情報に基づいて、前記検出物体との照合に利用する前記物体情報の順序を決定し、前記決定した順序が早い前記物体情報から順に、その物体情報に含まれる前記画像特徴を用いて前記検出物体の前記画像特徴と照合することで、前記検出物体の特定を行う、照合装置。
2. 前記登録物体が移動可能な場所が複数のエリアを含み、
   前記登録物体の前記位置情報は、その登録物体が検出されたエリアを示し、
   前記特定部は、前記物体情報記憶装置に記憶されている前記物体情報の中から、各前記登録物体が検出された前記エリア毎に、そのエリアに位置する各前記登録物体の前記物体情報を特定し、
   前記特定部は、前記登録物体の前記位置情報に基づいて定まるその登録物体が位置する前記エリアと、前記カメラが設置されているエリアとの近さに基づいて、前記検出物体との照合に利用する前記物体情報に対応する前記エリアの順序を決定し、前記決定した順序が早い前記エリアから順に、そのエリアに位置すると特定された前記登録物体の前記物体情報に含まれる前記画像特徴を用いて前記検出物体の前記画像特徴と照合することで、前記検出物体の特定を行う、請求項１に記載の照合装置。
3. 前記カメラが設置されている場所において、複数の前記エリアについて前記登録物体が移動すべき既定方向が定められており、
   前記特定部は、前記カメラが設置されているエリアから前記既定方向へ進んだエリアを前記カメラが設置されているエリアから前記既定方向と逆方向へ進んだエリアより早い順序に決定し、前記カメラが設置されているエリアから前記既定方向へ進んだエリアに位置すると特定された各前記登録物体の前記エリアに対応する前記物体情報を、前記カメラが設置されているエリアから前記既定方向と逆方向へ進んだエリアに位置すると特定された各前記登録物体の前記エリアに対応する前記物体情報よりも早く前記検出物体との照合に利用する、請求項２に記載の照合装置。
4. 前記登録物体の前記位置情報は、その登録物体が検出された位置及びその検出時刻を示し、
   前記特定部は、前記位置情報に同一のエリアが示されている複数の前記登録物体それぞれの前記物体情報を前記検出物体との照合に利用する前記順序を、前記位置情報に示されている検出時刻が遅いほど早くする、請求項２に記載の照合装置。
5. 前記特定部は、前記登録物体の前記位置情報によって示される位置及び検出時刻、並びにその登録物体の速さに基づいて、その登録物体が現在位置するエリアを推定し、前記推定したエリアと前記カメラが設置されているエリアとの近さに基づいて、各前記物体情報を前記検出物体との照合に利用する前記順序を決定する、請求項２乃至４いずれか一項に記載の照合装置。
6. 前記カメラが設置されている場所において、前記登録物体が移動すべき既定方向が定められており、
   前記カメラが設置されている場所から前記既定方向へ進んだ場所に位置すると特定された各前記登録物体の前記物体情報を、前記カメラが設置されている場所から前記既定方向とは逆の方向へ進んだ場所に位置すると特定された各前記登録物体の前記物体情報よりも早く前記検出物体との照合に利用する、請求項１に記載の照合装置。
7. 前記特定部は、各前記登録物体の位置情報を用いて、前記登録物体の位置と前記カメラの位置との間の距離を算出し、算出された距離が小さい前記登録物体の前記物体情報ほど、前記検出物体との照合に利用する前記順序を早くする、請求項１に記載の照合装置。
8. 前記登録物体の前記位置情報は、その登録物体が検出された位置及びその検出時刻を示し、
   前記特定部は、前記登録物体の前記位置情報によって示される位置及び検出時刻、並びにその登録物体の速さに基づいて、その登録物体の現在位置を推定し、前記推定した現在位置と前記カメラの位置との間の距離を算出する、請求項７に記載の照合装置。
9. コンピュータによって実行される制御方法であって、
   カメラによって生成された撮像画像を取得し、前記取得した撮像画像から検出された検出物体の画像特徴を抽出する抽出ステップと、
   前記抽出された画像特徴、及び複数の登録物体それぞれの物体情報を利用して、前記検出物体の特定を行う特定ステップと、を有し、
   各前記登録物体の前記物体情報は、登録物体の画像特徴を含み、前記登録物体毎に前記物体情報は物体情報記憶装置に記憶されており、
   前記特定ステップにおいて、前記物体情報記憶装置に記憶されている前記物体情報の中から、前記検出物体との照合に利用する前記物体情報の順序を決定する際、各前記登録物体の位置情報を取得し、取得した各前記登録物体の前記位置情報に基づいて、前記検出物体との照合に利用する前記物体情報の順序を決定し、前記決定した順序が早い前記物体情報から順に、その物体情報に含まれる前記画像特徴を用いて前記検出物体の前記画像特徴と照合することで、前記検出物体の特定を行う、制御方法。
10. 請求項９に記載の制御方法の各ステップをコンピュータに実行させるプログラム。

Images