JP5450089B2 - 対象検出装置および対象検出方法 - Google Patents

Description

本発明は、撮影画像内に検出された人物等の移動物体と無線端末の識別子とを対応付ける対象検出装置および対象検出方法に関する。

従来、入口が明確でなく入出門ゲートのないオープンスペースなどの空間において、撮影された人物等の移動物体とこの移動物体が保持する無線端末の識別子とを対応付ける方法として、特許文献１に開示された技術が知られている。

従来の移動物体検出システムでは、移動物体の位置の検出開始時刻と無線端末の識別子の受信開始時刻との差が所定時間以内である場合に、移動物体の位置履歴（以下、適宜「位置履歴」という）と無線端末の識別子（以下、適宜「識別子」という）とを対応付ける。位置履歴とは、カメラ等によって撮影された移動物体の位置とその検出開始時刻の履歴である。

さらに、従来の移動物体検出システムは、識別子の受信開始時刻から所定時間以内に、検出開始された位置履歴が複数存在する場合には、検出開始時刻が識別子の受信開始時刻に最も近い位置履歴を、識別子と対応付ける。

例えば、従来の移動物体検出システムが、図１に示すように、２つの位置履歴Ｐ１，Ｐ２と１つの識別子ＩＤ１を取得したとする。この場合、従来の移動物体検出システムは、それぞれの位置履歴の検出開始時刻Ｔ_Ｐ１、Ｔ_Ｐ２と識別子の受信開始時刻Ｔ_ＩＤ１との差｜Ｔ_Ｐ１−Ｔ_ＩＤ１｜、｜Ｔ_Ｐ２−Ｔ_ＩＤ１｜を計算する。図１の例では、｜Ｔ_Ｐ１−Ｔ_ＩＤ１｜＞｜Ｔ_Ｐ２−Ｔ_ＩＤ１｜であるので、従来の移動物体検出システムは、位置履歴Ｐ２を識別子Ｔ１と対応付ける。

特開２００６−９８２１４号公報

しかしながら、従来の移動物体検出システムは、時間差だけを基準に対応付けを行っているため、以下の（１）、（２）の場合においては対応付けを正しく行うことができない。

（１）短時間に複数の識別子が受信開始された場合
複数の移動物体が近距離を保ちながら移動している場合には、各移動物体の検出開始時刻と、各移動物体が保持する無線端末の識別子の受信開始時刻とが、それぞれほぼ同時（誤差の範囲内）となる。

例えば、２つの移動物体Ａ、Ｂが近距離を保って移動する場合である。図２に示すように、２つの位置履歴Ｐ１、Ｐ２の検出開始時刻Ｔ_Ｐ１、Ｔ_Ｐ２と、２つの識別子ＩＤ１、ＩＤ２の受信開始時刻Ｔ_ＩＤ１、Ｔ_ＩＤ２とが、それぞれほぼ同時となる。このように、受信開始時刻が同時である複数の識別子が存在する場合には、従来の移動物体検出システムは、位置履歴を識別子と対応付けることができない。

（２）検出された位置履歴の数よりも受信された識別子の数が多い場合
例えば、移動物体の位置の検出範囲と識別子の受信範囲は異なる場合がある。そのため、例えば２つの移動物体Ａ、Ｂのうち、移動物体Ａは、位置検出範囲外だが識別子受信範囲内であるエリアを移動し、移動物体Ｂは、位置検出範囲と識別子受信範囲の両方の範囲内であるエリアを移動する場合がある。

この場合には、図３に示すように、１つの位置履歴Ｐ１と２つの識別子ＩＤ１，ＩＤ２が取得される。従来の移動物体検出システムは、２つの識別子ＩＤ１，ＩＤ２の受信開始時刻Ｔ_ＩＤ１、Ｔ_ＩＤ２のいずれにおいても対応付けを行うことができない。その理由は、位置履歴Ｐ１の検出開始時刻Ｔ_Ｐ１が最も近いため、位置履歴Ｐ１を、どちらの識別子と対応付けるべきかを判別することができないからである。

このように、従来技術では、短時間に複数の識別子が受信開始された場合や、検出された位置履歴の数よりも受信された識別子の数が多い場合において、撮影画像内の移動物体と識別子の対応付けを行うことができないという課題がある。

本発明の目的は、短時間に複数の識別子が受信開始された場合、あるいは、検出された位置履歴の数よりも受信された識別子の数が多い場合においても、撮影画像内の移動物体と識別子の対応付けを行うことができる対象検出装置および対象検出方法を提供することである。

本発明に係る対象検出装置は、撮影画像に映っている少なくとも１つの移動物体の特徴情報を抽出する特徴情報抽出部と、前記移動物体が保持する無線端末の識別子を読み取る読み取り部と、前記特徴情報と前記識別子とを時刻毎に関連付けて保存する履歴管理部と、前記履歴管理部に保存された前記特徴情報と前記識別子とを、前記特徴情報間の類似度と、前記特徴情報と前記識別子との間の前記関連付けとに基づいて対応付ける対応付け部と、を具備する構成を採る。

本発明に係る対象検出方法は、撮影画像に映っている少なくとも１つの移動物体の特徴情報を抽出する特徴情報抽出工程と、前記移動物体が保持する無線端末の識別子を読み取る読み取り工程と、前記特徴情報と前記識別子とを時刻毎に関連付けてメモリに保存する履歴管理工程と、前記メモリに保存された前記特徴情報と前記識別子とを、前記メモリに保存された特徴情報間の類似度と、前記特徴情報と前記識別子との間の前記関連付けとに基づいて対応付ける対応付け工程と、を具備する。

本発明によれば、特徴情報間の類似度に基づいて、特徴情報に対応する識別子を求めることにより、短時間に複数の識別子が受信開始された場合、あるいは、検出された位置履歴の数よりも受信された識別子の数が多い場合においても、撮影画像内の移動物体と識別子との対応付けを容易に行うことができる。

従来技術の位置履歴と識別子の対応付けを説明する図 従来技術における課題を説明する図 従来技術における課題を説明する図 本発明の実施の形態１に係る対象検出装置の構成を示すブロック図 本発明の実施の形態１に係る対象検出装置を含むシステム構成を示す図 本発明の実施の形態１に係る履歴管理部に管理される履歴情報の一例を示す図 本発明の実施の形態１に係る対応付け部の動作手順を示すフロー図 本発明の実施の形態１に係るクラスタリングを説明する図 本発明の実施の形態１に係る履歴管理部に管理される履歴情報の一例を示す図 本発明の実施の形態１に係る表示画像の一例を示す図 本発明の実施の形態１に係る対象検出装置の構成を示すブロック図 本発明の実施の形態１に係る対象検出装置の構成を示すブロック図 本発明の実施の形態１に係る履歴管理部に管理される履歴情報の一例を示す図 本発明の実施の形態２に係る対象検出装置の構成を示すブロック図 本発明の実施の形態２に係る対応付け部の動作手順を示すフロー図 本発明の実施の形態２に係る表示画像の一例を示す図 本発明の実施の形態３に係る対象検出装置の構成を示すブロック図 本発明の実施の形態３に係る対象検出装置の構成を示すブロック図 本発明の実施の形態３に係る対象検出装置を含むシステム構成を示す図 本発明の実施の形態３に係る履歴管理部に管理される履歴情報の一例を示す図

以下、本発明の各実施の形態について、図面を参照して詳細に説明する。なお、各実施の形態では、移動物体が人物である場合について説明する。また、各人物は、固有の識別子を無線によって送信可能な無線端末を保持する。無線端末は、ＲＦＩＤ（Radio Frequency Identification）、非接触ＩＣカード、無線タグ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（local area network）、ミリ波タグなどである。

（実施の形態１）
図４は、本発明の実施の形態１に係る対象検出装置の構成を示すブロック図である。図５は、本発明の実施の形態１に係る対象検出装置を含むシステム構成を示す図である。

対象検出装置１００は、撮影部１０１、人物切り出し部１０２、特徴情報抽出部１０３、読み取り部１０４、履歴管理部１０５、対応付け部１０６、異常出力部１０７、画像記憶部１０８および表示部１０９から主に構成される。また、対応付け部１０６は、対応付け判定部１５１、クラスタリング部１５２、類似度計算部１５３およびクラスタ対応付け部１５４を有する。

撮影部１０１は、カメラを用いて所定の領域を撮影し、撮影画像を、人物切り出し部１０２、特徴情報抽出部１０３および画像記憶部１０８に出力する。

人物切り出し部１０２は、所定のタイミングで、撮影部１０１から出力された撮影画像から人物２０１が映っている領域（以下、「人物領域」という）を検出する。そして、人物切り出し部１０２は、撮影画像に映っている人物２０１の数が増加又は減少した場合には、その旨を示す情報を、読み取り部１０４に通知する。また、人物切り出し部１０２は、人物領域の位置を示す情報を、特徴情報抽出部１０３に出力する。なお、人物領域の検出は、既存の方法を用いることにより実現される。例えば、人物切り出し部１０２は、入力した撮影画像を用いて、過去フレームの画像情報（背景情報）と現フレームの画像情報との差分に基づいて、人物領域を検出する。

特徴情報抽出部１０３は、人物切り出し部１０２から出力された情報を参照し、撮影部１０１から出力された撮影画像に映っている人物２０１の特徴情報を全て抽出し、抽出された特徴情報を、履歴管理部１０５に出力する。特徴情報の表現方法としては、例えば、色特徴量や輝度勾配特徴量などを用いた、Ｎ次元データがある。画像認識の分野では、数百次元からなる特徴ベクトルに主成分分析を施して、百次元程度に縮減したベクトルを、特徴情報として使用することが一般的である。しかし、本実施の形態では、特徴ベクトルを２次元（例えばＮ次元ベクトルを主成分分析して得られた第１主成分と第２主成分）で
あるとして説明する。特徴情報は、例えば、人物の顔の特徴を示す特徴情報や、人物の形状の特徴を示す特徴情報である。

読み取り部１０４は、受信アンテナを有し、人物切り出し部１０２からの通知のタイミングで、人物２０１が保持する無線端末２０２から発信された電波を受信する。人物切り出し部１０２からの通知とは、上述の通り、撮影画像に映っている人物２０１の数が増加又は減少したことを示す情報の通知である。この際、読み取り部１０４は、人物切り出し部１０２からの通知を受けて、無線端末２０２に対して識別子を問い合わせてもよい。具体的には、読み取り部１０４は、無線端末２０２に対して問い合わせ信号を発信し、それに対する返答として無線端末２０２が発信した電波を受信し、受信した電波に重畳された識別子を読み取るようにすればよい。読み取り部１０４は、取得したすべての識別子を、履歴管理部１０５に出力する。なお、図５に示すように、例えば、読み取り部１０４の受信範囲２０３は、撮影部１０１の撮影範囲２０４と等しいかそれより広く設定される。

履歴管理部１０５は、特徴情報抽出部１０３が抽出した特徴情報と、読み取り部１０４が読み取った識別子とを入力し、時刻毎に特徴情報と識別子とを対応付け、履歴情報として管理する。

対応付け部１０６は、履歴管理部１０５に履歴情報として管理されている特徴情報と識別子との対応付けを行う。そして、対応付け部１０６は、対応付けの結果を示す情報を表示部１０９に出力する。

異常出力部１０７は、対応付け部１０６が異常を判断した場合に、その結果を示す情報を表示部１０９に出力する。

画像記憶部１０８は、撮影部１０１から出力された撮影画像を、時刻情報を付与して記憶する。表示部１０９は、画像記憶部１０８に記憶された撮影画像を、撮影画像内に映っている人物の特徴情報に対応する識別子を重ねた状態で表示する。なお、表示部１０９は、異常出力部１０７から異常を示す情報を入力した場合に、撮影画像にこの異常を示す情報を重ねて表示しても良い。

対応付け判定部１５１は、履歴情報の特徴情報と識別子とを１対１に対応付けることができるか否かを判定する。

具体的には、対応付け判定部１５１は、所定の時刻において、履歴情報の特徴情報の数および識別子の数が各々１つずつである場合には、特徴情報と識別子とを１対１に対応付ける。一方、対応付け判定部１５１は、所定の時刻において、履歴情報の特徴情報の数、あるいは識別子の数の少なくとも一方が複数である場合には、特徴情報と識別子とを１対１に対応付けることができないと判定する。さらに、対応付け判定部１５１は、クラスタリング部１５２に対してクラスタリング処理を行うようトリガーを発する。なお、対応付け判定部１５１は、過去のクラスタリング処理（部分集合に分類する処理）において、対象の特徴情報の対応付けが取られている場合には、その結果を利用して、特徴情報と識別子とを１対１に対応付けてもよい。

また、クラスタ対応付け部１５４において、クラスタと識別子が１対１に対応付けられた場合、対応付け判定部１５１は、その結果に基づいて特徴情報と識別子とを対応付ける。

そして、対応付け判定部１５１は、対応付けの結果を示す情報を表示部１０９に出力する。

クラスタリング部１５２は、対応付け判定部１５１からトリガーを受けると、履歴管理部１０５が管理する履歴情報の特徴情報を入力し、特徴情報を類似度に基づいてクラスタリングする。なお、クラスタリング部１５２の具体的な処理は後述する。

類似度計算部１５３は、クラスタリング部１５２にてクラスタリングを行う際に、特徴情報同士の類似度を計算する。本実施の形態では、類似度としてベクトル間距離を用いる。なお、本発明では、類似度の計算方法について限定されない。

クラスタ対応付け部１５４は、クラスタリング部１５２によって生成されたクラスタと識別子との対応付けを行う。そして、クラスタ対応付け部１５４は、クラスタと識別子が１対１に対応付けられた場合には、その結果を示す情報を対応付け判定部１５１に出力する。一方、クラスタ対応付け部１５４は、クラスタと識別子が１対１に対応付けられない場合には、その結果を示す情報を異常出力部１０７に出力する。

次に、対応付け部１０６が、履歴管理部１０５に管理されている特徴情報と識別子との対応付けを行う処理について、図６の例を用いて具体的に説明する。図６は、履歴管理部１０５において管理される履歴情報の一例を示す図である。

本例では、時刻ｔ１において、２人の人物が検出され、各人物の特徴情報が（１００、１０）と（１５、１５０）であり、その時に検知された無線端末の識別子がＩＤ１１とＩＤ２２であったとする。また、時刻ｔ２において、２人の人物が検出され、各人物の特徴情報が（９５、１５）と（８０、９０）であり、その時に検知された無線端末の識別子がＩＤ２２とＩＤ３３であったとする。

対応付け部１０６は、同一時刻に複数の人物の特徴情報と識別子が検知された場合、当該時刻における履歴情報のみでは特徴情報と識別子とを対応付けることができない。従って、図６の場合、対応付け部１０６は、時刻ｔ１と時刻ｔ２での両方の履歴情報を用いて、図７に示す動作手順に従って、特徴情報と識別子との対応付けを行う。図７は、本実施の形態に係る対応付け部１０６の動作手順を示すフロー図である。

ステップ１１：特徴情報をクラスタリングする。
クラスタリング部１５２は、類似度計算部１５３が計算したベクトル間距離が所定の閾値よりも短い特徴情報を、同じクラスタに分類するようにクラスタリングを行う。なお、本実施の形態では、一定の閾値以下の距離にある特徴情報を１つのクラスタとして分類する方法を用いているが、本発明では、クラスタリングの手法についてこの方法に限定されない。他のクラスタリングの手法として、最短距離法などの階層的手法やk-means法などの分割最適化手法が知られている。

本例では、図８に示すように、時刻ｔ１における特徴情報（１００、１０）と時刻ｔ２における特徴情報（９５、１５）のベクトル間距離が所定の閾値よりも短い。したがって、クラスタリング部１５２は、これらの特徴情報をクラスタ１に分類する。また、クラスタリング部１５２は、時刻ｔ１における特徴情報（１５、１５０）をクラスタ２に分類し、時刻ｔ２における特徴情報（８０、９０）をクラスタ３に分類する。

ステップ１２：論理式を作成する。
クラスタ対応付け部１５４は、クラスタを変数として、各クラスタと各時刻における識別子との割り当て状況を表現する論理式を作成する。

本例では、クラスタ対応付け部１５４は、下記式（１）から式（４）を作成する。

時刻ｔ１における特徴情報（１００、１０）は、クラスタ１に属し、ＩＤ１１とＩＤ２２の可能性がある。これを、以下の式（１）と表現することができる。
クラスタ１ ＝ ｛ＩＤ１１、ＩＤ２２｝ …（１）

また、時刻ｔ１における特徴情報（１５、１５０）は、クラスタ２に属し、ＩＤ１１とＩＤ２２の可能性がある。これを、以下の式（２）と表現することができる。
クラスタ２ ＝ ｛ＩＤ１１、ＩＤ２２｝ …（２）

同様に、時刻ｔ２における特徴情報（９５、１５）は、クラスタ１に属し、ＩＤ２２とＩＤ３３の可能性があり、特徴情報（８０、９０）は、クラスタ３に属し、ＩＤ２２とＩＤ３３の可能性がある。これを、以下の式（３）、（４）と表現することができる。
クラスタ１ ＝ ｛ＩＤ２２、ＩＤ３３｝ …（３）
クラスタ３ ＝ ｛ＩＤ２２、ＩＤ３３｝ …（４）

ステップ１３：論理式を解く。
クラスタ対応付け部１５４は、論理式の変換を用いて、ステップ１２で作成した論理式を解く。なお、本発明は、論理式を解く手法に制限はない。論理式を解く手法として、制約充足問題の解法（バックトラッキング法など）、その近似アルゴリズム、全探索等が知られている。

本例では、クラスタ対応付け部１５４は、上記式（１）から式（４）を解いて各クラスタに対応する識別子を求める。まず、式（１）と式（３）から、クラスタ１の取り得る識別子は、ＩＤ２２に限定される。これを、以下の式（５）と表現することができる。
クラスタ１ ＝ ｛ＩＤ２２｝ …（５）

次に、式（２）と式（５）から、クラスタ２の取り得る識別子は、ＩＤ１１に限定される。また、式（４）と式（５）から、クラスタ３の取り得る識別子は、ＩＤ３３に限定される。

ステップ１４：クラスタと識別子とを対応付ける。
クラスタ対応付け部１５４は、論理式を解いた結果に基づいて、クラスタと識別子との対応付けを行う。

本例では、ステップ１３で説明したように、各クラスタの取り得る識別子は１つに限定されるので、クラスタと識別子が１対１に対応付けられる（ステップ１４；ＹＥＳ）。

一方、無線端末を持たない人物が撮影範囲に入った場合、あるいは、無線端末を交換した場合には、履歴情報から作成された論理式は矛盾する。このような場合は、論理式を解いた場合にクラスタに識別子を対応付けられない（ステップ１４；ＮＯ）。

ステップ１５：特徴情報と識別子とを対応付ける。
ステップ１４において、クラスタと識別子が１対１に対応付けられた場合（ステップ１４；ＹＥＳ）、対応付け判定部１５１は、クラスタと識別子の対応関係から、特徴情報に識別子を対応付ける。さらに、対応付け判定部１５１は、対応付けの結果を示す情報を表示部１０９に出力する。

本例では、ステップ１３の結果より、クラスタ対応付け部１５４は、クラスタ１に属する特徴情報（１００、１０）と特徴情報（９５、１５）にＩＤ２２を対応付ける。さらに、クラスタ対応付け部１５４は、クラスタ２に属する特徴情報（１５、１５０）にＩＤ１
１を対応付け、クラスタ３に属する特徴情報（８０、９０）にＩＤ３３を対応付ける。

ステップ１６：異常発生時の処理を行う。
ステップ１４において、クラスタに識別子を対応付けられない場合（ステップ１４；ＮＯ）、異常出力部１０７は、異常であると判断し、判断結果を表示部１０９に出力する。これにより、無線端末の不所持や交換といった異常を検知することができる。

次に、特定の特徴情報に対する表示を行うための方法について説明する。

特徴情報抽出部１０３は、撮影画像から人物オブジェクトの特徴情報を抽出する際に、特徴ベクトルに加えて、画像内のオブジェクトの位置も抽出する。そして、特徴情報抽出部１０３は、特徴ベクトルとオブジェクトの位置とを、履歴管理部１０５に登録する。図９は、画像内のオブジェクト位置情報を含む特徴情報の一例を示す図である。

図９の例では、時刻ｔ１における撮影画像から、特徴情報（（１００，１０），（３００，４００））と、特徴情報（（１５，１５０），（６００，４５０））の２つのオブジェクトが検知されたことを表す。なお、特徴情報（（１００，１０），（３００，４００））の意味は、（１００，１０）がオブジェクトの特徴ベクトルであり、（３００，４００）が画像内のオブジェクトの位置である。

表示部１０９は、特定の特徴情報に対する表示を行う際は下記の処理を行う
（１）表示部１０９は、特徴情報に対応する時刻の画像を画像記憶部１０８から取得する。
（２）表示部１０９は、特徴情報から取得したオブジェクトの位置座標情報に、画像記憶部１０８から取得した画像を重ねて表示する。

図１０は、図６の時刻ｔ１の撮影画像に識別子を重ねて表示した表示画像の一例を示す図である。表示部１０９は、対応付け部１０６が求めた結果を用いて、撮影画像内に撮影されている人物領域の周辺に、その人物が保持する無線端末の識別子が分かるような表示を行う。図１０の例では、表示部１０９は、特徴情報（１５、１５０）に対応する人物領域の周辺に「ＩＤ１１」および矢印を表示し、特徴情報（１００、１０）に対応する人物領域の周辺に「ＩＤ２２」および矢印を表示する。

以上のように、本実施の形態では、特徴情報をクラスタリングし、各クラスタと対応する識別子を求めるようにした。このことにより、同時刻に複数の識別子が受信開始された場合、あるいは、検出された位置履歴の数よりも受信された識別子の数が多い場合においても、移動物体との識別子との対応付けを容易に行うことができる。

また、従来技術では、位置履歴を把握するために無線端末が常に電波を送信しなければならず、消費電力が大きくなってしまうという課題がある。しかし、本実施の形態では、人物切り出し部１０２が撮影画像に映っている人物数の増減を検知した場合にのみ、読み取り部１０４は無線端末２０２と通信を行えばよいため、無線端末２０２は常に電波を送信する必要がない。そのため、無線端末２０２は、通常時において読み取り部１０４と通信を行わず、読み取り部１０４からの電波を受けて起動する。したがって、無線端末２０２には、起動後に自らの電力を用いて、識別子を電波に重畳させて送信するセミパッシブ型無線端末（セミパッシブタグ）を用いることが可能になる。あるいは、無線端末２０２は、読み取り部１０４からの電波の一部を反射させた電波に識別子を重畳させる、パッシブ型無線端末（パッシブタグ）を用いることが可能となる。これにより、従来技術と比較して無線端末の消費電力を抑えることができる。

なお、本実施の形態において、対応付け部１０６は、図１１に示すように、対応付け部１０６の内部にクラスタ数決定部１５５を有する構成にしてもよい。クラスタ数決定部１５５は、履歴管理部１０５に管理された履歴情報の識別子の総数を求め、その結果を最大クラスタ数としてクラスタリング部１５２に出力する。図６の例では、識別子が、ＩＤ１１、ＩＤ２２、ＩＤ３３の３個であるため、最大クラスタ数は「３」と設定される。なお、クラスタ数決定部１５５は、履歴管理部１０５に管理された履歴情報の一部期間のみをクラスタリングの対象とする場合、該当期間に検出された識別子の総数を求め、求めた総数を、最大クラスタ数としてクラスタリング部１５２に出力してもよい。

この場合、クラスタリング部１５２は、図７のステップ１１におけるクラスタリングの際に、クラスタ数の上限を最大クラスタ数に設定する。これにより、クラスタリング処理の際の探索範囲を削減することが可能となり、クラスタリングの計算量を削減し、クラスタリングの精度を向上させることができる。

また、人物切り出し部１０２は、図１２に示すように、人物切り出し部１０２の代わりに識別子変化検知部１１１を用いるようにしても良い。識別子変化検知部１１１は、読み取り部１０４の読み取り結果を監視し、識別子の数が増加又は減少した場合に、特徴情報抽出部１０３と読み取り部１０４に対して、特徴情報と識別子とを履歴管理部１０５に登録するよう指示を出す。その際に撮影部１０１が常時撮影を行っていない場合には、識別子変化検知部１１１は、撮影部１０１に対しても撮影開始の指示を出す。ただし、識別子変化検知部１１１は、特徴情報抽出部１０３に対する指示を出す前に、撮影開始の指示を出す。

また、本実施の形態において、対応付け部１０６は、対応付けの結果を対応付け情報として履歴管理部１０５に出力し、対応付け情報を管理してもよい。これにより、対応付け部１０６は、２回目以降の対応付けを行う際に、対応付け情報を利用することでクラスタリングや対応付けの計算量を減らすことができる。以下、この場合について説明する。

図１３は、履歴管理部１０５において管理される履歴データの一例を示す図である。本例では、対応付け部１０６によって対応付けが行われた結果が反映されたデータとなっている。データテーブルの１行目は、特徴情報（１００，１０）がＩＤ２２に対応付けられていることを表す。同様に、特徴情報（１５、１５０）はＩＤ１１に、特徴情報（９５、１５）はＩＤ２２に、特徴情報（８０，９０）はＩＤ３３に対応付けられていることを表す。

これにより、例えば時刻ｔ１における特徴情報（１００，１０）に対応する識別子を求めることを要求された場合に、対応付け判定部１５１は、すでに時刻ｔ１における特徴情報（１００，１０）がＩＤ２２と対応付けられていることがわかる。このため、クラスタリング部１５２以降の処理を行わずに、識別子はＩＤ２２であるという対応付け結果を出すことができる。

また、クラスタリング部１５２以降の処理においても、論理式が単純化されるため計算量が少なくて済む。

また、本実施の形態では、対応付け判定部１５１が、単一の時間で特徴情報と識別子とを対応付けることができるか否かをまず判定する場合について説明した。しかし、本発明は、これに限られず、図４から対応付け判定部１５１を削除し、全ての場合においてクラスタリングを行うようにしても良い。

（実施の形態２）
図１４は、本発明の実施の形態２に係る対象検出装置の構成を示すブロック図である。なお、図１４に示す対象検出装置３００において、図４に示した対象検出装置１００と共通する構成部分には、図４と同一符号を付して詳しい説明を省略する。

実施の形態２は、特定情報と識別子との対応付けの手順が、実施の形態１のものと異なる。図１４に示す対象検出装置３００は、図４に示した対象検出装置１００と比較して、対応付け部３０６の内部構成が対応付け部１０６と異なる。

対応付け部３０６は、対応付け判定部３５１、近傍特徴情報追加部３５２および類似度計算部１５３を有し、指定された特徴情報に対応付けられる識別子を求める。

対応付け判定部３５１は、判定の対象としている１つ以上の特徴情報が共通して対応付けられる可能性のある識別子が１つに限定できるかどうかを判定し、その結果を出力する。

近傍特徴情報追加部３５２は、指定された特徴情報に対して、類似度が近傍の特徴情報を求め、対応付け判定部３５１に出力する。

次に、対応付け部３０６が、履歴管理部１０５に管理されている特徴情報の中から、指定された特徴情報に対応付けられる識別子を求める場合について、具体的に説明する。

ここでは、履歴管理部１０５において管理されている履歴情報が、実施の形態１で例に挙げた図６と同様であるとし、対応付け部３０６が、特徴情報（１００、１０）の識別子を求めることを要求されたものとする。

この場合、対応付け部３０６は、図１５に示す動作手順に従って、指定された特徴情報（１００、１０）と識別子との対応付けを行う。図１５は、本実施の形態に係る対応付け部３０６の動作手順を示すフロー図である。

ステップ２１：対応付けの可否を判定する。
対応付け判定部３５１は、特徴情報が対応付けられる可能性のある識別子の数が１個に限定することができるかどうかを判断する。

本例では、特徴情報（１００、１０）に対応する可能性がある識別子は、ＩＤ１１とＩＤ２２の２つあり、対応付け判定部３５１は、識別子を１個に限定することができない（ステップ２１；ＮＯ）。

ステップ２２：近傍特徴情報を選択する。
ステップ２１において、識別子を１つに限定することができない場合（ステップ２１；ＮＯ）、近傍特徴情報追加部３５２は、類似度計算部１５３が計算した類似度に基づく近傍の特徴情報を選択する。

本例では、近傍特徴情報追加部３５２は、特徴情報（１００、１０）の最も近傍の特徴情報（９５、１５）を選択する。

ステップ２３：対応付けの可否を判定
対応付け判定部３５１は、近傍特徴情報追加部３５２が選択した特徴情報を判定の対象として加えて、判定の対象となっている全ての特徴情報に共通する識別子が１個に限定されるかどうかを判断する。

本例では、特徴情報（９５、１５）に対応する可能性がある識別子は、ＩＤ２２とＩＤ３３である。よって、特徴情報（１００、１０）および特徴情報（９５、１５）がともに対応する可能性がある識別子はＩＤ２２のみであるの、対応付け判定部３５１は、識別子を１個に限定することができる（ステップ２３；ＹＥＳ）。

ステップ２４：特徴情報と識別子とを対応付ける。
ステップ２１またはステップ２３において、識別子を１つに限定することができた場合（ステップ２１；ＹＥＳ、ステップ２３；ＹＥＳ）、対応付け判定部３５１は、求めた識別子を、指定された特徴情報に対応付ける。更に、対応付け判定部３５１は、対応付けの結果を示す情報を、表示部１０９に出力する。

本例では、対応付け判定部３５１は、特徴情報（１００、１０）と特徴情報（９５、１５）とに、ＩＤ２２をそれぞれ対応付ける。

ステップ２５：異常判定を行う。
ステップ２３において、識別子を１つに限定することができない場合（ステップ２３；ＮＯ）、対応付け判定部３５１は、ステップ５で１つ以上の特徴情報に共通する識別子が０個になるかどうかを判断する。

そして、共通する識別子が０個にならない場合、近傍特徴情報追加部３５２および対応付け判定部３５１は、ステップ２２，２３の処理を繰り返す（ステップ２５；ＮＯ）。

ステップ２６：異常発生時の処理を行う。
無線端末を持たない人物が撮影範囲に入った場合や、無線端末を交換した場合には、共通する識別子が存在しない場合がある（ステップ２５；ＹＥＳ）。この場合、異常出力部１０７は、異常であると判断し、判断結果を表示部１０９に出力する。これにより、無線端末の不所持や交換といった異常を検知することができる。

図１６は、図６の時刻ｔ１の撮影画像に、指定された特徴情報の識別子を重ねて表示した表示画像の一例を示す図である。表示部１０９は、対応付け部３０６が求めた結果を用いて、撮影画像内に撮影されている、指定された特徴情報の人物領域の周辺に、その人物が保持する無線端末の識別子が分かるような表示を行う。図１６の例では、表示部１０９は、特徴情報（１００、１０）に対応する人物領域の周辺に「ＩＤ２２」および矢印を表示する。

以上のように、本実施の形態によれば、特定の特徴情報に対応する識別子だけを求めることができる。これにより、実施の形態１で示した、一括で特徴情報と識別子とを対応付ける方法と比較して、計算量を低減させることができる。また、状況に応じて実施の形態１と実施の形態２の手法を使い分けることができる。

なお、本発明では、実施の形態１あるいは実施の形態２で挙げた、特徴情報と識別子の対応付けの手法を、適宜切り換えて用いてもよい。

（実施の形態３）
図１７、図１８は、本発明の実施の形態３に係る対象検出装置の構成を示すブロック図である。図１９は、本発明の実施の形態３に係る対象検出装置を含むシステム構成を示す図である。なお、図１７に示す対象検出装置４００において、図４に示した対象検出装置１００と共通する構成部分には、図４と同一符号を付して詳しい説明を省略する。また、図１８に示す対象検出装置５００において、図１４に示した対象検出装置３００と共通する構成部分には、図１４と同一符号を付して詳しい説明を省略する。図１９において、一
つの対象検出装置４００が、複数の撮影部１００１〜１００３、複数の読み取り部１０１１〜１０１３および対象検出装置１００を有する構成を示している。対象検出装置１００は、複数の撮影部１００１〜１００３および複数の読み取り部１０１１〜１０１３からの特徴情報と識別子との対応付けを行う。

図１７に示す対象検出装置４００は、図４に示した対象検出装置１００と比較して、対応付け部１０６の内部に類似度重み付け部１５６を追加した構成をとる。図１８に示す対象検出装置５００は、図１４に示した対象検出装置３００と比較して、対応付け部３０６の内部に類似度重み付け部１５６を追加した構成をとる。

類似度重み付け部１５６は、重み付け係数を算出し、類似度計算部１５３に出力する。

類似度計算部１５３は、算出した特徴情報のベクトル間距離に、類似度重み付け部１５６から出力された重み付け係数を乗算することにより、ベクトル間距離を補正する。

以下、類似度重み付け部１５６における重み付け係数の算出方法について、その一例を挙げて説明する。

異なる時間帯に撮影された画像は、光の当たり具合や服装、髪型の変化など撮影条件が異なる。したがって、同一人物の特徴情報であっても、異なる時間帯の撮影画像から抽出された特徴情報である場合には、ベクトル間距離が大きくなってしまうことがある。

そこで、類似度重み付け部１５６は、ベクトル間距離の計算の対象となる特徴情報が撮影された時間帯が離れているほど、ベクトル間距離が小さくなるように、重み付け係数を算出する。

これにより、異なる時間帯に撮影された画像から抽出された同一人物の特徴情報の類似度を、より正確に判定することができる。

また、異なるカメラで撮影された撮影画像は、光の当たり具合の変化など撮影条件が異なる。したがって、同一人物の特徴情報であっても、異なるカメラの撮影画像から抽出された特徴情報である場合には、ベクトル間距離が大きくなってしまう場合がある。

そこで、類似度重み付け部１５６は、撮影条件に基づいて、重み付け係数を算出する。撮影条件は、例えば、カメラＩＤや撮影時のホワイトバランス情報などがある。この場合、特徴情報抽出部１０３は、撮影部１０１からカメラＩＤやホワイトバランス情報を取得し、特徴情報と一緒に履歴管理部１０５に登録する。カメラＩＤやホワイトバランス情報を含めて履歴管理部１０５が管理するデータ形式の例を図２０に示す。

これにより、異なるカメラで撮影された画像から抽出された同一人物の特徴情報の類似度を、より正確に判定することができる。

また、数日も経過した場合には人物の外見が大幅に変化し、特徴情報のベクトル間距離が大きくなってしまう場合がある。

そこで、類似度重み付け部１５６は、人物の外見が大幅に変化しない一定の時間帯の履歴情報のみを用いて、推測を行うことができるようにする。このために、類似度重み付け部１５６は、ベクトル間距離の計算の対象となる特徴情報が撮影された時間の差が、所定の閾値より離れている場合には、重み付け係数を最大に設定する。

これにより、同一人物の外見が大幅に変化したことに起因して類似度の精度が下がることを防ぐことができる。

なお、上記各実施の形態では、撮影部１０１と、当該撮影部１０１の撮影範囲を含む範囲において電波を受信する読み取り部１０４と、を複数組用いてもよい。この場合、履歴管理部１０５は、同じ範囲を撮影、受信する撮影部１０１と読み取り部１０４によるデータであることを付加情報として付加した上で、１つ以上の特徴情報と１つ以上の識別子を履歴情報として管理する。

また、上記各実施の形態では、移動物体が人物の場合について説明したが、本発明はこれに限られず、人物以外の移動物体にも適用することができる。

また、本発明は、デジタルカメラに適用することができる。この場合、上記各実施の形態で用いられる対象検出装置の機能をデジタルカメラに併せ持たせることによって、写真撮影した際に写っている人物のＩＤを特定することが可能となる。これにより、本発明は、撮影した写真を写っている人物のＩＤに対応するアドレスへ自動的に送るアプリケーションと組み合わせることにより、デジタルカメラの付加価値を高めることができる。

また、本発明は、スーパーやデパートなどにおけるマーケティング活動に利用する、といったマーケティング・アプリケーションにも適用することができる。マーケティング・アプリケーションの適用例は、例えば、ユーザのＩＤとその行動履歴とを対応付けて検出する対象検出装置を、店内に配置することである。

なお、上記各実施の形態で用いられる対象検出装置は、パソコン等の汎用コンピュータによって実施可能である。この場合、対応付け部の処理を含む各処理は、例えば、ＣＰＵがコンピュータのメモリに格納された対応するソフトウェアプログラムを読み出して実行処理することにより実現される。また、対応付け部の処理を含む各処理は、対応するＬＳＩチップを搭載した専用機器によって実現してもよい。

２００８年８月８日出願の特願２００８−２０６１１１の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

本発明は、撮影画像内に検出された人物等の移動物体と無線端末の識別子とを対応付ける対象検出装置に用いるに好適である。

１００、３００、４００、５００ 対象検出装置
１０１、１００１、１００３ 撮影部
１０２ 人物切り出し部
１０３ 特徴情報抽出部
１０４、１０１１、１０１３ 読み取り部
１０５ 履歴管理部
１０６、３０６ 対応付け部
１０７ 異常出力部
１０８ 画像記憶部
１０９ 表示部
１５１、３５１ 対応付け判定部
１５２ クラスタリング部
１５３ 類似度計算部
１５４ クラスタ対応付け部
１５５ クラスタ数決定部
１５６ 類似度重み付け部
３５２ 近傍特徴情報追加部

Claims (15)

1. 撮影画像に映っている少なくとも１つの移動物体の特徴情報を抽出する特徴情報抽出部と、
   前記移動物体が保持する無線端末の識別子を読み取る読み取り部と、
   前記特徴情報と前記識別子とを関連付けて保存する履歴管理部と、
   前記履歴管理部に保存された前記特徴情報と前記識別子とを、前記特徴情報間の類似度と、前記特徴情報と前記識別子との間の前記関連付けとに基づいて対応付ける対応付け部と、
   を具備する対象検出装置。
2. 前記対応付け部は、
   前記履歴管理部に保存された複数の前記特徴情報を、前記特徴情報間の類似度に基づいて部分集合に分類し、
   前記特徴情報と前記識別子との間の前記関連付けに基づいて、前記部分集合と前記識別子とを対応付ける、
   請求項１記載の対象検出装置。
3. 前記対応付け部は、
   前記部分集合に対応付けられた識別子が１つである場合には、前記部分集合の要素である全ての特徴情報と前記識別子とを対応付ける、
   請求項２記載の対象検出装置。
4. 前記対応付け部は、
   複数の識別子に対応付けられた部分集合が存在する場合、あるいは、１つも識別子に対応付けられない部分集合が存在する場合に、異常であると判定する、
   請求項２に記載の対象検出装置。
5. 前記履歴管理部に保存されている異なる識別子の数を、前記部分集合の数の上限として設定する部分集合数決定部をさらに備える、
   請求項２に記載の対象検出装置。
6. 前記対応付け部は、
   指定された特徴情報が属する前記部分集合に対応付けられた識別子が１つである場合には、前記指定された特徴情報と前記識別子とを対応付け、
   前記指定された特徴情報が属する前記部分集合に対応付けられた識別子が複数存在する場合には、前記履歴管理部に保存された他の特徴情報から前記指定された特徴情報との類似度が最も高い特徴情報を抽出し、
   前記指定された特徴情報と前記抽出された特徴情報との間で共通する識別子を求めることにより、前記指定された特徴情報に対応する識別子を特定する、
   請求項１記載の対象検出装置。
7. 前記対応付け部が、前記抽出された特徴情報が含む１つ以上の識別子と共通する識別子が求められた際に、前記共通する識別子が存在しなかった場合に、異常であると判定する、
   請求項６記載の対象検出装置。
8. 前記対応付け部は、
   特徴情報間の類似度を算出する際に、特徴情報に対応する移動物体を撮影した時刻の差が離れているほど類似度が小さくなるように、類似度に対して重み付けを行う、
   請求項１に記載の対象検出装置。
9. 前記対応付け部は、
   特徴情報同士の類似度を算出する際に、特徴情報に対応する移動物体を撮影した撮影部の撮影状況や撮影環境を表す撮影パラメータの差に応じて類似度に重み付けを行う、
   請求項１に記載の対象検出装置。
10. 前記対応付け部は、
    前記履歴管理部に保存された全ての前記特徴情報および前記識別子のうち、特定の時間帯の前記特徴情報および前記識別子のみを用いて対応付けを行う、
    請求項１に記載の対象検出装置。
11. 前記撮影画像に映っている移動物体の数を検知する画像状況検知部をさらに備え、
    前記読み取り部は、前記画像状況検知部が前記撮影画像に映っている移動物体の増加又は減少を検知した場合に読み取りを行う、
    請求項１に記載の対象検出装置。
12. 前記読み取り部が読み取る識別子の数を検知する識別子状況検知部をさらに備え、
    前記特徴情報抽出部は、前記識別子状況検知部が識別子の増加又は減少を検知した場合に特徴情報の抽出を行う、
    請求項１に記載の対象検出装置。
13. 前記撮影部によって撮影画像内に撮影されている移動物体の特徴情報に対応する識別子を前記撮影画像内に重ねて表示する表示部をさらに備える、
    請求項１に記載の対象検出装置。
14. 前記特徴情報は、画像中の移動物体の特徴を示すｎ個の成分値からなるｎ次元ベクトルで表現され、
    前記対応付け部は、前記特徴情報間の類似度を、ｎ次元ベクトルとして表現された特徴情報のベクトル間距離として算出する、
    請求項１に記載の対象検出装置。
15. 撮影画像に映っている少なくとも１つの移動物体の特徴情報を抽出する特徴情報抽出工程と、
    前記移動物体が保持する無線端末の識別子を読み取る読み取り工程と、
    前記特徴情報と前記識別子とを関連付けてメモリに保存する履歴管理工程と、
    前記メモリに保存された前記特徴情報と前記識別子とを、前記メモリに保存された特徴情報間の類似度と、前記特徴情報と前記識別子との間の前記関連付けとに基づいて対応付ける対応付け工程と、
    を具備する対象検出方法。

Images