JP5994397B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法およびプログラムに関する。

カメラは、今やいたるところに存在する。例えば、交通機関やショッピング施設などの人が集まる場所には、警備などのための監視カメラが多く備えつけられている。また、携帯電話などの端末装置にカメラを搭載することもごく一般的になってきている。それゆえ、カメラによって画像が撮像される局面が、飛躍的に増加している。

そのような中、カメラによって撮像された画像を活用する技術も進展している。例えば、特許文献１には、画像に映っている顔を識別するための学習方法に関する技術が記載されている。このように、画像の被写体を自動的に識別して、識別結果を活用する技術が、多く提案されている。

特開２０１２−０８３９３８号公報

上記の特許文献１に記載の技術のように、画像解析によって画像の被写体を識別するためには、予め被写体のサンプル画像を登録したり、学習によって被写体の画像の特徴量を把握したりする工程が必要である。つまり、例えば画像に映っているユーザを識別するためには、ユーザが映った画像のデータが予め与えられていなければならない。

しかしながら、ユーザの顔の画像は、個人情報の最たるものであり、そのデータを登録することには、抵抗を感じるユーザが多い。また、撮像された画像において、ユーザは必ずしも顔を向けて映っているとは限らず、そのような場合には顔の画像を用いたユーザの識別は困難である。

そこで、本開示では、ユーザの画像などを予め登録することなく、画像に映っているユーザを識別する情報を得ることが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提案する。

本開示によれば、対象物に関連する画像の解析によって検出された、上記対象物の動作を示す第１の動作情報を取得する第１の取得部と、上記対象物に携帯または装着された端末装置のセンサの出力から検出された、上記対象物の動作を示す第２の動作情報を取得する第２の取得部と、上記第１の動作情報と上記第２の動作情報とをマッチングして上記対象物と上記端末装置との関係を特定するマッチング部とを含む情報処理装置が提供される。

また、本開示によれば、対象物に関連する画像の解析によって検出された、上記対象物の動作を示す第１の動作情報を取得することと、上記対象物に携帯または装着された端末装置のセンサの出力から検出された、上記対象物の動作を示す第２の動作情報を取得することと、上記第１の動作情報と上記第２の動作情報とをマッチングして上記対象物と上記端末装置との関係を特定することとを含む情報処理方法が提供される。

また、本開示によれば、対象物に関連する画像の解析によって検出された、上記対象物の動作を示す第１の動作情報を取得する機能と、上記対象物に携帯または装着された端末装置のセンサの出力から検出された、上記対象物の動作を示す第２の動作情報を取得する機能と、上記第１の動作情報と上記第２の動作情報とをマッチングして上記対象物と上記端末装置との関係を特定する機能とをコンピュータに実現させるためのプログラムが提供される。

本開示の実施形態では、画像に関連する対象物が、動作情報を用いて特定される。画像から第１の動作情報を検出するためには、対象物個別の画像の登録は特に必要ではない。一方、対象物の特定は、対象物に携帯または装着された端末装置のセンサによって取得される第２の動作情報が第１の動作情報とマッチングされることで実現される。端末装置と対象物とを少なくとも一時的に対応付ける情報は必要になるが、それ以外の情報については、予め登録しなくても、画像に映っているユーザを識別することが可能である。

以上説明したように本開示によれば、ユーザの画像などを予め登録することなく、画像に映っているユーザを識別する情報を得ることができる。

本開示の第１の実施形態における動作情報のマッチングの処理を概略的に説明するための図である。 本開示の第１の実施形態における加速度を用いた動作情報取得について説明するための図である。 本開示の第１の実施形態において用いられうる加速度情報の例を示す図である。 本開示の第１の実施形態において用いられうる加速度情報の例を示す図である。 本開示の第１の実施形態において広告配信サービスを提供するための概略的なシステム構成を示す図である。 本開示の第１の実施形態において広告配信サービスを提供するための概略的なシステム構成の変形例を示す図である。 本開示の第１の実施形態に係る端末装置の概略的な機能構成を示すブロック図である。 本開示の第１の実施形態に係るマッチングサーバの概略的な機能構成を示すブロック図である。 本開示の第１の実施形態に係るモニタサーバの概略的な機能構成を示すブロック図である。 本開示の第１の実施形態に係る広告配信サーバの概略的な機能構成を示すブロック図である。 本開示の第２の実施形態において測位サービスを提供するための概略的なシステム構成を示す図である。 本開示の第２の実施形態に係る位置配信サーバの概略的な機能構成を示すブロック図である。 本開示の第３の実施形態における概略的なシステム構成を示す図である。 本開示の第４の実施形態について概略的に説明するための図である。 本開示の第５の実施形態における概略的なシステム構成を示す図である。 本開示の第５の実施形態における概略的なシステム構成の変形例を示す図である。 情報処理装置のハードウェア構成について説明するためのブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１−１．処理の概略
１−２．センサからの動作情報の取得
１−３．マッチングの具体的な例
１−４．サービス提供のためのシステム構成
１−５．各装置の機能構成
２．第２の実施形態
２−１．サービス提供のためのシステム構成
２−２．装置の機能構成
２−３．画像処理のさらなる利用
３．第３の実施形態
４．第４の実施形態
５．第５の実施形態
６．ハードウェア構成
７．補足

（１．第１の実施形態）
まず、図１〜図４を参照して、本開示の第１の実施形態について説明する。本実施形態では、例えばショッピングモールなどに設置された監視カメラなどの画像の中で指定されたターゲットユーザについて、そのユーザが携帯している端末装置を特定し、広告情報を端末装置にプッシュ送信する。これによって、画像から認識される“広告情報を送りたいユーザ”に、端末装置を介して広告情報を提供することができる。

（１−１．処理の概略）
図１は、本開示の第１の実施形態における動作情報のマッチングの処理を概略的に説明するための図である。図示されているように、本実施形態におけるマッチングの処理では、一つの入力として、各ユーザが所持している端末装置の加速度センサで計測した歩行ピッチと位相とがマッチングサーバにアップロードされる（Ｓ１）。また、もう一つの入力として、複数のユーザが映っている監視カメラの画像においてターゲットユーザが選択され（Ｓ２）、画像の解析によってターゲットユーザの歩行ピッチと位相とが取得される（Ｓ３）。マッチングサーバでは、上記の端末装置からの入力と、監視カメラからの入力とをマッチングして、ターゲットユーザの端末装置がどれであるかを特定する（Ｓ４）。ターゲットユーザの端末装置には、例えば画像から判定されるそのユーザの属性に応じた広告情報や、ユーザの位置情報がプッシュ方式で通知される（Ｓ５）。

（１−２．センサからの動作情報の取得）
次に、本実施形態におけるセンサからの動作情報の取得について説明する。上記のように、本実施形態では、端末装置の加速度センサによってユーザの動作情報を取得する。そこで、加速度を用いた動作情報の取得について、以下で例を示して詳細に説明する。

なお、端末装置で動作情報の取得のために用いられるセンサとしては、ジャイロセンサや気圧センサなど各種のセンサが用いられてもよい。また、これらのセンサが、加速度センサと併用されてもよい。なお、気圧センサは、気圧の測定によって端末装置の高度の情報を取得することが可能なセンサである。

図２は、本開示の第１の実施形態における加速度を用いた動作情報取得について説明するための図である。図示されているように、本実施形態では、加速度センサの出力からユーザの歩行動作を検出する。

ここでは、歩行動作におけるユーザの体の上下動と進行方向の加速度とに注目している。上下動についてみると、両足が揃って頭が上がりきった時（または、足を踏み出して頭が下がりきった時）が、鉛直方向の加速度が最小になる時として特定される。従って、端末装置の加速度センサの測定結果がユーザの歩行動作を示している場合、鉛直方向の加速度が最小になる時刻（センサによって検出された歩行動作の特徴点）と、画像内で歩行動作をしているユーザの画像を解析して検出された、ユーザの両足が揃って頭が上がりきった時刻（画像から検出された歩行動作の特徴点）とを時間軸上でマッチングすれば、画像に映っているユーザと端末装置を携帯しているユーザとを対応付けることが可能である。

あるいは、加速度センサの測定結果と画像の解析結果のそれぞれにおいて、歩行動作における１歩の時間間隔が特定されるため、この時間間隔をマッチングさせることによって、画像に映っているユーザと端末装置を所持しているユーザとを対応付けてもよい。

一方、進行方向の加速度についてみると、ユーザが足を踏み出すと、ユーザの体が前方の倒れかかることによって加速度が増大し、踏み出した足が接地すると加速度が減少に転じる。このような進行方向の加速度でも、上記の鉛直方向の加速度の場合と同様に、歩行動作の特徴点を時間軸上でマッチングさせることが可能である。例えば、水平方向の加速度が最大になる時刻（加速度が減少に転じる点）と、ユーザの画像を解析して検出された、ユーザの踏み出した足が接地した時刻とを時間軸上でマッチングすれば、画像に映っているユーザと端末装置を携帯しているユーザとを対応付けることが可能である。あるいは、進行方向の加速度についても、歩行動作における１歩の時間間隔を特定し、時間間隔によるマッチングを実行してもよい。

図３および図４は、本開示の第１の実施形態において用いられうる加速度情報の例を示す図である。

図３は、ユーザが端末装置を胸ポケットに入れている場合の鉛直方向の加速度の例を示す。胸ポケットなどの上半身に端末装置が携帯されている場合、歩行中に右足を踏み出した場合と左足を踏み出した場合との加速度波形はほぼ同じになる。

一方、図４は、ユーザが端末装置を尻ポケットに入れている場合の加速度の例である。尻ポケットなどの下半身に端末装置が携帯されている場合、歩行中に右足を踏み出した場合と左足を踏み出した場合との加速度波形は異なる。

しかし、図３および図４に示したどちらの場合も、加速度が最小となる特徴点は明確に現れるため、右足での踏み出し、左足での踏み出しにかかわらず、１歩の時間間隔（周期）と、鉛直方向の加速度が最小になる位相とを抽出することが可能である。

また、上記のように、上半身に端末装置を携帯している場合と下半身に端末装置を携帯している場合との波形の傾向には相違がある。また、例えば端末装置の表示部（液晶など）が起動されているか否かの情報を利用すれば、ユーザが端末装置の表示を見ながら歩いているかどうかも判定可能でありうる。この違いを利用して、例えば、端末装置の所持位置などから、送信された広告情報などに気づいてその場で見る可能性が高いと推定されるユーザに情報を送信してもよい。また、動作の特徴点が抽出されるのは、上記のような周期的な動作の場合に限らず、例えば立ち止まる、端末装置を取り出すなど、一過性の動作が特徴点として抽出されてもよい。

（１−３．マッチングの具体的な例）
次に、上記のようにセンサから取得された動作情報と、画像を解析して取得された動作情報とをマッチングする処理の具体的な例について、さらに説明する。なお、画像を解析して動作情報を取得する処理については、公知の画像解析技術を用いることが可能であるため、詳細な説明は省略する。

例えば、端末装置の加速度センサによって取得された鉛直方向の加速度の解析結果から、以下のように、各端末装置（端末Ａ，端末Ｂ，端末Ｃ）において鉛直加速度が極小になる時刻のデータが取得される。

一方、ターゲットユーザの画像解析から、以下のように、ユーザの頭が最も上がっている、またはユーザの両足が揃っている時刻のデータが取得される。

マッチングの処理では、各端末装置から取得された時刻データのうち、画像から取得された時刻データとの間の差が最も小さい時刻データを提供した端末装置を、ターゲットユーザが携帯している端末装置として特定する。例えば、具体的には以下のように差分値ＥｒｒＡ〜ＥｒｒＣを計算し、最も小さい差分値の端末装置を探す。

ただし、場合によっては、情報を提供している端末装置を携帯しているユーザが画像に映っていないというような場合もありうるため、差分値が所定の閾値より大きかった場合には、“該当なし”という判定をしてもよい。

上記の時刻データは、例えばＵＴＣ（Coordinated Universal Time）を共通で用いるなどして誤差がないことが望ましいが、各装置の時計のずれなどによって時刻に誤差が発生する場合もありうる。そのような場合には、以下のように誤差δの値を加味して上記の差分値を算出してもよい。

誤差δは、端末Ａ〜端末Ｃのそれぞれについて設定される。まず、誤差δ_Ａ，δ_Ｂ,δ_Ｃを、端末装置から送信される情報のタイムスタンプがとりうる誤差の範囲で変化させ、差分値ＥｒｒＡ，ＥｒｒＢ，ＥｒｒＣのそれぞれが最小になるように誤差δ_Ａ，δ_Ｂ,δ_Ｃを設定する。ただし、これによって各端末装置を間違ったユーザにマッチングさせてしまう可能性もあるため、可能であれば端末装置でのセンサ検出結果と、取得された画像データとに共通するタイムスタンプが付加されていることが望ましい。

なお、例えば上記の図２〜図４の例では、ユーザの歩行動作が定常的に行われている例を紹介したが、必ずしもそのような動作ばかりがマッチングの対象になるわけではない。例えば、ユーザが立ち止まったり、向きを変えたり、再び歩きだしたりといったような非定常な動作も、マッチングの対象になる。むしろ、そのような動作の方が、開始点や終了点などの特徴点が抽出しやすく、マッチングが容易である場合もある。

上記で説明したマッチングの例は一例であり、本開示の他の実施形態では異なるマッチング処理が実行されうる。他の実施形態でのマッチング処理は、例えば、相関係数を求める処理など、公知の各種のマッチング処理でありうる。

（１−４．サービス提供のためのシステム構成）
図５は、本開示の第１の実施形態において広告配信サービスを提供するための概略的なシステム構成を示す図である。システムは、端末装置１００と、マッチングサーバ２００と、モニタサーバ３００と、カメラ４００と、広告配信サーバ５００とを含む。以下、システムの各構成要素の動作を順に説明する。

なお、端末装置１００は、ユーザによって携帯される携帯電話（スマートフォンを含む）やタブレット型ＰＣ（Personal Computer）などであり、後述する情報処理装置のハードウェア構成を用いて実現されうる。マッチングサーバ２００、モニタサーバ３００、および広告配信サーバ５００は、ネットワーク上にある１または複数のサーバ装置によって実現されうる。例えば、各サーバの機能をまとめて１つのサーバ装置が実現してもよいし、各サーバの機能がさらに複数のサーバ装置に分散して実現されてもよい。個々のサーバ装置は、後述する情報処理装置のハードウェア構成を用いて実現されうる。また、サーバ装置が複数ある場合、各サーバ装置は有線または無線の各種のネットワークによって接続される（以下で説明する本開示の他の実施形態における他のサーバについても同様）。

まず、端末装置１００と広告配信サーバ５００との間では、サービス登録（Ｓ１０１）およびアカウント発行（Ｓ１０２）が実行される。これは、端末装置１００のユーザが、上述したようなマッチングに基づく広告配信のサービスを利用するための登録である。この登録によって、端末装置１００からは、マッチングサーバ２００に、アカウント情報とともにセンサ情報（またはセンサ情報から抽出された動作情報）が、時刻情報（タイムスタンプ）とともに提供されるようになる（Ｓ１０３）。

なお、Ｓ１０１におけるサービスの登録は、その登録情報によってユーザを識別するためのものではない。従って、この登録では、ユーザの顔画像などの個人情報は登録されなくてよい。ユーザから広告配信サーバ５００に提供される情報は、少なくとも後述する広告配信の際の送信先（メールアドレス、デバイスＩＤ、またはプッシュ通知用のトークンなど）を含んでいればよい。

また、Ｓ１０３において、センサ情報は、アカウント情報、および時刻情報に加えて、概略の位置情報とともに端末装置１００からマッチングサーバ２００に提供されてもよい。これは、例えば、“ショッピングモールにいる”といったような、端末装置の大まかな位置を示す情報であり、例えばＧＰＳ（Global Positioning System）や、Ｗｉ−Ｆｉ（Wireless Fidelity）のアクセスポイント、または携帯基地局を用いた測位などによって取得されうる。これによって、マッチングサーバ２００は、カメラ４００によって画像が取得される範囲に存在しうるユーザをある程度限定することができ（例えば、カメラ４００があるショッピングモールに設置されている場合、ショッピングモールにいないユーザの端末装置はマッチングの対象外にしてよい）、マッチングの処理負荷が軽減されうる。

一方、カメラ４００は、モニタサーバ３００に画像を提供している。モニタサーバ３００では、例えば、広告主体である店舗などのユーザが、画像を見て広告を配信したいと思ったユーザを選択することによってターゲットユーザを指定する（Ｓ１０４）。あるいは、ターゲットユーザは、画像を解析して得られたユーザの位置（店舗の近くにいる、など）や属性（例えば性別、年齢など）を、広告主体のユーザが予め設定した条件でフィルタリングすることで自動的に選択されてもよい。

モニタサーバ３００は、ターゲットユーザが指定されると、カメラ４００から提供された画像（動画像）と、指定されたターゲットユーザの画像内での座標、および画像が取得された時刻の情報を、マッチングサーバ２００に提供する（Ｓ１０５）。ここで、モニタサーバ３００は、さらに、カメラ４００の位置の情報を、マッチングサーバ２００に提供してもよい。例えば、カメラ４００が複数設置されている場合、どの位置に設置されたカメラかを示す位置の情報をマッチングサーバ２００に提供することによって、上記の端末装置１００から提供される概略的な位置情報を合わせて、マッチングの対象を限定し、処理負荷が軽減されうる。なお、別の実施形態として、モニタサーバ３００で画像の解析を実行し、抽出された動作情報をマッチングサーバ２００に提供してもよい。

Ｓ１０３で提供された端末装置１００のセンサ情報と、Ｓ１０５で提供された画像の情報とに基づいて、マッチングサーバ２００でマッチングが実行される（Ｓ１０６）。マッチングの結果、画像において指定されたターゲットユーザに対応する端末装置１００のアカウント情報が抽出される。ターゲットユーザのアカウント情報は、マッチングサーバ２００からモニタサーバ３００に提供される（Ｓ１０７）。

モニタサーバ３００は、ターゲットユーザのアカウント情報を広告配信サーバ５００に提供して、広告の配信を依頼する（Ｓ１０８）。このとき、例えばユーザの位置や属性に従って自動的にターゲットユーザが選択された場合には、ターゲットユーザの位置および属性の情報があわせて提供されてもよい。広告配信サーバ５００は、モニタサーバ３００から提供された情報に従って、ユーザに広告を配信する（Ｓ１０９）。広告はクーポンを含んでもよい。

（変形例）
図６は、本開示の第１の実施形態において広告配信サービスを提供するための概略的なシステム構成の変形例を示す図である。上記の図５の例が、マッチングサーバ２００、モニタサーバ３００、カメラ４００、および広告配信サーバ５００が、広告配信専用のシステムであったのに対し、図６の例は、広告配信に限らない汎用的なマッチングサービスとしてマッチングサーバ２００とカメラ４００とを含むシステムが存在し、それを広告配信サーバ５００が利用する。以下、システムの各構成要素の動作を順に説明する。

まず、端末装置１００と広告配信サーバ５００との間では、サービス登録（Ｓ２０１）およびアカウント発行（Ｓ２０２）が実行される。これは、端末装置１００のユーザが、マッチングに基づく広告配信のサービスを受けるための情報である。一方、広告配信サーバ５００は、広告配信のターゲットユーザの位置と属性を指定する情報を、予めマッチングサーバ２００に提供する（Ｓ２０３）。例えば、ここで提供される位置と属性を示す情報は、“ＡショッピングモールのＢという店の前にいる、２０代男性”といったように、どこにいるどのようなユーザに広告を配信したいかを示す情報でありうる。

端末装置１００からは、マッチングサーバ２００に、広告配信サーバ５００に対応するサービス名およびアカウント情報とともに、センサ情報（またはセンサ情報から抽出された動作情報）が、時刻情報（タイムスタンプ）とともに提供される（Ｓ２０４）。ここで、アカウント情報とともにサービス名の情報が提供されるのは、マッチングサービスが汎用的なサービスとして提供されており、広告配信サーバ５００によって提供されるサービス以外のサービスのために利用される場合もあるためである。マッチングサーバ２００は、例えばこのサービス名の情報によって、端末装置１００から送信されるセンサ情報と、広告配信サーバ５００から提供されるターゲットユーザの情報とを関連付ける。なお、上記の図５の例と同様に、ここでも、端末装置１００の概略の位置情報がマッチングサーバ２００に提供されてもよい。

マッチングサーバ２００は、Ｓ２０３で広告配信サーバから提供されたターゲットユーザの位置を指定する情報に従って、複数あるカメラ４００の中からマッチング対象のカメラを絞り込んでもよい（Ｓ２０５）。また、マッチングサーバは、カメラ４００の画像に映っているユーザの属性を解析し（Ｓ２０６）、広告配信サーバから提供されたターゲットユーザの属性の情報と照合してもよい。例えばこのようにして、マッチングサーバ２００は、カメラ４００の画像に映っているユーザの中からターゲットユーザを抽出する（Ｓ２０７）。

抽出されたターゲットユーザについて、マッチングサーバ２００は、Ｓ２０４で提供された端末装置１００のセンサ情報と、Ｓ２０７までの処理で取得された画像の情報とに基づいて、マッチングを実行する（Ｓ２０８）。マッチングの結果、ターゲットユーザに対応する端末装置１００のアカウント情報が抽出される。ターゲットユーザのアカウント情報は、マッチングサーバ２００から広告配信サーバ５００に提供される（Ｓ２０９）。このとき、例えばＳ２０３で複数の位置および属性の情報が提供されているような場合には、ターゲットユーザの位置および属性の情報があわせて提供されてもよい。広告配信サーバ５００は、マッチングサーバ２００から提供された情報に従って、ユーザに広告を配信する（Ｓ２１０）。広告はクーポンを含んでもよい。

（１−５．各装置の機能構成）
次に、上記の図５または図６のシステムにおける各装置の機能構成について説明する。上述したとおり、以下で説明する各装置の機能構成は、情報処理装置のシステム構成によって実現されうる。

（端末装置）
図７は、本開示の第１の実施形態に係る端末装置の概略的な機能構成を示すブロック図である。図示されているように、端末装置１００は、センサ情報取得部１１０、制御部１２０、通信部１３０、および表示部１４０を含む。端末装置１００は、さらに位置取得部１５０を含んでもよい。

センサ情報取得部１１０は、ユーザの動作を示す各種のセンサである。センサは、例えば、加速度センサ、ジャイロセンサ、気圧センサ、地磁気センサ、カメラなどを含みうる。このうち、加速度センサおよびジャイロセンサは、ユーザの動作による端末装置１００の加速度や角速度の変化を検出する。また、気圧センサは、ユーザの動作による端末装置１００の高度の変化を気圧の変化によって検出する。地磁気センサおよびカメラは、例えば端末装置１００がヘッドマウント型であるような場合に、ユーザの頭の向きや視界の画像などを取得する。

制御部１２０は、例えばＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現され、図示された端末装置１００の機能構成を制御する。制御部１２０は、例えば、端末装置１００にインストールされる、広告配信サービスを利用するためのアプリケーションプログラムでありうる。他の実施形態では、制御部１２０が、センサ情報取得部１１０が取得したセンサ情報を解析してユーザの動作情報を抽出してもよい。

通信部１３０は、例えば通信装置によって実現され、マッチングサーバ２００、または広告配信サーバ５００との間で有線または無線の各種ネットワークを介して通信する。例えば、通信部１３０は、広告配信サーバ５００との間で、サービス登録の申請および発行されたアカウントの情報を送受信する。また、通信部１３０は、マッチングサーバ２００に、センサ情報取得部１１０が取得したセンサ情報を送信する（他の実施形態では、センサ情報を解析して得られたユーザの動作情報を送信してもよい）。さらに、通信部１３０は、マッチングの結果に従って広告配信サーバ５００から送信される広告配信情報を受信する。

表示部１４０は、例えば各種のディスプレイによって実現され、ユーザに各種の情報を呈示する。例えば、表示部１４０には、通信部１３０を介して広告配信サーバ５００から受信された広告情報が表示される。他の実施形態では、表示部１４０とともに、またはこれに代えて音声出力部が設けられ、音声によってユーザに広告情報を出力してもよい。

位置取得部１５０は、上記のように、端末装置１００からマッチングサーバに概略の位置情報を提供する場合に設けられる。位置情報は、例えばＧＰＳや、Ｗｉ−Ｆｉのアクセスポイント、または携帯基地局を用いた測位などによって取得されうる。あるいは、位置情報は、ＲＦＩＤ（Radio Frequency IDentification）、ＩＭＥＳ（Indoor Messaging System）、またはＢｌｕｅｔｏｏｔｈ（登録商標）のアクセスポイントを用いた測位によって取得されてもよい。また、測位の結果だけではなく、測位の精度指標や使用した測位方法の情報もあわせて送信することで、マッチングサーバ２００側で、端末装置１００の位置情報の精度を考慮したマッチング処理が可能である。この場合、例えば、位置情報の精度が高くない端末装置１００については、位置情報に対応するカメラ４００の範囲をより広く設定してもよい。

なお、端末装置１００からマッチングサーバ２００に位置情報を送信することは、必ずしも必要ではない。サービスが提供されるエリアが広い場合には、マッチングの対象になるカメラ４００や端末装置１００の数も多いため、端末装置１００が位置情報を送信することは有効である。しかし、例えば他の実施形態で、エリアやターゲットユーザが限定されている場合には、端末装置１００からマッチングサーバ２００に位置情報を送信しなくてよい。

（マッチングサーバ）
図８は、本開示の第１の実施形態に係るマッチングサーバの概略的な機能構成を示すブロック図である。図示されているように、マッチングサーバ２００は、画像取得部２１０、動作解析部２２０、センサ情報取得部２３０、センサ情報記憶部２４０、マッチング部２５０、および通知部２６０を含む。なお、センサ情報記憶部２４０以外の各部は、例えばＣＰＵを用いてソフトウェア的に実現されうる。

画像取得部２１０は、モニタサーバ３００から（またはカメラ４００から）、画像（動画像）を取得する。上記のように、端末装置１００から位置情報が送信され、その位置情報に従ってマッチングに使用するカメラ４００が選択されている場合、画像取得部２１０によって取得される画像は選択されたカメラ４００からの画像でありうる。また、画像取得部２１０は、画像とともに、画像中でターゲットユーザを指定する情報を取得する。ターゲットユーザは、例えば画像内での座標によって指定されうる。

動作解析部２２０は、画像取得部２１０によって取得された画像を解析して、ターゲットユーザの動作を解析する。上述の通り、ここで用いられる画像解析の手法としては、公知の様々な手法が応用されうる。動作解析部２２０は、例えば上記の歩行動作の例であれば、ターゲットユーザの頭が最も上がっている、またはターゲットユーザの両足が揃っている時刻などを解析によって抽出する。このように、動作解析部２２０によって取得される動作情報は、後述するセンサ情報取得部２３０が取得するセンサ出力に基づく動作情報とマッチングされるため、センサ出力からも検出可能な動作の特徴点を示す情報でありうる。動作解析部２２０によって取得される情報は、ユーザが映っている画像の解析によって検出された、ユーザの動作を示す第１の動作情報ともいえる。

センサ情報取得部２３０は、端末装置１００からセンサ情報を取得する。センサ情報は、端末装置１００について説明したように、例えば加速度センサ、ジャイロセンサ、気圧センサ、地磁気センサ、カメラなどを用いて取得される。センサ情報取得部２３０は、これらのセンサからの出力を連続的に取得してもよいし、例えば上記の歩行動作の例のように、特徴点のタイムスタンプ配列などとして離散的に取得してもよい。センサ情報取得部２３０によって取得される情報は、ユーザが携帯している端末装置のセンサの出力から検出された、ユーザの動作を示す第２の動作情報ともいえる。

センサ情報記憶部２４０は、センサ情報取得部２３０が取得したセンサ情報を記憶する。本実施形態では、画像中でターゲットユーザが指定されるため、動作解析部２２０によって検出される第１の動作情報が、いわば正解としてある。これに対して、センサ情報取得部２３０は複数のユーザの端末装置１００からセンサ情報を第２の動作情報として取得し、第１の動作情報とマッチングする。従って、センサ情報について、複数のユーザの端末装置からのものを少なくとも一時的に蓄積しておく必要がある。なお、画像取得部２１０が取得する画像の情報や、動作解析部２２０またはマッチング部２５０の処理中に生成される情報などを一時的に記憶するメモリは、センサ情報記憶部２４０とは別に設けられうる。

マッチング部２５０は、動作解析部２２０によって取得された第１の動作情報と、センサ情報取得部２３０によって取得されてセンサ情報記憶部２４０に格納された第２の動作情報とをマッチングして、ユーザと端末装置１００との関係を特定する。マッチング部２５０は、例えば上記の歩行動作の例のように、第１の動作情報と第２の動作情報とによってそれぞれ示される動作の特徴点を時間軸上でマッチングさせてもよい。また、センサ情報の種類によって、これ以外のマッチングの例もありうる。以下、そのいくつかの例について説明する。

例えば、センサ情報が気圧センサの出力を含む場合、動作解析部２２０は、画像の解析によってターゲットユーザの高度を推定し、推定された高度の情報を第１の動作情報の１つとしてマッチング部２５０に提供する。マッチング部２５０は、画像から推定されたターゲットユーザの高度と、端末装置１００の気圧センサによって検出された高度とをマッチングしうる。このようなマッチングは、例えば、画像取得部２１０によって取得される画像が、階段やエスカレータ、吹き抜けなどの高度差がある場所を撮像したものである場合に特に有効でありうる。

また、例えば、センサ情報が地磁気センサの出力を含む場合、動作解析部２２０は、画像の解析によってターゲットユーザの頭の向きを特定し、その情報を第１の動作情報の１つとしてマッチング部２５０に提供する。マッチング部２５０は、画像から特定されたターゲットユーザの頭の向きと、端末装置１００（例えばヘッドマウント型）の地磁気センサによって検出されたユーザの頭の向きとをマッチングする。

また、例えば、センサ情報がカメラによって取得されたユーザの視界の画像を含む場合、動作解析部２２０は、画像の解析によってユーザが見ている方向を推定し、推定された情報を第１の動作情報の１つとしてマッチング部２５０に提供する。この解析のために、例えば画像内でどの方向を見た場合には何が見えるかという情報が予めマッチング部２５０に与えられていてもよい。あるいは、マッチング部２５０は、画像内の他のユーザなどをオブジェクトとして認識した結果を動作解析部２２０から取得し、そのオブジェクトをユーザの視界に含まれる画像とマッチングしてもよい。

通知部２６０は、マッチング部２５０におけるマッチングの結果に基づいて、ターゲットユーザのアカウント情報を、モニタサーバ３００または広告配信サーバ５００に通知する。上述のように、通知される情報には、ターゲットユーザの位置および属性の情報が含まれてもよい。

（モニタサーバ）
図９は、本開示の第１の実施形態に係るモニタサーバの概略的な機能構成を示すブロック図である。図示されているように、モニタサーバ３００は、画像取得部３１０、ターゲット指定部３２０、および通信部３３０を含む。モニタサーバ３００は、さらに表示部３４０を含んでもよい。なお、画像取得部３１０およびターゲット指定部３２０は、例えばＣＰＵを用いてソフトウェア的に実現されうる。

画像取得部３１０は、カメラ４００から画像（動画像）を取得する。カメラ４００が複数ある場合、どのカメラ４００の画像を取得するかは後述する表示部３４０を介して選択可能であってもよい。

ターゲット指定部３２０は、画像取得部３１０が取得した画像に映っているユーザの中からターゲットユーザを指定する。ターゲットユーザは、自動的に指定される場合と、ユーザ操作によって指定される場合とがある。ターゲットユーザを自動的に指定する場合、ターゲット指定部３２０は、例えば画像取得部３１０によって取得された画像を解析して、映っているユーザの位置（店舗の近くにいる、など）や属性（例えば性別、年齢など）を取得してもよい。ターゲット指定部３２０は、これらの位置や属性に基づいて、広告主体のユーザが予め設定した条件で画像中のユーザをフィルタリングし、ターゲットユーザを特定してもよい。あるいは、ターゲット指定部３２０は、画像に映っているユーザを検出し、そのすべてをターゲットユーザにしてもよい。

一方、ターゲットユーザをユーザ操作によって指定する場合、ターゲット指定部３２０は、画像取得部３１０によって取得された画像を表示部３４０に提供し、表示部３４０を介して取得されたユーザの操作に従ってターゲットユーザを特定する。上記のいずれの場合も、指定されたターゲットユーザの情報は、例えば画像内での座標の情報として、通信部３３０を介してマッチングサーバ２００に提供されうる。

通信部３３０は、例えば通信装置によって実現され、マッチングサーバ２００、および広告配信サーバ５００との間で有線または無線の各種ネットワークを介して通信する。例えば、通信部３３０は、マッチングサーバ２００に、画像取得部３１０によって取得された画像と、ターゲット指定部３２０によって指定されたターゲットユーザを示す情報とを送信する。また、通信部３３０は、マッチングサーバ２００から、マッチングの結果特定された、ターゲットユーザが携帯している端末装置１００のアカウント情報を受信する。さらに、通信部３３０は、広告配信サーバ５００に、広告配信の依頼として、ターゲットユーザのアカウント情報を送信する。このとき、通信部３３０は、ターゲットユーザの位置および属性の情報をあわせて送信してもよい。

表示部３４０は、画像中のターゲットユーザが、例えば広告主体のユーザの操作によって指定される場合に設けられる。表示部３４０は、例えば各種のディスプレイによって実現され、ユーザに各種の情報を呈示する。例えば、表示部３４０には、画像取得部３１０によって取得された画像が表示される。表示部３４０には、タッチパネルなどの入力部が付属し、これを用いた入力操作によって、画像に映っているユーザの中からターゲットユーザが指定される。表示部３４０には、上記のようにしてターゲットユーザを指定する操作のためのＧＵＩ（Graphical User Interface）が表示されてもよい。

（広告配信サーバ）
図１０は、本開示の第１の実施形態に係る広告配信サーバの概略的な機能構成を示すブロック図である。図示されているように、広告配信サーバ５００は、登録情報取得部５１０、アカウント記憶部５２０、ターゲット情報取得部５３０、広告選択部５４０、および配信部５５０を含む。なお、アカウント記憶部５２０以外の各部は、例えばＣＰＵを用いてソフトウェア的に実現されうる。

登録情報取得部５１０は、端末装置１００との通信によって、端末装置１００のユーザが広告配信サービスを利用するための登録を受け付ける。受け付けられた登録情報は、アカウント記憶部５２０に記録され、端末装置１００のユーザがマッチングによってターゲットユーザとして特定されたときに、広告選択部５４０によって参照される。登録情報は、例えば広告配信の際の送信先（メールアドレス、デバイスＩＤ、またはプッシュ通知用のトークンなど）の情報を含みうる。

ターゲット情報取得部５３０は、モニタサーバ３００（またはマッチングサーバ２００）から、マッチングの結果特定されたターゲットユーザの端末装置１００のアカウント情報を取得する。このとき、ターゲット情報取得部５３０は、ターゲットユーザの位置および属性の情報をあわせて受信してもよい。

広告選択部５４０は、ターゲット情報取得部５３０が取得した情報に従って、配信する広告を選択する。配信される広告は、予め設定されているものであってもよいし、ターゲット情報取得部５３０が取得したターゲットユーザの位置および属性の情報に応じて選択されてもよい。広告選択部５４０は、アカウント記憶部５２０を参照して、広告情報を端末装置１００にプッシュ送信するための送信先（メールアドレス、デバイスＩＤ、またはプッシュ通知用のトークンなど）の情報を取得しうる。

配信部５５０は、広告選択部５４０が選択した広告の情報を、ターゲットユーザの端末装置にプッシュ送信によって配信する。上記のように、配信される情報には、広告に加えてクーポンなどが含まれてもよい。

以上、本開示の第１の実施形態について説明した。なお、本実施形態、および以下で説明される他の実施形態について、画像およびセンサ出力が、そのままデータとしてマッチングサーバ２００に提供されるか、モニタサーバ、カメラまたは端末装置での解析によって得られた動作情報としてマッチングサーバ２００に提供されるかは、例えば各装置の能力などに応じて適宜設計されうる。従って、マッチングサーバ２００において取得される動作情報は、必ずしもマッチングサーバ２００自身が画像やセンサ出力の解析によって抽出したものでなくてもよい。

（２．第２の実施形態）
次に、図１１および図１２を参照して、本開示の第２の実施形態について説明する。本実施形態では、携帯している端末装置から位置情報の通知を要求したターゲットユーザについて、監視カメラなどの画像に映っているユーザの中からそのユーザを特定し、画像から認識される位置情報を端末装置に送信する。これによって、他の方法によって高精度な位置情報を得ることが難しい屋内などでも、精度の高い位置情報をユーザに提供することができる。

なお、本実施形態は、ユーザの動作情報の取得や、動作情報のマッチングなどといった点については、上記の第１の実施形態と共通でありうる。それゆえ、これらの点については詳細な説明を省略する。

（２−１．サービス提供のためのシステム構成）
図１１は、本開示の第２の実施形態において測位サービスを提供するための概略的なシステム構成を示す図である。システムは、端末装置１００と、マッチングサーバ２００と、モニタサーバ３００と、カメラ４００と、位置配信サーバ６００とを含む。以下、システムの各構成要素の動作を順に説明する。

まず、端末装置１００と位置配信サーバ６００との間では、サービス登録（Ｓ３０１）およびアカウント発行（Ｓ３０２）が実行される。これは、端末装置１００のユーザが、上述したようなマッチングに基づく測位サービスを利用するための登録である。この登録によって、端末装置１００からは、マッチングサーバ２００に、アカウント情報とともにセンサ情報（またはセンサ情報から抽出された動作情報）が、時刻情報（タイムスタンプ）とともに提供されるようになる（Ｓ３０３）。

なお、第１の実施形態と同様に、Ｓ３０１におけるサービスの登録は、その登録情報によってユーザを識別するためのものではない。従って、この登録では、ユーザの顔画像などの個人情報は登録されなくてもよい。ユーザから位置配信サーバ６００に提供される情報は、少なくとも後述する位置配信の際の送信先（メールアドレス、デバイスＩＤ、またはプッシュ通知用のトークンなど）を含んでいればよい。

また、Ｓ１０３において、センサ情報は、アカウント情報、および時刻情報に加えて、概略の位置情報とともに端末装置１００からマッチングサーバ２００に提供されてもよい。これは、例えば、“ショッピングモールにいる”といったような、端末装置の大まかな位置を示す情報であり、例えばＧＰＳや、Ｗｉ−Ｆｉのアクセスポイント、または携帯基地局を用いた測位などによって取得されうる。これによって、第１の実施形態と同様にマッチングの処理負荷が軽減されうる。なお、後に位置配信サーバ６００から端末装置１００に配信される位置情報は、ここで送信される概略の位置情報よりもずっと詳細な位置情報である。

一方、モニタサーバ３００は、カメラ４００から画像を取得する（Ｓ３０４）。第１の実施形態の場合とは異なり、この時点では画像に映っているユーザのうちのどれが位置情報を要求しているユーザであるかは未知である。従って、必ずしもモニタサーバ３００でターゲットは指定されない。モニタサーバ３００は、カメラ４００から提供された画像（動画像）、および画像が取得された時刻の情報を、マッチングサーバ２００に提供する（Ｓ３０５）。ここで、モニタサーバ３００は、さらに、カメラ４００の位置の情報を、マッチングサーバ２００に提供してもよい。これによって、第１の実施形態と同様にマッチングの処理負荷が軽減されうる。ここでも、別の実施形態として、モニタサーバ３００で画像の解析を実行し、抽出された動作情報をマッチングサーバ２００に提供してもよい。

Ｓ３０３で提供された端末装置１００のセンサ情報と、Ｓ３０５で提供された画像の情報とに基づいて、マッチングサーバ２００でマッチングが実行される（Ｓ３０６）。マッチングの結果、センサ情報を送信した端末装置１００に対応する画像中のユーザ（ターゲットユーザ）が抽出される。マッチングサーバ２００は、画像の中でターゲットユーザを特定する情報、例えばターゲットユーザの画像内での座標の情報を、ターゲットユーザの端末装置１００に対応するアカウント情報とともにモニタサーバ３００に提供する（Ｓ３０７）。

モニタサーバ３００は、画像におけるターゲットユーザの位置から、ターゲットユーザの実際の位置を推定し（Ｓ３０８）、推定された位置の情報を、ターゲットユーザのアカウント情報とともに位置配信サーバ６００に提供する（Ｓ３０９）。位置配信サーバ６００は、モニタサーバ３００から提供された情報に従って、ユーザに位置情報を通知する（Ｓ３１０）。なお、ターゲットユーザの実際の位置の推定は、必ずしもモニタサーバ３００で実行されなくてもよく、例えば位置配信サーバ６００、またはマッチングサーバ２００で実行されてもよい。

（変形例）
なお、システム構成について、本実施形態でも、上記の第１の実施形態と同様の変形例が可能である。上記の図１１の例では、マッチングサーバ２００、モニタサーバ３００、カメラ４００、および位置配信サーバ６００が、位置配信専用のシステムであったのに対し、変形例では、位置配信に限らない汎用的なマッチングサービスとしてマッチングサーバ２００とカメラ４００とを含むシステムが存在し、それを位置配信サーバ６００が利用する。これによって、例えば、上記の第１の実施形態における広告配信サービスと、本実施形態における位置配信サービスとを、共通のマッチングサーバ２００を用いて提供することも可能である。

（２−２．装置の機能構成）
次に、上記の図１１のシステムおよびその変形例における装置の機能構成について説明する。上述したとおり、以下で説明する各装置の機能構成は、情報処理装置のシステム構成によって実現されうる。なお、位置配信サーバ６００以外の装置の機能構成については、上記の第１の実施形態と同様にすることが可能であるため、上記のシステム構成の説明をもって詳細な説明に代える。

（位置配信サーバ）
図１２は、本開示の第２の実施形態に係る位置配信サーバの概略的な機能構成を示すブロック図である。図示されているように、位置配信サーバ６００は、登録情報取得部６１０、アカウント記憶部６２０、ターゲット情報取得部６３０、および位置配信部６４０を含む。なお、アカウント記憶部６２０以外の各部は、例えばＣＰＵを用いてソフトウェア的に実現されうる。

登録情報取得部６１０は、端末装置１００との通信によって、端末装置１００のユーザから測位サービスを利用するための登録を受け付ける。受け付けられた登録情報は、アカウント記憶部６２０に記録され、端末装置１００のユーザがマッチングによってターゲットユーザとして特定された時に、位置配信部６４０によって参照される。登録情報は、例えば位置配信の際の連絡先（メールアドレス、デバイスＩＤ、またはプッシュ通知用のトークンなど）の情報を含みうる。

ターゲット情報取得部６３０は、モニタサーバ３００（またはマッチングサーバ２００）から、マッチングの結果特定されたターゲットユーザの位置（詳細な位置）と、ターゲットユーザの端末装置１００のアカウント情報とを取得する。

位置配信部６４０は、ターゲット情報取得部６３０が取得した情報に従って、ユーザの端末装置１００に位置情報を配信する。配信される位置情報は、例えば地図上の座標情報のようなものには限らず、建物の何階にいるかの情報や、建物の区域分け、付近の目印などの情報を含んでもよい。

（２−３．画像処理のさらなる利用）
本開示の実施形態では、画像中のターゲットユーザについて、一旦特定された後はイメージトラッキングによって追尾することも可能である。例えば、上記の第１の実施形態の場合であれば、一旦画像において指定されたターゲットユーザを、その後はイメージトラッキングによって追尾し、そのユーザが特定の店舗に近づくなどした際には、最初のマッチングによって特定されたターゲットユーザの端末装置に広告情報を配信してもよい。また、例えば、上記の第２の実施形態の場合であれば、一旦ターゲット端末との関係が特定された画像中のユーザを、その後はイメージトラッキングによって追尾し、そのユーザに継続的に位置情報を提供してもよい。

また、本開示の実施形態では、一旦特定されたターゲットユーザについて、あるカメラの画像から出て別のカメラの画像に入ってきた場合や、またそのカメラの画像に戻ってきた場合などに、最初に特定されたときのターゲットユーザの画像とのイメージマッチングによってそのユーザを特定してもよい。このように、公知の画像処理技術を応用したイメージトラッキングやイメージマッチングを組み合わせることによって、マッチングを頻繁に実行しなくてもユーザと端末装置との関係を特定することを可能にし、マッチングによる処理負荷を軽減してもよい。

（３．第３の実施形態）
次に、図１３を参照して、本開示の第３の実施形態について説明する。本実施形態では、画像から検出された動作情報とセンサ出力から検出された動作情報とのマッチングが、蓄積された過去の情報について実行される。これによって、例えば、後からカメラの画像を見た場合にも、そこに映っているユーザと端末装置との関係を特定することが可能である。本実施形態は、例えば上記の第１および第２の実施形態のような広告配信サービスや位置配信サービスなどに利用可能であるほか、犯罪捜査などにも利用可能である。

図１３は、本開示の第３の実施形態における概略的なシステム構成を示す図である。システムは、端末装置１００と、マッチングサーバ２００と、モニタサーバ３００と、カメラ４００と、センサ情報ＤＢ７００と、監視カメラ画像ＤＢ８００とを含む。以下、システムの各構成要素の動作を順に説明する。

端末装置１００は、機器ＩＤ、センサ情報、概略位置、および時刻などを含む情報を、定期的にアップロードしている（Ｓ４０１）。アップロードされた情報は、センサ情報ＤＢ７００に蓄積される。なお、情報のアップロードにあたり、端末装置１００はシステムに登録されるが、図ではその登録の手順は省略されている。

一方、カメラ４００は、撮影している動画のデータを、撮影された位置および時刻の情報とともにアップロードしている（Ｓ４０２）。アップロードされた画像の情報は、監視カメラ画像ＤＢ８００に蓄積される。

モニタサーバ３００では、画像に映っているユーザと端末装置との関係を特定する必要が生じた場合に、対象になる位置および時刻の情報とともに、動画の要求が監視カメラ画像ＤＢ８００に送信される（Ｓ４０３）。監視カメラ画像ＤＢ８００は、この要求に応じて、指定された位置および時刻にカメラ４００によって撮影された動画のデータをモニタサーバ３００に提供する（Ｓ４０４）。

ここで、モニタサーバ３００では、例えばユーザの操作によって、カメラ画像の中からターゲットユーザが指定される（Ｓ４０５）。指定されたターゲットユーザの画像内での座標は、動画のデータとともにマッチングサーバ２００に送信される（Ｓ４０６）。このとき、上記の各実施形態と同様に、マッチング処理の負荷軽減のため、カメラ画像が撮影された位置および時刻の情報があわせて送信される。

モニタサーバ３００から動画データの提供を受けたマッチングサーバ２００は、センサ情報ＤＢ７００に対して、動画データに対応する位置および時刻のセンサ情報（機器ＩＤを含む）を要求する（Ｓ４０７）。センサ情報ＤＢ７００は、この要求に応じて、指定された位置および時刻に端末装置１００からアップロードされたセンサ情報をマッチングサーバ２００に提供する（Ｓ４０８）。

センサ情報を取得したマッチングサーバ２００は、動画データとセンサ情報とを用いてマッチングを実行し、カメラ画像において指定されたターゲットユーザが携帯していた端末装置１００の機器ＩＤを特定する（Ｓ４０９）。マッチングサーバ２００は、特定されたターゲットユーザの機器ＩＤの情報を、モニタサーバ３００に提供する（Ｓ４１０）。

このように、例えばセンサ情報とカメラ画像とをそれぞれ時刻情報とともに蓄積するＤＢを設置することによって、上記の各実施形態におけるリアルタイムのマッチングと同様に、過去のデータについても、画像に映っているユーザとユーザが携帯している端末装置との関係を特定することが可能である。

なお、例えば上記のように過去のデータについてのマッチングが可能である場合、センサ情報を提供する端末装置１００のユーザとしては、自分が過去にいた位置が特定されることが望ましくない場合もある。そのような場合、例えば、端末装置１００からセンサ情報をアップロードするときに付加されるアカウント情報（または機器ＩＤ）を、ユーザがサービスの利用登録をしてから所定の時間だけ有効な、例えばＯＴＰ（One Time Password）のような、所定の期間が経過すると無効化される一時的なＩＤにしてもよい。そのような問題がない場合、センサ情報に付加されるアカウント情報（または機器ＩＤ）は、端末装置１００についてユニークなＩＤであってもよい。このＩＤは、例えば、ユーザが使用する端末装置を変更した場合でもサービスを受けられるように、ユーザに対して与えられるサービスのアカウントのようなものであってもよい。

（４．第４の実施形態）
次に、図１４を参照して、本開示の第４の実施形態について説明する。本実施形態では、あるユーザが持っている端末装置のカメラが、上記の各実施形態における監視カメラと同様に使用される。

図１４は、本開示の第４の実施形態について概略的に説明するための図である。図示されているように、本実施形態では、マッチングサーバ２００と公開情報サーバ１０００とがシステムに含まれる。以下、システムにおける処理を順に説明する。

まず、情報公開者の端末装置から、アクセスＩＤおよびセンサ情報がマッチングサーバ２００に送信される（Ｓ５０１−１）。それとともに、情報公開者の端末装置から、所定の情報公開内容が公開情報サーバ１０００に送信される（Ｓ５０１−２）。なお、アクセスＩＤは、情報公開者が公開した情報にアクセスするためのＩＤであり、後に情報取得者によって使用される。なお、ここでは、端末装置や情報公開者のＩＤではなく、公開情報にアクセスするための一時的なキー情報であるアクセスＩＤが送信される。これは、図示された例において、情報公開者と情報取得者との関係が、公開情報を取得するための一時的なものであることによる。情報の公開が終了した後は、アクセスＩＤは用を為さないため、情報公開者が情報取得者によって特定されることはない。

一方、情報取得者は、端末装置に搭載されたカメラの画像に映った情報公開者を、ターゲットユーザとして指定する（Ｓ５０２）。これによって、情報取得者の端末装置は、ターゲットユーザに関する問い合わせをマッチングサーバ２００に送信する（Ｓ５０３）。この問い合わせは、情報取得者が画像の中で指定したターゲットユーザを特定し、当該ユーザが公開している情報へのアクセスを求めるものでありうる。問い合わせには、情報取得者の端末装置によって撮影された動画のデータ、画像内でのターゲットユーザの座標情報、および動画が撮影された時刻や位置の情報が含まれうる。

マッチングサーバ２００は、Ｓ５０３で受信した問い合わせに含まれる動画からターゲットユーザの動作情報を抽出し、これをＳ５０１−１で受信したセンサ情報から検出される動作情報とマッチングする。その結果、ターゲットユーザのセンサ情報が特定された場合、マッチングサーバ２００は、当該センサ情報とともに送信されたアクセスＩＤを、情報取得者の端末装置に通知する（Ｓ５０４）。

ターゲットユーザのアクセスＩＤの通知を受けた情報取得者の端末装置は、公開情報サーバ１０００にアクセスＩＤを送信し、ターゲットユーザの公開情報を要求する（Ｓ５０５）。公開情報サーバ１０００は、これに応じてターゲットユーザ（情報公開者）の公開情報を通知する（Ｓ５０６）。この結果として、情報取得者の端末装置の表示部には、情報公開者からの公開情報（図示された例では自らの服装の宣伝）が表示される（Ｓ５０７）。

この公開情報に対して、情報取得者は、何らかのアクションをすることが可能である（Ｓ５０８）。図示された例では、賛同または評価を示すボタンが公開情報として表示されており、情報取得者はこのボタンを押下することで、情報公開者の服装に対する賛意を示すアクションをすることが可能である。アクションの情報は、情報公開サーバ１０００に通知され（Ｓ５０９）、さらに情報公開者本人の端末装置に通知される（Ｓ５１０）。

このように、本開示の実施形態に係るマッチング処理は、監視カメラによって取得された画像だけではなく、ユーザが所持している端末装置のカメラによって取得された画像も利用することが可能である。

（変形例）
本実施形態の変形例として、テレビの画像に含まれる人物の中からユーザがターゲットを指定し、そのターゲットが動作情報のマッチングによって特定されてもよい。例えば、あるテレビ番組で、複数の出演者がそれぞれ端末装置を携帯しており、テレビカメラで各出演者の画像が撮影されるとともに、各出演者の端末装置からセンサ情報がアップロードされるものとする。この場合、テレビ番組の視聴者は、例えば画像に映る出演者の中で気に入った出演者がいれば、その出演者をターゲットユーザとして指定してもよい。

この場合、マッチングサーバによって、画像で指定されたターゲットユーザの動作と各出演者のセンサ情報に基づく動作情報とがマッチングされ、どの出演者が視聴者によってターゲットユーザに指定されたかが特定される。例えば、これを、出演者に対する視聴者の応援のアクションとして利用することが可能である。また、出演者はスポーツ中継における競技者であってもよい。例えば、視聴者が競技者をターゲットユーザとして指定することによって、その競技者への声援が届いたり、少額寄付がされたりしてもよい。

（５．第５の実施形態）
次に、図１５および図１６を参照して、本開示の第５の実施形態について説明する。本実施形態では、マッチングの処理を用いて、ユーザが撮影した画像に映っている他のユーザが特定される。

図１５は、本開示の第５の実施形態における概略的なシステム構成を示す図である。システムは、端末装置１００と、マッチングサーバ２００と、カメラ４００と、ＳＮＳサーバ１１００とを含む。以下、システムの各構成要素の動作を順に説明する。

まず、端末装置１００とＳＮＳサーバ１１００との間では、サービス登録（Ｓ６０１）およびアカウント発行（Ｓ６０２）が実行される。これは、端末装置１００のユーザが、マッチングによって画像の中で特定されるサービスを利用するための登録である。この登録によって、端末装置１００からは、マッチングサーバ２００に、アカウント情報とともにセンサ情報（またはセンサ情報から抽出された動作情報）が、時刻情報（タイムスタンプ）とともに提供されるようになる（Ｓ６０３）。

上記の各実施形態と同様に、Ｓ６０１でのサービスの登録は、その登録情報によってユーザを識別するためのものではない。ユーザからＳＮＳサーバ１１００に提供される情報は、ＳＮＳサーバ１１００によって提供されるＳＮＳのアカウントと、端末装置１００のユーザとを対応付ける情報として用いられる。また、Ｓ６０３において、センサ情報は、アカウント情報、および時刻情報に加えて、概略の位置情報とともに端末装置１００からマッチングサーバ２００に提供されてもよい。

一方、別のユーザが所持しているカメラ４００では、端末装置１００のユーザが映っている画像が撮影される。カメラ４００のユーザは、この撮影画像において、人物を識別したい対象をターゲットユーザとして指定する（Ｓ６０４）。なお、ターゲットユーザは、撮影画像に映っている人物すべて（または、ある程度大きく映っている人物など）として自動的に検出されてもよい。カメラ４００は、動画のデータとともに、指定されたターゲットユーザの画像内での座標、および画像が取得された時刻の情報を、マッチングサーバ２００に提供する（Ｓ６０５）。ここで、カメラ４００は、さらに、自らの位置の情報を、マッチングサーバ２００に提供してもよい。なお、別の実施形態として、カメラ４００で画像の解析を実行し、抽出された動作情報をマッチングサーバ２００に提供してもよい。

Ｓ６０３で提供された端末装置１００のセンサ情報と、Ｓ６０５で提供された画像の情報とに基づいて、マッチングサーバ２００でマッチングが実行される（Ｓ６０６）。マッチングの結果、画像において指定されたターゲットユーザに対応する端末装置１００のアカウント情報が抽出される。ターゲットユーザのアカウント情報は、マッチングサーバ２００からカメラ４００に提供される（Ｓ６０７）。

カメラ４００では、ターゲットユーザのアカウント情報を用いて、動画に映っているターゲットユーザにタグを付加する（Ｓ６０８）。ここで付加されるタグは、例えばＳＮＳサーバ１１００によって提供されるＳＮＳにおけるターゲットユーザのユーザ名のタグであってもよい。そのため、カメラ４００は、ＳＮＳにおけるユーザ名と、端末装置１００のユーザがセンサ情報を送信するときのアカウント情報とを対応付ける情報を、予めＳＮＳサーバ１１００から取得していてもよい。あるいは、カメラ４００は、マッチングサーバ２００によって提供されたターゲットユーザのアカウント情報をＳＮＳサーバ１１００に送信し、それがＳＮＳにおける誰であるのかの識別をＳＮＳサーバ１１００に依頼してもよい。

付加的に、カメラ４００は、タグ付けされた動画をＳＮＳサーバ１１００にアップロードしてもよい（Ｓ６０９）。また、動画がアップロードされた場合、ＳＮＳサーバ１１００から端末装置１００に、タグ付けがされたことの通知が送信されてもよい（Ｓ６１０）。

以上のような構成によれば、例えばユーザが所持しているビデオカメラで撮影した動画に映っているのが誰であるのかを自動的に識別し、動画にタグを付加することが可能になる。この場合、各ユーザが所持している端末装置と各ユーザ（例えばＳＮＳにおけるアカウント）とが、予め対応付けられていることが前提になりうる。

このとき、例えば動画に映っていない人物であっても、その人物が動画の撮影時に動画の撮影位置の近くにおり、その人物と動画を撮影した人物との間にＳＮＳ上の友人関係があるような場合には、“撮影時に近くにいた人”として動画にタグ付けされてもよい。また、動画の揺れからカメラ４００を保持している人物の動作を検出し、これと端末装置１００のセンサ情報とをマッチングすることによって、撮影者自身も特定してタグ付け等することが可能である。

なお、この“動画の揺れから撮影者の動作を検出”することは、例えば上記の各実施形態において、ヘッドマウント型の端末装置が用いられ、ユーザの視界を示す画像がセンサ情報として提供される場合にも応用可能である。

（変形例）
図１６は、本開示の第５の実施形態における概略的なシステム構成の変形例を示す図である。上記の図１５の例ではマッチングサーバを用いてマッチングが実行されていたのに対し、この変形例では、端末装置１００との間の機器間通信を利用して、カメラ４００によってマッチングが実行される。なお、機器間通信には、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ−Ｆｉなど各種の通信方式が用いられうる。また、機器間通信では、必ずしも各機器が直接接続されなくてもよく、例えばインターネットなどのネットワークを介したＰ２Ｐ（Peer to Peer）接続であってもよい。

端末装置１００は、ＳＮＳサーバ１１００から、友人関係の情報を予め取得してキャッシュしている（Ｓ７０１）。カメラ４００は、動画を撮影した場合に、近傍に位置している端末装置１００に、機器間通信によって友人関係の問い合わせを送信する（Ｓ７０２）。端末装置１００は、キャッシュされた友人関係の情報を参照して、カメラ４００のユーザとの間に友人関係があれば、友人関係を認める応答を送信する（Ｓ７０３）。

さらに、端末装置１００は、カメラ４００のユーザとの間に友人関係がある場合、カメラ４００にセンサ情報を提供する（Ｓ７０４）。ここで提供されるセンサ情報には、端末装置１００のユーザのＳＮＳ上での名前の情報と時刻情報とが含まれうる。

端末装置１００からセンサ情報を取得したカメラ４００は、撮影画像からターゲットユーザを指定し（Ｓ７０５）、センサ情報とターゲットユーザの画像とを用いてマッチングを実行する（Ｓ７０６）。なお、上記の例と同様に、ターゲットユーザは、カメラ４００のユーザによって指定されてもよいし、自動的に検出されてもよい。

マッチングの結果、どの端末装置１００から送信されたセンサ情報が、ターゲットユーザに対応するかが判定される。そこで、カメラ４００は、端末装置１００からセンサ情報とともに送信された名前の情報を用いて、動画に映っているターゲットユーザにタグを付加する（Ｓ７０７）。さらに、カメラ４００は、Ｓ７０４でセンサ情報を送信してきたものの、マッチングによっては特定されなかった端末装置１００のユーザを、撮影画像に映ってはいないが近くにいる人としてタグ付けしてもよい（Ｓ７０８）。

付加的に、カメラ４００は、タグ付けされた動画をＳＮＳサーバ１１００にアップロードしてもよい（Ｓ７０９）。また、動画がアップロードされた場合、ＳＮＳサーバ１１００から端末装置１００に、タグ付けがされたことの通知が送信されてもよい（Ｓ７１０）。

（６．ハードウェア構成）
次に、図１７を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図１７は、情報処理装置のハードウェア構成について説明するためのブロック図である。図示された情報処理装置９００は、例えば、上記の実施形態における端末装置１００、マッチングサーバ２００、モニタサーバ３００、カメラ４００、広告配信サーバ５００、位置配信サーバ６００、センサ情報ＤＢ７００、監視カメラ画像ＤＢ８００、公開情報サーバ１０００、およびＳＮＳサーバ１１００を実現しうる。

情報処理装置９００は、ＣＰＵ（Central Processing unit）９０１、ＲＯＭ（Read Only Memory）９０３、およびＲＡＭ（Random Access Memory）９０５を含む。また、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置９００は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital Signal Processor）などの処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス９１１に接続されている。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。

出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。

ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。

接続ポート９２３は、機器を情報処理装置９００に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（High-Definition Multimedia Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００と外部接続機器９２９との間で各種のデータが交換されうる。

通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。

撮像装置９３３は、例えば、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。

センサ９３５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、気圧センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理装置９００の筐体の姿勢など、情報処理装置９００自体の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音など、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Global Positioning System）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。

以上、情報処理装置９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。

（７．補足）
（サービス例のまとめ）
本開示の実施形態を用いて提供されうるサービスの例について、以下にまとめる。

例えば、本開示の実施形態は、クーポンや広告の配布サービスに適用可能である。この場合、例えば、店舗の近くまで来ているユーザを画像から識別し、そのユーザの属性に応じてクーポン情報を送信する。これによって、女性客には化粧品の広告を呈示する、といったように、例えばティッシュ配り（配布者は、通行人の属性に応じて、広告入りのティッシュを配っている）と同様の広告効果が期待される。

また、例えば、本開示の実施形態は、測位ソリューションとしても適用可能である。上述したように、屋内ではＧＰＳの利用が困難であり、またＷｉ−Ｆｉなどのアクセスポイントを利用した測位も精度の点では十分ではない。本開示の実施形態によれば、屋内であっても、ユーザに“今どこにいるか”を高い精度で通知することが可能である。

また、例えば、本開示の実施形態は、顧客の来店を判断するためにも利用可能である。従来は、ユーザが何らかのチェックイン操作（店舗に対応する位置情報の取得など）を実行して、システムに来店を通知していた。しかし、本開示の実施形態によれば、店舗に入ったユーザの端末装置を識別することが可能であるため、チェックインの操作をしなくても、来店を通知することが可能である。また、店舗では、例えば入口とレジカウンタとにカメラを設置して、それぞれの画像に映ったユーザを識別すれば、店舗で実際に商品を購入したユーザと見ただけのユーザとを区別することも可能である。さらに、端末装置のＩＤが継続的に利用されるユニークなものであれば、来店頻度などをユーザの属性とともに記録することも可能である。識別されるのは端末装置であるため、例えばユーザの服装や髪形などが変化していても識別には影響しない。

また、例えば、本開示の実施形態は、犯罪捜査にも利用可能である。例えば、防犯カメラの画像を蓄積しておき、何らかの事件が発生した際に、カメラに映った犯人の動作情報と一致する動作情報が取得された端末装置を特定することで、犯人を割り出すことが可能である。

また、例えば、本開示の実施形態は、美術館や博物館などにおいて用いられるガイド用の専用端末にも利用可能である。例えば、専用端末にセンサを搭載し、各専用端末のセンサ情報から検出される動作情報と、館内のカメラに映ったユーザの動作情報とをマッチングすることで、館内でのユーザの詳細な位置情報を提供したり、ユーザの位置に応じた展示物のガイド情報を送信したりすることが可能である。

（その他補足）
上記の実施形態の説明は、センサ情報を取得する端末装置がユーザ（人）によって携帯される例を紹介したが、本開示の実施形態はこのような例には限られない。例えば、端末装置は、家畜などの動物に装着されてもよい。この場合、例えば、画像で群れから離れた個体が確認された場合に、その個体をターゲットとして指定する。マッチングによって個体が装着している端末装置が特定されれば、その端末装置を介して個体に群れに戻ることを促す指示などを与えることができる。また、画像を観察しながら個体を識別できるため、遠隔地から個体の選別などを実行することも可能である。

また、センサ情報を取得する端末装置は、荷物に装着されてもよい。この場合、例えば、家畜の場合と同様に、遠隔地から荷物の選別をすることができる。また、作業員が入れないようなところを搬送されている荷物を、画像を介して目視でチェックし、必要に応じて端末装置にフラグ情報を設定するような場合にも利用可能である。

本開示の実施形態は、例えば、上記で説明したような情報処理装置（端末装置またはサーバ）、システム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された記録媒体を含みうる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）対象物に関連する画像の解析によって検出された、前記対象物の動作を示す第１の動作情報を取得する第１の取得部と、
前記対象物に携帯または装着された端末装置のセンサの出力から検出された、前記対象物の動作を示す第２の動作情報を取得する第２の取得部と、
前記第１の動作情報と前記第２の動作情報とをマッチングして前記対象物と前記端末装置との関係を特定するマッチング部と
を備える情報処理装置。
（２）前記マッチング部は、前記第１の動作情報および前記第２の動作情報のそれぞれによって示される前記対象物の動作の特徴点を時間軸上でマッチングする、前記（１）に記載の情報処理装置。
（３）前記第２の取得部は、前記端末装置の加速度センサの出力から検出された前記第２の動作情報を取得する、前記（２）に記載の情報処理装置。
（４）前記対象物は、人物であり、
前記マッチング部は、前記第１の動作情報および前記第２の動作情報のそれぞれによって示される前記人物の歩行動作の特徴点を時間軸上でマッチングする、前記（２）または（３）に記載の情報処理装置。
（５）前記第１の取得部は、前記対象物の中から指定されたターゲットについて前記第１の動作情報を取得し、
前記マッチング部は、前記第１の動作情報と前記第２の動作情報とをマッチングして、前記ターゲットに携帯または装着された前記端末装置を特定する、前記（１）〜（４）のいずれか１項に記載の情報処理装置。
（６）前記ターゲットは、所定の属性を有する対象物として指定され、
前記マッチング部は、前記特定された端末装置の情報を、前記ターゲットに情報を配信するための情報として出力する、前記（５）に記載の情報処理装置。
（７）前記ターゲットは、未識別の前記対象物として指定され、
前記マッチング部は、前記特定された端末装置の情報を、前記ターゲットを識別する情報として出力する、前記（５）に記載の情報処理装置。
（８）前記ターゲットを識別する情報は、前記ターゲットが公開している情報にアクセスするための一時的なキー情報である、前記（７）に記載の情報処理装置。
（９）前記第２の取得部は、前記端末装置の中から指定されたターゲット端末装置について前記第２の動作情報を取得し、
前記マッチング部は、前記第１の動作情報と前記第２の動作情報とをマッチングして、前記ターゲット端末装置が携帯または装着されている前記対象物を特定する、前記（１）〜（４）のいずれか１項に記載の情報処理装置。
（１０）前記ターゲット端末装置は、位置情報を要求している端末装置であり、
前記マッチング部は、前記特定された対象物の情報を、前記画像に基づいて特定された前記対象物の位置を前記ターゲット端末装置に通知するために出力する、前記（９）に記載の情報処理装置。
（１１）前記対象物は、人物であり、
前記第２の取得部は、前記人物を識別するＩＤ情報に対応付けられた前記第２の動作情報を取得し、
前記マッチング部は、前記ＩＤ情報を用いて前記人物を特定する、前記（１）〜（１０）のいずれか１項に記載の情報処理装置。
（１２）前記ＩＤ情報は、所定の期間が経過すると無効化される、前記（１１）に記載の情報処理装置。
（１３）前記マッチング部は、前記対象物に対応付けられた前記ＩＤ情報を、前記画像に前記対象物を示すタグ情報を付加するために出力する、前記（１１）または（１２）に記載の情報処理装置。
（１４）前記第１の取得部は、異なる位置から撮像された複数の前記画像の解析によってそれぞれ検出された前記第１の動作情報を取得し、
前記第２の取得部は、前記端末装置の概略的な位置を示す情報に対応付けられた前記第２の動作情報を取得し、
前記マッチング部は、前記概略的な位置を示す情報を用いて、マッチングに使用する前記第１の動作情報を選択する、前記（１）〜（１３）のいずれか１項に記載の情報処理装置。
（１５）前記マッチング部は、マッチングによって関係が特定された前記対象物および前記端末装置が後の画像に映っている場合、該後の画像については前記画像における前記対象物の特徴を用いて前記対象物を識別することによって前記マッチングを省略する、前記（１）〜（１４）のいずれか１項に記載の情報処理装置。
（１６）前記第２の取得部は、前記端末装置の地磁気センサの出力から検出された前記対象物の向きの情報を含む前記第２の動作情報を取得する、前記（１）〜（１５）のいずれか１項に記載の情報処理装置。
（１７）前記対象物は、人物または動物であり、
前記第２の取得部は、前記端末装置の撮像部の出力から検出された前記対象物の視界画像の情報を含む前記第２の動作情報を取得する、前記（１）〜（１６）のいずれか１項に記載の情報処理装置。
（１８）前記第２の取得部は、前記端末装置の気圧センサの出力から検出された前記対象物の高度の情報を含む前記第２の動作情報を取得する、前記（１）〜（１７）のいずれか１項に記載の情報処理装置。
（１９）対象物に関連する画像の解析によって検出された、前記対象物の動作を示す第１の動作情報を取得することと、
前記対象物に携帯または装着された端末装置のセンサの出力から検出された、前記対象物の動作を示す第２の動作情報を取得することと、
前記第１の動作情報と前記第２の動作情報とをマッチングして前記対象物と前記端末装置との関係を特定することと
を含む情報処理方法。
（２０）対象物に関連する画像の解析によって検出された、前記対象物の動作を示す第１の動作情報を取得する機能と、
前記対象物に携帯または装着された端末装置のセンサの出力から検出された、前記対象物の動作を示す第２の動作情報を取得する機能と、
前記第１の動作情報と前記第２の動作情報とをマッチングして前記対象物と前記端末装置との関係を特定する機能と
をコンピュータに実現させるためのプログラム。

１００ 端末装置
２００ マッチングサーバ
２１０ 画像取得部
２２０ 動作解析部
２３０ センサ情報取得部
２４０ センサ情報記憶部
２５０ マッチング部
２６０ 通知部
３００ モニタサーバ
４００ カメラ
５００ 広告配信サーバ
６００ 位置配信サーバ
７００ センサ情報ＤＢ
８００ 監視カメラ画像ＤＢ
１０００ 公開情報サーバ
１１００ ＳＮＳサーバ

Claims (17)

1. 対象物に関連する画像の解析によって検出された、前記対象物の動作を示す第１の動作情報を取得する第１の取得部と、
   前記対象物に携帯または装着された端末装置の加速度センサの出力から検出された、前記対象物の動作を示す第２の動作情報を取得する第２の取得部と、
   前記第１の動作情報および前記第２の動作情報のそれぞれによって示される前記対象物の動作の特徴点を時間軸上でマッチングして前記対象物と前記端末装置との関係を特定するマッチング部と
   を備え、
   前記第２の動作情報によって示される前記対象物の動作の特徴点は、鉛直方向の加速度が極小になる時刻を含み、
   前記第１の取得部は、異なるカメラ位置から撮像された複数の前記画像の解析によってそれぞれ検出され、前記カメラ位置を示す情報に対応付けられた、前記第１の動作情報を取得し、
   前記第２の取得部は、前記端末装置の概略的な位置を示す情報に対応付けられた前記第２の動作情報を取得し、
   前記マッチング部は、前記カメラ位置を示す情報、及び前記概略的な位置を示す情報を用いて、マッチングに使用する前記第１の動作情報を選択する、情報処理装置。
2. 前記対象物は、人物であり、
   前記マッチング部は、前記第１の動作情報および前記第２の動作情報のそれぞれによって示される前記人物の歩行動作の特徴点を時間軸上でマッチングする、請求項１に記載の情報処理装置。
3. 前記第１の取得部は、前記対象物の中から指定されたターゲットについて前記第１の動作情報を取得し、
   前記マッチング部は、前記第１の動作情報と前記第２の動作情報とをマッチングして、前記ターゲットに携帯または装着された前記端末装置を特定する、請求項１に記載の情報処理装置。
4. 前記ターゲットは、所定の属性を有する対象物として指定され、
   前記マッチング部は、前記特定された端末装置の情報を、前記ターゲットに情報を配信するための情報として出力する、請求項３に記載の情報処理装置。
5. 前記ターゲットは、未識別の前記対象物として指定され、
   前記マッチング部は、前記特定された端末装置の情報を、前記ターゲットを識別する情報として出力する、請求項３に記載の情報処理装置。
6. 前記ターゲットを識別する情報は、前記ターゲットが公開している情報にアクセスするための一時的なキー情報である、請求項５に記載の情報処理装置。
7. 前記第２の取得部は、前記端末装置の中から指定されたターゲット端末装置について前記第２の動作情報を取得し、
   前記マッチング部は、前記第１の動作情報と前記第２の動作情報とをマッチングして、前記ターゲット端末装置が携帯または装着されている前記対象物を特定する、請求項１に記載の情報処理装置。
8. 前記ターゲット端末装置は、位置情報を要求している端末装置であり、
   前記マッチング部は、前記特定された対象物の情報を、前記画像に基づいて特定された前記対象物の位置を前記ターゲット端末装置に通知するために出力する、請求項７に記載の情報処理装置。
9. 前記対象物は、人物であり、
   前記第２の取得部は、前記人物を識別するＩＤ情報に対応付けられた前記第２の動作情報を取得し、
   前記マッチング部は、前記ＩＤ情報を用いて前記人物を特定する、請求項１に記載の情報処理装置。
10. 前記ＩＤ情報は、所定の期間が経過すると無効化される、請求項９に記載の情報処理装置。
11. 前記マッチング部は、前記対象物に対応付けられた前記ＩＤ情報を、前記画像に前記対象物を示すタグ情報を付加するために出力する、請求項１０に記載の情報処理装置。
12. 前記マッチング部は、マッチングによって関係が特定された前記対象物および前記端末装置が後の画像に映っている場合、該後の画像については前記画像における前記対象物の特徴を用いて前記対象物を識別することによって前記マッチングを省略する、請求項１に記載の情報処理装置。
13. 前記第２の取得部は、前記端末装置の地磁気センサの出力から検出された前記対象物の向きの情報を含む前記第２の動作情報を取得する、請求項１に記載の情報処理装置。
14. 前記対象物は、人物または動物であり、
    前記第２の取得部は、前記端末装置の撮像部の出力から検出された前記対象物の視界画像の情報を含む前記第２の動作情報を取得する、請求項１に記載の情報処理装置。
15. 前記第２の取得部は、前記端末装置の気圧センサの出力から検出された前記対象物の高度の情報を含む前記第２の動作情報を取得する、請求項１に記載の情報処理装置。
16. 対象物に関連する画像の解析によって検出された、前記対象物の動作を示す第１の動作情報を取得することと、
    前記対象物に携帯または装着された端末装置の加速度センサの出力から検出された、前記対象物の動作を示す第２の動作情報を取得することと、
    前記第１の動作情報および前記第２の動作情報のそれぞれによって示される前記対象物の動作の特徴点を時間軸上でマッチングして前記対象物と前記端末装置との関係を特定することとを含み、
    前記第２の動作情報によって示される前記対象物の動作の特徴点は、鉛直方向の加速度が極小になる時刻を含み、
    前記第１の動作情報は、異なるカメラ位置から撮像された複数の前記画像の解析によってそれぞれ検出され、前記カメラ位置を示す情報に対応付けられた情報であり、
    前記第２の動作情報は、前記端末装置の概略的な位置を示す情報に対応付けられた情報であり、
    前記マッチングに使用される前記第１の動作情報は、前記カメラ位置を示す情報、及び前記概略的な位置を示す情報を用いて選択される、情報処理方法。
17. 対象物に関連する画像の解析によって検出された、前記対象物の動作を示す第１の動作情報を取得する機能と、
    前記対象物に携帯または装着された端末装置の加速度センサの出力から検出された、前記対象物の動作を示す第２の動作情報を取得する機能と、
    前記第１の動作情報によって示される前記対象物の動作の特徴点、および鉛直方向の加速度が極小になる時刻を含む前記第２の動作情報によって示される前記対象物の動作の特徴点を時間軸上でマッチングして前記対象物と前記端末装置との関係を特定する機能と
    をコンピュータに実現させるためのプログラムであって、
    前記第１の動作情報は、異なるカメラ位置から撮像された複数の前記画像の解析によってそれぞれ検出され、前記カメラ位置を示す情報に対応付けられた情報であり、
    前記第２の動作情報は、前記端末装置の概略的な位置を示す情報に対応付けられた情報であり、
    前記マッチングに使用される前記第１の動作情報は、前記カメラ位置を示す情報、及び前記概略的な位置を示す情報を用いて選択される、プログラム。

Images