以下、本発明の好適な実施の形態について、添付の図面を参照しつつ、詳細に説明する。ただし、以下の説明において特に断らない限り、方向や向きに関する記述は、当該説明の便宜上、図面に対応するものであり、例えば実施品、製品または権利範囲等を限定するものではない。
<1. 実施の形態>
図1は、情報収集システム1を示す図である。図1に示すエリア8は、後述するカメラ2の撮像範囲を概念的に示す。図1では、エリア8内に対象物としての人物80,81が存在している例を示す。
情報収集システム1は、カメラ2と、携帯端末装置3とを備えている。なお、図1では、1台のカメラ2と、1台の携帯端末装置3とを図示しているが、情報収集システム1が備えるこれらの装置の数は図1に示す数に限定されるものではない。
本実施の形態では、観測装置として、エリア8を撮像(観測)して画像データ90(図2参照)を取得するカメラ2を例に説明する。したがって、特に断らない限り対象物とは、エリア8内に存在する被写体を意味する。なお、対象物は、すべての被写体とは限らず、また、位置が変化する被写体に限定されるものでもない。
図2は、カメラ2を示すブロック図である。カメラ2は、CPU20、記憶装置21、撮像部22、計時部23および通信部24を備え、エリア8内を観測して得られる観測データ(本実施の形態においては画像データ90)を取得する機能を有している。
CPU20は、記憶装置21に格納されているプログラム210を読み取りつつ実行し、各種データの演算や制御信号の生成等を行う。これにより、CPU20は、カメラ2が備える各構成を制御するとともに、携帯端末装置3に対して提供する各種データを作成する。すなわち、カメラ2は、一般的なコンピュータとして構成されている。
記憶装置21は、カメラ2において各種データを記憶する機能を提供する。特に、本実施の形態における記憶装置21は、プログラム210および画像データ90を記憶するために使用される。
記憶装置21としては、CPU20の一時的なワーキングエリアとして使用されるRAMやバッファ、読み取り専用のROM、不揮発性のメモリ(例えばNANDメモリなど)、比較的大容量のデータを記憶するハードディスク、専用の読み取り装置に装着された可搬性の記憶媒体(CD−ROMやDVD−ROM、光ディスク、PCカード、SDカードなど)等が該当する。さらに、図2においては、記憶装置21を、あたかも1つの構造物であるかのように図示している。しかし、通常、記憶装置21は、上記例示した各種装置(あるいは媒体)のうち、必要に応じて採用される複数種類の装置から構成されるものである。すなわち、記憶装置21は、データを記憶する機能を有する装置群の総称である。
また、現実のCPU20は高速にアクセス可能なRAMを内部に備えた電子回路である。しかし、このようなCPU20が備える記憶装置も、説明の都合上、記憶装置21に含めて説明する。すなわち、本実施の形態においては、一時的にCPU20自体が記憶するデータも、記憶装置21が記憶するとして説明する。
撮像部22は、レンズやミラー等の光学素子や、CCDなどの光電変換素子、信号処理回路などを備えており、エリア8内の被写体を撮像して、画像データ90を作成する機能を有する。なお、本実施の形態における撮像部22は、動画像を撮像する機能を有している。
計時部23は、発振器等を備えた電子回路であり、時間を計測する機能を有する。計時部23は、主に、携帯端末装置3との間の同期をとるために使用される。
通信部24は、カメラ2が主に携帯端末装置3との間で無線によるデータ通信を行う機能を提供する。詳細は後述するが、通信部24は、本発明における第2通信手段に相当する。また、通信部24は、遠隔地に存在するセンタに設置されたサーバ(図示せず)との間でデータ通信を行う機能を提供する。通信部24が画像データ90を当該サーバに送信することにより、当該サーバが設置されているセンタにおいて、画像データ90の視聴および保管等が可能となる。
図3は、カメラ2が備える機能ブロックをデータの流れとともに示す図である。図3に示す分類部200、検索部201、通信制御部202および同期制御部203は、CPU20がプログラム210に従って動作することにより実現される機能ブロックである。
分類部200は、画像データ90に含まれる個々の対象物に関するデータを抽出し分類する機能を有している。これにより、分類部200は、画像データ90に基づいて、対象物データ211を作成する。
すでに説明したように、カメラ2における対象物は、画像データ90に含まれる被写体の一部である。言い換えれば、カメラ2における対象物とは、画像データ90に撮像されている被写体の中から分類部200が「対象物である」と判断して抽出した被写体である。
そして、携帯端末装置3が付随している対象物が被写体として画像データ90に撮像されているときには、分類部200は当該被写体を対象物として確実に抽出しなければならない。したがって、分類部200は、画像データ90に撮像されている被写体から、携帯端末装置3が付随している蓋然性の高い被写体を対象物として抽出するように構成されている。携帯端末装置3が付随している蓋然性の高い被写体とは、具体的に例を挙げれば、人物、動物、車いす、自転車、車などが考えられるがもちろんこれらに限定されるものではない。
分類部200が画像データ90から個々の対象物を抽出して特定する手法としては、従来から提案されている様々な手法を適宜採用することができる。例えば、画像データ90にエッジ抽出処理を施し、被写体を表現した画素領域ごとに画像データ90を分割し、分割された各画素領域について、特徴量と比較して、当該画素領域を対象物として抽出するか否かを決定する手法を採用することができる。なお、特徴量とは、例えば、輪郭形状や色彩、動きの有無、特徴的な動きなどであり、予め定義して設定しておくことが可能である。
分類部200が多数の対象物を抽出すると、カメラ2(CPU20)の負荷が増大する。したがって、分類部200は、画像データ90から過不足無く、対象物を抽出することが求められる。本実施の形態では、携帯端末装置3が付随する蓋然性の高い対象物として「人物」を想定し、画像データ90から人物を抽出するように特徴量が設定されているものとして説明する。すなわち、図1に示す例では、人物80,81が対象物として抽出され、他の被写体は抽出されないものとする。
図3に示す対象物データ211は、分類部200によって抽出された個々の対象物ごとに1つのレコード(以下、「対象物データ211のレコード」と称する。)が作成されており、テーブル構造のデータベースを構成している。対象物データ211のレコードには、対象物識別子(レコード番号)とともに、当該対象物識別子によって示される対象物に関する様々なデータが画像データ90から取得されて格納される。すなわち、対象物データ211は、分類部200により抽出された対象物に、当該対象物に関するデータを関連づけたデータである。
対象物データ211のレコードに定義される項目として、例えば、対象物の分類名(例えば、人物、動物、車いす、自転車、車等といった区別)、色彩、輪郭形状、大きさ、絶対位置、速さ、移動方向、加速度、向き、移動ベクトル(移動軌跡)、撮像された時間(タイムスタンプ)、その他の特徴(例えば、人物であれば予想年齢や性別、姿勢、随行人数、車であれば車種や型式など)等が想定される。
対象物の分類名は、対象物に対応する画素領域の色彩や輪郭形状、大きさなどに応じて、総合的に判断することができる。例えば、画素領域が人物に特徴的な輪郭形状であれば、当該画素領域における対象物を「人物」であると決定できる。そして、対象物が人物であれば、人物に関する画像認識処理を行うことにより、予想年齢や性別、姿勢、随行人数なども決定することができる。ただし、すでに説明したように、本実施の形態では、「人物」のみを対象物とするため、分類名は人物に限定されている。したがって、本実施の形態における対象物データ211においては「分類名」に関する項目は設けなくてもよい。
また、対象物の速さや移動方向、加速度、移動ベクトルについては、画像データ90において、時間的に前後に連続する2つのフレームを比較することにより求めることができる。したがって、本実施の形態におけるカメラ2において、対象物に関するデータのサンプリング間隔は画像データ90におけるフレーム間隔であり、具体的には1/30[秒]である。ただし、当該サンプリング間隔は、フレーム間隔に限定されるものではない。例えば、フレームを一つ飛ばしに間引いて比較することにより、サンプリング間隔を1/15[秒]としてもよい。
また、対象物の絶対位置は、画像データ90における、当該対象物に対応する画素領域の位置(エリア8内の位置と相関が強い。)に応じて推定することができる。一般に、カメラ2は、定点観測装置であるため、その撮像範囲内における対象物(被写体)の絶対位置は比較的高精度に特定できる。
また、対象物の大きさは、画像領域の画素数および対象物の位置(カメラ2との距離)、撮像部22の光学倍率等に応じて決定することができる。
さらに、対象物が撮像された時間は、計時部23から取得して記録できる。
なお、対象物データ211に含まれるデータは上記例に限定されるものではない。ただし、画像データ90から抽出されたすべての対象物について、多くの項目に関するデータを取得するとなると、カメラ2(CPU20)の負荷が膨大になるおそれがある。したがって、これらの項目についても、利用目的や要求精度等に応じて適宜取捨選択することが好ましい。
また、上記例に示した項目はすべてのレコードについて同一である必要はない。対象物データ211に定義されている項目のうちのいずれかが足りない(抽出できていない)レコードが存在してもよい。
また、対象物データ211に含まれる各対象物に関するデータは、必ずしも画像データ90から取得されるデータに限定されるものではない。例えば、カメラ2が別途赤外線センサ等により、対象物との距離を測定し、そのデータを対象物データ211に含めるように構成してもよい。
検索部201は、携帯端末装置3により送信された条件データ311に応じて記憶装置21に対象物データ211として記憶された個々の対象物から2以上の対象物を候補対象物として特定し、当該候補対象物に関するデータから構成される候補データ212を作成する。
条件データ311は、データベースとしての対象物データ211を検索するための検索キーとして使用されるデータである。したがって、詳細は後述するが、条件データ311は、対象物データ211のレコードにおいて定義されている項目のうちの、少なくとも1つ以上の項目に関するデータを含むデータである。
候補データ212は、条件データ311を用いた検索によって対象物データ211から抽出された2以上の対象物に関するデータを含むデータである。ただし、候補データ212に含まれるレコード(以下、「候補データ212のレコード」と称する。)の数は、積極的に2以上となるように作成されるものではある(詳細は後述する。)が、2以上に限定されるものではない。
例えば、画像データ90から抽出された対象物の数が2つ未満(対象物データ211に登録されている対象物が2つ未満)の状況においては、候補データ212は1つ以下のレコードのみからなるデータとなる場合がある。あるいは、条件データ311に示される条件が狭い(厳しい)ために、該当する対象物データ211のレコードが1つに絞られてしまい、結果として候補データ212は1つのレコードのみからなるデータとなる場合がある。あるいは、対象物データ211に、条件データ311に該当するレコードが存在しない場合には、候補データ212のレコードは存在せず、該当する対象物が存在しないことのみが示される場合も想定される。
また、本実施の形態における候補データ212のレコードは、検索により抽出された対象物データ211のレコードと同一のデータではない。対象物データ211のレコードには個人(対象物)を特定しうるデータ(例えば当該対象物の画像データそのもの)が含まれる場合がある。一方で、情報収集システム1は、カメラ2から2以上の対象物に関するデータを携帯端末装置3に向けて候補データ212として送信する。すなわち、候補データ212には、当該携帯端末装置3が付随する対象物(本人)とは異なる対象物(本人以外の人物)に関するデータが含まれる可能性がある。
このような状況において、対象物データ211のレコードをそのまま候補データ212のレコードとすると、個人を特定しうるデータを、当該個人と異なる人物が所持する携帯端末装置3に送信することとなり、個人情報が漏洩する可能性を生じる。そこで、検索部201は、対象物データ211のレコードに含まれるデータのうち、個人情報の漏洩につながるおそれのあるデータについては、候補データ212のレコードから除外するか、または、個人情報の漏洩に該当しない程度にデータを加工する。すなわち、対象物データ211のレコードに含まれるデータのうちの一部が、候補データ212のレコードを構成するデータとなる。
これにより、情報収集システム1は、たまたまカメラ2に撮像された人物の個人情報が、他人の所持する携帯端末装置3に漏洩することを防止することができる。なお、対象物データ211のレコードに含まれるデータに、個人情報の漏洩につながるデータが存在しない場合(そのようなデータのみを画像データ90から取得している場合)には、対象物データ211のレコードをそのまま候補データ212のレコードとしてもよい。
さらに、検索部201は、閾値以上の数の対象物が候補対象物となった場合は、当該候補対象物に関するデータと条件データ311とのマッチングの度合いが低いレコードの対象物を優先して候補対象物から除外する。これにより、携帯端末装置3が付随する対象物を除外する危険性を抑制しつつ、膨大な数の対象物についての候補データ212が携帯端末装置3に向けて送信されるのを防止することができる。なお、閾値は、3以上の整数である。
通信制御部202は、通信部24が受信した各種データを記憶装置21に転送し記憶させる。また、記憶装置21に記憶されている各種データを送信するように通信部24を制御する機能も有している。
特に、通信制御部202は、通信部24が携帯端末装置3から送信された条件データ311を受信したとき、当該条件データ311を記憶装置21に記憶させる。また、検索部201により候補データ212が作成されたときには、当該候補データ212を携帯端末装置3に向けて送信するように通信部24を制御する。また、画像データ90を図示しないサーバに向けて送信するように通信部24を制御する機能も有している。さらに、通信制御部202は、通信部24が携帯端末装置3から受信した同期をとるためのデータを同期制御部203に伝達する。
同期制御部203は、携帯端末装置3から受信し、通信制御部202から伝達された同期をとるためのデータに応じて、カメラ2と携帯端末装置3との間の同期をとる機能を有している。これにより、双方の時間軸を一致させることができる。なお、同期制御部203が同期をとる手法は、例えば、無線通信によりデータを送受信する装置間において従来から提案されている様々な手法を適宜適用することができるため、ここでは詳細に説明しない。
図4は、携帯端末装置3を示す図である。携帯端末装置3は、CPU30、記憶装置31、検出部32、計時部33、通信部34および操作部35を備えている。携帯端末装置3は、図示しないバッテリを装備しており、商用電源に接続されていない状態でも駆動する。これにより、携帯端末装置3は、携帯型の装置として構成されている。また、本実施の形態において、携帯端末装置3は、図1に示すように、対象物としての人物80に所持されることにより、当該人物80に付随している。
CPU30は、記憶装置31に格納されているプログラム310を読み取りつつ実行し、各種データの演算や制御信号の生成等を行う。これにより、CPU30は、携帯端末装置3が備える各構成を制御する。すなわち、携帯端末装置3は、一般的なコンピュータとして構成されている。
記憶装置31は、携帯端末装置3において各種データを記憶する機能を提供する。特に、本実施の形態における記憶装置31は、プログラム310、条件データ311、測定データ312、位置データ313、検索キーデータ316などを記憶するために使用される。
記憶装置31としては、CPU30の一時的なワーキングエリアとして使用されるRAMやバッファ、読み取り専用のROM、不揮発性のメモリ(例えばNANDメモリなど)、比較的大容量のデータを記憶するハードディスク、専用の読み取り装置に装着された可搬性の記憶媒体(PCカード、SDカード、USBメモリなど)等が該当する。さらに、図4においては、記憶装置31を、あたかも1つの構造物であるかのように図示している。しかし、通常、記憶装置31は、上記例示した各種装置のうち、必要に応じて採用される複数種類の装置から構成されている。すなわち、記憶装置31は、データを記憶する機能を有する装置群の総称である。
また、現実のCPU30は高速にアクセス可能なRAMを内部に備えた電子回路である。しかし、このようなCPU30が備える記憶装置も、説明の都合上、記憶装置31に含めて説明する。すなわち、本実施の形態においては、一時的にCPU30自体が記憶しているデータも、記憶装置31が記憶するとして説明する。
検出部32は、自機に付随する対象物の移動ベクトルに応じた測定データ312を出力する検出装置である。検出部32としては、加速度センサやジャイロセンサ、磁気センサなどが該当するが、これらに限定されるものではない。例えば、対象物の位置は当該対象物の移動ベクトルに応じた値となる。したがって、検出部32は、GPSセンサのように対象物の位置を測定する検出装置であってもよい。また、検出部32は、複数種類の検出装置の集合体であってもよい。
計時部33は、発振器等を備えた電子回路であり、時間を計測する機能を有する。計時部33は、携帯端末装置3において時間経過を把握するために使用される。本実施の形態における計時部33により作成されるデータは、カメラ2との間の同期をとるためにも使用される。
通信部34は、携帯端末装置3が主にカメラ2との間で無線によるデータ通信を行う機能を提供する。特に、通信部34は、カメラ2に向けて条件データ311を送信するとともに、カメラ2から送信された候補データ212を受信する機能を有しており、本発明における第1通信手段に相当する。
操作部35は、携帯端末装置3を所持する人物によって操作されるハードウェアであり、携帯端末装置3に対して必要な情報を入力するために使用される。操作部35としては、各種キーやボタン類、タッチパネル、ポインティングデバイスなどが該当する。
特に、操作部35は、ユーザが携帯端末装置3に検索キーデータ316を入力するために使用される。検索キーデータ316は、検索に使用される情報であって、携帯端末装置3のユーザ(携帯端末装置3が付随する対象物)を特定するための情報である。そして、対象物が「人物」である本実施の形態においては、例えば、人物80の年齢や性別、外観を撮像した画像、あるいは、現在の姿勢(挙手動作等)を示すデータ等が考えられる。なお、検索キーデータ316は、ユーザによって操作部35から直接入力される情報に限定されるものではない。例えば、他のアプリケーションによって自動的に収集される情報であってもよいし、ユーザ以外の他人が入力する情報であってもよい。
図5は、携帯端末装置3が備える機能ブロックをデータの流れとともに示す図である。図5に示す条件設定部300、特定部301および位置記録部302は、CPU30がプログラム310に従って動作することにより実現される機能ブロックである。
条件設定部300は、必要に応じて、条件データ311を作成する機能を有している。条件設定部300は、通信部34によりカメラ2との間の無線通信が確立されたタイミングで条件データ311(以下、「最初の条件データ311」と称する場合がある。)を作成する。また、条件設定部300は、特定部301から伝達されるデータ(以下、「不適合通知」と称する。)に応じて、すでに送信された条件データ311と異なる新たな条件データ311を作成する。
なお、詳細は後述するが、不適合通知とは、通信部34が受信し、すでに記憶装置31に記憶されている候補データ212が、自機に付随する対象物に関するデータを特定するためのデータとしてふさわしくない場合に通知される。すなわち、条件設定部300は、通信部34が受信した候補データ212に応じて新たな条件データ311を作成する機能を有している。このようにして新たに作成された条件データ311は、最初の条件データ311と同様に、通信部34によりカメラ2に向けて送信される。
条件データ311は、すでに説明したように、カメラ2において、検索部201が対象物データ211を検索するために用いるデータである。したがって、条件データ311に含まれるデータは、対象物データ211に対する検索キーとなりうるデータでなければならない。すなわち、条件データ311は、対象物データ211に含まれるデータ、または、対象物データ211に含まれるデータを作成することが可能となる元データを含むデータである。
条件設定部300は、条件データ311を構成するデータとして、携帯端末装置3に予め入力されている検索キーデータ316や、対象物の移動状況を示すデータ(移動ベクトルデータ315)を用いる。ただし、条件設定部300は、検索キーデータ316および移動ベクトルデータ315のうちのすべてのデータから条件データ311を作成するわけではない。条件設定部300は、条件データ311が対象物データ211を検索するための適切な検索キーとなるように、適宜、情報の取捨選択あるいは加工編集をして条件データ311を作成する。
条件データ311は、個人所有の携帯端末装置3から外部(カメラ2)に漏れる情報である。したがって、条件データ311は、漏洩することを防止すべき個人情報でないことが好ましい。しかし、情報収集システム1では、カメラ2において対象物が1つに特定されないように条件データ311が設定される。そのため、対象物データ211における特定のレコードと、送信した条件データ311とが一対一で関連づけられてしまう危険性が従来のシステムに比べて低い。したがって、従来のシステムに比べれば、条件データ311に個人情報を使用した場合の危険性も抑制されていると言える。
特定部301は、通信部34が受信した候補データ212を検索キーデータ316に含まれる情報を用いて検索して、自機が付随する対象物に関するデータを特定し、特定した当該データに基づいて特定データ314を作成する。すなわち、本実施の形態における特定データ314は、候補データ212に含まれるレコード(通常は2以上のレコード)のうち、特定部301によって自機が付随する対象物に関するレコードであると特定されたレコードである。
また、特定部301は、受信された候補データ212が特定データ314を作成するためのデータとして不適当であると判断した場合には、不適合通知を条件設定部300に伝達する。特定部301は、検索キーデータ316を用いて検索した際に、候補データ2121に含まれるレコードに、自機が付随する対象物に関するレコードが存在しないと判断した場合に、不適合通知を伝達する。
位置記録部302は、測定データ312に基づいて自機に付随する対象物の移動ベクトル(移動ベクトルデータ315)を作成するとともに、特定部301により特定された特定データ314と当該移動ベクトルデータ315とに基づいて位置データ313を作成する。すなわち、対象物が歩行者である場合には、位置記録部302が歩行者デッドレコニング(PDR:Pedestrian Dead Reckoning)を実行する。
本実施の形態における特定データ314には、対象物の移動ベクトルが含まれている。一般に、検出部32から得られる測定データ312に基づく位置の特定は、誤差累積等により、精度に難がある。一方で、絶対位置および撮像範囲が既知のカメラ2により撮像された画像データ90に基づいて特定される被写体(対象物)の位置は比較的精度が高い。本実施の形態における携帯端末装置3では、特定時間における撮像画像から算出されカメラ2側から提供される位置データ(より精度の高い位置データ)に基づいて、位置記録部302が、移動ベクトルの累積によって算出された位置データ313を置換・補正することにより、位置データ313の精度を向上させることができる。
このように、情報収集システム1は、複数の対象物のレコードが含まれる対象物データ211から特定の対象物のレコードのみの特定データ314を生成する過程において、カメラ2の検索部201に第1段階の検索を実行させた後に、携帯端末装置3の特定部301に第2段階の検索を実行させる。このような2段階に分担された検索を実行することにより、カメラ2において対象物が特定されることを防止するのである。
以上が、本実施の形態における情報収集システム1の構成および機能の説明である。次に、情報収集システム1を用いた情報収集方法について説明する。
図6は、カメラ2の運用モードにおける動作を示す流れ図である。運用モードとは、カメラ2が撮像範囲内の被写体を撮像することにより、画像データ90の作成と記録とを実行している動作モードである。言い換えれば、運用モード中にカメラ2によって画像データ90が記録されることにより、エリア8内の状況が監視(観測)される。なお、図6に示す運用モードが開始されるまでに、カメラ2には電源が投入され、初期設定モードやメンテナンスモードが終了しているものとする。
運用モードにおいて、カメラ2は、所定のフレーム間隔により撮像タイミングが到来しているか否か(ステップS1)、携帯端末装置3から通信要求があったか否か(ステップS4)および携帯端末装置3から条件データ311を受信したか否か(ステップS7)を監視している。ただし、運用モードにおいてカメラ2が監視する状態は図6に示される状態に限定されるものではなく、例えば、画像データ90のサーバへの送信タイミングなども監視されている。
運用モードにおいて撮像タイミングが到来するたびに、カメラ2のCPU20はステップS1においてYesと判定し、撮像部22に撮像を行うように撮像部22を制御する。これにより、撮像部22は、撮像を行って画像データ90を作成するとともに、記憶装置21に当該画像データ90を記憶させる。ステップS2において作成され記憶される画像データ90は、1フレーム分の画像データ90である。
ステップS2が実行されて新たな画像データ90が作成されると、分類部200は、新たな画像データ90に基づいて、対象物を抽出し、当該対象物に関するデータを取得して、対象物データ211を作成(更新)する(ステップS3)。
これにより、新たにエリア8内に進入してきた被写体は、新たな対象物として抽出され、当該被写体に対応するレコードが作成される。また、すでに対象物として抽出されていた被写体についても、当該被写体に関するデータ(例えば位置)は新たに取得され、対象物データ211のレコードが更新される。すなわち、このような対象物に対する追跡は継続される。さらに、すでに対象物として抽出されていた被写体のうち、エリア8から退出した被写体については、追跡が終了する。
また、運用モードにおいて携帯端末装置3から通信要求があると、カメラ2は、ステップS4においてYesと判定し、通信開始処理を実行する(ステップS5)。通信開始処理とは、無線によるデータ通信を行う装置間で通信を確立する(リンクを張る)ために必要となる処理である。このような処理は従来技術であるため、ここでは詳細な説明を省略する。
通信開始処理が終了すると、同期制御部203がカメラ2と携帯端末装置3との間の同期を確保する処理を実行する(ステップS6)。本実施の形態では、携帯端末装置3から送信されるトリガー信号に基づいて同期を確保するものとする。これにより、カメラ2と携帯端末装置3との間の時間軸が一致する。
計時部23および計時部33により生成される時間を示す信号は比較的正確である。したがって、カメラ2と携帯端末装置3との間の同期を一度確保しておけば、比較的長時間、精度よく維持されつづけるものである。したがって、カメラ2と携帯端末装置3との間の同期を確保することにより、両者の時間軸を一致させれば、データを比較する際の精度や、データを補正する際の精度が向上する。なお、以下の説明では、特に断らない限り、ステップS6が実行された以降は、カメラ2と携帯端末装置3との間で送受信されるデータのタイムスタンプは、互いに基準時が一致するように補正されるものとする。
また、運用モードにおいて携帯端末装置3から条件データ311を受信すると、カメラ2は、ステップS7においてYesと判定し、候補データ送信処理を実行する(ステップS8)。
図7は、候補データ送信処理を示す流れ図である。候補データ送信処理が開始されると、検索部201は、条件データ311に示される検索条件に合致する対象物を対象物データ211を検索することにより、候補対象物として特定する(ステップS11)。
ここで、「合致する」とは、完全に一致することを要求するものではなく、ある程度のズレを許容するものである。むしろ、本実施の形態における条件データ311は、候補対象物を1つに限定してしまわないように、比較的緩い条件として条件設定部300により設定されている。なお、対象物データ211を検索する際にも、検索部201は、同期制御部203からの出力に基づいて各データの時間軸を一致させつつ検索する。
候補対象物が特定されると、検索部201は、ステップS11において特定した候補対象物の数が所定の閾値以上か否かを判定する(ステップS12)。なお、閾値は、カメラ2側で予め設定しておいてもよいし、受信された条件データ311に含まれている閾値を参照してもよい。
候補対象物の数が閾値(3以上の整数)以上の場合(ステップS12においてNo。)、検索部201は、ステップS11において特定した候補対象物の中から、条件データ311とのマッチング度合いの低いものから順に候補対象物から除外することにより、候補対象物を絞る(ステップS13)。なお、マッチング度合いは、条件データ311の各検索項目ごとに重み付けを行い、各検索項目のデータごとのズレ量を正規化して比較することが好ましい。
従来の技術では、いわば最もマッチング度合いの高い対象物が候補対象物として選択される。すなわち、従来の技術は、ここに言う「閾値」が「2」の場合であると言える。しかし、本実施の形態における情報収集システム1では、閾値を3以上の整数とすることにより、検索部201が、2以上の対象物を候補対象物として特定することを許容している。したがって、携帯端末装置3の条件設定部300が、緩めの条件データ311を作成する(あるいは、検索部201が許容するズレを比較的大きく設定する)ことにより、携帯端末装置3が付随する対象物がカメラ2によって特定されないように構成することができる。
これにより、携帯端末装置3が所有しているデータ(リンクを張る際に使用したデータや条件データ311等)が、対象物データ211に格納されている特定の対象物に関連づけられて、カメラ2側に保存されてしまうことを防止することができる。したがって、情報収集システム1は、携帯端末装置3側の個人情報がカメラ2側に漏れることを抑制することができる。特に、一般に広く設置されている監視カメラをカメラ2として採用する場合、カメラ2と携帯端末装置3とが異なる所有者に属することになるという事情がある。このような場合には、カメラ2と携帯端末装置3との間ですべてのデータを共有することは危険であり、情報の漏洩対策が強く求められる。
ステップS13が実行されるか、もしくは、ステップS12おいてYesと判定されると、検索部201は、候補データ212を作成する(ステップS14)。具体的には、検索部201は、特定した候補対象物に関するデータのうち、候補データ212のレコードに含めるべきデータを、当該候補対象物の対象物データ211のレコードから取得(あるいは演算)して候補データ212を作成する。
候補データ212が作成されると、通信制御部202は、作成された候補データ212を携帯端末装置3に向けて送信するように、通信部24を制御する。これにより、通信部24は、候補データ212を携帯端末装置3に向けて送信する(ステップS15)。
通信部24が候補データ212を送信すると、カメラ2は、候補データ送信処理を終了して図6に示す処理に戻る。
図8は、携帯端末装置3の位置記録モードにおける動作を示す流れ図である。位置記録モードとは、携帯端末装置3が自機に付随する対象物の位置データ313を作成しつつ記録する動作モードである。なお、図8に示す位置記録モードが開始されるまでに、携帯端末装置3には電源が投入され、初期設定モードやメンテナンスモードが終了しているものとする。
位置記録モードにおいて、携帯端末装置3(CPU30)は、検出部32による測定タイミングが到来しているか否か(ステップS21)、カメラ2に対する問い合わせが必要か否か(ステップS24)、および、カメラ2から候補データ212を受信したか否か(ステップS31)を監視している。ただし、位置記録モードにおいて携帯端末装置3が監視する状態は図8に示される状態に限定されるものではない。
位置記録モードにおいて、検出部32による測定タイミングが到来するたびに、CPU30は検出部32に対して自機の移動に関する状況を測定するように制御する。これにより、検出部32は、測定を実行し(ステップS22)、新たな測定データ312が作成される。さらに、測定データ312が作成されると、位置記録部302は、作成された新たな測定データ312に基づいて新たな移動ベクトルデータ315を作成する。
検出部32の測定タイミングは、検出部32のサンプリング間隔に応じて決定される。そして、このようにして決定された測定タイミングで移動ベクトルデータ315が作成されることにより、移動ベクトルデータ315におけるサンプリング間隔は、検出部32のサンプリング間隔となる。
また、本実施の形態における移動ベクトルデータ315は、条件データ311を構成するデータとなる。したがって、条件データ311に含まれる移動ベクトルデータ315のサンプリング間隔は、検出部32のサンプリング間隔である。
本実施の形態においては、検出部32のサンプリング間隔は、カメラ2における対象物に関するデータのサンプリング間隔(本実施の形態ではフレーム間隔)よりも長い。すなわち、本実施の形態における情報収集システム1では、対象物に関するデータのサンプリング間隔は、条件データ311に含まれるデータのサンプリング間隔よりも短い。このように、検索部201により検索可能な最低限度のサンプリング間隔で条件データ311を作成することにより、測定に要する電力を抑制できるため、携帯端末装置3における電池の消耗を抑制できる。
移動ベクトルデータ315を作成すると、位置記録部302は、作成した移動ベクトルデータ315に基づいて位置データ313を作成する(ステップS23)。このようにして、位置記録モードでは、測定タイミングごとに位置データ313が更新され、対象物の位置が記録される。
位置記録モードにおいて、カメラ2に対する問い合わせが必要になると、CPU30は、ステップS24においてYesと判定する。なお、カメラ2に対する問い合わせとは、カメラ2に対して候補データ212を送信するように要求するための問い合わせである。すなわち、携帯端末装置3は、アプリケーションの要請等により新たな候補データ212が必要になるたびに、ステップS24においてYesと判定する。
ステップS24においてYesと判定すると、携帯端末装置3は、通信部34がカメラ2と通信中であるか否かを確認する(ステップS25)。そして、通信中でない場合には、カメラ2との間でデータ通信を確立するために、携帯端末装置3は、通信開始処理を実行する(ステップS26)。
なお、通信開始処理は従来の技術を適用できるため詳細は省略するが、通信開始処理において携帯端末装置3は、通信要求とともに計時部33によって作成されたトリガー信号をカメラ2に向けて送信する。これにより、すでに説明したように、カメラ2において携帯端末装置3からの通信要求ありと判定され(ステップS4においてYesと判定され)、カメラ2においてもステップS5の通信開始処理が実行される。
問い合わせが必要になった時点ですでにカメラ2との間で通信が確立されてた場合(ステップS25においてYes。)か、または、ステップS26が実行されてカメラ2との間の通信が確立されると、条件設定部300は、条件データ311を作成する(ステップS27)。
本実施の形態における条件設定部300は、最初の条件データ311としては、移動ベクトルデータ315を使用する。しかし、例えば、時間(何時から何時まで)、方位(当該時間内の移動方向のみ。)、または、速さ(速さが一定の範囲内のもののみを検索できる。)のいずれかであってもよい。条件データ311としては、すでに説明したように、個人情報に該当しないデータで、かつ、対象物を限定しすぎることのないデータが好ましい。なお、ステップS27が実行されるときに、すでに条件データ311が作成されている場合(条件データ311が準備されている状態の場合)には、条件設定部300は、新たな条件データ311の作成は行わない。
条件データ311が準備されると、通信部34は、当該条件データ311をカメラ2に向けて送信する(ステップS28)。これにより、すでに説明したように、カメラ2において条件データ311が受信され、ステップS7においてYesと判定されるため、候補データ送信処理(図6:ステップS8)が実行されて、候補データ212が携帯端末装置3に向けて送信される(図7:ステップS15)。
位置記録モードにおいて候補データ212が受信されると、携帯端末装置3は、ステップS31においてYesと判定する。そして、特定部301が、通信部34によって受信された候補データ212が適切か否かを判定する(ステップS32)。
ステップS32では、まず、特定部301は、当該候補データ212に含まれるレコードが存在するか否かを判定する。そして、当該レコードが存在しない場合(送信した条件データ311に合致する対象物が対象物データ211に存在しなかった場合)、特定部301は、ステップS32においてNoと判定する。
次に、候補データ212にレコードが存在する場合は、候補データ212に対する検索条件(以下、「特定条件」と称する。)を用いて候補データ212を検索し、自機が付随する対象物のレコードを候補データ212から抽出する。このときに、自機が付随する対象物のレコードを候補データ212から抽出できなかった場合、特定部301は、ステップS32においてNoと判定する。
なお、特定条件は、特定部301によって検索キーデータ316から検索条件として選択される情報である。そして、特定条件は、条件データ311に含められる検索条件と異なり、対象物を1つに絞るための検索条件である。したがって、特定条件は、条件データ311に比べて厳しい検索条件である。また、特定条件は、携帯端末装置3から外部に送信されることはないデータであるから、個人情報か否かは問われない。
また、条件データ311と特定条件との組合せによって、カメラ2において対象物を特定されることを有効に阻止することもできる。例えば、対象物データ211において「赤系の服」を着用した人物が抽出されるように色彩の値を条件データ311に設定する。これにより、候補データ212には、「赤色」「ピンク色」「橙色」「紫色」の服を着用した人物が含まれることになるが、一般には、最も条件データ311とのマッチング度合いの高い「赤色」の服を着用した人物が対象物であると予測される(カメラ2においてもそのように予測される)。しかし、ここで特定部301における特定条件を「橙色」を示す色彩の値に絞って設定すれば、「橙色」の服を着用した人物を当該候補データ212から抽出でき、カメラ2における予測を裏切ることができる。
候補データ212が適切な場合(ステップS32においてYes。)、特定部301は、候補データ212から抽出したレコードに基づいて特定データを作成する(ステップS33)。
一方、候補データ212が適切でない場合(ステップS32においてNo。)、特定部301は、条件設定部300に対して不適切通知を伝達する。これにより、条件設定部300が新たな条件データ311を作成する(ステップS35)。さらに、ステップS35において作成された新たな条件データ311は、通信部34によりカメラ2に向けて送信される(ステップS36)。このようにして送信された新たな条件データ311によっても、カメラ2において候補データ送信処理(ステップS8)が実行されるので、携帯端末装置3は新たな候補データ212を受信することができる。
なお、最初に受信した候補データ212によっては、自機が付随する対象物を絞り込めなかったときに作成される新たな条件データ311としては、例えば、対象物の特定の姿勢(挙手姿勢や回転動作など)や、随行人物の有無やその数といったものが考えられる。ただし、これらに限定されるものではないし、例えば、検索条件がさらに甘く(緩く)なるように最初の条件データ311を変更して新たな条件データ311としてもよい。
また、カメラ2と携帯端末装置3との間にデータ通信が確立できていても、当該携帯端末装置3が付随する対象物が未だエリア8の外に存在し、画像データ90に被写体として含まれていない場合も考えられる。この場合に条件データ311を変更しても、目的のデータを抽出することはできないばかりか、新たな条件データ311がカメラ2に漏れることにもなる。
したがって、ステップS32においてNoと判定された場合において、自機が付随する対象物が確実にエリア8内に存在しているか否かを確認するように構成することが好ましい。このような構成を実現する手法としては、例えば、エリア8内を示す位置データ(既知)をカメラ2から受信して、測定データ312に基づいて作成された位置データ313が当該エリア8内であるか否かを判定することが考えられる。そして、当該対象物がエリア8内に存在しているにもかかわらず(撮像されているにもかかわらず)、ステップS32においてNoと判定された場合にのみステップS35,S36を実行するように構成することが好ましい。
以上のように、本実施の形態における情報収集システム1は、エリア8内を撮像して得られる画像データ90を取得するカメラ2と、対象物に付随する携帯端末装置3とを備えている。そして、携帯端末装置3は、カメラ2に向けて条件データ311を送信するとともに、カメラ2から送信された候補データ212を受信する通信部34と、通信部34が受信した候補データ212から自機に付随する対象物に関するデータを特定する特定部301とを備えている。また、カメラ2は、画像データ90に含まれる個々の対象物に関するデータを抽出し分類する分類部200と、分類部200により分類されたデータを個々の対象物ごとに関連づけて記憶する記憶装置21と、通信部34により送信された条件データ311に応じて記憶装置21に記憶された個々の対象物から2以上の対象物を候補対象物として特定し、当該候補対象物に関するデータから構成される候補データ212を作成する検索部201と、検索部201により作成された候補データ212を携帯端末装置3に向けて送信する通信部24とを備える。これによって、カメラ2側に、携帯端末装置3に対応する対象物を特定させないようにすることができ、当該対象物に関するデータがカメラ2に残ることがない。
また、例えば、特許文献1に記載された技術では、端末装置から要求があったときに、当該端末装置が所望する情報(例えば歩行者デッドレコニングを補間するデータ等)を監視カメラ等において映像データを元に作成し提供しているが、今後、このような場面が増加するとすれば、多くの端末装置が一斉に監視カメラ等に所望の情報を要求する事態が生じ、監視カメラ等に負荷がかかりすぎるという問題がある。しかし、情報収集システム1は、携帯端末装置3から要求があったときに、すでに作成しているデータ(対象物データ211のレコード)から候補データ212のレコードに含めるデータを抽出し送信するだけなので、多数の携帯端末装置3からの要求が集中した場合でも、カメラ2の負荷を抑制することができる。
また、同期制御部203が、カメラ2と携帯端末装置3との間で同期をとることにより、双方の時間軸を一致させることができるので、例えば、特定部301による特定精度が向上する。
また、個々の対象物に関するデータ(対象物データ211)は、当該個々の対象物の位置を示すデータを含むことにより、カメラ2により取得される比較的精度の高い位置データを携帯端末装置3側で利用することができる。
また、携帯端末装置3は、自機に付随する対象物の位置データ313を作成しつつ記録する位置記録部302手段をさらに備え、位置記録部302は、特定部301により特定された自機に付随する対象物に関する特定データ314に基づいて、自機に付随する対象物の位置データ313を作成することにより、記録される位置データ313の精度が向上する。
また、携帯端末装置3は、通信部34が受信した候補データ212に応じて新たな条件データ311を作成する条件設定部300をさらに備え、通信部34は、条件設定部300により作成された新たな条件データ311をカメラ2に向けて送信する。これにより、柔軟な検索をすることができる。例えば、段階的に条件データ311を変更しつつ検索することができる。例えば、最初から厳しい条件データ311で検索すると、候補データ212が1つの対象物に限定されてしまい、個人を特定されてしまうおそれがあるため、最初は緩い条件データ311を用いる方が好ましい。一方、緩い条件データ311では、膨大なデータが送信されてきてしまう場合があり、この場合には厳しい条件データ311に変更すればよい。
検索部201は、候補対象物の数を閾値と比較し、比較結果に応じて当該候補対象物の数が閾値以下となるように、当該候補対象物を特定しなおす。これにより、膨大な数の対象物についての候補データ212が携帯端末装置3に向けて送信されるのを防止することができる。
また、検索部201は、候補対象物に関するデータ(対象物データ211のレコード)と条件データ311とのマッチング度合いに応じて候補対象物の中から除外する対象物を決定する。これにより、候補対象物が多い場合に、容易に、候補対象物を絞ることができる。
また、対象物に関するデータのサンプリング間隔は、条件データ311に含まれるデータのサンプリング間隔よりも短い。これにより、検索部201により検索可能な最低限度のサンプリング間隔で条件データ311を作成すればよいので、携帯端末装置3における電池の消耗を抑制できる。
なお、上記実施の形態においては詳細な説明を省略したが、条件設定部300が、検索キーデータ316からどのような情報を選択し、編集して条件データ311を作成するかは、予め設定されている設定データ(図示せず。)を参照することにより実現される。携帯端末装置3において、このような設定データをユーザが自由に設定(変更)することができるように構成してもよい。
図9は、条件データ311における個人情報のセキュリティレベルを設定する画面36を例示する図である。画面36には、スライダー画像37が表示されている。ユーザは、例えば、本人の嗜好により、正確な情報を即座に得たいと望むのであれば、条件データ311における条件を狭く設定することが可能となる。すなわち、図9に例示する構成とすることによって、条件データ311における個人情報について、プライバシー重視(セキュリティレベル高)と、照合コスト軽減(セキュリティレベル低)との間で、スライダー画像37を操作して設定することができる。
なお、図9では、操作部35がタッチパネルを有しており、ユーザが画面36の前面に配置された当該タッチパネルに触れてスライダー画像37を操作する例を示している。ただし、スライダー画像37を、操作部35が備える他のハードウェア(ボタンやキー、あるいは、回転型セレクターなど)により操作してもよい。
また、上記実施の形態において、検索部201が候補データ212に含める対象物を検索する範囲の形状(以下、「絞り込み範囲形状」と称する。)は、カメラ2における撮像部22の撮像範囲に応じて決まる範囲形状であり、エリア8の形状であった。しかし、ユーザの設定により、当該絞り込み範囲形状を、エリア8に含まれる範囲の中の任意の範囲形状に変更できるように構成してもよい。あるいは、乱数生成によって、当該絞り込み範囲形状が毎回異なる範囲形状となるように生成し、カメラ2に向けて送信するようにしてもよい。毎回同一の絞り込み範囲形状内からの検索を要求する条件データ311を送信すると、カメラ2によって対象物が特定される可能性が増す。しかし、上記のように、絞り込み範囲形状をユーザの設定や、乱数によって変更すれば、そのような危険性を抑制することができる。
<2. 変形例>
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
例えば、上記実施の形態における情報収集システム1は、候補対象物の数が閾値より大きい場合に、マッチング度合いに応じて当該候補対象物の数を閾値以内の数に減らすと説明した。しかし、候補対象物の数が閾値より大きい場合の対応としてはこのような手法に限定されるものではない。例えば、検索部201が、新たな条件データ311を送信するように携帯端末装置3に対して要求するように通信部24を制御し、当該要求に応答して通信部34により送信された新たな条件データ311に応じて、候補対象物を特定しなおしてもよい。
また、対象物に関するすべてのデータを予め演算して対象物データ211のレコードに格納しておくのではなく、対象物データ211のレコードを候補データ212のレコードとするときに、携帯端末装置3において利用するデータを演算してもよい。例えば、対象物データ211のレコードには対象物の絶対位置を記録する一方で、当該対象物の速さや移動方向、加速度などは記録しない。そして、候補データ212を作成する際に、対象物データ211のレコードに含まれる絶対位置(各撮像時間ごとに記録されている。)に基づいて、対象物の速さや移動方向、加速度などを求めて、候補データ212のレコードに含めるように構成してもよい。これにより、常に、すべての対象物について速さや移動方向、加速度などを求めておく場合に比べて、携帯端末装置3から要求されたとき(必要とされたとき)のみこれらを演算することになるので、カメラ2(CPU20)の負荷を抑制することができる。
また、本発明における観測装置は、被写体を撮像する撮像装置(カメラ2)に限定されるものではない。例えば、レーザ光を照射してその反射光によって対象物までの距離を逐次観測し対象物の位置を特定するレーザレンジファインダや、赤外光を照射して対象物の位置を特定する赤外線センサ等であってもよい。また、これらの装置が撮像装置と混在していてもよい。ただし、撮像装置を観測装置として採用することにより、すでに実社会において数多く設置されている監視カメラ等を利用して情報収集システム1を構築することができる。したがって、情報収集システム1を構築する際のハードウェアコストを抑制することができるとともに、監視カメラ等によって収集される映像データの有効利用を促進することができる。
また、上記実施の形態では、カメラ2と携帯端末装置3との間で同期を取った後は、カメラ2が時間軸を一致させるための処理を行うと説明したが、このような処理(タイムスタンプの補正)は、携帯端末装置3が行ってもよい。
また、カメラ2と携帯端末装置3との間で同期を取る代わりに、計時部23および計時部33にそれぞれ電波時計の機能を設け、適当なタイミングでGPS電波を受信することにより当該タイミングにおける現在時刻を取得して、カメラ2と携帯端末装置3との間の時間軸を一致させてもよい。
また、上記実施の形態に示した各工程は、あくまでも例示であって、このような内容および順序に限定されるものではない。例えば、同様の効果が得られるのであれば、各工程の内容または順序が適宜変更されてもよい。
また、分類部200や検索部201などのカメラ2が備える機能ブロックは、CPU20がプログラム210に従って動作することにより、ソフトウェア的に実現されると説明した。同様に、条件設定部300や特定部301などの携帯端末装置3が備える機能ブロックは、CPU30がプログラム310に従って動作することにより、ソフトウェア的に実現されると説明した。しかし、これらの機能ブロックの一部または全部を専用の電子回路でハードウェア的に実現してもよい。
また、上記実施の形態では、カメラ2側から提供された情報(特定データ314)を、歩行者デッドレコニングに活用する例で説明したが、他のアプリケーションに利用してもよい。