JPWO2010095437A1 - 物体位置推定システム、物体位置推定装置、物体位置推定方法、及び物体位置推定プログラム - Google Patents
物体位置推定システム、物体位置推定装置、物体位置推定方法、及び物体位置推定プログラム Download PDFInfo
- Publication number
- JPWO2010095437A1 JPWO2010095437A1 JP2010518663A JP2010518663A JPWO2010095437A1 JP WO2010095437 A1 JPWO2010095437 A1 JP WO2010095437A1 JP 2010518663 A JP2010518663 A JP 2010518663A JP 2010518663 A JP2010518663 A JP 2010518663A JP WO2010095437 A1 JPWO2010095437 A1 JP WO2010095437A1
- Authority
- JP
- Japan
- Prior art keywords
- likelihood
- observation
- person
- unit
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 115
- 238000001514 detection method Methods 0.000 claims description 254
- 238000012545 processing Methods 0.000 description 91
- 230000006870 function Effects 0.000 description 79
- 230000008569 process Effects 0.000 description 60
- 238000010586 diagram Methods 0.000 description 46
- 238000004364 calculation method Methods 0.000 description 16
- 230000004048 modification Effects 0.000 description 12
- 238000012986 modification Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 10
- 238000009434 installation Methods 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 2
- 241000220225 Malus Species 0.000 description 2
- 240000003768 Solanum lycopersicum Species 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 235000021016 apples Nutrition 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
- G01S5/0294—Trajectory determination or predictive filtering, e.g. target tracking or Kalman filtering
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
- G01S13/46—Indirect determination of position data
- G01S2013/466—Indirect determination of position data by Trilateration, i.e. two antennas or two sensors determine separately the distance to a target, whereby with the knowledge of the baseline length, i.e. the distance between the antennas or sensors, the position data of the target is determined
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Radar Systems Or Details Thereof (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
物体のID尤度及び位置尤度を第一観測装置(101)で検出し、物体の位置尤度及び物体の追跡状況を第二観測装置(102)で検出し、第二観測装置で検出した物体と物体IDとをアソシエーション手段(109)で対応付け、第二観測装置(102)及びアソシエーション手段(109)からの情報に基づき第二観測装置(102)が検出した物体のID尤度を第二物体ID尤度決定手段(107)で決定し、ID尤度及び位置尤度から物体位置を物体位置推定手段(108)で推定する。
Description
本発明は、複数の異種のセンサ(観測装置)情報に基づいて、物体の識別と位置を推定する物体位置推定システム、物体位置推定装置、物体位置推定方法、及び物体位置推定プログラムに関する。
物体の位置を検出可能なセンサとして、無線タグ又はカメラが用いられることがある。
しかし、無線タグは、(識別対象の物体付与した送信タグが発信するID情報に基づいて物体のID識別を行うため)基本的に、物体のID識別を間違えることがない反面、測位精度がカメラに比べて良くない。更に、電波が水分に吸収されることによりタグの検出が不安定になる等の問題がある。そのため、工場等のように環境が整備されていない一般環境下においては、無線タグの測位精度はあまり期待できない。特に水分を多く含む人等が無線タグを所有していた場合、位置誤差が1m以上に及ぶこと、若しくは、タグそのものを検出できないことも考えられる。
また、カメラの場合、正しく物体の検出ができれば、無線タグと比べて測位精度は良いが、(カメラから得られる画像的な特徴(形状又は色など)から物体のIDを識別するため)物体のID識別精度は100%となり得ない。特に画像的特徴が類似した物体の識別率は低くなってしまう。例えば、トマトとリンゴなど、色又は形状が似た物体を互いに高精度で識別することは難しい。
このように、センサの種類毎に検出能力の善し悪しが異なり、1種類のセンサだけでは物体の識別と位置の決定を高精度で行うことは難しい。そこで、センサを複数組み合わせ、異種複数のセンサの観測情報を統合することで、各種類のセンサの観測精度の不足を補い合いながら物体の位置を推定する技術がある(非特許文献1)。
Hirofumi Kanazaki, Takehisa Yairi, Kazuo Machida, Kenji Kondo, and Yoshihiko Matsukawa, "Variational Approximation Data Association Filter", 15th European Signal Processing Conference(EUSIPCO2007).発行日:2007年9月3日,p1872〜p1876。
しかしながら、前記物体位置推定の技術を使用するためには、すべての観測装置が物体のID識別を行えるということが前提となっている。しかしながら、実際に実環境において物体、あるいは、人の位置の追跡を行うことを考えた場合、すべての観測装置においてID識別が可能という前提が成り立たないケースが存在する。
例えば、観測装置にカメラを用いて人の識別を行う場合、人は毎日着ている服が異なる、あるいは、複数の人が同じ制服を着ているといった状況が容易に想定できる。このような場合、カメラで取得した服飾の色の特徴量によって、人の識別を行うことが現実には困難であることが分かる。あるいは、人の識別に顔画像の特徴量を使用したとしても、人は常にカメラの方向に向かって歩くとは限らないため、人の識別を安定的に行えることは保証の限りではない。カメラを複数台くまなく配置することも考えられるが、システム構築及びシステム設置のコストを無闇に押し上げ、費用対効果の面で現実性に乏しい。
一方で、色又は形状の特徴に変化が起こり難い物品のID識別は、カメラにより安定的に行えるものの、このような前提の成立が条件となると、適用できる状況が著しく限定されてしまい、実用上のボトルネックとなる。
以上、述べたとおり、従来技術(非特許文献1)で開示されている技術は、ID識別を行うことができない観測装置を含む場合に、物体の位置推定が行えないという課題を有している。また、これと同時に、従来技術の前提条件が満たされる状況は極めて限定され応用範囲が狭いという課題も有している。
そこで、本発明の目的は、カメラに代表される物体のID識別を行えない観測装置を含む場合においても、物体の位置を推定することのできる物体位置推定システム、物体位置推定装置、物体位置推定方法、及び物体位置推定プログラムを提供することにある。具体的には、本発明は、ID識別が行えない観測装置以外からの観測情報を基に、ID識別が行えない観測装置の物体のID尤度に相当する数値を計算することで、前記課題を解決する。
前記目的を達成するために、本発明は以下のように構成する。
本発明の第1態様によれば、物体の位置を推定する物体位置推定システムであって、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置とIDとを含む第一観測情報をそれぞれ取得する第一観測部と、
前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を決定する第一物体位置尤度決定手段と、
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で決定する第一物体ID尤度決定手段と、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ取得し、第二観測情報毎に第二観測IDを付す第二観測部と、
前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を決定する第二物体位置尤度決定手段と、
時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を2つ検出し、検出された前記2つの第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を決定する物体追跡状況決定手段と、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を決定する第二物体ID尤度決定手段と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値を算出し、前記第二物体ID尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値を算出するアソシエーション手段と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は/且つ、前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を推定する物体位置推定手段と、
を備えることを特徴とする物体位置推定システムを提供する。
異なる時刻に前記物体をそれぞれ観測して前記物体の位置とIDとを含む第一観測情報をそれぞれ取得する第一観測部と、
前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を決定する第一物体位置尤度決定手段と、
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で決定する第一物体ID尤度決定手段と、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ取得し、第二観測情報毎に第二観測IDを付す第二観測部と、
前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を決定する第二物体位置尤度決定手段と、
時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を2つ検出し、検出された前記2つの第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を決定する物体追跡状況決定手段と、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を決定する第二物体ID尤度決定手段と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値を算出し、前記第二物体ID尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値を算出するアソシエーション手段と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は/且つ、前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を推定する物体位置推定手段と、
を備えることを特徴とする物体位置推定システムを提供する。
本発明の第6態様によれば、物体の位置を推定する物体位置推定方法であって、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置とIDとを含む第一観測情報をそれぞれ第一観測部で取得し、
前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を第一物体位置尤度決定手段で決定し、
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で第一物体ID尤度決定手段で決定し、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ第二観測部で取得して、前記第二観測部で第二観測情報毎に第二観測IDを付し、
前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を第二物体位置尤度決定手段で決定し、
時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を2つ検出し、検出された前記2つの第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を物体追跡状況決定手段で決定し、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を第二物体ID尤度決定手段で決定し、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値をアソシエーション手段で算出し、
前記物体の前記第二物体ID尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値をアソシエーション手段で算出し、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は/且つ、前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を物体位置推定手段で推定する、
ことを特徴とする物体位置推定方法を提供する。
異なる時刻に前記物体をそれぞれ観測して前記物体の位置とIDとを含む第一観測情報をそれぞれ第一観測部で取得し、
前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を第一物体位置尤度決定手段で決定し、
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で第一物体ID尤度決定手段で決定し、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ第二観測部で取得して、前記第二観測部で第二観測情報毎に第二観測IDを付し、
前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を第二物体位置尤度決定手段で決定し、
時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を2つ検出し、検出された前記2つの第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を物体追跡状況決定手段で決定し、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を第二物体ID尤度決定手段で決定し、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値をアソシエーション手段で算出し、
前記物体の前記第二物体ID尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値をアソシエーション手段で算出し、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は/且つ、前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を物体位置推定手段で推定する、
ことを特徴とする物体位置推定方法を提供する。
本発明の第7態様によれば、コンピュータに、
異なる時刻に物体をそれぞれ観測して前記物体の位置とIDとを含む第一観測情報をそれぞれ第一観測部で取得する機能と、
前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を第一物体位置尤度決定手段で決定する機能と、
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で第一物体ID尤度決定手段で決定する機能と、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ第二観測部で取得して、前記第二観測部で第二観測情報毎に第二観測IDを付する機能と、
前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を第二物体位置尤度決定手段で決定する機能と、
時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を2つ検出し、検出された前記2つの第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を物体追跡状況決定手段で決定する機能と、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を第二物体ID尤度決定手段で決定する機能と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値をアソシエーション手段で算出する機能と、
前記物体の前記第二物体ID尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値をアソシエーション手段で算出する機能と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は/且つ、前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を物体位置推定手段で推定する機能とを実現させるための物体位置推定プログラムを提供する。
異なる時刻に物体をそれぞれ観測して前記物体の位置とIDとを含む第一観測情報をそれぞれ第一観測部で取得する機能と、
前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を第一物体位置尤度決定手段で決定する機能と、
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で第一物体ID尤度決定手段で決定する機能と、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ第二観測部で取得して、前記第二観測部で第二観測情報毎に第二観測IDを付する機能と、
前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を第二物体位置尤度決定手段で決定する機能と、
時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を2つ検出し、検出された前記2つの第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を物体追跡状況決定手段で決定する機能と、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を第二物体ID尤度決定手段で決定する機能と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値をアソシエーション手段で算出する機能と、
前記物体の前記第二物体ID尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値をアソシエーション手段で算出する機能と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は/且つ、前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を物体位置推定手段で推定する機能とを実現させるための物体位置推定プログラムを提供する。
本発明の第8態様によれば、異なる時刻に物体をそれぞれ観測して前記物体の位置とIDとを含む第一観測情報をそれぞれ取得する第一観測部からの前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を決定する第一物体位置尤度決定手段と、
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で決定する第一物体ID尤度決定手段と、
異なる時刻に前記物体をそれぞれ観測して取得された前記物体の位置と特徴量を含む第二観測情報毎に第二観測IDを付す第二観測部からの前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を決定する第二物体位置尤度決定手段と、
同じ特徴量を、互いに異なる時刻で観測した2つの前記第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を決定する物体追跡状況決定手段と、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を決定する第二物体ID尤度決定手段と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づく第一物体アソシエーション値と、前記第二物体ID尤度と前記第二物体位置尤度に基づく第二物体アソシエーション値とを算出するアソシエーション手段と、
(1)前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値と、(2)前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値と、の少なくともいずれか一方に基づいて前記物体の位置を推定する物体位置推定手段と、
を備える物体位置推定装置を提供する。
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で決定する第一物体ID尤度決定手段と、
異なる時刻に前記物体をそれぞれ観測して取得された前記物体の位置と特徴量を含む第二観測情報毎に第二観測IDを付す第二観測部からの前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を決定する第二物体位置尤度決定手段と、
同じ特徴量を、互いに異なる時刻で観測した2つの前記第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を決定する物体追跡状況決定手段と、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を決定する第二物体ID尤度決定手段と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づく第一物体アソシエーション値と、前記第二物体ID尤度と前記第二物体位置尤度に基づく第二物体アソシエーション値とを算出するアソシエーション手段と、
(1)前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値と、(2)前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値と、の少なくともいずれか一方に基づいて前記物体の位置を推定する物体位置推定手段と、
を備える物体位置推定装置を提供する。
本構成によれば、ID識別が可能な第一観測装置の観測情報に基づいて、第二観測装置の物体ID尤度に相当する量を計算可能であり、第二観測装置に物体のID識別機能が備わっていない場合にでも物体の位置を推定することができるようになる。
本発明の物体位置推定システム、物体位置推定装置、物体位置推定方法、及び物体位置推定プログラムによれば、物体のID識別を行うことのできない観測装置以外からの情報を基に物体のID尤度を決定することができる。そのため、観測装置に物体のID識別機能が備わっていない場合にでも物体の位置を推定することができるようになる。
本発明のこれらと他の目的と特徴は、添付された図面についての好ましい実施形態に関連した次の記述から明らかになる。この図面においては、
図1Aは、本発明の第一実施形態に係る物体位置推定システムの構成を示すブロック図であり、
図1Bは、本発明の前記第一実施形態の変形例に係る物体位置推定装置の構成を示すブロック図であり、
図2は、本発明の前記第一実施形態に係る前記物体位置推定システムで使用するカルマンフィルタの動作例を示す図であり、
図3は、本発明の前記第一実施形態に係る前記物体位置推定システムでの観測対象である生活空間としての部屋を説明する図であり、
図4は、本発明の前記第一実施形態に係る前記物体位置推定システムの人ID変換テーブルの例を示す図であり、
図5は、本発明の前記第一実施形態に係る前記物体位置推定システムの第一観測装置の出力履歴の例を示す図であり、
図6は、本発明の前記第一実施形態に係る前記物体位置推定システムの第二観測装置の出力履歴の例を示す図であり、
図7は、本発明の前記第一実施形態に係る前記物体位置推定システムの物体位置推定手段の出力履歴の例を示す図であり、
図8は、本発明の前記第一実施形態に係る前記物体位置推定システムの第二物体ID尤度決定手段の出力履歴の例を示す図であり、
図9Aは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻2008/09/02_12:00:00における人の実際の位置の例を示す図であり、
図9Bは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻2008/09/02_12:00:01における人の実際の位置の例を示す図であり、
図9Cは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻2008/09/02_12:00:02における人の実際の位置の例を示す図であり、
図10Aは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻2008/09/02_12:00:00における人の検出位置(観測位置)の例を示す図であり、
図10Bは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻2008/09/02_12:00:01における人の検出位置(観測位置)の例を示す図であり、
図10Cは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻2008/09/02_12:00:02における人の検出位置(観測位置)の例を示す図であり、
図11Aは、本発明の前記第一実施形態に係る前記物体位置推定システムの起動時における、観測対象となる部屋での人の初期位置(観測値適用前の位置)の例を示す図であり、
図11Bは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻2008/09/02_12:00:00における人の推定位置(観測値適用後の位置)の例を示す図であり、
図11Cは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻2008/09/02_12:00:01における人の初期位置(観測値適用前の位置)の例を示す図(図11Bと同じ図)であり、
図11Dは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻2008/09/02_12:00:01における人の推定位置(観測値適用後の位置)の例を示す図であり、
図11Eは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻2008/09/02_12:00:02における人の初期位置(観測値適用前の位置)の例を示す図(図11Dと同じ図)であり、
図11Fは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻2008/09/02_12:00:02における人の推定位置(観測値適用後の位置)の例を示す図であり、
図12Aは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻Tにおける人検出位置間の距離を示す図であり、
図12Bは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻T+1における人検出位置間の距離を示す図であり、
図13は、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻T+2における人検出位置を示す図であり、
図14は、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での第一観測装置の処理を示すフローチャートであり、
図15は、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での第二観測装置の処理を示すフローチャートであり、
図16は、本発明の前記第一実施形態に係る前記物体位置推定システムの処理を示すフローチャートであり、
図17は、本発明の前記第一実施形態に係る前記物体位置推定システムにおいて、同じ色特徴量をそれぞれ持った2人の人が擦れ違ったときのカメラの観測状況を説明するための図であり、
図18は、本発明の前記第一実施形態に係る前記物体位置推定システムにおいて、基準時刻の設定の一例を示す図であり、
図19Aは、本発明の前記第一実施形態に係る前記物体位置推定システムにおいて、物体位置推定手段に備えられる環境マップ(環境マップ情報)の一例を示す図であり、
図19Bは、本発明の前記第一実施形態に係る前記物体位置推定システムにおいて、カメラに備えられる環境マップの一例を示す図である。
以下に、本発明にかかる実施の形態を図面に基づいて詳細に説明する。
以下、図面を参照して本発明における実施形態を詳細に説明する前に、本発明の種々の態様について説明する。
本発明の第1態様によれば、物体の位置を推定する物体位置推定システムであって、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置とIDとを含む第一観測情報をそれぞれ取得する第一観測部と、
前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を決定する第一物体位置尤度決定手段と、
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で決定する第一物体ID尤度決定手段と、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ取得し、第二観測情報毎に第二観測IDを付す第二観測部と、
前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を決定する第二物体位置尤度決定手段と、
時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を2つ検出し、検出された前記2つの第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を決定する物体追跡状況決定手段と、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を決定する第二物体ID尤度決定手段と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値を算出し、前記第二物体ID尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値を算出するアソシエーション手段と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は/且つ、前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を推定する物体位置推定手段と、
を備えることを特徴とする物体位置推定システムを提供する。
異なる時刻に前記物体をそれぞれ観測して前記物体の位置とIDとを含む第一観測情報をそれぞれ取得する第一観測部と、
前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を決定する第一物体位置尤度決定手段と、
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で決定する第一物体ID尤度決定手段と、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ取得し、第二観測情報毎に第二観測IDを付す第二観測部と、
前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を決定する第二物体位置尤度決定手段と、
時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を2つ検出し、検出された前記2つの第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を決定する物体追跡状況決定手段と、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を決定する第二物体ID尤度決定手段と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値を算出し、前記第二物体ID尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値を算出するアソシエーション手段と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は/且つ、前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を推定する物体位置推定手段と、
を備えることを特徴とする物体位置推定システムを提供する。
本発明の第2態様によれば、さらに、前記物体追跡状況決定手段は、物体の追跡に成功している確率を示す追跡成功尤度と、物体の追跡に失敗している確率を示す追跡失敗尤度を出力し、
前記第二物体ID尤度決定手段は、前記物体の前回検出時に算出されたアソシエーション値と前記追跡成功尤度を乗算した値と、検出対象としている総ての物体の数で追跡失敗尤度を除算した値の和を、前記物体の第二ID尤度とすることを特徴とする第1の態様に記載の物体位置推定システムを提供する。
前記第二物体ID尤度決定手段は、前記物体の前回検出時に算出されたアソシエーション値と前記追跡成功尤度を乗算した値と、検出対象としている総ての物体の数で追跡失敗尤度を除算した値の和を、前記物体の第二ID尤度とすることを特徴とする第1の態様に記載の物体位置推定システムを提供する。
本発明の第3態様によれば、前記物体追跡状況決定手段が、時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を2つ検出することにより、前記第二観測装置が検出した前記物体の追跡状況を追跡中であると決定した場合、前記アソシエーション手段は、前記物体位置推定手段が推定した前記物体のIDと前記物体の位置に基づいて、前記第二観測装置が検出した前記物体のIDを求めることを特徴とする第1又は2の何れかの態様に記載の物体位置推定システムを提供する。
本発明の第4態様によれば、更に、前記環境内に存在する前記人が出入りする出入口の位置を含む出入口情報、又は、前記第一観測装置の死角情報と、又は、前記第二観測装置の死角情報が記録された環境マップ(環境マップ情報)を備えることを特徴とする第1〜3の何れか1つの態様に記載の物体位置推定システムを提供する。
本発明の第5態様によれば、更に、前記物体追跡状況決定手段は、重なり合った複数物体を1つの物体として検出している確率を決定することを特徴とする第1〜4の何れか1つの態様に記載の物体位置推定システムを提供する。
本発明の第6態様によれば、物体の位置を推定する物体位置推定方法であって、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置とIDとを含む第一観測情報をそれぞれ第一観測部で取得し、
前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を第一物体位置尤度決定手段で決定し、
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で第一物体ID尤度決定手段で決定し、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ第二観測部で取得して、前記第二観測部で第二観測情報毎に第二観測IDを付し、
前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を第二物体位置尤度決定手段で決定し、
時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を2つ検出し、検出された前記2つの第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を物体追跡状況決定手段で決定し、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を第二物体ID尤度決定手段で決定し、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値をアソシエーション手段で算出し、
前記物体の前記第二物体ID尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値をアソシエーション手段で算出し、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は/且つ、前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を物体位置推定手段で推定する、
ことを特徴とする物体位置推定方法を提供する。
異なる時刻に前記物体をそれぞれ観測して前記物体の位置とIDとを含む第一観測情報をそれぞれ第一観測部で取得し、
前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を第一物体位置尤度決定手段で決定し、
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で第一物体ID尤度決定手段で決定し、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ第二観測部で取得して、前記第二観測部で第二観測情報毎に第二観測IDを付し、
前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を第二物体位置尤度決定手段で決定し、
時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を2つ検出し、検出された前記2つの第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を物体追跡状況決定手段で決定し、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を第二物体ID尤度決定手段で決定し、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値をアソシエーション手段で算出し、
前記物体の前記第二物体ID尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値をアソシエーション手段で算出し、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は/且つ、前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を物体位置推定手段で推定する、
ことを特徴とする物体位置推定方法を提供する。
本発明の第7態様によれば、コンピュータに、
異なる時刻に物体をそれぞれ観測して前記物体の位置とIDとを含む第一観測情報をそれぞれ第一観測部で取得する機能と、
前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を第一物体位置尤度決定手段で決定する機能と、
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で第一物体ID尤度決定手段で決定する機能と、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ第二観測部で取得して、前記第二観測部で第二観測情報毎に第二観測IDを付する機能と、
前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を第二物体位置尤度決定手段で決定する機能と、
時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を2つ検出し、検出された前記2つの第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を物体追跡状況決定手段で決定する機能と、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を第二物体ID尤度決定手段で決定する機能と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値をアソシエーション手段で算出する機能と、
前記物体の前記第二物体ID尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値をアソシエーション手段で算出する機能と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は/且つ、前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を物体位置推定手段で推定する機能とを実現させるための物体位置推定プログラムを提供する。
異なる時刻に物体をそれぞれ観測して前記物体の位置とIDとを含む第一観測情報をそれぞれ第一観測部で取得する機能と、
前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を第一物体位置尤度決定手段で決定する機能と、
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で第一物体ID尤度決定手段で決定する機能と、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ第二観測部で取得して、前記第二観測部で第二観測情報毎に第二観測IDを付する機能と、
前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を第二物体位置尤度決定手段で決定する機能と、
時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を2つ検出し、検出された前記2つの第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を物体追跡状況決定手段で決定する機能と、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を第二物体ID尤度決定手段で決定する機能と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値をアソシエーション手段で算出する機能と、
前記物体の前記第二物体ID尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値をアソシエーション手段で算出する機能と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は/且つ、前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を物体位置推定手段で推定する機能とを実現させるための物体位置推定プログラムを提供する。
本発明の第8態様によれば、異なる時刻に物体をそれぞれ観測して前記物体の位置とIDとを含む第一観測情報をそれぞれ取得する第一観測部からの前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を決定する第一物体位置尤度決定手段と、
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で決定する第一物体ID尤度決定手段と、
異なる時刻に前記物体をそれぞれ観測して取得された前記物体の位置と特徴量を含む第二観測情報毎に第二観測IDを付す第二観測部からの前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を決定する第二物体位置尤度決定手段と、
同じ特徴量を、互いに異なる時刻で観測した2つの前記第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を決定する物体追跡状況決定手段と、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を決定する第二物体ID尤度決定手段と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づく第一物体アソシエーション値と、前記第二物体ID尤度と前記第二物体位置尤度に基づく第二物体アソシエーション値とを算出するアソシエーション手段と、
(1)前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値と、(2)前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値と、の少なくともいずれか一方に基づいて前記物体の位置を推定する物体位置推定手段と、
を備える物体位置推定装置を提供する。
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で決定する第一物体ID尤度決定手段と、
異なる時刻に前記物体をそれぞれ観測して取得された前記物体の位置と特徴量を含む第二観測情報毎に第二観測IDを付す第二観測部からの前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を決定する第二物体位置尤度決定手段と、
同じ特徴量を、互いに異なる時刻で観測した2つの前記第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を決定する物体追跡状況決定手段と、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を決定する第二物体ID尤度決定手段と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づく第一物体アソシエーション値と、前記第二物体ID尤度と前記第二物体位置尤度に基づく第二物体アソシエーション値とを算出するアソシエーション手段と、
(1)前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値と、(2)前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値と、の少なくともいずれか一方に基づいて前記物体の位置を推定する物体位置推定手段と、
を備える物体位置推定装置を提供する。
以下、本発明の実施の形態にかかる、物体位置推定システム、物体位置推定装置、物体位置推定装置又は物体位置推定システムにより実施可能な物体位置推定方法、及び、物体位置推定プログラムについて、図面を参照しながら説明する。
(第一実施形態)
<システム構成>
図1Aは、本発明の第一実施形態に係る物体位置推定システムの構成を示した図である。
<システム構成>
図1Aは、本発明の第一実施形態に係る物体位置推定システムの構成を示した図である。
本発明の第一実施形態に係る物体位置推定システムは、第一観測装置101と、第二観測装置102と、第二物体ID尤度決定手段(第二物体ID尤度決定部)107と、物体位置推定手段(物体位置推定部)108と、アソシエーション手段(アソシエーション部)109とを備えるように構成されている。
第一観測装置101は、第一物体位置尤度決定手段(第一物体位置尤度決定部)103と、第一観測部として機能する第一検出部101aと、第一物体ID尤度決定手段(第一物体ID尤度決定部)104と、第一内部記憶部110とを備えている。第二観測装置102は、第二観測部として機能する第二検出部102aと、画像処理部102bと、第二物体位置尤度決定手段(第二物体位置尤度決定部)105と、物体追跡状況決定手段(物体追跡状況決定部)106と、第二内部記憶部111とを備えている。
なお、本発明の第一実施形態に係る物体位置推定システムは、1つの変形例として、図1Bに示すように、複数の構成要素で第一観測装置101及び第二観測装置102をそれぞれ構成する代わりに、それらの構成要素を個別に備え、かつ、第一観測部として機能する第一検出部101aと、第一タイマ101tと、第二観測部として機能する第二検出部102aと、第二タイマ102tとを除く構成要素を物体位置推定装置99として構成するようにしてもよい。逆に言えば、図1Bの物体位置推定装置99において、図1Aの第一実施形態に係る物体位置推定システムと同様に、第一観測装置101を構成するとともに、画像処理部102bを加えて第二観測装置102を構成すれば、図1Aの第一実施形態に係る物体位置推定システムの構成とすることができる。
ここで、前記物体位置推定装置99は、第一物体位置尤度決定手段(第一物体位置尤度決定部)103と、第一物体ID尤度決定手段(第一物体ID尤度決定部)104と、第二物体位置尤度決定手段(第二物体位置尤度決定部)105と、物体追跡状況決定手段(物体追跡状況決定部)106と、第二物体ID尤度決定手段(第二物体ID尤度決定部)107と、アソシエーション手段(アソシエーション部)109と、物体位置推定手段(物体位置推定部)108とを主たる構成要素として備えるようにしている。付加的構成要素として、前記物体位置推定装置99には、第一記憶部110mと第二記憶部111mとを備えるようにしてもよい。このような構成の場合、第一観測部として機能する第一検出部101aと、第一タイマ101tとからの情報は、第一物体位置尤度決定手段(第一物体位置尤度決定部)103に入力されると共に、第一記憶部110mにも記憶されるようにしてもよい。また、第一物体位置尤度決定手段(第一物体位置尤度決定部)103からの情報は第一物体ID尤度決定手段(第一物体ID尤度決定部)104に入力されるようにしている。さらに、第一物体位置尤度決定手段(第一物体位置尤度決定部)103からの情報及び第一物体ID尤度決定手段(第一物体ID尤度決定部)104からの情報は第一記憶部110mにも記憶されるようにしてもよい。第一物体ID尤度決定手段(第一物体ID尤度決定部)104からの情報は、物体位置推定手段(物体位置推定部)108に入力されるようにしている。同様に、第二観測部として機能する第二検出部102aと、第二タイマ102tとからの情報は、第二物体位置尤度決定手段(第二物体位置尤度決定部)105に入力されると共に、第二記憶部111mにも記憶されるようにしてもよい。また、第二物体位置尤度決定手段(第二物体位置尤度決定部)105からの情報は物体追跡状況決定手段(物体追跡状況決定部)106に入力されるようにしている。さらに、第二物体位置尤度決定手段(第二物体位置尤度決定部)105からの情報及び物体追跡状況決定手段(物体追跡状況決定部)106からの情報は第二記憶部111mにも記憶されるようにしてもよい。物体追跡状況決定手段(物体追跡状況決定部)106からの情報は、物体位置推定手段(物体位置推定部)108とアソシエーション手段(アソシエーション部)109と第二物体ID尤度決定手段(第二物体ID尤度決定部)107とに入力されるようにしている。このような構成の図1Bの物体位置推定装置99も、図1Aの第一実施形態に係る物体位置推定システムの対応する手段(対応する部)と同様に作用効果を奏することができる。
また、図3に、本発明の第一実施形態に係る物体位置推定システムの構成要素である第一観測装置101と第二観測装置102とを備えた、環境の一例である生活環境の具体的な例としての部屋301を示す。四角形の部屋301の天井の異なる隅には、UWB(Ultra Wide Band)のタグリーダ304と、ステレオカメラ305とが、それぞれ設置されている。タグリーダ304は、第一観測装置101の第一検出部101aの一例として機能し、ステレオカメラ305は、第二観測装置102の第二検出部102aの一例として機能する。部屋301内には、タグリーダ304でそれぞれ検出可能な、タグ303Aを所有した人302Aと、タグ303Bを所有した人302Bと、タグ303Cを所有した人302Cとが存在していると仮定する。以後、部屋301内に存在する人302Aと人302Bと人302Cとのうちの任意の人を、人302として代表的に説明する。同様に、部屋301内に存在するタグ303Aとタグ303Bとタグ303Cとのうちの任意のタグを、タグ303として代表的に説明する。
以下、図1Aと図3とを用いて、各構成要素について説明する。
<各観測装置の説明>
第一観測装置101と第二観測装置102とは、共に生活環境の具体的な例である部屋301内に存在する人302をそれぞれ検出する。
第一観測装置101と第二観測装置102とは、共に生活環境の具体的な例である部屋301内に存在する人302をそれぞれ検出する。
<第一観測装置の説明>
第一観測装置101は、第一観測部として機能する第一検出部101aと、第一物体位置尤度決定手段103と、第一物体ID尤度決定手段104と、第一内部記憶部110とを備えている。第一観測装置101は、部屋301内に存在する人302の第一ID尤度(第一物体ID尤度)と、第一位置尤度(第一物体位置尤度)と、を第一観測装置101で決定する。決定された人302の第一ID尤度と第一位置尤度との情報を、第一観測装置101から物体位置推定手段108に出力することができる。
第一観測装置101は、第一観測部として機能する第一検出部101aと、第一物体位置尤度決定手段103と、第一物体ID尤度決定手段104と、第一内部記憶部110とを備えている。第一観測装置101は、部屋301内に存在する人302の第一ID尤度(第一物体ID尤度)と、第一位置尤度(第一物体位置尤度)と、を第一観測装置101で決定する。決定された人302の第一ID尤度と第一位置尤度との情報を、第一観測装置101から物体位置推定手段108に出力することができる。
第一ID尤度及び後述する第二ID尤度というときのID尤度とは、検出した物体(例えば、ここでは人302)がどのIDの物体(例えば、ここでは人302)であるらしいか、を確率的に表したものである。例えば、(無線タグでは従来技術に記述した通り、IDを確実に識別可能なので)無線タグで物体Aのタグを検出した場合、ID尤度は物体Aである確率が1、その他の物体である確率が0となる。一方、カメラで物体Aを検出した場合、上述の通り特定の物体であることを確実には識別できない。例えば、カメラを通じて物体Aを識別した場合であっても、物体A以外の物体(物体B,物体C)を識別した可能性がある。そのため、ID尤度は物体Aである確率が0.8、物体Bである確率が0.1、物体Cである確率が0.1、というように、存在する物体すべてに確率の割り振りを行うこととなる。尚、これはID尤度を決定する一例であり、本発明はこれに限るものではない。本発明の第一実施形態では、第一観測装置101の第一検出部101aが検出した人302の第一ID尤度は、第一物体ID尤度決定手段104により決定する。これに対して第二観測装置102の第二検出部102aの一例であるカメラ305は、物体のID識別機能を有していない。そのため、第二観測装置102とは別の第二物体ID尤度決定手段107によって、第二観測装置102の第二検出部102aの一例であるカメラ305及び画像処理部102bが検出した人302の第二ID尤度を、決定している。
第一位置尤度及び後述する第二位置尤度というときの位置尤度とは、ある時点で推定されている各物体の位置に基づいて、新たに観測された物体の位置に関して、その物体がどのIDの物体であるらしいか、を確率的に表したものである。例えば、1次元座標上の10の位置に物体Aが、20の位置に物体Bが、40の位置に物体Cがそれぞれ存在すると推定されていたとする。この状況において、0の位置に物体を検出したとする。このときの位置尤度は、例えば、各物体A,B,Cの推定位置からの距離の逆数を取り正規化を行うことで、物体Aである確率が0.58、物体Bである確率が0.28、物体Cである確率が0.14と算出することができる。
ここで、物体位置推定システム起動時について考える。物体位置推定システム起動時の人の初期推定位置がランダムに決定されている場合、タグリーダ304は人IDの識別を確実に行うことができる。そのため、ランダムに決定された人の(初期)推定位置よりも、人302(が所持しているタグ303)を検出した位置の方が、実際の人302の位置に近い可能性が高い。そこで、第二位置尤度は、推定されている物体の位置ではなく、タグリーダ304が人302(が所持しているタグ303)を検出した位置に基づいて、求めても良い。
さらに、物体位置推定システム起動時からN回目(Nは0よりも大きな任意の整数。)のカメラ305の観測までは、タグリーダ304が人302(が所持しているタグ303)を検出した位置に基き、第二位置尤度を決定し、N回目以降のカメラ305の観測は、推定された物体の位置に基き、第二位置尤度を決定しても良い。ここで、タグリーダ304が人302(が所持しているタグ303)を検出した位置に基づいて第二位置尤度を決定する回数Nは、観測装置の性能によって最適な値が異なってくる。そのため、事前実験などによって、予め最適な値を見積もっておくことが必要となる。
尚、これは位置尤度を決定する一例であり、本発明はこれに限るものではない。第一位置尤度は、第一観測装置101の第一物体位置尤度決定手段103で決定される。第二位置尤度は、第二観測装置102の第二物体位置尤度決定手段105で決定される。
尚、これは位置尤度を決定する一例であり、本発明はこれに限るものではない。第一位置尤度は、第一観測装置101の第一物体位置尤度決定手段103で決定される。第二位置尤度は、第二観測装置102の第二物体位置尤度決定手段105で決定される。
第一観測装置101の第一検出部101aには、例えばタグリーダ304を用いることができる。
第一物体位置尤度決定手段103は、第一観測装置101の第一検出部101aが検出した人302の第一位置尤度(第一物体位置尤度)を決定する。第一観測装置101の第一検出部101aにタグリーダ304を一例として用いる場合、第一物体位置尤度決定手段103は、例えば、三点測量の原理を用いて人302の第一位置尤度を決定することができる。具体的には、各無線タグリーダ自体の設置位置は、第一物体位置尤度決定手段103の内部記憶部又は第一内部記憶部110などに予め記憶させておく。そして、各無線タグリーダが各無線タグリーダ自体の設置位置を中心として、各無線タグリーダでタグ303を検出した位置を基に、第一物体位置尤度決定手段103が球体を描く。より具体的には、第一物体位置尤度決定手段103が、この検出した位置と前記設置位置とで算出した距離を半径とした球面を描く。このとき、第一物体位置尤度決定手段103により、球面が最も多く重なり合った位置を人302が所有しているタグ303の存在する位置とし、人302が存在する位置とする。
第一物体ID尤度決定手段104は、第一観測装置101の第一検出部101aが検出した人302の第一ID尤度(第一物体ID尤度)を決定する。第一観測装置101の第一検出部101aとしてタグリーダ304を用いる場合、タグ303に人302のIDを記録しておくことで、タグリーダ304は、タグ303に記録された人302のIDをタグ303から直接読み取ることができる。これにより、人302の第一ID尤度は人302のIDである確率が1とすることができる。タグ303に人302のIDを記録しない場合は、例えばタグIDから人302の第一ID尤度を決定できる人ID変換テーブルを用いても良い。人ID変換テーブルの例を図4に示す。図4の人ID変換テーブルでは、例えば、タグID=T4のタグを検出した場合、人ID=H1の人を検出したことを示している。人ID変換テーブルは、第一観測装置101の第一内部記憶部110に記録していても良い。また、外部のデータベースなどに記録しておき、必要に応じて、第一物体ID尤度決定手段104が外部のデータベースから、必要な情報を取得して人302の第一ID尤度を決定するようにしても良い。
第一観測装置101の人検出例を図5に示す。図5は、観測周期が1秒のタグリーダ304の出力例であって、観測IDと、人302を検出した時刻と、人302を検出した位置(xy座標)と、人302が所有していたタグIDとがそれぞれ出力されている。例えば、時刻2008/09/02_12:00:00においては、タグID=T4を所有する人302を位置(150,210)で検出し、観測ID=OBS_TAG_001の第一観測情報として出力している。タグID=T7、T8においても同様に、観測ID=OBS_TAG_002の第一観測情報、及び観測ID=OBS_TAG_003の第一観測情報として出力されている(なお、以下においては、「の第一観測情報」は省略する。)。尚、第一観測装置101は、観測周期及び時刻の情報などを取得するための第一タイマ101tを備えているものとする。
以下、第一観測装置101の第一検出部101aが一例としてタグリーダ304である場合として説明する。
図14のフローチャートを参照して、タグリーダ304の処理内容を説明する。
ステップS1401で、環境の具体的な例である部屋301内に存在するタグ303を第一検出部101aで検出し、タグ303のIDと位置を第一検出部101aで検出する。このタグ303の位置に基づいて第一位置尤度を第一物体位置尤度決定手段103により決定する。
ステップS1402で、タグ303を所持している人302のIDを第一検出部101aで検出し、人の第一ID尤度を第一物体ID尤度決定手段104により決定する。
ステップS1403で、人の第一ID尤度と第一位置尤度を第一観測装置101から物体位置推定手段108に出力する。
<第二観測装置の説明>
第二観測装置102は、第二観測部として機能する第二検出部102aと、画像処理部102bと第二物体位置尤度決定手段105と物体追跡状況決定手段106と第二内部記憶部111とを備えている。第二観測装置は、部屋301内に存在する人302の第二位置尤度(第二物体位置尤度)と人302の追跡状況の情報(追跡状況情報)を第二観測装置102で取得して、第二観測装置102から、第二物体ID尤度決定手段107と物体位置推定手段108とアソシエーション手段109とにそれぞれ出力することができる。第二観測装置102の第二検出部102aの例としては、カメラ305を用いる。
第二観測装置102は、第二観測部として機能する第二検出部102aと、画像処理部102bと第二物体位置尤度決定手段105と物体追跡状況決定手段106と第二内部記憶部111とを備えている。第二観測装置は、部屋301内に存在する人302の第二位置尤度(第二物体位置尤度)と人302の追跡状況の情報(追跡状況情報)を第二観測装置102で取得して、第二観測装置102から、第二物体ID尤度決定手段107と物体位置推定手段108とアソシエーション手段109とにそれぞれ出力することができる。第二観測装置102の第二検出部102aの例としては、カメラ305を用いる。
カメラ305を用いて人302を検出するには、第二検出部102aの一例であるカメラ305が取得した画像データを画像処理部102bで処理する必要がある。その方法として、例えば、背景差分法を画像処理部102bで用いることができる。その方法は次のようなものである。カメラ305で予め撮像して用意しておいた、人302が存在していないときの環境例えば部屋301の背景画像データと、カメラ305で撮像した現在の画像データを画像処理部102bで比較する。その後、画素値が異なる領域を差分領域として画像処理部102bで取り出す。そして、前記差分領域を人302であるとして画像処理部102bで検出する。ただし、画像データにはノイズが混じっている可能性があるため、前記差分領域が人302に対して十分に小さいと画像処理部102bで判断できる場合には、前記差分領域は人302ではないと画像処理部102bで判断しても良い。ここで、差分領域が人302に対して十分に小さい場合とは、前記差分領域の画素数が、人302と認識可能な最低画素数を基に予め設定した閾値以下である場合が考えられる。
第二物体位置尤度決定手段105は、第二観測装置102の第二検出部102aと、画像処理部102bとが検出した人302の第二位置尤度(第二物体位置尤度)を決定する。第二観測装置102の第二検出部102aの一例としてのカメラ305は、天井から垂直に地面を見下ろすように設置されているとする。このとき、例えば、第二物体位置尤度決定手段105は、画像処理部102bで取得した差分領域の重心位置に基づいて、人302の第二位置尤度を決定することができる。
物体追跡状況決定手段106は、第二観測装置102の第二検出部102aと画像処理部102bが検出した人302の追跡状況の情報(追跡状況情報)を決定する。第二観測装置102の第二検出部102aの一例としてカメラ305を用いる場合、例えば、画像処理部102bで取得した差分領域の色の分布を第二内部記憶部111に記憶しておくことで、人302の追跡を実現できる。この追跡について、図6に示す第二内部記憶部111に記憶された人検出履歴データベースを用いて説明する。図6は、観測周期が1秒のカメラ305の出力履歴であって、観測IDと、人302を検出した時刻と、人302を検出した位置(xy座標)と、そして人302の色特徴量とが記録されるようになっている。観測ID=OBS_CAM_001の第二観測情報は、時刻2008/09/02_12:00:00において、カメラ305が位置(150,410)で人302を検出したことを表している。さらに、色特徴量に赤が記録されており、差分領域の色の分布を画像処理部102bで解析した結果、赤色の成分が最も多かったことを表している。その1秒後の検出にあたる、観測ID=OBS_CAM004の第二観測情報(以降、「観測ID=」及び「の第二観測情報」は省略する。)における色特徴量にも赤が記録されている。このとき、色特徴量が同じであるため、OBS_CAM_004で検出した人302は、OBS_CAM_001で検出した人302と同一人であると推定される。そのため、OBS_CAM_004は、OBS_CAM_001を追跡して得られた追跡状況情報であると物体追跡状況決定手段106で決定する。OBS_CAM_001で検出した人302に関しては、以前に色特徴量が同じ観測IDが存在しないため、初めて検出された人であるという追跡状況情報として物体追跡状況決定手段106で決定される。ここで、色特徴量には、RGBの成分比などを用いても良い。尚、第二観測装置102は、観測周期及び時刻の情報などを取得するための第二タイマ102tを備えているものとする。
ここで、OBS_CAM_004が得られなかった場合について考える。
OBS_CAM_007が得られる前回の観測では、OBS_CAM_007と同じ色特徴量「赤」を持った観測値は得られていない。カメラ305の人の検出性能が高い場合、OBS_CAM_007を、初めて検出された人であると物体追跡状況決定手段106で決定しても良い。また、カメラ305の人の検出性能が低い場合、OBS_CAM_007が得られる前回の観測では人の検出をミスしたと判断し、さらに前回の観測値で且つ同じ色特徴量「赤」を持つOBS_CAM_001を、OBS_CAM_007と同一人であると物体追跡状況決定手段106で決定しても良い。
前記例では、OBS_CAM_004で検出した人302は、OBS_CAM_001で検出した人302と同一人である、という追跡状況情報として物体追跡状況決定手段106で決定している。しかし、OBS_CAM_001とOBS_CAM_004は同じ色特徴量を検出していても、検出時間の差と検出位置の差とから互いに別人を検出したと物体追跡状況決定手段106で判断するときがある。例えば、OBS_CAM_001の検出位置(150,401)からOBS_CAM_004の検出位置(320,390)までの移動が、検出時間の差の間に、人の歩行速度では到底移動できないことが明らかな場合に、このような判断がされる。このような判断基準として、例えば、検出位置(150,401)と検出位置(320,390)との距離が、前記時間と人の最大歩行速度(例えば秒速5m)との積である歩行可能距離よりも大きい場合などが考えられる。
また、前記例では、同じ色特徴量をそれぞれ持った2人の人が擦れ違った場合、今回得られた観測IDが、以前得られた、どの観測IDを追跡したものかを物体追跡状況決定手段106で判断することができない。
このような場合、物体追跡状況決定手段106は、人の運動モデルを考慮しても良い。同じ色特徴量をそれぞれ持った2人の人が擦れ違ったときのカメラ305の観測状況を図17に示す。尚、本来は、タグリーダ304の観測値も得られるはずであるが、ここでは省略している。
上述した通り、時刻12:00:02において、追跡状況情報として、OBS_CAM_103は、同じ色特徴量を持ち、且つ1秒以内で移動が可能なOBS_CAM_101を追跡して得られた観測値であると物体追跡状況決定手段106で判断される。同様に、OBS_CAM_104は、同じ色特徴量を持ち、且つ1秒以内で移動が可能なOBS_CAM_102を追跡して得られた観測値であると物体追跡状況決定手段106で判断される。
ここで、特徴量だけでなく、物体の存在する時間も考慮しているのは以下の理由による。すなわち、追跡状況情報として、物体の特徴量のみで観測ID同士を関連付けることができて、追跡状況情報として取り扱うことができれば、簡単で良い。しかしながら、実際には、特徴量が同じ物体が複数存在する場合も考えられる(例えば、同じ服を着ている人がいる場合などが考えられる)。その場合、特徴量だけでなく、時間毎に物体が存在する位置も考慮して観測IDを関連付けるようにしても良い。例えば、1秒で100m以上離れた場所に人が移動している場合、特徴量が同じでも関連付けを行わない、などのルールを予め決めて記憶しておき、物体追跡状況決定手段106でそのルールを適用できるようにしておけばよい。
このことから、OBS_CAM_103は、−X方向へ秒速2mで進行し、OBS_CAM_104は、+X方向へ秒速2mで進行していると物体追跡状況決定手段106で判断される。
時刻12:00:03において、OBS_CAM_105の追跡元の観測値として、同じ色特徴量を持ち且つ1秒以内で移動可能な観測値がOBS_CAM_103とOBS_CAM_104との2つ存在する。このとき、第二内部記憶部111の人検出履歴データベースのOBS_CAM_103とOBS_CAM_104の進行履歴の情報を物体追跡状況決定手段106で参照することによって、どちらの観測値がOBS_CAM_105の追跡元の観測値なのかを物体追跡状況決定手段106で判断する。OBS_CAM_103は、−X方向へ秒速2mで進行していたことから、次回の観測(時刻12:00:03での観測)は、座標(550,350)で得られる可能性が高いと物体追跡状況決定手段106で判断することができる。また、OBS_CAM_104は、+X方向へ秒速2mで進行していたことから、次回の観測は、座標(450,250)で得られる可能性が高いと物体追跡状況決定手段106で判断することができる。
ここで、OBS_CAM_105は、座標(550,350)で得られており、OBS_CAM_103を追跡して得られた観測値であると物体追跡状況決定手段106で判断することができる。同様に、OBS_CAM_106は、OBS_CAM104を追跡して得られた観測値であると物体追跡状況決定手段106で判断することができる。
尚、人検出履歴データベースは、前記したように第二観測装置102の第二内部記憶部111に記録していても良い。また、外部のデータベースなどに記録しておき、必要に応じて、物体追跡状況決定手段106が外部のデータベースなどから必要な情報を取得して物体追跡状況の情報を取得するようにしても良い。尚、第一観測装置101と第二観測装置102の観測周期は同じである必要はない。
以下、第二観測装置102の第二検出部102aの一例をカメラ305として説明する。
図15のフローチャートを参照してカメラ305の処理内容を説明する。
ステップS1501で、環境の具体的な例である部屋301内に存在する人302を第二検出部102aで検出し、画像処理部102bで検出した位置に基づいて第二位置尤度を第二物体位置尤度決定手段105で決定する。
ステップS1502で、第二検出部102aと画像処理部102bとで検出した情報を、第二検出部102aと画像処理部102bとにより、第二内部記憶部111の人検出履歴データベースに記録する。
ステップS1503で、人検出履歴データベースを物体追跡状況決定手段106で参照して、第二検出部102aと画像処理部102bとで検出した人302の追跡状況を物体追跡状況決定手段106で決定する。
ステップS1504で、前述の第二位置尤度と、追跡状況情報と、を第二観測装置102から第二物体ID尤度決定手段107と物体位置推定手段108とアソシエーション手段109とにそれぞれ出力する。
ここで、第一観測装置101と第二観測装置102の観測周期が短いほど、物体位置推定を行う回数も増えるため、位置の推定精度は良くなる。
<アソシエーション手段と物体位置推定手段の説明>
物体位置推定手段108は、第一観測装置101で決定(検出)した人302の第一ID尤度と第一位置尤度と、第二観測装置102で決定(検出)した人302の第二位置尤度と、第二物体ID尤度決定手段107で決定した第二ID尤度とを基に、人302の位置を推定する。
物体位置推定手段108は、第一観測装置101で決定(検出)した人302の第一ID尤度と第一位置尤度と、第二観測装置102で決定(検出)した人302の第二位置尤度と、第二物体ID尤度決定手段107で決定した第二ID尤度とを基に、人302の位置を推定する。
具体的には以下の方法で行う。アソシエーション手段109は、その位置推定の方法として以下の一ID尤度と第一位置尤度とを受け取ると、受け取った物体の第一ID尤度と第一位置尤度と基にアソシエーション値の計算を行う。
アソシエーション手段109は、第一観測装置101から受け取った物体の第一ID尤度と第一位置尤度と、第二観測装置102から受け取った物体の第二位置尤度と、第二物体ID尤度決定手段107から受け取った物体の第二ID尤度とを基に、検出した物体がどのIDの物体であるか、を確率的に求める。物体の検出は、第一観測装置101の第一検出部101a及び第二観測装置102の第二検出部102aと画像処理部102bにより行われる。ここでの説明では、第一観測装置101及び第二観測装置102をまとめて「観測装置」と呼び、第一ID尤度及び第二ID尤度をまとめて「ID尤度」と呼び、第一位置尤度及び第二位置尤度をまとめて「位置尤度」と呼ぶこととする。
ここで、アソシエーション手段109が求めた確率値を「アソシエーション値」と呼ぶこととする。具体的には、アソシエーション値とは、観測装置で観測されたID尤度と位置尤度との情報と実際の物体との関連付けを表す値である(第二ID尤度については、第二物体ID尤度決定手段が出力である)。つまり、観測装置から受け取った物体のID尤度と位置尤度とが、どのIDの物体を検出することによって得られた値であるかを確率的に表す値である。先に述べた、物体のID尤度及び位置尤度は、それぞれ、観測情報(観測データ)が、ある物体を観測して得られた情報(データ)である、という確からしさを表す値である。また、アソシエーション値は、このID尤度と位置尤度との積として表される。なお、アソシエーション手段109でアソシエーション値の計算を行うために用いる、第二観測装置102が検出した物体における、第二ID尤度は、第二観測装置102ではなく、第二物体ID尤度決定手段107で算出される。
アソシエーション手段109によるアソシエーション値の計算が終わると、アソシエーション手段109での計算結果と前記物体の追跡状況情報とに基づき、人302の位置を物体位置推定手段108で推定する。なお、アソシエーション手段109によるアソシエーション値の計算の終了は、例えば、アソシエーション手段109での計算結果が、アソシエーション手段109から物体位置推定手段108に入力されることにより判断できる。計算結果の情報が、アソシエーション手段109から物体位置推定手段108に入力されると、物体位置推定手段108は、アソシエーション値の計算が終わったと判断する。そして、アソシエーション手段109での計算結果と前記物体の追跡状況情報とに基づき、人302の位置を物体位置推定手段108で推定する。
その方法として、カルマンフィルタなどに代表されるベイズ推定の枠組みを物体位置推定手段108で用いることができる。第二観測装置102から得られた人302のID尤度と位置尤度とに基づいて、物体位置推定手段108で位置の推定を行うが、このとき、人302の位置の更新量は、前記アソシエーション値で重み付けがなされる。前記アソシエーション値での重み付けの情報は、アソシエーション手段109から物体位置推定手段108へ出力される。
尚、アソシエーション値は、その値が高いほど物体の位置の更新量は大きくなる。言い換えれば、ある物体の観測データである可能性が高い観測データの位置更新への寄与率が高くなるということである。
<カルマンフィルタ説明>
カルマンフィルタとは、システムの状態(本発明のこの第一実施形態においては、例えば、物体の位置)の情報、及び、第一観測装置101、第二観測装置102の観測データ(観測情報)双方にノイズが含まれるという仮定の基に、尤もらしいシステムの状態を推定するものである。言い換えれば、システムの取りうる状態の候補の中から、最も確率の高い状態を推定するものである。
カルマンフィルタとは、システムの状態(本発明のこの第一実施形態においては、例えば、物体の位置)の情報、及び、第一観測装置101、第二観測装置102の観測データ(観測情報)双方にノイズが含まれるという仮定の基に、尤もらしいシステムの状態を推定するものである。言い換えれば、システムの取りうる状態の候補の中から、最も確率の高い状態を推定するものである。
図2に物体位置推定処理にカルマンフィルタを利用した例を示す。縦軸は確率、横軸は位置を表す。
物体が下記(式1)に表されるような移動を行うとき、第二観測装置102は(式2)で求められる観測値203を得ることができる。ここで、Aは物体の運動モデル、xは物体位置、vは移動の際に生じるプロセスノイズを表している。また、yは観測値、Hは物体位置xと観測値yとを対応付ける観測モデル、wは観測ノイズ、tは時間を表している。
ここで、プロセスノイズv及び観測ノイズwは、白色ガウスノイズとすると、p(w)は(式3)のように表されるとともに、p(v)は(式4)のように表される。尚、N(0,Q)は、平均0、分散Qのガウス分布を表している。N(0,R)も同様に、平均0、分散Rのガウス分布を表している。
観測値203が得られると、現在得られている物体の位置に関する事前確率分布201(以後、「事前分布」と呼ぶ。)を物体位置推定手段108で更新し、予測確率分布202(以後、「予測分布」と呼ぶ。)を物体位置推定手段108で作成する。(式5)で予測分布202の平均(位置)を物体位置推定手段108で求め、(式6)で予測分布202の分散を物体位置推定手段108で求めることができる。尚、Xa|bは時刻bの情報を基にした時刻aのXの推定値を表す。例えば、(式5)の「xt|t-1」は時刻t-1の情報を基にした時刻tの物体位置xの推定値を表しており、(式6)の「Pt|t-1」は時刻t−1の情報を基にした時刻tのPの推定値を表している。ここで、Pは分布の分散を表している。
予測分布202が物体位置推定手段108で得られると、観測値203と予測分布202とから事後分布204を物体位置推定手段108で求める。(式7)で事後分布の平均(位置)を物体位置推定手段108で求め、(式8)で事後分布の分散を物体位置推定手段108で求めることができる。ここで、Kはカルマンゲインと呼ばれる値であり、(式9)にて求められる。カルマンゲインは更新量を決定する値である。観測値の精度が良い(分散Rが非常に小さい)場合には、更新量を大きくするため、カルマンゲインの値は大きくなる。逆に、事前分布の精度が良い(分散Pが非常に小さい)場合には、更新量を小さくするため、カルマンゲインの値は小さくなる。
なお、アソシエーション値を用いて物品Aの位置の更新量に重み付けを行う場合、後述するように、式(9)を式(9A)に置き換えればよい。式(9A)において、「D」は前記物品Aに対するアソシエーション値を表す。
<第二物体ID尤度決定手段の説明>
第二物体ID尤度決定手段107は、物体追跡状況決定手段106の物体の追跡状況情報とアソシエーション手段109で求められたアソシエーション値とに基づいて、カメラ305と画像処理部102bとが、観測した観測値における、第二ID尤度(第二物体ID尤度)を決定する。
第二物体ID尤度決定手段107は、物体追跡状況決定手段106の物体の追跡状況情報とアソシエーション手段109で求められたアソシエーション値とに基づいて、カメラ305と画像処理部102bとが、観測した観測値における、第二ID尤度(第二物体ID尤度)を決定する。
カメラ305と画像処理部102bとで観測した観測値が、初めて観測された観測値であった場合、第二物体ID尤度決定手段107は、部屋301内に存在する全ての人である可能性があると第二物体ID尤度決定手段107で判断する。つまり、部屋301内に人302A、人302B、人302Cの3人の人が存在している場合、第二物体ID尤度決定手段107は、カメラ305と画像処理部102bとで観測した観測値が、前述の3人を同一確率(1/3)で観測したと判断する。より具体的には、人ID=H1(例えば、人302A)を検出して得られた観測値である確率が1/3、人ID=H2(例えば、人302B)を検出して得られた観測値である確率が1/3、人ID=H3(例えば、人302C)を検出して得られた観測値である確率が1/3として、人の第二ID尤度をそれぞれ決定する。なお、前記したように、図7は、物体位置推定手段108の推定結果の出力図例を示しており、推定位置(推定された位置)というものは、事前の人の推定位置と観測装置の観測値に基づいて計算される。ここで、12:00:00時の推定結果では、事前の人の推定位置は初期値(今回の例では、部屋の中心)であるため、観測装置の観測値を含めて計算しても、正しい位置に人の位置を推定することは困難である。時刻12:00:001、時刻12:00:002・・・と、観測装置の観測値が得られる度に、人の位置を逐次更新していくことで、人位置の推定精度が高まっていくことが、図7から読み取ることができる。
以上のようにして第二物体ID尤度決定手段107で決定された第二ID尤度を用いて、現在推定されている人のIDと人の位置を基に、アソシエーション手段109によりアソシエーション値を求める。求められたアソシエーション値は、アソシエーション手段109に内蔵されている内部記憶部のアソシエーション値データベース109aに記録される。
図8にアソシエーション値データベース109aの例を示す。アソシエーション値データベース109aには、第二観測装置102の第二検出部102aの一例であるカメラ305の観測IDと、各人302へのアソシエーション値とが記録されている。図8によると、OBS_CAM_004で検出された人は、HUM_001の人である確率が0.69と最も高く、次いでHUM_002の人である確率が0.19であり、HUM_003の人である確率は0.12と最も低くなっている。他の観測IDについても、同様に、各人に対するアソシエーション値が記録されている。尚、アソシエーション値データベース109aは、アソシエーション手段109の内部記憶部に記録していても良い。また、外部のデータベースなどに記録しておき、必要に応じて、アソシエーション手段109が外部のデータベースから必要な情報を取得してアソシエーション値を計算するようにしても良い。
カメラ305と画像処理部102bとで観測した観測値が、以前の観測値を追跡した観測値であった場合、第二物体ID尤度決定手段107は、前記観測値と対応付けられた前回の観測値でアソシエーション手段109で求めた前回のアソシエーション値を、第二ID尤度として決定する。そして、第二物体ID尤度決定手段107で決定された第二ID尤度を用いて、現在推定されている人のIDと人の位置を基に、アソシエーション手段109により現在のアソシエーション値を求める。求められたアソシエーション値は、アソシエーション手段109によりアソシエーション値データベース109aに記録する。
ここで、カメラ305が観測値の追跡に失敗する可能性について考える。カメラ305が、前回の観測値と今回の観測値を対応付けることによって、同一物体を追跡して得られた観測値であると第二観測部102から第二物体ID尤度決定手段107に出力したとしても、実際には、ノイズの影響などにより、初めて出現した別の人を観測することによって得られた観測値を、カメラ305と画像処理部102bとで検出していた可能性も考えられる。そこで、カメラ305が観測値を正しく追跡できる確率変数Tを第二物体ID尤度決定手段107で導入し、(式10)に従って、第二ID尤度を第二物体ID尤度決定手段107で決定しても良い。
(式10)において、pidは第二ID尤度、rはアソシエーション値、Nは部屋301内に存在する人の数、tは時間を表す。
(式10)に従うと、確率変数T=0のとき、追跡が確実に失敗している、又は、初めて観測値を検出したと考えられ、前記観測値の第二ID尤度pidは(式11)となる。
また、確率変数T=1のとき、追跡が確実に成功していると考えられ、前記観測値の第二ID尤度pidは(式12)となる。
すなわち、言い換えれば、物体追跡状況決定手段106は、物体の追跡に成功している確率を示す追跡成功尤度と、物体の追跡に失敗している確率を示す追跡失敗尤度とを出力する。第二物体ID尤度決定手段107は、前記物体の前回検出時に算出されたアソシエーション値と前記追跡成功尤度とを乗算した値と、検出対象としている総ての物体の数で追跡失敗尤度を除算した値の和を、前記物体の第二ID尤度pidとする。ここで、追跡成功尤度は確率変数Tであり、追跡失敗尤度は(1−T)である。
第二物体ID尤度決定手段107の動作結果となる第二ID尤度pidの求め方は、物体の追跡に成功していた場合、前回観測値のアソシエーション値に基づいて、物体のID尤度を推定する。しかしながら、実際には、物体の追跡に失敗していた可能性も考えられる。そこで、追跡成功尤度の確率分だけ、前回観測値のアソシエーション値に基づき、推定したID尤度を割り振る。これが、(式10)の左辺の(rt−1Tt)となる。
一方、物体の追跡に失敗していた場合、どのIDの物体なのか全く推定できないため、全ての物体のIDである可能性があるとして、確率を均等に割り振る。これは、追跡失敗尤度(1−T)分だけ、均等に割り振ることになる。これが、(式10)の右辺の{(1−Tt)/N}となる(ただし、N=物体の数)。追跡が確実に成功している場合は、確率変数T=1となり、(式10)の右辺の{(1−Tt)/N}の値は0となり、(式10)の左辺の(rt−1Tt)の値がrt−1となり、(式12)が得られる。追跡が確実に失敗している場合は、T=0となり、(式10)の左辺の(rt−1Tt)の値が0となり、(式10)の右辺の{(1−Tt)/N}の値は{1/N}となり、(式11)が得られる。
第二物体ID尤度決定手段107での確率変数Tの求め方であるが、事前実験を行い、実際に追跡に成功する確率を決定しておき、その情報を第二物体ID尤度決定手段107の内部記憶部に記憶しておくことなどが考えられる。また、第二観測装置102の物体追跡方法にて記載した、色特徴量などで識別できない複数の観測値が密集していた場合、追跡に失敗する確率が高まると第二物体ID尤度決定手段107で確率変数Tの値を下げるなどの処理を行っても良い。ここで、「色特徴量などで識別できない複数の観測値が密集していた場合」か否かは、例えば、以下のようにして第二物体ID尤度決定手段107で判断することができる。センサが1秒に1回観測を行っている場合について考えると、人が1秒間に進める距離(例えば半径3mの円)内に3人以上の(推定中の)人が存在していた場合、その距離内は密集していると第二物体ID尤度決定手段107で判断する。そして、この3人の人が全員同じ色特徴量を持っている場合に、さらに確率変数Tの値を下げるなどの処理を行うことができる。
更に、2人の人がカメラ画面上で重なってしまった場合について考える。図12Aは、時刻Tにおいてカメラ305と画像処理部102bとが検出した人ID=H1の人(以下、単に、「H1の人」という。)の位置と人ID=H2の人(以下、単に、「H2の人」という。)の位置とH1の人とH2の人との検出位置間の距離とを示す。図12Bは、時刻T+1においてカメラ305が検出したH1の人の位置とH2の人との位置とH1の人とH2の人との検出位置間の距離とを示す。時刻Tから時刻T+1にかけて、H1の人とH2の人との間の距離が600cmから200cmに縮まっていると物体追跡状況決定手段106で判断される。ここで、カメラ305は、物体追跡状況決定手段106によって、H1の人とH2の人とを追跡できているものとする。更に、図13に時刻T+2におけるカメラ305の人検出状況を示す。図13によると、時刻T+2においては、H1の人しか検出しなくなっている。これは、H2の人が、H1の人の存在によって生じる死角に隠れてしまったと考えられることができる。このとき、式10の変数rを、時刻T+1におけるH1の人のアソシエーション値と時刻T+1におけるH2の人のアソシエーション値の平均値としてもよい。尚、H2の人が部屋301から出て行った可能性も考えて、H1の人の第二ID尤度に、時刻T+1におけるH1の人のアソシエーション値に、重み付けを行ったH2の人のアソシエーション値を第二物体ID尤度決定手段107で加えても良い。また、人の検出位置間の距離に閾値を設けておくことで、H2の人がH1の人の存在によって生じる死角に隠れているか否かを第二物体ID尤度決定手段107で判断することができる。すなわち、H1の人の検出位置Aに関して、閾値よりも短い距離内にH2の人の検出位置Bがあると第二物体ID尤度決定手段107で判断し、する場合においてH1の人を検出されなかった場合には、H1の人はH2の人によって隠蔽されていると第二物体ID尤度決定手段107で判断する。同様の判断を、H2の人又はその他の人に対しても第二物体ID尤度決定手段107で行う。
<物体位置推定手段と第二物体ID尤度決定手段の関係についての説明>
図9A〜図11Fを用いて、物体位置推定手段108と第二物体ID尤度決定手段107とについて説明する。
図9A〜図11Fを用いて、物体位置推定手段108と第二物体ID尤度決定手段107とについて説明する。
図9A〜図9Cは、部屋301内に存在する人302Aと人302Bと人302Cの実際の位置を示している。図9Aは時刻2008/09/02_12:00:00における人302Aと人302Bと人302Cとの実際の位置を示す。図9Bは時刻2008/09/02_12:00:01における人302Aと人302Bと人302Cとの実際の位置を示す。図9Cは時刻2008/09/02_12:00:02における人302Aと人302Bと人302Cとの実際の位置を示している。図9Aによると、人ID=H1(以後「人ID=」は省略)の人302Aは、時刻2008/09/02_12:00:00に座標(190,380)の位置に実際に存在していたことになる。ここで、図9は、物体位置推定手段108と第二物体ID尤度決定手段107との説明のための図であり、図9Aに示されている情報は、本発明の第一実施形態の他の説明では使用することはない。
図10A〜図10Cは、部屋301内でのタグリーダ304とカメラ305とによる人検出状況を示している。図10Aは時刻2008/09/02_12:00:00における人検出状況を示す。図10Bは時刻2008/09/02_12:00:01おける人検出状況を示す。図10Cは時刻2008/09/02_12:00:02における人検出状況を示している。図10Aによると、タグリーダ304による人検出位置1001が3箇所得られており、座標(150,210)の位置にタグID=T4(以後、「タグID=」は省略して、単にタグと称する。)の人302Aが、座標(620,100)の位置にタグT7の人302Bが、座標(620,630)の位置にタグT8の人302Cがそれぞれ検出されている(図5参照)。同様に、カメラ人検出位置1002も3箇所得られており、座標(150,410)の位置に人が一人、座標(810,220)の位置に人が一人、座標(810,650)の位置に人が一人、それぞれ検出されている(図6参照)。
図11A〜図11Fは、部屋301内での物体位置推定手段108が推定した人302の位置を示している。図11Aは、時刻2008/09/02_12:00:00における、本発明の第一実施形態の物体位置推定システムの起動時の推定位置の初期位置である。図11Aでは、初期位置をランダムに決定しているが、部屋301の中心等としても良い。部屋301の出入口の位置などの出入口情報等が記載された環境マップ(環境マップ情報)を物体位置推定システムが所持している場合には、部屋301の出入口を初期位置としても良い。環境マップ(環境マップ情報)には、このほか、前記第一観測装置の死角情報、又は、前記第二観測装置の死角情報が含まれていてもよい。ここで、初期位置を設定するための出入り口情報のみを使用する場合には、出入り口情報が記録された環境マップ(環境マップ情報)は物体位置推定手段108の内部記憶部に記憶すればよい。また、物体追跡状況決定手段106が参照するカメラ死角情報が記録された環境マップ(環境マップ情報)は、第二観測装置102の内部記憶部が記憶すればよい。
図19A及び図19Bに環境マップの一例をそれぞれ示す。環境マップは、図19Aに示すように出入り口の位置座標情報が記録された出入り口環境マップデータと、図19Bに示すようにカメラ305の死角情報が記録されているカメラ死角環境マップデータとがある。出入り口環境マップは、物体位置推定手段108の内部記憶部に記憶記録され、カメラ死角環境マップは、カメラ305の内部記憶部に記憶記録されている。
部屋301の出入り口を初期位置とする場合、前記初期位置は、出入り口環境マップを物体位置推定手段108が参照することによって、(x,y)=(100,0)と物体位置推定手段108で決定することができる。
カメラ305の死角は、カメラ死角環境マップに記録されている2点を対角点とする矩形として表現されている。
ここで、カメラ305の死角の利用方法について説明する。
時刻13:00:00において、位置(x,y)=(98,99)で赤色の色特徴量を持った「観測値A」が得られたとする。そして、時刻13:00:01、時刻13:00:02では赤色の色特徴量を持った観測値は得られず、時刻13:00:03で、位置(x,y)=(201,202)において赤色の色特徴量を持った「観測値B」が得られたとする。
このような状況において、観測値BのID尤度を求める場合、前回の観測(13:00:02)で観測値Bと同じ特徴量を持つ観測値が得られていないため、観測値Bは初めて観測された観測値であると判断されてしまう。つまり、(式11)に表されるように、全ての人物IDでID尤度を均等に割り振ることとなる。
ここで、カメラ死角環境マップを物体追跡状況決定手段106が参照してみると、観測値A、観測値Bともに「カメラ死角1」の近くにあることが分かる。つまり、時刻13:00:01、及び時刻13:00:02では、人がカメラの死角に入ったため観測値が得られなかった可能性があると、物体追跡状況決定手段106で判断できる。よって、観測値Bを初めて観測された観測値ではなく、観測値Aを追跡して得られた観測値であると、物体追跡状況決定手段106で判断することができる。
尚、観測値がカメラ死角の近くにあるか否かの判断方法に関しては、カメラの観測周期と人の歩行速度の関係を物体追跡状況決定手段106で利用することができる。例えば、カメラの観測周期が1秒に1回、人の歩行速度が1秒に70cmであるとすると、カメラ死角から70cm以内の範囲で観測された観測値を、カメラ死角の近くにある観測値と物体追跡状況決定手段106で判断することができる。
図11Bは、時刻2008/09/02_12:00:00に、タグリーダ304とカメラ305が検出した人情報を基に推定した人の推定位置を示している。図11Cは、さらに時刻2008/09/02_12:00:01での推定位置の初期位置である。図11Dは、さらに時刻2008/09/02_12:00:01に、タグリーダ304とカメラ305が検出した人情報も用いて推定した人の推定位置を示している。図11Eは、さらに時刻2008/09/02_12:00:02での推定位置の初期位置である。図11Fは、さらに時刻2008/09/02_12:00:02に、タグリーダ304とカメラ305が検出した人情報も用いて推定した人の推定位置を示している。
<本システムの動作説明>
以下、図16のフローチャートを参照しながら時間の流れに沿って詳細に説明する。なお、以下の手順については、物体位置推定装置120で動作制御を行う。ここで、物体位置推定システムのうちの第二物体ID尤度決定手段107と、物体位置推定手段108と、アソシエーション手段109とで物体位置推定装置120を構成するものとする。また、物体位置推定システムは、前記物体位置推定装置120と、タグリーダ304を有する第一観測装置101と、カメラ305を有する第二観測装置102とを備えて構成するものとして説明する。タグリーダ304は、第一検出部101aの一例であり、カメラ305は、第二検出部102aの一例である。
以下、図16のフローチャートを参照しながら時間の流れに沿って詳細に説明する。なお、以下の手順については、物体位置推定装置120で動作制御を行う。ここで、物体位置推定システムのうちの第二物体ID尤度決定手段107と、物体位置推定手段108と、アソシエーション手段109とで物体位置推定装置120を構成するものとする。また、物体位置推定システムは、前記物体位置推定装置120と、タグリーダ304を有する第一観測装置101と、カメラ305を有する第二観測装置102とを備えて構成するものとして説明する。タグリーダ304は、第一検出部101aの一例であり、カメラ305は、第二検出部102aの一例である。
本発明の前記第一実施形態の物体位置推定システムを起動すると、ステップS1601において、まず、物体位置推定手段108において、人302の推定位置に初期位置がセットされる(図11A参照)。尚、前記第一実施形態の物体位置推定システムは、物体位置を何回更新したかを把握するためのカウンタを物体位置推定手段108内に備えているものとする。このカウンタが0のとき、即ち物体位置の更新が一度も行われていない前記物体位置推定システムの起動時に、人302の位置が初期位置にセットされる。ここで、図3に一点鎖線で示す部屋301の出入口301Dには、第一観測装置101のタグリーダとして機能するゲート型タグリーダ304dが設置されているものとする。また、出入口301Dを通過して人302が部屋301に入るとき、ゲート型タグリーダ304dにより部屋301に入った人302のタグを全て読み取ることができる。そのため、部屋301内に存在する人302のIDは第一観測装置101で全て分かっているものとする。更に、部屋301内に存在している人302のIDは、前記物体位置推定システムの例えば第一観測装置101の第一内部記憶部110などに記録しておいても良い。もし、ゲート型タグリーダが設置できない環境であった場合、人302の初期位置は、タグリーダ304が初めて人302を検出したときに、初期位置にセットしても良い。
次に、ステップS1602では、第一観測装置101及び第二観測装置102からの出力すなわち観測情報を物体位置推定装置120が受け取るように促す。ここでは、一例として、時刻2008/09/02_12:00:00において、タグリーダ304とカメラ305と画像処理部102bとによって、人302が初めて検出される(検出状況に関しては図10Aを参照。検出された位置座標に関しては図5、図6を参照。)観測情報を物体位置推定装置120が受け取ったとする。タグリーダ304とカメラ305とで検出された情報は、前記物体位置推定装置120に出力される。今回の例では、タグリーダ304とカメラ305との観測時刻はともに2008/09/02_12:00:00として説明するが、実際には、観測時刻にはズレが生じる可能性がある。このような場合、例えば基準時刻を1秒間隔に設定しておき、基準時刻から許容時間の範囲内、例えば±500msecの範囲内で得られた観測値を全て同時刻で得られた観測値であると前記システムでは判断しても良い。図18に基準時刻の設定の一例を示す。図18の観測状況の場合、基準時刻である12:00:01:000から±500msecの範囲内で観測されている、OBS_CAM_201とOBS_TAG_201が同時刻に観測されたものとして前記システムで判断される。同様に、OBS_CAM_202とOBS_TAG_202が、OBS_CAM_203とOBS_TAG_203がそれぞれ同時刻に観測されたものとして前記システムで判断される。
次に、ステップS1603において、第二観測装置102の第二検出部102aのカメラ305と画像処理部102bとが検出した人検出情報(OBS_CAM_001, OBS_CAM_002, OBS_CAM_003)には、物体位置推定手段108が処理に必要とする第二ID尤度が含まれていない。そのため、まず、第二観測装置102から第二物体ID尤度決定手段107に前記人検出情報を出力し、第二物体ID尤度決定手段107にて、第二観測装置102で検出した人302の第二ID尤度を決定する。ここで、ステップS1603において、第二観測装置102から第二物体ID尤度決定手段107に前記人検出情報が出力されているか否かを判断する。第二観測装置102から第二物体ID尤度決定手段107に前記人検出情報が出力されていれば、ステップS1604に進む。一方、第二観測装置102から第二物体ID尤度決定手段107に前記人検出情報が出力されていなければ、ステップS1609に進む。今回の例では、カメラ305は人検出情報を出力しているため、ステップS1603においてYESの方向に進み、ステップS1604に進む。一方、人302がカメラ305の死角に入ったなど、カメラ305が人検出情報を出力していなければ、ステップS1603においてNOの方向に進み、ステップS1609に進む。
ステップS1604では、第二観測装置102が検出した人における、第二ID尤度を第二物体ID尤度決定手段107で決定する。すなわち、第二物体ID尤度決定手段107は、第二観測装置102の物体追跡状況決定手段106から第二物体ID尤度決定手段107への出力に基づき、OBS_CAM_001,OBS_CAM_002,OBS_CAM_003の情報は全て新たな人を検出して得られた人検出情報であると判断する。その理由は、例えば、先に述べたように、それらの情報以前のある時間内に、それらの人を検出した情報が無い場合などに、このように第二物体ID尤度決定手段107で判断することができる。そして、第二物体ID尤度決定手段107は、OBS_CAM_001,OBS_CAM_002,OBS_CAM_003で検出された人の第二ID尤度に、部屋301内に存在する人である確率を均等に割り振る。つまり、第二物体ID尤度決定手段107により、OBS_CAM_001で検出した人は、人302Aである確率を1/3、人302Bである確率を1/3、人302Cである確率を1/3とする。第二物体ID尤度決定手段107によりOBS_CAM_002及びOBS_CAM_003についても、それぞれ、同様に確率を割り振る。
次に、ステップS1605では、アソシエーション手段109は、カメラ305が検出した人位置と、第二物体ID尤度決定手段107が出力した人の第二ID尤度と、図11Aに示される物体位置推定手段108が推定した人IDと人位置を用いてアソシエーション値を求める。求められたアソシエーション値は、アソシエーション値データベース109aに記録する(図8参照)。
次に、ステップS1606においては、第一観測装置101の第一検出部101aのタグリーダ304が検出した人検出情報は、第一観測装置101から物体位置推定手段108へ直接出力される。前述の人検出情報には、物体位置推定手段108が処理に必要とする第一ID尤度と第一位置尤度が含まれているためである。ここで、第一観測装置101から物体位置推定手段108に前記人検出情報が出力されておれば、ステップS1607に進む。また、第一観測装置101から物体位置推定手段108に前記人検出情報が出力されていなければ、ステップS1608に進む。今回の例では、タグリーダ304は人検出情報を出力しているため、ステップS1606においてYESの方向に進み、ステップS1607に進む。一方、人302がタグリーダ304の死角に入ったなど、タグリーダ304が人検出情報を出力していなければ、ステップS1606においてNOの方向に進み、ステップS1608に進む。
また、ステップS1609においては、第一観測装置101の第一検出部101aのタグリーダ304が検出した人検出情報は、第一観測装置101から物体位置推定手段108へ直接出力されることになる。前述の人検出情報には、物体位置推定手段108が処理に必要とする第一ID尤度と第一位置尤度が含まれているためである。ここで、ステップS1609において、第一観測装置101から物体位置推定手段108に対して、前記第一ID尤度と第一位置尤度が含まれている人検出情報が出力されているか否かを判断する。第一観測装置101から物体位置推定手段108に前記人検出情報が出力されておれば、ステップS1610に進み、第一観測装置101から物体位置推定手段108に前記人検出情報が出力されていなければ、ステップS1602に戻る。今回の例では、タグリーダ304は人検出情報を出力しているため、ステップS1609においてYESの方向に進み、ステップS1610に進む。一方、人302がタグリーダ304の死角に入ったなど、タグリーダ304が人検出情報を出力していなければ、ステップS1609においてNOの方向に進み、ステップS1602に戻る。
ステップS1607では、物体位置推定手段108は、第一観測装置101の第一検出部101aのタグリーダ304が検出した人の第一ID尤度及び人の第一位置尤度と、第二観測装置102の第二検出部102aのカメラ305が検出した人の第二位置尤度と、第二物体ID尤度決定手段107が出力した人の第二ID尤度とを基に、人の位置推定を行う。この位置推定に基づき、人のID及び人の位置を更新する(図11Aを更新した図11B参照)。今回の例では、タグリーダ304とカメラ305共に人検出情報を出力しているため、ステップS1607の処理を行っている。その後、ステップS1602に戻る。
また、ステップS1608では、物体位置推定手段108は、第二観測装置102の第二検出部102aのカメラ305が検出した人の第二位置尤度と、第二物体ID尤度決定手段107が出力した人の第二ID尤度とを基に、人の位置推定を行う。そして、この位置推定に基づき、人のID及び人の位置を更新する(図11Aを更新した図11B参照)。その後、ステップS1602に戻る。
また、ステップS1610では、物体位置推定手段108は、第一観測装置101の第一検出部101aのタグリーダ304が検出した人の第一ID尤度及び人の第一位置尤度を基に、人の位置推定を行う。そして、この位置推定に基づき、人のID及び人の位置を更新する(図11Aを更新した図11B参照)。その後、ステップS1602に戻る。
更に、ステップS1607又はステップS1608又はステップS1610から戻ったステップS1602においては、次の時刻2008/09/02_12:00:01に、タグリーダ304とカメラ305とによって人302が検出される。(検出状況に関しては図10Bを参照。検出された位置座標に関しては図5、図6を参照。)
次に、ステップS1603では、第二観測装置102から第二物体ID尤度決定手段107に前記人検出情報が出力されているか否かを判断する。第二観測装置102から第二物体ID尤度決定手段107に前記人検出情報が出力されていれば、ステップS1604に進む。一方で、第二観測装置102から第二物体ID尤度決定手段107に前記人検出情報が出力されていなければ、ステップS1609に進む。
次いで、ステップS1604において、第二観測装置102が検出した人についての第二ID尤度を第二物体ID尤度決定手段107で決定する。すなわち、時刻2008/09/02_12:00:00のときと同様に、時刻2008/09/02_12:00:01において、OBS_CAM_004, OBS_CAM_005, OBS_CAM_006でそれぞれ検出された人の第二ID尤度を第二物体ID尤度決定手段107で求める必要がある。しかし、今回の場合、物体追跡状況決定手段106の出力による色特徴量の同一性から、OBS_CAM_004はOBS_CAM_001を追跡して得られた人検出情報であることが、物体追跡状況決定手段106で決定されたとする。また、同様にして、OBS_CAM_005はOBS_CAM002を追跡して得られた人検出情報である事と、OBS_CAM_006はOBS_CAM_003を追跡して得られた人検出情報である事とが、物体追跡状況決定手段106で決定されたとする。すると、第二物体ID尤度決定手段107は、物体追跡状況決定手段106での前記決定の情報を基に、アソシエーション値データベース109aに記録されているOBS_CAM_001のアソシエーション値をOBS_CAM_004の人の第二ID尤度として出力する。OBS_CAM_005及びOBS_CAM_006に関しても、同様に、第二物体ID尤度決定手段107から出力する。
今回の観測で観測値OBS_CAM_004が得られた場合、物体追跡状況決定手段106から第二物体ID尤度決定手段107へは、観測ID=OBS_CAM_004と観測ID=OBS_CAM_001の二つの観測IDがセットになって出力される。第二物体ID尤度決定手段107がセットになった観測IDを物体追跡状況決定手段106から受け取ると、観測ID=OBS_CAM_004のID尤度を求めるために、観測ID=OBS_CAM_001のアソシエーション値を、第二物体ID尤度決定手段107がアソシエーション値データベース109aから読み出す。ここで、ID尤度を求めるべき観測IDと、アソシエーション値を読み出すべき観測IDとを区別する方法が必要となってくる。これは、例えば、アソシエーション値データベース109aにアソシエーション値が記録されている観測値が、アソシエーション値を読み出してくる観測値であると判断することができる。
次に、ステップS1605及びステップS1606及びステップS1609では、先の説明と同様な処理を行う。
ステップS1607では、物体位置推定手段108は、第一観測装置101の第一検出部101aのタグリーダ304が検出した人の第一ID尤度及び人の第一位置尤度と、第二観測装置102の第二検出部102aのカメラ305が検出した人の第二位置尤度と、第二物体ID尤度決定手段107が出力した人の第二ID尤度とを基に、人の位置推定を行う。そして、この位置推定に基づき、人のID及び人の位置を更新する(図11Cを更新した図11D参照)。その後、ステップS1602に戻る。
また、ステップS1608では、物体位置推定手段108は、第二観測装置102の第二検出部102aのカメラ305が検出した人の第二位置尤度と、第二物体ID尤度決定手段107が出力した人の第二ID尤度とを基に、人の位置推定を行う。そして、この位置推定に基づき、人のID及び人の位置を更新する(図11Cを更新した図11D参照)。その後、ステップS1602に戻る。
また、ステップS1610では、物体位置推定手段108は、第一観測装置101の第一検出部101aのタグリーダ304が検出した人の第一ID尤度及び人の第一位置尤度を基に、人の位置推定を行う。そして、この位置推定に基づき、人のID及び人の位置を更新する(図11Cを更新した図11D参照)。その後、ステップS1602に戻る。
その後、時刻2008/09/02_12:00:02以降に関しても同様の処理を行い、人のID及び人の位置を更新する(図11Eを更新した図11F参照)。
今回は部屋301という屋内空間を例にして説明を行ったが、管理したい人がタグを所持可能な空間であれば、屋外であっても、本システムは利用可能である。例えば、校舎とグラウンドとの間に位置する校門又は昇降口にゲート型タグリーダを設置することで、校舎内に存在する生徒とグラウンドに存在する生徒を識別することができる。そして、グラウンドの塀又は校舎にタグリーダとカメラとを設置することで、グラウンド内のどの位置に生徒が存在するかを推定することが可能となる。グラウンドの面積が広く、1台のタグリーダ、カメラではグラウンド全域を観測できなければ、タグリーダ数、カメラ数を増やしても良い。
以上のような構成により、第二観測装置102が物体の追跡に成功している場合、前記物体を前回検出したときのアソシエーション値を、今回、第二観測装置102の第二検出部102aと画像処理部102bが検出した物体の第二ID尤度に置き換えることができる。これにより、物体位置推定手段108の処理を行えるようになる。
(第二実施形態)
ここで、物体位置推定手段108の推定状況について考える。図11Aに示した人位置は、初期値をランダムに設定してあるため、実際の人の存在位置(図9A)とはまるで異なっている。時刻2008/09/02_12:00:00に、第一観測装置101及び第二観測装置102が検出した人情報を基に物体位置推定を行った結果が図11Bである。実際の人の存在位置(図9A)に近づいてはいるものの、未だ2m近くの位置誤差がある。これは、人の初期位置を基に、人位置を更新しているためである。つまり、物体位置推定システムの稼動直後は、物体位置の推定精度は低いことになる。それに伴い、物体位置推定手段108の物体位置推定結果を利用するアソシエーション手段109のアソシエーション値の精度も低くなる。
ここで、物体位置推定手段108の推定状況について考える。図11Aに示した人位置は、初期値をランダムに設定してあるため、実際の人の存在位置(図9A)とはまるで異なっている。時刻2008/09/02_12:00:00に、第一観測装置101及び第二観測装置102が検出した人情報を基に物体位置推定を行った結果が図11Bである。実際の人の存在位置(図9A)に近づいてはいるものの、未だ2m近くの位置誤差がある。これは、人の初期位置を基に、人位置を更新しているためである。つまり、物体位置推定システムの稼動直後は、物体位置の推定精度は低いことになる。それに伴い、物体位置推定手段108の物体位置推定結果を利用するアソシエーション手段109のアソシエーション値の精度も低くなる。
そこで、アソシエーション手段109は、第一観測装置101の第一検出部101aが検出した物体のIDと物体の位置を基に、第二観測装置102の第二検出部102aと画像処理部102bが検出した物体に関するアソシエーション値を求めても良い。第一観測装置101の第一検出部101aにタグリーダ304を一例として用いる場合を考える。上述したように、タグリーダ304の位置検出精度は低い。そのため、アソシエーション手段109は、物体位置推定手段108の物体位置推定結果が収束するまでと収束後とでアソシエーション値に算出に用いる情報を変えても良い。具体的には、物体位置推定手段108の物体位置推定結果が収束するまでは、タグリーダ304が検出した物体のIDと物体の位置を基に、第二観測装置102の第二検出部102aと画像処理部102bが検出した物体に関するアソシエーション値を求める。一方で、物体位置推定手段108の物体位置推定結果が収束してからは、物体位置推定結果を基に、第二観測装置102の第二検出部102aと画像処理部102bが検出した物体に関するアソシエーション値を求めても良い。
ここで、アソシエーション手段109による物体位置の収束の判断の一例を説明する。物体の位置の更新方法に上述したカルマンフィルタを一例として用いる場合、物体の推定位置は、平均と分散で表現されたガウス分布として出力される。このとき、全ての物体の平均分散が閾値未満となったとアソシエーション手段109で判断した時点で、物体位置が収束したとアソシエーション手段109で判断しても良い。また、事前実験によって物体位置の収束状況(例えば、起動時からN回目で物体位置が収束するという情報(ただし、Nは1を越える整数。))をアソシエーション手段109で予め把握しておき、物体位置推定システム起動時からN回目の観測までは物体位置は収束しない、とアソシエーション手段109で判断させても良い。このとき、物体位置推定手段108は、物体位置を何回更新したかを把握するためのカウンタを備えているものとする。
以上のような構成により、本発明に係る物体位置推定システムの起動直後には、第一観測装置101の出力情報を用いてアソシエーション手段109がアソシエーション値を求めることができる。これにより、より正確なアソシエーション値、つまりは第二ID尤度を算出することができる。
なお、各実施形態において、第一観測部として機能する第一検出部101aと、第一物体位置尤度決定手段103と、第一物体ID尤度決定手段104と、第二観測部として機能する第二検出部102aと、第二物体位置尤度決定手段105と、物体追跡状況決定手段106と、第二物体ID尤度決定手段107と、アソシエーション手段109と、物体位置推定手段108となどのそれぞれ、又は、そのうちの任意の一部は、それ自体がソフトウェアで構成することができる。よって、例えば、本願明細書のそれぞれの実施形態の制御動作を構成するステップを有するコンピュータプログラムとして、記憶装置(ハードディスク等)などの記録媒体に読み取り可能に記憶させ、そのコンピュータプログラムをコンピュータの一時記憶装置(半導体メモリ等)に読み込んでCPUを用いて実行することにより、前記した各機能又は各ステップを実行することができる。
なお、前記様々な実施形態又は変形例のうちの任意の実施形態又は変形例を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。
本発明に係る物体位置推定システム、物体位置推定装置、物体位置推定方法、及び物体位置推定プログラムは、物体のID識別機能が無い観測装置を含む場合においても物体の位置推定を行うことができる。既に監視カメラシステム等の普及が進んでいるが、監視領域の画像を蓄積し、被写体の特定は人手で閲覧することで行う形態のものが一般的である。本発明により人手によらない人の特定と位置の特定が可能となれば、人の位置又は動線の自動取得と管理が実現し、セキュリティ用途として従来にない特徴をもつ人管理システムを提供でき極めて有用である。また、物流現場等でのコンテナなどの物品の位置を管理するシステムなどにも応用できる。
本発明は、添付図面を参照しながら好ましい実施形態に関連して充分に記載されているが、この技術の熟練した人々にとっては種々の変形又は修正は明白である。そのような変形又は修正は、添付した請求の範囲による本発明の範囲から外れない限りにおいて、その中に含まれると理解されるべきである。
本発明は、複数の異種のセンサ(観測装置)情報に基づいて、物体の識別と位置を推定する物体位置推定システム、物体位置推定装置、物体位置推定方法、及び物体位置推定プログラムに関する。
物体の位置を検出可能なセンサとして、無線タグ又はカメラが用いられることがある。
しかし、無線タグは、(識別対象の物体付与した送信タグが発信するID情報に基づいて物体のID識別を行うため)基本的に、物体のID識別を間違えることがない反面、測位精度がカメラに比べて良くない。更に、電波が水分に吸収されることによりタグの検出が不安定になる等の問題がある。そのため、工場等のように環境が整備されていない一般環境下においては、無線タグの測位精度はあまり期待できない。特に水分を多く含む人等が無線タグを所有していた場合、位置誤差が1m以上に及ぶこと、若しくは、タグそのものを検出できないことも考えられる。
また、カメラの場合、正しく物体の検出ができれば、無線タグと比べて測位精度は良いが、(カメラから得られる画像的な特徴(形状又は色など)から物体のIDを識別するため)物体のID識別精度は100%となり得ない。特に画像的特徴が類似した物体の識別率は低くなってしまう。例えば、トマトとリンゴなど、色又は形状が似た物体を互いに高精度で識別することは難しい。
このように、センサの種類毎に検出能力の善し悪しが異なり、1種類のセンサだけでは物体の識別と位置の決定を高精度で行うことは難しい。そこで、センサを複数組み合わせ、異種複数のセンサの観測情報を統合することで、各種類のセンサの観測精度の不足を補い合いながら物体の位置を推定する技術がある(非特許文献1)。
Hirofumi Kanazaki, Takehisa Yairi, Kazuo Machida, Kenji Kondo, and Yoshihiko Matsukawa, "Variational Approximation Data Association Filter", 15th European Signal Processing Conference(EUSIPCO2007).発行日:2007年9月3日,p1872〜p1876。
しかしながら、前記物体位置推定の技術を使用するためには、すべての観測装置が物体のID識別を行えるということが前提となっている。しかしながら、実際に実環境において物体、あるいは、人の位置の追跡を行うことを考えた場合、すべての観測装置においてID識別が可能という前提が成り立たないケースが存在する。
例えば、観測装置にカメラを用いて人の識別を行う場合、人は毎日着ている服が異なる、あるいは、複数の人が同じ制服を着ているといった状況が容易に想定できる。このような場合、カメラで取得した服飾の色の特徴量によって、人の識別を行うことが現実には困難であることが分かる。あるいは、人の識別に顔画像の特徴量を使用したとしても、人は常にカメラの方向に向かって歩くとは限らないため、人の識別を安定的に行えることは保証の限りではない。カメラを複数台くまなく配置することも考えられるが、システム構築及びシステム設置のコストを無闇に押し上げ、費用対効果の面で現実性に乏しい。
一方で、色又は形状の特徴に変化が起こり難い物品のID識別は、カメラにより安定的に行えるものの、このような前提の成立が条件となると、適用できる状況が著しく限定されてしまい、実用上のボトルネックとなる。
以上、述べたとおり、従来技術(非特許文献1)で開示されている技術は、ID識別を行うことができない観測装置を含む場合に、物体の位置推定が行えないという課題を有している。また、これと同時に、従来技術の前提条件が満たされる状況は極めて限定され応用範囲が狭いという課題も有している。
そこで、本発明の目的は、カメラに代表される物体のID識別を行えない観測装置を含む場合においても、物体の位置を推定することのできる物体位置推定システム、物体位置推定装置、物体位置推定方法、及び物体位置推定プログラムを提供することにある。具体的には、本発明は、ID識別が行えない観測装置以外からの観測情報を基に、ID識別が行えない観測装置の物体のID尤度に相当する数値を計算することで、前記課題を解決する。
前記目的を達成するために、本発明は以下のように構成する。
本発明の第1態様によれば、物体の位置を推定する物体位置推定システムであって、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置とIDとを含む第一観測情報をそれぞれ取得する第一観測部と、
前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を決定する第一物体位置尤度決定手段と、
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で決定する第一物体ID尤度決定手段と、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ取得し、第二観測情報毎に第二観測IDを付す第二観測部と、
前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を決定する第二物体位置尤度決定手段と、
時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を2つ検出し、検出された前記2つの第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を決定する物体追跡状況決定手段と、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を決定する第二物体ID尤度決定手段と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値を算出し、前記第二物体ID尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値を算出するアソシエーション手段と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は/且つ、前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を推定する物体位置推定手段と、
を備えることを特徴とする物体位置推定システムを提供する。
異なる時刻に前記物体をそれぞれ観測して前記物体の位置とIDとを含む第一観測情報をそれぞれ取得する第一観測部と、
前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を決定する第一物体位置尤度決定手段と、
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で決定する第一物体ID尤度決定手段と、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ取得し、第二観測情報毎に第二観測IDを付す第二観測部と、
前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を決定する第二物体位置尤度決定手段と、
時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を2つ検出し、検出された前記2つの第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を決定する物体追跡状況決定手段と、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を決定する第二物体ID尤度決定手段と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値を算出し、前記第二物体ID尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値を算出するアソシエーション手段と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は/且つ、前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を推定する物体位置推定手段と、
を備えることを特徴とする物体位置推定システムを提供する。
本発明の第6態様によれば、物体の位置を推定する物体位置推定方法であって、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置とIDとを含む第一観測情報をそれぞれ第一観測部で取得し、
前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を第一物体位置尤度決定手段で決定し、
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で第一物体ID尤度決定手段で決定し、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ第二観測部で取得して、前記第二観測部で第二観測情報毎に第二観測IDを付し、
前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を第二物体位置尤度決定手段で決定し、
時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を2つ検出し、検出された前記2つの第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を物体追跡状況決定手段で決定し、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を第二物体ID尤度決定手段で決定し、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値をアソシエーション手段で算出し、
前記物体の前記第二物体ID尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値をアソシエーション手段で算出し、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は/且つ、前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を物体位置推定手段で推定する、
ことを特徴とする物体位置推定方法を提供する。
異なる時刻に前記物体をそれぞれ観測して前記物体の位置とIDとを含む第一観測情報をそれぞれ第一観測部で取得し、
前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を第一物体位置尤度決定手段で決定し、
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で第一物体ID尤度決定手段で決定し、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ第二観測部で取得して、前記第二観測部で第二観測情報毎に第二観測IDを付し、
前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を第二物体位置尤度決定手段で決定し、
時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を2つ検出し、検出された前記2つの第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を物体追跡状況決定手段で決定し、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を第二物体ID尤度決定手段で決定し、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値をアソシエーション手段で算出し、
前記物体の前記第二物体ID尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値をアソシエーション手段で算出し、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は/且つ、前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を物体位置推定手段で推定する、
ことを特徴とする物体位置推定方法を提供する。
本発明の第7態様によれば、コンピュータに、
異なる時刻に物体をそれぞれ観測して前記物体の位置とIDとを含む第一観測情報をそれぞれ第一観測部で取得する機能と、
前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を第一物体位置尤度決定手段で決定する機能と、
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で第一物体ID尤度決定手段で決定する機能と、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ第二観測部で取得して、前記第二観測部で第二観測情報毎に第二観測IDを付する機能と、
前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を第二物体位置尤度決定手段で決定する機能と、
時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を2つ検出し、検出された前記2つの第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を物体追跡状況決定手段で決定する機能と、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を第二物体ID尤度決定手段で決定する機能と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値をアソシエーション手段で算出する機能と、
前記物体の前記第二物体ID尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値をアソシエーション手段で算出する機能と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は/且つ、前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を物体位置推定手段で推定する機能とを実現させるための物体位置推定プログラムを提供する。
異なる時刻に物体をそれぞれ観測して前記物体の位置とIDとを含む第一観測情報をそれぞれ第一観測部で取得する機能と、
前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を第一物体位置尤度決定手段で決定する機能と、
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で第一物体ID尤度決定手段で決定する機能と、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ第二観測部で取得して、前記第二観測部で第二観測情報毎に第二観測IDを付する機能と、
前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を第二物体位置尤度決定手段で決定する機能と、
時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を2つ検出し、検出された前記2つの第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を物体追跡状況決定手段で決定する機能と、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を第二物体ID尤度決定手段で決定する機能と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値をアソシエーション手段で算出する機能と、
前記物体の前記第二物体ID尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値をアソシエーション手段で算出する機能と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は/且つ、前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を物体位置推定手段で推定する機能とを実現させるための物体位置推定プログラムを提供する。
本発明の第8態様によれば、異なる時刻に物体をそれぞれ観測して前記物体の位置とIDとを含む第一観測情報をそれぞれ取得する第一観測部からの前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を決定する第一物体位置尤度決定手段と、
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で決定する第一物体ID尤度決定手段と、
異なる時刻に前記物体をそれぞれ観測して取得された前記物体の位置と特徴量を含む第二観測情報毎に第二観測IDを付す第二観測部からの前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を決定する第二物体位置尤度決定手段と、
同じ特徴量を、互いに異なる時刻で観測した2つの前記第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を決定する物体追跡状況決定手段と、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を決定する第二物体ID尤度決定手段と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づく第一物体アソシエーション値と、前記第二物体ID尤度と前記第二物体位置尤度に基づく第二物体アソシエーション値とを算出するアソシエーション手段と、
(1)前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値と、(2)前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値と、の少なくともいずれか一方に基づいて前記物体の位置を推定する物体位置推定手段と、
を備える物体位置推定装置を提供する。
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で決定する第一物体ID尤度決定手段と、
異なる時刻に前記物体をそれぞれ観測して取得された前記物体の位置と特徴量を含む第二観測情報毎に第二観測IDを付す第二観測部からの前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を決定する第二物体位置尤度決定手段と、
同じ特徴量を、互いに異なる時刻で観測した2つの前記第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を決定する物体追跡状況決定手段と、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を決定する第二物体ID尤度決定手段と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づく第一物体アソシエーション値と、前記第二物体ID尤度と前記第二物体位置尤度に基づく第二物体アソシエーション値とを算出するアソシエーション手段と、
(1)前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値と、(2)前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値と、の少なくともいずれか一方に基づいて前記物体の位置を推定する物体位置推定手段と、
を備える物体位置推定装置を提供する。
本構成によれば、ID識別が可能な第一観測装置の観測情報に基づいて、第二観測装置の物体ID尤度に相当する量を計算可能であり、第二観測装置に物体のID識別機能が備わっていない場合にでも物体の位置を推定することができるようになる。
本発明の物体位置推定システム、物体位置推定装置、物体位置推定方法、及び物体位置推定プログラムによれば、物体のID識別を行うことのできない観測装置以外からの情報を基に物体のID尤度を決定することができる。そのため、観測装置に物体のID識別機能が備わっていない場合にでも物体の位置を推定することができるようになる。
本発明のこれらと他の目的と特徴は、添付された図面についての好ましい実施形態に関連した次の記述から明らかになる。
図1Aは、本発明の第一実施形態に係る物体位置推定システムの構成を示すブロック図である。
図1Bは、本発明の前記第一実施形態の変形例に係る物体位置推定装置の構成を示すブロック図である。
図2は、本発明の前記第一実施形態に係る前記物体位置推定システムで使用するカルマンフィルタの動作例を示す図である。
図3は、本発明の前記第一実施形態に係る前記物体位置推定システムでの観測対象である生活空間としての部屋を説明する図である。
図4は、本発明の前記第一実施形態に係る前記物体位置推定システムの人ID変換テーブルの例を示す図である。
図5は、本発明の前記第一実施形態に係る前記物体位置推定システムの第一観測装置の出力履歴の例を示す図である。
図6は、本発明の前記第一実施形態に係る前記物体位置推定システムの第二観測装置の出力履歴の例を示す図である。
図7は、本発明の前記第一実施形態に係る前記物体位置推定システムの物体位置推定手段の出力履歴の例を示す図である。
図8は、本発明の前記第一実施形態に係る前記物体位置推定システムの第二物体ID尤度決定手段の出力履歴の例を示す図である。
図9Aは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻2008/09/02_12:00:00における人の実際の位置の例を示す図である。
図9Bは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻2008/09/02_12:00:01における人の実際の位置の例を示す図である。
図9Cは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻2008/09/02_12:00:02における人の実際の位置の例を示す図である。
図10Aは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻2008/09/02_12:00:00における人の検出位置(観測位置)の例を示す図である。
図10Bは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻2008/09/02_12:00:01における人の検出位置(観測位置)の例を示す図である。
図10Cは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻2008/09/02_12:00:02における人の検出位置(観測位置)の例を示す図である。
図11Aは、本発明の前記第一実施形態に係る前記物体位置推定システムの起動時における、観測対象となる部屋での人の初期位置(観測値適用前の位置)の例を示す図である。
図11Bは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻2008/09/02_12:00:00における人の推定位置(観測値適用後の位置)の例を示す図である。
図11Cは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻2008/09/02_12:00:01における人の初期位置(観測値適用前の位置)の例を示す図(図11Bと同じ図)である。
図11Dは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻2008/09/02_12:00:01における人の推定位置(観測値適用後の位置)の例を示す図である。
図11Eは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻2008/09/02_12:00:02における人の初期位置(観測値適用前の位置)の例を示す図(図11Dと同じ図)である。
図11Fは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻2008/09/02_12:00:02における人の推定位置(観測値適用後の位置)の例を示す図である。
図12Aは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻Tにおける人検出位置間の距離を示す図である。
図12Bは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻T+1における人検出位置間の距離を示す図であり、
図13は、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻T+2における人検出位置を示す図である。
図14は、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での第一観測装置の処理を示すフローチャートである。
図15は、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での第二観測装置の処理を示すフローチャートである。
図16は、本発明の前記第一実施形態に係る前記物体位置推定システムの処理を示すフローチャートである。
図17は、本発明の前記第一実施形態に係る前記物体位置推定システムにおいて、同じ色特徴量をそれぞれ持った2人の人が擦れ違ったときのカメラの観測状況を説明するための図である。
図18は、本発明の前記第一実施形態に係る前記物体位置推定システムにおいて、基準時刻の設定の一例を示す図である。
図19Aは、本発明の前記第一実施形態に係る前記物体位置推定システムにおいて、物体位置推定手段に備えられる環境マップ(環境マップ情報)の一例を示す図である。
図19Bは、本発明の前記第一実施形態に係る前記物体位置推定システムにおいて、カメラに備えられる環境マップの一例を示す図である。
以下に、本発明にかかる実施の形態を図面に基づいて詳細に説明する。
以下、図面を参照して本発明における実施形態を詳細に説明する前に、本発明の種々の態様について説明する。
本発明の第1態様によれば、物体の位置を推定する物体位置推定システムであって、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置とIDとを含む第一観測情報をそれぞれ取得する第一観測部と、
前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を決定する第一物体位置尤度決定手段と、
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で決定する第一物体ID尤度決定手段と、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ取得し、第二観測情報毎に第二観測IDを付す第二観測部と、
前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を決定する第二物体位置尤度決定手段と、
時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を2つ検出し、検出された前記2つの第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を決定する物体追跡状況決定手段と、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を決定する第二物体ID尤度決定手段と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値を算出し、前記第二物体ID尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値を算出するアソシエーション手段と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は/且つ、前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を推定する物体位置推定手段と、
を備えることを特徴とする物体位置推定システムを提供する。
異なる時刻に前記物体をそれぞれ観測して前記物体の位置とIDとを含む第一観測情報をそれぞれ取得する第一観測部と、
前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を決定する第一物体位置尤度決定手段と、
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で決定する第一物体ID尤度決定手段と、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ取得し、第二観測情報毎に第二観測IDを付す第二観測部と、
前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を決定する第二物体位置尤度決定手段と、
時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を2つ検出し、検出された前記2つの第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を決定する物体追跡状況決定手段と、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を決定する第二物体ID尤度決定手段と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値を算出し、前記第二物体ID尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値を算出するアソシエーション手段と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は/且つ、前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を推定する物体位置推定手段と、
を備えることを特徴とする物体位置推定システムを提供する。
本発明の第2態様によれば、さらに、前記物体追跡状況決定手段は、物体の追跡に成功している確率を示す追跡成功尤度と、物体の追跡に失敗している確率を示す追跡失敗尤度を出力し、
前記第二物体ID尤度決定手段は、前記物体の前回検出時に算出されたアソシエーション値と前記追跡成功尤度を乗算した値と、検出対象としている総ての物体の数で追跡失敗尤度を除算した値の和を、前記物体の第二ID尤度とすることを特徴とする第1の態様に記載の物体位置推定システムを提供する。
前記第二物体ID尤度決定手段は、前記物体の前回検出時に算出されたアソシエーション値と前記追跡成功尤度を乗算した値と、検出対象としている総ての物体の数で追跡失敗尤度を除算した値の和を、前記物体の第二ID尤度とすることを特徴とする第1の態様に記載の物体位置推定システムを提供する。
本発明の第3態様によれば、前記物体追跡状況決定手段が、時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を2つ検出することにより、前記第二観測装置が検出した前記物体の追跡状況を追跡中であると決定した場合、前記アソシエーション手段は、前記物体位置推定手段が推定した前記物体のIDと前記物体の位置に基づいて、前記第二観測装置が検出した前記物体のIDを求めることを特徴とする第1又は2の何れかの態様に記載の物体位置推定システムを提供する。
本発明の第4態様によれば、更に、前記環境内に存在する前記人が出入りする出入口の位置を含む出入口情報、又は、前記第一観測装置の死角情報と、又は、前記第二観測装置の死角情報が記録された環境マップ(環境マップ情報)を備えることを特徴とする第1〜3の何れか1つの態様に記載の物体位置推定システムを提供する。
本発明の第5態様によれば、更に、前記物体追跡状況決定手段は、重なり合った複数物体を1つの物体として検出している確率を決定することを特徴とする第1〜4の何れか1つの態様に記載の物体位置推定システムを提供する。
本発明の第6態様によれば、物体の位置を推定する物体位置推定方法であって、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置とIDとを含む第一観測情報をそれぞれ第一観測部で取得し、
前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を第一物体位置尤度決定手段で決定し、
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で第一物体ID尤度決定手段で決定し、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ第二観測部で取得して、前記第二観測部で第二観測情報毎に第二観測IDを付し、
前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を第二物体位置尤度決定手段で決定し、
時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を2つ検出し、検出された前記2つの第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を物体追跡状況決定手段で決定し、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を第二物体ID尤度決定手段で決定し、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値をアソシエーション手段で算出し、
前記物体の前記第二物体ID尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値をアソシエーション手段で算出し、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は/且つ、前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を物体位置推定手段で推定する、
ことを特徴とする物体位置推定方法を提供する。
異なる時刻に前記物体をそれぞれ観測して前記物体の位置とIDとを含む第一観測情報をそれぞれ第一観測部で取得し、
前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を第一物体位置尤度決定手段で決定し、
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で第一物体ID尤度決定手段で決定し、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ第二観測部で取得して、前記第二観測部で第二観測情報毎に第二観測IDを付し、
前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を第二物体位置尤度決定手段で決定し、
時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を2つ検出し、検出された前記2つの第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を物体追跡状況決定手段で決定し、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を第二物体ID尤度決定手段で決定し、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値をアソシエーション手段で算出し、
前記物体の前記第二物体ID尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値をアソシエーション手段で算出し、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は/且つ、前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を物体位置推定手段で推定する、
ことを特徴とする物体位置推定方法を提供する。
本発明の第7態様によれば、コンピュータに、
異なる時刻に物体をそれぞれ観測して前記物体の位置とIDとを含む第一観測情報をそれぞれ第一観測部で取得する機能と、
前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を第一物体位置尤度決定手段で決定する機能と、
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で第一物体ID尤度決定手段で決定する機能と、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ第二観測部で取得して、前記第二観測部で第二観測情報毎に第二観測IDを付する機能と、
前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を第二物体位置尤度決定手段で決定する機能と、
時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を2つ検出し、検出された前記2つの第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を物体追跡状況決定手段で決定する機能と、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を第二物体ID尤度決定手段で決定する機能と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値をアソシエーション手段で算出する機能と、
前記物体の前記第二物体ID尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値をアソシエーション手段で算出する機能と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は/且つ、前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を物体位置推定手段で推定する機能とを実現させるための物体位置推定プログラムを提供する。
異なる時刻に物体をそれぞれ観測して前記物体の位置とIDとを含む第一観測情報をそれぞれ第一観測部で取得する機能と、
前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を第一物体位置尤度決定手段で決定する機能と、
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で第一物体ID尤度決定手段で決定する機能と、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ第二観測部で取得して、前記第二観測部で第二観測情報毎に第二観測IDを付する機能と、
前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を第二物体位置尤度決定手段で決定する機能と、
時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を2つ検出し、検出された前記2つの第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を物体追跡状況決定手段で決定する機能と、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を第二物体ID尤度決定手段で決定する機能と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値をアソシエーション手段で算出する機能と、
前記物体の前記第二物体ID尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値をアソシエーション手段で算出する機能と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は/且つ、前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を物体位置推定手段で推定する機能とを実現させるための物体位置推定プログラムを提供する。
本発明の第8態様によれば、異なる時刻に物体をそれぞれ観測して前記物体の位置とIDとを含む第一観測情報をそれぞれ取得する第一観測部からの前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を決定する第一物体位置尤度決定手段と、
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で決定する第一物体ID尤度決定手段と、
異なる時刻に前記物体をそれぞれ観測して取得された前記物体の位置と特徴量を含む第二観測情報毎に第二観測IDを付す第二観測部からの前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を決定する第二物体位置尤度決定手段と、
同じ特徴量を、互いに異なる時刻で観測した2つの前記第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を決定する物体追跡状況決定手段と、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を決定する第二物体ID尤度決定手段と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づく第一物体アソシエーション値と、前記第二物体ID尤度と前記第二物体位置尤度に基づく第二物体アソシエーション値とを算出するアソシエーション手段と、
(1)前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値と、(2)前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値と、の少なくともいずれか一方に基づいて前記物体の位置を推定する物体位置推定手段と、
を備える物体位置推定装置を提供する。
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で決定する第一物体ID尤度決定手段と、
異なる時刻に前記物体をそれぞれ観測して取得された前記物体の位置と特徴量を含む第二観測情報毎に第二観測IDを付す第二観測部からの前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を決定する第二物体位置尤度決定手段と、
同じ特徴量を、互いに異なる時刻で観測した2つの前記第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を決定する物体追跡状況決定手段と、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を決定する第二物体ID尤度決定手段と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づく第一物体アソシエーション値と、前記第二物体ID尤度と前記第二物体位置尤度に基づく第二物体アソシエーション値とを算出するアソシエーション手段と、
(1)前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値と、(2)前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値と、の少なくともいずれか一方に基づいて前記物体の位置を推定する物体位置推定手段と、
を備える物体位置推定装置を提供する。
以下、本発明の実施の形態にかかる、物体位置推定システム、物体位置推定装置、物体位置推定装置又は物体位置推定システムにより実施可能な物体位置推定方法、及び、物体位置推定プログラムについて、図面を参照しながら説明する。
(第一実施形態)
<システム構成>
図1Aは、本発明の第一実施形態に係る物体位置推定システムの構成を示した図である。
<システム構成>
図1Aは、本発明の第一実施形態に係る物体位置推定システムの構成を示した図である。
本発明の第一実施形態に係る物体位置推定システムは、第一観測装置101と、第二観測装置102と、第二物体ID尤度決定手段(第二物体ID尤度決定部)107と、物体位置推定手段(物体位置推定部)108と、アソシエーション手段(アソシエーション部)109とを備えるように構成されている。
第一観測装置101は、第一物体位置尤度決定手段(第一物体位置尤度決定部)103と、第一観測部として機能する第一検出部101aと、第一物体ID尤度決定手段(第一物体ID尤度決定部)104と、第一内部記憶部110とを備えている。第二観測装置102は、第二観測部として機能する第二検出部102aと、画像処理部102bと、第二物体位置尤度決定手段(第二物体位置尤度決定部)105と、物体追跡状況決定手段(物体追跡状況決定部)106と、第二内部記憶部111とを備えている。
なお、本発明の第一実施形態に係る物体位置推定システムは、1つの変形例として、図1Bに示すように、複数の構成要素で第一観測装置101及び第二観測装置102をそれぞれ構成する代わりに、それらの構成要素を個別に備え、かつ、第一観測部として機能する第一検出部101aと、第一タイマ101tと、第二観測部として機能する第二検出部102aと、第二タイマ102tとを除く構成要素を物体位置推定装置99として構成するようにしてもよい。逆に言えば、図1Bの物体位置推定装置99において、図1Aの第一実施形態に係る物体位置推定システムと同様に、第一観測装置101を構成するとともに、画像処理部102bを加えて第二観測装置102を構成すれば、図1Aの第一実施形態に係る物体位置推定システムの構成とすることができる。
ここで、前記物体位置推定装置99は、第一物体位置尤度決定手段(第一物体位置尤度決定部)103と、第一物体ID尤度決定手段(第一物体ID尤度決定部)104と、第二物体位置尤度決定手段(第二物体位置尤度決定部)105と、物体追跡状況決定手段(物体追跡状況決定部)106と、第二物体ID尤度決定手段(第二物体ID尤度決定部)107と、アソシエーション手段(アソシエーション部)109と、物体位置推定手段(物体位置推定部)108とを主たる構成要素として備えるようにしている。付加的構成要素として、前記物体位置推定装置99には、第一記憶部110mと第二記憶部111mとを備えるようにしてもよい。このような構成の場合、第一観測部として機能する第一検出部101aと、第一タイマ101tとからの情報は、第一物体位置尤度決定手段(第一物体位置尤度決定部)103に入力されると共に、第一記憶部110mにも記憶されるようにしてもよい。また、第一物体位置尤度決定手段(第一物体位置尤度決定部)103からの情報は第一物体ID尤度決定手段(第一物体ID尤度決定部)104に入力されるようにしている。さらに、第一物体位置尤度決定手段(第一物体位置尤度決定部)103からの情報及び第一物体ID尤度決定手段(第一物体ID尤度決定部)104からの情報は第一記憶部110mにも記憶されるようにしてもよい。第一物体ID尤度決定手段(第一物体ID尤度決定部)104からの情報は、物体位置推定手段(物体位置推定部)108に入力されるようにしている。同様に、第二観測部として機能する第二検出部102aと、第二タイマ102tとからの情報は、第二物体位置尤度決定手段(第二物体位置尤度決定部)105に入力されると共に、第二記憶部111mにも記憶されるようにしてもよい。また、第二物体位置尤度決定手段(第二物体位置尤度決定部)105からの情報は物体追跡状況決定手段(物体追跡状況決定部)106に入力されるようにしている。さらに、第二物体位置尤度決定手段(第二物体位置尤度決定部)105からの情報及び物体追跡状況決定手段(物体追跡状況決定部)106からの情報は第二記憶部111mにも記憶されるようにしてもよい。物体追跡状況決定手段(物体追跡状況決定部)106からの情報は、物体位置推定手段(物体位置推定部)108とアソシエーション手段(アソシエーション部)109と第二物体ID尤度決定手段(第二物体ID尤度決定部)107とに入力されるようにしている。このような構成の図1Bの物体位置推定装置99も、図1Aの第一実施形態に係る物体位置推定システムの対応する手段(対応する部)と同様に作用効果を奏することができる。
また、図3に、本発明の第一実施形態に係る物体位置推定システムの構成要素である第一観測装置101と第二観測装置102とを備えた、環境の一例である生活環境の具体的な例としての部屋301を示す。四角形の部屋301の天井の異なる隅には、UWB(Ultra Wide Band)のタグリーダ304と、ステレオカメラ305とが、それぞれ設置されている。タグリーダ304は、第一観測装置101の第一検出部101aの一例として機能し、ステレオカメラ305は、第二観測装置102の第二検出部102aの一例として機能する。部屋301内には、タグリーダ304でそれぞれ検出可能な、タグ303Aを所有した人302Aと、タグ303Bを所有した人302Bと、タグ303Cを所有した人302Cとが存在していると仮定する。以後、部屋301内に存在する人302Aと人302Bと人302Cとのうちの任意の人を、人302として代表的に説明する。同様に、部屋301内に存在するタグ303Aとタグ303Bとタグ303Cとのうちの任意のタグを、タグ303として代表的に説明する。
以下、図1Aと図3とを用いて、各構成要素について説明する。
<各観測装置の説明>
第一観測装置101と第二観測装置102とは、共に生活環境の具体的な例である部屋301内に存在する人302をそれぞれ検出する。
第一観測装置101と第二観測装置102とは、共に生活環境の具体的な例である部屋301内に存在する人302をそれぞれ検出する。
<第一観測装置の説明>
第一観測装置101は、第一観測部として機能する第一検出部101aと、第一物体位置尤度決定手段103と、第一物体ID尤度決定手段104と、第一内部記憶部110とを備えている。第一観測装置101は、部屋301内に存在する人302の第一ID尤度(第一物体ID尤度)と、第一位置尤度(第一物体位置尤度)と、を第一観測装置101で決定する。決定された人302の第一ID尤度と第一位置尤度との情報を、第一観測装置101から物体位置推定手段108に出力することができる。
第一観測装置101は、第一観測部として機能する第一検出部101aと、第一物体位置尤度決定手段103と、第一物体ID尤度決定手段104と、第一内部記憶部110とを備えている。第一観測装置101は、部屋301内に存在する人302の第一ID尤度(第一物体ID尤度)と、第一位置尤度(第一物体位置尤度)と、を第一観測装置101で決定する。決定された人302の第一ID尤度と第一位置尤度との情報を、第一観測装置101から物体位置推定手段108に出力することができる。
第一ID尤度及び後述する第二ID尤度というときのID尤度とは、検出した物体(例えば、ここでは人302)がどのIDの物体(例えば、ここでは人302)であるらしいか、を確率的に表したものである。例えば、(無線タグでは従来技術に記述した通り、IDを確実に識別可能なので)無線タグで物体Aのタグを検出した場合、ID尤度は物体Aである確率が1、その他の物体である確率が0となる。一方、カメラで物体Aを検出した場合、上述の通り特定の物体であることを確実には識別できない。例えば、カメラを通じて物体Aを識別した場合であっても、物体A以外の物体(物体B,物体C)を識別した可能性がある。そのため、ID尤度は物体Aである確率が0.8、物体Bである確率が0.1、物体Cである確率が0.1、というように、存在する物体すべてに確率の割り振りを行うこととなる。尚、これはID尤度を決定する一例であり、本発明はこれに限るものではない。本発明の第一実施形態では、第一観測装置101の第一検出部101aが検出した人302の第一ID尤度は、第一物体ID尤度決定手段104により決定する。これに対して第二観測装置102の第二検出部102aの一例であるカメラ305は、物体のID識別機能を有していない。そのため、第二観測装置102とは別の第二物体ID尤度決定手段107によって、第二観測装置102の第二検出部102aの一例であるカメラ305及び画像処理部102bが検出した人302の第二ID尤度を、決定している。
第一位置尤度及び後述する第二位置尤度というときの位置尤度とは、ある時点で推定されている各物体の位置に基づいて、新たに観測された物体の位置に関して、その物体がどのIDの物体であるらしいか、を確率的に表したものである。例えば、1次元座標上の10の位置に物体Aが、20の位置に物体Bが、40の位置に物体Cがそれぞれ存在すると推定されていたとする。この状況において、0の位置に物体を検出したとする。このときの位置尤度は、例えば、各物体A,B,Cの推定位置からの距離の逆数を取り正規化を行うことで、物体Aである確率が0.58、物体Bである確率が0.28、物体Cである確率が0.14と算出することができる。
ここで、物体位置推定システム起動時について考える。物体位置推定システム起動時の人の初期推定位置がランダムに決定されている場合、タグリーダ304は人IDの識別を確実に行うことができる。そのため、ランダムに決定された人の(初期)推定位置よりも、人302(が所持しているタグ303)を検出した位置の方が、実際の人302の位置に近い可能性が高い。そこで、第二位置尤度は、推定されている物体の位置ではなく、タグリーダ304が人302(が所持しているタグ303)を検出した位置に基づいて、求めても良い。
さらに、物体位置推定システム起動時からN回目(Nは0よりも大きな任意の整数。)のカメラ305の観測までは、タグリーダ304が人302(が所持しているタグ303)を検出した位置に基き、第二位置尤度を決定し、N回目以降のカメラ305の観測は、推定された物体の位置に基き、第二位置尤度を決定しても良い。ここで、タグリーダ304が人302(が所持しているタグ303)を検出した位置に基づいて第二位置尤度を決定する回数Nは、観測装置の性能によって最適な値が異なってくる。そのため、事前実験などによって、予め最適な値を見積もっておくことが必要となる。
尚、これは位置尤度を決定する一例であり、本発明はこれに限るものではない。第一位置尤度は、第一観測装置101の第一物体位置尤度決定手段103で決定される。第二位置尤度は、第二観測装置102の第二物体位置尤度決定手段105で決定される。
尚、これは位置尤度を決定する一例であり、本発明はこれに限るものではない。第一位置尤度は、第一観測装置101の第一物体位置尤度決定手段103で決定される。第二位置尤度は、第二観測装置102の第二物体位置尤度決定手段105で決定される。
第一観測装置101の第一検出部101aには、例えばタグリーダ304を用いることができる。
第一物体位置尤度決定手段103は、第一観測装置101の第一検出部101aが検出した人302の第一位置尤度(第一物体位置尤度)を決定する。第一観測装置101の第一検出部101aにタグリーダ304を一例として用いる場合、第一物体位置尤度決定手段103は、例えば、三点測量の原理を用いて人302の第一位置尤度を決定することができる。具体的には、各無線タグリーダ自体の設置位置は、第一物体位置尤度決定手段103の内部記憶部又は第一内部記憶部110などに予め記憶させておく。そして、各無線タグリーダが各無線タグリーダ自体の設置位置を中心として、各無線タグリーダでタグ303を検出した位置を基に、第一物体位置尤度決定手段103が球体を描く。より具体的には、第一物体位置尤度決定手段103が、この検出した位置と前記設置位置とで算出した距離を半径とした球面を描く。このとき、第一物体位置尤度決定手段103により、球面が最も多く重なり合った位置を人302が所有しているタグ303の存在する位置とし、人302が存在する位置とする。
第一物体ID尤度決定手段104は、第一観測装置101の第一検出部101aが検出した人302の第一ID尤度(第一物体ID尤度)を決定する。第一観測装置101の第一検出部101aとしてタグリーダ304を用いる場合、タグ303に人302のIDを記録しておくことで、タグリーダ304は、タグ303に記録された人302のIDをタグ303から直接読み取ることができる。これにより、人302の第一ID尤度は人302のIDである確率が1とすることができる。タグ303に人302のIDを記録しない場合は、例えばタグIDから人302の第一ID尤度を決定できる人ID変換テーブルを用いても良い。人ID変換テーブルの例を図4に示す。図4の人ID変換テーブルでは、例えば、タグID=T4のタグを検出した場合、人ID=H1の人を検出したことを示している。人ID変換テーブルは、第一観測装置101の第一内部記憶部110に記録していても良い。また、外部のデータベースなどに記録しておき、必要に応じて、第一物体ID尤度決定手段104が外部のデータベースから、必要な情報を取得して人302の第一ID尤度を決定するようにしても良い。
第一観測装置101の人検出例を図5に示す。図5は、観測周期が1秒のタグリーダ304の出力例であって、観測IDと、人302を検出した時刻と、人302を検出した位置(xy座標)と、人302が所有していたタグIDとがそれぞれ出力されている。例えば、時刻2008/09/02_12:00:00においては、タグID=T4を所有する人302を位置(150,210)で検出し、観測ID=OBS_TAG_001の第一観測情報として出力している。タグID=T7、T8においても同様に、観測ID=OBS_TAG_002の第一観測情報、及び観測ID=OBS_TAG_003の第一観測情報として出力されている(なお、以下においては、「の第一観測情報」は省略する。)。尚、第一観測装置101は、観測周期及び時刻の情報などを取得するための第一タイマ101tを備えているものとする。
以下、第一観測装置101の第一検出部101aが一例としてタグリーダ304である場合として説明する。
図14のフローチャートを参照して、タグリーダ304の処理内容を説明する。
ステップS1401で、環境の具体的な例である部屋301内に存在するタグ303を第一検出部101aで検出し、タグ303のIDと位置を第一検出部101aで検出する。このタグ303の位置に基づいて第一位置尤度を第一物体位置尤度決定手段103により決定する。
ステップS1402で、タグ303を所持している人302のIDを第一検出部101aで検出し、人の第一ID尤度を第一物体ID尤度決定手段104により決定する。
ステップS1403で、人の第一ID尤度と第一位置尤度を第一観測装置101から物体位置推定手段108に出力する。
<第二観測装置の説明>
第二観測装置102は、第二観測部として機能する第二検出部102aと、画像処理部102bと第二物体位置尤度決定手段105と物体追跡状況決定手段106と第二内部記憶部111とを備えている。第二観測装置は、部屋301内に存在する人302の第二位置尤度(第二物体位置尤度)と人302の追跡状況の情報(追跡状況情報)を第二観測装置102で取得して、第二観測装置102から、第二物体ID尤度決定手段107と物体位置推定手段108とアソシエーション手段109とにそれぞれ出力することができる。第二観測装置102の第二検出部102aの例としては、カメラ305を用いる。
第二観測装置102は、第二観測部として機能する第二検出部102aと、画像処理部102bと第二物体位置尤度決定手段105と物体追跡状況決定手段106と第二内部記憶部111とを備えている。第二観測装置は、部屋301内に存在する人302の第二位置尤度(第二物体位置尤度)と人302の追跡状況の情報(追跡状況情報)を第二観測装置102で取得して、第二観測装置102から、第二物体ID尤度決定手段107と物体位置推定手段108とアソシエーション手段109とにそれぞれ出力することができる。第二観測装置102の第二検出部102aの例としては、カメラ305を用いる。
カメラ305を用いて人302を検出するには、第二検出部102aの一例であるカメラ305が取得した画像データを画像処理部102bで処理する必要がある。その方法として、例えば、背景差分法を画像処理部102bで用いることができる。その方法は次のようなものである。カメラ305で予め撮像して用意しておいた、人302が存在していないときの環境例えば部屋301の背景画像データと、カメラ305で撮像した現在の画像データを画像処理部102bで比較する。その後、画素値が異なる領域を差分領域として画像処理部102bで取り出す。そして、前記差分領域を人302であるとして画像処理部102bで検出する。ただし、画像データにはノイズが混じっている可能性があるため、前記差分領域が人302に対して十分に小さいと画像処理部102bで判断できる場合には、前記差分領域は人302ではないと画像処理部102bで判断しても良い。ここで、差分領域が人302に対して十分に小さい場合とは、前記差分領域の画素数が、人302と認識可能な最低画素数を基に予め設定した閾値以下である場合が考えられる。
第二物体位置尤度決定手段105は、第二観測装置102の第二検出部102aと、画像処理部102bとが検出した人302の第二位置尤度(第二物体位置尤度)を決定する。第二観測装置102の第二検出部102aの一例としてのカメラ305は、天井から垂直に地面を見下ろすように設置されているとする。このとき、例えば、第二物体位置尤度決定手段105は、画像処理部102bで取得した差分領域の重心位置に基づいて、人302の第二位置尤度を決定することができる。
物体追跡状況決定手段106は、第二観測装置102の第二検出部102aと画像処理部102bが検出した人302の追跡状況の情報(追跡状況情報)を決定する。第二観測装置102の第二検出部102aの一例としてカメラ305を用いる場合、例えば、画像処理部102bで取得した差分領域の色の分布を第二内部記憶部111に記憶しておくことで、人302の追跡を実現できる。この追跡について、図6に示す第二内部記憶部111に記憶された人検出履歴データベースを用いて説明する。図6は、観測周期が1秒のカメラ305の出力履歴であって、観測IDと、人302を検出した時刻と、人302を検出した位置(xy座標)と、そして人302の色特徴量とが記録されるようになっている。観測ID=OBS_CAM_001の第二観測情報は、時刻2008/09/02_12:00:00において、カメラ305が位置(150,410)で人302を検出したことを表している。さらに、色特徴量に赤が記録されており、差分領域の色の分布を画像処理部102bで解析した結果、赤色の成分が最も多かったことを表している。その1秒後の検出にあたる、観測ID=OBS_CAM004の第二観測情報(以降、「観測ID=」及び「の第二観測情報」は省略する。)における色特徴量にも赤が記録されている。このとき、色特徴量が同じであるため、OBS_CAM_004で検出した人302は、OBS_CAM_001で検出した人302と同一人であると推定される。そのため、OBS_CAM_004は、OBS_CAM_001を追跡して得られた追跡状況情報であると物体追跡状況決定手段106で決定する。OBS_CAM_001で検出した人302に関しては、以前に色特徴量が同じ観測IDが存在しないため、初めて検出された人であるという追跡状況情報として物体追跡状況決定手段106で決定される。ここで、色特徴量には、RGBの成分比などを用いても良い。尚、第二観測装置102は、観測周期及び時刻の情報などを取得するための第二タイマ102tを備えているものとする。
ここで、OBS_CAM_004が得られなかった場合について考える。
OBS_CAM_007が得られる前回の観測では、OBS_CAM_007と同じ色特徴量「赤」を持った観測値は得られていない。カメラ305の人の検出性能が高い場合、OBS_CAM_007を、初めて検出された人であると物体追跡状況決定手段106で決定しても良い。また、カメラ305の人の検出性能が低い場合、OBS_CAM_007が得られる前回の観測では人の検出をミスしたと判断し、さらに前回の観測値で且つ同じ色特徴量「赤」を持つOBS_CAM_001を、OBS_CAM_007と同一人であると物体追跡状況決定手段106で決定しても良い。
前記例では、OBS_CAM_004で検出した人302は、OBS_CAM_001で検出した人302と同一人である、という追跡状況情報として物体追跡状況決定手段106で決定している。しかし、OBS_CAM_001とOBS_CAM_004は同じ色特徴量を検出していても、検出時間の差と検出位置の差とから互いに別人を検出したと物体追跡状況決定手段106で判断するときがある。例えば、OBS_CAM_001の検出位置(150,401)からOBS_CAM_004の検出位置(320,390)までの移動が、検出時間の差の間に、人の歩行速度では到底移動できないことが明らかな場合に、このような判断がされる。このような判断基準として、例えば、検出位置(150,401)と検出位置(320,390)との距離が、前記時間と人の最大歩行速度(例えば秒速5m)との積である歩行可能距離よりも大きい場合などが考えられる。
また、前記例では、同じ色特徴量をそれぞれ持った2人の人が擦れ違った場合、今回得られた観測IDが、以前得られた、どの観測IDを追跡したものかを物体追跡状況決定手段106で判断することができない。
このような場合、物体追跡状況決定手段106は、人の運動モデルを考慮しても良い。同じ色特徴量をそれぞれ持った2人の人が擦れ違ったときのカメラ305の観測状況を図17に示す。尚、本来は、タグリーダ304の観測値も得られるはずであるが、ここでは省略している。
上述した通り、時刻12:00:02において、追跡状況情報として、OBS_CAM_103は、同じ色特徴量を持ち、且つ1秒以内で移動が可能なOBS_CAM_101を追跡して得られた観測値であると物体追跡状況決定手段106で判断される。同様に、OBS_CAM_104は、同じ色特徴量を持ち、且つ1秒以内で移動が可能なOBS_CAM_102を追跡して得られた観測値であると物体追跡状況決定手段106で判断される。
ここで、特徴量だけでなく、物体の存在する時間も考慮しているのは以下の理由による。すなわち、追跡状況情報として、物体の特徴量のみで観測ID同士を関連付けることができて、追跡状況情報として取り扱うことができれば、簡単で良い。しかしながら、実際には、特徴量が同じ物体が複数存在する場合も考えられる(例えば、同じ服を着ている人がいる場合などが考えられる)。その場合、特徴量だけでなく、時間毎に物体が存在する位置も考慮して観測IDを関連付けるようにしても良い。例えば、1秒で100m以上離れた場所に人が移動している場合、特徴量が同じでも関連付けを行わない、などのルールを予め決めて記憶しておき、物体追跡状況決定手段106でそのルールを適用できるようにしておけばよい。
このことから、OBS_CAM_103は、−X方向へ秒速2mで進行し、OBS_CAM_104は、+X方向へ秒速2mで進行していると物体追跡状況決定手段106で判断される。
時刻12:00:03において、OBS_CAM_105の追跡元の観測値として、同じ色特徴量を持ち且つ1秒以内で移動可能な観測値がOBS_CAM_103とOBS_CAM_104との2つ存在する。このとき、第二内部記憶部111の人検出履歴データベースのOBS_CAM_103とOBS_CAM_104の進行履歴の情報を物体追跡状況決定手段106で参照することによって、どちらの観測値がOBS_CAM_105の追跡元の観測値なのかを物体追跡状況決定手段106で判断する。OBS_CAM_103は、−X方向へ秒速2mで進行していたことから、次回の観測(時刻12:00:03での観測)は、座標(550,350)で得られる可能性が高いと物体追跡状況決定手段106で判断することができる。また、OBS_CAM_104は、+X方向へ秒速2mで進行していたことから、次回の観測は、座標(450,250)で得られる可能性が高いと物体追跡状況決定手段106で判断することができる。
ここで、OBS_CAM_105は、座標(550,350)で得られており、OBS_CAM_103を追跡して得られた観測値であると物体追跡状況決定手段106で判断することができる。同様に、OBS_CAM_106は、OBS_CAM104を追跡して得られた観測値であると物体追跡状況決定手段106で判断することができる。
尚、人検出履歴データベースは、前記したように第二観測装置102の第二内部記憶部111に記録していても良い。また、外部のデータベースなどに記録しておき、必要に応じて、物体追跡状況決定手段106が外部のデータベースなどから必要な情報を取得して物体追跡状況の情報を取得するようにしても良い。尚、第一観測装置101と第二観測装置102の観測周期は同じである必要はない。
以下、第二観測装置102の第二検出部102aの一例をカメラ305として説明する。
図15のフローチャートを参照してカメラ305の処理内容を説明する。
ステップS1501で、環境の具体的な例である部屋301内に存在する人302を第二検出部102aで検出し、画像処理部102bで検出した位置に基づいて第二位置尤度を第二物体位置尤度決定手段105で決定する。
ステップS1502で、第二検出部102aと画像処理部102bとで検出した情報を、第二検出部102aと画像処理部102bとにより、第二内部記憶部111の人検出履歴データベースに記録する。
ステップS1503で、人検出履歴データベースを物体追跡状況決定手段106で参照して、第二検出部102aと画像処理部102bとで検出した人302の追跡状況を物体追跡状況決定手段106で決定する。
ステップS1504で、前述の第二位置尤度と、追跡状況情報と、を第二観測装置102から第二物体ID尤度決定手段107と物体位置推定手段108とアソシエーション手段109とにそれぞれ出力する。
ここで、第一観測装置101と第二観測装置102の観測周期が短いほど、物体位置推定を行う回数も増えるため、位置の推定精度は良くなる。
<アソシエーション手段と物体位置推定手段の説明>
物体位置推定手段108は、第一観測装置101で決定(検出)した人302の第一ID尤度と第一位置尤度と、第二観測装置102で決定(検出)した人302の第二位置尤度と、第二物体ID尤度決定手段107で決定した第二ID尤度とを基に、人302の位置を推定する。
物体位置推定手段108は、第一観測装置101で決定(検出)した人302の第一ID尤度と第一位置尤度と、第二観測装置102で決定(検出)した人302の第二位置尤度と、第二物体ID尤度決定手段107で決定した第二ID尤度とを基に、人302の位置を推定する。
具体的には以下の方法で行う。アソシエーション手段109は、その位置推定の方法として以下の一ID尤度と第一位置尤度とを受け取ると、受け取った物体の第一ID尤度と第一位置尤度と基にアソシエーション値の計算を行う。
アソシエーション手段109は、第一観測装置101から受け取った物体の第一ID尤度と第一位置尤度と、第二観測装置102から受け取った物体の第二位置尤度と、第二物体ID尤度決定手段107から受け取った物体の第二ID尤度とを基に、検出した物体がどのIDの物体であるか、を確率的に求める。物体の検出は、第一観測装置101の第一検出部101a及び第二観測装置102の第二検出部102aと画像処理部102bにより行われる。ここでの説明では、第一観測装置101及び第二観測装置102をまとめて「観測装置」と呼び、第一ID尤度及び第二ID尤度をまとめて「ID尤度」と呼び、第一位置尤度及び第二位置尤度をまとめて「位置尤度」と呼ぶこととする。
ここで、アソシエーション手段109が求めた確率値を「アソシエーション値」と呼ぶこととする。具体的には、アソシエーション値とは、観測装置で観測されたID尤度と位置尤度との情報と実際の物体との関連付けを表す値である(第二ID尤度については、第二物体ID尤度決定手段が出力である)。つまり、観測装置から受け取った物体のID尤度と位置尤度とが、どのIDの物体を検出することによって得られた値であるかを確率的に表す値である。先に述べた、物体のID尤度及び位置尤度は、それぞれ、観測情報(観測データ)が、ある物体を観測して得られた情報(データ)である、という確からしさを表す値である。また、アソシエーション値は、このID尤度と位置尤度との積として表される。なお、アソシエーション手段109でアソシエーション値の計算を行うために用いる、第二観測装置102が検出した物体における、第二ID尤度は、第二観測装置102ではなく、第二物体ID尤度決定手段107で算出される。
アソシエーション手段109によるアソシエーション値の計算が終わると、アソシエーション手段109での計算結果と前記物体の追跡状況情報とに基づき、人302の位置を物体位置推定手段108で推定する。なお、アソシエーション手段109によるアソシエーション値の計算の終了は、例えば、アソシエーション手段109での計算結果が、アソシエーション手段109から物体位置推定手段108に入力されることにより判断できる。計算結果の情報が、アソシエーション手段109から物体位置推定手段108に入力されると、物体位置推定手段108は、アソシエーション値の計算が終わったと判断する。そして、アソシエーション手段109での計算結果と前記物体の追跡状況情報とに基づき、人302の位置を物体位置推定手段108で推定する。
その方法として、カルマンフィルタなどに代表されるベイズ推定の枠組みを物体位置推定手段108で用いることができる。第二観測装置102から得られた人302のID尤度と位置尤度とに基づいて、物体位置推定手段108で位置の推定を行うが、このとき、人302の位置の更新量は、前記アソシエーション値で重み付けがなされる。前記アソシエーション値での重み付けの情報は、アソシエーション手段109から物体位置推定手段108へ出力される。
尚、アソシエーション値は、その値が高いほど物体の位置の更新量は大きくなる。言い換えれば、ある物体の観測データである可能性が高い観測データの位置更新への寄与率が高くなるということである。
<カルマンフィルタ説明>
カルマンフィルタとは、システムの状態(本発明のこの第一実施形態においては、例えば、物体の位置)の情報、及び、第一観測装置101、第二観測装置102の観測データ(観測情報)双方にノイズが含まれるという仮定の基に、尤もらしいシステムの状態を推定するものである。言い換えれば、システムの取りうる状態の候補の中から、最も確率の高い状態を推定するものである。
カルマンフィルタとは、システムの状態(本発明のこの第一実施形態においては、例えば、物体の位置)の情報、及び、第一観測装置101、第二観測装置102の観測データ(観測情報)双方にノイズが含まれるという仮定の基に、尤もらしいシステムの状態を推定するものである。言い換えれば、システムの取りうる状態の候補の中から、最も確率の高い状態を推定するものである。
図2に物体位置推定処理にカルマンフィルタを利用した例を示す。縦軸は確率、横軸は位置を表す。
物体が下記(式1)に表されるような移動を行うとき、第二観測装置102は(式2)で求められる観測値203を得ることができる。ここで、Aは物体の運動モデル、xは物体位置、vは移動の際に生じるプロセスノイズを表している。また、yは観測値、Hは物体位置xと観測値yとを対応付ける観測モデル、wは観測ノイズ、tは時間を表している。
ここで、プロセスノイズv及び観測ノイズwは、白色ガウスノイズとすると、p(w)は(式3)のように表されるとともに、p(v)は(式4)のように表される。尚、N(0,Q)は、平均0、分散Qのガウス分布を表している。N(0,R)も同様に、平均0、分散Rのガウス分布を表している。
観測値203が得られると、現在得られている物体の位置に関する事前確率分布201(以後、「事前分布」と呼ぶ。)を物体位置推定手段108で更新し、予測確率分布202(以後、「予測分布」と呼ぶ。)を物体位置推定手段108で作成する。(式5)で予測分布202の平均(位置)を物体位置推定手段108で求め、(式6)で予測分布202の分散を物体位置推定手段108で求めることができる。尚、Xa|bは時刻bの情報を基にした時刻aのXの推定値を表す。例えば、(式5)の「xt|t-1」は時刻t-1の情報を基にした時刻tの物体位置xの推定値を表しており、(式6)の「Pt|t-1」は時刻t−1の情報を基にした時刻tのPの推定値を表している。ここで、Pは分布の分散を表している。
予測分布202が物体位置推定手段108で得られると、観測値203と予測分布202とから事後分布204を物体位置推定手段108で求める。(式7)で事後分布の平均(位置)を物体位置推定手段108で求め、(式8)で事後分布の分散を物体位置推定手段108で求めることができる。ここで、Kはカルマンゲインと呼ばれる値であり、(式9)にて求められる。カルマンゲインは更新量を決定する値である。観測値の精度が良い(分散Rが非常に小さい)場合には、更新量を大きくするため、カルマンゲインの値は大きくなる。逆に、事前分布の精度が良い(分散Pが非常に小さい)場合には、更新量を小さくするため、カルマンゲインの値は小さくなる。
なお、アソシエーション値を用いて物品Aの位置の更新量に重み付けを行う場合、後述するように、式(9)を式(9A)に置き換えればよい。式(9A)において、「D」は前記物品Aに対するアソシエーション値を表す。
<第二物体ID尤度決定手段の説明>
第二物体ID尤度決定手段107は、物体追跡状況決定手段106の物体の追跡状況情報とアソシエーション手段109で求められたアソシエーション値とに基づいて、カメラ305と画像処理部102bとが、観測した観測値における、第二ID尤度(第二物体ID尤度)を決定する。
第二物体ID尤度決定手段107は、物体追跡状況決定手段106の物体の追跡状況情報とアソシエーション手段109で求められたアソシエーション値とに基づいて、カメラ305と画像処理部102bとが、観測した観測値における、第二ID尤度(第二物体ID尤度)を決定する。
カメラ305と画像処理部102bとで観測した観測値が、初めて観測された観測値であった場合、第二物体ID尤度決定手段107は、部屋301内に存在する全ての人である可能性があると第二物体ID尤度決定手段107で判断する。つまり、部屋301内に人302A、人302B、人302Cの3人の人が存在している場合、第二物体ID尤度決定手段107は、カメラ305と画像処理部102bとで観測した観測値が、前述の3人を同一確率(1/3)で観測したと判断する。より具体的には、人ID=H1(例えば、人302A)を検出して得られた観測値である確率が1/3、人ID=H2(例えば、人302B)を検出して得られた観測値である確率が1/3、人ID=H3(例えば、人302C)を検出して得られた観測値である確率が1/3として、人の第二ID尤度をそれぞれ決定する。なお、前記したように、図7は、物体位置推定手段108の推定結果の出力図例を示しており、推定位置(推定された位置)というものは、事前の人の推定位置と観測装置の観測値に基づいて計算される。ここで、12:00:00時の推定結果では、事前の人の推定位置は初期値(今回の例では、部屋の中心)であるため、観測装置の観測値を含めて計算しても、正しい位置に人の位置を推定することは困難である。時刻12:00:001、時刻12:00:002・・・と、観測装置の観測値が得られる度に、人の位置を逐次更新していくことで、人位置の推定精度が高まっていくことが、図7から読み取ることができる。
以上のようにして第二物体ID尤度決定手段107で決定された第二ID尤度を用いて、現在推定されている人のIDと人の位置を基に、アソシエーション手段109によりアソシエーション値を求める。求められたアソシエーション値は、アソシエーション手段109に内蔵されている内部記憶部のアソシエーション値データベース109aに記録される。
図8にアソシエーション値データベース109aの例を示す。アソシエーション値データベース109aには、第二観測装置102の第二検出部102aの一例であるカメラ305の観測IDと、各人302へのアソシエーション値とが記録されている。図8によると、OBS_CAM_004で検出された人は、HUM_001の人である確率が0.69と最も高く、次いでHUM_002の人である確率が0.19であり、HUM_003の人である確率は0.12と最も低くなっている。他の観測IDについても、同様に、各人に対するアソシエーション値が記録されている。尚、アソシエーション値データベース109aは、アソシエーション手段109の内部記憶部に記録していても良い。また、外部のデータベースなどに記録しておき、必要に応じて、アソシエーション手段109が外部のデータベースから必要な情報を取得してアソシエーション値を計算するようにしても良い。
カメラ305と画像処理部102bとで観測した観測値が、以前の観測値を追跡した観測値であった場合、第二物体ID尤度決定手段107は、前記観測値と対応付けられた前回の観測値でアソシエーション手段109で求めた前回のアソシエーション値を、第二ID尤度として決定する。そして、第二物体ID尤度決定手段107で決定された第二ID尤度を用いて、現在推定されている人のIDと人の位置を基に、アソシエーション手段109により現在のアソシエーション値を求める。求められたアソシエーション値は、アソシエーション手段109によりアソシエーション値データベース109aに記録する。
ここで、カメラ305が観測値の追跡に失敗する可能性について考える。カメラ305が、前回の観測値と今回の観測値を対応付けることによって、同一物体を追跡して得られた観測値であると第二観測部102から第二物体ID尤度決定手段107に出力したとしても、実際には、ノイズの影響などにより、初めて出現した別の人を観測することによって得られた観測値を、カメラ305と画像処理部102bとで検出していた可能性も考えられる。そこで、カメラ305が観測値を正しく追跡できる確率変数Tを第二物体ID尤度決定手段107で導入し、(式10)に従って、第二ID尤度を第二物体ID尤度決定手段107で決定しても良い。
(式10)において、pidは第二ID尤度、rはアソシエーション値、Nは部屋301内に存在する人の数、tは時間を表す。
(式10)に従うと、確率変数T=0のとき、追跡が確実に失敗している、又は、初めて観測値を検出したと考えられ、前記観測値の第二ID尤度pidは(式11)となる。
また、確率変数T=1のとき、追跡が確実に成功していると考えられ、前記観測値の第二ID尤度pidは(式12)となる。
すなわち、言い換えれば、物体追跡状況決定手段106は、物体の追跡に成功している確率を示す追跡成功尤度と、物体の追跡に失敗している確率を示す追跡失敗尤度とを出力する。第二物体ID尤度決定手段107は、前記物体の前回検出時に算出されたアソシエーション値と前記追跡成功尤度とを乗算した値と、検出対象としている総ての物体の数で追跡失敗尤度を除算した値の和を、前記物体の第二ID尤度pidとする。ここで、追跡成功尤度は確率変数Tであり、追跡失敗尤度は(1−T)である。
第二物体ID尤度決定手段107の動作結果となる第二ID尤度pidの求め方は、物体の追跡に成功していた場合、前回観測値のアソシエーション値に基づいて、物体のID尤度を推定する。しかしながら、実際には、物体の追跡に失敗していた可能性も考えられる。そこで、追跡成功尤度の確率分だけ、前回観測値のアソシエーション値に基づき、推定したID尤度を割り振る。これが、(式10)の左辺の(rt−1Tt)となる。
一方、物体の追跡に失敗していた場合、どのIDの物体なのか全く推定できないため、全ての物体のIDである可能性があるとして、確率を均等に割り振る。これは、追跡失敗尤度(1−T)分だけ、均等に割り振ることになる。これが、(式10)の右辺の{(1−Tt)/N}となる(ただし、N=物体の数)。追跡が確実に成功している場合は、確率変数T=1となり、(式10)の右辺の{(1−Tt)/N}の値は0となり、(式10)の左辺の(rt−1Tt)の値がrt−1となり、(式12)が得られる。追跡が確実に失敗している場合は、T=0となり、(式10)の左辺の(rt−1Tt)の値が0となり、(式10)の右辺の{(1−Tt)/N}の値は{1/N}となり、(式11)が得られる。
第二物体ID尤度決定手段107での確率変数Tの求め方であるが、事前実験を行い、実際に追跡に成功する確率を決定しておき、その情報を第二物体ID尤度決定手段107の内部記憶部に記憶しておくことなどが考えられる。また、第二観測装置102の物体追跡方法にて記載した、色特徴量などで識別できない複数の観測値が密集していた場合、追跡に失敗する確率が高まると第二物体ID尤度決定手段107で確率変数Tの値を下げるなどの処理を行っても良い。ここで、「色特徴量などで識別できない複数の観測値が密集していた場合」か否かは、例えば、以下のようにして第二物体ID尤度決定手段107で判断することができる。センサが1秒に1回観測を行っている場合について考えると、人が1秒間に進める距離(例えば半径3mの円)内に3人以上の(推定中の)人が存在していた場合、その距離内は密集していると第二物体ID尤度決定手段107で判断する。そして、この3人の人が全員同じ色特徴量を持っている場合に、さらに確率変数Tの値を下げるなどの処理を行うことができる。
更に、2人の人がカメラ画面上で重なってしまった場合について考える。図12Aは、時刻Tにおいてカメラ305と画像処理部102bとが検出した人ID=H1の人(以下、単に、「H1の人」という。)の位置と人ID=H2の人(以下、単に、「H2の人」という。)の位置とH1の人とH2の人との検出位置間の距離とを示す。図12Bは、時刻T+1においてカメラ305が検出したH1の人の位置とH2の人との位置とH1の人とH2の人との検出位置間の距離とを示す。時刻Tから時刻T+1にかけて、H1の人とH2の人との間の距離が600cmから200cmに縮まっていると物体追跡状況決定手段106で判断される。ここで、カメラ305は、物体追跡状況決定手段106によって、H1の人とH2の人とを追跡できているものとする。更に、図13に時刻T+2におけるカメラ305の人検出状況を示す。図13によると、時刻T+2においては、H1の人しか検出しなくなっている。これは、H2の人が、H1の人の存在によって生じる死角に隠れてしまったと考えられることができる。このとき、式10の変数rを、時刻T+1におけるH1の人のアソシエーション値と時刻T+1におけるH2の人のアソシエーション値の平均値としてもよい。尚、H2の人が部屋301から出て行った可能性も考えて、H1の人の第二ID尤度に、時刻T+1におけるH1の人のアソシエーション値に、重み付けを行ったH2の人のアソシエーション値を第二物体ID尤度決定手段107で加えても良い。また、人の検出位置間の距離に閾値を設けておくことで、H2の人がH1の人の存在によって生じる死角に隠れているか否かを第二物体ID尤度決定手段107で判断することができる。すなわち、H1の人の検出位置Aに関して、閾値よりも短い距離内にH2の人の検出位置Bがあると第二物体ID尤度決定手段107で判断し、する場合においてH1の人を検出されなかった場合には、H1の人はH2の人によって隠蔽されていると第二物体ID尤度決定手段107で判断する。同様の判断を、H2の人又はその他の人に対しても第二物体ID尤度決定手段107で行う。
<物体位置推定手段と第二物体ID尤度決定手段の関係についての説明>
図9A〜図11Fを用いて、物体位置推定手段108と第二物体ID尤度決定手段107とについて説明する。
図9A〜図11Fを用いて、物体位置推定手段108と第二物体ID尤度決定手段107とについて説明する。
図9A〜図9Cは、部屋301内に存在する人302Aと人302Bと人302Cの実際の位置を示している。図9Aは時刻2008/09/02_12:00:00における人302Aと人302Bと人302Cとの実際の位置を示す。図9Bは時刻2008/09/02_12:00:01における人302Aと人302Bと人302Cとの実際の位置を示す。図9Cは時刻2008/09/02_12:00:02における人302Aと人302Bと人302Cとの実際の位置を示している。図9Aによると、人ID=H1(以後「人ID=」は省略)の人302Aは、時刻2008/09/02_12:00:00に座標(190,380)の位置に実際に存在していたことになる。ここで、図9は、物体位置推定手段108と第二物体ID尤度決定手段107との説明のための図であり、図9Aに示されている情報は、本発明の第一実施形態の他の説明では使用することはない。
図10A〜図10Cは、部屋301内でのタグリーダ304とカメラ305とによる人検出状況を示している。図10Aは時刻2008/09/02_12:00:00における人検出状況を示す。図10Bは時刻2008/09/02_12:00:01おける人検出状況を示す。図10Cは時刻2008/09/02_12:00:02における人検出状況を示している。図10Aによると、タグリーダ304による人検出位置1001が3箇所得られており、座標(150,210)の位置にタグID=T4(以後、「タグID=」は省略して、単にタグと称する。)の人302Aが、座標(620,100)の位置にタグT7の人302Bが、座標(620,630)の位置にタグT8の人302Cがそれぞれ検出されている(図5参照)。同様に、カメラ人検出位置1002も3箇所得られており、座標(150,410)の位置に人が一人、座標(810,220)の位置に人が一人、座標(810,650)の位置に人が一人、それぞれ検出されている(図6参照)。
図11A〜図11Fは、部屋301内での物体位置推定手段108が推定した人302の位置を示している。図11Aは、時刻2008/09/02_12:00:00における、本発明の第一実施形態の物体位置推定システムの起動時の推定位置の初期位置である。図11Aでは、初期位置をランダムに決定しているが、部屋301の中心等としても良い。部屋301の出入口の位置などの出入口情報等が記載された環境マップ(環境マップ情報)を物体位置推定システムが所持している場合には、部屋301の出入口を初期位置としても良い。環境マップ(環境マップ情報)には、このほか、前記第一観測装置の死角情報、又は、前記第二観測装置の死角情報が含まれていてもよい。ここで、初期位置を設定するための出入り口情報のみを使用する場合には、出入り口情報が記録された環境マップ(環境マップ情報)は物体位置推定手段108の内部記憶部に記憶すればよい。また、物体追跡状況決定手段106が参照するカメラ死角情報が記録された環境マップ(環境マップ情報)は、第二観測装置102の内部記憶部が記憶すればよい。
図19A及び図19Bに環境マップの一例をそれぞれ示す。環境マップは、図19Aに示すように出入り口の位置座標情報が記録された出入り口環境マップデータと、図19Bに示すようにカメラ305の死角情報が記録されているカメラ死角環境マップデータとがある。出入り口環境マップは、物体位置推定手段108の内部記憶部に記憶記録され、カメラ死角環境マップは、カメラ305の内部記憶部に記憶記録されている。
部屋301の出入り口を初期位置とする場合、前記初期位置は、出入り口環境マップを物体位置推定手段108が参照することによって、(x,y)=(100,0)と物体位置推定手段108で決定することができる。
カメラ305の死角は、カメラ死角環境マップに記録されている2点を対角点とする矩形として表現されている。
ここで、カメラ305の死角の利用方法について説明する。
時刻13:00:00において、位置(x,y)=(98,99)で赤色の色特徴量を持った「観測値A」が得られたとする。そして、時刻13:00:01、時刻13:00:02では赤色の色特徴量を持った観測値は得られず、時刻13:00:03で、位置(x,y)=(201,202)において赤色の色特徴量を持った「観測値B」が得られたとする。
このような状況において、観測値BのID尤度を求める場合、前回の観測(13:00:02)で観測値Bと同じ特徴量を持つ観測値が得られていないため、観測値Bは初めて観測された観測値であると判断されてしまう。つまり、(式11)に表されるように、全ての人物IDでID尤度を均等に割り振ることとなる。
ここで、カメラ死角環境マップを物体追跡状況決定手段106が参照してみると、観測値A、観測値Bともに「カメラ死角1」の近くにあることが分かる。つまり、時刻13:00:01、及び時刻13:00:02では、人がカメラの死角に入ったため観測値が得られなかった可能性があると、物体追跡状況決定手段106で判断できる。よって、観測値Bを初めて観測された観測値ではなく、観測値Aを追跡して得られた観測値であると、物体追跡状況決定手段106で判断することができる。
尚、観測値がカメラ死角の近くにあるか否かの判断方法に関しては、カメラの観測周期と人の歩行速度の関係を物体追跡状況決定手段106で利用することができる。例えば、カメラの観測周期が1秒に1回、人の歩行速度が1秒に70cmであるとすると、カメラ死角から70cm以内の範囲で観測された観測値を、カメラ死角の近くにある観測値と物体追跡状況決定手段106で判断することができる。
図11Bは、時刻2008/09/02_12:00:00に、タグリーダ304とカメラ305が検出した人情報を基に推定した人の推定位置を示している。図11Cは、さらに時刻2008/09/02_12:00:01での推定位置の初期位置である。図11Dは、さらに時刻2008/09/02_12:00:01に、タグリーダ304とカメラ305が検出した人情報も用いて推定した人の推定位置を示している。図11Eは、さらに時刻2008/09/02_12:00:02での推定位置の初期位置である。図11Fは、さらに時刻2008/09/02_12:00:02に、タグリーダ304とカメラ305が検出した人情報も用いて推定した人の推定位置を示している。
<本システムの動作説明>
以下、図16のフローチャートを参照しながら時間の流れに沿って詳細に説明する。なお、以下の手順については、物体位置推定装置120で動作制御を行う。ここで、物体位置推定システムのうちの第二物体ID尤度決定手段107と、物体位置推定手段108と、アソシエーション手段109とで物体位置推定装置120を構成するものとする。また、物体位置推定システムは、前記物体位置推定装置120と、タグリーダ304を有する第一観測装置101と、カメラ305を有する第二観測装置102とを備えて構成するものとして説明する。タグリーダ304は、第一検出部101aの一例であり、カメラ305は、第二検出部102aの一例である。
以下、図16のフローチャートを参照しながら時間の流れに沿って詳細に説明する。なお、以下の手順については、物体位置推定装置120で動作制御を行う。ここで、物体位置推定システムのうちの第二物体ID尤度決定手段107と、物体位置推定手段108と、アソシエーション手段109とで物体位置推定装置120を構成するものとする。また、物体位置推定システムは、前記物体位置推定装置120と、タグリーダ304を有する第一観測装置101と、カメラ305を有する第二観測装置102とを備えて構成するものとして説明する。タグリーダ304は、第一検出部101aの一例であり、カメラ305は、第二検出部102aの一例である。
本発明の前記第一実施形態の物体位置推定システムを起動すると、ステップS1601において、まず、物体位置推定手段108において、人302の推定位置に初期位置がセットされる(図11A参照)。尚、前記第一実施形態の物体位置推定システムは、物体位置を何回更新したかを把握するためのカウンタを物体位置推定手段108内に備えているものとする。このカウンタが0のとき、即ち物体位置の更新が一度も行われていない前記物体位置推定システムの起動時に、人302の位置が初期位置にセットされる。ここで、図3に一点鎖線で示す部屋301の出入口301Dには、第一観測装置101のタグリーダとして機能するゲート型タグリーダ304dが設置されているものとする。また、出入口301Dを通過して人302が部屋301に入るとき、ゲート型タグリーダ304dにより部屋301に入った人302のタグを全て読み取ることができる。そのため、部屋301内に存在する人302のIDは第一観測装置101で全て分かっているものとする。更に、部屋301内に存在している人302のIDは、前記物体位置推定システムの例えば第一観測装置101の第一内部記憶部110などに記録しておいても良い。もし、ゲート型タグリーダが設置できない環境であった場合、人302の初期位置は、タグリーダ304が初めて人302を検出したときに、初期位置にセットしても良い。
次に、ステップS1602では、第一観測装置101及び第二観測装置102からの出力すなわち観測情報を物体位置推定装置120が受け取るように促す。ここでは、一例として、時刻2008/09/02_12:00:00において、タグリーダ304とカメラ305と画像処理部102bとによって、人302が初めて検出される(検出状況に関しては図10Aを参照。検出された位置座標に関しては図5、図6を参照。)観測情報を物体位置推定装置120が受け取ったとする。タグリーダ304とカメラ305とで検出された情報は、前記物体位置推定装置120に出力される。今回の例では、タグリーダ304とカメラ305との観測時刻はともに2008/09/02_12:00:00として説明するが、実際には、観測時刻にはズレが生じる可能性がある。このような場合、例えば基準時刻を1秒間隔に設定しておき、基準時刻から許容時間の範囲内、例えば±500msecの範囲内で得られた観測値を全て同時刻で得られた観測値であると前記システムでは判断しても良い。図18に基準時刻の設定の一例を示す。図18の観測状況の場合、基準時刻である12:00:01:000から±500msecの範囲内で観測されている、OBS_CAM_201とOBS_TAG_201が同時刻に観測されたものとして前記システムで判断される。同様に、OBS_CAM_202とOBS_TAG_202が、OBS_CAM_203とOBS_TAG_203がそれぞれ同時刻に観測されたものとして前記システムで判断される。
次に、ステップS1603において、第二観測装置102の第二検出部102aのカメラ305と画像処理部102bとが検出した人検出情報(OBS_CAM_001, OBS_CAM_002, OBS_CAM_003)には、物体位置推定手段108が処理に必要とする第二ID尤度が含まれていない。そのため、まず、第二観測装置102から第二物体ID尤度決定手段107に前記人検出情報を出力し、第二物体ID尤度決定手段107にて、第二観測装置102で検出した人302の第二ID尤度を決定する。ここで、ステップS1603において、第二観測装置102から第二物体ID尤度決定手段107に前記人検出情報が出力されているか否かを判断する。第二観測装置102から第二物体ID尤度決定手段107に前記人検出情報が出力されていれば、ステップS1604に進む。一方、第二観測装置102から第二物体ID尤度決定手段107に前記人検出情報が出力されていなければ、ステップS1609に進む。今回の例では、カメラ305は人検出情報を出力しているため、ステップS1603においてYESの方向に進み、ステップS1604に進む。一方、人302がカメラ305の死角に入ったなど、カメラ305が人検出情報を出力していなければ、ステップS1603においてNOの方向に進み、ステップS1609に進む。
ステップS1604では、第二観測装置102が検出した人における、第二ID尤度を第二物体ID尤度決定手段107で決定する。すなわち、第二物体ID尤度決定手段107は、第二観測装置102の物体追跡状況決定手段106から第二物体ID尤度決定手段107への出力に基づき、OBS_CAM_001,OBS_CAM_002,OBS_CAM_003の情報は全て新たな人を検出して得られた人検出情報であると判断する。その理由は、例えば、先に述べたように、それらの情報以前のある時間内に、それらの人を検出した情報が無い場合などに、このように第二物体ID尤度決定手段107で判断することができる。そして、第二物体ID尤度決定手段107は、OBS_CAM_001,OBS_CAM_002,OBS_CAM_003で検出された人の第二ID尤度に、部屋301内に存在する人である確率を均等に割り振る。つまり、第二物体ID尤度決定手段107により、OBS_CAM_001で検出した人は、人302Aである確率を1/3、人302Bである確率を1/3、人302Cである確率を1/3とする。第二物体ID尤度決定手段107によりOBS_CAM_002及びOBS_CAM_003についても、それぞれ、同様に確率を割り振る。
次に、ステップS1605では、アソシエーション手段109は、カメラ305が検出した人位置と、第二物体ID尤度決定手段107が出力した人の第二ID尤度と、図11Aに示される物体位置推定手段108が推定した人IDと人位置を用いてアソシエーション値を求める。求められたアソシエーション値は、アソシエーション値データベース109aに記録する(図8参照)。
次に、ステップS1606においては、第一観測装置101の第一検出部101aのタグリーダ304が検出した人検出情報は、第一観測装置101から物体位置推定手段108へ直接出力される。前述の人検出情報には、物体位置推定手段108が処理に必要とする第一ID尤度と第一位置尤度が含まれているためである。ここで、第一観測装置101から物体位置推定手段108に前記人検出情報が出力されておれば、ステップS1607に進む。また、第一観測装置101から物体位置推定手段108に前記人検出情報が出力されていなければ、ステップS1608に進む。今回の例では、タグリーダ304は人検出情報を出力しているため、ステップS1606においてYESの方向に進み、ステップS1607に進む。一方、人302がタグリーダ304の死角に入ったなど、タグリーダ304が人検出情報を出力していなければ、ステップS1606においてNOの方向に進み、ステップS1608に進む。
また、ステップS1609においては、第一観測装置101の第一検出部101aのタグリーダ304が検出した人検出情報は、第一観測装置101から物体位置推定手段108へ直接出力されることになる。前述の人検出情報には、物体位置推定手段108が処理に必要とする第一ID尤度と第一位置尤度が含まれているためである。ここで、ステップS1609において、第一観測装置101から物体位置推定手段108に対して、前記第一ID尤度と第一位置尤度が含まれている人検出情報が出力されているか否かを判断する。第一観測装置101から物体位置推定手段108に前記人検出情報が出力されておれば、ステップS1610に進み、第一観測装置101から物体位置推定手段108に前記人検出情報が出力されていなければ、ステップS1602に戻る。今回の例では、タグリーダ304は人検出情報を出力しているため、ステップS1609においてYESの方向に進み、ステップS1610に進む。一方、人302がタグリーダ304の死角に入ったなど、タグリーダ304が人検出情報を出力していなければ、ステップS1609においてNOの方向に進み、ステップS1602に戻る。
ステップS1607では、物体位置推定手段108は、第一観測装置101の第一検出部101aのタグリーダ304が検出した人の第一ID尤度及び人の第一位置尤度と、第二観測装置102の第二検出部102aのカメラ305が検出した人の第二位置尤度と、第二物体ID尤度決定手段107が出力した人の第二ID尤度とを基に、人の位置推定を行う。この位置推定に基づき、人のID及び人の位置を更新する(図11Aを更新した図11B参照)。今回の例では、タグリーダ304とカメラ305共に人検出情報を出力しているため、ステップS1607の処理を行っている。その後、ステップS1602に戻る。
また、ステップS1608では、物体位置推定手段108は、第二観測装置102の第二検出部102aのカメラ305が検出した人の第二位置尤度と、第二物体ID尤度決定手段107が出力した人の第二ID尤度とを基に、人の位置推定を行う。そして、この位置推定に基づき、人のID及び人の位置を更新する(図11Aを更新した図11B参照)。その後、ステップS1602に戻る。
また、ステップS1610では、物体位置推定手段108は、第一観測装置101の第一検出部101aのタグリーダ304が検出した人の第一ID尤度及び人の第一位置尤度を基に、人の位置推定を行う。そして、この位置推定に基づき、人のID及び人の位置を更新する(図11Aを更新した図11B参照)。その後、ステップS1602に戻る。
更に、ステップS1607又はステップS1608又はステップS1610から戻ったステップS1602においては、次の時刻2008/09/02_12:00:01に、タグリーダ304とカメラ305とによって人302が検出される。(検出状況に関しては図10Bを参照。検出された位置座標に関しては図5、図6を参照。)
次に、ステップS1603では、第二観測装置102から第二物体ID尤度決定手段107に前記人検出情報が出力されているか否かを判断する。第二観測装置102から第二物体ID尤度決定手段107に前記人検出情報が出力されていれば、ステップS1604に進む。一方で、第二観測装置102から第二物体ID尤度決定手段107に前記人検出情報が出力されていなければ、ステップS1609に進む。
次いで、ステップS1604において、第二観測装置102が検出した人についての第二ID尤度を第二物体ID尤度決定手段107で決定する。すなわち、時刻2008/09/02_12:00:00のときと同様に、時刻2008/09/02_12:00:01において、OBS_CAM_004, OBS_CAM_005, OBS_CAM_006でそれぞれ検出された人の第二ID尤度を第二物体ID尤度決定手段107で求める必要がある。しかし、今回の場合、物体追跡状況決定手段106の出力による色特徴量の同一性から、OBS_CAM_004はOBS_CAM_001を追跡して得られた人検出情報であることが、物体追跡状況決定手段106で決定されたとする。また、同様にして、OBS_CAM_005はOBS_CAM002を追跡して得られた人検出情報である事と、OBS_CAM_006はOBS_CAM_003を追跡して得られた人検出情報である事とが、物体追跡状況決定手段106で決定されたとする。すると、第二物体ID尤度決定手段107は、物体追跡状況決定手段106での前記決定の情報を基に、アソシエーション値データベース109aに記録されているOBS_CAM_001のアソシエーション値をOBS_CAM_004の人の第二ID尤度として出力する。OBS_CAM_005及びOBS_CAM_006に関しても、同様に、第二物体ID尤度決定手段107から出力する。
今回の観測で観測値OBS_CAM_004が得られた場合、物体追跡状況決定手段106から第二物体ID尤度決定手段107へは、観測ID=OBS_CAM_004と観測ID=OBS_CAM_001の二つの観測IDがセットになって出力される。第二物体ID尤度決定手段107がセットになった観測IDを物体追跡状況決定手段106から受け取ると、観測ID=OBS_CAM_004のID尤度を求めるために、観測ID=OBS_CAM_001のアソシエーション値を、第二物体ID尤度決定手段107がアソシエーション値データベース109aから読み出す。ここで、ID尤度を求めるべき観測IDと、アソシエーション値を読み出すべき観測IDとを区別する方法が必要となってくる。これは、例えば、アソシエーション値データベース109aにアソシエーション値が記録されている観測値が、アソシエーション値を読み出してくる観測値であると判断することができる。
次に、ステップS1605及びステップS1606及びステップS1609では、先の説明と同様な処理を行う。
ステップS1607では、物体位置推定手段108は、第一観測装置101の第一検出部101aのタグリーダ304が検出した人の第一ID尤度及び人の第一位置尤度と、第二観測装置102の第二検出部102aのカメラ305が検出した人の第二位置尤度と、第二物体ID尤度決定手段107が出力した人の第二ID尤度とを基に、人の位置推定を行う。そして、この位置推定に基づき、人のID及び人の位置を更新する(図11Cを更新した図11D参照)。その後、ステップS1602に戻る。
また、ステップS1608では、物体位置推定手段108は、第二観測装置102の第二検出部102aのカメラ305が検出した人の第二位置尤度と、第二物体ID尤度決定手段107が出力した人の第二ID尤度とを基に、人の位置推定を行う。そして、この位置推定に基づき、人のID及び人の位置を更新する(図11Cを更新した図11D参照)。その後、ステップS1602に戻る。
また、ステップS1610では、物体位置推定手段108は、第一観測装置101の第一検出部101aのタグリーダ304が検出した人の第一ID尤度及び人の第一位置尤度を基に、人の位置推定を行う。そして、この位置推定に基づき、人のID及び人の位置を更新する(図11Cを更新した図11D参照)。その後、ステップS1602に戻る。
その後、時刻2008/09/02_12:00:02以降に関しても同様の処理を行い、人のID及び人の位置を更新する(図11Eを更新した図11F参照)。
今回は部屋301という屋内空間を例にして説明を行ったが、管理したい人がタグを所持可能な空間であれば、屋外であっても、本システムは利用可能である。例えば、校舎とグラウンドとの間に位置する校門又は昇降口にゲート型タグリーダを設置することで、校舎内に存在する生徒とグラウンドに存在する生徒を識別することができる。そして、グラウンドの塀又は校舎にタグリーダとカメラとを設置することで、グラウンド内のどの位置に生徒が存在するかを推定することが可能となる。グラウンドの面積が広く、1台のタグリーダ、カメラではグラウンド全域を観測できなければ、タグリーダ数、カメラ数を増やしても良い。
以上のような構成により、第二観測装置102が物体の追跡に成功している場合、前記物体を前回検出したときのアソシエーション値を、今回、第二観測装置102の第二検出部102aと画像処理部102bが検出した物体の第二ID尤度に置き換えることができる。これにより、物体位置推定手段108の処理を行えるようになる。
(第二実施形態)
ここで、物体位置推定手段108の推定状況について考える。図11Aに示した人位置は、初期値をランダムに設定してあるため、実際の人の存在位置(図9A)とはまるで異なっている。時刻2008/09/02_12:00:00に、第一観測装置101及び第二観測装置102が検出した人情報を基に物体位置推定を行った結果が図11Bである。実際の人の存在位置(図9A)に近づいてはいるものの、未だ2m近くの位置誤差がある。これは、人の初期位置を基に、人位置を更新しているためである。つまり、物体位置推定システムの稼動直後は、物体位置の推定精度は低いことになる。それに伴い、物体位置推定手段108の物体位置推定結果を利用するアソシエーション手段109のアソシエーション値の精度も低くなる。
ここで、物体位置推定手段108の推定状況について考える。図11Aに示した人位置は、初期値をランダムに設定してあるため、実際の人の存在位置(図9A)とはまるで異なっている。時刻2008/09/02_12:00:00に、第一観測装置101及び第二観測装置102が検出した人情報を基に物体位置推定を行った結果が図11Bである。実際の人の存在位置(図9A)に近づいてはいるものの、未だ2m近くの位置誤差がある。これは、人の初期位置を基に、人位置を更新しているためである。つまり、物体位置推定システムの稼動直後は、物体位置の推定精度は低いことになる。それに伴い、物体位置推定手段108の物体位置推定結果を利用するアソシエーション手段109のアソシエーション値の精度も低くなる。
そこで、アソシエーション手段109は、第一観測装置101の第一検出部101aが検出した物体のIDと物体の位置を基に、第二観測装置102の第二検出部102aと画像処理部102bが検出した物体に関するアソシエーション値を求めても良い。第一観測装置101の第一検出部101aにタグリーダ304を一例として用いる場合を考える。上述したように、タグリーダ304の位置検出精度は低い。そのため、アソシエーション手段109は、物体位置推定手段108の物体位置推定結果が収束するまでと収束後とでアソシエーション値に算出に用いる情報を変えても良い。具体的には、物体位置推定手段108の物体位置推定結果が収束するまでは、タグリーダ304が検出した物体のIDと物体の位置を基に、第二観測装置102の第二検出部102aと画像処理部102bが検出した物体に関するアソシエーション値を求める。一方で、物体位置推定手段108の物体位置推定結果が収束してからは、物体位置推定結果を基に、第二観測装置102の第二検出部102aと画像処理部102bが検出した物体に関するアソシエーション値を求めても良い。
ここで、アソシエーション手段109による物体位置の収束の判断の一例を説明する。物体の位置の更新方法に上述したカルマンフィルタを一例として用いる場合、物体の推定位置は、平均と分散で表現されたガウス分布として出力される。このとき、全ての物体の平均分散が閾値未満となったとアソシエーション手段109で判断した時点で、物体位置が収束したとアソシエーション手段109で判断しても良い。また、事前実験によって物体位置の収束状況(例えば、起動時からN回目で物体位置が収束するという情報(ただし、Nは1を越える整数。))をアソシエーション手段109で予め把握しておき、物体位置推定システム起動時からN回目の観測までは物体位置は収束しない、とアソシエーション手段109で判断させても良い。このとき、物体位置推定手段108は、物体位置を何回更新したかを把握するためのカウンタを備えているものとする。
以上のような構成により、本発明に係る物体位置推定システムの起動直後には、第一観測装置101の出力情報を用いてアソシエーション手段109がアソシエーション値を求めることができる。これにより、より正確なアソシエーション値、つまりは第二ID尤度を算出することができる。
なお、各実施形態において、第一観測部として機能する第一検出部101aと、第一物体位置尤度決定手段103と、第一物体ID尤度決定手段104と、第二観測部として機能する第二検出部102aと、第二物体位置尤度決定手段105と、物体追跡状況決定手段106と、第二物体ID尤度決定手段107と、アソシエーション手段109と、物体位置推定手段108となどのそれぞれ、又は、そのうちの任意の一部は、それ自体がソフトウェアで構成することができる。よって、例えば、本願明細書のそれぞれの実施形態の制御動作を構成するステップを有するコンピュータプログラムとして、記憶装置(ハードディスク等)などの記録媒体に読み取り可能に記憶させ、そのコンピュータプログラムをコンピュータの一時記憶装置(半導体メモリ等)に読み込んでCPUを用いて実行することにより、前記した各機能又は各ステップを実行することができる。
なお、前記様々な実施形態又は変形例のうちの任意の実施形態又は変形例を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。
本発明に係る物体位置推定システム、物体位置推定装置、物体位置推定方法、及び物体位置推定プログラムは、物体のID識別機能が無い観測装置を含む場合においても物体の位置推定を行うことができる。既に監視カメラシステム等の普及が進んでいるが、監視領域の画像を蓄積し、被写体の特定は人手で閲覧することで行う形態のものが一般的である。本発明により人手によらない人の特定と位置の特定が可能となれば、人の位置又は動線の自動取得と管理が実現し、セキュリティ用途として従来にない特徴をもつ人管理システムを提供でき極めて有用である。また、物流現場等でのコンテナなどの物品の位置を管理するシステムなどにも応用できる。
本発明は、添付図面を参照しながら好ましい実施形態に関連して充分に記載されているが、この技術の熟練した人々にとっては種々の変形又は修正は明白である。そのような変形又は修正は、添付した請求の範囲による本発明の範囲から外れない限りにおいて、その中に含まれると理解されるべきである。
本発明の第1態様によれば、物体の位置を推定する物体位置推定システムであって、
異なる時刻における、前記物体の位置とIDとを含む第一観測情報をそれぞれ取得する第一観測部と、
前記第一観測情報を基に、前記異なる時刻のそれぞれでの前記物体の位置に関して、その物体がどのIDの物体であるらしいか、を確率的に表した第一物体位置尤度を決定する第一物体位置尤度決定手段と、
前記IDを基に、前記物体の第一物体ID尤度をそれぞれの時刻で決定する第一物体ID尤度決定手段と、
異なる時刻に取得された前記物体の位置と特徴量を含む第二観測情報毎に第二観測IDを付す第二観測部と、
前記第二観測情報を基に、前記それぞれの時刻での前記物体の位置に関して、その物体がどのIDの物体であるらしいか、を確率的に表した第二物体位置尤度を決定する第二物体位置尤度決定手段と、
異なる時刻に観測された前記物体の特徴量が同じである2つの前記第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を決定する物体追跡状況決定手段と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度との積を第一物体アソシエーション値として算出するとともに、前記物体の前記第二物体位置尤度と前記第二観測情報の第二物体ID尤度との積を第二物体アソシエーション値として算出するアソシエーション手段と、
前記第二観測部により付された第二観測IDが、前記物体の前記追跡状況情報により関連付けられた2つの第二観測情報IDの一方であるときに、前記追跡状況情報により関連づけられかつ前記一方の第二観測情報IDよりも時間的に古い他方の第二観測情報IDの観測時刻に対応した前記第二物体アソシエーション値を前記第二観測情報の第二物体ID尤度として決定する第二物体ID尤度決定手段と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度との積である第一物体アソシエーション値と、前記第二物体位置尤度と前記第二物体ID尤度決定手段により決定された第二物体ID尤度との積である第二物体アソシエーション値とのそれぞれを用いて、前記第一物体アソシエーション値又は前記第二物体アソシエーション値のそれぞれが高いほど、前記物体の推定位置の更新量が高くなるように、前記更新量の重みとして、前記物体の位置を更新する事で、前記物体の位置を推定する物体位置推定手段と、を備える物体位置推定システムを提供する。
異なる時刻における、前記物体の位置とIDとを含む第一観測情報をそれぞれ取得する第一観測部と、
前記第一観測情報を基に、前記異なる時刻のそれぞれでの前記物体の位置に関して、その物体がどのIDの物体であるらしいか、を確率的に表した第一物体位置尤度を決定する第一物体位置尤度決定手段と、
前記IDを基に、前記物体の第一物体ID尤度をそれぞれの時刻で決定する第一物体ID尤度決定手段と、
異なる時刻に取得された前記物体の位置と特徴量を含む第二観測情報毎に第二観測IDを付す第二観測部と、
前記第二観測情報を基に、前記それぞれの時刻での前記物体の位置に関して、その物体がどのIDの物体であるらしいか、を確率的に表した第二物体位置尤度を決定する第二物体位置尤度決定手段と、
異なる時刻に観測された前記物体の特徴量が同じである2つの前記第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を決定する物体追跡状況決定手段と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度との積を第一物体アソシエーション値として算出するとともに、前記物体の前記第二物体位置尤度と前記第二観測情報の第二物体ID尤度との積を第二物体アソシエーション値として算出するアソシエーション手段と、
前記第二観測部により付された第二観測IDが、前記物体の前記追跡状況情報により関連付けられた2つの第二観測情報IDの一方であるときに、前記追跡状況情報により関連づけられかつ前記一方の第二観測情報IDよりも時間的に古い他方の第二観測情報IDの観測時刻に対応した前記第二物体アソシエーション値を前記第二観測情報の第二物体ID尤度として決定する第二物体ID尤度決定手段と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度との積である第一物体アソシエーション値と、前記第二物体位置尤度と前記第二物体ID尤度決定手段により決定された第二物体ID尤度との積である第二物体アソシエーション値とのそれぞれを用いて、前記第一物体アソシエーション値又は前記第二物体アソシエーション値のそれぞれが高いほど、前記物体の推定位置の更新量が高くなるように、前記更新量の重みとして、前記物体の位置を更新する事で、前記物体の位置を推定する物体位置推定手段と、を備える物体位置推定システムを提供する。
本発明の第4態様によれば、物体の位置を推定する物体位置推定方法であって、
異なる時刻における、前記物体の位置とIDとを含む第一観測情報をそれぞれ第一観測部で取得し、
前記第一観測情報を基に、前記異なる時刻のそれぞれでの前記物体の位置に関して、その物体がどのIDの物体であるらしいか、を確率的に表した第一物体位置尤度を第一物体位置尤度決定手段で決定し、
前記IDを基に、前記物体の第一物体ID尤度をそれぞれの時刻で第一物体ID尤度決定手段で決定し、
異なる時刻に取得された前記物体の位置と特徴量を含む第二観測情報毎に前記第二観測部で第二観測IDを付し、
前記第二観測情報を基に、前記それぞれの時刻での前記物体の位置に関して、その物体がどのIDの物体であるらしいか、を確率的に表した第二物体位置尤度を第二物体位置尤度決定手段で決定し、
異なる時刻に観測された前記物体の特徴量が同じである2つの前記第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を物体追跡状況決定手段で決定し、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度との積を第一物体アソシエーション値としてアソシエーション手段で算出するとともに、前記物体の前記第二物体位置尤度と前記第二観測情報の第二物体ID尤度との積を第二物体アソシエーション値としてアソシエーション手段で算出し、
前記第二観測部により付された第二観測IDが、前記物体の前記追跡状況情報により関連付けられた2つの第二観測情報IDの一方であるときに、前記追跡状況情報により関連づけられかつ前記一方の第二観測情報IDよりも時間的に古い他方の第二観測情報IDの観測時刻に対応した前記第二物体アソシエーション値を前記第二観測情報の第二物体ID尤度として第二物体ID尤度決定手段で決定し、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度との積である第一物体アソシエーション値と、前記第二物体位置尤度と前記第二物体ID尤度決定手段により決定された第二物体ID尤度との積である第二物体アソシエーション値とのそれぞれを用いて、前記第一物体アソシエーション値又は前記第二物体アソシエーション値のそれぞれが高いほど、前記物体の推定位置の更新量が高くなるように、前記更新量の重みとして、前記物体の位置を更新する事で、前記物体の位置を物体位置推定手段で推定する、、物体位置推定方法を提供する。
異なる時刻における、前記物体の位置とIDとを含む第一観測情報をそれぞれ第一観測部で取得し、
前記第一観測情報を基に、前記異なる時刻のそれぞれでの前記物体の位置に関して、その物体がどのIDの物体であるらしいか、を確率的に表した第一物体位置尤度を第一物体位置尤度決定手段で決定し、
前記IDを基に、前記物体の第一物体ID尤度をそれぞれの時刻で第一物体ID尤度決定手段で決定し、
異なる時刻に取得された前記物体の位置と特徴量を含む第二観測情報毎に前記第二観測部で第二観測IDを付し、
前記第二観測情報を基に、前記それぞれの時刻での前記物体の位置に関して、その物体がどのIDの物体であるらしいか、を確率的に表した第二物体位置尤度を第二物体位置尤度決定手段で決定し、
異なる時刻に観測された前記物体の特徴量が同じである2つの前記第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を物体追跡状況決定手段で決定し、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度との積を第一物体アソシエーション値としてアソシエーション手段で算出するとともに、前記物体の前記第二物体位置尤度と前記第二観測情報の第二物体ID尤度との積を第二物体アソシエーション値としてアソシエーション手段で算出し、
前記第二観測部により付された第二観測IDが、前記物体の前記追跡状況情報により関連付けられた2つの第二観測情報IDの一方であるときに、前記追跡状況情報により関連づけられかつ前記一方の第二観測情報IDよりも時間的に古い他方の第二観測情報IDの観測時刻に対応した前記第二物体アソシエーション値を前記第二観測情報の第二物体ID尤度として第二物体ID尤度決定手段で決定し、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度との積である第一物体アソシエーション値と、前記第二物体位置尤度と前記第二物体ID尤度決定手段により決定された第二物体ID尤度との積である第二物体アソシエーション値とのそれぞれを用いて、前記第一物体アソシエーション値又は前記第二物体アソシエーション値のそれぞれが高いほど、前記物体の推定位置の更新量が高くなるように、前記更新量の重みとして、前記物体の位置を更新する事で、前記物体の位置を物体位置推定手段で推定する、、物体位置推定方法を提供する。
本発明の第5態様によれば、コンピュータに、
異なる時刻における、物体の位置とIDとを含む第一観測情報をそれぞれ第一観測部で取得する機能と、
前記第一観測情報を基に、前記異なる時刻それぞれでの前記物体の位置に関して、その物体がどのIDの物体であるらしいか、を確率的に表した第一物体位置尤度を第一物体位置尤度決定手段で決定する機能と、
前記IDを基に、前記物体の第一物体ID尤度をそれぞれの時刻で第一物体ID尤度決定手段で決定する機能と、
異なる時刻に取得された前記物体の位置と特徴量を含む第二観測情報毎に前記第二観測部で第二観測IDを付する機能と、
前記第二観測情報を基に、前記それぞれの時刻での前記物体の位置に関して、その物体がどのIDの物体であるらしいか、を確率的に表した第二物体位置尤度を第二物体位置尤度決定手段で決定する機能と、
異なる時刻に観測された前記物体の特徴量が同じである2つの前記第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を物体追跡状況決定手段で決定する機能と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度との積を第一物体アソシエーション値としてアソシエーション手段で算出するとともに、前記物体の前記第二物体位置尤度と前記第二観測情報の第二物体ID尤度との積を第二物体アソシエーション値としてアソシエーション手段で算出する機能と、
前記第二観測部により付された第二観測IDが、前記物体の前記追跡状況情報により関連付けられた2つの第二観測情報IDの一方であるときに、前記追跡状況情報により関連づけられかつ前記一方の第二観測情報IDよりも時間的に古い他方の第二観測情報IDの観測時刻に対応した前記第二物体アソシエーション値を前記第二観測情報の第二物体ID尤度として第二物体ID尤度決定手段で決定する機能と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度との積である第一物体アソシエーション値と、前記第二物体位置尤度と前記第二物体ID尤度決定手段により決定された第二物体ID尤度との積である第二物体アソシエーション値とのそれぞれを用いて、前記第一物体アソシエーション値又は前記第二物体アソシエーション値のそれぞれが高いほど、前記物体の推定位置の更新量が高くなるように、前記更新量の重みとして、前記物体の位置を更新する事で、前記物体の位置を物体位置推定手段で推定する機能とを実現させるための物体位置推定プログラムを提供する。
異なる時刻における、物体の位置とIDとを含む第一観測情報をそれぞれ第一観測部で取得する機能と、
前記第一観測情報を基に、前記異なる時刻それぞれでの前記物体の位置に関して、その物体がどのIDの物体であるらしいか、を確率的に表した第一物体位置尤度を第一物体位置尤度決定手段で決定する機能と、
前記IDを基に、前記物体の第一物体ID尤度をそれぞれの時刻で第一物体ID尤度決定手段で決定する機能と、
異なる時刻に取得された前記物体の位置と特徴量を含む第二観測情報毎に前記第二観測部で第二観測IDを付する機能と、
前記第二観測情報を基に、前記それぞれの時刻での前記物体の位置に関して、その物体がどのIDの物体であるらしいか、を確率的に表した第二物体位置尤度を第二物体位置尤度決定手段で決定する機能と、
異なる時刻に観測された前記物体の特徴量が同じである2つの前記第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を物体追跡状況決定手段で決定する機能と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度との積を第一物体アソシエーション値としてアソシエーション手段で算出するとともに、前記物体の前記第二物体位置尤度と前記第二観測情報の第二物体ID尤度との積を第二物体アソシエーション値としてアソシエーション手段で算出する機能と、
前記第二観測部により付された第二観測IDが、前記物体の前記追跡状況情報により関連付けられた2つの第二観測情報IDの一方であるときに、前記追跡状況情報により関連づけられかつ前記一方の第二観測情報IDよりも時間的に古い他方の第二観測情報IDの観測時刻に対応した前記第二物体アソシエーション値を前記第二観測情報の第二物体ID尤度として第二物体ID尤度決定手段で決定する機能と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度との積である第一物体アソシエーション値と、前記第二物体位置尤度と前記第二物体ID尤度決定手段により決定された第二物体ID尤度との積である第二物体アソシエーション値とのそれぞれを用いて、前記第一物体アソシエーション値又は前記第二物体アソシエーション値のそれぞれが高いほど、前記物体の推定位置の更新量が高くなるように、前記更新量の重みとして、前記物体の位置を更新する事で、前記物体の位置を物体位置推定手段で推定する機能とを実現させるための物体位置推定プログラムを提供する。
本発明の第6態様によれば、異なる時刻における、物体の位置とIDとを含む第一観測情報をそれぞれ取得する第一観測部からの前記第一観測情報を基に、前記異なる時刻それぞれでの前記物体の位置に関して、その物体がどのIDの物体であるらしいか、を確率的に表した第一物体位置尤度を決定する第一物体位置尤度決定手段と、
前記IDを基に、前記物体の第一物体ID尤度をそれぞれの時刻で決定する第一物体ID尤度決定手段と、
異なる時刻に取得された前記物体の位置と特徴量を含む第二観測情報毎に第二観測IDを付す第二観測部からの前記第二観測情報を基に、前記それぞれの時刻での前記物体の位置に関して、その物体がどのIDの物体であるらしいか、を確率的に表した第二物体位置尤度を決定する第二物体位置尤度決定手段と、
異なる時刻に観測された前記物体の特徴量が同じである2つの前記第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を決定する物体追跡状況決定手段と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度との積を第一物体アソシエーション値として算出するとともに、前記物体の前記第二物体位置尤度と前記第二観測情報の第二物体ID尤度との積を第二物体アソシエーション値として算出するアソシエーション手段と、
前記第二観測部により付された第二観測IDが、前記物体の前記追跡状況情報により関連付けられた2つの第二観測情報IDの一方であるときに、前記追跡状況情報により関連づけられかつ前記一方の第二観測情報IDよりも時間的に古い他方の第二観測情報IDの観測時刻に対応した前記第二物体アソシエーション値を前記第二観測情報の第二物体ID尤度として決定する第二物体ID尤度決定手段と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度との積である第一物体アソシエーション値と、前記第二物体位置尤度と前記第二物体ID尤度決定手段により決定された第二物体ID尤度との積である第二物体アソシエーション値とのそれぞれを用いて、前記第一物体アソシエーション値又は前記第二物体アソシエーション値のそれぞれが高いほど、前記物体の推定位置の更新量が高くなるように、前記更新量の重みとして、前記物体の位置を更新する事で、前記物体の位置を推定する物体位置推定手段と、
を備える物体位置推定装置を提供する。
前記IDを基に、前記物体の第一物体ID尤度をそれぞれの時刻で決定する第一物体ID尤度決定手段と、
異なる時刻に取得された前記物体の位置と特徴量を含む第二観測情報毎に第二観測IDを付す第二観測部からの前記第二観測情報を基に、前記それぞれの時刻での前記物体の位置に関して、その物体がどのIDの物体であるらしいか、を確率的に表した第二物体位置尤度を決定する第二物体位置尤度決定手段と、
異なる時刻に観測された前記物体の特徴量が同じである2つの前記第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を決定する物体追跡状況決定手段と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度との積を第一物体アソシエーション値として算出するとともに、前記物体の前記第二物体位置尤度と前記第二観測情報の第二物体ID尤度との積を第二物体アソシエーション値として算出するアソシエーション手段と、
前記第二観測部により付された第二観測IDが、前記物体の前記追跡状況情報により関連付けられた2つの第二観測情報IDの一方であるときに、前記追跡状況情報により関連づけられかつ前記一方の第二観測情報IDよりも時間的に古い他方の第二観測情報IDの観測時刻に対応した前記第二物体アソシエーション値を前記第二観測情報の第二物体ID尤度として決定する第二物体ID尤度決定手段と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度との積である第一物体アソシエーション値と、前記第二物体位置尤度と前記第二物体ID尤度決定手段により決定された第二物体ID尤度との積である第二物体アソシエーション値とのそれぞれを用いて、前記第一物体アソシエーション値又は前記第二物体アソシエーション値のそれぞれが高いほど、前記物体の推定位置の更新量が高くなるように、前記更新量の重みとして、前記物体の位置を更新する事で、前記物体の位置を推定する物体位置推定手段と、
を備える物体位置推定装置を提供する。
具体的には以下の方法で行う。アソシエーション手段109は、その位置推定の方法と
して以下の第一ID尤度と第一位置尤度とを受け取ると、受け取った物体の第一ID尤度と第一位置尤度と基にアソシエーション値(第1アソシエーション値)の計算を行う。
して以下の第一ID尤度と第一位置尤度とを受け取ると、受け取った物体の第一ID尤度と第一位置尤度と基にアソシエーション値(第1アソシエーション値)の計算を行う。
アソシエーション手段109は、第一観測装置101から受け取った物体の第一ID尤度と第一位置尤度と、第二観測装置102から受け取った物体の第二位置尤度と、第二物体ID尤度決定手段107から受け取った物体の第二ID尤度とを基に、検出した物体がどのIDの物体であるか、を確率的に表す値、すなわち、確率値(第1アソシエーション値と第2アソシエーション値)を求める。物体の検出は、第一観測装置101の第一検出部101a及び第二観測装置102の第二検出部102aと画像処理部102bにより行われる。ここでの説明では、第一観測装置101及び第二観測装置102をまとめて「観測装置」と呼び、第一ID尤度及び第二ID尤度をまとめて「ID尤度」と呼び、第一位置尤度及び第二位置尤度をまとめて「位置尤度」と呼ぶこととする。
ここで、アソシエーション手段109が求めた確率値を「アソシエーション値」と呼ぶこととする。具体的には、アソシエーション値とは、観測装置で観測されたID尤度と位置尤度との情報と実際の物体との関連付けを表す値である(第二ID尤度については、第二物体ID尤度決定手段が出力である)。つまり、観測装置から受け取った物体のID尤度と位置尤度とが、どのIDの物体を検出することによって得られた値であるかを確率的に表す値である。先に述べた、物体のID尤度及び位置尤度は、それぞれ、観測情報(観測データ)が、ある物体を観測して得られた情報(データ)である、という確からしさを表す値である。また、アソシエーション値は、このID尤度と位置尤度との積として表される。すなわち、物体の第一物体ID尤度と第一物体位置尤度との積として第一物体アソシエーション値で表す。物体の第二物体位置尤度と第二物体ID尤度との積として第二物体アソシエーション値で表す。なお、アソシエーション手段109でアソシエーション値の計算を行うために用いる、第二観測装置102が検出した物体における、第二ID尤度は、第二観測装置102ではなく、第二物体ID尤度決定手段107で算出される。
Claims (8)
- 物体の位置を推定する物体位置推定システムであって、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置とIDとを含む第一観測情報をそれぞれ取得する第一観測部と、
前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を決定する第一物体位置尤度決定手段と、
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で決定する第一物体ID尤度決定手段と、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ取得し、第二観測情報毎に第二観測IDを付す第二観測部と、
前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を決定する第二物体位置尤度決定手段と、
時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を2つ検出し、検出された前記2つの第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を決定する物体追跡状況決定手段と、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を決定する第二物体ID尤度決定手段と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値を算出し、前記第二物体ID尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値を算出するアソシエーション手段と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は/且つ、前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を推定する物体位置推定手段と、
を備える物体位置推定システム。 - さらに、前記物体追跡状況決定手段は、物体の追跡に成功している確率を示す追跡成功尤度と、物体の追跡に失敗している確率を示す追跡失敗尤度を出力し、
前記第二物体ID尤度決定手段は、前記物体の前回検出時に算出されたアソシエーション値と前記追跡成功尤度を乗算した値と、検出対象としている総ての物体の数で追跡失敗尤度を除算した値の和を、前記物体の第二ID尤度とする請求項1に記載の物体位置推定システム。 - 前記物体追跡状況決定手段が、時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を2つ検出することにより、前記第二観測装置が検出した前記物体の追跡状況を追跡中であると決定した場合、前記アソシエーション手段は、前記物体位置推定手段が推定した前記物体のIDと前記物体の位置に基づいて、前記第二観測装置が検出した前記物体のIDを求める請求項1又は2に記載の物体位置推定システム。
- 更に、前記環境内に存在する前記人が出入りする出入口の位置を含む出入口情報、又は、前記第一観測装置の死角情報と、又は、前記第二観測装置の死角情報が記録された環境マップを備える請求項1又は2に記載の物体位置推定システム。
- 更に、前記物体追跡状況決定手段は、重なり合った複数物体を1つの物体として検出している確率を決定する請求項1又は2に記載の物体位置推定システム。
- 物体の位置を推定する物体位置推定方法であって、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置とIDとを含む第一観測情報をそれぞれ第一観測部で取得し、
前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を第一物体位置尤度決定手段で決定し、
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で第一物体ID尤度決定手段で決定し、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ第二観測部で取得して、前記第二観測部で第二観測情報毎に第二観測IDを付し、
前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を第二物体位置尤度決定手段で決定し、
時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を2つ検出し、検出された前記2つの第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を物体追跡状況決定手段で決定し、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を第二物体ID尤度決定手段で決定し、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値をアソシエーション手段で算出し、
前記物体の前記第二物体ID尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値をアソシエーション手段で算出し、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は/且つ、前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を物体位置推定手段で推定する、物体位置推定方法。 - コンピュータに、
異なる時刻に物体をそれぞれ観測して前記物体の位置とIDとを含む第一観測情報をそれぞれ第一観測部で取得する機能と、
前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を第一物体位置尤度決定手段で決定する機能と、
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で第一物体ID尤度決定手段で決定する機能と、
異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ第二観測部で取得して、前記第二観測部で第二観測情報毎に第二観測IDを付する機能と、
前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を第二物体位置尤度決定手段で決定する機能と、
時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を2つ検出し、検出された前記2つの第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を物体追跡状況決定手段で決定する機能と、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を第二物体ID尤度決定手段で決定する機能と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値をアソシエーション手段で算出する機能と、
前記物体の前記第二物体ID尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値をアソシエーション手段で算出する機能と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は/且つ、前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を物体位置推定手段で推定する機能とを実現させるための物体位置推定プログラム。 - 異なる時刻に物体をそれぞれ観測して前記物体の位置とIDとを含む第一観測情報をそれぞれ取得する第一観測部からの前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を決定する第一物体位置尤度決定手段と、
前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ID尤度をそれぞれの時刻で決定する第一物体ID尤度決定手段と、
異なる時刻に前記物体をそれぞれ観測して取得された前記物体の位置と特徴量を含む第二観測情報毎に第二観測IDを付す第二観測部からの前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を決定する第二物体位置尤度決定手段と、
同じ特徴量を、互いに異なる時刻で観測した2つの前記第二観測情報の第二観測ID同士を関連付けて前記物体の追跡状況情報を決定する物体追跡状況決定手段と、
前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ID尤度を決定する第二物体ID尤度決定手段と、
前記物体の前記第一物体ID尤度と前記第一物体位置尤度に基づく第一物体アソシエーション値と、前記第二物体ID尤度と前記第二物体位置尤度に基づく第二物体アソシエーション値とを算出するアソシエーション手段と、
(1)前記物体の前記第一物体ID尤度と前記第一物体位置尤度と前記第一物体アソシエーション値と、(2)前記第二物体ID尤度と前記第二物体位置尤度と前記第二物体アソシエーション値と、の少なくともいずれか一方に基づいて前記物体の位置を推定する物体位置推定手段と、
を備える物体位置推定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010518663A JP4709943B2 (ja) | 2009-02-19 | 2010-02-18 | 物体位置推定システム、物体位置推定装置、物体位置推定方法、及び物体位置推定プログラム |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009036202 | 2009-02-19 | ||
JP2009036202 | 2009-02-19 | ||
PCT/JP2010/001038 WO2010095437A1 (ja) | 2009-02-19 | 2010-02-18 | 物体位置推定システム、物体位置推定装置、物体位置推定方法、及び物体位置推定プログラム |
JP2010518663A JP4709943B2 (ja) | 2009-02-19 | 2010-02-18 | 物体位置推定システム、物体位置推定装置、物体位置推定方法、及び物体位置推定プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP4709943B2 JP4709943B2 (ja) | 2011-06-29 |
JPWO2010095437A1 true JPWO2010095437A1 (ja) | 2012-08-23 |
Family
ID=42633724
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010518663A Active JP4709943B2 (ja) | 2009-02-19 | 2010-02-18 | 物体位置推定システム、物体位置推定装置、物体位置推定方法、及び物体位置推定プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US8527235B2 (ja) |
JP (1) | JP4709943B2 (ja) |
CN (1) | CN102105811B (ja) |
WO (1) | WO2010095437A1 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201206192A (en) * | 2010-07-23 | 2012-02-01 | Hon Hai Prec Ind Co Ltd | Detection device and method |
US9077343B2 (en) * | 2011-06-06 | 2015-07-07 | Microsoft Corporation | Sensing floor for locating people and devices |
JP5919665B2 (ja) * | 2011-07-19 | 2016-05-18 | 日本電気株式会社 | 情報処理装置、物体追跡方法および情報処理プログラム |
JP5906379B2 (ja) * | 2011-09-29 | 2016-04-20 | パナソニックIpマネジメント株式会社 | 移動体位置推定装置、移動体位置推定方法、及び、移動体位置推定プログラム |
TWI474173B (zh) * | 2012-02-21 | 2015-02-21 | Hon Hai Prec Ind Co Ltd | 行走輔助系統及行走輔助方法 |
US10648803B2 (en) | 2012-02-29 | 2020-05-12 | Nec Corporation | Movement line information generation system, movement line information generation method and movement line information generation program |
US9185528B2 (en) * | 2012-06-28 | 2015-11-10 | Northrop Grumman Systems Corporation | WiFi mapping and motion detection |
US9820677B2 (en) * | 2013-01-03 | 2017-11-21 | St. Jude Medical, Atrial Fibrillation Division, Inc. | Cointegration filter for a catheter navigation system |
US9196150B2 (en) * | 2013-03-15 | 2015-11-24 | Honeywell International Inc. | System and method for video monitoring of restricted areas below bucket trucks, lineworkers on power distribution poles or other elevated loads |
JP5812061B2 (ja) * | 2013-08-22 | 2015-11-11 | 株式会社デンソー | 物標検出装置およびプログラム |
JP6261467B2 (ja) * | 2014-07-23 | 2018-01-17 | Kddi株式会社 | ユーザ特定装置、ユーザ特定方法、およびプログラム |
JP6482844B2 (ja) * | 2014-12-11 | 2019-03-13 | 株式会社メガチップス | 状態推定装置、プログラムおよび集積回路 |
JP6770299B2 (ja) * | 2015-03-25 | 2020-10-14 | パナソニック株式会社 | 物体検出装置および物体検出方法 |
US10007991B2 (en) | 2016-01-29 | 2018-06-26 | International Business Machines Corporation | Low-cost method to reliably determine relative object position |
JP6730177B2 (ja) * | 2016-12-28 | 2020-07-29 | 株式会社デンソーテン | 画像生成装置および画像生成方法 |
US10304207B2 (en) * | 2017-07-07 | 2019-05-28 | Samsung Electronics Co., Ltd. | System and method for optical tracking |
WO2020230645A1 (ja) * | 2019-05-13 | 2020-11-19 | 日本電気株式会社 | 位置推定システム、位置推定方法、プログラム、及び記録媒体 |
US11210536B2 (en) | 2020-01-06 | 2021-12-28 | Toyota Jidosha Kabushiki Kaisha | Moving object recognition system, moving object recognition method, and program |
US20210304577A1 (en) * | 2020-03-30 | 2021-09-30 | Wiser Systems, Inc. | Integrated Camera and Ultra-Wideband Location Devices and Related Systems |
JP7457948B2 (ja) * | 2021-03-10 | 2024-03-29 | パナソニックIpマネジメント株式会社 | 位置推定システム、位置推定方法、位置情報管理システム、位置情報管理方法及びプログラム |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US66513A (en) * | 1867-07-09 | Benjamin | ||
US6061644A (en) * | 1997-12-05 | 2000-05-09 | Northern Digital Incorporated | System for determining the spatial position and orientation of a body |
CN1199054A (zh) | 1998-04-20 | 1998-11-18 | 台湾塑胶工业股份有限公司 | 催化合成方法 |
US6882959B2 (en) * | 2003-05-02 | 2005-04-19 | Microsoft Corporation | System and process for tracking an object state using a particle filter sensor fusion technique |
JP4450306B2 (ja) * | 2003-07-11 | 2010-04-14 | Kddi株式会社 | 移動体追跡システム |
JP4490076B2 (ja) | 2003-11-10 | 2010-06-23 | 日本電信電話株式会社 | 物体追跡方法、物体追跡装置、プログラム、および、記録媒体 |
JP3931879B2 (ja) | 2003-11-28 | 2007-06-20 | 株式会社デンソー | センサフュージョンシステム及びそれを用いた車両制御装置 |
KR100754385B1 (ko) | 2004-09-30 | 2007-08-31 | 삼성전자주식회사 | 오디오/비디오 센서를 이용한 위치 파악, 추적 및 분리장치와 그 방법 |
JP2006270456A (ja) | 2005-03-23 | 2006-10-05 | Matsushita Electric Works Ltd | 情報提示システム |
WO2007015548A1 (ja) | 2005-08-04 | 2007-02-08 | Matsushita Electric Industrial Co., Ltd. | 検索物品推定装置及び方法、並びに、検索物品推定装置用サーバ |
CN101052982A (zh) | 2005-08-04 | 2007-10-10 | 松下电器产业株式会社 | 检索物品推定装置和方法、及检索物品推定装置用服务器 |
CN101213476B (zh) | 2005-12-28 | 2011-07-13 | 松下电器产业株式会社 | 物体检测装置和物体检测方法 |
JP2007255977A (ja) * | 2006-03-22 | 2007-10-04 | Nissan Motor Co Ltd | 物体検出方法および物体検出装置 |
JP2008008684A (ja) | 2006-06-27 | 2008-01-17 | Ezis Solutions:Kk | 位置特定装置 |
JP2008275324A (ja) | 2007-04-25 | 2008-11-13 | Doshisha | 物体位置特定システム、物体位置特定方法、物体位置算出装置、及びコンピュータプログラム |
-
2010
- 2010-02-18 US US12/933,888 patent/US8527235B2/en active Active
- 2010-02-18 JP JP2010518663A patent/JP4709943B2/ja active Active
- 2010-02-18 CN CN2010800021760A patent/CN102105811B/zh not_active Expired - Fee Related
- 2010-02-18 WO PCT/JP2010/001038 patent/WO2010095437A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP4709943B2 (ja) | 2011-06-29 |
US8527235B2 (en) | 2013-09-03 |
US20110029278A1 (en) | 2011-02-03 |
CN102105811A (zh) | 2011-06-22 |
CN102105811B (zh) | 2013-10-16 |
WO2010095437A1 (ja) | 2010-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4709943B2 (ja) | 物体位置推定システム、物体位置推定装置、物体位置推定方法、及び物体位置推定プログラム | |
US12056816B2 (en) | Automated spatial indexing of images based on floorplan features | |
KR101203232B1 (ko) | 이동 장치의 로케이션 역학을 결정하는 시스템 및 방법, 이동 장치를 추적하는 것을 용이하게 하는 머신 구현 시스템, 무선 장치 로케이션 시스템, 및 컴퓨터 판독가능 기록 매체 | |
US9541404B2 (en) | System for determining the location of entrances and areas of interest | |
US8149278B2 (en) | System and method for modeling movement of objects using probabilistic graphs obtained from surveillance data | |
US20080130949A1 (en) | Surveillance System and Method for Tracking and Identifying Objects in Environments | |
US20200142388A1 (en) | Assisting execution of manual protocols at production equipment | |
US9351124B1 (en) | Location detection and communication through latent dynamic network interactions | |
US8731829B2 (en) | Flow line detection system, flow line detection method, and flow line detection program | |
JP4677060B1 (ja) | 位置校正情報収集装置、位置校正情報収集方法、及び位置校正情報収集プログラム | |
JP7280452B2 (ja) | 縮尺図と3次元モデルを用いた機械学習ベースのオブジェクト識別 | |
EP1927947A1 (en) | Computer implemented method and system for tracking objects using surveillance database | |
JPWO2013128852A1 (ja) | 動線情報生成システム、動線情報生成方法および動線情報生成プログラム | |
JP5906379B2 (ja) | 移動体位置推定装置、移動体位置推定方法、及び、移動体位置推定プログラム | |
CN107121661B (zh) | 定位方法、装置及系统和服务器 | |
Keser et al. | A priori verification and validation study of RFKON database | |
Ichikari et al. | Complementary integration of PDR with absolute positioning methods based on time-series consistency | |
JP2008211781A (ja) | ある環境において物体の移動をモデル化するためのシステムおよびコンピュータにより実施されるその方法 | |
JP2023553913A (ja) | リアルタイム位置情報システム(rtls)のデータから患者ワークフローをマイニングするプロセス | |
WO2012042864A1 (ja) | 物体位置推定システム、物体位置推定装置、物体位置推定方法、及び物体位置推定プログラム | |
CN115326071A (zh) | 一种自适应融合的室内定位方法、计算机设备和可读存储介质 | |
CN113916233A (zh) | 导航路线确定方法、装置、设备及存储介质 | |
SASAKI et al. | INDOOR LOCATION SYSTEM: HUMAN TRACKING APPLICATION IN A SHIP MANEUVERING SIMULATOR |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110318 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4709943 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |