JP4669581B2 - 物体位置推定システム、物体位置推定装置、物体位置推定方法、及び、物体位置推定プログラム - Google Patents
物体位置推定システム、物体位置推定装置、物体位置推定方法、及び、物体位置推定プログラム Download PDFInfo
- Publication number
- JP4669581B2 JP4669581B2 JP2010507747A JP2010507747A JP4669581B2 JP 4669581 B2 JP4669581 B2 JP 4669581B2 JP 2010507747 A JP2010507747 A JP 2010507747A JP 2010507747 A JP2010507747 A JP 2010507747A JP 4669581 B2 JP4669581 B2 JP 4669581B2
- Authority
- JP
- Japan
- Prior art keywords
- observation
- time
- raw data
- position estimation
- object identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/77—Determining position or orientation of objects or cameras using statistical methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Radar Systems Or Details Thereof (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
- Image Analysis (AREA)
Description
本発明は、観測手段が観測したデータを基に環境内に存在する物体の位置を、例えば、観測時刻の早い順に推定する物体位置推定システム、物体位置推定装置、物体位置推定方法、及び、物体位置推定プログラムに関する。
カメラ等のセンサを利用して、環境内に存在する対象物体を識別して、対象物体のID及び環境内における位置を推定するためには、大きく分けて、5つの工程が必要である。
第1工程では、カメラにより対象物体を撮像し、対象物体を含む画像データを得る。
第2工程では、予め保持する背景画像のテンプレートと、対象物体を含む画像データとを比較して、差分画像を得る。
第3工程では、予め保持する画像データ中の画素位置と環境内位置とを対応させたデータベースを用いて、得られた差分画像の環境内の物体の位置候補を得る。
第4工程では、予め保持する物体のIDと画像データとを対応させたデータベースを用いて、得られた差分画像に対応する物体のID候補を得る。以下、第3工程(物体の位置候補を得る工程)と第4工程(物体のID候補を得る工程)とを合わせて、「物体識別」と呼ぶ。
第5工程では、個別の物体のID候補及び位置候補のデータには不確実性があるため、過去にカメラで得た物体のIDと位置のデータを用いて、尤もらしい各物体の位置を推定する。以下、第5工程を「位置推定」と呼ぶ。
センサが環境を観測して得られたデータから、物体位置推定処理が取り扱うことのできる物体のID候補と位置候補に関するデータへと変換する物体識別処理を行う必要がある。
位置推定に必要な時間(第5工程)は、センサが環境を観測し、物体識別が終わるまで必要な時間(第1工程から第4工程)と比べて長い。よって、環境内に存在する全ての対象物体に対して、物体識別後のデータを個別に、位置推定を行った場合、センサが環境を観測した時刻と物体識別処理が完了する時刻との遅延時間(応答待ち時間)が発生する。図13に例を示す。観測装置1の観測データ1が物体識別処理され、物体位置推定処理可能となるのが時刻14:17:20(14時17分20秒)である。観測装置2の観測データ2が物体識別処理され、物体位置推定処理可能となるのが時刻14:17:26である。しかし、時刻14:17:26の時点では観測データ1の物体位置推定処理はまだ終了しておらず、観測データ2の物体位置推定処理が開始できるのは、観測データ1の物体位置推定処理が終了する時刻14:17:30からとなってしまっている。よって、観測データ2の物体位置推定処理は、観測データ1の物体位置推定処理が終了するのを待たなければならない。
このような装置等からの応答待ち時間を低減する方法として、例えば特許文献1では、現在までに収集された通信状態又は通信機器状態を統計処理することで異常応答の確率を求め、該異常応答の確率データに基づいてタイムアウト時間を決定する技術が開示されている。
しかしながら、物体識別処理に要する時間は観測装置に備え付けられているセンサの種類、及び、センサが観測した環境状態にも依存しており、センサの種類の情報と環境状態の情報とが無いと、物体識別処理に要する時間を正確に判断することができない。
その結果、物体識別処理に要する正確な時間に対して、物体位置推定処理タイミングの周期を速く設定してしまうと、物体識別処理の結果待ちが発生することとなる一方、物体位置推定処理タイミングの周期を遅く設定してしまうと、物体位置推定処理の結果待ちが発生する可能性がある。ここで、物体位置推定処理タイミングの周期を速くするためには、例えば物体位置推定処理を行うときのパラメータの調整、又は、物体位置推定処理に用いる物体識別処理結果の情報量を削減する必要があり、物体位置推定処理タイミングの周期を速く設定しすぎると前記物体識別処理結果の情報量を削減しすぎることになり、物体位置推定精度の低下に繋がる。逆に、物体位置推定処理タイミングの周期を遅く設定しすぎると、物体の移動軌跡を粗くしか推定することができない。
本発明は、前記課題を解決するためになされ、その目的とするところは、観測手段が観測した観測生データを基に、物体識別処理に要する時間を事前に判断し、現在の時刻から次に観測生データを取得する時刻までの物体識別処理可能な時間内に未処理の観測生データを確実に処理できるパラメータを用いて物体位置推定処理を確実に行うことによって、実時間処理と物体位置推定の高精度化を両立することのできる物体位置推定システム、物体位置推定装置、物体位置推定方法、及び、物体位置推定プログラムを提供することにある。
前記目的を達成するために、本発明は以下のように構成する。
本発明の第1態様によれば、環境内に存在する物体を含む前記環境の状況を観測して、第1及び第2観測生データを取得する観測手段と、
物体データベースに予め記憶された前記物体のID毎の物体識別データと、前記第1及び第2の観測生データのそれぞれの観測生データとに基づいて、前記物体のID及び前記物体の位置候補をそれぞれ取得して、前記取得した物体のID及び前記物体の位置候補の情報を観測データベースにそれぞれ記憶する物体識別手段と、
前記第1及び第2観測生データのそれぞれの観測生データから前記環境内に存在する前記物体の数を取得し、前記物体の数をそれぞれ取得した時刻と、前記それぞれ取得した物体の数と、予め記憶された前記物体あたりの前記物体のID及び前記物体の位置候補をそれぞれ取得する物体識別処理に要する時間とに基づいて、前記物体識別処理の終了予定時刻をそれぞれ予測し、前記物体識別処理の終了予定時刻を前記観測データベースにそれぞれ記憶する物体識別処理終了時間予測手段と、
前記観測データベースに記憶された前記物体のIDと前記物体の位置候補とを取得し、前記取得した物体のID及び物体の位置候補と、前記物体の位置候補の分散状況とに基づいて、前記物体の位置を推定する物体位置推定手段と、
前記物体識別手段が前記第1観測生データの前記物体識別処理を終了して前記物体のID及び前記物体の位置候補を取得した時刻に、前記観測データベースに記憶された前記第2観測生データの前記物体識別処理の終了予定時刻を参照して、前記参照した時刻から前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されているか否かを判断し、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていると判断した場合には、予め記憶されかつ前記物体あたりの前記物体の位置を推定する位置推定処理を行うのに要する時間を参照して、前記参照した時刻から前記第2観測生データの前記物体識別処理の終了予定時刻までの時間において、前記物体識別処理が終了した前記第1観測生データの前記物体の位置推定処理を行うパラメータを決定する一方、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていなかったと判断した場合には、前記物体識別処理が終了した前記第1観測生データの前記物体の位置推定処理を行うパラメータに、予め設定しておいた基準となるパラメータを設定する、パラメータ決定手段とを備えて、
前記物体位置推定手段は、前記パラメータ決定手段が決定した前記パラメータを使用して、前記物体識別処理が終了したデータから、そのデータに含まれている前記物体の位置推定処理を行い、前記物体IDに関する前記物体の位置を、前記物体識別手段が取得した前記物体のIDと位置候補とに基づいて推定する物体位置推定システムを提供する。
物体データベースに予め記憶された前記物体のID毎の物体識別データと、前記第1及び第2の観測生データのそれぞれの観測生データとに基づいて、前記物体のID及び前記物体の位置候補をそれぞれ取得して、前記取得した物体のID及び前記物体の位置候補の情報を観測データベースにそれぞれ記憶する物体識別手段と、
前記第1及び第2観測生データのそれぞれの観測生データから前記環境内に存在する前記物体の数を取得し、前記物体の数をそれぞれ取得した時刻と、前記それぞれ取得した物体の数と、予め記憶された前記物体あたりの前記物体のID及び前記物体の位置候補をそれぞれ取得する物体識別処理に要する時間とに基づいて、前記物体識別処理の終了予定時刻をそれぞれ予測し、前記物体識別処理の終了予定時刻を前記観測データベースにそれぞれ記憶する物体識別処理終了時間予測手段と、
前記観測データベースに記憶された前記物体のIDと前記物体の位置候補とを取得し、前記取得した物体のID及び物体の位置候補と、前記物体の位置候補の分散状況とに基づいて、前記物体の位置を推定する物体位置推定手段と、
前記物体識別手段が前記第1観測生データの前記物体識別処理を終了して前記物体のID及び前記物体の位置候補を取得した時刻に、前記観測データベースに記憶された前記第2観測生データの前記物体識別処理の終了予定時刻を参照して、前記参照した時刻から前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されているか否かを判断し、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていると判断した場合には、予め記憶されかつ前記物体あたりの前記物体の位置を推定する位置推定処理を行うのに要する時間を参照して、前記参照した時刻から前記第2観測生データの前記物体識別処理の終了予定時刻までの時間において、前記物体識別処理が終了した前記第1観測生データの前記物体の位置推定処理を行うパラメータを決定する一方、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていなかったと判断した場合には、前記物体識別処理が終了した前記第1観測生データの前記物体の位置推定処理を行うパラメータに、予め設定しておいた基準となるパラメータを設定する、パラメータ決定手段とを備えて、
前記物体位置推定手段は、前記パラメータ決定手段が決定した前記パラメータを使用して、前記物体識別処理が終了したデータから、そのデータに含まれている前記物体の位置推定処理を行い、前記物体IDに関する前記物体の位置を、前記物体識別手段が取得した前記物体のIDと位置候補とに基づいて推定する物体位置推定システムを提供する。
本発明の第6態様によれば、少なくとも、環境内に存在する物体のID毎の物体識別データと、前記物体を含む前記環境の状況を観測手段で観測して取得した第1及び第2の観測生データのそれぞれの観測生データとに基づいて、それぞれ取得された前記物体あたりの前記物体のID及び前記物体の位置候補を入力可能であるとともに、前記第1及び第2観測生データのそれぞれの観測生データから前記環境内に存在する前記物体の数を取得し、前記物体の数をそれぞれ取得した時刻と、前記それぞれ取得した物体の数と、前記物体あたりの前記物体のID及び前記物体の位置候補をそれぞれ取得する物体識別処理に要する時間とに基づいてそれぞれ予測された前記物体識別処理の終了予定時刻を入力可能なデータ入力部と、
前記データ入力部より受け取った前記物体のIDと位置候補と前記終了予定時刻に関するデータとを記憶する観測データベースと、
前記観測データベースに記憶されている前記物体のIDと位置候補と、前記物体の位置候補の分散状況とに基づいて、前記物体の位置を推定する物体位置推定手段と、
前記観測データベースに記憶された前記物体識別処理の終了予定時刻を参照して、前記参照した時刻から最も早い時刻に終了する前記物体識別処理の終了予定時刻が記憶されているか否かを判断し、前記観測生データの前記物体識別処理の終了予定時刻が記憶されていると判断した場合には、予め記憶されかつ前記物体あたりの前記物体の位置を推定する位置推定処理を行うのに要する時間を参照して、前記参照した時刻から前記観測生データの前記物体識別処理の終了予定時刻までの時間において、前記物体の位置推定処理を行うパラメータを決定する一方、前記観測生データの前記物体識別処理の終了予定時刻が記憶されていなかったと判断した場合には、前記物体の位置推定処理を行うパラメータに、予め設定しておいた基準となるパラメータを設定する、パラメータ決定手段と、
を備えて、前記物体位置推定手段は、前記パラメータ決定手段が決定した前記パラメータを使用して、前記観測データベースに記憶された前記物体のIDと位置候補と前記物体の位置候補の分散状況とから前記物体の位置推定処理を行い、前記物体の位置を推定する物体位置推定装置を提供する。
前記データ入力部より受け取った前記物体のIDと位置候補と前記終了予定時刻に関するデータとを記憶する観測データベースと、
前記観測データベースに記憶されている前記物体のIDと位置候補と、前記物体の位置候補の分散状況とに基づいて、前記物体の位置を推定する物体位置推定手段と、
前記観測データベースに記憶された前記物体識別処理の終了予定時刻を参照して、前記参照した時刻から最も早い時刻に終了する前記物体識別処理の終了予定時刻が記憶されているか否かを判断し、前記観測生データの前記物体識別処理の終了予定時刻が記憶されていると判断した場合には、予め記憶されかつ前記物体あたりの前記物体の位置を推定する位置推定処理を行うのに要する時間を参照して、前記参照した時刻から前記観測生データの前記物体識別処理の終了予定時刻までの時間において、前記物体の位置推定処理を行うパラメータを決定する一方、前記観測生データの前記物体識別処理の終了予定時刻が記憶されていなかったと判断した場合には、前記物体の位置推定処理を行うパラメータに、予め設定しておいた基準となるパラメータを設定する、パラメータ決定手段と、
を備えて、前記物体位置推定手段は、前記パラメータ決定手段が決定した前記パラメータを使用して、前記観測データベースに記憶された前記物体のIDと位置候補と前記物体の位置候補の分散状況とから前記物体の位置推定処理を行い、前記物体の位置を推定する物体位置推定装置を提供する。
本発明の第7態様によれば、環境内の状況を観測し、複数の観測生データを観測手段で取得し、
前記複数の観測生データを基に、テンプレートマッチング処理を使用して、前記観測手段の観測範囲内に存在する物体のIDと位置候補とを物体識別手段で算出する物体識別処理を行い、
前記複数の観測生データを基に前記物体識別手段でそれぞれ行われる前記物体識別処理が終了する時刻を、前記それぞれの観測生データから前記環境内に存在する前記物体の数を取得し、前記物体の数をそれぞれ取得した時刻と、前記それぞれ取得した物体の数と、予め記憶された前記物体あたりの前記物体のID及び前記物体の位置候補をそれぞれ取得する物体識別処理に要する時間とに基づいて、物体識別処理終了時間予測手段でそれぞれ予測して観測データベースにそれぞれ記憶し、
前記観測データベースに記憶された前記物体識別処理の終了予定時刻を参照して、前記参照した時刻から最も早い時刻に終了する前記物体識別処理の終了予定時刻が記憶されているか否かをパラメータ決定手段で判断し、
前記観測生データの前記物体識別処理の終了予定時刻が記憶されていると判断した場合には、予め記憶されかつ前記物体あたりの前記物体の位置を推定する位置推定処理を行うのに要する時間を参照して、前記参照した時刻から前記観測生データの前記物体識別処理の終了予定時刻までの時間において、前記物体の位置推定処理を行うパラメータを前記パラメータ決定手段で決定する一方、
前記観測生データの前記物体識別処理の終了予定時刻が記憶されていなかったと判断した場合には、前記物体の位置推定処理を行うパラメータに、予め設定しておいた基準となるパラメータを前記パラメータ決定手段で設定し、
前記パラメータ決定手段で設定した前記パラメータを使用して、前記物体識別処理で算出した前記物体のIDと位置候補と、前記物体の位置候補の分散状況とに基づいて、前記物体の位置を物体位置推定手段で推定する、
ことを備える物体位置推定方法を提供する。
前記複数の観測生データを基に、テンプレートマッチング処理を使用して、前記観測手段の観測範囲内に存在する物体のIDと位置候補とを物体識別手段で算出する物体識別処理を行い、
前記複数の観測生データを基に前記物体識別手段でそれぞれ行われる前記物体識別処理が終了する時刻を、前記それぞれの観測生データから前記環境内に存在する前記物体の数を取得し、前記物体の数をそれぞれ取得した時刻と、前記それぞれ取得した物体の数と、予め記憶された前記物体あたりの前記物体のID及び前記物体の位置候補をそれぞれ取得する物体識別処理に要する時間とに基づいて、物体識別処理終了時間予測手段でそれぞれ予測して観測データベースにそれぞれ記憶し、
前記観測データベースに記憶された前記物体識別処理の終了予定時刻を参照して、前記参照した時刻から最も早い時刻に終了する前記物体識別処理の終了予定時刻が記憶されているか否かをパラメータ決定手段で判断し、
前記観測生データの前記物体識別処理の終了予定時刻が記憶されていると判断した場合には、予め記憶されかつ前記物体あたりの前記物体の位置を推定する位置推定処理を行うのに要する時間を参照して、前記参照した時刻から前記観測生データの前記物体識別処理の終了予定時刻までの時間において、前記物体の位置推定処理を行うパラメータを前記パラメータ決定手段で決定する一方、
前記観測生データの前記物体識別処理の終了予定時刻が記憶されていなかったと判断した場合には、前記物体の位置推定処理を行うパラメータに、予め設定しておいた基準となるパラメータを前記パラメータ決定手段で設定し、
前記パラメータ決定手段で設定した前記パラメータを使用して、前記物体識別処理で算出した前記物体のIDと位置候補と、前記物体の位置候補の分散状況とに基づいて、前記物体の位置を物体位置推定手段で推定する、
ことを備える物体位置推定方法を提供する。
本発明の第8態様によれば、コンピュータに、
環境内の状況を観測手段で観測して取得された複数の観測生データを基に、テンプレートマッチング処理を使用して、前記観測手段の観測範囲内に存在する物体のIDと位置候補とを算出する物体識別処理を行う物体識別処理機能と、
前記複数の観測生データを基に前記物体識別処理機能による前記物体識別処理が終了する時刻を、前記それぞれの観測生データから前記環境内に存在する前記物体の数を取得し、前記物体の数をそれぞれ取得した時刻と、前記それぞれ取得した物体の数と、予め記憶された前記物体あたりの前記物体のID及び前記物体の位置候補をそれぞれ取得する物体識別処理に要する時間とに基づいて、予測して観測データベースにそれぞれ記憶する処理終了時刻予測機能と、
前記観測データベースに記憶された前記物体識別処理の終了予定時刻を参照して、前記参照した時刻から最も早い時刻に終了する前記物体識別処理の終了予定時刻が記憶されているか否かを判断し、前記観測生データの前記物体識別処理の終了予定時刻が記憶されていると判断した場合には、予め記憶された前記物体あたりの前記物体の位置を推定する位置推定処理を行うのに要する時間を参照して、前記参照した時刻から前記観測生データの前記物体識別処理の終了予定時刻までの時間において、前記物体の位置推定処理を行うパラメータを決定する一方、前記観測生データの前記物体識別処理の終了予定時刻が記憶されていなかったと判断した場合には、前記物体の位置推定処理を行うパラメータに、予め設定しておいた基準となるパラメータを設定するパラメータ決定機能と、
前記パラメータ決定手段で設定した前記パラメータを使用して、前記物体識別処理機能による前記物体識別処理で算出した前記物体のIDと位置候補と、前記物体の位置候補の分散状況とに基づいて、前記物体の位置を推定する物体位置推定機能と、
を実現させるための物体位置推定プログラムを提供する。
環境内の状況を観測手段で観測して取得された複数の観測生データを基に、テンプレートマッチング処理を使用して、前記観測手段の観測範囲内に存在する物体のIDと位置候補とを算出する物体識別処理を行う物体識別処理機能と、
前記複数の観測生データを基に前記物体識別処理機能による前記物体識別処理が終了する時刻を、前記それぞれの観測生データから前記環境内に存在する前記物体の数を取得し、前記物体の数をそれぞれ取得した時刻と、前記それぞれ取得した物体の数と、予め記憶された前記物体あたりの前記物体のID及び前記物体の位置候補をそれぞれ取得する物体識別処理に要する時間とに基づいて、予測して観測データベースにそれぞれ記憶する処理終了時刻予測機能と、
前記観測データベースに記憶された前記物体識別処理の終了予定時刻を参照して、前記参照した時刻から最も早い時刻に終了する前記物体識別処理の終了予定時刻が記憶されているか否かを判断し、前記観測生データの前記物体識別処理の終了予定時刻が記憶されていると判断した場合には、予め記憶された前記物体あたりの前記物体の位置を推定する位置推定処理を行うのに要する時間を参照して、前記参照した時刻から前記観測生データの前記物体識別処理の終了予定時刻までの時間において、前記物体の位置推定処理を行うパラメータを決定する一方、前記観測生データの前記物体識別処理の終了予定時刻が記憶されていなかったと判断した場合には、前記物体の位置推定処理を行うパラメータに、予め設定しておいた基準となるパラメータを設定するパラメータ決定機能と、
前記パラメータ決定手段で設定した前記パラメータを使用して、前記物体識別処理機能による前記物体識別処理で算出した前記物体のIDと位置候補と、前記物体の位置候補の分散状況とに基づいて、前記物体の位置を推定する物体位置推定機能と、
を実現させるための物体位置推定プログラムを提供する。
以上のように、本発明は、観測手段が観測した観測生データを基に、事前に物体識別処理に要する時間、つまり、次回の観測データ(物体識別処理されたデータ)が得られる時間を判断し、現在得られている観測データを用いて位置の推定を行う物体数を決定することによって、観測手段の観測に対して遅れが出ることなく、物体の位置を推定することのできる物体位置推定システム、物体位置推定装置、物体位置推定方法、及び、物体位置推定プログラムを提供することができる。
本発明のこれらと他の目的と特徴は、添付された図面についての好ましい実施形態に関連した次の記述から明らかになる。
図1は、本発明の第1及び第2実施形態にかかる物体位置推定システムの構成を示すブロック図である。
図2は、本発明の前記第1及び第2実施形態にかかる物体位置推定システムの物体データベースの一例を示す図である。
図3は、本発明の前記第1及び第2実施形態にかかる観測手段に測域センサを用いたときの観測生データの一例を示す図である。
図4は、本発明の前記第1及び第2実施形態にかかる観測手段に測域センサを用いたときの一観測状況例を示す図である。
図5は、本発明の前記第1及び第2実施形態にかかる物体位置推定システムの観測データベースの一例を示す図である。
図6Aは、前記第1実施形態にかかる物体位置推定システムに使用可能なパーティクルフィルタによる物体位置推定方法の処理を示すフローチャートである。
図6Bは、前記第2実施形態にかかる物体位置推定システムに使用可能なカルマンフィルタの処理状況例を示す図である。
図7は、本発明の前記第1及び第2実施形態にかかる物体位置推定システムにおける物体観測状況例を示す図である。
図8は、本発明の前記第1実施形態にかかる物体位置推定結果の一例を示す図である。
図9は、本発明の前記第1実施形態にかかる物体位置推定システムの処理を示すフローチャートである。
図10は、本発明の前記第1実施形態にかかる物体位置推定システムの処理を示すフローチャートである。
図11Aは、本発明の前記第1実施形態にかかる物体位置推定システムにおけるパーティクル数と処理時間の関係の情報を示す図である。
図11Bは、図5に示した観測データ、及び、観測生データ処理終了予定時刻を基に、物体の位置を推定したときのタイミングチャートである。
図12は、図11Bを簡略化した、本発明の前記第1実施形態にかかるタイミングチャート図である。
図13は、図12との比較における、本発明を用いないときのタイミングチャート図である。
図14Aは、パーティクル数別の近似精度の比較図である。
図14Bは、パーティクル数別の近似精度の比較図である。
図15は、本発明の前記第1実施形態にかかる物体位置推定システムにおいて観測装置にカメラを用いたときの環境背景画像の一例の説明図である。
図16は、本発明の前記第1実施形態にかかる観測装置にカメラを用いたときのカメラ入力画像の一例の説明図である。
図17は、本発明の前記第1実施形態にかかる観測装置にカメラを用いたときの差分領域の画像の一例の説明図である。
図18は、本発明の第1実施形態にかかるパーティクル数と処理時間との関係の情報の一例を示す説明図である。
図19は、本発明の第1実施形態にかかる物体位置推定システムのUWBタグリーダのタグ位置の測位方法を示した図である。
図20Aは、本発明の第1実施形態にかかる物体位置推定システムの観測データベースの一例を示す図である。
図20Bは、本発明の第1実施形態にかかる物体位置推定システムの観測データベースの別の例を示す図である。
図21は、本発明の第3実施形態にかかる物体位置推定システムの構成を示すブロック図である。
図22は、本発明の第3実施形態にかかる物体位置推定システムの表示手段の一例を示す図である。
図23は、本発明の第3実施形態にかかる物体位置推定システムの表示手段の一例を示す図である。
図24は、本発明の第3実施形態にかかる物体位置推定システムの表示手段の一例を示す図である。
図25は、本発明の第3実施形態にかかる物体位置推定システムの観測データベースの一例を示す図である。
図26は、本発明の第1実施形態にかかる物体位置推定システムのマッチングスコアが記録された観測データベースの例を示す図である。
以下に、本発明にかかる実施の形態を図面に基づいて詳細に説明する。
以下、図面を参照して本発明における実施形態を詳細に説明する前に、本発明の種々の態様について説明する。
本発明の第1態様によれば、環境内に存在する物体を含む前記環境の状況を観測して、第1及び第2観測生データを取得する観測手段と、
物体データベースに予め記憶された前記物体のID毎の物体識別データと、前記第1及び第2の観測生データのそれぞれの観測生データとに基づいて、前記物体のID及び前記物体の位置候補をそれぞれ取得して、前記取得した物体のID及び前記物体の位置候補の情報を観測データベースにそれぞれ記憶する物体識別手段と、
前記第1及び第2観測生データのそれぞれの観測生データから前記環境内に存在する前記物体の数を取得し、前記物体の数をそれぞれ取得した時刻と、前記それぞれ取得した物体の数と、予め記憶された前記物体あたりの前記物体のID及び前記物体の位置候補をそれぞれ取得する物体識別処理に要する時間とに基づいて、前記物体識別処理の終了予定時刻をそれぞれ予測し、前記物体識別処理の終了予定時刻を前記観測データベースにそれぞれ記憶する物体識別処理終了時間予測手段と、
前記観測データベースに記憶された前記物体のIDと前記物体の位置候補とを取得し、前記取得した物体のID及び物体の位置候補と、前記物体の位置候補の分散状況とに基づいて、前記物体の位置を推定する物体位置推定手段と、
前記物体識別手段が前記第1観測生データの前記物体識別処理を終了して前記物体のID及び前記物体の位置候補を取得した時刻に、前記観測データベースに記憶された前記第2観測生データの前記物体識別処理の終了予定時刻を参照して、前記参照した時刻から前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されているか否かを判断し、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていると判断した場合には、予め記憶されかつ前記物体あたりの前記物体の位置を推定する位置推定処理を行うのに要する時間を参照して、前記参照した時刻から前記第2観測生データの前記物体識別処理の終了予定時刻までの時間において、前記物体識別処理が終了した前記第1観測生データの前記物体の位置推定処理を行うパラメータを決定する一方、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていなかったと判断した場合には、前記物体識別処理が終了した前記第1観測生データの前記物体の位置推定処理を行うパラメータに、予め設定しておいた基準となるパラメータを設定する、パラメータ決定手段とを備えて、
前記物体位置推定手段は、前記パラメータ決定手段が決定した前記パラメータを使用して、前記物体識別処理が終了したデータから、そのデータに含まれている前記物体の位置推定処理を行い、前記物体IDに関する前記物体の位置を、前記物体識別手段が取得した前記物体のIDと位置候補とに基づいて推定する物体位置推定システムを提供する。
物体データベースに予め記憶された前記物体のID毎の物体識別データと、前記第1及び第2の観測生データのそれぞれの観測生データとに基づいて、前記物体のID及び前記物体の位置候補をそれぞれ取得して、前記取得した物体のID及び前記物体の位置候補の情報を観測データベースにそれぞれ記憶する物体識別手段と、
前記第1及び第2観測生データのそれぞれの観測生データから前記環境内に存在する前記物体の数を取得し、前記物体の数をそれぞれ取得した時刻と、前記それぞれ取得した物体の数と、予め記憶された前記物体あたりの前記物体のID及び前記物体の位置候補をそれぞれ取得する物体識別処理に要する時間とに基づいて、前記物体識別処理の終了予定時刻をそれぞれ予測し、前記物体識別処理の終了予定時刻を前記観測データベースにそれぞれ記憶する物体識別処理終了時間予測手段と、
前記観測データベースに記憶された前記物体のIDと前記物体の位置候補とを取得し、前記取得した物体のID及び物体の位置候補と、前記物体の位置候補の分散状況とに基づいて、前記物体の位置を推定する物体位置推定手段と、
前記物体識別手段が前記第1観測生データの前記物体識別処理を終了して前記物体のID及び前記物体の位置候補を取得した時刻に、前記観測データベースに記憶された前記第2観測生データの前記物体識別処理の終了予定時刻を参照して、前記参照した時刻から前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されているか否かを判断し、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていると判断した場合には、予め記憶されかつ前記物体あたりの前記物体の位置を推定する位置推定処理を行うのに要する時間を参照して、前記参照した時刻から前記第2観測生データの前記物体識別処理の終了予定時刻までの時間において、前記物体識別処理が終了した前記第1観測生データの前記物体の位置推定処理を行うパラメータを決定する一方、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていなかったと判断した場合には、前記物体識別処理が終了した前記第1観測生データの前記物体の位置推定処理を行うパラメータに、予め設定しておいた基準となるパラメータを設定する、パラメータ決定手段とを備えて、
前記物体位置推定手段は、前記パラメータ決定手段が決定した前記パラメータを使用して、前記物体識別処理が終了したデータから、そのデータに含まれている前記物体の位置推定処理を行い、前記物体IDに関する前記物体の位置を、前記物体識別手段が取得した前記物体のIDと位置候補とに基づいて推定する物体位置推定システムを提供する。
本発明の第2態様によれば、前記物体識別データは前記物体の形状情報であり、
前記観測生データとは、カメラで撮像された画像データ、又は、測域センサで取得したレンジデータ、又は、タグリーダで取得した位置データである、第1の態様に記載の物体位置推定システムを提供する。
前記観測生データとは、カメラで撮像された画像データ、又は、測域センサで取得したレンジデータ、又は、タグリーダで取得した位置データである、第1の態様に記載の物体位置推定システムを提供する。
本発明の第3態様によれば、前記カメラ又は前記測域センサの物体識別処理は、テンプレートマッチング処理であって、
更に、前記物体識別手段は、前記テンプレートマッチング処理の過程にて出力されるマッチングスコアを前記観測データベースに記録し、
前記パラメータ決定手段は、前記マッチングスコアの高い順に前記位置推定処理を行う物体を決定する、第2の態様に記載の物体位置推定システムを提供する。
更に、前記物体識別手段は、前記テンプレートマッチング処理の過程にて出力されるマッチングスコアを前記観測データベースに記録し、
前記パラメータ決定手段は、前記マッチングスコアの高い順に前記位置推定処理を行う物体を決定する、第2の態様に記載の物体位置推定システムを提供する。
本発明の第4態様によれば、前記物体位置推定手段は、パーティクルフィルタを使用するとき、物体1個あたりの処理時間とパーティクルの個数との関係情報を予め用意しておき、前記参照した時刻から前記第2観測生データの前記物体識別処理の終了予定時刻までの時間から前記パーティクルフィルタで処理可能な物体の個数を算出し、算出された物体の個数が、前記物体識別処理で識別された物体の個数と同じならば、そのままパーティクルフィルタを使用して処理を行う一方、
前記算出された物体の個数が、前記物体識別処理で識別された物体の個数より少ないときには、物体1個あたりの前記パーティクルの個数を増やして処理を行う一方、
前記算出された物体の個数が、前記物体識別処理で識別された物体の個数より多いときには、物体1個あたりの前記パーティクルの個数を減らして処理を行う、第1又は2の態様に記載の物体位置推定システムを提供する。
前記算出された物体の個数が、前記物体識別処理で識別された物体の個数より少ないときには、物体1個あたりの前記パーティクルの個数を増やして処理を行う一方、
前記算出された物体の個数が、前記物体識別処理で識別された物体の個数より多いときには、物体1個あたりの前記パーティクルの個数を減らして処理を行う、第1又は2の態様に記載の物体位置推定システムを提供する。
本発明の第5態様によれば、更に前記物体位置推定手段が推定した結果を表示する表示手段を備え、
前記表示手段は、前記観測データベースを参照し、次回の物体識別処理の終了予定時刻を、次回の前記物体位置推定手段の推定結果の出力時刻として表示すると共に、現在の前記物体位置推定手段の推定結果を出力するに至った観測生データが得られた時刻を、現在の前記物体位置推定手段の推定結果が得られた時刻として表示する第1〜4のいずれか1つの態様に記載の物体位置推定システムを提供する。
前記表示手段は、前記観測データベースを参照し、次回の物体識別処理の終了予定時刻を、次回の前記物体位置推定手段の推定結果の出力時刻として表示すると共に、現在の前記物体位置推定手段の推定結果を出力するに至った観測生データが得られた時刻を、現在の前記物体位置推定手段の推定結果が得られた時刻として表示する第1〜4のいずれか1つの態様に記載の物体位置推定システムを提供する。
本発明の第6態様によれば、少なくとも、物体識別処理された物体のIDと位置とに関するデータと、前記データの物体識別処理が終了したのちに入力される前記物体識別処理の終了予定時刻を入力可能なデータ入力部と、
前記データ入力部より受け取った前記物体のIDと位置とに関するデータと前記入力予定時刻に関するデータとを記憶する観測データベースと、
前記観測データベースに記憶されている前記物体のIDと位置とに関するデータから、前記物体の位置を推定する物体位置推定手段と、
前記観測データベースに記憶された前記物体識別処理の終了予定時刻を参照して、前記参照した時刻から最も早い時刻に終了する前記物体識別処理の終了予定時刻が記憶されているか否かを判断し、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていると判断した場合には、予め記憶されかつ前記物体あたりの前記物体の位置を推定する前記物体識別処理を行うのに要する時間を参照して、前記参照した時刻から前記第2観測生データの前記物体識別処理の終了予定時刻までの時間において、前記物体の位置推定処理を行うパラメータを決定する一方、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていなかったと判断した場合には、前記物体の位置推定処理を行うパラメータに、予め設定しておいた基準となるパラメータを設定する、パラメータ決定手段と、
を備えて、前記物体位置推定手段は、前記パラメータ決定手段が決定した前記パラメータを使用して、前記観測データベースに記憶された前記物体のIDと位置とに関するデータから前記物体の位置推定処理を行い、前記物体の位置を推定する物体位置推定装置を提供する。
前記データ入力部より受け取った前記物体のIDと位置とに関するデータと前記入力予定時刻に関するデータとを記憶する観測データベースと、
前記観測データベースに記憶されている前記物体のIDと位置とに関するデータから、前記物体の位置を推定する物体位置推定手段と、
前記観測データベースに記憶された前記物体識別処理の終了予定時刻を参照して、前記参照した時刻から最も早い時刻に終了する前記物体識別処理の終了予定時刻が記憶されているか否かを判断し、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていると判断した場合には、予め記憶されかつ前記物体あたりの前記物体の位置を推定する前記物体識別処理を行うのに要する時間を参照して、前記参照した時刻から前記第2観測生データの前記物体識別処理の終了予定時刻までの時間において、前記物体の位置推定処理を行うパラメータを決定する一方、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていなかったと判断した場合には、前記物体の位置推定処理を行うパラメータに、予め設定しておいた基準となるパラメータを設定する、パラメータ決定手段と、
を備えて、前記物体位置推定手段は、前記パラメータ決定手段が決定した前記パラメータを使用して、前記観測データベースに記憶された前記物体のIDと位置とに関するデータから前記物体の位置推定処理を行い、前記物体の位置を推定する物体位置推定装置を提供する。
本発明の第7態様によれば、環境内の状況を観測し、複数の観測生データを観測手段で取得する観測し、
前記複数の観測生データを基に、前記観測手段の観測範囲内に存在する物体のIDと位置とを物体識別手段で算出して物体識別処理を行い、
前記複数の観測生データを基に前記物体識別手段でそれぞれ行われる前記物体識別処理が終了する時刻を物体識別処理終了時間予測手段でそれぞれ予測して観測データベースにそれぞれ記憶し、
前記観測データベースに記憶された前記物体識別処理の終了予定時刻を参照して、前記参照した時刻から最も早い時刻に終了する前記物体識別処理の終了予定時刻が記憶されているか否かをパラメータ決定手段で判断し、
前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていると判断した場合には、予め記憶されかつ前記物体あたりの前記物体の位置を推定する位置推定処理を行うのに要する時間を参照して、前記参照した時刻から前記第2観測生データの前記物体識別処理の終了予定時刻までの時間において、前記物体の位置推定処理を行うパラメータを前記パラメータ決定手段で決定する一方、
前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていなかったと判断した場合には、前記物体の位置推定処理を行うパラメータに、予め設定しておいた基準となるパラメータを前記パラメータ決定手段で設定し、
前記パラメータ決定手段で設定した前記パラメータを使用して、前記物体識別処理で算出した前記物体のIDと位置とに関するデータから、前記物体の位置を物体位置推定手段で推定する、
ことを備える物体位置推定方法を提供する。
前記複数の観測生データを基に、前記観測手段の観測範囲内に存在する物体のIDと位置とを物体識別手段で算出して物体識別処理を行い、
前記複数の観測生データを基に前記物体識別手段でそれぞれ行われる前記物体識別処理が終了する時刻を物体識別処理終了時間予測手段でそれぞれ予測して観測データベースにそれぞれ記憶し、
前記観測データベースに記憶された前記物体識別処理の終了予定時刻を参照して、前記参照した時刻から最も早い時刻に終了する前記物体識別処理の終了予定時刻が記憶されているか否かをパラメータ決定手段で判断し、
前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていると判断した場合には、予め記憶されかつ前記物体あたりの前記物体の位置を推定する位置推定処理を行うのに要する時間を参照して、前記参照した時刻から前記第2観測生データの前記物体識別処理の終了予定時刻までの時間において、前記物体の位置推定処理を行うパラメータを前記パラメータ決定手段で決定する一方、
前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていなかったと判断した場合には、前記物体の位置推定処理を行うパラメータに、予め設定しておいた基準となるパラメータを前記パラメータ決定手段で設定し、
前記パラメータ決定手段で設定した前記パラメータを使用して、前記物体識別処理で算出した前記物体のIDと位置とに関するデータから、前記物体の位置を物体位置推定手段で推定する、
ことを備える物体位置推定方法を提供する。
本発明の第8態様によれば、コンピュータに、
環境内の状況を観測手段で観測して取得された複数の観測生データを基に、前記観測手段の観測範囲内に存在する物体のIDと位置とを算出して物体識別処理を行う物体識別処理機能と、
前記複数の観測生データを基に前記物体識別処理機能による前記物体識別処理が終了する時刻を予測して観測データベースにそれぞれ記憶する処理終了時刻予測機能と、
前記観測データベースに記憶された前記物体識別処理の終了予定時刻を参照して、前記参照した時刻から最も早い時刻に終了する前記物体識別処理の終了予定時刻が記憶されているか否かを判断し、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていると判断した場合には、予め記憶された前記物体あたりの前記物体の位置を推定する位置推定処理を行うのに要する時間を参照して、前記参照した時刻から前記第2観測生データの前記物体識別処理の終了予定時刻までの時間において、前記物体の位置推定処理を行うパラメータを決定する一方、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていなかったと判断した場合には、前記物体の位置推定処理を行うパラメータに、予め設定しておいた基準となるパラメータを設定するパラメータ決定機能と、
前記パラメータ決定手段で設定した前記パラメータを使用して、前記物体識別処理機能による前記物体識別処理で算出した前記物体のIDと位置とに関するデータから、前記物体の位置を推定する物体位置推定機能と、
を実現させるための物体位置推定プログラムを提供する。
環境内の状況を観測手段で観測して取得された複数の観測生データを基に、前記観測手段の観測範囲内に存在する物体のIDと位置とを算出して物体識別処理を行う物体識別処理機能と、
前記複数の観測生データを基に前記物体識別処理機能による前記物体識別処理が終了する時刻を予測して観測データベースにそれぞれ記憶する処理終了時刻予測機能と、
前記観測データベースに記憶された前記物体識別処理の終了予定時刻を参照して、前記参照した時刻から最も早い時刻に終了する前記物体識別処理の終了予定時刻が記憶されているか否かを判断し、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていると判断した場合には、予め記憶された前記物体あたりの前記物体の位置を推定する位置推定処理を行うのに要する時間を参照して、前記参照した時刻から前記第2観測生データの前記物体識別処理の終了予定時刻までの時間において、前記物体の位置推定処理を行うパラメータを決定する一方、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていなかったと判断した場合には、前記物体の位置推定処理を行うパラメータに、予め設定しておいた基準となるパラメータを設定するパラメータ決定機能と、
前記パラメータ決定手段で設定した前記パラメータを使用して、前記物体識別処理機能による前記物体識別処理で算出した前記物体のIDと位置とに関するデータから、前記物体の位置を推定する物体位置推定機能と、
を実現させるための物体位置推定プログラムを提供する。
この構成によると、物体位置推定処理に必要となる次に観測生データが得られるまでの待ち時間内に処理可能な物体数から、物体位置推定処理を行う物体を決定することによって、実時間処理と物体位置推定の高精度化を両立することのできる物体位置推定システム、物体位置推定装置、物体位置推定方法、及び、物体位置推定プログラムを提供することができる。
以下、図面を参照して本発明における第1実施形態を詳細に説明する。
(第1実施形態)
図1には、本発明の第1実施形態にかかる物体位置推定システムを示したブロック図を示す。
図1には、本発明の第1実施形態にかかる物体位置推定システムを示したブロック図を示す。
本システムは、観測手段(観測部)101と、物体位置推定装置とで大略構成されて、物体位置推定方法を実施するものである。前記物体位置推定装置は、物体データベース102と、物体識別手段(物体識別部)103と、識別処理終了時刻予測手段(識別処理終了時刻予測部)(以下、単に、「処理終了時刻予測手段」と称する。)104と、観測データベース105と、物体位置推定手段(物体位置推定部)106と、パラメータ決定手段(パラメータ決定部)107とで構成される。なお、観測手段101と物体識別手段103と処理終了時刻予測手段104とを合わせて、少なくとも、物体のIDと位置とに関するデータと、前記データの入力予定時刻を観測データベース105に入力可能なデータ入力部として取り扱うことも可能である。
観測手段101は、環境(観測対象となる空間、例えば、生活空間(より具体的には、リビングルームなどの部屋)など)内に存在する物体(観測物体)を含む環境の状況を観測して、観測生データを取得する。具体的には、環境内の物体を観測して、観測生データを得る。観測手段101としては、カメラや測域センサ、UWB(Ultra Wide Band)タグリーダなどを利用して実現することができる。
物体データベース102には、物体のIDの情報(以下、単に、「物体のID」と称する。)と、物体を識別するための情報とが記憶(記憶)されている。図2に物体データベースの102の一例を示す。図2の物体データベースの102に記憶されている情報は、「Obj_001」から「Obj_005」までの物体IDと、物体IDが「Obj_001」から「Obj_005」までの5個の物体のそれぞれにおける形状情報とである。形状情報には、物体の外観に関する情報と大きさ(寸法)とに関する情報とが記憶されている。一例として、物体ID「Obj_001」の物体の外観と大きさとに関する情報を図2に拡大して示している。ここでは、物体ID「Obj_001」の物体は、大きな直径の円柱と、その上に固定された小さな直径の円柱とで構成され、大きな直径の円柱の直径は8cm、高さは12cmであり、小さな直径の円柱の直径は4cm、高さは2cmである。
物体識別手段103は、観測手段101が観測した観測生データを物体識別処理することにより、観測生データ中に含まれる物体のIDと位置とに関する観測データを算出する。より具体的には、物体識別手段103は、物体データベース102に予め記憶された物体のID毎の物体を識別するための情報(物体識別データ)と、観測生データとに基づいて、物体のID及び物体の位置候補を取得して、取得した物体のID及び物体の位置候補の情報を観測データベース105に記憶する。「観測生データ」とは、観測手段101の観測に対して何も処理を施していない状態のデータであり、例えばカメラなどであれば、カメラで撮像された画像データに相当する。測域センサの場合、レンジデータに相当し、UWBタグリーダの場合、物体ID毎の位置データに相当する。一方、「観測データ」とは、観測生データに物体識別手段103を適用することにより、物体識別手段103で観測生データを使用して算出されるデータであって、物体位置推定手段106で取り扱うことのできる物体のIDと位置とに関するデータのことである。物体識別手段103と物体位置推定手段106とに関しては、後に説明を行う。
観測手段101がカメラである場合、観測生データは画像データであり、物体識別手段103は、カメラで撮像された画像データの画像処理を行うこととなる。画像処理には、例えばテンプレートマッチング処理などの手法が挙げられる。予め取得しておきかつ物体が環境内に置かれていないときの環境の背景画像と、現在の入力画像とを比較し、画素値が異なる領域を1つの差分領域として取り出す。ただし、物体識別手段103で差分領域として取り出すとき、入力画像にはノイズが加わる可能性もあるため、画素値が予め決められた個数以上連結している領域を差分領域とする等の制約を加えても良い。環境中にN個物体(ただし、Nは整数で1個以上。)が置かれていた場合、物体識別手段103で、差分領域はN個得られることになる。その後、物体識別手段103で得られた差分領域と、物体データベース102に記憶されている形状情報の外観データ(テンプレート画像)とのマッチング処理を物体識別手段103で行うことにより、物体のIDを物体識別手段103で識別することが可能となる。具体的には、差分領域と外観データとのマッチング率が最も高かった物体を、識別結果として、観測データベース105に登録する。尚、前記マッチングスコア(差分領域とテンプレート画像との間でマッチした割合)も、観測データベース105に登録しても良い。マッチングスコアの利用方法については後述する。
また、物体の環境中の位置に関しては、画像中の座標と環境中の座標とを対応付ける座標変換式などを物体識別手段103に予め用意しておくことで、物体識別手段103で算出できる。
図15に環境の背景画像(環境背景画像)の一例を、図16に入力画像の一例を、図17に差分領域の画像の一例をそれぞれ示す。ここでは、環境の一例として生活環境であって、リビングなどの部屋110であるとする。準備する環境背景画像は、環境内に物体が何も置かれていない状態の背景を用いる。なお、図15の環境背景画像のように、ほとんど移動しない本棚Bsなどの家具又は家電機器を環境背景画像中に含めても構わない。ただし、この場合、本棚Bsなどの家具又は家電機器を背景差分で取り出すことができなくなるため、本棚Bsなどの家具又は家電機器は物体位置推定の対象から除外することとなる。図16の入力画像は、食卓Dtの上に財布O3が、テーブルTaの上に本O2が置かれている状況を、部屋110の天井などに配置したカメラが観測したことを表している。図17の差分領域は、図15の環境背景画像と図16の入力画像とで画素値が異なる領域、つまり、財布O3の領域と本O2の領域をそれぞれ表している。ここでは、一例として、財布O3は、物体IDが「Obj_003」の物体とし、本O2は、物体IDが「Obj_002」の物体としている。
観測手段101が、カメラの代わりに測域センサ401(図4参照)である場合、観測生データはレンジデータとなる。図3にレンジデータの一例を示す。図3は、センサ401の周り360度方向に対し360の分解能で距離を取得した場合のレンジデータであり、図4に示す状況において測域センサ401で観測を行ったときの観測結果である。前記レンジデータから物体のIDを識別するには、例えば物体の幅情報を用いて識別することができる。説明を簡単にするために、測域センサ401から100cmより離れた場所には壁402しか存在しないと仮定する。このとき、距離100cm以内の観測値が得られているのは360度のうちの85度〜95度までの間であり、85度における観測値と95度における観測値が物体O1の両端であると考える。測域センサ401の位置を(0cm,0cm,5cm)、+X軸方向を0度、+Y軸方向を90度とすると、物体O1の両端の座標は(sin85°×46cm, cos85°×46cm)=(45.83cm,4.01cm)と、(sin95°×46cm, cos95°×46cm)=(45.83cm,−4.01cm)となり、設置面(測域センサの設置位置(0cm、0cm、5cm))から上部5cmにおける物体O1の幅は約8cmであると推定できる。
この物体O1の物体幅の推定結果と物体データベース102に記憶されている物体O1の形状情報とから、例えば前記物体O1はIDが「Obj_001」の物体であるとすることができる。また、物体O1の環境中の位置は、両端の座標の中心値とすることができる。例えば、前記例では、(45.83cm,4.01cm)の座標と(45.83cm,−4.01cm)の座標との中心値である(45.83cm,0cm)を物体O1の環境中の位置とすることができる。
観測手段101がUWBタグリーダである場合、観測生データは物体ID毎の位置データとなる。UWBタグリーダは少なくとも3個使用する。UWBタグリーダを用いて物体を検出するためには、物体にタグを予め付与させておく必要がある。
少なくとも3個のUWBタグリーダを用いて検出した物体のローカル座標は、例えば、三点測量の原理を用いて決定することができる。図19に三点測量によるタグの位置を検出する例を示す。図19に示される環境内には、それぞれUWBタグリーダと接続された基地局1901Aと基地局1901Bと基地局1901Cが配置されている。基地局1901Aは、ローカル座標(x,y)=(500,600)に配置され、基地局1901Bは、ローカル座標(x,y)=(700,300)に配置され、基地局1901Cは、ローカル座標(x,y)=(300,300)に配置されている。ここで、UWBタグリーダは、3つの基地局の配置されているローカル座標を知っているものとする。そして、各基地局は、各基地局から射出した電波が、物体に付与されたタグから、射出した基地局に返ってくる時間を計測することによって、前記射出した基地局からタグまでの距離を各基地局で算出することができる。このような状況において、タグ1902が付与された物体が、ローカル座標(x,y)=(400,400)に存在したとする。基地局1901Aは、基地局1901Aの位置を中心とし、タグ1902までの距離223.61cmを半径とした円弧上にタグ1902が存在することが分かる。同様に、基地局1901Bは、半径316.23cmの円弧上にタグ1902が存在することが分かり、基地局1901Cは、半径141.42cmの円弧上にタグ1902が存在することが分かる。以上の3つの円弧が全て重なり合う位置がタグ1902の存在する位置であると判断することができる。図19では、二次元空間におけるタグ位置検出の説明を行っている。実空間(三次元空間)におけるタグ位置検出を行う場合には、図19の円弧が球面となるだけであり、他の処理に変化は無い。
処理終了時刻予測手段104は、物体識別手段103による物体識別処理(ここでは、一例として、テンプレートマッチング処理)に要する時間を、予め算出して観測データベース105に記憶しておく。次に、処理終了時刻予測手段104は、物体識別手段103の観測生データから物体のIDと位置とに関する観測データの数(又は、量)を算出する処理アルゴリズム又は処理数を物体識別手段103から受け取ることによって、物体識別手段103の処理終了予定時刻を予測して観測データベース105に記憶する。詳細については、以下に説明を行う。
物体識別手段103が、一例としてカメラの観測生データを処理している場合、処理終了時刻予測手段104は、物体識別手段103が差分画像を取り出した段階で、差分画像が何枚得られたかという情報を物体識別手段103から受け取り、差分画像が何枚得られたかという情報から、テンプレートマッチング処理に要する時間を予測する。例えば、1つの差分画像に対して5つのテンプレートとマッチング処理を行うのに0.2秒かかるとすると、5つの差分画像が物体識別手段103で得られていた場合、テンプレートマッチング処理に要する時間は1秒となる。このとき、処理終了予定時刻は、0.2秒×5=1.0秒であるから、背景差分を取り出した時刻の1秒後ということになる。つまり、処理終了時刻予測手段104は、物体識別処理(ここでは、テンプレートマッチング処理)に要する時間を、予め算出しておく。
ここで、図1に示すように、観測手段101と物体データベース102と物体識別手段103と処理終了時刻予測手段104とをまとめて、1つの観測装置500と呼ぶこととする。また、観測装置500を個別に区別するときには、第1観測装置501,第2観測装置502,第3観測装置503,・・・,第n観測装置(ただし、nは1以上の整数。)と呼ぶこととする。
観測データベース105には、観測装置500のIDの情報(以下、単に「観測装置のID」と称する。以下では、便宜上、第1〜第3観測装置501,502,503のIDをそれぞれ「501」,「502」,「503」とする。)と、観測物体IDとその環境中の観測物体の位置(例えば位置座標)とに関する観測データと、観測生データ処理終了予定時刻(例えば年月日と時分秒)とが記憶される。
ここで、観測データベース105にデータが物体識別手段103及び処理終了時刻予測手段104によりそれぞれ記憶されるまでの流れを説明する。
まず、観測手段101が環境内を観測し、観測生データを得る。
次いで、処理終了時刻予測手段104により、物体識別手段103が観測生データを処理するのに要する時間(観測生データ処理終了予定時刻)を算出し、観測データベース105に生データ処理終了予定時刻として、観測生データを取得した観測手段101を含む観測装置501,502,503のIDと共に観測データベース105に記憶する。
次いで、観測手段101で得られた観測生データを使用して、物体識別手段103で物体識別処理を開始する。
次いで、物体識別手段103は、観測生データの物体識別処理を終了すると、観測データを、観測装置501,502,503のIDと共に観測データベース105に記憶する。
図5に観測データベース105の一例を示す。
図5の(a)は、2007年9月11日の14時17分20秒時点での観測データベース105のデータ記憶状況を示すデータテーブルを図示している(このデータ記憶状況を示すデータテーブルのIDを「TBL_001」とする。)。図5の(b)は、その6秒後の14時17分26秒時点でのデータ記憶状況(このデータ状況を示すデータテーブルのIDを「TBL_002」とする。)を示すデータテーブルを図示している。図5の(b)では、図5の(a)と比較して、下から1行目と2行目のデータが追加されている。図5の(c)は、図5の(b)の状況から8秒後の14時17分34秒時点でのデータ記憶状況(このデータ状況を示すデータテーブルのIDを「TBL_003」とする。)を示すデータテーブルを図示している。図5の(c)では、図5の(b)と比較して、下から1行目と2行目のデータが追加されている。
図5の(a)のデータテーブルID「TBL_001」のデータテーブルには、物体識別処理が終了した観測装置ID501からの観測データ「Obj_001(65,20)」と「Obj_002(120,26)」と、処理終了予定時刻「14時17分26秒」と「14時17分34秒」を予測した観測装置ID502と503からの観測生データ処理の終了予定時刻がそれぞれ記憶されている。
図5の(b)のデータテーブルID「TBL_002」のデータテーブルには、観測装置ID503から観測生データ処理終了予定時刻通りに観測データ「Obj_004(266,37)」と「Obj_005(322,21)」がそれぞれ記憶され(データテーブルの下から2行目参照)、観測装置ID501からは観測生データの物体識別処理の終了予定時刻が新たに記憶されている(データテーブルの下から1行目参照)。図5の(c)のデータテーブルID「TBL_003」のデータテーブルについても同様である。すなわち、図5の(c)のデータテーブルID「TBL_003」のデータテーブルには、観測装置ID502から観測生データ処理終了予定時刻通りに観測データ「Obj_002(119,28)」と「Obj_005(322,21)」が記憶され(データテーブルの下から2行目参照)、観測装置ID503からは観測生データ処理の終了予定時刻が新たに記憶されている(データテーブルの下から1行目参照)。
図26に、観測物体位置と共に、前記したマッチングスコアが記録された観測データベース105の例を示す。
図26のデータテーブルID「TBL_007」のデータテーブルには、観測IDと観測物体位置と生データ処理終了予定時刻と観測時刻と、更にマッチングスコアとが記録されている。
マッチングスコアの項目には、識別した物体のIDとスコアとが記録されている。例えば、マッチングスコア「Obj_001(0.8)」は、物体を検出して得られた差分領域と物体「Obj_001」のテンプレートとのマッチングスコア(マッチングした割合)が80%だったことを示している。
物体位置推定手段106は、パラメータ決定手段107から指定がありかつ観測データベース105に記憶された物体のIDと物体の位置候補とに関する観測データから、物体の位置候補の分散状況(例えば、物体の位置と重み付け)などを考慮して(具体的には、パーティクルフィルタ又はカルマンフィルタを用いて)、物体の位置を推定する。
ここで、物体位置推定手段106が推定する物体の位置と観測データベース105に記憶されている位置候補との違いについて説明する。観測データベース105に記憶されている前記物体の位置は、各観測装置501,502,503が個々に算出した位置であって、各観測装置501,502,503に含まれるノイズ等による位置誤差のため、各観測装置501,502,503で、通常、それぞれ異なっているため、前記物体の位置候補として取り扱う。これに対して、物体位置推定手段106が推定する物体の位置は、前記物体の位置候補の中から、物体位置推定処理により、最も存在する確率の高い位置を意味するものであり、両者は、明確に異なるものである。
また、パラメータ決定手段107についての説明は後に行う。 物体位置推定手段106の物体位置推定処理は、一例として、パーティクルフィルタを用いて実現することができる(例えば、文献:J. Hightower, B. Borriello. ” The location Stack: A Layered Model for Location in Ubiquitous Computing”, 4th IEEE Workshop on Mobile Computing Systems & Applications (WMCSA2002), pp. 22-28. 2002. を参照)。「パーティクルフィルタ」とは、状態量と重みとを持つ多数のパーティクルで確率分布を近似する手法であり、非線形な分布であっても近似が可能である。ここで、「状態量」とは、物体の位置を示す。また、全パーティクルの重みの和は1であり、パーティクルの数は予め設定されている。
物体位置推定手段106によりパーティクルフィルタを使用して実現する物体位置推定方法について図6Aを基に説明する。
図6Aの第1ステップS1では、前回の各パーティクルの重みに基づき、パーティクルのリサンプリングを物体位置推定手段106で行う。ただし、初回は、環境内にランダムにパーティクルを物体位置推定手段106で生成するものとする。
次いで、第2ステップS2では、各パーティクルについて、前回位置から現在位置を物体位置推定手段106で予測する。
次いで、第3ステップS3では、観測データから得られる物体の存在位置確率を基に、各パーティクルの重みを物体位置推定手段106で計算する。
次いで、第4ステップS4では、全パーティクルの重み付き平均を物体位置推定手段106で求め、物体位置推定手段106により、求められた重み付き平均を物体の推定位置とする。
しかしながら、パーティクルフィルタを使用した物体位置推定方法によれば、パーティクルの数が多いほど近似の精度は高まるが、物体位置推定処理に要する計算時間が長くなる一方、パーティクルの数が少ないほど物体位置推定処理に要する計算時間は短くなるが、近似の精度が低くなる、という問題がある。図14Aは、パーティクルを15個使って財布の位置推定を行っている例であり(図14Aの1個の黒丸が1個のパーティクルを示す。)、図14Bは、パーティクルを30個使って財布の位置推定を行っている例を示している。これらのパーティクルの座標がそれぞれ物体の位置候補である。図14Aを見ると、15個のパーティクルの中心付近である座標(4000,4000)に財布がありそうだということが判別できる。しかし、図14Bを見ると、パーティクル数が多く近似精度が高くなっているため、財布は、座標(4000,4000)以外に、座標(5000,5000)にある確率も残されていることが判別できる。これらの座標が物体の位置候補である。
パラメータ決定手段107は、観測生データ処理(物体識別処理)終了予定時刻と、現在の時刻と、物体位置推定手段106の処理能力と、現在未処理の観測データとの各情報を用いて、現在の時刻から観測生データ処理終了予定時刻までに未処理観測データを処理できるパーティクルの数を決定する。
なお、パラメータ決定手段107はその内部にタイマーを備えており、現在の時刻などの時刻の情報を取得することができ、観測生データ処理終了予定時刻は観測データベース105に記憶されている。
パラメータ決定手段107により決定したパーティクル数が、例えば前回の処理で使用したパーティクル数に対してパーティクル数が多い場合、パラメータ決定手段107により、増えた分のパーティクルを環境内に一様にばらまいても良いし、元の各パーティクルの重みに応じてばらまくのでも良い。逆に、パラメータ決定手段107により決定したパーティクル数が、前回の処理で使用したパーティクル数に対して少ない場合、パラメータ決定手段107により、減少分のパーティクル数を、前回の位置推定結果であるパーティクルの分布からランダムに削除しても良いし、又は、元の各パーティクルの重みに応じて削除しても良い。
なお、パラメータ決定手段107のパラメータ決定処理(パラメータ設定処理)に関しては、以下に説明する。
パラメータ決定手段107は、観測データベース105に記憶されている物体識別手段103の物体識別処理が終了する時刻と現在の時刻との時間差内に、未処理の観測データである物体を処理可能となるパーティクル数を決定する。
ここで、図11Aにパーティクル数と物体識別処理に要する時間との関係の情報(関係情報)の一例を示す。この関係情報は、例えば、パラメータ決定手段107の内部記憶部に記憶されている。図11Aは、例えば、100個のパーティクルを用いてパーティクルフィルタを適用した場合、物体1個の位置推定を行うのに0.8秒の時間を要することを示し、以下、200個、300個、500個、1000個のパーティクルをそれぞれ用いてパーティクルフィルタを適用した場合、処理速度として、物体1個の位置推定を行うのに1秒、2秒、3秒、5秒の時間をそれぞれ要することを示している。なお、図11Aに示した関係の情報は、事前実験により予め得られているものとする。
図11Aの関係情報と図5の(a)のデータテーブルID「TBL_001」のデータテーブルとをパラメータ決定手段107で用いてパーティクル数を決定する方法について説明する。
まず、現在の時刻に対して、次に観測データが記憶される時刻が図5の観測データベース105に記憶されているか否かをパラメータ決定手段107で判断し、パラメータ決定手段107が、次に観測データが記憶される時刻が観測データベース105に記憶されていると判断したならば、以下の動作を行う。例えば、図5の(a)に示すように現在の時刻は17分20秒(ここでは、説明の簡略上、年月日時は省略する。)で、観測データベース105に記憶された情報を参照すると、次に観測データが記憶される時刻が17分26秒となっている(図5の(b)参照)。現在の時刻17分20秒における未処理の観測データは、第1観測装置501で取得した第1観測物体に関する観測データ「Obj_001」と第2観測物体に関する観測データ「Obj_002」の2個であり(図5の(a)の2行目参照)、次に観測データ(この例では、第3観測装置503で取得する第4観測物体と第5観測物体のそれぞれの観測データ)が記憶されるまで(図5の(b)のデータテーブルID「TBL_002」のデータテーブルが記憶されるまで)に、(現在の時刻:17分20秒)−(次の時刻:17分26秒)=6秒の余裕があることが処理終了予測手段104で算出できる。このとき、現在の時点での未処理の観測データは物体2個であるため、6秒/2個=3秒より、物体1個あたりに費やせる処理時間は3秒までとパラメータ決定手段107で算出できる。よって、図11Aの関係情報から、物体1個あたり3秒で処理できる(物体1個あたり3秒の処理速度での)パーティクル数は500個であると、パラメータ決定手段107で設定(決定)することができる。
よって、物体位置推定手段106が処理する観測データ数と、次に観測データが記憶されるまでの時間とに応じて、パーティクルフィルタのパーティクル数をパラメータ決定手段107により設定(決定)し、パラメータ決定手段107で設定した500個のパーティクルを使用して、物体位置推定手段106によりパーティクルフィルタを使用して、2個の物体の位置推定を行うことができる。この結果、物体位置推定処理に必要となる次の観測データが記憶されるまでの待ち時間内に、前記観測生データの物体識別処理を終了させることができる。言い換えれば、観測手段101の観測に対して遅れが出ることなく、物体の位置を推定することができる。
ここで、もし、次に観測データが記録される時間(観測生データ処理終了予定時刻)が、図5の観測データベース105に未だ記憶されていなかったとパラメータ決定手段107で判断した場合には、パラメータ決定手段107は、パーティクルの数を事前に決定しておいた基準となるパーティクル数(例えば、200個)に決定する。
観測データベースの一例を示す図20Aの「TBL_004」は、観測生データ処理終了予定時刻が記録されていない状況において、観測データが記録された観測データベース105の例を示している。「TBL_004」に示したデータが得られている場合、上述したように、パラメータ決定手段107は、パーティクルの数を事前に決定しておいた基準となるパーティクル数に決定し、物体の位置を推定する。ここで、観測データベースの別の例を示す図20Bの「TBL_005」は、前記「TBL_004」に示されたデータを用いて物体の位置を推定した後の観測データベース105の例を示している。「TBL_005」には、観測装置503が出力した観測値「Obj_004(266, 37)」,「Obj_005(322, 21)」と、観測装置502が出力した観測値「Obj_002(119, 28)」,「Obj_003(197, 69)」,「Obj_004(266, 36)」の計5個の観測データが未処理の観測データとして存在している。また、現在時刻は、2007年9月11日14時17分34秒であり、次に観測データが記録される時刻は、2007年9月11日14時17分38秒となっている。つまり、次の観測データが記録されるまでの4秒間の間に5個の観測データを処理可能なパーティクル数を、パラメータ決定手段107が決定することとなる。
また、時間単位は秒に限らず、例えば、「次に観測データが記憶されるまで」の時間を、「多く時間がかかる」場合と、「中くらい時間がかかる」場合と、「少しだけ時間がかかる」場合等との複数の段階(例えば、ここでは、3段階)に分けて表し、パーティクル数と物体1個あたりの処理時間の関係情報もそれに合わせて作成しておいても良い。そのときの、パーティクル数と処理時間との関係情報を図18に示す。図18では、例えば、「多く時間がかかる」(図18では「長い」と表現している。)場合はパーティクル数を300個とし、「中くらい時間がかかる」(図18では「中くらい」と表現している。)場合はパーティクル数を200個(基準パーティクル数)とし、「少しだけ時間がかかる」(図18では「短い」と表現している。)場合はパーティクル数を100個としている。このような関係情報を基に、パラメータ決定手段107によりパーティクルの数を設定してもよい。
前記第1実施形態によれば、物体位置推定手段106が処理する観測データ数と、次に観測データが記憶されるまでの時間とに応じて、パーティクルフィルタのパーティクル数をパラメータ決定手段107により変更することができる。つまり、基準又は初期の設定として、現在の時刻から次に観測データが記憶される時刻までの観測生データ処理可能時間とその観測生データ処理可能時間に処理可能なパーティクル数との関係情報をパラメータ決定手段107の内部記憶部に予め記憶しておく。そして、現在の時刻から次に観測データが記憶される時刻までの観測生データ処理可能時間が所定時間よりも短い場合には、パラメータ決定手段107により、所定時間に対応するパーティクル数よりも減らして物体識別処理に要する時間を削減する一方、現在の時刻から次に観測データが記憶される時刻までの観測生データ処理可能時間が前記所定時間よりも長い場合には、パーティクル数を前記所定数より増やして物体の位置を高精度に推定することができる。よって、物体位置推定処理に必要となる次に観測データが記憶されるまでの待ち時間内に、前記観測生データの物体識別処理を確実に終了させることができる。
(第2実施形態)
図1は、本発明の第2実施形態にかかる物体位置推定システムを示したブロック図でもある。すなわち、第2実施形態にかかる物体位置推定システムの大略構成は、第1実施形態にかかる物体位置推定システムと同様であり、後述するように、物体位置推定手段106とパラメータ決定手段107との機能が異なるのみである。
図1は、本発明の第2実施形態にかかる物体位置推定システムを示したブロック図でもある。すなわち、第2実施形態にかかる物体位置推定システムの大略構成は、第1実施形態にかかる物体位置推定システムと同様であり、後述するように、物体位置推定手段106とパラメータ決定手段107との機能が異なるのみである。
本システムは、観測手段101と、物体データベース102と、物体識別手段103と、処理終了時刻予測手段104と、観測データベース105と、物体位置推定手段106と、パラメータ決定手段107とで構成される。
物体位置推定手段106とパラメータ決定手段107と以外の各手段、及び各データベースについては、第1実施形態にて説明した機能と同等のため説明を省略する。
物体位置推定手段106として、パーティクルフィルタの代わりに、例えばカルマンフィルタなどを用いることができる。「カルマンフィルタ」とは、システムの状態(本発明の第2実施形態においては、例えば、物体位置)の情報にノイズが含まれ、観測値にもノイズが含まれる場合に、システムの取りうる状態の候補の中から、最も確率の高い状態を推定するものである。図6Bに物体位置推定処理にカルマンフィルタを利用した例を示す。縦軸は確率、横軸は位置を表す。
物体が下記の(数1)の式に表されるような移動を行うとき、観測手段101は下記の(数2)の式で求められる観測値603を得ることができる。ここで、Aは物体の運動モデル、xは物体位置、vは移動の際に生じるプロセスノイズを表している。また、yは観測値、Hは物体位置xと観測値yを対応付ける観測モデル、wは観測ノイズ、tは時間を表している。
ここで、プロセスノイズv及び観測ノイズwは、白色ガウスノイズとすると、p(w)は(数3)の式、p(v)は(数4)の式のように表される。尚、N(0,Q)は、平均0、分散Qのガウス分布を表している。N(0,R)も同様に、平均0、分散Rのガウス分布を表している。
観測値603が得られると、現在得られている物体の位置に関する事前確率分布601(以後、「事前分布」と呼ぶ。)を物体位置推定手段106で更新し、予測分布602を物体位置推定手段106で作成する。(数5)の式で予測分布602の位置を物体位置推定手段106で求め、(数6)の式で予測分布602の分散を物体位置推定手段106で求めることができる。尚、「Xa|b」は時刻bの情報を基にした時刻aのXの推定値を表す。例えば、(数5)の「xt|t-1」は時刻t-1の情報を基にした時刻tの物体位置xの推定値を表しており、(数6)の「Pt|t-1」は時刻t−1の情報を基にした時刻tのPの推定値を表している。ここで、Pは分布の分散を表している。
予測分布602が物体位置推定手段106で得られると、観測値603と予測分布602とから事後分布604を物体位置推定手段106で求める。(数7)の式で事後分布604の位置を物体位置推定手段106で求め、(数8)の式で事後分布604の分散を物体位置推定手段106で求めることができる。ここで、Kはカルマンゲインと呼ばれる値であり、(数9)の式にて求められる。カルマンゲインは更新量を決定する値である。観測値の精度が良い(分散Rが非常に小さい)場合には、更新量を大きくするため、カルマンゲインの値は大きくなる。逆に、事前分布の精度が良い(Pが非常に小さい)場合には、更新量を小さくするため、カルマンゲインの値は小さくなる。
パラメータ決定手段107は、観測生データ処理終了予定時刻と、現在の時刻と、物体位置推定手段106の処理能力と、現在未処理の観測データとの各情報を用いて、現在の時刻から観測生データ処理終了予定時刻までに、何個の物体の未処理観測データを処理できるかを推定する。
具体的には、図5の(a)のデータテーブルID「TBL_001」のデータテーブルを用いて説明すると、例えば、現在の時刻は17分20秒(ここでは、説明の簡略上、年月日時は省略する。)で、次に観測データが記憶されるのが17分26秒となっている(図5の(b)参照)。第1実施形態と同様に、現在の時刻17分20秒における未処理の観測データは、第1観測装置501で取得した第1観測物体に関する観測データ「Obj_001」と第2観測物体に関する観測データ「Obj_002」の2個であり(図5の(a)の2行目参照)、次に観測データ(この例では、第3観測装置503で取得する第4観測物体と第5観測物体のそれぞれの観測データ)が記憶されるまで(図5の(b)のデータテーブルID「TBL_002」のデータテーブルが記憶されるまで)に、(現在の時刻:17分20秒)−(次の時刻:17分26秒)=6秒の余裕があることがパラメータ決定手段107で算出できる。
このとき、物体位置推定手段106が物体1個につき3秒の処理時間がかかるとすると、前記したように、次に観測データが記憶されるまでに6秒の余裕があることから、6秒/3秒=2個であるから、2個の物体の位置を推定できることになり、第1観測装置ID「501」の観測装置501の観測手段101が観測した物体2個分の観測データは全て処理可能となる。しかし、物体位置推定手段106が物体1個につき5秒の処理時間がかかるとすると、次に観測データが記憶される前に6秒しか余裕が無いことから、6秒/5秒=1.2個であるから、1個の物体の位置しか推定できないことになる。この場合、観測装置ID「501」の観測装置501の観測手段101が観測した2個の物体(Obj_001,Obj_002)のうち、どちらの物体位置を推定するかを物体位置推定手段106で選択する必要が出てくる。
物体位置推定手段106により、複数の物体の中から、位置推定を行う物体の選択方法について、図6Bと図7を用いて説明する。
図7は、3つの観測装置501、502、503を用いて環境内に存在する5個の物体を観測している様子を示しており、図8は、データテーブルID「TBL_001」のデータテーブルが得られている時刻において、第1観測装置ID「501」の観測データを処理する直前の各物体の推定位置状況(例えば、物体位置推定手段106にカルマンフィルタを用いる場合、運動モデルを考慮した後の事前分布でも良い。)を示している。各観測装置501、502、503はカメラ又は測距センサである。
図8に物体位置の推定状況例を示す。図8に示されているのは、各物体の位置に関する確率分布であり、例えば、物体IDが「Obj_001」の第1観測物体に関しては、平均位置(位置座標)が(x,y)=(60,20)、分散共分散行列が(52,0,0,52)であることを示している。また、物体IDが「Obj_002」の第2観測物体に関しては、平均位置(位置座標)が(x,y)=(120,25)、分散共分散行列が(202,0,0,202)であることを示している。
一例として、ここでは、物体IDが「Obj_001」と「Obj_002」との2個の観測物体から、位置を推定する物体1つだけを物体位置推定手段106で選ぶ場合、分散がより大きい分布を持つ物体の位置を推定して物体位置推定手段106で選択することとする。この場合、第1観測物体の分散共分散行列が(52,0,0,52)であるのに対して第2観測物体の分散共分散行列が(202,0,0,202)であることから、物体IDが「Obj_001」の第1観測物体の分布の分散より、物体IDが「Obj_002」の第2観測物体の分布の分散の方が大きいため、物体IDが「Obj_002」の物体の位置を物体位置推定手段106で推定させるとパラメータ決定手段107で決定する。これにより、位置が曖昧にしか推定できていない物体から、順に位置を推定することになり、全物体の位置推定精度について偏りを無くすことが可能となる。
また、位置を推定する物体を物体位置推定手段106で選択するのに、分散ではなく、分布の中心位置と観測位置との距離を物体位置推定手段106で比較して物体位置推定手段106で選択するようにしても良い。例えば、物体IDが「Obj_001」の第1観測物体は分布の中心位置(位置座標)が(60,20)で第1観測装置501の観測手段101の観測位置(位置座標)が(65,20)であり、その差が5cmである。それに対して、物体IDが「Obj_002」の第2観測物体は分布の中心位置(位置座標)が(120,25)で第2観測装置502の観測手段101の観測位置(位置座標)が(120,26)であり、その差は1cmしかないと仮定する。このとき、分布の中心位置と観測位置の差が大きな場合には、物体IDが「Obj_001」の物体の位置を物体位置推定手段106で推定させると物体位置推定手段106で決定する。これにより、位置が曖昧にしか推定できていない物体から順に位置を物体位置推定手段106で推定することになり、全物体の位置推定精度についての偏りを無くすことが可能となる。物体位置推定手段106での物体位置推定後は、物体IDが「Obj_001」の物体と物体IDが「Obj_002」の物体は、共に処理済み観測データとなる。処理済み観測データか否かの物体位置推定手段106による判断は、パラメータ決定手段107が処理を行った観測データを観測データベース105で記憶しておいても良いし、又は、観測データベース105に処理済みであることを示す情報を物体位置推定手段106で更に記憶しておいて、物体位置推定手段106でそれを読み出すことにより判断を行うようにしても良い。なお、これらの場合には、図1において、パラメータ決定手段107から観測データベース105へのデータ(情報)の流れ、又は、物体位置推定手段106から観測データベース105へのデータ(情報)の流れが追加されることになる。
また、位置を推定する物体を物体位置推定手段106で選択するのに、マッチングスコアを利用しても良い。マッチングスコアが低いということは、検出した差分領域とテンプレート画像との間でマッチしなかった箇所が多く存在したことを表し、物体IDの識別を誤っている可能性がある。つまり、マッチングスコアの低い物体IDに関するデータを使用して位置推定を行うと、前記位置推定の結果も誤ってしまう恐れがある。そこで、マッチングスコアの高い物体IDの順に、位置を推定することで、誤った位置推定を行うことを避けることも可能である。例えば、図26の第一番目のデータ「Obj_001(65,20),Obj_002(120,26)」の内、1つの物体しか位置推定を行う時間が無かったとする。このとき、「Obj_001」のマッチングスコア(0.8)が「Obj_002」のマッチングスコア(0.6)よりも高いため、「Obj_001」の位置推定を物体位置推定手段106で行うこととなる。
次に、物体位置推定システムの処理について、図9及び図10に示すフローチャートを参照しながら説明する。図9は各観測装置500の観測手段での観測動作及び物体識別手段103での物体識別処理及び処理終了時刻予測手段104での処理終了時刻予測処理のフローチャートであり、図10は物体位置推定手段106での物体位置推定処理のフローチャートである。
始めに、図9の観測装置500の観測動作などのフローチャートについて説明する。
ステップS901では、観測装置500に備え付けられた観測手段101の一例であるセンサが環境を観測し、観測生データを取得する。
次いで、ステップS902では、物体識別手段103が、センサで取得した観測生データの物体識別処理を開始する。
次いで、ステップS903では、処理終了時刻予測手段104が、物体識別手段103の観測生データの物体識別処理内容から、物体識別処理の終了予定時刻を予測する。
次いで、ステップS904では、ステップS903で予測した観測生データの物体識別処理終了予定時刻を、処理終了時刻予測手段104が観測データベース105に記憶する。
次いで、ステップS905では、物体識別手段103は、前記観測生データの物体識別処理を終了し次第、観測データベース105に物体のIDと位置とに関する観測データを記憶する。
次に、図10の物体位置推定処理に関するフローチャートについて説明する。
ステップS1001では、パラメータ決定手段107が、観測データベース105に未処理の観測データが存在するか否かを判断する。観測データベース105に未処理の観測データが存在しないとパラメータ決定手段107で判断した場合には、未処理の観測データが存在するまで、このステップS1001を繰り返す。観測データベース105に未処理の観測データが存在するとパラメータ決定手段107で判断した場合には、ステップS1002に進む。
次いで、ステップS1002では、パラメータ決定手段107が、観測データベース105から、次に物体のIDと位置とに関する観測データが記憶される時刻を取得する。
次いで、ステップS1003では、パラメータ決定手段107が、ステップS1002で取得した時刻とパラメータ決定手段107の内部のタイマーから取得した現在の時刻との時間差と、物体位置推定手段106の処理速度から物体位置推定処理を行うことのできる観測物体数を決定する。
次いで、ステップS1004では、パラメータ決定手段107が、現時点で得られている各物体の物体推定位置状況から、推定位置と観測位置との差が大きい物体から順に、ステップS1003で決定した前記観測物体数分だけ、位置推定処理を行う観測物体であると決定する。
次いで、ステップS1005では、ステップS1004でパラメータ決定手段107により位置推定処理を行う観測物体として決定した観測物体について、観測データベース105に記憶されている物体IDと位置とに関する観測データを基に、物体の位置推定処理を物体位置推定手段106が行う。
図11Bは、図5に示した観測データ、及び、観測生データ処理終了予定時刻を基に、物体の位置を推定したときのタイミングチャートである。尚、説明を簡単にするため、図11Bでは第2観測装置502に関する処理は省略してあり、以下の説明でも第2観測装置502に関しては省略する。
図5に示すように、時刻14:17:20(14時17分20秒)(ここでは、説明の簡略上、年月日は省略する。)において、第1観測装置501で取得した観測生データの物体識別処理の結果である観測データとして、「Obj_001(65,20)」と「Obj_002(120,26)」とが観測データベース105に記憶されると、観測データベース105に記憶されている観測生データ処理終了予定時刻をパラメータ決定手段107が参照して取得する。また、同じ時刻14:17:20においては、図5に示すように、第3観測装置503の観測生データ処理終了予定時刻14:17:26が観測データベース105に記憶されているため、次に、第3観測装置503の第4観測データ「Obj_004(266,37)」及び第5観測データ「Obj_005(322,21)」が記憶されるまでの6秒間、物体位置推定処理を行う時間があることとなる。このとき、1つの物体の位置を3秒以内で推定処理できるのであれば、「Obj_001(65,20)」と「Obj_002(120,26)」の2つの観測データを用いて物体IDが「Obj_001」と物体IDが「Obj_002」との2つの物体の位置を物体位置推定処理手段106で推定処理できる。しかし、1つの物体の位置の推定処理に3秒より長い時間がかかる場合には、「Obj_001(65,20)」と「Obj_002(120,26)」とのどちらかのデータを用いて、1つの物体の位置を物体位置推定処理手段106で推定処理することとなる。どちらのデータを用いるかの判断は既に説明済みのため、省略する。
もし、観測生データ処理終了予定時刻をパラメータ決定手段107が参照した結果、観測生データ処理終了予定時刻が記憶されていないとパラメータ決定手段107が判断した場合には、一例として、観測データに記憶されている「Obj_001(65,20)」と「Obj_002(120,26)」との2つのデータを用いて物体位置推定処理を行う。以後、同じように処理を繰り返し、物体の位置の推定処理を行う。
図11Bのタイミングチャートについて、詳細に説明する。
この図11Bの例では、現在の時刻14時17分20秒(ここでは、説明の簡略上、年月日は省略する。)までに、第1観測装置501の観測手段101により第1観測物体及び第2観測物体の観測生データをそれぞれ取得し(図11Bの工程P1参照)、処理終了時刻予測手段104により、物体識別手段103が観測生データをそれぞれ処理するのに要する時間(観測生データ処理終了予定時刻)の合計を算出し、観測データベース105に観測生データ処理終了予定時刻として、第1観測装置501のID「501」と共に観測データベース105に記憶する(図11Bの工程P2参照)。次いで、第1観測装置501で得られた観測生データを使用して、物体識別手段103で物体識別処理を開始し、観測生データの物体識別処理を終了して観測データを得ると、それらの観測データ「Obj_001(65,20)」と「Obj_002(120,26)」とを第1観測装置501のID「501」と共に観測データベース105に記憶する(図5の(a)の2行目及び図11Bの工程P3参照)。この工程P3の終了時刻が現在の時刻14時17分20秒である。
この図11Bの例では、現在の時刻14時17分20秒(ここでは、説明の簡略上、年月日は省略する。)までに、第1観測装置501の観測手段101により第1観測物体及び第2観測物体の観測生データをそれぞれ取得し(図11Bの工程P1参照)、処理終了時刻予測手段104により、物体識別手段103が観測生データをそれぞれ処理するのに要する時間(観測生データ処理終了予定時刻)の合計を算出し、観測データベース105に観測生データ処理終了予定時刻として、第1観測装置501のID「501」と共に観測データベース105に記憶する(図11Bの工程P2参照)。次いで、第1観測装置501で得られた観測生データを使用して、物体識別手段103で物体識別処理を開始し、観測生データの物体識別処理を終了して観測データを得ると、それらの観測データ「Obj_001(65,20)」と「Obj_002(120,26)」とを第1観測装置501のID「501」と共に観測データベース105に記憶する(図5の(a)の2行目及び図11Bの工程P3参照)。この工程P3の終了時刻が現在の時刻14時17分20秒である。
このとき、工程P1〜P3と並行して、現在の時刻14時17分20秒までに、第3観測装置503の観測手段101により第4観測物体及び第5観測物体の観測生データをそれぞれ取得し(図11Bの工程P4参照)、処理終了時刻予測手段104により、物体識別手段103が観測生データをそれぞれ処理するのに要する時間(観測生データ処理終了予定時刻)の合計を算出し、観測データベース105に観測生データ処理終了予定時刻として、第3観測装置503のID「503」と共に観測データベース105に記憶する(図5の(a)の3行目の「14時17分26秒」及び図11Bの工程P5参照)。次いで、第3観測装置503で得られた観測生データを使用して、物体識別手段103で物体識別処理を開始する(図11Bの工程P6参照)。この工程P6は、工程P3が終了しても(言い換えれば、現在の時刻14時17分20秒を過ぎても)続けられ、観測生データの物体識別処理を終了して観測データを得ると、その観測データ「Obj_004(266,37)」及び「Obj_005(322,21)」を第3観測装置503のID「503」と共に観測データベース105に記憶する(図5の(b)の5行目及び図11Bの工程P6参照)。この工程P6の終了時刻が現在の時刻14時17分26秒である。
このようにして、現在の時刻14時17分26秒までに、図5の(a)に示すように、第1観測装置501のID「501」と共に第1観測物体の観測データと第2観測物体の観測データとが観測データベース105に記憶されるとともに、第3観測装置503に関する観測生データ処理終了予定時刻が観測データベース105に記憶されることになる。
よって、パラメータ決定手段107により、図5の(a)のデータテーブルに示す第3観測装置503に関する観測生データ処理終了予定時刻を参照して、現在の時刻から観測生データ処理終了予定時刻までの時間{(14時17分26秒)−(14時17分20秒)=6秒}を算出し、この算出された時間が物体位置推定処理を行う時間となる。このとき、1つの物体の位置を3秒以内で推定処理できるのであれば、「Obj_001(65,20)」と「Obj_002(120,26)」の2つの観測データを用いて物体IDが「Obj_001」と物体IDが「Obj_002」との2つの物体の位置を物体位置推定処理手段106で推定処理できる(図11Bの工程P21参照)。しかし、1つの物体の位置の推定処理に3秒より長い時間がかかる場合には、「Obj_001(65,20)」と「Obj_002(120,26)」とのどちらかのデータを用いて、1つの物体の位置を物体位置推定処理手段106で推定処理することとなる(図11Bの工程P21参照)。どちらのデータを用いるかの判断は既に説明済みのため、省略する。
また、現在の時刻14時17分20秒以降では、第1観測装置501での物体識別処理が終了しているので、第1観測装置501により他の観測物体の観測動作を行う。すなわち、第1観測装置501の観測手段101により第3観測物体及び第4観測物体の観測生データをそれぞれ取得し(図11Bの工程P7参照)、処理終了時刻予測手段104により、物体識別手段103が観測生データをそれぞれ処理するのに要する時間(観測生データ処理終了予定時刻)の合計を算出し、観測データベース105に観測生データ処理終了予定時刻として、第1観測装置501のID「501」と共に観測データベース105に記憶する(図5の(b)の最下行の「14時17分38秒」及び図11Bの工程P8参照)。次いで、第1観測装置501で得られた観測生データを使用して、物体識別手段103で物体識別処理を開始し、観測生データの物体識別処理を終了して観測データを得ると、その観測データを第1観測装置501のID「501」と共に観測データベース105に記憶する(図11Bの工程P9参照)。この工程P9の終了時刻が時刻14時17分38秒である。
時刻14時17分26秒になると、第1観測物体及び第2観測物体、又は、第1観測物体及び第2観測物体のいずれかの物体の物体位置推定処理工程P21が終了するので、続いて、パラメータ決定手段107により、図5の(b)のデータテーブルに示す第1観測装置501に関する観測生データ処理終了予定時刻を参照して、14時17分26秒から観測生データ処理終了予定時刻までの時間{(14時17分38秒)−(14時17分26秒)=8秒}を算出し、この算出された時間が物体位置推定処理を行う時間となる。このとき、1つの物体の位置を4秒以内で推定処理できるのであれば、「Obj_004(266,37)」と「Obj_005(322,21)」の2つの観測データを用いて物体IDが「Obj_004」と物体IDが「Obj_005」との2つの物体の位置を物体位置推定処理手段106で推定処理できる(図11Bの工程P22参照)。しかし、1つの物体の位置の推定処理に4秒より長い時間がかかる場合には、「Obj_004(266,37)」と「Obj_005(322,21)」とのどちらかのデータを用いて、1つの物体の位置を物体位置推定処理手段106で推定処理することとなる(図11Bの工程P22参照)。どちらのデータを用いるかの判断は既に説明済みのため、省略する。
また、時刻14時17分26秒以降では、第3観測装置503での物体識別処理が終了しているので、第3観測装置503により他の観測物体の観測動作を行う。すなわち、工程P9と同時に、第3観測装置503の観測手段101により第1観測物体及び第2観測物体の観測生データをそれぞれ取得し(図11Bの工程P10参照)、処理終了時刻予測手段104により、物体識別手段103が観測生データをそれぞれ処理するのに要する時間(観測生データ処理終了予定時刻)の合計を算出し、観測データベース105に観測生データ処理終了予定時刻として、第3観測装置503のID「503」と共に観測データベース105に記憶する(図5の(c)の最下行の「14時17分48秒」及び図11Bの工程P11参照)。次いで、第3観測装置503で得られた観測生データを使用して、物体識別手段103で物体識別処理を開始する(図11Bの工程P12参照)。この工程P12は、工程P9が終了しても(言い換えれば、時刻14時17分38秒を過ぎても)続けられ、観測生データの物体識別処理を終了して観測データを得ると、その観測データを第3観測装置503のID「503」と共に観測データベース105に記憶する(図11Bの工程P12参照)。
その後、時刻14時17分38秒になると、第4観測物体及び第5観測物体、又は、第4観測物体及び第5観測物体のいずれかの物体の物体位置推定処理工程P22が終了するので、続いて、パラメータ決定手段107により、前記したのと同様に、14時17分38秒から観測生データ処理終了予定時刻までの時間を算出し、この算出された時間が、工程P9で取得された観測データの物体位置推定処理を行う時間となる(図11Bの工程P23参照)。
前記第2実施形態によれば、物体位置推定処理に必要となる次に観測データが記憶されるまでの待ち時間内に処理可能な物体数から、物体位置推定処理を行う物体を決定することによって、限られた時間内に、可能な限り物体位置の推定を行うことのできる物体位置推定システムを提供することができる。
(第3実施形態)
図21は、本発明の第3実施形態にかかる物体位置推定システムを示すブロック図である。
図21は、本発明の第3実施形態にかかる物体位置推定システムを示すブロック図である。
本システムは、観測手段101と、物体データベース102と、物体識別手段103と、処理終了時刻予測手段104と、観測データベース105と、物体位置推定手段106と、パラメータ決定手段107と、表示手段108とで構成される。
表示手段108以外の各手段、及び各データベースについては、第1実施形態又は第2実施形態にて説明した機能と同等のため、それらの説明を省略する。
表示手段108は、物体位置推定手段106の物体位置の推定結果を受け取り、前記推定結果を表示する。表示手段108の一例としてはモニタなどを使用することができる。
また、表示手段108は、観測データベース105を参照し、現在推定されている物体の推定位置を出力するために使用した観測データが得られた時刻を、前回推定時刻として表示することができる。図25の「TBL_006」に、観測装置101が観測を行った時刻を記録可能な観測データベース105の例を示す。例えば、観測装置ID503の観測データ「Obj_004(266,37),Obj_005(322,21)」を使用して物体位置推定処理を行った場合、前記観測データが観測された時刻は、前回の観測装置ID503のデータから、時刻2007年9月11日14時17分15秒であることが分かる。
さらに、表示手段108は、観測データベース105を参照し、次回の物体識別処理の終了予定時刻を、次回の前記物体位置推定手段106の物体位置推定結果の出力時刻として表示する。現在、図25の「TBL_006」の状態にある場合、次回の物体識別処理の終了予定時刻は、2007年9月11日14時17分34秒であるため、表示手段108は、次回の物体位置の推定結果の出力時刻を2007年9月11日14時17分34秒と表示する。
図22に表示手段108の表示例を示す。図22の表示例には、「Obj_001」,「Obj_002」,「Obj_003」,「Obj_004」,「Obj_005」の各物体の推定位置と、現在時刻、前回推定時刻、次回推定時刻の各情報とが表示されている。尚、表示手段108は、現在時刻を取得するためのタイマーを備えているものとする。
また、表示手段108は、物体の推定位置を確率密度分布で表示しても良い。物体の推定位置を確率密度分布で表示した例を図23に示す。図23には、「Obj_001」,「Obj_002」,「Obj_003」,「Obj_004」,「Obj_005」の各物体の位置の平均位置と分散とが数値とグラフとで表示されている。
また、表示手段108は、物体の推定位置を実環境(現在時刻での環境)の映像にオーバーレイさせて表示しても良い(ただし、図では、簡略化のため、部屋及び家屋などは図示を省略している。ここで言う実環境の映像とは、物体が映っている図を意味し、オーバーレイさせて表示しているのが、黒丸の推定位置と物体IDになります。)。「Obj_001」,「Obj_002」,「Obj_003」,「Obj_004」,「Obj_005」の各物体の推定位置を実環境の映像にオーバーレイさせて表示した例を図24に示す。尚、オーバーレイ表示を行う場合は、物体の推定位置と実環境における物体sの位置関係が理解し易いように、現在の実環境の映像を表示するのではなく、前回推定時刻に得られた映像を表示しても良い。
前記第3実施形態によれば、表示手段108を備えることによって、ユーザに物体の推定位置を提示することができ、次回の物体の位置推定の結果が出力される時刻もユーザに提示することができる。
前記各実施形態において、観測手段101と、物体データベース102と、物体識別手段103と、処理終了時刻予測手段104と、観測データベース105と、物体位置推定手段106と、パラメータ決定手段107となどのそれぞれ、又は、そのうちの任意の一部は、それ自体がソフトウェアで構成することができる。よって、例えば、前記第1,2,3実施形態の物体位置推定システム又は物体位置推定装置の物体位置推定動作のそれぞれのステップを有するコンピュータプログラムとして、記憶装置(ハードディスク等)などの記録媒体に読み取り可能に記憶させ、そのコンピュータプログラムをコンピュータの一時記憶装置(半導体メモリ等)に読み込んでCPUを用いて実行することにより、前記した各ステップを実行することができる。
なお、前記様々な実施形態のうちの任意の実施形態を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。
本発明の物体位置推定システム、物体位置推定装置、物体位置推定方法、及び、物体位置推定プログラムは、物体位置推定処理に必要となる次に観測データが記憶されるまでの待ち時間内を有効に活用すべく、物体推定処理のパラメータを可変にすることによって実時間処理と物体位置推定の高精度化を両立できるため、家庭内における物品の検索システム、又は、ロボットなどの移動体の追従に有用である。
本発明は、添付図面を参照しながら好ましい実施形態に関連して充分に記載されているが、この技術の熟練した人々にとっては種々の変形又は修正は明白である。そのような変形又は修正は、添付した請求の範囲による本発明の範囲から外れない限りにおいて、その中に含まれると理解されるべきである。
Claims (8)
- 環境内に存在する物体を含む前記環境の状況を観測して、第1及び第2観測生データを取得する観測手段と、
物体データベースに予め記憶された前記物体のID毎の物体識別データと、前記第1及び第2の観測生データのそれぞれの観測生データとに基づいて、前記物体のID及び前記物体の位置候補をそれぞれ取得して、前記取得した物体のID及び前記物体の位置候補の情報を観測データベースにそれぞれ記憶する物体識別手段と、
前記第1及び第2観測生データのそれぞれの観測生データから前記環境内に存在する前記物体の数を取得し、前記物体の数をそれぞれ取得した時刻と、前記それぞれ取得した物体の数と、予め記憶された前記物体あたりの前記物体のID及び前記物体の位置候補をそれぞれ取得する物体識別処理に要する時間とに基づいて、前記物体識別処理の終了予定時刻をそれぞれ予測し、前記物体識別処理の終了予定時刻を前記観測データベースにそれぞれ記憶する物体識別処理終了時間予測手段と、
前記観測データベースに記憶された前記物体のIDと前記物体の位置候補とを取得し、前記取得した物体のID及び物体の位置候補と、前記物体の位置候補の分散状況とに基づいて、前記物体の位置を推定する物体位置推定手段と、
前記物体識別手段が前記第1観測生データの前記物体識別処理を終了して前記物体のID及び前記物体の位置候補を取得した時刻に、前記観測データベースに記憶された前記第2観測生データの前記物体識別処理の終了予定時刻を参照して、前記参照した時刻から前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されているか否かを判断し、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていると判断した場合には、予め記憶されかつ前記物体あたりの前記物体の位置を推定する位置推定処理を行うのに要する時間を参照して、前記参照した時刻から前記第2観測生データの前記物体識別処理の終了予定時刻までの時間において、前記物体識別処理が終了した前記第1観測生データの前記物体の位置推定処理を行うパラメータを決定する一方、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていなかったと判断した場合には、前記物体識別処理が終了した前記第1観測生データの前記物体の位置推定処理を行うパラメータに、予め設定しておいた基準となるパラメータを設定する、パラメータ決定手段とを備えて、
前記物体位置推定手段は、前記パラメータ決定手段が決定した前記パラメータを使用して、前記物体識別処理が終了したデータから、そのデータに含まれている前記物体の位置推定処理を行い、前記物体IDに関する前記物体の位置を、前記物体識別手段が取得した前記物体のIDと位置候補とに基づいて推定する物体位置推定システム。 - 前記物体識別データは前記物体の形状情報であり、
前記観測生データとは、カメラで撮像された画像データ、又は、測域センサで取得したレンジデータ、又は、タグリーダで取得した位置データである、請求項1に記載の物体位置推定システム。 - 前記カメラ又は前記測域センサの物体識別処理は、テンプレートマッチング処理であって、
更に、前記物体識別手段は、前記テンプレートマッチング処理の過程にて出力されるマッチングスコアを前記観測データベースに記録し、
前記パラメータ決定手段は、前記マッチングスコアの高い順に前記位置推定処理を行う物体を決定する、請求項2に記載の物体位置推定システム。 - 前記物体位置推定手段は、パーティクルフィルタを使用するとき、物体1個あたりの処理時間とパーティクルの個数との関係情報を予め用意しておき、前記参照した時刻から前記第2観測生データの前記物体識別処理の終了予定時刻までの時間から前記パーティクルフィルタで処理可能な物体の個数を算出し、算出された物体の個数が、前記物体識別処理で識別された物体の個数と同じならば、そのままパーティクルフィルタを使用して処理を行う一方、
前記算出された物体の個数が、前記物体識別処理で識別された物体の個数より少ないときには、物体1個あたりの前記パーティクルの個数を増やして処理を行う一方、
前記算出された物体の個数が、前記物体識別処理で識別された物体の個数より多いときには、物体1個あたりの前記パーティクルの個数を減らして処理を行う、請求項1又は2に記載の物体位置推定システム。 - 更に前記物体位置推定手段が推定した結果を表示する表示手段を備え、
前記表示手段は、前記観測データベースを参照し、次回の物体識別処理の終了予定時刻を、次回の前記物体位置推定手段の推定結果の出力時刻として表示すると共に、現在の前記物体位置推定手段の推定結果を出力するに至った観測生データが得られた時刻を、現在の前記物体位置推定手段の推定結果が得られた時刻として表示する請求項1〜4のいずれか1つに記載の物体位置推定システム。 - 少なくとも、環境内に存在する物体のID毎の物体識別データと、前記物体を含む前記環境の状況を観測手段で観測して取得した第1及び第2の観測生データのそれぞれの観測生データとに基づいて、それぞれ取得された前記物体あたりの前記物体のID及び前記物体の位置候補を入力可能であるとともに、前記第1及び第2観測生データのそれぞれの観測生データから前記環境内に存在する前記物体の数を取得し、前記物体の数をそれぞれ取得した時刻と、前記それぞれ取得した物体の数と、前記物体あたりの前記物体のID及び前記物体の位置候補をそれぞれ取得する物体識別処理に要する時間とに基づいてそれぞれ予測された前記物体識別処理の終了予定時刻を入力可能なデータ入力部と、
前記データ入力部より受け取った前記物体のIDと位置候補と前記終了予定時刻に関するデータとを記憶する観測データベースと、
前記観測データベースに記憶されている前記物体のIDと位置候補と、前記物体の位置候補の分散状況とに基づいて、前記物体の位置を推定する物体位置推定手段と、
前記観測データベースに記憶された前記物体識別処理の終了予定時刻を参照して、前記参照した時刻から最も早い時刻に終了する前記物体識別処理の終了予定時刻が記憶されているか否かを判断し、前記観測生データの前記物体識別処理の終了予定時刻が記憶されていると判断した場合には、予め記憶されかつ前記物体あたりの前記物体の位置を推定する位置推定処理を行うのに要する時間を参照して、前記参照した時刻から前記観測生データの前記物体識別処理の終了予定時刻までの時間において、前記物体の位置推定処理を行うパラメータを決定する一方、前記観測生データの前記物体識別処理の終了予定時刻が記憶されていなかったと判断した場合には、前記物体の位置推定処理を行うパラメータに、予め設定しておいた基準となるパラメータを設定する、パラメータ決定手段と、
を備えて、前記物体位置推定手段は、前記パラメータ決定手段が決定した前記パラメータを使用して、前記観測データベースに記憶された前記物体のIDと位置候補と前記物体の位置候補の分散状況とから前記物体の位置推定処理を行い、前記物体の位置を推定する物体位置推定装置。 - 環境内の状況を観測し、複数の観測生データを観測手段で取得し、
前記複数の観測生データを基に、テンプレートマッチング処理を使用して、前記観測手段の観測範囲内に存在する物体のIDと位置候補とを物体識別手段で算出する物体識別処理を行い、
前記複数の観測生データを基に前記物体識別手段でそれぞれ行われる前記物体識別処理が終了する時刻を、前記それぞれの観測生データから前記環境内に存在する前記物体の数を取得し、前記物体の数をそれぞれ取得した時刻と、前記それぞれ取得した物体の数と、予め記憶された前記物体あたりの前記物体のID及び前記物体の位置候補をそれぞれ取得する物体識別処理に要する時間とに基づいて、物体識別処理終了時間予測手段でそれぞれ予測して観測データベースにそれぞれ記憶し、
前記観測データベースに記憶された前記物体識別処理の終了予定時刻を参照して、前記参照した時刻から最も早い時刻に終了する前記物体識別処理の終了予定時刻が記憶されているか否かをパラメータ決定手段で判断し、
前記観測生データの前記物体識別処理の終了予定時刻が記憶されていると判断した場合には、予め記憶されかつ前記物体あたりの前記物体の位置を推定する位置推定処理を行うのに要する時間を参照して、前記参照した時刻から前記観測生データの前記物体識別処理の終了予定時刻までの時間において、前記物体の位置推定処理を行うパラメータを前記パラメータ決定手段で決定する一方、
前記観測生データの前記物体識別処理の終了予定時刻が記憶されていなかったと判断した場合には、前記物体の位置推定処理を行うパラメータに、予め設定しておいた基準となるパラメータを前記パラメータ決定手段で設定し、
前記パラメータ決定手段で設定した前記パラメータを使用して、前記物体識別処理で算出した前記物体のIDと位置候補と、前記物体の位置候補の分散状況とに基づいて、前記物体の位置を物体位置推定手段で推定する、
ことを備える物体位置推定方法。 - コンピュータに、
環境内の状況を観測手段で観測して取得された複数の観測生データを基に、テンプレートマッチング処理を使用して、前記観測手段の観測範囲内に存在する物体のIDと位置候補とを算出する物体識別処理を行う物体識別処理機能と、
前記複数の観測生データを基に前記物体識別処理機能による前記物体識別処理が終了する時刻を、前記それぞれの観測生データから前記環境内に存在する前記物体の数を取得し、前記物体の数をそれぞれ取得した時刻と、前記それぞれ取得した物体の数と、予め記憶された前記物体あたりの前記物体のID及び前記物体の位置候補をそれぞれ取得する物体識別処理に要する時間とに基づいて、予測して観測データベースにそれぞれ記憶する処理終了時刻予測機能と、
前記観測データベースに記憶された前記物体識別処理の終了予定時刻を参照して、前記参照した時刻から最も早い時刻に終了する前記物体識別処理の終了予定時刻が記憶されているか否かを判断し、前記観測生データの前記物体識別処理の終了予定時刻が記憶されていると判断した場合には、予め記憶された前記物体あたりの前記物体の位置を推定する位置推定処理を行うのに要する時間を参照して、前記参照した時刻から前記観測生データの前記物体識別処理の終了予定時刻までの時間において、前記物体の位置推定処理を行うパラメータを決定する一方、前記観測生データの前記物体識別処理の終了予定時刻が記憶されていなかったと判断した場合には、前記物体の位置推定処理を行うパラメータに、予め設定しておいた基準となるパラメータを設定するパラメータ決定機能と、
前記パラメータ決定手段で設定した前記パラメータを使用して、前記物体識別処理機能による前記物体識別処理で算出した前記物体のIDと位置候補と、前記物体の位置候補の分散状況とに基づいて、前記物体の位置を推定する物体位置推定機能と、
を実現させるための物体位置推定プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008284092 | 2008-11-05 | ||
JP2008284092 | 2008-11-05 | ||
PCT/JP2009/005777 WO2010052874A1 (ja) | 2008-11-05 | 2009-10-30 | 物体位置推定システム、物体位置推定装置、物体位置推定方法、及び、物体位置推定プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP4669581B2 true JP4669581B2 (ja) | 2011-04-13 |
JPWO2010052874A1 JPWO2010052874A1 (ja) | 2012-04-05 |
Family
ID=42152688
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010507747A Active JP4669581B2 (ja) | 2008-11-05 | 2009-10-30 | 物体位置推定システム、物体位置推定装置、物体位置推定方法、及び、物体位置推定プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US8111876B2 (ja) |
JP (1) | JP4669581B2 (ja) |
CN (1) | CN102047073B (ja) |
WO (1) | WO2010052874A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5544570B2 (ja) * | 2010-08-27 | 2014-07-09 | 公立大学法人首都大学東京 | 情報提示システム、情報提示プログラム、及び情報提示方法 |
JP5862023B2 (ja) * | 2011-03-04 | 2016-02-16 | 日本電気株式会社 | 目標追跡システム及び目標追跡方法 |
JP6181925B2 (ja) * | 2012-12-12 | 2017-08-16 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法およびプログラム |
US9355123B2 (en) | 2013-07-19 | 2016-05-31 | Nant Holdings Ip, Llc | Fast recognition algorithm processing, systems and methods |
WO2015123647A1 (en) | 2014-02-14 | 2015-08-20 | Nant Holdings Ip, Llc | Object ingestion through canonical shapes, systems and methods |
US9980457B2 (en) * | 2016-08-17 | 2018-05-29 | Technologies Holdings Corp. | Vision system with teat candidate identification |
CN111902692A (zh) * | 2018-09-14 | 2020-11-06 | 松下电器(美国)知识产权公司 | 判定方法及判定装置 |
CN110490169A (zh) * | 2019-08-26 | 2019-11-22 | 阿里巴巴集团控股有限公司 | 一种物品架巡检方法、装置以及设备 |
CN113311454A (zh) * | 2020-02-26 | 2021-08-27 | 中移物联网有限公司 | 一种gps定位点离散程度的评定方法、装置及设备 |
JP7412254B2 (ja) * | 2020-04-02 | 2024-01-12 | 三菱電機株式会社 | 物体認識装置および物体認識方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08202825A (ja) * | 1995-01-25 | 1996-08-09 | Canon Inc | 文字認識方法とその装置 |
JP2002041308A (ja) * | 2000-04-26 | 2002-02-08 | Texas Instr Inc <Ti> | マルチプロセッサ・オブジェクト制御 |
WO2007015548A1 (ja) * | 2005-08-04 | 2007-02-08 | Matsushita Electric Industrial Co., Ltd. | 検索物品推定装置及び方法、並びに、検索物品推定装置用サーバ |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6061644A (en) * | 1997-12-05 | 2000-05-09 | Northern Digital Incorporated | System for determining the spatial position and orientation of a body |
JPH11353256A (ja) | 1998-06-05 | 1999-12-24 | Hitachi Ltd | 通信処理タイムアウト時間決定方式及び計算機システム |
US20020019843A1 (en) | 2000-04-26 | 2002-02-14 | Killian Robert T. | Multiprocessor object control |
WO2002091297A1 (en) * | 2001-05-08 | 2002-11-14 | Hill-Rom Services, Inc. | Article locating and tracking system |
US7305402B2 (en) * | 2001-10-10 | 2007-12-04 | International Business Machines Corporation | Adaptive indexing technique for use with electronic objects |
WO2004106009A1 (ja) * | 2003-06-02 | 2004-12-09 | Matsushita Electric Industrial Co., Ltd. | 物品操作システムおよび方法、並びに物品管理システムおよび方法 |
CN101052982A (zh) * | 2005-08-04 | 2007-10-10 | 松下电器产业株式会社 | 检索物品推定装置和方法、及检索物品推定装置用服务器 |
JP5147036B2 (ja) | 2006-03-08 | 2013-02-20 | 株式会社国際電気通信基礎技術研究所 | 位置推定装置、位置推定方法及び位置推定プログラム |
JP2008249640A (ja) | 2007-03-30 | 2008-10-16 | Japan Advanced Institute Of Science & Technology Hokuriku | 位置推定システム、及び、位置推定方法 |
-
2009
- 2009-10-30 JP JP2010507747A patent/JP4669581B2/ja active Active
- 2009-10-30 WO PCT/JP2009/005777 patent/WO2010052874A1/ja active Application Filing
- 2009-10-30 CN CN2009801191018A patent/CN102047073B/zh active Active
-
2010
- 2010-07-21 US US12/840,593 patent/US8111876B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08202825A (ja) * | 1995-01-25 | 1996-08-09 | Canon Inc | 文字認識方法とその装置 |
JP2002041308A (ja) * | 2000-04-26 | 2002-02-08 | Texas Instr Inc <Ti> | マルチプロセッサ・オブジェクト制御 |
WO2007015548A1 (ja) * | 2005-08-04 | 2007-02-08 | Matsushita Electric Industrial Co., Ltd. | 検索物品推定装置及び方法、並びに、検索物品推定装置用サーバ |
Also Published As
Publication number | Publication date |
---|---|
US8111876B2 (en) | 2012-02-07 |
US20100284571A1 (en) | 2010-11-11 |
CN102047073A (zh) | 2011-05-04 |
WO2010052874A1 (ja) | 2010-05-14 |
JPWO2010052874A1 (ja) | 2012-04-05 |
CN102047073B (zh) | 2013-01-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4669581B2 (ja) | 物体位置推定システム、物体位置推定装置、物体位置推定方法、及び、物体位置推定プログラム | |
KR100926783B1 (ko) | 물체인식 및 인식된 물체를 포함하는 주변 환경 정보를바탕으로 한 로봇의 자기 위치 추정 방법 | |
JP5950122B2 (ja) | キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム | |
KR100519781B1 (ko) | 객체 추적 방법 및 그 장치 | |
JP4880805B2 (ja) | 物体位置推定装置、物体位置推定方法、及び、物体位置推定プログラム | |
JP5873864B2 (ja) | オブジェクト追跡及び認識方法及び装置 | |
KR100866380B1 (ko) | 물체인식을 바탕으로 한 로봇의 자기위치 추정 방법 | |
CN112506340B (zh) | 设备控制方法、装置、电子设备及存储介质 | |
JP2012529691A (ja) | 3次元画像生成 | |
CN103514432A (zh) | 人脸特征提取方法、设备和计算机程序产品 | |
WO2019225547A1 (ja) | オブジェクトトラッキング装置、オブジェクトトラッキング方法およびオブジェクトトラッキングプログラム | |
JP2010244549A5 (ja) | ||
TW200820099A (en) | Target moving object tracking device | |
JP6975177B2 (ja) | 生物学的対象物の検出 | |
JP2018524657A (ja) | 電子デバイス上における環境マッピング用のフィーチャ・データの管理 | |
JP5674550B2 (ja) | 状態追跡装置、方法、及びプログラム | |
WO2015178148A1 (ja) | 状態推定装置、プログラムおよび集積回路 | |
CN114859938A (zh) | 机器人、动态障碍物状态估计方法、装置和计算机设备 | |
KR101586007B1 (ko) | 데이터 처리 장치 및 방법 | |
CN117671031A (zh) | 双目相机标定方法、装置、设备及存储介质 | |
JP2013200683A (ja) | 状態追跡装置、方法、及びプログラム | |
JP2017518699A (ja) | 促進的画像処理 | |
Chen et al. | A 3-D point clouds scanning and registration methodology for automatic object digitization | |
JP4923000B2 (ja) | 複数対象物追跡方法、複数対象物追跡装置、複数対象物追跡プログラムおよびそのプログラムを記録した記録媒体 | |
Tozan et al. | Fuzzy Prediction Based Trajectory Estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101221 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140121 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4669581 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |