JP5566892B2 - 追跡および観測用ロボット - Google Patents

Description

本発明は対象物追跡法に関し、特に領域型階層モデルを用いて対象物の位置を特定する、システムおよび方法に関する。

移動型ロボットは、会社や病院のように一人以上の人間を含む多様な状況に配置されている。このようなロボットは、家庭、職場、および医療現場にて支援作業を行う。当該状況においてロボットは、人間と言葉や身体的接触によってやり取りをする必要がある。例えば当該状況においてロボットは、口頭で情報を与えたり、実際に物を取ってきたりすることによって、一人以上の人間を支援する。

しかし、人間と効果的にやり取りし、作業を遂行するためには、ロボットは、ロボット取り巻く状況内の人間の位置や他の作業に関連のある対象物の位置をモデル化することが好ましい。ロボットは、人間のような対象物を追跡することによって、与えられた業務を達成するための動作を、効率的な順序で計画することができる。従来の対象物追跡法は、レーザと無線通信検知式（ＲＦＩＤ）センサとを用いて、ロボットのすぐ近くの人間の動作を、短時間で追跡することに重点を置いていた。

しかし従来方法では、短時間の対象物検知に重点を置いており、対象物がロボットの視界から離れると、その対象物を追跡することができない。さらに従来方法でレーザを用いると、当該状況内の他の物体や障害物から、人間を区別することができない。さらに、ＲＦＩＤセンサを広範囲に用いることは非実用的である。したがって従来方法のロボットは、対象物の追跡を短時間しか行うことができない。

対象物を長時間に亘って追跡するシステムおよび方法が必要とされている。

本発明は、状況内の人間のような対象物を長時間に亘って追跡する、システム及び方法を提供する。対象物が存在可能な離散的な領域を特定する複数領域を生成する。各領域は、前記領域内の１つの対象物の位置を、より正確に特定する１つ以上の位置を含む。１つの領域は、このようにして、当該領域内の異なる位置に対象物が存在する可能性の確率分布を規定する。例えば、これらの位置はカルテシアン座標であり、また前記領域は、２次元平均ベクトルおよび共分散行列によって前記領域内の異なる位置に前記対象物が存在する可能性を表すガウス分布を規定する。撮像装置が前記対象物に関する画像データを撮像し、対象物の位置が変化している場合には、各領域の確率分布を更新する。前記対象物が領域内または領域間を移動すると各領域の確率分布を変更して、１領域内に前記対象物が位置する現在の可能性を示す。

本願明細書は全ての特徴及び効果を記載したわけではなく、特に当業者が図面、明細書、及び請求項を参照することにより、多くの付加的な特徴及び効果が明らかになる。さらに、本願明細書にて用いる言語は、第一に可読性および内容理解に配慮して選択したものであり、発明の主題の正確な説明や限定を目的として選択したものではない。

図１は、本発明の一実施形態が作動する演算システムを示す。 図２は本発明の一実施形態の領域対応型の対象物追跡法を示すフローチャートである。 図３は、本発明の一実施形態の状況を、領域対応式に表した一例である。 図４は、１つ以上の領域内で対象物を観測する確率を決定する方法を示す、本発明の一実施形態のフローチャートである。 図５は、対象物の位置に基づいて領域確率を更新する方法を示す、本発明の一実施形態のフローチャートである。 図６Ａは、観測データを用いて領域内で対象物を観測する確率を決定する、本発明の一実施形態の例である。 図６Ｂは、観測データを用いて領域内で対象物を観測する確率を決定する、本発明の一実施形態の例である。 図７は、本発明の一実施形態の、自動化された配達業務の平均終了時間を示す図である。

本発明の好適な実施形態を、図を参照して説明する。図中の同じ参照符号は、同一または機能的に同等な構成要素を示す。また図中の各参照符号の左端の数字は、その参照符号が最初に用いられた図面番号に対応する。

本願明細書において「一つの実施形態」または「ある実施形態」と記載されている場合、その実施形態に関して記載されたある特定の特徴、構造、または特性が、本発明の少なくとも一つの実施形態に含まれることを意味する。本願明細書では「ある実施形態において」という文言が多様な箇所に現れるが、これら全ては必ずしも同一の実施形態を参照するものではない。

後述の発明の詳細においては、コンピュータメモリ内のデータビット操作を、アルゴリズムおよび記号で説明した部分がある。これらのアルゴリズムおよび記号は、データ処理技術分野の当業者が、その研究内容を、当該技術分野の他の当業者に最も効果的に伝えるために用いる手段である。本願において、また一般的な意味においても、アルゴリズムとは、所望の結果を導き出す工程（指示）を、自己無撞着な順序で配列したものである。ここでいう工程とは、物理量の物理的操作を要する工程である。通例これらの物理量は、記憶、伝送、結合、比較、または他の操作が可能な電気信号、磁気信号、または光信号の形式をとるが、必ずしもこの限りではない。場合によってはこれらの信号を、一般的に用いられているビット、数値、元素、記号、文字、専門用語、数字などを用いて表す示す方が、都合が良いことがある。さらに場合によっては、物理量の物理的操作を要する特定の並び順の工程を、モジュールや符号装置を用いて実施すると都合が良いことがある。これらのことは特に詳細に証明する必要のない一般事項である。

しかしこれらの記載および全ての類似記載には、適切な物理量を付記すべきである。上記のビット、数値、元素、記号、文字、専門用語、数字などは、物理量に付与される簡便な標識にすぎない。以後の説明で明らかであるため、特に異なる説明がない限り、本願明細書を通じて「処理する」、「演算する」、「計算する」、「決定する」、「表示する」、または「決定する」等の用語を用いた説明は、コンピュータシステムまたは類似の電子演算装置の操作や処理を指す。ここでコンピュータシステムまたは類似の電子演算装置は、コンピュータシステムメモリ、状態記憶装置、または他の情報記憶、電送、表示装置内で、物理（電子）量として表示されるデータを操作および変形するものを指す。

本発明のある態様は、アルゴリズム形式で示す方法上の工程および命令とを含む。本発明の方法上の工程および命令は、ソフトウェア、ファームウェア、またはハードウェア内で実施してもよい。ソフトウェアで実施する場合は、本発明の方法上の工程および命令をダウンロードして常駐させ、多様なオペレーティングシステムによって使用される、異なるプラットフォームから実行しても良い。

また本発明は、これらの操作を実行する装置に関する。この装置は特定目的のための専用機であってもよいし、コンピュータに記憶されたコンピュータプログラムによって選択的に作動または環境設定される、汎用コンピュータであってもよい。そのようなコンピュータプログラムは、コンピュータ読み取り可能な記憶媒体に記憶されていても良いが、フロッピー（登録商標）ディスク、光学ディスク、ＣＤＲＯＭ、光磁気ディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気または光カード、特定用途向けＩＣ（ＡＳＩＣ）を含むディスク、または電子的な命令の記憶に好適で、それぞれコンピューターシステムバスに接続されている媒体の、いずれのタイプのものにも限定されない。さらに本願明細書でいうコンピュータは、シングルプロセッサ型であっても良いし、より高い演算能力を有するマルチプロセッサ型であってもよい。

本願明細書に示すアルゴリズムおよび表示装置は、予めある特定のコンピュータや他の装置を意図して開示するものではない。さまざまな汎用システムを、ここで説明するプログラムとともに用いてもよいし、方法上の所要工程を実行するためには、専用機を構成すると便利であることがわかる。これらの多様なシステムに必要な構成は、以降の説明によって明らかになる。さらに、本発明の説明に際しては、いずれの特定プログラム言語も参照しない。ここに記載の本発明は、多様なプログラム言語を用いて実施してもよい。本発明の実施要件およびベストモード要件を考慮し、以後の説明中の特殊な用語全てに、参照すべき説明を付記する。

さらに、本願明細書にて用いる言語は、第一に可読性および内容理解を目的に選択したもので、発明の主題を正確に説明したり限定する目的で選択したものではない。したがって本願明細書の意図は、本発明をより理解しやすいように開示することであって、クレームに記載の本発明の範囲を限定することではない。

図１は、本発明の一実施形態が内部で作動する演算システム１０２を示す。演算システム１０２は、演算装置１００および撮像装置１０５を備える。演算装置１００は、処理装置１１０、入力装置１２０、出力装置１３０、およびメモリ１４０を備える。一実施形態において演算装置１００は、トランシーバまたはコネクタを備える通信モジュール１５０をさらに備える。

撮像装置１０５はビデオカメラ、または動体を電子的に撮像可能な他のビデオ撮像装置であって、人間のような対象物の動作を表す画像データを撮像し、撮像データを演算装置１００へ転送する。一実施形態では、撮像装置１０５は、ＣＳＥＭ奥行きカメラのような奥行き／映像合成カメラ装置である。奥行き／映像合成カメラ装置において、奥行き装置は撮像モジュール１０５の視界内での対象物の存在および座標を捕捉し、映像装置は、撮像装置１０５が観測した異なる対象物同士を識別する。検知した他の対象物から人間を識別するために、撮像装置１０５は、奥行き装置からの奥行き情報を用いたり、奥行き装置からの奥行き情報を処理装置１１０へ送信して、奥行きが大きな水平及び垂直の輪郭線を形成したりする。ロジスティック回帰分析を用いて機能する人体認識手段が、撮像装置１０５によって観測された人物の座標の最尤推定値を返すための特徴としては、水平及び垂直の輪郭線が用いられる。上記説明では人物の検知について説明したが、奥行き装置からのデータを、他のタイプの対象物認識に用いても良い。例えばある実施形態では、衣服の色を利用して異なる人物同士を識別することにより、映像装置を用いて物体から個々の人間を識別してもよい。撮像された画像データは、画像データを撮像装置１０５から処理装置１１０）へ送信され、処理装置１１０）は、前記撮像された画像データを処理して、１つ以上の対象物を追跡する。

処理装置１１０はデータ信号を処理するものであって、複合命令セットコンピュータ（ＣＩＳＣ）アーキテクチャ、縮小命令セットコンピュータ（ＲＩＳＣ）アーキテクチャ、または何セットかの命令の組み合わせを実行するアーキテクチャを含む、さまざまな演算構造を備えていても良い。図１は単一の処理装置のみを示すが、複数の処理装置を備えても良い。処理装置１１０は、論理演算装置、マイクロプロセッサ、汎用コンピュータ、または何らかの他の情報装置を備える。これらは、メモリ１４０、入力装置１２０、出力装置１３０、または通信モジュール１５０からの電子データ信号を、送信、受信、および処理するために設けられるものである。

入力装置１２０は、カーソルコントローラまたはキーボードのように、ユーザが演算装置１００へ入力を行えるものであれば、どのような装置であっても良い。またある実施形態では、入力装置１２０は、情報および／または選択した命令の、処理装置１１０またはメモリ１４０への通信に適応させた、英字／数字入力装置を備えても良い。この英字／数字入力装置としては、ＱＷＥＲＴＹ配列キーボード、小型キーボード、またはタッチスクリーン上に小型キーボードを表示したものがある。入力装置１２０は、他の実施形態では、位置データおよび選択した命令を処理装置１１０へ送信するために設けられた、ユーザ入力装置である。このようなユーザ入力装置には、ジョイスティック、マウス、トラックボール、スタイラス、ペン、タッチスクリーン、カーソル方向キー、または他の画像移動調整機構がある。

出力装置１３０は、ここで説明する電子画像及びデータを表示するために設けられたものであれば、どのような装置であっても良い。例えば出力装置１３０は、有機発光ダイオード（ＯＬＥＤ）、液晶ディスプレイ（ＬＣＤ）、陰極線管（ＣＲＴ）ディスプレイ、または他の類似の表示装置、スクリーンまたはモニタであってもよい。ある実施形態では、出力装置１３０は、出力装置１３０の画面をタッチ式透明パネルで覆った、タッチスクリーンを備える。

メモリ１４０は、処理装置１１０によって実行される命令および／またはデータを記憶する。前記命令および／またはデータは、ここで説明する手法のいずれか、または全てを実行する符号であってもよい。メモリ１４０は、随時書込み読出しメモリ（ＤＲＡＭ）装置、スタティックＲＡＭ（ＳＲＡＭ）装置、フラッシュＲＡＭ、他の非揮発性記憶装置、上述のものを組み合わせたもの、または当該技術分野にて公知の他の何らかのメモリ装置であってもよい。メモリ１４０は、領域生成モジュール１４２、観測モジュール１４４、および追跡モジュール１４６を備え、処理装置１１０、入力装置１２０、出力装置１３０、および／または通信モジュール１５０との通信に適応する。

領域生成モジュール１４２は、対象物の位置および演算システム（正しくは演算装置）１００の位置の領域対応型モデルを、生成および変更したことを表す情報を含む。ある実施形態において領域生成モデルは、動的ベイジアンネットワーク（ＤＢＮ）を示す。ＤＢＮとは、まず一つの領域を選択し、それから１つの対象物に対応付けた当該領域内で、カルテシアン座標のような位置を選択したものである。例えば当該領域は離散変数であり、その位置は当該離散変数上の線形ガウス条件付分布になる。一実施形態において、前記生成した領域は、持続した一定時間停止してそこに留まっている状況での、人間の位置に対応する。典型的には当該領域とは、机の前の領域、プリンタの前の領域、飲料水冷却器の前の領域、または類似の位置のことである。前記領域および位置を示すほか、領域生成モジュール１４２は、２つの領域間、および1つの領域内の２つの位置間で、１つの対象物の動作を表す移行モデルも含む。一実施形態において、領域生成モジュール１４２に含まれる移行モデルは、現在位置の周囲のわずかなベース領域でのガウスカーネル密度を、ブラウン運動理論を用いて仮定して、１領域内の位置変数の挙動をモデル化する。同様に、１つの対象物が第１の領域から第２の領域へ移行すると、前記移行モデルは、前記第２の領域からの情報を用いて、前記第２の領域内での前記対象物の位置を決定する。

観測モジュール１４４は、演算システム１０２が対象物を観測して、局所化する確率を決定するための命令を含む。異なる場合に応じて対象物の観測確率を決定するために、観測モジュール１４４は、観測確率を算出するためのデータを含む。ここで異なる場合とは、撮像装置１０５の視界内で１つの対象物が観測される場合と、撮像装置１０５の視界内で１つの対象物が観測されない場合とをいう。観測モジュール１４４によって実行される対象物の観測確率の計算について、さらに下記の通り図４を参照して説明する。

観測モジュール１４４は、演算システム１０２の位置を決定するためのデータを、さらに含む。ある実施形態において観測モジュール１４４は局所化モジュール１４５を含む。この局所化モジュール１４５は、演算システム１０２の位置を決定するための命令を含む。例えば観測モジュール１４４には、演算システム１０２を備えるロボットの位置を、どのように局所化するかが記述されている。ある実施形態において観測モジュール１４４には、ＦａｓｔＳＬＡＭ法など、モンテカルロ位置同定法を改変したものが記載されている。この方法では、粒子フィルタは、演算システム１０２が推量した経路を、当該状況を通じて維持する。ＦａｓｔＳＬＡＭ法に関しては、アメリカ人工知能学会全国会議会報におけるＭ．Ｍｏｎｔｅｍｅｒｌｏらの報告「A Factored Solution to the Simultaneous Localization and Mapping Problem」を援用する。観測モジュール内に含まれる位置特定方法について、さらに下記の通り図２を参照して説明する。

追跡モジュール１４６は、対象物位置の事後確率分布を、どのように追跡するかについて記述したデータを含む。ある実施形態において追跡モジュール１４６には、領域対応粒子フィルタが記述されており、ここで各粒子は領域変数を１つと、位置変数を１つ含む。また追跡モジュール１４６は、現在の観測確率を示す各粒子の重量を、前記対象物が特定位置にあるという仮定に基づいて計算する。そして、厳密に制御した各領域の確率質量を維持するために、ある領域の総重量が、当該領域に含まれる粒子の総重量と等しくなるように、追跡モジュール１４６は各領域を再標本化する。領域生成モジュール１４２に記述された移行モデルは、ある特定領域内の位置分布に誤差があっても、当該特定領域内に位置する対象物の離散確率が正確になるように、対象物が領域間を移行する様子のモデルを、粒子特異的な重み付け法を用いて規定する。追跡モジュール１４６による対象物追跡方法について、さらに下記の通り図５を参照して説明する。

一実施形態において演算装置１００は、通信モジュール１５０をさらに備える。この通信モジュール１５０は、演算装置１００を不図示のネットワークまたは他の演算装置１００に接続する。このネットワークは、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）（例えばインターネット）、および／または、複数の装置同士が通信可能な他のあらゆる相互接続データ経路であってもよい。ある実施形態において通信モジュール１５０は、他の演算装置１００へのファイル及び情報配信用の従来型の接続手段である。このようなものにはＵＳＢ，ＩＥＥＥ１３９４またはイーサネット（登録商標）がある。他の実施形態では通信モジュール１５０は、従来型のさまざまな通信方式のトランシーバである。このような通信方式には、赤外線通信、ＩＥＥＥ ８０２．１ ｌａ／ｂ／ｇ／ｎ（またはＷｉＦｉ）通信、ブルートゥース通信、第３世代通信、ＩＥＥＥ ８０２．１６（またはＷｉＭａｘ）通信、または無線通信がある。

演算装置１００の構成要素の数が、図１に示す構成要素の数よりも多かったり少なかったりすることがあるが、そのことは本発明の趣旨から逸脱するものではないことは、当業者には明らかである。例えば演算装置１００は付加的なメモリを備えても良い。このようなものには、1次または２次キャッシュ、または１つ以上の特定用途向けＩＣ（ＡＳＩＣ）がある。同様に演算装置１００は、付加的な入力装置または出力装置を備えても良い。本発明のある実施形態では、１つ以上の構成要素（１１０，１２０，１３０，１４０，１４２，１４４，１４６）を互いに近接して配置しても良いし、他の実施形態ではこれらの構成要素を互いに離して配置してもよい。例えばメモリ１４０の構成単位は、演算装置１００内で離れて配置され、１つ以上の処理装置１１０によって実行可能な、プログラムであっても良い。

図２は、本発明の一実施形態の領域対応型の対象物追跡法２００を示す、フローチャートである。一実施形態において方法２００の工程は、ソフトウェアまたはファームウェアによる命令として、マイクロプロセッサ１１０によって実行される。当業者であれば、当該方法の１つ以上の工程を、ハードウェアおよび／またはソフトウェア、またはこれらの組み合わせによって実行できることは、認識可能である。例えば図に示す動作を実行ための命令は、コンピュータ読取可能な媒体内にて実行または記憶されている。さらに当業者であれば、他の実施形態では、図２の工程を違う順序で実施してもよいことを認識可能である。さらに他の実施形態は、ここに記載した工程に対して、異なる工程や追加の工程を備えても良い。

まず工程２１０にて、領域生成モジュール１４２は、複数の領域を生成する。一実施形態において前記複数領域は、離散領域変数の層を１つ有する動的ベイジアンネットワーク（ＤＢＮ）を形成する。この離散領域変数は、机に近い位置または飲料水冷却器に近い位置など、人間などの対象物の位置の共通表現である。各領域は、１領域内の１つの対象物の、正確な位置の確率分布を規定する。一実施形態では各領域は、２次元平均ベクトルμ_ｒおよび２ｘ２共分散行列Σ_ｒに対応付けられる。各領域は、１つの対象物の位置をより正確に特定する、複数の位置変数を含む。例えば前記位置変数は、１領域内の１つの対象物の位置を特定する（ｘ_ｔ，ｙ_ｔ）のようなカルテシアン座標よりなる。したがって、Ｘ_ｔ〜Ｎ（μ_ｒｔ，Σ_ｒｔ）となるような媒介変数（μ_ｒ，Σ_ｒ）を有するガウス分布から、１つの領域Ｒ内の各対象物に対応する位置であるＸ_ｔ＝（ｘ_ｔ，ｙ_ｔ）が導き出される。さらに、前記生成されたＤＢＮにおいては、演算システム１０２の位置がタプル（ｘ，ｙ，θ）で規定される。観測したデータは、このタプル（ｘ，ｙ，θ）によって絶対座標に変換できる。例えば１体のロボットに演算システム１０２が備えられている場合、ロボットの姿勢はタプル（ｘ，ｙ，θ）で規定される。

工程２１０にて前記複数領域が生成されると、対応する移行モデルも１つ生成される。前記移行モデルは、１領域内のある位置から別の位置の１つの対象物が移動する動作、および１つの対象物が複数領域間を移動する動作を表す。一実施形態では、１つの領域内の２つの位置間の移動の動的挙動を、ブラウン運動（理論）によってモデル化する。例えば、１つの対象物の現在位置を中心とするわずかなベース領域について、ガウスカーネル密度を生成する。ＤＢＭが更新されると、前記対象物の新たな位置を、このガウスカーネル密度に基づいて選択し、前記現在の領域に対応付けられたガウス分布にしたがって確定する（例えば媒介変数が（μ_ｒ，Σ_ｒ）であるガウス分布）。したがって位置データの平衡分布はマルコフ連鎖上で収束し、前記領域の事前分布へ戻る。この分布状態は、観測されなかった１つの対象物、すなわち現在の領域にとどまるものの、前記事前分布によって規定した当該領域内の異なる位置を占めるかもしれない対象物の予測挙動を、モデル化したものである。

前記移行モデルは、異なる２領域間での対象物の移行の様子も示す。対象物が、所与の時刻に第１の領域から第２の領域へ移動する確率は小さい。１つの対象物が第１の領域から第２の領域へ移動すると、当該第２の領域における当該対象物の位置は、当該対象物が当該第１の領域から当該第２の領域へ移動する前の時刻の、第２の領域に関するガウス分布から導き出される。例えば、１つの対象物が時刻ｔに領域ｒにおいて位置Ｘ_ｔにあり、時刻ｔ+１に領域ｒ’へ移動するものとする。時刻ｔ+１の領域ｒ’における前記対象物の位置を、時刻ｔの領域ｒ’のガウス分布を用いてモデル化する。

工程２１０にて当該領域および移行モデルを生成すると、１つの対象物を特定する粒子に対応付けられた領域を工程２２０にて決定し、その後、前記決定した領域内の当該粒子を、工程２３０にて決定する。例えば、前記複数領域に加えて工程２１０にて生成した前記移行モデルは、１つ以上の粒子にも適用する。各粒子は１つの対象物を表す。粒子が第１の領域から第２の領域へ移動したことが、移行モデルの適用によってわかった場合には、前記粒子の前記第２の領域における新しい位置を、前記第１の領域での事前位置を用いて、工程２３０にて決定する。

工程２４０において、対象物に対応付けた前記粒子へ観測モデルを適用し、異なる領域において前記粒子を観測する確率を決定する。工程２４０にて前記観測モデルを適用する際、観測モジュール１４４は、前記対象物が撮像装置１０５によって観測されたかどうかを判断し、生成された前記各領域において前記対象物を観測する確率を算出する。演算システム１０２の位置は、後の工程２５０において各領域を更新するために、追跡モジュール１４６が行う対象物追跡に影響を及ぼす。このため前記観測モデルが適用されると、観測モジュール１４４は演算システム１０２の位置も決定する。この観測及び確率算出の一例を、さらに下記の通り図４を参照して説明する。

前記観測モデルが適用されると、追跡モジュール１４６は、生成された前記各領域の属性を工程２５０にて更新する。前記観測モデルが適用されると、各領域の確率分布が、対象物が現在特定の領域内に存在する可能性を反映するように、追跡モジュール１４６は、各領域に対応付けられた前記確率分布を変更する。各領域の確率質量を厳密に規定するために、ある領域内の粒子の総重量が当該領域の総重量と等しくなるよう、各領域は工程２５０にて更新される。したがって、各離散領域の確率質量が各領域内で前記対象物を発見する可能性を正確に表すように、生成された領域の移行モデルは、各領域の確率質量をどう変更するかを規定する。

図３は、本発明の一実施形態の状況を領域対応型で表した一例である。一実施形態において演算システム１０２は、予め当該演算システム１０２の周囲の当該状況の平面図にあわせて構成されている。当該平面図には、壁、ドア、机、椅子、および他の物体などの、異なる物体の位置が記載されている。例えば、演算システム１０２の領域生成モジュール１４２には、ある職場の異なる複数の部屋および各部屋内の物体の、相対位置を示す平面図が記憶されている。さらに周辺状況の様子を予め得るために、演算システム１０２は、当該状況内で想定される対象物の位置を記述したデータも得ている。例えば、演算システム１０２は、当該状況内の異なる物体の近くに、対象物が存在する可能性の近似値を示すデータを得ている。ある実施形態では、事前に得たこれらの近似値は、当該状況内のさまざまな物体の近くに対象物が存在する確率と等しくなる。事前に得たこれらの近似値は、同様の状況について記述した事前データや、現在の状況について記述した事前データによっては、複数の異なる物体の近くに対象物が存在する確率とは異なることもある。

前述の演算システム１０２の状況を判りやすくするため、図３の例では、第１の物体３０５Ａと第２の物体３０５Ｂとの２つの物体を示す。演算システム１０２の周囲の状況を説明する他の実施形態では、物体の数はこれよりも多い場合も、少ない場合もある。領域生成モジュール１４２が、前記のように得た状況データから第１の物体３０５Ａと第２の物体３０５Ｂとを識別すると、各物体に対応付けられた領域が１つ生成される。したがって、第１の領域３１０Ａが生成されて第１の物体３０５Ａに対応付けられ、第２の領域３１０Ｂが生成されて第２の物体３０５Ｂに対応付けられる。これらの領域の各々は、前記物体の近くにある対象物の位置の分布を定義する。したがって、第１の領域３１０Ａは、第１の物体３０５Ａの近くにある対象物の確率分布を示し、第２の領域３１０Ｂは、第２の物体３０５Ｂの近くにある対象物の確率分布を示す。２次元平均ベクトルμ_ｒおよび２ｘ２共分散行列Σ_ｒは、各領域と対応付けられ、ガウス分布の特性を各領域と対応付けて特定する。前記領域特異的なガウス分布を用いて、領域内での対象物の位置を決定する。

複数の領域は、対象物が存在する可能性のある領域を定義するが、１つの領域内で１つの位置が得られれば、その領域内での物体の位置を、より正確に示すことができる。位置に関する媒介変数は、その領域の特性である、２次元平均ベクトルμ_ｒと、各領域に対応付けられた２ｘ２共分散行列Σ_ｒとに依存する。図３は、第１の領域３１０Ａ内、および第２の領域３１０Ｂ内での、対象物の位置を示す。第１の位置３２０Ａは、第１の領域３１０Ａ内での対象物の位置を示す。第１の位置３２０Ａは、２次元平均ベクトルμ_ｒと２ｘ２共分散行列Σ_ｒとが、第１の領域３１０Ａに対応付けられるように、第１の領域３１０Ａに関して前記ガウス分布から抽出した変数である。同様に、第２の位置３２０Ｂは、２次元平均ベクトルμ_ｒと２ｘ２共分散行列Σ_ｒとが、第２の領域３１０Ｂに対応付けられるように、第２の領域３１０Ｂに関して前記ガウス分布から抽出した変数である。

ある実施形態では対象物の位置を、動的ベイジアンネットワーク（ＤＢＮ）を用いて領域対応型とする。動的ベイジアンネットワーク（ＤＢＮ）は、対象物の位置情報を２つに分割することができ、１つはモデル化用情報であり、もう１つは決定用情報である。対象物の位置のモデル化に、領域と領域内の位置との両方を用いることにより、異なる時間尺度で発生する対象物の移動が、複数の異なるレベルの対象物位置モデルに分割されるので、対象物追跡能力が改善し、より長い時間に亘って対象物追跡を行うことができる。例えば、ある１つの特定領域に対応付けたガウス分布を用いることにより、当該領域内の動きをモデル化できるので、領域内の対象物追跡を簡素化することができる。

さらに、対象物の位置についての正確な情報ではなく、対象物を含む広い領域についての情報を用いることにより、作業レベルの決定を簡略化できるので、領域対応情報を用いて作業レベルの決定を行っても良い。さらに、離散領域を用いると、領域単位で対象物追跡を行うことができるので、従来の粒子フィルタよりも効率的で正確な追跡が可能となる。

図４は、１つ以上の領域内で対象物を観測する確率決定方法を示す、本発明の一実施形態のフローチャートである。したがって図４は、撮像装置１０５からデータを得て、観測モデルを１つ以上の領域に適用する工程２４０の一実施形態を示す。

まず観測モジュール１４４は、工程４０５にて撮像装置１０５を局所化する。例えば、撮像装置１０５が移動型ロボット内に含まれる場合は、工程４０５において当該移動型ロボットを局所化する。工程４０５で撮像モジュール１０５を局所化すると、図５にさらに示す工程と図４の局所化工程との条件付相互依存関係により、対象物追跡をより効率的に行うことができる。

ある実施形態では、モンテカルロ位置同定法を改変したＦａｓｔＳＬＡＭ法などを用いると、粒子フィルタを位置特定に適用できる。ＦａｓｔＳＬＡＭ法に関しては、アメリカ人工知能学会全国会議会報におけるＭ．Ｍｏｎｔｅｍｅｒｌｏらの報告「A Factored Solution to the Simultaneous Localization and Mapping Problem」を援用する。前記ＦａｓｔＳＬＡＭ法を適用した一実施形態においては、対象物に対応付けた粒子は、撮像装置１０５によって撮像された経路の近似値を、状況を通じて維持する。したがって特定の時刻ｔにおける粒子の集合は、下記の数式によって表される。

［数１］

この数式において、上付き文字［ｍ］はｍ番目の粒子を表し、上付き文字ｔは、時刻１から時刻ｔにおける変数の集合を表す。Ｓ_ｔは、ブートストラップアルゴリズムを用いて、前記粒子の集合から、その前の時間間隔Ｓ_ｔ−１で反復的に演算される。一実施形態において、次の式によって表される確率的動作モデルから、時刻ｔでの各粒子ｓ^{ｔ−１，ｍ}の姿勢候補ｍが生成される。

［数２］

この式において、ｕ_ｔは時刻ｔでの制御要素である。新姿勢ｑ_ｔ ^［ｍ］が、ｓ^{ｔ−１，ｍ}に含まれる姿勢の集合の後に追加され、得られた粒子は暫定集合Ｔ内に記憶される。暫定集合Ｔ内の各粒子は、下記数式を用いて算出した重要度係数によって重み付けされる。

［数３］

この数式において、ｚ^ｔは時刻１から現在時刻ｔまでになされた観測状態を示す。そして、前記重要度係数によって重み付けした暫定集合Ｔを標本化することによって、Ｓ_ｔを算出する。このように、Ｓ_ｔ−１がｐ（ｓ^{ｔ−１，［ｍ］}｜ｚ^ｔ−１，ｕ^ｔ−１）にしたがって分布していれば、ｐ（ｓ^{ｔ，［ｍ］}｜ｚ^ｔ，ｕ^ｔ）からＳ_ｔが抽出される。現在時刻の粒子の集合は、時間間隔Ｓ_ｔ−１から、他の情報を要することなく、前記姿勢候補を用いて算出することができるので、測定時刻より前の姿勢候補が不要になり、記憶容量を節約することができる。

続いて工程４１０にて観測モジュール１４４は、対象物が撮像装置１０５によって観測されたかどうかを判定する。例えば、撮像装置１０５からの奥行き情報を用いて形成した水平及び垂直の輪郭線を、ロジスティック回帰分析を用いた対象物認識手段として使用できる。１つの対象物の複数の座標について前記対象物認識手段が最尤推定値を生成すると、工程４１０にて観測モジュール１４４は、撮像装置１０５の視界内で対象物が観測されたと判定する。座標候補が１つも帰ってこない場合は、工程４１０にて前記観測モジュールは、撮像装置１０５の視界内で対象物が観測されなかったと判定する。ある実施形態において、観測モジュール１４４は、対象物が観測されたかどうかを工程４１０で判定する際に、前記形式（Ｏ_ｔ ^Ｉ，Ｏ_ｔ ^Ｘ）の観察変数を変更する。Ｏ_ｔ ^Ｉは指標変数であり、対象物が撮像装置１０５によって観測された場合は値が１になり、対象物が撮像装置１０５によって観測されなかった場合は値が０になる。対象物が観測されたことをＯ_ｔ ^Ｉが示すと、Ｏ_ｔ ^Ｘは、撮像装置１０５に観測された対象物の座標に変換される。

対象物を観測した場合と観測しなかった場合とでの、工程２４０における観測モジュールの適用詳細については、図４に加えて図６Ａおよび６Ｂを参照のこと。図６Ａは、対象物６２２が撮像装置１０５の視界内にない場合の例であり、図６Ｂは、対象物６２２が撮像装置１０５の視界内にある場合の例である。このように図６Ａは、対象物が撮像装置１０５によって観測されなかったと、観測モジュール１４４が工程４１０にて判定した場合の工程を示す例であり、図６Ｂは対象物が撮像装置１０５によって観測されたと、観測モジュール１４４が工程４１０にて判定した場合の工程を示す例である。

対象物が撮像装置１０５によって観測されなかったと、観測モジュール１４４が工程４１０にて判定した場合は、撮像装置１０５の現在の視界６３０中で対象物が観測されなかったことを示す確率分布を、工程４２０にて特定する。一実施形態では、Σ_ｏｂｓの共分散行列による位置Ｘ_ｔを中心とするガウス分布として、対象物６２２の位置Ｘ_ｔ＝（ｘ_ｔ，ｙ_ｔ）での観測誤差を、工程４２０にて特定する。共分散行列を回転させるとガウス分布の主軸は、法線に沿うとともに、撮像装置１０５と対象物６２２とを結ぶ方向と垂直になる。このように、撮像装置１０５の現在の視界６３０内で対象物を観測しない確率を、工程４２０にて次の数式を用いて特定する。

［数４］

この数式において、Ａは視界６３０内に対象物６２２を含む領域６２０がある部分６３５を示す。Ｎ（ｘ；Ｘ_ｔ，）は、平均がＸｔで共分散がΣ_ｏｂｓであるガウス分布を表す。領域６２２内、または領域６２２の部分６３５内であって、なおかつ撮像装置１０５の視界６３０の外で、対象物６２２が観測される確率を、この特定した確率分布を用いて工程４３０で算出する。

図６Ａに示すように視界６３０には、壁や他の不透明体のような、撮像装置１０５による視界６３０内の領域の観測を妨げる障害物６４０が、１つ以上含まれていてもよい。例えば撮像装置１０５は、障害物６４０の背後にある視界６３０の一部の領域を、観測することができない。このように障害物６４０は、撮像装置１０５による領域６２０の一部または他の領域の観測を、妨げるものであるから、前記対象物が現在の視界６３０内では観測されない確率は、遮られて見えない対象物６２２を含む領域６２０の領域の大きさを示す。一実施形態ではレーザ距離計などの距離計によって、障害物６４０の奥行きを得る。この距離計は、撮像装置１０５と交信してもよいし、撮像装置１０５内に含まれていてもよい。領域６２０の観測されていない部分６３５の算出を容易にするために、ある実施形態では、撮像装置１０５に垂直な主軸に沿って、観測されていない部分６３５のポイントの一次積分を行う。

撮像装置１０５が対象物を観測したと、観測モジュール１４４が工程４１０にて判定した場合は、撮像装置１０５から前記観測した対象物の座標を、工程４２５にて決定する。ある実施形態において、撮像装置１０５が対象物を観測すると、これに応じて、観測モジュール１４４は観察変数Ｏ_ｔを変更する。例えば、観察変数のＯ_ｔ ^Ｉ指標変数を１の値に設定し、観察変数のＯ_ｔ ^Ｘ成分を、撮像装置１０５によって撮像した対象物の座標に変換する。例えば、Ｏ成分を、撮像装置１０５によって撮像された対象物に関するカルテシアン座標として特定する。図６Ｂに示す例では、物体６５２が、撮像装置１０５の視界６３０に含まれる領域６５０内にあるので、観察変数をＯ_ｔ＝（１，（ｏ_ｘ，ｏ_ｙ））と設定する。

撮像装置１０５の視界内に対象物がある確率の計算結果が、撮像装置１０５の視界内に対象物がない確率の計算結果と対称となるように、工程４２７にて観測モジュール１４４は最小観測誤差を設定する。観測座標における領域のガウス分布を評価すると、撮像装置１０５の視界内に対象物がある確率の計算結果に対し、撮像装置１０５の視界内に対象物がない確率の計算結果が非対称となるので、工程４２７にて最小観測誤差を｜｜ｏＸ−ｘｔ，ｏｙ−ｙｔ｜｜と設定する。ここで（ｏｘ，ｏｙ）は観測点の座標であり、（ｘｔ，ｙｔ）は対象物の座標である。工程４２７で最小観測誤差を設定することにより、視界６３０内で対象物を観測する確率を、工程４３５にて下記数式を用いて算出する。

［数５］

ここでｅｒｆは誤差関数を示し、ガウス分布の累積分布関数である。したがって、対象物が撮像装置１０５の視界６３０内の領域６５０内にある確率は、中点がＸｔで、観測位置に拘束される共分散がΣ_ｏｂｓであるガウス分布の大きさを表す。工程４３５において、撮像装置１０５が対象物を観測する確率の計算は、対象物６５２を含む領域６５０が示す累積分布関数の計算を含むので、視界内に障害物６４０があっても、工程４３５での確率計算が複雑になることはない。

図５は、対象物の位置に基づいて、工程２５０にて領域確率を更新する方法を示す、本発明の一実施形態のフローチャートである。一実施形態では、対象物の位置の事後確率分布の推移の把握に、１つ以上の粒子フィルタを用いる。しかしながら、撮像モジュール１０５にはレイテンシー（待ち時間）があり、結果を返ってくるまで０．５秒程要することがあるため、新たな観測結果の有効性に応じて、１つの追跡モジュール１４６または複数の粒子フィルタを更新する。観測結果の有効性を用いて結果単位の尺度で更新することにより、対象物追跡に用いる動的ベイジアンネットワークの時間尺度が自然なものになる。

工程５１０にて、観測モジュール１４４から各粒子の重量を検索する。観測モジュール１４４が図４に示す観測モデルを適用する場合、対象物に対応付けた粒子の重量として、撮像装置１０５の視界内の対象物について計算した確率、または、撮像装置１０５の視界外の対象物について計算した確率を用いる。その後、工程５２０にて各領域を再標本化し、ある領域の総重量が、当該領域内に含まれる粒子の確率の総重量と等しくなるように、新しいデータを用いて、異なる領域にある対象物の確率を工程５３０にて更新する。したがって、ある領域内に粒子がある確率を高精度に得るために、領域に粒子があること確率を示す各領域の確率質量を、厳密に制御する。

ある実施形態では、ある領域内の粒子重量の経験的分散値が一定の閾値よりも低い場合には、それらの領域を工程５２０にて再標本化する。当該重量が領域内の粒子の小集合に集中する場合は、工程５２０にて再標本化すると都合が良い。またある実施形態では工程５２０にて、新たな粒子を個別に生成するのではなく、継続確率過程を用いて領域を再標本化する。この継続確率過程では、事前に範囲［０，Ｗ^−１］において乱数ｔを生成する。ここでＷは領域の総重量を表す。したがってサンプルの集合は重量ｔ，Ｔ＋Ｗ^−１，ｔ＋２Ｗ^−１などに対応する。工程５２０にて継続確率過程を用いて再標本化を行うと、Ｏ（Ｍ ｌｏｇ Ｍ）からＯ（Ｍ）となり、工程５２０での再標本化を簡潔にすることができる。Ｍは粒子の数を表す。

本発明の一実施形態の対象物の位置に基づいて、工程２５０にて領域確率を更新する方法を用いると、対象物ごとに別々の粒子フィルタを用いて、複数の対象物を追跡することができる。対象物の位置間の相関関係は、撮像装置１０５の位置から推論されるが、撮像装置１０５には移動経歴があることを考慮すると、２つの対象物の位置は、条件付ではあるが互いに独立している。観測モジュール１４４によって局所化され、１つの対象物に対応付けられた各粒子は撮像装置１０５の移動経歴を含むので、別々の粒子フィルタを用いて別々の対象物を追跡することができる。対象物が複数で粒子フィルタが１つの場合には、粒子フィルタのサイズは対象物の個数に指数関数的に依存するが、別々の粒子フィルタを用いることで、粒子フィルタのサイズを、対象物の個数に基づいて線形的に決定することができる。

図７は、本発明の一実施形態の、自動化された配達業務の平均終了時間を示す図である。領域型粒子フィルタと、領域型ではない従来のブートストラップフィルタとによる、複数の対象物への１００回以上の配達業務における、シミュレーション性能を比較する。図７は、ブートストラップフィルタ性能曲線７１０と、領域型粒子フィルタ性能曲線７２０とを用いて、全対象物への配達業務終了に要する平均時間を、対象物の個数別に示したものである。図７に示すように領域型粒子フィルタは、従来のブートストラップフィルタよりも短時間で配達業務を終了させており、対象物の数が多いほど、領域型粒子フィルタによる性能改善幅は大きくなる。

本願明細書では、本発明の特定の実施形態および用途について、図示および説明したが、本発明はここに開示した構造及び構成要素に、厳格に限定されるものではない。本発明の方法および装置の、構成、操作、詳細に対し、クレームに記載の本発明の趣旨から逸脱することなく、さまざまな改造、変更、および変形を行ってもよい。

Claims (16)

1. １つ以上の対象物を追跡するシステムであって、
   対象物を表す画像データを撮像する撮像装置と、
   複数の離散領域を生成する領域生成モジュールであって、前記各領域は１つ以上の位置を有し、前記各領域のすべての位置に対する、目的とする１つ以上の対象物の確率分布が与えられ、前記確率分布は前記対象物の其々に対して、前記領域内の各位置に存在する確率を表している、領域生成モジュールと、
   前記撮像装置と前記領域生成モジュールとに接続され、前記各領域ごとに、
   前記画像データに基づき、複数の粒子からなる集合であって、前記粒子の其々が前記領域内に存在する一つの対象物と対応付けられる集合を作成し、
   各々の前記粒子に対応付けられる重量であって、前記領域内の前記粒子と対応付けられる前記対象物を観測する確率を表す重量を決定し、
   前記対象物が前記領域内に位置する全確率が、前記対象物に対応する前記複数の粒子の総重量と等しくなるように、生成された各々の粒子と対応付けられている前記重量に応じて、前記領域と対応付けられている確率分布を変更する、
   観測モジュールと、を備えることを特徴とするシステム。
2. 前記撮像装置は、前記対象物の位置を表すデータを捕捉する奥行き装置と、１つ以上の追加の対象物から前記対象物を識別する映像装置とを備えることを特徴とする、請求項１に記載のシステム。
3. 前記観測モジュールは、走行距離計測法と観測照合手法とを用いて、前記撮像装置を局所化して、前記撮像装置によって撮像された経路を近似したデータの集合を求めることを特徴とする、請求項１に記載のシステム。
4. 前記観測モジュールに接続され、前記撮像装置から画像データを受け取ると、各領域内で前記一つ以上の対象物を追跡する追跡モジュールを、さらに備えることを特徴とする、請求項１に記載のシステム。
5. 状況を通じて対象物を追跡する方法であって、
   複数領域を生成する工程であって、各領域は１つ以上の位置を含むとともに前記対象物の位置を表し、各領域は、前記対象物が前記１つ以上の位置の各々に存在する確率を表す確率分布に対応付けられた工程と、
   撮像装置からデータを受け取ると、前記受信データに基づいて、各領域について粒子の集合を生成する工程であって、各粒子は前記領域内の対象物に対応付けられ、前記対象物が前記領域内にあることを、当該粒子の集合全体によって表す工程と、
   各粒子に関する重量を決定する工程であって、当該重量は、前記領域において前記粒子に対応付けられた前記対象物を観測する確率を示す工程と、
   前記対象物が前記領域内に位置する全確率が、前記対象物に対応する前記複数の粒子の総重量と等しくなるように、生成された各粒子に対応する前記重量に基づいて、各領域に対応付けられた前記確率分布を変更する工程と、
   を備えることを特徴とする対象物の追跡方法。
6. 前記複数領域を生成する工程がさらに、
   領域内の第１の位置から第２の位置への前記対象物の移動を表す位置移行モデルを生成する工程と、
   第１の領域から第２の領域への前記対象物の移動を表す領域移行モデルを生成する工程と、
   を備えることを特徴とする請求項５に記載の方法。
7. 前記位置移行モデルは、２次元平均ベクトルおよび共分散行列よりなるガウス分布であり、前記２次元平均ベクトルおよび前記共分散行列は、対応付けられた確率分布と領域から生成されることを特徴とする、請求項６に記載の方法。
8. 前記生成された粒子に関する重量を決定する前記工程が、
   前記撮像装置に関する向きを局所化する工程と、
   前記対象物が前記撮像装置の視界内に含まれるかどうかを決定する工程とを、
   さらに備えることを特徴とする、請求項５に記載の方法。
9. 請求項８に記載の方法であって、前記対象物が前記撮像装置の視界内に含まれないと決定されると、
   前記撮像装置の視界内で前記対象物を観測しない確率を示す、観測誤差確率分布を決定する工程と、
   観測誤差確率分布を用いて、前記撮像装置の視界内の領域の一部について、前記撮像装置の視界内で前記対象物を観測しない可能性を算出する工程と、
   をさらに備えることを特徴とする、請求項８に記載の方法。
10. 請求項８に記載の方法であって、
    前記対象物が前記撮像装置の視界内に含まれると決定されると、
    前記撮像装置から前記対象物の座標を抽出する工程と、
    前記対象物の前記座標に関する最小観測誤差を決定する工程と、
    前記対象物が前記撮像装置の視界内で観測される確率を算出する工程であって、前記対象物が前記撮像装置の視界内で観測される確率が、前記最小観測誤差で拘束される工程と、
    をさらに備えることを特徴とする、請求項８に記載の方法。
11. コンピュータが命令を記憶し、状況を通じて対象物を追跡するコンピュータ読み取り可能な記憶媒体よりなるコンピュータプログラムであって、前記コンピュータ命令が、実行時に、
    複数領域を生成する工程であって、各領域は１つ以上の位置を含むとともに前記対象物の位置を表し、各領域は、前記対象物が前記１つ以上の位置の各々に位置する確率を表す確率分布に対応付けられた工程と、
    撮像装置からデータを受け取ると、前記受信データに基づいて、各領域について粒子の集合を生成する工程であって、各粒子は前記領域内の対象物に対応付けられ、前記対象物が前記領域内にあることを、当該粒子の集合全体によって表す工程と、
    各粒子に関する重量を決定する工程であって、当該重量は、前記領域において前記粒子に対応付けられた前記対象物を観測する確率を示す工程と、
    前記対象物が前記領域内に位置する全確率が、前記対象物に対応する前記複数の粒子の総重量と等しくなるように、生成された各粒子に対応する前記重量に基づいて、各領域に対応付けて前記確率分布を変更する工程と、
    を実行するコンピュータプログラム。
12. 前記複数領域を生成する工程が、さらに、
    領域内の第１の位置から第２の位置への前記対象物の移動を表す位置移行モデルを生成する工程と、
    第１の領域から第２の領域への前記対象物の移動を表す領域移行モデルを生成する工程と、
    をさらに備えることを特徴とする、請求項１１に記載のコンピュータプログラム。
13. 前記位置移行モデルは、２次元平均ベクトルおよび共分散行列よりなるガウス分布であることを特徴とする、請求項１２に記載のコンピュータプログラム
14. 前記生成された粒子に対応付けて重量を決定する前記工程が、
    前記撮像装置に対応付けた向きを局所化する工程と、
    前記対象物が前記撮像装置の視界内に含まれるかどうかを決定する工程とを、
    さらに備えることを特徴とする、請求項１１に記載のコンピュータプログラム。
15. 前記対象物が前記撮像装置の視界内に含まれないと決定されると、
    前記撮像装置の視界内で前記対象物を観測しない確率を示す、観測誤差確率分布を決定する工程と、
    観測誤差確率分布を用いて、前記撮像装置の視界内の領域の一部について、前記撮像装置の視界内で前記対象物を観測しない可能性を算出する工程とを、
    さらに備えることを特徴とする、請求項１４に記載のコンピュータプログラム。
16. 請求項１４に記載のコンピュータプログラム製品であって、前記対象物が前記撮像装置の視界内に含まれると決定されると、
    前記撮像装置から前記対象物の座標を抽出する工程と、
    前記対象物の前記座標に関する最小観測誤差を決定する工程と、
    前記対象物が前記撮像装置の視界内で観測される確率を算出する工程であって、前記対象物が前記撮像装置の視界内で観測される確率を、前記最小観測誤差で拘束する工程とを、
    さらに備えることを特徴とする、請求項１４に記載のコンピュータプログラム。

Images