JP7148713B2 - 位置合わせされた基準フレームを用いた物理空間における物体追跡のためのシステム - Google Patents

位置合わせされた基準フレームを用いた物理空間における物体追跡のためのシステム Download PDF

Info

Publication number
JP7148713B2
JP7148713B2 JP2021516944A JP2021516944A JP7148713B2 JP 7148713 B2 JP7148713 B2 JP 7148713B2 JP 2021516944 A JP2021516944 A JP 2021516944A JP 2021516944 A JP2021516944 A JP 2021516944A JP 7148713 B2 JP7148713 B2 JP 7148713B2
Authority
JP
Japan
Prior art keywords
sequence
frame
heading
orientation
external positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021516944A
Other languages
English (en)
Other versions
JP2021525937A (ja
Inventor
コラフランチェスコ,ジュリアン
テディキアン,シモン
ショデ,ニコラ
ギヨー,シモン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
7Hugs Labs SAS
Original Assignee
7Hugs Labs SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 7Hugs Labs SAS filed Critical 7Hugs Labs SAS
Publication of JP2021525937A publication Critical patent/JP2021525937A/ja
Application granted granted Critical
Publication of JP7148713B2 publication Critical patent/JP7148713B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0247Determining attitude
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0257Hybrid positioning
    • G01S5/0258Hybrid positioning by combining or switching between measurements derived from different systems
    • G01S5/02585Hybrid positioning by combining or switching between measurements derived from different systems at least one of the measurements being a non-radio measurement

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Navigation (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Position Input By Displaying (AREA)

Description

関連出願の相互参照
本出願は、2018年7月30日に出願された米国特許出願第16/049,074号の利益を主張する。
背景
「基準のフレーム」または「基準フレーム」は、動きおよび静止を測定することができる基準である。物理空間内の互いに静止している点の任意の集合は、その物理空間内の物体の相対運動を測定するための空間基準フレームを提供することができる。本開示の目的のために、慣性基準のフレームは、Fin=(oin; xin; yin; zin)として定義することができる。この定義では、oinは慣性基準のフレームの原点の位置を表すベクトルであり、xin、yin、およびzin慣性基準のフレームの3つの軸の向きを表すベクトルである。本開示全体を通して、ベクトルおよび行列は、それぞれ太字の小文字および大文字で表される。本開示の目的のために、ナビゲーションフレームは、原点が時間とともに変化するように、動いている物体を中心とする基準フレームとして定義することができる。したがって、特定のナビゲーションフレームは、Fnav =(pb(t); xnav ; ynav; znav)として定義することができる。この定義では、pb(t)は、空間内の物体の位置を表すベクトルを提供し、ナビゲーションフレームの原点としての役割を果たす関数であり、xnav、ynav、およびznavはナビゲーション基準フレームの軸の向きを表すベクトルである。最後に、本体の基準のフレームは、物体を中心とするフレームであり、その軸はこの物体の向きに対して固定されている。これは、Fb =(pb(t); Qb(t) e1; Qb(t) e2; Qb(t) e3)と記すことができ、eiは、そのi番目の要素に1があり、それ以外の場所には0がある三次元ベクトルであり、Qb(t)は、時間の経過に伴う本体の向きを表す回転行列である。本明細書の慣例により、e1は、本体基準のフレーム内の本体の向首方位軸として選択される。
上記の定義は、各フレームを定義することができる統一座標系があることを前提としており、ここで、各基準のフレームの定義におけるベクトルは、この統一座標系内の値である。ただし、統一座標系は、システム設計者の観点からは不明な場合がある。これは、地球がすべての人およびすべての物に包括的な基準のフレームを提供している日常生活の観点からは直感に反するかもしれないが、自動化されたシステムは、何が下方で、何が北向かを直感的に認識しない。さらに、システムの各構成要素に重力センサとコンパスとが与えられたとしても、システムの各要素に提供されるセンサのばらつきにより、システムは依然として、物理空間の統一モデルを作成するための共通の基準のフレームを有さないことになる。結果、所与のシステムによって使用される基準フレームを位置合わせするために変換が利用されることがある。
変換は、さまざまな理由で基準フレームを位置合わせするために使用される。1つの理由は、あるフレームにおいて取得されたデータを、システムが実行するように設計されている動作により役立つ別のフレームにおいて表すことである。たとえば、一部のGPSシステムは、最初に慣性軌道フレーム内の衛星の位置および速度を推定し、次に、データを使用して地表に対してナビゲートしているユーザにとって意味のあるものにするように、データを地球の固定基準フレームに変換する。変換を利用するもう1つの理由は、異なる基準のフレームから取得したデータを単一の正確なモデルに位置合わせすることである。ただし、基準フレームの位置合わせは必ずしも必要ではない。たとえば、スマートフォンの地図アプリケーションには、ユーザが地図上のスマートフォンの位置を追跡することを可能にし、スマートフォンの向きと位置の両方をユーザに提示するものがある。向きおよび位置は、所与の方向を指しており、地図上の所与の位置にある、矢印の形態の併合されたフォーマットにおいてユーザに提示される。向きはスマートフォンの内蔵センサによって提供することができ、一方、位置は衛星や無線基地局などの外部デバイスによって決定される。ただし、地図アプリケーションに必要な精度のレベルでは両方のデータソースを位置合わせする必要がないため、外部デバイスおよび内蔵センサで使用される基準フレームを位置合わせする必要はない。
概要
物体の向きと物理的位置の両方を追跡するシステムおよび方法が開示される。このシステムは、異なる基準フレームで測定を行う複数のセンサを含むことができる。開示されるシステムおよび方法は、それらのセンサの基準フレームを位置合わせすることによって、複数のセンサによって物体が高精度で追跡されることを可能にする。複数のセンサは、物体の異なる態様を測定することを課せられ得る。特定の実施形態では、デバイスの位置は、1つまたは複数の外部測位デバイスの形態のセンサによって測定することができ、一方、デバイスの向きは、内蔵センサによって測定される。1つまたは複数の外部測位デバイスは、第1の基準フレーム内の物体の位置を測定することができ、一方、内蔵センサは、第2の基準フレーム内の物体の向きを測定する。一般に、第1のフレームと第2のフレームとは本質的に位置合わせされていない場合がある(すなわち、各フレームの基底を構成するベクトルは2×2の共線ではない)。さらに、それらのフレームのハンデッドネス(handedness)に関して不確実性がある場合がある。本明細書に開示される方法およびシステムは、複数のセンサからのデータを統合された全体に結合することを可能にするために、異なる基準のフレーム間の変換の生成を可能にする。位置を追跡する外部センサと向きをタックする内蔵センサとの組の例では、その後、変換を使用して、単一の基準フレーム内で物体の位置および向きを正確に追跡することができる。物体の位置は第1の基準フレーム内で取得することができ、物体の向きは第2の基準フレーム内で取得することができ、変換を使用して2つの測定値の組をつなぎ合わせて、物理空間内の物体の完全なモデルを提供することができる。
本明細書に開示される特定の実施形態では、物体の位置は、第1の基準フレームにおいて1つまたは複数の外部測位デバイスによって測定され、1つまたは複数の外部測位デバイスのうちの各デバイスの位置もまた、外部測位デバイスによって実行される測定手順を使用して第1の基準フレームにおいて知られる。1つまたは複数の外部測位デバイスは、無線信号を使用して、システム内の物体の位置を、当該測定手順によって定義された単一の基準のフレーム内で識別することができる。1つまたは複数の外部測位デバイスは、無線信号を射出および測定し、信号に対して飛行時間(TOF)分析を実施するための無線トランシーバを含むことができる。信号は、物体上またはシステム内の他の外部測位デバイス上に配置されたタグまたはトランシーバに向けられることができる。次に、考慮される媒質中での信号の速度を知ることにより、物体に向けられた信号の放射から受信までのTOFを測定することにより、物体および他の外部測位デバイスの位置を決定することができる。特定の手法では、マルチラテレーション(MLAT)などの方法を使用して、第1の基準フレーム内の物体の位置を推測することができる。
本明細書に開示される特定の実施形態では、物体の位置および向きが2つの基準のフレーム内で取得される間、物体は、方向付けシーケンスに従って物理空間内で順次方向付けされる。方向付けシーケンスはユーザに提供されることができ、それによって、ユーザは物体を方向付けシーケンスに従って物理的に方向付けるように指示される。方向付けシーケンス中の各点において、1つまたは複数の外部測位デバイスは、第1の基準フレーム内の物体の位置を取得することができ、一方、内蔵センサは、第2の基準フレーム内の物体の向きを取得する。次に、システムは、取得した値から、第1の基準フレームおよび第2の基準フレーム内の物体の向首方位を導出することができる。向首方位は方向の単一の成分であるため、第2の基準フレーム内の向首方位値は第2の基準フレーム内で得られる方向測定値から導出することができる。さらに、ユーザは第1の基準フレーム内で既知の位置に物体を向けているため、第1の基準フレーム内の向首方位値も導出することができる。したがって、方向付けシーケンスは、第1の基準フレーム内で測定を行うシステムに、デバイスがどのように向けられているかに関する情報を間接的に提供する。次に、物体が方向付けシーケンスに従って順次方向付けされている間に取得される、各基準のフレームからの対応する向首方位値を使用して、2つの基準のフレーム間の変換を生成することができる。
1つの特定の実施形態では、プロセスが提供される。このプロセスは、方向付けシーケンスにおいて1つまたは複数の外部測位デバイスに向かって物体を方向付けるための指示を提供することを含む。このプロセスはまた、方向付けシーケンスに従って、内蔵センサを使用して第2の基準フレーム内の物体の向首方位値のシーケンスを取得することを含む。このプロセスはまた、方向付けシーケンスに従って、1つまたは複数の外部測位デバイスを使用して第1の基準フレーム内の物体の位置値のシーケンスを取得することも含む。このプロセスはまた、第1の基準フレーム内の物体の位置値のシーケンスを使用して第1の基準フレーム内の物体の向首方位値のシーケンスを導出することも含む。このプロセスはまた、第1の基準フレーム内の物体の向首方位値のシーケンスおよび第2の基準フレーム内の向首方位値のシーケンスを使用して第1の基準フレームと第2の基準フレームとの間の変換を生成することも含む。
別の特定の実施形態では、システムが提供される。このシステムは、物体、物体上の内蔵センサ、および1つまたは複数の外部測位デバイスを備える。1つまたは複数の外部測位デバイスは、方向付けシーケンスにおいて1つまたは複数の外部測位デバイスに向かって物体を方向付けるための指示を提供するように構成される。このシステムはまた、方向付けシーケンスに従って、1つまたは複数の外部測位デバイスを使用して第1の基準フレーム内の物体の位置値のシーケンスを取得することと、方向付けシーケンスに従って、内蔵センサを使用して第2の基準フレーム内の物体の向首方位値のシーケンスを取得することと、第1の基準フレーム内の物体の位置値のシーケンスを使用して第1の基準フレーム内の物体の向首方位値のシーケンスを導出することと、第1の基準フレーム内の物体の向首方位値のシーケンスおよび第2の基準フレーム内の向首方位値のシーケンスを使用して第1の基準フレームと第2の基準フレームとの間の変換を生成することとを行うための命令を記憶している1つまたは複数のコンピュータ可読媒体も備える。
別の特定の実施形態では、プロセスが提供される。このプロセスは、物体が物理的に第1の測位デバイスに向けられている間に、第1の測位デバイスおよび第2の測位デバイスを使用して第1の基準フレーム内の物体の第1の位置を取得し、物体上のセンサを使用して第2の基準フレーム内の物体の第1の向首方位を取得することを含む。このプロセスはまた、物体が物理的に第2の測位デバイスに向けられている間に、第1の測位デバイスおよび第2の測位デバイスを使用した第1の基準フレーム内の物体の第2の位置と、物体上のセンサを使用した第2の基準フレーム内の物体の第2の向首方位とを取得することも含む。このプロセスはまた、(i)第1の基準フレーム内の物体の第1の位置を使用して、第1の基準フレーム内の第3の向首方位を導出し、(ii)第1の基準フレーム内の物体の第2の位置を使用して、第1の基準フレーム内の第4の向首方位を導出することも含む。このプロセスはまた、第1の向首方位、第2の向首方位、第3の向首方位、および第4の向首方位を使用して、第1の基準フレームから第2の基準フレームへの変換を生成することも含む。
本明細書に開示される特定の実施形態による、物理空間内の物体を追跡するために2つの基準フレームを位置合わせする方法の組のシステムおよびフローチャートである。 図1を参照して開示された特定の実施形態による、可視光信号を含む指示をユーザに提供し、位置のシーケンスおよび向きのシーケンスを取得するための特定の手法の時系列の手順を示す図である。 図1を参照して開示された特定の実施形態による、持続的マーカを含む指示を提供し、位置のシーケンスおよび向きのシーケンスを取得するための特定の手法の別の時系列の手順を示す図である。 図1を参照して開示された特定の実施形態による、第2の基準フレーム内の向首方位のシーケンスを取得するための特定の実施形態を示す図である。 図1を参照して開示された特定の実施形態による、第1の基準フレーム内の向首方位のシーケンスを取得するための特定の実施形態を示す図である。
詳細な説明
物理空間内の物体を正確に追跡するために使用されるシステムおよび方法が、本明細書で以下に詳細に開示されている。システムは、異なる基準のフレーム内で測定を行い、それらの基準のフレーム間の変換を行う複数のセンサまたはセンサの組を含むことができる。その後、種々の基準のフレーム内で取得された測定値を使用して、変換および測定値自体を使用することによって物体を追跡することができる。この節において開示されるこれらのシステムおよび方法の特定の実施形態は、説明の目的で提供され、本発明を限定することを意図するものではなく、その範囲は、添付の特許請求の範囲によって提供される。これらの特定の実施形態の組は、図1を参照して説明することができる。
特定の実施形態は、物体の位置を測定する第1のセンサまたはセンサの組と、物体の向きを測定する第2のセンサまたはセンサの組とを含む。図1は、物体110のケーシング内に配置された内蔵センサ111が物体の向きを測定する間に、物体110の位置を測定する外部測位デバイス100の組の例を提供する。第1のセンサまたはセンサの組および第2のセンサまたはセンサの組は、異なる基準のフレーム内の測定値を取得することができる。異なる基準のフレームは平行でない場合がある。図1の例では、物体110の基準のフレームは、内蔵重力センサによる地球の重力の測定および磁力計による磁北の測定によって提供され得る。外部測位デバイス100の基準のフレームは、デバイス間の合意によって任意に定義することができ、物体110の基準のフレームとは何の関係も有しなくてもよい。代替的に、センサは、物体110上のものと同様のセンサを装備して、外部測位デバイス100に、地球に基づく基準のフレームを提供することができる。ただし、この状況でも、センサの各組によって使用されるセンサ間の不一致により、フレームが十分に平行でない場合がある。本開示によるシステムは、2つの基準のフレーム間の変換を生成するように設計することができ、結果、第1のセンサまたはセンサの組によって行われる測定値と第2のセンサまたはセンサの組によって行われる測定値とを組み合わせて、物体を俊敏に追跡することができる。
タックされている物体は、自動システムによって高精度で位置を決定する必要がある任意の物体とすることができる。物体は、遠隔制御装置、プレゼンテーションポインタ、在庫管理デバイスなどのポインティングデバイス、または無線タグに使用される玩具とすることができる。ポインティングデバイスには、ユーザがポインティングするときに標的を位置合わせする向首方位に関連付けられる、定義されたポインティング方向がある。他の実施形態では、物体は、ドローン、スマートフォン、タブレットコンピュータ、ウェアラブルコンピューティングデバイス、または任意の他のコンピューティングデバイスであってもよい。図1の特定の例では、物体110は、汎用コントローラとして動作する専用デバイスである。コントローラは、1つまたは複数の電子デバイスを制御するように動作することができ、任意の形態の無線送信機を使用してこれらのデバイスに信号を送信することができる。追跡システムを使用して、コントローラが任意の所与の時点においていずれのデバイスを指しているかを決定することができる。
本開示に従って物体の位置を追跡するための外部測位デバイスの組は、様々な形態をとることができる。外部測位デバイスの組は、物理的空間における物体の位置を測定する2つ以上の実質的に均質な要素を含むことができる。外部測位デバイスの組は、無線信号を使用して物体の位置を測定することができる。たとえば、概要で述べたように、外部測位デバイスは、無線信号を物体のタグまたはトランシーバに向け、それらの信号に対してTOF分析を実行し、MLATを使用して物体の位置の測定値を取得することができる。代替的に、外部測位デバイスは、可視光を使用して物体を観察し、コンピュータビジョン画像処理技法を使用して物体の位置の測定値を取得することができる。代替的に、外部測位デバイスは、投影光場を使用して物体を観察し、コンピュータビジョン深度分析技法を使用して物体の位置の測定値を取得することができる。外部測位デバイスは、Wi-Fi、Z-wave、またはZigbee(登録商標)プロトコルなどを介して、符号化情報を他の外部測位デバイスおよび物体と通信するための別個の無線送信機を含むことができる。
図1に示される特定のシステムでは、外部測位デバイス100の組は、物体110のある部屋に配置されている、壁に取り付けられたアンカーの組である。図示の事例では、外部測位デバイスは、デバイス上のタグ112において無線信号を送信し、TOFおよびMLATを使用してその位置の測定値を取得する。タグ112は、外部測位デバイス100の組と相互作用するように設計されたLPS受信機とすることができる。外部測位デバイス100の組は、それらが同一直線上にないように空間内に配置され得る。外部測位デバイス100の組は、それらが互いに見通し線(line-of-sight)を有する場合、よりよく機能し得る。したがって、外部測位デバイス100の組は、高く(例えば、床に対して少なくとも2メートル)取り付けることができる。外部測位デバイスは、空間の種々の壁に取り付けることができる。物体110はまた、外部測位デバイス100の組と通信し、物体110の位置を決定するための距離センサおよびローカル測位システム(LPS)受信機を含むことができる。LPS受信機は、超広帯域(UWB)ローカル測位システムを実装することができる。外部測位デバイスは、互いに無線通信し、物体110と通信して、UWB LPSシステムまたは当該技術分野において知られている他の任意のLPSシステムを実装することができる。
本開示に従って物体の向きを追跡するための内蔵センサは、様々な形態をとることができる。内蔵センサは、重力センサ、加速度計、磁力計、ジャイロスコープ、または、向き、向首方位、もしくは位置を決定するために使用される他のセンサのうちの1つまたは複数を含むことができる。1つまたは複数の加速度計は、3つの軸に沿った並進加速度を測定する三軸加速度計を実装することができ、また、3つの軸を中心とした回転を測定することもできる。特定の手法では、内蔵センサは、向きの3つの態様すべてを測定する必要はなく、代わりに、物体の向首方位を導出するために必要な範囲でのみ向きを測定することができる。たとえば、物体がポインティングデバイスの場合、方位角およびピッチ角のみが必要であり、測定され得、一方、ロール角は無視される。
本開示による物体を追跡するための方法は、方向付けシーケンスにおいて物体を外部測位デバイスの組に向ける指示を提供することを含むことができる。方向付けシーケンスは、ユーザに提供することができ、物体を方向付ける必要がある特定の順序または点を識別することができる。そのようなステップは、図1のフローチャートのステップ120によって示されている。指示は、一度にすべて提供することもでき、または、以下で説明するように、図1のフローチャートの追加のステップに沿って順に提供することもできる。方向付けシーケンスは、外部測位デバイスの組内の個々の外部測位デバイスの特定の順序を定義する。指示は、物体がその順序に従ってそれらの個々の外部測位デバイスに向けられるべきであることを示す形式で提供することができる。指示は、ユーザが指示を受け取り、その順序に従って物体を配置するように行動できるように、人間が知覚できる形式で提供することができる。
特定の実施形態では、方向付けシーケンスは、外部測位デバイスの位置によってではなく、外部測位デバイスによる測定値が捕捉される基準のフレーム内の既知の点の任意の集合によって定義することができる。点の集合は、それらの位置を表すデジタル値がメモリに格納され、外部測位デバイス、または外部測位デバイスが含まれる測位システムにとってアクセス可能であるという意味で、知ることができる。多くの外部測位デバイスは、追跡されている物体の位置を決定するために各デバイスの位置が必要な入力である手順を利用するため、外部測位デバイスは、このように知られている点の集合の例として使用される。しかしながら、外部測位デバイスの組が以前の較正手順によって識別されるよう較正されている外部の点などの他の点が、測位デバイスにとって既知であり得る。特に、屋内用途では、外部測位デバイスは、画像処理技法を使用してそれらが配置されている部屋の隅を検出することができる可視光カメラなどの環境センサを含むことができる。
図1の例では、指示は部分的に、各外部測位デバイス100の外面に配置された記号によって提供されている。図示の事例では、種々の記号が単純なアラビア数字の組から採られている。その場合、方向付けシーケンスは「1、2、3」であり得、指示は、物体110を最初に外部測位デバイス1に向け、次に外部測位デバイス2に向け、次に外部測位デバイス3に向けるべきであることをユーザに通知する。図示の事例では、聴覚プロンプト121は、物体110を外部測位デバイス「2」に向けるようにユーザに指示する。同様の聴覚プロンプトが、所与の方向付けが正常に完了したことを確認し、シーケンスを続行するようにユーザに指示することができる。指示の媒体および内容の複数の変形形態が、図2~図3を参照して以下でより詳細に提供される。
方向付けシーケンスの各方向付けにおいて、内蔵センサと外部測位デバイスの両方によって測定を行うことができる。これにより、これらの測定値の組は、方向付けシーケンスの値に対応するデータ値のシーケンスを形成する。これらのシーケンスは、測定値シーケンスとして参照され得る。シーケンスの値は、測定値シーケンスの値が、物体が方向付けシーケンスの対応する向きに従って方向付けされている間に取得されたという点で対応している。シーケンスは、同じ数の要素および1対1の値の対応、または方向付けシーケンスのいずれの方向付け値が測定値シーケンスのいずれの測定値に対応するかを示す個別のマッピングを有することができる。2つの測定値シーケンスは、異なる非平行基準フレームを参照して取得されている場合がある。
図1の例では、上記の2つの測定値シーケンスは、(i)物体110のケーシング内に配置された内蔵センサ111を使用して、物体110の向首方位値のシーケンスを取得するステップ130、および(ii)外部測位デバイス100の組を使用して、物体110の位置値のシーケンスを取得するステップ140において取得される。外部測位デバイスは、位置値のシーケンスが第1の基準フレーム内にあるように、第1の基準フレーム内で測定を行うことができる。内蔵センサは、ステップ130で取得された向首方位値のシーケンスが第2の基準フレーム内にあるように、第2の基準フレーム内で測定を行うことができる。これらのシーケンスにおける対応する各測定値の組は、物体110が方向付けシーケンスによって指定された異なる点に向けられている間に得ることができる。例えば、測定値の組は、図示のように、物体110が向首方位113に沿って外部測位デバイス2に向けられている間に取得することができる。これらの値は、後に2つの基準のフレーム間の変換を導出する目的でメモリに保存することができる。
第2の基準フレーム内の向首方位値は、さまざまなタイプの内蔵センサによって多数の方法で取得することができる。内蔵センサは、物体の上または中に取り付けられた慣性運動ユニット(IMU)であり得る。この物体は、内蔵センサとして機能する加速度計、ジャイロスコープおよび磁力計のうちの1つまたは複数を含むことができる。ステップ130において取得される向首方位値は、ジャイロスコープ、加速度計、磁力計、またはこれらのデバイスの任意の組み合わせによって捕捉することができる。内蔵センサは向きベクトルを取得することができ、そこから向首方位値を導出することができる。この動作を実行するための特定の手法は、図4を参照して以下に説明されている。
特定の実施形態では、物体が特定の向きに向けられている間に外部測位デバイスによって第1の基準フレーム内で取得される位置値を使用して、第1の基準フレーム内の物体の向首方位値を導出することができる。このような導出は、数学的な計算、および、システムのみによる(すなわち、他の測定を行わない)データの操作を含むことができる。たとえば、物体は、物体の両端などにある、外部測位デバイスによって追跡することができる複数のタグまたはトランシーバを含むことができ、物体の向首方位は、物体の設計およびタグまたはトランシーバの相対的な観測位置の理解に基づいて、これらの2つの位置から導出することができる。別の例として、物体の相対位置、および、物体が向けられている点を使用して、それらの間の直線距離を導出することができる。この距離は、ユーザが提供された指示に従うことによって、物体が点に向けられていることを所与として、物体の向首方位であると仮定することができる。
図1の例では、ステップ140において取得されている第1の基準フレーム内の物体の位置値のシーケンスを使用して、ステップ150において第1の基準フレーム内の物体の向首方位値のシーケンスを導出することができる。図示の例を使用して、物体110が外部測位デバイス2に向けられている間に取得された位置値を使用して、向首方位113を導出することができる。この動作を実行するための特定の手法は、図5を参照して以下に説明されている。したがって、フローチャートのこの時点において、ステップ150は、第1の基準フレーム内の向首方位値のシーケンスを生成しており、ステップ130は、第2の基準フレーム内の対応する向首方位値のシーケンスを生成している。シーケンス中の値は、ステップ120を介して提供された指示に従った場合、物体が同じ方法で方向付けられている間に値の各対が取得されたという点で対応している。ステップ140および130において対応する測定値の各対を生成するために使用される測定は、両方の測定の実行中に物体が同じ向きにあることを保証するために同時に実行することができる。
Figure 0007148713000001
図1は、ステップ150において導出される第1の基準フレーム内の物体の向首方位値のシーケンスおよびステップ130において取得される第2の基準フレーム内の向首方位値のシーケンスを使用して、第1の基準フレームと第2の基準フレームとの間の変換を生成するステップ160を含む。図1はまた、その後、変換が、外部測位デバイス100の組からの位置データ、内蔵センサ111からの向きデータ、およびステップ160において生成された変換を使用してデバイスの位置および向きを追跡するために使用されるステップ170を含む。
図1および本明細書全体の他の箇所を参照して開示された方法は、1つまたは複数の非一時的コンピュータ可読媒体に格納された命令を実行する1つまたは複数のプロセッサによって少なくとも部分的に実行することができる。例えば、ステップ140~170は、物体110、外部測位デバイス100の組、または任意選択のサーバ190上のプロセッサによって実行することができる。任意選択のサーバを含む、組み合わされたシステム180の各要素は、インターネットおよび他の多数の中間デバイスを含み得る無線ネットワークを介して通信することができる。ステップ140~170を実行し、ステップ120などの方向付けシーケンスを通してユーザを案内するための指示を提供するために必要な命令は、結合システム180にアクセス可能な様々なコンピュータ可読媒体に格納された実行可能命令を含むことができる。例えば、ステップ130を実行するための命令は、物体110上のメモリ内に完全に配置され得、一方、ステップ140を実行するために必要な命令は、外部測位デバイスの組の間で分散され得る。ここで言及される命令は、コンピュータコードで書かれたものなどのコンピュータ可読命令を指し、物体110の位置を物理的に変更するための人間が知覚できる指示である、ステップ120において提供される指示と混同されるべきではない。
方向付けシーケンスに従って方向付けのシーケンスにおいて物体を方向付けるための指示は、様々な媒体および媒体の様々な組み合わせを通して提供することができる。指示は、方向付けシーケンスをユーザに伝達することができる。指示はまた、各向きを保持する必要がある期間に関する指示、物体が現在シーケンス中の向きの1つに方向付けられていることの確認要求、シーケンス中の各向きと関連付けられている点または外部測位デバイスの識別、および物体を点に向かって方向付けるための手段の定義も含むことができる。ただし、上記の指示の特定の態様は、文脈から本質的に理解され得るため、明示的に提供されない場合がある。たとえば、物体がポインティングデバイスである場合、本質的に、デバイスを標的に向けることが、物体を標的に向ける役割を果たし、物体をあるロケーションに向けて方向付けるための手段を定義する明示的な指示は必要ない。
方向付けシーケンスに従って物体を外部測位デバイスの組に向かって方向付ける指示を提供することは、方向付けシーケンスに従って、人間が知覚可能な信号の組を生成することを含むことができる。人間が知覚可能な信号は、聴覚信号または視覚信号とすることができる。システムは、方向付けシーケンスの設定点に向かって物体を方向付けるための指示を提供するように構成することができる。例えば、物体、外部測位デバイス、または別の装置上に提供されるスピーカまたはディスプレイが、「物体を天井の中心に向ける」または「物体を煙探知器に向けて方向付ける」などの指示を提供することができる。他のデバイスは、この手順を実行するためのソフトウェアがインストールされたスマートフォンまたは他のパーソナルユーザデバイスであってもよい。
それらの点が外部測位デバイスである場合、外部測位デバイスの組は、外部測位デバイスの組に向かって物体を方向付けるための指示を提供するように構成することができる。これは、現在標的となるべきである外部測位デバイスを区別する、人間が知覚可能な信号を生成することによって行うことができる。人間が知覚可能な信号は、外部測位デバイスの組上で電子的に生成することができる。例えば、外部測位デバイスの組は、点滅光またはディスプレイに提示される情報の形で記号を提供するために、ライトまたは一体型ディスプレイを含むことができる。情報は、「では、ここを指してください」などのディスプレイに表示される基本的なテキストを含むことができる。別の例として、外部測位デバイスの組は、可聴信号を生成するデバイスに物体を向けるためのチャイムまたは音声指示を生成するスピーカを含むことができる。人間が知覚可能な信号は、外部測位デバイスに持続的に表示することもできる。たとえば、シリアル番号または記号を外部測位デバイスの外面に表示して、組内の他のデバイスから区別することができる。
指示は、点とシーケンス中の点の順序の両方を識別することができる。ただし、点の識別情報とシーケンス中の点の順序は、別個の媒体を介して提供することができる。たとえば、外部測位デバイスに提示される記号は、連続するアラビア数字の場合のように、方向付けシーケンスの順序を本質的に識別することができるが、実際のシーケンスが何らかの他の媒体を介して提供される必要があるように、単純に記号の組とは異なる記号であり得る。このような場合、物体またはシステム内の別のデバイスは、方向付けシーケンスの順序に関する指示を提供するように構成することができる。例えば、物体または他の外部デバイスは、「では、赤色光でデバイスを指してください」または「では、デバイス2を指してください」などの特定の記号を表示する測位デバイスに物体を向けるようにユーザに指示するスピーカを含むことができる。別の例として、物体または他の外部デバイスは、方向付けシーケンス中の次のデバイスによって提示されるものと一致する記号を提示するディスプレイを含むことができる。たとえば、物体はディスプレイに赤い円の画像を表示することができ、その外面に赤い円が刻印された外部測位デバイスがその画像に関係し得る。代替的に、この情報は別の外部デバイスによって提供されてもよい。
特定の手法では、シーケンス中の点の順序と識別情報の両方が物体によって提供されてもよい。これらの場合、基準フレームの位置合わせに依存しない、物体の向きの大まかな概算を使用して、指示を生成することができる。たとえば、物体は、物体を所与の方向に向けるようにユーザを案内する矢印を有するディスプレイを含むことができ、これから、ユーザは最終的に、いずれの点が方向付けシーケンスに関係しているかを直感的に理解し、測定が行われるようにその点に焦点を合わせることができる。
特定の手法では、方向付けシーケンスの点は、電球、テレビ、サーモスタットなどの日用品に統合される。これらのデバイスは、システムの制御下に置くことができる。これらのデバイスは、物体の追跡に使用される組み込み外部測位デバイスを含むことができる。これらの手法では、デバイスの主な機能または特徴を使用して、方向付けシーケンスの指示を提供することができる。たとえば、ライトと統合された外部測位デバイスは、点滅によって方向付けシーケンスにおいてそれが次のデバイスであることを示し、サーモスタットはディスプレイを光らせ、スピーカまたはベルを備えたデバイスはチャイムを鳴らし、ほぼすべての電子デバイスはオンおよびオフになり得る。基本的に、デバイスに関連するすべての機能は、物体をデバイスに向けることができるユーザの注意を引くために再利用することができる。
図1を参照して述べたように、指示の提示は、事前に、またはユーザによる方向付けシーケンスの実行全体にわたって実行することができる。言い換えれば、物体がシーケンス中の異なる向きの間で転送されるときに、指示をステップごとに提供することができる。シーケンスの各ステップについて指示を与えるステップは、デバイスがシーケンスのステップに従って方向付けられていること、および/または、測定値がシステムによって正常に取得されていることの何らかの形式の確認を受信することによってゲーティングすることができる。データの収集が、確認が発行される前提条件であり得るか、またはそれ自体が、確認によってトリガされ得るという点において、各向きにおける外部測位デバイスおよび内蔵センサからのデータの取得は、このゲーティングと組み合わせることができる。
特定の実施形態では、物体は、物体が方向付けシーケンスの現在の点に従って方向付けられていることを確認するユーザ入力を受信するためのユーザインターフェースを含む。ユーザインターフェースは、ユーザからの音声コマンド入力を受信するためのマイクロフォン、ユーザからのタッチコマンド入力を受信するためのタッチスクリーン、ジェスチャ認識インターフェース、または任意の他の種類のユーザインターフェースであってもよい。ユーザ入力を受信すると、物体またはシステムの他の部分は、物体が所望の通りに方向付けられていることの確認を生成することができる。この確認に応じて、システム内のセンサは現在の向きに関連付けられたデータを捕捉することができ、システムはその後、次の指示を発行することができる。
特定の実施形態では、確認は、物体によって自動的に生成することができる。たとえば、運動センサは、掃引する動きを一定の位置から区別して、ユーザが最初に物体を動かし、次に物体を特定の方向に安定させたことを示すことができる。これらの手法は、運動を静的フェーズから区別することができる加速度計またはIMUを使用して、物体がすでにその向きを測定している場合に有益に適用される。これらの手法は、IMUの断続的な静的フェーズが通常の操作では一般的に頻繁ではない場合に特に興味深いものである。ただし、静的フェーズが頻繁に発生する場合は、ポインティング確認を生成するための静的期間の閾値を高く設定することによって、依然として明確化が可能であり得る。
上記の手順の多数の組み合わせを組み合わせて、物体が特定の向きに配置されたことの確認を受信することにより、測定値の収集および指示の提示をゲーティングすることができる。図2および図3は、説明のためにこのような手法の組み合わせを含む2つの特定の実施態様を時系列で示している。各図は4つの時点to、t1、t2、およびt3における特定のシステムを示しており、デバイスの向きに関する確認の受信が、測定値の収集および指示の提示をどのようにゲーティングすることができるかを示している。
図2は、いずれの外部測位デバイスが方向付けシーケンスにおいて現在の方向付けを定義しているかを示すためのLEDを各々が含む、2つの外部測位デバイス201および202を示している。時点toにおいて、物体110は、向首方位210に従って方向付けされ、外部測位デバイス201に向けられる。時点toから時点t1への移行において、追加の指示が、デバイス201上のLEDがオフになり、デバイス202上のLEDがオンになるという形でユーザに提供される。時点t2への移行において、ユーザは、経路220に沿って物体を掃引することによって指示に応答し、物体を向首方位230において静止させる。この向首方位において、物体は外部測位デバイス202に向けられている。このようにして、ユーザは、方向付けシーケンスの次のステップについて指示されている。
図2の手法では、確認は物体110上で生成され、物体が固定位置に保持されていることを感知することによって自動的に検出される。時点t2からt3への移行において、物体110は、方向付けシーケンスにおける次の方向付けに従って方向付けされたという確認を生成する。図示の事例では、物体110は、アーチ220を通じた掃引を検出し、次に、物体110が固定向首方位に保持されていることを決定して、確認を自動的に生成するための指示を含む。したがって、時点t3において、測定は、物体110と外部測位デバイス201および202の両方によって行われて、これらのセンサに関連する第1の基準フレームと第2の基準フレームの両方において最終的に向首方位値が取得される。図示のように、物体110によって生成された測定値は、測定が行われたことの確認とともに、ブロードキャスト240において物体110から無線送信することができる。外部測位デバイスは、物体110の位置値が取得されたことを示すために同様の確認を生成することができる。次に、両方のブロードキャストを使用して、システムをトリガして次の指示を発行させ、向首方位210を向首方位230に置き換え、デバイス201をデバイス202に置き換えた図示の状態の別のラウンドを通って、再び循環することができる。
図3は、1つの外部測位デバイスを別の外部測位デバイスから区別するための固有の記号を各々が含む2つの外部測位デバイス301および302を示している。記号は、デバイスの外面のディスプレイを介して提供するか、または、外部測位デバイスの外面に持続的にマークすることができる。図に示すように、デバイス301は星を表示し、デバイス302は円を表示する。時点toにおいて、物体110は、外部測位デバイス301において直接的に、向首方位310に従って方向付けされる。時点t1への移行において、追加の指示が、可聴指示320の形態でユーザに提供される。可聴指示は、物体上のスピーカ、1つもしくはすべての外部測位デバイス上のスピーカ、または別のデバイス上のスピーカによって提供することができる。時点t2への移行において、ユーザは、物体が外部測位デバイス302を直接指すように、物体を動かして向首方位330に位置合わせすることによって、指示に応答する。
図3の手法では、確認は、ユーザがユーザインターフェースにタッチ入力を提供することに応答して、物体110上で生成される。図示の事例のユーザインターフェースは、物体上のタッチスクリーン上に提示されるボタン340である。時点t3への移行において、物体110は、方向付けシーケンスにおける次の方向付けに従って方向付けされたという確認を生成する。図示の事例では、物体110は、ボタン340を提示し、そのボタン上で入力が受信されたときに確認を生成するための指示を含む。したがって、時点t3において、測定は、物体110と外部測位デバイス301および302との両方によって行われて、これらのセンサに関連する第1の基準フレームと第2の基準フレームとの両方において最終的に向首方位値が取得される。図示のように、物体110によって生成された測定値は、測定が行われたことの確認とともに、ブロードキャスト350において物体110から無線送信することができる。外部測位デバイスは、物体110の位置値が取得されたことを示すために同様の確認を生成することができる。次に、両方のブロードキャストを使用して、システムをトリガして次の指示を発行させ、向首方位310を向首方位330に置き換え、デバイス301をデバイス302に置き換えた図示の状態の別のラウンドを通って、再び循環することができる。
各確認後、第1の基準フレームおよび第2の基準フレーム内のセンサからの測定値をデータベースに保存することができる。データベースは、外部測位デバイス上および物体上に配置されたメモリ上など、システム全体に分散させることができる。データベースは、外部サーバ上または物体上のメモリ上などに局在化することもできる。次に、測定値を使用して、第1の基準フレームおよび第2の基準フレーム内の向首方位値を導出することができる。同様に、導出は分散方式でまたは単一のロケーションにおいて実行することができる。たとえば、向首方位を導出するために必要なすべてのデータを外部サーバに送信することができるか、または、物体が、第2の基準フレーム内で向首方位を決定し、向首方位を外部サーバに送信し、一方で、外部測位デバイスが位置値をその外部サーバに送信して、第1の基準フレーム内で向首方位を導出することができる。
図4は、図1のステップ130の特定の実施形態の実行に使用することができる特定の手法を示している。図4は、物体402がその中で動作するように構成されている部屋の寸法によって定義され得る物理基準のフレーム400を含む。図4は、物体402の内蔵センサによって定義される第2の基準フレーム410内で物体402の向首方位値がどのように測定および捕捉され得るかを示している。図4による実施形態では、ステップ130のように、第2の基準フレーム内の物体の向首方位値のシーケンスにおける各向首方位値を取得することは、内蔵センサを使用して物体402の物理的な向きの行列Qb(t)を取得し、関連する向首方位方向を計算することを含む。図示の事例では、物体は、e1=[1 0 0]Tによって本体の基準のフレーム内で定義された向首方位を有するポインティングデバイスであるため、このベクトルにQb(t)を左乗算することによって、所望のフレームの向首方位が与えられる。この演算は単純に、Qb(t)の第1の列の抽出に対応することに留意されたい。したがって、方向付けシーケンスの各方向付けにその値を選択すると、その方向付けの対応する向首方位hiが提供されており、ここで、iは方向付けシーケンス中の対応する方向付けの順序を定義するインデックスである。同様の手法を、システムが追跡対象の物体の理解を事前にプログラムされている場合はいつでも使用することができ、結果、システムはその物理的な向きベクトルから物体の向首方位を直感的に理解することができる。
図示の状況では、物体402は、外部測位デバイスとして機能する、壁に取り付けられたビーコン401に向けて方向付けされている。デバイスは、向首方位403に沿って配置されている。本開示の特定の実施形態によれば、向首方位403は、2つの基準フレーム間の変換を生成するために、第1の基準フレームおよび第2の基準フレームの両方内で捕捉される。図示のように、物体402はポインティングデバイスであり、時間Qb(t)にわたってデバイスの向きを追跡するための内蔵センサを含む。したがって、向首方位は、h=Qb(t) e1という計算を介して向きから取得することができる。この計算は、本質的に、向き行列の第1の列ベクトルを抽出し、デバイス402上のプロセッサにおいて実行することができる。向きの測定および向首方位値の導出を複数回繰り返して、向首方位の行列H=[h1 h2 … hN]の形式で測定値のシーケンスを作成することができ、Nは方向付けシーケンス中の方向付けの数である。これらの値はその後、後で説明するように、2つの基準のフレーム間の変換を生成するために使用することができる。
図5は、図1のステップ140および150の特定の実施形態の実行に使用することができる手法を示している。図5は、図4と同じ物理基準のフレーム400を含む。加えて、図5は、外部測位デバイス501の組によって定義される第1の基準フレーム510内で物体402の向首方位値がどのように測定および捕捉され得るかを示している。図5による実施形態では、ステップ150のように、第1の基準フレーム内で物体の向首方位値のシーケンス中の各向首方位値を取得することは、複数のサブステップを含む。まず、このプロセスでは、第1の基準フレームで外部測位デバイスの位置値riのシーケンスを取得する必要がある。位置値のシーケンスは、向首方位403などの向首方位の標的として使用される外部測位デバイスの位置を示す。言い換えると、シーケンスの各エントリは、測定が行われるときに物体が向けられるべき外部測位デバイスの位置になる。このプロセスは、第1の基準フレーム内で、物体の位置値pb(t)から現在標的とされている外部測位デバイスの位置riまでのベクトルのシーケンスを決定することをさらに含む。物体の位置値は、物体が方向付けシーケンスの次の要素に従って方向付けられているという確認が生成されるたびに、外部測位デバイスによって測定される値とすることができる。このプロセスは、ベクトルの方向を決定することをさらに含む。これは、次式を使用して実行することができる。
Figure 0007148713000002
そのように計算された方向値は、2つの基準のフレーム間の変換を計算するために必要な第1の基準フレーム内の向首方位値になる。位置の測定および向首方位値の導出を複数回繰り返して、向首方位の行列D=[d1 d2 … dN ]の形式で測定値のシーケンスを作成することができ、Nは方向付けシーケンス中の方向付けの数である。これらの値はその後、後で説明するように、2つの基準のフレーム間の変換を生成するために使用することができる。
図4および図5に開示される特定の実施形態によれば、1つは第1の基準フレーム内に、もう1つは第2の基準フレーム内にある向首方位値の2つのシーケンスは、外部測位デバイスによって取得される方向の行列D、および、物体上の内蔵センサによって取得される向首方位の行列Hを含む。行列はD=[d1 d2 … dN]およびH=[h1 h2 … hN]として構成され、Nは方向付けシーケンス中の点の数である(この例では、外部測位デバイスの数である)。これらの向首方位の組を使用して、第1の基準フレームと第2の基準フレームとの間の変換を導出することができる。特に、向首方位値のシーケンスは、ステップ160において生成される変換を参照して上で述べた行列RおよびMを決定するために使用することができる。
Figure 0007148713000003
本開示全体を通して、第1の基準フレームは、外部測位デバイスの組による測定値が捕捉された基準フレームを参照するために使用され、一方、第2の基準フレームは、内蔵センサによる測定値が捕捉された基準フレームを参照するために使用された。しかしながら、本明細書に開示されている手法は、非平行基準フレーム内でデータを捕捉するセンサを含む任意のシステムに広く適用可能である。さらに、第1の基準フレームは、外部測位デバイスによって実施される一連の無線信号の飛行時間分析の作用によって定義される慣性基準のフレームであり得、第2の基準フレームは、開示されている物体を中心とするナビゲーション基準のフレームであり得る。
本開示全体を通して、遠隔制御装置の例が、本明細書に開示された手法から利益を得ることができるシステムの例として定期的に使用された。ただし、この手法は、物体に関する測定値が種々の基準フレーム内で取得される物理空間内で追跡する必要がある広い種類の物体に、より広く適用可能である。本明細書に開示される手法が最も有益である手法の分類は、高精度センサが利用可能でないか、または商業的に実行不可能である手法、およびデバイスの向首方位を物体の動きから容易に導き出すことができない手法を含む。さらに、デバイスがポインティングデバイスである手法は、外部測位デバイスまたは他の標的に対する物体の向きがユーザの観点から直感的であり、教示または支援される必要がないという点で、本明細書に開示される実施形態の一部に資する。
高精度センサが利用可能な場合、変換を生成する必要がない代替手法は、平行フレーム内で物体の位置および向きを測定することである。これは、物体と外部測位デバイスの両方に、重力加速度および磁北の方向を検出するための高精度センサを装備することを含み得る。基準のフレームが平行になるように、センサの両方の組が十分に位置合わせおよび較正されている場合、そこから取得された測定値の位置合わせは必要ない。また、高精度の加速度計が利用可能な場合は、デバイスの位置を内蔵加速度計から直接決定することができ、向きおよび位置を同じ基準フレーム内で決定することができる。加速度計のデータを使用して、回転されて適切な加速度を取得し、次いで、重力を減算して2回積分することにより、位置データを導出することができる。ただし、この手法は不都合なことにノイズに大きく依存する。加速度計の値または現在の向きの推定値のわずかな誤差が、二重積分を通して伝播し、これにより出力位置が使用できなくなる。家庭用電化製品の場合、センサの精度はセンサのコストと正の相関関係にある傾向があるため、両方の手法が実行可能でない場合がある。
向首方位を位置から導出することができる場合、変換を生成する必要がない代替手法は、向首方位を位置から導出するために必要な情報によってシステムを事前にプログラムすることである。これらの種類の手法は、車両ナビゲーションに使用される。車両は前方に移動する傾向があるため、向首方位は車両の位置の変化を追跡することから導出することができる。ただし、手持ち式デバイス、または向きと速度とが関連付けられていないデバイスの場合、これらの種類のショートカットは利用可能でない。
本明細書に開示される手法の多くは、位置のみを測定することができる第1のサブシステム、および向きのみを測定することができる第2のサブシステムを備えたシステムに有益に適用される。しかしながら、変換は、その第1のサブシステムによって取得される向き情報および/またはその第2のサブシステムによって取得される位置情報の二重チェックを提供することができるという点で、これはより広く適用可能である。さらに、これは、いずれかのサブシステムが両方の測定を、散発的に、または定期的には不十分もしくは信頼できないレベルの正確度および精度でのみ実行可能なシステムに、より広く適用可能である。
本明細書は、本発明の特定の実施形態に関して詳細に説明されてきたが、当業者は、前述の理解を得ると、これらの実施形態の変更、変形、および同等物を容易に想起することができることが理解されよう。例えば、本開示は、物体を追跡するための2組のセンサとして、外部測位デバイスの組および内蔵センサの例を使用した。しかしながら、本明細書に開示される特定の実施形態は、測定が異なる非平行基準のフレーム内で行われる2組の外部センサを備えたシステムなどにより広く適用可能である。別の例として、外部センサの異なる組は、異なる基準フレームにおいて、向きと位置の両方を測定することができ、その結果、本発明は、追跡されているデバイス上の内蔵センサなしで適用可能である。本発明に対するこれらおよび他の修正および変形は、添付の特許請求の範囲により詳細に記載されている本発明の範囲から逸脱することなく、当業者によって実施され得る。

Claims (15)

  1. システムであって、
    物体と、
    前記物体上の内蔵センサと、
    1つまたは複数の外部測位デバイスを有する測位システムと、
    前記測位システムによって知られている位置を有する点の集合であり、
    前記1つまたは複数の外部測位デバイスは、方向付けシーケンスにおいて前記点の集合に向かって前記物体を方向付けるための指示を提供するように構成されている、点の集合と、
    前記方向付けシーケンスに従って、前記1つまたは複数の外部測位デバイスを使用して、第1の基準フレーム内の前記物体の位置値のシーケンスを取得することと、
    前記方向付けシーケンスに従って、前記内蔵センサを使用して、第2の基準フレーム内の前記物体の向首方位値のシーケンスを取得することと、
    前記第1の基準フレーム内の前記物体の前記位置値のシーケンスを使用して、前記第1の基準フレーム内の前記物体の向首方位値のシーケンスを導出することと、
    前記第1の基準フレーム内の前記物体の前記向首方位値のシーケンスおよび前記第2の基準フレーム内の前記向首方位値のシーケンスを使用して、前記第1の基準フレームと前記第2の基準フレームとの間の変換を生成することと
    を行うための命令を記憶している1つまたは複数のコンピュータ可読媒体と
    を備え、
    前記第1の基準フレーム内の前記物体の前記向首方位値のシーケンスを導出することは、前記第1の基準フレーム内の前記物体の前記位置値のシーケンスおよび前記第1の基準フレーム内の前記外部測位デバイスの前記位置値のシーケンスを使用する、システム。
  2. 前記点の集合は、前記外部測位デバイスのうちの1つまたは複数を含む、請求項1に記載のシステム。
  3. 前記1つまたは複数のコンピュータ可読媒体は、
    前記1つまたは複数の外部測位デバイスからの位置データ、前記内蔵センサからの向きデータ、および前記変換を使用して前記物体を追跡するための命令をさらに記憶している、請求項2に記載のシステム。
  4. 前記1つまたは複数の外部測位デバイスは、
    前記方向付けシーケンスに従って、人間が知覚可能な信号のシーケンスを生成することと、
    前記方向付けシーケンスに従って、確認のシーケンスを受信することと
    を行うように構成されることによって、前記シーケンスにおいて前記1つまたは複数の外部測位デバイスに向かって前記物体を方向付けるための指示を提供するように構成されており、
    前記人間が知覚可能な信号のシーケンスの前記生成は、前記確認のシーケンスの前記受信によってゲーティングされる、請求項2に記載のシステム。
  5. 前記人間が知覚可能な信号のシーケンスの前記生成は、前記1つまたは複数の外部測位デバイス上で電子的に実行され、
    前記人間が知覚可能な信号のシーケンス中の前記人間が知覚可能な信号は、聴覚信号および視覚信号のうちの一方であり、
    前記確認のシーケンス中の前記確認は、前記物体が受け取ったユーザ入力に応答して前記物体上で生成される、請求項4に記載のシステム。
  6. 前記確認のシーケンス中の各確認は、前記物体が移動された後に静止していることを前記内蔵センサが検出したことに応答して、前記物体上で自動的に生成される、請求項4に記載のシステム。
  7. 前記1つまたは複数の外部測位デバイスは、
    前記1つまたは複数の外部測位デバイスの各々の外面上の記号の組とは異なる記号を表示すること
    によって、前記シーケンスにおいて前記1つまたは複数の外部測位デバイスに向かって前記物体を方向付けるための指示を提供するように構成されており、
    前記記号の組は、前記方向付けシーケンスを示す、請求項2に記載のシステム。
  8. 前記第1の基準フレームは慣性基準のフレームであり、
    前記1つまたは複数の外部測位デバイスは、一連の無線信号の飛行時間分析を使用して、前記第1の基準フレーム内の前記物体の前記位置値のシーケンスを取得し、
    前記第2の基準フレームはナビゲーション基準のフレームであり、
    前記物体上の前記内蔵センサは、(i)磁北を測定する磁力計、および(ii)重力の方向を測定するためのジャイロスコープのうちの少なくとも1つを使用して、前記第2の基準フレーム内の前記物体の前記向首方位値のシーケンスを取得する、請求項2に記載のシステム。
  9. 前記第2の基準フレーム内の前記物体の前記向首方位値のシーケンス中の各向首方位値を取得することは、
    前記内蔵センサを使用して、前記物体の物理的な向きベクトルを測定することと、
    前記物理的な向きベクトルおよび前記物体の事前にプログラムされた知識を使用して、前記物体の向首方位を決定することと
    を含む、請求項2に記載のシステム。
  10. 前記1つまたは複数の外部測位デバイスと1対1で対応する1つまたは複数の無線送信機をさらに備え、前記無線送信機は、前記外部測位デバイスが他の外部測位デバイスおよび前記物体と通信することを可能にするように構成されており、
    前記物体は遠隔制御装置である、請求項2に記載のシステム。
  11. プロセスであって、
    物体が物理的に第1の測位デバイスに向けられている間に、
    (i)前記第1の測位デバイスおよび第2の測位デバイスを使用して、第1の基準フレーム内の物体の第1の位置、および
    (ii)前記物体上のセンサを使用して、第2の基準フレーム内の前記物体の第1の向首方位
    を取得することを含み、
    前記物体が物理的に前記第2の測位デバイスに向けられている間に、
    (i)前記第1の測位デバイスおよび前記第2の測位デバイスを使用して、前記第1の基準フレーム内の前記物体の第2の位置、および
    (ii)前記物体上の前記センサを使用して、前記第2の基準フレーム内の前記物体の第2の向首方位
    を取得することと、
    (i)前記第1の基準フレーム内の前記物体の前記第1の位置を使用して、前記第1の基準フレーム内の第3の向首方位、および
    (ii)前記第1の基準フレーム内の前記物体の前記第2の位置を使用して、前記第1の基準フレーム内の第4の向首方位
    を導出することと、
    前記第1の向首方位、前記第2の向首方位、前記第3の向首方位、および前記第4の向首方位を使用して、前記第1の基準フレームから前記第2の基準フレームへの変換を生成することと
    を含む、プロセス。
  12. 前記第1の測位デバイスおよび前記第2の測位デバイスからの位置データ、前記センサからの向きデータ、および前記変換を使用して前記物体を追跡すること
    をさらに含む、請求項11に記載のプロセス。
  13. 方向付けシーケンスにおいて前記第1の測位デバイスおよび前記第2の測位デバイスに向かって前記物体を方向付けるための指示を提供すること
    をさらに含む、請求項11に記載のプロセス。
  14. 前記方向付けシーケンスにおいて前記第1の測位デバイスおよび前記第2の測位デバイスに向かって前記物体を方向付けるための指示を提供することは、
    前記方向付けシーケンスに従って、人間が知覚可能な信号のシーケンスを生成することと、
    前記方向付けシーケンスに従って、確認のシーケンスを受信することと
    を含み、前記人間が知覚可能な信号のシーケンスの前記生成は、前記確認のシーケンスの前記受信によってゲーティングされる、請求項13に記載のプロセス。
  15. プロセスであって、
    方向付けシーケンスにおいて点の集合に向かって物体を方向付けるための指示を提供することであり、前記点の集合は測位システムによって知られている位置を有し、前記測位システムは、1つまたは複数の外部測位デバイスを含む、指示を提供することと、
    前記方向付けシーケンスに従って、内蔵センサを使用して、第2の基準フレーム内の前記物体の向首方位値のシーケンスを取得することと、
    前記方向付けシーケンスに従って、前記1つまたは複数の外部測位デバイスを使用して、第1の基準フレーム内の前記物体の位置値のシーケンスを取得することと、
    前記第1の基準フレーム内の前記物体の前記位置値のシーケンスを使用して、前記第1の基準フレーム内の前記物体の向首方位値のシーケンスを導出することと、
    前記第1の基準フレーム内の前記物体の前記向首方位値のシーケンスおよび前記第2の基準フレーム内の前記物体の前記向首方位値のシーケンスを使用して、前記第1の基準フレームと前記第2の基準フレームとの間の変換を生成することと
    を含み、
    前記第1の基準フレーム内の前記物体の前記向首方位値のシーケンスを導出することは、
    記第1の基準フレーム内の前記物体の前記位置値のシーケンスおよび前記第1の基準フレーム内の前記外部測位デバイスの前記位置値のシーケンスを使用する、プロセス。
JP2021516944A 2018-07-30 2019-07-30 位置合わせされた基準フレームを用いた物理空間における物体追跡のためのシステム Active JP7148713B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/049,074 2018-07-30
US16/049,074 US11002820B2 (en) 2018-07-30 2018-07-30 System for object tracking in physical space with aligned reference frames
PCT/IB2019/056460 WO2020026123A1 (en) 2018-07-30 2019-07-30 System for object tracking in physical space with aligned reference frames

Publications (2)

Publication Number Publication Date
JP2021525937A JP2021525937A (ja) 2021-09-27
JP7148713B2 true JP7148713B2 (ja) 2022-10-05

Family

ID=68138607

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021516944A Active JP7148713B2 (ja) 2018-07-30 2019-07-30 位置合わせされた基準フレームを用いた物理空間における物体追跡のためのシステム

Country Status (8)

Country Link
US (1) US11002820B2 (ja)
EP (1) EP3830601A1 (ja)
JP (1) JP7148713B2 (ja)
KR (3) KR102641659B1 (ja)
CN (1) CN113227818B (ja)
AU (1) AU2019315032B2 (ja)
CA (1) CA3107907C (ja)
WO (1) WO2020026123A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007114820A (ja) 2005-10-18 2007-05-10 Sharp Corp 携帯型ポインタ装置及び表示システム
JP2007139918A (ja) 2005-11-16 2007-06-07 Pioneer Electronic Corp 表示画像制御装置、表示画像制御方法、表示画像制御システムおよび表示画像制御プログラム
JP2013016046A (ja) 2011-07-04 2013-01-24 Kddi Corp ポインティングシステム
JP2014206866A (ja) 2013-04-12 2014-10-30 任天堂株式会社 情報処理プログラム、情報処理システム、情報処理装置、および、情報処理の実行方法
JP2017067473A (ja) 2015-09-28 2017-04-06 沖電気工業株式会社 情報処理装置、情報処理システム、及びプログラム
JP2019064814A (ja) 2017-10-04 2019-04-25 Ihi運搬機械株式会社 目標位置特定装置、該目標位置特定装置を用いたクレーンの吊荷部材誘導方法及びシステム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6662103B1 (en) * 1999-03-22 2003-12-09 Arc Second Inc. Method and system for creating a user-selectable arbitrary coordinate frame
US7363028B2 (en) 2003-11-04 2008-04-22 Universal Electronics, Inc. System and method for controlling device location determination
US7643939B2 (en) 2006-03-08 2010-01-05 Honeywell International Inc. Methods and systems for implementing an iterated extended Kalman filter within a navigation system
US7451549B1 (en) 2006-08-09 2008-11-18 Pni Corporation Automatic calibration of a three-axis magnetic compass
US8005635B2 (en) 2007-08-14 2011-08-23 Ching-Fang Lin Self-calibrated azimuth and attitude accuracy enhancing method and system (SAAAEMS)
US8855929B2 (en) * 2010-01-18 2014-10-07 Qualcomm Incorporated Using object to align and calibrate inertial navigation system
US8825426B2 (en) 2010-04-09 2014-09-02 CSR Technology Holdings Inc. Method and apparatus for calibrating a magnetic sensor
US20120212374A1 (en) 2010-08-17 2012-08-23 Qualcomm Incorporated Method and apparatus for rf-based ranging with multiple antennas
US8717009B2 (en) 2010-10-06 2014-05-06 Apple Inc. Magnetometer calibration
US20130046505A1 (en) * 2011-08-15 2013-02-21 Qualcomm Incorporated Methods and apparatuses for use in classifying a motion state of a mobile device
US9849376B2 (en) 2012-05-02 2017-12-26 Microsoft Technology Licensing, Llc Wireless controller
WO2014039552A1 (en) * 2012-09-04 2014-03-13 Sensor Platforms, Inc. System and method for estimating the direction of motion of an entity associated with a device
US20140180627A1 (en) * 2012-12-20 2014-06-26 Qualcomm Incorporated System, method and/or devices for applying magnetic signatures for positioning
WO2014185808A1 (en) * 2013-05-13 2014-11-20 3Divi Company System and method for controlling multiple electronic devices
US9885574B2 (en) 2013-06-09 2018-02-06 Apple Inc. Compass calibration
FR3015072B1 (fr) * 2013-12-18 2017-03-17 Movea Procede de determination de l'orientation d'un repere capteur lie a un terminal mobile muni d'un ensemble capteur, porte par un utilisateur et comprenant au moins un capteur de mouvement lie en mouvement
US20150362579A1 (en) * 2014-06-12 2015-12-17 Google Inc. Methods and Systems for Calibrating Sensors Using Recognized Objects
IL237971A (en) 2015-03-26 2016-10-31 Gandelsman Mark A device and method for determining relative orientation between two different locations
EP3174026A1 (en) 2015-11-24 2017-05-31 Hella KGaA Hueck & Co Remote control for automotive applications
US10057727B2 (en) 2016-10-24 2018-08-21 General Electric Company Indoor positioning system based on motion sensing augmented with beacons

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007114820A (ja) 2005-10-18 2007-05-10 Sharp Corp 携帯型ポインタ装置及び表示システム
JP2007139918A (ja) 2005-11-16 2007-06-07 Pioneer Electronic Corp 表示画像制御装置、表示画像制御方法、表示画像制御システムおよび表示画像制御プログラム
JP2013016046A (ja) 2011-07-04 2013-01-24 Kddi Corp ポインティングシステム
JP2014206866A (ja) 2013-04-12 2014-10-30 任天堂株式会社 情報処理プログラム、情報処理システム、情報処理装置、および、情報処理の実行方法
JP2017067473A (ja) 2015-09-28 2017-04-06 沖電気工業株式会社 情報処理装置、情報処理システム、及びプログラム
JP2019064814A (ja) 2017-10-04 2019-04-25 Ihi運搬機械株式会社 目標位置特定装置、該目標位置特定装置を用いたクレーンの吊荷部材誘導方法及びシステム

Also Published As

Publication number Publication date
EP3830601A1 (en) 2021-06-09
KR20210102181A (ko) 2021-08-19
CA3107907C (en) 2022-01-11
KR102641659B1 (ko) 2024-02-28
WO2020026123A1 (en) 2020-02-06
CA3107907A1 (en) 2020-02-06
AU2019315032A1 (en) 2021-02-25
JP2021525937A (ja) 2021-09-27
KR102550637B1 (ko) 2023-07-03
CN113227818A (zh) 2021-08-06
KR20240031426A (ko) 2024-03-07
US20200033437A1 (en) 2020-01-30
AU2019315032B2 (en) 2021-03-11
CN113227818B (zh) 2022-08-05
US11002820B2 (en) 2021-05-11
KR20230107378A (ko) 2023-07-14

Similar Documents

Publication Publication Date Title
US9599473B2 (en) Utilizing magnetic field based navigation
US10715963B2 (en) Navigation method and device
EP3213031B1 (en) Simultaneous localization and mapping by using earth's magnetic fields
US10533857B2 (en) User terminal and control method thereof
US8296058B2 (en) Method and apparatus of obtaining improved location accuracy using magnetic field mapping
CN108496057B (zh) 基于照明源定位
US20070257836A1 (en) Site survey tracking
EP3566022B1 (en) Location signaling with respect to an autonomous vehicle and a rider
CN109813317A (zh) 一种避障方法、电子设备及虚拟现实设备
KR101523147B1 (ko) 실내 측위 장치 및 방법
JP7148713B2 (ja) 位置合わせされた基準フレームを用いた物理空間における物体追跡のためのシステム
TW201621273A (zh) 行動定位裝置及其定位方法
US20210131808A1 (en) Method for reconstructing the movement of an individual and the signal map of a location
CN114502919A (zh) 用于检测位置的电子装置及其方法
US20190204455A1 (en) Method of adaptive weighting adjustment positioning
KR20230041461A (ko) 외부의 측위 장치를 이용하여 전역 위치를 추정하기 위한 컴퓨팅 장치 및 그의 방법
Silva et al. System based on an android platform as a sensor to assist the autonomous localization
CN115143959A (zh) 测定室内无线信号发射锚点的位置坐标的方法及装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210324

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210324

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220922

R150 Certificate of patent or registration of utility model

Ref document number: 7148713

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150