JP5553405B2 - 閉ざされた構造内の人員およびセンサの位置を示し、状況認識の増進を提供する、拡張現実ベース型システムおよび方法 - Google Patents

Description

（関連出願の引用）
本発明は次の同時係属中の米国特許出願に関し、該出願の各々の内容の全体が本明細書に参考として援用される。

１．２００６年５月２６日に出願された、名称が「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｔｏ Ｄｉｓｐｌａｙ Ｍａｉｎｔｅｎａｎｃｅ ａｎｄ Ｏｐｅｒａｔｉｏｎ Ｉｎｓｔｒｕｃｔｉｏｎｓ ｏｆ ａｎ Ａｐｐａｒａｔｕｓ Ｕｓｉｎｇ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ」である米国特許出願第１１／４４１，２４１号、および
２．２００７年３月８日に出願された、名称が「Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ−Ｂａｓｅｄ Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ Ｐｒｏｖｉｄｉｎｇ Ｓｔａｔｕｓ ａｎｄ Ｃｏｎｔｒｏｌ ｏｆ Ｕｎｍａｎｎｅｄ Ｖｅｈｉｃｌｅｓ」である米国特許出願第１１／７１５，３３９号。

３．２００６年９月７日に出願された、名称が「Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｇｅｏ−Ｒｅｆｅｒｅｎｃｉｎｇ ａｎｄ Ｖｉｓｕａｌｉｚａｔｉｏｎ ｏｆ Ｄｅｔｅｃｔｅｄ Ｃｏｎｔａｍｉｎａｎｔｓ」である米国特許出願第１１／５１６，５４５号。

（開示の分野）
本発明は、環境内の人員およびセンサについての位置および関連データを環境の視界の上に示すことに関する。

（導入）
質の高い状況認識を第１の応答者に提供することが長い間望まれていた。例えば、第１の応答者に彼らの周囲の環境についてのより多くの情報を提供することは、救助活動を向上させ得る。先行技術の装置は、環境の仮想表現（例えば、マップまたは建物の３Ｄ表現）を第１の応答者から受信された状態情報と組み合わせ、ユーザに、該組み合わせとの関連性を解釈させ、該関連性を第１の応答者に通信させることによって、質の高い状況認識を第１の応答者に提供することを試みた。

図１は、先行技術のシステムが第１の応答者に情報を提供する最も単純な方法のうちの１つを示す。図１において、第１の応答者１００およびユーザ１０２は、それぞれの通信装置１０４ａおよび１０４ｂを用いて通信チャネル１０６を介して通信する。通信装置１０４ａおよび１０４ｂは典型的には無線トランシーバであり、通信チャネル１０６は通信装置がそれを介してリンクされる物理的媒体である。通信装置１０４ａおよび１０４ｂが無線トランシーバである場合において、通信チャネル１０６は単に空気である。ユーザ１０２は、応答者１００からある距離だけ離れて位置を定められ、応答者１００にとってすぐに利用可能ではない、応答者の環境１０８について情報をユーザ１０２が応答者１００に提供することを可能にする第１の応答者の周囲環境１０８の眺めを有する。

図２は、ユーザ１０２がディスプレイ１１４上で見得るマップ１１２を提供するコンピュータ１１０を組み込むことによって図１の先行技術のシステムの質の高い先行技術のシステムを示す。マップ１１２は、環境１０８についてのより多くの情報をユーザ１０２に提供する。この情報は、ユーザ１０２によって第１の応答者１００に通信され得る。マップ１１２は、典型的には環境１０８の一部分の静止の２Ｄまたは３Ｄの表現である。

図３は、第１の応答者の位置が監視されることを可能にするセンサ１１６を第１の応答者１００に装備することによって、図２の先行技術のシステムを高める先行技術のシステムを示す。これは、コンピュータ１１０がマップ１１２に第１の応答者の位置をプロットすることを可能にする。従って、ディスプレイ１１４は、第１の応答者の位置がマップ１１２に重ねられた第１の応答者の位置についての情報をユーザ１０２に提供する。

図１および図２に示される先行技術のシステムは、環境の動的表現を第１の応答者から受信された情報と組み合せない。その結果、ユーザ１０２は、典型的には、各応答者または応答者のチームから受信された通信を用いることによって、環境１０８に関して各第１の応答者１００の位置を頭の中で理解しなければならない。環境の仮想視界のマップまたは３Ｄディスプレイが図３に示されるシステムにおけるように用いられる場合でも、この視界は、現実の環境１０８と位置合せされないで、従って、環境１０８との関連において受信された情報を関連／関係づけ、頭の中での統合を必要とする。さらに、大都市地域における多数の建物がある場合は、あらゆる建物に対してマップまたは３Ｄモデルが利用可能であることは非常に珍しい。

次の例は、例示的な先行技術のシステムの実例を提供する。１階建ての建物が火災の場合、消防士（すなわち、第１の応答者）は、建物に到着しそして建物内に入る。消防士があちこちと動くとき、消防士は、分隊長（すなわち、ユーザ）に彼らが建物内のどこにいるかを概略知らせる（例えば、「私は北東コーナーから入っている」）。建物内の応答者の位置を感知することが可能であるセンサがある場合には、分隊長は、建物のマップを用い、建物内の消防士の位置をプロットし得るか、またはより近代的なシステムは自動的にマップ上に位置をプロットし得る。分隊長は次いで、マップからの情報および／または分隊長の建物の視界からの情報に基づいて、消防士の位置についての情報を消防士と通信し得る。あるいは分隊長は、消防士と情報の通信をしないで自分自身の使用のために、自分の建物の視界を用い得る。この例において、建物についての動的情報（例えば、どの部分に、火がついていて、かつ／または火が弱まっているか）は、消防士から受信された情報（例えば、位置）とは組み合わされない。すなわち、分隊長は、消防士が位置する場所を決定するためにマップを見、どの部分に火がついているかを見るために建物を見、そして危険に陥っている消防士がいるかどうかを決定するために両方の種類の情報を統合しなければならない。そのような統合の後にのみ、分隊長は消防士が危険に陥っているかどうかを消防士と通信し得る。

本明細書に説明されるシステムは、拡張現実感を用い、第１の応答者から受信された情報を第１の応答者の環境の実況の視界の上に示す。環境の動的／実況／リアルタイムの視界の上に、第１の応答者から受信された情報を有することによって、システムは、環境の質の高い表現を提供し得る。この質の高い表現は、第１の応答者のために、質の高い状況認識を提供するために用いられ得る。例えば、上記のシナリオにおいて、建物の一部が火によって弱くなっていると見られ得る場合、分隊長は、環境の動的視界の上に重ねられる情報を見ることによって、消防士の誰かが危険に陥っているかどうかを直ちに決定することが可能である。分隊長は次いで、この位置にいる人に建物のその領域から離れるように呼びかける。さらに応答者が倒れている場合、実際の建物に対する応答者の位置を見ることも可能であり、このことは、建物の現在の状態が与えられると、応答者に到達する最善の方法を決定するのに有用であり得る。システムはまた、環境のリアルタイムの視界の上に重ねられ、環境内に配置されたセンサの位置および値を示し得る。例えば、温度センサが消防士によって落とされたとき、センサ自体の追跡システム（または消防士がセンサを落とした時点の消防士の最後の位置）が、センサの位置を提供する。環境のリアルタイムの視界の上にセンサから来たデータを示すことによって、分隊長は、センサ読取りを環境における位置に直接に関係づけ得る。
（項目１）
環境内に位置する人員に質の高い状況情報を提供する方法であって、
該環境内に位置する１つ以上のセンサから情報を受信するステップであって、該情報は該環境および該環境内にいる人員についてのセンサ位置情報および状態情報を含む、ステップと、
該環境の外からのリアルタイムの視界に対応する視点情報を得るステップと、
該センサ位置情報および視点情報を用いてグラフィックスを生成するステップであって、該グラフィックスは該状態情報の視覚的表現を含む、ステップと、
該生成されたグラフィックスが該リアルタイムの視界に重ねられるように、該環境の外にある管理者ステーションのディスプレイに該生成されたグラフィックスを表示する、ステップと
を包含する、方法。
（項目２）
前記ディスプレイに視覚的に表現された情報に基づき、前記管理者ステーションから前記人員に状況情報を通信するステップをさらに包含する、項目１に記載の方法。
（項目３）
環境内に位置する前記人員は、前記外からのリアルタイムの眺めから閉ざされる、項目１に記載の方法。
（項目４）
前記人員は消防士であり、前記環境は建物である、項目１に記載の方法。
（項目５）
前記人員は兵士であり、前記環境は戦闘区域である、項目１に記載の方法。
（項目６）
前記状況情報を通信するステップは、管理者ステーションの前記ディスプレイ上の映像を前記環境内に位置する前記人員に送ることを含む、項目２に記載の方法。
（項目７）
前記視覚的表現は、前記人員を表す記号を含む、項目１に記載の方法。
（項目８）
環境内に位置する人員に質の高い状況情報を提供する拡張現実システムであって、
該環境内に位置する１つ以上のセンサと、
該環境のリアルタイムの視界に対応する視点情報を得る追跡システムと、
該１つ以上のセンサから情報を受信する処理システムであって、該情報は、該環境および該環境内の人員についてのセンサ位置情報および状態情報を含み、該センサ位置情報および該視点情報を用いてグラフィックスを生成し、該グラフィックスは該状態情報の視覚的表現を含む、処理システムと、
該環境の外にある管理者ステーションに、該生成されたグラフィックスが該リアルタイムの視界に重ねられるように、該生成されたグラフィックスを表示する、ディスプレイと
を備えている、システム。
（項目９）
前記ディスプレイに視覚的に表現された情報に基づき、前記管理者ステーションから前記人員に状況情報を通信する通信装置をさらに備えている、項目８に記載の拡張現実システム。
（項目１０）
前記人員は消防士であり、前記環境は建物である、項目８に記載の方法。
（項目１１）
前記人員は兵士であり、前記環境は戦闘区域である、項目８に記載の方法。
（項目１２）
前記状況情報は、前記環境内に位置する前記人員への管理者ステーションの前記ディスプレイ上の映像を含む、項目８に記載の拡張現実システム。
（項目１３）
前記視覚的表現は、前記人員を表す記号を含む、項目８に記載の方法。
（項目１４）
環境内に位置する人員に質の高い状況情報を提供する方法であって、
該環境内に位置する１つ以上のセンサから情報を受信するステップであって、該情報は該環境および該環境内にいる人員についてのセンサ位置情報および状態情報を含む、ステップと、
該環境のリアルタイムの視界に対応する視点情報を得るステップと、
該センサ位置情報および視点情報を用いてグラフィックスを生成するステップであって、該グラフィックスは該状態情報の視覚的表現を含む、ステップと、
該生成されたグラフィックスが該リアルタイムの視界に重ねられるように、ディスプレイに該生成されたグラフィックスを表示する、ステップと
を包含する、方法。
（項目１５）
前記人員は消防士であり、前記環境は建物である、項目１４に記載の方法。
（項目１６）
前記人員は兵士であり、前記環境は戦闘区域である、項目１４に記載の方法。
（項目１７）
環境ついての質の高い状況情報を提供する方法であって、
該環境内に位置する１つ以上のセンサから情報を受信するステップであって、該情報は該環境についてのセンサ位置情報および状態情報を含む、ステップと、
該環境のリアルタイムの視界に対応する視点情報を得るステップと、
該センサ位置情報および視点情報を用いてグラフィックスを生成するステップであって、該グラフィックスは該状態情報の視覚的表現を含む、ステップと、
該生成されたグラフィックスが該リアルタイムの視界に重ねられるように、ディスプレイに該生成されたグラフィックスを表示する、ステップと
を包含する、方法。
（項目１８）
前記環境は建物であり、前記１つ以上のセンサは、該建物内の１つ以上のアラームに対応し、前記状態情報はアラームが駆動されたかどうかを示す、項目１７に記載の方法。

（図面の簡単な説明）
添付の図面に関して与えられる次の説明は、図面の非限定の例を参照してより良く理解され得、図面は以下のように示す。
図１：先行技術の室内人員位置情報システム 図２：先行技術の室内人員位置情報システム 図３：先行技術の室内人員位置情報システム 図４：例示的室内人員位置情報システム 図５：光学シースルーディスプレイを組み込んだ例示的室内人員位置情報システム 図６：ビデオディスプレイを組み込んだ例示的室内人員位置情報システム 図７：ビデオディスプレイを組み込んだ例示的室内人員位置情報システム 図８：ビデオディスプレイを組み込んだ例示的室内人員位置情報システム 図９：環境外の応答者の眺めからの環境の視界の上に重ねられた情報の例示的図 図１０：例示的室内人員位置システム 図１１：環境内の応答者の眺めからの環境の視界の上に重ねられた情報の例示的図

（現在好ましい例示的実施形態）
本明細書に説明される状況認識システムは、拡張現実感（ＡＲ）技術を利用し、必要な視界をユーザに提供する。ＡＲは、仮想現実感に似ているが、完全に人工の画像（例えば、マップまたは３Ｄモデル）を用いる代わりに、ＡＲは、現実の世界の図に３Ｄのグラフィックスを重ねる。ＡＲの非常に単純な例は、黄色の線によってファーストダウンを示すフットボールゲームに用いられる。用いられ得るＡＲシステムの例は、本開示と組み合せて米国特許出願第１１／４４１，２４１号の例に説明されるシステムである。

ＡＲ可視化システムは、空間データベースと、グラフィカルコンピュータと、視点追跡装置と、ディスプレイ装置とを備えている。

拡張現実システムの動作原理は下記に説明される。ユーザの視界に対応する動的画像を表示するディスプレイ装置が追跡される。すなわちディスプレイの位置および方向は、視点追跡装置によって計測される。空間データベースおよびグラフィカルコンピュータは、現実の世界の環境に情報を関係づける。関係づけられた情報は、ディスプレイの位置および方向に従って動的表示画像の上に重ねられ、それによって拡張画像を作る。

図４は、応答者１００に質の高い状況認識を提供するために用いられるＡＲシステムの例示的実施形態を示す。

コンピュータ１１０は、第１の応答者１００によって着用されるセンサ１１６ａおよび周囲環境１０８の全体に配置されたセンサ１１６ｂからの情報を収集する。センサ１１６ａは、第１の応答者の位置が監視されることを可能にするセンサを含み、第１の応答者の健康状態（例えば、体温、心拍数など）、第１の応答者の機器（例えば、機器の能力および／または出力レベル）、および第１の応答者のすぐ近くの状態（例えば、温度、空気含有量）についての情報を提供するセンサを含み得る。センサ１１６ｂは、環境１０８の状態についての情報を集め得る任意のセンサを含み得る。そのようセンサ１１６ｂの例は、温度センサ、放射能センサ、煙検出器、ガスセンサ、風センサ、圧力センサ、湿度センサなどを含む。図４は単一の第１の応答者１００を示すが、そのような表現に限定することは意図されず、任意の数の第１の応答者１００が環境１０８内に位置を定められ得ることは留意すべきである。センサ１１６ａおよび１１６ｂは、通信媒体１０６に類似した通信媒体を用いてコンピュータ１１０と通信する。

コンピュータ１１０は、センサ１１６ａおよび１１６ｂから受信された情報によってデータベース１１８を更新する。データベース１１８は、センサ１１６ａおよび１１６ｂからの情報を記憶する。データベース１１８は、建物の３Ｄモデルなどの環境１０８についてのモデル情報をさらに含み得る。モデル情報は、システムにおける高機能を提供するために用いられ得るが、基本的なシステムの実装にとって必要ではない。グラフィカルコンピュータ１１０は、データベース１１８からの情報を連続してレンダリングし、それによって環境１０８内の第１の応答者を示し、センサ１１６ａおよび１１６ｂから受信された現在の情報からグラフィックスを生成する。各センサが追跡装置を有さず、一旦センサが消防士によって設置されると、センサは動かないので、センサが落とされた（または作動された）ときの、消防士の位置をセンサの位置として用いることが可能である。グラフィカルコンピュータ１１０は、データベース１１８からの情報を連続してレンダリングし、それによってセンサ１１６ａおよび１１６ｂからの現在の情報をデータベース１１８に配置する。

コンピュータ１１０はまた、追跡装置１２２によって捕獲されたディスプレイ装置１２４の視点についての情報を受信する。コンピュータ１１０は、データベース１１８からの情報およびディスプレイ装置１２４の視点についての追跡情報を取り、一般的な３Ｄ投影プロセスを用いることによって、ディスプレイ装置１２４の現在の視界に関するセンサ１１６ａおよび１１６ｂからの現在の情報をレンダリングする。ディスプレイ１２４の位置および方向をリアルタイムで計測する（すなわち、ユーザの視点を決定する）ことによって、空間データベース１１８からレンダリングされた情報を対応する視点に位置合せすることが可能である。

ディスプレイ装置１２４は、ディスプレイ装置１２４によってまたはディスプレイ装置１２４を通って「見られる」周囲の環境１０８の視界に重ね、グラフィカルコンピュータ１１０によって生成された画像を示すことが可能である。従って、ユーザ１０２は、情報がそれに重ねられた、環境１０８の全体の眺めを有し、この質の高い環境１０８の全体の眺めを用い、第１の応答者１００に情報を通信することが可能である。それによって、他の方法では第１の応答者１０２にとって利用可能ではない、環境１０８についての情報を第１の応答者１０２に効率的に提供する。

図５は、光学シースルーディスプレイを用いて実装されるディスプレイ装置１２４を示す。光学シースルーディスプレイは、光学ビームスプリッタを用いることによって、周囲の環境１０８の視界に重ねられた、グラフィカルコンピュータ１１０によって生成された画像を示し、該光学ビームスプリッタは、前方の環境１０８から来る光の半分を通過させ、ディスプレイ１２４から来る光の半分を反射し、現実世界の環境１１８とグラフィックスとを組み合せた効果の中で、グラフィカルコンピュータ１１０によって生成される画像を示す。光学シースルーディスプレイは、典型的にはユーザ１０２によって着用されるゴーグルの形態であるが、ジェット戦闘機において用いられるヘッドアップディスプレイでもあり得る。

図６は、映像シースルーディスプレイを用いて実装されるディスプレイ装置１２４を示す。映像シースルーディスプレイは、ビデオカメラ１２６を用いることによって、環境１０８の視界に重ねられ、グラフィカルコンピュータ１１０によって生成された画像を示すことを達成し、ビデオカメラ１２６は、環境１０８の映像をとり、ビデオレンダリング装置１２８を用いて、グラフィカルコンピュータ１１０からの画像が映像の上にオーバレイされた後に、ディスプレイ１２４に映像を示す。映像シースルーディスプレイの場合において、現実世界の環境１０８の視界を獲得するカメラおよびこの映像を示すディスプレイが、図６に示されるように、単一のディスプレイに共に位置を定められ得るか、または図７に示されるように異なる位置に配置され得る。映像ディスプレイは、様々なタイプの表示技術を用いて実装され得、ユーザ１０２の近くのどこにでも位置を定められ得る。消防士の例において、ディスプレイ１２４は、トラック内のスクリーン、トラック外のタブレットコンピュータまたはＰＤＡであり得る。

上記の３つの例示的構成（光学シースルー、共に位置するカメラおよびディスプレイ、ならびに異なる位置におけるカメラおよびディスプレイ）は、ＡＲシステムの実装を理解するために言及されるのであって、限定することは意図されない。現実の世界に付随されたように見えるグラフィックスを重ねることが可能な任意のＡＲシステムが用いられ得る。

図８は、ユーザ１０２および第１の応答者１００が各々ディスプレイ１２４を有する例示的実施形態である。これは、第１の応答者１００がユーザ１０２の映像シースルーディスプレイに表示された拡張映像を受信することを可能にする。複数の第１の応答者１００がいる場合において、各応答者１００は、他の応答者１００によって用いられる任意のＡＲシステムから生成される映像を受信し得る。複数の映像源が、任意の公知の方法、すなわち、スプリットスクリーン、マルチプルディスプレイ、映像源スイッチングなどを用いるユーザ１０２および各第１の応答者１００に提供され得る。応答者が、図７におけるようにユーザディスプレイおよびカメラが共に位置を定められない場合の実装においてディスプレイ上に映像を受信し得ることは留意すべきである。

図４〜図８に示される要素は、適切な場合、任意の数の方法で組み合わせられ得る（例えば、トラッキング１２２およびコンピュータ１１０は、同じ物理的装置内で組み合わされ得る）ことは留意すべきである。さらに、示される要素は、任意の適切な方法で互いに通信する別個の物理的装置であり得る。例えば、センサ１１６ａおよび１１６ｂは、ネットワークプロトコルを用いるネットワークを介して無線通信によって、または電子通信の任意の他の適切な方法を用いて、コンピュータ１１０と通信し得る。

図９は、燃えている建物内の消防士の例を用いる現実の世界の建物の外観情報を重ねる概念を示す。この例において、建物の視界は、建物の近くのトラックに取り付けられ得るか、カメラマンによって扱われ得るか、またはそれが分隊長の視界を表すような方法で分隊長に取り付けられ得るビデオカメラから提供され得る。映像はまた、光学シースルーディスプレイを用いることによって生成され得る。図９における映像は、実際の環境の外からの環境の眺めを提供する。示されるように、「ジョン」および「ジョー」と呼ばれる応答者の位置は、建物の実際の生きた視界の上に重ねられる。ジョンおよびジョーが同じ記号（すなわち、十字形）によって表されるが、そのような表現は、限定することであることを意図されず、各応答者が固有の記号によって表され得ることは留意すべきである。

またジョンおよびジョーの名前の隣に表示されるものは、各人の状態に関する情報である。この例において、パーセンテージは、各人が自分の酸素タンクに有する酸素のレベルを表す。ここでジョンの酸素タンクは満タンの８０％であり、ジョーのタンクは満タンの９０％である。このことは、ジョンおよびジョーが建物内で活動する時間がどのくらい有するかという考えを分隊長に提供し得る。第１の応答者または彼らから受信された任意の情報を表すために、アバターが代わりに用いられ得る。システムに組み込まれ得る電子ゲーム技術において多くの公知のアバターがある。さらにグラフィカル情報は、ジョンとジョーの結合された状態、例えば、結合された酸素レベルを表すインジケータを表し得る。あるいは、両方が集合した記号を用いて示され得る（近くで活動する応答者のチーム、表示が煩雑になるのを減らすため）。

上記のジョンおよびジョーの表現は、建物内で落とされたセンサから来るデータである。この例示的実施形態において、センサは、燃えている建物内のどこかに落ちた温度センサである。そのようなセンサの１つは、示されるように４３５度の温度表示を提供している。他のタイプのセンサおよびさらなる温度センサが、建物全体に配置され得る。

例示的システムの原理が消防士のための状況認識システムとしての例を用いることによって示されるが、例示的システムはまた、次の用途におけるシステムとしても実装され得る。すなわち、都市環境における軍事作戦において「友軍（ｂｌｕｅ ｆｏｒｃｅ）（友好的）」を示すシステム、建物内の労働者の位置を示すシステム、駆動されたアラームセンサの位置を示し、セキュリティ要員によって用いられるシステム、工場／建物内のセンサまたはセンサ一式についての位置およびデータを示すための、保守要員によって用いられるシステムである。

図１０は、拡張視界を有する第１の応答者１００の原理を示す。図１０におけるシステムは、図４〜図８のシステムと異なることなく実装される。相違は、環境１０８の拡張視界を有する人の位置である。図４〜図８において、この人（ユーザ１０２）は環境１０８の外にいる。図１０において、この人（第１の応答者１００）は環境内にいる。第１の応答者１００が拡張視界を有するとき、拡張視界は、第１の応答者１００が、ユーザの視界から固有である、第１の応答者１００の環境の視界に重ねられたセンサからの情報を有することを可能にする。そのような視界の例は図１１に示され、図１１において、消防士の部屋の視界は、誰が部屋にいるか、彼らはどこにいるか、ならびに環境に配置されているセンサから来る値などの情報によって重ねられる。

第１の応答者１００がその個人の視界に重ねられるグラフィックスを見るこの例において、第１の応答者１００は、ヘルメットか手首に取り付けられたディスプレイまたはＰＤＡ／タブレットのディスプレイを用いて、現実の世界の環境１０８と位置合せされた情報を見る。ディスプレイ１２４は、応答者１００およびセンサ１１６ｂについての位置およびデータなどの同じ情報、または任意の他の有用な情報を示す。応答者１００が援助を必要とする場合、他の応答者が助けに行くことが今や容易になる。なぜなら、彼らは、環境１０８に関して応答者１００がどこにいるかが分かり、障害物を避けながら応答者１００に到達する方法が分かり得るからである。

本発明が現在最も実際的で好ましい実施形態であると考えられるものに関連して説明されたが、本発明が、開示された実施形態に限定されるべきではなく、それどころか、添付の特許請求の範囲の精神および範囲内に含まれる様々な修正および均等な構成を含むように意図されることは理解すべきである。

Claims (13)

1. 環境内に位置する人員に質の高い状況情報を提供する方法であって、
   該環境内に位置する１つ以上のセンサから情報を受信するステップであって、該情報は該環境および該環境内にいる人員についてのセンサ位置情報および状態情報を含む、ステップと、
   該環境の外からのリアルタイムの視界に対応する視点情報を得るステップであって、該環境の該外からのリアルタイムの視界は、該環境の外にある管理者ステーションのディスプレイ装置に表示され、該視点情報は、該ディスプレイ装置の位置および方向を計測することにより得られる、ステップと、
   該センサ位置情報および視点情報を用いてグラフィックスを生成するステップであって、該グラフィックスは該状態情報の視覚的表現を含む、ステップと、
   該生成されたグラフィックスが該環境の該外からのリアルタイムの視界に重ねられるように、該環境の外にある該管理者ステーションの該ディスプレイ装置に該生成されたグラフィックスを表示するステップと
   を包含する、方法。
2. 前記ディスプレイ装置に視覚的に表現された情報に基づき、前記管理者ステーションから前記人員に状況情報を通信するステップをさらに包含する、請求項１に記載の方法。
3. 前記環境内に位置する前記人員は、前記外からのリアルタイムの眺めから閉ざされる、請求項１に記載の方法。
4. 前記人員は消防士であり、前記環境は建物である、請求項１に記載の方法。
5. 前記人員は兵士であり、前記環境は戦闘区域である、請求項１に記載の方法。
6. 前記状況情報を通信するステップは、前記管理者ステーションの前記ディスプレイ装置上の映像を前記環境内に位置する前記人員に送ることを含む、請求項２に記載の方法。
7. 前記視覚的表現は、前記人員を表す記号を含む、請求項１に記載の方法。
8. 環境内に位置する人員に質の高い状況情報を提供する拡張現実システムであって、
   該環境内に位置する１つ以上のセンサと、
   該環境の外からのリアルタイムの視界に対応する視点情報を得る追跡システムと、
   該１つ以上のセンサから情報を受信する処理システムであって、該情報は、該環境および該環境内の人員についてのセンサ位置情報および状態情報を含み、該センサ位置情報および該視点情報を用いてグラフィックスを生成し、該グラフィックスは該状態情報の視覚的表現を含む、処理システムと、
   該環境の外にある管理者ステーションに、該生成されたグラフィックスが該環境の該外からのリアルタイムの視界に重ねられるように、該生成されたグラフィックスおよび該環境の該外からのリアルタイムの視界を表示するディスプレイ装置と
   を備えており、該視点情報は、該追跡システムが該ディスプレイ装置の位置および方向を計測することにより得られる、システム。
9. 前記ディスプレイ装置に視覚的に表現された情報に基づき、前記管理者ステーションから前記人員に状況情報を通信する通信装置をさらに備えている、請求項８に記載の拡張現実システム。
10. 前記人員は消防士であり、前記環境は建物である、請求項８に記載のシステム。
11. 前記人員は兵士であり、前記環境は戦闘区域である、請求項８に記載のシステム。
12. 前記状況情報は、前記管理者ステーションの前記ディスプレイ装置上の映像を含み、該状況情報は、前記環境内に位置する前記人員へ送信される、請求項８に記載の拡張現実システム。
13. 前記視覚的表現は、前記人員を表す記号を含む、請求項８に記載のシステム。

Images