JP7184511B2 - 対話形式で認知する作業支援システム及び方法 - Google Patents

Description

本開示は、物理的構造を生産し、維持するためのシステム及び方法に関し、より具体的には、物理的構造に作業を実施するユーザに指導を提供するシステム及び方法に関する。

従来の保守活動には、適切な保守作業を調べて、これらの作業の各ステップを進めるためにユーザ（保守管理者）が参照する紙の保守マニュアルが使用される。その結果、保守管理者は、紙の保守マニュアルを見つけて、所望の保守作業に関するマニュアルの適切な部分を探し、（大抵他の場所に位置する）どのツール及び他の資源が必要であるかを決定し、これらのツール及び資源を手に入れる必要がある。保守管理者は次に、各ステップについて紙の保守マニュアルを参照し、ステップを実施し、その後次のステップを決定するために紙の保守マニュアルを再び参照しなければならない。保守管理者が常に仕事の手を止めて各ステップのためにマニュアルの指示を参照しなければならないため、作業を実施するのに要する時間が長引き、保守管理者の役割におけるエラーの可能性が高くなる。要するに、紙の保守マニュアルを保管し、また取り出さなければならず、簡単に検索し、また質問することができず、保守管理者が保守作業と関連するマニュアルとの間で移動しなければならないことで、保守プロセスのペースが落ちてしまう。

デジタル保守マニュアルは存在しており、マニュアルをポータブルで検索可能にすることによってこれらの不利点の幾つかが軽減されるが、保守管理者はやはり、デジタル保守マニュアルと対話するのにフリーハンドでなければならない。デジタル保守マニュアルには動画が含まれうるが、このような動画は通常、保守管理者がステップを実施することができるよりも速くあるいは遅く再生されるため、保守管理者は常に、動画の再生を開始、また再開（又は巻き戻し）する必要がある。

上記デジタル保守マニュアルを改善するシステムが利用可能である。例えば、保守ステップを通して保守管理者を指導するために、拡張現実メガネを使用する拡張現実が用いられる。本書に参照されることで組み込まれる、Ｖｉｃｔｏｒｉａ Ｗｏｏｌｌａｓｔｏｎ氏による「Ｅｎｄ ｏｆ ｔｈｅ Ｍｅｃｈａｎｉｃ？ ＢＭＷ Ｓｍａｒｔ Ｇｌａｓｓｅｓ Ｍａｋｅ ｉｔ Ｐｏｓｓｉｂｌｅ ｆｏｒ Ａｎｙｏｎｅ ｔｏ Ｓｐｏｔ ａｎｄ Ｆｉｘ ａ Ｃａｒ Ｅｎｇｉｎｅ Ｆａｕｌｔ Ｊｕｓｔ ｂｙ Ｌｏｏｋｉｎｇ ａｔ Ｉｔ」（Ｄａｉｌｙ Ｍａｉｌ ２０１４年１月２１日発行）に記載されているように、ある上記のようなシステムがＢａｖａｒｉａｎ Ｍｏｔｏｒ Ｗｏｒｋｓ社によって提案されている。ＢＭＷ Ｓｍａｒｔ Ｇｌａｓｓｅｓ Ｍａｋｅ ｉｔ Ｐｏｓｓｉｂｌｅ ｆｏｒ Ａｎｙｏｎｅ ｔｏ Ｓｐｏｔ ａｎｄ Ｆｉｘ ａ Ｃａｒ Ｅｎｇｉｎｅ Ｆａｕｌｔ Ｊｕｓｔ ｂｙ Ｌｏｏｋｉｎｇ ａｔ Ｉｔ，” ｂｙ Ｖｉｃｔｏｒｉａ Ｗｏｏｌｌａｓｔｏｎ， Ｄａｉｌｙ Ｍａｉｌ， ｐｕｂｌｉｓｈｅｄ Ｊａｎｕａｒｙ ２１， ２０１４， ｗｈｉｃｈ ｉｓ ｈｅｒｅｂｙ ｉｎｃｏｒｐｏｒａｔｅｄ ｂｙ ｒｅｆｅｒｅｎｃｅ ｈｅｒｅｉｎ．これもまた本書に参照されることで組み込まれる、Ｓｔｅｖｅ Ｈｅｎｄｅｒｓｏｎ及びＳｔｅｖｅｎ Ｆｅｉｎｅｒ氏らによる「Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ ｆｏｒ Ｍａｉｎｔｅｎａｎｃｅ ａｎｄ Ｒｅｐａｉｒ （ＡＲＭＡＲ）」（Ｃｏｌｕｍｂｉａ Ｕｎｉｖｅｒｓｉｔｙ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅｓ Ｌａｂ，２０１６）にも同様のシステムの一例が記載されている。これには、例えば従属部品のラベル付け、指導つきの保守ステップ、リアルタイムの診断データ、及び安全警告等の情報とともに、システムに対するユーザの物理的視界を向上させる頭部装着、動き追跡型ディスプレイを使用することによって保安要員の生産性、正確さ、及び安全を改善するために実際に修理した機器に重ね合わされ、登録されたリアルタイムのコンピュータグラフィックの使用が開示されている。上記システムは、例えば、これもまた本書に参照されることによって組み込まれる、Ｂｒｉａｎ Ｂａｒｒｅｔｔ氏による「Ｄａｑｒｉ Ｓｍａｒｔ Ｈｅｌｍｅｔ」（Ｗｉｒｅｄ ２０１６年１月７日）に記載されている、ＤＡＱＲＩ社から入手可能なスマートヘルメットを使用しうる。

残念ながら、上記既存のシステムでは、多くの保守問題は解決されない。例えば、ＢＭＷシステムのユーザとの対話処理には、例えば「次のステップ」等の口頭のコマンドを与える保守管理者に限定される音声対話が伴う。このシステムは、実施される作業も、ユーザからの普通の言葉の要求が使用されるその作業のステップも決定しない。この結果、所与の問題に対し、どの作業を実施するかを保守管理者がやはり決定しなくてはならない（例えば、適切な作業又は作業ステップを見つけるためにユーザが普通の言葉で目的を達成することを可能にする診断もいかなる特徴も存在しない）。これに関しては、ＡＲＭＡＲ及びＤＡＱＲＩシステムも同様に不十分である。

上述したシステムはまた、（ステップが適切に実施されたことを承認する、又はステップが適切に実施されていないことを示して修正措置を提供するフィードバックを提供するために）ステップの実施を監視する、あるいはステップの実施を記録したデータを提供することもできない。例えば、実施されるステップは、ボルトにナットを特定のトルクで締めつけることであってよい。

フィードバックを提供するためにステップの実施を監視することに関しては、上述したシステムはいずれも、保守管理者がナットを適切な仕様に沿ってきつく締めつけるのに失敗したかどうか、保守管理者が適切なツールを使用しているか否か、ユーザが、締めつける前にナットをボルトのねじ山にアラインメントしなかったか否かを感知しない。上記エラーは、タイミング良く発見されないことが多く、発見された場合、エラーを修正することができるように、分解する、あるいは作業ステップを反対の順序で実施することが必要となり得るため、時間の無駄となる。また、上述したシステムはいずれも、ユーザがステップを実施している間にステップが適切に実施されているか否かを感知することができず、したがって使用されるツール、又は作業が行われる構造のいずれかへの損傷を防止することができない。

ロギングに関しては、上述したシステムはいずれも、ステップの実施に関するいかなるデータも記録しない。上記データを使用して、保守手順を更に改善する、あるいは上記手順にどれくらいの時間がかかるかを推定することができる。また、データを使用して、その後の故障の原因を識別することもできる（例えば、特定の供給業者からのナットをトルク仕様の上限まで回転させたときに、その後の故障が多く見られた等）。

したがって、上述の問題点の少なくとも幾つかと、起こりうる他の問題点を考慮する方法及び装置を有することが望ましい。

上述した要件に対処するために、本書は、ステーションにおいて物理的構造に実施される少なくとも１つのステップを有する作業を実施するための指導を提供するシステム及び方法を開示する。一実施形態では、本方法は、指導処理ユニットにおいて、実施エンティティから作業を呼び出すコマンドを受信することと、指導処理ユニットにおいて、コマンドから少なくとも１つのステップを決定することと、指導処理ユニットから実施エンティティへ少なくとも１つのステップの実施を図示する指示データを送信することと、指導処理ユニットにおいて、物理的構造に近接してステップの実施を感知するセンサによって生成されるリアルタイムのセンサデータを受信することと、センサデータにしたがってステップの完成度評価を計算することとを含む。本システム及び方法は、例えば拡張現実環境を通して音声及び３Ｄの視覚的合図の組み合わせである情報を送ることにより保守工程を完全にハンズフリーにすることによって保守工程を更に効率的にすることができ、したがって、複雑な保守工程が実施される航空機又は他の製品の保守、修理、及び運航におけるエラー、再加工、安全性リスク、及び遅延が低減する。本システム及び方法はまた、複雑な保守工程が実施される航空機又は他の製品の保守、修理、及び運航のための訓練を減らし、実行コストを削減しうる。

別の実施形態は、ステーションにおいて物理的構造に実施される少なくとも１つのステップを有する作業を実施するための指導を提供するシステムによって明らかにされ、この実施形態では、システムは、物理的構造に近接したセンサと、呈示装置と、指示を含む指示記憶メモリに通信可能に結合されたプロセッサを備える指導処理ユニットとを備える。指示には、実施エンティティから、作業を呼び出すコマンドを受信し、コマンドから少なくとも１つのステップを決定し、呈示装置によって呈示するために、実施エンティティに少なくとも１つのステップの実施を図示する指示データを送信し、物理的構造に近接してステップの実施を感知するセンサによって生成されるリアルタイムのセンサデータを受信し、センサデータにしたがってステップの完成度評価を計算する指示が含まれる。本システムは、例えば拡張現実環境を通して音声及び３Ｄの視覚的合図の組み合わせである情報を送ることにより保守工程を完全にハンズフリーにすることによって保守工程を更に効率的にすることができ、したがって、複雑な保守工程が実施される航空機又は他の製品の保守、修理、及び運航におけるエラー、再加工、安全性リスク、及び遅延を低減させる。本システム及び方法はまた、複雑な保守工程が実施される航空機又は他の製品の保守、修理、及び運航のための訓練を減らし、実行コストを削減しうる。

上述の特徴、機能および利点は、本発明のさまざまな実施形態において個別に実現可能でありうるか、又は、下記の説明および図面を参照して更なる詳細を理解可能な、更に他の実施形態において組み合わされうる。

ここで、図面を参照する。各図面を通じて、類似の参照番号は対応する部品を表す。

例示の保守／組み立て／試験施設を示す図である。 ステーションの一実施形態を表す機能ブロック図である。 作業の完了にユーザを導くために使用される例示の処理ステップの一実施形態を示す図である。 作業の完了にユーザを導くために使用される例示の処理ステップの一実施形態を示す図である。 作業の完了にユーザを導くために使用される例示の処理ステップの一実施形態を示す図である。 ステーションと中央プロセッサの他の要素とともに、指導処理ユニットの動作を示す図である。 ステーションの指導プロセッサ及び関連要素の例示の試験台の実施態様を示す図である。 ステーションの指導プロセッサ及び関連要素の例示の試験台の実施態様を示す図である。 地理位置情報システムの処理エレメントを実行するのに使用されうる、例示のコンピュータシステムを示す図である。

以下の説明において、本明細書の一部を形成し、例として幾つかの実施形態を示す添付図面を参照する。他の実施形態も利用可能であり、また本開示の範囲を逸脱せずに構造的な変更を加えることができることを理解すべきである。

概要
本書に記載されるシステム及び方法は、保守管理者が正確な保守手順を見つけることを支援し、各保守ステップを通して音声及び視覚的合図を使用して保守管理者を指示し、センサのフィードバックの使用を通して各ステップの正確さを確認することによって、プラットフォーム又は他の物理的構造の保守管理者の完成度及び能率を向上させる。一実施形態では、センサは、インターネットオブシングス（ｌｏＴ）を介して一体化される。本システムは、（１）視覚及び他のｌｏＴセンサを使用して、保守管理者向けに適切な作業指示書を選択するために初期診断を実施する、（２）保守管理者の手動の入力に頼る代わりに認証された音声の痕跡をセンサに提供するために、保守工程に関連した画像及びデータを自動的に収集する、（３）保守管理者の訓練の機会を含む、プロセス改善の機会を識別するためにはどれくらい長く保守ステップを実施すべきかを示す完成度及びサイクル時間の測定基準を自動的に収集する能力を提供する。一実施形態では、本システムは、自然言語を使用した音声制御下で作動し、コマンドを発信し、保守環境を制御する。例えば、保守管理者は、電気のスイッチに手を伸ばす代わりに、電気をつけるように音声で要求することができる。

本システム及び方法は、幾つかの認知能力を、音声テキスト化、テキスト音声化、自然言語処理、機械学習及び拡張現実を含む新たな保守ツールへ追加する。これらの能力により、保守管理者が、正確な音声コマンドを記憶する必要なく、自然に話されるコマンドを使用して保守ツールと対話することが可能になる。ツールはまた、自然言語処理及び機械学習を使用して、音声コマンドの意図を判断し、必要に応じて上記コマンドに反応する。ハンズフリーの拡張現実を使用して、自然言語の音声コマンドと現実世界の物体上に重ねられた３Ｄの視覚情報を提供するフィードバックが、ツールから保守管理者に呈示される。

ツールは幾つかの異なる能力を結集することにより、それぞれの個別の構成要素よりも更に強力な終端システムとなる。一実施形態では、ツールは、ｌｏＴ、認知自然言語処理、及び高機能のドキュメントインデックス作成及びクエリを組み合わせる。これにより、保守管理者が、保守を迅速に、また効率的に実施するのに必要な全ての知識に簡単にアクセスすることが可能になる。またツールにより、拡張現実環境を通して情報を音声及び３Ｄの視覚的合図の組み合わせとして送ることによって、保守工程が完全にハンズフリーにもなる。ツールはまた、大抵マニュアルと未確認の保守ステップが要求される既存の保守ツールに、認知能力とｌｏＴフィードバックも加える。認知能力の追加により、保守管理者が迅速で効率的な方法で関連保守情報を見つけることが可能になり、ｌｏＴフィードバックの追加により、各ステップの適切な完了が確認されるため、再加工が削減される。

主に保守作業の実施に関して説明しているが、ツールは生産用途に、あるいは製造及び品質管理を含む作業が物理的構造に実施されるいかなるところでも等しく用いられる。例えば、以下に説明する技法は、自動車、航空機、宇宙船及び水容器を含む物理的構造の組み立て及び試験に適用可能である。

図１は、例示の保守／組み立て／試験（ＭＡＴ）施設１００（以下に簡略化して施設又はＭＡＴ１００と称される）を示す図である。ＭＡＴ１００は、作業が実施される一または複数のステーション１０２Ａ～１０２Ｎ（以下に代替的にステーション１０２と称される）を有する。各ステーション１０２は、保守が実施される、パーツが組み立てられる／分解される、又は試験が実施される物理的構造１０６を含む。ステーション１０２は、物理的構造１０６に作業を実施するために使用される一または複数のツール１１０Ａ～１１０Ｎ（代替的に以下に一又は複数のツール１１０と称される）も備えうる。上記作業は、例えば一または複数の人１０８Ｐ又は一または複数のロボット１０８Ｒ（以下に代替的に一または複数のユーザ１０８と称される）等の一または複数のユーザによって実施されうる。

一又は複数の物理的構造１０６、ツール１１０、及びユーザ１０８は、関連の物理的構造１０６、ツール１１０、又はユーザ１０８の特性をそれぞれ測定する又は監視する一又は複数のセンサ（まとめてセンサ１１２と呼ばれる）を含む。例えば、物理的構造１０６は、物理的構造１０６の特性を感知する一または複数の物理的構造センサ１１２Ｂを含みうる。この特性には、例えば物理的構造１０６の別の部分に対する付属器官の位置又は角度等の物理的特性、例えば導体又は物理的構造１０６への電圧又は電流測定等の電気的特性、又は任意の種類のセンサによって測定可能な他のいずれかの品質が含まれうる。物理的構造センサ１１２Ｂには、物理的構造１０６の完成したアセンブリのパーツであるセンサ、あるいは、保守又は生産目的で物理的構造１０６に取り付けられ、その後、組み立て又は保守が完了する前に取り外される物理的構造センサ１１２Ｂが含まれうる。例えば、物理的構造１０６は、航法及び制御の目的で、方向舵の位置を測定する一体型電位差計を含む方向舵等の動翼を備えうる。この例では、この電位差計を、使用可能な組み立てだけでなく、試験目的のために、物理的構造１０６の物理的構造センサ１１２Ｂの一つとして使用可能である。他の実施形態では、ＭＡＴ工程を実施するために、別の物理的構造センサ１１２Ｂを物理的構造に取り付け可能である。例えば、別々の電位差計を方向舵に取り付けることができ、このセンサによる方向舵の位置測定が、一体型電位差計によって測定された方向舵の位置と比較されうる。

同様に、一又は複数のツール１１０は各々、関連ツール１１０Ａ～１１０Ｎの特性をそれぞれ感知する又は測定するために使用される一又は複数のセンサ１１２ＤＡ～１１２ＤＮを含みうる。その特性は同じように、一又は複数の物理的特性、電気的特性又はセンサ１１２によって測定される他のいずれかの品質を含みうる。例えば、ツール１１０Ａはトルクレンチを備えていてよく、センサ１１２ＤＡは、トルクレンチによって例えばボルト又はナット等の物理的構造１０６の一部に付与されるトルクを測定しうる。上記センサ１１２Ｄはまた、（使用中にツール１１０の温度を監視するために）温度センサも含みうる。

同様に、一又は複数のユーザ１０８は、一又は複数のセンサ１１２を含みうる、あるいは使用しうる。一又は複数のユーザ１０８は例えば、人１０８Ｐ又はロボット１０８Ｒを含みうる。ロボット１０８Ｒは、ロボット１０８Ｒの特性、ステーション１０２Ａの（物理的構造１０６のツール１１０、又は人１０８Ｐを含む）他のエレメントの一又は複数の特性を感知する一または複数のロボットセンサ１１２Ｆを含みうる。一実施形態では、ロボット１０８Ｒは、複数の電位差計を含み、複数の電位差計は、ロボット１０８Ｒの構造の相対位置の表示を提供し、ここから、ロボット１０８Ｒの頭又は作業面の位置が決定されうる。これを使用して、例えば、ロボット１０８、及びその構造のいずれかの作業端の位置を時間の関数として決定することができる。別の実施形態では、ロボット１０８Ｒは、作業端に又はその近くに配置されたカメラ又は他の可視センサを含むことにより、作業端の周囲領域の視覚表示を取得することができる。センサ１１２Ｆは、ＭＡＴ工程を実施するために、ロボット１０８Ｒに組み込まれていてよい（例：コマンドに対するロボットの応答を制御するためにロボット１０８Ｒによってセンサ測定が使用される）、あるいは、ステーション１０２においてのみ使用するためにロボット１０８Ｒに追加されていてよい。上記ロボットセンサ１１２Ｆは、（使用中にロボット１０８Ｒ、又はロボット１０８Ｒの一部の温度を監視するために）温度センサも含みうる。

別の例として、人１０８Ｐは、一又は複数のセンサ１１２Ｅを身に着ける場合がある。上記センサ１１２Ｅは、例えば、拡張現実ヘッドセットを含みうる。上記ヘッドセットは通常、三次元の頭部装着型ディスプレイ（人のそれぞれの目に別々の画像を提供する）、及び頭部動作追跡センサを含む。上記動作追跡センサは、例えば、加速度計又はジャイロスコープ、構造化光システム、及び視線追跡センサ等の慣性センサを含みうる。人１０８Ｐが拡張現実ヘッドセットを身に着けると自分の周囲を見ることができるが、この周囲に三次元画像が重ね合わされている。上記三次元画像には、例えば、物理的構造１０６の一部、又は作業のステップによって必要とされる物理的構造１０６に対する変更を含みうる。慣性センサと視線センサを使用して、ユーザが慣性空間において見ている方向、及びこれらの画像に重ね合わされた物理的構造の画像を決定することができる。

拡張現実ヘッドセットは、ビデオ映像を記録するのみでなく、実際の映像に重ね合わされたビデオ映像も呈示するため、上記ヘッドセットは、センサとしてのみだけでなく、ユーザ１０８に情報を呈示する拡張現実ヘッドセット１１４Ｂの呈示エレメントとも見なされうる。ステーション１０２Ａはまた、指示情報を表示するためのディスプレイ１１４Ａ等のもっと伝統的な呈示装置も含みうる。

センサ１１２Ｅはまた、例えば人の付属器官の慣性状態を測定しうる、加速度計又はジャイロ等の付属器官に装着された慣性センサ等の他のセンサ１１２Ｅも含みうる。幾つかの実施形態では、センサは、体温又は心拍数を測定するセンサ等の、人１０８Ｐを監視するセンサを含みうる。上記センサによって得られた情報は、人１０８Ｐによって実施されている作業が特に難しいものであるかを決定するのに有益である。

ステーション１０２Ａは、環境センサ１１２Ａも含みうる。環境センサ１１２Ａは、ステーション１０２の環境の特性を測定するセンサである。これには、例えば、（例：温度計又は湿度計を使用して）環境温度又は湿度を測定するセンサと、物理的構造１０６のエレメント、ツール１１０、ユーザ１０８、又は指導処理ユニット１０４を含む、ステーション１０２のいずれかのエレメントの物理的位置又は互いに対する近接度を決定する可視センサが含まれうる。環境センサ１１２Ａは、ステーション１０２Ａの他のエレメントに配置されたエレメントを含みうる。環境センサ１１２Ａは、受動システム、能動システム、又は半能動システムを備えうる。例えば、能動環境センサの一実施形態は、ステーション１０２の別のエレメント（例：ロボット１０８Ｒのアーム）に位置づけされたリフレクタ、リフレクタを照らす照明器具、及び照らされたセンサの位置を測定する可視センサを備えうる。受動環境センサの一例は、可視光、紫外線、又は赤外線の波長に敏感であってよい、例えばビデオ又は静止カメラ等の可視センサである。環境センサ１１２Ａは、物理的構造１０６とその特性を識別するのに使用されうる無線自動識別（ＲＦＩＤ）システムも含みうる。

任意の、又は全てのセンサ１１２は、指導処理ユニット１０４（

記号によって示す）に通信可能に結合されており、指導処理ユニット１０４はセンサからデータを受信することが可能である。更に、指導処理ユニット１０４は、他のステーション１０２Ｂ～１０２Ｎの指導処理ユニットに、また中央プロセッサ１２０（

記号によって示す）に通信可能に結合されていてよい。

図２は、ステーション１０２の一実施形態の図である。ステーション１０２は、指導処理ユニット１０４、一又は複数のセンサ１１２、エフェクタ２０２、呈示装置１１４（ディスプレイ１１４Ａ及び拡張現実ヘッドセット１１４Ｂの呈示エレメントを含む）、及び物理的構造１０６を含む。

指導処理ユニット１０４は、センサ１１２からセンサデータを受信し、幾つかの実施形態では、センサ１１２にもセンサコマンドを提供する。上記コマンドは、例えば、センサ１１２の解像度又は可動域に関するコマンドを含みうる。指導処理ユニット１０４はまた、コマンドも送信し、エフェクタからもデータを受信する。上記エフェクタは、例えば、センサ１１２又はロボット１０８Ｒの一方を制御するステッピングモータを含む場合がある。

図示した実施形態では、指導処理ユニット１０４は、プロセッサ２０８に通信可能に結合されたインターフェース２０６を含む。センサ１１２は、インターフェース２０６を介してプロセッサ２０８にセンサデータを提供する。更に、センサ１１２は、インターフェース２０６を介してプロセッサからコマンドを受信しうる。同様に、プロセッサ２０８は、インターフェース２０６を介してコマンドをエフェクタ２０２に提供し、エフェクタ２０２からもデータを受信しうる。

指導処理ユニット１０４は、作業を完了させるために物理的構造に実施されるステップの実施を図示する指示データを呈示装置１１４へ提供し、インターフェース２０６を介してセンサ１１２を制御するためのコマンドも提供しうる。同様に、呈示装置１１４は、指導処理ユニット１０４にコマンド又は情報を提供しうる。

指導処理ユニット１０４は、実行されたときに指導処理ユニット１０４に以下に説明する工程を実施させるプロセッサの指示を記憶している一または複数のメモリに通信可能に結合されたプロセッサ２０８を備える。プロセッサ２０８は、複数のプロセッサ２０８を含んでいてよく、上記プロセッサ２０８は、互いから遠く離れて位置していてよい。以下に更に説明する一実施形態では、プロセッサ２０８は、分散した処理エレメントを備える。

図３Ａ～３Ｂは、物理的構造１０６への一または複数のステップを伴う作業を完了させるためにユーザ１０８を指導するのに使用可能な例示の処理ステップの一実施形態を示す図である。ブロック３０２において、ユーザ１０８又は実施エンティティは、物理的構造１０６に実施される作業を呼び出すコマンドを送信する。ブロック３０４において、指導処理ユニット１０４によってコマンドが受信される。

一実施形態では、このコマンドは、音声センサによって感知され、指導処理ユニット１０４へ供給されるハンズフリー（例：音声）コマンドであり、指導処理ユニット１０４において、スピーチ認識モジュールによって認識され、文字に翻訳される。上記音声コマンドは、固定コマンド言語（指導処理ユニット１０４によって要求されるコマンド構文と言い回しを学ぶ責任がユーザ１０８に負わされている）及び自然言語（音声コマンドを解釈して、適切な作業及びステップを検索するために必要な構文及び言い回しに翻訳する責任が指導処理ユニット１０４に負わされている）であってよい。固定コマンド言語は、ユーザの話し言葉を文字に翻訳するソフトウェア構成要素をトレーニングすることによって達成されるドメイン固有トレーニングを含みうる。

他の実施形態では、コマンドは、リモートコントロール、コンピュータのキーボード、マウス、ゲームコントローラ、又はタッチスクリーンディスプレイ等の指導処理ユニット１０４に通信可能に結合されたコントローラ装置を介したデジタルコマンドを含む。別の実施形態では、コマンドは、監視システムによって感知され、デジタルコマンドに翻訳される。例えば、コマンドは、ユーザ１０８によって実施されるジェスチャーを使用して全体的に又は部分的に実行され、結像センサ（例えば環境センサ１１２Ａ）によって感知されて指導処理ユニットへ供給され得、上記ジェスチャーは、指導処理ユニットにおいて分析され、解釈され、デジタルコマンドに翻訳される。

更に別の実施形態では、コマンドは、他のステーション１０２又は中央プロセッサ１２０のロボット１０８Ｒ又は他のロボット向けに、制御システムからシステム間メッセージを介して受信されるデジタルコマンドである。

次に、指導処理ユニット１０４は、受信したコマンドから実施される一または複数のステップを決定する。受信したコマンドは、多数の異なる形態のものであってよい。一実施形態では、コマンドは、特定の作業というよりは一般的な目的を含む。例えば、ユーザ１０８は、「空調が機能していない」というコマンドを発信しうる。このコマンドを受けると、指導処理ユニット１０４は、物理的構造のどんな問題が、空調が機能しない原因でありうるかを決定する。この決定をするにあたって、指導処理ユニット１０４は、内蔵された診断（ＯＢＤ）型センサからの入力を受け入れうる。指導処理ユニット１０４は次に、コマンドに応じて一または複数の作業を決定し、決定された作業から少なくとも１つのステップを決定する。例えば、故障した空調の例の場合、指導処理ユニットは、どの構成要素に欠陥があるかを診断するための作業だけでなく、それぞれが空調システムの各構成要素をチェックするための複数の作業を生成しうる。各作業は、各作業の階層下に一または複数の部分作業を有しうる。作業及び部分作業の階層の基礎は、ユーザ１０８に対する特定の指示に適した活動の単位を表すステップである。上述した例では、ステップは、空調コンプレッサの１つのねじを取り外すこと、あるいは空調コンプレッサのサブシステムを取り外すことでありうる。ステップが定義される階層レベルは、ステップの複雑さとユーザ１０８の経験に応じて変化しうる。例えば、音声コマンドは、ユーザ１０８がどれくらい経験を積んでいるかの表示と、この経験レベルにしたがって定義されたステップの階層レベルを含みうる。本書に更に定義されるように、指導処理ユニット１０４は、ユーザ１０８がどれほど良好にステップ又は作業を実施したかを示す実施データを記憶することができ、この情報を使用して、ユーザ１０８の経験レベルを決定することができ、その結果、ユーザの経験レベルに適切なステップ又は指示が得られる。この場合、ユーザ１０８は、ＲＦＩＤ技法、又は他の手段を介したユーザ入力（例：ユーザの名前を打ち込む又は言うこと）により決定されうる。

一実施形態では、受信したコマンドから作業を決定することは、自然言語インタープリタを使用して受信したコマンドからデータベースクエリを生成することを含む。上記インタープリタにより、ユーザが通常の会話型言語でコマンドを発信することが可能になる。コマンド内の単語は解析され、解析された単語は構文、意味論、ディスコース及びスピーチについて分析される。その結果は、適切な言語及び構文のデータベースクエリである。このクエリは、指導処理ユニット（例：中央プロセッサ１２０）に通信可能に結合されたデータベースに提供され、データベースクエリの結果から作業が決定される。作業が識別されたら、作業に基づいてクエリが生成され、ユーザの経験及び能力を条件として、実施される適切なステップが読み出される。

一実施形態では、作業は、物理的構造１０６に実施される複数の作業のうちの１つであり、データベースクエリは更に、現在の文脈データにしたがって決定される。上記文脈データは例えば、物理的構造１０６に実施された複数の作業のうちの他の作業、及び物理的構造自体によって作業に課される制約、及び環境（例：他のエレメント又は物理的構造の位置、温度、湿度、ツール１１０の性能限界）ついての情報を含む。例えば、別の特定の作業を実施するのに必要なステップを変更するような作業が、物理的構造１０６に実施されている可能性がある。空調システムの例を再び参照する。別の作業により、サブシステム又はパーツが取り外されていてよく、これにより現在の作業において、そのサブシステム又はパーツの取り外しが不必要となる。逆に、現在の作業を実施するのに追加のステップが必要となるようなステップ又は作業が実施される場合がある。例えば、以前の作業で構成要素を接着させる必要があった場合、現在の作業において、その接着剤が固定するための待機期間が必要となりうる。現在の作業において実施されるステップの定義を変更又は修正するために、以前完了させた作業からの完成度評価も使用可能である。例えば、以前の作業にボルトのナットを特定のトルクで締めつけるステップが含まれる場合、ボルトに適用された測定トルク（その以前のステップの完成度評価）を使用して、後続作業においてそのナットを取り外すのに要するトルクを推定することができる。

他の実施形態では、作業は例えば作業指示書又は他の情報等の実施される仕事関連の、記憶された情報を使用して決定されうる。作業（及びステップ）はまた、物理的構造１０６又は環境の状態によって課される制約にも基づいて決定されうる。例えば、以前の作業で物理的構造１０６の少なくとも一部が分解されていてよく、この場合、物理的構造の一部を分解するのに必要なステップは要らなくなる。逆に、以前の作業で物理的構造１０６が、追加のステップを実施しなければならなくなるように、変更される可能性がある。別の例として、所与の周囲温度においてステップを実施しなければならない場合がある。周囲温度が低すぎる場合、作業には、周囲温度をより高い値に上げるステップが含まれ得、周囲温度が十分である場合はこのステップは要らなくなる。別の例として、物理的構造の電位差計で測定される電圧は、周囲温度に応じて変わりうる。この温度を感知し、上記周囲温度に基づいて電位差計の適切な設定を決定するために、環境センサ１１２Ａが使われうる。他の環境的制約には、例えばロボット１０８Ｒのアーム、ツール１１０、又は他の物理的構造等のステーション１０２の他のエレメントの位置が含まれ得、これは、これらの構造の位置により、物理的構造１０６が分解されるのが防止されうるためである。この場合、環境センサは、物理的構造１０６と近くのエレメントの位置を感知する可視光センサを含みうる。また、環境には、どのツール１１０がステーション１０２で利用可能であるか、そして作業を完了させるためにどのツール１１０を他の場所から取り出さなければならないかも含まれうる。この場合、環境センサ１１２Ａは、ツール上にＲＦＩＤタグを含みうる。

図３Ａを再び参照する。指導処理ユニットは次に、ブロック３０８に示すように、一又は複数のステップを図示する指示データを送信する。ブロック３１０に示すように、指示データが（拡張現実ヘッドセット１１４Ｂのディスプレイ１１４Ａ及び／又は呈示エレメント、又はスピーカ又は他の音声センサ（図示せず）を含みうる）一または複数の呈示装置１１４によって受信される。視覚呈示装置の場合、ステップの視覚表示が呈示される。一例では、ステップの視覚表示がディスプレイ１１４Ａに呈示される。別の例では、ステップの視覚表示が、拡張現実ヘッドセット１１４Ｂの呈示エレメントを介して拡張現実において呈示される。

一実施形態では、一または複数のステップを図示する指示データは、拡張現実ヘッドセットを介して拡張現実において呈示するためのステップの視覚表示を含む。拡張現実ヘッドセットは通常、三次元の頭部装着型ディスプレイ（それぞれの目に対して別々の画像を提供する）、ステレオサウンドのための２つの拡声器、及び頭部動作追跡センサ（ジャイロスコープ、加速度計、及び立体照明システムを含みうる）を備える。ある拡張現実ヘッドセットは、視標追跡センサも有する。頭部（及びオプションとして視標）追跡センサを使用することによって、拡張現実ヘッドセットは、慣性空間でのそれ自体の位置及び配向を自覚し、この情報を指導処理ユニット１０４に提供する。指導処理ユニット１０４はこの情報を使用して、ユーザ１０８が見るべきものを決定し、ユーザ１０８に呈示された画像上に他の画像を重ねることができる。例えば、ユーザ１０８が物理的構造１０６を見ている場合、指導処理ユニット１０４は、拡張現実ヘッドセット１１４Ｂに配設されたディスプレイ上で、指示を実施するために物理的に操作されるべき特定のパーツを強調表示しうる。ユーザ１０８は従って、指導処理ユニット１０４が、図示されたステップとユーザ１０８が見ている背景画像とを一致させるように働くため、物理的アセンブリの各パーツに対して具体的にどの作業を完了させるべきかを認識することができ、特に有益である。これにより、ユーザ１０８が物理的構造１０６の一部を他と勘違いしにくくなる（例えば、ユーザが間違ったボルトをゆるめなくなる）ため、エラーもなくなる。指示データはまた通常、音声情報（例：実施されるステップの口頭説明、又はステップの実施中又は実施後に物理的構造がどんな音がするべきかの聴覚表示）を含み、拡張現実ヘッドセット１１４Ｂの呈示エレメントは通常、拡張現実ヘッドセット１１４Ｂの拡声器を使用してこの情報を呈示する。一実施形態では、口頭指示は、自然言語（例：普通の人間の会話音声）で与えられる。上記自然言語の指示は、どの言語（例：英語、ドイツ語、中国語等）であってもよい。映像及び／又は音声指示は、携帯電話、又はタブレットコンピュータ、及びデスクトップコンピュータ装置等のモバイルコンピュータ装置を含む様々な装置に付与されうる。

ユーザ１０８は、ブロック３１２に示すように、ステップを図示する呈示された指示データを受信し、ステップの実施を開始する。これは通常、人１０８Ｐによって達成されるが、ロボット１０８Ｒ又はロボット１０８Ｒと共に働いている人１０８Ｐによって、各々がステップのサブセットを実施している人１０８Ｐとロボット１０８Ｒによって、又は一または複数のステップにおいて共に働いている人１０８Ｐ及びロボット１０８Ｒによって達成される。

ブロック３１４に示すように、ステップが実施されている間、ステップの実施を感知するセンサデータが生成される。ブロック３１６に示すようにセンサデータが送信され、ブロック３１８に示すように指導処理ユニット１０４によって受信される。センサデータは、ステップの実施を監視する、例えばステップの進行具合を判断する、及びいつ、また果たしてステップが完了したかを決定するために使用される。センサデータはまた、ユーザ１０８がいつステップの実施を実際に開始したか（例：後にユーザ１０８がステップを完了させるのにかかった時間を計算するのに有用である）を決定するためにも使用されうる。センサデータはまた、期間にわたるステップの実施を示すデータを記憶するのにも使用されうる。上記データは、後の時点で故障を診断するのに有益でありうる。

このセンサデータは、ステーション１０２においてセンサ１１２のいずれか１つあるいは組み合わせによって生成されうる。上記センサ１１２は、作業が実施される物理的構造１０６の一または複数の状態を観察しうる。これは、物理的構造自体又は環境センサ１１２Ａに統合された又は取り付けられた物理的構造センサ１１２Ｂを使用して達成されうる。物理的構造センサ１１２Ｂと環境センサ１１２Ａは、視覚センサ及び／又は非視覚センサを含みうる。例えば、一実施形態では、環境センサ１１２Ａは、自動運転車で使用される技法と同様のオブジェクト及びパターン認識技法を使用して、物理的構造１０６の状態を視覚的に観察する可視センサを含む。上記センサ１１２Ｂは、埋め込みセンサ及びＲＦＩＤタグを含みうる。
作業を実施している実施エンティティ又はユーザ１０８の一又は複数の状態：上記状態を測定するための一または複数のセンサ１１２Ｅは、音声センサ、撮像及び映像センサ、例えばジャイロスコープ及び加速度計等の慣性計測センサ、及び心拍モニタ等の個人センサを含む頭部装着型装置を含みうる。
作業を実施するのに使用される装置（例：ツール１１０、テスト機器及びパーツ）の一または複数の状態：これは、環境センサが物理的構造を観察しうるのと同じ方法で、ツール１１０又は環境センサ１１２Ａに装着された又は統合されたセンサ１１２ＤＡ～１１２ＤＮを使用して達成されうる。上記ツールは、ＲＦＩＤタグ又は埋め込みツールセンサを含みうる。
作業上で協働する装置の一または複数の状態：これには例えば、一または複数のロボットセンサ１１２Ｆによって測定されるように、ロボット１０８Ｒの一または複数の状態が含まれ、あるいは
作業が実施される周囲環境の一または複数の状態：これには例えば、ステーション１０２又はステーション１０２のいずれかのエレメントの温度、ステーションの湿度、ステーションの電力消費、又はステーション１０２のエレメントの場所を時間の関数として感知する環境センサ１１２Ａが含まれうる。上記環境センサは、画像センサ、音声センサ、温度センサ、及び湿度センサを含みうる。

一例では、ステップは、ユーザ１０８がトルクレンチであるツール１１０Ａを使用してボルトのナットを締め付けることである。トルクレンチは、ツール１１０Ａによって加えられたトルクの量を感知するトルクセンサ１１２ＤＡを含む。この実施形態では、トルクセンサ１１２ＤＡは、物理的構造１０６に印加されたトルクを測定し、測定トルクを含むセンサデータを指導処理ユニット１０４に送信する。上記送信は、ケーブルを使用して、又は無線手段によって達成されうる。別の例では、ステップは、マイクロスイッチが作動する（例えばオフの位置からオンの位置へ切り替えられる）までユーザがねじを回すことである。この場合、センサは、ねじが回されている間にオフの位置に関連づけられた電圧を送り、ねじが適切な位置まで回された時に、スイッチが作動し、オンの位置に関連付けられた電圧が送られる。この場合、ある電圧又は別の電圧からなるリアルタイムのセンサデータが送信される。

再び図３Ａを参照する。指導処理ユニット１０４は、ブロック３２０に示すように、センサデータから完成度評価を計算する。これは例えば、受信したセンサデータを閾値と比較し、受信したセンサデータと閾値との比較から完成度評価を計算することによって達成されうる。完成度評価を使用して、以下に更に説明するように、ステップの実施を監視する、及び／又はステップの実施を検証することができる。ボルトのナットを特定のトルクに締め付けるために使用されるトルクレンチの例では、受信したリアルタイムのセンサデータがトルクの閾値（例えば１０ニュートンメータ）と比較され、完成度評価が感知されたトルクとトルクの閾値との差から計算される。

一実施形態では、指導処理ユニット１０４はオプションとして、作業の進行具合についてのリアルタイムのフィードバックをユーザ１０８に提供する。これを、図３Ｂの点線ブロックで示す。ブロック３２２ではオプションとして、センサデータと閾値との比較にしたがってフィードバックデータを生成し、送信する。このフィードバックデータはオプションとして、ブロック３２４及び３２６に示すように、呈示装置１１４によって受信され、ユーザ１０８に呈示される。実施データの生成とフィードバックの送信により、ユーザがステップ自体を実施している間にステップの進行具合に関する情報を受け取ることが可能になる 例えば、ボルトのナットを締めつけているユーザ１０８の場合、ブロック３２２～３２６では、測定トルクと、トルク要件又は閾値との差を含む完成度評価を計算し、この差をゲージ、デジタルディスプレイ、又は他の手段の観点からユーザに呈示することができる。フィードバックはまた、ユーザが視覚的呈示を見ずにトルクを調節することができるように、聴覚的（例：適切なトルク値が達成されたら警告音を出す）、又は聴覚的と視覚的の両方（例：いずれも適切なトルクが達成されたときに示される、ブルズアイグラフ（ｂｕｌｌｓｅｙｅ ｇｒａｐｈ）で測定トルクとトルク要件との比較の視覚的な表示と、発信音を伴う聴覚的フィードバック）又はピッチの変化であってもよい。

フィードバックにより、物理的又は安全性の考慮の助けとして、環境状態と閾値との比較も得られうる。例えば、上記データ及び関連閾値の比較には、温度、湿度、危険な装置の位置及び／又は動き（例えば、フォークリフトがユーザに、及び／又は作業の一または複数のステップの実施中にユーザ１０８の付属器官がありうるところの距離内あるいは閾値内に近づいている等）が含まれ、安全装置を有効にしうる、又はロックアウトしうる。同様に、収集されたセンサデータは、他のエレメントを制御して、上記の危険を防止するために、他のステーション１０２において、あるいはＭＡＴ１００のステーション１０２間でこれらの他のエレメントに提供されうる（例えば、ステップがこれから実施され、フォークリフトが安全距離だけ離れて近づかないようにすべきことをオペレータに警告するために、センサデータをフォークリフトに送信する）。

ブロック３２８において、指導処理ユニット１０４は、ステップが完了したか否かを決定する。これは、閾値とセンサデータから計算された完成度評価が定められた公差内にあるかを決定することによって達成されうる。一実施形態では、これは、評価された状態又は実際の状態に対してステップが適切に完了しているか、物理的構造１０６の状態、ステーション１０２又はＭＡＴ１００のエレメントの状態を、物理的状態１０６の予測される状態、例えばツール１１０又はＭＡＴ１００のエレメント等のステーション１０２のエレメントの予測される状態と比較することによって、達成される。ボルトのナットを締めつけているユーザ１０８の例を再び参照すると、ブロック３２８は、完成度評価（要求値を表す測定トルクと定められたトルク要件との差）がトルク要件の公差（例：０．１Ｎｍ）内である時に、ボルトを締めつけるステップが完了したことを示す。

ステップが完了していない場合、さらなるセンサデータを受信して処理するために、処理はブロック３１８へ戻る。図示した実施形態には、ステップの実施が失敗である（例：ステップの実施を阻む問題が起こった）かを決定する、オプションのステップ障害テスト３３０も含む。ステップの実施が失敗である場合、前の特定のステップが失敗したことを背景に、別のステップを決定するために、処理がブロック３０６へ引き継がれる。ステップの実施が失敗でない場合、前と同じく追加のセンサデータを受け取り処理するために、処理がブロック３１８に戻る。ステップの失敗は、ステップの指示が送られた（例：ブロック３０８）時に始まったタイマーと、ステップを完了すると予測される時間との比較を使用して決定されうる。あるいは、物理的構造１０６へのステップが実際に始まった時を示すために、センサデータを使用してタイマーを開始することができる。ステップの失敗はまた、ステップを実施するのに要するツール１１０の失敗、あるいは、ステーション１０２の環境がステップの実施に要する状態に達しなかったことにしたがって、決定されうる。例えば、ステップが摂氏２３度の周囲温度を要求し、ステーション１０２を収容している施設の空調又は暖房がその値に到達できない場合である。

ブロック３２８において、ステップが完了したと判断された場合、処理はブロック３３２に引き継がれ、ブロック３３２において、完了したステップの実施に関するフィードバックデータが生成され、送信される。このフィードバックデータは、ブロック３３４～３３６に示すように、呈示装置１１４又は他の手段によって受信され、ユーザ１０８に呈示される。このフィードバックデータを使用して、ステップが首尾よく完了した（あるいは不成功に終わった）という確認をユーザ１０８へ送信し、ステップの実施後に呈示しうる。

最後に、図３Ｃを参照すると、ブロック３３８において、ステップの実施に対して収集された又は計算された情報が記憶される。この情報には、幾つかの又は全てのセンサ１１２からのセンサデータ、及び完成度評価が含まれうる。ユーザ１０８が要求されるステップ又は作業を実施するのに要した時間を含む他の情報も記憶されうる。

上記データを使用して、決定されたステップが要求される作業の実施においてどれくらい効率的であり、経済的であるかを決定することができ、作業の実施における他の可能なステップと比較することができる。例えば、最初に作業を遂行するためにステーション１０２の第１のセットに特定のステップシーケンスが付与され得、ステーション１０２の別のセットに異なるテストシーケンスが付与されうる。ステーションの各セットに対してテストを実施するのに要する時間が決定され、センサデータを使用して、どれほど良好にステップが実施されたかの観点から、品質評価と比較されうる。このように、２つの可能なステップシーケンスを実際の結果と比較することが可能であり、２つの可能なステップシーケンスのうちの最も効率的なものが、今後の活動に選択される。

センサデータ及び完成度評価を使用して、ブロック３０６に示すステップを決定するプロセスを改善することができる。例えば、経験のあるユーザ１０８は、ただステップを実施するというだけでなく、どのようにステップを実施するかということにより、より正確に、また短い時間で仕事をすることが可能になることを知っている可能性がある。センサデータを使用すれば、ユーザ１０８が行った上記技法及び追加のステップは、要求されるステップの最初の定義には入っていないかもしれないが、今後ステップ（複数可）をどのように実施するかということにおいて識別され組み込まれうる。早期生産においては、例えば、ステップの概要が経験を積んだユーザに提供され得、これらのユーザの追加のステップ又は省略したステップを使用して、作業を実施するのに要するステップを決定するプロセスが最適化されうる。

これは、機械学習技法を使用することによって達成可能である。例えば、ＭＡＴ１００は、一連のステップを介して特定の手順を実施するための指示をユーザ１０８へ提供し、ユーザ１０８は示されたステップを実施する。ＭＡＴ１００は次に、ステップを実施しているユーザ１０８のセンサデータ、及び他の完成度評価を使用して、どの指示（又は指示のたぐい）がユーザを混乱させたかを（例：機械学習を介して）「学び」、また、必要に応じて指示をより理解しやすいように修正することができる。

これは、例えばステップがユーザ１０８に呈示された時と、ユーザがステップを実施し始めた時との間の経過時間、及び／又はステップの実施を完了するのにユーザ１０８がかけた経過時間（ユーザ１０８の方で混乱したことを示す超過時間を含む）から決定されうる。ＭＡＴ１００は更に、より明確にするために、又はその他の改善のためにステップを変更するのに、機械学習技法を使用しうる。センサデータを使用して、ユーザの混乱の源を決定することができる。例えば、特定のステップのために選択されたツールに関するセンサデータは、ステップを実施しようとした際にユーザ１０８が適切なツールを使用したという見解を確認する、あるいは否定することができる。ユーザ１０８は、直接入力（ユーザが混乱したという意見又はわからない指示を明確にするためにユーザ１０８によって提起された質問）を提供することも可能である。

手段／ステップは、全てのユーザ１０８に対して、ユーザが以前ステップを実施した際の完成度の総計に基づいて変更することができる、又はユーザごとに変更することができるため、ＭＡＴ１００によって生成され、各ユーザ１０８に呈示されるステップは、以前実施されたステップ又は手順におけるユーザの以前の完成度に基づいて、特定のユーザ１０８それぞれに向けてカスタマイズされる。例えば、ＭＡＴ１００は、特定の作業を完了するために実施される基準のステップのセットを生成しうる。更に経験を積んだユーザ又はこれらの作業を迅速に完了させたユーザには、簡略バージョンの指示が呈示されうるが、あまり経験のないユーザ又はこれらの作業を完了するのに長くかかったユーザには、ステップをどのように改善することができるか、又は更に迅速に完了させることができるかを提案するバージョンの指示が呈示されうる。上記バージョンは例えば、割り当てられたステップ又は作業をより迅速に完了させた他のユーザ１０８がしたがったセンサデータに基づいていてよい。これにより、作業を実施している全てのユーザ１０８の経験を、あまり経験していないユーザにすばやく共有することができる。更に、機械学習技法及びセンサデータを使用して、ユーザの経験及び専門知識を推定することができ、ＭＡＴ１００は、その経験に相応する指示を呈示しうる。例えば、同じ作業を実施するためにステップの異なる指示セットを生成することができ、ＭＡＴ１００は、ユーザが公言した経験レベル又はユーザの推定される経験レベルに応じて、ユーザ１０８にどの指示セットを提供するかを決定しうる。

機械学習技法を使用して、ステップの実施中に収集されるセンサデータを使用して、問題を診断し解決することも可能である。これらの失敗を、データマイニング又は機械学習技法を使用した製品の組み立て又は維持においてどのように一または複数のステップを実施するかに結び付ける試みとして、物理的構造１０６の生産又は保守からのセンサデータが検査されうる。例えば、製品のあるセットに特定の故障（例：ボルトの故障）が見つかりうる。データマイニング技法を使用して、物理的構造１０６の生産又は保守において収集されるセンサデータを解析して、パターンと、故障したこれらの物理的構造とを相互に関連付けることができる。一例では、この解析により、故障したボルトはそれぞれ故障しなかったボルトよりも高いトルクがかかっていると結論づけられ、トルクの仕様が不正確であり、変更すべきである可能性が高まりうる。更に複雑な例では、解析において、ボルトにかかったのはトルクではなく、関連パーツにおける締め付けパターン又は欠陥であったことが明らかになりうる。

最後に、ブロック３４０において、作業が完了したか（例えば作業を完了するのに追加のステップが必要か）が決定される。一実施形態では、これは、測定された又は実際の状態に対して作業が適切に完了した場合に、物理的構造１０６の状態、ステーション１０２又はＭＡＴ１００のエレメントの状態を、物理的構造１０６の予期される状態、例えばツール１１０又はＭＡＴ１００のエレメント等のステーション１０２のエレメントの予期される状態と比較することによって、達成される。追加のステップが必要な場合、処理は、次のステップを決定するブロック３０６を経由し、上述したように処理が継続される。追加のステップが必要でない場合、ブロック３４４において、処理が（もしあれば）次の作業に導かれる。一実施形態では、これは、ステップ及び作業が適切に完了した場合に、ステーション１０２又はＭＡＴ１００のエレメントの状態を、ステーション１０２又はＭＡＴ１００の予期される状態と比較することによって達成される。このプロセスにより、複雑な保守工程が実施される航空機又は他の製品の保守、修理及び運航におけるエラー、再加工、安全性リスク、及び遅延を削減することができる。このプロセスにより、複雑な保守工程が実施される航空機又は他の製品の保守、修理及び運航におけるトレーニング費用を削減し、実行費用を低減することもできる。

作業の実施に関するデータ（例：作業全体を実施するのにかかる経過時間又は期間、又は他の作業の完成度評価）はブロック３４２に示すように、オプションとして生成され、また記憶されうる。

作業又はステップの実施データは、ステップの実施のリアルタイムのデジタルドキュメンテーションの目的で、作業又はステップの実施データを生成するために使用されるセンサデータとともにリアルタイムで生成され、ＭＡＴ１００の他のエレメントに送信されアーカイバル及び／又は最適化の目的、サプライチェーン更新のためのパーツ使用、監査ログ及び保守記録に使用されうる。

図４は、ステーション１０２及び中央プロセッサ１２０の他のエレメントとともに、指導処理ユニット１０４の工程を示す図である。この実施形態では、指導処理ユニット１０４は、センサ１１２及びエフェクタ（例：ツール１１０）とデータを送受信するために、インターフェース２０６に通信可能に結合されたＩｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ（ＩｏＴ）ゲートウェイ４０２を使用して実行される。

センサインターフェース２０６を使用して、ゲートウェイ４０２はセンサ１１２及びツール１１０からデータを収集し、ＭＡＴ１００の一または複数の公開サーバ４０４Ａ～４０４Ｎ（以下に一または複数の公開サーバ４０４と称する）及び／又は一または複数のプライベートサーバ４０６で処理する及び／又は記憶するためにこの情報を提供する。公開サーバ４０４は、「クラウドの中に」位置する（例えば、ステーション１０２又はＭＡＴ１００から離れており、通常別のエンティティによって管理される）クラウドベースの処理及び記憶デバイスである。プライベートサーバ４０６は、通常ステーション１０２及び／又はＭＡＴ１００を備え、同じエンティティによって管理されるデータ処理及び記憶デバイスである。

ゲートウェイ４０２はまた、一又は複数の公開サーバ４０４及びプライベートサーバ４０６からコマンド及びデータを受信し、これらのコマンドをインターフェース２０６へ、したがって一または複数のセンサ１１２及び一または複数のツール１１０へ必要に応じて提供する。公開サーバ４０４及びプライベートサーバ４０６はまた、例えばディスプレイ１１４Ａ又は音声再生装置等の呈示装置２０４に一又は複数のステップを図示する指示データも提供する。機械学習／処理モジュール４０８は、指示データにアクセスし、以前の指示データ、及びセンサ１１２及びツール１１０のデータに基づいて指示データを変更しうる。

図５Ａ及び５Ｂは、ステーション１０２の指導処理ユニット１０４と、関連エレメントの例示のテストベッドの実装態様を示す図である。この実施形態では、センサ１１２は、押しボタン５０２（例えば高論理信号を有するデジタル電圧信号を出力し、解放された時に低論理信号を出力することによって瞬間的な押しに応答するＧＲＯＶＥボタン）と、電位差計５０４（アナログ電圧信号を提供する）とを含む。エフェクタ又はツール１１０は例えば、デジタルコマンドを受信する発光ダイオード５０６と、デジタルコマンドを受信するステッピングモータ５０８及び／又は集積回路（Ｉ２Ｃ）間コマンドを受信する液晶ディスプレイ５１０とを含む。インターフェース２０６は、例えばＧＲＯＶＥベースのシールド５１２等の入出力（Ｉ／Ｏ）ボードに通信可能に連結されたモジュラープロセッサ装置５１４（例えばＡＲＤＵＩＮＯプロセッサ）によって実行されうる。

更に、この実施形態では、ｌｏＴゲートウェイ４０２は、例えばＮＯＤＥ－ＲＥＤ等のｌｏＴプログラミングツール５１６を実行するＲＡＳＰＢＩＡＮ等のオペレーティングシステム（ＯＳ）５１８で動作するゲートウェイプロセッサ５１９によって実行される。ｌｏＴゲートウェイ４０２は、ＷｉＦｉを介してオープンソースのリアルタイムメッセージング（ＭＱＴＴ）を実行し、他のｌｏＴゲートウェイ４０２のいずれかの組み合わせと情報の送受信をすることができる。

ｌｏＴゲートウェイ４０２は、一又は複数の公開サーバ４０４Ａ～４０４Ｎ（以下にまとめて一または複数の公開サーバ４０４及び／又は一または複数のプライベートサーバ４０６と称される）と通信する。各公開サーバ４０４Ａ～４０４Ｎは、各々がハードウェア装置の相互通信を提供するソフトウェア統合ツールを実行するそれぞれの認知システム５２０Ａ～５２０Ｎ、及びそれぞれのクラウドプラットフォーム５２８Ａ～５２８Ｎをそれぞれ含む。各認知システム５２０は、人工知能（ＡＩ）及び解析ソフトウェアを組み合わせて、質問に答えることができるシステムを作成する。

一実施形態では、各公開サーバ４０４は、異なる供給元による異なるソフトウェア構成を使用して実行されうる。例えば、認知システム５２０Ａは、ＮＯＤＥ－ＲＥＤソフトウェア統合ツール５２２Ａを実行するＢＬＵＥＭＩＸクラウドプラットフォーム５２８Ａで動作するＩＢＭ社のＷＡＴＳＯＮｌｏＴプラットフォームを備えていてよく、認知システム５２０Ｎは、ジャバアプリケーション統合ツール５２２Ｎを実行するＡＺＵＲＥアプリケーションサービス５２８Ｎで動作するマイクロソフト社のＡＺＵＲＥｌｏＴハブを備えていてよい。

サーバ４０４及び４０６は、ｒｅｐｒｅｓｅｎｔａｔｉｏｎａｌ ｓｔａｔｅ ｔｒａｎｓｆｅｒ（ＲＥＳＴ）対応のアプリケーションプログラムインターフェース（ＡＰＩ）５３２を介して拡張現実（ＡＲ）アプリケーション５３４を実行する視覚ツール５３６と安全に通信して、公認のエンティティのみがシステムにアクセスできるようにＡＰＩセキュリティを提供する。ＲＥＳＴのアーキテクチャ制約へのコンプライアンスにより、エレメント間のやり取りが制限され、構文やエレメントが互いに通信しあう手段が標準化される。この結果、アーキテクチャエレメントは基本的に「プラグ着脱可能」であり、工程を大幅に変えたり、他のアーキテクチャエレメントを変更したりすることなく、１つのバージョンのアーキテクチャエレメントを別のバージョンに置き換えることが可能である。一実施形態では、視覚ツールは、マイクロソフト社から入手可能な例えばＨＯＬＯＬＥＮＳ等のＡＲオーサリングツールによって実行される。この視覚ツール５３６を使用し、一または複数の公開サーバ４０４及び／又は一または複数のプライベートサーバ４０６へのウェブベースのアクセスを得るためにＲＥＳＴベースのＡＰＩを使用することによって、モバイル装置上でｌｏＴデータを閲覧することができる。一実施形態では、プライベートサーバ４０６は、Ｍｅｓｓａｇｅ Ｑｕｅｕｅ Ｔｅｌｅｍｅｔｒｙ Ｔｒａｎｓｐｏｒｔ （ＭＱＴＴ）ブローカ５２４及びＮＯＤＥ－ＲＥＤソフトウェア統合ツール５２６を実行するオペレーティングシステム５３０を使用して実行されうる。

ハードウェア環境
図６に、指導処理ユニット１０４、中央プロセッサ１２０、呈示装置１１４、及び／又はセンサ１１２を含む、上記に開示された処理エレメントを実行するのに使用可能な例示のコンピュータシステム６００を示す。コンピュータ６０２は、一または複数のプロセッサ６０４Ａ及び６０４Ｂ、及び例えばランダムアクセスメモリ（ＲＡＭ）６０６等のメモリを備える。一または複数のプロセッサは、汎用プロセッサ６０４Ａ及び／又は特殊用途プロセッサ６０４Ｂを含みうる。汎用プロセッサ６０４Ａは通常、いずれの特定のコンピュータ言語又はソフトウェアも必要とせず、一般的な処理工程を実施するように設計されているが、特定の用途向けにプログラミングすることも可能である。特殊用途プロセッサ６０４Ｂには、特定のコンピュータ言語又はソフトウェアを必要とする場合があり、ハードウェアの幾つかの機能を実施することができ、通常、特定の用途向けに最適化される。コンピュータ６０２は、例えばグラフィカルユーザインターフェース（ＧＵＩ）上でユーザにウインドウ等の画像を呈示するディスプレイ６２２に動作可能に結合されている。コンピュータ６０２は、例えばキーボード６１４、マウス装置６１６、プリンタ６２８等の他の装置に結合させることができる。当然ながら、当業者は、上記の構成要素の任意の組み合わせ、又は任意の数の異なる構成要素、周辺機器、及び他の装置をコンピュータ６０２とともに使用可能であることを認識するだろう。

一般に、コンピュータ６０２は、メモリ６０６に記憶されたオペレーティングシステム６０８の制御下で動作し、ユーザとやり取りして入力を受信し、ＧＵＩモジュール６１８Ａを通して結果をコマンド送信し呈示する。ＧＵＩモジュール６１８Ｂを別々のモジュールとして図示したが、ＧＵＩ機能を実施する指示は、オペレーティングシステム６０８、コンピュータプログラム６１０に内在し又は分散していてよい、あるいは特殊目的メモリ及びプロセッサで実行されうる。コンピュータ６０２はまた、例えばＣ＋＋、Ｃ＃、ジャバ、Ｐｙｔｈｏｎ、又は他の言語等のプログラミング言語で書かれたコンピュータアプリケーションプログラム６１０をプロセッサ６０４可読コードに翻訳できるようにするコンパイラ６１２も実行する。完了した後に、コンピュータプログラム６１０は、コンパイラ６１２を使用して生成された関係及び論理を使用して、コンピュータ６０２のメモリ６０６に記憶されたデータにアクセスし、操作する。コンピュータ６０２はまた、オプションとして、他のコンピュータと通信するための例えばモデム、衛星リンク、イーサネットカード、又は他の装置等の外部通信装置も備える。

一実施形態では、オペレーティングシステム６０８、コンピュータシステム６１０、及びコンパイラ６１２を実行する指示は、コンピュータ可読媒体、例えばハードドライブ、ＣＤ－ＲＯＭドライブ、フラッシュドライブ等の一または複数の固定又は取り外し可能なデータ記憶デバイスを含みうる記憶デバイス６２４に理解可能に具現化されている。更に、オペレーティングシステム６０８及びコンピュータプログラム６１０は、コンピュータ６０２によって読み取られ実行された時に、本書に記載された工程をコンピュータ６０２に実施させる指示から成っている。コンピュータプログラム６１０及び／又は作動指示もまた、メモリ６０６及び／又はデータ通信装置６３０に理解可能に具現化され、これによりコンピュータプログラム製品又は製造品が作製される。上記のように本書で使用する「製造品」、「プログラム記憶デバイス」及び「コンピュータプログラム製品」という語は、任意のコンピュータ可読デバイス又は媒体からアクセス可能なコンピュータプログラムを網羅するように意図される。

当業者は、本開示の範囲から逸脱せずにこの構成に多くの修正を行うことができることを認識するだろう。例えば、当業者は、上記の構成要素、又は任意の数の異なる構成要素、周辺機器、及び他の装置の任意の組み合わせが使用可能であることを認識するだろう。

結論
ここで、本開示の好ましい実施形態の説明を締めくくる。

上述は、保守管理者が自然言語を使ってアプリケーションに話すことを可能にする認知補佐機構を開示するものである。保守管理者は、複雑なユーザインターフェース又は暗記した音声コマンドを使用する必要なく、ハンズフリーでアプリケーションと迅速にやり取りすることが可能である。補助機構は、拡張現実の音声及び視覚的合図を使用して、保守管理者に指示を与える。補助機構は、保守作業全体において保守管理者を実地検証し、ｌｏＴセンサを使用して適切に実行されたかを検証する。ステップが完了した後に、ｌｏＴセンサが予測したようでない場合、その状況をどのように解決するかが保守管理者に知らされる。

好ましい実施形態の上述した説明は、例示及び説明の目的で呈示されている。これは、網羅的であったり、開示された厳密な形態に本開示を限定することを意図したものではない。上記の教示に照らして、多くの修正及び変形が可能である。権利の範囲はこの詳細説明によってではなく、本書に記載の特許請求の範囲によって限定されるべきである。

更に、本開示は下記の条項による実施形態を含む。

条項１．ステーションにおいて物理的構造に実施される少なくとも１つのステップを有する作業を実施するための指導を提供する方法であって、
（ａ）指導処理ユニットにおいて、実施エンティティから作業を呼び出すコマンドを受信することと、
（ｂ）指導処理ユニットにおいて、コマンドから少なくとも１つのステップを決定することと、
（ｃ）少なくとも１つのステップの実施を図示する指示データを指導処理ユニットから実施エンティティへ送信することと、
（ｄ）指導処理ユニットにおいて、物理的構造に近接し、ステップの実施を感知するセンサによって生成されたリアルタイムのセンサデータを受信することと、
（ｅ）リアルタイムのセンサデータにしたがって、ステップの完成度評価を計算することと
を含む方法。

条項２．ステップの完成度評価を計算することは、
リアルタイムのセンサデータを閾値と比較することと、
比較にしたがって完成度評価を計算することと、
完成度評価にしたがってステップの実施を検証することと
を含む、条項１に記載の方法。

条項３．比較にしたがってフィードバックデータを生成することと、
指導処理ユニットから、ステーションで呈示するためのフィードバックデータを送信することと
を更に含む、条項２に記載の方法。

条項４．リアルタイムのセンサデータにしたがって、ステップの完成度評価を計算することは、
リアルタイムのセンサデータを使用してフィードバックデータを生成することと、
ステーションにおいてフィードバックデータを呈示することと
を含む、条項２に記載の方法。

条項５．ステップの実施と同時にフィードバックデータが呈示され、
ステップが完了するまでステップ（ｃ）及び（ｄ）を繰り返すこと
を更に含む、条項４に記載の方法。

条項６．フィードバックデータは、ステップの実施後に呈示される、条項４に記載の方法。

条項７．指導処理ユニットによってリアルタイムのセンサデータからステップ実施の完成度評価を計算することと、
完成度評価を記憶することと
を更に含む、条項１から６のいずれか一項に記載の方法。

条項８．完成度評価は、ステップを実施する経過時間であり、経過時間は、閾値とリアルタイムのセンサデータから計算される、上述の条項７に記載の方法。

条項９．指導処理ユニットによって、リアルタイムのセンサデータを記憶することと、
リアルタイムのセンサデータを、別の物理的構造に対するステップの別の実施を感知する他のリアルタイムのセンサデータと比較することと
を更に含む、条項１から８のいずれか一項に記載の方法。

条項１０．受信したコマンドから作業を決定することと、
決定された作業から少なくとも１つのステップを決定することと
を更に含む、条項１から９のいずれか一項に記載の方法。

条項１１．受信したコマンドから作業を決定することが、
自然言語インタープリタを使用して受信したコマンドからデータベースクエリを生成することと、
作業を決定するために、データベースクエリにしたがってデータベースに対してクエリを実行することと
を含み、
決定された作業から少なくとも１つのステップを決定することが、
決定された作業から少なくとも１つのステップを決定すること
を含む、条項１０に記載の方法。

条項１２．作業が、物理的構造に実施される複数の作業のうちの１つであり、
データベースクエリは更に、
物理的構造に実施された複数の作業のうちの他の作業についての情報と、
物理的構造及びステーションの環境のうちの少なくとも一方によって作業に課される制約と
を含む現在のコンテキストデータにしたがって決定される、条項１１に記載の方法。

条項１３．少なくとも１つのステップの実施を図示する指示データは、拡張現実ヘッドセットを介して拡張現実において呈示するためのステップの視覚表示を含む、条項１から１２のいずれか一項に記載の方法。

条項１４．リアルタイムのセンサデータは物理的構造の状態を表す、条項１から１３のいずれか一項に記載の方法。

条項１５．センサはステップの実施を観察する可視センサであり、リアルタイムのセンサデータは映像データを含む、条項１４に記載の方法。

条項１６．センサはステップが実施される物理的構造に配置される、条項１４に記載の方法。

条項１７．リアルタイムのセンサデータはステップを実施するのに使用されるツールの状態を表す、条項１から１６のいずれか一項に記載の方法。

条項１８．センサはステップの実施を観察する可視センサであり、リアルタイムのセンサデータは映像データを含む、条項１７に記載の方法。

条項１９．センサはステップを実施するのに使用されるツールに配置される、条項１７に記載の方法。

条項２０．リアルタイムのセンサデータは作業上で協働する装置の状態を表す、条項１から１９のいずれか一項に記載の方法。

条項２１．データは作業が実施される環境の状態を表す、条項１から２０のいずれか一項に記載の方法。

条項２２．コマンドはユーザからのハンズフリーのコマンドである、条項１から２１のいずれか一項に記載の方法。

条項２３．ステーションにおいて物理的構造に実施される少なくとも１つのステップを有する作業を実施するための指導を提供するシステムであって、
指導処理ユニットであって、
実施エンティティから、作業を呼び出すコマンドを受信し、
コマンドから少なくとも１つのステップを決定し、
少なくとも１つのステップの実施を図示する指示データを実施エンティティへ送信し、
ステップの実施を感知する物理的構造に近接したセンサによって生成されたリアルタイムのセンサデータを受信し、
リアルタイムのセンサデータにしたがってステップの完成度評価を計算する
ための指示を含む指示を記憶するメモリに通信可能に結合されたプロセッサ
を備える指導処理ユニット
を備えるシステム。

条項２４．リアルタイムのセンサデータにしたがってステップの完成度評価を計算するための指示は、
リアルタイムのセンサデータを閾値と比較し、
比較にしたがって完成度評価を計算し、
完成度評価にしたがってステップの完成度を検証する
ための指示を含む、条項２３に記載のシステム。

条項２５．指示が、
比較にしたがってフィードバックデータを生成し、
ステーションにおいて呈示するために、指導処理ユニットからフィードバックデータを送信する
ための指示を更に含む、条項２４に記載のシステム。

条項２６．リアルタイムのセンサデータにしたがってステップの完成度評価を計算するための指示が、
リアルタイムのセンサデータを使用してフィードバックデータを生成し、
ステーションにおいてフィードバックデータを呈示する
ための指示を含む、条項２４に記載のシステム。

条項２７．フィードバックデータが、ステップの実施と同時に呈示され、
指示は更に、ステップが完了するまでステップ（ｃ）及び（ｄ）を繰り返すための指示を含む、条項２６に記載のシステム。

条項２８．フィードバックデータが、ステップの実施後に呈示される、条項２６に記載のシステム。

条項２９．指示は更に、
リアルタイムのセンサデータからステップの実施の完成度評価を計算し、
完成度評価を記憶する
ための指示を含む、条項２３から２８のいずれか一項に記載のシステム。

条項３０．完成度評価は、ステップの実施にかかる経過時間であり、経過時間は、閾値とリアルタイムのセンサデータから計算される、上述の条項２９に記載のシステム。

条項３１．指示が更に、
指導処理ユニットによって、リアルタイムのセンサデータを記憶し、
リアルタイムのセンサデータを、別の物理的構造に対する別のステップの実施を感知する他のリアルタイムのセンサデータと比較する
ための指示を含む、条項２３から３０のいずれか一項に記載のシステム。

条項３２．指示は更に、
受信したコマンドから作業を決定し、
決定した作業から少なくとも１つのステップを決定する
ための指示を含む、条項２３から３１のいずれか一項に記載のシステム。

条項３３．受信したコマンドから作業を決定するための指示は、
自然言語インタープリタを使用して、受信したコマンドからデータベースクエリを生成し、
作業を決定するために、データベースクエリにしたがってデータベースに対するクエリを実行する
ための指示を含み、
決定された作業から少なくとも１つのステップを決定するための指示は、
決定された作業から少なくとも１つのステップを決定する
ための指示を含む、条項３２に記載のシステム。

条項３４．作業が、物理的構造に実施される複数の作業のうちの１つであり、
データベースクエリは更に、
物理的構造に実施される複数の作業のうちの他の作業についての情報と、
物理的構造及びステーションの環境のうちの少なくとも一方によって作業に課される制約と
を含む現在のコンテキストデータにしたがって決定される、条項３３に記載のシステム。

条項３５．少なくとも１つのステップの実施を図示する指示データは、拡張現実ヘッドセットを介して拡張現実において呈示するためのステップの視覚表示を含む、条項２３から３４のいずれか一項に記載のシステム。

条項３６．リアルタイムのセンサデータは、物理的構造の状態を表す、条項２３から３５のいずれか一項に記載のシステム。

条項３７．センサは、ステップの実施を観察する可視センサであり、リアルタイムのセンサデータは映像データを含む、条項３６に記載のシステム。

条項３８．センサは、ステップが実施される物理的構造に配置される、条項３６に記載のシステム。

条項３９．リアルタイムのセンサデータは、ステップを実施するのに使用されるツールの状態を表す、条項２３から３８のいずれか一項に記載のシステム。

条項４０．センサは、ステップの実施を観察する可視センサであり、リアルタイムのセンサデータは映像データを含む、条項３９に記載のシステム。

条項４１．センサは、ステップを実施するのに使用されるツールに配置される、条項３９に記載のシステム。

条項４２．データは、作業上で協働する装置の状態を表す、条項２３から４１のいずれか一項に記載のシステム。

条項４３．データは、作業が実施される環境の状態を表す、条項２３から４２のいずれか一項に記載のシステム。

条項４４．コマンドは、ユーザからのハンズフリーコマンドである、条項２３から４３のいずれか一項に記載のシステム。

条項４５．ステーションにおいて物理的構造に実施される少なくとも１つのステップを有する作業を実施するための指導を提供するシステムであって、
物理的構造に近接したセンサと、
呈示装置と、
指導処理ユニットであって、
実施エンティティから、作業を呼び出すコマンドを受信し、
コマンドから少なくとも１つのステップを決定し、
呈示装置によって呈示するために、実施エンティティに少なくとも１つのステップの実施を図示する指示データを送信し、
ステップの実施を感知する物理的構造に近接したセンサによって生成されたリアルタイムのセンサデータを受信し、
リアルタイムのセンサデータにしたがってステップの完成度評価を計算する
ための指示を含む指示を記憶するメモリに通信可能に結合されたプロセッサ
を備える指導処理ユニットと
を備えるシステム。

Claims (15)

1. ステーション（１０２）において物理的構造（１０６）に実施される少なくとも１つのステップを有する作業を実施するための指導を提供する方法であって、
   （ａ）指導処理ユニット（１０４）において、実施エンティティから前記作業を呼び出すコマンドを受信することと、
   （ｂ）前記指導処理ユニット（１０４）において、前記コマンドから前記少なくとも１つのステップを決定することと、
   （ｃ）前記少なくとも１つのステップの実施を図示する指示データを前記指導処理ユニット（１０４）から前記実施エンティティへ送信することと、
   （ｄ）前記指導処理ユニット（１０４）において、前記物理的構造（１０６）に近接し、前記ステップの実施を感知するセンサ（１１２）によって生成されたリアルタイムのセンサ（１１２）データを受信することと、
   （ｅ）前記リアルタイムのセンサ（１１２）データに基づいて、前記ステップの完成度評価を計算することと、
   （ｆ）前記完成度評価に基づいて前記ステップが完了したか否かを判断することと、
   （ｇ）前記リアルタイムのセンサ（１１２）データと前記完成度評価に基づいて、機械学習技法を使用して、前記作業を実施するために要する前記少なくとも１つのステップを決定するプロセスを最適化することと、
   を含む方法。
2. 前記ステップの完成度評価を計算することは、
   前記リアルタイムのセンサ（１１２）データを閾値と比較することと、
   前記比較にしたがって前記完成度評価を計算することと、
   前記完成度評価にしたがって前記ステップの実施を検証することと、
   を含む、請求項１に記載の方法。
3. 前記比較にしたがってフィードバックデータを生成することと、
   前記指導処理ユニット（１０４）から、前記ステーション（１０２）で呈示するための前記フィードバックデータを送信することと、
   を更に含む、請求項２に記載の方法。
4. 前記リアルタイムのセンサ（１１２）データに基づいて、前記ステップの前記完成度評価を計算することは、
   前記リアルタイムのセンサ（１１２）データを使用してフィードバックデータを生成することと、
   前記ステーション（１０２）において前記フィードバックデータを呈示することと、
   を含む、請求項２に記載の方法。
5. 前記ステップの実施と同時に前記フィードバックデータが呈示され、
   前記ステップが完了するまでステップ（ｃ）及び（ｄ）を繰り返すこと
   を更に含む、請求項４に記載の方法。
6. 前記指導処理ユニット（１０４）によって前記リアルタイムのセンサ（１１２）データから前記ステップの前記実施の完成度評価を計算することと、
   前記完成度評価を記憶することと、
   を更に含む、請求項１から５のいずれか一項に記載の方法。
7. 前記完成度評価は、前記ステップを実施する経過時間であり、前記経過時間は、閾値と前記リアルタイムのセンサ（１１２）データから計算される、請求項６に記載の方法。
8. 前記指導処理ユニット（１０４）によって、前記リアルタイムのセンサ（１１２）データを記憶することと、
   前記リアルタイムのセンサ（１１２）データを、別の物理的構造（１０６）に対する前記ステップの別の実施を感知する他のリアルタイムのセンサ（１１２）データと比較することと、
   を更に含む、請求項１から７のいずれか一項に記載の方法。
9. 前記受信したコマンドから前記作業を決定することと、
   前記決定された作業から前記少なくとも１つのステップを決定することと、
   を更に含む、請求項１から８のいずれか一項に記載の方法。
10. 前記受信したコマンドから前記作業を決定することが、
    自然言語インタープリタを使用して前記受信したコマンドからデータベースクエリを生成することと、
    前記作業を決定するために、前記データベースクエリにしたがってデータベースに対してクエリを実行することと、
    を含み、
    前記決定された作業から前記少なくとも１つのステップを決定することが、
    前記決定された作業から前記少なくとも１つのステップを決定すること
    を含む、請求項９に記載の方法。
11. 前記作業が、前記物理的構造（１０６）に実施される複数の作業のうちの１つであり、
    前記データベースクエリは更に、
    前記物理的構造（１０６）に実施された前記複数の作業のうちの他の作業についての情報と、
    物理的構造（１０６）及び前記ステーション（１０２）の環境のうちの少なくとも一方によって前記作業に課される制約と、
    を含む現在のコンテキストデータにしたがって決定される、請求項１０に記載の方法。
12. 前記少なくとも１つのステップの実施を図示する前記指示データは、拡張現実ヘッドセット（１１４Ｂ）を介して拡張現実において呈示するための前記ステップの視覚表示を含み、前記リアルタイムのセンサ（１１２）データはオプションとして前記物理的構造（１０６）の状態を表し、前記リアルタイムのセンサ（１１２）データはオプションとして前記ステップを実施するのに使用されるツール（１１０）の状態を表す、請求項１から１１のいずれか一項に記載の方法。
13. 前記センサ（１１２）は前記ステップの実施を観察する可視センサであり、前記リアルタイムのセンサ（１１２）データは映像データを含み、前記センサ（１１２）はオプションとして、前記ステップを実施するのに使用される前記ツール（１１０）に配置される、請求項１２に記載の方法。
14. 前記リアルタイムのセンサ（１１２）データは前記作業上で協働する装置の状態を表し、前記データはオプションとして前記作業が実施される環境の状態を表し、前記コマンドはオプションとしてユーザからのハンズフリーのコマンドである、請求項１から１３のいずれか一項に記載の方法。
15. ステーション（１０２）において物理的構造（１０６）に実施される少なくとも１つのステップを有する作業を実施するための指導を提供するシステムであって、
    指導処理ユニット（１０４）であって、
    請求項１から１４のいずれか一項に記載の方法を実施するための指示を含む指示を記憶するメモリ（６０６）に通信可能に結合されたプロセッサ（６０４）
    を備える指導処理ユニット（１０４）
    を備えるシステム。

Images