JP7425756B2 - 拡張現実を用いた自動動的診断ガイド - Google Patents

Description

［関連出願の相互参照］
本出願は、２０１８年６月２６日に出願された「拡張現実を用いた自動動的診断ガイド」という名称の米国仮特許出願第６２／６９０，０４５号の優先日の利益を主張する。

本発明は、ロボットのトラブルシューティング及び診断の分野に関し、より詳細には、産業用ロボットの問題を迅速かつ効率的に診断するためのシステムに関する。本システムは、ロボット制御装置からデータを収集し、収集したデータに基づいて適切な診断決定ツリーを特定し、検査及びコンポーネント交換中に取るべき行動を提示するための拡張現実を含む、対話型の段階的なトラブルシューティングガイドをモバイル機器上でユーザに提供する。

産業用ロボットは非常に複雑な機械であり、多くの異なる機能を正確かつ確実に行うことができる。しかしながら、ロボットに問題が発生した場合、根本原因を決定し、問題を修正することは困難であり得る。

現在、迅速なアラーム診断の方法にはいくつかの障害があり、その中にはトラブルシューティングが十分に文書化されていないこと、既存の文書化されたトラブルシューティング情報が様々なマニュアル中に分散していること、顧客から迅速かつ容易にマニュアルにアクセス出来ないこと、多くのアラームが複数の根本原因を有する可能性があり、それらのすべてに対処することは解決策を提供することなく時間、労力及びコストを浪費する可能性があること、並びに、制御装置及びロボットハードウェアが複雑なためにトラブルシューティング指示を実行するのが困難であること等が含まれる。更に、顧客は、通常、ロボットのトラブルシューティングや修理に関する高レベルの専門知識を有していない。

他の既存の診断システムは、ユーザが問題の診断に関する指示を含むビデオを見るか、又は音声記録を聞くことを必要とする。この場合、ユーザは、最初に計算装置上のスクリーンを見てから、実際のシステムに向かう必要があり、余計な時間がかかる。更に、ビデオや音声の説明内容が、ユーザが対処しているシステムや問題と正確に一致していなかった場合、ユーザは混乱する可能性がある。

以上のような事情に鑑み、本発明は、ユーザをトラブルシューティング処理において迅速かつ効率的に誘導し、できるだけ早くロボットを作動状態に戻すことができる対話型ツールを提供することを目的とする。

本発明の教示によれば、アラームコードによって示されるロボットの問題を診断するための拡張現実システムが開示される。開示される診断ガイドシステムは、産業用ロボットの制御装置と通信し、ロボット制御装置からデータを収集する。次に、本システムは、収集されたデータに基づいて適切な診断決定ツリーを特定し、モバイル機器上でユーザに、検査及びコンポーネント交換中に取るべき行動を提示するための拡張現実を含む対話型の段階的なトラブルシューティングガイドを提供する。本システムは、データ収集、ツリー生成、及びガイド生成モジュールを含み、関連するＡＲデータと共に、決定及び診断ステップの格納されたライブラリを使用して、決定ツリー及び診断ガイドを構築する。

本装置のさらなる特徴は、添付の図面と併せて、以下の説明及び添付の特許請求の範囲から明らかになるであろう。

本開示の一実施形態による、拡張現実を用いたロボットトラブルコードの自動誘導診断のためのシステムを示す図である。 本開示の一実施形態による、図１の自動誘導診断アプリケーションのモジュールを示すアーキテクチャ図である。 本開示の一実施形態による、図２の自動誘導診断アプリケーションアーキテクチャの診断ツリーを示すブロック図である。 図２のアプリケーションアーキテクチャの部分診断ツリーを従来の直接的部品交換アプローチと比較するブロック図である。 本開示の実施形態による、図２のアプリケーションアーキテクチャの決定ライブラリのコンポーネントを示す図である。 本開示の一実施形態による、拡張現実（ＡＲ）支援表示と共に、診断ステップ（アクション）及び決定ポイント（質問）をユーザに表示する診断ガイドアプリケーションを示す図である。 本開示の一実施形態による、図１のシステムを採用した、拡張現実を用いたロボットトラブルコードの自動誘導診断方法のフローチャート図である。

拡張現実を用いた産業用ロボットの自動トラブルシューティング及び診断のための方法及び装置を対象とする本発明の実施形態に関する以下の説明は、本質的に単なる例示であり、開示された装置及び技術、又はそれらの適用又は用途を限定することを意図するものではない。

ロボットシステムは、その複雑さや適応性のために、アラームの内容を理解し、原因を探求するのが難しい場合があることが知られている。顧客の理解不足や、マニュアルが不十分であるために、単純な問題なのに特定するのに時間がかかる例が多くある。アラーム診断を効率的かつユーザフレンドリにするシステムは、特に一般産業に重きを置いた、あらゆるロボット顧客にとって価値があるであろう。自動車などのいくつかの産業におけるロボット顧客は、ロボット専門家を雇用するための資源と、ロボットを扱う長年の経験とを有するのに対し、一般産業の顧客は、このような経験等を有さず、恐らくアラームによるトラブルシューティングに脅威を感じるであろう。対話型診断ガイドシステムは、ロボットを適用し始めたばかりのこれらの顧客にとって魅力的な技術と言えるだろう。

上述の必要性を認識し、産業用ロボットの問題の迅速かつ効率的なトラブルシューティングを提供するために、改良されたシステムが開発された。診断ガイドシステムは、ロボットの制御装置からデータを収集し、収集されたデータに基づいて適切な診断決定ツリーを特定し、モバイル機器上でユーザに、検査及びコンポーネント交換中に取るべき行動を提示するための拡張現実を含む対話型の段階的なトラブルシューティングガイドを提供する。

モバイルアプリケーション（アプリ）は、診断ガイドシステムへの顧客インターフェースとなるように設計されている。モバイルアプリを介して、顧客は診断を必要とする制御装置を選択することができ、アプリケーションは、アラームをどのように診断するかについての体系的なチュートリアルを提供する。このガイドは、図、ピクチャ、及びビデオを用いた対話型の段階的な手順の説明を含む。更に、拡張現実（ＡＲ）対応装置は関連データを重ね合わせて、現実世界のパーツを強調表示することができる。装置の性能によっては、ユーザが、マルチメディア診断ガイドのみを（ＡＲなしで）受けることが出来るようにしてもよいし、あるいはＡＲ機能も利用できるようにしてもよい。

図１は、本開示の一実施形態による拡張現実を用いたロボットトラブルコードの自動誘導診断のためのシステム１００の説明図である。産業用ロボット１１０は、当技術分野で知られているように、典型的にはケーブル１１４を介して、ロボット制御装置１１２と通信する。ロボット１１０は、いかなるタイプの産業用ロボットであってもよく、例えば溶接ロボット、塗装ロボット、又は他の任意のタスクを実行するように構成及びプログラムされたロボットであってもよい。ロボット１１０は複雑であり、時には極端な環境で動作するため、時折問題が発生する。様々な種類のアラームや情報信号（視覚情報、聴覚情報、又は画面に表示されるメッセージ、及びそれらの組み合わせ）が、問題を示すためにロボット又はロボット制御装置によって提供される。これらは各々、問題を特定し、診断プロセスの基礎として使用されるトラブルコード、アラームコード、又はデータメッセージと為る。これらのアラームコードやトラブルコードは、制御装置１１２によって示され、即座に対処すること、もしくは近いうちに対処することを必要とするかもしれない。

アラーム又はトラブルコードが制御装置１１２によって示されると、診断ガイドアプリ１３０を実行するモバイル機器１２０を用いて、トラブルコードを診断し、解決してもよい。この時点で、ロボット１１０は、そのモーションプログラムの実行を停止し、ロボット１１０及び制御装置１１２は、診断及びトラブルシューティングを実行可能なモードとなる。制御装置のデータである「スナップショット」は、制御装置１１２からモバイル機器１２０に提供され、アプリ１３０によって使用される。当該データは、好ましくは無線通信接続を介して提供され、これは、例えば、制御装置１１２とモバイル機器１２０の双方がローカルエリアネットワーク（ＬＡＮ）に無線通信することによって行ってもよい。制御装置のスナップショットは、診断及びトラブルシューティングに関連し得るロボット１１０の性能に関する全てのデータを含む。このデータは、コードが適用される問題のタイプ（例えば、関節モータの問題）を特定するアラーム又はトラブルコード識別子を含む。スナップショットデータはまた、関節負荷やトルク、モータ電流などのパラメータの時間履歴データ及び最大値データを含んでもよい。

（利用可能であれば）制御装置のスナップショットデータを使用して、診断ガイドアプリ１３０は、ユーザ１４０によって選択的に使用される拡張現実（ＡＲ）コンテンツを有する診断ガイドを作成する。ユーザ１４０は、質問に答えて診断ステップを実行し、診断ガイドは、ユーザ１４０を診断ツリーの次の質問又はステップに漸進的に誘導する。ＡＲコンテンツ（利用可能な場合）は、ロボット１１０上の特定の部品をどのように識別するか、又はある特定の動作（ケーブルを抜くこと、又は部品を交換することなど）をどのように実行するかをユーザ１４０に明確に示すために使用される。ＡＲ機能により、ユーザ１４０はモバイル機器１２０のカメラをロボット１１０の一部に向けることができ、ＡＲコンテンツ（強調表示及び他の仮想グラフィックスなど）が、現実世界ビューのカメラ画像上にオーバーレイされる。最終的に、トラブルコードを解決する行動が取られ、根本原因がアプリ１３０に記録され、ロボット１１０が再稼働される。

次いで、当該ガイドにおけるユーザのアクションや、制御装置１１２からダウンロードされた情報は、ウェブサーバ又は知識データベース（クラウド１５０として示される）を有する他のサーバに伝送することができ、これによりデータを集約・分析して、診断又は他の情報の潜在的な将来の改良に用いることできる。診断ガイドアプリ１３０は、クラウド１５０内のサーバ／データベースからアイテムをダウンロードすることによって、最新のガイド及び情報を用いて自身をアップグレードすることもできる。制御装置１１２はまた、当業者によって明確に理解されている通信インフラストラクチャを使用して、クラウド１５０内のサーバ／データベースと直接通信してもよく、例えば制御装置１１２は、インターネット接続機能を有するＬＡＮに接続されていてもよい。

ユーザが従う手順は、本質的に以下の通りである。診断ガイドアプリ１３０を使用して、リストからロボット制御装置を特定し、その制御装置の「スナップショット」データをダウンロードし、制御装置が直面しているアラーム条件を特定し（制御装置のスナップショットに基づいて自動的に実行されてもよい）、更に、ユーザガイドにおいて指示されたステップに従って、質問に答えたり、診断テストを実行したり、また必要に応じてコンポーネントを交換したりする。

診断ガイドアプリ１３０の出力は、アラームの根本原因を突き止めるために、どのような措置をとるべきか、またどのような情報を観察すべきかをユーザに指示するガイドである。ガイドは必要に応じて、図、写真、又はビデオを有することができ、最良の手順を決定するために、ユーザに質問をする。ガイドはまた、ライブ映像（タブレット又は電話の場合）上で、又はホログラム（ＡＲヘッドセットの場合）として、現実世界のアイテム及び情報を強調表示するＡＲデータを含んでもよい。

図２は、本開示の一実施形態による、図１の診断ガイドアプリケーション１３０のモジュールを示すアーキテクチャ図２００である。上述したように、診断ガイドアプリ１３０は、好ましくは制御装置１１２から「スナップショット」を受信する。制御装置のスナップショットは、制御装置１１２によって記録されたデータを含み、そこにはロボット１１０における最近の運転条件が記されている。診断ガイドアプリ１３０は、制御装置のスナップショットデータなしで使用することができ、この場合、ユーザ１４０は、最初にどのアラーム又はトラブルコードが制御装置１１２によって示されたかを示し、次にアプリ１３０によって提示された診断ツリーに従う。しかしながら、制御装置のスナップショットデータは、ロボット１１０に関するデータを提供するのに役立ち、これによりトラブルシューティング及び診断を迅速に行うことができる。スナップショットデータは、通常、モバイル機器１２０上の診断ガイドアプリ１３０へダウンロード可能である。

診断ガイドアプリ１３０のアーキテクチャは、サポート対象の各問題を診断ツリーによって表す。（制御装置のスナップショットから得られる）診断されるべき実際のシステムの状態に関する情報、並びに質問に対するユーザの応答により、ツリーを辿り最終的な診断に至るまでのユーザの経路が決定される。アーキテクチャには、ソフトウェアモジュールとは別のデータライブラリが含まれており、この設計により、ソフトウェアモジュールの変更を必要とせずに、サポート対象の故障条件をデータライブラリ内で追加又は変更可能である。更に、アーキテクチャは、通信及びガイド表示機能をカプセル化することにより、診断ガイドアプリ１３０を多くの異なるタイプの装置上で実行可能にする。

決定ライブラリ２１０は、多くの異なる決定ポイントと、診断ツリーで使用され得る自動決定関数とを含む。診断ツリーライブラリ２２０は、サポート対象のアラーム又はトラブルコード毎に診断ツリーを含む。診断ステップライブラリ２３０は、診断ツリーにおいて使用され得る多くの異なる診断ステップを含む。ＡＲデータライブラリ２４０は、診断ステップをユーザに提示する際に診断ステップ又は決定ポイントに関連し得る拡張現実（ＡＲ）データファイルを含む。ライブラリ２１０～２４０内の各アイテムは、（ＸＭＬやＨＴＭＬ等の）ファイルに含まれており、以下で更に説明する。

図３は、本開示の一実施形態による、図２の診断ガイドアプリケーションアーキテクチャの診断ツリーライブラリ２２０内の診断ツリー３００を示すブロック図である。診断ツリー３００は、診断ガイドアプリ１３０のサポート対象となる故障状態の診断ツリーの一例である。各診断ツリーは、ツリーライブラリ２２０内のＸＭＬファイルに含まれる。診断ツリーは、ロボット製造業者の熟練技術者によって作成される。各診断ツリーは、それぞれが１つの親のみを有するノードから構成される。ノードには４つの異なるタイプがあり、それぞれ以下で説明する。

ルートノード３０２は、診断されているサポート対象の故障状態を示す。ルートノード３０２は、特定のアラーム又はトラブルコードに基づく診断の開始点である。診断ツリー３００は、ルートノード３０２内で特定された特定のアラーム又はトラブルコードに対して一意的に定義される。

アクションノード（又は診断ステップ）３０４は、診断工程のステップの一例であり、同工程ではケーブルを抜く、コンポーネントを交換する等の、問題に関連する診断ステップを実行することがユーザに求められる。これらのアクションは、関連するガイド指示及び拡張現実データを有することができる。各アクションノード（又は診断ステップ）は、診断ステップライブラリ２３０内のＨＴＭＬ又はＸＭＬドキュメント内に含まれ、同ドキュメントは、マルチメディア（音声及び／又はビデオ）を含んでもよく、また関連するＡＲデータを有してもよい。診断ステップライブラリ内の各アクションは、診断ステップライブラリ２３０内のドキュメントを一意的に特定する記述及び経路識別子を有する。アクションノード（ノード３０４等）は、別のアクション・ノード（ノード３０６）につながってもよいし、あるいは決定ポイント（決定ノード３０８等）につながってもよく、これらの関係は、決定ツリー３００の構造内で定義される。

診断ステップは、診断工程の一部として行われる個別のアクションである。各診断ステップは、複数の異なる診断ツリーで（すなわち、異なるアラーム又はトラブルコードに関して）再使用することができる原子ユニットである。診断ステップは、ＨＴＭＬドキュメント（ウェブページ）として表され、ステップの実行方法を明確に説明する画像、アニメーション画像（ｇｉｆ）、ビデオ、テキストを含むことができる。

診断ツリーの特定のステップは、それらに関連付けられたＡＲデータを有する。このＡＲデータは本質的に、どの情報をオーバーレイするか、どの現実世界のオブジェクト（ロボット構成要素）上に固定するか、アクションを実行する必要があるロボットの特定の領域にユーザの注意を向けるためにどのような形状を描くかを特定する。

決定ノード３０８は、ユーザが質問に答えるように求められるか、あるいは制御装置のスナップショットのデータに基づきシステムが自動的に質問に答える診断工程におけるポイントの一例である。決定ポイントは、２つ以上の経路のうちいずれの経路をたどるのか、すなわち、特定の診断セッションにおいて診断ツリー３００内でたどられる経路を決定する。各決定ノードは、決定ライブラリ２１０内のＸＭＬドキュメントに含まれる。決定ノードは、はい／いいえの択一式の回答を有しても、多肢選択式の回答を有してもよく、出力経路は回答に依存する。決定ツリー３００では、決定ノード３０８が２つの可能な回答（回答ノード３１０及び回答ノード３１２）と共に示されている。図３は、決定ノード３０８並びに回答ノード３１０及び３１２をそれぞれノードとして示すが、フローチャート図ではこれらは典型的には結合され、判断を表す菱形として表示される。

リーフノードは、故障状態の最終的に決定された原因を表し、子を持たないノードである。診断ツリー３００において、アクションノード３１４、３２４及び３２８はリーフノードであり、リーフノードは夫々、ツリー３００内の異なるルート又は経路を経て到達される。具体的には、決定ノード３０８からノード３１２の「はい」の回答（２）に進むとリーフノードであるアクションノード３１４に到達する。一方、ノード３１０の「いいえ」の回答（１）に進むと、アクションノード３１６及び３１８を経て、決定ノード３２０に進み、更にノード３２２の「いいえ」の回答（１）に進むとアクションリーフノード３２４に至り、ノード３２６の「はい」の回答に進むとアクションリーフノード３２８に到達する。

診断ガイドアプリ１３０によってサポートされる各アラーム又はトラブルコードは、診断ツリー３００と同様の対応する診断ツリーを有する。熟練技術者又は顧客サポート担当者は、決定ライブラリ２１０に含まれる決定及び診断ステップライブラリ２３０に含まれる診断ステップ（アクション）を使用して、ツリー構造を作成する。各ツリーは、アラームを診断するために必要となり得る全てのステップを含む。ツリーのルートから最終原因に到達するまでのツリー内の進行過程は、決定ポイントに応じて変化し得る。ツリーは、制御装置のスナップショットデータを使用して、診断ガイドアプリ１３０においてユーザに提示される前に、可能な限り枝刈りされる。

図４は、図２のアプリケーションアーキテクチャの部分診断ツリーを、従来の直接的部品交換アプローチと比較するブロック図である。符号４００で示すのは、診断ガイドアプリ１３０の部分診断ツリーの一例である。このアプローチを使用して、決定ポイント４０２及び４０８に対する回答は、中間アクションノード４０６を含み得る後続のステップを指示し、最終的にリーフアクションノード４０４、４１０又は４１２に至る。診断ガイドアプリ１３０では、対話型診断ツリーによって一連の検査及びコンポーネント交換の実施をユーザに促すことで根本原因をより迅速に特定及び訂正し、問題の原因ではないコンポーネントを交換する時間や費用を省くことができる。このアプローチでは、以前の診断ステップによって示されるように、特定のコンポーネントがアラームコードの根本原因である可能性が高い場合に、そのコンポーネントのみを交換することになる。

従来の直接的部品交換アプローチの一例を符号４２０で示す。従来のアプローチではボックス４２２、４２４、及び４２６で、問題が解決されるまでコンポーネントが一度に１つずつ交換され、その交換順序は、問題を解決する可能性が最も高いものであるか、もしくは実行するのが最も容易であるかに基づき決定され得る。診断ガイドアプリ１３０が利用可能になる前に使用されてきた従来のアプローチでは、結果的に診断プロセスに時間がかかり、ロボットコンポーネントが不必要に交換されることがよくある。

図５は、本開示の一実施形態による、図２のアプリケーションアーキテクチャの決定ライブラリ２１０における決定ライブラリの構成要素を示す。決定ポイント５１０は、ユーザの質問に対する回答に基づいて決定ツリーが分岐するポイントである。決定ポイント５１０は、３つの可能な回答を有するものとして示されており、各回答は、決定ツリー内の異なる経路に通じる。各経路は、別の決定ポイント、又はアクション（診断ステップ）につながってもよい。決定ライブラリ内の決定ポイントは一般に、２つの可能な回答（例えば、はい又はいいえ）を有し、それぞれが異なる経路につながる。

自動決定関数５２０は、決定ツリーに埋め込まれた関数であり、制御装置のスナップショットからのデータに基づいて自動的に評価される。自動決定関数５２０は、ユーザに提示されない。代わりに、診断ガイドアプリ１３０は、決定ツリーがユーザに提示される前（この場合、ツリーは自動決定関数５２０に基づいて枝刈りされる）か、若しくはユーザとアプリ１３０との対話中（この場合、その結果として得られる出力経路に基づいて次の決定又はアクションがユーザに提示される）に、自動決定関数５２０を自動的に評価する。自動決定関数は、入力診断データに応じて２つ以上の可能な出力経路を有し得る。

図６は、本開示の一実施形態による、支援拡張現実（ＡＲ）表示と共に、診断ステップ（アクション）及び決定ポイント（質問）をユーザに表示する診断ガイドアプリ１３０を示す。診断ガイドアプリ１３０は、前述したように、モバイル機器１２０の画面上に表示される。診断ガイドアプリ１３０は、分割画面形式によって右側のユーザ対話部６１０と左側のＡＲ表示部６２０とに分割されている。画面のどの部分をユーザ対話部６１０及びＡＲ表示部６２０に使用するかは、ユーザが選択してもよいし、アプリ１３０が自動的に決定してもよい。例えば、ＡＲデータが利用可能でない場合にはユーザ対話部６１０が表示画面の１００％を占めてもよいし、あるいはＡＲ表示部６２０がユーザによって積極的に使用されている場合にはユーザ対話部６１０を表示画面の１０％のみに縮小してもよい。モバイル機器１２０がヘッドセットタイプのＡＲデバイスである状況では、ユーザ対話部６１０を視認される「スペース内に固定配置」した状態で、視認エリア全体を占めるＡＲ表示部６２０内で実世界要素及び仮想要素を視認してもよい。

ユーザ対話部６１０は、診断ステップ（アクション）と決定ポイント（質問）との組み合わせを含む。図６に示すように、以前に実行された診断ステップが符号６１２で示され、決定ポイント（質問）は符号６１４で示される。ユーザ対話部６１０は更に、カプセル化されたビデオウィンドウ６１６を含み、ここにユーザが実行するよう指示されている現在のステップ（モータのプラグを抜く等）を示すビデオが表示される。ウィンドウ６１６は、写真、イラスト、動くイラスト（ＧＩＦ）、ビデオ、その他のメディアを含んでもよい。ユーザ対話部６１０に表示される診断ステップ（アクション）及び決定ポイント（質問）は、前述したように図３に示す診断ツリーの一部である。質問６１４に対する回答に基づいて、診断ツリーは、経路に沿って適切なノードへ進み、そのノードに関連するアクション又は決定が、ユーザ対話部６１０に表示される。

ビデオウィンドウ６１６に加えて、ＡＲ表示部６２０が図６の診断ガイドアプリ１３０内に示されている。前述したように、いくつかの診断ステップ（アクション）及び決定ポイント（質問）は、関連するＡＲデータを有する。ＡＲ表示部６２０は、ユーザが診断ステップを遂行するのを助ける対話型視覚化支援を提供するように設計される。ＡＲ表示部６２０は、動作方向又は視線方向を示す矢印である仮想特徴表示６２２と、ロボット上の部品の位置を示す輪郭である仮想特徴表示６２４とを含む。仮想特徴表示６２２及び６２４は、モバイル機器１２０のカメラを通して見る現実の風景（ロボットとその周辺）の画像６２６上に重ねて表示される。仮想特徴表示６２２及び６２４は、モバイル機器１２０内のプロセッサによって計算され、ロボットに対するモバイル機器１２０の位置及び向きに基づいて、適切なサイズ及び向きで表示される。ロボット（又はロボット作業セル）に対するモバイル機器１２０の位置及び向きは、作業セル内の視覚マーカの画像を分析することによって決定され、ＡＲ手法の熟練者によって理解されるように、視覚及び/又は慣性オドメトリ技術によって連続的に追跡され得る。モバイル機器１２０は、タブレットコンピューティングデバイス、スマートフォン、又はＡＲヘッドセット／ゴーグル装置であってもよい。

図２のアーキテクチャ図２００に戻ると、データライブラリ２１０～２４０が上述されており、それらの内容は、図３～５に示されている。データライブラリ２１０～２４０は、臨機応変に更新されてもよい。すなわち、データライブラリ２１０～２４０内の要素は、その要素の新しいバージョンが利用可能になったらいつでも追加又は更新することができる。例えば、以前にサポートされていなかったアラーム又はトラブルコードのために新しい診断ツリーを作成してもよいし、特定の診断ステップのためにＡＲデータを追加してもよい。この新しいＡＲデータがクラウド１５０内のウェブサーバ上で利用可能になると、それはモバイル機器１２０にダウンロードされ、アプリ１３０内のＡＲデータライブラリ２４０に追加される。データライブラリ２１０－２４０への追加及び更新は、ソフトウェアのアップグレードを必要としない。

診断ガイドアプリ１３０は更に、ソフトウェアモジュール２５０、２６０、２７０、及び２８０を含む。ソフトウェアモジュール２５０～２８０は、診断ガイドアプリ１３０の新しいバージョンがリリースされると更新され、この場合、クラウド１５０内のウェブサーバからアプリ１３０の新しいバージョンをダウンロードしてもよい。データライブラリ２１０～２４０は、図２に示され以下に説明されるように、ソフトウェアモジュール２５０～２８０と通信する。

診断ガイドアプリ１３０は、ロボット制御装置１１２に対するデータダウンロードインターフェースとして機能する診断データ収集モジュール２５０を含む。データ収集モジュール２５０は、制御装置１１２との通信を確立し、制御装置のスナップショットデータを要求し、受信する。アラーム又はトラブルコードやすべての関連データを含むスナップショットデータは、モバイル機器１２０上のメモリに格納され、以下で説明するように、診断ガイドアプリ１３０によって利用可能であり、使用される。

ユーザ１４０は、診断が必要な制御装置１１２を特定することにより診断を開始する。故障した制御装置１１２への接続が可能な場合、アプリ１３０は、制御装置１１２から制御装置のスナップショットをダウンロードする。制御装置のスナップショットには、アラームの診断に役立ち得るデータが含まれている。これには、アラーム履歴、サーボステータス、システム変数、特殊なトレンドデータ等が含まれる。スナップショットの生成及びダウンロードは自動的に行われ、ユーザには表示されない。

診断データ収集モジュール２５０は、任意の適切な方法（ＵＳＢドライブ、直接配線接続、共通のＬＡＮへの接続等）を使用して制御装置１１２と通信するが、ここで好ましい方法は無線接続である。

診断データ収集モジュール２５０は、サーボ診断を要求し、アラーム診断に役立ち得る任意の他のファイルを制御装置１１２から収集する。診断データ収集モジュール２５０は、スナップショットファイルから関連データを解析し、全てを診断ガイドアプリ１３０で利用可能且つ使用される内部診断データ構造内に入れる。

診断ガイドアプリ１３０は更に、ツリー生成モジュール２６０を含む。ツリー生成モジュール２６０は、特定のアラーム又はトラブルコードが利用可能である場合、診断ツリーライブラリ２２０から同コードに関する診断ツリーを引き出す。ツリー生成モジュール２６０は、診断ツリーのＸＭＬデータを解析し、特定のトラブルコードの内部ツリー構造を作成する。ツリー生成モジュールはまた、データ収集モジュール２５０内の制御装置から受け取った診断データに基づいて診断ツリーを「枝刈り」する。ツリーの残りの部分をどのように構築するかを決定するために、例えば、自動決定関数が呼び出され、制御装置のスナップショットからのデータが使用されてもよく、この場合ツリーの１つ以上の分岐は、自動決定関数に基づいて枝刈りすることができる。

診断ガイドアプリ１３０が制御装置のスナップショットを介して診断データを取得できない場合、質問は自動的に回答されず、代わりに、診断ツリー内の各決定ポイントは、ユーザ１４０に対する潜在的質問となる。この場合、ユーザ１４０がアラーム又はトラブルコード識別子を入力するだけで、診断ガイドアプリ１３０は、診断ツリーライブラリ２２０から適切な診断ツリーを検索する。

更に、特定のアラーム又はトラブルコードについて診断ツリーが存在しないが、（トラブルコードについて異なる根本原因の統計的な比率を示す）統計的診断データが存在する場合には、問題を解決する確率が高い順に、ツリー生成モジュール２６０によって診断ツリーが一連のアクションとして構築される。統計的診断データが存在しないか、あるいは同データが曖昧である場合、アクションは、ステップを実行する時間に基づいて一連のアクション内で順序付けられてもよく、この場合、実行する時間が最も短いステップが最初に順序付けられる。「ツリー」が一連のアクションとして構築される場合、診断ガイドアプリ１３０は、依然として有用なツールとして機能し、アラームを解決するまで、ユーザに最も可能性の高いコンポーネントから順番に交換するように求める。これらのコンポーネント交換ステップは、診断ツリーがない場合であってもなお、拡張現実（ＡＲ）支援を提供することができる。

特定のアラーム又はトラブルコードに対して診断ツリーも統計的な診断データも存在しない場合には、診断ガイドアプリ１３０のツリー生成モジュール２６０は、このステータスを示すメッセージをユーザ１４０に返答する。そのような場合、特定のアラーム又はトラブルコードに関する診断ツリーの作成の必要性は、クラウド１５０内のウェブサーバ上に記録されてもよく、その結果、ロボット製造業者のサービス技術者は近い将来、そのような診断ツリーを作成し、配布することができる。また、診断ガイドアプリ１３０がアラームに対する診断を提供することができない場合（診断ツリーがなく、統計的診断データも利用できない場合）、ユーザ１４０は、アプリ１３０によって写真、ビデオ、及び制御装置スナップショットを提出し、熟練技術者による分析を求めることができる。ユーザ１４０が単にアプリ１３０内のボタンを押すだけで、画像及びデータがパッケージ化されたのち電子メールアドレス又はウェブサーバロケーションにそれらが送信される。送信先で顧客サービス担当者がデータをレビューし、支援を受けてユーザ１４０に返答する。

診断ガイドアプリ１３０は、ガイド生成モジュール２７０を更に含む。ガイド生成モジュール２７０は、ツリー生成モジュール２６０によって生成された決定ツリーを受け取る。その際、当該ツリーが診断ツリーライブラリ２２０から検索されたか、又はツリー生成モジュール２６０によって統計的な診断データに基づいて構築されたかは問わない。ガイド生成モジュール２７０は、診断ツリー内を探索し、（診断ステップライブラリ２３０から）適切な診断ステップ及び（ＡＲデータライブラリ２４０から）ＡＲデータを読み込んで、診断ツリーに基づいて完全な診断ガイドを作成する。

診断ガイドアプリ１３０は更に、ガイドユーザインターフェース（ＵＩ）モジュール２８０を含む。ガイドＵＩモジュール２８０は、ガイド生成モジュール２７０から完全に具体化されたガイドを受け取り、診断ガイドをモバイル機器１２０上でユーザに提示する。ガイドＵＩモジュール２８０はまた、質問に対するユーザの回答を受け取り、その回答をガイド生成モジュール２７０に提供することで、適切な後続ノードをガイドＵＩモジュール２８０によってユーザに提示することが出来る。

上述したように、以前にサポートされていなかったアラーム又はトラブルコードに対処する新しい診断ツリーを作成することが必要な場合がある。これを行うために、技術者は、特定のアラームの診断ツリーを作成することから始める。新しい診断ツリーにおいて必要とされる多くのアクションや決定ポイントは、決定ライブラリ２１０及び診断ステップライブラリ２３０に既に存在し得る。新しいアクションの場合は、新しいＨＴＭＬページが生成され、必要に応じて新しいＡＲデータが生成される。新しい決定ポイントについては、問われる質問及び可能な回答を定義する新しいＸＭＬが必要とされる。自動決定が可能な場合、診断データに基づいて質問にどのように答えるかを定義する新しい関数を記述しなければならない。追加の診断データが必要な場合、追加のデータを解析し、それを内部データ構造に追加するために、診断データ収集装置にソフトウェア修正が必要である。

図７は、本開示の一実施形態による、図１のシステムを採用した、拡張現実を用いたロボットトラブルコードの自動誘導診断方法のフローチャート図である。ボックス７０２において、診断を必要とするロボットの制御装置が特定される。通常、問題となるロボットは動作を停止し、制御装置はアラーム状態又はトラブルコードを表示する。ボックス７０４で、特定された制御装置と診断ガイドアプリケーションを実行するモバイル機器（好ましくはＡＲ対応）との間で通信が確立され、制御装置データの「スナップショット」が、制御装置から診断ガイドアプリケーションを実行する機器にダウンロードされる。

ボックス７０６では、制御装置によって特定された特定のトラブルコードについて診断ツリーが作成される。診断ツリーの作成には、診断ツリーライブラリ内に既存の診断ツリーが存在する場合は、それを選択することが含まれ、又、診断ツリーライブラリが特定のトラブルコードの診断ツリーを含まない場合は、統計的な根本原因データに基づいて診断ツリーを構築することが含まれる。診断ツリーの作成には、ツリーの枝刈り（一部の経路の選択とそれ以外の経路の削除）も含まれ、これは制御装置スナップショットからのデータを使用して評価されるツリー内の自動決定関数に基づいて行われる。

ボックス７０８では診断ツリーが対話形式で辿られるが、これにはユーザが実行する診断ステップと、ユーザが回答する質問とを含む診断ガイドを表示することが含まれ、質問に対する回答によって診断ツリー内のどの経路をたどるべきかが決定される。ボックス７０８において診断ツリーを辿ることで、トラブルコードの根本原因が判定され、診断ステップの実行によって当該原因が解決される。診断ツリーを辿る工程は、画像、説明、及びビデオをユーザに提供することを含み、これらの形態の媒体のいずれか又はすべてを使用して、どのようなアクションをとる必要があるか、どのようにそれを行うべきか、及びロボット又は制御装置上の特定のアイテムがどこにあるかをユーザに対し説明し、示すことができる。また、他の形態の媒体に加えて、ＡＲ表示を提供してもよく、ＡＲ表示は、現実世界の風景の画像の上にポインタやハイライトマーカ等の仮想オーバーレイを提供し、ユーザが異なる視点に視線を動かす間も、仮想オーバレイアイテムを適切に映し出すことができる。

モバイル機器がタブレットコンピューティングデバイス（ＡＲ表示部とユーザ対話部に分割画面を使用できる）であるか、又はＡＲヘッドセット装置（視聴エリア全体をＡＲ表示部にしてもよく、その際ユーザ対話部は、ユーザの視認及び対話のための「スペース内に固定配置」される）であるかによって、多少異なるユーザ体験が提供される。

モバイル機器上の診断ガイドアプリケーションは、ウェブサーバ又は「クラウド内」の知識データベースと通信してもよく、これにより、制御装置のスナップショットを取得した後に診断ツリーをリアルタイムに作成するか、又はアプリケーション内のライブラリに格納されている利用可能な診断ツリー及びステップ、ＡＲデータ等に対し定期的な更新を行う。

前述の説明全体を通して、ロボットの運動及びタスクを制御したり、モバイル機器上で診断ガイドアプリケーションを実行したりするための、様々な制御装置が説明され、暗示されている。これらの制御装置のソフトウェアアプリケーション及びモジュールは、不揮発性メモリ内に構成されたアルゴリズムを含む、プロセッサ及びメモリモジュールを有する１つ以上のコンピューティングデバイス上で実行されることが理解されるべきである。具体的には、これは上述したロボット制御装置１１２及びモバイル機器１２０内のプロセッサを含む。ロボット、それらの制御装置、及びモバイル機器の間の通信は、配線ネットワーク上であってもよく、あるいは携帯電話／データネットワーク、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ブロードバンドインターネット等の任意の適切な無線技術を使用してもよい。

以上の概説により開示された、拡張現実を用いた自動ロボット診断ガイドの技術は、従来技術を超えるいくつかの利点を提供する。ロボットや他の現実世界のアイテムの埋め込まれた画像、説明、ビデオ及び拡張現実ビューを用いて、ユーザが診断ステップを容易にかつ直感的に実行し、質問に答えることが可能であることは、コンポーネントを順次交換する従来の反復的な手法よりもはるかに優れている。

拡張現実を用いたロボットのアラーム自動診断のための方法及びシステムのいくつかの例示的な態様及び実施形態を説明してきたが、当業者はそれらの修正、置換、追加、及び部分的組み合わせを認識するであろう。したがって、添付の特許請求の範囲、及び今後導入される特許請求の範囲は、このような変形、置換、追加、及び部分的組み合わせをすべてそれらの真の精神及び範囲内に包含すると解釈されるものである。

Claims (23)

1. 機械に関する問題を診断し修理するためのシステムであって、前記システムは：
   機械と通信する機械制御装置であって、プロセッサ及びメモリを含み、前記機械の動作を制御し且つ前記機械のトラブルコードを記録する機械制御ソフトウェアで構成される機械制御装置と；
   １つ又は複数のカメラと、位置追跡センサと、表示部とを有する拡張現実（ＡＲ）デバイスであって、診断ガイドソフトウェアアプリケーションを実行するように構成されるプロセッサ及びメモリを更に含む、ＡＲデバイスと；を備え、
   前記診断ガイドソフトウェアアプリケーションが、
   前記機械に問題があることを示すデータを含む前記機械制御装置からのデータを前記ＡＲデバイスに提供すること；
   作業セル座標系に対する前記ＡＲデバイスの位置及び向きを確認し、連続的に追跡すること；
   診断ステップと、決定ポイントとを含む診断ツリーを作成し、該診断ツリーによって前記問題の根本原因を診断すること；及び
   前記問題の根本原因が判定され解決されるまで、前記診断ステップ及び前記決定ポイントにおいてユーザと対話することによって前記診断ツリーを辿る診断ガイドを提供すること；を含む機能を提供し、
   診断ツリーを作成する工程は、前記機械制御装置からのスナップショットのデータに基づき、前記診断ツリーにおける１つ又は複数の決定ポイントにおける質問に前記診断ガイドソフトウェアアプリケーションが自動的に答えることによって前記診断ツリーを枝刈りすることを含む、システム。
2. 前記ＡＲデバイスは、ユーザが装着するヘッドセット装置である、請求項１に記載のシステム。
3. 前記ユーザによって視認されるスペース内の固定位置に配置されるユーザダイアログウィンドウ内に、画像、ビデオ、及び説明を含む前記診断ツリーの一部が表示される、請求項２に記載のシステム。
4. 前記ＡＲデバイスは、ユーザが保持するスマートフォン又はタブレットコンピューティングデバイスであり、ＡＲ表示部及びユーザダイアログウィンドウは、分割画面モードで表示される、請求項１に記載のシステム。
5. 前記作業セル座標系に対する前記ＡＲデバイスの位置及び方向を確認することは、既知のデザインを有し且つ前記作業セル座標系内の既知の位置に配置された視覚マーカの画像を解析することを含む、請求項１に記載のシステム。
6. 前記機械制御装置からデータを提供する工程は、前記ＡＲデバイスと前記機械制御装置との間の通信を確立することと、アラーム履歴、ロボット関節負荷及びトルク、サーボモータステータス、モータ電流、並びにトレンドデータを含む前記機械に関するデータをダウンロードすることとを含む、請求項１に記載のシステム。
7. 前記機械制御装置からデータを提供する工程は、前記機械制御装置によって２次元バーコード（ＱＲコード（登録商標））を生成し、表示することと、前記ＡＲデバイスによって前記ＱＲコード（登録商標）を読み取ることとを含み、前記ＱＲコード（登録商標）は前記トラブルコードを特定する、請求項１に記載のシステム。
8. 診断ツリーを作成する工程は、前記問題に対して以前に作成された診断ツリーを診断ツリーライブラリから選択することと、前記問題に対する診断ツリーが前記診断ツリーライブラリ内に存在しない場合には、前記問題を解決する可能性の高い順に機械のコンポーネントを交換することを含む一連のアクションとして前記診断ツリーを構築することとを含む、請求項１に記載のシステム。
9. 前記診断ガイドは、前記ユーザが前記診断ステップを完遂するのを支援するように設計された画像、ビデオ、説明、及びＡＲデータを備えた前記診断ステップを提示し、前記決定ポイントのそれぞれにおいて前記ユーザに質問に回答するように求め、前記回答に基づき前記診断ツリーの枝を辿る、請求項１に記載のシステム。
10. 前記位置追跡センサは、１つ又は複数のジャイロスコープ及び１つ又は複数の加速度計を含み、前記位置追跡センサは、前記ＡＲデバイスの位置及び向きの変化の連続的な計算を可能にする信号を前記ＡＲデバイス内の前記プロセッサに提供する、請求項１に記載のシステム。
11. 前記ＡＲデータは、前記機械のカメラ画像上に重ね合わされた仮想特徴を含み、前記仮想特徴は、前記ユーザが前記診断ステップを完遂するのを視覚的に支援するように設計され、前記仮想特徴の表示は、前記ＡＲデバイスの位置及び向きの変化に基づき連続的に更新される、請求項９に記載のシステム。
12. 知識データベースを含むウェブサーバを更に備え、前記ＡＲデバイスは、前記ウェブサーバと通信し、前記知識データベースから診断ツリー及びＡＲデータをダウンロードし、前記知識データベースに根本原因情報をアップロードする、請求項１に記載のシステム。
13. 前記機械は、産業用ロボットである、請求項１に記載のシステム。
14. 前記診断ツリーは、前記診断ツリーを枝刈りするために前記機械制御装置からのデータに基づいて評価される自動決定関数を含む、請求項１に記載のシステム。
15. ロボット制御装置と通信する拡張現実（ＡＲ）デバイスを含み、産業用ロボットに関する問題を診断及び修復する装置であって、前記ＡＲデバイスは、１つ又は複数のカメラと、慣性センサと、表示部とを有し、前記ＡＲデバイスは更に、診断ガイドソフトウェアアプリケーションを実行するように構成されるプロセッサ及びメモリを含み、前記診断ガイドソフトウェアアプリケーションは、ロボットに問題があることを示すデータを含む前記ロボット制御装置からのデータをダウンロードし、前記問題の根本原因を診断する診断ステップ及び決定ポイントを含む診断ツリーを作成し、前記根本原因が解決されるまで、前記診断ステップ及び前記決定ポイントにおいてユーザと対話することによって、前記診断ツリーを辿る診断ガイドを提供するように構成され、
    前記診断ツリーを作成することは、前記ロボット制御装置からのスナップショットのデータに基づき、前記診断ツリーにおける１つ又は複数の決定ポイントにおける質問に前記診断ガイドソフトウェアアプリケーションが自動的に答えることによって前記診断ツリーを枝刈りすることを含む、装置。
16. 機械に関する問題を診断し修理する方法であって、前記方法は：
    機械及び前記機械と通信する機械制御装置を提供するステップ、
    １つ又は複数のカメラと、位置追跡センサと、表示部とを有する拡張現実（ＡＲ）デバイスであって、診断ガイドソフトウェアアプリケーションを実行するように構成されたプロセッサ及びメモリを更に含むＡＲデバイスを提供するステップ；
    作業セル座標系に対する前記ＡＲデバイスの位置及び向きを確認し、連続的に追跡するステップ；
    前記機械制御装置から前記ＡＲデバイスに、前記機械の問題を特定するデータを含むマシン診断データを提供するステップ；
    前記マシン診断データに基づいて、前記問題の根本原因を診断する診断ステップ及び決定ポイントを含む、診断ツリーを決定するステップ；
    前記ＡＲデバイスのユーザに、診断ツリーに従う診断ガイドを提示するステップ；及び
    前記問題の根本原因が特定・修正されるまで、前記診断ガイドに従って、ユーザが、前記診断ステップにおける検査及びコンポーネント交換動作、及び前記決定ポイントにおける質問への応答を行うステップ、を含み、
    診断ツリーを決定するステップは、、前記診断ガイドソフトウェアアプリケーションによって決定された前記診断ツリーにおける１つ又は複数の決定ポイントにおける質問に、前記診断ガイドソフトウェアアプリケーションが前記機械制御装置からのスナップショットのデータに基づいて自動的に答えることによって前記診断ツリーを枝刈りすることを含む、方法。
17. 前記診断ガイドを前記ユーザに提示するステップは、前記ＡＲデバイス上にＡＲデータを提供することを含み、前記ＡＲデータは、前記診断ツリーに含まれる少なくとも１つの検査又はコンポーネント交換作業を表現する、請求項１６に記載の方法。
18. 前記ＡＲデバイスは、前記ユーザが装着するヘッドセット装置であり、前記ＡＲデータは、前記機械及びその周辺のリアルタイム画像に重ね合わされ、前記ユーザによって視認されるスペース内の固定位置に配置されるユーザダイアログウィンドウ内に、画像、ビデオ、及び説明を含む前記診断ツリーの一部が表示される、請求項１７に記載の方法。
19. 前記ＡＲデータは、前記機械の前記リアルタイム画像に重ね合わされた仮想特徴を含み、前記仮想特徴は、前記ユーザが前記診断ステップを完遂するのを視覚的に支援するように設計され、前記仮想特徴の表示は、前記ＡＲデバイスの位置及び向きの変化に基づき連続的に更新される、請求項１８に記載の方法。
20. 診断ツリーを決定するステップは、前記問題に対して以前に作成された診断ツリーを診断ツリーライブラリから選択することと、前記問題に対する診断ツリーが前記診断ツリーライブラリ内に存在しない場合には、前記問題を解決する可能性の高い順に機械のコンポーネントを交換することを含む一連のアクションとして前記診断ツリーを構築することとを含む、請求項１６に記載の方法。
21. 前記ＡＲデバイスによって知識データベースを含むウェブサーバと通信するステップを更に含み、当該ステップは、前記知識データベースから診断ツリー及びＡＲデータをダウンロードし、前記知識データベースに根本原因情報をアップロードすることを含む、請求項１６に記載の方法。
22. 前記機械は、産業用ロボットである、請求項１６に記載の方法。
23. 前記機械に関する問題を特定する前記データは、アラームコード又はトラブルコードである、請求項１６に記載の方法。