JP4680516B2 - ロボットの情報を現実環境の画像へとフェードインするための方法、およびロボットの情報を現実環境の画像に視覚化するための装置 - Google Patents

Description

発明の分野
この発明は、コンピュータによって生成された情報を視覚化するための方法および装置に関する。

発明の背景
ＷＯ ００／５２５３６は、技術部品に関するデータバンクおよび状態情報などのコンピュータによって生成された情報を対応する技術部品の実像とともに特にテキストの形でディスプレイに表示することを開示している。実像とコンピュータによって生成された情報とをともに表示することを、強化現実（augmented reality;ＡＲ）と呼ぶ。

以前の産業ロボットは大抵、稼動時に一度だけプログラムされ、何の変更もなく長年同じ作業を行なっていた。より柔軟な自動化の枠組み内では、再プログラミングは時間およびコストの面で重要である。

ロボットを予め定められた位置または邪魔にならないところへと動かすためには、ロボットは、動きのキーを使用してユーザによって手動で動かすこともできるし、または６Ｄのマウスによって制御することもできる。ロボットの動きの方向は、選択される基準座標系に依存する。ユーザには、どの基準座標系が選択されているかまたはどのようにこれが空間において方向付けられているかが常にすぐにわかるわけではない。実際には、慎重な試行錯誤が何度も行なわれてロボットが所望の方向に動いているかが規定される。誤りは深刻な損傷または人間の負傷につながり得る。

ある程度、このことはロボットに関する経験の少ないユーザにも当てはまる。なぜなら、問題がある場合の基準座標系の概念は、ロボットシステムを効率的に動作できるようにするためにロボットユーザが持つべき知識を前提としているためである。しかしながら、このことを「ロボット初心者」に理解できるようにするのは難しい。なぜなら、一般に彼らには対応する数学的な資質に欠けているためである。

今日、産業ロボット上のツール中央点（ＴＣＰ）の測定は、通常、手動で行なわれる。したがって、たとえば、ツール中央を使用して、事前に設定された点を異なる方向からある回数まで動かし、対応するロボットの位置を記憶し、これらからロボットハンドフランジに関するツール中央の位置および任意で方向付けを判定する。工作物の測定、すなわち、基本基準系の規定は類似の態様で行なわれる。

ロボットシステムの意図される用途（ツールの本質−溶接、切断、接着および類似のツールならびに工作物に関する方向付け）の関数として、ロボットユーザは具体的な測定方法を選択しなければならない。たとえば、測定されるべき工作物座標系のゼロ点がロボットの動作領域外にある場合、測定は空間における既知の点を使用して間接的に行なわなければならない。機械加工される工作物がロボットフランジに固定されるグリップに案内される場合、異なる測定方法を選ばなくてはならない。すべての用途の事例を網羅するために、１８より多くの異なる測定方法が知られている。幅広いトレーニングの後でも、ロボットユーザには一般に、具体的な事例においてどの測定方法を使用すべきかはよくわからない。経験のあるユーザであっても、他の「ツール」および／または「工作物」などの新しい構成の場合には知識不足に陥る。なぜなら、測定が行なわれるのは稀であるからである。

測定の手順は非常に複雑になることがあり、かなりの時間がかかる。工作物がロボットによって案内され、ツールが静止している頻繁に起こる事例では、たとえば、位置の測定を３回行なって、次に方向付けの判定を行なう必要がある。不正確な位置付けは、測定方法の結果が得られなかったりまたは信頼性のない結果につながるため、慎重な手順が必要である。測定結果の視認性の欠如も良好な結果が存在するかまたは方法の誤り、不正確な入力等によって誤ったものになっているかどうかがはっきりしないことにつながる。

今日、ロボットプログラムは、ロボットが動きのターゲットの位置へと手動で動かされ、対応する経路点が記憶されることで、教示によって作られることが多い。シミュレーションによってオフラインで作られたプログラムの経路点は、後にその本来の場所で教示されなければならないことが多い。なぜなら、シミュレーションモデルの幾何学的構造と実際のロボットの使用環境とが正確にある程度一致することは稀であるからである。欠陥のあるロボット機構を別のそのような機構と置換えるときでも、ロボットプログラムの経路点を再教示しなければならないことが多い。なぜなら、新しい機構は製造の許容差の結果としてわずかに異なる幾何学的構造を有するためである。

人間が近くにいる場合、ロボットは非常にゆっくりとしか動くことができず、ターゲット位置まで正確に動かされなければならないため、教示または事後教示は非常に時間がかかる。さらに、ゆっくりとした動きにかかわらず、常に物の損傷や人間の負傷といった危険が伴う。この危険は、特に新たに製造された（たとえば、シミュレーションによってオフラインで製造された）ロボットプログラムの場合に存在する。これをプログラム機はテストのためにロボット上で作動させなければならない。

動作において問題または失敗が起こると、ロボットはプログラムされた経路に沿って戻されることが多い。そのような状況またはその他の複雑な状況では、ロボットシステムの挙動はユーザによって直接的に予測することはできない。ここでも物の損傷または人間の負傷が起こり得る。

衝突を排除するため、ロボットシステムに対して動作領域が固定され、これはロボットツールまたはロボット全体によって貫通されてはならないかまたはロボットツールまたはロボットはそれを離れてはならない。いくつかの「協働」ロボットシステムおよび／またはその他の装備の構成要素および／または人間によってその他の動作領域が共同で使用されるため、それらの使用を管理しなければならない。

そのような施設における動作領域の固定は複雑な測定を前提とする。工場内での固定された動作領域の監視または適合も非常に複雑である。なぜなら、視覚的な表現または表示が存在しないためである。工場内ではロボットシステムの到達可能な動作領域が重なっているかまたはどのゾーンで重なっているかがはっきりしないため、衝突の危険が存在する。

ロボットシステムが手動で案内される動作の場合（知能支援装置または「コボット（cobot）」としてのロボット）、ロボットの動きの自由度はユーザの活動を容易にするために人工的に制限されていることが多い。仮想の固定によって、ロボットのエフェクタは、たとえば、常に１つの平面内で制御されて案内され、方向付けは常に地面等に平行に保たれる。

仮想の固定はロボットシステムの動作領域を制限する特別な事例である。動作領域は、ロボットシステムまたはその一部が離れることのない、またはそれによって貫通されてはならない体積である。ロボットがツールに対してユーザによって案内される特別な適用例では、ソフトウェアベースでグリップの方向付けを固定し、空間でのグリップの位置はユーザによって常に自由に変化させることができるのが適切な場合がある。１つの適用例は、組立における接合支援としてのロボットの使用である。ロボットは重くかさばる可能性のある構成要素を運び、ユーザは力の消費量を制限してそれを動かすことができる。構成要素は最初から組立てられるべき位置にある。別の適用例は、たとえば、面の塗装であり、ロボットは塗装される面から予め定められた距離にツール（すなわち、塗料吹付け銃）を保持し、ユーザは面の上で銃を案内する。動きの可能性に対するそのようなソフトウェアベースの計画された制限は仮想の固定と称される。なぜなら、ロボットのグリップの機械的な強制的案内に類似した態様で作用するためである。

動作領域または仮想の固定に関する情報はロボット制御における概略的な数学的情報として提示される。

仮想の固定は現在の作業の関数として動的に変化させることができる。プログラミング中の仮想の固定または動作領域の固定または修正は、多くのユーザの必要な概念能力を超えるため、ロボットの経路および／または回転運動、もしくはより正確にはそのツール中央点またはＴＣＰがどの方向で可能かまたは阻止されるかは、ユーザにはすぐにわからない。ロボットシステムの挙動を予測できないため、ユーザは確信が持てない。不正確な操作の結果、たとえば、１つの方向に大きな力を作用させると、仮想の固定によって阻止され、ロボットシステムが損傷することがある。

現在の製造工場では、多数のロボットが隣接して置かれていることが多い。これらロボットの各々は、それ自身の手動のプログラム機を有する。手動のプログラム機とロボットとの間の関連付けが存在することは原則的にその二者の間に任意で存在する接続ケーブルで明らかである。この状態では、ロボットシステムの稼動中およびプログラミング中ならびに後続の動作中に、関連付けられるロボット接続ケーブルを備えた１つの具体的な手動プログラム機を後に追跡することは多大な努力と時間を要するため、実際には試行錯誤の方法が一般に使用される。この場合、手動のプログラム機は慎重に動作され、所望のロボットが動いているかがチェックされ、そうでなければ、別の手動プログラム機が試される。ケーブルが存在せず、その代わりに手動プログラム機とロボット制御との間の通信が無線の形で行なわれる場合もこれが当てはまる。

この発明の課題は、セットアップ、プログラミング、１つまたは複数のロボットによって行なわれる動きのシーケンスの教示等のために、１つまたは複数のロボットの動作を簡略化する方法および装置を提供することである。

発明の概要
上述の種類の方法では、この発明の課題は、画像受取装置の位置および方向付けまたはポーズについての判定が行なわれ、この判定に対応するロボット特有の情報が視覚装置上の現実環境の画像に重ねられることで解決される。

装置に関して、課題は、コンピュータによって生成された情報を現実環境の画像へと視覚的にフェードインするための装置によって解決され、この装置には画像受取装置のポーズを判定するための手段および判定に対応するロボット特有の情報を視覚装置上の現実環境の画像に重ねるための手段がある。

この発明の範囲内では、ロボット特有の情報という言葉は、ロボットの動作に関する情報、たとえば、具体的には実際のロボット上の動作およびプログラムデータに関する情報、ロボットによって操作される工作物、および装備、部品など近くにある障害物に関する情報など、ポーズおよび動きに関する情報を含む。この情報は、視覚装置上に図形的にフェードインされる。

再プログラミングが容易なため、この発明によって、ロボットによる動作シーケンスの自動化の柔軟性を高めることが可能になる。

この発明は、ロボットの稼動、プログラミングおよび動作をより単純かつ効率的にする。具体的には、この発明は、運搬設備などの付加的なロボット構成要素を有する複雑な設備のロボットのグループに関する。

この発明の第１の好ましい展開例によると、少なくとも１つのロボット特有の基準の座標系がフェードインされ、特にハンドフランジに固定された座標系がフェードインされる。ロボットハンドフランジ座標系およびハンドに固定されたツールの視覚化は、この座標系の原点がＴＣＰ（ＴＣＰ座標系）上に再現されるように行なわれるのが好ましい。静止した「世界座標系」または静止した、工作物に固定された基本の座標系などの他の基準の座標系を視覚化することも可能であり、後者は静止したロボットベースの対称中心にあることが好ましい。

所与の要件の関数としての静止した基本の座標系（世界、ベース）の場合、さらにまたはこれに代えて、ＴＣＰへと移動されかつ空間におけるその方向付けが静止した基準の座標系の方向付けに一致するがロボットフランジとともに動く座標系をフェードインすることが可能である。

別の好ましい展開例によると、ロボットの軸がフェードインされる。仮想のロボットの軸は、ロボットの実像の上に重ね合わされ、それらはロボットの個々の部品（ベース、ロッカー、ロボットアームおよびロボットハンド）の軸に対応するかまたはそれらに一致し、このようにしてそれらが表現される。

座標方向はロボットシステム上に、たとえば、そのツール中央点上にフェードインされ、任意で指定される（デカルト法の場合、たとえば、ｘ、ｙ、ｚと指定され、軸特定方法の場合、たとえば、軸１、軸２、軸３と指定される）。アクティブな座標方向または軸を図形的に、たとえば、色または動画によって強調することが適切な場合がある。

基準の座標系を直接操作できるようにするために、選択された種類の座標系が予め定められた位置に自動的に生成され、視覚化される。座標系は、所望の位置および方向付けまたはポーズが得られるまで視覚的な制御の下でユーザによって移動および回転させることができる。

この発明は強化現実（ＡＲ）によって現実のロボットシステム上に選択された基準の座標系またはロボットの軸を視覚化するが、これによってユーザは特にロボットシステム置換キーによる手動の置換を容易に予測することができる。

この発明によって可能になる基準の座標系の操作性によって、ユーザは面倒で複雑な測定方法を学び、実行する必要がなくなる。増補された仮想の対象物の操作は、直感的にわかりやすく、時間および費用を節約し、ユーザ側に要求される資質を低減する。

この発明のさらに別の好ましい展開例は、少なくとも２次元で可動のロボット手動プログラム機の制御要素の画像がフェードインされ、特に関連する制御要素およびロボットハンドフランジの方向付けの画像がフェードインされることを特徴とする。ユーザにはわかりやすく、たとえば、手動プログラム機上の実際の制御要素が動作された場合に、ロボットおよびそのハンドがそこに固定されたツールとともにどのような動きを行なうかについての概念が容易になる。制御要素をロボットシステムＴＣＰ上にフェードインしかつそれとともに動かしてもよく、または入力要素を予め定められた位置でディスプレイに重ねてもよいし、または空間に固定してもよい。

対称の構造を有する制御要素の場合、フェードインされた入力要素での座標系の位置がユーザには直接的に検出できないことがある。そのような場合、フェードインされた入力要素にさらにマーキング（たとえば、図形記号）を行なうのが適切な場合がある。この意味で、制御要素上でのユーザの手の通常の位置をフェードインしてもよい。６自由度の制御要素（たとえば、６Ｄマウス）では、制御要素なしにユーザの手をフェードインすれば十分な場合がある。

座標系またはロボット軸などの仮想の要素、または手動プログラム機上の制御要素などの仮想の形の現実の要素を実際のロボットの画像とともに視覚化することとは別に、非常に好ましい展開例によると、ロボットおよびその動きのシーケンスを現実環境に視覚化して現実の工作物をそこに存在させることも可能である。これによって物の損傷や人の負傷の危険が低減される。増補されたロボットは、人がすぐ近くにいても無作為なスピードで動くことができるため、タイム露出が低減される。

経路点を教示するため、シミュレーションされるロボットはユーザによって動かされ、所望のターゲット位置に達した際に経路点が記憶される。プログラムをテストするとき、シミュレーションされるロボットは現実のシステムの代わりにプログラムされた経路をたどる。これはプログラムされたスピードまたは他の無作為なスピードで行なってもよい。経路の追従は現実に近いようにシミュレーションする必要はない。連続的にターゲットのポーズをフェードインして（すなわち、経路点から経路点へのジャンプ）、それらをチェックし、任意で適合するだけでよいので有利である。

さらに別の展開例によると、動作中にロボットが通るロボット経路、およびツール中央点の経路を付加的な情報とともに、好ましくはロボットと関連付けて、より正確には現実のハンドフランジまたはツールのＴＣＰの画像と関連させてフェードインすることができる。プロセスのプログラミングまたは操作は手動プログラム機上でオペレータによって行なわれるが、これによって、ロボットに関連して表示されるハンドフランジまたはツールのＴＣＰを通って延在する視覚化されたロボット経路の表示に空間において変更が行なわれる。具体的には、これは、経路点がフェードインされ、空間での経路点の位置が可変であり、すべての経路点の位置に対応するロボット経路の湾曲がフェードインされることで行なわれる。

空間的な経路パターンに加え、付加的な動きのパラメータ（たとえば、スピード、加速度等）または空間的な関数（たとえば、経路切換関数、入出力の設定／読取、加工プロセスの開始／停止等）を視覚化してもよい。この情報はテキストの形で視覚化してもよいし、図形または動画によって視覚化してもよい。

定められた現実の工作物の位置にロボット経路を適合するためのさらに別の実施例によると、工作物の仮想の画像がそれに適合されたロボット経路とともにフェードインされるため、仮想の工作物の画像およびロボットの経路点を現実の工作物の画像と重ね合わせることによって、実行されるロボット経路を現実の工作物の位置に適合することが可能になる。

この発明の別の好ましい展開例によると、ロボットによって到達可能な総動作領域および／または許可される動作領域および／または許可されない動作領域がディスプレイに視覚化され、および／またはロボットツール、ロボットハンドおよび／またはさらに別のロボット要素の動きの通路がディスプレイに視覚化される。「総動作領域」は、ＴＣＰによって仮定することのできるすべてのポーズの総数を示す。「動作領域」はプログラム機によって無作為に固定することができる。

たとえば、ある施設内で相互に作用する複数のロボットの場合、少なくとも１つのロボットの少なくとも１つの手動のプログラム機の永久的および／または瞬間的な関連付けを視覚化することもできる。

ロボットシステムと手動プログラム機との間の関連付けに類似の態様で、ＡＲを介してロボットシステムの現在の状態を視覚化し、必要であれば修正することも可能である。視覚化される状態の例は、選択された動作モード、ドライブの状態（オンまたはオフ）等である。

上述の好ましい実施例のすべてに共通するのは、コンピュータによって生成された情報がユーザに対して常に視覚化されるか、またはユーザによって要求されたときに（たとえば、許可キーが押されない場合の置換キーの操作の場合における手動の置換とともに）視覚化されることである。別の代替例によると、情報は予め定められた時間に自動的にフェードインされる（たとえば、現実のロボットシステムが動きを開始する直前）。

上述の４つの使用分野において、ＡＲシステムは、連続する画像シーケンスまたはオペレータによって開始される個々の「スナップショット」を供給することができる。対応して、情報は画像シーケンスにオンラインでフェードインされるか、またはオフラインで記録された個々の画像にフェードインされる。

視覚化はオフに切換えることもできる。連続する画像シーケンスの場合、任意で画像を静止させることもできる。

生成された対象物の視覚化の、現実との近さの程度は無作為であってもよい。視覚化は、工場のユーザの視覚を損なわないために半透過的な態様またはエッジモデルとして行なってもよい。

この発明のさらに別の利点および特徴は、特許請求の範囲、以下のこの発明の実施例の説明ならびに添付の図面から理解できるであろう。

発明の詳細な説明
図１ａおよび図１ｂは、コンピュータによって生成された情報をディスプレイ上で現実環境の画像へとフェードインするためのこの発明の装置１の第１の実施例である。

この発明による装置１は、ロボットの動作シーケンスを快適にプログラムすることのできるロボットのための手動プログラム機２を有する。このため、手動プログラム機２には、６つの置換キー２．１および６Ｄマウス２．２の形の制御または動作要素が設けられ、これによってロボットの６軸の動きをキー２．１によるのと同じように制御することができる。そのような手動プログラム機は、ＥＰ ８４０ ９１０（ＵＳ ６，１３４，１０２に対応する）またはＥＰ ８４０ ９０９（ＵＳ ６，３６２，８１３に対応する）から知られており、そのような手動プログラム機の開示に関してそれらを参照する。手動プログラム２はスクリーン２．３も有し、ロボットの動きのための動きのシーケンスに関するさまざまなパラメータなどの情報および制御プログラムのデータが表示される。たとえば、図示されない物理的なキーによって入力することが可能であり、またはスクリーン２．３をタッチスクリーンとして構成し、入力キーをスクリーン２．３に重ねることも可能である。

図１ａおよび図１ｂによる実施例では、スクリーン２．３とは別に、この発明の装置は付加的な視覚装置１．１を有するが、これは物理的に手動プログラム機２に接続され、たとえば、そこに装着されて旋回可能であってもよい。図示の実施例では、視覚装置１．１の後ろにカメラの形の画像受取装置１．２が設けられ、現実環境を記録することができる。この記録の結果として、たとえば、空間に位置付けられるマーキングによって、画像受取装置１．２のポーズと称される、空間における位置および方向付けを数学的に判定することができる。またはこれに代えて、画像受取装置１．２のポーズは、それによって記録された実際の画像を記憶された基準の画像と比較することによって、または付加的なセンサシステムを使用することによって得られる。

たとえば、図７から１７の装置１．１の図に示されるように、視覚装置１．１には、一方で、カメラ１．２によって記録された現実環境の画像が示される。他方で、ロボット特有のコンピュータによって生成された情報も前記画像にフェードインされる。

従来の表示可能なスクリーンの形の視覚装置１．１の代わりに、前記装置は透明なスクリーンであってもよく、任意で画像化光学機器によって現実環境の画像を光電子工学的な変換なしに前記視覚装置１．１に示し、目に見えるようにすることができる。そのような場合、ポーズの判定は、たとえば、空間に無線マーキングを設け、これらに対して、少なくとも視覚装置１．１に接続されるレシーバによってポーズを判定できるようにして、技術的に行なってもよい。

視覚装置１．１は、図３による空間的な構成の場合のように、手動プログラム機２から空間的に離れていてもよい。

たとえば、図１ａおよび図１ｂの場合の視覚装置１．１としての別個のスクリーンの代わりに、現実環境の画像をロボット特有のコンピュータによって生成された情報とともに示す視覚装置１．１は、図２ａおよび図２ｂの場合のように、たとえば、手動プログラム機２のスクリーンディスプレイ２．３内にあるスクリーンウィンドウとして手動プログラム機２に組込んでもよい。

そのような場合、現実環境を記録するためのカメラ１．２は、特に図２から明らかであるように、手動プログラム機２に直接位置付けられる。それは、特に適切な記録場所にユーザがアクセスできないかまたは容易にアクセスできない場合、視覚装置１．１から完全に離してもよい。

それ以外は、図２ａおよび図２ｂの構成は、特に手動プログラム機２に関して、図１ａおよび図１ｂの構成に対応する。

図３は、眼鏡の形の視覚装置１．１を備えたこの発明による装置を示し、ユーザ４はレンズ１．３（シースルーの眼鏡）を通して現実環境を直接見ることができ、レンズ１．３はロボット特有のコンピュータによって生成された情報を重ねることができる透明なスクリーンとして構成されている。このため、視覚装置１．１はケーブル１．４によって手動プログラム機２に接続されているが、これはワイヤレス伝送、特に無線伝送によって置換えることができ、赤外線伝送によっても置換えることができる。視覚装置１．１にはカメラ１．２が設けられ、空間における対応する光学的なマーキングを使用しかつカメラによって視覚装置１．１のポーズを規定することができる。これに加えてまたはこれに代えて、視覚装置１．１または画像受取装置１．２のポーズは、カメラ画像を記憶された画像と比較することによって得られる。根本的に、電磁気的、光学的または聴覚的なセンサシステムを設けることも可能であり、これらによって空間内の対応するマーキングトランスミッタに対する画像受取装置または視覚装置のポーズを上述の態様で規定することができる。

この発明によって、ロボット自身、経路パターン、工作物等の仮想のまたは増補されたロボット特有の空間対象物を操作することでロボット特有のデータを操作することが可能なる。これは図４ａから図４ｅに関して説明する。

空間で動かされている現実のロボットシステムのＴＣＰと同様に、置換キー／６Ｄマウスなどの手動プログラム機上の既知の制御要素は、ユーザの手４．１による操作によって、移動された空間対象物のポーズを示す、選択され増補された空間対象物ＡＲ′を移動および回転させるために使用することができる。純粋なＡＲ視覚化と比較して、関与する時間は制限される。

空間での入力要素の位置は、静止した受取システム３．１およびたとえば、ポインタの形の入力要素３．２を備えたセンサシステム３によって判定することができる。ユーザが入力要素３．２を動かすと、この動きは、選択され増補された対象物ＡＲ（または、任意でこれらのいくつか）に伝送される。

人間工学的な面を改善するため、動きは、ユーザによって予め設定された倍率に対応する大きな倍率または小さな倍率で、選択された空間対象物へと伝送することができる。入力要素の空間的な動きおよび増補された空間対象物の「結合」の生成は、ユーザ側の対応する入力を通じて行なわれる（たとえば、ユーザが入力要素上のボタンを押圧している間）。「結合」および「切り離し」を変更することで、入力要素を長い距離にわたって動かすことなく、増補された空間対象物をかなりの距離にわたって置換させることが可能である。このため「インデックス付け」が行なわれる。

上述の意味での入力要素は、たとえば、ポインタ、ハンドル、データグローブまたは実際の手動プログラム機である。センサシステムは、電磁気的（たとえば、無線）、光学的（たとえば、赤外線）または聴覚的な（たとえば、超音波）追跡に基づいてもよい。手動プログラム機が入力要素として使用される場合、空間的なポーズを判定するために既にそこに存在する上述のシステムを空間対象物を操作するために使用してもよい。

またはこれに代えて、地面の代わりに携帯手動プログラム機に対して入力要素（たとえば、ポインタ）のポーズを測定し、評価することができる。上述の可能性に加え、入力要素のポーズは、接合角度集積化センサを備えた多重接合キネマティックスなどの、入力要素と手動プログラム機との間の機械的な測定システムを通じて使用することができる。

空間対象物は、入力要素３．１（たとえば、ポインタ、ハンドル、データグローブまたは完全な手動プログラム機）を使用して直接的に予め設定することができ、空間におけるそのポーズは対応するシステムで検出される。

図４ｂおよび図４ｃによる操作性の本質的な利点は、入力要素の空間的な位置付けを介して空間対象物を操作することで時間が節約され、たとえば、動きのキーまたは６Ｄマウスを使用するときなどの、スピードが制御された置換および回転を使用するときよりもユーザに直感的にわかりやすいことである。

上述の操作性は、上述のＡＲの使用状況（ツールおよび工作物座標系の測定中の基準座標系の移動、ロボット経路の支持点の置換、動作領域の角の点または側壁の置換等）であればどのような状況でも画像化することができる。

図５に示されるロボット経路のＡＲに支援された修正のためのシーケンスは、まず、機械加工が完了したか否かを規定するために機械加工の状態についての呼掛け信号を用いた再プログラム選択を伴う（ステップＡ）。答が否定であれば、経路セクションを修正するかの質問が行なわれる（ステップＢ）。これが当てはまらない場合、ジャンプして戻る。経路セクションが修正される場合、プログラム内で選択された経路セクションに関する判定または計算が行われ、これはツール中央点の経路全体を含み得る（ステップＣ）。選択された経路セクションまたは経路全体が視覚装置上の現実環境の画像へと重ねられる（ステップＤ）。これに続いて、置換命令またはいくつかのそのような命令を修正するかを規定するために質問が行なわれる。これが当てはまらない場合、視覚化は終了され（ステップＤ′）、経路セクションはフェードアウトされ（ステップＤ″）、質問Ｂへ戻る。

置換命令またはこれらのいくつかを修正する際、任意で関連付けられる経路が判定される（ステップＦ）。選択された置換の動きのターゲットおよび任意でツール中央点の関連付けられる経路はＡＲ表示に示されて強調される（ステップＧ）。後に図１４に関して説明するように、座標系をフェードインすることで、任意で方向付けも適切に視覚化される。

図４ａから図４ｃに関して説明した、空間内で経路および任意でターゲットを移動させることによりユーザ側で予め設定された詳細に基づいて、修正されたターゲットおよび任意で経路が判定され（ステップＨ）、ＡＲディスプレイに視覚化されるため（ステップＩ）、ターゲットの位置および任意でＡＲディスプレイ内での経路をチェックすることができる。任意で、ロボット制御のソフトウェアはターゲットにロボットが到達し得るかをチェックし、任意で警告メッセージを生成する。

ステップＨおよびステップＩに従って所望のターゲットおよび任意で経路を計算しかつ表示した後、所望のターゲットおよび任意で所望の経路パターンに到達しているかについての質問が行なわれる（ステップＪ）。これが当てはまらない場合、別のターゲットおよび任意で経路パターンの判定および視覚化が繰返され、ステップＨおよびステップＩが繰返される。所望のターゲットに到達している場合、ターゲットおよび関連付けられる動きの命令の固定が行なわれる（ステップＫ）。

次に、別の置換命令を修正すべきかについての質問Ｅに戻る。これが当てはまる場合、その別の置換命令についてステップＦからＫが再び行なわれ、これが当てはまらない場合、ステップＥ′、Ｅ″に関して説明したように、さらに別の経路セクションを修正すべきかについての質問に戻る（ステップＢ）。これが当てはまらない場合、既に説明したように、機械加工の状態についての質問に戻り、さらに機械加工が行なわれない場合、プログラムの選択が解除され、プログラムが終了する（ステップＬ）。

置換の動きのさらに別のターゲットの挿入が対応して行なわれ、入力されるかまたはプログラムの部分上の開始位置は自動的に提案され、先行する動きのターゲット位置がそこに存在してもよい。

表現されるプログラムのシーケンスは、たとえば、プログラムを開いた後にロボットの経路を自動的に直接フェードインし、および／またはあり得るロボット経路の選択を自動的に視覚化することで、さらに自動化および簡略化することができる。ユーザは、手動プログラム機のプログラム調査の中でプログラムにマーキングする際にプレビューの種類の強化現実で対応するロボットの経路を任意で観察することができる。

図６から図６ｂは、ロボット特有のコンピュータによって生成された情報を現実環境の画像へとフェードインするためのこの発明の装置の構造を示し、この発明によるシーケンスはここから容易に理解できる。

この発明の装置１は、ロボット特有のコンピュータによって生成された情報を視覚装置１．１に表示するために処理するための処理ユニット５を有する。図４の破線で示されるように、処理ユニット５にはカメラ１．２を接続してもよく、これは現実環境の画像を記憶し、処理ユニット５に供給する。処理ユニット５内には、画像生成ユニット５．１があり、カメラ１．２に従って視覚装置１．２のポーズを評価し、カメラ画像をロボット特有のコンピュータによって生成された情報と混合するため、現実画像と表示されるべき情報とが視覚装置１．１上にともに表示される。

このため、処理ユニット５は操作ユニット５．２を有し、ロボット制御６は、少なくとも１つのロボットを制御しかつそこからロボット特有の情報を入手するためのデータインターフェイスを有し、ロボット特有の情報は現実環境の画像とともに視覚装置１．１上に表示される。処理ユニット５は、たとえば、ロボットのための手動プログラム機などの、人間のユーザによってロボット特有の情報を空間的に操作できるようにする入力装置のためのインターフェイスを組込んでもよい。この発明による装置によって、ロボット特有の情報は、任意でユーザの入力を考慮しつつ強化現実モデルで使用することができ、強化現実モデルは画像生成ユニット５．１によってさらに処理して視覚装置１．１上に増補された画像を表示する。任意のユーザの入力によるロボットデータの変更は、モデル操作ユニット５．２によってロボット制御６へと戻すことができる。ＡＲデータの空間的操作のためのユーザ入力は５．３と表わされる。

処理ユニット５は、視覚装置１．１、手動プログラム機２またはロボット制御６に組込んでもよい。それは根本的にそれ自身の物理的なユニットを形成してもよい。処理ユニット５は、たとえば、画像生成ユニット５．１が視覚装置１．１または手動プログラム機２にあり、モデル操作ユニット５．２をロボット制御６に収納できるようにして、空間的にさらに分割してもよい。処理ユニット５またはその部分は、異なるロボットのための中央システムに組合わせてもよく、任意で通信経路はインターネットを経由してもよい。

図６は基本的な事例を示し、図６ａおよび図６ｂの携帯型または眼鏡状の視覚装置の特別な事例はそこから派生したものである。一般的なアーキテクチャは、後に説明する２つの具体的なアーキテクチャの共通点を表わす。

図６ａによる構成では、視覚装置１．１は、図１ａ、１ｂ、２ａおよび２ｂによる手動プログラム機２に接続されるか、または組込まれる。それには、カメラ１．２および入力要素２．１、２．２（キー、６Ｄマウス）が設けられる。カメラ１．２は上述の態様でその位置を判定することができ、したがって、視覚装置１．１の位置を判定することができ、入力要素２．１、２．２によってロボットデータを操作するための入力を人間のユーザによって入力することができる。これ以外は、図５による構成は図４の構成に対応する。

図６は、図２のこの発明の装置に関するブロック図である。視覚装置１．１は強化現実眼鏡に組込まれ、これはカメラ１．２を備えてもよい。眼鏡は、カメラ画像を経由してではなく現実世界を直接認識することができ、かつコンピュータによって生成された情報のみがフェードインされるシースルーの種類のものであってもよい。たとえば、入力キー２．１および／または６Ｄマウス２．２を備えた手動プログラム機２などの空間的入力要素とは別に、空間的視覚装置１．１が物理的に離れた形で設けられる。これ以外は、図６のブロック図は図４に対応する。

手動プログラム機２の形の入力装置は、それが視覚装置１．１として働く程度で、異なる構成、たとえば、異なる入力装置として設けてもよく、異なる視覚装置を設けてもよい。特に後者についてはこれに関して既に説明した。

図７ａから図７ｃは、現実環境の領域とともに視覚装置１．１上のあり得る表現を示し、たとえば、ロボット７またはそれによって機械加工される工作物８などの現実環境の領域およびロボット特有のコンピュータによって生成された情報が現実環境のこの画像にフェードインされ、そこに接続される。溶接トングなどのツール７．１を備えた現実のロボット７の画像を用いて、それに関連付けられる座標系、たとえば、座標Ｘ＋、Ｙ＋、Ｚ＋を備え静止した世界座標系Ｋ１などを生成することが可能である。座標系Ｋ＋は、置換された座標Ｘ′＋、Ｙ′＋、Ｘ′＋を備えたＴＣＰへと平行に置換された世界座標系である。世界座標系Ｋ１の原点は、ロボット７のベース７ａの対称軸と背景との交点にあり、座標系Ｋ２の原点はハンドフランジの中央にあり、またはツールが存在するときは、ツール中央点へと置換される。座標系を表現することによって、特にプログラム機上の置換キーによって手動でロボットにデカルトの動きをさせる際の支援が得られる（図７ａ）。

図７ａの黒の矢印Ｖは、ロボットの動く準備ができていない限り、動く準備ができた場合の動きの方向およびスピードをその方向および長さで視覚化する。ロボットが動くと、矢印Ｖはロボットシステムの実際の動きの方向およびスピードを視覚化する。

ロボットプログラムの準備、適合またはテストを容易にするため、機械加工される工作物８を現実のロボット７の画像と関連付けてコンピュータによって生成された態様で視覚化してもよい。シミュレーションされる構成要素８′は、ロボットプログラムの準備、適合およびテスト中に基準を形成する。シミュレーションされる構成要素８′の使用は、現実の構成要素８が嵩張るかまたは工場内でのユーザ４の自由な動きを妨げる場合にも有利である（図７ｂ）。

図７ｃは、手動でのデカルトの動きにおけるＡＲ支援としての、座標Ｘ3+、Ｙ3+、Ｚ3+を備えたツール座標系Ｋ３のフェードインの図である。

ツールまたは工作物は基準座標系を操作することによって測定可能である。シーケンスは、図５に関して説明したように経路の動きのターゲットの操作と類似である。基準座標系は、工作物に対して（基本座標系を測定するとき）またはツールに対して（ツール座標系を測定するとき）所望の位置になるまでユーザの視覚的な制御の下で空間内で移動され、回転される。

ロボット経路がプログラムされるかまたは修正される場合でかつ実際の工作物が利用できない場合、この発明によると、この代わりに増補された工作物を用いて動作することが可能である。ユーザは、実際の工作物ではなく、増補された工作物上でロボットを手動で動かすことで点を教示する。工作物が存在するときと同じ態様で、存在しない工場の構成要素を増補し、たとえば、ロボット経路を固定して前記工場の構成要素の設置後に衝突が起きないようにすることが可能である。ほぼ増補された対象物のみがフェードインされる空間での手動によるロボットの動きは単純である。なぜなら、現実の対象物とのロボットの衝突を考慮する必要がなく、ユーザは空間内で妨げられることなく動くことができるためである。ここでの増補された対象物は静的な性質のものである。

現実の工作物が存在しない場合、ＡＲによる工作物の視覚化は、ロボットのどの動きの命令がある特定の機械加工プロセスに属するかについての価値のある付加的な情報をユーザに与えられる可能性がある（おそらく非常に複雑なロボット経路が視覚化され、調査が困難である）。

増補された工作物の視覚化によって、ユーザには、ロボットが開始しようとしている工作物が明らかになる。ロボットが異なるプログラムを用いていくつかの工作物を機械加工する場合、現実の工作物と増補された工作物とを比較することによって、ユーザは正しい機械加工プログラムの選択を単純に検証することができる（これに関しては、図１３の説明を参照）。

増補された工作物は、ロボットがどの点に工作物があると仮定しているかをユーザに示す。ロボットプログラム経路が現実の工作物の位置に対応しない場合（たとえば、位置的な許容差のため）、ユーザは、現実の工作物と一致するまで増補された工作物を関連付けられるロボットプログラム経路点とともに移動および回転させて、ロボットプログラムを訂正することができる。操作は上述の態様で行なうことができる。

記載される最後の３つの適用例では、ＡＲによる工作物の視覚化は、ロボットプログラムの増補された経路パターンに対する付加的な情報を提示する。工作物の増補はロボット経路に依存する（その位置は、たとえば、対応する工作物の座標系の移動によって変化する）。結果として、これは動的な、操作可能なロボット特有の情報を提示する。

特にプログラム機上の動きのキーを用いた手動によるロボットの軸に特有の動きの支援に対して、さらに座標系の代わりにロボットの軸Ａ１からＡ６を表示することができる。すなわち、それらは画像内の実際の軸に一致するように現実のロボット７の画像にフェードインされる。さらに、対応する軸のまわりの正および負の回転の方向を表示してもよい（図８）。軸の視覚化は、単一接合構成の近くにいるユーザに対して１つまたは複数の軸がそれらの最大の加速度またはスピードの限界に達することを示すことで手動でのデカルトの動きに役立つ可能性がある。

さらに、特に３Ｄマウス２．２による手動の動きは、これをロボット７のハンドフランジ７ｂまたはＴＣＰの直接上流に仮想的な３Ｄマウス２．２′としてその画像にフェードインすることで容易にすることができる。さらに、ユーザの仮想の手４．１ａをフェードインすることも可能である（図９）。

図１０は、コンピュータによって生成されたさらに別の位置７′および異なる位置にあるロッカー、ロボットアームおよびロボットハンドなどのロボットの部品とともに現実のロボット７の画像を示し、総動作領域等が示され、これによって、ロボットの動作シーケンスのプログラミングが容易になり得る。なぜなら、経路点の教示およびロボットのプログラムされた経路のチェックのために動く必要がなく、時間が節約され、負傷および損傷の危険が低減されるためである。

現実のロボット７の画像およびその通過するハンドフランジ７ｂまたはＴＣＰとともに、コンピュータによって生成されたロボットの動作経路をフェードインすることも可能であり、任意で具体的に英数字で示された経路の点Ｐ１からＰ６、および、たとえば、２点間の領域などのある領域での経路のスピード、ならびに経路点Ｐ４およびＰ５でのグリップの開放および閉鎖（開放されたグリップ、閉鎖されたグリップ）などの英数字の機能的な詳細とともにフェードインすることも可能である（図１１）。

英数字の情報に加え、記号または特定の経路点でのツールの方向付けを視覚化することも可能である。

既存のロボットプログラムの適合のために、経路点は、図１２に示される態様で、直接的に、個々にまたはグループで置換および回転させることができる。図５に関して説明したように、新しい経路点または完全な新しいプログラムもしくは経路シーケンスの設置を直接的に視覚化することも可能である。

さらに別の展開例によると、現実の構成要素８の画像とともにコンピュータによって生成された構成要素８′を視覚化することも可能である（図１３）。構成要素の位置に相違がある場合、増補された工作物８′が現実の工作物８と一致するようにするまで増補された工作物８′をそれに関係するロボットの経路点または経路とともに置換および回転させることで、ロボットプログラム内の経路点のグループの位置を訂正することができる。

いくつかのロボットを含む現実の工場の動作領域を視覚化しかつ双方向に適合することも可能である。図１４は、コンピュータによって生成された総動作領域７．１′、７．２′、７．３′とともに３つの協働するロボット７．１、７．２、７．３の現実の画像を示す。ロボットシステムの到達可能な総動作領域を視覚化することは、非常に隣接して配置されたロボットシステムの衝突の可能性のあるゾーンを検出するのに有利であり得る。ロボット経路の直接的な適用または適合は、到達可能な動作領域の視覚化によって結果的に効率よく支援される。

ロボットが貫通してはならないかまたは離れてはならない領域を視覚化および適合することも可能である。これらはいくつかのロボットシステムまたはその他の工場の構成要素によって共同で使用される動作領域であり得るため、それらの使用を管理してもよい。ロボットシステムを手動による案内で動作する場合に使用される仮想の固定は、容易に固定し、視覚化しかつ適合することができる。動作領域の種類は、プログラム機によって定義するか、または対応するソフトウェアによって自動的に固定することができる。規定された動作領域は、ロボット構造の規定された点に関係し、ロボットまたはその部分のＴＣＰまたはこれに代えて外形に関係することが好ましい。

動作領域の視覚化は、たとえば、その動作領域に対応する同じサイズおよび幾何学的構造のボディをフェードインすることによって行なうことができる（図１５）。仮想の固定または案内通路の視覚化も類似の態様で行なうことができ、図１６に示されるように、３次元、２次元または１次元のボディを使用することができる。またはこれに代えて、ガイドレール、接合機構等の視覚化など、対応する動きの可能性の制限を組込んだ相当する機械的構造を視覚化することも有利である。

視覚化された動作領域を適合するために、空間において角または補助的な点を個々に訂正することができる。またはこれに代えて、図４ａから図４ｃに関して説明したように、動作領域の横方向の面を個々に置換および回転させて動作領域を適合することも可能である。

動作領域および仮想の固定のこの発明によるＡＲ視覚化は、図１５および１６に示されるように、たとえば、許可された動作体積および許可されない動作体積をフェードインすることによって、ユーザが動作領域および仮想の固定を固定するのを支援する。プログラミング中、たとえば、手動プログラム機上の入力要素を用いて角の点を「移動させる」ことによって、動作領域または仮想の固定を操作することができる。

１つの手動プログラム機を用いていくつかのロボットを連続してプログラムする場合、たとえば、矢印等の図形要素によって、プログラム機の関連付けられるロボットに印を付けることができる（図１７）。異なるロボットが手動プログラム機によって連続してまたは同時に制御される場合も、これが当てはまる。ここでも、現在手動プログラム機に関連付けられているロボットがユーザに視覚的に明示されて有利である。さらに、ユーザがフェードインされた仮想の入力要素に接触することで、ロボットシステムの選択および選択の解除をすることができる。または、プログラム機は対応するロボットを用いて方向付けられる。ロボットの基本的な選択性またはその使用性の欠如は、たとえば、ある所与の手動プログラム機によって制御することのできるロボットのグループにそのロボットが属していない場合、対応するマーキングまたは名称によって現実のロボットの画像上でユーザに対して直接的に示すことができる。選択された動作モード、ドライブの状態（オン、オフ）等のロボットシステムの実際の状態を視覚化し、必要であれば修正することも可能である。

コンピュータによって生成された情報を現実環境の画像へとフェードインするための装置の第１の実施例の平面図である。 コンピュータによって生成された情報を現実環境の画像へとフェードインするための装置の第１の実施例の側面図である。 この発明の装置の別の実施例の平面図である。 この発明の装置の別の実施例の側面図である。 この発明の装置の別の実施例の図である。 この発明によって可能となる増補された空間的な対象物の操作の図である。 この発明によって可能となる増補された空間的な対象物の操作の図である。 この発明によって可能となる増補された空間的な対象物の操作の図である。 例示的な態様でのロボット経路のＡＲに支援された修正のフロー図である。 この発明による装置のブロック図である。 図２ａの実施例に対応するこの発明による装置のブロック図である。 図３の実施例に対応するこの発明による装置のブロック図である。 手動のデカルトの動きに対する選択可能な座標系および置換の指標の図である。 手動のデカルトの動きに対する選択可能な座標系および置換の指標の図である。 手動のデカルトの動きに対する選択可能な座標系および置換の指標の図である。 現実環境の領域とロボット特有のコンピュータによって生成された情報とを組み合わせた強化現実表示としてのこの発明による生成可能な表現の図である。 現実環境の領域とロボット特有のコンピュータによって生成された情報とを組み合わせた強化現実表示としてのこの発明による生成可能な表現の図である。 現実環境の領域とロボット特有のコンピュータによって生成された情報とを組み合わせた強化現実表示としてのこの発明による生成可能な表現の図である。 現実環境の領域とロボット特有のコンピュータによって生成された情報とを組み合わせた強化現実表示としてのこの発明による生成可能な表現の図である。 現実環境の領域とロボット特有のコンピュータによって生成された情報とを組み合わせた強化現実表示としてのこの発明による生成可能な表現の図である。 現実環境の領域とロボット特有のコンピュータによって生成された情報とを組み合わせた強化現実表示としてのこの発明による生成可能な表現の図である。 現実環境の領域とロボット特有のコンピュータによって生成された情報とを組み合わせた強化現実表示としてのこの発明による生成可能な表現の図である。 現実環境の領域とロボット特有のコンピュータによって生成された情報とを組み合わせた強化現実表示としてのこの発明による生成可能な表現の図である。 現実環境の領域とロボット特有のコンピュータによって生成された情報とを組み合わせた強化現実表示としてのこの発明による生成可能な表現の図である。 現実環境の領域とロボット特有のコンピュータによって生成された情報とを組み合わせた強化現実表示としてのこの発明による生成可能な表現の図である。

１ 装置、１．１ 視覚装置、１．２ カメラ、１．３ 眼鏡のレンズ、１．４ ケーブル、２ 手動プログラム機、２．１ 動きのキー、２．２ ６Ｄマウス、２．３ スクリーン、３ センサシステム、３．１ 静止した受取システム、３．２ 入力要素、４ ユーザ、４．１，４．１′ 手、４．１ａ 仮想の手、５ 処理ユニット、５．１ 画像生成ユニット、５．２ 操作ユニット、６ ロボット制御、７ ロボット、７′ さらに別の位置、７．１〜７．３ 協働ロボット、７．１′〜７．３′ 動作領域、７ａ ベース、７ｂ ハンドフランジ、８ 工作物、８′ シミュレーションされる工作物、Ｐ１〜Ｐ６ 経路点、ＡＯ，ＡＯ′ 増補された空間対象物。

Claims (12)

1. ロボットの情報を視覚装置上にある画像受取装置によって検出される現実環境の画像へとフェードインするための方法であって、前記画像受取装置の位置および方向付けについて判定が行なわれ、前記画像受取装置の位置および方向付けに応じて、前記ロボットの情報が前記視覚装置上の前記現実環境の画像に重ねられ、前記画像受取装置は、現実のロボットの画像を前記視覚装置上に表示するためにとらえるカメラであり、セットアップ、プログラミング、教示のうちの少なくともいずれか一つのためのアクティブな座標方向と、前記ロボットの軸とのうちの少なくともいずれか一つが、前記視覚装置上で、図形的に強調される、方法。
2. 前記アクティブな座標方向と前記ロボットの軸とのうちの少なくともいずれか一つは、前記視覚装置上で、色によって強調される、請求項１に記載の方法。
3. 前記アクティブな座標方向と前記ロボットの軸とのうちの少なくともいずれか一つは、前記視覚装置上で、動画によって強調される、請求項１に記載の方法。
4. 前記ロボットの軸が、前記ロボットの情報として重ね合わされる、請求項１に記載の方法。
5. 前記ロボットの軸は、前記現実のロボットの個々の部品の軸である請求項１に記載の方法。
6. 少なくとも１つのロボット特有の座標系が、前記ロボットの情報として重ね合わされる、請求項１に記載の方法。
7. ロボットによって到達可能な作業領域および許可される動作領域のうちの少なくともいずれか一つが、前記ロボットの情報として前記視覚装置上に視覚化される、請求項１に記載の方法。
8. 画像受取装置および視覚装置を有する、ロボットの情報を現実環境の画像に視覚化するための装置であって、前記画像受取装置の位置および方向付けを判定するための手段、および前記画像受取装置の位置および方向付けに応じて、前記ロボットの情報を前記視覚装置上の現実環境の前記画像に重ねるための手段をさらに含み、前記装置は、前記ロボットの情報を処理するための処理ユニットを有し、前記処理ユニット内には、前記画像受取装置、および画像受取装置としてのカメラのうちの少なくともいずれか一つの位置および方向付けを評価する画像生成ユニットが設けられ、前記画像受取装置および前記カメラのうちの少なくともいずれか一つの画像ととともに視覚化される、前記ロボットの情報は、前記現実環境の画像と視覚化される情報とが前記視覚装置上で共に視覚化されるように、前記画像受取装置および前記カメラのうちの少なくともいずれか一つの画像と混合され、前記処理ユニットは、前記ロボットの手動プログラム機と接続可能な視覚装置上で前記現実環境の画像とともに視覚化されるロボットの情報を、少なくとも一つのロボットのロボット制御のデータインターフェイス上で描く操作ユニットを有し、セットアップ、プログラミング、教示のうちの少なくともいずれか一つのためのアクティブな座標方向と、前記ロボットの軸とが、前記視覚装置上で、図形的に強調される、コンピュータによって生成された情報を現実環境の画像に視覚化するための装置。
9. 少なくとも１つのロボットに特有の座標系が、前記ロボットの情報として、前記視覚装置上で視覚化される、請求項８に記載の装置。
10. ロボットの軸が、前記ロボットの情報として、前記視覚装置上で視覚化される、請求項８に記載の装置。
11. ロボットによって到達可能な動作領域が、前記ロボットの情報として、前記視覚装置上で視覚化される、請求項８に記載の装置。
12. 許可される動作領域が、前記ロボットの情報として、前記視覚装置上で視覚化される、請求項８に記載の装置。