JP2023539810A - ツール、使用、関連プロセスの動的位置特定を備えた、拡張現実又は仮想現実システム - Google Patents

Abstract

ツール、使用、関連プロセスの動的位置特定を備えた、拡張現実又は仮想現実システム。発明は、拡張／仮想現実、ＡＲ／ＶＲ、システムであって、１つ以上の光学マーカ（７、８）を含むオブジェクト（１）、ツール（２）、ＡＲ／ＶＲビューアー（３）、情報取得する第１の光学手段（４）及び、少なくともツール（２）及びＡＲ／ＶＲビューアー（３）に接続された処理装置（５）を備える。有利に、ツール（２）は、ビューアー（３）からのオクルージョンがある場合でも、システムが動作するように、情報取得する第２の光学手段（６）を備える。処理装置（５）は、第１の光学手段（４）及び／又は第２の光学手段（６）によって取得された情報を受け取り、情報を処理し、これに基づいて、ツール（２）が実空間で移動する軌跡に関連する情報を含む仮想軌跡を計算する。【選択図】図１

Description

本発明は、一般に、拡張現実又は仮想現実システムに関し、より具体的には、ツールによってユーザと前記システムとの相互作用を可能にするシステムに関し、後者は、情報取得する光学手段を含み、それ自体を検出できることを特徴とする。

現代の仮想現実（ＶＲ）や拡張現実（ＡＲ）システムでは、共通の基準系を基準とした様々なオブジェクトの３次元位置特定（３次元の移動及び回転）が必要である。まず、ユーザの視点を推定し、ＡＲ／ＶＲビューアーを介して適切なグラフを表すことを可能にするため、ユーザの位置をリアルタイムで知る必要がある。そのためには、環境におけるビューアーの位置特定を行う必要がある。拡張現実及び仮想現実は、一般に異なる没入環境であると考えられているが、本発明では、これらは互換的に使用される。したがって、拡張現実について言及されたものは、仮想現実についても言及するものとみなされ、その逆もまた然りである。

さらに、これらのシステムの多くは、実際のオブジェクトとの相互作用や、それらをツールとして使用することを可能にする。そのため、これらのオブジェクトの位置をリアルタイムで、同じ基準系を基準として知ることも必要である。多くの商用システム（Oculus、HTC Vive（登録商標）等）で、これらのオブジェクトは、自由に動き、仮想環境との相互作用を可能にするユーザのコントローラに対応する。このようなシステムの例として、バイザー（溶接マスク）、溶接部、溶接トーチ又はロッドがリアルタイムで配置されたＡＲ／ＶＲ溶接シミュレータであるソルダマティクソリューションが挙げられる。

また、ＡＲ／ＶＲ溶接トレーニングシステムをどのように設計できるかを開示する米国特許第9,230,449号が知られている。溶接部とトーチ／ロッドとの間の相対的な位置を知ることで、溶接プロセスがシミュレートされ、ビューアーの位置特定の結果として示される。

ＡＲ／ＶＲシステムにおけるオブジェクトの検出３Dは、光学及び非光学センサの利用が基本で、以下のように分類される。

ａ）非光学センサ：
１．電磁センサ：これらは、磁界放射器を用いてオブジェクトの位置を推定し、オブジェクトの移動によって生じる磁束の変化を分析することに基づく。主な問題点は、作業領域が狭い（電磁エミッターの周辺に限定される）、環境中の金属物からの干渉に敏感、経済コストが高い、及び、環境中に直接基準点を設けることができない、ことである。その利点は、精度の高さ、及び、オクルージョン問題がないことである。

２．慣性センサ：これらは、ジャイロスコープ及び加速度センサに基づき、オブジェクトの位置及び回転を知る。主な問題点は、誤差がすぐに蓄積され、多くのアプリケーションで単独で使用できない、環境中の基準点を直接設定できず、磁気干渉の影響を受けやすい、及び、複雑な後処理を必要とすることである。通常、別のタイプのセンサ（例えば、光学）と組み合わせて使用される。一方、安価で携帯性に優れ、小型で、オクルージョン問題がなく、重力（環境中の垂直位置）を含む加速度の方向に関する情報を提供できる。

３．機械的センサ：これらは、ユーザがさまざまな場所に移動できる物理的なデバイス（例えば、腕又は触覚グローブ）の位置の直接測定に基づく。主な欠点は、動きが物理的なデバイスによって許可されたものに限定されるため、その使用は非常に限定的である。利点は、干渉に強く、オクルージョン問題がないことである。

ｂ）光学センサ：
最も普及しているタイプのセンサであり、本発明の基本である。これは、オブジェクトの位置を推定するカメラの使用に基づく。このタイプのシステムでは、オブジェクトはカメラの視野内で観察され、その位置はＰｎＰ（Perspective-n-Point）アルゴリズム、又は、ステレオ又はマルチビュー三角測量技術によって推定される。通常、画像内のオブジェクトの検出を容易にするため、何らかの光学マーカが使用される（例えば、LED、再帰反射球、四角いプリントされたマーカ)。いずれにせよ、オブジェクトはカメラから見えていなければならず、オクルージョンが存在する場合には機能しない。

現在のＡＲ／ＶＲシステムでは、カメラの配置場所によって大きく２つのアーキテクチャが存在する。

ａ）固定のカメラ：これらのシステムでは、カメラは、環境の一か所、例えば、天井に固定される。これはモーションキャプチャ（MoCap）システムの典型的な構成で、多くの商用ＶＲ製品（HTC Vive（登録商標）、Oculusの初期バージョン、Miller Live Arc、等）でも使用される。これらのカメラは、ユーザのビューアーの設置、及びオブジェクト又はツールの設置の両方に使用される。

主な利点で、重要な点は以下である。
・高精度である。
・環境における基準点を設定できる。
・カメラ台数が多く、大きく拡張性あるワークロード。
・同時に複数のユーザを検出できる。

しかし、このアーキテクチャには一連の制限がある。
・関心のあるオブジェクトが見えている必要があり、オクルージョンを許さない。
・最大ワークロードは、カメラのカバー範囲によって制限される。
・カメラは動かせず、ワークロード固定である。
・オブジェクトのマーカは、検出するために十分な大きさと間隔が必要で、小さなオブジェクトは認められない。
・ＬＥＤ等を使用した場合、最も正確で安定した結果が得られる。この場合、マーカ識別アルゴリズムを適用する必要があり、複雑であり得る。
・カメラの移動等、設置場所を変更するたびにシステムキャリブレーション作業が必要である。

ｂ）ビューアーに固定のカメラ：
この場合、カメラはユーザのビューアー自体に配置される。ビューアーに対する関心のあるオブジェクトの位置は、直接推定される。商業的な例としては、Oculus Quest、Microsoft Hololens（登録商標）、Soldamaticなどがある。

このアーキテクチャには、主に2つの利点がある。
・カメラがユーザと一緒に移動するため、固定カメラシステムより汎用性が高い。言い換えれば、ワークロードはユーザと共に動く。
・キャリブレーション作業は１回でよい。

一方、多くの欠点もある。
・固定カメラシステム、精度が低い。モーションブラーによるブレ、又は、関心のあるオブジェクト（特にＬＥＤマーカ等が使用されていない場合）の検出の位置／角度によって検出が影響され得る。
・関心のあるオブジェクトが見えている必要があり、オクルージョンを許さない。これは、一般的にユーザに対して垂直に使用される円筒形状のツールで特に問題となる（ブラシ、溶接電極、等）。
・オブジェクトのマーカは、十分な大きさ及び十分な間隔がないと検出されず、小さなオブジェクトは許されない。このため、マーカを追加するためにサイズを大きくせずに検出できるツールのタイプは限られている。
・最大ワークロードは、カメラのカバー範囲によって制限される。構成によっては、検出されない「死角」が生じ得る。
・１人のユーザ（ビューアーを着ける）のみ検出する。

したがって、ツールの適用には、ツールが適用されるオブジェクトの領域をユーザが視野に入れる必要があるため、先行技術で利用可能なＡＲ／ＶＲソリューションには制限がある。しかしながら、これは常に可能でもなく（例えば、視覚的なオクルージョンが発生した場合）、又は、望ましくもない（例えば、ＡＲ／ＶＲシステムがブラインド溶接競技のためのブラインド溶接システムをシミュレートする場合）。これらの場合、たとえユーザが、ツールが適用される領域の視野を持たないとしても、ＡＲ／ＶＲシステムが、前記ツール／オブジェクトの相互作用の結果をリアルにシミュレートできることが非常に望ましいと考えられる。しかし、先行技術に開示されたシステムのいずれも、これを可能にするものではない。

上述のＡＲ／ＶＲシステムでは、オブジェクトの位置をリアルタイムで取得することがしばしば必要である。ARシステムの場合、このようなオブジェクトは、物理世界の現実オブジェクトとＡＲ／ＶＲシステムの仮想オブジェクトとの間の空間的対応を確立するために使用される一連のマーカ又はキーポイントで構成され得る。このような空間的対応を得るために、ＳＬＡＭ（Simultaneous Localisation and Mapping）技術が一般的である。カメラベースのＳＬＡＭプロセスは、しばしばVisual SLAM（Ｖ ＳＬＡＭ）と呼ばれる。この場合、オブジェクトは、ＡＲ／ＶＲシステムのカメラを通して検出できるキーポイント又はマーカのマップによって表現される。最も一般的な例は、オブジェクトのキーポイントを使用するＶ ＳＬＡＭである。この場合、カメラは全く未知の環境で動作を開始し、ＡＲ／ＶＲシステムのカメラで取得した複数の画像から、オブジェクトのキーポイントの３次元マップが作成される。同時に、このマップは、環境内でカメラを配置するために使用される。Ｖ ＳＬＡＭマップは、通常、以下の要素で構成される。

ａ）マーカの位置の点（三次元座標）のリスト。これらのマーカは、カメラで検出でき、オブジェクトの環境内に位置できる任意の光学的特徴（例えば、オブジェクトのキーポイント、エッジ、コーナー、オプティカルマーカ、等）を含む。
ｂ）マーカのその他の特徴、例えば、色、ディスクリプタ、法線の方向等。
ｃ）キーフレーム。これらは、オブジェクトのマップを生成するために使用されるマーカが観察されるキーフレーム又はキー画像を含む。前記観察結果は、マップの更新に再利用できる。

ＡＲ／ＶＲシステムを実行するＶ ＳＬＡＭプロセスは、後に詳述するように、通常、初期化、位置特定、マッピングの３つの主要なステップを含む。

１）初期化：このステップは、マップが空の時にのみ実行され、最初のマーカを生成する。キーポイントを持つＶ ＳＬＡＭの場合、初期化する特定の実施形態は、少なくとも２つの視点からオブジェクトを構成する同じ領域をキャプチャすることを含む。このようにして、オブジェクトのキーポイントの初期位置を三角測量し、オブジェクトのキーポイントを追跡して、オブジェクトのさらなる位置を検出できる。

２）位置特定：このステップは、システムの１つ以上のカメラの位置を取得することを目的として、アルゴリズムの各フレームで実行される。このプロセスは、以下を含む。
・フレーム内にマーカを配置する。
・フレーム内のマーカとマップに格納されるマーカとの対応関係を検索する。
・数学的最適化により、マップに対するカメラの位置を求め、前記対応関係を利用する。

３）マッピング：このステップは、通常、計算量が多く、すべてのフレームで実行されない。また、ＡＲ／ＶＲシステムの動作を妨げないように、通常はバックグラウンドで実行される。特に、マップに新しいキーフレームとして追加することが決定されたオブジェクトのフレームに対してのみ実行される。キーフレームを前記マップに追加するか否かの判断基準は、例えば、マップに新たな情報を追加するか否か、あるいは、前回のキーフレームをマップに追加してから最小限のフレーム数が経過しているか否かに基づいて判断するなど、様々なものがある。キーフレームの数が多いほど、マップの完成度は高くなる。しかし、マップの更新処理も遅くなり、マッピングや位置特定の手順には、より多くの計算リソースが必要になる。そのため、キーフレームが重要な情報を提供する場合にのみ追加される中間点に到達するのが一般的である。キーフレームがマップに追加されるたびに、マップは更新され、通常、次のような処理が行われる。
・マップに新しいマーカを追加する。
・マップの誤記や古くなったマーカを削除する。
・新しいキーフレームと前のキーフレームに基づいて、マップのマーカの位置を再計算する。

前記SLAM処理は、それが意図される特定のＡＲ／ＶＲシステム又はアプリケーションに基づいてカスタマイズされ得る。

本発明は、拡張現実（ＡＲ）又は仮想現実（ＶＲ）システムにおけるオブジェクトの３次元位置特定を行うシステムで構成され、前述の先行技術の制限を克服できる。提案されたシステムは、共通の基準系に対するオブジェクトの３次元位置及び回転をリアルタイムで知ることを可能にする。

前のセクションで述べたように、オクルージョンに対してロバストであり、ユーザが装着したＡＲ／ＶＲビューアーから見える領域を超えた領域におけるツール－オブジェクト相互作用のリアルなシミュレーションを可能にするカメラ及びビューアーのアーキテクチャを有するＡＲ／ＶＲシステムに対する先行技術におけるニーズが存在する。本発明は、主に、眼鏡又はＡＲ／ＶＲヘッドセットなどのパーソナルビューアを指すが、ＡＲ／ＶＲ環境を表現することを可能にする任意のモニタ又はスクリーン（例えば、コンピュータ、モバイルデバイス、タブレット、又は、テレビのスクリーン）も、この用語の範囲内に含まれるとみなされる。

より具体的には、本発明の主な目的は、ユーザによって操作可能なＡＲ／ＶＲシステムに関し、前記システムは、以下を含む。
・１つ以上の光学マーカが配置されるオブジェクト、
・空間内で、位置を占め、又は、実軌跡を移動する、ユーザの使用に適したツール、
・ユーザの使用に適するＡＲ／ＶＲビューアー、
・好ましくはＡＲ／ＶＲビューアーに配置され、情報取得する第１の光学手段、
・少なくとも前記ツール及び前記ＡＲ／ＶＲビューアーに接続された処理装置。前記処理装置は、当業者が認識できる必要なハードウェア／ソフトウェア手段（１つ以上の中央処理装置（CPU）、１つ以上のグラフィック処理装置（GPU）、１つ以上のサーバー、１つ以上のモバイルアプリケーション、等）、及び、必要な接続（有線接続、無線接続、等）を含む。

前記システムは、有利に、以下を特徴とする。
・前記ツールは、情報取得する第２の光学手段を含み、
・前記光学マーカは、第１の光学手段による取得に適した光学情報が符号化された第１のマーカと、第２の光学手段による取得に適した光学情報が符号化された第２のマーカとを含み、
・前記処理装置は、前記第２の光学手段及び／又は前記第２の光学手段によって取得された情報を受信し、前記情報を処理し、前記占有位置又は前記ツールが空間内で移動する実軌跡に関連する情報、を含む仮想軌跡を計算するソフトウェア／ハードウェア手段を含む。

ツールは、好ましくは、積極的に自位置の特定を可能にする情報取得する前記第２の光学手段と、一方、オブジェクトを検出するパッシブカメラを有する情報取得する前記第１の光学手段とを含む。このように、本システムは、他のオブジェクトに作用するツールの使用をシミュレートするような状況に特に最適化される。例えば、溶接トーチ／ロッドが溶接部に、ブラシがキャンバスに、工業用ペイントスプレーが身体に、メスが身体に、等である。

ＡＲ／ＶＲシステムの好ましい実施形態では、処理装置において計算された仮想軌跡からＡＲ／ＶＲビューアーにおいて表される仮想ストロークをさらに含む。

システムの有利な実施形態では、ツールは、第１の光学手段による取得に適した光学情報を有する第３の光学マーカを含む。このようにして、システムは、前記ツールがオブジェクトに面していないときに、ツールの位置を特定できる。

本システムの特定の実施形態では、第２の光学手段は、ツールに収容された内視鏡カメラで構成される。内視鏡カメラの利点は、非常にコンパクトであり、あらゆるタイプのツール、特に円筒形状のツールに容易に成形できることである。

本システムの他の実施形態では、ツールは、処理ユニットに接続された少なくとも1つのアクチュエータを含む。前記アクチュエータは、それによって、ツールによって移動した軌跡の他に、より多くの追加情報を取得でき、例えば、アクチュエータは、ユーザがそれを押すために加える力又は押す時間に反応することができる。他の代替的な実施形態では、ツールに複数のアクチュエータが設けられている。

いくつかの特定の実施形態において、システムの第１の光学手段及び／又は第２の光学手段は、1つ以上のカメラを含む。

システムの好ましい実施形態では、ツールは、その精度及びロバスト性を向上させるために、１つ以上の非光学センサをさらに含む。例えば、ツールは、慣性センサ、触覚センサ、熱センサ、機械センサ、電磁センサ等を組み込むことができる。

システムの特定の実施形態では、光学マーカ(オブジェクトに配置された及びツールに配置された両方）は、ＬＥＤ、ＱＲコード、バーコード、再帰反射球、及び／又は、プリントされたマーカ（平型マーカ、角型マーカ、円形マーカ等、あらゆる幾何学的形状に対応）等の人工マーカ、同様に、オブジェクト及び／又はツールのキーポイント（例えば、オブジェクトの角をキーポイントとして使用できる）などの天然マーカを含む。この意味で、「符号化された情報」とは、取得する光学手段によって捕捉され、処理ユニットによって分析され得る、自然に又はそれに追加された、オブジェクトに関連する又はオブジェクトに含まれるあらゆる光学情報を意味すると理解される。

本発明の好ましい実施形態では、ビューアーは溶接マスクに収容され、ツールは溶接トーチ及び／又は材料供給要素を含む。前記材料供給要素は、好ましくは、溶接棒又は溶接電極を含む。さらに、オブジェクトは、仮想ストロークによって区切られた点で、溶接消耗品の適用がシミュレートされる溶接部を含む。このように、本発明は、溶接、さらにはブラインド溶接における教則的な使用に適したＡＲ／ＶＲシミュレータを開示す。

別の実施形態では、ツールは工業用塗料スプレー、メス、又は触覚グローブを含む。このように、本発明は、溶接、塗装、医療など様々な分野の教則シミュレータに応用できる。

他の実施形態では、ツールはロボットアームを含む。このように、産業プロセスのシミュレーション、高精度の外科手術、又は前記ロボットアームの使用を必要とする他のアプリケーションに使用できる。

システムの特定の実施形態では、ツールは、第２の光学手段（例えば、内視鏡カメラ）の収容に適合する終端部に（例えば、ケーシング、マウスピース、又は、フード、として）物理的に接続又は結合され得る。このようにして、終端部は、少なくとも部分的にツールの一部を収容する。好ましくは、終端部は、ツールに恒久的又は一時的に結合されるように適合される（例えば、ツールの終端部を交換できるネジ機構によって）。終端部の形状及び寸法は、ツールが使用（溶接用又は塗装用)される特定の用途に適合される。

さらに好ましい実施形態では、終端部は、第１の光学手段による取得に適した光学情報を符号化した第３の光学マーカをさらに含む。

上述のシステムの代替の実施形態は、前記ツールの構成に基づいて前記ツールの様々な振動パターンを生成するように適合された振動モジュールをさらに含む。例えば、ツールが溶接トーチをシミュレートする場合、振動モジュールは、少なくともこれらのパラメータ：振動数、振動強度、及び、振動の持続時間によって定義されるいくつかの溶接パターンを生成できる。これらのパターンは、ツールの構成、及び、シミュレートされる溶接のタイプに依存する。ユーザがツール（例えば、仮想溶接部に施された溶接）を使って行った作業は、前記ユーザがエキスパートであった場合に行われるべき基準作業と比較される。基準に対する偏差に基づいて、振動は強度、周波数、持続時間、又は、他の任意のパラメータを変更する。振動モジュールは、サウンドボックス又は種々のタイプの電子機器（例えば、マイクロコントローラ、プリント基板、その他のハードウェア）を含み、ツールに簡単に組み込むことができる。

前述のように、主な関心のある分野は、オブジェクト間の相互作用をシミュレートするためにツールを配置する必要があるＡＲ／ＶＲシミュレータに関する。このタイプのシミュレータは、ＡＲ／ＶＲの利点（材料の節約、無制限の練習セッション、ゲーミフィケーション、安全な環境、等）に対応した、手作業が必要な練習や学習プロセスを可能にするので、特に学術分野で有用である。

本発明のシステムの好ましい使用は、溶接又はブラインド溶接のＡＲシミュレーションからなる。他の好ましい実施形態では、本システムは、絵画、外科、又は、歯科ＡＲ／ＶＲシミュレータにおける使用に適している。代替の実施形態では、その使用は、２つのオブジェクト間の正確な位置特定を必要とするＡＲ／ＶＲを超える、任意の他のコンテキストから推定され得る。

また、ＡＲ／ＶＲシステムにおける仮想軌跡の計算を目的とし、以下のステップを実行することを特徴とする、上述のシステムを操作するプロセスも本特許の一部である。
・前記第１の手段及び／又は前記第２の光学手段から、前記オブジェクト及び前記ツールの位置特定を行い、
・前記第１の光学手段及び／又は前記第２の光学手段により、前記オブジェクトのマーカの追跡及び前記ツールが空間内で移動する軌跡に基づく情報を取得し
・仮想軌跡を算出する前記処理装置において、前記情報を処理し、
・上述のステップを定期的に繰り返す。処理が繰り返された後の更新時間は、完全にアプリケーションに依存する。あるアプリケーションでは、仮想ストロークの連続的又はリアルタイムの更新が必要であり、他のアプリケーションでは、この更新はユーザの裁量で調整できる。

プロセスの他の実施形態では、プロセスのツールの位置特定は、第３の光学マーカの検出をさらに含む。このように、この追加情報を用いて、ツールの位置特定を精緻化できる。

本発明の他の有利な実施形態では、取得のステップは、少なくとも１つのアクチュエータを介してツールの追加情報を取得することを含む。前記アクチュエータは、時間及びユーザがツールに作用する力に敏感なトリガ、ボタン、等であり、この情報は、仮想軌跡の生成に関連する。

プロセスの好ましい実施形態において、前記プロセスは、ＡＲ／ＶＲビューアーとオブジェクトとの間の位置、ツールとオブジェクトとの間の位置、及び、ＡＲ／ＶＲビューアーとツールとの間の位置の推定を含む。

いくつかの実施形態では、それらの位置の推定のために、同時位置特定及びマッピング、又はＳＬＡＭ（ＶＳＬＡＭ）技術が使用される。好ましくは、前記マッピングは、ＡＲ／ＶＲシステムによって実行される主シミュレーションとリアルタイムかつ並行して実行される。これらの実施形態において、前記システムは、前記オブジェクト上及び／又はその環境内に配置された光学マーカを検出する検出モジュールをさらに含む。同様に、前記ＡＲ／ＶＲシステムは、前記光学的マーカの位置に関する情報を検出し、処理し、記憶する処理手段（例えば、コンピュータ）を含む。オブジェクトのマーカの位置特定と、マーカの初期マップとの比較により、共通の参照フレームを使用して、オブジェクトに対するＡＲ／ＶＲビューアー及び／又はツールの間の視点を確立できる。

本発明のプロセスにおけるＳＬＡＭの目的は、以下を含む。
・オブジェクト内のマーカの初期マップが既にある場合、ＳＬＡＭはそのマーカの位置の修正に使用される（例えば、そのマーカが部分にうまく付着していない）。また、ＳＬＡＭでは、初期マップにないマーカを新たに追加することもできる。例えば、既にマーカのマップがある場合、ＳＬＡＭを適用することで当該マーカの位置を修正し、さらにキーポイントを追加できる。
・初期マップがない場合、ＳＬＡＭは第１のバージョンを作成できる。
最後に、本発明のシステムオブジェクトの強みは、以下の通りであることに留意されたい。
・ビューアーの動きや、ツールを観察する角度／距離によって、精度が左右されない。つまり、ユーザの視点に左右されることなく、精度を保つことができる。
・カメラを設置するツールは、必ずしも光学マーカを必要としないため、より小さなサイズのオブジェクトを検出できる。

さらに、本発明は、ビューアーにカメラを搭載した光学系に特徴的な利点、例えば、次のような点を特徴とする。
・ワークロードは実際のユーザと共に変化する。
・環境に基準点を設定できる。
・キャリブレーション作業は１回のみである。
・他のオブジェクトの存在による干渉がない。
・演算処理量が少ない。
・経済的コストが低い。

前述の利点は、ツールがベースオブジェクトの第２の光学マーカを観察するときに満たされる。ツールが前記視野から出るとき、ツール自体が光学マーカを有するという条件で、ビューアー内のカメラを有する標準的な光学システムの動作によって、ツールを引き続き検出できる（所望であれば）。例えば、キャンバスに描かれた筆の絵をシミュレートする場合、カメラは筆の上に置かれ、光学マーカはキャンバスに置かれるであろう。筆の上のカメラがキャンバスを面しているときは、ユーザの視点とは無関係に筆の相対位置を知ることができる。しかし、ブラシがキャンバスに面していない場合、そこに組み込まれたカメラでブラシの位置を特定することは不可能である。この場合、ユーザが装着するビューアーのカメラを使用する必要がある。

ＡＲ／ＶＲでシミュレート可能な多くの作業（例えば、塗装部への工業用塗料スプレー、キャンバスへのブラシ、身体へのメス、溶接部への溶接トーチ等）において、他のオブジェクトに対するツールの相互作用をシミュレートする状況は、かなり通常のプロセスであることに留意する必要がある。

要約すると、本発明は、ＡＲ／ＶＲビューアー内のカメラを含むＡＲ／ＶＲシステムを開示し、その主な利点は、ＡＲ／ＶＲとの相互作用に使用される実際のツール上に別のカメラが配置されているため、オクルージョンの影響を受けないことである。特に、本発明の結果として、オブジェクト及び／又はツールは、ユーザの視点から見える必要はない。このように、前記オブジェクト／ツールは、ビューアーの位置とは無関係に検出でき、すなわち、オクルージョンや死角の問題は存在しない。実際、ＡＲ／ＶＲビューアーがなくてもツールとの相互作用は可能であるが、シミュレーションの結果をいつでも観察できるようにするためにビューアーが必要であることは理解できるであろう。

本文中では、単語「含む」（及びその派生語）を排他的に理解してはならず、むしろ、定義されたものが追加の要素又はステップを含む可能性を許容する意味で理解しなければならない。さらに、本発明の範囲において、「光学」手段に言及する場合、「可視」電磁スペクトルに限定することを意図しておらず、むしろ、その任意の部分を使用できる（紫外、赤外、等）。同様に、「光学情報」の概念は、光学的認識手段によって読み取り又は取得できる符号化された情報を構成する任意の要素を意味すると理解されるであろう。したがって、前記光学情報は、光学手段（例えば、カメラ）により認識又は読み取りが可能であれば、複数の物理媒体（ＯＲコード、ＬＥＤ、画像、文字、バーコード、再帰反射球、プリントマーカ、等を含む）に符号化できる。さらに、「カメラ」に言及する場合、前記名称は、画像及び／又は映像形式の情報を取得できる任意の装置と同等であるように、限定的なものでない。同様に、「現実の」軌跡を指す場合、現実の物理空間における軌跡を指し、「仮想の」軌跡は、仮想空間又は拡張現実空間における軌跡を指す。両者の間には関係があるが、必ずしも同じものではない。

図１は、ツールが溶接トーチである本発明の好ましい実施形態を示し、内視鏡デジタルカメラを含む。仮想ストロークは、この場合、リアルタイムでビューアーの画面上に表現されるが、シミュレーションが示される頻度は、カメラ及び処理ユニットのハードウェア／ソフトウェア手段の性能に基づいて適合させることができることに留意されたい。 図２は、１つのカメラ（図２ａ）と２つのカメラ（図２ｂ）を組み込んだ、ビューアーの２つの特定の実施形態を示す。 図３はツールの詳細を示し、内視鏡カメラが内部に配置されている様子を示す。 図４は、オブジェクトに配置された２つのタイプの光学マーカを示す。最も大きなマーカはＡＲ／ＶＲビューアーから観察するために特に設計されており、最も小さなマーカは主にツールで使用される。 図５は、オブジェクトにプリントされたマーカを、ビューアー上のカメラから及びツール上のカメラから見た２つの視点を示す。 図６は、その位置特定を容易にするための第３の光学マーカを含むツールの特定の実施形態を示す。同様に、このツールは、人間工学に基づいたグリップと、ユーザによって快適に作動させるトリガを備える。 図７は、システムの異なる要素（ツール、オブジェクト、ビューア－）の回転と並進に関する情報を含む３Ｄ剛体変換行列（Ｄ１、Ｄ２、Ｄ３）の変換の連結を示し、その位置特定を容易にするために示す。 図８は、溶接電極をシミュレートするツール用終端部の分解斜視図を示す。 図９は、図８と同じ終端部を一旦組み立て、ツール上に配置されるように準備した状態を示す。 図１０は、ＭＩＧノズルをシミュレートするツールの終端部の分解図に相当する。 図１１は、図１０の終端部を、一旦組み立て、ツール上に配置されるように準備した状態を示す。 図１２は、ＴＩＧノズルを模したツールの終端部の分解斜視図である。 図１３Ａ～１３Ｂは、一旦組み立てられ、ツール上に配置されるように準備された、図１２の終端部の異なる図を示す。 図１３Ａ～１３Ｂは、一旦組み立てられ、ツール上に配置されるように準備された、図１２の終端部の異なる図を示す。 図１４（正確に縮尺せず）は、ツールの終端部の1つを指す。特に、ツールはＭＧ溶接トーチを模し、終端部は、ツール上に結合可能な交換可能な先端部を含む。 図１５Ａ－１５Ｂは、マーカをオブジェクトに接着する際に(この場合、溶接部)、マーカの位置がずれた場合(この場合、ダイカットシール)を示す。この効果は、光学マーカが非常に小さい場合に深刻な影響を与える。 図１５Ａ－１５Ｂは、マーカをオブジェクトに接着する際に(この場合、溶接部)、マーカの位置がずれた場合(この場合、ダイカットシール)を示す。この効果は、光学マーカが非常に小さい場合に深刻な影響を与える。 図１６Ａ－１６Ｂは、それぞれ、図１５Ａ－１５Ｂのマーカが付された部分を、ビューアー（３）の第１の光学手段（４）及びツール（２）の第２の光学手段（６）から見た場合に対応する。 図１６Ａ－１６Ｂは、それぞれ、図１５Ａ－１５Ｂのマーカが付された部分を、ビューアー（３）の第１の光学手段（４）及びツール（２）の第２の光学手段（６）から見た場合に対応する。

本発明を説明するため、本説明の不可欠な部分であり、本発明の好ましい実施形態を示す一組の図が提供される。前記図は、例示的かつ非限定的に解釈されるべきものであり、以下に詳細に説明される。

言及された図には、以下の要素に対応する一連の参照番号が付される。
（１）オブジェクト（部分)
（２）ツール（溶接トーチ、工業用塗料スプレー、メス、触覚グローブ、等)
（３）ＡＲ／ＶＲビューアー
（４）情報取得する第１の光学手段（ビューアー内）
（５）処理装置
（６）情報取得する第２の光学手段（ツール内）
（７）オブジェクトの第１の光学マーカ（ビューアー用）
（８）オブジェクトの第２の光学マーカ（ツール用）
（９）ツールの第３の光学マーカ
（１０）ツールのアクチュエータ（トリガ等）
（１１）終端部の前端部又は先端部
（１２）照明手段を内蔵したプリント基板
（１３）本体
（１４）終端部の後端部又は後部カバー
（１５）情報取得する第２の光学手段を収容する中空シース又は導管
（１６）有線振動素子を含む振動モジュール
（１７）ツールのアクチュエータ(トリガ)。
（１８）内視鏡カメラのコネクタ及び配線
（１９）第２の光学手段（内視鏡カメラ）用プリント基板
（２０）固定部材（止めネジ等）

図１は、本発明の好ましい実施例し、ユーザがツール（２）を用いて作用するオブジェクト（１）を検出するために設計されたＡＲ／ＶＲシステムに関するもので、ユーザがその上に及ぼす動きに反応し、システムによって検出される必要があるものもある。オブジェクト（１）は一般に、ツール（２）よりも大きなサイズである。ＡＲ／ＶＲビューアー（３）を装着するユーザは、オブジェクト（１）、ツール（２）及びその近傍を含む空間内の視野を提供する。前記ビューアー（３）は、好ましくは、情報取得（本実施形態では、主に画像）する第１の光学手段（４）、特に、１つ以上のカメラ（図２に示す）を含む。しかしながら、本発明の他の実施形態では、情報／画像取得のためにオブジェクト（１）の一般的な視点を提供できるのであれば、取得する第１の光学手段（４）は、他の要素（例えば、三脚又は同様の支持部）上に設置又は配置され得る。

このシステムは、処理装置（５）をさらに含み、この処理装置は、例えば、ＡＲ／ＶＲビューアー（３）から取得した画像及び／又はツール（２）から取得した画像等の情報を受け取るために必要なハードウェア／ソフトウェア手段を有する。さらに、前記処理装置（５）は、シミュレーションに関連するすべての情報を保存でき、その後、レビュー又は分析できるようにする。

本発明の主な利点は、ツール（２）自体が情報取得のする第２の光学手段（６）を含むことである（特に、図１では、前記手段は内視鏡カメラを含む）。さらに、オブジェクト（１）上には、複数の光学マーカ（７、８）が配置され、この光学マーカは、順に、第１の光学手段（４）による追跡を可能にする第１の光学マーカ（７）と、ツール（２）に組み込まれた第２の光学手段（６）による追跡を可能にする第２の光学マーカ（８）を含む。本発明の異なる実施形態では、第１のマーカ（７）及び第２のマーカ（８）は、同じ又は異なる形状又は特性を有することができ、また、部分的に又は完全に一致することができる。

図１の好ましい実施形態では、ビューアー（３）から見える第１のマーカ（７）は、第２の光学手段（６）から見えるように特別に設計された第２のマーカ（８）よりも大きなサイズを有している。第１のマーカ（７）及び第２の光学マーカ（８）の両方は、第１の手段（４）及び／又は第２の手段（６）による取得に適した光学情報で符号化されており、前記光学情報は、いずれのタイプ：符号化ラベル、ＱＲコード、画像、ＬＥＤ、文字、又は、他の光学認識しやすい他の任意の情報源であってもよい。

図１では、オブジェクト（１）はＰＶＣ製のT字型部品（溶接部をシミュレートした）であり、ツール（２）は溶接トーチである。しかし、他の好ましい実施形態では、オブジェクト（１）は、任意のタイプの部分、キャンバス、又は身体であり、前記ツール（２）は、工業用塗料スプレー、芸術的塗装ツール、メス、ドライバー、触覚グローブ、等であることができる。一般的に、ツール（２）はオブジェクト（１）よりも小さいので、オクルージョンのため、垂直な位置にあるため、又は特に小さいため、ＡＲ／ＶＲビューアー（３）から常に明確に観察されない要素である。このため、オブジェクト（１）には、ツール（２）のカメラからの検出だけでなく、ＡＲ／ＶＲビューアー（３）のカメラからの検出も容易にする複数の光学マーカ（７、８）が設けられている。

処理装置（５）は、第１の手段（４）及び／又は第２の手段（６）によって取得された画像を受信し、これを処理し、仮想軌跡を計算するように構成されている。そして、この仮想軌跡は、ＡＲ／ＶＲビューアー（３）にプロットされる仮想ストローク（２’）によって表され、当該仮想ストローク（２’）は、ツール（２）が移動する実際の軌跡と関連する。このように、このシステムは、ビューアー（３）の視野に属さない点でさえ、ユーザとオブジェクト（１）との相互作用を追跡し、表現することを可能にする。したがって、システムのすべてのカメラ（ビューアー（３）のカメラ及びツール（２）自体のカメラを含む）の画像は処理装置（５）に到達し、この画像はマーカ（７、８）を検出するために処理され、システムの異なる要素の位置関係を推定できる。処理装置（５）は、システムの他の要素に有線又は無線で接続することができる。

図３は、図１に示す溶接トーチに内視鏡カメラを組み込んだツール（２）をより詳細に示す。

図４は、ＡＲ／ＶＲビューアー（３）に最適化された第１の光学マーカ（７）、及び、ツール（２）によって見られるように特別に設計された第２のマーカ（８）を表す。溶接に焦点を当てた本発明の特定の実施形態では、第２のマーカ（８）は、溶接消耗品の適用がシミュレートされるオブジェクト（１）の取り付け部に配置されていることに留意されたい。このような場合、仮想経路及び仮想ストローク（２’）を通じてシミュレーションされた溶接の品質を評価できるようにすることが意図されているので、第２のマーカ（８）は、より高い解像度を有し、処理装置（５）による追跡を容易にするために、より小さく、より近くにある必要がある。さらに、ツール（２）は好ましくは第２のマーカ（８）の非常に近くで動作するので、第２のマーカ（８）は非常に大きくする必要はない。

図５は、異なるカメラの異なる視点を示し、ＡＲ／ＶＲビューアー（３）のカメラは、第１の光学マーカ（７）の位置を特定し、ツール（２）のカメラは、第２の光学マーカ（８）を観察する。ＡＲ／ＶＲビューアー（３）から位置を推定するための第１のマーカ（７）は、現在のシステムで既に使用されているような同じものから見えるものでなければならない。より遠くのメイヤー（mayor）等から見える必要があるオクルージョンの可能性などを考慮する必要がある。ツール（２）から位置を推定する第２のマーカ（８）は、前記ツール（２）のカメラから見えるものでなければならない。例えば、ツール（２）が部分に非常に近い距離で作業する場合、光学マーカ（７、８）は、視認できるように縮小したサイズでなければならない。オブジェクト（１）の光学マーカ（７、８）は、用途にもよるが、プリントされたマーカ、再帰反射球、ＬＥＤ、等であってよい。ただし、オブジェクト（１）を媒介として、ＡＲ／ＶＲビューアー（３）からツール（２）の位置を知ることができることが必要である。図１の場合、システムは四角い光学マーカ（７、８）を使って溶接のケースをエミュレートしており、ツール（２）は近い距離から使用される。このため、オブジェクト（１）には、ツール（２）から検出されるために任意に小さいサイズの第２の光学マーカ（７）と、ＡＲ／ＶＲビューアー（３）から検出されるために大きいサイズを持つ第１のマーカ（８）が連なる。いずれにしても、この光学マーカ（７、８）間の分離は、厳密である必要はない。アプリケーションが許可すれば、ツール（２）からの推定及びビューアー（３）からの推定の両方に、同じマーカ（７、８）を使用できる。

図６は、本発明のさらに有利な別の実施形態を示し、ツール（２）は、ユーザによって問題なく制御できるように、第３の光学マーカ（９）及びアクチュエータ（１０）、特にトリガをさらに含む。ツール（２）自体に配置された第３の光学マーカ（９）により、ツール（２）がその作業領域を観察していないとき（すなわち、第２の光学マーカ（８）、この場合最も小さいものに面していないとき）、ＡＲ／ＶＲビューアー（３）から後者を検出できる。これは、ＡＲ／ＶＲシステムにおける標準的なツールの検出と同等となる。溶接シミュレーションの場合、アクチュエータ（１０）は、当該アクチュエータ（１０）が操作される時間及び力が消耗品の量を調節することを可能にするような方法で、溶接消耗品の適用をエミュレートすることを可能にする。このような場合、仮想ストローク（２’）は、ツール（２）が移動した実空間位置に関する情報だけでなく、アクチュエータ（１０）に加えられた押す力及びその時間に関する情報も含む。そして、処理装置（５）は、ユーザが行った溶接に関連するすべての情報を保存する結果、後で評価できる(ＡＲ／ＶＲビューアー（３）のメイン画面又は別のモニタなどの追加のグラフィック表現手段を使用して)。これは、シミュレータを教育目的で使用する場合に有用である。この意味で、仮想軌跡のうち、時間がかかりすぎたり、消耗品の量が多すぎたりした箇所を記録できる。

ツール（２）自体が情報取得する第２の光学手段（６）を含むという事実の結果、本発明は以下の利点を有する。
・ビューアー（３）の位置とは無関係に、オブジェクト（１）に対してツール（２）を位置決めできる。
・ツール（２）及びＡＲ／ＶＲビューアー（３）の間の推定は、ビューアー（３）の視点に影響されない。
・ツール（２）はＡＲ／ＶＲビューアー（３）よりもオブジェクト（１）に近く、オブジェクトが少ない、又はオブジェクトがないため、より高い精度を実現できる。
・ビューアー（３）からオブジェクト（１）が検出された場合、ツール（２）、オブジェクト（１）、ＡＲ／ＶＲビューアー（３）という異なる要素の剛体変換行列を連結することにより、ビューアーに対するツール（２）の位置を知ることができる。したがって、AR/VRにおけるツール（２）は、ビューアー（３）から直接検出されないが、依然として表示できる。これは、図７に示されており、Ｄ１は、ＡＲ／ＶＲビューアー（３）に関してオブジェクト（１）の検出に進むために必要な変換であり、Ｄ２は、ツール（２）に関してオブジェクト（１）の検出に関連する変換を示し、一方Ｄ３は、Ｄ１及びＤ２の連結であってＡＲ／ＶＲビューアー（３）に関してツール（２）を検出することを可能にする。
・ツール（２）がＡＲ／ＶＲビューアー（３）の視野から外れる場合のように、ツール（２）がオブジェクト（１）に関して位置できない場合、これは、現在のＡＲ／ＶＲシステムで行われているように、前記ツール（２）が第３光学マーカ（９）を含むことを条件に、ビューアー（３）に関して検出し続けることができる。

提案するシステムの主な制限は、ツール（２）及びオブジェクト（１）の間の位置関係が、ツール（２）がオブジェクト（１）を向いているときにのみ推定できることである。しかし、多くのアプリケーションでは、ツール（２）がプロセスの大部分でオブジェクト（１）を観察していることが一般的であり、あるいは、より高い精度とロバスト性が必要とされるのは、この時である。例えば、本発明を溶接シミュレータとして使用する場合、ツール（２）の位置決めにおける精度及びロバスト性は、溶接が行われ、トーチがオブジェクト（１）に向けられているときに必要とされる。それ以外の時間は、ＡＲ／ＶＲビューアー（３）の画面に情報を表示するためにツール（２）が検出されることに関心があるかもしれないが、シミュレーションには重要ではない。いずれにせよ、ツール（２）のカメラがオブジェクト（１）を観察していないとき、ツール（２）が第３の光学マーカ（９）も含むという条件で、現在のシステムで行われているように、ビューアー（３）のカメラによってツール（２）を検出し続けることができる。

ツール（２）に構成されるカメラのタイプに関しては、アプリケーションのタイプ及びその要件に依存する。例えば、考慮され得るいくつかの考慮事項が挙げられる。
・ツール（２）を近距離で使用する場合、焦点距離の短いカメラが必要である。
・カメラを素早く動かす場合、モーションブラーを避けるために、リフレッシュレートの高いカメラを使用する必要がある。
・ツール（２）が小さい場合、サイズを小さくしたカメラ（例えば、内視鏡カメラ）を使用できる。
・ツール（２）を無線化する場合、無線カメラシステムを使用できる。

アプリケーションごとに、ツール（２）に最適なカメラのタイプ及び配置場所と、オブジェクト（１）に最適な光学マーカ（７、８）の設計を決定する設計プロセスとが存在する。この設計の目的は、ツール（２）からの光学マーカ（７、８）の視認性を最適化すると同時に、ＡＲ／ＶＲビューアー（３）からのオブジェクト（１）の検出を可能にすることである。

もう一つ重要な点として、システム、特にカメラのキャリブレーションを挙げることができる。推定はＡＲ／ＶＲビューアー（３）とは独立しているため、ツール（２）自体に組み込まれたカメラの結果として、より細かい部分の精度や解像度が得られるため、ビューアー（３）のカメラに対する校正要件はそれほど厳しくはない。しかし、ツール（２）のカメラについては、より徹底した校正を行う必要がある。このキャリブレーションは、他の光学検出システムと同様に、２つのパートを備える。
・内部的なキャリブレーション:カメラの焦点距離、光学中心、歪曲収差のパラメータ
・外部のキャリブレーション:ツール（２）に対するカメラの相対位置
本発明の他の有利な実施形態では、情報取得する第２の光学手段（６）は、ステレオシステム、マルチビューシステムなどを提供するように構成された複数のカメラを含み、したがって、ツール（２）のより高い精度及び／又はより広い作業領域を提供する。

本発明の他の実施形態では、上述した、異なる好ましい実施形態のうちのいくつかの要素及び利点が組み合わされる。

本発明の他の目的は、Ｐ３と表記するＡＲ／ＶＲビューアー（３）及びツール（２）の間の位置を推定するプロセスに関する。この目的のために、ＡＲ／ＶＲビューアー（３）とオブジェクト（１）との間の位置（以下、Ｐ１と表記する）、及びツール（２）とオブジェクト（１）との間の位置を基準とした位置Ｐ２を取得する必要がある。前記プロセスの最も単純なケースは、ツール（２）が第３の光学マーカ（９）を欠いている場合に生じる。そのような場合、各反復（ユーザが設定した情報の更新時間によって定義される持続時間）は、以下のステップ（技術的に可能な順序で）を実行することからなる。
・情報取得する第１の光学手段（４）からの画像取り込み、
・第１の光学マーカ（７）が検出された場合、前記第１の光学マーカ（７）の位置からＰ１を算出し、
・情報取得する第２の光学手段（６）からの画像取り込み、
・第２の光学マーカ（８）が検出された場合、前記第２の光学マーカ（８）の位置からＰ２を算出し、
・Ｐ１及びＰ２が算出されている場合は、両位置を合わせてＰ３を算出し、ＡＲ／ＶＲビューアー（３）及びツール（２）の間の位置を特定できる。
代替実施形態では、ツール（２）は、第３の光学マーカ（９）を含み、変換Ｄ３を推定するプロセスは、上記のプロセスで示されたステップに加えて、以下のステップの実行を含む。
・上記のプロセスのステップからＰ３が推定できなかった場合（例えば、オクルージョンのため）、又は第３の光学マーカ（９）の使用によって位置特定を精緻化する場合、
ａ）第３の光学マーカ（９）を情報取得する第１の光学手段（４）により検出する。
ｂ）前記取得した情報(画像)を用いて、位置Ｐ３を推定又は最適化する。
・位置Ｐ１、Ｐ２、Ｐ３のいずれかが取得できなかった場合（オクルージョンなど）、他の２つの組み合わせから不足分の位置を推定する。
本発明の好ましい実施形態では、ツール（２）は、１つ以上の終端部に接続又は接合され、その形状及び寸法は、それが使用される特定の用途に基づいて変化する。好ましくは、終端部は、他の用途（塗装、等）にも適しているが、溶接工程をシミュレートするＡＲ／ＶＲシステムで使用される。終端部は、第２の光学手段（６）及び追加の電子機器を収容するために適合される。

図８及び図９に示す特定の実施形態において、ツール（２）の終端部は、以下を含む。
・先端部とも呼ばれる終端部の前端部（１１）は、図８に示すようにダーツ状になっており、溶接電極の終端部をシミュレートに適する。
・プリント回路基板（１２）、又は同等の電子機器であって、順次、照明手段（好ましくは、発光ダイオード（ＬＥＤ）タイプ）を組み込む。前記プリント回路基板（１２）は、画像取得の第１の手段（４）及び第２の手段（６）に追加の照明を提供し、これにより光学マーカ（７、８、９）の追跡を容易にする。
・ＡＲ／ＶＲシステムの第２の光学手段（６）（例えば、内視鏡カメラ）を収容するために適合された、本体（１３）。第２の光学手段（６）は、本体（１３）内の正しい位置に保つために、止めネジ又は他の同様の機構によって固定される。本体（１３）はまた、プリント回路基板（１２）を収容する１つ以上の間隙を含んでいる。第２の光学手段（６）（内視鏡カメラ）の電子回路および配線の通過のための導管は、本体（１３）の内部に配置される。
・ツール（２）の配線や電子機器を保護するためのハウジングの形をした後端部（１４）又はカバーである。例えば、カバーは、終端部の遠位端、先端部から最も遠い端部に配置でき、第２の光学手段（６）の端子を覆う。後端部（１４）は、接続配線の出口及びツール（２）（この場合、フィラーロッド）のための開口を含む。

本発明の特定の実施形態では、図９の終端部の組み立ては、接着材料を用いて行い、永久的な取り付けを作成し、容易に分解されることを防止する。さらに好ましい実施形態では、終端部はまた、光学マーカ（７、８、９）を含む。例えば、マーカＱＲのような１つ以上の光学マーカ（７、８、９）を、本体（１３）の表面及び／又はカバーの表面の１つ以上の面（１３'）に配置できる。

ツール（２）（この場合は、ＭＩＧトーチ）のための終端部の他の例として、図１０－１１に示すように、ＭＩＧ（金属不活性ガス）ノズルをシミュレートするのに適する。この終端部は、以下を含む。
・ＭＩＧノズルをシミュレートした前端部（１１）又は先端部であって、終端部の前部に配置される。
・追加照明を提供する照明手段（好ましくはＬＥＤ）を備えた、プリント回路基板（１２）。プリント回路基板（１２）は、第２の光学手段（６）(内視鏡カメラ)を収容する穿孔又は導管を備える。
・終端部の後部に位置する後端部（１４）又はカバーにネジ止めして組み立てられ、第２の光学手段（６）及びプリント回路基板（１２）を収容する本体（１３）。本体（１３）はまた、第１の光学手段（４）及び第２の光学手段（６）に追加の照明を提供するＬＥＤプリント回路基板（１２）を収容する隙間を有する。本体（１３）の表面及び／又は後端部（１４）の表面の１つ以上の面（１３'）に、例えばＱＥ等の１つ以上の光学マーカ（７、８、９）を配置できる。
・終端部の後部に位置するカバーは、ネジのための開口部を含む。前記カバーは、ツール（２）として機能するＭＩＧトーチのネックにねじ込んで組み立てる。

図１０－１１の例示的な実施形態では、内視鏡カメラは、その回転を防止する止めネジ又は同様の機構によって固定される。本体（１３）と後端部（１４）又はカバーとの組み付けは、好ましくは、止めネジによって行われる。本体（１３）と先端部（１１）の間の取り付けは、圧入によって行われる。

ツール（１２）のための終端部の第３の例は、ツール（１２）がＴＩＧ（タングステン不活性ガス）トーチである場合のためにカスタマイズされた、図１２、１３Ａ、１３Ｂに示される。上記の終端部と同様に、この終端部は、以下を含む。
・ＴＩＧノズルをシミュレートし、その前端部において終端部を閉鎖する、前端部（１１）又は先端部。
・光学手段（４、６）に追加照明を提供する、ＬＥＤ照明付きプリント回路基板（１２）。
・前記第２の手段（６）（内視鏡カメラ）及び前記プリント回路基板（１２）を収容する本体（１３）。
・終端部の後部に設けられ、止めネジによって本体（１３）に結合される後端部（１４）又はカバー。
・内視鏡カメラを収容する、中空シース（１５）又は導管（図１３Ｂ参照）。

ツール（２）（この場合、ＴＩＧトーチ）の頭部は、ツールが本体（１３）内に収まるまで、後部カバーから導入される。その後、カバーをＴＩＧトーチの頭の周りにねじ込み、終端アセンブリを閉じる。前端部（１１）は、機械的な圧力によって本体（１３）に結合される。

図１４は、ツール（２）が、図１０－１１に示したような終端部が組み込まれたＭＩＧトーチである実施形態に対応する。すなわち、第２の光学手段（６）（内視鏡カメラ）が、終端部の端部（１１、１４）によって保護され、終端部の本体（１３）に収容される様子を示す。好ましくは、ツールは振動モジュール（１６）を含み、図１４において、振動モジュールはツール（２）に配線され取り付けられている。前記ツール（２）は、ケース溶接で実際に行われるように、供給される材料の量を制御するアクチュエータ（１７）又はトリガを含む。さらに、ツール（２）は、内視鏡カメラのコネクタ（１８）と配線、及び第２の光学手段（６）に必要な電子機器を含む第２のプリント回路基板（１９）が設けられる。最後に、第２の光学手段（６）の電子機器と終端部の本体（１３）の位置は、固定要素（２０）により確保される。

ツール（２）に異なる終端部を組み付けるこのモジュール式組立システムにより、電子機器の簡単な組立及び／又は内視鏡カメラに対応する必要なデバイスの統合が可能になる。終端部の全ての先端部又は前端部（１１）、及びツールの終端部のカバー又は後端部（１４）が、任意のタイプの光学マーカ（例えば、ＱＲ）又はその検出を容易にする別のタイプのシステムを可能にすることを観察することが関連的である。図８－１４に示す終端部の実施形態は、ツール（２）が溶接トーチであることをシミュレートする場合のために設計されている。これらの実施形態は、内視鏡システムとともに、材料供給システムにおいて特に有利であるが、高い作業面精度を必要とする別のタイプのシステムにも使用できる。

さらに、本発明のシステムでは、第２の光学手段（６）の第２の光学マーカ（８）の一部が、例えば、３ｍｍ×３ｍｍのような非常に小さなサイズであるため、非常に精密な設置が必要な場合を考慮している（プリントされたマーカの場合、その設置は、オブジェクト（１）に接着する手段によって行われる）。マーカの位置が不適切だと、第２の光学手段（６）で得られる検出と解像度に悪影響を及ぼす。マーカが、位置ずれや位置決め誤差に比べて大きい場合（例えば、第１のマーカ（７）の場合）、この要因は、マーカの検出において重要な相対誤差をもたらすことはない。これに対して、マーカが小さい場合(例えば、前述の第２の光学マーカ（８）のように、３×３ｍｍの寸法を有する)、±１ｍｍの誤差は、そのスケールにおいて非常に大きい（相対誤差３０％）。したがって、この問題は、内視鏡カメラによる認識に適応される最小のマーカである第２のマーカ（８）の場合に、より顕著である。

マーカ（７、８）の固着問題の一部（例えば、ダイカットシールのような形）は、水平又は垂直方向の変位（例えば、システムでシミュレートした溶接ビードの方向か、その直角方向かに応じて)、回転、マーカ（７、８）の制御不能な変形（これらがオブジェクト（１）に固着されると、皺又は折り目が生じうる）等を含む。特に、筒状や曲面のあるオブジェクト（１）では、接着の難しさから、変位や回転が最も多く発生する。これらの誤った位置決めの問題は、最初のマーカ（７）にも見られるが、これらの場合、システムの認識能力に影響を与えるためには、ズレや回転が大きくなければならない。

例として、図１５Ａは、第１のマーカ（７）及び第２の光学マーカ（８）がオブジェクト（１）に正しく付着している状況を示し、図１５Ｂは、マーカ（７、８）に上下左右の変位(小さな反時計回りの回転に相当)がある場合を表す。第１のマーカ（７）における効果は、当該マーカが大きく、より大きな距離から検出されることにより、位置決め誤差がより大きくなり得るため、それほど顕著ではない。しかし、第２のマーカ（８）の場合、変位が当該第２のマーカ（８）のサイズよりも大きいため、オブジェクト（１）上のその位置の認識又は位置特定に誤差を伴うため、その効果は非常に重要である。マーカ（７、８）の位置の精度は、オブジェクト（１）を認識するためにＡＲ／ＶＲシステム内の検出ソフトウェアに送られる位置であるため、関連性がある。このように、検出ソフトウェアモジュールに送られる位置と、マーカ（７、８）が実際にオブジェクト（１）上に位置する位置との間の対応関係の精度が高ければ高いほど、ＡＲ／ＶＲシステムの精度は高くなる。

図１６Ａ－１６Ｂは、オブジェクト（１）を包含し、ＡＲ／ＶＲビューアー（３）のカメラ及びツール（２）の内視鏡カメラから見えるであろう視野を表す。図１６Ａは、検出ソフトウェアに送信された位置（ビューアー（３）で見られる位置である）に対するマーカ（７、８）の相対位置の矛盾を示さない。これに対し、図１６Ｂは、ソフトウェアに送られた位置（図１６Ａに従って、マーカ（７、８）の正しい位置に対応する）、位置ずれや回転により、前記マーカ（７、８）の実際の位置と一致しない様子を示す。したがって、ＡＲ／ＶＲシステムによる認識に誤差が生じる。

図１５Ｂ及び図１６Ｂに見られるマーカ（７、８）の位置合わせの問題を克服するために、本発明は、内視鏡カメラから観察されるであろう第２のマーカ（８）の位置のリアルタイムマッピングを実行するためのプロセスを含む。この意味で、オブジェクト（１）の複数の画像が複数の視点から得られ、それによって第２のマーカ（８）が追跡されることになる。これらの画像は、第１の光学手段（４）によって得ることができる。代替えとして、第１のマーカ（７）は、前記画像にマッピングされ得る。有利なことに、マーカのリアルタイムマッピングは、ＡＲ／ＶＲシステムの動作においてあまり邪魔にならず、マーカ（７、８）のオブジェクト（１）への接着中に発生するあらゆるエラーに適応させることができる。

図１５及び図１６において、マーカマッピング処理は、ソフトウェアモジュール（図１５Ａ及び図１６Ａ）により最初に知られている、マーカ（７、８）が理想的に配置されたであろう位置の初期マップとして使用することからなる。しかし、マーカ（７、８）のサイズが小さいため、オブジェクト（１）上での位置決めの精度を確保することは必ずしも可能ではない。このような場合、光学手段（４、６）を通じて取得したマーカの初期マップと最終マップを比較することが適切な解決策となり、最終マップはオブジェクト（１）上のマーカの最終位置からなる。ＳＬＡＭ（特に、ＶＳＬＡＭ）技術に基づくこのアプローチは、以下に説明するように、本発明の好ましい実施形態において使用される。

マーカ（７、８、９）を検出する検出モジュールに送られる位置と、オブジェクト（１）上の実際の位置との間の非対応性の問題に対する別の解決策は、接着を容易にするために、第２のマーカ（８）の製造（印刷）中に基準を追加することである。あるいは、カスタムメイドのオブジェクト（１）（例えば、工業部品）については、特定のキャリブレーションを実施できるが（カメラなどのセンサにより、マーカの位置を算出する）、この解決策は再現性に欠ける。さらに、例えばＲＡＮＳＡＣ（ランダムサンプルコンセンサス）のような異常値を検出する技術を取り入れることができる。これらの技術により、誤って配置されたマーカ（７、８）を検出し、検出中にそれらを省くことができる。

要約すると、ＡＲ／ＶＲシステムによるオブジェクトの位置特定を正確に行うためには、共通の基準系を基準として、オブジェクト（１）上のこれらのマーカ（７、８）の３次元位置を正確に知ることが重要である。例えば、オブジェクト（１）が四角いマーカ（７、８）で覆われている場合、物理的なオブジェクトにおけるマーカ（７、８）の座標は、マーカを検出する検出ソフトウェアモジュールに提供される座標と一致していなければならない。マーカ（７、８）が物理オブジェクト（１）上に誤って配置された場合、実際の座標は検出ソフトウェアモジュールが受け取ったものと一致しない。この場合、位置特定プロセスにエラーが発生し、偏差やノイズが発生する。

ＡＲ／ＶＲシステムが許容するマーカ（７、８）の最大位置決め誤差は、特に、シミュレーションする特定のアプリケーション、情報取得（カメラ）の手段（４、６）の空間分解能、及びマーカ（７、８）までの距離などの要因に依存する。

本発明のシステムのために特別に設計されたＳＬＡＭ（ＶＳＬＡＭ）プロセスの特定の実施形態について、以下に説明する。好ましくは、このプロセスは、複数のマーカ（例えば、四角いマーカ）からなる１つ以上のステッカーがオブジェクト（１）上に付着された溶接シミュレーションに使用される。前記システムは、少なくとも２つのカメラ、具体的には、上記で言及した第１の光学手段（４）及び第２の光学手段（６）を含む。第１の手段（４）は、ユーザのビューアー（３）内のカメラを指し、一方、第２の手段（６）は、シミュレーション中にユーザが扱うツール（２）自体にあり、両方とも前記ＳＬＡＭプロセスのための画像を取得するために使用される。本実施形態では、ＳＬＡＭマップは、四角いマーカの３次元座標のリスト、マーカの分類（例えば、複数のステッカーがある場合、どのステッカーに属するかを示す、ステッカーが平面か曲線か、等）、キーフレームのセットという情報を含む。本発明で使用されるＶＳＬＡＭプロセスを既に知られているＶＳＬＡＭプロセスと区別する主な特徴は、以下の通りである。
・このプロセスは、部品の設計および前記マーカを含むステッカーの製造とともに生成される、すべてのマーカ（７、８）を有する初期マップから開始されるので、初期化ステップは必要ない。後述するように、マーカ（７、８）の位置をマッピングステップで物理オブジェクト（１）上の配置に調整することだけが必要である。
・位置特定ステップは、システムのカメラの画像を通して観察されたマーカと初期マップのマーカとの間の対応関係を検索することによって、各フレームにおけるカメラの位置の特定を含む。好ましくは、位置の計算は、カメラの画像における投影とともに、既知のＮ個の３次元点のセットから、較正されたカメラのポーズを推定することができる、ＰｎＰ（Perspective N-Points）により実施される。
・マッピングステップは、本発明のシステムがＶＳＬＡＭにもたらす主な新規性である。典型的なＶＳＬＡＭのバージョンと比較した重要な違いは、先験的に、マーカをマップに追加したり削除したりしない。したがって、すべてのマーカは事前に分かっており、カメラが見るものに応じてその位置だけを調整する必要がある。したがって、現在のフレームとそのマーカは、最初に存在したマーカと比較する必要がある。ＶＳＬＡＭのこのバージョンでは、新しいキーフレームを追加するための多くの基準がある。
ａ）オブジェクトのマーカのマップにおけるキーフレームの最大数。
ｂ）最後のキーフレームが追加されてから特定のフレーム数が経過している。
ｃ）ステッカーの位置特定にエラーが検出された場合、新しいキーフレームでマップを更新することもできる。
ｄ）個々のステッカーの検出品質が最低限満たされている場合。
ｅ）見えるステッカーごとに、十分な数の異なるステッカー又は十分な数のマーカが観察された場合。
ｆ）以前のキーフレームになかった新しいステッカーが見える場合。
ｇ）最低限見えるステッカーがある場合。
ｈ）以前のキーフレームとの距離が閾値より大きい場合。

新しいキーフレームを追加する場合、新しいキーフレームと以前のすべてのキーフレームの両方を使用してマップが改良される。つまり、キーフレーム内のマーカのすべての観測値を考慮したマップを改良するために、数学的最適化が適用される（好ましくは、Structure from Motionと呼ばれる最適化が使用される)。

ＶＳＬＡＭプロセスの好ましい実施形態では、最適化プロセスにおいて、ある平面にあるマーカを構成するステッカーがその平面から移動できないような制限が加えられる。例えば、円筒形のチューブ形状を持つオブジェクト（１）にあるステッカーは、その円筒から出ることができず、この同じロジックは、オブジェクト（１）のあらゆる既知の形状に適用される。

本発明の好ましい実施形態では、ＶＳＬＡＭプロセスは、ビューアー（３）のとツール（２）の内視鏡カメラという２つのカメラからの画像の解析を含む。本発明の他の実施形態では、前記ＶＳＬＡＭプロセスは、オブジェクト（１）を視野に入れていたより多くのカメラについて一般化でき、したがって、より多くの視点を提供できる。

本発明のＶＳＬＡＭプロセスの好ましい実施形態では、最適化はマーカを持つステッカー（７、８）のレベルでグローバルに実行される。したがって、ステッカー上の全てのマーカが一体的に移動する。さらに、上記のＶＳＬＡＭプロセスは、オブジェクト（１）に適合するように、形状に基づいて任意のマーカ形状（四角、円など）に対して適用できる。

本発明のＶＳＬＡＭプロセスの他の代替実施形態は、ステッカー内の残りのマーカとは独立して、各マーカ（７、８）の位置を個別に改良する第２の最適化を含む。マーカ付きの湾曲したステッカーでチューブを構成するオブジェクトの場合、ステッカーに一定の変形がある可能性がある（例えば、物理的な部分の直径が正確でないため）。このような場合、ステッカーのマーカを論理レベルで異なる「サブステッカー」に分割し、最適化で独立して扱うことができる。

本発明の好ましい実施形態では、オブジェクト（１）の環境の1つ以上のキーポイントがＶＳＬＡＭプロセスに組み込まれ、マッピングと位置特定の両方でシステムをより強固にする。

本発明の特定の実施形態では、ＡＲ／ＶＲシミュレータによって実行されるＶＳＬＡＭプロセスの位置特定及びマッピングステップにおいて、他のセンサ（慣性センサ、深度又はＲＧＢ－Ｄ情報を有するカラーセンサ、ロボットアームのオドメトリ、等）で取得した情報を組み込むことができる。

本発明の好ましい実施形態では、ＡＲ／ＶＲシミュレータは、振動ハードウェア及び／又はソフトウェアモジュールを通じて実装されたツール（２）の振動機能性を備える。特に、振動効果がその文脈で複数の用途を有するため、ツール（２）が溶接トーチをシミュレートする場合に、この機能性を適用できる。

振動の１つの応用は、ある振動パターン（ある周波数、強度、及び持続時間によって特徴付けられる）が、シミュレート溶接の実行中の性能をユーザに知らせるような方法で、システムのユーザに提供することである。これは、溶接材料の不適切又は過剰な塗布、誤ったトーチ構成などの側面をユーザに知らせる場合に有用である。ツール（２）において振動効果を発生させるために考慮できる変数のいくつかは、特に、張力、強度、ガス量、溶接ワイヤ供給速度（ＷＦＳ）、作業角度、移動角度、移動速度、及び接触チップから作業距離（ＣＴＷＤ）である。好ましくは、振動の強さは、変数の理想値に対する偏差に応じて増加する。

ＡＲ／ＶＲシステムを溶接手順シミュレーションに利用する場合、ＡＲ／ＶＲシステムをよりリアルにするために、実際の溶接システムで発生するような駆動ロールの物理的振動効果をシミュレーションに含めることも振動の応用である。この場合、振動パターンは、実際の溶接トーチが持つロールの回転速度をコード化し、その回転速度は、溶接手順書（ＷＰＳ）と手順認定記録（ＰＱＲ）によって決定されるいくつかのパラメータに依存する。これらのパラメータには、溶接プロセスのタイプ、ワイヤ材料のタイプ、母材の厚さ、溶接位置、ワイヤ径、トランスファーのタイプ、電気パラメータなどが含まれる。

振動を含める３つ目の応用として、例えば、電気アークや溶融プール内のワイヤの衝撃に変化をもたらす中間転写を伴う溶接の際に発生する、誤った溶接プロセスによって生じる振動エネルギー効果をシミュレーションで考慮できる。この種の物理的効果は、他のＡＲ／ＶＲシミュレーションシステムでは無視されがちである。本発明のシステムでは、相乗効果がない構成（例えば、電気パラメータ又はアーク長）が選択されると、材料移動に異なる効果が生じる。例えば、電圧、ワイヤ径、ワイヤ速度、スティックアウトによって、オブジェクト（１）への材料移動が最適になったり、不規則になったりすることがある。これらの効果は、物理的な溶接システムでの実測値を考慮し、そのデータをシミュレーションに外挿することでモデル化される。

特に、ＧＭＡＷ溶接の場合、以下のような特徴的な移動がシミュレーションに含まれることがある。
ａ）ショートサーキットは、溶接ワイヤが溶融池にぶつかり、導電抵抗によって電圧スパイクが発生する。このタイプは業界で非常に一般的で、より低いエネルギー入力で、多少のスパッタを伴う溶接を生成する。
ｂ）スプレーは、よりエネルギッシュな効果が得られるが、クリーンなため最も広く使われている移動方法の一つである。スプレーの特徴は、溶けた材料が溶融プールに噴射されることである。
ｃ）グローブラー（Globular）は、ショートとスプレーの中間的な状態である。このタイプの転送は、より高い突起を持つ不安定な円弧を生成する。
ｄ）パルスアークは、極性の振動と波の滞留時間により、エネルギーと付着物の浸透を制御できる。熱伝導率の高い軟質材料（合金、アルミニウム）に広く使用される。

しかし、ツール（２）の振動に関する機能は、溶接シミュレーションの場合に特定されるが、そのような機能は、情報取得する第２の光学手段（６）を構成するか否かにかかわらず、あらゆるタイプのツール（２）に組み込むことができる。

Claims (19)

1. ユーザによって操作可能な拡張／仮想現実、ＡＲ／ＶＲ、システムであって、前記システムは、
   １つ以上の光学マーカ（７、８）が配置されるオブジェクト（１）、
   空間内で、位置を占め、又は、実軌跡を移動する、ユーザの使用に適したツール（２）、
   ＡＲ／ＶＲビューアー（３）、
   情報取得する第１の光学手段（４）、及び、
   少なくとも、前記ツール（２）及び前記ＡＲ／ＶＲビューアー（３）に接続された処理装置（５）を備え、
   前記システムは、
   前記ツール（２）は、情報取得する第２の光学手段（６）を備え、
   前記光学マーカ（７、８）は、前記第１の光学手段（４）による取得に適した光学情報が符号化された第１のマーカ（７）と、第２の光学手段（６）による取得に適した光学情報が符号化された第２のマーカ（８）とを備え、
   処理装置（５）は、第１の光学手段（４）及び／又は第２の光学手段（６）によって取得された前記情報を受け取り、前記情報を処理し、空間内でツール（２）が移動した占有した前記位置又は前記実軌跡に関連する情報を含む仮想軌跡を計算するソフトウェア／ハードウェア手段を備える、
   システム。
2. 前記処理装置（５）において算出された前記仮想軌跡からＡＲ／ＶＲビューアー（３）に表される仮想ストローク（２’）をさらに含む、
   請求項１に記載のシステム。
3. 前記ツール（２）は、前記第１の光学手段（４）による取得に適した光学情報を備える第３の光学マーカ（９）を含む
   請求項１又は２のいずれかに記載のシステム。
4. 前記第２の光学手段（６）は、前記ツール（２）に収容された内視鏡カメラを備える
   請求項１から３のいずれか１に記載のシステム。
5. 前記ツール（２）は、前記処理装置（５）に接続されたアクチュエータ（１０）を備える
   請求項１から４のいずれか１に記載のシステム。
6. 前記第１の光学手段（４）及び／又は前記第２の光学手段（６）は、１つ以上のカメラを備える
   請求項１から５のいずれか１に記載されたシステム。
7. 前記ツール（２）は、1つ以上の非光学センサをさらに備える、
   請求項１から６のいずれか１に記載のシステム。
8. 前記光学マーカ（７、８、９）は、ＬＥＤ、ＱＲコード、バーコード、再帰反射球、プリントされたマーカ、及び／又はキーポイント、を含む
   請求項１から７のいずれか１に記載のシステム。
9. 前記ＡＲ／ＶＲビューアー（３）は、溶接マスクに収納され、
   前記ツール（２）は、溶接トーチ及び／又は材料供給要素を備え、
   前記オブジェクト（１）は、仮想ストローク（２’）で区切られた箇所で溶接消耗品の塗布がシミュレートされる塗装部を備える
   請求項１から８のいずれか１に記載のシステム。
10. 前記ツール（２）が、工業用塗料スプレー、メス、触覚グローブ、及び／又はロボットアームを含む、
    請求項1から7のいずれか１に記載のシステム。
11. ＡＲ／ＶＲビューアー（３）は、眼鏡、マスク、モニタ、及び／又はモバイルデバイスのディスプレイを備える、
    請求項１から１０のいずれか１に記載のシステム。
12. 情報取得する前記第１の光学手段（４）は、前記ＡＲ／ＶＲビューアー（３）内に備えられる
    請求項１から１１のいずれか１に記載のシステム。
13. 前記第２の光学手段（６）及び前記ツール（２）の少なくとも一部分を収容するために適合された終端部をさらに備え、前記ツール（２）は、前記終端部に接続されるために適合される
    請求項１から１２のいずれか１に記載のシステム。
14. 前記ツール（２）の1つ以上の振動パターンを生成するために適合された振動モジュールをさらに備える、
    請求項１から１３のいずれか１に記載のシステム。
15. 溶接技術、ブラインド溶接、工業塗装、及び、外科及び／又は歯科手術のシミュレーションのためのＡＲ／ＶＲ環境の表現する
    請求項１から１４のいずれか１に記載のシステムの使用。
16. 請求項１から１４のいずれか１に記載のシステムの使用を含む拡張／仮想現実、ＡＲ／ＶＲシステムにおける仮想軌跡を計算するプロセスであって、
    前記第１の光学手段（４）及び／又は前記第２の光学手段（６）から、前記オブジェクト（１）及び前記ツール（２）の位置特定を行い、
    前記第１の光学手段（４）及び／又は前記第２の光学手段（６）により、前記オブジェクト（１）のマーカ（７、８）の追跡及び前記ツール（２）が空間内で移動する軌跡に基づく情報を取得し、
    仮想軌跡を算出する前記処理装置（５）において、前記情報を処理し、
    任意で、前記第３の光学マーカ（９）を検出し、
    上述のステップを繰り返す、
    処理を実行することを含むプロセス。
17. 前記取得のステップは、少なくとも1つの前記アクチュエータ（１０）を介して前記ツール（２）の追加情報を取得することを含む、
    請求項１６に記載のプロセス。
18. 前記ＡＲ／ＶＲビューアー（３）と前記オブジェクト（１）との間の位置、前記ツール（２）と前記オブジェクト（１）との間の位置、及び前記ＡＲ／ＶＲビューアー（３）と前記ツール（２）との間の位置を推定することを含む、
    請求項１６から１７のいずれかに記載のプロセス。
19. 共通の空間参照フレームにおける前記ビューアー（３）、前記オブジェクト（１）、及び前記ツール（２）の位置の推定は、前記オブジェクト（１）の１つ以上のマーカ（７、８）の位置をリアルタイムでマッピングする同時位置特定及びマッピング技術の適用を含む
    請求項１６から１８のいずれかに記載のプロセス。

Images