JPWO2020075232A1 - 拡張現実による機械的締結部の管理方法 - Google Patents

Abstract

従来の作業管理システムでは、管理したいそれぞれの部品にＲＦＩＤタグなどの識別標識を付加し、アンテナを有する締結工具を準備する必要があるため、運用コストが大きくなる。現実空間に仮想空間を重ねて生成した拡張現実空間を用いたにおける拡張現実による機械的締結部の管理方法であって、現実締結部（ＲＢｎ）と仮想締結部（ＩＢｎ）とが一対一に対応している拡張現実空間において、当該現実締結部が締結対象に選択された情報をカメラ等で取得し、当該カメラに接続されている拡張現実サーバで解析することによって、予定通りに所定の作業が進行していることを容易に記録でき、運用コストの小さい高品質な機械的締結部の管理方法やシステムを実現することができる。

Description

本発明は、拡張現実を活用した機械的締結部の管理に関する。

拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）は、人間が知覚する現実環境をコンピュータにより拡張する技術である。本発明は、カメラ等で撮影した現実空間に、３Ｄ−ＣＡＤやＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）等の技術で構築された仮想空間を重ねて拡張現実空間を生成し、このような拡張現実空間を活用して、機器などの機械的締結部の管理を行うものである。

従来、工具や計測器を経由して取得したボルトやフランジ等の締め付けに関する情報と、作業に供した工具および計測器データや作業員等のＩＤ情報とを関連付けてトレーサビリティを確保することで高品質な作業管理を実現する作業管理システムが知られている（たとえば、特許文献１参照）。

特許第５０６５８５１号公報

特許文献１に記載の作業管理システムは、フランジ締め付けに関わる個々のボルト締結作業データについて、それを設定、計測した締め付け工具や計測器や用いられたボルト等のトレーサビリティを確保することができ、人為的な誤りによる設定締め付けトルクの目標値又は設定締め付け代の目標値の入力ミスや、実測締め付けトルク値や実測締め付け代の記載ミスを防止することが可能なシステムである。

しかしながら、特許文献１に記載の作業管理システムは、フランジ締め付けに関わる全てのボルトにＲＦＩＣタグを備える必要がある。さらに、これらのボルトに備えられるＲＦＩＣタグの情報を送受信するためには、こられのボルトを把持するヘッド部にまで延伸したアンテナを有する締結工具を準備する必要があるので、その運用コストが大きくなる懸念がある。

そこで、本発明の目的は、締結部にＲＦＩＣタグ等の識別標識を付加することなく、これらの締結部と締結工具との間のデータの送受信を必要とせず、予定通りに所定の作業が進行していることを容易に記録でき、運用コストの小さい、高品質な機械的締結部の管理方法やシステムを提供することである。

上記課題を解決するために、代表的な本発明の拡張現実による機械的締結部の管理方法の一つは、現実空間に仮想空間を重ねて生成した拡張現実空間を用いた機械的締結部の管理方法であって、前記現実空間は、現実締結部と、前記現実締結部に被せられる現実工具と、を含み、前記仮想空間は、仮想締結部と、前記仮想締結部に被せられる仮想工具と、を含み、前記拡張現実空間では、前記現実締結部と、前記仮想締結部と、が一対一に対応しており、前記拡張現実空間を生成する拡張現実構成システムは、前記現実空間を撮影するカメラと、前記カメラが接続するとともに前記カメラが設営する画像を解析する拡張現実サーバと、を有しており、前記管理方法は、前記現実工具のヘッド部を前記現実締結部に被せることによって、前記現実締結部が締結対象に選定されるとともに、前記現実締結部が締結対象に選択された情報が前記仮想締結部に伝達される締結対象確定ステップを含む。

本発明によれば、締結部にＲＦＩＣタグ等の識別標識を付加することなく、これらの締結部と締結工具との間のデータの送受信を必要とせず、予定通りに所定の作業が進行していることを容易に記録でき、運用コストの小さい高品質な機械的締結部の管理方法やシステムを実現することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

図１は、拡張現実による機械的締結部の管理方法に係わるシステム構成の模式図である。 図２は、図１のシステム構成に含まれるヘッドギアの機能的構成を示す模式図である。 図３は、本発明の拡張現実による機械的締結部の管理方法を説明するための締結を含む組立作業の一例である。 図４は、図３の組立作業に含まれる一工程であって、現実空間において部品が基盤に位置決めされた様子を示す模式図である。 図５は、図３の組立作業の最終工程であって、仮想空間において部品が基盤にボルトで固定された様子を示す模式図である。 図６は、図３の組立作業に含まれる一工程であって、図４の現実空間に図５の仮想空間を重ねて創られた拡張現実空間において、部品が基盤にボルトで固定された完成状態を示す模式図である。 図７は、図６の拡張現実空間において現実部品の貫通孔に現実ボルトを差し込まれた状態からボルトの締結管理を開始する様子を示す模式図である。 図８は、本発明の拡張現実による機械的締結部の管理方法を説明するフローチャート（前半）である。 図９は、本発明の拡張現実による機械的締結部の管理方法を説明するフローチャート（後半）である。 図１０は、現実空間において工具がボルトに被せられて締結対象に選定された情報が仮想空間の当該ボルトに伝達される「締結対象に確定」が意味する範囲を示す模式図である。 図１１は、工具でボルトを締め付ける際に観察される締め付けトルクの推移とフローチャートの特定のステップとの関係を示す模式図である。 図１２は、締結完了を示す表示色に変更されたボルトと、このボルトの近傍に表示される締結管理情報と、を含む透過型ディスプレイに表示された拡張現実空間の画像をキャプチャした模式図である。 図１３は、部品を基盤に取り付ける設計図情報の一例である。 図１４は、部品を基盤に取り付ける作業情報の一例である。 図１５は、拡張現実空間において現実ボルトと一対一に対応する仮想ボルトが、現実工具で締結される締結対象物に確定される手順（Ｓ９０）の一例である。 図１６は、工具のヘッド（ソケット）部の位置を示す複数の印を備える現実工具の一例である。 図１７は、拡張現実空間において現実ボルトと一対一に対応する仮想ボルトが、現実工具で締結される締結対象物に確定される手順（Ｓ９０）の他の一例である。 図１８は、拡張現実空間において現実ボルトと一対一に対応する仮想ボルトが、現実工具で締結される締結対象物に確定される手順（Ｓ９０）のその他の一例である。 図１９は、拡張現実空間において現実ボルトと一対一に対応する仮想ボルトが、現実工具で締結される締結対象物に確定される手順（Ｓ９０）のその他の一例である。

以下、図面を参照して、本発明の実施形態について説明する。なお、この実施形態により本発明が限定されるものではない。

以下、図面を参照して本発明を実施するための形態を説明する。本明細書での現実空間とは、作業者が自らの視覚で得た像、または、カメラ１０が撮影した像が置かれる空間を意味するものである。また、本明細書での仮想空間とは、３Ｄ−ＣＡＤやＣＧなどデジタル情報で構築された空間を意味するものである。以下、現実空間の物品等と、仮想空間の物品等を区別するために、現実空間における物品等に「現実」の接頭語を付加し、仮想空間における物品等に「仮想」の接頭語を付加して記述する。
＜システム構成＞

図１は拡張現実による機械的締結部の管理方法に係わるシステム構成の模式図であり、図２は図１のシステム構成に含まれるウエアラブル装置（ヘッドギア等）の機能的構成を示す模式図である。

図１に示されるシステム構成は、部品図や組立図や３Ｄ−ＣＡＤやＣＧ等の設計図情報（図１２参照）を格納する設計情報サーバ２２と、部品の取付け作業情報や保守（メンテナンス）作業情報（図１３参照）を格納する作業情報サーバ２６と、現実工具ＲＴで機械的締結部（すなわち、現実締結部）を締結する際の締め付けトルクを管理するトルク管理サーバ２８と、大規模な画像解析を可能にする解析サーバ２９と、が接続されるネットワーク５と、このネットワーク５に接続する現実工具ＲＴおよび作業者が備えられるウエアラブル装置７と、から構成される。

図２に示されるウエアラブル装置７は、作業者の頭に装着できるように構成されており、作業者の視界を形成する透過型スクリーン１４（ヘッドマウントディスプレイ装置）と、カメラ１０と、これらが接続される拡張現実サーバ１２と、から構成される。拡張現実サーバ１２は、カメラ１０が撮像する現実空間（実体）に、ネットワーク５に接続する設計情報サーバ２２から得た３Ｄ−ＣＡＤ情報等の仮想空間の情報を重ね合わせた拡張現実空間を構成するとともに、これらの拡張現実空間を透過型スクリーン１４に投影する。拡張現実サーバ１２は、拡張現実を創生するアプリケーションソフトや各種情報（例えば、設計情報等）を保管するメモリ領域と、作業者がウエアラブル装置７を介して示す要求事項を処理する処理部と、を有するコンピュータである。

透過型スクリーン１４は、作業者が視界を確保できるように透過性を備えており、カメラ１０が撮影した現実空間の撮像や、拡張現実サーバ１２が創る仮想現実空間をこの透過型スクリーン１４に投影できる。なお、この時、透過型スクリーン１４に投影される現実空間は、作業者が自らの視覚で得る像と実質的に同じ像である。また、拡張現実サーバ１２は、作業手順等の情報や各種マニュアル等の情報を透過型スクリーン１４に表示して、作業者の利便性をさらに向上させてもよい。

拡張現実サーバ１２は、ネットワーク５および現実工具ＲＴとに無線で接続されているので、現実工具ＲＴはネットワーク５を介して、トルク管理サーバ２８から所定の現実ボルトに対応する締め付けトルク情報を受信したり、現実工具ＲＴは観察された締め付けトルク情報を拡張現実サーバ１２およびトルク管理サーバ２８へ送付したりする送受信部を有する。
拡張現実サーバ１２は、カメラ１０と一体に構成しても良いし、ネットワーク５を介して、拡張現実サーバ１２が有するメモリ領域や処理部を、作業場から離れた場所に設けても良い。

現実工具ＲＴは、ボルト等の機械的締結部を締めたり緩めたりする工具である。この現実工具ＲＴは、例えば、ボルトサイズや種類に対応するヘッド部についたソケットを交換できるトルクレンチであって、また、ヘッド部はスパナ形状やモンキレンチ形状など様々なトルクレンチ形状であってもよい。現実工具ＲＴは、現実ボルトＲＢｎを締める際に観察される締め付け初期時から締め付け完了時までの締め付けトルク情報や、既に締め付けられたボルトを緩めるときに計測される残留トルク情報を取集して、拡張現実サーバ１２やネットワーク５を介してトルク管理サーバ２８等に提供する機能を備える。
さらに、現実工具ＲＴは、拡張現実サーバ１２またはトルク管理サーバ２８から得た任意のボルトサイズおよびボルト材質に対応する締め付けトルク情報や、現実ボルトＲＢｎが所定の締め付けトルクで締結された情報を作業者に掲出する表示部（図示なし）を備える。なお、この表示部は、作業者に上記情報を伝達することが目的であるので、現実工具ＲＴに表示部を併設することに代えて、これら情報を透過型スクリーン１４に表示したり、作業者の手首等に備える別のウエアラブル端末の表示部に表示しても良い。

作業情報サーバ２６は、製造物（例えば、鉄道車両や自動車など）の製作内容が示される製作作業指示書や保守作業の内容が示される保守作業指示書などを格納する。拡張現実サーバ１２の要求に応じて、作業情報サーバ２６はこれらの作業指示書から必要なデータを抽出して提供する。

なお、設計情報サーバ２２、作業情報サーバ２６およびトルク管理サーバ２８は、それぞれ設計情報、作業情報、トルク管理に関する情報を共有したり保管したりするファイルサーバである。
作業情報サーバ２６は、必ずしも設計情報サーバ２２から独立している必要はなく、作業情報サーバ２６と設計情報サーバ２２とを共通の１台の情報サーバとして運用してもよい。解析サーバ２９は、カメラ１０が撮影した画像を大規模に（画像）解析して、作業対象物の詳細な現実空間または仮想空間における座標（例えば、３次元的な位置を示す座標）を得る場合などに用いる。
＜作業内容＞

図３は、本発明の拡張現実による機械的締結部の管理方法を説明するための締結を含む組立作業の一例である。この組立作業は、現実空間において、現実部品ＲＤ２を４本の現実ボルトＲＢ１〜ＲＢ４（以下、ＲＢｎ（ｎ＝１〜４）、または、単にＲＢｎと記す）で現実基盤ＲＤ１に固定する作業である。現実基盤ＲＤ１は、現実部品ＲＤ２を貫通した現実ボルトＲＢｎが螺合するねじ溝を有する現実ねじ穴ＲＱ１〜ＲＱ４と、現実空間の基準位置を示す現実位置マーカＲＭを有する。現実部品ＲＤ２は、その４隅に現実ボルトＲＢｎが垂直方向に貫通する現実貫通孔ＲＰ１〜ＲＰ４を備える。
＜現実空間に仮想空間を重ねて構成される拡張現実空間における締結部管理の概要＞

図４は、図３の組立作業に含まれる一工程であって、現実空間で部品が基盤に位置決めされた様子を示す模式図である。図５は、図３の組立作業の最終工程であって、仮想空間で部品が基盤にボルトで固定された様子を示す模式図である。図６は、図３の組立作業に含まれる一工程であって、図４の現実空間に図５の仮想空間を投影した拡張現実空間において、部品が基盤にボルトで固定される作業が完了した様子を示す模式図である。

図４は、作業者が、自らの視覚で得た現実空間の像であり、現実基盤ＲＤ１の上面の固定位置に、現実部品ＲＤ２が位置決めされている図である。図５は、仮想空間（デジタル空間）で、仮想基盤ＩＤ１に仮想部品ＩＤ２が仮想ボルトＩＢ１〜ＩＢ４（以下、ＩＢｎ（ｎ＝１〜４）、または、単にＩＢｎと記す）で取り付ける作業が完了した後の姿（３Ｄ−ＣＡＤデータの組立図）である。この３Ｄ−ＣＡＤデータは、設計情報サーバ２２、または、ウエアラブル装置７の拡張現実サーバ１２に格納されていてもよい。

図６は、図３の作業に含まれる一工程であって、図４の現実空間に図５の仮想空間を重ねて創られた拡張現実空間において、部品が基盤にボルトで固定された完成状態を示す模式図である。

透過型スクリーン１４に創り出された拡張現実空間の像（図６相当）を映し出すために、拡張現実サーバ１２は、まず、カメラ１０で、現実基盤ＲＤ１に現実部品ＲＤ２が位置決めされている状態（図４相当））を撮影（取得）する。次に、拡張現実サーバ１２は、設計情報サーバ２２から仮想空間の３Ｄ−ＣＡＤデータ（組立図）を取得する。そして、拡張現実サーバ１２は、撮影した現実空間に、仮想空間から３Ｄ−ＣＡＤデータを重ねて拡張現実空間を創り出す。
なお、この時、拡張現実サーバ１２は、現実基盤ＲＤ１の一端にあらかじめ備えられた現実空間の基準点ＲＭに、仮想基盤ＩＤ１の一端の仮想空間の基準点ＩＭを重ねれば、拡張現実空間を容易に創り出すことができる。拡張現実サーバ１２は、創生した拡張現実空間を透過型スクリーン１４に映し出す。但し、この時点では、現実ボルトＲＢｎは現実部品ＲＤ２の貫通孔ＲＰｎにまだ差し込まれていない。

図７は、図６の拡張現実空間において現実部品の貫通孔に現実ボルトを差し込まれた状態からボルトの締結管理を開始する様子を示す模式図である。図７は、透過型スクリーン１４に投影された拡張現実空間（図６相当）を構成する現実部品ＲＤ２の現実貫通孔ＲＰｎに、現実ボルトＲＢｎを差し込んだ状態の図である。現実ボルトＲＢｎの首下のねじ部が現実基盤ＲＤ１の現実ねじ穴ＲＱｎにねじ込まれていないため、現実ボルトＲＢｎの頭部は、仮想ボルトＩＢｎの頭部に比べて高さ方向に突出している。

拡張現実空間は、現実空間の基準点ＲＭに仮想空間の基準点ＩＭを重ねて創り出されているので、現実部品ＲＤ２の現実貫通孔ＲＰｎに差し込まれた現実ボルトＲＢｎは、仮想空間の仮想ボルトＩＢｎに一対一に対応する（重なる）。つまり、現実空間の現実ボルトＲＢｎの座標（例えば、ボルトの頭部の中心座標）は、仮想空間の仮想ボルトＩＢｎの座標に実質的に重なる。

ただし、図７の場合は、現実ボルトＲＢｎが現実基盤ＲＤ１の現実ねじ穴ＲＱｎにねじ込まれていないので、厳密には、現実ボルトＲＢｎのＲＸ−ＲＹ平面の座標は、仮想ボルトＩＢｎのＩＸ−ＩＹ平面の座標に重なるが、現実ボルトＲＢｎのＲＺ軸上の座標は仮想ボルトＩＢｎのＩＺ軸上の座標に重ならない。

上記の仮想現実空間を生成する際に、現実基盤ＲＤ１に備えられる現実基準点ＲＭに、仮想基盤の仮想基準点ＩＭを重ねて生成されることを説明したが、必ずしも現実基準点ＲＭおよび仮想基準点ＩＭを準備する必要はない。これら基準点に代えて、例えば、現実基盤ＲＤ１および仮想基盤ＩＤ１の４隅の内の一つを基準点として現実空間に仮想空間を重ねて、拡張現実空間を生成してもよい。
＜拡張現実による締結部の管理＞

図８と図９は、本発明の拡張現実による機械的締結部の管理方法を説明するフローチャート（前半）と（後半）である。以下に、図３に示す作業を例に挙げ、ウエアラブル装置７（ヘッドギア）を装着した作業者が、拡張現実空間において、図７の状態からボルトを締結する際の拡張現実による管理方法をステップ毎に説明する。

ステップ１０（Ｓ１０）では、拡張現実による締結部の管理が開始される。

ステップ３０（Ｓ３０）では、拡張現実サーバ１２がカメラ１０で現実基盤ＲＤ１の上面に位置決めされた現実部品ＲＤ２を撮影して、現実空間情報（図４相当）を取得する。

ステップ４０（Ｓ４０）では、拡張現実サーバ１２がネットワーク５を経由して設計情報サーバ２２から仮想空間情報（３Ｄ−ＣＡＤ情報、図５相当）を取得する。仮想空間情報（図５相当）が拡張現実サーバ１２に保管されている場合には、拡張現実サーバ１２は、拡張現実サーバ１２から仮想空間情報（図５相当）を取得する。

ステップ５０（Ｓ５０）では、拡張現実サーバ１２が、ステップ３０で得た現実空間情報に、ステップ４０で得た仮想空間情報を重ねて、拡張現実空間を創生する。なお、このとき、現実空間の基準点ＲＭと仮想空間の基準点ＩＭとを重ねるので、現実空間の任意の座標（ＲＸｎ、ＲＹｎ、ＲＺｎ）は、仮想空間の任意の座標（ＩＸｎ、ＩＹｎ、ＩＺｎ）に一対一に対応して重なる。

ステップ６０（Ｓ６０）からステップ１６０（Ｓ１６０）までは、ボルトの本数をループ回数とするループ処理である。

ステップ７０（Ｓ７０）では、拡張現実サーバ１２は、拡張現実空間において、Ｓ５０で得た仮想空間情報に基づいて、仮想ボルトＩＢｎのいずれかを締結する順番に特定して、締結するボルトを作業者に教示する。締結する順番に、特定された仮想ボルトを作業者へ教示する方法は、例えば、作業者が透過型スクリーン１４に投影される拡張現実空間において、特定した仮想ボルトＩＢｎの色を変更したり、点滅表示したりすることが可能である。

ステップ８０（Ｓ８０）では、作業者はＳ７０で教示された仮想ボルトＩＢｎが重ねられた現実ボルトＲＢｎに現実工具ＲＴを近づけて、現実ボルトＲＢｎの頭部に現実工具ＲＴのソケット部ＲＴＨを被せる。

ステップ９０（Ｓ９０）では、作業者は透過型スクリーン１４に投影される拡張現実空間において、締結する現実ボルトＲＢｎに現実工具のソケット部ＲＴＨが重なったことを認めて、現実工具ＲＴでこれから締結する現実ボルトＲＢｎを「締結対象として確定」する作業が完了する。図１０に、この「締結対象として確定する」が意味する範囲の模式図を示す。図１０中の現実ボルトＲＢｎは、拡張現実空間において仮想ボルトＩＢｎに実質的に重なっているが、理解を容易にするために図中の現実ボルトＲＢｎと仮想ボルトＩＢｎを離して描写している。作業者は、Ｓ７０での指示に基づいて、Ｓ８０で現実空間において、現実工具ＲＴ（ヘッド部ＲＴＨ）を締結する現実ボルトＲＢｎに被せる。

Ｓ５０では、現実ボルトＲＢｎの座標を含む現実空間の任意の座標（ＲＸｎ、ＲＹｎ、ＲＺｎ）は、仮想ボルトＩＢｎの座標を含む仮想空間の任意の座標（ＩＸｎ、ＩＹｎ、ＩＺｎ）に一対一に対応して重なることが確認されているので、現実ボルトＲＢｎの「現実工具ＲＴが重ねられて締結対象に選定された」情報は、仮想ボルトＩＢｎに伝達される。したがって、「締結対象として確定する」は、現実工具ＲＴが被せられて締結対象に選定されたという現実ボルトＲＢｎの情報が、現実ボルトＲＢｎに一対一に対応する仮想ボルトＩＢｎに伝達されることを意味する。

Ｓ９０では、締結対象物の現実ボルトＲＢｎが確定しない場合はＳ７０に戻り、再度、締結対象物の現実ボルトＲＢｎを確定する。Ｓ９０では、締結対象物の現実ボルトＲＢｎが確定すれば、次のステップへ移行する。

ステップ１００（Ｓ１００）では、拡張現実サーバ１２は、締結対象として確定した現実ボルトＲＢｎに一対一に対応する仮想ボルトＩＢｎの仮想空間における座標ＩＢＯ（ＩＢＸ１、ＩＢＹ１、ＩＢＺ１）を、拡張現実サーバ１２（または作業情報サーバ２６等の任意サーバ）へ一時保存する。

ステップ１１０（Ｓ１１０）では、拡張現実サーバ１２は、設計情報サーバ２２またはトルク管理サーバ２８（任意のサーバ）から現実ボルトＲＢｎの締め付けトルク情報を取得して、現実工具ＲＴに送信する。締め付けトルク情報は、ボルトサイズ、ボルト材質および使用環境等によって規定され、必要とされる（規定）軸力ＡＦＳを発生する締め付けトルク（Ｎ・ｍ）である。現実ボルトＲＢｎを締め付けた時に、現実ボルトＲＢｎに生じる軸力ＡＦは締付トルクに比例する。軸力ＡＦを直接観察することは容易でないので、現実ボルトＲＢｎの軸力ＡＦに代えて、この軸力に対応する締め付けトルクＴで、現実ボルトＲＢｎの締結状況を管理する。以下、この締め付けトルクを規定締め付けトルクＴＳと記す。

ステップ１２０（Ｓ１２０）では、作業者は、現実工具ＲＴで締結対象として確定した現実ボルトＲＢｎの締め付けを開始する。

ステップ１２５（Ｓ１２５）では、作業者が現実工具ＲＴで締結対象として確定した現実ボルトＲＢｎを締め付け始めると、現実工具ＲＴが締め付けトルクの発生を検知する。この時、拡張現実サーバ１２は、カメラ１０が撮影する像を画像解析して、現実工具のヘッド部ＲＴＨの座標ＲＴＨＯ（ＲＴＨＸ１、ＲＴＨＹ１、ＲＴＨＺ１）が締結対象として確定した現実ボルトＲＢｎの座標ＲＢＯ（ＲＢＯＸ１、ＲＢＯＹ１、ＲＢＯＺ１）と重なっているか、または、重なっていると判断できる程度に近接していることを確認する。このＳ１２５によって、締結対象として確定した現実ボルトＲＢｎが現実工具ＲＴによって締め付けられ始めたことを確認できる。

ステップ１２８（Ｓ１２８）では、現実工具ＲＴは、検知した初期締め付けトルクＴＢを拡張現実サーバ１２へ送信する。現実工具ＲＴが、初期締め付けトルクＴＢが検知された日時情報を把握して、初期締め付けトルクＴＢと共に拡張現実サーバ１２へ送付してもよいし、初期締め付けトルクＴＢを受信した拡張現実サーバ１２が上述した日時情報を、初期締め付けトルクＴＢとともに仮想空間において締結対象として確定した現実ボルトＲＢｎに対応する仮想ボルトＩＢｎの締結管理情報３０の一部として、任意のサーバに保存してもよい。

ステップ１３０（Ｓ１３０）では、作業者が現実工具ＲＴで締結対象物の現実ボルトＲＢｎを締めつづけると現実ボルトＲＢｎに観察される締め付けトルクが規定締め付けトルクＴＳに達する。現実工具ＲＴは、締め付け対象の現実ボルトＲＢｎに観察される締め付けトルクが、Ｓ１１０で拡張現実サーバ１２から受け取った規定締め付けトルクＴＳに至ると、現実工具ＲＴが備える表示部のＬＥＤが点滅したり、表示部の色を変えたりする等の動作によって、現実ボルトＲＢｎが規定締め付けトルクで締め付けらたことを作業者に知らせる。
この規定締め付けトルクＴＳは、下限値（ＴＳＬ）から上限値（ＴＳＨ）に至る合格範囲を有しており、現実工具ＲＴが備える表示部は、その締付トルクＴＬが合格範囲（下限値ＴＳＬ）以下、合格範囲内、合格範囲（上限値ＴＳＨ）以上をそれぞれ色分けで表現できる。なお、この現実工具ＲＴが備える表示部の動作に代えて、これらの情報を透過型スクリーン１４に表示したり、作業者の手首等に備える別のウエアラブル端末の表示部に表示しても良い。

現実工具ＲＴは、作業者が締め付け動作を終了した時に観察される完了締め付けトルクＴＬを拡張現実サーバ１２に送信する。なお、完了締め付けトルクＴＬは、所定締め付けトルクＴＳと実質的に同じか、あるいは、少し大きい値である。現実工具ＲＴは、完了締め付けトルクＴＬが検知された日時情報を把握して、完了締め付けトルクＴＬと共に拡張現実サーバ１２へ送付してもよいし、完了締め付けトルクＴＬを受信した拡張現実サーバ１２が上述した日時情報を完了締め付けトルクＴＬに付加してもよい。

ステップ１４０（Ｓ１４０）では、完了締め付けトルクＴＬを受信した拡張現実サーバ１２は、それを拡張現実サーバ１２自身またはネットワーク５を経由してトルク管理サーバ２８へ送信して、トルク管理サーバ２８がそれを保存する。

ステップ１５０（Ｓ１５０）では、拡張現実サーバ１２は、透過型スクリーン１４に表示される締め付けが完了した現実ボルトＲＢ１に一対一に対応する仮想ボルトＩＢ１の表示色を、締め付け動作が完了していない他の仮想ボルトＩＢ２〜ＩＢ４と異なる色に変更する。作業者は、締め付け終了（完了）した仮想ボルトと、締め付け動作が完了していない仮想ボルトを、表示される色の違いで区別できる。

ステップ１５５（Ｓ１５５）では、拡張現実サーバ１２は、Ｓ１５０で表示色が変更された締め付け終了（完了）した仮想ボルトＩＢ１の近傍に、例えば、作業者ＩＤ、締め付け完了日、締め付け完了時刻、設計図番などの締結管理情報３０を透過型スクリーン１４に表示する。

拡張現実サーバ１２は、透過型スクリーン１４に表示されたこれらの仮想ボルトＩＢ１に一対一で対応する現実ボルトＲＢ１の締め付け作業に係わった作業者ＩＤ、締め付け完了日、締め付け完了時刻、設計図番などの締結管理情報３０を含む画像（静止画または動画）をキャプチャ（透過型スクリーン１４画面のハードコピー）して、そのキャプチャした画像を拡張現実サーバ１２またはネットワーク５を経由して作業情報サーバ２６、あるいは、トルク管理サーバ２８に保存する。

キャプチャした静止画に代えて、締め付け完了時刻を基準として、この時刻以前の所定の時間およびこの時刻以降の所定の時間に至る締め付け作業の動画を格納してもよい。この動画には、現実工具ＲＴの表示部が現実ボルトＲＢｎが規定締め付けトルクＴＳで締め付けられて、現実工具ＲＴが表示部を介して作業者に締め付け完了を通知する様子も、締結管理情報３０に加えて記録される。

ステップ１６０（Ｓ１６０）では、所定の締結対象ボルト本数だけ、Ｓ５０に戻ってループを繰り返す。

ステップ１７０では、現実ボルトＲＢｎまでの締結作業に係わる拡張現実を利用したボルトの締結管理に係わる一連の動作を終了する。

図１１は、工具でボルトを締め付ける際に観察される締め付けトルクの推移とフローチャートの特定のステップとの関係を示す模式図である。図１１の横軸は時間軸であり、その縦軸は現実ボルトＲＢｎを現実工具ＲＴで締め付ける際に現実ボルトＲＢｎに観察される締め付けトルクである。

図１１は、作業者が現実ボルトを締め始めて締め付けが完了する過程で観察される締め付けトルクの推移を示す。図１１の横軸は時間を示し、その縦軸は現実ボルトＲＢｎに生じる軸力ＡＦを示す。軸力ＡＦは、作業者が現実工具ＲＴで現実ボルトＲＢｎを締め付け始めた際に観察される傾斜部と、作業者が現実工具ＲＴを戻す際に観察される水平部とが、締め付け回数だけ交互に観察される。水平部は、現実工具ＲＴが次の締め付けに備えて戻される工程であり締め付けトルクは観察されない。
第１水平部で観察される軸力に対応して、初期締め付けトルクＴＢが検知され、第３水平部で観察される軸力に対応して、完了締め付けトルクＴＬが検知される。そして、この第３水平部に至る直前の第３傾斜部の終端部において、規定軸力ＡＦＳが生じており、この規定軸力ＡＦＳに対応する規定締め付けトルクＴＳが観察される。

次に、図９に示すフローチャートを用いて説明する。図９に示すフローチャートのＳ１２０は、図１１の作業者が現実工具ＲＴで締結対象物の現実ボルトＲＢｎを締め付け始めた時の図１１のＡ点（Ａ：Ｓ１２０）に相当する。また、図９のＳ１２５は、上述のフローチャートのＳ１２０から現実工具ＲＴが現実ボルトＲＢｎを締め付け始めて、初期締め付けトルクＴＢが観察されるＢ点（Ｂ：Ｓ１２８）に相当する。また、図９のＳ１３０は、現実工具ＲＴが現実ボルトＲＢｎを規定締め付けトルクＴＳで締め付けを完了した時のＣ点（Ｃ：Ｓ１３０）に相当する。

図１２は、締結完了を示す表示色に変更されたボルトと、このボルトの近傍に表示される締結管理情報とを含む透過型ディスプレイに表示された拡張現実空間の画像をキャプチャした模式図である。図１２は、図９のフローチャートのＳ１５５を模したものであり、Ｓ６０からＳ１６０までＲＢｎの本数だけ繰り返される最初のループの最終工程である。

このとき、現実ボルトＲＢ１のみの締め付けが完了しているため、現実ボルトＲＢ１の頭部のみが、他の現実ボルトＲＢ２〜４よりも、下方に沈み込んで仮想ボルトＩＢ１の頭部に重なっている。締結が完了した現実ボルトＲＢｎのみの表示色が灰色に変更されるので、作業者は、締結完了ボルトＲＢ１と、締結が完了していない未締結ボルトＲＢ２〜４を容易に区別することができ、締結作業忘れを抑制することが可能である。拡張現実空間において、現実ボルトＲＢ１のみの締め付けが完了した画像に、作業者ＩＤ、締め付け完了日、締め付け完了時刻、完了締め付けトルク、設計図番等の締結管理情報３０を付加した画像をキャプチャ（画像のハードコピー、あるいは、プリントスクリーン）して、任意のサーバに保存する。
＜効果 （図１２）＞

図１２に示す画像を作ることによって、現実ボルトＲＢ１が、規定締め付けトルクで、誰（どの作業者）によって、どの設計図面に基づいて、いかなる作業内容が指示された時になされたものであるかを瞬時に把握することができる。

一般に、拡張現実空間の締結対象物の画像（図７相当）と、その締結対象物に付随する締結管理情報３０（作業者ＩＤ、締め付け完了日、締め付け完了時刻、完了締め付けトルク、設計図番等）は、仮想空間（例えば、トルク管理サーバ２８など）の仮想ボルトＩＢｎに関連する（リンクする、あるいは、紐付けられる）情報として保存される。そして、必要に応じて、仮想空間の仮想ボルトＩＢｎの関連情報として、仮想ボルトＩＢｎの締結管理情報３０がトルク管理サーバ２８等から呼び出されて、拡張現実空間への表示によって要求者に提示される。

この仮想ボルトＩＢｎと、仮想ボルトＩＢｎに関連付けた締結管理情報３０との関連（リンク、紐付け）情報が何らかの理由で毀損した場合、締結対象物に一対一に対応する締結管理情報３０を呼び出すことができず、締結対象物に施された締結作業に基づく状態を把握することが極めて困難となる。そこで、図９のＳ１５５に記載の画像を取得して保存することによって、リンク（紐付）に係わる情報が毀損した場合であっても、締結対象物に施された締結作業に基づく状態を瞬時に把握できるので、トレーサビリティを確保できる。

図１３は部品を基盤に取り付ける設計図情報の一例であり、図１４は部品を基盤に取り付ける作業情報の一例である。設計図情報は、たとえば、図番、図面名称、機器（部品）名称、ボルトサイズ、ボルト首下長さ、ボルト材質、規定締め付けトルク、ボルト本数など、組立図に含まれる情報である。

作業情報は、たとえば、作業内容（名称）、作業日時、参照すべき設計図情報、作業者に従事される予定の作業者情報、作業対象となる車両情報、作業開始時刻、部品情報、作業場所、作業完了日時などである。

図１５は、拡張現実空間において現実ボルトと一対一に対応する仮想ボルトが、現実工具で締結される締結対象物に確定される手順（Ｓ９０）の一例である。拡張現実によって機械的締結部を管理する場合、締結管理情報３０は仮想ボルトＩＢｎに関連する情報としてトルク管理サーバ２８などに格納される。このため、現実空間で締結対象として確定した現実ボルトＲＢｎの情報が、この現実ボルトＲＢｎに一対一に対応する仮想空間の仮想ボルトＩＢｎに正確に関連付けられることが、拡張現実によって締結部を管理する上で重要となる。

＜選定された現実ボルト情報が仮想ボルトに伝達されて締結対象として確定する手順の説明＞
図８のＳ５０では、現実空間の基準点ＲＭと仮想空間の基準点ＩＭとを重ねることによって生成される拡張現実空間において、現実空間の任意の座標（ＲＸｎ、ＲＹｎ、ＲＺｎ）は、仮想空間の任意の座標（ＩＸｎ、ＩＹｎ、ＩＺｎ）一対一に対応する。この対応関係が基本的に成立することを前提として、現実空間で現実工具のヘッド部ＲＴＨが被せられ締結対象に選定されたという現実ボルトＲＢｎに係わる情報が、この現実ボルトＲＢｎに対応する仮想ボルトＩＢｎに伝達され（引き継がれる）て、締結対象として確定する（Ｓ９０）手順を、以下のＡ１〜Ａ７において説明する。

Ａ１：拡張現実サーバ１２は、現実空間において、カメラ１０が撮影する図７相当の現実ボルトＲＢｎを含む画像を解析して、現実ボルトＲＢｎの座標ＲＢＯ（ＲＢＸ１、ＲＢＹ１、ＲＢＺ１）を算出する。

Ａ２：拡張現実サーバ１２は、仮想空間に予め格納される３Ｄ−ＣＡＤデータから仮想ボルトＩＢｎを含む３Ｄモデル（例えば、図５に示す装置）を呼び出し、この３Ｄモデルに含まれる任意の仮想ボルトＩＢｎの座標ＩＢＯ（ＩＢＸ１、ＩＢＹ１、ＩＢＺ１）を取得する。

Ａ３：拡張現実サーバ１２は、拡張現実空間において、現実空間の現実ボルトＲＢｎの座標ＲＢＯ（ＲＢＸ１、ＲＢＹ１、ＲＢＺ１）が、仮想空間の仮想ボルトＩＢｎの座標ＩＢＯ（ＩＢＸ１、ＩＢＹ１、ＩＢＺ１）に重なっていること、あるいは、重なっていると判断できる程度に近接していることを把握する。以上説明したＡ１からＡ３は、現実空間に仮想空間を重ねて拡張現実空間を生成する過程である。この把握によって、拡張現実空間において、任意の現実ボルトＲＢｎは任意の仮想ボルトＩＢｎに一対一に対応することを再確認する。

図７に示すように、現実空間で、組立完了前の現実ボルトＲＢｎが現実部品ＲＤ２の貫通孔ＲＰｎ（ｎ＝１〜４）に差し込まれた状態のとき、現実基盤ＲＤ１にねじ込まれていない現実ボルトＲＢｎの頭部は、ねじ込まれた状態の仮想ボルトＩＢｎの頭部に重ならず、上方に少しずれた位置にある。このため、現実ボルトＲＢｎの座標の平面を示すＸ座標とＹ座標は、仮想ボルトＩＢｎの座標のそれらと実質的に重なるが、現実ボルトＲＢｎの座標の高さを示すＺ座標は、仮想ボルトＩＢｎの座標のそれと一致しない。このため、現実ボルトＲＢｎと仮想ボルトＩＢｎとの重なり判定に、重なっていると判断できる程度に近接している判定を追加して、現実ボルトＲＢｎと仮想ボルトＩＢｎとの重なりを再確認する。

Ａ４：拡張現実サーバ１２は、現実空間において、カメラ１０が撮影する作業者が現実工具のヘッド部ＲＴＨを任意の現実ボルトＲＢｎに被せた様子から、この現実ボルトＲＢｎが締結対象に選定されたことを把握する。

Ａ５：拡張現実サーバ１２は、現実空間において、カメラ１０が撮影する現実工具ＲＴに備えられる印ＲＴＭ１（ＬＥＤランプ、２次元バーコードなどの印）を基準点として、この基準点から現実工具のヘッド部ＲＴＨの座標ＲＴＨＯ（ＲＴＨＸ１、ＲＴＨＹ１、ＲＴＨＺ１）を幾何学的に算出する。

Ａ６：拡張現実サーバ１２は、現実空間において、現実工具のヘッド部ＲＴＨの座標ＲＴＨＯ（ＲＴＨＸ１、ＲＴＨＹ１、ＲＴＨＺ１）と、現実ボルトの座標ＲＢＯ（ＲＢＸ１、ＲＢＹ１、ＲＢＺ１）とを比較検証して、現実工具ＲＴのヘッド部ＲＴＨの座標ＲＴＨＯが現実ボルトの座標ＲＢＯに重なっているか、あるいは重なっていると判断できる程度の範囲内にあることを確認する。この確認によって、任意の現実ボルトＲＢｎが締結対象に選定されたことを確認する。

Ａ７：拡張現実サーバ１２は、Ａ３で現実ボルトＲＢｎ（座標ＲＢＯ）が仮想ボルトＩＢｎ（座標ＩＢＯ）に一対一に対応することを確認しているので、現実空間で現実工具のヘッド部ＲＴＨが被せられて締結対象に選定された現実ボルトＲＢｎの情報は仮想空間の仮想ボルトＩＢｎに伝達される。

以上の手順によって、現実ボルトＲＢｎに一対一に対応する仮想ボルトＩＢｎに、現実ボルトＲＢｎが締結対象に選定された情報が伝達され、締結管理情報３０等の付加情報が仮想空間の仮想ボルトＩＢｎに関連する情報として任意のサーバに蓄積することが可能となる。

さらに、Ａ５の構成を備えることによって、たとえば、現実ボルトＲＢｎが遮蔽物に隠れるため、カメラ１０が現実ボルトＲＢｎを撮影できない場合であっても、拡張現実サーバ１２は現実工具ＲＴのヘッド部ＲＴＨの座標を得ることができるので、Ａ６続いてＡ７へ進むことができる。

図１６は、工具のヘッド（ソケット）部の位置を示す複数の印を備える現実工具の一例である。現実工具ＲＴは、現実ボルトＲＢｎの頭部に被せられるヘッド部ＲＴＨと、作業者が掴む現実工具のグリップ部ＲＴＧと、ヘッド部とＲＴＨとグリップ部ＲＴＧとを接続する柄部ＲＴＥから構成される。垂直に配置された現実ボルトＲＴを締め付けるときの姿勢に配置された現実工具ＲＴの柄部ＲＴＥの上面に、柄部ＲＴＥの軸方向に沿って、印ＲＴＭ１、印ＲＴＭ３、印ＲＴＭ５が備えられる。同様の姿勢に保持された現実工具ＲＴの柄部ＲＴＥの側面に、柄部ＲＴＥの軸方向に沿って、印ＲＴＭ２、印ＲＴＭ４が備えられる。

印ＲＴＭｎ（ｎ＝１〜５）は、各印ＲＴＭｎからヘッド部ＲＴＨへ向く方向と、各印ＲＴＭｎからヘッド部ＲＴＨへ至る距離Ｌ１〜Ｌ５を示すコードを有している。このため、例えば、ヘッド部ＲＴＨから印ＲＴＭ２までの範囲が遮蔽物の陰になって、カメラ１０がヘッド部ＲＴＨを撮影できない場合であっても、カメラ１０は印ＲＴＭ３〜ＲＴＭ５を撮影することできる。例えば、カメラ１０が印ＲＴＭ３を明瞭に撮影できた場合、カメラ１０の画像を受け取った拡張現実サーバ１２は、印ＲＴＭ３が備えるコードから−ＲＸ方向に距離Ｌ３の位置にＲＺ方向に沿う軸を備えるヘッド部ＲＴＨが存在することを把握できる。

このため、拡張現実サーバ１２は、印ＲＴＭ３に基づいて得たヘッド部ＲＴＨの情報に基づいて、ヘッド部ＲＴＨの座標ＲＴＨＯ（ＲＴＨＸ１、ＲＴＨＹ１、ＲＴＨＺ１）を幾何学的に算出することができる。さらに、印ＲＴＭｎ（ｎ＝１〜３）と印ＲＴＭｎ（ｎ＝２、４）とは、柄部ＲＴＥの軸周りに９０度ずれた位置に備えられる。

このため、ＲＺ軸沿う軸を有する現実ボルトＲＢｎを締め付ける場合、拡張現実サーバ１２は、カメラ１０が撮影する印ＲＴＭｎ（ｎ＝１〜３）の情報を参照し、ＲＹ軸沿う軸を有する現実ボルトＲＢｎを締め付ける場合は主に印ＲＴＭｎ（ｎ＝２、４）の情報を参照して、ヘッド部ＲＴＨの座標を得ることができる。したがって、図１６に示す現実工具であれば、現実ボルトＲＢｎの締め付け姿勢に依らず、高い品質でヘッド部ＲＴＨの座標を得ることができる。

図１７は、拡張現実空間において現実ボルトと一対一に対応する仮想ボルトが、現実工具で締結される締結対象として確定される手順（Ｓ９０）の他の一例である。図１５で説明したプロセスと共通の事項を省略し、図１７の特有のプロセスを中心に、以下のＢ１〜Ｂ８において説明する。

Ｂ１からＢ３までは、図１５で説明したＡ１からＡ３までの記述と実質的に同じであるため、ここではその説明を省略する。

Ｂ４：拡張現実サーバ１２は、現実空間において、カメラ１０で作業者が扱う現実工具ＲＴを撮影してその形状を読み取る。

Ｂ５：拡張現実サーバ１２は、予め仮想空間（任意のサーバ）に保存してある複数の仮想工具ＩＴ（３Ｄ−ＣＡＤで作成したモデルなど）から、上述したＢ４でカメラ１０が撮影した現実工具ＲＴに一対一に対する仮想工具ＩＴを選択して拡張現実空間に呼び出す。

Ｂ６：拡張現実サーバ１２は、現実工具のヘッド部ＲＴＨの座標ＲＴＨＯ（ＲＴＨＸ１、ＲＴＨＹ１、ＲＴＨＺ１）を基準点として、拡張現実空間において、現実工具ＲＴに、Ｂ５で仮想空間から呼び出した仮想工具ＩＴを重ねる。

Ｂ７：拡張現実サーバ１２は、上述したＢ６で現実工具ＲＴに仮想工具ＩＴを重ねて仮想空間における仮想工具のヘッド部ＩＴＨの座標ＩＴＨＯ（ＩＴＨＸ１、ＩＴＨＹ１、ＩＴＨＺ１）を取得するとともに、仮想工具のヘッド部ＩＴＨの座標を取得した以降の現実工具ＲＴの動きに仮想工具ＩＴを、仮想現実空間内で追随させる。

Ｂ８：拡張現実サーバ１２は、作業者が現実工具ＲＴを現実ボルトＲＢｎに被せて締結対象に選定した時、現実工具ＲＴに追随する仮想工具ＩＴのヘッド部ＩＴＨの座標ＩＴＨＯ（ＩＴＨＸ１、ＩＴＨＹ１、ＩＴＨＺ１）と、現実ボルトＲＢｎに一対一に対応する仮想ボルトＩｂｎの座標ＩＢＯ（ＩＢＸ１、ＩＢＹ１、ＩＢＺ１）とを比較検証して、仮想工具ＩＴのヘッド部ＩＴＨの座標ＲＴＨＯが現実ボルトＲＢｎの座標ＲＢＯに重なっているか、あるいは重なっていると判断できる程度の範囲内にあることを確認する。この確認によって、任意の現実ボルトＲＢｎは締結対象として確定される。

以上のプロセスによって、拡張現実サーバ１２は、Ｂ３で現実ボルトＲＢｎ（座標ＲＢＯ）が仮想ボルトＩＢｎ（座標ＩＢＯ）に一対一に対応することを把握しているので、現実空間で現実工具のヘッド部ＲＴＨが被せられて締結対象に選定された現実ボルトＲＢｎの情報は、仮想空間の仮想ボルトＩＢｎに伝達され締結管理情報３０等の付加情報が仮想空間の仮想ボルトＩＢｎに関連する情報として任意のサーバに蓄積することが可能となる。

上述したＢ４及びＢ５では、カメラ１０が撮影した現実工具ＲＴの形状に基づいて、その現実工具ＲＴ一対一に対応する仮想工具ＩＴを呼び出している。現実工具ＲＴに、この現実工具ＲＴに対応する仮想工具ＩＴ情報を内蔵する印を貼りつけておき、カメラ１０が撮影するこの印の情報に基づいて、拡張現実サーバ１２が仮想空間から仮想工具ＩＴを仮想現実空間に呼び出してもよい。

Ｂ７の構成を備えることによって、たとえば、現実ボルトＲＢｎが遮蔽物に隠れるため、カメラ１０が現実ボルトＲＢｎを撮影できない場合であっても、拡張現実サーバ１２は現実工具ＲＴのヘッド部ＲＴＨの座標に一対一に対応する仮想工具ＩＴのヘッド部ＩＴＨの座標を得ることができるので、Ｂ７に続いてＢ８、Ｂ９へ進むことができる。

図１８は、拡張現実空間において現実ボルトと一対一に対応する仮想ボルトが、現実工具で締結される締結対象として確定される手順（Ｓ９０）の他の一例である。図１５および図１７で説明したプロセスと共通の事項を省略し、図１８の特有のプロセスを中心に、以下のＣ１〜Ｃ８において説明する。

Ｃ１からＣ３までは、図１５（図１７）で説明したＡ１（Ｂ１）からＡ３（Ｂ３）までの記述と実質的に同じであるため、ここではその説明を省略する。

Ｃ４：拡張現実サーバ１２は、カメラ１０が撮影する現実工具ＲＴに備えられる３点（現実工具のヘッド部ＲＴＨ、第１の印ＲＴＭ１、第２の印ＲＴＭ２）の印（マーカ）を撮影し、拡張現実空間において、現実工具のヘッド部ＲＴＨから下方に延伸する任意の長さの仮想線分ＩＬＨ、同様に、第１の印ＲＴＭ１の仮想線分ＩＬ１、第２の印ＲＴＭ２の仮想線分ＩＬ３を生成する。

Ｃ５：拡張現実サーバ１２は、拡張現実空間において、仮想線分ＩＬＨと、仮想線分ＩＬ１、及び仮想線分ＩＬ２の３点の終端を含む仮想平面ＩＰＬを生成する。

Ｃ６：拡張現実サーバ１２は、拡張現実空間において、ステップ７０が作業者に締結を促した仮想ボルトＩＢｎの座標ＩＢＯ（ＩＢＸ１、ＩＢＹ１、ＩＢＺ１）を通る仮想垂線ＩＺＬを生成する。

Ｃ７：拡張現実サーバ１２は、拡張現実空間において、仮想平面ＩＰＬ上の仮想線分ＩＬ１との接点ＳＩＬＨと、仮想平面ＩＰＬと仮想垂線ＩＺＬとの交点ＳＩＺＬとの仮想平面ＩＰＬ上の距離ＩＤ１を算出する。

Ｃ８：拡張現実サーバ１２は、もっとも小さく算出された距離ＩＤ１の基となった仮想垂線ＩＺＬを有する仮想ボルトＩＢｎを締結対象として確定されたと判断する。

以上のプロセスによって、拡張現実サーバ１２は、Ｃ３で現実ボルトＲＢｎ（座標ＲＢＯ）が仮想ボルトＩＢｎ（座標ＩＢＯ）に一対一に対応することを把握しているので、現実空間で現実工具のヘッド部ＲＴＨが被せられて締結対象に選定された現実ボルトＲＢｎの情報は、仮想空間の仮想ボルトＩＢｎに伝達され締結管理情報３０等の付加情報が仮想空間の仮想ボルトＩＢｎに関連する情報として任意のサーバに蓄積することが可能となる。

Ｃ４’：Ｃ４で説明した仮想平面ＩＰＬを生成する方法に代えて、仮想ボルトＩＢｎの座標ＩＢＯを含むＩＸ−ＩＹ平面を仮想平面ＩＰＬ’とし、現実工具のヘッド部ＲＴＨを通る仮想垂線ＩＬＨの仮想平面ＩＰＬ’との交点をＳＩＬＨ’とする。そして、拡張現実サーバ１２が、仮想平面ＩＰＬ’状の仮想ボルトＩＢｎの座標ＩＢＯと、交点ＳＩＬＨ’との仮想平面ＩＰＬ’上の距離ＩＤ１’を算出し、もっとも小さく算出された距離ＩＤ１’の基となった座標ＩＢＯを有する仮想ボルトＩＢｎを締結対象として確定されたと判断する。

Ｃ４の場合、作業者が現実工具ＲＴを傾けると、仮想空間ＩＰＬも現実工具ＲＴに追随して傾くため、拡張現実サーバ１２の解析負荷が大きくなるおそれがある。これに対して、Ｃ４’の場合、作業者が現実工具ＲＴを傾けたとしても、仮想平面ＩＰＬ’はその姿勢を維持して傾かず、現実工具のヘッド部ＲＴＨを通る垂線ＩＬＨ’のみがその傾斜に追随して傾く。このため、拡張現実サーバ１２の解析負荷が大きくなりにくく、小さい解析負荷で垂線ＩＬＨ’を現実工具ＲＴの傾斜に追随させることができ、仮想ボルトＩＢｎを締結対象として確定されたと判断できる。

図１９は、拡張現実空間において現実ボルトと一対一に対応する仮想ボルトが、現実工具で締結される締結対象物に確定される手順（Ｓ９０）のその他の一例である。図１５、図１７および図１８で説明したプロセスと共通の事項を省略し、図１９の特有のプロセスを中心に、以下のＤ１〜Ｄ１０において説明する。

Ｄ１からＤ３までは、図１５（図１７、１８）で説明したＡ１（Ｂ１、Ｃ１）からＡ３（Ｂ３、Ｃ３）までの記述と実質的に同じであるため、ここではその説明を省略する。

また、Ｄ４からＤ５までは、図１７で説明したＢ４からＢ５までの記述と実質的に同じであるため、ここではその説明を省略する。

Ｄ６：拡張現実サーバ１２は、図８のステップ７０で作業者に次に締結するボルトを示唆した仮想ボルトＩＢｎの座標ＩＢＯ（ＩＢＸ１、ＩＢＹ１、ＩＢＺ１）を取得する。

Ｄ７：拡張現実サーバ１２は、仮想空間において、Ｄ４で呼び出したカメラ１０が撮影した現実工具ＲＴに一対一に対応する仮想工具ＩＴを呼び出し、そのヘッド部ＩＴＨを、Ｄ６で取得した仮想ボルトＩＢｎの座標ＩＢＯ（ＩＢＸ１、ＩＢＹ１、ＩＢＺ１）に重ねる。

Ｄ８：拡張現実サーバ１２は、Ｄ４で呼び出した仮想工具ＩＴのヘッド部の垂直軸ＲＺを、Ｄ６で取得した仮想ボルトＩＢｎの座標ＩＢＯ（ＩＢＸ１、ＩＢＹ１、ＩＢＺ１）のＩＺ軸に重ねて、すなわち、両者の垂直軸を重ねた状態で、ＩＺ軸周りにＩＸ−ＩＹ平面内で旋回する。

Ｄ９：拡張現実サーバ１２は、作業者がＳ７０に従って仮想ボルトＩＢｎに対応する現実ボルトＲＢｎの頭部に、現実工具ＲＴのヘッド部ＲＴＨを重ねた時、Ｄ８で旋回する仮想工具ＩＴが現実工具ＲＴに重なる瞬間を捉える。

Ｄ１０：拡張現実サーバ１２はＤ９で旋回する仮想工具ＩＴが現実工具ＲＴに重なる瞬間を捉えた時、拡張現実サーバ１２は仮想工具ＩＴのヘッド部の座標ＩＴＨＯ（ＩＴＨＸ１、ＩＴＨＹ１、ＩＴＨＺ１）に重なった現実工具ＲＴのヘッド部の座標ＲＴＨＯ（ＲＴＨＸ１、ＲＴＨＹ１、ＲＴＨＺ１）が重なったことを判断する。
そして、拡張現実サーバ１２は、現実工具ＲＴが被せられた現実ボルトＲＢｎに一対一に対応する仮想ボルトＩｂｎの座標ＩＢＯ（ＩＢＸ１、ＩＢＹ１、ＩＢＺ１）と、仮想工具ＩＴのヘッド部ＩＴＨの座標ＲＴＨＯ（ＲＴＨＸ１、ＲＴＨＹ１、ＲＴＨＺ１）を比較検証して、仮想工具ＩＴのヘッド部ＩＴＨの座標ＲＴＨＯが仮想ボルトＩＢｎの座標ＩＢＯに重なっているか、あるいは重なっていると判断できる程度の範囲内にあることを確認する。この確認によって、任意の現実ボルトＲＢｎは締結対象として確定される。

Ｄ８の場合、拡張現実サーバ１２は、作業者が拡張現実空間内で動かす現実工具ＲＴに仮想工具ＩＴに追随させる必要がないため、拡張現実サーバ１２の解析負荷が大きくなることを抑制できる。このため、拡張現実サーバ１２の解析負荷が大きくなりにくく、小さい解析負荷で現実工具ＲＴを仮想工具ＩＲに重ねることができるので、結果的に仮想ボルトＩＢｎを締結対象として確定されたと判断できる。

以上説明したように、本発明の一態様は、現実空間に仮想空間を重ねて生成した拡張現実空間における拡張現実による機械的締結部の管理方法であって、前記現実空間は、現実締結部と、前記現実締結部に被せられる現実工具と、を含み、前記仮想空間は、仮想締結部と、前記仮想締結部に被せられる仮想工具と、を含み、前記拡張現実空間では、前記現実締結部と、前記仮想締結部と、が一対一に対応しており、前記拡張現実空間を生成する拡張現実構成システムは、前記現実空間を撮影するカメラと、前記カメラが接続するとともに前記カメラが設営する画像を解析する拡張現実サーバと、を有しており、前記管理方法は、前記現実工具のヘッド部を前記現実締結部に被せることによって前記現実締結部が締結対象に選定されるとともに、前記現実締結部が締結対象に選択された情報が前記仮想締結部に伝達される締結対象確定ステップを含む。

これにより、自動車整備などにおける機械的な締結作業において、締結部にＲＦＩＣタグ等の識別標識を付加することなく、作業の進捗状況を容易に記録することができ、高品質かつ運用コストの小さい締結作業の実施が可能となる。

また、本発明の他の態様において、前記締結対象確定ステップに続いて、前記現実工具で前記現実締結部を締結する締結ステップと、前記締結ステップで前記現実締結部を締結した締結管理情報を取得する締結管理情報取得ステップと、前記拡張現実空間において、前記締結ステップが完了した締結完了画像と、前記締結完了画像に前記締結管理情報を付加した締結管理情報付加画像を保存する締結管理情報付加画像保存ステップと、を含む。

このように、締結作業が完了した様子を示す情報及び画像を取得し、保存することによって、締結作業が確実に完了したことを記録することができ、締結作業忘れを抑制することが可能となる。

また、本発明の他の態様において、前記現実工具は、前記現実締結部のトルク情報を送受信する送受信部と、前記送受信部で得たトルク情報を表示する表示部を備えており、締結管理情報付加画像保存ステップは、前記拡張現実構成システムが、前記現実締結部が規定トルクで締結された情報が前記表示部に表示されたことを検知した後に処理される。

このように、トルク情報を取得し、表示することにより、ボルト等の機械的締結部が規定のトルクで締結されているか否かが確認でき、締結作業の品質を向上させることができる。

また、本発明の他の態様において、前記現実工具が前記現実締結部を締め始めた時に観察される初期締め付けトルクが、前記現実工具が被せれて締結対象に選定された前記現実締結部に発生したことを記録する初期締め付けトルク保存ステップを含む。

このように、初期トルクが前記現実締結部に発生したことを記録することにより、締結作業忘れを抑制することができる。

また、本発明の他の態様において、前記現実工具は、前記ヘッド部と、作業者が把持する把持部と、前記ヘッド部と前記把持部とを接続する柄部と、から構成されており、前記柄部は印を備えており、前記印は、前記印から前記ヘッド部の方向を示す方向情報と、前記印から前記ヘッド部までの距離情報と、を備える。

このように、印からヘッド部の方向を示す方向情報と、印からヘッド部までの距離情報を備えることによって、締結部の位置を示す座標を算出ことができる。

また、本発明の他の態様において、前記締結対象確定ステップは、前記拡張現実サーバが、前記カメラが撮影した前記現実空間を解析して得た前記現実締結部の位置を示す現実締結部座標と、前記カメラが撮影した前記現実空間を解析して得た前記現実工具のヘッド部の位置を示す現実工具ヘッド部座標と、を取得し、前記現実工具のヘッド部の前記現実工具ヘッド部座標が前記現実締結部の前記現実締結部座標に重なっていることを検知し、前記現実締結部が一対一に対応する前記仮想締結部に、前記現実工具のヘッド部が被せられて前記現実締結部が締結対象に選択された情報を伝達する。

このように、現実締結部の位置を示す現実締結部座標と、現実工具のヘッド部の位置を示す現実工具ヘッド部座標を取得することによって、締結対象に選択されている締結部を特定することができ、締結作業の進捗状況をリアルタイムで記録することができる。

また、本発明の他の態様において、前記締結対象確定ステップは、前記拡張現実サーバが、前記カメラが撮影した前記現実空間を解析して前記現実締結部の位置を示す現実締結部座標を取得し、前記カメラが撮影した前記現実工具に対応する前記仮想工具を前記仮想空間から前記拡張現実空間に呼び出し、前記仮想工具は、前記現実工具に重ねるとともに前記仮想工具のヘッド部の位置を示す仮想工具ヘッド部座標を取得し、前記現実工具の動きに前記仮想工具を追随させて前記現実工具のヘッド部が前記現実締結部に被せられた時、前記仮想工具のヘッド部の前記仮想工具ヘッド部座標が前記現実締結部の前記現実締結部座標に重なっていると判断し、前記現実締結部が一対一に対応する前記仮想締結部に、前記現実工具のヘッド部が被せられた前記現実締結部が締結対象に選択された情報を伝達する。

また、本発明の他の態様において、前記締結対象確定ステップは、前記拡張現実サーバが、前記カメラが撮影した前記現実空間を解析して前記現実工具のヘッド部の位置を示す現実工具ヘッド部座標を取得し、作業者に締結を促した前記仮想締結部を含む仮想水平面を生成し、前記現実工具のヘッド部の前記現実工具ヘッド部座標を通過するとともに前記仮想水平面に交わる仮想垂線を生成し、前記仮想水平面内において、前記仮想垂線が前記仮想水平面に交わる交点と、前記仮想締結部の位置を示す仮想締結部座標と、の距離を検出し、前記距離に基づいて前記現実工具のヘッド部の前記現実工具ヘッド座標が前記仮想締結部の前記仮想締結部座標に重なっていると判断し、前記現実工具のヘッド部が被せられた前記現実締結部に一対一に対応する前記仮想締結部に締結対象に選択された情報を伝達する。

また、本発明の他の態様において、前記締結対象確定ステップは、前記拡張現実サーバが、拡張現実空間において、前記カメラが撮影した前記現実工具に対応する前記仮想工具を前記仮想空間から呼び出し、前記仮想工具のヘッド部の垂直軸を作業者に締結を促した前記仮想締結部の位置を示す仮想締結部座標の垂直軸に重ねるとともに前記仮想工具を両者の垂直軸の周りに水平面内で旋回させ、前記現実工具のヘッド部が前記現実締結部に被せられた時、旋回する前記仮想工具が前記現実工具に重なる瞬間を捉えた時、前記現実工具のヘッド部が重ねられて前記現実締結部が締結対象に選択された情報を前記仮想締結部に伝達する。

これによって、締結対象に選択されている締結部が確実に締結されているか否かを判定することができ、締結作業の品質を向上させることができる。

以上、本発明の実施の形態について説明したが、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

ＲＢｎ（ｎ＝１〜４）…現実ボルト（現実空間） ＲＢＯ…現実ボルトの座標
ＩＢｎ（ｎ＝１〜４）…仮想ボルト（仮想空間） ＩＢＯ…仮想ボルトの座標
ＲＰｎ（ｎ＝１〜４）…現実部品の貫通孔（現実空間）
ＲＱｎ（ｎ＝１〜４）…現実基盤のねじ穴（現実空間）
ＡＦ…現実ボルトの軸力 ＡＦＳ…現実ボルトの規定軸力
ＲＤ１…現実基盤（現実空間） ＲＤ２…現実部品（現実空間）
ＲＭ…現実空間の基準点 ＩＭ…仮想空間の基準点
ＲＴ…現実工具 ＲＴＨ…現実工具のヘッド部
ＲＴＥ…現実工具の柄部 ＲＴＧ…現実工具のグリップ部
ＲＴＨＯ…現実工具のヘッド部の座標
ＲＴＭｎ（ｎ＝１〜５）…現実工具に付加された印（マーク）
ＩＴ…仮想工具 ＩＴＨ…仮想工具のヘッド部
ＩＴＨＯ…仮想工具のヘッド部の座標
ＩＰＬ…仮想平面 ＩＬｎ（ｎ＝１〜３）…仮想垂線（線分）
ＩＤ１…仮想平面上の距離 ＳＩＺＬ…仮想垂線と仮想平面の交点
ＳＩＬ１…仮想線分と仮想平面の接点 ＴＬ…完了締め付けトルク
ＴＳ…規定締め付けトルク ＴＢ…初期締め付けトルク
５…ネットワーク ７…ウエアラブル装置（ヘッドギア）
１０…カメラ １２…拡張現実（ＡＲ）サーバ
１４…透過型スクリーン（ＨＭＤ） ２２…設計情報サーバ
２６…作業管理サーバ ２８…トルク管理サーバ
２９…解析サーバ ３０…締結管理情報
ＲＸ，ＲＹ，ＲＺ…現実空間の座標系 ＩＸ，ＩＹ，ＩＺ…仮想空間の座標系

Claims (9)

1. 現実空間に仮想空間を重ねて生成した拡張現実空間を用いた機械的締結部の管理方法であって、
   前記現実空間は、現実締結部と、前記現実締結部に被せられる現実工具と、を含み、
   前記仮想空間は、仮想締結部と、前記仮想締結部に被せられる仮想工具と、を含み、
   前記拡張現実空間では、前記現実締結部と、前記仮想締結部と、が一対一に対応しており、
   前記拡張現実空間を生成する拡張現実構成システムは、
   前記現実空間を撮影するカメラと、
   前記カメラが接続するとともに前記カメラが設営する画像を解析する拡張現実サーバと、
   を有しており、
   前記管理方法は、
   前記現実工具のヘッド部を前記現実締結部に被せることによって、前記現実締結部が締結対象に選定されるとともに、前記現実締結部が締結対象に選択された情報が前記仮想締結部に伝達される締結対象確定ステップを含むこと
   を特徴とする拡張現実による機械的締結部の管理方法。
2. 請求項１に記載の拡張現実による機械的締結部の管理方法において、
   前記締結対象確定ステップに続いて、
   前記現実工具で前記現実締結部を締結する締結ステップと、
   前記締結ステップで前記現実締結部を締結した締結管理情報を取得する締結管理情報取得ステップと、
   前記拡張現実空間において、前記締結ステップが完了した締結完了画像と、前記締結完了画像に前記締結管理情報を付加した締結管理情報付加画像を保存する締結管理情報付加画像保存ステップと、
   を含むこと
   を特徴とする拡張現実による機械的締結部の管理方法。
3. 請求項２に記載の拡張現実による機械的締結部の管理方法において、
   前記現実工具は、
   前記現実締結部のトルク情報を送受信する送受信部と、前記送受信部で得たトルク情報を表示する表示部を備えており、
   締結管理情報付加画像保存ステップは、
   前記拡張現実構成システムが、前記現実締結部が規定トルクで締結された情報が前記表示部に表示されたことを検知した後に処理されること
   を特徴とする拡張現実による機械的締結部の管理方法。
4. 請求項３に記載の拡張現実による機械的締結部の管理方法において、
   前記現実工具が前記現実締結部を締め始めた時に観察される初期締め付けトルクが、前記現実工具が被せれて締結対象に選定された前記現実締結部に発生したことを記録する初期締め付けトルク保存ステップを含むこと
   を特徴とする拡張現実による機械的締結部の管理方法。
5. 請求項４に記載の拡張現実による機械的締結部の管理方法において、
   前記現実工具は、
   前記ヘッド部と、作業者が把持する把持部と、前記ヘッド部と前記把持部とを接続する柄部と、から構成されており、
   前記柄部は印を備えており、
   前記印は、前記印から前記ヘッド部の方向を示す方向情報と、前記印から前記ヘッド部までの距離情報と、を備えること
   を特徴とする拡張現実による機械的締結部の管理方法。
6. 請求項５に記載の拡張現実による機械的締結部の管理方法において、
   前記締結対象確定ステップは、
   前記拡張現実サーバが、
   前記カメラが撮影した前記現実空間を解析して得た前記現実締結部の位置を示す現実締結部座標と、
   前記カメラが撮影した前記現実空間を解析して得た前記現実工具のヘッド部の位置を示す現実工具ヘッド部座標と、
   を取得し、
   前記現実工具のヘッド部の前記現実工具ヘッド部座標が前記現実締結部の前記現実締結部座標に重なっていることを検知し、
   前記現実締結部が一対一に対応する前記仮想締結部に、前記現実工具のヘッド部が被せられて前記現実締結部が締結対象に選択された情報を伝達すること
   を特徴とする拡張現実による機械的締結部の管理方法。
7. 請求項５に記載の拡張現実による機械的締結部の管理方法において、
   前記締結対象確定ステップは、
   前記拡張現実サーバが、
   前記カメラが撮影した前記現実空間を解析して前記現実締結部の位置を示す現実締結部座標を取得し、
   前記カメラが撮影した前記現実工具に対応する前記仮想工具を前記仮想空間から前記拡張現実空間に呼び出し、
   前記仮想工具は、前記現実工具に重ねるとともに前記仮想工具のヘッド部の位置を示す仮想工具ヘッド部座標を取得し、
   前記現実工具の動きに前記仮想工具を追随させて前記現実工具のヘッド部が前記現実締結部に被せられた時、前記仮想工具のヘッド部の前記仮想工具ヘッド部座標が前記現実締結部の前記現実締結部座標に重なっていると判断し、
   前記現実締結部が一対一に対応する前記仮想締結部に、前記現実工具のヘッド部が被せられた前記現実締結部が締結対象に選択された情報を伝達すること
   を特徴とする拡張現実による機械的締結部の管理方法。
8. 請求項５に記載の拡張現実による機械的締結部の管理方法において、
   前記締結対象確定ステップは、
   前記拡張現実サーバが、
   前記カメラが撮影した前記現実空間を解析して前記現実工具のヘッド部の位置を示す現実工具ヘッド部座標を取得し、
   作業者に締結を促した前記仮想締結部を含む仮想水平面を生成し、
   前記現実工具のヘッド部の前記現実工具ヘッド部座標を通過するとともに前記仮想水平面に交わる仮想垂線を生成し、
   前記仮想水平面内において、前記仮想垂線が前記仮想水平面に交わる交点と、前記仮想締結部の位置を示す仮想締結部座標と、の距離を検出し、
   前記距離に基づいて前記現実工具のヘッド部の前記現実工具ヘッド部座標が前記仮想締結部の前記仮想締結部座標に重なっていると判断し、
   前記現実工具のヘッド部が被せられた前記現実締結部に一対一に対応する前記仮想締結部に締結対象に選択された情報を伝達すること
   を特徴とする拡張現実による機械的締結部の管理方法。
9. 請求項５に記載の拡張現実による機械的締結部の管理方法において、
   前記締結対象確定ステップは、
   前記拡張現実サーバが、
   拡張現実空間において、前記カメラが撮影した前記現実工具に対応する前記仮想工具を前記仮想空間から呼び出し、
   前記仮想工具のヘッド部の垂直軸を作業者に締結を促した前記仮想締結部の位置を示す仮想締結部座標の垂直軸に重ねるとともに前記仮想工具を両者の垂直軸の周りに水平面内で旋回させ、
   前記現実工具のヘッド部が前記現実締結部に被せられた時、旋回する前記仮想工具が前記現実工具に重なる瞬間を捉えた時、前記現実工具のヘッド部が重ねられて前記現実締結部が締結対象に選択された情報を前記仮想締結部に伝達すること
   を特徴とする拡張現実による機械的締結部の管理方法。

Images