WO2024128262A1

WO2024128262A1 - 変換プログラム、電子機器システム、電子機器、および変換方法

Info

Publication number: WO2024128262A1
Application number: PCT/JP2023/044679
Authority: WO
Inventors: 知巳高階; 充伊藤; 良次安藤; 俊介堀内
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2022-12-13
Filing date: 2023-12-13
Publication date: 2024-06-20
Anticipated expiration: 2025-06-13

Abstract

第１世界座標系と第１世界座標系で表示される第１物体に関する第１ローカル座標系とを有する第１電子機器と通信可能であり、第２世界座標系と第２世界座標系で表示される第２物体に関する第２ローカル座標系とを有する第２電子機器のプロセッサに、第１世界座標系から第１ローカル座標系に変換する第１変換行列と、第１世界座標系で表示される第１手の３次元データと、を第１電子機器から取得させ、第２世界座標系から第２ローカル座標系に変換する第２変換行列を算出させ、第１変換行列と第２変換行列とに基づいて、第１手の３次元データを、第２世界座標系における第１手の仮想オブジェクトに変換させ、変換された第１手の仮想オブジェクトを表示させる。

Description

変換プログラム、電子機器システム、電子機器、および変換方法

参照による取り込み

　本出願は、令和４年（２０２２年）１２月１３日に出願された日本出願である特願２０２２－１９８７６５の優先権を主張し、その内容を参照することにより、本出願に取り込む。

　本発明は、変換プログラム、電子機器システム、電子機器、および変換方法に関する。

　作業者が観察している映像を遠隔地にいる指示者に伝送し、指示者がこの映像を観察しながら三次元的な作業指示を行える画像処理装置が知られている。

特開２００６－２０９６６４号公報

　第１開示技術の変換プログラムは、第１世界座標系と前記第１世界座標系で表示される第１物体に関する第１ローカル座標系とを有する第１電子機器と通信可能であり、第２世界座標系と前記第２世界座標系で表示される第２物体に関する第２ローカル座標系とを有する第２電子機器のプロセッサに、前記第１世界座標系から前記第１ローカル座標系に変換する第１変換行列と、前記第１世界座標系で表示される第１手の３次元データと、を前記第１電子機器から取得する取得処理と、前記第２世界座標系から前記第２ローカル座標系に変換する第２変換行列を算出する算出処理と、前記取得処理によって取得された第１変換行列と前記算出処理によって算出された第２変換行列とに基づいて、前記第１手の３次元データを、前記第２世界座標系における前記第１手の仮想オブジェクトに変換する変換処理と、前記変換処理によって変換された前記第１手の仮想オブジェクトを表示する表示処理と、を実行させる。

　第２開示技術の変換プログラムは、第１世界座標系を有する第１電子機器のプロセッサに、第１物体を表示する前記第１世界座標系から前記第１物体に関する第１ローカル座標系に変換する第１変換行列を算出する算出処理と、前記算出処理によって算出された第１変換行列に基づいて前記第１世界座標系で表示された第１手を、前記第１ローカル座標系の値に変換することにより、前記第１手の３次元データを生成する生成処理と、前記生成処理によって生成された前記第１手の３次元データと、前記第１変換行列と、を、前記第１電子機器と通信可能な第２電子機器に送信する送信処理と、を実行させる。

　第３開示技術の変換プログラムは、第１世界座標系と前記第１世界座標系において操作可能な座標系のオブジェクトである第１軸オブジェクトに関する第１ローカル座標系とを有する第１電子機器と通信可能であり、第２物体を表示する第２世界座標系を有する第２電子機器のプロセッサに、前記第２世界座標系において操作可能な座標系のオブジェクトである第２軸オブジェクトを、前記第２ローカル座標系に設定する設定処理と、前記第１世界座標系から前記第１ローカル座標系に変換する第１変換行列と、前記第１世界座標系で表示される第１手の３次元データと、を前記第１電子機器から取得する取得処理と、前記第２世界座標系から前記設定処理によって設定された第２ローカル座標系に変換する第２変換行列を算出する算出処理と、前記取得処理によって取得された第１変換行列と前記算出処理によって算出された第２変換行列とに基づいて、前記第１手の３次元データを、前記第２世界座標系における前記第１手の仮想オブジェクトに変換する変換処理と、前記変換処理によって変換された前記第１手の仮想オブジェクトを表示する表示処理と、を実行させる。

　第４開示技術の変換プログラムは、第１世界座標系を有する第１電子機器のプロセッサに、前記第１世界座標系において操作可能な座標系のオブジェクトである第１軸オブジェクトを、第１ローカル座標系に設定する設定処理と、前記第１世界座標系から前記設定処理によって設定された第１ローカル座標系に変換する第１変換行列を算出する算出処理と、前記算出処理によって算出された第１変換行列に基づいて前記第１世界座標系で表示された前記第１手を、前記第１ローカル座標系の値に変換することにより、前記第１手の３次元データを生成する生成処理と、前記生成処理によって生成された前記第１手の３次元データと、前記第１変換行列と、を、前記第１電子機器と通信可能な第２電子機器に送信する送信処理と、を実行させる。

　第５開示技術の変換プログラムは、第１世界座標系と前記第１世界座標系で表示される第１手に関する第１ローカル座標系とを有する第１電子機器と通信可能であり、第２世界座標系と前記第２世界座標系とは異なる第２ローカル座標系とを有する第２電子機器のプロセッサに、前記第１世界座標系から前記第１ローカル座標系に変換する第１変換行列と、前記第１世界座標系で表示された前記第１手の３次元データと、を前記第１電子機器から取得する取得処理と、前記第２世界座標系から前記第２ローカル座標系に変換する第２変換行列を算出する第１算出処理と、前記取得処理によって取得された第１変換行列と前記第１算出処理によって算出された第２変換行列とに基づいて、前記第１手の３次元データを、前記第２世界座標系における前記第１手の仮想オブジェクトに変換する変換処理と、前記変換処理によって変換された前記第１手の仮想オブジェクトを表示する表示処理と、を実行させる。

　第６開示技術の変換プログラムは、第１世界座標系を有する第１電子機器のプロセッサに、第１手を表示する前記第１世界座標系から前記第１手に関する第１ローカル座標系に変換する第１変換行列を算出する算出処理と、前記算出処理によって算出された第１変換行列に基づいて前記第１世界座標系で表示された前記第１手を、前記第１ローカル座標系の値に変換することにより、前記第１手の３次元データを生成する生成処理と、前記生成処理によって生成された前記第１手の３次元データと、前記第１変換行列と、を、前記第１電子機器と通信可能な第２電子機器に送信する送信処理と、を実行させる。

　第７開示技術の電子機器システムは、第１世界座標系と前記第１世界座標系で表示される第１物体に関する第１ローカル座標系とを有する第１電子機器と、第２世界座標系と前記第２世界座標系で表示される第２物体に関する第２ローカル座標系とを有する第２電子機器と、が通信可能な電子機器システムであって、前記第１電子機器は、前記第１世界座標系から前記第１物体に関する第１ローカル座標系に変換する第１変換行列を算出する第１算出処理と、前記第１世界座標系で表示された前記第１手の３次元データを生成する生成処理と、前記生成処理によって生成された前記第１手の３次元データと、前記第１変換行列と、を、前記第１電子機器と通信可能な第２電子機器に送信する送信処理と、を実行し、前記第２電子機器は、前記送信処理によって送信された前記第１手の３次元データと前記第１変換行列とを前記第１電子機器から受信する受信処理と、前記第２世界座標系から前記第２ローカル座標系に変換する第２変換行列を算出する第２算出処理と、前記受信処理によって受信された第１変換行列と前記第２算出処理によって算出された第２変換行列とに基づいて、前記第１手の３次元データを、前記第２世界座標系における前記第１手の仮想オブジェクトに変換する変換処理と、前記変換処理によって変換された前記第１手の仮想オブジェクトを表示する表示処理と、を実行する。

　第８開示技術の電子機器システムは、第１世界座標系と前記第１世界座標系で表示される第１手に関する第１ローカル座標系とを有する第１電子機器と、第２世界座標系と前記第２世界座標系とは異なる第２ローカル座標系とを有する第２電子機器と、が通信可能な電子機器システムであって、前記第１電子機器は、前記第１世界座標系から前記第１手に関する第１ローカル座標系に変換する第１変換行列を算出する第１算出処理と、前記第１世界座標系で表示された前記第１手の３次元データを生成する生成処理と、前記生成処理によって生成された前記第１手の３次元データと、前記第１変換行列と、を、前記第１電子機器と通信可能な第２電子機器に送信する送信処理と、を実行し、前記第２電子機器は、前記送信処理によって送信された前記第１手の３次元データと前記第１変換行列とを前記第１電子機器から受信する受信処理と、前記第２世界座標系から前記第２ローカル座標系に変換する第２変換行列を算出する第２算出処理と、前記受信処理によって取得された第１変換行列と前記第２算出処理によって算出された第２変換行列とに基づいて、前記第１手の３次元データを、前記第２世界座標系における前記第１手の仮想オブジェクトに変換する変換処理と、前記変換処理によって変換された前記第１手の仮想オブジェクトを表示する表示処理と、を実行する。

　第９開示技術の電子機器は、第１世界座標系と前記第１世界座標系で表示される第１物体に関する第１ローカル座標系とを有する他の電子機器と通信可能であり、第２世界座標系と前記第２世界座標系で表示される第２物体に関する第２ローカル座標系とを有する電子機器であって、前記第１世界座標系から前記第１ローカル座標系に変換する第１変換行列と、前記第１世界座標系で表示される第１手の３次元データと、を前記第１電子機器から取得する取得部と、前記第２世界座標系から前記第２ローカル座標系に変換する第２変換行列を算出する算出部と、前記取得部によって取得された第１変換行列と前記算出部によって算出された第２変換行列とに基づいて、前記第１手の３次元データを、前記第２世界座標系における前記第１手の仮想オブジェクトに変換する変換部と、前記変換部によって変換された前記第１手の仮想オブジェクトを表示する表示部と、を備える。

　第１０開示技術の電子機器は、第１世界座標系と前記第１世界座標系において操作可能な座標系のオブジェクトである第１軸オブジェクトに関する第１ローカル座標系とを有する他の電子機器と通信可能であり、第２物体を表示する第２世界座標系を有する電子機器であって、前記第２世界座標系において操作可能な座標系のオブジェクトである第２軸オブジェクトを、前記第２ローカル座標系に設定する設定部と、前記第１世界座標系から前記第１ローカル座標系に変換する第１変換行列と、前記第１世界座標系で表示される第１手の３次元データと、を前記第１電子機器から取得する取得部と、前記第２世界座標系から前記設定部によって設定された第２ローカル座標系に変換する第２変換行列を算出する算出部と、前記取得部によって取得された第１変換行列と前記算出部によって算出された第２変換行列とに基づいて、前記第１手の３次元データを、前記第２世界座標系における前記第１手の仮想オブジェクトに変換する変換部と、前記変換部によって変換された前記第１手の仮想オブジェクトを表示する表示部と、を備える。

　第１１開示技術の電子機器は、第１世界座標系と前記第１世界座標系で表示される第１手に関する第１ローカル座標系とを有する他の電子機器と通信可能であり、第２世界座標系と前記第２世界座標系とは異なる第２ローカル座標系とを有する電子機器であって、前記第１世界座標系から前記第１ローカル座標系に変換する第１変換行列と、前記第１世界座標系で表示された前記第１手の３次元データと、を前記第１電子機器から取得する取得部と、前記第２世界座標系から前記第２ローカル座標系に変換する第２変換行列を算出する算出部と、前記取得部によって取得された第１変換行列と前記算出部によって算出された第２変換行列とに基づいて、前記第１手の３次元データを、前記第２世界座標系における前記第１手の仮想オブジェクトに変換する変換部と、前記変換部によって変換された前記第１手の仮想オブジェクトを表示する表示部と、を備える。

　第１２開示技術の変換方法は、第１世界座標系と前記第１世界座標系で表示される第１物体に関する第１ローカル座標系とを有する他の電子機器と通信可能であり、第２世界座標系と前記第２世界座標系で表示される第２物体に関する第２ローカル座標系とを有する電子機器が実行する変換方法であって、前記電子機器は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有し、前記プロセッサが、前記第１世界座標系から前記第１ローカル座標系に変換する第１変換行列と、前記第１世界座標系で表示される第１手の３次元データと、を前記第１電子機器から取得する取得処理と、前記第２世界座標系から前記第２ローカル座標系に変換する第２変換行列を算出する算出処理と、前記取得処理によって取得された第１変換行列と前記算出処理によって算出された第２変換行列とに基づいて、前記第１手の３次元データを、前記第２世界座標系における前記第１手の仮想オブジェクトに変換する変換処理と、前記変換処理によって変換された前記第１手の仮想オブジェクトを表示する表示処理と、を実行する。

　第１３開示技術の変換方法は、第１世界座標系と前記第１世界座標系において操作可能な座標系のオブジェクトである第１軸オブジェクトに関する第１ローカル座標系とを有する他の電子機器と通信可能であり、第２物体を表示する第２世界座標系を有する電子機器が実行する変換方法であって、前記電子機器は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有し、前記プロセッサが、前記第２世界座標系において操作可能な座標系のオブジェクトである第２軸オブジェクトを、前記第２ローカル座標系に設定する設定処理と、前記第１世界座標系から前記第１ローカル座標系に変換する第１変換行列と、前記第１世界座標系で表示される第１手の３次元データと、を前記第１電子機器から取得する取得処理と、前記第２世界座標系から前記設定処理によって設定された第２ローカル座標系に変換する第２変換行列を算出する算出処理と、前記取得処理によって取得された第１変換行列と前記算出処理によって算出された第２変換行列とに基づいて、前記第１手の３次元データを、前記第２世界座標系における前記第１手の仮想オブジェクトに変換する変換処理と、前記変換処理によって変換された前記第１手の仮想オブジェクトを表示する表示処理と、を実行する。

　第１４開示技術の変換方法は、第１世界座標系と前記第１世界座標系で表示される第１手に関する第１ローカル座標系とを有する他の電子機器と通信可能であり、第２世界座標系と前記第２世界座標系とは異なる第２ローカル座標系とを有する電子機器が実行する変換方法であって、前記電子機器は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有し、前記プロセッサが、前記第１世界座標系から前記第１ローカル座標系に変換する第１変換行列と、前記第１世界座標系で表示された前記第１手の３次元データと、を前記第１電子機器から取得する取得処理と、前記第２世界座標系から前記第２ローカル座標系に変換する第２変換行列を算出する第１算出処理と、前記取得処理によって取得された第１変換行列と前記第１算出処理によって算出された第２変換行列とに基づいて、前記第１手の３次元データを、前記第２世界座標系における前記第１手の仮想オブジェクトに変換する変換処理と、前記変換処理によって変換された前記第１手の仮想オブジェクトを表示する表示処理と、を実行する。

図１は、電子機器システムのシステム構成例を示す説明図である。図２は、手の３次元位置データおよび形状データの一例を示す説明図である。図３は、サーバのハードウェア構成例を示すブロック図である。図４は、ヘッドマウントディスプレイのハードウェア構成例を示すブロック図である。図５は、第１位置合わせ構成例を示す説明図である。図６は、第２位置合わせ構成例を示す説明図である。図７は、電子機器システムの機能的構成例を示すブロック図である。図８は、物体基準の位置合わせの詳細な処理手順例を示すフローチャートである。図９は、軸オブジェクトを含む表示例を示す説明図である。図１０は、軸オブジェクトの操作例１を示す説明図である。図１１は、軸オブジェクトの操作例２を示す説明図である。図１２は、軸オブジェクトの操作例３を示す説明図である。図１３は、軸オブジェクトの操作例４を示す説明図である。図１４は、軸オブジェクトの操作例５を示す説明図である。図１５は、軸オブジェクトの操作例６を示す説明図である。図１６は、軸オブジェクト基準における軸オブジェクトと作業対象物との位置合わせ時の音声出力例１を示す説明図である。図１７は、軸オブジェクト基準における軸オブジェクトと作業対象物との位置合わせ時の音声出力例２を示す説明図である。図１８は、実施例２にかかる軸オブジェクト基準の位置合わせ処理手順例を示すフローチャートである。図１９は、スナップ処理例１を示す説明図である。図２０は、スナップ処理例２を示す説明図である。図２１は、実施例３にかかる軸オブジェクト基準の位置合わせ処理手順例を示すフローチャートである。図２２は、ＣＤ比の変化例１を示す説明図である。図２３は、ＣＤ比の変化例２を示す説明図である。図２４は、実施例４にかかる軸オブジェクト基準の位置合わせ例を示す説明図である。図２５は、図２４に示した軸オブジェクト基準の位置合わせの詳細な処理手順例を示すフローチャートである。図２６は、実施例５にかかる基準無しの場合の位置合わせの詳細な処理手順例を示すフローチャートである。図２７は、実施例５にかかる基準無しの場合の位置合わせ例を示す説明図である。

　＜電子機器システムのシステム構成例＞
　図１は、電子機器システムのシステム構成例を示す説明図である。電子機器システム１００は、サーバ１０１と、ヘッドマウントディスプレイＤａ、Ｄｂと、複合装置１１２と、を有する。ヘッドマウントディスプレイＤａ、Ｄｂを区別しない場合は、ヘッドマウントディスプレイＤと表記する。

　サーバ１０１とヘッドマウントディスプレイＤとは、インターネット、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などのネットワーク１３０を介して通信可能に接続される。

　指示者環境１１０には、ヘッドマウントディスプレイＤａと複合装置１１２と指示者Ｓ１、Ｓ２と第１作業対象物ＴａＲとが存在する。第１作業対象物ＴａＲの末尾の「Ｒ」は実物であることを強調するために付与した符号である。他の符号においても、実物であることを強調する場合には、末尾に「Ｒ」が付与される。

　指示者Ｓ１、Ｓ２を区別しない場合は指示者Ｓと表記する。ヘッドマウントディスプレイＤａは、指示者Ｓ１が装着する表示装置である。指示者Ｓ２は、ヘッドマウントディスプレイＤを装着していない。ヘッドマウントディスプレイＤは、カメラ１０２とディスプレイ１０３とを有する。なお、指示者環境１１０における指示者は、指示者Ｓ１と指示者Ｓ２のうちいずれか１人が存在していればよい。

　複合装置１１２は、ＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）カメラとハンドトラッカとを有する。ＴＯＦカメラは、指示者Ｓ２および第１作業対象物ＴａＲに対し、撮像と撮像した３次元空間内の物体の測距とをおこなう。ハンドトラッカは、赤外線により指示者Ｓ２の手を検出し、手の形状を認識し、撮像した３次元空間内における手の関節や指先などの特徴点の座標値を取得する。

　なお、ＴＯＦカメラおよびハンドトラッカは別々に設けられていてもよい。この場合、サーバ１０１は、ＴＯＦカメラが撮像した３次元空間の座標原点を基準とするハンドトラッカの設置位置を認識しており、ハンドトラッカが検出した手の関節や指先などの特徴点の座標値をＴＯＦカメラが撮像した３次元空間内の座標値となるように補正する。

　第１作業対象物ＴａＲは、指示者Ｓが作業指示を作業者Ｗに対して操作を実演するための装置の実物であり、たとえば、工作機械である。仮想第１作業対象物ＴａＶは、第１作業対象物ＴａＲの仮想的な３次元モデル（仮想オブジェクト）であり、ヘッドマウントディスプレイＤａが生成してディスプレイ１０３に表示され、指示者Ｓ１は視認可能である。

　仮想第１作業対象物ＴａＶの末尾の「Ｖ」は仮想オブジェクトであることを強調するために付与した符号である。他の符号においても、仮想オブジェクトであることを強調する場合には、末尾に「Ｖ」が付与される。第１作業対象物ＴａＲおよび仮想第１作業対象物ＴａＶを区別しない場合は、第１作業対象物Ｔａと表記する。

　作業者環境１２０は、ヘッドマウントディスプレイＤｂと作業者Ｗと第２作業対象物ＴｂＲとが存在する。ヘッドマウントディスプレイＤｂは、作業者Ｗが装着する表示装置である。第２作業対象物ＴｂＲは、作業者Ｗが操作する装置の実物であり、たとえば、第１作業対象物ＴａＲと同種の工作機械である。

　第１作業対象物Ｔａおよび第２作業対象物Ｔｂを区別しない場合は、作業対象物Ｔと表記する。なお、指示者Ｓおよび作業者Ｗを区別しない場合は、ユーザと表記する。なお、第１作業対象物ＴａＲは、第２作業対象物ＴｂＲに対して形状等が簡略化されていてもよい。

　カメラ１０２は、可視光域の赤（Ｒ）、緑（Ｇ）、青（Ｂ）の光を電気信号に変換するとともに、たとえば、ＴＯＦ方式により被写体までの距離を取得する撮像素子（ＲＧＢ－Ｄカメラ）である。カメラ１０２は、被写体の撮像面上の平面位置と被写体までの距離とにより、被写体の３次元位置を取得する。

　ディスプレイ１０３は、表示画面を有する。また、ディスプレイ１０３の方式がビデオ透過型（ビデオシースルー）であれば、カメラ１０２で撮像または再生された動画を表示画面に表示する。一方、ディスプレイ１０３の方式が光学透過型（光学シースルー）であれば、ユーザは、目の前の実物を視認でき、それに重畳して仮想データを表示させることができる。

　図２は、手の３次元位置データおよび形状データの一例を示す説明図である。（Ａ）は、ユーザの手Ｈを撮像した３次元座標系２００における手Ｈの３次元位置データ２０１を示す。（Ｂ）は、ユーザの手Ｈを撮像した３次元座標系２００における手Ｈの形状データ２０２を示す。

　なお、指示者Ｓの手Ｈを手Ｈａと表記し、作業者Ｗの手Ｈを手Ｈｂと表記する。手Ｈの左右を区別する場合は、符号の末尾にｒ、ｌを付与する。たとえば、指示者Ｓの右手は、Ｈａｒと表記し、指示者Ｓの左手は、Ｈａｌと表記する。

　ユーザの手Ｈの３次元位置データ２０１は、画像に加えて距離情報を取得できるＲＧＢ－Ｄカメラであるカメラ１０２から取得される。ユーザの手Ｈの３次元位置データ２０１は、ユーザの手Ｈの特徴点の集合である。特徴点は３次元座標値を有する。特徴点は、たとえば、ユーザの手Ｈの指先および関節である骨格点である。特徴点は、ユーザの手Ｈの輪郭を構成する点でもよい。

　手Ｈの形状データ２０２は、手Ｈの３次元位置を示す３次元位置データ２０１から生成される。具体的には、たとえば、３次元位置データ２０１が手Ｈの骨格点の集合である場合、手Ｈの骨格に沿うように骨格点を連結し、骨格点および骨格点間のリンクに所定の幅を持たせて手Ｈの輪郭を生成することで、手Ｈの形状データ２０２が生成される。また、３次元位置データ２０１が手Ｈの輪郭を構成する点の集合である場合、隣り合う点を連結することにより、手Ｈの形状データ２０２が生成される。なお、手Ｈの仮想データとして、骨格点間のリンクに所定の幅を持たせることなく、骨格点間をリンクさせたリンクモデルとして構成してもよい。

　＜サーバ１０１のハードウェア構成例＞
　図３は、サーバ１０１のハードウェア構成例を示すブロック図である。サーバ１０１は、プロセッサ３０１と、記憶デバイス３０２と、入力デバイス３０３と、出力デバイス３０４と、通信インターフェース（通信ＩＦ）３０５と、を有する。プロセッサ３０１、記憶デバイス３０２、入力デバイス３０３、出力デバイス３０４、および通信ＩＦ３０５は、バス３０６により接続される。プロセッサ３０１は、サーバ１０１を制御する。記憶デバイス３０２は、プロセッサ３０１の作業エリアとなる。また、記憶デバイス３０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス３０２としては、たとえば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、フラッシュメモリがある。入力デバイス３０３は、データを入力する。入力デバイス３０３としては、たとえば、キーボード、マウス、タッチパネル、テンキー、スキャナ、マイク、センサがある。出力デバイス３０４は、データを出力する。出力デバイス３０４としては、たとえば、ディスプレイ、プリンタ、スピーカがある。通信ＩＦ３０５は、ネットワーク１３０と接続し、データを送受信する。

　＜ヘッドマウントディスプレイＤのハードウェア構成例＞
　図４は、ヘッドマウントディスプレイＤのハードウェア構成例を示すブロック図である。ヘッドマウントディスプレイＤは、プロセッサ３０１、記憶デバイス３０２、通信ＩＦ３０５、およびバス３０６のほか、操作デバイス４０３、ディスプレイ１０３、カメラ１０２、マイク４０４およびスピーカ４０５を有する。

　操作デバイス４０３は、指示者Ｓまたは作業者Ｗの操作により、カメラ１０２で撮像する動画の記録の開始、停止および一時停止、記録された動画の再生の開始、停止および一時停止など各種入力を受け付ける。なお、操作デバイス４０３は、カメラ１０２が撮像する静止画の記録等を受け付けてもよい。

　マイク４０４は、ヘッドマウントディスプレイＤの周囲の音声を電気信号に変換してヘッドマウントディスプレイＤ内部に入力する。スピーカ４０５は、音声に関する電気信号を音声に変換してヘッドマウントディスプレイＤ外部に出力する。

　なお、ヘッドマウントディスプレイＤ間では、直接通信されてもよく、サーバ１０１経由で通信されてもよい。

　＜物体基準の位置合わせ＞
　つぎに、指示者Ｓが作業者Ｗに指示する位置合わせ例について説明する。位置合わせ例は２つあり、一方は、指示者環境１１０および作業者環境１２０の両環境に、作業対象物Ｔが存在する場合であり（以下、第１位置合わせ構成例）、図５を用いて説明する。他方は、指示者環境１１０および作業者環境１２０のうち作業者環境１２０にのみ第２作業対象物ＴｂＲが存在する場合であり（以下、第２位置合わせ構成例）、図６を用いて説明する。

　図５は、第１位置合わせ構成例を示す説明図である。第１位置合わせ構成例では、第１作業対象物ＴａＲが存在するため、指示者Ｓ１，Ｓ２のいずれの指示者Ｓでも実演が可能である。指示者Ｓは手ＨａＲで第１作業対象物ＴａＲのある部位５１０ａＲの操作を実演する。ヘッドマウントディスプレイＤａが用いられている場合、そのカメラ１０２が手ＨａＲおよび第１作業対象物ＴａＲを撮像してディスプレイ１０３に表示する。なお、ヘッドマウントディスプレイＤａが用いられている場合であっても、複合装置１１２のＴＯＦカメラおよびハンドトラッカが手ＨａＲを撮像してもよい。

　なお、ヘッドマウントディスプレイＤｂのディスプレイ１０３の方式がビデオ透過型（ビデオシースルー）であれば、ヘッドマウントディスプレイＤｂは、第２作業対象物ＴｂＲをディスプレイ１０３に表示する。また、ヘッドマウントディスプレイＤｂは、手ＨａＲの仮想データを生成する代わりに、ヘッドマウントディスプレイＤａまたはサーバ１０１が手ＨａＲの仮想データを生成し、手ＨａＲの仮想データをヘッドマウントディスプレイＤｂに送信してもよい。また、ヘッドマウントディスプレイＤａがサーバ１０１を介さずに直接ヘッドマウントディスプレイＤｂに手ＨａＲの仮想データを送信してもよい。

　第１世界座標系５０１Ｇは、ヘッドマウントディスプレイＤａのカメラ１０２または複合装置１１２のＴＯＦカメラが撮像しディスプレイ１０３で表示する３次元空間を規定する指示者環境１１０の世界座標系である。第２世界座標系５０２Ｇは、ヘッドマウントディスプレイＤｂのカメラ１０２が撮像しディスプレイ１０３で表示する３次元空間を規定する作業者環境１２０の世界座標系である。

　ここで、指示者環境１１０から作業者環境１２０への座標変換について具体的に説明する。手ベクトルｐ_Ｓは、手ＨａＲの第１ローカル座標系５０１Ｌにおける３次元ベクトルである。手ベクトルｐ_Ｓは、手ＨａＲの形状データ２０２の特徴点ごとに存在するが、説明の便宜上、図５では、ある１つの特徴点の手ベクトルｐ_Ｓを表記する。

　ヘッドマウントディスプレイＤａは、カメラ１０２で撮像した被写体に基づいて、第１ローカル座標系５０１Ｌを決定する。具体的には、たとえば、ヘッドマウントディスプレイＤａは、カメラ１０２の撮像範囲内の被写体のうち、指示者Ｓが指定した被写体、撮像範囲の中心に位置する被写体、または、パターンマッチングにより特定の形状に該当する被写体を、第１ローカル座標系５０１Ｌの生成元となる基準被写体とする。本例では、第１作業対象物ＴａＲを基準被写体とする。

　ヘッドマウントディスプレイＤａは、基準被写体である第１作業対象物ＴａＲの特徴点を検出し、その特徴点に基づいて、第１ローカル座標系５０１Ｌを決定する。具体的には、たとえば、ヘッドマウントディスプレイＤａは、第１作業対象物ＴａＲの指示者Ｓと対面する正面の左下頂点を原点、当該左下頂点および右下頂点を結ぶ辺の方向をｘ軸、左下頂点と左上頂点を結ぶ辺の方向をｙ軸、ｘ軸およびｙ軸に直交する方向をｚ軸とする。ヘッドマウントディスプレイＤａは、このｘ軸、ｙ軸、およびｚ軸からなる座標系を第１ローカル座標系５０１Ｌに決定する。

　なお、ここでは、第１作業対象物ＴａＲの指示者Ｓと対面する正面を用いた例について説明したが、正面以外の面でもよい。また、左下頂点を原点としたが、他の頂点を原点としてもよい。

　ヘッドマウントディスプレイＤａは、第１ローカル座標系５０１Ｌの決定後、第１世界座標系５０１Ｇから第１ローカル座標系５０１Ｌへの第１変換行列Ｒｔ_Ｓ ^ＧＬを設定する。第１変換行列Ｒｔ_Ｓ ^ＧＬは、第１世界座標系５０１Ｇから第１ローカル座標系５０１Ｌへの回転および並進移動を規定する４行４列の行列である。第１変換行列Ｒｔ_Ｓ ^ＧＬは、第１ローカル座標系５０１Ｌと第１世界座標系５０１Ｇとの間の原点の位置、ｘ軸とＸ軸、ｙ軸とＹ軸、ｚ軸とｚ軸を一致させる行列である。

　ヘッドマウントディスプレイＤａは、第１世界座標系５０１Ｇで検出された手ＨａＲの形状データ２０２を取得する。手ＨａＲの形状データ２０２の各特徴点の座標値は、第１世界座標系５０１Ｇの座標値であるため、ヘッドマウントディスプレイＤａは、手ＨａＲの形状データ２０２の各特徴点の座標値を、第１変換行列Ｒｔ_Ｓ ^ＧＬを用いて、第１ローカル座標系５０１Ｌの座標値に変換し、特徴点ごとに手ベクトルｐ_Ｓを生成する。

　手ベクトルｐ_ｓの集合である手ＨａＲの形状データ２０２は、ヘッドマウントディスプレイＤａまたは複合装置１１２からサーバ１０１を介してヘッドマウントディスプレイＤｂに送信される。手ＨａＲは移動するため、ヘッドマウントディスプレイＤａは、手ベクトルｐ_ＳをヘッドマウントディスプレイＤｂに逐次送信するが、第１変換行列Ｒｔ_Ｓ ^ＧＬは固定値であるため、ヘッドマウントディスプレイＤａは、第１変換行列Ｒｔ_Ｓ ^ＧＬを初回のみ送信すればよい。

　また、ヘッドマウントディスプレイＤｂは、ヘッドマウントディスプレイＤａと同様の手法で、たとえば、第２作業対象物ＴｂＲを用いて、第２ローカル座標系５０２Ｌを設定する。ヘッドマウントディスプレイＤｂは、第２ローカル座標系５０２Ｌの決定後、第２世界座標系５０２Ｇから第２ローカル座標系５０２Ｌへの第２変換行列Ｒｔ_Ｗ ^ＧＬを設定する。第２変換行列Ｒｔ_Ｗ ^ＧＬは、第２世界座標系５０２Ｇから第２ローカル座標系５０２Ｌへの回転および並進移動を規定する４行４列の行列である。

　ヘッドマウントディスプレイＤｂは、ヘッドマウントディスプレイＤａからの手ＨａＲの形状データ２０２に基づいて、手ＨａＲの仮想データを生成し、仮想手ＨａＶとしてヘッドマウントディスプレイＤｂのディスプレイ１０３に表示する。具体的には、たとえば、ヘッドマウントディスプレイＤｂは、手ベクトルｐ_ｓと、第１変換行列Ｒｔ_Ｓ ^ＧＬと、第２変換行列Ｒｔ_Ｗ ^ＧＬと、を用いて、仮想手ＨａＶの特徴点の手ベクトルｐ_ｗを、下記式（１）により生成する。

　各特徴点の手ベクトルｐ_ｗの集合が仮想手ＨａＶとしてヘッドマウントディスプレイＤｂのディスプレイ１０３に表示される。これにより、仮想手ＨａＶおよび第２作業対象物ＴｂＲの３次元位置は、指示者Ｓの手ＨａＲおよび第１作業対象物ＴａＲの３次元位置に対応することになる。すなわち、仮想手ＨａＶで第２作業対象物ＴｂＲのある部位５１０ｂＲ（部位５１０ａＲに対応）の操作の実演が、ヘッドマウントディスプレイＤｂのディスプレイ１０３に表示される。

　図６は、第２位置合わせ構成例を示す説明図である。第２位置合わせ構成例では、第１作業対象物ＴａＲが存在しないため、指示者Ｓ１，Ｓ２のうち指示者Ｓ１のみが実演が可能である。ヘッドマウントディスプレイＤａのカメラ１０２が手ＨａＲを撮像してディスプレイ１０３に表示するとともに、ヘッドマウントディスプレイＤａの撮像範囲内に存在しない第１作業対象物ＴａＲの代わりに仮想第１作業対象物ＴａＶをディスプレイ１０３に表示する。なお、ディスプレイ１０３の方式が光学透過型（光学シースルー）であればディスプレイ１０３を透過して観察できる手ＨａＲを表示画面で視認することできる。

　図６の場合の指示者環境１１０から作業者環境１２０への座標変換は、図５に示した例と同様である。ただし、ヘッドマウントディスプレイＤａの撮像範囲内に第１作業対象物ＴａＲが存在しないため、第１世界座標系５０１Ｇでの座標値が設定された仮想第１作業対象物ＴａＶを基準被写体とすればよい。

　指示者Ｓ１は手ＨａＲで仮想第１作業対象物ＴａＶのある部位５１０ａＶの操作を実演する。手ＨａＲの形状データ２０２は、ヘッドマウントディスプレイＤａを介してヘッドマウントディスプレイＤｂに送信される。ヘッドマウントディスプレイＤｂは、手ＨａＲの形状データ２０２に基づいて、手ＨａＲの仮想データを生成し、仮想手ＨａＶとしてヘッドマウントディスプレイＤｂのディスプレイ１０３に第２作業対象物ＴｂＲとともに表示する。

　このとき、ヘッドマウントディスプレイＤｂのカメラ１０２が撮像した３次元空間を規定する第２世界座標系５０２Ｇにおける仮想手ＨａＶおよび第２作業対象物ＴｂＲの３次元位置は、ヘッドマウントディスプレイＤａのカメラ１０２が撮像した３次元空間を規定する第１世界座標系５０１Ｇにおける指示者Ｓ１の手ＨａＲおよび仮想第１作業対象物ＴａＶの３次元位置に対応する。すなわち、仮想手ＨａＶで第２作業対象物ＴｂＲのある部位５１０ｂＲ（部位５１０ａＶに対応）の操作の実演が、ヘッドマウントディスプレイＤｂのディスプレイ１０３に表示される。

　＜電子機器システム１００の機能的構成例＞
　図７は、電子機器システム１００の機能的構成例を示すブロック図である。ヘッドマウントディスプレイＤは、指示者および作業者のいずれにも使用されてもよいように、ヘッドマウントディスプレイＤａ、Ｄｂの双方で使用可能な機能として、取得部７０１、算出部７０２、変換部７０３、表示部７０４、生成部７０５、送信部７０６、設定部７０７、出力部７０８、検出部７０９、および制御部７１０を有する。ただし、ヘッドマウントディスプレイＤは、ヘッドマウントディスプレイＤａ、Ｄｂのいずれか一方でのみ使用可能な機能を有してもよい。

　また、サーバ１０１は、取得部７０１、算出部７０２、変換部７０３、表示部７０４、生成部７０５、送信部７０６、設定部７０７、出力部７０８、検出部７０９、および制御部７１０のいずれかの機能を有してもよい。このような分散処理により、サーバ１０１が、ヘッドマウントディスプレイＤに代わって当該機能を実行することができ、ヘッドマウントディスプレイＤの負荷低減を図ることができる。

　なお、取得部７０１、算出部７０２、変換部７０３、表示部７０４、生成部７０５、送信部７０６、設定部７０７、出力部７０８、検出部７０９、および制御部７１０は、具体的には、たとえば、記憶デバイス３０２に記憶されたプログラムを、プロセッサ３０１に実行させることにより実現される。

　取得部７０１は、各種データを取得する。具体的には、たとえば、取得部７０１は、サーバ１０１や他方のヘッドマウントディスプレイＤからデータを受信する。また、取得部７０１は、カメラ１０２で撮像された被写体の画像データを取得する。また、取得部７０１は、マイク４０４から音声データを取得する。また、取得部７０１は、複合装置１１２で撮像された被写体の画像データと、被写体との距離を取得する。また、取得部７０１は、複合装置１１２で検出された手の特徴点の座標値を取得する。

　算出部７０２は、行列を算出する。行列には、たとえば、第１世界座標系５０１Ｇから第１ローカル座標系５０１Ｌに変換するための第１変換行列と、第２世界座標系５０２Ｇから第２ローカル座標系５０２Ｌに変換するための第２変換行列と、オブジェクトの位置または姿勢が変更された場合に変更後の位置または姿勢のオブジェクトに変換するための補正行列と、がある。補正行列については、実施例５で後述する。

　変換部７０３は、各種データの変換を実行する。たとえば、変換部７０３は、第１変換行列と第２変換行列を用いて、手ＨａＲの形状データ２０２を、手ＨａＲの仮想データ、すなわち、仮想手ＨａＶに変換する。

　表示部７０４は、カメラ１０２または複合装置１１２で撮像された被写体の画像データ、取得部７０１によって取得された各種データ、およびヘッドマウントディスプレイＤ内で生成されたデータを表示する。

　生成部７０５は、世界座標系における手の特徴点を、ローカル座標系の値に変換することにより、手Ｈの形状データを生成する。

　送信部７０６は、データをサーバ１０１や他方のヘッドマウントディスプレイＤに送信する。送信されるデータは、たとえば、変換行列や手Ｈの形状データである。

　設定部７０７は、世界座標系において、ユーザが操作可能な座標系のオブジェクトである軸オブジェクトをローカル座標系に設定する。軸オブジェクトについては、実施例２以降で後述する。

　出力部７０８は、各種データを出力する。具体的には、たとえば、出力部７０８は、音声をスピーカ４０５から出力または停止したり、データをディスプレイに表示したりする。出力部７０８の出力内容については、実施例２で後述する。

　検出部７０９は、オブジェクトの特徴点を検出する。オブジェクトは、手Ｈや作業対象物Ｔの３次元データである。作業対象物Ｔの３次元データは、実物の作業対象物Ｔのオブジェクトでもよく、仮想オブジェクトでもよい。また、検出部７０９は、仮想手の位置または姿勢の変更操作を検出する。変更操作の検出については、実施例５で後述する。

　制御部７１０は、手Ｈのオブジェクトと軸オブジェクトとの干渉状態に応じて、軸オブジェクトの位置を制御する。制御部７１０の制御内容については、実施例２で後述する。

　図８は、図５および図６に示した物体基準の位置合わせの詳細な処理手順例を示すフローチャートである。ヘッドマウントディスプレイＤａは、第１世界座標系５０１Ｇにおける第１作業対象物Ｔａの特徴点と指示者Ｓの手ＨａＲの特徴点を検出する（ステップＳ８１１）。

　なお、第１作業対象物Ｔａの特徴点として、例えば、第１作業対象物Ｔａを構成する部品（例えば、押しボタン）や第１作業対象物Ｔａに貼付されたマークを用いてもよい。また、指示者Ｓが、予めヘッドマウントディスプレイＤａやサーバ１０１に記憶されている第１作業対象物Ｔａを指定して、カメラ１０２を用いた映像解析によりヘッドマウントディスプレイＤａが自動で第１作業対象物Ｔａを認識してもよい。また、第１作業対象物Ｔａの認識には、第１作業対象物Ｔａの形状だけでなく、色情報を用いることもできる。また、撮像した２次元画像や、それと組み合わせたデプス情報を用いて第１作業対象物Ｔａを自動で認識してもよい。

　ヘッドマウントディスプレイＤａは、第１作業対象物Ｔａの特徴点に基づいて、第１ローカル座標系５０１Ｌを設定する（ステップＳ８１２）。

　ヘッドマウントディスプレイＤａは、第１世界座標系５０１Ｇから第１ローカル座標系５０１Ｌに変換するための第１変換行列Ｒｔ_Ｓ ^ＧＬを算出する（ステップＳ８１３）。

　ヘッドマウントディスプレイＤａは、第１変換行列Ｒｔ_Ｓ ^ＧＬで指示者Ｓの手ＨａＲの特徴点を第１ローカル座標系５０１Ｌの座標値に変換して手ベクトルｐ_ｓを生成する（ステップＳ８１４）。

　ヘッドマウントディスプレイＤａは、指示者Ｓの手ＨａＲの手ベクトルｐ_ｓおよび第１変換行列Ｒｔ_Ｓ ^ＧＬをヘッドマウントディスプレイＤｂに送信する（ステップＳ８１５）。

　ヘッドマウントディスプレイＤｂは、第２世界座標系５０２Ｇにおける第２作業対象物Ｔｂの特徴点を検出する（ステップＳ８２１）。

　ヘッドマウントディスプレイＤｂは、第２作業対象物ＴｂＲの特徴点に基づいて、第２ローカル座標系５０２Ｌを設定する（ステップＳ８２２）。

　ヘッドマウントディスプレイＤｂは、第２世界座標系５０２Ｇから第２ローカル座標系５０２Ｌに変換するための第２変換行列Ｒｔ_Ｗ ^ＧＬを算出する（ステップＳ８２３）。

　ヘッドマウントディスプレイＤｂは、指示者Ｓの手ＨａＲの手ベクトルｐ_ｓおよび第１変換行列Ｒｔ_Ｓ ^ＧＬをヘッドマウントディスプレイＤａから受信する（ステップＳ８２４）。

　ヘッドマウントディスプレイＤｂは、第２変換行列Ｒｔ_Ｗ ^ＧＬ、指示者Ｓの手ＨａＲの手ベクトルｐ_ｓおよび第１変換行列Ｒｔ_Ｓ ^ＧＬを用いて、第２世界座標系５０２Ｇにおける仮想手ＨａＶを生成する（ステップＳ８２５）。

　ヘッドマウントディスプレイＤｂは、第２作業対象物ＴｂＲとともに仮想手ＨａＶを表示する（ステップＳ８２６）。

　なお、位置合わせの精度を高めるために、ヘッドマウントディスプレイＤｂは、第１作業対象物Ｔａの特徴点と、第２作業対象物（Ｔｂ）の特徴点と、を照合してもよい。具体的には、たとえば、ステップＳ８１４で、ヘッドマウントディスプレイＤａは、第１変換行列Ｒｔ_Ｓ ^ＧＬで第１作業対象物Ｔａの特徴点を第１ローカル座標系５０１Ｌの座標値に変換して第１作業対象物Ｔａのベクトルを生成し、ステップＳ８１５でヘッドマウントディスプレイＤｂに送信する。

　ヘッドマウントディスプレイＤｂは、ステップＳ８２４で第１作業対象物Ｔａのベクトルを受信して、ステップＳ８２５で、仮想手ＨａＶの生成と同様に、第２ローカル座標系５０２Ｌにおける第１作業対象物Ｔａの特徴点を生成する。

　また、ヘッドマウントディスプレイＤｂは、第２変換行列Ｒｔ_Ｗ ^ＧＬを用いて、第２作業対象物ＴｂＲの特徴点の座標値を第２世界座標系５０２Ｇから第２ローカル座標系５０２Ｌに変換する。

　ヘッドマウントディスプレイＤｂは、第２ローカル座標系５０２Ｌにおける第１作業対象物Ｔａの特徴点と、第２ローカル座標系５０２Ｌにおける第２作業対象物ＴｂＲの特徴点とを照合する。具体的には、たとえば、第１作業対象物Ｔａの正面の左下頂点と、第２作業対象物Ｔｂの形状内の特定の特徴点（たとえば、作業者Ｗからみた第２作業対象物Ｔｂの正面の左下頂点）と、を一致させた場合の両形状で近接しあう他の特徴点どうしのずれ量の総和である。両形状の差が許容範囲内であれば、照合が成功したことになり、ステップＳ８２６が実行される。両形状の差が許容範囲外であれば、照合が失敗したことにあり、ステップＳ７２６が実行されない。

　このように、実施例１によれば、指示者環境１１０において指示者Ｓが動かした手ＨａＲの３次元位置と第１作業対象物Ｔａの３次元位置との位置関係が、作業者環境１２０のヘッドマウントディスプレイＤｂのディスプレイ１０３に表示される仮想手ＨａＶの３次元位置と第２作業対象物Ｔｂの３次元位置との位置関係に対応する。

　したがって、指示者環境１１０において指示者Ｓが手ＨａＲで第１作業対象物Ｔａを操作すると、作業者環境１２０のヘッドマウントディスプレイＤｂのディスプレイ１０３においても、指示者Ｓが手ＨａＲで第１作業対象物Ｔａを操作した動作に追従して、仮想手ＨａＶが手ＨａＲに対応する位置で第２作業対象物Ｔｂを操作するように表示される。

　また、物体基準によれば、指示者Ｓは、ヘッドマウントディスプレイＤａにより、カメラ１０２で撮像する被写体を任意に選択することで、基準被写体を自由に設定することができ、第１ローカル座標系５０１Ｌの決定の容易化を図ることができる。また、軸オブジェクト基準によれば、ユーザは、軸オブジェクト９００を操作することで、任意の位置又は姿勢でローカル座標系を設定することができ、ローカル座標系の設定自由度が向上する。

　なお、ヘッドマウントディスプレイＤｂはステップＳ８２１～Ｓ８２６を実行したが、サーバ１０１がヘッドマウントディスプレイＤｂからステップＳ８２１～Ｓ８２５の実行に必要なデータを収集してステップＳ８２１～Ｓ８２５を実行し、ヘッドマウントディスプレイＤｂがステップＳ８２６を実行してもよい。

　＜軸オブジェクト基準の位置合わせ＞
　つぎに、実施例２について説明する。実施例２では、軸オブジェクト基準の位置合わせについて説明する。軸オブジェクトとは、世界座標系においてユーザが操作可能な座標系のオブジェクトである。軸オブジェクト基準の位置合わせとは、第１位置合わせ構成例（図５）および第２位置合わせ構成例（図６）において、軸オブジェクトを基準として、実物の作業対象物Ｔ間の位置合わせをおこなう処理である。軸オブジェクト基準による位置合わせについては、ヘッドマウントディスプレイＤのディスプレイ１０３の方式がビデオ透過型（ビデオシースルー）である場合に適用可能である。

　なお、ヘッドマウントディスプレイＤのディスプレイ１０３の方式が光学シースルーであっても、ヘッドマウントディスプレイＤにカメラが備えられていれば、ユーザの実物の手や第１位置合わせ構成例における実物の第１作業対象物Ｔａを画像により認識することができるため、軸オブジェクト基準による位置合わせが可能である。

　以下、実施例２について図９～図１８を用いて説明する。なお、実施例２では、実施例１との相違点について説明するため、実施例１との共通部分には同一符号を付し、その説明を省略する。

　［軸オブジェクト］
　図９は、軸オブジェクトを含む表示例を示す説明図である。軸オブジェクト９００は、ディスプレイ１０３に表示される３次元のオブジェクトである。すなわち、軸オブジェクト９００は、ヘッドマウントディスプレイＤａ、Ｄｂの各々で表示される。軸オブジェクト９００は、軸座標系９０１と、軸座標系９０１を囲うフレーム９０２と、ｘｚ平面部９０３と、つまみ９０４と、を有する。

　軸座標系９０１は、ｘ軸とｙ軸とｚ軸と原点ｏとを有する。ｘ軸、ｙ軸およびｚ軸は、互いに直交する。ｘ軸はディスプレイ１０３の横方向、ｙ軸はディスプレイ１０３の縦方向、ｚ軸はディスプレイ１０３の奥行方向を示す。原点ｏは、ｘ軸、ｙ軸およびｚ軸の交点である。ｘ軸、ｙ軸およびｚ軸の矢頭の方向が正の方向を示す。ｘ軸、ｙ軸およびｚ軸は、軸オブジェクト９００の平行移動操作を可能にする。

　フレーム９０２は、ｘｚ平面に平行な矩形と当該矩形の頂点からｙ方向に延在する線分とにより構成される。ｘｚ平面部９０３は、ｘ軸とｚ軸とにより張られるｘｚ平面のうち原点ｏを中心とする矩形を抜粋した図形である。つまみ９０４は、フレーム９０２の矩形の頂点からｙ方向に延在する線分の先端に設けられたオブジェクトであり、軸オブジェクト９００の回転操作を可能にする。

　なお、以降の図面において、実物と、実物がヘッドマウントディスプレイＤのカメラ１０２で撮像されてディスプレイ１０３に表示されるオブジェクトとを区別するため、実物の符号を（）で囲むことでオブジェクトとして表記する。たとえば、ユーザの実物の右手Ｈｒのオブジェクトは右手（Ｈｒ）と表記し、実物の左手Ｈｌのオブジェクトは左手（Ｈｌ）と表記し、実物の作業対象物Ｔのオブジェクトは作業対象物（Ｔ）と表記する。

　また、ディスプレイ１０３には、音量調節部９１０と操作速度調節部９２０とが表示される。音量調節部９１０は、ヘッドマウントディスプレイＤのスピーカ４０５から出力される音量を調節可能なグラフィックユーザインタフェースであり、スライド軸９１１とスライダ９１２とを有する。手（Ｈ）とスライダ９１２とが干渉した状態で、ユーザの手Ｈのｘ軸方向への移動により手（Ｈ）をｘ軸方向に移動させると、スピーカ４０５からの音量が増減する。

　操作速度調節部９２０は、ヘッドマウントディスプレイＤのディスプレイ１０３に表示される軸オブジェクト９００の移動速度を調節可能なグラフィックユーザインタフェースであり、スライド軸９２１とスライダ９２２とを有する。手（Ｈ）とスライダ９２２とが干渉した状態で、ユーザの手Ｈのｘ軸方向への移動により手（Ｈ）をｘ軸方向に移動させると、ユーザ操作による軸オブジェクト９００の移動速度が増減する。

　なお、操作速度調節部９２０は、手（Ｈ）の移動速度の増減も可能としてもよい。また、手（Ｈ）の移動速度の増減については、別の操作速度調節部（不図示）をディスプレイ１０３に表示してもよい。なお、グラフィックユーザインタフェースに対して、ユーザの手（Ｈ）を所定方向に動かすことで、操作を受けつけるようにしてもよい。

　また、作業対象物（Ｔ）の頂点群のうち手前側の面の左下頂点を頂点（９５０）とする。本例では、ユーザは、原点ｏを頂点（９５０）に位置合わせする。

　［軸オブジェクトの操作］
　図１０は、軸オブジェクトの操作例１を示す説明図である。図１０は、軸オブジェクト９００をｘ軸方向に平行移動させる操作例を示す。たとえば、手（Ｈｒ）がｘ軸の一部（たとえば、ｘ軸の先端（矢頭の部分））に干渉した状態で、ユーザの手Ｈｒのｘ軸方向への移動により手（Ｈｒ）をｘ軸方向に移動させると、軸オブジェクト９００がｘ軸方向に移動する。

　なお、ユーザの手Ｈｒの移動方向は、ｘ軸方向以外にもｙ軸方向やｚ軸方向も含まれる場合があるが、手（Ｈｒ）がｘ軸の一部に干渉している状態では、手（Ｈｒ）のｘ軸方向の移動成分に基づいて、軸オブジェクト９００が移動する。

　図１１は、軸オブジェクトの操作例２を示す説明図である。図１１は、軸オブジェクト９００をｙ軸方向に平行移動させる操作例を示す。たとえば、手（Ｈｒ）がｙ軸の一部（たとえば、ｙ軸の先端（矢頭の部分））に干渉した状態で、ユーザの手Ｈｒのｙ軸方向への移動により手（Ｈｒ）をｙ軸方向に移動させると、軸オブジェクト９００がｙ軸方向に移動する。

　なお、ユーザの手Ｈｒの移動方向は、ｙ軸方向以外にもｘ軸方向やｚ軸方向も含まれる場合があるが、手（Ｈｒ）がｙ軸の一部に干渉している状態では、手（Ｈｒ）のｙ軸方向の移動成分に基づいて、軸オブジェクト９００が移動する。

　図１２は、軸オブジェクトの操作例３を示す説明図である。図１２は、軸オブジェクト９００をｚ軸方向に平行移動させる操作例を示す。たとえば、手（Ｈｒ）がｚ軸の一部（たとえば、ｚ軸の先端（矢頭の部分））に干渉した状態で、ユーザの手Ｈｒのｚ軸方向への移動により手（Ｈｒ）をｚ軸方向に移動させると、軸オブジェクト９００がｚ軸方向に移動する。

　なお、ユーザの手Ｈｒの移動方向は、ｚ軸方向以外にもｘ軸方向やｙ軸方向も含まれる場合があるが、手（Ｈｒ）がｚ軸の一部に干渉している状態では、手（Ｈｒ）のｚ軸方向の移動成分に基づいて、軸オブジェクト９００が移動する。

　また、軸オブジェクト９００をｘｙ方向に移動させたい場合は、たとえば、右手（Ｈｒ）でｘ軸の一部と干渉させ、左手（Ｈｌ）でｙ軸の一部と干渉させた状態で、ユーザの手Ｈｒ、Ｈｌのｘｙ方向への移動により手（Ｈｒ）、（Ｈｌ）をｘｙ方向に移動させると、軸オブジェクト９００がｘｙ方向に移動する。

　また、軸オブジェクト９００をｘｚ方向に移動させたい場合は、たとえば、右手（Ｈｒ）でｘ軸の一部と干渉させ、左手（Ｈｌ）でｚ軸の一部と干渉させた状態で、ユーザの手Ｈｒ、Ｈｌのｘｚ方向への移動により手（Ｈｒ）、（Ｈｌ）をｘｚ方向に移動させると、軸オブジェクト９００がｘｚ方向に移動する。

　また、軸オブジェクト９００をｙｚ方向に移動させたい場合は、たとえば、右手（Ｈｒ）でｙ軸の一部と干渉させ、左手（Ｈｌ）でｚ軸の一部と干渉させた状態で、ユーザの手Ｈｒ、Ｈｌのｙｚ方向への移動により手（Ｈｒ）、（Ｈｌ）をｙｚ方向に移動させると、軸オブジェクト９００がｙｚ方向に移動する。

　なお、軸オブジェクト９００を３次空間内で自由に移動させたい場合は、自由調整モード（図示しない）を選択し、ユーザの右手（Ｈｒ）をｘ軸、ｙ軸およびｚ軸のいずれか１つの軸と干渉させた状態で、ユーザの手Ｈｒを移動させたい方向に移動させると、軸オブジェクト９００を自由な方向に移動させることもできる。

　図１３は、軸オブジェクトの操作例４を示す説明図である。図１３は、軸オブジェクト９００をｘ軸回りに回転させる操作例を示す。たとえば、手（Ｈｒ）、（Ｈｌ）が手前側の２つのつまみ９０４に干渉した状態で、ユーザの手Ｈｒ、Ｈｌのｙ軸方向への移動により手（Ｈｒ）、（Ｈｌ）をｙ軸方向に移動させると、軸オブジェクト９００がｘ軸回りに回転する。ｘ軸回りの回転方向をＲｘと表記する。

　なお、ユーザの手Ｈｒ、Ｈｌの移動方向は、ｙ軸方向以外にもｘ軸方向やｚ軸方向も含まれる場合があるが、手（Ｈｒ）、（Ｈｌ）がつまみ９０４に干渉している状態では、手（Ｈｒ）、（Ｈｌ）のｙ軸方向の移動成分に基づいて、軸オブジェクト９００がｘ軸回りに回転する。

　図１４は、軸オブジェクトの操作例５を示す説明図である。図１４は、軸オブジェクト９００をｙ軸回りに回転させる操作例を示す。たとえば、手（Ｈｒ）、（Ｈｌ）が手前側の２つのつまみ９０４に干渉した状態で、ユーザの手Ｈｒ、Ｈｌのｘ軸方向への移動により手（Ｈｒ）、（Ｈｌ）をｘ軸方向に移動させると、軸オブジェクト９００がｙ軸回りに回転する。ｙ軸回りの回転方向をＰｙと表記する。

　なお、ユーザの手Ｈｒ、Ｈｌの移動方向は、ｘ軸方向以外にもｙ軸方向やｚ軸方向も含まれる場合があるが、手（Ｈｒ）、（Ｈｌ）がつまみ９０４に干渉している状態では、手（Ｈｒ）、（Ｈｌ）のｘ軸方向の移動成分に基づいて、軸オブジェクト９００がｙ軸回りに回転する。

　図１５は、軸オブジェクトの操作例６を示す説明図である。図１５は、軸オブジェクト９００をｚ軸回りに回転させる操作例を示す。たとえば、手（Ｈｒ）、（Ｈｌ）が手前側の２つのつまみ９０４に干渉した状態で、ユーザの手Ｈｒ、Ｈｌのｚ軸回りの回転により手（Ｈｒ）、（Ｈｌ）をｚ軸回りに回転させると、軸オブジェクト９００がｚ軸回りに回転する。ｚ軸回りの回転方向をｙｚと表記する。

　なお、図１０～図１５で示した軸オブジェクト９００の操作は一例であり、異なる操作方法により、軸オブジェクト９００を並進移動させたり、回転させたりしてもよい。

　＜軸オブジェクト基準における位置合わせ時の音声出力＞
　図１６は、軸オブジェクト基準における軸オブジェクト９００と作業対象物（Ｔ）との位置合わせ時の音声出力例１を示す説明図である。図１６では、軸オブジェクト９００のｘ軸方向への移動（図１０）を例に挙げて説明するが、ｙ軸方向への移動（図１１）、ｚ軸方向への移動（図１２）、Ｒｚ方向への回転（図１３）、Ｐｙ方向への回転（図１４）、ｙｚ方向への回転（図１５）についても同様である。

　（ａ）は、図１０に示した操作による軸オブジェクト９００のｘ軸方向への移動により、原点ｏと作業対象物（Ｔ）の頂点（９５０）とが一致した状態を示す。（ｂ）は、（ａ）の状態において、ユーザが右手Ｈｒをｚ方向に移動することで、右手（Ｈｒ）をｘ軸からｚ軸方向に離間させた状態を示す。

　右手（Ｈｒ）をｘ軸からｚ軸方向に移動させる場合、その移動方向にｘ軸方向の移動成分が含まれていれば、原点ｏが作業対象物（Ｔ）の頂点（９５０）からｘ軸方向に位置ずれする。一方、実物である右手Ｈｒは軸オブジェクト９００に直接触れることができないため、ユーザは、右手Ｈｒでｘ軸からの離間を触覚で感じることができない。

　このため、ヘッドマウントディスプレイＤは、（ａ）の状態、すなわち、右手（Ｈｒ）がｘ軸と干渉している状態においては、当該干渉を示す音声ｓ１をスピーカ４０５から出力する。そして、（ａ）の状態から（ｂ）の状態に遷移すると（右手（Ｈｒ）がｘ軸から離間すると）、ヘッドマウントディスプレイＤは、出力する音声を音声ｓ１から音声ｓ２に替えてスピーカ４０５から出力する、または、音声ｓ１を停止して無音状態とする。これにより、ユーザは、右手Ｈｒでｘ軸からの離間を聴覚で認識することができる。

　図１７は、軸オブジェクト基準における軸オブジェクト９００と作業対象物（Ｔ）との位置合わせ時の音声出力例２を示す説明図である。（ｃ）は、図１０に示した操作による軸オブジェクト９００のｘ軸方向への移動状態を示す。（ｄ）は、（ｃ）の移動により、原点ｏと作業対象物（Ｔ）の頂点（９５０）とが一致した状態を示す（図１６の（ａ）と同様）。（ｅ）は、（ｄ）の状態において、ユーザが右手Ｈｒをｚ方向に移動することで、右手（Ｈｒ）をｘ軸からｚ軸方向に離間させた状態を示す（図１６の（ｂ）と同様）。

　この場合、図１６と同様に、ヘッドマウントディスプレイＤは、（ｃ）および（ｄ）の状態においては、当該干渉を示す音声ｓ１をスピーカ４０５から出力する。そして、（ｄ）の状態から（ｅ）の状態に遷移すると、ヘッドマウントディスプレイＤは、出力する音声を音声ｓ１から音声ｓ２に替えてスピーカ４０５から出力する、または、音声ｓ１を停止して無音状態とする。これにより、ユーザは、右手Ｈｒでｘ軸からの離間を聴覚で認識することができる。

　また、ヘッドマウントディスプレイＤは、（ｃ）の状態においては、当該干渉を示す音声ｓ１ａをスピーカ４０５から出力する。そして、（ｃ）の状態から（ｄ）の状態に遷移すると、ヘッドマウントディスプレイＤは、出力する音声を音声ｓ１ａから音声ｓ１ｂに替えてスピーカ４０５から出力する。

　これにより、ユーザは、原点ｏと作業対象物（Ｔ）の頂点（９５０）とが一致した状態を認識することでできる。そして、（ｄ）の状態から（ｅ）の状態に遷移すると、ヘッドマウントディスプレイＤは、出力する音声を音声ｓ１ｂから音声ｓ２に替えてスピーカ４０５から出力する、または、音声ｓ１ｂを停止して無音状態とする。これにより、ユーザは、右手Ｈｒでｘ軸方向への移動から停止、および、ｘ軸からの離間を、聴覚で認識することができる。

　＜軸オブジェクト基準の位置合わせ＞
　つぎに、軸オブジェクト基準の位置合わせについて説明する。軸オブジェクト基準の位置合わせ、すなわち、座標変換については、実施例１（図５、図６、図８）に示した内容と基本的に同一である。異なる点としては、実施例１では、ヘッドマウントディスプレイＤａは、カメラ１０２で撮像した被写体に基づいて、第１ローカル座標系５０１Ｌを決定したが、実施例２では、ヘッドマウントディスプレイＤａの軸オブジェクト９００の軸座標系９０１が第１ローカル座標系５０１Ｌとなり、ヘッドマウントディスプレイＤｂの軸オブジェクト９００の軸座標系９０１が第２ローカル座標系５０２Ｌとなる。

　［軸オブジェクト基準の位置合わせ処理手順］
　図１８は、実施例２にかかる軸オブジェクト基準の位置合わせ処理手順例を示すフローチャートである。ヘッドマウントディスプレイＤは、カメラ１０２により作業対象物Ｔとユーザの手Ｈとを含む被写体を撮像し、軸座標系９０１における作業対象物Ｔの特徴点とユーザの手Ｈの特徴点とを検出する（ステップＳ１８０１）。作業対象物Ｔの特徴点とは、たとえば、作業対象物Ｔの頂点であり、頂点（９５０）も含まれる。

　ヘッドマウントディスプレイＤは、カメラ１０２により撮像された、作業対象物（Ｔ）およびユーザの手（Ｈ）を含む被写体と、軸オブジェクト９００とを、ディスプレイ１０３に表示する（ステップＳ１８０２）。

　ヘッドマウントディスプレイＤは、軸オブジェクト９００の位置または姿勢を変更させる手（Ｈ）の第１動作の検出を試行する（ステップＳ１８０２）。第１動作とは、たとえば、図１０～図１２に示した右手（Ｈｒ）の移動による軸オブジェクト９００の移動操作または図１３～図１５に示した右手（Ｈｒ）の移動による軸オブジェクト９００の回転操作である。

　第１動作が検出されない場合（ステップＳ１８０３：Ｎｏ）、ステップＳ１８０２に戻る。第１動作が検出された場合（ステップＳ１８０３：Ｙｅｓ）、ヘッドマウントディスプレイＤは、軸オブジェクト９００を、第１動作に応じた位置または姿勢に変更して表示する（ステップＳ１８０４）。

　ヘッドマウントディスプレイＤは、音量調節部９１０のスライダ９１２の位置に応じた音量で第１音声出力制御を実行する（ステップＳ１８０５）。第１音声出力制御とは、具体的には、たとえば、図１６の（ａ）の状態での音声ｓ１の出力、図１７の（ｃ）および（ｄ）の状態での音声ｓ１の出力、図１７の（ｃ）の状態での音声ｓ１ａの出力、図１７の（ｄ）の状態での音声ｓ１ｂの出力である。

　ヘッドマウントディスプレイＤは、第１動作を終了させる第２動作の検出を試行する（ステップＳ１８０６）。第２動作は、たとえば、図１６の（ｂ）に示した軸オブジェクト９００のｘ軸から右手（Ｈｒ）を離間するユーザの手Ｈｒの動作、または、図１７の（ｅ）に示した軸オブジェクト９００のｘ軸から右手（Ｈｒ）を離間するユーザの手Ｈｒの動作である。

　第２動作が検出されない場合（ステップＳ１８０６：Ｎｏ）、ステップＳ１８０２に戻る。第２動作が検出された場合（ステップＳ１８０６：Ｙｅｓ）、ヘッドマウントディスプレイＤは、音量調節部９１０のスライダ９１２の位置に応じた音量で第２音声出力制御を実行する（ステップＳ１８０７）。

　第２音声出力制御とは、具体的には、たとえば、図１６の（ｂ）の状態での音声ｓ２の出力、図１７の（ｅ）の状態での音声ｓ１の停止および音声ｓ２の出力、図１７の（ｅ）の状態での音声ｓ１の停止（音声ｓ２は非出力）、図１７の（ｅ）の状態での音声ｓ１ｂの停止および音声ｓ２の出力、図１７の（ｅ）の状態での音声ｓ１ｂの停止（音声ｓ２は非出力）である。

　このように、ユーザは、軸オブジェクト９００の位置または姿勢の変更操作可能な部分（ｘ軸、ｙ軸、ｚ軸の各矢頭、つまみ９０４）からの手（ｈ）の離間を聴覚で認識することができる。

　ここで、指示者Ｓおよび作業者Ｗにおいて原点ｏと作業対象物（Ｔ）の頂点（９５０）とが一致した状態になったとする。この場合、ヘッドマウントディスプレイＤａ、Ｄｂ間で図８に示したような位置合わせを実行することで、指示者Ｓの仮想手ＨａＶがヘッドマウントディスプレイＤｂのディスプレイ１０３に表示される。

　このように、指示者環境１１０において指示者Ｓが動かした手ＨａＲの３次元位置と第１作業対象物Ｔａの３次元位置との位置関係が、作業者環境１２０のヘッドマウントディスプレイＤｂのディスプレイ１０３に表示される仮想手ＨａＶの３次元位置と第２作業対象物Ｔｂの３次元位置との位置関係に対応する。

　したがって、指示者環境１１０において指示者Ｓが手ＨａＲで第１作業対象物Ｔａを操作すると、作業者環境１２０のヘッドマウントディスプレイＤｂのディスプレイ１０３においても、指示者Ｓが手（Ｈａ）で第１作業対象物Ｔａを操作した動作に追従して、仮想手ＨａＶが手（Ｈａ）に対応する位置で第２作業対象物Ｔｂを操作するように表示される。

　また、上述した説明では、軸オブジェクト９００と手（Ｈ）との干渉中および軸オブジェクト９００から手（Ｈ）の離間に際し、ヘッドマウントディスプレイＤが音声出力制御をする例について説明したが、ヘッドマウントディスプレイＤは、軸オブジェクト９００と手（Ｈ）との離間状態から干渉を検出した場合に、音声ｓ１、ｓ１ａ（または音声ｓ１、ｓ１ａとは異なる音声）を出力してもよく、また音の種類の音量を変化させてもよい。これにより、ユーザは、ユーザは、軸オブジェクト９００の位置または姿勢の変更操作可能な部分（ｘ軸、ｙ軸、ｚ軸の各矢頭、つまみ９０４）への手（Ｈ）の干渉を聴覚で認識することができる。

　また、実施例２は、音声により、手（Ｈ）と軸オブジェクト９００との干渉および離間に関する情報を出力制御したが、ディスプレイ１０３での表示により、手（Ｈ）と軸オブジェクト９００との干渉および離間のうち少なくとも離間を出力制御してもよい。

　たとえば、ヘッドマウントディスプレイＤは、手（Ｈ）と干渉があった軸オブジェクト９００の位置または姿勢の変更操作可能な部分（ｘ軸、ｙ軸、ｚ軸の各矢頭、つまみ９０４）を点滅させたり、手（Ｈ）の色を変化させたり、ディスプレイ１０３上に「ｘ軸を操作可能です」といった操作可能であることを示す文字列を表示したりしてもよい。

　同様に、ヘッドマウントディスプレイＤは、手（Ｈ）から離間された軸オブジェクト９００の位置または姿勢の変更操作可能な部分（ｘ軸、ｙ軸、ｚ軸の各矢頭、つまみ９０４）の点滅を解除したり、手（Ｈ）の色変化を解除したり、ディスプレイ１０３上に「ｘ軸の操作ができなくなりました」といった操作不可であることを示す文字列を表示したりしてもよい。

　また、ヘッドマウントディスプレイＤは、上述した音声と表示について、音声および表示の両方の出力制御を実行してもよい。たとえば、軸オブジェクト９００と手（Ｈ）との干渉中は表示制御で、かつ、軸オブジェクト９００から手（Ｈ）の離間は音声出力制御（またはその逆）のように制御してもよい。

　なお、音量調節部９１０のスライダ９１２および操作速度調節部９２０のスライダ９２２のようなグラフィックユーザインタフェースと手（Ｈ）の干渉や離間についても、ヘッドマウントディスプレイＤは、軸オブジェクト９００と同様に音声や表示の出力制御を実行してもよい。また、原点ｏと作業対象物（Ｔ）の頂点（９５０）とが一致した状態になった時に、音の種類や音量を変えたり、座標軸の色を変化させたりしてもよい。

　つぎに、実施例３について説明する。実施例３は、実施例２で示した軸オブジェクト基準の位置合わせにおいて、軸オブジェクト９００をスナップさせる例である。スナップとは、２つのオブジェクトが近接した場合に一方を他方に干渉するように移動させる処理である。

　以下、実施例３について図１９～図２１を用いて説明する。なお、実施例２では、実施例１との相違点について説明するため、実施例１との共通部分には同一符号を付し、その説明を省略する。

　図１９は、スナップ処理例１を示す説明図である。（ａ）はスナップ前、（ｂ）はスナップ後を示す。スナップの一方の判定対象となる軸オブジェクト９００の部分は、たとえば、原点ｏである。スナップの他方の判定対象となる作業対象物（Ｔ）の部分は、たとえば、作業対象物（Ｔ）の頂点群（頂点（９５０）を含む）である。

　図１９では、軸オブジェクト９００のｘ軸方向への移動（図１０）の場合のスナップを例に挙げて説明するが、ｙ軸方向への移動（図１１）、ｚ軸方向への移動（図１２）、Ｒｚ方向への回転（図１３）、Ｐｙ方向への回転（図１４）、ｙｚ方向への回転（図１５）についても、スナップの方向が異なるだけでスナップの処理については同様である。

　（ａ）において、ユーザは、右手（Ｈｒ）がｘ軸の矢頭と干渉した状態で、右手Ｈｒをｘ軸方向に移動させると、右手（Ｈｒ）とともに軸オブジェクト９００がｘ軸方向に移動する。ヘッドマウントディスプレイＤは、原点ｏと、作業対象物（Ｔ）の頂点群の各頂点との距離を算出する。（ａ）では、原点ｏと頂点（９５０）との距離が最短であるとする。

　ヘッドマウントディスプレイＤは、算出距離のうち最短算出距離が所定距離以内であるか否かを判定する。所定距離以内であれば、（ｂ）に示すように、ヘッドマウントディスプレイＤは、軸オブジェクト９００を当該最短算出距離分ｘ軸方向に移動させ、原点ｏと頂点（９５０）とを一致させる。これにより、軸オブジェクト９００からの離間の際の原点ｏと頂点（９５０）との位置ずれの発生を未然に防止することができる。

　図２０は、スナップ処理例２を示す説明図である。（ｃ）は手（Ｈｒ）とｘ軸の矢頭との干渉時、（ｄ）はスナップ前、（ｅ）はスナップ後を示す。スナップの一方の判定対象となる軸オブジェクト９００の部分は、たとえば、原点ｏである。スナップの他方の判定対象となる作業対象物（Ｔ）の部分は、たとえば、作業対象物（Ｔ）の頂点群（頂点（９５０）を含む）である。

　グラフ２０００は、スナップ前後の音声出力変化を示す。グラフ２０００の横軸は時間、縦軸は音声の周波数である。時刻ｔ１で手（Ｈｒ）とｘ軸の矢頭とが干渉し、時間経過とともに、手（Ｈｒ）のｘ軸方向への移動により軸オブジェクト９００もｘ軸方向に移動する。時刻ｔ２では、ヘッドマウントディスプレイＤは、原点ｏと各頂点の算出距離のうち最短算出距離が所定距離以内でないと判定している。当該最短距離が短くなるにつれて、スピーカ４０５から出力される音声の周波数が高くなる。

　時刻ｔ３では、ヘッドマウントディスプレイＤは、原点ｏと各頂点の算出距離のうち最短算出距離が所定距離以内であると判定する。この場合、ヘッドマウントディスプレイＤは、軸オブジェクト９００を当該最短算出距離分ｘ軸方向に移動させ、原点ｏと頂点（９５０）とを一致させるスナップを実行するとともに、さらに、スナップされたことを示すために、さらに周波数が高い音声を出力する。

　これにより、軸オブジェクト９００からの離間の際の原点ｏと頂点（９５０）との位置ずれの発生を未然に防止することができるとともに、ユーザにスナップが実行されたことを音声で伝達することができる。なお、図２０では、原点ｏと最短算出距離とが短くなるにつれて音声の周波数を増加させたが、原点ｏと最短算出距離とが短くなるにつれて音声の周波数を低下させてもよい。また、周波数ではなく、音量を増減させてもよく、さらに、音のパターンを変えてもよい。

　＜軸オブジェクト基準の位置合わせ処理手順＞
　図２１は、実施例３にかかる軸オブジェクト基準の位置合わせ処理手順例を示すフローチャートである。ステップＳ１８０１～Ｓ１８０４は、実施例２と同一処理であるため、ステップＳ２１０５～Ｓ２１０８について説明する。

　ヘッドマウントディスプレイＤは、軸オブジェクト９００の原点ｏと最近接頂点（上記の例では頂点（９５０））との距離に応じた音声をスピーカ４０５から出力する（ステップＳ２１０５）。ステップＳ２１０５は、図２０の（ｃ）、（ｄ）での音声出力である。図１９のように音声出力を行わない場合は、ステップＳ２１０５は実行されない。

　ヘッドマウントディスプレイＤは、軸オブジェクト９００の原点ｏと最近接頂点との距離が所定距離以内であるか否かを判定する（ステップＳ２１０５）。所定距離以内でない場合（ステップＳ２１０６：Ｎｏ）、ステップＳ１８０２に戻る。一方、所定距離以内である場合（ステップＳ２１０６：Ｙｅｓ）、ヘッドマウントディスプレイＤは、図１９の（ｂ）および図２０の（ｅ）に示したように、軸オブジェクト９００の原点ｏが最近接頂点に一致するように軸オブジェクト９００を移動させる（ステップＳ２１０７）。

　ヘッドマウントディスプレイＤは、軸オブジェクト９００の原点ｏと最近接頂点とが一致したことを示す音声をスピーカ４０５から出力する（ステップＳ２１０８）。ステップＳ２１０５は、図２０の（ｅ）での音声出力である。図１９のように音声出力を行わない場合は、ステップＳ２１０８は実行されない。

　このように、軸オブジェクト９００の原点ｏと最近接頂点とが接近するほど出力音声の周波数を増加させることにより、ユーザに原点ｏと最近接頂点との接近具合を伝達することができる。

　なお、図２０において、図２１のステップＳ２１０６の所定距離を０とすれば、実施例２のようなスナップを実行しない構成と同じ構成になるが、音声変化は周波数依存となる。

　また、実施例３では、図２０において音声を出力することとしたが、実施例２と同様、点滅や色変化などの表示の変化により、ユーザに原点ｏと最近接頂点との接近具合を伝達してもよい。

　また、実施例２および実施例３では、グラフィックユーザインタフェースとしてディスプレイ１０３に表示された操作速度調節部９２０を用いて、手（Ｈ）による軸オブジェクト９００の操作速度を調整したが、手Ｈの向きを検出することにより、コントロールディスプレイ比（ＣＤ）を変化させてもよい。ＣＤ比とは、手（Ｈ）の移動距離と軸オブジェクト９００の移動距離との比、すなわち、
ＣＤ比＝軸オブジェクト９００の移動距離／手（Ｈ）の移動距離
である。

　図２２は、ＣＤ比の変化例１を示す説明図である。（ａ）はＣＤ比＝１（右手の甲が水平）、（ｂ）はＣＤ比＝０．５（右手の甲が指Ｆｒを回転軸として（ａ）から４５度回転）、（ｃ）はＣＤ比＝０．２５（右手の甲が指Ｆｒを回転軸として（ａ）から９０度回転）の例を示す（後述する図２３も同様）。

　（ａ）のような手Ｈｒの形状や姿勢であれば、ヘッドマウントディスプレイＤは、ＣＤ比＝１に設定する。したがって、ｘ軸の矢頭に干渉する指（Ｆｒ）は、ＣＤ比＝１となるように、移動量ｍで軸オブジェクト９００をｘ軸方向に移動させる。ｍは、指（Ｆｒ）の移動量である。

　（ｂ）のような手Ｈｒの形状や姿勢であれば、ヘッドマウントディスプレイＤは、ＣＤ比＝０．５に設定する。したがって、ｘ軸の矢頭に干渉する指（Ｆｒ）は、ＣＤ比＝０．５となるように、移動量ｍ／２で軸オブジェクト９００をｘ軸方向に移動させる。

　（ｃ）のような手Ｈｒの形状や姿勢であれば、ヘッドマウントディスプレイＤは、ＣＤ比＝０．２５に設定する。したがって、ｘ軸の矢頭に干渉する指（Ｆｒ）は、ＣＤ比＝０．２５となるように、移動量ｍ／４で軸オブジェクト９００をｘ軸方向に移動させる。

　図２３は、ＣＤ比の変化例２を示す説明図である。図２３の場合、ユーザは、軸オブジェクト９００を移動させたい方向（ｘ軸、ｙ軸、ｚ軸）を事前に指定する。図２３の例では、ｘ軸が指定されている。回転の操作方向（Ｒｘ、Ｐｙ、ｙｚ）については、たとえば、それぞれ異なるつまみ９０４の組み合わせを指定すればよい。

　操作方向が指定されると、移動量調節部２３００がヘッドマウントディスプレイＤのディスプレイ１０３に表示される。移動量調節部２３００は、ＣＤ比にしたがって、軸オブジェクト９００の移動量を調節可能なグラフィックユーザインタフェースであり、スライド軸２３０１とスライダ２３０２とを有する。指（Ｆｒ）とスライダ２３０２とが干渉した状態で、ユーザの指Ｆｒのｘ軸方向への移動により指（Ｆｒ）をｘ軸方向に移動させると、ユーザ操作による軸オブジェクト９００の移動量が増減する。

　具体的には、たとえば、（ａ）の場合、ＣＤ比＝１であるため、指（Ｆｒ）のｘ軸方向の移動量と、軸オブジェクト９００のｘ軸方向の移動量は、ともにｍとなる。（ｂ）の場合、ＣＤ比＝０．５であるため、指（Ｆｒ）のｘ軸方向の移動量がｍの場合、軸オブジェクト９００のｘ軸方向の移動量はｍ／２となる。（ｃ）の場合、ＣＤ比＝０．２５であるため、指（Ｆｒ）のｘ軸方向の移動量がｍの場合、軸オブジェクト９００のｘ軸方向の移動量はｍ／４となる。

　図２２および図２３では、軸オブジェクト９００のｘ軸方向への移動（図１０）を例に挙げて説明したが、ｙ軸方向への移動（図１１）、ｚ軸方向への移動（図１２）、Ｒｚ方向への回転（図１３）、Ｐｙ方向への回転（図１４）、ｙｚ方向への回転（図１５）についても同様である。なお、Ｒｚ方向への回転（図１３）、Ｐｙ方向への回転（図１４）、ｙｚ方向への回転（図１５）の場合は、移動量ではなく回転量となる。

　また、図２２および図２３では、右手Ｈｒの形状や姿勢でＣＤ比を設定したが、左手Ｈｌでもよい。また、手Ｈの形状ではなく、軸オブジェクト９００の位置または姿勢を変化させる部分（ｘ軸、ｙ軸、ｚ軸の各矢頭、つまみ９０４）と干渉している手（Ｈ）の一部、本例の場合、指（Ｆｒ）の爪の面積の大きさでＣＤ比を設定してもよい。すなわち、図２２および図２３の（ａ）～（ｃ）の順で爪の面積が大きいため、ヘッドマウントディスプレイＤは、爪の面積の大きさに応じてＣＤ比を設定することができる。

　また、座標軸の移動速度と移動量とを切替えるモード切替ボタン（図示しない）を備え、移動速度モードが選択された場合においては、右手Ｈｒの形状や姿勢に応じて座標軸の移動速度を変更してもよい。例えば、図２２（ａ）に示される右手Ｈｒの形状や姿勢の場合は、座標軸の移動速度を早くし、図２２（ｂ）に示される右手Ｈｒの形状や姿勢の場合は、座標軸の移動速度を遅くすることができる。

　つぎに、実施例４について説明する。実施例４は、実施例２および実施例３における軸オブジェクト基準の位置合わせ例である。

　図２４は、実施例４にかかる軸オブジェクト基準の位置合わせ例を示す説明図である。図２４では、指示者環境１１０から作業者環境１２０への座標変換について具体的に説明する。手ベクトルｐ_Ｓは、手ＨａＲの第１ローカル座標系５０１Ｌにおける３次元ベクトルである。手ベクトルｐ_Ｓは、手ＨａＲの形状データ２０２の特徴点ごとに存在するが、説明の便宜上、図２３では、ある１つの特徴点の手ベクトルｐ_Ｓを表記する。

　ヘッドマウントディスプレイＤａは、基準被写体として、設定した軸オブジェクト９００（以降、第１軸オブジェクト９００ａと表記する）を検出し、第１ローカル座標系５０１Ｌを決定する。ヘッドマウントディスプレイＤａは、第１軸オブジェクト９００ａの原点ｏ、ｘ軸、ｙ軸、およびｚ軸からなる軸座標系９０１を第１ローカル座標系５０１Ｌに決定する。

　また、ヘッドマウントディスプレイＤｂは、ヘッドマウントディスプレイＤａと同様の手法で、たとえば、軸オブジェクト９００（以降、第２軸オブジェクト９００ｂと表記する）を用いて、第２ローカル座標系５０２Ｌを設定する。ヘッドマウントディスプレイＤｂは、第２ローカル座標系５０２Ｌの決定後、第２世界座標系５０２Ｇから第２ローカル座標系５０２Ｌへの第２変換行列Ｒｔ_Ｗ ^ＧＬを設定する。第２変換行列Ｒｔ_Ｗ ^ＧＬは、第２世界座標系５０２Ｇから第２ローカル座標系５０２Ｌへの回転および並進移動を規定する４行４列の行列である。

　ヘッドマウントディスプレイＤｂは、ヘッドマウントディスプレイＤａからの手ＨａＲの形状データ２０２に基づいて、手ＨａＲの仮想データを生成し、仮想手ＨａＶとしてヘッドマウントディスプレイＤｂのディスプレイ１０３に表示する。具体的には、たとえば、ヘッドマウントディスプレイＤｂは、手ベクトルｐ_ｓと、第１変換行列Ｒｔ_Ｓ ^ＧＬと、第２変換行列Ｒｔ_Ｗ ^ＧＬと、を用いて、仮想手ＨａＶの特徴点の手ベクトルｐ_ｗを、上記式（１）により生成する。

　各特徴点の手ベクトルｐ_ｗの集合が仮想手ＨａＶとしてヘッドマウントディスプレイＤｂのディスプレイ１０３に表示される。これにより、仮想手ＨａＶおよび第２軸オブジェクト９００ｂの３次元位置は、指示者Ｓの手ＨａＲおよび第１軸オブジェクト９００ａの３次元位置に対応することになる。すなわち、仮想手ＨａＶで第２作業対象物ＴｂＲのある部位５１０ｂＲ（部位５１０ａＲに対応）の操作の実演が、ヘッドマウントディスプレイＤｂのディスプレイ１０３に表示される。

　図２５は、図２４に示した軸オブジェクト基準の位置合わせの詳細な処理手順例を示すフローチャートである。ヘッドマウントディスプレイＤａは、第１世界座標系５０１Ｇに第１軸オブジェクト９００ａを生成してディスプレイ１０３に表示させる（ステップＳ２５１０）。

　ヘッドマウントディスプレイＤａは、第１世界座標系５０１Ｇにおける第１軸オブジェクト９００ａの原点ｏとｘ軸とｙ軸とｚ軸の方向、及び指示者Ｓの手（Ｈａ）の特徴点を検出する（ステップＳ２５１１）。

　このあと、第１軸オブジェクト９００ａについて、実施例２の図１８で示した軸オブジェクト基準の位置合わせ処理または実施例３の図２１で示した軸オブジェクト基準の位置合わせ処理が実行される。

　ヘッドマウントディスプレイＤａは、第１軸オブジェクト９００ａの原点ｏとｘ軸とｙ軸とｚ軸の方向を、手（Ｈａ）の特徴点の位置および姿勢を規定する第１ローカル座標系５０１Ｌに決定する（ステップＳ２５１２）。

　ヘッドマウントディスプレイＤａは、第１世界座標系５０１Ｇから第１ローカル座標系５０１Ｌに変換するための第１変換行列Ｒｔ_Ｓ ^ＧＬを算出する（ステップＳ２５１３）。

　ヘッドマウントディスプレイＤａは、第１変換行列Ｒｔ_Ｓ ^ＧＬで指示者Ｓの手ＨａＲの特徴点を第１ローカル座標系５０１Ｌの座標値に変換して手ベクトルｐ_ｓを生成する（ステップＳ２５１４）。

　ヘッドマウントディスプレイＤａは、指示者Ｓの手（Ｈａ）の手ベクトルｐ_ｓおよび第１変換行列Ｒｔ_Ｓ ^ＧＬをヘッドマウントディスプレイＤｂに送信する（ステップＳ２５１５）。

　ヘッドマウントディスプレイＤｂは、第２世界座標系５０２Ｇに第２軸オブジェクト９００ｂを生成してディスプレイ１０３に表示させる（ステップＳ２５２０）。

　ヘッドマウントディスプレイＤｂは、第２世界座標系５０２Ｇにおける第２軸オブジェクト９００ｂの原点ｏとｘ軸、ｙ軸及びｚ軸の方向を検出する（ステップＳ２５２１）。

　このあと、第２軸オブジェクト９００ｂについて、実施例２の図１８で示した軸オブジェクト基準の位置合わせ処理または実施例３の図２１で示した軸オブジェクト基準の位置合わせ処理が実行される。

　ヘッドマウントディスプレイＤｂは、第２軸オブジェクト９００ｂの原点ｏとｘ軸、ｙ軸、及びｚ軸の方向を、第１ローカル座標系５０１Ｌに対応する第２ローカル座標系５０２Ｌに決定する（ステップＳ２５２２）。

　ヘッドマウントディスプレイＤｂは、第２世界座標系５０２Ｇから第２ローカル座標系５０２Ｌに変換するための第２変換行列Ｒｔ_Ｗ ^ＧＬを算出する（ステップＳ２５２３）。

　ヘッドマウントディスプレイＤｂは、指示者Ｓの手（Ｈａ）の手ベクトルｐ_ｓおよび第１変換行列Ｒｔ_Ｓ ^ＧＬをヘッドマウントディスプレイＤａから受信する（ステップＳ２５２４）。

　ヘッドマウントディスプレイＤｂは、第２変換行列Ｒｔ_Ｗ ^ＧＬ、指示者Ｓの手（Ｈａ）の手ベクトルｐ_ｓおよび第１変換行列Ｒｔ_Ｓ ^ＧＬを用いて、第２世界座標系５０２Ｇにおける仮想手ＨａＶを生成する（ステップＳ２５２５）。

　ヘッドマウントディスプレイＤｂは、仮想手ＨａＶを表示する（ステップＳ２５２６）。

　このように、実施例３によれば、指示者環境１１０において指示者Ｓが動かした手ＨａＲの３次元位置と、第１軸オブジェクト９００ａの３次元位置との位置関係が、作業者環境１２０のヘッドマウントディスプレイＤｂのディスプレイ１０３に表示される仮想手ＨａＶの３次元位置と第２軸オブジェクト９００ｂの３次元位置との位置関係に対応する。

　つぎに、実施例５について説明する。実施例５は、実施例１～実施例４のように座標系を定義せずに、位置合わせを実行する例である。実施例５は、第１位置合わせ構成例（図５）および第２位置合わせ構成例（図６）の場合に適用可能である。

　図２６は、実施例５にかかる基準無しの場合の位置合わせの詳細な処理手順例を示すフローチャートである。図２７は、実施例５にかかる基準無しの場合の位置合わせ例を示す説明図である。

　図２６において、ヘッドマウントディスプレイＤａは、第１世界座標系５０１Ｇにおける指示者Ｓの手ＨａＲの特徴点を検出する（ステップＳ２６１１）。

　ヘッドマウントディスプレイＤａは、指示者Ｓの手ＨａＲの特徴点に基づいて、第１ローカル座標系５０１Ｌを設定する（ステップＳ２６１２）。第１ローカル座標系５０１Ｌの原点位置は、任意の位置でよい。また、第１ローカル座標系５０１Ｌのｘ軸、ｙ軸、ｚ軸の向きも任意の向きでよい。具体的には、たとえば、ヘッドマウントディスプレイＤａは、指示者Ｓの手ＨａＲの位置を原点とし、ｘ軸、ｙ軸、ｚ軸を第１世界座標系５０１ＧのＸ軸、Ｙ軸、Ｚ軸と平行な軸としてもよい。

　ヘッドマウントディスプレイＤａは、第１世界座標系５０１Ｇから第１ローカル座標系５０１Ｌに変換するための第１変換行列Ｒｔ_Ｓ ^ＧＬを算出する（ステップＳ２６１３）。

　ヘッドマウントディスプレイＤａは、第１変換行列Ｒｔ_Ｓ ^ＧＬで指示者Ｓの手ＨａＲの特徴点を第１ローカル座標系５０１Ｌの座標値に変換して手ベクトルｐ_ｓを生成する（ステップＳ２６１４）。

　ヘッドマウントディスプレイＤａは、指示者Ｓの手ＨａＲの手ベクトルｐ_ｓおよび第１変換行列Ｒｔ_Ｓ ^ＧＬをヘッドマウントディスプレイＤｂに送信する（ステップＳ２６１５）。

　ヘッドマウントディスプレイＤｂは、第２ローカル座標系５０２Ｌを設定する（ステップＳ２６２１）。第２ローカル座標系５０２Ｌの原点位置は、任意の位置でよい。また、第２ローカル座標系５０２Ｌのｘ軸、ｙ軸、ｚ軸の向きも任意の向きでよい。具体的には、たとえば、ヘッドマウントディスプレイＤｂは、その撮像範囲の中心位置を原点とし、ｘ軸、ｙ軸、ｚ軸を第２世界座標系５０２ＧのＸ軸、Ｙ軸、Ｚ軸と平行な軸としてもよい。

　ヘッドマウントディスプレイＤｂは、第２世界座標系５０２Ｇから第２ローカル座標系５０２Ｌに変換するための第２変換行列Ｒｔ_Ｗ ^ＧＬを算出する（ステップＳ２６２２）。

　ヘッドマウントディスプレイＤｂは、指示者Ｓの手ＨａＲの手ベクトルｐ_ｓおよび第１変換行列Ｒｔ_Ｓ ^ＧＬをヘッドマウントディスプレイＤａから受信する（ステップＳ２６２３）。

　ヘッドマウントディスプレイＤｂは、第２変換行列Ｒｔ_Ｗ ^ＧＬ、指示者Ｓの手ＨａＲの手ベクトルｐ_ｓおよび第１変換行列Ｒｔ_Ｓ ^ＧＬを用いて、第２世界座標系５０２Ｇにおける仮想手ＨａＶを生成する（ステップＳ２６２５）。

　ヘッドマウントディスプレイＤｂは、仮想手ＨａＶを表示する（ステップＳ２６２５）。具体的には、たとえば、ヘッドマウントディスプレイＤｂは、第２世界座標系５０２Ｇにおける３次元位置２５０１に仮想手ＨａＶを表示する。

　ここで、指示者Ｓの手（Ｈａ）は、第１作業対象物ＴａＲのある部位５１０ａＲを操作しているが、仮想手ＨａＶは、部位５１０ａＲに対応する部位５１０ｂＲを操作する位置とは異なる３次元位置２５０１に配置されている。

　そのため、作業者Ｗは、仮想手ＨａＶを、部位５１０ａＲに対応する部位５１０ｂＲを操作する３次元位置２５０２に移動させる。この場合、ヘッドマウントディスプレイＤｂは、ヘッドマウントディスプレイＤａが指示者Ｓの手（Ｈａ）の特徴点を検出した場合と同様に、作業者Ｗの手（Ｈｂ）の第２世界座標系５０２Ｇにおける特徴点を検出して、ヘッドマウントディスプレイＤｂのディスプレイ１０３に作業者Ｗの手（Ｈｂ）を表示させる。

　作業者Ｗは、仮想手ＨａＶの位置や姿勢を変更したい場合、ヘッドマウントディスプレイＤｂの撮像範囲内で手（Ｈｂ）を動かして手（ＨｂＲ）の位置を仮想手ＨａＶの位置に合わせる。作業者Ｗが手（Ｈｂ）で特定のゼスチャをすることで、ヘッドマウントディスプレイＤｂは、手（Ｈｂ）で仮想手ＨａＶをつまむような処理を実行する。

　手（ＨｂＲ）が仮想手ＨａＶをつまんだ状態で作業者Ｗが手ＨｂＲを動かした場合、仮想手ＨａＶは、手（ＨｂＲ）に追従して移動する。ヘッドマウントディスプレイＤｂは、手（Ｈｂ）でつままれた仮想手ＨａＶの位置または／および姿勢の変更を検出する（ステップＳ２６２６）。

　ヘッドマウントディスプレイＤｂは、仮想手ＨａＶの位置または／および姿勢を変更させる補正行列Ｒｔ_ｗ ^ＬＭを算出する（ステップＳ２６２７）。補正行列Ｒｔ_ｗ ^ＬＭは、第２世界座標系５０２Ｇにおいて、仮想手ＨａＶの変更前の位置または／および姿勢から変更後の位置または／および姿勢に変換するための回転および並進移動を規定する４行４列の行列である。

　ヘッドマウントディスプレイＤｂは、補正行列Ｒｔ_ｗ ^ＬＭによる変更後の仮想手ＨａＶを表示する（ステップＳ２６２８）。具体的には、たとえば、下記式（２）により、位置または／および姿勢の変更後の仮想手ＨａＶの特徴点が算出される。

　仮想手ＨａＶの位置または／および姿勢が変更する都度、ステップＳ２６２６～Ｓ２６２７が繰り返し実行される。

　図２７では、作業者Ｗは、仮想手ＨａＶを３次元位置２５０１から３次元位置２５０２に移動させる。これにより、実施例１および実施例２のように基準がなくても仮想手ＨａＶを所望の位置に変更することができる。なお、カメラ１０２が撮像した物体の画像認識と音声認識の結果とを組み合わせて、指定したオブジェクトに仮想手ＨａＶが配置されるようにしてもよい。

　なお、本発明は上記の内容に限定されるものではなく、これらを任意に組み合わせたものであってもよい。また、本発明の技術的思想の範囲で考えられるその他の態様も本発明の範囲に含まれる。

Ｄ，Ｄａ，Ｄｂ　ヘッドマウントディスプレイ、ＨａＶ　仮想手、Ｓ，Ｓ１，Ｓ２　指示者、Ｔ，Ｔａ，Ｔｂ　作業対象物、Ｗ　作業者、１００　電子機器システム、１０１　サーバ、１０２　カメラ、１０３　ディスプレイ、１１０　指示者環境、１１２　複合装置
１２０　作業者環境、５０１Ｇ　第１世界座標系、５０１Ｌ　第１ローカル座標系、５０２Ｇ　第２世界座標系、５０２Ｌ　第２ローカル座標系、７０１　取得部、７０２　算出部、７０３　変換部、７０４　表示部、７０５　生成部、７０６　送信部、７０７　設定部、７０８　出力部、７０９　検出部、７１０　制御部、９００，９００ａ，９００ｂ　軸オブジェクト

Claims

　第１世界座標系と前記第１世界座標系で表示される第１物体に関する第１ローカル座標系とを有する第１電子機器と通信可能であり、第２世界座標系と前記第２世界座標系で表示される第２物体に関する第２ローカル座標系とを有する第２電子機器のプロセッサに、
　前記第１世界座標系から前記第１ローカル座標系に変換する第１変換行列と、前記第１世界座標系で表示される第１手の３次元データと、を前記第１電子機器から取得する取得処理と、
　前記第２世界座標系から前記第２ローカル座標系に変換する第２変換行列を算出する算出処理と、
　前記取得処理によって取得された第１変換行列と前記算出処理によって算出された第２変換行列とに基づいて、前記第１手の３次元データを、前記第２世界座標系における前記第１手の仮想オブジェクトに変換する変換処理と、
　前記変換処理によって変換された前記第１手の仮想オブジェクトを表示する表示処理と、
　を実行させる変換プログラム。
　請求項１に記載の変換プログラムであって、
　前記取得処理では、前記プロセッサに、前記第１変換行列で前記第１世界座標系から前記第１ローカル座標系の値に変換された前記第１手の３次元データを取得させる、
　変換プログラム。
　第１世界座標系を有する第１電子機器のプロセッサに、
　第１物体を表示する前記第１世界座標系から前記第１物体に関する第１ローカル座標系に変換する第１変換行列を算出する算出処理と、
　前記算出処理によって算出された第１変換行列に基づいて前記第１世界座標系で表示された第１手を、前記第１ローカル座標系の値に変換することにより、前記第１手の３次元データを生成する生成処理と、
　前記生成処理によって生成された前記第１手の３次元データと、前記第１変換行列と、を、前記第１電子機器と通信可能な第２電子機器に送信する送信処理と、
　を実行させる変換プログラム。
　請求項１または２に記載の変換プログラムであって、
　前記第１物体は、実物の物体である、
　変換プログラム。
　請求項４に記載の変換プログラムであって、
　前記実物の物体は所定のマークである、
　変換プログラム。
　請求項１または２に記載の変換プログラムであって、
　前記第１物体は、実物の物体を仮想化した仮想オブジェクトである、
　変換プログラム。
　請求項１または２に記載の変換プログラムであって、
　前記第１物体は、３次元のオブジェクトであり、
　前記プロセッサに、
　前記３次元のオブジェクトの２次元画像に基づいて、前記第１物体を検出する検出処理、
　を実行させる変換プログラム。
　請求項７に記載の変換プログラムであって、
　前記検出処理では、前記プロセッサに、前記３次元のオブジェクトの奥行情報に基づいて、前記第１物体を検出させる、
　変換プログラム。
　第１世界座標系と前記第１世界座標系において操作可能な座標系のオブジェクトである第１軸オブジェクトに関する第１ローカル座標系とを有する第１電子機器と通信可能であり、第２世界座標系を有する第２電子機器のプロセッサに、
　前記第２世界座標系において操作可能な座標系のオブジェクトである第２軸オブジェクトを、第２ローカル座標系に設定する設定処理と、
　前記第１世界座標系から前記第１ローカル座標系に変換する第１変換行列と、前記第１世界座標系で表示される第１手の３次元データと、を前記第１電子機器から取得する取得処理と、
　前記第２世界座標系から前記設定処理によって設定された第２ローカル座標系に変換する第２変換行列を算出する算出処理と、
　前記取得処理によって取得された第１変換行列と前記算出処理によって算出された第２変換行列とに基づいて、前記第１手の３次元データを、前記第２世界座標系における前記第１手の仮想オブジェクトに変換する変換処理と、
　前記変換処理によって変換された前記第１手の仮想オブジェクトを表示する表示処理と、
　を実行させる変換プログラム。
　請求項９に記載の変換プログラムであって、
　前記取得処理では、前記プロセッサに、前記第１変換行列で前記第１世界座標系から前記第１ローカル座標系の値に変換された前記第１手の３次元データを取得させる、
　変換プログラム。
　請求項９に記載の変換プログラムであって、
　前記第２軸オブジェクトは、前記第２世界座標系に表示された前記第２電子機器の装着者の第２手のオブジェクトにより移動または回転可能である、
　変換プログラム。
　請求項９に記載の変換プログラムであって、
　前記プロセッサに、
　前記第２世界座標系に表示された前記第２電子機器の装着者の第２手のオブジェクトが前記第２軸オブジェクトと干渉している干渉状態と、前記第２手のオブジェクトが前記第２軸オブジェクトと前記干渉状態とが離間した離間状態と、で異なる出力制御を実行する出力処理、
を実行させる変換プログラム。
　請求項１２に記載の変換プログラムであって、
　前記出力処理では、前記プロセッサに、前記干渉状態から前記離間状態に遷移する場合、前記干渉状態での出力を停止させる、
　変換プログラム。
　請求項９に記載の変換プログラムであって、
　前記プロセッサに、
　前記第２世界座標系に表示された前記第２電子機器の装着者の第２手のオブジェクトで前記第２軸オブジェクトを操作する第１操作状態と、前記第１操作状態の後に前記第２手のオブジェクトで前記第２軸オブジェクトを操作する第２操作状態と、で異なる制御を実行する出力処理、
を実行させる変換プログラム。
　請求項９に記載の変換プログラムであって、
　前記プロセッサに、
　前記第２電子機器が有する撮像部で物体および第２手が撮像されて、前記第２世界座標系に表示された前記物体のオブジェクトの特徴点および前記第２手のオブジェクトの特徴点を検出する検出処理と、
　前記第２手のオブジェクトが前記第２軸オブジェクトと干渉している干渉状態において、前記第２軸オブジェクトと前記物体のオブジェクトの特徴点との距離に基づいて、前記第２軸オブジェクトの位置を制御する制御処理と、
　を実行させる変換プログラム。
　請求項１５に記載の変換プログラムであって、
　前記制御処理では、前記プロセッサに、前記第２軸オブジェクトと前記物体のオブジェクトの特徴点との距離が所定距離以内である場合、前記第２軸オブジェクトを前記物体のオブジェクトの特徴点に移動させる、
　変換プログラム。
　請求項９に記載の変換プログラムであって、
　前記プロセッサに、
　前記第２電子機器が有する撮像部で物体および第２手が撮像されて、前記第２世界座標系に表示された前記物体のオブジェクトの特徴点および前記第２手のオブジェクトの特徴点を検出する検出処理と、
　前記第２手のオブジェクトが前記第２軸オブジェクトと干渉している干渉状態において、前記第２軸オブジェクトと前記物体のオブジェクトの特徴点との距離に基づいて、音声を出力制御する出力処理と、
　を実行させる変換プログラム。
　請求項１７に記載の変換プログラムであって、
　前記出力処理では、前記プロセッサに、前記第２軸オブジェクトと前記物体のオブジェクトの特徴点との距離が短くなるほど音声の特徴量を増加するように出力制御させる、
　変換プログラム。
　請求項１７に記載の変換プログラムであって、
　前記プロセッサに、
　前記第２手のオブジェクトが前記第２軸オブジェクトと干渉している干渉状態において、前記第２軸オブジェクトと前記物体のオブジェクトの特徴点との距離に基づいて、前記第２軸オブジェクトの位置を制御する制御処理を実行させ、
　前記出力処理では、前記プロセッサに、前記制御処理によって前記第２軸オブジェクトの位置が制御された場合、前記制御処理による制御前とは異なる音声を出力させる、
　変換プログラム。
　請求項９に記載の変換プログラムであって、
　前記プロセッサに、
　前記第２電子機器が有する撮像部で第２手が撮像されて、前記第２世界座標系に表示された前記第２手のオブジェクトの特徴点を検出する検出処理を実行させ、
　前記第２手のオブジェクトの姿勢に基づいて、前記第２軸オブジェクトの移動量が設定される、
　変換プログラム。
　請求項２０に記載の変換プログラムであって、
　前記プロセッサに、
　前記第２手のオブジェクトの姿勢に基づいて、前記第２軸オブジェクトの所定方向への移動量の制御比率を設定する比率設定処理と、
　前記比率設定処理によって設定された制御比率で前記第２軸オブジェクトを前記所定方向に移動させる移動処理と、
　を実行させる変換プログラム。
　第１世界座標系を有する第１電子機器のプロセッサに、
　前記第１世界座標系において操作可能な座標系のオブジェクトである第１軸オブジェクトを、第１ローカル座標系に設定する設定処理と、
　前記第１世界座標系から前記設定処理によって設定された第１ローカル座標系に変換する第１変換行列を算出する算出処理と、
　前記算出処理によって算出された第１変換行列に基づいて前記第１世界座標系で表示された第１手を、前記第１ローカル座標系の値に変換することにより、前記第１手の３次元データを生成する生成処理と、
　前記生成処理によって生成された前記第１手の３次元データと、前記第１変換行列と、を、前記第１電子機器と通信可能な第２電子機器に送信する送信処理と、
　を実行させる変換プログラム。
　請求項２２に記載の変換プログラムであって、
　前記第１軸オブジェクトは、前記第１世界座標系に表示された前記第１手のオブジェクトにより移動または回転可能である、
　変換プログラム。
　請求項２２に記載の変換プログラムであって、
　前記プロセッサに、
　前記第１手のオブジェクトが前記第１軸オブジェクトと干渉している干渉状態と、前記第１手のオブジェクトが前記第１軸オブジェクトと前記干渉状態とが離間した離間状態と、で異なる出力制御を実行する出力処理、
　を実行させる変換プログラム。
　請求項２４に記載の変換プログラムであって、
　前記出力処理では、前記プロセッサに、前記干渉状態から前記離間状態に遷移する場合、前記干渉状態での出力を停止させる、
　変換プログラム。
　請求項２２に記載の変換プログラムであって、
　前記プロセッサに、
　前記第１手のオブジェクトで前記第１軸オブジェクトを操作する第１操作状態と、前記第１操作状態の後に前記第１手のオブジェクトで前記第１軸オブジェクトを操作する第２操作状態と、で異なる制御を実行する出力処理、
　を実行させる変換プログラム。
　請求項２２に記載の変換プログラムであって、
　前記プロセッサに、
　前記第１電子機器が有する撮像部で第１物体が撮像されて、前記第１世界座標系に表示された前記第１物体のオブジェクトの特徴点を検出する検出処理と、
　前記第１手のオブジェクトが前記第１軸オブジェクトと干渉している干渉状態において、前記第１軸オブジェクトと前記第１物体のオブジェクトの特徴点との距離に基づいて、前記第１軸オブジェクトの位置を制御する制御処理と、
　を実行させる変換プログラム。
　請求項２７に記載の変換プログラムであって、
　前記制御処理では、前記プロセッサに、前記第１軸オブジェクトと前記第１物体のオブジェクトの特徴点との距離が所定距離以内である場合、前記第１軸オブジェクトを前記第１物体のオブジェクトの特徴点に移動させる、
　変換プログラム。
　請求項２２に記載の変換プログラムであって、
　前記プロセッサに、
　前記第１電子機器が有する撮像部で第１物体が撮像されて、前記第１世界座標系に表示された前記第１物体のオブジェクトの特徴点を検出する検出処理と、
　前記第１手のオブジェクトが前記第１軸オブジェクトと干渉している干渉状態において、前記第１軸オブジェクトと前記第１物体のオブジェクトの特徴点との距離に基づいて、音声を出力制御する出力処理と、
　を実行させる変換プログラム。
　請求項２９に記載の変換プログラムであって、
　前記出力処理では、前記プロセッサに、前記第１軸オブジェクトと前記第１物体のオブジェクトの特徴点との距離が短くなるほど音声の特徴量を増加するように出力制御させる、
　変換プログラム。
　請求項２９に記載の変換プログラムであって、
　前記プロセッサに、
　前記第１手のオブジェクトが前記第１軸オブジェクトと干渉している干渉状態において、前記第１軸オブジェクトと前記第１物体のオブジェクトの特徴点との距離に基づいて、前記第１軸オブジェクトの位置を制御する制御処理を実行させ、
　前記出力処理では、前記プロセッサに、前記制御処理によって前記第１軸オブジェクトの位置が制御された場合、前記制御処理による制御前とは異なる音声を出力させる、
　変換プログラム。
　請求項２２に記載の変換プログラムであって、
　前記第１手のオブジェクトの姿勢に基づいて、前記第１軸オブジェクトの移動量が設定される、
　変換プログラム。
　請求項３２に記載の変換プログラムであって、
　前記プロセッサに、
　前記第１手のオブジェクトの姿勢に基づいて、前記第１軸オブジェクトの所定方向への移動量の制御比率を設定する比率設定処理と、
　前記比率設定処理によって設定された制御比率で前記第１軸オブジェクトを前記所定方向に移動させる移動処理と、
　を実行させる変換プログラム。
　第１世界座標系と前記第１世界座標系で表示される第１手に関する第１ローカル座標系とを有する第１電子機器と通信可能であり、第２世界座標系と前記第２世界座標系とは異なる第２ローカル座標系とを有する第２電子機器のプロセッサに、
　前記第１世界座標系から前記第１ローカル座標系に変換する第１変換行列と、前記第１世界座標系で表示された前記第１手の３次元データと、を前記第１電子機器から取得する取得処理と、
　前記第２世界座標系から前記第２ローカル座標系に変換する第２変換行列を算出する第１算出処理と、
　前記取得処理によって取得された第１変換行列と前記第１算出処理によって算出された第２変換行列とに基づいて、前記第１手の３次元データを、前記第２世界座標系における前記第１手の仮想オブジェクトに変換する変換処理と、
　前記変換処理によって変換された前記第１手の仮想オブジェクトを表示する表示処理と、
　を実行させる変換プログラム。
　請求項３４に記載の変換プログラムであって、
　前記取得処理では、前記プロセッサに、前記第１変換行列で前記第１世界座標系から前記第１ローカル座標系の値に変換された第１手の３次元データを取得させる、
変換プログラム。
　請求項３４に記載の変換プログラムであって、
　前記プロセッサに、
　前記第２世界座標系に表示された第２手のオブジェクトによる前記第１手の仮想オブジェクトの位置または姿勢の変更操作を検出する検出処理と、
　前記第１手の仮想オブジェクトの位置または姿勢を、前記検出処理によって検出された変更操作による変更後の位置または姿勢に補正する補正行列を算出する第２算出処理と、
　前記第１変換行列と前記第２変換行列と前記第２算出処理によって算出された補正行列とに基づいて、前記第１手の仮想オブジェクトを、前記変更操作による変更後の位置または姿勢で表示する表示処理と、
　を実行させる変換プログラム。
　第１世界座標系を有する第１電子機器のプロセッサに、
　第１手を表示する前記第１世界座標系から前記第１手に関する第１ローカル座標系に変換する第１変換行列を算出する算出処理と、
　前記算出処理によって算出された第１変換行列に基づいて前記第１世界座標系で表示された前記第１手を、前記第１ローカル座標系の値に変換することにより、前記第１手の３次元データを生成する生成処理と、
　前記生成処理によって生成された前記第１手の３次元データと、前記第１変換行列と、を、前記第１電子機器と通信可能な第２電子機器に送信する送信処理と、
　を実行させる変換プログラム。
　第１世界座標系と前記第１世界座標系で表示される第１物体に関する第１ローカル座標系とを有する第１電子機器と、第２世界座標系と前記第２世界座標系で表示される第２物体に関する第２ローカル座標系とを有する第２電子機器と、が通信可能な電子機器システムであって、
　前記第１電子機器は、
　前記第１世界座標系から前記第１物体に関する第１ローカル座標系に変換する第１変換行列を算出する第１算出処理と、
前記第１世界座標系で表示された第１手の３次元データを生成する生成処理と、
　前記生成処理によって生成された前記第１手の３次元データと、前記第１変換行列と、を、前記第１電子機器と通信可能な第２電子機器に送信する送信処理と、
　を実行し、
　前記第２電子機器は、
　前記送信処理によって送信された前記第１手の３次元データと前記第１変換行列とを前記第１電子機器から受信する受信処理と、
　前記第２世界座標系から前記第２ローカル座標系に変換する第２変換行列を算出する第２算出処理と、
　前記受信処理によって受信された第１変換行列と前記第２算出処理によって算出された第２変換行列とに基づいて、前記第１手の３次元データを、前記第２世界座標系における前記第１手の仮想オブジェクトに変換する変換処理と、
　前記変換処理によって変換された前記第１手の仮想オブジェクトを表示する表示処理と、
　を実行する電子機器システム。
　請求項３８に記載の電子機器システムであって、
　前記生成処理では、前記第１電子機器は、前記第１算出処理によって算出された第１変換行列に基づいて前記第１世界座標系で表示された前記第１手を、前記第１ローカル座標系の値に変換することにより、前記第１手の３次元データを生成する、
電子機器システム。
　請求項３８に記載の電子機器システムであって、
　前記第１電子機器は、
　前記第１世界座標系において操作可能な座標系のオブジェクトである第１軸オブジェクトを、前記第１ローカル座標系に設定する第１設定処理を実行し、
　前記生成処理では、前記第１電子機器は、前記第１変換行列に基づいて前記第１世界座標系で表示された前記第１手の特徴点を、前記第１設定処理によって設定された第１ローカル座標系の値に変換することにより、前記第１手の３次元データを生成し、
　前記第２電子機器は、
　前記第２世界座標系において操作可能な座標系のオブジェクトである第２軸オブジェクトを、前記第２ローカル座標系に設定する第２設定処理を実行し、
　前記第２算出処理では、前記第２電子機器は、前記第２世界座標系から前記第２設定処理によって設定された第２ローカル座標系に変換する第２変換行列を算出する、
　を実行する電子機器システム。
　第１世界座標系と前記第１世界座標系で表示される第１手に関する第１ローカル座標系とを有する第１電子機器と、第２世界座標系と前記第２世界座標系とは異なる第２ローカル座標系とを有する第２電子機器と、が通信可能な電子機器システムであって、
　前記第１電子機器は、
　前記第１世界座標系から前記第１手に関する第１ローカル座標系に変換する第１変換行列を算出する第１算出処理と、
　前記第１世界座標系で表示された前記第１手の３次元データを生成する生成処理と、
　前記生成処理によって生成された前記第１手の３次元データと、前記第１変換行列と、を、前記第１電子機器と通信可能な第２電子機器に送信する送信処理と、
　を実行し、
　前記第２電子機器は、
　前記送信処理によって送信された前記第１手の３次元データと前記第１変換行列とを前記第１電子機器から受信する受信処理と、
　前記第２世界座標系から前記第２ローカル座標系に変換する第２変換行列を算出する第２算出処理と、
　前記受信処理によって取得された第１変換行列と前記第２算出処理によって算出された第２変換行列とに基づいて、前記第１手の３次元データを、前記第２世界座標系における前記第１手の仮想オブジェクトに変換する変換処理と、
　前記変換処理によって変換された前記第１手の仮想オブジェクトを表示する表示処理と、
　を実行する、電子機器システム。
　請求項４１に記載の電子機器システムであって、
　前記生成処理では、前記第１電子機器は、前記第１算出処理によって算出された第１変換行列に基づいて前記第１世界座標系で表示された前記第１手を、前記第１ローカル座標系の値に変換することにより、前記第１手の３次元データを生成する、
電子機器システム。
　第１世界座標系と前記第１世界座標系で表示される第１物体に関する第１ローカル座標系とを有する他の電子機器と通信可能であり、第２世界座標系と前記第２世界座標系で表示される第２物体に関する第２ローカル座標系とを有する電子機器であって、
　前記第１世界座標系から前記第１ローカル座標系に変換する第１変換行列と、前記第１世界座標系で表示される第１手の３次元データと、を前記他の電子機器から取得する取得部と、
　前記第２世界座標系から前記第２ローカル座標系に変換する第２変換行列を算出する算出部と、
　前記取得部によって取得された第１変換行列と前記算出部によって算出された第２変換行列とに基づいて、前記第１手の３次元データを、前記第２世界座標系における前記第１手の仮想オブジェクトに変換する変換部と、
　前記変換部によって変換された前記第１手の仮想オブジェクトを表示する表示部と、
　を備える電子機器。
　第１世界座標系と前記第１世界座標系において操作可能な座標系のオブジェクトである第１軸オブジェクトに関する第１ローカル座標系とを有する他の電子機器と通信可能であり、第２物体を表示する第２世界座標系を有する電子機器であって、
　前記第２世界座標系において操作可能な座標系のオブジェクトである第２軸オブジェクトを、第２ローカル座標系に設定する設定部と、
　前記第１世界座標系から前記第１ローカル座標系に変換する第１変換行列と、前記第１世界座標系で表示される第１手の３次元データと、を前記他の電子機器から取得する取得部と、
　前記第２世界座標系から前記設定部によって設定された第２ローカル座標系に変換する第２変換行列を算出する算出部と、
　前記取得部によって取得された第１変換行列と前記算出部によって算出された第２変換行列とに基づいて、前記第１手の３次元データを、前記第２世界座標系における前記第１手の仮想オブジェクトに変換する変換部と、
　前記変換部によって変換された前記第１手の仮想オブジェクトを表示する表示部と、
　を備える電子機器。
　第１世界座標系と前記第１世界座標系で表示される第１手に関する第１ローカル座標系とを有する他の電子機器と通信可能であり、第２世界座標系と前記第２世界座標系とは異なる第２ローカル座標系とを有する電子機器であって、
　前記第１世界座標系から前記第１ローカル座標系に変換する第１変換行列と、前記第１世界座標系で表示された前記第１手の３次元データと、を前記他の電子機器から取得する取得部と、
　前記第２世界座標系から前記第２ローカル座標系に変換する第２変換行列を算出する算出部と、
　前記取得部によって取得された第１変換行列と前記算出部によって算出された第２変換行列とに基づいて、前記第１手の３次元データを、前記第２世界座標系における前記第１手の仮想オブジェクトに変換する変換部と、
　前記変換部によって変換された前記第１手の仮想オブジェクトを表示する表示部と、
　を備える電子機器。
　第１世界座標系と前記第１世界座標系で表示される第１物体に関する第１ローカル座標系とを有する他の電子機器と通信可能であり、第２世界座標系と前記第２世界座標系で表示される第２物体に関する第２ローカル座標系とを有する電子機器が実行する変換方法であって、
　前記電子機器は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有し、
　前記プロセッサが、
　前記第１世界座標系から前記第１ローカル座標系に変換する第１変換行列と、前記第１世界座標系で表示される第１手の３次元データと、を前記他の電子機器から取得する取得処理と、
　前記第２世界座標系から前記第２ローカル座標系に変換する第２変換行列を算出する算出処理と、
　前記取得処理によって取得された第１変換行列と前記算出処理によって算出された第２変換行列とに基づいて、前記第１手の３次元データを、前記第２世界座標系における前記第１手の仮想オブジェクトに変換する変換処理と、
　前記変換処理によって変換された前記第１手の仮想オブジェクトを表示する表示処理と、
　を実行する変換方法。
　第１世界座標系と前記第１世界座標系において操作可能な座標系のオブジェクトである第１軸オブジェクトに関する第１ローカル座標系とを有する他の電子機器と通信可能であり、第２物体を表示する第２世界座標系を有する電子機器が実行する変換方法であって、
　前記電子機器は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有し、
　前記プロセッサが、
　前記第２世界座標系において操作可能な座標系のオブジェクトである第２軸オブジェクトを、第２ローカル座標系に設定する設定処理と、
　前記第１世界座標系から前記第１ローカル座標系に変換する第１変換行列と、前記第１世界座標系で表示される第１手の３次元データと、を前記他の電子機器から取得する取得処理と、
　前記第２世界座標系から前記設定処理によって設定された第２ローカル座標系に変換する第２変換行列を算出する算出処理と、
　前記取得処理によって取得された第１変換行列と前記算出処理によって算出された第２変換行列とに基づいて、前記第１手の３次元データを、前記第２世界座標系における前記第１手の仮想オブジェクトに変換する変換処理と、
　前記変換処理によって変換された前記第１手の仮想オブジェクトを表示する表示処理と、
　を実行する変換方法。
　第１世界座標系と前記第１世界座標系で表示される第１手に関する第１ローカル座標系とを有する他の電子機器と通信可能であり、第２世界座標系と前記第２世界座標系とは異なる第２ローカル座標系とを有する電子機器が実行する変換方法であって、
　前記電子機器は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有し、
　前記プロセッサが、
　前記第１世界座標系から前記第１ローカル座標系に変換する第１変換行列と、前記第１世界座標系で表示された前記第１手の３次元データと、を前記他の電子機器から取得する取得処理と、
　前記第２世界座標系から前記第２ローカル座標系に変換する第２変換行列を算出する第１算出処理と、
　前記取得処理によって取得された第１変換行列と前記第１算出処理によって算出された第２変換行列とに基づいて、前記第１手の３次元データを、前記第２世界座標系における前記第１手の仮想オブジェクトに変換する変換処理と、
　前記変換処理によって変換された前記第１手の仮想オブジェクトを表示する表示処理と、
　を実行する変換方法。