JP7841937B2 - シミュレーション装置 - Google Patents
シミュレーション装置Info
- Publication number
- JP7841937B2 JP7841937B2 JP2022079912A JP2022079912A JP7841937B2 JP 7841937 B2 JP7841937 B2 JP 7841937B2 JP 2022079912 A JP2022079912 A JP 2022079912A JP 2022079912 A JP2022079912 A JP 2022079912A JP 7841937 B2 JP7841937 B2 JP 7841937B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- coordinate system
- mounting device
- simulated
- space coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Earth Drilling (AREA)
Description
本発明は、シミュレーション装置に関する。
従来、採石場や石灰石鉱山等では、岩盤に発破孔を穿孔するために穿孔機械が使用されている（例えば、特許文献１参照）。
このような穿孔機械では、送り機構によってさく岩機の先端に装着された工具を破砕対象へと押し付け、当該工具を介して、打撃機構で発生する衝撃力と回転機構で発生する回転力とを破砕対象へと伝達することで発破孔を穿孔する。そして、このような穿孔作業では、ブーム及びガイドシェルの位置決め、送り機構、打撃機構、及び回転機構の作動、セントラライザやロッドチェンジャの作動等が行われる。すなわち、当該穿孔機械では、操作対象が多岐にわたり、それぞれの操作対象を作動させるための多くの操作部が設けられている。
このような穿孔機械では、送り機構によってさく岩機の先端に装着された工具を破砕対象へと押し付け、当該工具を介して、打撃機構で発生する衝撃力と回転機構で発生する回転力とを破砕対象へと伝達することで発破孔を穿孔する。そして、このような穿孔作業では、ブーム及びガイドシェルの位置決め、送り機構、打撃機構、及び回転機構の作動、セントラライザやロッドチェンジャの作動等が行われる。すなわち、当該穿孔機械では、操作対象が多岐にわたり、それぞれの操作対象を作動させるための多くの操作部が設けられている。
そして、上述したように穿孔機械には多くの操作部が設けられているため、当該穿孔機械の操作の技能を習得することは容易ではない。
そこで、穿孔機械の実機を使用せずに当該穿孔機械の操作の技能習得を行うためのシミュレーション装置を利用することが考えられる。例えば、当該シミュレーション装置は、訓練者に装着させたヘッドマウントディスプレイ等の表示装置を介して、当該訓練者の視界に応じた実像と穿孔機械の仮想モデルの画像（以下、モデル画像と記載）とを視認させる。また、当該シミュレーション装置は、穿孔機械に設けられた複数の操作部を擬似的に再現した複数の擬似操作部のいずれかの擬似操作部への訓練者の操作に応じて、モデル画像のうち、当該擬似操作部に対応するブーム等の部位を表示装置における表示画面上で擬似的に動作させる。
従来、このようなシミュレーション装置として、フォークリフト等の作業車両のシミュレーション装置が提案されている（例えば、特許文献２参照）。
そこで、穿孔機械の実機を使用せずに当該穿孔機械の操作の技能習得を行うためのシミュレーション装置を利用することが考えられる。例えば、当該シミュレーション装置は、訓練者に装着させたヘッドマウントディスプレイ等の表示装置を介して、当該訓練者の視界に応じた実像と穿孔機械の仮想モデルの画像（以下、モデル画像と記載）とを視認させる。また、当該シミュレーション装置は、穿孔機械に設けられた複数の操作部を擬似的に再現した複数の擬似操作部のいずれかの擬似操作部への訓練者の操作に応じて、モデル画像のうち、当該擬似操作部に対応するブーム等の部位を表示装置における表示画面上で擬似的に動作させる。
従来、このようなシミュレーション装置として、フォークリフト等の作業車両のシミュレーション装置が提案されている（例えば、特許文献２参照）。
ここで、実空間座標系から穿孔機械の仮想モデルの仮想空間座標系がずれている場合には、訓練者の視界に応じた実像とモデル画像とがずれることとなる。そして、このような場合には、ヘッドマウントディスプレイを介して当該実像と当該モデル画像とを視認する当該訓練者は、違和感を抱く。当該訓練者に違和感を抱かせないためには、実空間座標系に対して仮想モデルの仮想空間座標系を整合させる必要がある。
そして、従来、実空間座標系に対して仮想モデルの仮想空間座標系を整合させるために、アライメントツールを用いたシステムが提案されている（例えば、特許文献３参照）。
特許文献３に記載のアライメントツールは、先端が先鋭化されたポインタと、当該ポインタの先端の位置を検出するために用いられる基準マーカとを備える。また、特許文献３に記載のシステムは、当該アライメントツールの他、作業者が装着する拡張現実イメージングデバイスを備える。
そして、従来、実空間座標系に対して仮想モデルの仮想空間座標系を整合させるために、アライメントツールを用いたシステムが提案されている（例えば、特許文献３参照）。
特許文献３に記載のアライメントツールは、先端が先鋭化されたポインタと、当該ポインタの先端の位置を検出するために用いられる基準マーカとを備える。また、特許文献３に記載のシステムは、当該アライメントツールの他、作業者が装着する拡張現実イメージングデバイスを備える。
特許文献３に記載のシステムでは、以下に示すように、実空間座標系に対して仮想モデルの仮想空間座標系を整合させる。
先ず、作業者は、アライメントツールを把持しつつ、仮想モデルの仮想空間座標系における所定の仮想参照点に対応する実空間での位置（以下、対応実空間位置と記載）に対してポインタの先端を当接させる。この後、作業者は、アライメントツールに設けられた選択ボタンを押下する。当該選択ボタンの押下に応じて、当該作業者に装着された拡張現実イメージングデバイスは、当該拡張現実イメージングデバイスに設けられたセンサによって基準マーカを読み取り、当該仮想参照点に対応する実空間での位置を算出する。そして、拡張現実イメージングデバイスは、対応実空間位置に対して仮想参照点が合致するように、実空間座標系に対して仮想モデルの仮想空間座標系を整合させる。
先ず、作業者は、アライメントツールを把持しつつ、仮想モデルの仮想空間座標系における所定の仮想参照点に対応する実空間での位置（以下、対応実空間位置と記載）に対してポインタの先端を当接させる。この後、作業者は、アライメントツールに設けられた選択ボタンを押下する。当該選択ボタンの押下に応じて、当該作業者に装着された拡張現実イメージングデバイスは、当該拡張現実イメージングデバイスに設けられたセンサによって基準マーカを読み取り、当該仮想参照点に対応する実空間での位置を算出する。そして、拡張現実イメージングデバイスは、対応実空間位置に対して仮想参照点が合致するように、実空間座標系に対して仮想モデルの仮想空間座標系を整合させる。
特許文献３に記載の技術では、作業者は、対応実空間位置を算出させる際、アライメントツールを把持しつつ、先鋭化されたポインタの先端を当該対応実空間位置に当接した状態を維持する必要がある。そして、ポインタの先端が当該対応実空間位置から離れている状態で当該対応実空間位置を算出した場合には、異なる位置を当該対応実空間位置として算出してしまう。このような場合には、異なる位置である対応実空間位置に対して仮想参照点を合致させてしまうため、実空間座標系に対して仮想モデルの仮想空間座標系がずれた状態になってしまう。
そこで、実空間座標系に対して仮想モデルの仮想空間座標系を精度良く整合させることができる技術が要望されている。
そこで、実空間座標系に対して仮想モデルの仮想空間座標系を精度良く整合させることができる技術が要望されている。
本発明は、上記に鑑みてなされたものであって、実空間座標系に対して仮想空間座標系を精度良く整合させることができるシミュレーション装置を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係るシミュレーション装置は、穿孔機械に設けられ、当該穿孔機械を動作させるために用いられる複数の操作部をそれぞれ擬似的に再現した複数の模擬操作部を有する模擬操作装置と、ユーザに装着され、当該ユーザの視界に応じた実像と所定の画像とを当該ユーザに視認させる表示装置と、前記穿孔機械に対応する仮想モデルの画像を前記表示装置に表示させるとともに、前記仮想モデルの画像のうち、ユーザによって操作された前記模擬操作部に対応する前記仮想モデルの部位を当該模擬操作部への操作に応じて擬似的に動作させる制御装置と、実空間座標系に対して前記仮想モデルにおける仮想空間座標系を整合させる校正処理に必要な情報を取得する取得装置とを備え、前記取得装置は、前記複数の模擬操作部のうち少なくともいずれかの模擬操作部に装着可能に構成された装着器具と、前記装着器具の位置を検出する位置検出部とを備え、前記制御装置は、前記位置検出部によって検出された前記装着器具の位置と、前記仮想空間座標系における前記装着器具が装着された前記模擬操作部の位置とに基づいて、前記校正処理を実行する。
また、本発明に係るシミュレーション装置では、前記装着器具は、前記複数の模擬操作部のうち少なくともいずれかの模擬操作部が内部に嵌合可能とする環状の嵌合部を備える。
また、本発明に係るシミュレーション装置では、前記嵌合部における内周面には、当該嵌合部における中心軸に沿う方向の端面に向かうにしたがって内径寸法が大きくなる傾斜面が設けられている。
また、本発明に係るシミュレーション装置では、前記模擬操作装置は、ユーザ操作を受け付ける取得操作部をさらに備え、前記制御装置は、前記取得操作部へのユーザ操作に応じて前記位置検出部によって検出された前記装着器具の位置を取得する。
また、本発明に係るシミュレーション装置では、前記校正処理は、前記複数の模擬操作部のうち第１の模擬操作部に装着された状態で前記位置検出部によって検出された前記装着器具の位置と、前記仮想空間座標系における前記第１の模擬操作部の位置とに基づいて、前記実空間座標系に対して前記仮想空間座標系を整合させる第１の校正処理と、前記複数の模擬操作部のうち前記第１の模擬操作部とは異なる第２の模擬操作部に装着された状態で前記位置検出部によって検出された前記装着器具の位置と、前記仮想空間座標系における前記第２の模擬操作部の位置とに基づいて、前記実空間座標系に対して前記仮想空間座標系を整合させる第２の校正処理とを備える。
また、本発明に係るシミュレーション装置では、前記第１の校正処理では、前記第１の模擬操作部に装着された状態で前記位置検出部によって検出された前記装着器具の位置に、前記仮想空間座標系における前記第１の模擬操作部の位置を合致させように前記仮想空間座標系を移動させ、前記第２の校正処理では、前記第２の模擬操作部に装着された状態で前記位置検出部によって検出された前記装着器具の位置と、前記仮想空間座標系における前記第２の模擬操作部の位置とに基づいて、前記仮想空間座標系における前記第１の模擬操作部の位置を中心として所定軸まわりに前記仮想空間座標系を回転させる。
本発明に係るシミュレーション装置によれば、実空間座標系に対して仮想空間座標系を精度良く整合させることができる。
以下に、図面を参照しつつ、本発明を実施するための形態（以下、実施の形態）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。
〔穿孔機械の概略構成〕
図１は、実施の形態に係るシミュレーション装置１によって操作の技能習得を行う対象となる穿孔機械１００を示す図である。
先ず、本実施の形態に係るシミュレーション装置１の構成を説明する前に、当該シミュレーション装置１によって操作の技能習得を行う対象となる穿孔機械１００の構成について説明する。
なお、穿孔機械１００を説明するにあたって、以下に示す「前方側」とは、図１に示す右側を意味する。
図１は、実施の形態に係るシミュレーション装置１によって操作の技能習得を行う対象となる穿孔機械１００を示す図である。
先ず、本実施の形態に係るシミュレーション装置１の構成を説明する前に、当該シミュレーション装置１によって操作の技能習得を行う対象となる穿孔機械１００の構成について説明する。
なお、穿孔機械１００を説明するにあたって、以下に示す「前方側」とは、図１に示す右側を意味する。
穿孔機械１００は、作業者の操作に応じて岩盤に発破孔を穿孔する。この穿孔機械１００は、図１に示すように、左右一対のトラック１１１（図１では一方のトラック１１１のみを図示）を有する走行台車１１０と、当該走行台車１１０上にそれぞれ搭載されたブーム１２０、さく岩ユニット１３０、及び操縦室１４０とを備える。
ブーム１２０は、走行台車１１０上の右斜め前方側において、鉛直方向に沿う旋回軸１２１（図１）を中心として回転（旋回）可能、及び、水平方向（前後方向）に沿う起伏軸１２２（図１）を中心として回転（起伏）可能に設けられている。
さく岩ユニット１３０は、図１に示すように、ブーム１２０の先端部分に装着されている。このさく岩ユニット１３０は、ブーム１２０の先端部分に装着されたガイドシェル１３１と、当該ガイドシェル１３１の長手方向に沿って当該ガイドシェル１３１上を前進後退可能に設けられたさく岩機１３２と、当該さく岩機１３２の先端に装着された工具１３３とを備える。
ここで、さく岩機１３２は、ガイドシェル１３１に設けられた送り機構（図示略）によって当該ガイドシェル１３１上を前進後退するとともに、公知の打撃機構（図示略）及び回転機構（図示略）を備える。また、工具１３３は、具体的な図示は省略したが、シャンクロッド、スリーブ、ロッド、及びビットを基端側からこの順に接続されたものである。
そして、穿孔機械１００では、送り機構（図示略）によって工具１３３を破砕対象へと押し付け、打撃機構（図示略）で発生する衝撃力と回転機構（図示略）で発生する回転力とを当該工具１３３を介して当該破砕対象へ伝達して発破孔を穿孔する。
ここで、さく岩機１３２は、ガイドシェル１３１に設けられた送り機構（図示略）によって当該ガイドシェル１３１上を前進後退するとともに、公知の打撃機構（図示略）及び回転機構（図示略）を備える。また、工具１３３は、具体的な図示は省略したが、シャンクロッド、スリーブ、ロッド、及びビットを基端側からこの順に接続されたものである。
そして、穿孔機械１００では、送り機構（図示略）によって工具１３３を破砕対象へと押し付け、打撃機構（図示略）で発生する衝撃力と回転機構（図示略）で発生する回転力とを当該工具１３３を介して当該破砕対象へ伝達して発破孔を穿孔する。
操縦室１４０は、図１に示すように、走行台車１１０上の左斜め前方側に設けられている。そして、操縦室１４０内には、図１に示すように、穿孔機械１００を操作する作業者が着座する運転席１４１が設けられている。また、運転席１４１の両側方には、具体的な図示は省略したが、穿孔機械１００を動作させるために用いられる複数の操作部が設けられている。
〔シミュレーション装置の概略構成〕
次に、シミュレーション装置１の構成について説明する。
図２は、実施の形態に係るシミュレーション装置１の構成を示す図である。
シミュレーション装置１は、図２に示すように、訓練席２と、模擬操作装置３と、ヘッドマウントディスプレイ４と、装着器具５と、ベースステーション６と、制御装置７とを備える。
次に、シミュレーション装置１の構成について説明する。
図２は、実施の形態に係るシミュレーション装置１の構成を示す図である。
シミュレーション装置１は、図２に示すように、訓練席２と、模擬操作装置３と、ヘッドマウントディスプレイ４と、装着器具５と、ベースステーション６と、制御装置７とを備える。
訓練席２は、シミュレーション装置１によって、穿孔機械１００の操作の技能習得を行うユーザである訓練者が着座する部分である。
模擬操作装置３は、図２に示すように、訓練席２の両側方にそれぞれ設けられている。この模擬操作装置３は、穿孔機械１００に設けられた複数の操作部（図示略）をそれぞれ擬似的に再現した複数の模擬操作部３１と、取得操作部３２（図７参照）とを有する。これら複数の模擬操作部３１及び取得操作部３２は、制御装置７との間で無線または有線によってそれぞれ通信可能に接続され、訓練者等によるユーザ操作に応じた信号を当該制御装置７に対してそれぞれ出力する。
模擬操作装置３は、図２に示すように、訓練席２の両側方にそれぞれ設けられている。この模擬操作装置３は、穿孔機械１００に設けられた複数の操作部（図示略）をそれぞれ擬似的に再現した複数の模擬操作部３１と、取得操作部３２（図７参照）とを有する。これら複数の模擬操作部３１及び取得操作部３２は、制御装置７との間で無線または有線によってそれぞれ通信可能に接続され、訓練者等によるユーザ操作に応じた信号を当該制御装置７に対してそれぞれ出力する。
例えば、複数の模擬操作部３１のうち、第１の模擬操作部３１１は、訓練席２に対して右側方に設けられている。この第１の模擬操作部３１１は、穿孔機械１００における送り機構（図示略）、打撃機構（図示略）、及び回転機構（図示略）をそれぞれ動作させる操作部を擬似的に再現した傾倒可能なレバーである（図７参照）。また、複数の模擬操作部３１のうち、第２の模擬操作部３１２は、訓練席２に対して左側方に設けられている。なお、第２の模擬操作部３１２としては、第１の模擬操作部３１１とは異なる模擬操作部３１であれば、その他の模擬操作部３１でも構わない。第１の模擬操作部３１１も同様に、第２の模擬操作部３１２とは異なる模擬操作部３１であれば、上記の模擬操作部３１とは異なる模擬操作部３１としても構わない。
取得操作部３２は、装着器具５の位置を取得するトリガとなるユーザ操作を受け付ける。そして、取得操作部３２は、当該ユーザ操作に応じた信号を制御装置７に出力する。
取得操作部３２は、装着器具５の位置を取得するトリガとなるユーザ操作を受け付ける。そして、取得操作部３２は、当該ユーザ操作に応じた信号を制御装置７に出力する。
ヘッドマウントディスプレイ４は、本発明に係る表示装置に相当し、制御装置７との間で無線または有線によって通信可能に接続する。このヘッドマウントディスプレイ４は、眼鏡のような外観を有し、訓練者に装着される。そして、ヘッドマウントディスプレイ４は、当該ヘッドマウントディスプレイ４を装着した訓練者の視界に応じた実像と所定の画像とを当該訓練者に視認させる。このヘッドマウントディスプレイ４は、撮影部４１と、表示部４２と、複数の赤外線出力部４３とを備える（図５参照）。
撮影部４１は、入射した光を受光して電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を含むカメラである。また、撮影部４１は、制御装置７による制御の下、ヘッドマウントディスプレイ４を装着した訓練者の視界に応じた領域を撮影して撮影画像を生成する。そして、撮影部４１は、生成した撮影画像のデータを制御装置７に出力する。
表示部４２は、液晶または有機ＥＬ（Electro Luminescence）等を用いた表示ディスプレイで構成され、ヘッドマウントディスプレイ４を装着した訓練者の左眼及び右眼の少なくともいずれか一方に対向する位置に配置される。そして、表示部４２は、制御装置７による制御の下、各種の画像を表示する。
複数の赤外線出力部４３は、ヘッドマウントディスプレイ４の位置（３次元の位置）及び姿勢（ヘッドマウントディスプレイ４を装着している訓練者の視線方向）を判別するために用いられる。これら複数の赤外線出力部４３は、互いに異なる位置にそれぞれ配置され、赤外線をそれぞれ出力（照射）する。
図３及び図４は、装着器具５の構成を示す図である。
なお、以下では、装着器具５の構成を説明するにあたって、互いに直交するＸ軸、Ｙ軸、及びＺ軸のＸＹＺ座標軸を用いる。Ｚ軸は、図３及び図４の上下方向に沿う軸である。
装着器具５は、制御装置７によって実行される後述する校正処理に用いられ、複数の模擬操作部３１のうち少なくともいずれかの模擬操作部３１（本実施の形態では、第１，第２の模擬操作部３１１，３１２（図２））に装着可能に構成されている。この装着器具５は、図３及び図４に示すように、嵌合部５１と、グリップ部５２と、複数の赤外線出力部５３とを備える。
なお、以下では、装着器具５の構成を説明するにあたって、互いに直交するＸ軸、Ｙ軸、及びＺ軸のＸＹＺ座標軸を用いる。Ｚ軸は、図３及び図４の上下方向に沿う軸である。
装着器具５は、制御装置７によって実行される後述する校正処理に用いられ、複数の模擬操作部３１のうち少なくともいずれかの模擬操作部３１（本実施の形態では、第１，第２の模擬操作部３１１，３１２（図２））に装着可能に構成されている。この装着器具５は、図３及び図４に示すように、嵌合部５１と、グリップ部５２と、複数の赤外線出力部５３とを備える。
嵌合部５１は、図３及び図４に示すように、全体略円錐台状に形成されている。また、嵌合部５１は、当該円錐台状の中心軸（Ｚ軸）に沿って直線状に貫通する貫通孔５１１を有する環状に形成されている。そして、嵌合部５１の内部には、第１，第２の模擬操作部３１１，３１２がそれぞれ嵌合可能とする。
この嵌合部５１において、貫通孔５１１の内周面には、図３または図４に示すように、＋Ｚ軸側の端面５１Ａに向かうにしたがって内径寸法が大きくなる第１の傾斜面５１２と、－Ｚ軸側の端面５１Ｂに向かうにしたがって内径寸法が大きくなる第２の傾斜面５１３とが設けられている。これら第１，第２の傾斜面５１２，５１３は、本発明に係る傾斜面に相当する。
この嵌合部５１において、貫通孔５１１の内周面には、図３または図４に示すように、＋Ｚ軸側の端面５１Ａに向かうにしたがって内径寸法が大きくなる第１の傾斜面５１２と、－Ｚ軸側の端面５１Ｂに向かうにしたがって内径寸法が大きくなる第２の傾斜面５１３とが設けられている。これら第１，第２の傾斜面５１２，５１３は、本発明に係る傾斜面に相当する。
グリップ部５２は、装着器具５を持ち運ぶ際に把持される部分であり、図３及び図４に示すように、嵌合部５１における－Ｚ軸側の端面５１Ｂから－Ｚ軸側に向けて直線状に延在している。このグリップ部５２には、図３に示すように、複数の赤外線出力部５３を動作させるための電源ボタン５２１が設けられている。
複数の赤外線出力部５３は、装着器具５の位置（３次元の位置）を検出するために用いられる。これら複数の赤外線出力部５３は、嵌合部５１において、互いに異なる位置に設けられており、電源ボタン５２１への操作によって電源がＯＮされることによって動作し、赤外線をそれぞれ出力（照射）する。
ベースステーション６は、ヘッドマウントディスプレイ４の位置（３次元の位置）及び姿勢（ヘッドマウントディスプレイ４を装着している訓練者の視線方向）を検出するとともに、装着器具５の位置（３次元の位置）を検出するために用いられる。また、ベースステーション６は、制御装置７との間で無線または有線によって通信可能に接続する。そして、ベースステーション６は、本発明に係る位置検出部に相当する。また、装着器具５及びベースステーション６は、本発明に係る取得装置８に相当する。このベースステーション６は、複数の赤外線出力部４３や複数の赤外線出力部５３から出力された赤外線を検出する２つの赤外線カメラ６１によって構成されている。なお、赤外線カメラ６１の数は、２つに限らず、その他の数だけ設けても構わない。そして、２つの赤外線カメラ６１は、撮影により生成した赤外線画像のデータを制御装置７にそれぞれ出力する。
図５は、制御装置７の構成を示すブロック図である。なお、図５では、説明の便宜上、模擬操作部３１、赤外線出力部４３、及び赤外線カメラ６１を１つのみ図示している。
制御装置７は、シミュレーション装置１全体の動作を制御する。この制御装置７は、図５に示すように、入力部７１と、記憶部７２と、制御部７３とを備える。
入力部７１は、訓練者等によるユーザ操作を受け付けるボタン、スイッチ、タッチパネル等で構成され、当該ユーザ操作に応じた信号を制御部７３に出力する。
記憶部７２は、制御部７３が実行する各種のプログラムの他、当該制御部７３が処理を行うときに必要なデータ等を記憶する。ここで、当該制御部７３が処理を行うときに必要なデータとしては、例えば、穿孔機械１００に応じた３Ｄモデル（仮想モデル）のデータである。当該３Ｄモデルは、例えばＣＡＤ（Computer-Aided Design）ソフトウェア等によって生成された３Ｄモデルであり、シミュレーション装置１が設置される実空間座標系に整合させた仮想空間座標系において、当該３Ｄモデルの各部位の位置や角度が関連付けられている。
制御装置７は、シミュレーション装置１全体の動作を制御する。この制御装置７は、図５に示すように、入力部７１と、記憶部７２と、制御部７３とを備える。
入力部７１は、訓練者等によるユーザ操作を受け付けるボタン、スイッチ、タッチパネル等で構成され、当該ユーザ操作に応じた信号を制御部７３に出力する。
記憶部７２は、制御部７３が実行する各種のプログラムの他、当該制御部７３が処理を行うときに必要なデータ等を記憶する。ここで、当該制御部７３が処理を行うときに必要なデータとしては、例えば、穿孔機械１００に応じた３Ｄモデル（仮想モデル）のデータである。当該３Ｄモデルは、例えばＣＡＤ（Computer-Aided Design）ソフトウェア等によって生成された３Ｄモデルであり、シミュレーション装置１が設置される実空間座標系に整合させた仮想空間座標系において、当該３Ｄモデルの各部位の位置や角度が関連付けられている。
制御部７３は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等のコントローラによって、記憶部７２に記憶された各種のプログラムが実行されることにより実現され、シミュレーション装置１全体の動作を制御する。なお、制御部７３は、ＣＰＵやＭＰＵに限らず、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）等の集積回路によって構成されても構わない。この制御部７３は、図５に示すように、モード切替部７３１と、第１の画像取得部７３２と、第２の画像取得部７３３と、第１の算出部７３４と、表示画像生成部７３５と、第２の算出部７３６と、校正処理部７３７とを備える。
モード切替部７３１は、入力部７１へのユーザ操作に応じて、シミュレーション装置１を通常モードまたは校正モードに切り替える。
ここで、通常モードは、シミュレーション装置１によって訓練者に穿孔機械１００の操作の技能習得を行わせるモードである。また、校正モードは、校正処理部７３７によって後述する校正処理を実行するモードである。
ここで、通常モードは、シミュレーション装置１によって訓練者に穿孔機械１００の操作の技能習得を行わせるモードである。また、校正モードは、校正処理部７３７によって後述する校正処理を実行するモードである。
第１の画像取得部７３２は、撮影部４１にて生成された撮影画像のデータを取得する。 第２の画像取得部７３３は、２つの赤外線カメラ６１にてそれぞれ生成された赤外線画像のデータを取得する。
第１の算出部７３４は、シミュレーション装置１が通常モードである場合において、ヘッドマウントディスプレイ４の位置及び姿勢（ヘッドマウントディスプレイ４を装着している訓練者の視線方向）を算出する。具体的に、第１の算出部７３４は、第２の画像取得部７３３にて取得された各赤外線画像のデータに基づいて、複数の赤外線出力部４３から各赤外線カメラ６１に到達した赤外線の到達時間や角度を認識する。そして、第１の算出部７３４は、当該到達時間や角度から、ヘッドマウントディスプレイ４の位置及び姿勢（ヘッドマウントディスプレイ４を装着している訓練者の視線方向）を算出する。
表示画像生成部７３５は、シミュレーション装置１が通常モードである場合において、表示部４２に表示させる表示画像を生成する。
具体的に、表示画像生成部７３５は、第１の算出部７３４にて算出されたヘッドマウントディスプレイ４の位置及び姿勢（ヘッドマウントディスプレイ４を装着している訓練者の視線方向）を認識する。そして、表示画像生成部７３５は、記憶部７２に記憶されている３Ｄモデルのデータに基づいて、ヘッドマウントディスプレイ４の位置から当該ヘッドマウントディスプレイ４を装着している訓練者の視線方向に認識される３Ｄモデルの画像（以下、モデル画像と記載）を生成する。また、表示画像生成部７３５は、当該モデル画像と第１の画像取得部７３２にて取得されたデータ（撮影画像）とを重ね合わせた表示画像を生成し、表示部４２に当該表示画像を表示させる。さらに、表示画像生成部７３５は、ヘッドマウントディスプレイ４を装着した訓練者によって操作された模擬操作部３１に対応する３Ｄモデルの部位を当該模擬操作部３１の操作に応じて擬似的に動作させる。
なお、表示画像としては、モデル画像と撮影画像とを重ね合わせた画像に限らず、ヘッドマウントディスプレイ４を装着している訓練者の視界の領域の一部の領域をモデル画像によって構成し、他の領域を撮影画像によって構成した画像としても構わない。
具体的に、表示画像生成部７３５は、第１の算出部７３４にて算出されたヘッドマウントディスプレイ４の位置及び姿勢（ヘッドマウントディスプレイ４を装着している訓練者の視線方向）を認識する。そして、表示画像生成部７３５は、記憶部７２に記憶されている３Ｄモデルのデータに基づいて、ヘッドマウントディスプレイ４の位置から当該ヘッドマウントディスプレイ４を装着している訓練者の視線方向に認識される３Ｄモデルの画像（以下、モデル画像と記載）を生成する。また、表示画像生成部７３５は、当該モデル画像と第１の画像取得部７３２にて取得されたデータ（撮影画像）とを重ね合わせた表示画像を生成し、表示部４２に当該表示画像を表示させる。さらに、表示画像生成部７３５は、ヘッドマウントディスプレイ４を装着した訓練者によって操作された模擬操作部３１に対応する３Ｄモデルの部位を当該模擬操作部３１の操作に応じて擬似的に動作させる。
なお、表示画像としては、モデル画像と撮影画像とを重ね合わせた画像に限らず、ヘッドマウントディスプレイ４を装着している訓練者の視界の領域の一部の領域をモデル画像によって構成し、他の領域を撮影画像によって構成した画像としても構わない。
第２の算出部７３６は、シミュレーション装置１が校正モードである場合において、取得操作部３２へのユーザ操作に応じて、装着器具５の位置を算出する。具体的に、第２の算出部７３６は、第２の画像取得部７３３にて取得された各赤外線画像のデータに基づいて、複数の赤外線出力部５３から各赤外線カメラ６１に到達した赤外線の到達時間や角度を認識する。そして、第２の算出部７３６は、当該到達時間や角度から、装着器具５の位置を算出する。当該装着器具５の位置としては、例えば、嵌合部５１の中心位置を例示することができる。
ところで、上述したように、記憶部７２に記憶されている穿孔機械１００の３Ｄモデルの仮想空間座標系は、シミュレーション装置１が設置される実空間座標系に整合させるように設定されている。しかしながら、シミュレーション装置１の設置位置等によっては、当該仮想空間座標系が実空間座標系からずれてしまう場合がある。このような場合には、訓練者の視界に応じた実像（撮影画像）とモデル画像とがずれてしまい、ヘッドマウントディスプレイ４を介して当該実像と当該モデル画像とを視認する当該訓練者に違和感を抱かせてしまう。
そして、校正処理部７３７は、シミュレーション装置１が校正モードである場合において、実空間座標系に対して仮想空間座標系を整合させる校正処理を実行する。
なお、校正処理部７３７の機能の詳細については、後述する「校正方法」において説明する。
そして、校正処理部７３７は、シミュレーション装置１が校正モードである場合において、実空間座標系に対して仮想空間座標系を整合させる校正処理を実行する。
なお、校正処理部７３７の機能の詳細については、後述する「校正方法」において説明する。
〔校正方法〕
次に、実空間座標系に対して仮想空間座標系を整合させる校正方法について説明する。
図６は、校正方法を示すフローチャートである。
なお、以下では、装着器具５は、電源ボタン５２１への操作によって電源がＯＮされているものとする。
先ず、モード切替部７３１は、作業者による入力部７１へのユーザ操作に応じて、シミュレーション装置１を校正モードに切り替える（ステップＳ１）。
次に、実空間座標系に対して仮想空間座標系を整合させる校正方法について説明する。
図６は、校正方法を示すフローチャートである。
なお、以下では、装着器具５は、電源ボタン５２１への操作によって電源がＯＮされているものとする。
先ず、モード切替部７３１は、作業者による入力部７１へのユーザ操作に応じて、シミュレーション装置１を校正モードに切り替える（ステップＳ１）。
ステップＳ１の後、制御部７３は、終了フラグが「ＯＮ」に設定されているか否かを判断する（ステップＳ２）。
そして、制御部７３は、終了フラグが「ＯＮ」に設定されていると判断した場合（ステップＳ２：Ｙｅｓ）には、本校正方法のフローを終了し、シミュレーション装置１を通常モードに切り替える。例えば、シミュレーション装置１を校正モードに切り替えた後、入力部７１へのユーザ操作によって当該終了フラグが「ＯＮ」に設定された場合、または、別の並列処理プログラム内で当該終了フラグが「ＯＮ」に設定された場合には、本校正方法のフローが終了する。
そして、制御部７３は、終了フラグが「ＯＮ」に設定されていると判断した場合（ステップＳ２：Ｙｅｓ）には、本校正方法のフローを終了し、シミュレーション装置１を通常モードに切り替える。例えば、シミュレーション装置１を校正モードに切り替えた後、入力部７１へのユーザ操作によって当該終了フラグが「ＯＮ」に設定された場合、または、別の並列処理プログラム内で当該終了フラグが「ＯＮ」に設定された場合には、本校正方法のフローが終了する。
ステップＳ２の後、第２の算出部７３６は、装着器具５の位置の算出を開始する（ステップＳ３）。
ここで、作業者は、入力部７１への操作によってシミュレーション装置１を校正モードに切り替えた後、装着器具５を第１の模擬操作部３１１に装着する。
図７は、装着器具５が第１の模擬操作部３１１に装着された状態を示す図である。
具体的に、作業者は、図７に示すように、装着器具５をグリップ部５２が嵌合部５１に対して下方に位置する姿勢としつつ、第１の模擬操作部３１１におけるレバーの先端を当該嵌合部５１の内部に嵌合させる。これによって、装着器具５は、第１の模擬操作部３１１に装着される。この後、作業者は、取得操作部３２を操作する。
図７は、装着器具５が第１の模擬操作部３１１に装着された状態を示す図である。
具体的に、作業者は、図７に示すように、装着器具５をグリップ部５２が嵌合部５１に対して下方に位置する姿勢としつつ、第１の模擬操作部３１１におけるレバーの先端を当該嵌合部５１の内部に嵌合させる。これによって、装着器具５は、第１の模擬操作部３１１に装着される。この後、作業者は、取得操作部３２を操作する。
ステップＳ３の後、制御部７３は、第２の算出部７３６にて算出された装着器具５の位置が第１の模擬操作部３１１に対応する位置に位置付けられたか否かを判断する（ステップＳ４）。
具体的に、制御部７３は、ステップＳ４において、予め設定された実空間座標系における第１の模擬操作部３１１の位置と第２の算出部７３６にて算出された装着器具５の位置との距離を算出する。そして、制御部７３は、当該距離が予め設定された閾値以内である場合に、第２の算出部７３６にて算出された装着器具５の位置が第１の模擬操作部３１１に対応する位置に位置付けられたと判断する（ステップＳ４：Ｙｅｓ）。すなわち、作業者が装着器具５を第１の模擬操作部３１１に装着した場合には、ステップＳ４において、「Ｙｅｓ」と判断される。一方、制御部７３は、当該距離が予め設定された閾値を超える場合に、第２の算出部７３６にて算出された装着器具５の位置が第１の模擬操作部３１１に対応する位置に位置付けられていないと判断する（ステップＳ４：Ｎｏ）。
具体的に、制御部７３は、ステップＳ４において、予め設定された実空間座標系における第１の模擬操作部３１１の位置と第２の算出部７３６にて算出された装着器具５の位置との距離を算出する。そして、制御部７３は、当該距離が予め設定された閾値以内である場合に、第２の算出部７３６にて算出された装着器具５の位置が第１の模擬操作部３１１に対応する位置に位置付けられたと判断する（ステップＳ４：Ｙｅｓ）。すなわち、作業者が装着器具５を第１の模擬操作部３１１に装着した場合には、ステップＳ４において、「Ｙｅｓ」と判断される。一方、制御部７３は、当該距離が予め設定された閾値を超える場合に、第２の算出部７３６にて算出された装着器具５の位置が第１の模擬操作部３１１に対応する位置に位置付けられていないと判断する（ステップＳ４：Ｎｏ）。
ステップＳ４において、「Ｙｅｓ」と判断した場合には、制御部７３は、取得操作部３２が操作されたか否かを判断する（ステップＳ５）。
そして、取得操作部３２が操作されていないと判断した場合（ステップＳ５：Ｎｏ）には、制御部７３は、ステップＳ２に戻る。
一方、取得操作部３２が操作されたと判断した場合（ステップＳ５：Ｙｅｓ）には、制御部７３は、当該取得操作部３２が操作されたと判断したタイミングで第２の算出部７３６にて算出された装着器具５の位置を示すデータを記憶部７２に記憶させる（ステップＳ６）。以下では、説明の便宜上、ステップＳ６で記憶部７２に記憶されるデータに基づく装着器具５の位置（当該装着器具５が第１の模擬操作部３１１に装着された状態（図７に示す状態）で第２の算出部７３６にて算出された当該装着器具５の位置）を第１の実空間位置と記載する。当該第１の実空間位置は、第１の模擬操作部３１１の位置に相当する。
そして、取得操作部３２が操作されていないと判断した場合（ステップＳ５：Ｎｏ）には、制御部７３は、ステップＳ２に戻る。
一方、取得操作部３２が操作されたと判断した場合（ステップＳ５：Ｙｅｓ）には、制御部７３は、当該取得操作部３２が操作されたと判断したタイミングで第２の算出部７３６にて算出された装着器具５の位置を示すデータを記憶部７２に記憶させる（ステップＳ６）。以下では、説明の便宜上、ステップＳ６で記憶部７２に記憶されるデータに基づく装着器具５の位置（当該装着器具５が第１の模擬操作部３１１に装着された状態（図７に示す状態）で第２の算出部７３６にて算出された当該装着器具５の位置）を第１の実空間位置と記載する。当該第１の実空間位置は、第１の模擬操作部３１１の位置に相当する。
ステップＳ６の後、校正処理部７３７は、以下に示す第１の校正処理（位置校正処理）を実行する（ステップＳ７）。
図９は、第１の校正処理（ステップＳ７）を説明する図である。なお、図９において、実線で示す部分は、実空間座標系での訓練席２及び模擬操作装置３を平面視（Ｚ軸（鉛直軸）に沿って見た平面視）で示している。また、一点鎖線で示す部分は、記憶部７２に記憶されている穿孔機械１００の３Ｄモデルの仮想空間座標系を示している。さらに、図９に示すＰ１（ＸＰ１，ＹＰ１，ＺＰ１）は、実空間座標系における第１の模擬操作部３１１の位置に相当する第１の実空間位置（３次元の位置）である。また、図９に示すＰ１´（ＸＰ１´，ＹＰ１´，ＺＰ１´）は、記憶部７２に記憶された仮想空間座標系での３Ｄモデルのうち第１の模擬操作部３１１に対応する３Ｄモデルの位置（以下、第１の仮想空間位置（３次元の位置）と記載）である。
図９は、第１の校正処理（ステップＳ７）を説明する図である。なお、図９において、実線で示す部分は、実空間座標系での訓練席２及び模擬操作装置３を平面視（Ｚ軸（鉛直軸）に沿って見た平面視）で示している。また、一点鎖線で示す部分は、記憶部７２に記憶されている穿孔機械１００の３Ｄモデルの仮想空間座標系を示している。さらに、図９に示すＰ１（ＸＰ１，ＹＰ１，ＺＰ１）は、実空間座標系における第１の模擬操作部３１１の位置に相当する第１の実空間位置（３次元の位置）である。また、図９に示すＰ１´（ＸＰ１´，ＹＰ１´，ＺＰ１´）は、記憶部７２に記憶された仮想空間座標系での３Ｄモデルのうち第１の模擬操作部３１１に対応する３Ｄモデルの位置（以下、第１の仮想空間位置（３次元の位置）と記載）である。
具体的に、校正処理部７３７は、ステップＳ７において、図９の矢印で示すように、第１の実空間位置Ｐ１（ＸＰ１，ＹＰ１，ＺＰ１）に、第１の仮想空間位置Ｐ１´（ＸＰ１´，ＹＰ１´，ＺＰ１´）を合致させるように、記憶部７２に記憶されている穿孔機械１００の３Ｄモデルの仮想空間座標系を移動させる。
ステップＳ７の後、校正処理部７３７は、第１の校正処理完了フラグを「ＯＮ」に設定する（ステップＳ８）。この後、制御部７３は、ステップＳ２に戻る。
ここで、作業者は、装着器具５を第１の模擬操作部３１１に装着して取得操作部３２への操作を行った後、装着器具５を第２の模擬操作部３１２に装着する。
図８は、装着器具５が第２の模擬操作部３１２に装着された状態を示す図である。
具体的に、作業者は、図８に示すように、装着器具５をグリップ部５２が嵌合部５１に対して上方に位置する姿勢としつつ、第２の模擬操作部３１２を当該嵌合部５１の内部に嵌合させる。これによって、装着器具５は、第２の模擬操作部３１２に装着される。この後、作業者は、取得操作部３２を再度、操作する。
図８は、装着器具５が第２の模擬操作部３１２に装着された状態を示す図である。
具体的に、作業者は、図８に示すように、装着器具５をグリップ部５２が嵌合部５１に対して上方に位置する姿勢としつつ、第２の模擬操作部３１２を当該嵌合部５１の内部に嵌合させる。これによって、装着器具５は、第２の模擬操作部３１２に装着される。この後、作業者は、取得操作部３２を再度、操作する。
一方、ステップＳ４において、「Ｎｏ」と判断した場合には、制御部７３は、第２の算出部７３６にて算出された装着器具５の位置が第２の模擬操作部３１２に対応する位置に位置付けられたか否かを判断する（ステップＳ９）。
具体的に、制御部７３は、予め設定された実空間座標系における第２の模擬操作部３１２の位置と第２の算出部７３６にて算出された装着器具５の位置との距離を算出する。そして、制御部７３は、当該距離が予め設定された閾値以内である場合に、第２の算出部７３６にて算出された装着器具５の位置が第２の模擬操作部３１２に対応する位置に位置付けられたと判断する（ステップＳ９：Ｙｅｓ）。すなわち、作業者が装着器具５を第２の模擬操作部３１２に装着した場合には、ステップＳ９において、「Ｙｅｓ」と判断される。一方、制御部７３は、当該距離が予め設定された閾値を超える場合に、第２の算出部７３６にて算出された装着器具５の位置が第２の模擬操作部３１２に対応する位置に位置付けられていないと判断する（ステップＳ９：Ｎｏ）。
具体的に、制御部７３は、予め設定された実空間座標系における第２の模擬操作部３１２の位置と第２の算出部７３６にて算出された装着器具５の位置との距離を算出する。そして、制御部７３は、当該距離が予め設定された閾値以内である場合に、第２の算出部７３６にて算出された装着器具５の位置が第２の模擬操作部３１２に対応する位置に位置付けられたと判断する（ステップＳ９：Ｙｅｓ）。すなわち、作業者が装着器具５を第２の模擬操作部３１２に装着した場合には、ステップＳ９において、「Ｙｅｓ」と判断される。一方、制御部７３は、当該距離が予め設定された閾値を超える場合に、第２の算出部７３６にて算出された装着器具５の位置が第２の模擬操作部３１２に対応する位置に位置付けられていないと判断する（ステップＳ９：Ｎｏ）。
ステップＳ９において、「Ｎｏ」と判断した場合には、制御部７３は、ステップＳ２に戻る。
一方、ステップＳ９において、「Ｙｅｓ」と判断した場合には、制御部７３は、取得操作部３２が操作されたか否かを判断する（ステップＳ１０）。
そして、取得操作部３２が操作されていないと判断した場合（ステップＳ１０：Ｎｏ）には、制御部７３は、ステップＳ２に戻る。
一方、取得操作部３２が操作されたと判断した場合（ステップＳ１０：Ｙｅｓ）には、制御部７３は、当該取得操作部３２が操作されたと判断したタイミングで第２の算出部７３６にて算出された装着器具５の位置を示すデータを記憶部７２に記憶させる（ステップＳ１１）。以下では、説明の便宜上、ステップＳ１１で記憶部７２に記憶されるデータに基づく装着器具５の位置（当該装着器具５が第２の模擬操作部３１２に装着された状態（図８に示す状態）で第２の算出部７３６にて算出された当該装着器具５の位置）を第２の実空間位置と記載する。当該第２の実空間位置は、第２の模擬操作部３１２の位置に相当する。
一方、ステップＳ９において、「Ｙｅｓ」と判断した場合には、制御部７３は、取得操作部３２が操作されたか否かを判断する（ステップＳ１０）。
そして、取得操作部３２が操作されていないと判断した場合（ステップＳ１０：Ｎｏ）には、制御部７３は、ステップＳ２に戻る。
一方、取得操作部３２が操作されたと判断した場合（ステップＳ１０：Ｙｅｓ）には、制御部７３は、当該取得操作部３２が操作されたと判断したタイミングで第２の算出部７３６にて算出された装着器具５の位置を示すデータを記憶部７２に記憶させる（ステップＳ１１）。以下では、説明の便宜上、ステップＳ１１で記憶部７２に記憶されるデータに基づく装着器具５の位置（当該装着器具５が第２の模擬操作部３１２に装着された状態（図８に示す状態）で第２の算出部７３６にて算出された当該装着器具５の位置）を第２の実空間位置と記載する。当該第２の実空間位置は、第２の模擬操作部３１２の位置に相当する。
ステップＳ１１の後、校正処理部７３７は、第１の校正処理完了フラグが「ＯＮ」に設定されているか否かを判断する（ステップＳ１２）。
第１の校正処理完了フラグが「ＯＦＦ」に設定されていると判断された場合（ステップＳ１２：Ｎｏ）には、制御部７３は、ステップＳ２に戻る。
一方、第１の校正処理完了フラグが「ＯＮ」に設定されていると判断した場合（ステップＳ１２：Ｙｅｓ）には、校正処理部７３７は、以下に示す第２の校正処理（角度校正処理）を実行する（ステップＳ１３）。この後、制御部７３は、ステップＳ２に戻る。すなわち、第２の校正処理は、第１の校正処理が完了した場合に限り、実行される。
一方、第１の校正処理完了フラグが「ＯＮ」に設定されていると判断した場合（ステップＳ１２：Ｙｅｓ）には、校正処理部７３７は、以下に示す第２の校正処理（角度校正処理）を実行する（ステップＳ１３）。この後、制御部７３は、ステップＳ２に戻る。すなわち、第２の校正処理は、第１の校正処理が完了した場合に限り、実行される。
図１０は、第２の校正処理（ステップＳ１３）を説明する図である。なお、図１０は、図９に対応した図である。また、図１０に示すＰ２（ＸＰ２，ＹＰ２，ＺＰ２）は、実空間座標系における第２の模擬操作部３１２の位置に相当する第２の実空間位置（３次元の位置）である。さらに、図１０に示すＰ２´（ＸＰ２´，ＹＰ２´，ＺＰ２´）は、記憶部７２に記憶された仮想空間座標系での３Ｄモデルのうち第２の模擬操作部３１２に対応する３Ｄモデルの位置（以下、第２の仮想空間位置（３次元の位置）と記載）である。
具体的に、校正処理部７３７は、ステップＳ１３において、図１０の矢印で示すように、第２の実空間位置Ｐ２（ＸＰ２，ＹＰ２，ＺＰ２）に第２の仮想空間位置Ｐ２´（ＸＰ２´，ＹＰ２´，ＺＰ２´）が合致するように、第１の仮想空間位置Ｐ１´（ＸＰ１´，ＹＰ１´，ＺＰ１´）を中心としてＺ軸（図１０の紙面に直交する軸）まわりに仮想空間座標系を回転させる。これによって、仮想空間座標系での３Ｄモデルの３次元の位置が実空間座標系での対応する部位の３次元の位置に合致し、実空間座標系に対して仮想空間座標系が整合される。
以上説明した本実施の形態によれば、以下の効果を奏する。
本実施の形態に係るシミュレーション装置１は、複数の模擬操作部３１のうち少なくともいずれかの模擬操作部３１に装着可能に構成された装着器具５と、当該装着器具５の位置を検出するベースステーション６とを有する取得装置８を備える。そして、制御装置７は、ベースステーション６によって検出された装着器具５の位置と、仮想空間座標系における装着器具５が装着された模擬操作部３１の位置とに基づいて、校正処理を実行する。
すなわち、装着器具５が模擬操作部３１に装着されるため、当該装着器具５が模擬操作部３１からずれてしまうことを回避することができ、当該装着器具５の位置である当該模擬操作部３１の位置を精度良く算出することができる。
したがって、本実施の形態に係るシミュレーション装置１によれば、装着器具５が装着された模擬操作部３１の位置を精度良く算出し、実空間座標系に対して仮想モデルの仮想空間座標系を精度良く整合させることができる。
本実施の形態に係るシミュレーション装置１は、複数の模擬操作部３１のうち少なくともいずれかの模擬操作部３１に装着可能に構成された装着器具５と、当該装着器具５の位置を検出するベースステーション６とを有する取得装置８を備える。そして、制御装置７は、ベースステーション６によって検出された装着器具５の位置と、仮想空間座標系における装着器具５が装着された模擬操作部３１の位置とに基づいて、校正処理を実行する。
すなわち、装着器具５が模擬操作部３１に装着されるため、当該装着器具５が模擬操作部３１からずれてしまうことを回避することができ、当該装着器具５の位置である当該模擬操作部３１の位置を精度良く算出することができる。
したがって、本実施の形態に係るシミュレーション装置１によれば、装着器具５が装着された模擬操作部３１の位置を精度良く算出し、実空間座標系に対して仮想モデルの仮想空間座標系を精度良く整合させることができる。
また、本実施の形態に係るシミュレーション装置１では、装着器具５は、第１，第２の模擬操作部３１１，３１２がそれぞれ内部に嵌合可能とする環状の嵌合部５１を備える。
このため、第１，第２の模擬操作部３１１，３１２への装着器具５の装着を容易に行うことができ、校正方法における作業者の作業を簡易なものとすることができる。
特に、嵌合部５１には、第１，第２の傾斜面５１２，５１３が設けられている。このため、当該第１，第２の傾斜面５１２，５１３が案内面となり、第１，第２の模擬操作部３１１，３１２が当該第１，第２の傾斜面５１２，５１３に当接しつつ、貫通孔５１１内に当該第１，第２の模擬操作部３１１，３１２を良好に案内することができる。したがって、第１，第２の模擬操作部３１１，３１２への装着器具５の装着をさらに容易に行うことができる。
このため、第１，第２の模擬操作部３１１，３１２への装着器具５の装着を容易に行うことができ、校正方法における作業者の作業を簡易なものとすることができる。
特に、嵌合部５１には、第１，第２の傾斜面５１２，５１３が設けられている。このため、当該第１，第２の傾斜面５１２，５１３が案内面となり、第１，第２の模擬操作部３１１，３１２が当該第１，第２の傾斜面５１２，５１３に当接しつつ、貫通孔５１１内に当該第１，第２の模擬操作部３１１，３１２を良好に案内することができる。したがって、第１，第２の模擬操作部３１１，３１２への装着器具５の装着をさらに容易に行うことができる。
ところで、取得操作部３２が装着器具５に設けられている場合について想定する。この場合には、取得操作部３２へのユーザ操作に応じて装着器具５の位置がずれてしまう虞がある。
これに対して、本実施の形態に係るシミュレーション装置１では、取得操作部３２は、模擬操作装置３に設けられている。このため、取得操作部３２へのユーザ操作に応じて装着器具５の位置がずれることがない。したがって、第１，第２の実空間位置Ｐ１，Ｐ２を精度良く算出することができ、実空間座標系に対して仮想モデルの仮想空間座標系をさらに精度良く整合させることができる。
これに対して、本実施の形態に係るシミュレーション装置１では、取得操作部３２は、模擬操作装置３に設けられている。このため、取得操作部３２へのユーザ操作に応じて装着器具５の位置がずれることがない。したがって、第１，第２の実空間位置Ｐ１，Ｐ２を精度良く算出することができ、実空間座標系に対して仮想モデルの仮想空間座標系をさらに精度良く整合させることができる。
また、本実施の形態に係るシミュレーション装置１では、校正処理は、上述した第１，第２の校正処理を備える。
このため、効率的に、実空間座標系に対して仮想モデルの仮想空間座標系を精度良く整合させることができる。
このため、効率的に、実空間座標系に対して仮想モデルの仮想空間座標系を精度良く整合させることができる。
（その他の実施の形態）
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態によってのみ限定されるべきものではない。
上述した実施の形態では、本発明に係る表示装置であるヘッドマウントディスプレイ４を装着した訓練者の視界に応じた実像を撮影部４１によって撮影し、当該撮影で得られた撮影画像を当該ヘッドマウントディスプレイ４に表示させていたが、これに限らない。当該訓練者の視界に応じた実像としては、ヘッドマウントディスプレイ４を介して透過した当該実像を当該訓練者に視認させる構造、すなわち、シースルー型の構造によってヘッドマウントディスプレイ４を構成しても構わない。
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態によってのみ限定されるべきものではない。
上述した実施の形態では、本発明に係る表示装置であるヘッドマウントディスプレイ４を装着した訓練者の視界に応じた実像を撮影部４１によって撮影し、当該撮影で得られた撮影画像を当該ヘッドマウントディスプレイ４に表示させていたが、これに限らない。当該訓練者の視界に応じた実像としては、ヘッドマウントディスプレイ４を介して透過した当該実像を当該訓練者に視認させる構造、すなわち、シースルー型の構造によってヘッドマウントディスプレイ４を構成しても構わない。
上述した実施の形態では、本発明に係る位置検出部として、ベースステーション６を採用していたが、これに限らない。例えば、ベースステーション６側から赤外線を照射し、装着器具５側で当該赤外線を検出する、すなわち、装着器具５側に本発明に係る位置検出部を搭載した構成としても構わない。
ところで、記憶部７２に記憶されている穿孔機械１００の３Ｄモデルの仮想空間座標系が実空間座標系からずれる場合には、当該ずれ量は、Ｘ軸まわりの回転方向へのずれ量、及びＹ軸まわりの回転方向へのずれ量に対して、Ｚ軸まわりの回転方向へのずれ量が大きいものとなる。このため、上述した実施の形態では、第２の校正処理において、第２の実空間位置Ｐ２（ＸＰ２，ＹＰ２，ＺＰ２）に第２の仮想空間位置Ｐ２´（ＸＰ２´，ＹＰ２´，ＺＰ２´）が合致するように、第１の仮想空間位置Ｐ１´（ＸＰ１´，ＹＰ１´，ＺＰ１´）を中心としてＺ軸まわりに仮想空間座標系を回転させていた。しかしながら、第２の校正処理において仮想空間座標系を回転させる軸としては、Ｚ軸に限らず、Ｘ軸やＹ軸であっても構わない。また、第２の校正処理において仮想空間座標系を回転させる軸として、Ｘ軸、Ｙ軸、及びＺ軸のうち２つ以上の軸を採用しても構わない。
上述したステップＳ４において、装着器具５が第１の模擬操作部３１１に対応する位置に位置付けられたか否かを判断する際、以下の方法を採用しても構わない。
例えば、ステップＳ３において、第２の算出部７３６は、装着器具５の位置の他、当該装着器具５の姿勢を算出する。具体的に、第２の算出部７３６は、第２の画像取得部７３３にて取得された各赤外線画像のデータに基づいて、複数の赤外線出力部５３から各赤外線カメラ６１に到達した赤外線の到達時間や角度を認識する。そして、第２の算出部７３６は、当該到達時間や角度から、装着器具５の位置及び姿勢を算出する。
校正処理部７３７は、第２の算出部７３６にて算出された装着器具５の姿勢が図７に示した姿勢（グリップ部５２が嵌合部５１に対して下方に位置する姿勢）である場合に、装着器具５が第１の模擬操作部３１１に対応する位置に位置付けられたと判断する（ステップＳ４：Ｙｅｓ）。一方、校正処理部７３７は、第２の算出部７３６にて算出された装着器具５の姿勢が図７に示した姿勢ではない場合に、装着器具５が第１の模擬操作部３１１に対応する位置に位置付けられていないと判断する（ステップＳ４：Ｎｏ）。
例えば、ステップＳ３において、第２の算出部７３６は、装着器具５の位置の他、当該装着器具５の姿勢を算出する。具体的に、第２の算出部７３６は、第２の画像取得部７３３にて取得された各赤外線画像のデータに基づいて、複数の赤外線出力部５３から各赤外線カメラ６１に到達した赤外線の到達時間や角度を認識する。そして、第２の算出部７３６は、当該到達時間や角度から、装着器具５の位置及び姿勢を算出する。
校正処理部７３７は、第２の算出部７３６にて算出された装着器具５の姿勢が図７に示した姿勢（グリップ部５２が嵌合部５１に対して下方に位置する姿勢）である場合に、装着器具５が第１の模擬操作部３１１に対応する位置に位置付けられたと判断する（ステップＳ４：Ｙｅｓ）。一方、校正処理部７３７は、第２の算出部７３６にて算出された装着器具５の姿勢が図７に示した姿勢ではない場合に、装着器具５が第１の模擬操作部３１１に対応する位置に位置付けられていないと判断する（ステップＳ４：Ｎｏ）。
同様に、上述したステップＳ９において、装着器具５が第２の模擬操作部３１２に対応する位置に位置付けられたか否かを判断する際、以下の方法を採用しても構わない。
例えば、ステップＳ３において、第２の算出部７３６は、上述したように、装着器具５の位置の他、当該装着器具５の姿勢を算出する。
校正処理部７３７は、第２の算出部７３６にて算出された装着器具５の姿勢が図８に示した姿勢（グリップ部５２が嵌合部５１に対して上方に位置する姿勢）である場合に、装着器具５が第２の模擬操作部３１２に対応する位置に位置付けられたと判断する（ステップＳ９：Ｙｅｓ）。一方、校正処理部７３７は、第２の算出部７３６にて算出された装着器具５の姿勢が図８に示した姿勢ではない場合に、装着器具５が第２の模擬操作部３１２に対応する位置に位置付けられていないと判断する（ステップＳ９：Ｎｏ）。
例えば、ステップＳ３において、第２の算出部７３６は、上述したように、装着器具５の位置の他、当該装着器具５の姿勢を算出する。
校正処理部７３７は、第２の算出部７３６にて算出された装着器具５の姿勢が図８に示した姿勢（グリップ部５２が嵌合部５１に対して上方に位置する姿勢）である場合に、装着器具５が第２の模擬操作部３１２に対応する位置に位置付けられたと判断する（ステップＳ９：Ｙｅｓ）。一方、校正処理部７３７は、第２の算出部７３６にて算出された装着器具５の姿勢が図８に示した姿勢ではない場合に、装着器具５が第２の模擬操作部３１２に対応する位置に位置付けられていないと判断する（ステップＳ９：Ｎｏ）。
１ シミュレーション装置
２ 訓練席
３ 模擬操作装置
４ ヘッドマウントディスプレイ
５ 装着器具
６ ベースステーション
７ 制御装置
８ 取得装置
３１ 模擬操作部
３２ 取得操作部
４１ 撮影部
４２ 表示部
４３ 赤外線出力部
５１ 嵌合部
５１Ａ，５１Ｂ 端面
５２ グリップ部
５３ 赤外線出力部
６１ 赤外線カメラ
７１ 入力部
７２ 記憶部
７３ 制御部
１００ 穿孔機械
１１０ 走行台車
１１１ トラック
１２０ ブーム
１２１ 旋回軸
１２２ 起伏軸
１３０ さく岩ユニット
１３１ ガイドシェル
１３２ さく岩機
１３３ 工具
１４０ 操縦室
１４１ 運転席
３１１ 第１の模擬操作部
３１２ 第２の模擬操作部
５１１ 貫通孔
５１２ 第１の傾斜面
５１３ 第２の傾斜面
５２１ 電源ボタン
７３１ モード切替部
７３２ 第１の画像取得部
７３３ 第２の画像取得部
７３４ 第１の算出部
７３５ 表示画像生成部
７３６ 第２の算出部
７３７ 校正処理部
Ｐ１ 第１の実空間位置
Ｐ１´ 第１の仮想空間位置
Ｐ２ 第２の実空間位置
Ｐ２´ 第２の仮想空間位置
２ 訓練席
３ 模擬操作装置
４ ヘッドマウントディスプレイ
５ 装着器具
６ ベースステーション
７ 制御装置
８ 取得装置
３１ 模擬操作部
３２ 取得操作部
４１ 撮影部
４２ 表示部
４３ 赤外線出力部
５１ 嵌合部
５１Ａ，５１Ｂ 端面
５２ グリップ部
５３ 赤外線出力部
６１ 赤外線カメラ
７１ 入力部
７２ 記憶部
７３ 制御部
１００ 穿孔機械
１１０ 走行台車
１１１ トラック
１２０ ブーム
１２１ 旋回軸
１２２ 起伏軸
１３０ さく岩ユニット
１３１ ガイドシェル
１３２ さく岩機
１３３ 工具
１４０ 操縦室
１４１ 運転席
３１１ 第１の模擬操作部
３１２ 第２の模擬操作部
５１１ 貫通孔
５１２ 第１の傾斜面
５１３ 第２の傾斜面
５２１ 電源ボタン
７３１ モード切替部
７３２ 第１の画像取得部
７３３ 第２の画像取得部
７３４ 第１の算出部
７３５ 表示画像生成部
７３６ 第２の算出部
７３７ 校正処理部
Ｐ１ 第１の実空間位置
Ｐ１´ 第１の仮想空間位置
Ｐ２ 第２の実空間位置
Ｐ２´ 第２の仮想空間位置
Claims (5)
- 穿孔機械に設けられ、当該穿孔機械を動作させるために用いられる複数の操作部をそれぞれ擬似的に再現した複数の模擬操作部を有する模擬操作装置と、
ユーザに装着され、当該ユーザの視界に応じた実像と所定の画像とを当該ユーザに視認させる表示装置と、
前記穿孔機械に対応する仮想モデルの画像を前記表示装置に表示させるとともに、前記仮想モデルの画像のうち、ユーザによって操作された前記模擬操作部に対応する前記仮想モデルの部位を当該模擬操作部への操作に応じて擬似的に動作させる制御装置と、
実空間座標系に対して前記仮想モデルにおける仮想空間座標系を整合させる校正処理に必要な情報を取得する取得装置とを備え、
前記取得装置は、
前記複数の模擬操作部のうち少なくともいずれかの模擬操作部が内部に嵌合可能とする環状の嵌合部を有する装着器具と、
前記装着器具の位置を検出する位置検出部とを備え、
前記制御装置は、
前記位置検出部によって検出された前記装着器具の位置と、前記仮想空間座標系における前記装着器具が装着された前記模擬操作部の位置とに基づいて、前記校正処理を実行するシミュレーション装置。 - 前記嵌合部における内周面には、
当該嵌合部における中心軸に沿う方向の端面に向かうにしたがって内径寸法が大きくなる傾斜面が設けられている請求項１に記載のシミュレーション装置。 - 前記模擬操作装置は、
ユーザ操作を受け付ける取得操作部をさらに備え、
前記制御装置は、
前記取得操作部へのユーザ操作に応じて前記位置検出部によって検出された前記装着器具の位置を取得する請求項１または２に記載のシミュレーション装置。 - 前記校正処理は、
前記複数の模擬操作部のうち第１の模擬操作部に装着された状態で前記位置検出部によって検出された前記装着器具の位置と、前記仮想空間座標系における前記第１の模擬操作部の位置とに基づいて、前記実空間座標系に対して前記仮想空間座標系を整合させる第１の校正処理と、
前記複数の模擬操作部のうち前記第１の模擬操作部とは異なる第２の模擬操作部に装着された状態で前記位置検出部によって検出された前記装着器具の位置と、前記仮想空間座標系における前記第２の模擬操作部の位置とに基づいて、前記実空間座標系に対して前記仮想空間座標系を整合させる第２の校正処理とを備える請求項１に記載のシミュレーション装置。 - 前記第１の校正処理では、
前記第１の模擬操作部に装着された状態で前記位置検出部によって検出された前記装着器具の位置に、前記仮想空間座標系における前記第１の模擬操作部の位置を合致させるように前記仮想空間座標系を移動させ、
前記第２の校正処理では、
前記第２の模擬操作部に装着された状態で前記位置検出部によって検出された前記装着器具の位置と、前記仮想空間座標系における前記第２の模擬操作部の位置とに基づいて、前記仮想空間座標系における前記第１の模擬操作部の位置を中心として所定軸まわりに前記仮想空間座標系を回転させる請求項４に記載のシミュレーション装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022079912A JP7841937B2 (ja) | 2022-05-16 | 2022-05-16 | シミュレーション装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022079912A JP7841937B2 (ja) | 2022-05-16 | 2022-05-16 | シミュレーション装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023168672A JP2023168672A (ja) | 2023-11-29 |
| JP7841937B2 true JP7841937B2 (ja) | 2026-04-07 |
Family
ID=88923311
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022079912A Active JP7841937B2 (ja) | 2022-05-16 | 2022-05-16 | シミュレーション装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7841937B2 (ja) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000155855A (ja) | 1998-06-30 | 2000-06-06 | Tobishima Corp | 仮想現実感を利用した施工支援情報システム。 |
| JP2013034764A (ja) | 2011-08-10 | 2013-02-21 | Akira Takebayashi | サージカルガイド装置及びドリルの位置決め方法 |
| JP2018092476A (ja) | 2016-12-06 | 2018-06-14 | ファナック株式会社 | 拡張現実シミュレーション装置及び拡張現実シミュレーションプログラム |
| CN109697913A (zh) | 2019-03-14 | 2019-04-30 | 中国铁建重工集团有限公司 | 一种基于虚拟现实的凿岩台车仿真培训系统 |
| JP2019087241A (ja) | 2017-11-09 | 2019-06-06 | ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ | 拡張現実プラットフォームにおいて、仮想コンテンツを物理環境と空間的に位置合わせするためのシステム、方法、及びツール |
| WO2021137788A1 (en) | 2019-12-31 | 2021-07-08 | Borcelik Celik San. Tic. A.S. | A bridge crane simulator with increased virtual reality |
| WO2021137276A1 (ja) | 2019-12-30 | 2021-07-08 | 公立大学法人公立諏訪東京理科大学 | 穿孔装置、穿孔方法及び固定機構 |
-
2022
- 2022-05-16 JP JP2022079912A patent/JP7841937B2/ja active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000155855A (ja) | 1998-06-30 | 2000-06-06 | Tobishima Corp | 仮想現実感を利用した施工支援情報システム。 |
| JP2013034764A (ja) | 2011-08-10 | 2013-02-21 | Akira Takebayashi | サージカルガイド装置及びドリルの位置決め方法 |
| JP2018092476A (ja) | 2016-12-06 | 2018-06-14 | ファナック株式会社 | 拡張現実シミュレーション装置及び拡張現実シミュレーションプログラム |
| JP2019087241A (ja) | 2017-11-09 | 2019-06-06 | ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ | 拡張現実プラットフォームにおいて、仮想コンテンツを物理環境と空間的に位置合わせするためのシステム、方法、及びツール |
| CN109697913A (zh) | 2019-03-14 | 2019-04-30 | 中国铁建重工集团有限公司 | 一种基于虚拟现实的凿岩台车仿真培训系统 |
| WO2021137276A1 (ja) | 2019-12-30 | 2021-07-08 | 公立大学法人公立諏訪東京理科大学 | 穿孔装置、穿孔方法及び固定機構 |
| WO2021137788A1 (en) | 2019-12-31 | 2021-07-08 | Borcelik Celik San. Tic. A.S. | A bridge crane simulator with increased virtual reality |
Non-Patent Citations (1)
| Title |
|---|
| 鈴木 香織 Kaori SUZUKI，ステレオ法を用いた視点位置検出による仮想展示の検討 A Study on Virtual Showcase using View Point Detection from Stereo Images，電子情報通信学会技術研究報告 Ｖｏｌ．１０５ Ｎｏ．６８３ IEICE Technical Report，社団法人電子情報通信学会 The Institute of Electronics,Information and Communication Engineers，2006年03月15日 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023168672A (ja) | 2023-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112639226B (zh) | 校正作业支援系统 | |
| US10052765B2 (en) | Robot system having augmented reality-compatible display | |
| KR101978740B1 (ko) | 원격조종시스템 및 그 제어방법 | |
| JP6420229B2 (ja) | 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム | |
| JP6355978B2 (ja) | プログラムおよび画像生成装置 | |
| CN111868335B (zh) | 远程操作系统以及主操作装置 | |
| JP7162421B2 (ja) | 遠隔施工管理システム、遠隔施工管理方法 | |
| JP2023168709A (ja) | シミュレーション装置、制御方法、及び制御プログラム | |
| JP2010060344A (ja) | 空間情報表示装置及び支援装置 | |
| JP7155516B2 (ja) | 建設機械 | |
| US12054915B2 (en) | Work assisting server and work assisting system | |
| EP3923569B1 (en) | Remote operation system and remote operation server | |
| JP2021079520A (ja) | 拡張現実を用いたシミュレーション装置及びロボットシステム | |
| JP2020086759A (ja) | ３次元モデル作成装置、加工シミュレーション装置、工具経路自動生成装置 | |
| KR101624595B1 (ko) | 골프 스윙 모니터링 시스템과 그에 연동되는 골프 클럽 | |
| JP7841937B2 (ja) | シミュレーション装置 | |
| JP2001348914A (ja) | 重機の姿勢認識装置 | |
| JP7841936B2 (ja) | シミュレーション装置、制御方法、及び制御プログラム | |
| JP2003278159A (ja) | 遠隔操作による施工方法及びシステム | |
| JP2019215769A (ja) | 操作装置及び操作方法 | |
| JP2021051031A (ja) | 測定支援システム | |
| JP2023168673A (ja) | シミュレーション装置、制御方法、及び制御プログラム | |
| JP7577218B2 (ja) | 情報処理装置、情報処理方法および駆動データ生成方法 | |
| JP2021058979A (ja) | ロボットアーム試験装置 | |
| JP2023168678A (ja) | シミュレーション装置、制御方法、及び制御プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20250402 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20251126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20251216 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20260213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20260224 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20260326 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7841937 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |