JP7841936B2 - シミュレーション装置、制御方法、及び制御プログラム - Google Patents

Description

本発明は、シミュレーション装置、制御方法、及び制御プログラムに関する。

従来、採石場や石灰石鉱山等では、岩盤に発破孔を穿孔するために穿孔機械が使用されている（例えば、特許文献１参照）。
このような穿孔機械では、送り機構によってさく岩機の先端に装着された工具を破砕対象へと押し付け、当該工具を介して、打撃機構で発生する衝撃力と回転機構で発生する回転力とを破砕対象へと伝達することで発破孔を穿孔する。そして、このような穿孔作業では、ブーム及びガイドシェルの位置決め、送り機構、打撃機構、及び回転機構の作動、セントラライザやロッドチェンジャの作動等が行われる。すなわち、当該穿孔機械では、操作対象が多岐にわたり、それぞれの操作対象を作動させるための多くの操作部が設けられている。

そして、上述したように穿孔機械には多くの操作部が設けられているため、当該穿孔機械の操作の技能を習得することは容易ではない。
そこで、穿孔機械の実機を使用せずに当該穿孔機械の操作の技能習得を行うためのシミュレーション装置を利用することが考えられる。例えば、当該シミュレーション装置は、訓練者に装着させたヘッドマウントディスプレイ等の表示装置を介して、穿孔機械を仮想的に構成した仮想モデルの画像（以下、モデル画像と記載）を当該訓練者に視認させる。また、当該シミュレーション装置は、穿孔機械に設けられた複数の操作部を擬似的に再現した複数の擬似操作部のいずれかの擬似操作部への訓練者の操作に応じて、モデル画像のうち、当該擬似操作部に対応するブーム等の部位を表示装置における表示画面上で擬似的に動作させる。
従来、このようなシミュレーション装置として、フォークリフト等の作業車両のシミュレーション装置が提案されている（例えば、特許文献２参照）。

特開２０００－３０３７６８号公報 特開２００４－２５２０２４号公報

しかしながら、穿孔機械における作業工程の中には、作業者による操作部への操作に応じて動作する部位の状態を当該作業者が把握し難いものがある。当該作業者が把握し難い状態としては、ロッドを交換する際のネジの締結状態を例示することができる。
そして、穿孔機械のシミュレーション装置において、上述した状態を把握することができないことは訓練者にとって当該穿孔機械の操作の技能習得の妨げとなる。

本発明は、上記に鑑みてなされたものであって、穿孔機械の操作の技能を訓練者に容易に習得させることができるシミュレーション装置、制御方法、及び制御プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係るシミュレーション装置は、穿孔機械に設けられ、当該穿孔機械を動作させるために用いられる複数の操作部をそれぞれ擬似的に再現した複数の模擬操作部を有する模擬操作装置と、前記穿孔機械を仮想的に構成した仮想モデルの画像を表示する表示装置と、前記仮想モデルの画像を前記表示装置に表示させるとともに、当該仮想モデルの画像のうち、ユーザによって操作された前記模擬操作部に対応する当該仮想モデルの部位を当該模擬操作部への操作に応じて擬似的に動作させる制御装置とを備え、前記制御装置は、特定の前記模擬操作部への操作に応じて擬似的に動作させる前記仮想モデルの部位の状態を数値以外の情報によって前記表示装置に表示させる表示制御部を備える。

また、本発明に係るシミュレーション装置では、前記数値以外の情報は、色を含む情報であり、前記表示制御部は、前記状態を前記色によって前記表示装置に表示させるとともに、当該状態の変化に応じて当該色を変化させる。

また、本発明に係るシミュレーション装置では、前記表示制御部は、前記表示装置の表示画面から視認不能な前記仮想モデルの部位の状態を前記数値以外の情報によって前記表示装置に表示させる。

また、本発明に係るシミュレーション装置では、前記状態は、ネジの締結状態である。

また、本発明に係る制御方法は、穿孔機械のシミュレーション装置の制御装置が実行する制御方法であって、前記穿孔機械を仮想的に構成した仮想モデルのうち、特定の模擬操作部への操作に応じて擬似的に動作させる当該仮想モデルの部位の状態を数値以外の情報によって表示装置に表示させる表示処理ステップを含む。

また、本発明に係る制御プログラムは、穿孔機械を仮想的に構成した仮想モデルのうち、特定の模擬操作部への操作に応じて擬似的に動作させる当該仮想モデルの部位の状態を数値以外の情報によって表示装置に表示させる表示処理ステップをコンピュータに実行させるための制御プログラムである。

本発明に係るシミュレーション装置、制御方法、及び制御プログラムによれば、穿孔機械の操作の技能を訓練者に容易に習得させることができる。

図１は、実施の形態に係るシミュレーション装置によって操作の技能習得を行う対象となる穿孔機械を示す図である。 図２は、ロッドチェンジャの内部を示す図である。 図３は、実施の形態に係るシミュレーション装置の構成を示す図である。 図４は、制御装置の構成を示すブロック図である。 図５は、表示制御部にて生成される表示画像の具体例を示す図である。 図６は、制御方法を示すフローチャートである。 図７は、可視化表示処理（ステップＳ２）にて表示部に表示される表示画像の第１の具体例を説明する図（その１）である。 図８は、可視化表示処理（ステップＳ２）にて表示部に表示される表示画像の第１の具体例を説明する図（その２）である。 図９は、可視化表示処理（ステップＳ２）にて表示部に表示される表示画像の第１の具体例を説明する図（その３）である。 図１０は、図９に示したクランプ部モデルとロッドモデルとの位置関係を示す図である。 図１１は、可視化表示処理（ステップＳ２）にて表示部に表示される表示画像の第１の具体例を説明する図（その４）である。 図１２は、図１１に示したクランプ部モデルとロッドモデルとの位置関係を示す図である。 図１３は、可視化表示処理（ステップＳ２）にて表示部に表示される表示画像の第１の具体例を説明する図（その５）である。 図１４は、図１３に示したクランプ部モデルとロッドモデルとの位置関係を示す図である。 図１５は、可視化表示処理（ステップＳ２）にて表示部に表示される表示画像の第２の具体例を説明する図（その１）である。 図１６は、可視化表示処理（ステップＳ２）にて表示部に表示される表示画像の第２の具体例を説明する図（その２）である。

以下に、図面を参照しつつ、本発明を実施するための形態（以下、実施の形態）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。

〔穿孔機械の概略構成〕
図１は、実施の形態に係るシミュレーション装置１によって操作の技能習得を行う対象となる穿孔機械１００を示す図である。
先ず、本実施の形態に係るシミュレーション装置１の構成を説明する前に、当該シミュレーション装置１によって操作の技能習得を行う対象となる穿孔機械１００の構成について説明する。
なお、穿孔機械１００を説明するにあたって、以下に示す「前方側」とは、図１に示す左側を意味する。

穿孔機械１００は、作業者の操作に応じて岩盤Ｒ（図１）に発破孔Ｈ（図１）を穿孔する。この穿孔機械１００は、図１に示すように、左右一対のトラック１１１を有する走行台車１１０と、当該走行台車１１０上にそれぞれ搭載されたブーム１２０、さく岩ユニット１３０、及び操縦室１４０とを備える。

ブーム１２０は、走行台車１１０上の右斜め前方側において、鉛直方向に沿う旋回軸（図示略）を中心として回転（以下、旋回と記載）可能、及び、水平方向（前後方向）に沿う起伏軸（図示略）を中心として回転（以下、起伏と記載）可能に設けられている。

さく岩ユニット１３０は、図１に示すように、ブーム１２０の先端部分に装着されている。このさく岩ユニット１３０は、ガイドシェル１３１と、さく岩機１３２と、工具１３３と、ロッドチェンジャ１３４とを備える。

ガイドシェル１３１は、ブーム１２０の先端部分に装着され、当該ブーム１２０の先端部分に対して前後方向に揺動（以下、チルトと記載）可能、左右方向に揺動（以下、スイングと記載）可能、及び上下方向にスライド可能に設けられている。
さく岩機１３２は、ガイドシェル１３１の長手方向に沿って当該ガイドシェル１３１上を前進後退可能に設けられている。このさく岩機１３２は、ガイドシェル１３１に設けられた送り機構（図示略）によって当該ガイドシェル１３１上を前進後退するとともに、公知の打撃機構（図示略）及び回転機構（図示略）を備える。
工具１３３は、さく岩機１３２の先端に装着される。この工具１３３は、図１に示すように、さく岩機１３２の先端に装着されるシャンクロッド１３３Ａと、当該シャンクロッド１３３Ａに対してスリーブ１３３Ｂで接続されるロッド１３３Ｃと、当該ロッド１３３Ｃの先端に設けられたビット１３３Ｄとを備える。

図２は、ロッドチェンジャ１３４の内部を示す図である。
ロッドチェンジャ１３４は、ロッド１３３Ｃに対して継ぎ足しされる予備ロッド１３３Ｃ´（図１，図２）の当該継ぎ足し、及び当該予備ロッド１３３Ｃ´の回収に用いられる。このロッドチェンジャ１３４は、図２に示すように、ロッドマガジン１３４Ａと、クランプ部１３４Ｂとを備える。
ロッドマガジン１３４Ａは、予備ロッド１３３Ｃ´が格納される部分である。
クランプ部１３４Ｂは、予備ロッド１３３Ｃ´やロッド１３３Ｃを把持可能とするとともに、ロッドマガジン１３４Ａとさく孔軸線上との間で予備ロッド１３３Ｃ´を移動させる。

そして、穿孔機械１００では、以下に示すように、破砕対象に発破孔Ｈを穿孔する。
すなわち、ブーム１２０の旋回動作や起伏動作と、ガイドシェル１３１のチルト動作、スイング動作、及びスライド動作とによって、さく岩ユニット１３０を破砕対象に対する所望の位置に位置付ける。この後、送り機構（図示略）によって工具１３３を破砕対象へと押し付け、打撃機構（図示略）で発生する衝撃力と回転機構（図示略）で発生する回転力とを当該工具１３３を介して当該破砕対象へ伝達して発破孔Ｈを穿孔する。

操縦室１４０は、図１に示すように、走行台車１１０上の左斜め前方側に設けられている。そして、操縦室１４０内には、図１に示すように、穿孔機械１００を操作する作業者が着座する運転席（図示略）と、当該運転席の両側方に位置し、穿孔機械１００を動作させるために用いられる複数の操作部とが設けられている。

〔シミュレーション装置の概略構成〕
次に、シミュレーション装置１の構成について説明する。
図３は、実施の形態に係るシミュレーション装置１の構成を示す図である。
シミュレーション装置１は、図３に示すように、訓練席２と、模擬操作装置３と、ヘッドマウントディスプレイ４と、ベースステーション５と、制御装置６とを備える。

訓練席２は、シミュレーション装置１によって、穿孔機械１００の操作の技能習得を行うユーザである訓練者が着座する部分である。
模擬操作装置３は、図３に示すように、穿孔機械１００に設けられた操作装置（図示略）を擬似的に再現したものである。そして、模擬操作装置３は、当該操作装置に設けられた複数の操作部（図示略）をそれぞれ擬似的に再現した複数の模擬操作部３１を有する。これら複数の模擬操作部３１は、制御装置６との間で無線または有線によってそれぞれ通信可能に接続され、訓練者等によるユーザ操作に応じた操作信号を当該制御装置６にそれぞれ出力する。

例えば、模擬操作部３１として、第１の模擬操作部３１ａと、第２の模擬操作部３１ｂとが設けられている（図３）。
ここで、第１の模擬操作部３１ａは、訓練席２の右側方に設けられている。一方、第２の模擬操作部３１ｂは、訓練席２の左側方に設けられている。
具体的に、第１の模擬操作部３１ａは、穿孔機械１００における送り機構（図示略）を動作させるための送り操作、打撃機構（図示略）を動作させるための打撃操作、及び回転機構（図示略）を動作させるための回転操作をそれぞれ受け付ける操作部を擬似的に再現した模擬操作部である。
第２の模擬操作部３１ｂは、ロッドチェンジャ１３４におけるクランプ部１３４Ｂを動作させるためのクランプ操作を受け付ける操作部を擬似的に再現した模擬操作部である。

ヘッドマウントディスプレイ４は、本発明に係る表示装置に相当し、制御装置６との間で無線または有線によって通信可能に接続する。このヘッドマウントディスプレイ４は、眼鏡のような外観を有し、訓練者に装着される。そして、ヘッドマウントディスプレイ４は、当該ヘッドマウントディスプレイ４を装着した訓練者の視界に応じた実像と所定の画像とをそれぞれ表示可能とする。このヘッドマウントディスプレイ４は、撮影部４１と、表示部４２と、複数の赤外線出力部４３とを備える（図４参照）。

撮影部４１は、入射した光を受光して電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を含むカメラである。また、撮影部４１は、制御装置６による制御の下、ヘッドマウントディスプレイ４を装着した訓練者の視界に応じた領域を撮影して撮影画像を生成する。そして、撮影部４１は、生成した撮影画像のデータを制御装置６に出力する。

表示部４２は、液晶または有機ＥＬ（Electro Luminescence）等を用いた表示ディスプレイで構成され、ヘッドマウントディスプレイ４を装着した訓練者の左眼及び右眼の少なくともいずれか一方に対向する位置に配置される。そして、表示部４２は、制御装置６による制御の下、各種の画像を表示する。

複数の赤外線出力部４３は、ヘッドマウントディスプレイ４の位置（３次元の位置）及び姿勢（ヘッドマウントディスプレイ４を装着している訓練者の視線方向）を判別するために用いられる。これら複数の赤外線出力部４３は、互いに異なる位置にそれぞれ配置され、赤外線をそれぞれ出力（照射）する。

ベースステーション５は、ヘッドマウントディスプレイ４の位置（３次元の位置）及び姿勢（ヘッドマウントディスプレイ４を装着している訓練者の視線方向）を検出するために用いられる。また、ベースステーション５は、制御装置６との間で無線または有線によって通信可能に接続する。このベースステーション５は、複数の赤外線出力部４３から出力された赤外線を検出する２つの赤外線カメラ５１（図３）によって構成されている。なお、赤外線カメラ５１の数は、２つに限らず、その他の数だけ設けても構わない。そして、２つの赤外線カメラ５１は、撮影により生成した赤外線画像のデータを制御装置６にそれぞれ出力する。

図４は、制御装置６の構成を示すブロック図である。なお、図４では、説明の便宜上、模擬操作部３１と、赤外線出力部４３と、赤外線カメラ５１とを１つずつのみ図示している。
制御装置６は、シミュレーション装置１全体の動作を制御する。この制御装置６は、図４に示すように、入力部６１と、記憶部６２と、制御部６３とを備える。
入力部６１は、訓練者等によるユーザ操作を受け付けるボタン、スイッチ、タッチパネル等で構成され、当該ユーザ操作に応じた信号を制御部６３に出力する。

記憶部６２は、制御部６３が実行する各種のプログラム（本発明に係る制御プログラムを含む）の他、当該制御部６３が処理を行うときに必要なデータ等を記憶する。
ここで、当該制御部６３が処理を行うときに必要なデータとしては、第１の３Ｄモデル（仮想モデル）のデータと、第２の３Ｄモデルのデータと、関連情報のデータとを例示することができる。
第１の３Ｄモデルは、穿孔機械１００を仮想的に構成した３Ｄモデルである。
第２の３Ｄモデルは、撮影部４１にて生成された撮影画像が投影されるスクリーンとして機能する３Ｄモデルである。
これら第１，第２の３Ｄモデルは、例えばＣＡＤ（Computer-Aided Design）ソフトウェア等によって生成された３Ｄモデルであって、シミュレーション装置１が設置される実空間座標系に整合させた仮想空間座標系において、当該第１，第２の３Ｄモデルの各部位の位置や角度が関連付けられている。

関連情報は、制御部６３が実行する後述する可視化表示処理で用いられる情報であって、特定の模擬操作部３１への操作の操作量及び操作時間に対して、当該模擬操作部３１に対応する第１の３Ｄモデルの部位の状態（動作量）が関連付けられた情報である。

制御部６３は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等のコントローラによって、記憶部６２に記憶された各種のプログラムが実行されることにより実現され、シミュレーション装置１全体の動作を制御する。なお、制御部６３は、ＣＰＵやＭＰＵに限らず、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）等の集積回路によって構成されても構わない。この制御部６３は、図４に示すように、第１の画像取得部６３１と、第２の画像取得部６３２と、算出部６３３と、操作認識部６３４と、表示制御部６３５とを備える。

第１の画像取得部６３１は、撮影部４１にて生成された撮影画像のデータを取得する。
第２の画像取得部６３２は、２つの赤外線カメラ５１にてそれぞれ生成された赤外線画像のデータを取得する。

算出部６３３は、ヘッドマウントディスプレイ４の位置及び姿勢（ヘッドマウントディスプレイ４を装着している訓練者の視線方向）を算出する。具体的に、算出部６３３は、第２の画像取得部６３２にて取得された各赤外線画像のデータに基づいて、複数の赤外線出力部４３から各赤外線カメラ５１に到達した赤外線の到達時間や角度を認識する。そして、算出部６３３は、当該到達時間や角度から、ヘッドマウントディスプレイ４の位置及び姿勢（ヘッドマウントディスプレイ４を装着している訓練者の視線方向）を算出する。
操作認識部６３４は、操作信号を入力することで、ヘッドマウントディスプレイ４を装着した訓練者によって操作された模擬操作部３１を認識する。

表示制御部６３５は、表示部４２に表示させる表示画像を生成する。
図５は、表示制御部６３５にて生成される表示画像Ｆ０の具体例を示す図である。図５において、符号「１２０Ｍ」は、ブーム１２０を仮想的に構成したブームモデル（第１の３Ｄモデル）である。また、符号「３Ｍ」は、穿孔機械１００に設けられ、模擬操作装置３と同様の構成を有する操作装置（図示略）を仮想的に構成した操作装置モデル（第１の３Ｄモデル）である。さらに、符号「ＳＣ」は、第２の３Ｄモデルであるスクリーンである。また、符号「ＣＩ」は、撮影部４１にて生成された撮影画像である。なお、図５では、撮影画像ＣＩと、ブームモデル１２０Ｍ及び操作装置モデル３Ｍの各モデル画像とを区別するために、当該撮影画像ＣＩにドットを付している。

具体的に、表示制御部６３５は、算出部６３３にて算出されたヘッドマウントディスプレイ４の位置及び姿勢（ヘッドマウントディスプレイ４を装着している訓練者の視線方向）と、記憶部６２に記憶されている第１の３Ｄモデルのデータとに基づいて、仮想空間上での訓練者の視野に応じた領域に認識される各第１の３Ｄモデルの画像（以下、モデル画像と記載）を生成する。図５の例では、訓練者が右側方を向いた状態であり、当該領域に認識される第１の３Ｄモデルは、ブームモデル１２０Ｍ及び操作装置モデル３Ｍである。そして、表示制御部６３５は、当該生成した各第１の３Ｄモデルの各モデル画像を配置した表示画像を生成する。これにより、表示部４２には、当該表示画像が表示される。なお、訓練者が右側方を向いた状態では、表示部４２には、ブームモデル１２０Ｍ及び操作装置モデル３Ｍの各モデル画像が配置された表示画像Ｆ０（図５）が表示される。また、表示制御部６３５は、操作認識部６３４にて認識された模擬操作部３１に対応する第１の３Ｄモデルの部位を当該模擬操作部３１への操作に応じて擬似的に動作させる。

ここで、表示制御部６３５は、表示画像Ｆ０を生成する際、当該表示画像Ｆ０における特定の領域（下方側の左右方向の中央領域）に、撮影部４１にて生成された撮影画像ＣＩ（図５）を投影したスクリーンＳＣ（図５）を配置する。また、表示制御部６３５は、以下に示す比較処理の結果に基づいて、スクリーンＳＣの透明度を変更する。
当該比較処理は、基準線及び予め設定された切替用基準位置間の最短距離と特定の閾値とを比較する処理である。当該基準線は、算出部６３３にて算出されたヘッドマウントディスプレイ４の位置及び姿勢に基づいて作成された仮想的な線であって、当該ヘッドマウントディスプレイ４の特定の位置から訓練者の視線方向に応じて直線状に延びる線である。当該切替用基準位置は、模擬操作装置３の配置位置に対応した位置（実空間座標系では模擬操作装置３の配置位置、仮想空間座標系では操作装置モデル３Ｍ（図５）の位置）に１つ、または、複数、設定されている。

また、表示制御部６３５は、比較処理の結果、最短距離が特定の閾値を超える場合（以下、第１の場合と記載）には、スクリーンＳＣを透明にする。当該第１の場合としては、仮想空間上での訓練者の視野に応じた領域が前方または比較的上方であり、当該領域に操作装置モデル３Ｍが認識されない場合を例示することができる。そして、第１の場合では、スクリーンＳＣを透明にした結果、表示画像には、仮想空間上の訓練者の視野に応じた領域に認識される各第１の３Ｄモデルの各モデル画像のみが表示される。なお、後述する図７ないし図１３に示した表示画像Ｆ１～Ｆ７は、第１の場合での表示画像である。このため、当該表示画像Ｆ１～Ｆ７には、撮影画像ＣＩは表示されない。図７ないし図１３では、透明になった状態のスクリーンＳＣを一点鎖線で表現している。

一方、表示制御部６３５は、比較処理の結果、最短距離が特定の閾値以下である場合（以下、第２の場合と記載）には、スクリーンＳＣの透明度を小さくする。当該第２の場合としては、仮想空間上での訓練者の視野に応じた領域に操作装置モデル３Ｍが認識される場合を例示することができる。そして、第２の場合では、スクリーンＳＣの透明度を小さくした結果、表示画像には、仮想空間上での訓練者の視野に応じた領域に認識される各第１の３Ｄモデルの各モデル画像の他、撮影画像ＣＩが表示される。なお、図５に示した表示画像Ｆ０は、第２の場合での表示画像である。このため、当該表示画像Ｆ０には、撮影画像ＣＩが表示される。

また、表示制御部６３５は、特定の模擬操作部３１への操作に応じて擬似的に動作させる第１の３Ｄモデルの部位の状態を数値以外の情報によって表示部４２に表示させる可視化表示処理を実行する。
なお、可視化表示処理の詳細については、後述する「制御方法」において説明する。

〔制御方法〕
次に、制御装置６が実行する制御方法について説明する。
図６は、制御方法を示すフローチャートである。
なお、以下では、説明の便宜上、制御装置６が実行する制御方法として、可視化表示処理を主に説明する。
先ず、表示制御部６３５は、仮想空間上での訓練者の視野に応じた領域に、特定の模擬操作部３１への操作に応じて擬似的に動作させる第１の３Ｄモデルの部位（以下、特定モデルと記載）が認識されたか否かを常時、監視する（ステップＳ１）。

そして、表示制御部６３５は、仮想空間上での訓練者の視野に応じた領域に特定モデルが認識されたと判定した場合（ステップＳ１：Ｙｅｓ）には、可視化表示処理を実行する（ステップＳ２：表示処理ステップ）。
具体的に、表示制御部６３５は、記憶部６２に記憶された関連情報を参照し、操作認識部６３４にて認識された特定の模擬操作部３１への操作の操作量及び操作時間に対して関連付けられた特定モデルの状態（動作量）を認識する。そして、表示制御部６３５は、特定モデルの配置位置を中心とする特定の範囲内に、当該状態（動作量）を数値以外の情報によって表示部４２に表示させる。本実施の形態では、当該数値以外の情報として、色を含む情報を採用している。そして、表示制御部６３５は、認識した特定モデルの状態（動作量）を当該色によって表示部４２に表示させるとともに、当該状態の変化に応じて当該色を変化させる。

〔可視化表示処理にて表示部に表示される表示画像の第１の具体例〕
次に、上述した可視化表示処理（ステップＳ２）にて表示部４２に表示される表示画像の第１の具体例について説明する。
図７ないし図１４は、可視化表示処理（ステップＳ２）にて表示部４２に表示される表示画像の第１の具体例を説明する図である。図７ないし図１４において、符号「１３３ＡＭ」は、シャンクロッド１３３Ａを仮想的に構成したシャンクロッドモデル（第１の３Ｄモデル）である。また、符号「１３３ＢＭ」は、スリーブ１３３Ｂを仮想的に構成したスリーブモデル（第１の３Ｄモデル）である。さらに、符号「１３３ＣＭ」は、ロッド１３３Ｃを仮想的に構成したロッドモデル（第１の３Ｄモデル）である。また、符号「１３３Ｃ´Ｍ」は、予備ロッド１３３Ｃ´を仮想的に構成した予備ロッドモデル（第１の３Ｄモデル）である。さらに、符号「１３４Ｍ」は、ロッドチェンジャ１３４を仮想的に構成したロッドチェンジャモデル（第１の３Ｄモデル）である。また、符号「１３４ＡＭ」は、ロッドマガジン１３４Ａを仮想的に構成したロッドマガジンモデル（第１の３Ｄモデル）である。さらに、符号「１３４ＢＭ」は、クランプ部１３４Ｂを仮想的に構成したクランプ部モデル（第１の３Ｄモデル）である。また、図１０は、図９に示したクランプ部モデル１３４ＢＭとロッドモデル１３３ＣＭとの位置関係を示す図である。図１２は、図１１に示したクランプ部モデル１３４ＢＭとロッドモデル１３３ＣＭとの位置関係を示す図である。図１４は、図１３に示したクランプ部モデル１３４ＢＭとロッドモデル１３３ＣＭとの位置関係を示す図である。

ロッド１３３Ｃに対する予備ロッド１３３Ｃ´の継ぎ足し、及び当該予備ロッド１３３Ｃ´の回収を行う際には、上述したように、クランプ部１３４Ｂが用いられる。しかしながら、クランプ部１３４Ｂにおける予備ロッド１３３Ｃ´やロッド１３３Ｃを把持する状態（クランプ部１３４Ｂにおける開口角の状態（以下、開口状態と記載））については、作業者は、視認し難いものである。すなわち、作業者は、クランプ部１３４Ｂの操作（クランプ操作）の技能を習得することが難しい。そこで、シミュレーション装置１では、図７ないし図１４に示した第１の具体例のように、可視化表示処理（ステップＳ２）において、当該状態を数値以外の情報によって表示部４２に表示させることによって、訓練者に第２の模擬操作部３１ｂへのクランプ操作の技能を習得させる。

具体的に、表示制御部６３５は、仮想空間上での訓練者の視野に応じた領域に特定モデルであるクランプ部モデル１３４ＢＭが認識されたと判定した場合（ステップＳ１：Ｙｅｓ）には、可視化表示処理（ステップＳ２）を実行する。
例えば、図７は、クランプ部モデル１３４ＢＭがロッドマガジンモデル１３４ＡＭとさく孔軸線上との間に位置し、開口状態が閉じた閉状態（予備ロッド１３３Ｃ´やロッド１３３Ｃを把持可能とする状態）の場合の表示画像Ｆ１を例示している。この場合には、表示制御部６３５は、可視化表示処理（ステップＳ２）において、第２の模擬操作部３１ｂへのクランプ操作の操作量及び操作時間から、当該閉状態を認識し、クランプ部モデル１３４ＢＭに近接した位置に当該閉状態に応じた状態情報ＳＩ１を表示部４２に表示させる（図７）。例えば、当該状態情報ＳＩ１は、当該閉状態を示すために、赤で塗り潰された画像で構成されている。なお、図７では、説明の便宜上、当該赤を斜線によって表現している。

また、例えば、図８は、クランプ部モデル１３４ＢＭがロッドマガジンモデル１３４ＡＭとさく孔軸線上との間に位置し、開口状態が開いた開状態（予備ロッド１３３Ｃ´やロッド１３３Ｃの把持を解放する状態）の場合の表示画像Ｆ２を例示している。この場合には、表示制御部６３５は、可視化表示処理（ステップＳ２）において、第２の模擬操作部３１ｂへのクランプ操作の操作量及び操作時間から、当該開状態を認識し、クランプ部モデル１３４ＢＭに近接した位置に当該開状態に応じた状態情報ＳＩ１を表示部４２に表示させる（図８）。例えば、当該状態情報ＳＩ１は、当該開状態を示すために、緑で塗り潰された画像で構成されている。なお、図８では、説明の便宜上、当該緑をドットによって表現している。

さらに、例えば、図９は、クランプ部モデル１３４ＢＭがさく孔軸線上に位置するロッドモデル１３３ＣＭを把持可能な位置に位置し、開口状態が開状態の場合の表示画像Ｆ３を例示している。具体的に、図９に示す状態では、図１０に示すように、クランプ部モデル１３４ＢＭの開口状態が開状態となっている。すなわち、クランプ部モデル１３４ＢＭとロッドモデル１３３ＣＭとの間には大きな隙間ＧＡ（図１０）が設けられ、当該クランプ部モデル１３４ＢＭによるロッドモデル１３３ＣＭの把持が解放されている。この場合には、表示制御部６３５は、可視化表示処理（ステップＳ２）において、図８と同様の状態情報ＳＩ１を表示部４２に表示させる（図９）。

また、例えば、図１１は、クランプ部モデル１３４ＢＭがさく孔軸線上に位置するロッドモデル１３３ＣＭを把持可能な位置に位置し、開口状態が閉状態の場合の表示画像Ｆ４を例示している。具体的に、図１１に示す状態では、図１２に示すように、クランプ部モデル１３４ＢＭの開口状態が閉状態となっている。すなわち、クランプ部モデル１３４ＢＭとロッドモデル１３３ＣＭとの間には隙間ＧＡが略存在せず、当該クランプ部モデル１３４ＢＭによりロッドモデル１３３ＣＭが把持されている。この場合には、表示制御部６３５は、可視化表示処理（ステップＳ２）において、図７と同様の状態情報ＳＩ１を表示部４２に表示させる（図１１）。

さらに、例えば、図１３は、クランプ部モデル１３４ＢＭがさく孔軸線上に位置するロッドモデル１３３ＣＭを把持可能な位置に位置し、開口状態がハーフクランプ状態（予備ロッド１３３Ｃ´やロッド１３３Ｃをそれらの中心軸を中心として回転可能に支持する状態）の場合の表示画像Ｆ５を例示している。具体的に、図１３に示す状態では、図１４に示すように、クランプ部モデル１３４ＢＭの開口状態がハーフクランプ状態となっている。すなわち、クランプ部モデル１３４ＢＭとロッドモデル１３３ＣＭとの間には僅かな隙間ＧＡ（図１４）が設けられ、当該クランプ部モデル１３４ＢＭによってロッドモデル１３３ＣＭが当該ロッドモデル１３３ＣＭの中心軸を中心として回転可能に支持されている。この場合には、表示制御部６３５は、可視化表示処理（ステップＳ２）において、第２の模擬操作部３１ｂへのクランプ操作の操作量及び操作時間から、当該ハーフクランプ状態を認識し、クランプ部モデル１３４ＢＭに近接した位置に当該ハーフクランプ状態に応じた状態情報ＳＩ１を表示部４２に表示させる（図１３）。例えば、当該状態情報ＳＩ１は、当該ハーフクランプ状態を示すために、半分が赤で塗り潰されつつ、残りの半分が緑で塗り潰された画像で構成されている。なお、図１３では、説明の便宜上、当該赤を斜線によって表現し、当該緑をドットによって表現している。また、当該赤及び当該緑で塗り潰された割合は、上記の割合に限らず、その他の割合としても構わない。

〔可視化表示処理にて表示部に表示される表示画像の第２の具体例〕
次に、上述した可視化表示処理（ステップＳ２）にて表示部４２に表示される表示画像の第２の具体例について説明する。
図１５及び図１６は、可視化表示処理（ステップＳ２）にて表示部４２に表示される表示画像の第２の具体例を説明する図である。具体的に、図１５及び図１６は、図７ないし図９、図１１、及び図１３に対応した図である。

ロッド１３３Ｃに対する予備ロッド１３３Ｃ´の継ぎ足し、及び当該予備ロッド１３３Ｃ´の回収を行う際には、穿孔機械１００における送り機構（図示略）、打撃機構（図示略）、及び回転機構（図示略）を動作させるための操作（送り操作、打撃操作、回転操作）が行われる。これによって、シャンクロッド１３３Ａ及びロッド１３３Ｃ（スリーブ１３３Ｂ）間や、ロッド１３３Ｃ及び予備ロッド１３３Ｃ´間でのネジ締め及びネジ緩めが行われる。しかしながら、当該各間でのネジの締結状態については、作業者は、視認不能である。すなわち、作業者は、送り操作、打撃操作、及び回転操作の技能を習得することが難しい。そこで、シミュレーション装置１では、図１５及び図１６に示した第２の具体例のように、可視化表示処理（ステップＳ２）において、表示部４２の表示画面から視認不能である当該ネジの締結状態を数値以外の情報によって表示部４２に表示させることによって、訓練者に第１の模擬操作部３１ａへの送り操作、打撃操作、及び回転操作の技能を習得させる。

具体的に、表示制御部６３５は、仮想空間上での訓練者の視野に応じた領域に特定モデルであるスリーブモデル１３３ＢＭが認識されたと判定した場合（ステップＳ１：Ｙｅｓ）には、可視化表示処理（ステップＳ２）を実行する。
例えば、図１５は、シャンクロッドモデル１３３ＡＭとスリーブモデル１３３ＢＭとの間でのネジの締結状態が最も緩んでいる場合の表示画像Ｆ６を例示している。この場合には、表示制御部６３５は、可視化表示処理（ステップＳ２）において、第１の模擬操作部３１ａへの送り操作及び回転操作の操作量及び操作時間から、当該締結状態を認識し、スリーブモデル１３３ＢＭの外周部分に当該締結状態に応じた状態情報ＳＩ２を表示部４２に表示させる（図１５）。例えば、当該状態情報ＳＩ２は、ネジが最も緩んでいる当該締結状態を示すために、緑で塗り潰された画像で構成されている。なお、図１５では、説明の便宜上、当該緑をドットによって表現している。

また、例えば、図１６は、シャンクロッドモデル１３３ＡＭとスリーブモデル１３３ＢＭとの間でのネジの締結状態が５０％程度に締まった場合の表示画像Ｆ７を例示している。この場合は、表示制御部６３５は、可視化表示処理（ステップＳ２）において、第１の模擬操作部３１ａへの送り操作及び回転操作の操作量及び操作時間から、当該締結状態を認識し、スリーブモデル１３３ＢＭの外周部分に当該締結状態に応じた状態情報ＳＩ２を表示部４２に表示させる（図１６）。例えば、当該状態情報ＳＩ２は、５０％程度に締まった当該締結状態を示すために、ネジが締まった量を赤で塗り潰すことによって表現し、ネジが緩んだ量を緑で塗り潰すことによって表現した画像で構成されている。なお、図１６では、説明の便宜上、当該赤を斜線によって表現し、当該緑をドットによって表現している。

なお、図７ないし図９、図１１、及び図１３に示した場合にも仮想空間上での訓練者の視野に応じた領域に特定モデルであるスリーブモデル１３３Ｂが認識されている。
そして、図７ないし図９、図１１、及び図１３は、シャンクロッドモデル１３３ＡＭとスリーブモデル１３３ＢＭとの間でのネジの締結状態が最も締まっている場合の表示画像Ｆ１～Ｆ５を例示している。この場合には、表示制御部６３５は、可視化表示処理（ステップＳ２）において、第１の模擬操作部３１ａへの送り操作及び回転操作の操作量及び操作時間から、当該締結状態を認識し、スリーブモデル１３３ＢＭの外周部分に当該締結状態に応じた状態情報ＳＩ２を表示部４２に表示させる（図７～図９，図１１，図１３）。例えば、当該状態情報ＳＩ２は、ネジが最も締まっている当該締結状態を示すために、大部分が赤で塗り潰されつつ、一部が緑で塗り潰された画像で構成されている。なお、図７ないし図９、図１１、及び図１３では、説明の便宜上、当該赤を斜線によって表現し、当該緑をドットによって表現している。

以上説明した本実施の形態によれば、以下の効果を奏する。
本実施の形態に係るシミュレーション装置１では、制御装置６は、特定の模擬操作部３１への操作に応じて擬似的に動作させる第１の３Ｄモデルの部位の状態を数値以外の情報によって表示部４２に表示させる可視化表示処理（ステップＳ２）を実行する。
このため、訓練者は、把握し難い状態（例えば、クランプ部１３４Ｂにおける開口状態、シャンクロッド１３３Ａ及びロッド１３３Ｃ（スリーブ１３３Ｂ）間やロッド１３３Ｃ及び予備ロッド１３３Ｃ´間でのネジの締結状態）を可視化表示処理（ステップＳ２）によって把握することができる。
したがって、本実施の形態に係るシミュレーション装置１によれば、把握し難い状態を可視化表示処理（ステップＳ２）によって訓練者に把握させることができ、穿孔機械１００の操作の技能を容易に習得させることができる。

特に、制御装置６は、可視化表示処理（ステップＳ２）において、上述した状態を色によって表示部４２に表示させるとともに、当該状態の変化に応じて当該色を変化させる。このため、訓練者は、当該状態の変化を容易に把握することができる。

（その他の実施の形態）
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態によってのみ限定されるべきものではない。
上述した実施の形態では、可視化表示処理（ステップＳ２）によって数値以外の情報で表示部４２に表示させる状態として、クランプ部１３４Ｂにおける開口状態、シャンクロッド１３３Ａ及びロッド１３３Ｃ（スリーブ１３３Ｂ）間やロッド１３３Ｃ及び予備ロッド１３３Ｃ´間でのネジの締結状態を例示していたが、これに限らない。
当該状態としては、訓練者が認識し難い状態であれば、その他の状態を採用しても構わない。例えば、上述した各間でのネジの締結状態として、当該ネジが最も締まった状態とした後、打撃機構（図示略）が動作した回数に応じて変化する当該各間での軸力の状態を数値以外の情報で表示部４２に表示させても構わない。

上述した実施の形態では、可視化表示処理（ステップＳ２）において、上述した状態を色によって表示部４２に表示させるとともに、当該状態の変化に応じて当該色を変化させていたが、これに限らない。
当該状態を数値以外の情報によって表示する表示形態であれば、その他の表示形態を採用しても構わない。例えば、当該状態をバーによって表示部４２に表示させるとともに、当該状態の変化に応じて当該バーの長さを変化させる表示形態を採用しても構わない。

上述した実施の形態では、ヘッドマウントディスプレイ４を装着しつつ訓練者が複数の模擬操作部３１を操作することができるように、第２の場合に撮影画像ＣＩを表示部４２に表示させていたが、これに限らない。
例えば、訓練者の手に赤外線を発光する発光部を取り付けておく。また、記憶部６２に人間の手に応じた３Ｄモデルのデータを記憶させておく。ここで、制御部６３は、ヘッドマウントディスプレイ４の位置及び姿勢を算出する場合と同様に、２つの赤外線カメラ５１にて生成された各赤外線画像に基づいて、訓練者の手の位置及び姿勢を算出する。そして、制御部６３は、当該算出した訓練者の手の位置及び姿勢に基づいて、表示部４２に人間の手に応じた３Ｄモデルのモデル画像を表示する。

上述した実施の形態において、制御部６３の一部の機能を制御装置６の外部に設けても構わない。例えば、ヘッドマウントディスプレイ４の位置及び姿勢を算出する算出部６３３の機能をベースステーション５に設けても構わない。この際、制御装置６は、ヘッドマウントディスプレイ４の位置及び姿勢を示す情報をベースステーション５から取得する。

上述した実施の形態に係る可視化表示処理（ステップＳ２）において、上述した状態を数値によって表示部４２に表示させても構わない。

１ シミュレーション装置
２ 訓練席
３ 模擬操作装置
３Ｍ 操作装置モデル
４ ヘッドマウントディスプレイ
５ ベースステーション
６ 制御装置
３１ 模擬操作部
３１ａ 第１の模擬操作部
３１ｂ 第２の模擬操作部
４１ 撮影部
４２ 表示部
４３ 赤外線出力部
５１ 赤外線カメラ
６１ 入力部
６２ 記憶部
６３ 制御部
１００ 穿孔機械
１１０ 走行台車
１１１ トラック
１２０ ブーム
１２０Ｍ ブームモデル
１３０ さく岩ユニット
１３１ ガイドシェル
１３２ さく岩機
１３３ 工具
１３３Ａ シャンクロッド
１３３ＡＭ シャンクロッドモデル
１３３Ｂ スリーブ
１３３ＢＭ スリーブモデル
１３３Ｃ ロッド
１３３ＣＭ ロッドモデル
１３３Ｃ´ 予備ロッド
１３３Ｃ´Ｍ 予備ロッドモデル
１３３Ｄ ビット
１３４ ロッドチェンジャ
１３４Ｍ ロッドチェンジャモデル
１３４Ａ ロッドマガジン
１３４ＡＭ ロッドマガジンモデル
１３４Ｂ クランプ部
１３４ＢＭ クランプ部モデル
１４０ 操縦室
６３１ 第１の画像取得部
６３２ 第２の画像取得部
６３３ 算出部
６３４ 操作認識部
６３５ 表示制御部
ＣＩ 撮影画像
Ｆ０～Ｆ７ 表示画像
Ｈ 発破孔
Ｒ 岩盤
ＳＣ スクリーン
ＳＩ１，ＳＩ２ 状態情報

Claims (6)

1. 穿孔機械に設けられ、当該穿孔機械を動作させるために用いられる複数の操作部をそれぞれ擬似的に再現した複数の模擬操作部を有する模擬操作装置と、
   前記穿孔機械を仮想的に構成した仮想モデルの画像を表示する表示装置と、
   前記仮想モデルの画像を前記表示装置に表示させるとともに、当該仮想モデルの画像のうち、ユーザによって操作された前記模擬操作部に対応する当該仮想モデルの部位を当該模擬操作部への操作に応じて擬似的に動作させる制御装置とを備え、
   前記制御装置は、
   特定の前記模擬操作部への操作に応じて擬似的に動作させる前記仮想モデルの部位の状態であって、前記操作による操作量及び操作時間に対して関連付けられた特定モデルの状態を数値以外の情報によって前記表示装置に表示させる表示制御部を備えるシミュレーション装置。
2. 前記数値以外の情報は、
   色を含む情報であり、
   前記表示制御部は、
   前記状態を前記色によって前記表示装置に表示させるとともに、当該状態の変化に応じて当該色を変化させる請求項１に記載のシミュレーション装置。
3. 前記表示制御部は、
   前記表示装置の表示画面から視認不能な前記仮想モデルの部位の状態を前記数値以外の情報によって前記表示装置に表示させる請求項１または２に記載のシミュレーション装置。
4. 前記状態は、
   ネジの締結状態である請求項３に記載のシミュレーション装置。
5. 穿孔機械のシミュレーション装置の制御装置が実行する制御方法であって、
   前記穿孔機械を仮想的に構成した仮想モデルのうち、特定の模擬操作部への操作に応じて擬似的に動作させる当該仮想モデルの部位の状態であって、前記操作による操作量及び操作時間に対して関連付けられた特定モデルの状態を数値以外の情報によって表示装置に表示させる表示処理ステップを含む制御方法。
6. 穿孔機械を仮想的に構成した仮想モデルのうち、特定の模擬操作部への操作に応じて擬似的に動作させる当該仮想モデルの部位の状態であって、前記操作による操作量及び操作時間に対して関連付けられた特定モデルの状態を数値以外の情報によって表示装置に表示させる表示処理ステップをコンピュータに実行させるための制御プログラム。