JP7200004B2

JP7200004B2 - 運転動作模擬装置および運転動作模擬方法

Info

Publication number: JP7200004B2
Application number: JP2019033255A
Authority: JP
Inventors: 順吉田
Original assignee: Mitsubishi Heavy Industries Ltd
Current assignee: Mitsubishi Heavy Industries Ltd
Priority date: 2019-02-26
Filing date: 2019-02-26
Publication date: 2023-01-06
Anticipated expiration: 2039-02-26
Also published as: JP2020140251A

Description

本発明は、運転動作模擬装置および運転動作模擬方法に関する。

プラント等で使用されている装置を開発や運用するには、装置が動作している状態を理解する必要がある。例えば核物質を扱う原子力発電所等の場合は、施設に搬入された装置が遮蔽体に覆われている。さらに装置は、設置されている場所から離れた場所から遠隔操作される。このため、現地納入後、作業者や設計者は、装置に近寄ることができず、見たり触れる等ができなくなるため、装置の詳細を理解するために大変な労力が必要になる。このため、作業者や設計者は、二次元の機械図面の読み込み、実機の運転による経験を積み重ねて対応している。ところが、二次元図面から装置動作を理解するのは難しく、経験の積み重ねには時間がかかりすぎる。作業者や設計者からは、実機に近づくことができない装置の装置動作の理解や運転訓練や教育において、現場で装置が運転されている状態を操作状態に応じて色々な角度から見たいという要求がある。

これに対して、プラントに設置されている装置の動作を、装置用のプログラムに基づいてプラント装置の運転をシミュレーションすることが提案されている（例えば特許文献１参照）。特許文献１に記載の技術では、シーケンスプログラムと、プラントシミュレータと、シーケンスシミュレータを用いて、仮想プラントを運転させている。ここで、シーケンスシミュレータとは、シーケンスプログラムを実行してプログラマブルロジックコントローラ（ＰＬＣ）で制御される各デバイスへのシーケンス制御を再現するものである。プラントシミュレータとは、定常シミュレータ（プロセスシミュレータ）よりもプラントの動きを忠実に再現するものである。

また、ＣＧ（コンピュータグラフィック）による仮想空間表示により訓練環境を構築して複数の訓練者に提示し、訓練者それぞれが操作した結果を他の訓練者に同報することで複数の訓練者が訓練を行える訓練装置が提案されている（例えば特許文献２参照）。特許文献２に記載の技術では、利用者は仮想空間ＣＧ画面を見ながら現場訓練を行う。そして、特許文献２に記載の技術では、仮想空間ＣＧ画面には、訓練環境となる仮想空間に訓練者の分身であるアバタが表示される。この構成によって、各訓練者のクライアント計算機の画面上では他の訓練者の状態が適宜更新され、仮想空間内の状況が全訓練者及び教師間で共有される。

特開２０１４－３５７１０号公報特開２００２－３６６０２１号公報

しかしながら、特許文献１に記載の技術では、シーケンスプログラムに基づいて仮想プラントの運転をシミュレーションできても、現場で装置が運転されている状態を操作状態に応じて色々な角度から確認することができなかった。また、特許文献２に記載の技術でも、現場で装置が運転されている状態を操作状態に応じて色々な角度から確認することができなかった。

本発明は、上記の問題点に鑑みてなされたものであって、現場で装置が運転されている状態を操作状態に応じて色々な角度から確認することができる運転動作模擬装置および運転動作模擬方法を提供することを目的とする。

上記目的を達成するため、本発明の一態様に係る運転動作模擬装置（１，１Ａ）は、操作画面を生成する操作画面生成部（１５２１）と、前記操作画面に対する操作を受け付ける操作部（１１、１２）と、操作に応じた模擬対象の機械の動作の模擬を行う第１模擬部（１５１）と、前記第１模擬部が模擬を行った結果に基づいて、操作に応じた前記機械の動作を三次元画像で模擬を行い、操作に応じて前記機械の動作を前記三次元画像の表示角度を変化させ、前記機械の模擬動作を画像表示部に表示させる第２模擬部（１５２）と、前記操作画面の画像と前記三次元画像を表示する画像表示部（１６，１６Ａ）と、を備える。
このような構成によれば、実機に近づくことができない装置の動作を、操作状態に応じた現場で装置が運転されている状態を見ることができる。また、この構成によれば、実機に近づくことができない装置の動作を、色々な角度から見ることができる。この結果、このような構成によれば、例えば汚染される等の理由で実機に近づくことができない装置の運転訓練や教育が可能となる。

また、本発明の一態様に係る運転動作模擬装置において、前記第１模擬部は、前記機械で用いられるプログラムを用いて、操作に応じた前記機械の動作の模擬を行い、前記第２模擬部は、前記機械の三次元ＣＡＤ（Ｃｏｍｐｕｔｅｒ－ＡｉｄｅｄＤｅｓｉｇｎ）データ用いて操作に応じた前記機械の動作を三次元画像の模擬を行うようにしてもよい。
このような構成によれば、資産を流用することで設計思想や表示内容を新たに検討したり製作せずにすむので、運転動作模擬装置の開発時間を短縮でき、運転動作模擬装置の開発コストを低減することができる。

また、本発明の一態様に係る運転動作模擬装置において、前記画像表示部は、ＶＲ（ＶｉｒｔｕａｌＲｅａｌｉｔｙ）ゴーグルであり、前記操作部は、前記画像表示部に取り付けられ、利用者の視線を検出することによって前記操作画面に対する操作を受け付けるようにしてもよい。
このような構成によれば、利用者に高い没入感を与えることができ、通常は不可能な体験や困難な事象の疑似体験することができる。また、ＶＲゴーグルを用いた場合は、利用者が見たい方向に頭を向けたり、のぞき込む動作を行うことで、その動作に応じて利用者が所望している角度の画像を提供することできる。

また、本発明の一態様に係る運転動作模擬装置において、前記画像表示部は、第１の表示部と第２の表示部を備え、前記操作画面を前記第１の表示部に表示させ、前記三次元画像を前記第２の表示部に表示させるようにしてもよい。
このような構成によれば、利用者は操作画面の設定状態を確認しながら、装置の動作状態を確認することができる。

上記目的を達成するため、本発明の一態様に係る運転動作模擬方法は、操作画面生成部が、操作画面を生成する操作画面生成手順と、操作部が、前記操作画面に対する操作を受け付ける操作手順と、第１模擬部が、操作に応じた模擬対象の機械の動作の模擬を行う第１模擬手順と、第２模擬部が、前記第１模擬部によって模擬が行われた結果に基づいて、操作に応じた前記機械の動作を三次元画像の模擬を行う手順と、前記第２模擬部が、操作に応じて前記機械の動作を前記三次元画像の表示角度を変化させ、前記機械の模擬動作を画像表示部に表示させる第２模擬手順と、前記画像表示部が、前記操作画面の画像と前記三次元画像を表示する画像表示手順と、を含む。

本発明によれば、現場で装置が運転されている状態を操作状態に応じて色々な角度から確認することができる。

実施形態に係る運転動作模擬装置の構成例を示す図である。実施形態に係る操作プログラム記憶部が記憶するプログラムの例を示す図である。実施形態に係る画像表示部に表示される画像例を示す図である。実施形態に係る運転動作模擬装置の処理手順例のフローチャートを示す図である。実施形態に係る運転動作模擬装置の他の構成例を示すブロック図である。

以下、本発明の実施の形態について図面を参照しながら説明する。図１は、本実施形態に係る運転動作模擬装置１の構成例を示す図である。図１に示すように、運転動作模擬装置１は、操作部１１と、センサ１２（操作部）と、操作プログラム記憶部１３と、ＤＢ１４と、模擬部１５（第１模擬部、第２模擬部）と、画像表示部１６を備える。
また、模擬部１５は、第１模擬部１５１と第２模擬部１５２を備える。第１模擬部１５１は、アクチュエータ模擬部１５１１とエミュレーション部１５１２を備える。第２模擬部１５２は、操作画面模擬部１５２１（操作画面生成部）と運転状態画像模擬部１５２２を備える。画像表示部１６は、運転画像表示部１６１（第２の表示部）と操作画面表示部１６２（第１の表示部）を備える。

運転動作模擬装置１は、プラント等で運用される装置の操作画面を利用者（作業者、設計者等）に提示する。運転動作模擬装置１は、利用者が操作画面を操作した操作結果に応じて装置の運転状態を三次元（３Ｄ）画像で模擬（シミュレーション）を行って、模擬を行った装置の３Ｄ画像を利用者に提示する。運転動作模擬装置１は、利用者からの指示に応じて利用者が見たい角度（方向）の装置の運用状態画像の模擬を行って、模擬を行った利用者が見たい角度（方向）の装置の運用状態画像を利用者に提示する。なお、三次元（３Ｄ）画像は、実機の機械やスイッチやセンサの動作してるアニメーション（動画）画像である。

操作部１１は、例えば画像表示部１６の画面上に設けられているタッチパネルセンサー、マウス、キーボード、触覚グローブである。操作部１１は、利用者の操作結果を検出し、検出した操作結果を模擬部１５に出力する。操作結果には、操作画面を操作した結果を示す情報、または利用者が見たい角度（方向）を示す指示（角度指示）の少なくとも１つが含まれている。また、操作部１１は、画像表示部１６に取り付けられている視線入力装置であってもよい。操作部１１が視線入力装置の場合、例えば操作部１１は、例えば利用者の視線が所定時間、所定位置に静止した場合に、その位置に該当するスイッチ画像が選択されたと検出する。

センサ１２は、例えば加速度センサ、ジャイロセンサ等である。センサ１２は、画像表示部１６がＶＲ（ＶｉｒｔｕａｌＲｅａｌｉｔｙ）ゴーグルの場合、画像表示部１６に設けられ、利用者の頭の動きを検出する。センサ１２は検出した検出結果（角度指示）を模擬部１５に出力する。または、画像表示部１６が、例えばパソコン用の表示装置の場合、センサ１２は、利用者の頭や手に取り付けられていてもよい。

操作プログラム記憶部１３は、装置を動作させるためのプログラム等を記憶する。プログラムは、例えばラダー言語で記述されている。なお、装置を動作させるためのプログラムは、プラントで用いられる装置で使用されるプログラムと同じか同等のものである。

ＤＢ（データベース）１４は、装置の３ＤのＣＡＤ（Ｃｏｍｐｕｔｅｒ－ＡｉｄｅｄＤｅｓｉｇｎ）データを格納する。

模擬部１５は、操作部１１が出力する操作結果に基づいて、ＤＢ１４が格納する装置の３ＤＣＡＤデータと操作プログラム記憶部１３が記憶するプログラムを用いて、装置の運転状態の３Ｄ画像の模擬を行う。模擬部１５は、操作部１１が出力する操作結果またはセンサ１２が出力する検出結果に基づいて、ＤＢ１４が格納する装置の３ＤＣＡＤデータと操作プログラム記憶部１３が記憶するプログラムを用いて、利用者が見たい角度の装置の運転状態の３Ｄ画像の模擬を行う。

第１模擬部１５１は、装置の運転状態の模擬を行う。
アクチュエータ模擬部１５１１は、プログラムに基づいて、装置が有するアクチュエータ（モータ）の動作状態、センサの動作状態、センサの検出値、スイッチの状態等の模擬を行う。ここで、装置が有するセンサは、例えばモータに取り付けられているエンコーダ、接触状態検出センサ等である。
エミュレーション部１５１２は、操作部１１が出力する操作結果に基づいて、装置の３ＤＣＡＤデータとプログラムとアクチュエータ模擬部１５１１が模擬を行った結果を用いて、装置の運転状態の３Ｄ画像の模擬を行う。エミュレーション部１５１２は、操作部１１が出力する操作結果またはセンサ１２が出力する検出結果に基づいて、装置の３ＤＣＡＤデータとプログラムを用いて、利用者が見たい角度の装置の運転状態の３Ｄ画像の模擬を行う。

第２模擬部１５２は、操作画面の画像と、装置の運転状態の３Ｄ画像の模擬を行う。
操作画面模擬部１５２１は、操作部１１が出力する操作結果と、アクチュエータ模擬部１５１１が模擬を行ったセンサの状態や検出値を取得する。操作画面模擬部１５２１は、取得した操作結果とセンサの状態や検出値に基づいて、ＤＢ１４が格納する装置の３ＤＣＡＤデータと操作プログラム記憶部１３が記憶するプログラムを用いて、操作画面の画像の模擬を行う。
運転状態画像模擬部１５２２は、操作部１１が出力する操作結果と、アクチュエータ模擬部１５１１が模擬を行ったセンサの状態や検出値を取得する。運転状態画像模擬部１５２２は、取得した操作結果とセンサの状態や検出値に基づいて、ＤＢ１４が格納する装置の３ＤＣＡＤデータと操作プログラム記憶部１３が記憶するプログラムを用いて、装置が有するＰＬＣ（プログラマブルロジックコントローラ）の動作の模擬を行うことで装置の運転状態の３Ｄ画像の模擬を行う。運転状態画像模擬部１５２２は、取得した角度指示とセンサの状態や検出値に基づいて、装置の３ＤＣＡＤデータとプログラムを用いて、装置が有するＰＬＣの動作の模擬を行うことで利用者が見たい角度における装置の運転状態の３Ｄ画像の模擬を行う。

画像表示部１６は、例えば液晶表示装置、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）表示装置、またはＶＲゴーグルである。操作画面と、装置の運転状態の３Ｄ画像を表示する。画像表示部１６は、１つの表示装置であってもよく、複数の表示装置で構成されていてもよい。
運転画像表示部１６１は、運転状態画像模擬部１５２２が模擬を行った装置の運転状態の３Ｄ画像を表示する。
操作画面表示部１６２は、操作画面模擬部１５２１が模擬を行った操作画面の画像を表示する。

次に、操作プログラム記憶部１３が記憶するプログラムの例を説明する。
図２は、本実施形態に係る操作プログラム記憶部１３が記憶するプログラムの例を示す図である。図２に示すプログラムは、シーケンスプログラムの一例であり、ＰＬＣを制御するプログラムである。また、図２に示すプログラムは、ラダー言語で記述されている。なお、図２に示したプログラムは一例であり、プログラムは装置に応じたものであればよい。また、プログラム言語は、ラダー言語に限らず他の言語であってもよい。

次に、画像表示部１６に表示される画像例を説明する。
図３は、本実施形態に係る画像表示部１６に表示される画像例を示す図である。図３において、符号ｇ１は画像表示部１６に表示される画像であり、符号ｇ１１は装置の運転状態の３Ｄ画像であり、符号ｇ１２は操作画面の画像である。なお、符号ｇ１１の装置の運転状態の３Ｄ画像は、利用者の操作に応じて、表示される角度が任意に変化する。また、符号ｇ１２に示すように、操作画面には、運転状態、スイッチの状態、センサの状態、センサの検出値などが含まれている。このように、本実施形態によれば、利用者は操作画面の設定状態を確認しながら、装置の動作状態を色々な角度から確認することができる。
なお、図３に示した図は一例であり、装置の運転状態の３Ｄ画像と操作画面の画像は縦に並べて表示されていてもよい。また、仮想空間上に３Ｄ画像と操作画面が表示されるようにしてもよい。

次に、運転動作模擬装置１の処理手順例を説明する。
図４は、本実施形態に係る運転動作模擬装置１の処理手順例のフローチャートを示す図である。

（ステップＳ１）模擬部１５は、ＤＢ１４が格納する装置の３ＤＣＡＤデータと操作プログラム記憶部１３が記憶するプログラムを用いて、操作画面の画像と、装置の３Ｄ画像の模擬を行う。
（ステップＳ２）画像表示部１６は、操作画面の画像と、装置の３Ｄ画像を表示する。

（ステップＳ３）模擬部１５は、操作部１１が操作画面を操作した操作結果を検出したか否かを判別する。模擬部１５は、操作部１１が操作画面を操作した操作結果を検出したと判別した場合（ステップＳ３；ＹＥＳ）、ステップＳ４の処理に進める。模擬部１５は、操作部１１が操作画面を操作した操作結果を検出していないと判別した場合（ステップＳ３；ＮＯ）、ステップＳ３の処理を繰り返す。

（ステップＳ４）模擬部１５は、操作画面が操作された操作結果を取得する。
（ステップＳ５）模擬部１５は、操作画面が操作された操作結果に基づいて、ＤＢ１４が格納する装置の３ＤＣＡＤデータと操作プログラム記憶部１３が記憶するプログラムを用いて、操作画面の画像と装置の運転状態の３Ｄ画像の模擬を行う。

（ステップＳ６）画像表示部１６は、操作画面が操作された操作結果に基づいて模擬を行った操作画面の画像と装置の運転状態の３Ｄ画像を表示する。

（ステップＳ７）模擬部１５は、利用者が見たい角度である角度指示を検出したか否かを判別する。模擬部１５は、操角度指示を検出したと判別した場合（ステップＳ７；ＹＥＳ）、ステップＳ８の処理に進める。模擬部１５は、角度指示を検出していないと判別した場合（ステップＳ７；ＮＯ）、ステップＳ３に処理を戻す。

（ステップＳ８）模擬部１５は、角度指示を取得する。
（ステップＳ９）模擬部１５は、角度指示に基づいて、ＤＢ１４が格納する装置の３ＤＣＡＤデータと操作プログラム記憶部１３が記憶するプログラムを用いて、運転状態の３Ｄ画像の模擬を行う。

（ステップＳ１０）画像表示部１６は、角度指示に基づいて模擬を行った装置の運転状態の３Ｄ画像を表示する。画像表示部１６は、処理後、ステップ３に処理を戻す。

運転動作模擬装置１は、運転動作模擬装置１の電源がオフ状態にされるかシミュレーションがオフ状態にされるまでステップＳ３～Ｓ１０の処理を繰り返す。

なお、上述した例では、図３に示したように、装置の３Ｄ画像と、操作画面の画像を並べて表示する例を説明したが、これに限らない。例えば、図４のステップＳ７以降、操作画面において操作が所定時間以上行われず角度指示のみが検出される場合、画像表示部１６は、操作画面の画像を表示せずに装置の３Ｄ画像のみを表示するようにしてもよい。また、ステップＳ７以降、操作画面において操作が所定時間以上行われず角度指示のみが検出される場合、画像表示部１６は、装置の３Ｄ画像内に縮小した操作画面の画像を重ねて表示するようにしてもよい。

以上のように、本実施形態では、実際の装置で使用されるプログラムを用いて、装置の運転状態を模擬するようにした。そして、本実施形態では、装置の運転状態に基づいて、装置の３ＤＣＡＤデータを用いて、装置の運転状態の３Ｄ画像の模擬を行うようにした。本実施形態では、操作画面を操作された結果に基づいて、装置の３Ｄ画像を変化させるようにした。さらに、本実施形態では、利用者が見たい角度を指示した際、その角度に装置の３Ｄ画像を変化させるようにした。

この構成によれば、実機に近づくことができない装置の動作を、操作状態に応じた現場で装置が運転されている状態を見ることができる。また、この構成によれば、実機に近づくことができない装置の動作を、色々な角度から見ることができる。この結果、本実施形態によれば、例えば汚染される等の理由で実機に近づくことができない装置の運転訓練や教育が可能となる。

なお、センサ１２の出力値が例えばオン状態とオフ状態の２値の場合、指示されてから所定時間後に状態が切り替わる場合もあり得る。このような場合、模擬部１５は、オン状態とオフ状態の中間状態も３Ｄ画像として模擬するようにしてもよい。これにより、利用者は、より装置の動作を理解することができる。

また、本実施形態によれば、実機で用いられるプログラムを装置の動作の模擬に用い、実機の３ＤＣＡＤデータを装置の３Ｄ画像の模擬に用いている。これにより、本実施形態によれば、資産を流用することで設計思想や表示内容を新たに検討したり製作せずにすむので、運転動作模擬装置１の開発時間を短縮でき、運転動作模擬装置１の開発コストを低減することができる。

また、本実施形態において、画像表示部１６にＶＲゴーグルを用いた場合は、利用者に高い没入感を与えることができ、通常は不可能な体験や困難な事象の疑似体験することができる。また、ＶＲゴーグルを用いた場合は、利用者が見たい方向に頭を向けたり、のぞき込む動作を行うことで、その動作に応じて利用者が所望している角度の画像を提供することできる。

＜運転動作模擬装置１の他の構成例＞
次に、運転動作模擬装置１の他の構成例を説明する。
図５は、本実施形態に係る運転動作模擬装置の他の構成例を示すブロック図である。図５に示すように、運転動作模擬装置１Ａは、操作プログラム記憶部１３と、ＤＢ１４と、装置模擬装置１５Ａ１（第１模擬部）と、画像模擬装置１５Ａ２（第２模擬部）と、画像表示装置１６Ａを備えている。
また、装置模擬装置１５Ａ１は、第１模擬部１５１と通信部１５３を備えている。画像模擬装置１５Ａ２は、操作部１１と、第２模擬部１５２と、通信部１５４を備えている。画像表示装置１６Ａは、センサ１２（操作部）と、通信部１６３と、画像表示部１６４を備えている。第１模擬部１５１は、アクチュエータ模擬部１５１１とエミュレーション部１５１２を備える。第２模擬部１５２は、操作画面模擬部１５２１（操作画面生成部）と運転状態画像模擬部１５２２を備える。画像表示部１６４は、運転画像表示部１６１と操作画面表示部１６２を備える。
なお、運転動作模擬装置１が備えている機能部と同じ機能を有する機能部には、同じ符号を用いて説明を省略する。

なお、装置模擬装置１５Ａ１と画像模擬装置１５Ａ２は、有線回線または無線回線で接続されている。また、画像模擬装置１５Ａ２と画像表示装置１６Ａは、有線回線または無線回線で接続されている。

装置模擬装置１５Ａ１は、例えばパーソナルコンピュータである。装置模擬装置１５Ａ１は、画像模擬装置１５Ａ２が出力する操作結果に基づいて装置の運転状態を模擬し、模擬した結果を画像模擬装置１５Ａ２に出力する。

第１模擬部１５１は、画像模擬装置１５Ａ２が出力する操作結果に基づいて、操作プログラム記憶部１３が記憶するプログラムを用いて、装置の運転状態の模擬を行い、模擬を行った結果を通信部１５３に出力する。

通信部１５３は、第１模擬部１５１が出力した模擬が行われた装置の運転状態の情報を画像模擬装置１５Ａ２に送信する。通信部１５３は、画像模擬装置１５Ａ２が送信した操作結果を受信し、受信した操作結果を第１模擬部１５１に出力する。

画像模擬装置１５Ａ２は、例えばパーソナルコンピュータである。画像模擬装置１５Ａ２は、操作画面の画像と、装置の運転状態の３Ｄ画像の模擬を行う。操作画面に対して操作された操作結果を装置模擬装置１５Ａ１に送信する。

第２模擬部１５２は、装置模擬装置１５Ａ１が送信した模擬が行われた装置の運転状態の情報を受信する。第２模擬部１５２は、模擬が行われた装置の運転状態の情報と、取得した操作結果に基づいて、ＤＢ１４が格納する装置の３ＤＣＡＤデータと操作プログラム記憶部１３が記憶するプログラムを用いて、操作画面の画像の模擬を行う。運転状態画像模擬部１５２２は、取得した角度指示とセンサの状態や検出値に基づいて、装置の３ＤＣＡＤデータとプログラムを用いて、装置が有するＰＬＣの動作の模擬を行うことで利用者が見たい角度における装置の運転状態の３Ｄ画像の模擬を行う。また、第２模擬部１５２は、操作画面の画像と装置の運転状態の３Ｄ画像を通信部１５４に出力する。

通信部１５４は、第２模擬部１５２が出力する操作画面の画像と装置の運転状態の３Ｄ画像を画像表示装置１６Ａに送信する。

操作部１１は、例えば視線入力装置または触覚グローブである。操作部１１は、利用者の操作結果を第２模擬部１５２に出力する。操作部１１が視線入力装置の場合、例えば操作部１１は、例えば利用者の視線が所定時間、所定位置に静止した場合に、その位置に該当するスイッチ画像が選択されたと検出する。

画像表示装置１６Ａは、例えばＶＲゴーグルである。画像模擬装置１５Ａ２が送信する操作画面の画像と装置の運転状態の３Ｄ画像を表示する。画像表示装置１６Ａは、センサ１２が検出した角度指示を画像模擬装置１５Ａ２に送信する。
センサ１２は、利用者の頭の動きを検出し、検出した検出結果（角度指示）を通信部１６３に出力する。なお、センサ１２の検出値は、仮想空間内での位置や方向検出用のトラッキング機能に用いられる。

通信部１６３は、センサ１２が出力する角度指示を画像模擬装置１５Ａ２に送信する。通信部１６３は、画像模擬装置１５Ａ２が送信した操作画面の画像と装置の運転状態の３Ｄ画像を受信し、受信した操作画面の画像と装置の運転状態の３Ｄ画像を画像表示部１６４に出力する。

画像表示部１６４は、通信部１６３が出力する操作画面の画像と装置の運転状態の３Ｄ画像を表示する。
操作画面表示部１６２は、操作画面の画像を表示する。
運転画像表示部１６１は、装置の３Ｄ画像（アニメーション）を表示する。画像表示装置１６ＡがＶＲゴーグルの場合は、仮想空間上に運転画像表示部１６１、操作画面表示部１６２が表示させる。

以上のように、本実施形態の他の構成では、装置模擬装置１５Ａ１が実機のＰＬＣのソフトを用いて、画像模擬装置１５Ａ２から受信した操作結果に応じた実機のメカ装置の模擬を行って動作演算を行い、演算結果を画像模擬装置１５Ａ２に送信するようにした。そして、本実施形態の他の構成では、画像模擬装置１５Ａ２が、実機のメカ装置の３Ｄ－ＣＡＤモデルと、装置模擬装置１５Ａ１から受信した演算結果を用いて画像表示装置１６Ａ（ＶＲデバイス）への表示内容の模擬を行って演算するようにした。そして、本実施形態の他の構成では、画像表示装置１６Ａが、メカ装置の３Ｄモデル表示（装置の３Ｄ画像）、運転監視画面（操作画面）を表示するようにした。また、本実施形態の他の構成では、利用者の操作結果を、例えば利用者の視線の動きによって周知の手法で検出し、検出した操作結果を画像模擬装置１５Ａ２に送信するようにした。さらに本実施形態の他の構成では、画像表示装置１６Ａが備えるセンサ１２が、利用者の頭の動きを検出して、検出した結果を角度指示として画像模擬装置１５Ａ２に送信するようにした。そして、本実施形態の他の構成では、画像模擬装置１５Ａ２が、画像表示装置１６Ａから受信した角度情報に基づいて、仮想空間内での位置・方向検出用のトラッキングを行い、さらに利用者が見たい角度の３Ｄ画像の模擬を行って画像表示装置１６Ａに表示させるようにした。

この構成によれば、実機に近づくことができない装置の装置動作を、操作状態に応じた現場で装置が運転されている状態を見ることができる。また、この構成によれば、実機に近づくことができない装置の動作を、色々な角度から見ることができる。この結果、本実施形態によれば、例えば汚染される等の理由で実機に近づくことができない装置の運転訓練や教育が可能となる。

なお、本発明における運転動作模擬装置１（または１Ａ）の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより運転動作模擬装置１（または１Ａ）が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。

１，１Ａ…運転動作模擬装置、
１１…操作部、
１２…センサ、
１３…操作プログラム記憶部、
１４…ＤＢ、
１５…模擬部、
１５Ａ１…装置模擬装置、
１５Ａ２…画像模擬装置、
１６…画像表示部、
１６Ａ…画像表示装置、
１５１…第１模擬部、
１５２…第２模擬部
１５３…通信部、
１５４…通信部、
１５１１…アクチュエータ模擬部、
１５１２…エミュレーション部、
１５２１…操作画面模擬部、
１５２２…運転状態画像模擬部、
１６１…運転画像表示部、
１６２…操作画面表示部、
１６３…通信部、
１６４…画像表示部、

Claims

操作画面を生成する操作画面生成部と、
前記操作画面に対する操作を受け付ける操作部と、
操作に応じた模擬対象の機械の動作の模擬を行う第１模擬部と、
前記第１模擬部が模擬を行った結果に基づいて、操作に応じた前記機械の動作を三次元画像で模擬し、操作に応じて前記三次元画像の表示角度を変化させ、前記機械の模擬動作を画像表示部に表示させる第２模擬部と、
前記操作画面の画像と前記三次元画像を表示する画像表示部と、
を備え、
前記操作画面は、前記機械が実際に運用される際に用いられる操作画面を模擬したものであって、少なくとも当該機械を動作させるための操作用のボタンと前記機械に取り付けられたセンサの状態または検出値を表示可能な表示窓とが一体に構成され、
前記第１模擬部は、前記機械の動作の模擬として、前記機械に取り付けられた前記センサの状態または検出値を模擬するように構成されている、
運転動作模擬装置。
前記第１模擬部は、前記機械で用いられるプログラムを用いて、操作に応じた前記機械の動作の模擬を行い、
前記第２模擬部は、前記機械の三次元ＣＡＤ（Ｃｏｍｐｕｔｅｒ－ＡｉｄｅｄＤｅｓｉｇｎ）データを用いて操作に応じた前記機械の動作を三次元画像で模擬を行う、
請求項１に記載の運転動作模擬装置。
前記画像表示部は、ＶＲ（ＶｉｒｔｕａｌＲｅａｌｉｔｙ）ゴーグルであり、
前記操作部は、前記画像表示部に取り付けられ、利用者の視線を検出することによって前記操作画面に対する操作を受け付ける、
請求項１または請求項２に記載の運転動作模擬装置。
前記画像表示部は、第１の表示部と第２の表示部を備え、
前記操作画面を前記第１の表示部に表示させ、前記三次元画像を前記第２の表示部に表示させる、
請求項３に記載の運転動作模擬装置。
操作画面生成部が、操作画面を生成する操作画面生成手順と、
操作部が、前記操作画面に対する操作を受け付ける操作手順と、
第１模擬部が、操作に応じた模擬対象の機械の動作の模擬を行う第１模擬手順と、
第２模擬部が、前記第１模擬部によって模擬が行われた結果に基づいて、操作に応じた前記機械の動作を三次元画像で模擬する手順と、
前記第２模擬部が、操作に応じて前記三次元画像の表示角度を変化させ、前記機械の模擬動作を画像表示部に表示させる第２模擬手順と、
前記画像表示部が、前記操作画面の画像と前記三次元画像を表示する画像表示手順と、
を含み、
前記操作画面は、前記機械が実際に運用される際に用いられる操作画面を模擬したものであって、少なくとも当該機械を動作させるための操作用のボタンと前記機械に取り付けられたセンサの状態または検出値を表示可能な表示窓とが一体に構成され、
前記第１模擬手順において、前記第１模擬部は、前記機械の動作の模擬として、前記機械に取り付けられた前記センサの状態または検出値を模擬する、
運転動作模擬方法。