JPH07282299A

JPH07282299A - 表示方法及び表示装置

Info

Publication number: JPH07282299A
Application number: JP6074693A
Authority: JP
Inventors: Miwako Doi; 美和子土井; Naoko Sakata; 直子阪田; Nobuko Kato; 伸子加藤
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1994-04-13
Filing date: 1994-04-13
Publication date: 1995-10-27
Anticipated expiration: 2016-10-02
Also published as: JP3214776B2; US5754189A

Abstract

(57)【要約】【目的】発電所や化学工場等の大規模プラントの現場パ
トロール訓練を支援すること【構成】作業場所を構成する物体の形状、それらの配置
およびそれらが配置される作業場所の形状、作業場所を
連結する経路の形状と配置、作業者の位置や身体計測
値、作業場所での作業者の操作を入力し、入力された作
業場所と経路を記憶し、入力された現場環境における巡
回経路を記憶し、入力された作業者の身体計測値に基づ
き、作業者のかわりに記憶された順序で経路を歩行する
仮想パトロール員を生成し、記憶された作業場所と経
路、生成された仮想パトロール員を呈示し、仮想パトロ
ール員の経路歩行と、作業場所での作業者の直接操作と
を切り替えることを特徴とする表示装置

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は所定の環境モデル下で、
仮想的に生成した人間のモデルを動作させ、この動作を
表示する表示方法、及び表示装置に関する。

【０００２】

【従来の技術】発電所や化学工場など大規模なプラント
の運転制御は主として、中央操作室（略して中操）で行
われている。ただし、故障や事故などの異常時には現場
にある操作盤（現場盤）を直接操作することが必要とな
る。

【０００３】このような異常時に現場での対応がスムー
ズに行えるように、日頃から、現場をパトロールして、
現場盤の操作や異常時での駆けつけ方などの訓練をして
おかねばならい。

【０００４】また、作業場所にある現場盤などの実機を
作り、操作を模擬することも行われているが、対象とな
るプラントあるいは作業場所ごとに模擬の現場盤を用意
せねばならず、場所とコストが非常にかかるという問題
がある。

【０００５】この問題を解決するために、計算機上に訓
練システムを作ることも行われている。現状の訓練シス
テムとしては、現場盤のうち、操作する部分のみを計算
機上に実現し、訓練を行っている。しかし、この方法で
は、異なる作業場所ごとに、単に現場盤の操作部分の表
示が切り替わるだけである。このため、作業場所を結ぶ
経路を歩行しているという感触が無いために、実際に現
場にいったときに経路がわからないという問題点があ
る。

【０００６】経路を実際に歩行している感覚を作るため
に、ローラスケートやトレッドミルなどを用いて、仮想
環境内を歩行するようにしたものがある（参考文献「ウ
オークスルー・シミュレータにおける動歩行の実現と解
析」、計測自動制御学会ヒューマンインタフェース部会
News & Report,Vol.8,pp.199-204) 。これは作業者の実
際の位置は固定であるが、ローラスケートやトレッドミ
ルが移動した距離分だけ、仮想環境内を移動できるよう
にしている。ただし、身体の位置が固定されているた
め、歩行したという感覚は、装置を作る手間やコストの
割には得られないのが問題である。また、これらの装置
ではHMD(Head Mounted Display) というゴーグルタイプ
で頭部に装着する表示装置を用いる。このHMD では、頭
部に着いている３次元位置センサにより、頭部の位置を
検出し、頭部が向いている位置の仮想環境を表示装置上
に表示するので、自由に仮想環境の中を見回すことがで
きる。しかし、作業者は自分が見ているところだけしか
わからないので、仮想環境全体の中での、自分の位置を
把握するのが、難しく、経路を正しく学習できないとい
う問題もある。

【０００７】経路を案内する点では、大規模プラントの
現場経路に限らず、街の経路案内もある。街の経路案内
では、特に地下鉄の駅や地下街など地下から地上に出る
ときが難しい。つまり、地下で地上の地図を見て、目的
地を確認しても、階段を上るため、方向がわからなくな
り、地下でみた地図との対応がつかなくなるという問題
がある。

【０００８】

【発明が解決しようとする課題】発電所や化学工場など
の大規模プラントの現場パトロールの訓練では実機を用
いて、訓練環境を作っていたので、場所・コストがかか
りすぎるという問題がある。

【０００９】計算機化された訓練シミュレータでは、複
数の現場盤の切り替えを行うことはできるが、これらの
位置的な関係、特に複数の作業場所を結ぶ経路を学習で
きるようになっていなかった。このため、実際に現場に
いったとき、経路がわからず、目的の作業場所に到達で
きないというこが起こり得た。

【００１０】ローラスケートなどを使って仮想環境内を
歩行する装置では、装置作成の手間やコストの割には歩
行感覚が得られないという問題があった。また、ＨＭＤ
のような作業者の視野だけしか表示できない状況では、
仮想環境内の経路を正しく学習できないという問題もあ
った。

【００１１】街の経路案内では、地下から地上に出たと
きの方向と、地下で示されている地図の方向の対応付け
がうまくできずに、方向を見失って、道に迷うことがあ
った。

【００１２】そこで、本発明は所定の環境モデル、例え
ば発電所や化学工場などの大規模プラントの現場におい
て、仮想的に生成した人間のモデル、例えば仮想パトロ
ール員を動作させることにより、例えば現場における操
作等を容易に体験することができる表示方法及び表示装
置を提供することを目的とする。

【００１３】

【解決を解決するための手段及び作用】本発明は、所定
の環境モデル下で、仮想的に生成した人間のモデルを動
作させ、この動作を表示する際に、前記人間のモデルの
動作による前記環境モデルに対する仮想操作と、この環
境モデルに対する直接操作とを切り替えながら前記人間
のモデルの動作を表示することを特徴とするものであ
る。

【００１４】

【実施例】

（実施例１）本発明に係わる実施例１の詳細を説明する
前に、まず簡単に実施例１を説明する。

【００１５】実施例１の表示装置は、作業場所を構成す
る物体の形状、それらの配置およびそれらが配置される
作業場所の形状、作業場所を連結する経路の形状と配
置、作業者の位置や身体計測値、作業場所での作業者の
操作等を入力するための入力手段と、この入力手段によ
り入力された作業場所と経路を記憶するための現場環境
記憶手段と、前記入力手段により入力された前記現場環
境における巡回経路を記憶するための巡回経路記憶手段
と、前記入力手段により入力された作業者の身体計測値
に基づき、作業者のかわりに前記巡回経路記憶手段に記
憶された順序で経路を歩行する仮想のパトロール員（モ
デル）を生成するための仮想パトロール員生成手段と、
前記現場環境記憶手段に記憶された作業場所と経路、前
記仮想パトロール員生成手段により生成された仮想パト
ロール員を呈示するための呈示手段と、前記仮想パトロ
ール員の経路歩行と、作業場所での作業者の直接操作と
を切り替える切り替え手段とを具備する点に特徴を有す
る。つまり、入力された作業者の身体計測値に基づき、
作業者のかわりに、巡回経路記憶手段に記憶された順序
で経路を歩行する仮想パトロール員を生成し、現場環境
記憶手段に記憶された作業場所と経路、生成された仮想
パトロール員を呈示手段に呈示し、前記仮想パトロール
員の経路歩行と、作業場所での作業者の直接操作とを切
り替るように動作するものである。（１）これにより、従来は発電所や化学工場などの大規
模プラントの現場パトロールの訓練では実機を用いて、
訓練環境を作っていたので、場所・コストがかかりすぎ
るという問題があったが、本実施例では実機の代わり
に、３次元コンピュータ・グラフィックスで作成した仮
想の現場環境を用いるので、３次元コンピュータ・グラ
フィックス部品の再利用が可能であるので、種々の大規
模プラントの現場をコスト・時間をかけずに生成するこ
とができる。また、実機と違い、仮想環境は高々コンピ
ュータ数台に収まるものなので、場所をとるという問題
も解決される。（２）計算機化された訓練シミュレータでは、複数の現
場盤の切り替えを行うことはできるが、これらの位置的
な関係、特に複数の作業場所を結ぶ経路を学習できるよ
うになっていなかった。このため、実際に現場にいった
とき、経路がわからず、目的の作業場所に到達できない
というこが起こり得た。ローラスケートなどを使って仮
想環境内を歩行する装置では、装置作成の手間やコスト
の割には歩行感覚が得られないという問題があった。

【００１６】これに対し、本実施例では現場盤の据え付
けられている複数の作業場所を結ぶ経路を学習できるよ
うに、仮想の現場環境には、経路も実際の現場と同様に
設け、この経路を歩行している様子を、作業者のかわり
に仮想の現場環境内の経路を歩行する仮想パトロール員
が歩行している様子を見る事で、経路を容易に学習でき
るようになる。また、現場盤にたどりつくと、実際に現
場にいるのと同様に現場盤に対して、操作を行うことが
できるので、現場までの経路と現場での操作を容易に体
験しながら訓練ができるので、効果は大きい。

【００１７】以下、図面に沿って実施例１の具体例につ
いて説明する。図１は、本発明の一実施例の概略構成図
である。作業場所を構成する現場盤などの物体を３次元
ＣＡＤなどを用いて作成された形状を、あるフォーマッ
ト（例えば、業界標準のｄｘｆフォーマット、あるいは
ＩＧＥＳフォーマット）に従って記述されたファイルな
どを読み込んだり、読み込んだ物体を３次元空間のどこ
に配置するかの指定、例えば、キーボードやマウスなど
のポインティング・デバイスからなる入力部１を有す
る。また、手の振りや手の位置、頭部の位置を入力する
ための例えば、データグローブや磁気センサなどの３次
元位置センサからなる入力部１’を有する。また、入力
部１には図示しないが、フロッピーディスクドライバな
どからなる外部記憶媒体読みとり装置や、あるいはイー
サネット・ケーブルなどの外部のネットワークとのコネ
クタ等を有してなる。

【００１８】入力部１または１’から入力された物体や
経路の３次元形状とその位置は、例えば、図２のような
形式で現場環境記憶部２に記憶される。また、現場環境
において、どのような順序で経路を巡回するかを、例え
ば図３のような形式で巡回経路記憶部３に記憶される。
この順序は入力部１または１’から入力される。

【００１９】実際の作業者のかわりに仮想の現場環境で
動作する仮想パトロール員（モデル）の３次元形状や位
置等は仮想パトロール員記憶部６に記憶される。仮想パ
トロール員記憶部６には、仮想パトロール員のデータ
（腕、足等の部分）が、例えば特願昭３ー１０７８８０
号あるいは特願昭５−７４７１６号に示されているよう
に、部品毎に３次元を構成するための多角形群の頂点座
標と結合するための代表点の座標とで記載されものが記
憶されている。

【００２０】仮想パトロール員生成部５は、メモリ制御
部１５からの読み出された仮想パトロール員のデータ
（腕、足等の部品）を、入力部１から入力された作業者
の身体計測値に基づいて伸縮し、各々組み合わせて、仮
想パトロール員を生成する。なお、現場環境記憶部２、
巡回経路記憶部３、仮想パトロール員記憶部６は各々メ
モリ制御部１５により読み出し、書き込みが制御され
る。

【００２１】一方、巡回経路生成部１０は、図２に示さ
れるような現場環境記憶部２に記憶された作業場所と経
路（データ）、及び図５に示されるような巡回経路記憶
部３に記憶された経路順序をもとに、現場環境内の物体
にぶつからないように仮想パトロール員が歩行できるよ
うに、物体と仮想パトロール員との干渉をチェックによ
り経路を生成する。巡回経路生成部１０により生成され
た経路をもとに仮想パトロール員動作生成部９は、仮想
パトロール員の歩行動作を生成する。上述したような現
場環境記憶部２に記憶された作業場所と経路、仮想パト
ロール員生成部５により生成された仮想パトロール員、
及び巡回経路生成部１０により生成された経路をもとに
仮想パトロール員動作生成部９において生成された仮想
パトロール員の歩行動作は、例えばＣＲＴ、あるいは頭
部にかぶって使用するヘッドマウンティド・ディスプレ
イなどからなる表示部７に呈示される。

【００２２】また、仮想パトロール員の経路歩行と、作
業場所での訓練員の直接操作との切り替えは、入力部１
または１’からの指示により切り替え制御部８において
なされる。実際の訓練員あるいは仮想パトロール員の操
作指示に従って、現場環境内に設置された機器の動作の
シミュレーションは、機器動作シミュレータ制御部１１
において実行される。なお、ここでは直接本実施例の特
徴部分ではないので説明は省略する。

【００２３】図２、図３、図４は現場環境記憶部２の記
憶形式の一例である。図２はポジションデータファイル
の一例で、物体毎にポジションデータファイル上でのＩ
Ｄ番号、物体の形状データへのポインタとなるＩＤ番
号、操作に必要な属性データへのポインタとなるＩＤ番
号、実際の座標値、向きを示す回転角からなっている。

【００２４】図３は属性データファイルの一例で、実際
に物体に操作が加えられた時の動き方などが詳細に記述
されている。例えば、属性ＩＤ（ＡＴＴ＿ＩＤ）０は、
ギアであり（ＣＬＡＳＳが０）、ギアの設定位置（Ｎｕ
ｍ＿ｏｆ＿Ｇｅａｒｓ）は２箇所であり、ギアポジショ
ンの範囲（Ｒａｎｇｅ）は３０度、ギアポジションの中
心位置（Ｇｅａｒ＿Ｐｏｓｉｔｉｏｎ）のｘ座標が６
０、ｙ座標が１２０であり、ギアを操作したときに出る
音のファイル番号（Ｓｏｕｎｄ＿ｆｉｌｅ＿Ｎｏ）が９
である。同様に属性ＩＤ１は、パネルであり（ＣＬＡＳ
Ｓが２）、オンの時の色（Ｏｎ＿Ｃｏｌｏｒ））はｒｅ
ｄが２３０、ｇｒｅｅｎが１２０、ｂｌｕｅが１５０、
オフの時の色（Ｏｆｆ＿Ｃｏｌｏｒ）がｒｅｄが２０
０、ｇｒｅｅｎが２００、ｂｌｕｅが１００である。こ
れらの動き方の制約は、操作時のみに有効である。レイ
アウトの変更時には、これらの動き方に制限されない。

【００２５】図２でポジションデータＩＤ０のオブジェ
クトの属性データは０になっているので、図３で示され
ている属性ＩＤ０のギアの属性をもつ。つまり、操作さ
れたとき、属性ＩＤ０で定義されているギアとして動く
ことになる。

【００２６】また、操作時には、操作対象となる属性を
持つオブジェクトだけ、動かせるようになっている。つ
まり、ギアやボタンなどの操作対象となるオブジェクト
だけ、入力部１より指示を与えて、操作することが可能
であり、他の操作対象ならない属性をもつオブジェクト
は、位置の変更などを行うことはできない。レイアウト
変更時には、すべての属性をもつオブジェクトの位置を
変更できる。

【００２７】図４はオブジェクト間の従属関係を記憶す
る従属関係データファイルの一例である。従属関係デー
タのＩＤ（ＮＵＭＢＥＲ）０はポジションデータ０のオ
ブジェクトはポジションデータ１のオブジェクトを子供
とすることを意味している。つまり、ポジションデータ
０のオブジェクトが操作されると、ポジションデータ１
のオブジェクトも追随して、状態が変化する。つまり、
親がＯＮになれば、子供もＯＮになり、親がＯＦＦにな
れば、子供もＯＦＦになる。

【００２８】また、レイアウトの時に、親のオブジェク
トの位置を変更すると、子供のオブジェクトの位置も、
親のオブジェクトとの相対的な位置を保ったまま、変更
される。つまり、図２での親のオブジェクトに位置（ｘ
ｐ，ｙｐ，ｚｐ）に対して子供のオブジェクトの相対位
置が（ｘ１，ｙ１，ｚ１）により、（ｘｃ，ｙｃ，ｚ
ｃ）＝（ｘｐ＋ｘ１，ｙｐ＋ｙ１，ｚｐ＋ｚ１）ときま
っていれば、親のオブジェクトの位置が（ｘｐ’，ｙ
ｐ’，ｚｐ’）に変更になったときに、子供のオブジェ
クトの位置も、（ｘｃ’，ｙｃ’，ｚｃ’）＝（ｘｐ’
＋ｘ１，ｙｐ’＋ｙ１，ｚｐ’＋ｚ１）に変更になる。

【００２９】図２、図３、図４は、記憶形式の好ましい
一例であり、必ずしもこれに限定されるものではない。
図５は巡回経路記憶部３の記憶形式の一例である。巡回
経路は経路を構成する座標値のうち、適当な間隔でサン
プリングした座標値を記憶する方法もあるが、ここで
は、詳細な経路は巡回経路生成部１０により生成する方
法をもっているので、起点と終点、通過すべきドアなど
キーになるポイントの座標と属性のみを記憶するように
なっている。属性には、例えば、起点を表すＳと、終点
を表すＥ、通過すべきドアを表すＤ、エレベータへの乗
り口を示すＶＳ，エレベータからの降り口を示すＶＥ、
階段の昇り降りの起点を示すＳＳ，終点を示すＳＥ，エ
スカレータへの昇り降りの起点を示すＣＳ，終点を示す
ＣＥ、作業場所を示すＭなどがある。

【００３０】巡回経路生成部１０での経路生成方式とし
ては例えば、特願平５ー３４８５３５号に開示されてい
るように、物体の床への投影多角形と経路のキーポイン
ト間を結ぶ線分とも干渉チェックを用いる方法や、ある
いは、物体のバウンディングボックス（物体に外接する
直方体）と仮想パトロール員のバウンディングボックス
との干渉チェックによる方法や、文献（「Ｃｏｍｐｕｔ
ｅｒＧｒａｐｈｉｃ：Ｐｒｉｎｃｉｐｌｅｓａｎｄ
Ｐｒａｃｔｉｃｅ」、ＩＳＢＮ０ー２０１ー１２１
１０ー７）に紹介されているような方法を用いる。

【００３１】仮想パトロール員生成部５における生成方
法は、特願平３ー１０７８８０号あるいは特願平５ー７
４７１６号に開示されているように、仮想パトロール員
記憶部６の内容を入力部１より入力された身長になるよ
うに、Ｍｏｒａｇａｎ、Ｃ．Ｔ．、Ｃｏｏｋ、Ｊ．
Ｓ．，Ｃｈａｐａｎｉｓ，Ａ．、ａｎｄＬｕｎｄ，
Ｍ．Ｗ．の「人間工学データハンドブックー機器設
計の人間工学指針」（コロナ社）などの人体の計測値を
もとに頭部や胴体、腕、脚の長さを算出し、仮想パトロ
ール員の人体を構成する。

【００３２】仮想パトロール員動作生成部９は、仮想パ
トロール員生成部５で生成された仮想パトロール員を、
巡回経路生成部１０で生成された経路にそって動作させ
る。この動作は、文献「仮想被験者のための動作生成手
法」（ＮＩＣＯＧＲＡＰＨ論文集１９９３、ｐｐ．２７
０ー２８０）にあるように、歩行や着席などの基本動作
を用意しておき、これらを行動目標との距離に応じて、
組み合わせることにより生成される。同じ歩行でも、平
坦な場所の歩行と、階段の昇り降りと、エレベータの昇
り降りなどは異なるので、本実施例では、図５に示され
たキーポイントの属性をみて、異なる歩行動作を組み合
わせるようにしている。つまり、キーポイントの属性が
ＳＳであれば、階段の昇り降りの起点である。属性ＳＥ
の点のｙ座標とを比較し、差が正であれば昇り、差が負
であれば降りの歩行動作を生成し、ＳＳのキーポイント
点で、そこまでの平坦な場所の歩行動作との歩幅調整な
どの動作のつなぎを行う。

【００３３】次に本実施例の処理の流れを図６及び図７
を用いて説明する。訓練を開始する前に、訓練者や訓練
現場の設定などを行う（ステップｓ１〜ｓ６）。まず、
訓練者と同じ身体条件の仮想パトロール員を生成するの
に必要な身長等の条件（データ）は入力部１から入力さ
れる（ステップｓ１）。仮想パトロール員生成部５で
は、仮想パトロール員記憶部６に記憶された腕や胴体、
脚などの３次元形状データを基に、ステップｓ１で入力
された身長等の身体条件にあうように、仮想パトロール
員生成部５に保持されている人間工学データを参考に縮
小あるいは拡張を行い、各部を連結させて身長にあった
仮想パトロール員を生成する（ステップｓ２）。

【００３４】次に、実際の訓練の対象となる現場、具体
的には特定の発電所や変電所等の巡回区域を、入力部１
より選択する（ステップｓ３）。つまり、現場環境記憶
部２に記憶されている現場データのリストを表示部７上
に呈示し、そのなかから必要な現場環境を選ぶようにす
る。あるいは該当のデータが現場環境記憶部２に記憶さ
れていない場合には、現場環境記憶部２に記憶されてい
る現場盤やドア等の物体データを配置することで、新規
に現場環境を作成することも可能である。

【００３５】メモリ制御部１５では、ステップｓ３で選
択された現場環境を現場環境記憶部２より読み込み（ス
テップｓ４）、さらにそれに対応する巡回経路データを
巡回経路記憶部３より読み込む（ステップｓ５）。

【００３６】巡回経路生成部１０では、読み込んだ現場
環境データと巡回経路データに基づいて、仮想パトロー
ル員が現場環境内で歩行する経路を生成する（ステップ
ｓ６）。ここまでで、訓練者に合わせた仮想パトロール
員と訓練すべき現場環境の設定ができたので、訓練が開
始される（ステップｓ７）。

【００３７】表示制御部１６を介し、表示部７上に例え
ば、図８に示すようにパトロール訓練をする現場とそこ
を歩く訓練者の分身として、仮想の現場環境の中に存在
する仮想パトロール員とが表示される（ステップｓ
８）。ここで想定している現場環境は例えば、図９のよ
うな構成になっている。発電機が２機とその制御操作を
行う現場盤１機が置いてある発電室が２部屋ある。巡回
経路記憶部３に例えば、図５のような形式で記憶されて
いるキーポイントを、図９上に示してある。Ｓがキーポ
イント１の出発点、Ｄがキーポイント２のドアの点、Ｍ
がキーポイント３の作業場所の点である。これらの点を
結ぶ経路は、巡回経路生成部１０が生成した経路を示し
ている。図８は出発点ＳとドアＤの中間あたり（図９で
はＰ１と示されている点）を仮想パトロール員が歩行し
ている様子である。図８では、仮想パトロール員が、前
方にドアが見える廊下を歩いていることがわかる。

【００３８】歩行する仮想パトロール員を中心にして、
視点が移動するように表示部７では、例えば特願平５ー
２３２６５３号に示されているような方法（視野の中央
に注視物体が位置するように、かつ視点と注視物体とを
結ぶ線と他の物体との干渉チェックを行い、他の物体に
遮られることがないようにする方法）で、視点位置と方
向の制御を行う。あるいは図１０に示すように、キーポ
イントｉとキーポイントｉ＋１の途中に仮想パトロール
員がいるとき、視点位置Ｐは、キーポイントｉとキーポ
イントｉ＋１を結んだ線上で、仮想パトロール員（Ｖ）
から適当な距離αだけ離れた点とする方法もある。視点
方向はキーポイントｉからキーポイントｉ＋１を結ぶベ
クトル方向となる。あるいは、入力部１’からデータグ
ローブ等の３次元入力デバイスやマウス等を用いて、直
接、視点位置と方向を変更することも可能である。

【００３９】仮想パトロール員は仮想パトロール員動作
生成部９の生成した動作に従って、ドアを過ぎ、現場盤
の近くの作業場所Ｍまで歩いていく。この間、切り替え
制御部８では、入力部１から直接操作への切り替え指示
が行われたか否かをチェックしている（ステップｓ
９）。直接操作への切り替えが行われると、切り替え制
御部８は、表示制御部に対し、表示部７での現場環境の
表示を仮想パトロール員の呈示から、訓練員の視野呈示
に切り替えるよう制御する（ステップｓ１０）。つま
り、直接操作切り替え前までは、訓練員は仮想環境にい
る仮想パトロール員を見て経路を学習している（図１１
のＡ）。直接操作切り替え後は、訓練員は仮想環境にあ
る現場盤に対して直接操作を行い、現場盤の操作を学習
している（図１１のＢ）（ステップｓ１１）。

【００４０】現場盤への直接操作を可能にするために、
訓練員が頭部につけている位置センサより、訓練員の位
置と向きを検出する。検出した位置（Ｘ，Ｙ，Ｚ）は頭
部の位置なので、これを次のような式により、眼の位置
（ｘ，ｙ，ｚ）に校正する。

【００４１】ｘ＝Ｘｙ＝Ｙ＋ａｚ＝Ｚ＋ｂ訓練開始前に訓練員に頭部と眼の位置の校正用のパラメ
ータ、ｂを計測しておき校正を行う。上の式は簡単のた
めに、平行移動だけを想定したものだが、回転移動が加
わっている場合には４×４の座標変換行列を用いて校正
する。また、現場盤に対する操作は、入力部１’の訓練
員が手に付けたデータグローブや磁気センサ等の３次元
位置センサを用いて訓練員の手振りや手の位置を認識し
て、操作を行うようにしている（特願平４ー７６７７３
号、特願平５ー２３４３７２号参照）。

【００４２】眼の位置に校正した位置座標と方向を、現
場環境を表示部７に呈示するときの視点として投影を行
う（ステップｓ１０）。例えば、丁度仮想パトロール員
が作業場所Ｍに到着した時点で、入力部１より、直接操
作への切り替え指示が行われたとする。切り替え指示の
直前では、表示部７には、例えば、図１２のように、仮
想パトロール員が現場盤に向かっている様子が呈示され
ていたとする。切り替え指示後では、表示部７には、例
えば、図１３のように、丁度訓練員自身が仮想の現場環
境にある現場盤を直接操作する状態が呈示されるように
変更になり、図１３のように表示部７に呈示されている
手は、訓練員が手に装着している、例えば、データグロ
ーブ等の３次元入力デバイスの位置と方向に追随して動
き、現場盤上のレバー等を操作する。また、図１３の表
示は訓練員が頭部に装着している、例えば、磁気センサ
等の３次元入力デバイスの位置と方向に追随して変化す
る。

【００４３】この状態で訓練員は現場で行う種々の作業
を模擬した操作を行う。実際の操作と同様の効果を得ら
れるように、機器の動作をシミュレーションする機器動
作シミュレータ１１と現場盤の各メータやレバーが連結
されている。つまり、現場盤上でレバーを操作すると、
現場環境記憶部２に例えば、図３のような形式で記憶さ
れたレバーの状態が変更され、その変更がメモリ制御部
１５を介して、機器動作シミュレータ１１に伝送され
る。機器動作シミュレータ１１内でレバー操作に対応し
た処理が計算され、その結果が現場盤のメータの表示が
変更され表示部７に呈示される。

【００４４】訓練員が正しく操作を行い、例えば、訓練
の対象になっていた異常事態の回避が行えれば、機器動
作シミュレータ１１から定格運転に入ったこと表示制御
部１６に伝送される。

【００４５】この時点で、表示制御部１６は訓練終了と
判断し（ステップ１２）、訓練が終了する。あるいは訓
練途中でも、訓練員から、訓練終了の指示が入力部１よ
りなされれば（ステップｓ１３）、その時点で訓練が終
了する。終了指示がなく、操作やり直しの指示がなけれ
ば（ステップｓ１４）、そのまま直接操作による訓練が
継続される（ステップｓ９，ステップｓ１０）。また、
直接操作から、仮想パトロール員への切り替えを指示す
れば（ステップｓ９），パトロール経路の終了まで、つ
まり、巡回経路の終点（図９の点Ｅ）に到着するまで
（ステップｓ１６）、仮想パトロール員の呈示が行われ
る（ステップ８）。

【００４６】訓練員が正しく操作を行えず、訓練対象の
異常事態の回避が行えない場合、情報管理部１あるいは
訓練指導者からの指示で、訓練員の直接操作のやり直し
が指示される（ステップｓ１４）。この場合、機器動作
シミュレータ１１、現場環境記憶部２の内部状態を、訓
練員が直接操作を指示した時点（図１２）の状態に設定
しなおし（ステップｓ１５）、直接訓練を再度やり直す
（ステップｓ１０）。

【００４７】仮想パトロール員が作業場所Ｍに到着して
も、直接操作への切り替え指示が行われない場合（ステ
ップｓ９）、パトロール終了ではないので（ステップｓ
１６）、そのまま仮想パトロール員の様子が呈示される
（ステップｓ９）。この場合、仮想パトロール員は訓練
対象の異常事態の回避を行うための操作を仮想パトロー
ル員動作生成部９の指示により行う。訓練員はその様子
を見ることで、正しい操作方法を学習できる。

【００４８】上記の実施例では、機器動作シミュレータ
は、現場経路訓練装置の構成部品となっているが、必ず
しもこれに限定されるものではない。機器動作シミュレ
ータは別の計算機上で稼動し、ネットワークを介して通
信することで情報をやりとりをすることも可能である。
また、現場環境記憶部２での記憶方式も、図２、図３、
図４の形式に限定されるものではない。（実施例２）実施例２は実施例１の構成に加え、現場の
地図やあるいは入力手段により入力された作業者の身体
計測値に基づき算出された作業者あるいは仮想パトロー
ル員の視点位置での視野等、現場歩行に参考となる情報
を呈示するための参考情報算出部を具備することを特徴
とする表示装置である。つまり、図１４の参考情報算出
部１２を新たに追加するものである。

【００４９】計算機化された訓練シミュレータでは、複
数の現場盤の切り替えを行うことはできるが、これらの
位置的な関係、特に複数の作業場所を結ぶ経路を学習で
きるようになっていなかった。このため、実際に現場に
いったとき、経路がわからず、目的の作業場所に到達で
きないというこが起こり得た。また、上述したようにロ
ーラスケート等を使って仮想環境内を歩行する装置で
は、装置作成の手間やコストの割には歩行感覚が得られ
ないという問題があった。

【００５０】そこで、この実施例では現場盤の据え付け
られている複数の作業場所を結ぶ経路を学習できるよう
に、仮想の現場環境には、経路も実際の現場と同様に設
け、この経路を歩行している様子を、作業者の代わりに
仮想の現場環境内の経路を歩行する仮想パトロール員が
見たり、仮想パトロール員の視野を確認する事で、経路
を容易に学習できるようにした。

【００５１】これにより街の経路案内では、地下から地
上に出たときの方向と、地下で示されている地図の方向
の対応付けがうまくできなかったり、方向を見失って道
に迷うことがあったが、上記したように仮想パトロール
員の視野を確認する事により、地上に出たとき見るであ
ろう風景や目的地に着くまで目にする風景を、事前に地
図と関連させて学習できるので、方向を見失って、道に
迷うことを事前に防ぐことができる。

【００５２】また、ＨＭＤのような作業者の視野だけし
か表示できない状況では、仮想環境内の経路を正しく学
習できないという問題もあったが、本実施例により仮想
の現場環境全体の地図と地図内に現在地を表示すること
で、現場環境全体における位置を把握しながら、経路を
学習できるので、経路の学習が容易となる。

【００５３】以下に、実施例２に付いて詳細に説明す
る。図１４は実施例２の構成図である。上述したよう
に、実施例１の構成に加え、現場の地図やあるいは入力
手段１から入力された作業者の身体計測値に基づき算出
された作業者あるいは仮想パトロール員の視点位置での
視野等、現場歩行に参考となる情報を算出する参考情報
算出部１２を具備している。

【００５４】次に本実施例の処理の流れを図１５を用い
て説明する。実施例１の処理の流れ図、図７のステップ
ｓ８とステップｓ９の間に図１５の点線部分（ステップ
ｓ１７〜ステップｓ２２）が付け加わっている。つま
り、この点線部分が参考情報算出部１２における処理で
ある。

【００５５】図８のように現場及び仮想パトロール員の
呈示を行った後（ステップｓ８）、参考情報として、地
図の呈示が指示されれば（ステップｓ１７），仮想パト
ロール員の現在方向に合わせて地図を回転して（ステッ
プ１８）、表示部７に地図の呈示を行う（ステップｓ１
９）。

【００５６】例えば、図８の状態に対して、地図の呈示
が指示されると、表示部７の一部に、図１６のように、
仮想パトロール員の進行方向にあわせて、パトロールす
べき現場を網羅する地図が呈示される。仮想パトロール
員は地図上に認識しやすい方法で、例えば、図１６では
位置が黒丸で、方向が黒丸に付いた矢印で表示されてい
る。あるいは、図１２の状態に対して、地図呈示の指示
があると、仮想パトロール員の進行方向が図１６の時と
は、９０度回転しているので、地図もそれに合わせて、
９０度回転させて（ステップｓ１８）、表示している
（ステップｓ１９）。図１７の例では地図は単純に回転
しているので、「ドア」等の地図の文字が読み難くなっ
ている。そこで地図内の文字をコード化し、地図を回転
しても文字だけは回転しないようにすることで、文字を
読み易くすることも可能となる。

【００５７】本実施例では、仮想パトロール員の進行方
向と地図の方向の差異が６０度以上になったときに、地
図は９０度単位で回転するようになっている。次に仮想
パトロール員の歩行中の視野の呈示が指示されると（ス
テップｓ２０）、参考情報算出部１２は、仮想パトロー
ル員の視点と注視点とを結んだ線を中心軸とした視野錐
（例えば、頂角を有効視野角２０度とした円錐）にはい
る領域を算出し（ステップ２１）、仮想パトロール員が
目にしている情景を表示部７に呈示する（ステップｓ２
２）。仮想パトロール員の身長は、訓練員の身長に合わ
せているので、呈示される仮想パトロール員の視野は、
訓練員が実際に、現場をパトロールするときの視野にな
っている。

【００５８】例えば、図１２の状態に対して、視野を呈
示すると、図１８のようになる。呈示される仮想パトロ
ール員の視野は、仮想パトロール員の歩行に追随して、
再度計算され呈示されるので、訓練員は、自分が現場を
歩いたときの距離感・臨場感を感じながら、訓練するこ
とができる。

【００５９】図１２に対して、地図と視野の呈示の双方
が指示されると、例えば、図１９のように、双方が指示
される。訓練員は、地図で現場経路全体を把握しなが
ら、曲がる場所やドア等のキーポイントでの情景を視野
により確認しながら、現場パトロールを訓練できる。従
って、初めて現場にいったとしても、迷わずに目的の場
所にたどり着ける。

【００６０】実施例２の参考情報算出部１２は、地図を
呈示する際、仮想パトロール員の進行方向に合わせて、
地図を９０度単位で回転させているが、この方法に限定
されるものではない。地図は回転せず、北を上にして表
示し、仮想パトロール員の位置と方向だけを示すことも
可能である。あるいは、仮想パトロール員の進行方向と
地図の方向との差異が一定角度以内になるように、一定
時間経過後に地図を任意の角度回転する方法も可能であ
る。あるいは、入力部１からの訓練員の指示に従って、
指示された角度だけ回転する方法も可能である。（実施例３）本発明に係わる実施例３の詳細を説明する
前に、まず簡単に実施例３の内容を説明する。

【００６１】本実施例はユーザが目的地や自分の身長等
を入力するための、例えば、マウス等からなる入力手段
と、環境の構成を記憶している環境記憶手段と、入力手
段により入力された目的地までの経路を環境記憶手段内
に記憶された環境データから算出する経路生成手段と、
経路生成手段により生成された経路を前記入力手段によ
り入力された身長で歩行したときの視野の算出や進行方
向に合わせ地図を回転するための参考情報算出手段と、
参考手段算出手段により算出された視野や地図や写真
を、必要なものを重ね合わせて呈示するための呈示手段
とを具備するものである。

【００６２】これにより、街の経路案内では、地下から
地上に出たときの方向と、地下で示されている地図の方
向の対応付けがうまくできず、方向を見失って、道に迷
うこと、特に、身長が異なるため、曲がり角の目印とな
る看板等が目に入らず、道に迷ったりすることがあった
が、本実施例では、身長に合わせた視野（具体的にはキ
ーポイントでのユーザの身長であれば目にするであろう
情景の写真）を呈示し、それを地図上に重ねて出力した
り、出力結果には曲がり角等キーとなるポイントでのユ
ーザの身長に合わせた情景が地図に重ねて表示されるの
で、地上に出たとき、実際見ている情景と地図に重ね合
わされた情景とを比較し確認しながら進めるの。したが
って、キーとなるポイントを見失わないのである。

【００６３】以下に、本実施例の具体例について図２０
を用いて説明する。基本的には、図１４の構成と同じで
ある。ユーザが目的地や自分の身長等を入力するため
の、例えば、キーボード、マウス等からなる入力部１を
有する。

【００６４】上記の環境の構成は環境記憶部１３に、例
えば図２１のような形式で記憶されている。入力部１か
ら入力された目的地までの経路は巡回経路生成部１０に
おいて、メモリ制御部１５から読み出された環境記憶部
１３内の環境データから算出される。巡回経路生成部１
０により生成された経路は、参考情報算出部１２におい
て、入力部１から入力された身長で歩行したときの視野
の算出や進行方向に合わせた地図の算出を行なう。参考
情報算出部１２により算出された視野や地図は、表示制
御部１６において必要なものを重ね合わせて表示部７に
呈示される。

【００６５】図２１は環境記憶部１３に記憶される環境
データの内容を示すもので、環境を構成する区画ごとに
区画をｘｚ平面に投影したときの多角形の頂点座標を、
例えば時計まわり方向に記憶している。なお、多角形の
頂点の数は固定ではないので、各区画の頂点座標の最後
にはＮｕｌｌが入っている。

【００６６】図２１の例では、区画１は４頂点からでき
ており、区画２は５頂点からできていることがわかる。
また、区画の頂点座標をｙ方向（高さ方向）に立ちあげ
たときの各面に貼る画像データが格納されている場所の
位置を示すポインタが、各面毎に格納されている。

【００６７】図２１の例では頂点（ｘ１１，ｚ１１）と
頂点（ｘ１２，ｚ１２）により構成される面（例えば、
高さはαに正規化されているとする）に貼る画像データ
へのポインタは、頂点（ｘ１１，ｚ１１）に対応して格
納されているｐ１１になる。同様に頂点（ｘ１４，ｚ１
４）と頂点（ｘ１１，ｚ１１）の面に貼る画像データへ
のポインタは、頂点（ｘ１４，ｚ１４）に対応して格納
されているｐ１４になる。さらに頂点座標の最後を示す
Ｎｕｌｌに対応して格納されている画像へのポインタ
は、その区画に存在する主要な建物の位置や名称全体の
画像データへのポインタとなっている。つまり、図２１
の例では、区画１の地図としての画像イメージがｐ１０
に格納されていることを示している。

【００６８】次に本実施例の処理の流れを図２２を用い
て説明する。図２１のような形式の環境記憶部１３の環
境データはメモリ制御部１５によってを読み込まれ（ス
テップ２３）、区画の各面に画像データをテクスチャマ
ッピングして環境を作成する（ステップｓ２４）。テク
スチャマッピングについては、文献（「応用グラフィッ
クス」、ｐｐ．１５９ー１６５、太田昌孝、竹内あき
ら、大口孝之、アスキー出版局、ＩＳＢＮ４ー８７１４
８ー１９９ー９）で紹介されているような、一般的な表
面マッピングを用いている。今の場合、例えば、区画１
の最初の面の座標は、高さがαになっているので、（ｘ
１１，０，ｚ１１），（ｘ１１，α、ｚ１１），（ｘ１
２，α、ｚ１２），（ｘ１２，０，ｚ１２）となるが、
この面にポインタｐ１１で示されている場所に格納され
ているテクスチャを、座標変換して貼ることになる。同
様の作業を区画ごとのすべての面に関してテクスチャマ
ッピングを行い、環境が作成できる。

【００６９】次に読み込んだ環境データをもとに、地図
を表示制御部１６を介して表示部７に表示する（ステッ
プｓ２５）。表示する地図は、例えば、図２２に格納さ
れている各区画の頂点座標ら区画の輪郭線を描き、その
中に、地図イメージを書き込んで行けばよい。

【００７０】つまり、図２２の例では、区画１の輪郭は
（ｘ１１，ｚ１１）（ｘ１２，ｚ１２）（ｘ１３，ｚ１
３）（ｘ１４、ｚ１４）の頂点を結べばよく、次にｐ１
０のところに格納されている地図イメージをその輪郭内
に書き込めばよい。その結果、例えば、図２３のような
地図が表示部７上に表示される。

【００７１】次にユーザは目的地や身長等を入力部１か
ら入力する（ステップｓ２６）。目的地の入力は、例え
ば、表示部７上に表示されている地図上をマウス等のポ
インティングデバイスを使って、直接指示することで行
える。あるいは、キーボードから目的の名称を入力して
指定することも可能である。

【００７２】巡回経路生成部１０での経路の生成は、実
施例１や実施例２と同様の方法を用いることができる
（ステップｓ２７）。図２３に示された画面例で、Ｘ△
百貨店が目的に指定されたとする。と、例えば、図２３
に示されるように、現在地からの経路が生成され、表示
部７に表示されている地図上に表示される。

【００７３】次に開始が指示されると（ステップｓ２
８）、地図案内が開始される。具体的には、図２３で示
された経路上をユーザが移動していく時に見るであろう
視野の算出が参考情報算出部１２において行われる（ス
テップｓ２９）。経路上の各位置で、ステップｓ２６で
入力されたユーザの身長にあわせた視野の算出を行な
う。なお、視野の算出方法は、実施例２のものと同様で
ある。

【００７４】算出した視野は、表示制御部１６を介し、
例えば図２４のように表示される（ステップ３０）。経
路上に、現在地が、進行方向を示す矢印付きの黒丸で示
されている。ここにユーザが立ったときに見える算出さ
れた視野が、その黒丸からズームアップして出てくるよ
うに、地図の下方に表示されている。この視野は、黒丸
の進行に伴って随時変更されていく。

【００７５】キーポイント（つまり角等、道案内でポイ
ントになる箇所）に来ると（ステップ３１）、そのとき
の視野を現在地（つまりキーポイントの座標値）に対応
させて、参考情報算出部１２内に一時的に記憶する（ス
テップ３２）。例えば、「Ｘ△スタジオ」と「○Ｘ区役
所」の間のある角に来たときの視野は、図２５の下部に
表示されるようになっている。この下部の表示が、参考
情報算出部１２内に一時的に、出力が指示されるまで、
格納される。

【００７６】同様の処理が現在地が目的に着くまで行わ
れる（ステップｓ３３）。目的地に着くと、道案内は終
了する。このとき地図の出力を指示する（ステップｓ３
４）と、ステップｓ３２でキーポイント毎にキーポイン
トの座標に対応させて格納した視野を呼び出して、例え
ば、キーポイントの座標との対応がわかるような形式
で、図２６のように出力する（ステップ３５）。図２６
のように出力された地図を持っていれば、ユーザはキー
ポイントで自分が見るべき視野（地図上に印刷された）
と実際の視野とを見比べることができるので、自分が正
しい方向に進んでいるか、いなかを簡単に確認しながら
進んでいくことができる。

【００７７】ステップｓ２８で経路案内を開始せず、直
接地図の出力を指示した場合は、重畳する視野がないの
で、図２３の状態の地図を出力する。なお、図２１の地
図の格納方式は、画像イメージとして記憶する場合であ
るが、必ずしもこれに限定されるものではない。各区画
に存在する主要建築物の位置座標と名称のコードからな
るリストの先頭アドレスを記憶するようにして、主要建
築物に直接アクセスしたり、主要建築物の名称からの検
索が行えるようにしておくことも可能である。

【００７８】図２２のステップｓ２４では、対象となる
すべての区画に対して、テクスチャマッピングを行い、
環境を作成しているが、必ずしもそれに限定されるもの
ではない。例えば、経路生成のステップ２７の後に、環
境作成のステップ２４の処理を行うようにして、作成さ
れた経路の近辺だけ（つまり、目的地まで歩いて見える
範囲だけ）、テクスチャマッピングを行えば、テクスチ
ャマッピングの処理の負荷を減じることができる。

【００７９】

【発明の効果】この発明によれば、種々の大規模プラン
トの現場等のコスト・時間をかけずに生成することがで
きる。仮想の環境モデルにおける仮想の人間のモデルの
走行経路及び走行の様子を見る事で、経路を容易に学習
できるようになる。また、仮想の人間のモデルの視野
（風景や目的地に着くまで目にする風景等も含む）につ
いても容易に学習できるようなる。

【図面の簡単な説明】

【図１】本発明の実施例１の構成図

【図２】実施例１中の現場環境記憶部における３次元物
体の記憶例を示す図

【図３】実施例１中の現場環境記憶部における属性の記
憶例を示す図

【図４】実施例１中の現場環境記憶部におけるオブジェ
クト間の従属関係の記憶例を示す図

【図５】実施例１中の巡回経路記憶部における経路の記
憶例を示す図

【図６】実施例１中の一連の現場パトロール訓練の流れ
図

【図７】実施例１中の一連の現場パトロール訓練の流れ
図

【図８】実施例１中の仮想パトロール員呈示の画面例を
示す図

【図９】実施例１中の対象現場環境の構成の一例を示す
図

【図１０】実施例１中の視点の設定例を示す図

【図１１】実施例１中の仮想パトロール員と直接訓練と
の関連図

【図１２】実施例１中の仮想パトロール員呈示の画面例
を示す図

【図１３】実施例１中の直接訓練時の画面例を示す図

【図１４】実施例２の概略構成図

【図１５】実施例２中の処理の流れ図

【図１６】実施例２中の画面例を示す図

【図１７】実施例２中の画面例を示す図

【図１８】実施例２中の画面例を示す図

【図１９】実施例２中の画面例を示す図

【図２０】実施例３の概略構成図

【図２１】実施例３中の環境記憶部における記憶形式の
一例を示す図

【図２２】実施例３中の処理の流れ図

【図２３】実施例３中の画面例を示す図

【図２４】実施例３中の画面例を示す図

【図２５】実施例３中の画面例を示す図

【図２６】実施例３中の画面例を示す図

【符号の説明】

１、１’ー入力部、２ー現場環境記憶部、３ー巡回経路
記憶部、５ー仮想パトロール員生成部、６ー仮想パトロ
ール員記憶部、７ー表示部、８ー切り替え制御部、９ー
仮想パトロール員動作生成部、１０ー巡回経路生成部、
１１ー機器動作シミュレータ、１２ー参考情報算出部、
１３ー環境記憶部、

Claims

【特許請求の範囲】

【請求項１】所定の環境モデル下で、仮想的に生成した
人間のモデルを動作させ、この動作を表示する表示方法
において、前記人間のモデルの動作により前記環境モデルに対して
なされる仮想操作と、この環境モデルに対する直接操作
とを切り替えながら前記人間のモデルの動作を表示する
ことを特徴とする表示方法。
【請求項２】所定の環境モデル、仮想的に生成した人間
のモデル、及びこの所定の環境モデル下で仮想的に生成
した人間のモデルを動作させる経路の各々のデータを記
憶する記憶手段と、この記憶手段に記憶されたデータを表示する表示手段
と、前記記憶手段に記憶された人間のモデルの動作による前
記環境モデルに対する仮想操作と、この環境モデルに対
する直接操作とを切り替える切り替え手段とを具備した
ことを特徴とする表示装置。
【請求項３】請求項２記載の表示装置に、仮想的に生成
した人間のモデルの視野情報、あるいは所定の環境モデ
ルを把握する上で参考となる情報を呈示する手段を付加
することをとする表示装置。