JP6110747B2 - 運転訓練再生装置 - Google Patents

Description

本発明は、訓練生に対する模擬訓練実施後の訓練行動反省の場面で使用される運転訓練再生装置に関する。

一般に、プラントの運転操作訓練には、事前訓練とシミュレータ訓練、事後訓練がある。事前訓練は教材を用いた講義形式で行われる。シミュレータ訓練はプラント状態を模擬した運転訓練シミュレータと訓練生が確認・対応操作を行う模擬制御盤を用いて実技形式で行われる。事後訓練は、実技の操作訓練、実技訓練のプラントデータ・操作履歴・模擬中央制御室内の映像・音声などを同期再生する運転訓練再生装置を用いて行われる。

このために運転訓練に設置され設備は、運転訓練模擬装置と運転訓練監視装置と運転訓練再生装置である。このうち運転訓練模擬装置は、プラント状態を模擬して運転員（訓練生）に提供し、対応処理を行わせる、いわゆる運転訓練シミュレータである。運転訓練監視装置は、運転訓練模擬装置を用いた模擬訓練実施期間中に、訓練を受けている訓練生の行動を音声、映像として監視して記録する。運転訓練監視装置３は、複数のカメラ３Ｂにより広域な模擬訓練場各所の映像を記録する。

運転訓練に使用する設備のうち、以上の運転訓練模擬装置と運転訓練監視装置は、実技訓練の場面で使用されるが、これに対し運転訓練再生装置は、実技訓練の事後の反省会の場面で利用される。

このため、事後訓練に用いる運転訓練再生装置は以下の機能を持つ。運転訓練を行った際に運転訓練シミュレータが出力する訓練データ（プラントパラメータ・操作履歴等）と室内に設置したビデオカメラ、マイクによって録画・録音された映像と音声を同期して保存する。保存したデータ・映像・音声を同期して再生し、運転操作を評価・訓練生の学習に用いる。

本技術分野の背景技術として、特許文献１がある。特許文献１には、「操作員の操作状況は例えば複数のビデオカメラで様々な角度から撮影される。例えば、ビデオカメラは指導員によって遠隔操作ができるようになっている。」と記載されている。

また、特許文献２には、「位置検出装置１１は、光学式、電波式等が採用可能であるが、ここでは電波式の位置検出装置とした場合の検出方法を図４に示す。この図に示すように、位置検出装置１１は、訓練生に装着された発信器からの電波を検出する第１検出器４１、第２検出器４２および第３検出器４３と、これらの検出器４１、４２、４３の検出結果に基づいて訓練生の位置を検出する位置処理装置４４とによって構成される。」と記載されている

特開２００７−７９２８１号公報 特開平９−６９００８号公報

訓練生の行動を観察し再生装置に記録するためには、模擬中央制御室を移動する訓練生をビデオカメラの撮影範囲にとらえる必要がある。

然しながら特許文献１のように、指導員がビデオカメラを手動で遠隔操作し、訓練生を撮影し続ける場合、運転訓練シミュレータへのイベントの設定、訓練生の観察・評価・助言などを常時行っている指導員にとって、大きな負担となる。

また特許文献２のように、位置検出装置として訓練生に発信器を装着する場合、実際のプラント運転時と異なる装備を訓練生が身に付ける必要があり、訓練効果が損なわれる。また発信機からのノイズによる制御盤の誤動作が発生するリスクがある。

さらにそのうえ、訓練模擬監視装置側における上記課題が解決できたとしても、運転訓練再生装置としてみたときに、解決すべき課題がある。これは、模擬訓練状態を正確に再現することは勿論であるが、訓練生に訓練時行動の何がよくて、何が不足していたのかを認識させるための工夫である。手順の間違いを認識させ、あるいは慎重すぎて遅すぎるとか、早いが不正確であるとか言った事項を、明確に気付かせてあげるための工夫である。

以上のことから本発明の目的は、訓練後の模擬訓練再生の場面において、訓練生に不備を気付かせてあげるという観点から工夫された運転訓練再生装置を提供することを目的とする。

上記課題を解決するために本発明においては、プラントモデルと模擬制御盤を含み、プラントにおける異常事態を模擬し訓練生による操作を行わせる運転訓練模擬装置から模擬訓練状態における情報を入手し、模擬制御盤を設置する模擬訓練場における音声、映像を取得する運転訓練監視装置から音声、映像の情報を取得し、模擬訓練状態を再現出力する運転訓練再生装置であって、
映像の情報から訓練生の行動をパターン化して把握し、把握した行動パターンを時系列的に表示するとともに、運転訓練模擬装置を使用してその行動を記録した教師の行動もパターン化して把握し、訓練生の行動パターンに併記して表示、再現することを特徴とする。

教師の行動と対比して行動比較することが可能になるので、訓練後の模擬訓練再生の場面において、訓練生に不備を気付かせてあげることができる。またそのための前提として、模擬中央制御室の全方位（３６０°）の映像を記録することにより、死角がなくなり、訓練生を漏れなく連続的に監視可能とともに、動体認識を行うことにより、手動でビデオカメラを訓練生の行動している方向に向ける必要がなくなり、自動的に訓練生の周囲を映した映像を記録可能となる。

運転訓練装置の全体構成を示す図。 運転訓練再生装置１の機能を模式的に表現した図。 死角を作らないカメラ配置の一事例を示した図。 運転訓練再生装置１の処理内容を示すフローチャート。 訓練生の典型的な行動パターンの例を示した図。 訓練生が指差している機器の判別処理の例を示す図。 訓練生の行動を表示する表示形式の具体的な表示事例を示す図。 訓練生の行動を表示する表示形式の具体的な表示事例を示す図。

以下、本発明の実施例について図面を用いて説明する。

図１は運転訓練装置の全体構成を示す図である。運転訓練装置は、運転訓練模擬装置２と運転訓練監視装置３と運転訓練再生装置１で構成されている。

このうち運転訓練模擬装置２は、プラント状態を模擬して運転員（訓練生）に提供し、対応処理を行わせるものであり、プラントとして例えば原子力発電所の特性を模擬するプラントモデル５、プラントの中央操作室に設置された制御盤を模擬した模擬制御盤１５、およびプラントモデル５と模擬制御盤１５を用いて原子力発電所に発生する事故状態を演出するとともに、係る仮想事故状態の時の運転員（訓練生）の処理態様を記録する計算機７で構成される。

この運転訓練模擬装置２は、いわゆる運転訓練シミュレータであり、計算機７にはこのときに演出した事故状態として、例えば各種計器からのプロセス量、あるいは弁、電動機、スイッチ開閉状態などの各種のプラント状況、さらには訓練生による操作内容が時系列的に記録されている。

運転訓練監視装置３は、運転訓練模擬装置２を用いた模擬訓練実施期間中に、訓練を受けている訓練生の行動を監視して記録するものであり、複数のマイク３Ａにより広域な模擬訓練場（一般プラントの中央操作室に相当する）の各所での音声を集音し、時刻情報とともに記録する。また運転訓練監視装置３は、複数のカメラ３Ｂにより広域な模擬訓練場各所の映像を記録する。

一般に、プラントの中央操作室に設置された制御盤は、プラントの主要機器単位に分かれて構成されている。例えば原子力発電所であれば原子炉周りの制御盤と、タービン周りの制御盤、さらには給水関係の制御盤といった具合に、複数制御盤にて構成されており、運転員は制御盤ごとに配置される。このため、計算機７が演出する事故状態では、例えば原子炉担当が初期異常を検知して、制御盤上計器の値を指差し呼称確認して、制御盤のボタン、ハンドルなどを操作して、タービン担当などに関連プロセス情報の動向の提示を求め、かつタービン担当も同様に行動を継続する。これらの複数訓練生の行動が、音声や映像の時系列情報として運転訓練監視装置３に記録されていく。

運転訓練装置のうち、以上の運転訓練模擬装置２と運転訓練監視装置３は、実技訓練の場面で使用されるが、これに対し運転訓練再生装置１は、実技訓練の事後の反省会の場面で利用される。

このため運転訓練再生装置１は、模擬訓練時の各種情報を記憶する記憶装置１１を主体に構成されており、ここに複数のマイク３Ａからの音声情報Ｓ１と、複数のカメラ３Ｂからの映像情報Ｓ２と、計算機７からのプラントパラメータ情報Ｓ３（プロセス量）、プラント状況の情報、模擬した事故の進展状況を表すイベントシーケンスの情報、操作履歴の情報Ｓ４などを時系列的に保管する。なお、音声処理部８、映像処理部９では、必要に応じて適宜の音声処理、画像処理を施して、記憶装置に保管させる。

上記情報収集処理は、運転訓練再生装置１の模擬訓練時対応処理である。これに対し、反省会の場面では、操作部１０から指示された訓練場面（模擬事故の種別や、時刻など）における訓練生の行動が、音声出力部１２に対する音声情報Ｓ５および表示部１３に対する表示情報Ｓ６として運転訓練再生装置１から与えられる。なお、これらの音声情報Ｓ５および表示情報Ｓ６は、同時刻の情報として同期して外部に与えられることで、模擬訓練時刻での状況を再現することは言うまでもない。

図２は運転訓練再生装置１の機能を模式的に表現した図である。この図によれば、記憶装置１１は、入力した情報の種別に応じて４つのデータベースＤＢを構成する。ＤＢ１は音声情報Ｓ１を記憶する音声データベース、ＤＢ２は映像情報Ｓ２を記憶する映像データベース、ＤＢ３はプラントパラメータ情報Ｓ３を記憶するプラントパラメータデータベース、ＤＢ４は操作履歴などの情報Ｓ４を記憶する操作履歴データベースである。

またこの図によれば、表示部１３に対する表示内容の事例として表示画面形式１３Ａでは、模擬訓練中のプラントパラメータ情報Ｓ３（プロセス量）が時系列表示される。これにより、関連するプロセス量が相互の相関をもって表示されるので、反省会の場面でプロセス量の変化から正しく事故認識が行え、正しく事後処理が行え、結果として正しい処理が行えたことが確認できる。

また表示部１３に対する表示内容の事例として表示画面形式１３Ｂでは、模擬訓練中の訓練生の行動が表示される。表示画面形式１３Ｂの上部１３Ｂ１には、映像信号Ｓ２と音声信号Ｓ１により訓練生の行動が表示される。

さらに本発明では表示画面形式１３Ｂの下部１３Ｂ２に、訓練生の行動が教師行動と対比して表示される。教師行動との対比表示について図を用いて詳細に後述する。

ところで、表示部１３での映像表示に際し、表示画面上に訓練生が撮影されて表示されていることは運転訓練再生装置１として必須であり、訓練生が撮影されていない状況であってはならない。このため、訓練生が広域な模擬訓練場（一般プラントの中央操作室に相当する）のどの場所にいても、死角に入らないように撮影できるようにカメラ配置される。図３は、死角を作らないカメラ配置の一事例を示した図である。

図３は模擬訓練場を上部から俯瞰した図であり、通常は中央操作室と同じ配置に制御盤１５を配置している。例えば１５Ａが原子炉周り、１５Ｂがタービン周り、１５Ｃが給水関係の制御盤といった具合に配置される。これらは通常四角い部屋の３面を利用して配置されている。これに対し、カメラ３Ｂは、各制御盤１５の上部に室内に向けて設けられ（３Ｂ１−３Ｂ５）、さらには部屋の中央上部に各制御盤方向に向けて配置される（３Ｂ６−３Ｂ８）。これらのカメラ配置により、訓練生が模擬訓練場のどこにいても、いずれかのカメラには撮影されている状況とすることができる。なおカメラはビデオカメラであり、模擬訓練場の中央部天井に設けられたビデオカメラ３Ｂ６−３Ｂ８は、室内の３６０°全周を撮影範囲に収める様に配置される。

なお原子力発電所は、一般には指揮者（当直長）、当直主任、主機運転員、補機運転員の４人態勢で運用されるので、模擬訓練の場でも４名の訓練生が以上のいずれかの役割を担って行うことになる。図３のカメラ配置はこの全員をいずれかのカメラで把握する位置に設置されている。

図４は、運転訓練再生装置１の処理内容を示すフローチャートである。この処理ではビデオカメラ３Ｂからの映像入力に基づいて処理を行う。最初の処理ステップＳ２１では、図３のように配置された複数カメラで撮影された映像を入力する。処理ステップＳ２２では、複数の映像を結合することにより３６０°パノラマ映像を作成する。これにより、３６０°死角がなくなり、訓練生を漏れなく連続的に監視可能となる。なお処理ステップＳ２１と処理ステップＳ２２の処理は、図１、図２の映像処理部９で実行され、処理結果が記憶装置１１の映像データベースＤＢ２に記憶される（処理ステップＳ９）。

３６０°パノラマ映像は、２つの観点で処理される。１つは、処理ステップＳ１０からＳ１３に示したリラックス度合判断であり、他の１つは処理ステップＳ３３からＳ３８に示した行動パターン分析である。まず行動パターン分析処理について説明する。

行動パターン分析処理では、まず処理ステップＳ３３において、３６０°パノラマ映像を動体認識し、訓練生の位置を検出し、処理ステップＳ３４において訓練生位置を登録する。訓練生の位置が判明すれば、検出された訓練生周辺のカメラ映像を抽出することが可能となる。訓練生を動体認識することにより、手動でビデオカメラを訓練生の行動している方向に向ける必要がなくなり、自動的に訓練生の周囲を映した映像を記録可能となる。

処理ステップＳ３５では、３６０°パノラマ画像を画像分析し、訓練生の行動を、判別、情報化する。例えば、Ａ：立ち止まり、Ｂ：移動、Ｃ：機器状態確認、Ｄ：機器操作、Ｅ：発言などといった行動パターンに分類する。そのうえで前記行動パターンを時系列に並べる。

図６は、訓練生の典型的な行動パターンの例を示した図である。先に述べた事例でいえば、模擬訓練開始前はいずれかの位置におり（停止：Ａ）、事故発生により制御盤近傍に移動（移動：Ｂ）して機器状態を確認（確認：Ｃ）し、他の訓練生に先方での状況報告を求め（発言：Ｅ）必要な機器操作（操作：Ｄ）を行うといった一連の行動を起こしたとする。この一連動作は、「Ａ⇒Ｂ⇒Ｃ⇒Ｅ⇒Ｄ」のように行動パターンが時系列に並べられ、把握される。なおこの行動パターンは、変化時刻の情報とともに、記憶装置１１に記憶される。またこのときに、映像と訓練生位置、時系列に並んだ行動パターンも記憶装置１２に時間情報とともに記録される。これにより、訓練生が個々の行動に要した時間、タイミングを他の訓練時データと比較することが可能となる。

なお、人間の動きを行動パターンとして上記のように分類する具体手段としては、すでに知られたものも含め種々の方式が考えられる。本発明はパターン化技術として種々のものが採用可能であるが、以下のような工夫を施すことが望ましい。

まず、訓練生の前方もしくは側面に位置するビデオカメラを設置する。これにより、後方から撮影するビデオカメラでは訓練生の影になって撮影できなかった機器の操作・確認も、映像に記録することが可能となる。また操作した機器を特定するに際しては、模擬制御盤の盤面をメッシュ分割し、座標を割り当てることで、どの座標にどの機器が設置されているかを予めデータベース化しておき、訓練生の手の位置と照合することで、機器を特定することができる。

処理ステップＳ３６では、分類した訓練生の行動パターンが機器状態確認Ｃもしくは機器操作Ｄ等の機器に関するパターンのケースと、そうでないケースを区分する。そのうえで、機器に関するパターンである場合には、処理ステップＳ３７において訓練生の映像を画像分析し、模擬制御盤１５のどの位置を指差しているかを判別する。訓練生が指さしている位置にある機器を、メッシュ分割した制御盤位置に関するデータベースを元に判別し、記憶装置１２に記録する。

図６に訓練生が指差している機器の判別処理の例を示す。制御盤１５上が縦横のメッシュ（縦方向を英語表記、横方向を数値表記）に分けられたことで訓練生の指さし動作の対象機器が判明する。これにより、従来は訓練履歴に残すことの出来なかった盤面機器の指差し確認動作を記録可能となる。行動パターン分析処理では、最後に処理ステップＳ３８において一連の行動パターンを時系列的に並べて記憶装置１１に記憶する。この行動パターンの把握は、複数の訓練生ごとに行われる。

処理ステップＳ１０からＳ１３に示したリラックス度合判断では、まず処理ステップＳ１０において訓練生の顔を正面に近い角度から撮影している映像を順次抽出する。処理ステップＳ１１では、顔の表情を確認し、処理ステップＳ１２では、表情評価ロジックに基づいて訓練生の緊張状態／リラックス状態の度合いを評価する。処理ステップＳ１３では、求めたリラックス度合を記憶装置１２に記録する。このように、訓練生前方もしくは側面に位置するビデオカメラで訓練生を撮影することにより、訓練生の表情が撮影可能となる。また顔検出、表情認識を行うことでプラント状態における緊張／リラックス度合を評価し、記録することが可能となる。

以上述べたパノラマ映像（処理ステップＳ９）、行動パターン（処理ステップＳ３８）、リラックス度合（処理ステップＳ１３）の各処理の完了後に、処理ステップＳ１４では、訓練生の映像、音声、行動、リラックス度合の各情報を時系列にして記憶装置１１に保存する。

また処理ステップＳ１５では、模範的な運転員（教師）の行動パターンと、訓練生の行動パターンを時系列的に対比して表示部１３に表示する。図７は、表示部１３の表示形式のうち訓練生の行動を表示する表示形式である１３Ｂの具体的な表示事例を示している。

このうち表示形式１３Ｂ１は、訓練生を映像表示したものであり、例えば模擬訓練場に３名の訓練生Ａ、Ｂ、Ｃがいて訓練を受けていることを想定すると、各訓練生Ａ、Ｂ、Ｃの映像がその担当する制御盤１５Ａ、１５Ｂ、１５Ｃと同じ画面上に表示される。このため、一般には訓練生は背後からの映像とされることが多い。これにより訓練生の行動は、わかりやすく表示されることになる。なお訓練生の表示映像は、同時刻における同期映像であり、音声も同期して派生されている。このため、表示形式１３Ｂ１の画面の一部には、訓練現在時刻を含む時刻表示部２０の時間情報も併せて表示されているのがよい。

模範的な運転員（教師）の行動パターンと、訓練生の行動パターンを時系列的に対比して表示するのが表示形式１３Ｂ２である。ここには訓練生の訓練開始から終了までの各時刻の行動が、パターン化されて表示されている。例えば訓練生Ａについて、停止⇒移動⇒確認⇒発言⇒操作⇒確認⇒発言⇒停止の各行動がこの順番で行われたこと、および各行動の時刻が時刻表示部２０と合わせて表示される。また、この時刻の他の訓練生の行動も時刻同期の上、並列的に表示されている。このため、模擬訓練場における全体の動きがパターン化されて表示されている。これにより訓練生間の連係動作を評価することができる。

さらに本発明では、訓練生行動パターンに併記して、教師（熟練運転員）行動パターンを訓練生ごとに表示している。なお教師（熟練運転員）行動パターンは、別の機会に同じ条件で訓練模擬装置を用いて得た結果として得られたものを用いて予め作成しておく。

この対比表示によれば、同じ制御盤での模擬訓練の結果として、訓練生Ａ１は教師Ａ０の行動よりも遅れがちであるが、動作内容としては同じ行動をとっているということが判明する。訓練生Ｂ１は教師Ｂ０の行動に対し落ち着きがなく（移動回数がやたらと多い）、一部動作（発言）が欠落するミスを犯しているということが判明する。訓練生Ｃ１は教師Ｃ０の行動に対し行動ごとの所要時間が長く、行動順序が逆転するミスを犯しているということが判明する。

図８も訓練生の行動を表示する表示形式１３Ｂの具体的な表示事例を示している。図８の映像表示では、訓練生と教師の同時刻映像を重ね表示している。これにより、行動位置、行動内容の総意を映像の上からもより一層明確にしている。この表示を追加することで、行動パターンでの分類が難しい挙動の確認が可能になる。

なお、図７、図８の表示事例において、表示画面の下部には今回の訓練内容（イベント名）２２が表示され、かつポインター２１により、訓練時刻が全ての訓練生、全ての教師の行動パターンに共通に指示表示されることにより、当該時刻における各坑道の相違が鮮明化されている。またこの図には示していないが、各訓練生のリラックス度合が数値などで表示されるのがよい。

１：運転訓練再生装置
２：運転訓練模擬装置
３：運転訓練監視装置
３Ａ：マイク
３Ｂ：ビデオカメラ
５：プラントモデル
７：計算機
８：音声処理部
９：映像処理部
１０：操作部
１１：記憶装置
１２：音声出力部
１３：表示部
１３Ａ、１３Ｂ：表示形式
１５：模擬制御盤
ＤＢ：データベース

Claims (7)

1. プラントモデルと模擬制御盤を含み、プラントにおける異常事態を模擬し訓練生による操作を行わせる運転訓練模擬装置から模擬訓練状態における情報を入手し、前記模擬制御盤を設置する模擬訓練場における音声、映像を取得する運転訓練監視装置から音声、映像の情報を取得し、前記模擬訓練状態を再現出力する運転訓練再生装置であって、
   前記映像の情報から訓練生の行動をパターン化して把握し、把握した行動パターンを時系列的に表示するとともに、前記運転訓練模擬装置を使用してその行動を記録した教師の行動もパターン化して把握し、前記訓練生の行動パターンに併記して表示、再現することを特徴とする運転訓練再生装置。
2. 請求項１に記載の運転訓練再生装置において、
   前記訓練生と教師の行動パターンとともに、その時刻における前記音声、映像の情報を合わせて出力することを特徴とする運転訓練再生装置。
3. 請求項１または請求項２に記載の運転訓練再生装置において、
   前記訓練生の映像を記憶するカメラは、訓練生撮影の死角を生じないように前記模擬訓練場に複数設置されていることを特徴とする運転訓練再生装置。
4. 請求項１から請求項３のいずれか１項に記載の運転訓練再生装置において、
   前記訓練生の表情をとらえた映像から訓練生のリラックスの度合いを把握していることを特徴とする運転訓練再生装置。
5. 請求項１から請求項４のいずれか１項に記載の運転訓練再生装置において、
   前記訓練生と教師の映像を、訓練開始後の時刻を同期させたうえで、同一画面上に重ね合わせ表示することを特徴とする運転訓練再生装置。
6. 請求項１から請求項５のいずれか１項に記載の運転訓練再生装置において、
   前記行動のパターン化は、立ち止まり状態、移動状態、機器確認、操作状態、発言状態を含んでパターン化されることを特徴とする運転訓練再生装置。
7. 請求項６に記載の運転訓練再生装置において、
   前記機器確認、操作状態において訓練生が意図している機器が模擬制御盤の盤面のどの機器に関する行動かを判別し、記録することを特徴とする運転訓練再生装置。

Images