JP7042573B2 - 評価システム、評価方法及びプログラム - Google Patents

評価システム、評価方法及びプログラム Download PDF

Info

Publication number
JP7042573B2
JP7042573B2 JP2017158021A JP2017158021A JP7042573B2 JP 7042573 B2 JP7042573 B2 JP 7042573B2 JP 2017158021 A JP2017158021 A JP 2017158021A JP 2017158021 A JP2017158021 A JP 2017158021A JP 7042573 B2 JP7042573 B2 JP 7042573B2
Authority
JP
Japan
Prior art keywords
data
conversation
time
business
indicating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017158021A
Other languages
English (en)
Other versions
JP2019036205A (ja
Inventor
敬樹 石川
泰彦 福山
浩平 増田
恵子 石川
友裕 小峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Heavy Industries Ltd
Original Assignee
Mitsubishi Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Heavy Industries Ltd filed Critical Mitsubishi Heavy Industries Ltd
Priority to JP2017158021A priority Critical patent/JP7042573B2/ja
Priority to DE112018004216.2T priority patent/DE112018004216T5/de
Priority to US16/623,926 priority patent/US11380318B2/en
Priority to PCT/JP2018/030344 priority patent/WO2019035465A1/ja
Publication of JP2019036205A publication Critical patent/JP2019036205A/ja
Application granted granted Critical
Publication of JP7042573B2 publication Critical patent/JP7042573B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063114—Status monitoring or status determination for a person or group
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/64—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Multimedia (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Automation & Control Theory (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、評価システム、評価方法及びプログラムに関する。
発電プラントの運転は、制御室内で監視や運転操作を行う運用チームの各要員（当直長、副長、運転員などで構成される）および制御室外の各要員（所長、各現場の要員など）が、互いに会話等によるコミュニケーションを取りながら行われる。このような複数の要員の連携が必要となる業務では、行動の前後で行う情報伝達が重要となる。例えば、プラントの運転の場合、運転を行うチームとしての行動が評価対象とされる傾向にあり、単に個人が適切な操作を行って正しくプラントの運転を行うだけではなく、例えば、指示すべき役割の要員が適切に指示を行い、その指示を受ける役割の要員が適切に応答を行って確認を取りながら操作を行うといった行動様式が求められることがある。
なお、関連する技術として、特許文献１には、後に運転訓練中の会話や操作を確認するために運転訓練中の訓練生の操作状況の音声や映像を記録する機能を備えたプラントの運転訓練シミュレータについて記載がある。
特開平９－６９００８号公報
上記のとおり、プラントの運転では、運転時の情報伝達が重要であるが、これまで、プラント運転時の会話による情報伝達や、会話と操作を含めた運転の技能を評価する技術は提供されていない。例えば、特許文献１には、音声や映像を記録することは記載されているが、記録された音声データや映像データを運転操作と関連付けて評価することについては記載が無い。
そこでこの発明は、上述の課題を解決することのできる評価システム、評価方法及びプログラムを提供することを目的としている。
本発明の一態様は、業務に携わる要員が発話した音声データを取得する音声データ取得部と、前記音声データから前記発話の内容を認識し、テキストデータに変換する音声認識部と、前記要員の前記業務に係る行動を示すデータと、前記業務の状態を示すデータを取得する業務データ取得部と、前記音声認識部が認識した発話の内容に基づき、前記テキストデータから前記業務に関係する会話データを抽出する抽出部と、前記抽出部が抽出した会話データと前記行動を示すデータと前記業務の状態を示すデータとの相関を分析する分析部と、を備え、前記分析部は、前記相関の分析として、前記業務の状態を示すデータに含まれる事象の発生時刻から前記会話データに含まれる会話の開始時刻までの時間を示す第１時間と、前記会話の開始時刻から前記行動を示すデータに含まれる前記行動の実施時刻までの時間を示す第２時間と、前記会話の開始時刻から前記事象の終了時刻までの時間を示す第３時間と、を算出する評価システムである。
本発明の一態様における前記分析部は、会話と行動と業務の状態との良好な相関を示すデータに基づく前記事象の発生時刻から前記会話の開始時刻までの時間と前記第１時間との差、前記良好な相関を示すデータに基づく前記会話の開始時刻から前記行動の実施時刻までの時間と前記第２時間との差、を評価する。
本発明の一態様における前記評価システムは、前記分析部が分析した結果について、前記会話データに含まれる前記会話の開始時刻と前記業務の状態を示すデータが示す前記事象の結果とを対応付けて出力する評価結果出力部、をさらに備える。
本発明の一態様における前記評価結果出力部は、前記事象の良好な結果が得られたときの前記事象の発生から会話の開始までの時間を示す第１模範時間と前記第１時間とを比較して、前記第１時間を前記第１模範時間に近づけることを促す改善策情報を出力する。
本発明の一態様における前記分析部は、前記会話データに含まれる行動の指示内容に関する会話と前記行動を示すデータに含まれる前記指示内容に対して実施された行動とを比較して、前記会話の指示内容が示す行動と前記行動を示すデータに含まれる前記行動とが一致するかどうかを分析する。
本発明の一態様における前記抽出部は、前記会話データについて、所定の形式の会話が成立しているかどうかを判定する。
本発明の一態様における前記評価システムは、前記音声認識部が認識した前記発話の内容を、当該発話を行った前記要員の識別情報および当該発話が行われた時刻の情報とともに出力するテキストデータ出力部、をさらに備える。
本発明の一態様における前記評価システムは、プラントの運転技能を評価するシステムであって、前記音声データ取得部は、前記プラントの運転を行う複数の前記要員が運転中に行った会話の音声データを取得し、前記業務データ取得部は、前記要員が前記プラントの運転中に行った操作の情報および前記運転中の前記プラントの状態を示す情報を取得し、前記分析部は、前記プラントの運転において対処すべき事象に関する前記会話および前記操作および前記プラントの状態の相関を分析する。
本発明の一態様は、評価システムによって実行される評価方法であって、業務に携わる要員が発話した音声データを取得するステップと、前記音声データから前記発話の内容を認識し、テキストデータに変換するステップと、前記要員の前記業務に係る行動を示すデータと、前記業務の状態を示すデータを取得するステップと、前記認識した発話の内容に基づき、前記テキストデータから前記業務に関係する会話データを抽出するステップと、前記抽出した会話データと前記行動を示すデータと前記業務の状態を示すデータとの相関を分析するステップと、を有し、前記分析するステップでは、前記相関の分析として、前記業務の状態を示すデータに含まれる事象の発生時刻から前記会話データに含まれる会話の開始時刻までの時間を示す第１時間と、前記会話の開始時刻から前記行動を示すデータに含まれる前記行動の実施時刻までの時間を示す第２時間と、前記会話の開始時刻から前記事象の終了時刻までの時間を示す第３時間と、を算出する評価方法である。
本発明の一態様は、評価システムのコンピュータを、業務に携わる要員が発話した音声データを取得する手段、前記音声データから前記発話の内容を認識し、テキストデータに変換する手段、前記要員の前記業務に係る行動を示すデータと、前記業務の状態を示すデータを取得する手段、前記認識した発話の内容に基づき、前記テキストデータから前記業務に関係する会話データを抽出する手段、前記抽出した会話データと前記行動を示すデータと前記業務の状態を示すデータとの相関を分析する手段、として機能させ、前記分析する手段は、前記相関の分析として、前記業務の状態を示すデータに含まれる事象の発生時刻から前記会話データに含まれる会話の開始時刻までの時間を示す第１時間と、前記会話の開始時刻から前記行動を示すデータに含まれる前記行動の実施時刻までの時間を示す第２時間と、前記会話の開始時刻から前記事象の終了時刻までの時間を示す第３時間と、を算出するプログラムである。
本発明によれば、プラントの運転員の操作と会話の関係を明らかにし、適切な会話ができているかどうかを評価することができる。
本発明の一実施形態における運転訓練システムの構成例を示す機能ブロック図である。 本発明の一実施形態における会話を可視化したテキストデータの一例を示す図である。 本発明の一実施形態における操作・プラントデータの一例を示す図である。 本発明の一実施形態における相関関係の分析を説明する図である。 本発明の一実施形態における運転評価結果の一例を示す図である。 本発明の一実施形態における運転評価方法の一例を示すフローチャートである。 本発明の一実施形態における運転評価システムのハードウェア構成の一例を示す図である。
＜実施形態＞
以下、本発明の一実施形態による運転訓練システムを図１～図７を参照して説明する。
図１は、本発明の一実施形態における運転訓練システムの構成例を示す機能ブロック図である。
図１に示す運転訓練システム１は、原子力発電プラント等の運転員が、運転訓練を行うためのシステムである。本実施形態の運転訓練システム１を用いると、プラントの運転訓練制御室内で交わされる会話や制御室外との会話を、プラントパラメータ、操作、警報等のデータとともに時系列のデータとして記録しつつ、会話による情報伝達が適切に行われているか確認することができる。また、訓練における操作（水源切替、機器隔離等）の準備として事前に交わされる会話を抽出、分析することで、訓練における会話の実施タイミング、会話の内容を可視化することができる。運転訓練システム１は、訓練対象となるプラントの状態を模擬する機能、運転員がそのプラントの状態に対して行った操作の内容を記録する機能、運転員が行った運転操作を評価する機能を有している。運転訓練システム１は、マイク２ａ，２ｂと、シミュレータ装置３と、運転評価結果管理装置４と、運転評価システム１０とを備えている。
マイク２ａ，２ｂは、運転訓練中に発話された音声を集音する。例えば、当直長（指示する役割の要員）は、運転訓練中にマイク２ａを装着してプラントの状況に応じた操作を行うよう音声による指示を行う。これに対し、運転員（当直長の下で操作を行う役割の要員）は、マイク２ｂを装着して当直長からの指示を復唱する等の発話を行う。このように運転訓練システム１を用いた運転訓練では、当直長と運転員、あるいは運転員同士が互いに会話によるコミュニケーションを行って、情報伝達が正確にできたことを確認しながら操作を行う。マイク２ａは、当直長が発話した音声を集音し、マイク２ｂは、運転員が発話した音声を集音する。なお、マイクの数は２つに限定されず、訓練に参加する人数分に用意されている。
シミュレータ装置３は、所定の訓練シナリオに沿ってプラントの状態を模擬し、それに応じて運転員が行った操作とその操作が行われた時刻を記録する。また、シミュレータ装置３は、運転訓練中のプラントの状態の経時的変化を演算し、その結果を記録する。以下、運転員が行った操作とその時刻を記録したデータを操作データ、運転訓練中の各時刻におけるプラントの状態を記録したデータ（温度などの各種物理量、バルブの開度やポンプの回転数などの各種制御値、警報等の通知情報）をプラントデータと記載する。
運転評価結果管理装置４では、過去に行われた運転訓練時に記録された操作データ、プラントデータ、訓練中の音声データがその評価とともに記録されている。特に、良好訓練データＤＢ（データベース）５には、模範となるような良好な訓練が行われたときに記録された操作データ、プラントデータ、音声データがプラントに生じる事象ごとに蓄積されている。
運転評価システム１０は、運転訓練中にマイク２ａ等で集音された音声データと、シミュレータ装置３で記録された操作データおよびプラントデータとを取得して、その運転訓練に参加した当直長や運転員などの技能を評価する。運転評価システム１０は、運転員の技能を、所望のプラント状態へと導く適切な操作の実施の観点からだけではなく、その操作の前後に要求される所定の会話を適切に実施したかどうかという観点を含んで評価する。このような評価により、当直長を含む運転員間（以下、特に断りが無ければ、運転員と記載した場合、当直長、副長を含むものとする）で（１）伝えるべき事項を、（２）適切な時期に、（３）伝えるべき相手に、（４）伝えるべき内容が発話されたか、（５）相手に内容が伝わったか、（６）伝えた結果として求められるプラント状態へ運転できたかどうか、を運転訓練の終了後に振り返ることができ、また、評価結果から把握することができる改善策を、他の運転員との間で共有することができる。
図示するように運転評価システム１０は、入力部１０１と、音声認識部１０２と、テキストデータ出力部１０３と、会話分析用辞書ＤＢ１０４と、会話抽出部１０５と、会話抽出結果ＤＢ１０６と、操作・プラントデータ記録部１０７と、操作・プラントデータＤＢ１０８と、相関分析部１０９と、分析結果ＤＢ１１０と、評価結果出力部１１１と、を備える。
入力部１０１は、マイク２ａ，２ｂが集音して電気信号に変換した音声データを取得し、音声データを、マイク２ａ，２ｂが接続された入力ポート別に音声認識部１０２に出力する。また、入力部１０１は、シミュレータ装置３から操作データ、プラントデータを取得し、それらのデータを操作・プラントデータ記録部１０７に出力する。
音声認識部１０２は、入力部１０１から取得した音声データの内容を認識し、テキストデータに変換する音声認識機能を有する。音声認識機能には、一般的な音声認識エンジンを用いることができる。また、音声認識部１０２は、変換後のテキストデータに含まれる各発話に対して、その発話が行われた時刻と発話者の識別情報を対応付ける機能を有している。具体的には、音声認識部１０２は、例えば、入力部１０１が音声データを取得した時刻を発話された時刻として、テキストデータに対応付ける。また、音声認識部１０２は、例えば、マイク２ａの入力ポートと当直長、マイク２ｂの入力ポートと運転員など、入力ポート別に定められた発話者の識別情報および入力部１０１が音声データを取得した入力ポートの情報に基づいて、発話者の識別情報をテキストデータに対応付ける。音声認識部１０２は、発話時刻と発話者の識別情報を対応付けたテキストデータをテキストデータ出力部１０３と会話抽出部１０５へ出力する。
制御室の音声を録音するだけでは、例えば、警報音などにより会話がかき消されて、後に録音された音声データを再生しても会話の内容を把握することができない場合がある。これに対し、本実施形態では、各要員にマイク２ａ等を装着させて集音した音声データを、テキストデータに変換するので、音声の認識率が向上し、正確な発話のやり取りを記録しておくことができる。
テキストデータ出力部１０３は、音声認識部１０２から取得したテキストデータを、運転評価システム１０に接続された表示装置などに出力する。ここで、テキストデータ出力部１０３が出力するテキストデータについて図２に例示する。図２は、本発明の一実施形態における会話を可視化したテキストデータの一例を示す図である。図２に運転員Ａと当直長の間で行われた会話を示す。図示するようにテキストデータには、時刻、発話者、発話内容が含まれる。テキストデータ出力部１０３が出力するテキストデータにより、運転員Ａと当直長の間で交わされた会話を可視化し、一連の発話内容のやり取りを文字として視認することができる。これにより、会話の形式（３ウェイコミュニケーションなど）が適切かどうか、指示を出すべき要員が、伝えるべき相手に、伝えるべき事項について、適切な内容を伝達しているかどうか、相手に伝えるべき内容が伝達されたかどうか等を確認することができる。会話の形式とは、例えば、３ウェイコミュニケーションまたは２ウェイコミュニケーション等である。また、時刻の情報を参照することで適切なタイミングで指示を行ったかどうか、適切なテンポで会話ができているかどうかを確認することができる。
なお、図示しないが、例えば、音声認識部１０２によって音声データの振幅の大きさに基づいて声の大きさを分析、出力するようにし、適切な大きさの声で会話がなされているかどうかを確認できるようにしても良い。または、音声認識部１０２によって、話すスピード、声の調子、話し方等についても分析、出力できるようにし、落ち着いた声で、聴き手が理解しやすいような発話ができているかどうかを客観的に確認できるようにしてもよい。
会話分析用辞書ＤＢ１０４には、例えば、３ウェイコミュニケーションの例であれば、「Ｘ１さん、Ｘ２をＸ３してください」（伝達）、「Ｘ２をＸ３します」（復唱）、「お願いします」（確認）などの会話における言葉のやりとりのパターン（以下、会話のパターンと記載）が登録されている。あるいは、「Ｘ１さん、Ｘ２をＸ３してください」（伝達）、「Ｘ２をＸ３します」（復唱）などの２ウェイコミュニケーションの会話パターンが登録されている。さらに会話分析用辞書ＤＢ１０４には、２ウェイコミュニケーション、３ウェイコミュニケーションの前に「ＸＸＸを検出しました」、「～警報発信しました」など事象の発生を表す発話内容を加えた一連のやり取りのパターンが登録されていてもよい。
また、会話分析用辞書ＤＢ１０４には、例えば、運転訓練中に用いられるプラントの監視対象の物（加圧器）やその物に関する事象（水位低、圧力高）、操作対象の物（ポンプ、バルブ）や操作方法（起動・停止、開閉）、操作量（バルブの開度など）を表すキーワードが登録されている。
会話抽出部１０５は、音声認識部１０２が出力するテキストデータについて、会話分析用辞書ＤＢ１０４を参照して分析し、発話者と受話者で所定の形式の会話が成立しているかどうかを確認する。例えば、会話抽出部１０５は、会話分析用辞書ＤＢ１０４に登録された会話のパターンに、運転員間の言葉のやりとりが当てはまるかどうかを判定し、当てはまる場合、運転員間で所定の形式の会話が成立していると判定する。あるいは、会話抽出部１０５は、完全に会話のパターンに合致しなくても、言葉のやりとりが会話のパターンにある程度類似していれば、当該箇所について所定の形式の会話が成立していると判定してもよい。会話が成立していると判定すると、会話抽出部１０５は、テキストデータの中から会話が成立していると判定した箇所のデータを抽出する。また、会話抽出部１０５は、例えば、指示内容と復唱内容が対応しているかどうかによって会話が成立しているかどうかを判定する。例えば、「ポンプを起動してください」との指示に対し、「バルブですね」と復唱したり、「ポンプの停止ですね」などと復唱した場合、会話抽出部１０５は、「伝達」、「復唱」、「確認」の形式に則っていたとしても、所定の形式の会話が成立していないと判定する。例えば、図２に例示した「１３：１０：１０」から「１３：１０：４０」にかけての会話データは、会話抽出部１０５が抽出した会話データである。
また、会話抽出部１０５は、抽出した会話データについて、その会話に含まれる単語と、会話分析用辞書ＤＢ１０４に登録されたキーワードとを照合し、その会話が、プラントに生じたどのような事象に関するものであるかを認識する。例えば、図２の例の場合、会話抽出部１０５は、図２に例示するテキストデータを会話データであると判定し、さらに会話データの開始時刻の会話内容と、会話分析用辞書ＤＢ１０４に登録された監視対象の物「加圧器」やそれに関する事象を表す単語「水位低」により、この会話が加圧器の水位が低下した事象に関する会話であることを認識する。また、会話抽出部１０５は、抽出した会話データについて、会話分析用辞書ＤＢ１０４に登録された単語を抽出する。例えば、図２の例の場合、会話抽出部１０５は、「Ｂ充てんポンプ」、「追加」、「起動」を当該事象の運転訓練に係る特定の単語として抽出する。また、会話抽出部１０５は、「Ｂ充てんポンプを追加起動してください」の前に出現する、「加圧器」、「水位」、「低」を前後の単語として抽出する。会話抽出部１０５は、抽出した単語「Ｂ充てんポンプ」等と、事象を会話として開始した時間「１３：１０：１０」と、事象に対する指示を開始した時刻「１３：１０：３０」と、発話回数「５」回と、前後の別の単語「起動」および「加圧器」および「水位」と、認識した事象「加圧器の水位低下」と、所定の形式の会話が成立しているかどうかやその成立度（例えば、会話パターンに規定された文章の文体の構造やその出現順序と会話データに含まれる文体の構造やその出現順序の類似度など）を対応付けて会話抽出結果ＤＢ１０６に記録する。
会話抽出結果ＤＢ１０６は、会話抽出部１０５が抽出した会話データおよび会話の成立度とともに、その会話から抽出された特定の単語、事象を会話として開始した時間、発話回数、前後の別の単語、事象などのデータを記憶する。
操作・プラントデータ記録部１０７は、入力部１０１から取得した操作データおよびプラントデータを、操作・プラントデータＤＢ１０８に記録する。
操作・プラントデータＤＢ１０８は、操作データおよびプラントデータを記憶する。ここで、操作データおよびプラントデータについて例を挙げて説明する。図３は、本発明の一実施形態における操作・プラントデータの一例を示す図である。図３（ａ）に操作データの例を、図３（ｂ）にプラントデータの例を示す。図３（ａ）、図３（ｂ）のデータは、図２の会話データに関係する訓練時に記録されたものである。図３（ａ）の操作データには、「１３：１０：４０」に「Ｂ充てんポンプ」を「起動」する操作が行われたことが記録されている。
図３（ｂ）のプラントデータには、時系列の加圧器の水位の計測値やその計測値に対する判定結果が記録されている。図３（ｂ）の例によれば、時刻「１３：１０：０９」に計測された水位は「Ｌ１」であり、その判定結果は「低」である。また、Ｂ充てんポンプを起動した時刻「１３：１０：４０」に計測された水位は「Ｌ２」であり、その判定結果は「低」である。また、Ｂ充てんポンプの起動後、３分が経過した時刻「１３：１３：４０」に計測された水位は「Ｌ３」であり「正常」な水位に回復していることが分かる。
相関分析部１０９は、会話データ、プラントデータ、操作データの相関関係を分析する。例えば、ある会話αについて、その会話が行われた時間帯（例えば、会話αの前後数分間を含んでも良い）を時間帯α１とすると、相関分析部１０９は、プラントデータから会話データαが示す事象に関係するパラメータ（水位、温度、圧力など）の時間帯α１における時系列の値やプラントを構成する機器が発した通知情報（警報等）などを抽出する。なお、抽出するパラメータの種類は、事象ごとに予め定められているとする。また、相関分析部１０９は、操作データに含まれる時間帯α１に行われた操作の情報を抽出する。そして、相関分析部１０９は、会話データαについて、会話データαに含まれる各発話の時刻、発話者、発話内容と、プラントデータや操作データから抽出した情報を同一時間軸上に並べて、発話、操作、パラメータ変化の時間的関係を分析する。また、相関分析部１０９は、会話データαに含まれる指示内容と操作データが示す操作とが正しい関係にあるかどうかを分析する。相関分析部１０９は、会話αに関係する会話データ、操作データ、プラントデータを関連付けて、分析結果ＤＢ１１０に記録する。
相関分析部１０９による分析結果の一例について図４を用いて説明する。図４は、本発明の一実施形態における相関関係の分析を説明する図である。
図４に図２、図３で例示した会話データ、操作データ、プラントデータを同一時間軸上に並べた例を示す。なお、図４の例では、会話データ内のやり取りについては表示を省略してある。これらのデータは関連付けられて分析結果ＤＢ１１０に記録されている。
相関分析部１０９は、例えば、事象の発生時刻と会話の開始時刻との差（水位低の発生から５秒後に会話開始）、会話の開始時刻と操作を行った時刻との差（会話の開始から３０秒後にポンプ起動）、会話の開始時刻と事象の水位回復時刻との差（会話の開始からＸ秒後に水位回復）を算出する。また、相関分析部１０９は、例えば、事象の発生時刻、会話の開始時刻、操作を行った時刻の時間関係と、事象の結果との関係を分析する。例えば、図４の例の場合、相関分析部１０９は、事象の発生から会話の開始までが１秒、会話の開始から操作の実施までが３０秒、事象の発生から操作の実施までが３５秒、事象の結果は「水位回復」との関係性にあることを分析し、「加圧器の水位低下」という事象と対応付けて、この分析結果を、分析結果ＤＢ１１０に記録する。
また、相関分析部１０９は、図２で例示した会話データに含まれる「Ｂ充てんポンプを追加起動してください」という指示内容と、図３（ａ）で例示した操作データが示す「Ｂ充てんポンプ 起動」という操作とが正しい関係（指示内容と操作が合致している）にあると分析し、この分析結果を分析結果ＤＢ１１０に記録する。
会話データ、操作データ、プラントデータの相関関係を分析すると、次に相関分析部１０９は、良好訓練データＤＢ５に蓄積された良好訓練時の会話データ、操作データ、プラントデータの相関関係に基づいて、分析結果に対する評価および改善策を示した改善策情報の設定を行う。良好訓練データＤＢ５には、事象ごとに模範となる会話および操作が行われた時の会話データ、操作データ、プラントデータが記録されている。良好訓練データＤＢ５には、例えば、「加圧器の水位低下」という事象と対応付けて、事象の発生から会話の開始までが１秒、会話の開始から操作の実施までが２０秒、事象の発生から操作の実施までが２５秒、事象の結果は「水位回復」との関係性を示す結果が記録されているとする。すると、相関分析部１０９は、例えば、事象の発生から会話の開始までは共に１秒、事象の結果は共に「水位回復」であることについては問題なしと評価する。一方、相関分析部１０９は、会話の開始から操作の実施までにかかった時間、事象の発生から操作の実施までにかかった時間が共に１０秒、模範となる操作からは遅れていることに基づいて、会話の開始から操作の開始までの時間が長いと評価する。さらに相関分析部１０９は、評価対象の会話データと模範的な会話データとを比較して、会話の開始から操作の開始までの時間が長くかかった原因を分析してもよい。例えば、模範的な会話データと比較して、会話の開始から指示までの時間が長ければ、「会話の開始から指示までの時間が長い」と評価し、提案すべき改善策として当直長向けに「会話の開始から指示までを早くする」といった情報を設定する。また、例えば、確認（図２の例では「はい、そうです」）から操作までの時間が長ければ、そのように評価し、運転員向けに「確認から操作までを早くする」といった改善策情報を設定する。なお、評価については、例えば、会話分析用辞書ＤＢ１０４に登録された会話のパターンに基づいて、一連のやりとりのどの段階で時間が掛かっているかを分析することができ、また、改善策情報については、例えば、評価結果がパターン化されて登録されおり、そのパタ－ンごとに予め定められていていてもよい。例えば、評価結果のパターン「会話の開始から指示までの時間が長い」に対して改善策「確認から操作までを早くする」が定められている。
また、例えば、相関分析部１０９は、評価対象の会話データにおける発話回数と模範的な会話データにおける発話回数とを比較して両者に違いが無いかどうかを判定する。例えば、評価対象の会話データにおける発話回数が多ければ、「発話回数が多い」と評価し、「会話の内容を見直しましょう」といった改善策情報を設定する。また、例えば、模範的な会話データにおける発話回数が多く、模範的な会話データには、「水位低」の検出前に、温度や圧力、バルブの開閉具合など他のパラメータに関する会話が含まれているような場合、相関分析部１０９は、評価対象の会話データから抽出された特定の単語（「ポンプ」、「追加」、「起動」）や前後の単語（「加圧器」、「水位」、「低」）には無い、「温度」などのキーワードに基づいて、評価対象の会話データに存在しないキーワードが含まれた会話の部分とその会話が行われた時間帯を検出し、当該会話が抜けていると評価し、適切なタイミングで当該会話を行うよう改善策情報を設定する。相関分析部１０９は、評価結果や設定した改善策情報を、分析結果と関連付けて分析結果ＤＢ１１０に記録する。
評価結果出力部１１１は、相関分析部１０９による評価結果を出力する。具体的には、評価結果出力部１１１は、分析結果ＤＢ１１０に記録されたある事象に関連付けられた会話データ、操作データ、プラントデータとその分析結果、評価結果、改善策情報を読み出して、運転評価システムに接続された表示装置に出力する。評価結果出力部１１１の出力例を図５に示す。
図５は、本発明の一実施形態における運転評価結果の一例を示す図である。
図５に示すのは、ある安定性が要求されるパラメータＹ（例えば、水位）の値の推移を表すグラフである。図５には、ある運転訓練で運転員が会話・操作を行った結果のグラフと、模範的な会話・操作が行われたときのパラメータＹのグラフが表示されている。時刻ｔ０までは、２つのグラフは同じ軌跡を描き、時刻ｔ０の前に行われた所定の操作の結果、時刻ｔ０以降は、２つのグラフは異なる軌跡を示している。実線のグラフは訓練中の運転員の操作による結果を示し、破線のグラフは模範的な操作による結果を示す。また、丸印は、訓練中の運転員がこの事象に関して会話を開始したタイミングを示し、星印は模範的な操作において会話が開始されたタイミングを示している。図５のグラフは、例えば、熟練した運転員がマニュアルの先読みやマニュアルの行間を読み取って、次に行うべき操作の確認、準備を早めに行って操作を行うのに対し、経験の浅い運転員が、操作の直前になって会話を開始するような場合に生じる結果の違いを示している。従来より、確認や準備を早めに行うことが推奨されることはあっても、どれぐらい早く行えば良いか具体的に分からないことも多い。評価結果出力部１１１の出力結果によれば、どの程度、早く確認等を行えば良いかを定量的に把握することができる。
また、上記で説明したように、相関分析部１０９は、運転員による会話データ等と模範的な会話データ等を比較して評価、改善策情報の設定を行う。図５に示す「安定が必要なパラメータについて、丸印の時点で当直長・運転員の会話が実施されています。次回は星印の時点で会話を実施してください」との文言は、分析結果ＤＢ１１０に記録された当該訓練に関して設定された改善策情報である。
評価結果出力部１１１は、分析結果ＤＢ１１０に記録されたある訓練事象に関係のある会話データ、操作データ、プラントデータと、同様の訓練事象に関して良好訓練データＤＢ５に登録された会話データ、操作データ、プラントデータに基づいて図５に例示するグラフを生成する。また、評価結果出力部１１１は、分析結果ＤＢ１１０に記録された改善策情報を読み出して、図５に例示するような次回へ向けてのアドバイス情報を生成し、表示装置に出力する。この評価結果を見て、運転員および当直長は、次回、同様の事象に対処するときの会話における改善点を把握することができる。
なお、例えば、グラフ中の丸印をクリック等すると、図２で例示したような訓練時の会話データが表示され、グラフ中の星印をクリック等すると、模範的な会話データが表示されるように構成されていても良い。また、改善策情報とともに、所定の形式の会話が成立しているかどうかの判定結果を表示しても良い。例えば、「３ウェイコミュニケーションの形式で会話ができています」、あるいは、３ウェイコミュニケーションが不完全な場合、「復唱、確認をしっかり行いましょう」といった内容の表示や、「会話の成立度は６０％です」などの表示を行っても良い。
次に本実施形態の運転技能の評価方法の処理の流れについて説明する。
図６は、本発明の一実施形態における運転評価方法の一例を示すフローチャートである。
まず、ある訓練シナリオに沿ってシミュレータ装置３が、事象が生じた際のプラントの状態を模擬する。運転訓練を行う部屋では、当直長、運転員などで構成された運用チームの各要員が、ＰＣ等を用いて、シミュレータ装置３が模擬した事象に対応するための会話、操作を行って訓練に参加する。マイク２ａ、２ｂは、この訓練の間の会話を集音し、運転評価システム１０に出力する。運転評価システム１０では、入力部１０１が、集音された会話の音声データを取得する（ステップＳ１１）。入力部１０１は、音声データを音声認識部１０２に出力する。音声認識部１０２は、この音声データを音声認識機能によりテキストデータに変換する（ステップＳ１２）。また、音声認識部１０２は、テキストデータに含まれる各発話について、発話が行われた時刻、発話者の識別情報を対応付ける。
音声認識部１０２は、時刻情報、発話者の識別情報を付加したテキストデータをテキストデータ出力部１０３と、会話抽出部１０５とに出力する。
テキストデータ出力部１０３は、時刻情報などが付加されたテキストデータを、表示装置へ出力する。表示装置は、図２で例示したような時系列の言葉のやりとりを含んだテキストデータを表示する。
会話抽出部１０５は、音声認識部１０２から取得したテキストデータから一まとまりの会話を抽出する。会話の抽出には、会話分析用辞書ＤＢ１０４に登録された会話のパターンを参照する。例えば、会話分析用辞書ＤＢ１０４には、３ウェイコミュニケーション、２ウェイコミュニケーション、その他チーム内の情報伝達精度を向上させる所定の会話方式に基づく、言葉のやり取りのパターンが登録されていて、会話抽出部１０５は、このパターンに沿った言葉のやり取りの部分をテキストデータの中から探し出して、パターンにあてはまる（あるいはパターンに近似する）一連の言葉のやり取りを会話データとして抽出する（ステップＳ１４）。また、会話抽出部１０５は、抽出した会話データについて、会話分析用辞書ＤＢ１０４に登録されたキーワードに基づき、特定の単語、会話の開始時間、発話回数、前後の別の単語、事象などを抽出する。会話抽出部１０５は、抽出した会話データ、特定の単語などを会話抽出結果ＤＢ１０６に記録する（ステップＳ１５）。
また、会話抽出部１０５は、抽出した会話データについて、例えば、３ウェイコミュニケーションが成立しているかどうかを判定し、その判定結果や会話の成立度を、会話データと関連付けて会話抽出結果ＤＢ１０６に記録する。
一方、シミュレータ装置３は、訓練中に行われた操作を時刻とともに記録した操作データ、プラントの状態を示す情報を時刻とともに記録したプラントデータを記憶し、これらのデータを運転評価システム１０に出力する。運転評価システム１０では、入力部１０１が、プラントデータ、操作データを取得する（ステップＳ１６）。入力部１０１は、プラントデータ、操作データを操作・プラントデータ記録部１０７に出力する。操作・プラントデータ記録部１０７は、これらのデータを操作・プラントデータＤＢ１０８に記録する（ステップＳ１７）。
次に相関分析部１０９が、良好訓練データＤＢ５から評価対象の訓練が対象とする事象について、会話、操作が良好に行われたときの会話データ、操作データ、プラントデータを取得する（ステップＳ１８）。相関分析部１０９は、図４で説明したように会話抽出結果ＤＢ１０６に記録された会話データと、操作・プラントデータＤＢ１０８に記録した操作データおよびプラントデータとの相関関係を分析する。また、相関分析部１０９は、分析結果に基づく会話、操作などの相関関係と、良好な会話データ等とを比較して、評価対象の訓練における会話や操作を評価（ステップＳ１９）し、改善策情報の設定を行う。相関分析部１０９は、分析結果、評価結果などを分析結果ＤＢ１１０に記録する。
次に評価結果出力部１１１は、分析結果ＤＢ１１０に記録された情報を読み出して、図５で例示したような画像データを生成し、分析、評価結果などを出力する（ステップＳ２０）。
なお、ステップＳ２０の評価の結果、運転員による会話データ等が、良好訓練データＤＢ５に登録されていた模範的な相関データに比べ遜色のないものであったり、優れた点を含んでいたりした場合、今回の運転員による会話データ、操作データ、プラントデータの組を運転評価結果管理装置側に転送し、新たな模範データとして良好訓練データＤＢ５に登録するようにしてもよい。
プラントの運転訓練は、操作の遵守性やパラメータの変動量等の観点から評価されることが一般的で、操作と会話の相関に基づく評価は実施されていない。これに対し、本実施形態によれば、音声認識技術を運転訓練シミュレータと連携させることで、運転訓練中に行われる運転員の会話を可視化することができる。また、運転訓練中に行われる会話がプラントの運転（操作や操作結果）に与える影響を分析し、可視化することができる。これにより、従来顧みられることのなかった、プラント運転における会話の影響を認識し、より正確な運転を行うことができるような会話のタイミングや会話における伝達内容を検討し、誤操作の防止、ヒューマンエラーの防止、運転精度の向上を図ることができる。
また、本実施形態によれば、運転員の会話および操作を、模範的な会話および操作と比較することで、例えば会話のタイミング、会話の内容をどのように改善すれば良いかを把握することができる。また、図５の評価結果でも例示したように、模範となる会話および操作についてもその関係性を可視化することで、熟練した運転員の持つ技能の暗黙知を共有化し、他の運転員の技能の向上やチームパフォーマンスの向上を図ることができる。
なお、本実施形態による分析結果、評価結果に基づいて、運転マニュアル類へ、パラメータの確認項目や、会話タイミング・会話内容への助言を反映させたり、実際にプラントの運転を行う中央制御室のモニター類に、適切なタイミングで会話を促すメッセージを表示させたりといったフィードバックを行ってもよい。これにより、運転精度の向上を図ることができる。
図７は、本発明の一実施形態における運転評価システムのハードウェア構成の一例を示す図である。
コンピュータ９００は、ＣＰＵ９０１、主記憶装置９０２、補助記憶装置９０３、入出力インタフェース９０４、通信インタフェース９０５を備える。
上述の運転評価システム１０は、コンピュータ９００に実装される。そして、上述した入力部１０１、音声認識部１０２、テキストデータ出力部１０３、会話抽出部１０５、操作・プラントデータ記録部１０７、相関分析部１０９、評価結果出力部１１１の各機能は、プログラムの形式で補助記憶装置９０３に記憶されている。ＣＰＵ９０１は、プログラムを補助記憶装置９０３から読み出して主記憶装置９０２に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ９０１は、プログラムに従って、記憶領域を主記憶装置９０２に確保する。また、ＣＰＵ９０１は、プログラムに従って、処理中のデータを記憶する記憶領域を補助記憶装置９０３に確保する。なお、会話分析用辞書ＤＢ１０４、会話抽出結果ＤＢ１０６、操作・プラントデータＤＢ１０８分析結果ＤＢ１１０は、補助記憶装置９０３に記憶されている。
なお、運転評価システム１０の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各機能部による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、ＣＤ、ＤＶＤ、ＵＳＢ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また、このプログラムが通信回線によってコンピュータ９００に配信される場合、配信を受けたコンピュータ９００が当該プログラムを主記憶装置９０２に展開し、上記処理を実行しても良い。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
なお、運転評価システム１０は、複数のコンピュータ９００によって構成されていても良い。また、会話分析用辞書ＤＢ１０４、会話抽出結果ＤＢ１０６、操作・プラントデータＤＢ１０８、分析結果ＤＢ１１０は、コンピュータ９００とは別体の外部記憶装置に記憶されていても良い。
その他、本発明の趣旨を逸脱しない範囲で、上記した実施の形態における構成要素を周知の構成要素に置き換えることは適宜可能である。また、この発明の技術範囲は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。
例えば、上記の実施形態では、運転訓練環境で会話や操作のデータを採取する例を記載したが、実際のプラント運転環境で行われた会話データや操作データ、プラントデータを記録して保存し、後日、これらのデータを運転評価システム１０へ入力して評価するといった実施形態でもよい。また、運転評価システム１０の一部又は全部の機能を、例えば、シミュレータ装置３に組み込んで実装してもよい。
また、運転評価システム１０の適用先は、原子力発電プラント、化学プラントなどのプラントの運転の場面に限られず、例えば、工場等における製造作業、品質チェック作業、物品の搬入搬出等の運搬作業など、複数の要員の間での情報伝達を行いながら業務が行われる場面でも利用することができる。
なお、プラントの運転訓練は業務の一例であり、当直長や運転員が要員の一例である。入力部１０１は、音声データ取得部と業務データ取得部の一例である。操作データは業務に係る行動を示すデータの一例であり、プラントデータは業務の状態を示すデータの一例である。会話抽出部１０５は抽出部の一例であり、相関分析部１０９は分析部の一例である。
１・・・運転訓練システム
２ａ，２ｂ・・・マイク
３・・・シミュレータ装置
４・・・運転評価結果管理装置
５・・・良好訓練データＤＢ
１０・・・運転評価システム
１０１・・・入力部
１０２・・・音声認識部
１０３・・・テキストデータ出力部
１０４・・・会話分析用辞書ＤＢ
１０５・・・会話抽出部
１０６・・・会話抽出結果ＤＢ
１０７・・・操作・プラントデータ記録部
１０８・・・操作・プラントデータＤＢ
１０９・・・相関分析部
１１０・・・分析結果ＤＢ
１１１・・・評価結果出力部

Claims (10)

  1. 業務に携わる要員が発話した音声データを取得する音声データ取得部と、
    前記音声データから前記発話の内容を認識し、テキストデータに変換する音声認識部と、
    前記要員の前記業務に係る行動を示すデータと、前記業務の状態を示すデータを取得する業務データ取得部と、
    前記音声認識部が認識した発話の内容に基づき、前記テキストデータから前記業務に関係する会話データを抽出する抽出部と、
    前記抽出部が抽出した会話データと前記行動を示すデータと前記業務の状態を示すデータとの相関を分析する分析部と、
    を備え、
    前記分析部は、前記相関の分析として、前記業務の状態を示すデータに含まれる事象の発生時刻から前記会話データに含まれる会話の開始時刻までの時間を示す第１時間と、前記会話の開始時刻から前記行動を示すデータに含まれる前記行動の実施時刻までの時間を示す第２時間と、前記会話の開始時刻から前記事象の終了時刻までの時間を示す第３時間と、を算出する、
    評価システム。
  2. 前記分析部は、会話と行動と業務の状態との良好な相関を示すデータに基づく前記事象の発生時刻から前記会話の開始時刻までの時間と前記第１時間との差、前記良好な相関を示すデータに基づく前記会話の開始時刻から前記行動の実施時刻までの時間と前記第２時間との差、を評価する、
    請求項１に記載の評価システム。
  3. 前記分析部が分析した結果について、前記会話データに含まれる前記会話の開始時刻と前記業務の状態を示すデータが示す前記事象の結果とを対応付けて出力する評価結果出力部、
    をさらに備える請求項１または請求項２に記載の評価システム。
  4. 前記評価結果出力部は、
    前記事象の良好な結果が得られたときの前記事象の発生から会話の開始までの時間を示す第１模範時間と前記第１時間とを比較して、前記第１時間を前記第１模範時間に近づけることを促す改善策情報を出力する、
    請求項３に記載の評価システム。
  5. 前記分析部は、前記会話データに含まれる行動の指示内容に関する会話と前記行動を示すデータに含まれる前記指示内容に対して実施された行動とを比較して、前記会話の指示内容が示す行動と前記行動を示すデータに含まれる前記行動とが一致するかどうかを分析する、
    請求項１から請求項４の何れか１項に記載の評価システム。
  6. 前記抽出部は、前記会話データについて、所定の形式の会話が成立しているかどうかを判定する、
    請求項１から請求項５の何れか１項に記載の評価システム。
  7. 前記音声認識部が認識した前記発話の内容を、当該発話を行った前記要員の識別情報および当該発話が行われた時刻の情報とともに出力するテキストデータ出力部、
    をさらに備える請求項１から請求項６の何れか１項に記載の評価システム。
  8. 前記評価システムは、プラントの運転技能を評価するシステムであって、
    前記音声データ取得部は、前記プラントの運転を行う複数の前記要員が運転中に行った会話の音声データを取得し、
    前記業務データ取得部は、前記要員が前記プラントの運転中に行った操作の情報および前記運転中の前記プラントの状態を示す情報を取得し、
    前記分析部は、前記プラントの運転において対処すべき事象に関する前記会話および前記操作および前記プラントの状態の相関を分析する、
    請求項１から請求項７の何れか１項に記載の評価システム。
  9. 評価システムによって実行される評価方法であって、
    業務に携わる要員が発話した音声データを取得するステップと、
    前記音声データから前記発話の内容を認識し、テキストデータに変換するステップと、
    前記要員の前記業務に係る行動を示すデータと、前記業務の状態を示すデータを取得するステップと、
    前記認識した発話の内容に基づき、前記テキストデータから前記業務に関係する会話データを抽出するステップと、
    前記抽出した会話データと前記行動を示すデータと前記業務の状態を示すデータとの相関を分析するステップと、
    を有し、
    前記分析するステップでは、前記相関の分析として、前記業務の状態を示すデータに含まれる事象の発生時刻から前記会話データに含まれる会話の開始時刻までの時間を示す第１時間と、前記会話の開始時刻から前記行動を示すデータに含まれる前記行動の実施時刻までの時間を示す第２時間と、前記会話の開始時刻から前記事象の終了時刻までの時間を示す第３時間と、を算出する、
    評価方法。
  10. 評価システムのコンピュータを、
    業務に携わる要員が発話した音声データを取得する手段、
    前記音声データから前記発話の内容を認識し、テキストデータに変換する手段、
    前記要員の前記業務に係る行動を示すデータと、前記業務の状態を示すデータを取得する手段、
    前記認識した発話の内容に基づき、前記テキストデータから前記業務に関係する会話データを抽出する手段、
    前記抽出した会話データと前記行動を示すデータと前記業務の状態を示すデータとの相関を分析する手段、
    として機能させ、
    前記分析する手段は、前記相関の分析として、前記業務の状態を示すデータに含まれる事象の発生時刻から前記会話データに含まれる会話の開始時刻までの時間を示す第１時間と、前記会話の開始時刻から前記行動を示すデータに含まれる前記行動の実施時刻までの時間を示す第２時間と、前記会話の開始時刻から前記事象の終了時刻までの時間を示す第３時間と、を算出する、
    プログラム。
JP2017158021A 2017-08-18 2017-08-18 評価システム、評価方法及びプログラム Active JP7042573B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017158021A JP7042573B2 (ja) 2017-08-18 2017-08-18 評価システム、評価方法及びプログラム
DE112018004216.2T DE112018004216T5 (de) 2017-08-18 2018-08-15 Evaluierungssystem, Evaluierungsverfahren und Programm
US16/623,926 US11380318B2 (en) 2017-08-18 2018-08-15 Evaluation system, evaluation method, and program
PCT/JP2018/030344 WO2019035465A1 (ja) 2017-08-18 2018-08-15 評価システム、評価方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017158021A JP7042573B2 (ja) 2017-08-18 2017-08-18 評価システム、評価方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2019036205A JP2019036205A (ja) 2019-03-07
JP7042573B2 true JP7042573B2 (ja) 2022-03-28

Family

ID=65361938

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017158021A Active JP7042573B2 (ja) 2017-08-18 2017-08-18 評価システム、評価方法及びプログラム

Country Status (4)

Country Link
US (1) US11380318B2 (ja)
JP (1) JP7042573B2 (ja)
DE (1) DE112018004216T5 (ja)
WO (1) WO2019035465A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11055119B1 (en) * 2020-02-26 2021-07-06 International Business Machines Corporation Feedback responsive interface
CA3171492A1 (en) * 2020-03-23 2021-09-30 Kenta Fukami Plant operation support apparatus and plant operation support method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004102116A (ja) 2002-09-12 2004-04-02 Toshiba Corp 動画音声分析評価システム
JP2004333550A (ja) 2003-04-30 2004-11-25 Tokyo Electric Power Co Inc:The 訓練支援システム
JP2005222227A (ja) 2004-02-04 2005-08-18 Toshiba Corp ナレッジマネジメント支援システム、ナレッジマネジメント支援方法及びナレッジマネジメント支援プログラム
JP2008076711A (ja) 2006-09-21 2008-04-03 Toshiba Corp プラント防災訓練装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3320142B2 (ja) * 1993-05-18 2002-09-03 株式会社東芝 運転訓練支援装置
JPH0969008A (ja) 1995-08-31 1997-03-11 Toshiba Corp 操作状況監視装置
JPH11328243A (ja) 1998-05-18 1999-11-30 Toshiba Corp プラント設計支援システム
US20020054130A1 (en) * 2000-10-16 2002-05-09 Abbott Kenneth H. Dynamically displaying current status of tasks
JP4911939B2 (ja) 2005-09-15 2012-04-04 中国電力株式会社 訓練状況記録装置およびプラント操作訓練装置
JP5331289B2 (ja) * 2005-10-11 2013-10-30 株式会社日立製作所 センサノードを利用した作業管理支援方法および作業管理支援システム
JP5349194B2 (ja) 2009-07-31 2013-11-20 株式会社東芝 プラント運転監視制御装置の動作検証試験装置及び方法
US9170993B2 (en) * 2013-01-29 2015-10-27 Hewlett-Packard Development Company, L.P. Identifying tasks and commitments using natural language processing and machine learning
WO2015073723A1 (en) * 2013-11-13 2015-05-21 Envision Telephony, Inc. Systems and methods for desktop data recording for customer-agent interactions
US10909490B2 (en) * 2014-10-15 2021-02-02 Vocollect, Inc. Systems and methods for worker resource management
JP6957131B2 (ja) 2016-03-01 2021-11-02 オリンパス株式会社 情報端末装置、撮像装置、画像情報処理システム及び画像情報処理方法
US9904669B2 (en) * 2016-01-13 2018-02-27 International Business Machines Corporation Adaptive learning of actionable statements in natural language conversation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004102116A (ja) 2002-09-12 2004-04-02 Toshiba Corp 動画音声分析評価システム
JP2004333550A (ja) 2003-04-30 2004-11-25 Tokyo Electric Power Co Inc:The 訓練支援システム
JP2005222227A (ja) 2004-02-04 2005-08-18 Toshiba Corp ナレッジマネジメント支援システム、ナレッジマネジメント支援方法及びナレッジマネジメント支援プログラム
JP2008076711A (ja) 2006-09-21 2008-04-03 Toshiba Corp プラント防災訓練装置

Also Published As

Publication number Publication date
WO2019035465A1 (ja) 2019-02-21
US20200135195A1 (en) 2020-04-30
US11380318B2 (en) 2022-07-05
JP2019036205A (ja) 2019-03-07
DE112018004216T5 (de) 2020-05-28

Similar Documents

Publication Publication Date Title
US10419613B2 (en) Communication session assessment
US10162742B2 (en) System and method for end to end performance response time measurement based on graphic recognition
CN113314100B (zh) 口语测试的评估、结果显示方法、装置、设备及存储介质
JP7042573B2 (ja) 評価システム、評価方法及びプログラム
US20190066377A1 (en) Systems and/or methods for virtual reality based process optimization
CN111861161B (zh) 基于标准化病人的问诊训练考评方法和装置
TWM565361U (zh) 金融交易詐騙偵測防範系統
Worsley et al. Deciphering the practices and affordances of different reasoning strategies through multimodal learning analytics
JP2020160425A5 (ja)
US20230185361A1 (en) System and method for real-time conflict management and safety improvement
JP7040593B2 (ja) 接客支援装置、接客支援方法、及び、接客支援プログラム
Fraser et al. Measuring cognitive status from speech in a smart home environment
Sinatra et al. Considerations for Dealing with Real-Time Communications in an Intelligent Team Tutoring System Experiment.
CN110221978A (zh) 测试用例生成方法及装置
KR102168556B1 (ko) 훈련 평가 시스템
JP2022019125A (ja) 運転訓練評価システムおよび運転訓練評価方法
CN113590772A (zh) 异常评分的检测方法、装置、设备及计算机可读存储介质
Klee et al. Feasibility of real-time transcription in the clinical setting
CN111861126B (zh) 一种教学计划的评估方法、装置及设备
CN109033151A (zh) 一种基于语音交互的搜题方法及电子设备
TWI773506B (zh) 緊急派遣員的虛擬助理
WO2023119520A1 (ja) 推定装置、推定方法、及びプログラム
WO2023119521A1 (ja) 可視化情報生成装置、可視化情報生成方法、及びプログラム
WO2024004203A1 (ja) 保守支援システム、保守支援方法、および、保守支援プログラム
Dorneich et al. Considerations for Dealing with Real-Time Communications in an Intelligent Team Tutoring System Experiment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220315

R150 Certificate of patent or registration of utility model

Ref document number: 7042573

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150