WO2019035465A1 - 評価システム、評価方法及びプログラム - Google Patents

評価システム、評価方法及びプログラム Download PDF

Info

Publication number
WO2019035465A1
WO2019035465A1 PCT/JP2018/030344 JP2018030344W WO2019035465A1 WO 2019035465 A1 WO2019035465 A1 WO 2019035465A1 JP 2018030344 W JP2018030344 W JP 2018030344W WO 2019035465 A1 WO2019035465 A1 WO 2019035465A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
conversation
task
plant
unit
Prior art date
Application number
PCT/JP2018/030344
Other languages
English (en)
French (fr)
Inventor
敬樹 石川
泰彦 福山
浩平 増田
恵子 石川
友裕 小峰
Original Assignee
三菱重工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱重工業株式会社 filed Critical 三菱重工業株式会社
Priority to DE112018004216.2T priority Critical patent/DE112018004216T5/de
Priority to US16/623,926 priority patent/US11380318B2/en
Publication of WO2019035465A1 publication Critical patent/WO2019035465A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063114—Status monitoring or status determination for a person or group
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/64—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Definitions

  • the present invention relates to an evaluation system, an evaluation method and a program.
  • Priority is claimed on Japanese Patent Application No. 2017-158021, filed Aug. 18, 2017, the content of which is incorporated herein by reference.
  • the operation of the power generation plant is performed by each staff member of the operation team who performs monitoring and operation in the control room (consists of a team leader, vice chief, operators, etc.) and each staff member outside the control room (directors of each site, etc.) It takes place while communicating with each other through conversations, etc.
  • communication of information before and after an action is important.
  • the behavior as a team performing operation tends to be evaluated, and not only an individual performs appropriate operation to properly operate the plant but, for example, the role to be instructed
  • Patent Document 1 operation training of a plant provided with a function of recording voices and images of the operation situation of a trainee during driving training to confirm conversation and operation during driving training later There is a description about the simulator.
  • Patent Document 1 describes recording of audio and video, but there is no description of evaluating recorded audio data and video data in association with driving operation.
  • the present invention provides an evaluation system, an evaluation method and a program that can solve the above-mentioned problems.
  • the evaluation system includes an audio data acquisition unit for acquiring audio data uttered by personnel involved in work, and audio recognition for recognizing the content of the utterance from the audio data and converting the content into text data.
  • the text data from the text data on the basis of the section data, data indicating the action related to the task of the personnel, a task data acquisition section acquiring data indicating the status of the task, and the content of the utterance recognized by the voice recognition section
  • An extraction unit that extracts conversation data related to a task
  • an analysis unit that analyzes a correlation between the conversation data extracted by the extraction unit, data indicating the action, and data indicating the status of the task.
  • the analysis unit analyzes the conversation data analyzed and the data indicating the behavior based on the data indicating the good correlation between the conversation and the behavior and the status of the task. Evaluate the correlation with the data shown.
  • the evaluation system outputs an information indicating a relationship between a timing at which a conversation related to the task is performed and a result of the task, as to the result evaluated by the analysis unit. And an output unit.
  • the analysis unit is configured to perform a temporal relationship between a timing at which a conversation related to the task is performed and a timing at which the action is performed, and a conversation related to the task. Analyze the relationship between timing and the outcome of the work.
  • the analysis unit analyzes whether the content of the speech data and the behavior are in a correct relationship.
  • the extraction unit determines whether or not a conversation of a predetermined format is established for the conversation data.
  • the evaluation system outputs the content of the utterance recognized by the voice recognition unit together with identification information of the personnel who performed the utterance and information of a time when the utterance is performed. And a text data output unit.
  • the evaluation system is a system for evaluating the operation skill of a plant
  • the voice data acquisition unit is a conversation performed by a plurality of the personnel who operate the plant during operation.
  • Voice data is acquired
  • the business data acquisition unit acquires information on an operation performed by the personnel during operation of the plant and information indicating a state of the plant in operation
  • the analysis unit The conversation and the correlation of the operation and the state of the plant with respect to the events to be addressed in plant operation are analyzed.
  • the evaluation method comprises the steps of acquiring voice data uttered by a person involved in the work, recognizing the contents of the utterance from the voice data, and converting it into text data; Acquiring data indicating an activity related to the task, data indicating a status of the task, and extracting conversation data related to the task from the text data based on the content of the recognized utterance; Analyzing the correlation between the extracted conversation data, data indicating the behavior, and data indicating the status of the task.
  • a program acquires a computer of an evaluation system, means for acquiring voice data uttered by personnel involved in work, means for recognizing contents of the utterance from the voice data, and converting the contents into text data
  • evaluation system evaluation method and program, it is possible to clarify the relationship between the operation of the plant operator and the conversation, and to evaluate whether or not the appropriate conversation can be made.
  • FIG. 1 is a functional block diagram showing a configuration example of a driving training system according to an embodiment of the present invention.
  • the operation training system 1 shown in FIG. 1 is a system for an operator such as a nuclear power plant to perform operation training.
  • conversations in the operation training control room of the plant and conversations with the outside of the control are recorded as time-series data together with data such as plant parameters, operations, and alarms.
  • the operation training system 1 has a function of simulating the state of the plant to be trained, a function of recording the contents of the operation performed by the operator on the state of the plant, and a function of evaluating the operation performed by the operator.
  • the driving training system 1 includes microphones 2 a and 2 b, a simulator device 3, a driving evaluation result management device 4, and a driving evaluation system 10.
  • the microphones 2a and 2b collect voices uttered during driving training.
  • the watchmaker person in the role of instructing
  • the operator person in charge of operating under the watchmaster
  • the driving training using the driving training system 1 the watchmaker and the operator or the operators communicate with each other by conversation, and the operation is performed while confirming that the information transmission has been correctly performed.
  • the microphone 2a collects the voice uttered by the watchmaker
  • the microphone 2b collects the voice uttered by the operator.
  • the number of microphones is not limited to two, and it is prepared for the number of people participating in the training.
  • the simulator device 3 simulates the state of the plant along a predetermined training scenario, and records the operation performed by the operator and the time when the operation was performed.
  • the simulator device 3 also calculates temporal changes in the state of the plant during operation training, and records the results.
  • the operation data which recorded the operation performed by the operator and the time of the operation data, the data which recorded the state of the plant at each time during operation training are described as plant data.
  • operation data, plant data, and voice data during training are recorded together with the evaluation, while the operation data is recorded at the time of operation training conducted in the past.
  • good training data DB database
  • operation data, plant data, and voice data recorded when good training as an example is performed are accumulated for each event that occurs in the plant.
  • the driving evaluation system 10 acquires voice data collected by the microphone 2a or the like during driving training, and operation data and plant data recorded by the simulator device 3, and the length of duty and the driving participated in the driving training. Personnel skills and other skills.
  • the operation evaluation system 10 is not only from the viewpoint of the implementation of the appropriate operation leading the operator's skill to the desired plant state, but whether or not the prescribed conversation required before and after the operation has been properly implemented. Evaluate including the viewpoint.
  • the operation evaluation system 10 includes an input unit 101, a speech recognition unit 102, a text data output unit 103, a conversation analysis dictionary DB 104, a conversation extraction unit 105, a conversation extraction result DB 106, and an operation / plant A data recording unit 107, an operation / plant data DB 108, a correlation analysis unit 109, an analysis result DB 110, and an evaluation result output unit 111.
  • the input unit 101 acquires voice data collected by the microphones 2a and 2b and converted into an electrical signal, and outputs the voice data to the voice recognition unit 102 for each input port to which the microphones 2a and 2b are connected. Further, the input unit 101 acquires operation data and plant data from the simulator device 3, and outputs those data to the operation / plant data recording unit 107.
  • the voice recognition unit 102 has a voice recognition function of recognizing the content of voice data acquired from the input unit 101 and converting the content into text data.
  • a general speech recognition engine can be used for the speech recognition function.
  • the speech recognition unit 102 has a function of associating, with each utterance included in the converted text data, the time when the utterance was performed and the identification information of the speaker. Specifically, for example, the speech recognition unit 102 associates the time when the input unit 101 acquires speech data with the text data as the time when the speech is uttered.
  • the voice recognition unit 102 acquires voice data of the speaker identification information and input unit 101 determined for each input port, such as the input port and the duty length of the microphone 2a, the input port and the operator of the microphone 2b, for example.
  • the identification information of the speaker is associated with the text data based on the information of the input port.
  • the speech recognition unit 102 outputs text data in which the utterance time is associated with the identification information of the speaker to the text data output unit 103 and the conversation extraction unit 105. For example, if the voice of the control room is merely recorded, the conversation may be overwhelmed by, for example, an alarm sound, and the content of the conversation may not be grasped even if the voice data recorded later is reproduced.
  • the speech recognition rate is improved, and accurate speech exchange is recorded. Can be
  • the text data output unit 103 outputs the text data acquired from the voice recognition unit 102 to a display device connected to the driving evaluation system 10 or the like.
  • text data output by the text data output unit 103 is illustrated in FIG.
  • FIG. 2 is a diagram showing an example of text data obtained by visualizing a conversation according to an embodiment of the present invention.
  • FIG. 2 shows a conversation conducted between the operator A and the watchman.
  • the text data includes time, a speaker, and an utterance content.
  • the text data output by the text data output unit 103 makes it possible to visualize the conversation exchanged between the operator A and the watchman, and visually recognize a series of utterance content exchanges as characters.
  • the form of conversation is, for example, 3-way communication or 2-way communication. Also, by referring to the time information, it is possible to confirm whether or not an instruction has been given at an appropriate timing, and whether or not a conversation can be made at an appropriate tempo.
  • the voice recognition unit 102 analyzes and outputs the size of the voice based on the magnitude of the amplitude of the voice data, and confirms whether the conversation is performed with the voice of an appropriate size. It may be possible. Alternatively, the speech recognition unit 102 can analyze and output the speaking speed, the tone of the voice, the way of speaking, etc., and objectively confirm whether or not the utterance can be easily understood by the listener with a calm voice. It may be possible.
  • the dictionary analysis for conversation analysis DB 104 in the case of 3 way communication, "please X3 X3 please X3" (transmission), “X3 X3” (replay), "please” A pattern of verbal exchange in a conversation such as (confirmation) (hereinafter referred to as a conversation pattern and the like) is registered.
  • two-way communication conversation patterns such as “Mr. X1, X2 X3” (transmission), “X3 X3” (replay), etc. are registered.
  • the conversation analysis dictionary DB 104 includes a series of communication patterns including utterance contents representing the occurrence of an event such as “XXX detected” or “... alert sent” before 2-way communication or 3-way communication. May be registered.
  • the conversation analysis dictionary DB 104 includes, for example, objects to be monitored (pressurizers) of the plant used during operation training and events (water level low, pressure high) related to the objects, objects to be operated (pumps, valves)
  • objects to be operated pumps, valves
  • the conversation extraction unit 105 analyzes the text data output from the speech recognition unit 102 with reference to the conversation analysis dictionary DB 104, and confirms whether or not a conversation of a predetermined format is established between the speaker and the speaker. For example, the conversation extraction unit 105 determines whether or not the verbal exchange between operators applies to the conversation pattern registered in the conversation analysis dictionary DB 104, and if it is true, a predetermined type of conversation between operators is performed. It is determined that the condition is established. If the word exchange is similar to the conversation pattern to some extent even if the conversation extraction unit 105 does not completely match the conversation pattern, the conversation extraction unit 105 determines that the conversation of the predetermined format is established for the portion. It is also good.
  • the conversation extraction unit 105 extracts data of a portion determined to be a conversation from text data. Further, the conversation extraction unit 105 determines, for example, whether or not the conversation is established depending on whether or not the instruction content and the repetition content correspond to each other. For example, in response to the instruction "Please start the pump", if you read “It's a valve," or "A pump is stopped,” etc., the conversation extraction unit 105 reads "Transmission”, " Even if it conforms to the form of "repetition” and "confirmation", it is determined that the conversation of the predetermined form is not established. For example, the conversation data from “13:10:10” to “13:10:40” illustrated in FIG. 2 is conversation data extracted by the conversation extraction unit 105.
  • the conversation extraction unit 105 collates the words included in the conversation and the keywords registered in the conversation analysis dictionary DB 104 for the extracted conversation data, and relates to what event the conversation occurred in the plant Recognize what it is For example, in the case of the example of FIG. 2, the conversation extraction unit 105 determines that the text data illustrated in FIG. 2 is the conversation data, and further registers the conversation content at the start time of the conversation data and the conversation analysis dictionary DB 104.
  • the word "water level low" representing the monitored object "pressurizer” and an event related thereto recognizes that this conversation is a conversation regarding an event in which the water level of the pressurizer has dropped.
  • the conversation extraction unit 105 extracts words registered in the conversation analysis dictionary DB 104 for the extracted conversation data.
  • the conversation extraction unit 105 extracts “B-filling pump”, “addition”, and “activation” as a specific word related to the operation training of the event.
  • the conversation extraction unit 105 extracts “pressurizer”, “water level”, and “low”, which appear before “Please additionally start up the B filling pump”, as the words before and after.
  • the speech extraction unit 105 utters the extracted word "filling pump B" or the like, the time “13:10:10” when the event is started as a conversation, and the time “13:10:30" when the instruction for the event is started.
  • the degree of formation (for example, the structure of the sentence style specified in the conversation pattern, the order of appearance thereof, the structure of the style included in the conversation data, the similarity of the order of appearance, etc.) is associated and recorded in the conversation extraction result DB 106 .
  • Conversation extraction result DB 106 together with the conversation data extracted by conversation extraction unit 105 and the degree of establishment of the conversation, the specific word extracted from the conversation, the time when the event was started as a conversation, the number of utterances, another word before and after, the event Store data such as
  • the operation / plant data recording unit 107 records the operation data and the plant data acquired from the input unit 101 in the operation / plant data DB 108.
  • FIG. 3 is a diagram showing an example of operation / plant data according to an embodiment of the present invention.
  • FIG. 3 (a) shows an example of operation data
  • FIG. 3 (b) shows an example of plant data.
  • the data of FIG. 3A and FIG. 3B are recorded at the time of training related to the conversation data of FIG. In the operation data of FIG. 3A, it is recorded that the operation of “starting up” the “B filling pump” is performed in “13:10:40”.
  • the correlation analysis unit 109 analyzes the correlation between conversation data, plant data, and operation data. For example, for a given conversation ⁇ , assuming that the time zone in which the conversation was conducted (for example, including several minutes before and after the conversation ⁇ ) is the time zone ⁇ 1, the correlation analysis unit 109 indicates from the plant data the conversation data ⁇ It extracts time series values in the time zone ⁇ 1 of parameters (water level, temperature, pressure, etc.) related to the event, notification information (alarms, etc.) issued by devices that constitute the plant, and the like. It is assumed that the types of parameters to be extracted are predetermined for each event. Further, the correlation analysis unit 109 extracts the information of the operation performed in the time zone ⁇ 1 included in the operation data.
  • parameters water level, temperature, pressure, etc.
  • the correlation analysis unit 109 arranges the time of each utterance included in the conversation data ⁇ , the speaker, the content of the utterance, and the information extracted from the plant data and the operation data on the same time axis with respect to the conversation data ⁇ . Analyze temporal relationships of operations and parameter changes. Further, the correlation analysis unit 109 analyzes whether or not the instruction content included in the conversation data ⁇ and the operation indicated by the operation data have a correct relationship. The correlation analysis unit 109 associates the conversation data, the operation data, and the plant data related to the conversation ⁇ , and records them in the analysis result DB 110.
  • FIG. 4 is a diagram for explaining the analysis of correlation in an embodiment of the present invention.
  • FIG. 4 illustrates an example in which the conversation data, the operation data, and the plant data illustrated in FIGS. 2 and 3 are arranged on the same time axis.
  • the display in the exchange in the conversation data is omitted.
  • These data are associated and recorded in the analysis result DB 110.
  • the correlation analysis unit 109 for example, the difference between the occurrence time of the event and the start time of the conversation (the conversation starts 5 seconds after the occurrence of the water level drop), the difference between the start time of the conversation and the time when the operation is performed (the conversation start 30 seconds after the pump start), the difference between the conversation start time and the event water level recovery time (water level recovery after X seconds from the start of conversation) is calculated.
  • the correlation analysis unit 109 analyzes, for example, the relationship between the event occurrence time, the conversation start time, and the time relationship between the time when the operation was performed and the result of the event. For example, in the case of the example of FIG.
  • the correlation analysis unit 109 has 1 second from the occurrence of an event to the start of conversation, 30 seconds from the start of conversation to execution of operation, and 35 seconds from the occurrence of event to execution of operation
  • the result of the event is analyzed to be related to “water level recovery”, and the analysis result is recorded in the analysis result DB 110 in association with the event “water level drop in pressurizer”.
  • the correlation analysis unit 109 is instructed to “Start additionally the B filling pump” included in the conversation data illustrated in FIG. 2 and “B filling pump activation” indicated by the operation data illustrated in FIG. 3A. It analyzes that the operation is in the correct relation (the instruction content and the operation match), and records the analysis result in the analysis result DB 110.
  • the correlation analysis unit 109 determines the correlation between the good training data and the operation data and the plant data during the good training stored in the good training data DB5.
  • Set up improvement measure information that indicates evaluation and improvement measures for the analysis results.
  • conversation data, operation data, and plant data are recorded when an exemplary conversation and operation are performed for each event.
  • the correlation analysis unit 109 evaluates that both the occurrence of an event and the start of conversation are 1 second, and that both the result of the event is "water level recovery" has no problem.
  • the correlation analysis unit 109 is based on the fact that the time taken from the start of the conversation to the execution of the operation and the time taken from the occurrence of the event to the execution of the operation are both 10 seconds, lagging behind the exemplary operation. Rate the time from the start of the conversation to the start of the operation. Furthermore, the correlation analysis unit 109 may compare the speech data to be evaluated with the exemplary speech data to analyze the cause of the long time from the start of the speech to the start of the operation.
  • the correlation analysis unit 109 evaluates that the time from the start of the conversation to the instruction is long, and the improvement to be proposed As a measure, set information such as "prompt from the start of the conversation to instructions" for the watchmaker. Also, for example, if the time from confirmation (“Yes, yes” in the example of FIG. 2) to operation is long, the correlation analysis unit 109 evaluates as such, and for operator, “early from confirmation to operation Set improvement information such as “Yes”. For the evaluation, the correlation analysis unit 109 may analyze at which stage of the series of interactions it takes time based on, for example, the conversation pattern registered in the conversation analysis dictionary DB 104.
  • an evaluation result may be patterned and registered, and may be determined in advance for each pattern. For example, for the pattern of evaluation results "long time from start of conversation to instruction”, improvement measures "advance from confirmation to operation" are defined.
  • the correlation analysis unit 109 compares the number of utterances in the evaluation target conversation data with the number of utterances in the exemplary conversation data to determine whether there is a difference between the two. For example, if the number of utterances in the conversation data to be evaluated is large, it is evaluated that "the number of utterances is large", and improvement measure information such as "let's review the content of the conversation" is set. For example, the number of utterances in the exemplary conversation data is large, and the exemplary conversation data may include conversations on other parameters such as temperature, pressure, valve opening / closing condition, and the like before detection of “water level low”.
  • the correlation analysis unit 109 extracts specific words (“pump”, “add”, “start”) extracted from the speech data to be evaluated and words before and after (“pressurizer”, “water level”, “low”
  • the part of the conversation including the keyword not included in the evaluation target conversation data and the time zone in which the conversation was performed are detected based on the keyword “temperature” and the like which are not included in Evaluate and set improvement information so that the conversation will be conducted at an appropriate time.
  • the correlation analysis unit 109 records the evaluation result and the set improvement information in the analysis result DB 110 in association with the analysis result.
  • the evaluation result output unit 111 outputs the evaluation result by the correlation analysis unit 109. Specifically, the evaluation result output unit 111 reads the conversation data, the operation data, the plant data and the analysis result, the evaluation result, the improvement measure information related to the certain event recorded in the analysis result DB 110, and the operation evaluation Output to a display device connected to the system.
  • An output example of the evaluation result output unit 111 is shown in FIG.
  • FIG. 5 is a diagram showing an example of the driving evaluation result in the embodiment of the present invention.
  • FIG. 5 is a graph showing the transition of the value of the parameter Y (eg, water level) for which a certain stability is required.
  • FIG. 5 shows a graph of the result of the operator's conversation and operation in a certain operation training and a graph of the parameter Y when the exemplary conversation and operation are performed.
  • the two graphs draw the same trajectory, and as a result of the predetermined operation performed before time t0, after time t0, the two graphs show different trajectories.
  • the solid line graph shows the result by the operation of the operator during training, and the broken line graph shows the result by the exemplary operation. Circles indicate when the operator in training started talking about this event, and stars indicate when speech was started in an exemplary operation.
  • 5 is, for example, a skilled operator who reads in the look ahead of a manual or reads a line between the manual and confirms the operation to be performed next and performs the preparation earlier while the operator is less experienced. However, it shows the difference of the result that occurs when the conversation starts just before the operation. In the past, although it has been recommended that confirmation and preparation be performed earlier, there are many cases where it is not possible to specifically know how fast to proceed. According to the output result of the evaluation result output unit 111, it is possible to quantitatively grasp how quickly the confirmation or the like should be performed.
  • the correlation analysis unit 109 compares the conversation data and the like by the operator with the exemplary conversation data and the like, and evaluates and sets improvement measure information. As shown in Fig. 5, the words "The conversation of the on-duty team member and operator is being conducted at the time of the circle for the parameters that require stability. Please conduct the conversation at the time of the asterisk next time.” It is the improvement measure information set regarding the said training recorded on result DB110.
  • the evaluation result output unit 111 is conversation data, operation data, plant data related to a certain training event recorded in the analysis result DB 110, conversation data registered in the good training data DB 5 for the same training event, operation data, The graph illustrated in FIG. 5 is generated based on the plant data.
  • the evaluation result output unit 111 reads the improvement measure information recorded in the analysis result DB 110, generates advice information for the next time as illustrated in FIG. 5, and outputs the advice information to the display device. Based on the evaluation result, the operator and the watch superintendent can grasp improvement points in conversation when dealing with similar events next time.
  • the conversation data during training as shown in FIG. 2 is displayed, and when the star in the graph is clicked, exemplary conversation data is displayed. It may be done.
  • a determination result as to whether or not a conversation of a predetermined format is established may be displayed. For example, if the 3-way communication is established, the evaluation result output unit 111 displays "Conversation is possible in the form of 3-way communication", and if the 3-way communication is incomplete, "replay, check It is also possible to display contents such as "Let's do it well” and display such as "The degree of establishment of conversation is 60%".
  • FIG. 6 is a flow chart showing an example of a driving evaluation method according to an embodiment of the present invention.
  • the simulator device 3 simulates the state of the plant when an event occurs in accordance with a certain training scenario.
  • each member of the operation team consisting of the on-duty officer, the operator, etc. uses the PC, etc. to conduct conversations and operations for responding to the events simulated by the simulator device 3 for training. participate.
  • the microphones 2a and 2b collect the speech during this training and output it to the driving evaluation system 10.
  • the input unit 101 acquires voice data of the collected conversation (step S11).
  • the input unit 101 outputs voice data to the voice recognition unit 102.
  • the speech recognition unit 102 converts the speech data into text data by the speech recognition function (step S12). Further, the speech recognition unit 102 associates, for each utterance included in the text data, the time at which the utterance was performed with the identification information of the speaker. The speech recognition unit 102 outputs the text data to which the time information and the identification information of the speaker are added to the text data output unit 103 and the conversation extraction unit 105.
  • the text data output unit 103 outputs text data to which time information and the like are added to the display device.
  • the display device displays text data including time-series word exchange as illustrated in FIG.
  • the conversation extraction unit 105 extracts a set of conversations from the text data acquired from the speech recognition unit 102.
  • the pattern of the conversation registered in the conversation analysis dictionary DB 104 is referred to.
  • the conversation analysis dictionary DB 104 patterns of exchange of words based on 3 way communication, 2 way communication, and other predetermined conversation methods for improving the information transmission accuracy in the team are registered.
  • the part of the word exchange along the pattern is searched from the text data, and a series of words exchange (or close to the pattern) applied to the pattern is extracted as speech data (step S14).
  • the conversation extraction unit 105 extracts a specific word, the start time of conversation, the number of utterances, another word before or after, and the like, for the extracted conversation data, based on the keywords registered in the conversation analysis dictionary DB 104. .
  • the conversation extraction unit 105 records the extracted conversation data, a specific word, and the like in the conversation extraction result DB 106 (step S15).
  • the conversation extraction unit 105 determines, for example, whether or not 3 way communication is established for the extracted conversation data, and records the determination result and the establishment degree of conversation in the conversation extraction result DB 106 in association with the conversation data. Do.
  • the simulator device 3 stores operation data in which the operation performed during the training is recorded with time, plant data in which information indicating the state of the plant is recorded with time, and outputs these data to the operation evaluation system 10 .
  • the input unit 101 acquires plant data and operation data (step S16).
  • the input unit 101 outputs plant data and operation data to the operation / plant data recording unit 107.
  • the operation / plant data recording unit 107 records these data in the operation / plant data DB 108 (step S17).
  • the correlation analysis unit 109 acquires, from the good training data DB 5, the conversation data, the operation data, and the plant data when the conversation and the operation are favorably performed for the event targeted for the evaluation target training (step S18). .
  • the correlation analysis unit 109 analyzes the correlation between the conversation data recorded in the conversation extraction result DB 106 as described in FIG. 4 and the operation data and plant data recorded in the operation / plant data DB 108.
  • the correlation analysis unit 109 compares the correlation such as conversation and operation based on the analysis result with the good conversation data and the like, and evaluates the conversation and operation in the training of the evaluation target (step S19). Make settings.
  • the correlation analysis unit 109 records the analysis result, the evaluation result, and the like in the analysis result DB 110.
  • the evaluation result output unit 111 reads the information recorded in the analysis result DB 110, generates image data as illustrated in FIG. 5, and outputs an analysis, an evaluation result, and the like (step S20). If, as a result of the evaluation in step S20, conversation data etc. by the operator are comparable or superior to the exemplary correlation data registered in the good training data DB 5, this time, this time A set of conversation data, operation data, and plant data by the operator may be transferred to the operation evaluation result management device side, and registered in the good training data DB 5 as new model data.
  • Plant operation training is generally evaluated in terms of operation compliance and parameter variation, etc. An evaluation based on the correlation between operation and speech has not been performed.
  • this embodiment it is possible to grasp how to improve, for example, the timing of conversation and the content of conversation by comparing the conversation and operation of the operator with the exemplary conversation and operation. .
  • the evaluation result of FIG. 5 by visualizing the relationship also about typical conversations and operations, tacit knowledge of skills possessed by skilled operators is shared, and skills of other operators are improved. And improve team performance.
  • monitoring items of the central control room performing operation of the plant by reflecting the confirmation items of the parameters and advice on the conversation timing and the contents of the conversation on the operation manual etc. May be given feedback such as displaying a message prompting for conversation at an appropriate time.
  • the driving accuracy can be improved.
  • FIG. 7 is a diagram showing an example of a hardware configuration of a driving evaluation system according to an embodiment of the present invention.
  • the computer 900 includes a CPU 901, a main storage 902, an auxiliary storage 903, an input / output interface 904, and a communication interface 905.
  • the above-described driving evaluation system 10 is implemented in a computer 900.
  • Each function of the input unit 101, speech recognition unit 102, text data output unit 103, conversation extraction unit 105, operation / plant data recording unit 107, correlation analysis unit 109, and evaluation result output unit 111 is a program format.
  • the CPU 901 reads a program from the auxiliary storage device 903 and develops the program in the main storage device 902, and executes the above processing according to the program.
  • the CPU 901 secures a storage area in the main storage unit 902 according to a program. Further, the CPU 901 secures a storage area for storing data being processed in the auxiliary storage device 903 according to a program.
  • the conversation analysis dictionary DB 104, the conversation extraction result DB 106, and the operation / plant data DB 108 analysis result DB 110 may be stored in the auxiliary storage device 903.
  • Each function is implemented by recording a program for realizing all or part of the function of the operation evaluation system 10 in a computer readable recording medium, reading a program recorded in the recording medium into a computer system, and executing the program. You may perform processing by a department.
  • the “computer system” mentioned here includes an OS and hardware such as peripheral devices.
  • the “computer system” also includes a homepage providing environment (or display environment) if the WWW system is used.
  • the “computer-readable recording medium” refers to a portable medium such as a CD, a DVD, and a USB, and a storage device such as a hard disk built in a computer system.
  • the program may be for realizing a part of the functions described above, and further, the function described above may be realized in combination with a program already recorded in the computer system.
  • the driving evaluation system 10 may be configured by a plurality of computers 900.
  • the conversation analysis dictionary DB 104, the conversation extraction result DB 106, the operation / plant data DB 108, and the analysis result DB 110 may be stored in an external storage device separate from the computer 900.
  • the application destination of the operation evaluation system 10 is not limited to the scene of operation of a plant such as a nuclear power plant, a chemical plant, etc.
  • a plant such as a nuclear power plant, a chemical plant, etc.
  • plural operations such as manufacturing work in a plant etc., quality check work, transport work such as loading and unloading of articles It can also be used in situations where work is carried out while communicating among personnel.
  • Plant operation training is an example of work, and a watchmaker or an operator is an example of personnel.
  • the input unit 101 is an example of a voice data acquisition unit and a business data acquisition unit.
  • the operation data is an example of data indicating an action related to the work, and the plant data is an example of data indicating the state of the work.
  • the conversation extraction unit 105 is an example of an extraction unit, and the correlation analysis unit 109 is an example of an analysis unit.
  • evaluation system evaluation method and program, it is possible to clarify the relationship between the operation of the plant operator and the conversation, and to evaluate whether or not the appropriate conversation can be made.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Multimedia (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

評価システムは、業務に携わる要員が発話した音声データを取得する音声データ取得部と、音声データから発話の内容を認識し、テキストデータに変換する音声認識部と、要員の業務に係る行動を示すデータと、業務の状態を示すデータを取得する業務データ取得部と、音声認識部が認識した発話の内容に基づき、テキストデータから業務に関係する会話データを抽出する抽出部と、会話データと行動を示すデータと業務の状態を示すデータとの相関を分析する分析部と、を備える。

Description

評価システム、評価方法及びプログラム
　本発明は、評価システム、評価方法及びプログラムに関する。
　本願は、２０１７年８月１８日に、日本に出願された特願２０１７－１５８０２１号に基づき優先権を主張し、その内容をここに援用する。
　発電プラントの運転は、制御室内で監視や運転操作を行う運用チームの各要員（当直長、副長、運転員などで構成される）および制御室外の各要員（所長、各現場の要員など）が、互いに会話等によるコミュニケーションを取りながら行われる。このような複数の要員の連携が必要となる業務では、行動の前後で行う情報伝達が重要となる。例えば、プラントの運転の場合、運転を行うチームとしての行動が評価対象とされる傾向にあり、単に個人が適切な操作を行って正しくプラントの運転を行うだけではなく、例えば、指示すべき役割の要員が適切に指示を行い、その指示を受ける役割の要員が適切に応答を行って確認を取りながら操作を行うといった行動様式が求められることがある。
　なお、関連する技術として、特許文献１には、後に運転訓練中の会話や操作を確認するために運転訓練中の訓練生の操作状況の音声や映像を記録する機能を備えたプラントの運転訓練シミュレータについて記載がある。
特開平９－６９００８号公報
　上記のとおり、プラントの運転では、運転時の情報伝達が重要であるが、これまで、プラント運転時の会話による情報伝達や、会話と操作を含めた運転の技能を評価する技術は提供されていない。例えば、特許文献１には、音声や映像を記録することは記載されているが、記録された音声データや映像データを運転操作と関連付けて評価することについては記載が無い。
　本発明は、上述の課題を解決することのできる評価システム、評価方法及びプログラムを提供する。
　本発明の一態様によれば、評価システムは、業務に携わる要員が発話した音声データを取得する音声データ取得部と、前記音声データから前記発話の内容を認識し、テキストデータに変換する音声認識部と、前記要員の前記業務に係る行動を示すデータと、前記業務の状態を示すデータを取得する業務データ取得部と、前記音声認識部が認識した発話の内容に基づき、前記テキストデータから前記業務に関係する会話データを抽出する抽出部と、前記抽出部が抽出した会話データと前記行動を示すデータと前記業務の状態を示すデータとの相関を分析する分析部と、を備える。
　本発明の一態様によれば、前記分析部は、会話と行動と業務の状態との良好な相関を示すデータに基づいて、分析した前記会話データと前記行動を示すデータと前記業務の状態を示すデータとの相関を評価する。
　本発明の一態様によれば、前記評価システムは、前記分析部が評価した結果について、前記業務に関係する会話が行われたタイミングと前記業務の結果との関係を示す情報を出力する評価結果出力部、をさらに備えている。
　本発明の一態様によれば、前記分析部は、前記業務に関係する会話が行われたタイミングと前記行動が行われたタイミングの時間的な関係、および前記業務に関係する会話が行われたタイミングと前記業務の結果との関係を分析する。
　本発明の一態様によれば、前記分析部は、前記会話データの内容と前記行動が正しい関係にあるかどうかを分析する。
　本発明の一態様によれば、前記抽出部は、前記会話データについて、所定の形式の会話が成立しているかどうかを判定する。
　本発明の一態様によれば、前記評価システムは、前記音声認識部が認識した前記発話の内容を、当該発話を行った前記要員の識別情報および当該発話が行われた時刻の情報とともに出力するテキストデータ出力部、をさらに備える。
　本発明の一態様によれば、前記評価システムは、プラントの運転技能を評価するシステムであって、前記音声データ取得部は、前記プラントの運転を行う複数の前記要員が運転中に行った会話の音声データを取得し、前記業務データ取得部は、前記要員が前記プラントの運転中に行った操作の情報および前記運転中の前記プラントの状態を示す情報を取得し、前記分析部は、前記プラントの運転において対処すべき事象に関する前記会話および前記操作および前記プラントの状態の相関を分析する。
　本発明の一態様によれば、評価方法は、業務に携わる要員が発話した音声データを取得するステップと、前記音声データから前記発話の内容を認識し、テキストデータに変換するステップと、前記要員の前記業務に係る行動を示すデータと、前記業務の状態を示すデータを取得するステップと、前記認識した発話の内容に基づき、前記テキストデータから前記業務に関係する会話データを抽出するステップと、前記抽出した会話データと前記行動を示すデータと前記業務の状態を示すデータとの相関を分析するステップと、を有する。
　本発明の一態様によれば、プログラムは、評価システムのコンピュータを、業務に携わる要員が発話した音声データを取得する手段、前記音声データから前記発話の内容を認識し、テキストデータに変換する手段、前記要員の前記業務に係る行動を示すデータと、前記業務の状態を示すデータを取得する手段、前記認識した発話の内容に基づき、前記テキストデータから前記業務に関係する会話データを抽出する手段、前記抽出した会話データと前記行動を示すデータと前記業務の状態を示すデータとの相関を分析する手段、として機能させる。
　上記した評価システム、評価方法及びプログラムによれば、プラントの運転員の操作と会話の関係を明らかにし、適切な会話ができているかどうかを評価することができる。
本発明の一実施形態における運転訓練システムの構成例を示す機能ブロック図である。 本発明の一実施形態における会話を可視化したテキストデータの一例を示す図である。 本発明の一実施形態における操作・プラントデータの一例を示す図である。 本発明の一実施形態における相関関係の分析を説明する図である。 本発明の一実施形態における運転評価結果の一例を示す図である。 本発明の一実施形態における運転評価方法の一例を示すフローチャートである。 本発明の一実施形態における運転評価システムのハードウェア構成の一例を示す図である。
＜実施形態＞
　以下、本発明の一実施形態による運転訓練システムを図１～図７を参照して説明する。
　図１は、本発明の一実施形態における運転訓練システムの構成例を示す機能ブロック図である。
　図１に示す運転訓練システム１は、原子力発電プラント等の運転員が、運転訓練を行うためのシステムである。本実施形態の運転訓練システム１を用いると、プラントの運転訓練制御室内で交わされる会話や制御室外との会話を、プラントパラメータ、操作、警報等のデータとともに時系列のデータとして記録しつつ、会話による情報伝達が適切に行われているか確認することができる。また、訓練における操作（水源切替、機器隔離等）の準備として事前に交わされる会話を抽出、分析することで、訓練における会話の実施タイミング、会話の内容を可視化することができる。運転訓練システム１は、訓練対象となるプラントの状態を模擬する機能、運転員がそのプラントの状態に対して行った操作の内容を記録する機能、運転員が行った運転操作を評価する機能を有している。運転訓練システム１は、マイク２ａ，２ｂと、シミュレータ装置３と、運転評価結果管理装置４と、運転評価システム１０とを備えている。
　マイク２ａ，２ｂは、運転訓練中に発話された音声を集音する。例えば、当直長（指示する役割の要員）は、運転訓練中にマイク２ａを装着してプラントの状況に応じた操作を行うよう音声による指示を行う。これに対し、運転員（当直長の下で操作を行う役割の要員）は、マイク２ｂを装着して当直長からの指示を復唱する等の発話を行う。このように運転訓練システム１を用いた運転訓練では、当直長と運転員、あるいは運転員同士が互いに会話によるコミュニケーションを行って、情報伝達が正確にできたことを確認しながら操作を行う。マイク２ａは、当直長が発話した音声を集音し、マイク２ｂは、運転員が発話した音声を集音する。なお、マイクの数は２つに限定されず、訓練に参加する人数分に用意されている。
　シミュレータ装置３は、所定の訓練シナリオに沿ってプラントの状態を模擬し、それに応じて運転員が行った操作とその操作が行われた時刻を記録する。また、シミュレータ装置３は、運転訓練中のプラントの状態の経時的変化を演算し、その結果を記録する。以下、運転員が行った操作とその時刻を記録したデータを操作データ、運転訓練中の各時刻におけるプラントの状態を記録したデータ（温度などの各種物理量、バルブの開度やポンプの回転数などの各種制御値、警報等の通知情報）をプラントデータと記載する。
　運転評価結果管理装置４では、過去に行われた運転訓練時に記録された操作データ、プラントデータ、訓練中の音声データがその評価とともに記録されている。特に、良好訓練データＤＢ（データベース）５には、模範となるような良好な訓練が行われたときに記録された操作データ、プラントデータ、音声データがプラントに生じる事象ごとに蓄積されている。
　運転評価システム１０は、運転訓練中にマイク２ａ等で集音された音声データと、シミュレータ装置３で記録された操作データおよびプラントデータとを取得して、その運転訓練に参加した当直長や運転員などの技能を評価する。運転評価システム１０は、運転員の技能を、所望のプラント状態へと導く適切な操作の実施の観点からだけではなく、その操作の前後に要求される所定の会話を適切に実施したかどうかという観点を含んで評価する。このような評価により、当直長を含む運転員間（以下、特に断りが無ければ、運転員と記載した場合、当直長、副長を含むものとする）で（１）伝えるべき事項を、（２）適切な時期に、（３）伝えるべき相手に、（４）伝えるべき内容が発話されたか、（５）相手に内容が伝わったか、（６）伝えた結果として求められるプラント状態へ運転できたかどうか、を運転訓練の終了後に振り返ることができ、また、評価結果から把握することができる改善策を、他の運転員との間で共有することができる。
　図示するように運転評価システム１０は、入力部１０１と、音声認識部１０２と、テキストデータ出力部１０３と、会話分析用辞書ＤＢ１０４と、会話抽出部１０５と、会話抽出結果ＤＢ１０６と、操作・プラントデータ記録部１０７と、操作・プラントデータＤＢ１０８と、相関分析部１０９と、分析結果ＤＢ１１０と、評価結果出力部１１１と、を備える。
　入力部１０１は、マイク２ａ，２ｂが集音して電気信号に変換した音声データを取得し、音声データを、マイク２ａ，２ｂが接続された入力ポート別に音声認識部１０２に出力する。また、入力部１０１は、シミュレータ装置３から操作データ、プラントデータを取得し、それらのデータを操作・プラントデータ記録部１０７に出力する。
　音声認識部１０２は、入力部１０１から取得した音声データの内容を認識し、テキストデータに変換する音声認識機能を有する。音声認識機能には、一般的な音声認識エンジンを用いることができる。また、音声認識部１０２は、変換後のテキストデータに含まれる各発話に対して、その発話が行われた時刻と発話者の識別情報を対応付ける機能を有している。具体的には、音声認識部１０２は、例えば、入力部１０１が音声データを取得した時刻を発話された時刻として、テキストデータに対応付ける。また、音声認識部１０２は、例えば、マイク２ａの入力ポートと当直長、マイク２ｂの入力ポートと運転員など、入力ポート別に定められた発話者の識別情報および入力部１０１が音声データを取得した入力ポートの情報に基づいて、発話者の識別情報をテキストデータに対応付ける。音声認識部１０２は、発話時刻と発話者の識別情報を対応付けたテキストデータをテキストデータ出力部１０３と会話抽出部１０５へ出力する。
　制御室の音声を録音するだけでは、例えば、警報音などにより会話がかき消されて、後に録音された音声データを再生しても会話の内容を把握することができない場合がある。これに対し、本実施形態では、各要員にマイク２ａ等を装着させて集音した音声データを、テキストデータに変換するので、音声の認識率が向上し、正確な発話のやり取りを記録しておくことができる。
　テキストデータ出力部１０３は、音声認識部１０２から取得したテキストデータを、運転評価システム１０に接続された表示装置などに出力する。ここで、テキストデータ出力部１０３が出力するテキストデータについて図２に例示する。図２は、本発明の一実施形態における会話を可視化したテキストデータの一例を示す図である。図２に運転員Ａと当直長の間で行われた会話を示す。図示するようにテキストデータには、時刻、発話者、発話内容が含まれる。テキストデータ出力部１０３が出力するテキストデータにより、運転員Ａと当直長の間で交わされた会話を可視化し、一連の発話内容のやり取りを文字として視認することができる。これにより、会話の形式（３ウェイコミュニケーションなど）が適切かどうか、指示を出すべき要員が、伝えるべき相手に、伝えるべき事項について、適切な内容を伝達しているかどうか、相手に伝えるべき内容が伝達されたかどうか等を確認することができる。会話の形式とは、例えば、３ウェイコミュニケーションまたは２ウェイコミュニケーション等である。また、時刻の情報を参照することで適切なタイミングで指示を行ったかどうか、適切なテンポで会話ができているかどうかを確認することができる。
　なお、図示しないが、例えば、音声認識部１０２によって音声データの振幅の大きさに基づいて声の大きさを分析、出力するようにし、適切な大きさの声で会話がなされているかどうかを確認できるようにしても良い。または、音声認識部１０２によって、話すスピード、声の調子、話し方等についても分析、出力できるようにし、落ち着いた声で、聴き手が理解しやすいような発話ができているかどうかを客観的に確認できるようにしてもよい。
　会話分析用辞書ＤＢ１０４には、例えば、３ウェイコミュニケーションの例であれば、「Ｘ１さん、Ｘ２をＸ３してください」（伝達）、「Ｘ２をＸ３します」（復唱）、「お願いします」（確認）などの会話における言葉のやりとりのパターン（以下、会話のパターンと記載）が登録されている。あるいは、「Ｘ１さん、Ｘ２をＸ３してください」（伝達）、「Ｘ２をＸ３します」（復唱）などの２ウェイコミュニケーションの会話パターンが登録されている。さらに会話分析用辞書ＤＢ１０４には、２ウェイコミュニケーション、３ウェイコミュニケーションの前に「ＸＸＸを検出しました」、「～警報発信しました」など事象の発生を表す発話内容を加えた一連のやり取りのパターンが登録されていてもよい。
　また、会話分析用辞書ＤＢ１０４には、例えば、運転訓練中に用いられるプラントの監視対象の物（加圧器）やその物に関する事象（水位低、圧力高）、操作対象の物（ポンプ、バルブ）や操作方法（起動・停止、開閉）、操作量（バルブの開度など）を表すキーワードが登録されている。
　会話抽出部１０５は、音声認識部１０２が出力するテキストデータについて、会話分析用辞書ＤＢ１０４を参照して分析し、発話者と受話者で所定の形式の会話が成立しているかどうかを確認する。例えば、会話抽出部１０５は、会話分析用辞書ＤＢ１０４に登録された会話のパターンに、運転員間の言葉のやりとりが当てはまるかどうかを判定し、当てはまる場合、運転員間で所定の形式の会話が成立していると判定する。会話抽出部１０５は、完全に会話のパターンに合致しなくても、言葉のやりとりが会話のパターンにある程度類似していれば、当該箇所について所定の形式の会話が成立していると判定してもよい。会話が成立していると判定すると、会話抽出部１０５は、テキストデータの中から会話が成立していると判定した箇所のデータを抽出する。また、会話抽出部１０５は、例えば、指示内容と復唱内容が対応しているかどうかによって会話が成立しているかどうかを判定する。例えば、「ポンプを起動してください」との指示に対し、「バルブですね」と復唱したり、「ポンプの停止ですね」などと復唱した場合、会話抽出部１０５は、「伝達」、「復唱」、「確認」の形式に則っていたとしても、所定の形式の会話が成立していないと判定する。例えば、図２に例示した「１３：１０：１０」から「１３：１０：４０」にかけての会話データは、会話抽出部１０５が抽出した会話データである。
　また、会話抽出部１０５は、抽出した会話データについて、その会話に含まれる単語と、会話分析用辞書ＤＢ１０４に登録されたキーワードとを照合し、その会話が、プラントに生じたどのような事象に関するものであるかを認識する。例えば、図２の例の場合、会話抽出部１０５は、図２に例示するテキストデータを会話データであると判定し、さらに会話データの開始時刻の会話内容と、会話分析用辞書ＤＢ１０４に登録された監視対象の物「加圧器」やそれに関する事象を表す単語「水位低」により、この会話が加圧器の水位が低下した事象に関する会話であることを認識する。会話抽出部１０５は、抽出した会話データについて、会話分析用辞書ＤＢ１０４に登録された単語を抽出する。例えば、図２の例の場合、会話抽出部１０５は、「Ｂ充てんポンプ」、「追加」、「起動」を当該事象の運転訓練に係る特定の単語として抽出する。会話抽出部１０５は、「Ｂ充てんポンプを追加起動してください」の前に出現する、「加圧器」、「水位」、「低」を前後の単語として抽出する。会話抽出部１０５は、抽出した単語「Ｂ充てんポンプ」等と、事象を会話として開始した時間「１３：１０：１０」と、事象に対する指示を開始した時刻「１３：１０：３０」と、発話回数「５」回と、前後の別の単語「起動」および「加圧器」および「水位」と、認識した事象「加圧器の水位低下」と、所定の形式の会話が成立しているかどうかやその成立度（例えば、会話パターンに規定された文章の文体の構造やその出現順序と会話データに含まれる文体の構造やその出現順序の類似度など）を対応付けて会話抽出結果ＤＢ１０６に記録する。
　会話抽出結果ＤＢ１０６は、会話抽出部１０５が抽出した会話データおよび会話の成立度とともに、その会話から抽出された特定の単語、事象を会話として開始した時間、発話回数、前後の別の単語、事象などのデータを記憶する。
　操作・プラントデータ記録部１０７は、入力部１０１から取得した操作データおよびプラントデータを、操作・プラントデータＤＢ１０８に記録する。
　操作・プラントデータＤＢ１０８は、操作データおよびプラントデータを記憶する。ここで、操作データおよびプラントデータについて例を挙げて説明する。図３は、本発明の一実施形態における操作・プラントデータの一例を示す図である。図３（ａ）に操作データの例を、図３（ｂ）にプラントデータの例を示す。図３（ａ）、図３（ｂ）のデータは、図２の会話データに関係する訓練時に記録されたものである。図３（ａ）の操作データには、「１３：１０：４０」に「Ｂ充てんポンプ」を「起動」する操作が行われたことが記録されている。
　図３（ｂ）のプラントデータには、時系列の加圧器の水位の計測値やその計測値に対する判定結果が記録されている。図３（ｂ）の例によれば、時刻「１３：１０：０９」に計測された水位は「Ｌ１」であり、その判定結果は「低」である。Ｂ充てんポンプを起動した時刻「１３：１０：４０」に計測された水位は「Ｌ２」であり、その判定結果は「低」である。Ｂ充てんポンプの起動後、３分が経過した時刻「１３：１３：４０」に計測された水位は「Ｌ３」であり「正常」な水位に回復していることが分かる。
　相関分析部１０９は、会話データ、プラントデータ、操作データの相関関係を分析する。例えば、ある会話αについて、その会話が行われた時間帯（例えば、会話αの前後数分間を含んでも良い）を時間帯α１とすると、相関分析部１０９は、プラントデータから会話データαが示す事象に関係するパラメータ（水位、温度、圧力など）の時間帯α１における時系列の値やプラントを構成する機器が発した通知情報（警報等）などを抽出する。抽出するパラメータの種類は、事象ごとに予め定められているとする。また、相関分析部１０９は、操作データに含まれる時間帯α１に行われた操作の情報を抽出する。そして、相関分析部１０９は、会話データαについて、会話データαに含まれる各発話の時刻、発話者、発話内容と、プラントデータや操作データから抽出した情報を同一時間軸上に並べて、発話、操作、パラメータ変化の時間的関係を分析する。また、相関分析部１０９は、会話データαに含まれる指示内容と操作データが示す操作とが正しい関係にあるかどうかを分析する。相関分析部１０９は、会話αに関係する会話データ、操作データ、プラントデータを関連付けて、分析結果ＤＢ１１０に記録する。
　相関分析部１０９による分析結果の一例について図４を用いて説明する。図４は、本発明の一実施形態における相関関係の分析を説明する図である。
　図４に図２、図３で例示した会話データ、操作データ、プラントデータを同一時間軸上に並べた例を示す。図４の例では、会話データ内のやり取りについては表示を省略してある。これらのデータは関連付けられて分析結果ＤＢ１１０に記録されている。
　相関分析部１０９は、例えば、事象の発生時刻と会話の開始時刻との差（水位低の発生から５秒後に会話開始）、会話の開始時刻と操作を行った時刻との差（会話の開始から３０秒後にポンプ起動）、会話の開始時刻と事象の水位回復時刻との差（会話の開始からＸ秒後に水位回復）を算出する。相関分析部１０９は、例えば、事象の発生時刻、会話の開始時刻、操作を行った時刻の時間関係と、事象の結果との関係を分析する。例えば、図４の例の場合、相関分析部１０９は、事象の発生から会話の開始までが１秒、会話の開始から操作の実施までが３０秒、事象の発生から操作の実施までが３５秒、事象の結果は「水位回復」との関係性にあることを分析し、「加圧器の水位低下」という事象と対応付けて、この分析結果を、分析結果ＤＢ１１０に記録する。
　相関分析部１０９は、図２で例示した会話データに含まれる「Ｂ充てんポンプを追加起動してください」という指示内容と、図３（ａ）で例示した操作データが示す「Ｂ充てんポンプ　起動」という操作とが正しい関係（指示内容と操作が合致している）にあると分析し、この分析結果を分析結果ＤＢ１１０に記録する。
　会話データ、操作データ、プラントデータの相関関係を分析すると、次に相関分析部１０９は、良好訓練データＤＢ５に蓄積された良好訓練時の会話データ、操作データ、プラントデータの相関関係に基づいて、分析結果に対する評価および改善策を示した改善策情報の設定を行う。良好訓練データＤＢ５には、事象ごとに模範となる会話および操作が行われた時の会話データ、操作データ、プラントデータが記録されている。良好訓練データＤＢ５には、例えば、「加圧器の水位低下」という事象と対応付けて、事象の発生から会話の開始までが１秒、会話の開始から操作の実施までが２０秒、事象の発生から操作の実施までが２５秒、事象の結果は「水位回復」との関係性を示す結果が記録されているとする。すると、相関分析部１０９は、例えば、事象の発生から会話の開始までは共に１秒、事象の結果は共に「水位回復」であることについては問題なしと評価する。一方、相関分析部１０９は、会話の開始から操作の実施までにかかった時間、事象の発生から操作の実施までにかかった時間が共に１０秒、模範となる操作からは遅れていることに基づいて、会話の開始から操作の開始までの時間が長いと評価する。さらに相関分析部１０９は、評価対象の会話データと模範的な会話データとを比較して、会話の開始から操作の開始までの時間が長くかかった原因を分析してもよい。例えば、模範的な会話データと比較して、会話の開始から指示までの時間が長ければ、相関分析部１０９は、「会話の開始から指示までの時間が長い」と評価し、提案すべき改善策として当直長向けに「会話の開始から指示までを早くする」といった情報を設定する。また、例えば、確認（図２の例では「はい、そうです」）から操作までの時間が長ければ、相関分析部１０９は、そのように評価し、運転員向けに「確認から操作までを早くする」といった改善策情報を設定する。相関分析部１０９は、評価については、例えば、会話分析用辞書ＤＢ１０４に登録された会話のパターンに基づいて、一連のやりとりのどの段階で時間が掛かっているかを分析してもよい。また、改善策情報については、例えば、評価結果がパターン化されて登録されおり、そのパタ－ンごとに予め定められていていてもよい。例えば、評価結果のパターン「会話の開始から指示までの時間が長い」に対して改善策「確認から操作までを早くする」が定められている。
　例えば、相関分析部１０９は、評価対象の会話データにおける発話回数と模範的な会話データにおける発話回数とを比較して両者に違いが無いかどうかを判定する。例えば、評価対象の会話データにおける発話回数が多ければ、「発話回数が多い」と評価し、「会話の内容を見直しましょう」といった改善策情報を設定する。例えば、模範的な会話データにおける発話回数が多く、模範的な会話データには、「水位低」の検出前に、温度や圧力、バルブの開閉具合など他のパラメータに関する会話が含まれているような場合、相関分析部１０９は、評価対象の会話データから抽出された特定の単語（「ポンプ」、「追加」、「起動」）や前後の単語（「加圧器」、「水位」、「低」）には無い、「温度」などのキーワードに基づいて、評価対象の会話データに存在しないキーワードが含まれた会話の部分とその会話が行われた時間帯を検出し、当該会話が抜けていると評価し、適切なタイミングで当該会話を行うよう改善策情報を設定する。相関分析部１０９は、評価結果や設定した改善策情報を、分析結果と関連付けて分析結果ＤＢ１１０に記録する。
　評価結果出力部１１１は、相関分析部１０９による評価結果を出力する。具体的には、評価結果出力部１１１は、分析結果ＤＢ１１０に記録されたある事象に関連付けられた会話データ、操作データ、プラントデータとその分析結果、評価結果、改善策情報を読み出して、運転評価システムに接続された表示装置に出力する。評価結果出力部１１１の出力例を図５に示す。
　図５は、本発明の一実施形態における運転評価結果の一例を示す図である。
　図５に示すのは、ある安定性が要求されるパラメータＹ（例えば、水位）の値の推移を表すグラフである。図５には、ある運転訓練で運転員が会話・操作を行った結果のグラフと、模範的な会話・操作が行われたときのパラメータＹのグラフが表示されている。時刻ｔ０までは、２つのグラフは同じ軌跡を描き、時刻ｔ０の前に行われた所定の操作の結果、時刻ｔ０以降は、２つのグラフは異なる軌跡を示している。実線のグラフは訓練中の運転員の操作による結果を示し、破線のグラフは模範的な操作による結果を示す。丸印は、訓練中の運転員がこの事象に関して会話を開始したタイミングを示し、星印は模範的な操作において会話が開始されたタイミングを示している。図５のグラフは、例えば、熟練した運転員がマニュアルの先読みやマニュアルの行間を読み取って、次に行うべき操作の確認、準備を早めに行って操作を行うのに対し、経験の浅い運転員が、操作の直前になって会話を開始するような場合に生じる結果の違いを示している。従来より、確認や準備を早めに行うことが推奨されることはあっても、どれぐらい早く行えば良いか具体的に分からないことも多い。評価結果出力部１１１の出力結果によれば、どの程度、早く確認等を行えば良いかを定量的に把握することができる。
　また、上記で説明したように、相関分析部１０９は、運転員による会話データ等と模範的な会話データ等を比較して評価、改善策情報の設定を行う。図５に示す「安定が必要なパラメータについて、丸印の時点で当直長・運転員の会話が実施されています。次回は星印の時点で会話を実施してください」との文言は、分析結果ＤＢ１１０に記録された当該訓練に関して設定された改善策情報である。
　評価結果出力部１１１は、分析結果ＤＢ１１０に記録されたある訓練事象に関係のある会話データ、操作データ、プラントデータと、同様の訓練事象に関して良好訓練データＤＢ５に登録された会話データ、操作データ、プラントデータに基づいて図５に例示するグラフを生成する。評価結果出力部１１１は、分析結果ＤＢ１１０に記録された改善策情報を読み出して、図５に例示するような次回へ向けてのアドバイス情報を生成し、表示装置に出力する。この評価結果を見て、運転員および当直長は、次回、同様の事象に対処するときの会話における改善点を把握することができる。
　例えば、グラフ中の丸印をクリック等すると、図２で例示したような訓練時の会話データが表示され、グラフ中の星印をクリック等すると、模範的な会話データが表示されるように構成されていても良い。また、改善策情報とともに、所定の形式の会話が成立しているかどうかの判定結果を表示しても良い。例えば、評価結果出力部１１１は、３ウェイコミュニケーションが成立していれば、「３ウェイコミュニケーションの形式で会話ができています」と表示し、３ウェイコミュニケーションが不完全な場合、「復唱、確認をしっかり行いましょう」といった内容の表示や、「会話の成立度は６０％です」などの表示を行っても良い。
　次に本実施形態の運転技能の評価方法の処理の流れについて説明する。
　図６は、本発明の一実施形態における運転評価方法の一例を示すフローチャートである。
　まず、ある訓練シナリオに沿ってシミュレータ装置３が、事象が生じた際のプラントの状態を模擬する。運転訓練を行う部屋では、当直長、運転員などで構成された運用チームの各要員が、ＰＣ等を用いて、シミュレータ装置３が模擬した事象に対応するための会話、操作を行って訓練に参加する。マイク２ａ、２ｂは、この訓練の間の会話を集音し、運転評価システム１０に出力する。運転評価システム１０では、入力部１０１が、集音された会話の音声データを取得する（ステップＳ１１）。入力部１０１は、音声データを音声認識部１０２に出力する。音声認識部１０２は、この音声データを音声認識機能によりテキストデータに変換する（ステップＳ１２）。また、音声認識部１０２は、テキストデータに含まれる各発話について、発話が行われた時刻、発話者の識別情報を対応付ける。音声認識部１０２は、時刻情報、発話者の識別情報を付加したテキストデータをテキストデータ出力部１０３と、会話抽出部１０５とに出力する。
　テキストデータ出力部１０３は、時刻情報などが付加されたテキストデータを、表示装置へ出力する。表示装置は、図２で例示したような時系列の言葉のやりとりを含んだテキストデータを表示する。
　会話抽出部１０５は、音声認識部１０２から取得したテキストデータから一まとまりの会話を抽出する。会話の抽出には、会話分析用辞書ＤＢ１０４に登録された会話のパターンを参照する。例えば、会話分析用辞書ＤＢ１０４には、３ウェイコミュニケーション、２ウェイコミュニケーション、その他チーム内の情報伝達精度を向上させる所定の会話方式に基づく、言葉のやり取りのパターンが登録されていて、会話抽出部１０５は、このパターンに沿った言葉のやり取りの部分をテキストデータの中から探し出して、パターンにあてはまる（あるいはパターンに近似する）一連の言葉のやり取りを会話データとして抽出する（ステップＳ１４）。また、会話抽出部１０５は、抽出した会話データについて、会話分析用辞書ＤＢ１０４に登録されたキーワードに基づき、特定の単語、会話の開始時間、発話回数、前後の別の単語、事象などを抽出する。会話抽出部１０５は、抽出した会話データ、特定の単語などを会話抽出結果ＤＢ１０６に記録する（ステップＳ１５）。
　また、会話抽出部１０５は、抽出した会話データについて、例えば、３ウェイコミュニケーションが成立しているかどうかを判定し、その判定結果や会話の成立度を、会話データと関連付けて会話抽出結果ＤＢ１０６に記録する。
　一方、シミュレータ装置３は、訓練中に行われた操作を時刻とともに記録した操作データ、プラントの状態を示す情報を時刻とともに記録したプラントデータを記憶し、これらのデータを運転評価システム１０に出力する。運転評価システム１０では、入力部１０１が、プラントデータ、操作データを取得する（ステップＳ１６）。入力部１０１は、プラントデータ、操作データを操作・プラントデータ記録部１０７に出力する。操作・プラントデータ記録部１０７は、これらのデータを操作・プラントデータＤＢ１０８に記録する（ステップＳ１７）。
　次に相関分析部１０９が、良好訓練データＤＢ５から評価対象の訓練が対象とする事象について、会話、操作が良好に行われたときの会話データ、操作データ、プラントデータを取得する（ステップＳ１８）。相関分析部１０９は、図４で説明したように会話抽出結果ＤＢ１０６に記録された会話データと、操作・プラントデータＤＢ１０８に記録した操作データおよびプラントデータとの相関関係を分析する。相関分析部１０９は、分析結果に基づく会話、操作などの相関関係と、良好な会話データ等とを比較して、評価対象の訓練における会話や操作を評価（ステップＳ１９）し、改善策情報の設定を行う。相関分析部１０９は、分析結果、評価結果などを分析結果ＤＢ１１０に記録する。
　次に評価結果出力部１１１は、分析結果ＤＢ１１０に記録された情報を読み出して、図５で例示したような画像データを生成し、分析、評価結果などを出力する（ステップＳ２０）。
　ステップＳ２０の評価の結果、運転員による会話データ等が、良好訓練データＤＢ５に登録されていた模範的な相関データに比べ遜色のないものであったり、優れた点を含んでいたりした場合、今回の運転員による会話データ、操作データ、プラントデータの組を運転評価結果管理装置側に転送し、新たな模範データとして良好訓練データＤＢ５に登録するようにしてもよい。
　プラントの運転訓練は、操作の遵守性やパラメータの変動量等の観点から評価されることが一般的で、操作と会話の相関に基づく評価は実施されていない。これに対し、本実施形態によれば、音声認識技術を運転訓練シミュレータと連携させることで、運転訓練中に行われる運転員の会話を可視化することができる。また、運転訓練中に行われる会話がプラントの運転（操作や操作結果）に与える影響を分析し、可視化することができる。これにより、従来顧みられることのなかった、プラント運転における会話の影響を認識し、より正確な運転を行うことができるような会話のタイミングや会話における伝達内容を検討し、誤操作の防止、ヒューマンエラーの防止、運転精度の向上を図ることができる。
　本実施形態によれば、運転員の会話および操作を、模範的な会話および操作と比較することで、例えば会話のタイミング、会話の内容をどのように改善すれば良いかを把握することができる。図５の評価結果でも例示したように、模範となる会話および操作についてもその関係性を可視化することで、熟練した運転員の持つ技能の暗黙知を共有化し、他の運転員の技能の向上やチームパフォーマンスの向上を図ることができる。
　本実施形態による分析結果、評価結果に基づいて、運転マニュアル類へ、パラメータの確認項目や、会話タイミング・会話内容への助言を反映させたり、実際にプラントの運転を行う中央制御室のモニター類に、適切なタイミングで会話を促すメッセージを表示させたりといったフィードバックを行ってもよい。これにより、運転精度の向上を図ることができる。
　図７は、本発明の一実施形態における運転評価システムのハードウェア構成の一例を示す図である。
　コンピュータ９００は、ＣＰＵ９０１、主記憶装置９０２、補助記憶装置９０３、入出力インタフェース９０４、通信インタフェース９０５を備える。
　上述の運転評価システム１０は、コンピュータ９００に実装される。そして、上述した入力部１０１、音声認識部１０２、テキストデータ出力部１０３、会話抽出部１０５、操作・プラントデータ記録部１０７、相関分析部１０９、評価結果出力部１１１の各機能は、プログラムの形式で補助記憶装置９０３に記憶されている。ＣＰＵ９０１は、プログラムを補助記憶装置９０３から読み出して主記憶装置９０２に展開し、当該プログラムに従って上記処理を実行する。ＣＰＵ９０１は、プログラムに従って、記憶領域を主記憶装置９０２に確保する。また、ＣＰＵ９０１は、プログラムに従って、処理中のデータを記憶する記憶領域を補助記憶装置９０３に確保する。例えば、会話分析用辞書ＤＢ１０４、会話抽出結果ＤＢ１０６、操作・プラントデータＤＢ１０８分析結果ＤＢ１１０は、補助記憶装置９０３に記憶されていてもよい。
　運転評価システム１０の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各機能部による処理を行ってもよい。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。「コンピュータ読み取り可能な記録媒体」とは、ＣＤ、ＤＶＤ、ＵＳＢ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このプログラムが通信回線によってコンピュータ９００に配信される場合、配信を受けたコンピュータ９００が当該プログラムを主記憶装置９０２に展開し、上記処理を実行しても良い。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
　運転評価システム１０は、複数のコンピュータ９００によって構成されていても良い。会話分析用辞書ＤＢ１０４、会話抽出結果ＤＢ１０６、操作・プラントデータＤＢ１０８、分析結果ＤＢ１１０は、コンピュータ９００とは別体の外部記憶装置に記憶されていても良い。
　その他、本発明の趣旨を逸脱しない範囲で、上記した実施の形態における構成要素を周知の構成要素に置き換えることは適宜可能である。また、この発明の技術範囲は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。
　例えば、上記の実施形態では、運転訓練環境で会話や操作のデータを採取する例を記載したが、実際のプラント運転環境で行われた会話データや操作データ、プラントデータを記録して保存し、後日、これらのデータを運転評価システム１０へ入力して評価するといった実施形態でもよい。また、運転評価システム１０の一部又は全部の機能を、例えば、シミュレータ装置３に組み込んで実装してもよい。
　運転評価システム１０の適用先は、原子力発電プラント、化学プラントなどのプラントの運転の場面に限られず、例えば、工場等における製造作業、品質チェック作業、物品の搬入搬出等の運搬作業など、複数の要員の間での情報伝達を行いながら業務が行われる場面でも利用することができる。
　プラントの運転訓練は業務の一例であり、当直長や運転員が要員の一例である。入力部１０１は、音声データ取得部と業務データ取得部の一例である。操作データは業務に係る行動を示すデータの一例であり、プラントデータは業務の状態を示すデータの一例である。会話抽出部１０５は抽出部の一例であり、相関分析部１０９は分析部の一例である。
　上記した評価システム、評価方法及びプログラムによれば、プラントの運転員の操作と会話の関係を明らかにし、適切な会話ができているかどうかを評価することができる。
　１　　　運転訓練システム
　２ａ，２ｂ　　　マイク
　３　　　シミュレータ装置
　４　　　運転評価結果管理装置
　５　　　良好訓練データＤＢ
　１０　　　運転評価システム
　１０１　　　入力部
　１０２　　　音声認識部
　１０３　　　テキストデータ出力部
　１０４　　　会話分析用辞書ＤＢ
　１０５　　　会話抽出部
　１０６　　　会話抽出結果ＤＢ
　１０７　　　操作・プラントデータ記録部
　１０８　　　操作・プラントデータＤＢ
　１０９　　　相関分析部
　１１０　　　分析結果ＤＢ
　１１１　　　評価結果出力部

Claims (10)

  1. 　業務に携わる要員が発話した音声データを取得する音声データ取得部と、
    　前記音声データから前記発話の内容を認識し、テキストデータに変換する音声認識部と、
    　前記要員の前記業務に係る行動を示すデータと、前記業務の状態を示すデータを取得する業務データ取得部と、
    　前記音声認識部が認識した発話の内容に基づき、前記テキストデータから前記業務に関係する会話データを抽出する抽出部と、
    　前記抽出部が抽出した会話データと前記行動を示すデータと前記業務の状態を示すデータとの相関を分析する分析部と、
    　を備える評価システム。
  2. 　前記分析部は、会話と行動と業務の状態との良好な相関を示すデータに基づいて、分析した前記会話データと前記行動を示すデータと前記業務の状態を示すデータとの相関を評価する、
    　請求項１に記載の評価システム。
  3. 　前記分析部が評価した結果について、前記業務に関係する会話が行われたタイミングと前記業務の結果との関係を示す情報を出力する評価結果出力部、
    　をさらに備える請求項１または請求項２に記載の評価システム。
  4. 　前記分析部は、前記業務に関係する会話が行われたタイミングと前記行動が行われたタイミングの時間的な関係、および前記業務に関係する会話が行われたタイミングと前記業務の結果との関係を分析する、
    　請求項１から請求項３の何れか１項に記載の評価システム。
  5. 　前記分析部は、前記会話データの内容と前記行動が正しい関係にあるかどうかを分析する、
    　請求項１から請求項４の何れか１項に記載の評価システム。
  6. 　前記抽出部は、前記会話データについて、所定の形式の会話が成立しているかどうかを判定する、
    　請求項１から請求項５の何れか１項に記載の評価システム。
  7. 　前記音声認識部が認識した前記発話の内容を、当該発話を行った前記要員の識別情報および当該発話が行われた時刻の情報とともに出力するテキストデータ出力部、
    　をさらに備える請求項１から請求項６の何れか１項に記載の評価システム。
  8. 　前記評価システムは、プラントの運転技能を評価するシステムであって、
    　前記音声データ取得部は、前記プラントの運転を行う複数の前記要員が運転中に行った会話の音声データを取得し、
    　前記業務データ取得部は、前記要員が前記プラントの運転中に行った操作の情報および前記運転中の前記プラントの状態を示す情報を取得し、
    　前記分析部は、前記プラントの運転において対処すべき事象に関する前記会話および前記操作および前記プラントの状態の相関を分析する、
    　請求項１から請求項７の何れか１項に記載の評価システム。
  9. 　業務に携わる要員が発話した音声データを取得するステップと、
    　前記音声データから前記発話の内容を認識し、テキストデータに変換するステップと、
    　前記要員の前記業務に係る行動を示すデータと、前記業務の状態を示すデータを取得するステップと、
    　前記認識した発話の内容に基づき、前記テキストデータから前記業務に関係する会話データを抽出するステップと、
    　前記抽出した会話データと前記行動を示すデータと前記業務の状態を示すデータとの相関を分析するステップと、
    　を有する評価方法。
  10. 　評価システムのコンピュータを、
    　業務に携わる要員が発話した音声データを取得する手段、
    　前記音声データから前記発話の内容を認識し、テキストデータに変換する手段、
    　前記要員の前記業務に係る行動を示すデータと、前記業務の状態を示すデータを取得する手段、
    　前記認識した発話の内容に基づき、前記テキストデータから前記業務に関係する会話データを抽出する手段、
    　前記抽出した会話データと前記行動を示すデータと前記業務の状態を示すデータとの相関を分析する手段、
    　として機能させるためのプログラム。
PCT/JP2018/030344 2017-08-18 2018-08-15 評価システム、評価方法及びプログラム WO2019035465A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112018004216.2T DE112018004216T5 (de) 2017-08-18 2018-08-15 Evaluierungssystem, Evaluierungsverfahren und Programm
US16/623,926 US11380318B2 (en) 2017-08-18 2018-08-15 Evaluation system, evaluation method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-158021 2017-08-18
JP2017158021A JP7042573B2 (ja) 2017-08-18 2017-08-18 評価システム、評価方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2019035465A1 true WO2019035465A1 (ja) 2019-02-21

Family

ID=65361938

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/030344 WO2019035465A1 (ja) 2017-08-18 2018-08-15 評価システム、評価方法及びプログラム

Country Status (4)

Country Link
US (1) US11380318B2 (ja)
JP (1) JP7042573B2 (ja)
DE (1) DE112018004216T5 (ja)
WO (1) WO2019035465A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11055119B1 (en) * 2020-02-26 2021-07-06 International Business Machines Corporation Feedback responsive interface
JP7305030B2 (ja) * 2020-03-23 2023-07-07 三菱電機株式会社 プラント運転支援装置、プラント運転支援方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06331780A (ja) * 1993-05-18 1994-12-02 Toshiba Corp 運転訓練支援装置
JP2004102116A (ja) * 2002-09-12 2004-04-02 Toshiba Corp 動画音声分析評価システム
JP2004333550A (ja) * 2003-04-30 2004-11-25 Tokyo Electric Power Co Inc:The 訓練支援システム
JP2005222227A (ja) * 2004-02-04 2005-08-18 Toshiba Corp ナレッジマネジメント支援システム、ナレッジマネジメント支援方法及びナレッジマネジメント支援プログラム
JP2008076711A (ja) * 2006-09-21 2008-04-03 Toshiba Corp プラント防災訓練装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0969008A (ja) 1995-08-31 1997-03-11 Toshiba Corp 操作状況監視装置
JPH11328243A (ja) 1998-05-18 1999-11-30 Toshiba Corp プラント設計支援システム
US20020054130A1 (en) * 2000-10-16 2002-05-09 Abbott Kenneth H. Dynamically displaying current status of tasks
JP4911939B2 (ja) 2005-09-15 2012-04-04 中国電力株式会社 訓練状況記録装置およびプラント操作訓練装置
JP5331289B2 (ja) * 2005-10-11 2013-10-30 株式会社日立製作所 センサノードを利用した作業管理支援方法および作業管理支援システム
JP5349194B2 (ja) 2009-07-31 2013-11-20 株式会社東芝 プラント運転監視制御装置の動作検証試験装置及び方法
US9170993B2 (en) * 2013-01-29 2015-10-27 Hewlett-Packard Development Company, L.P. Identifying tasks and commitments using natural language processing and machine learning
WO2015073723A1 (en) * 2013-11-13 2015-05-21 Envision Telephony, Inc. Systems and methods for desktop data recording for customer-agent interactions
US10909490B2 (en) * 2014-10-15 2021-02-02 Vocollect, Inc. Systems and methods for worker resource management
JP6957131B2 (ja) 2016-03-01 2021-11-02 オリンパス株式会社 情報端末装置、撮像装置、画像情報処理システム及び画像情報処理方法
US9904669B2 (en) * 2016-01-13 2018-02-27 International Business Machines Corporation Adaptive learning of actionable statements in natural language conversation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06331780A (ja) * 1993-05-18 1994-12-02 Toshiba Corp 運転訓練支援装置
JP2004102116A (ja) * 2002-09-12 2004-04-02 Toshiba Corp 動画音声分析評価システム
JP2004333550A (ja) * 2003-04-30 2004-11-25 Tokyo Electric Power Co Inc:The 訓練支援システム
JP2005222227A (ja) * 2004-02-04 2005-08-18 Toshiba Corp ナレッジマネジメント支援システム、ナレッジマネジメント支援方法及びナレッジマネジメント支援プログラム
JP2008076711A (ja) * 2006-09-21 2008-04-03 Toshiba Corp プラント防災訓練装置

Also Published As

Publication number Publication date
US11380318B2 (en) 2022-07-05
JP2019036205A (ja) 2019-03-07
JP7042573B2 (ja) 2022-03-28
US20200135195A1 (en) 2020-04-30
DE112018004216T5 (de) 2020-05-28

Similar Documents

Publication Publication Date Title
US10419613B2 (en) Communication session assessment
US11037553B2 (en) Learning-type interactive device
Principi et al. An integrated system for voice command recognition and emergency detection based on audio signals
US10069971B1 (en) Automated conversation feedback
WO2019169914A1 (zh) 语音测试方法及装置
US8811593B1 (en) Call center agent centric speech decoding system and method with quality assurance function
Sterling et al. Automated cough assessment on a mobile platform
CN113314100B (zh) 口语测试的评估、结果显示方法、装置、设备及存储介质
US20200410998A1 (en) Voice interface system for facilitating anonymized team feedback for a team health monitor
Gong et al. Vocalsound: A dataset for improving human vocal sounds recognition
WO2019035465A1 (ja) 評価システム、評価方法及びプログラム
CN108646914A (zh) 一种多模态的情感数据收集方法及装置
CN110556098B (zh) 语音识别结果测试方法、装置、计算机设备和介质
CN111798871B (zh) 会话环节识别方法、装置及设备、存储介质
Roa et al. Towards smart citizen security based on speech recognition
Fraser et al. Measuring cognitive status from speech in a smart home environment
EP4181124A1 (en) Communication system and related methods
Sinatra et al. Considerations for Dealing with Real-Time Communications in an Intelligent Team Tutoring System Experiment.
Baker et al. Speech recognition performance assessments and available databases
KR102168556B1 (ko) 훈련 평가 시스템
JP2022019125A (ja) 運転訓練評価システムおよび運転訓練評価方法
CN112466308A (zh) 一种基于语音识别的辅助面试方法及系统
Suss et al. Use of cognitive task analysis to probe option-generation in law enforcement
TWI773506B (zh) 緊急派遣員的虛擬助理
CN109033151A (zh) 一种基于语音交互的搜题方法及电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18846176

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18846176

Country of ref document: EP

Kind code of ref document: A1