JPH09265378A - Supporting method and supporting system for operator - Google Patents

Supporting method and supporting system for operator

Info

Publication number
JPH09265378A
JPH09265378A JP8074341A JP7434196A JPH09265378A JP H09265378 A JPH09265378 A JP H09265378A JP 8074341 A JP8074341 A JP 8074341A JP 7434196 A JP7434196 A JP 7434196A JP H09265378 A JPH09265378 A JP H09265378A
Authority
JP
Japan
Prior art keywords
operator
voice
sound pressure
word
voice input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP8074341A
Other languages
Japanese (ja)
Inventor
Kazuhiko Okamoto
一彦 岡本
Satoshi Oishi
聡 大石
Hiroyoshi Muronoi
博好 室野井
Tetsuya Hori
哲也 堀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Tokyo Gas Co Ltd
Original Assignee
Hitachi Ltd
Tokyo Gas Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd, Tokyo Gas Co Ltd filed Critical Hitachi Ltd
Priority to JP8074341A priority Critical patent/JPH09265378A/en
Publication of JPH09265378A publication Critical patent/JPH09265378A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide a supporting method and device capable of judging the mental state of an operator for performing operations by voice input and performing operator supporting suited to the mental state. SOLUTION: In a voice recognition processing part 3, the pattern of the instruction word of a plant operation voice inputted beforehand is registered for each operator. During the operation, for a voice instruction word from a microphone 6, the sound pressure waveform is fetched through a data conversion part 2 to the voice recognition processing part 3 and a maximum sound pressure, a highest frequency and shortest sounding time are fetched to an operator state judgement processing part 4. The voice recognition processing part 3 divides the sound pressure waveform and performs spectrum conversion for respective sound pressure data and performs the voice recognition of the instruction word by pattern matching. Also, the operator is specified by speaker recognition. The operator state judgement processing part 4 compares the inputted maximum sound pressure, highest frequency and shortest sounding time with the registration data of the specified operator respectively and judges the mental state. A supporting processing output part 5 executes a supporting processing corresponding to instruction contents when the mental state of the operator is 'abnormal'.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は音声入力によるオペレー
タ支援システムに係り、特にオペレータの心理状態の判
定に基づく支援方式に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an operator support system by voice input, and more particularly to a support system based on judgment of an operator's psychological state.

【0002】[0002]

【従来の技術】従来の音声入力による運転支援システム
では、特公昭62−50850号に記載のように、オペ
レータによる音声入力の発音時間に応じて音声応答出力
の速さを変化するものや、特公昭62−48855号に
記載のように、作業時間が所定内であれば自動的に音声
によるオペレータガイダンスを停止するなど、オペレー
タの熟練度に応じて入出力処理を行うものが知られてい
る。
2. Description of the Related Art A conventional voice input driving support system, as described in Japanese Examined Patent Publication No. 62-50850, changes the speed of voice response output according to the sounding time of voice input by an operator, or a special feature. As described in Japanese Patent Publication No. 62-48855, there is known one that performs input / output processing according to the skill level of an operator, such as automatically stopping operator guidance by voice if the working time is within a predetermined time.

【0003】[0003]

【発明が解決しようとする課題】上記従来技術では、熟
練オペレータに対しては高速で直接的な応答を行って煩
わしさを解消するとともに、処理性を向上している。し
かし、発音時間などの短縮は、オペレータが平常でない
心理状態にあるときにも生じるので、このような場合
に、応答時間が短くなったり、ガイダンスが省略される
ことは、異常状態にあるオペレータにとっては一層の焦
りや不安をもたらすため、誤操作を招く可能性が大きく
なる。
In the above-mentioned prior art, the experienced operator is quickly and directly responded to eliminate the inconvenience and the processability is improved. However, shortening of the pronunciation time etc. also occurs when the operator is in an abnormal psychological state, so in such a case, shortening the response time or omitting the guidance may lead to an operator in an abnormal state. Causes further anxiety and anxiety, which increases the possibility of erroneous operation.

【0004】本発明の目的は、音声入力によって操作す
るオペレータの心理状態を判断し、心理状態に適したオ
ペレータ支援を可能とする支援方法と装置を提供するこ
とにある。
It is an object of the present invention to provide a support method and device for determining the psychological state of an operator who operates by voice input and enabling the operator assistance suitable for the psychological state.

【0005】[0005]

【課題を解決するための手段】上記した本発明の目的
は、プラント等の機器の操作を音声入力によって行うオ
ペレータの支援方法において、前記音声入力の所定の信
号成分からオペレータの心理状態が平常か否か判定し、
平常でないと判定される場合に、正しい操作を誘導する
ための所定支援を行うことにより達成される。
SUMMARY OF THE INVENTION It is an object of the present invention to provide a method for assisting an operator who operates equipment such as a plant by voice input to determine whether the operator's psychological state is normal from a predetermined signal component of the voice input. Determine whether or not
This is achieved by providing predetermined support for guiding a correct operation when it is determined that the operation is not normal.

【0006】前記心理状態の判定は、前記音声入力によ
る命令語の音圧の最大値、周波数の最高値および発音時
間の最短値を抽出し、各々に関して予めオペレータ毎に
記憶してある登録データとそれぞれ比較し、2以上の比
較結果で音声入力の方が上回る場合に、当該オペレータ
の心理状態を異常(平常でない)と判定することを特徴
とする。
In the judgment of the psychological state, the maximum value of the sound pressure, the maximum value of the frequency and the minimum value of the sounding time of the command word by the voice input are extracted, and the registration data stored in advance for each operator is used. Each is compared, and when two or more comparison results indicate that voice input is higher, the psychological state of the operator is determined to be abnormal (not normal).

【0007】また、操作対象となるプラント等の運転状
態に応じた操作手順を予め記憶し、前記所定支援は、該
当する操作手順を参照して、前記音声入力による操作の
正誤を判定し、正しい場合には次の操作手順をガイダン
スし、誤りの場合には当該命令の処理を禁止するととも
に、該当する操作手順をガイダンスすることを特徴とす
る。
[0007] Further, an operation procedure corresponding to an operating state of a plant or the like to be operated is stored in advance, and the predetermined support refers to the corresponding operation procedure to judge whether the operation by the voice input is correct or not and correct. In this case, the next operation procedure is guided, and in the case of an error, the processing of the command is prohibited, and the corresponding operation procedure is also guided.

【0008】また、前記音声入力による命令語とオペレ
ータの認識は、音圧波形をスペクトル変換して取得した
パターンと、予め登録されているパターンとのマッチン
グにより行うことを特徴とする。
The recognition of the command word and the operator by the voice input is performed by matching a pattern acquired by spectrum conversion of the sound pressure waveform with a pattern registered in advance.

【0009】[0009]

【作用】一般に、焦りや不安で緊張が高まると声高とな
り、音声信号の音圧が大になり、周波数も高まる。ま
た、早口となって、同じ言葉の発音時間が短くなる。特
に、プラント等の運転では、プラントの異常や起動/停
止時に、未熟練のオペレータになるほどこの傾向が顕著
になる。
In general, when tension increases due to impatience or anxiety, the voice becomes loud, the sound pressure of the voice signal becomes large, and the frequency also increases. In addition, it becomes quicker to shorten the pronunciation time of the same word. Particularly, in the operation of a plant or the like, this tendency becomes more remarkable as the operator becomes unskilled when the plant is abnormal or is started / stopped.

【0010】本発明は、このオペレータの心理状態によ
る音声信号の変化に着目してなされたもので、予め操作
に必要な命令語の正常な心理状態での最大音圧、最高周
波数及び最短発音時間の各データを登録しておき、運転
中の音声入力による命令語のそれと比較し、たとえば音
声入力の音圧、周波数及び発音時間の2つ以上が閾い値
を上回る場合に、オペレータの心理状態を異常と判断す
る。
The present invention has been made by paying attention to the change of the voice signal depending on the psychological state of the operator, and the maximum sound pressure, the maximum frequency and the shortest sounding time in advance in the normal psychological state of the command word necessary for the operation. Each data of is registered and compared with that of a command word by voice input during driving, and, for example, when two or more of sound pressure, frequency and sounding time of voice input exceed a threshold value, the psychological state of the operator. Is judged to be abnormal.

【0011】本発明の構成によれば、音声入力から操作
内容である命令語と話者であるオペレータを音声認識す
るとともに、オペレータ毎に登録してある上記の各デー
タと音声入力から抽出した各データを比較してオペレー
タの心理状態を判定し、オペレータの心理が平常でない
ときには、運転状態や音声認識された命令語に関連して
予め記憶してある操作手順を参照し、次の操作手順や正
しい操作手順をガイダンスする。
According to the configuration of the present invention, the command word which is the operation content and the operator who is the speaker are voice-recognized from the voice input, and the respective data registered for each operator and the voice extracted from the voice input. The operator's psychological state is determined by comparing the data, and when the operator's psychological state is not normal, the operating procedure stored in advance in relation to the driving state and the voice-recognized command word is referred to, and the next operating procedure or Guidance on correct operating procedures.

【0012】本発明によれば、プラント等の運転操作で
緊張を強いられる場合、例えばプラント異常時の操作手
順を記憶しておき、オペレータの心理状態が異常な場合
には、その音声による命令語の正誤を判定しながら、正
しい操作に誘導するように支援するので、未熟なオペレ
ータにも的確な運転操作が可能になる。また、本発明に
よるオペレータ支援システムを備えることで、プラント
等の安全が確保できる。
According to the present invention, when tension is imposed by operation of a plant or the like, for example, when an operation procedure at the time of plant abnormality is stored and the operator's psychological state is abnormal, a command word by the voice is used. Since it assists in guiding the operator to the correct operation while judging whether the operation is correct or not, it is possible for an inexperienced operator to perform an accurate driving operation. Further, by providing the operator support system according to the present invention, the safety of the plant or the like can be secured.

【0013】[0013]

【実施例】以下、本発明の実施例を図面を用いて説明す
る。
Embodiments of the present invention will be described below with reference to the drawings.

【0014】図1は、本発明の一実施例によるオペレー
タ支援システムの全体構成を示すブロック図である。オ
ペレータ支援処理装置1は、オペレータの音声を電気信
号に変換するマイクロフォン6から音声信号を入力す
る。音声信号の電圧波形は音圧波形を示している。入力
命令の音声語からその最大音圧、最高周波数及び最短発
音時間を取得する手段21〜23を有するデータ変換部
2、音圧波形を基に単語認識と話者(オペレータ)認識
を行う音声認識処理部3、音圧、周波数及び発音時間を
基にオペレータの心理状態を判断するオペレータ状態判
断部4、音声認識結果とオペレータの心理状態に応じて
操作の支援内容を決定し、スピーカやモニタなどの出力
装置7に支援内容を出力する支援処理出力部5から構成
される。さらに、PI/O8を介してプラント状態を監
視している。
FIG. 1 is a block diagram showing the overall configuration of an operator support system according to an embodiment of the present invention. The operator assistance processing device 1 inputs a voice signal from a microphone 6 that converts the voice of the operator into an electric signal. The voltage waveform of the audio signal shows a sound pressure waveform. A data conversion unit 2 having means 21 to 23 for acquiring the maximum sound pressure, the maximum frequency and the shortest sounding time from the voice word of the input command, and voice recognition for performing word recognition and speaker (operator) recognition based on the sound pressure waveform. The processing unit 3, the operator state determination unit 4 that determines the psychological state of the operator based on the sound pressure, the frequency, and the sounding time, determines the operation support content according to the voice recognition result and the psychological state of the operator, and the speaker, the monitor, etc. The support processing output unit 5 that outputs the support content to the output device 7 of FIG. Furthermore, the plant status is monitored via PI / O8.

【0015】図2は、音声認識処理部の構成を示すブロ
ック図である。音声認識処理部3は一つの音声語の音圧
波形を複数に分割する音圧データ分割部31、分割デー
タをスペクトル変換する音圧スペクトル変換部32、音
声語の登録辞書ファイル34を参照して、入力信号の音
圧スペクトルから音声語を認識する音声認識パターンマ
ッチング部33、音声語毎の話者音声登録ファイル36
を参照して、音圧スペクトルから話者認識を行う話者認
識パターンマッチング部35、音声語と話者の認識結果
を出力する認識結果出力部37から構成される。
FIG. 2 is a block diagram showing the structure of the voice recognition processing section. The voice recognition processing unit 3 refers to the sound pressure data dividing unit 31 that divides the sound pressure waveform of one voice word into a plurality, the sound pressure spectrum conversion unit 32 that converts the divided data into a spectrum, and the voice word registration dictionary file 34. , A voice recognition pattern matching unit 33 for recognizing a voice word from a sound pressure spectrum of an input signal, a speaker voice registration file 36 for each voice word
With reference to, a speaker recognition pattern matching unit 35 that performs speaker recognition from the sound pressure spectrum and a recognition result output unit 37 that outputs the recognition result of the voice word and the speaker.

【0016】図3は、オペレータ状態判断部の構成を示
すブロック図である。オペレータ状態判断部4は、デー
タ変換部2からの音圧、周波数及び発音時間を入力し、
入力信号の音圧データと音圧情報データファイル46の
格納データを比較し、入力信号の方が大きい場合に
「1」を出力する音圧比較部42、入力信号の周波数デ
ータと周波数情報データファイル47の格納データを比
較し、入力信号の方が高い場合に「1」を出力する周波
数比較部43、入力信号の発音時間データと発音時間情
報データファイル48の格納データを比較し、入力信号
の方が短い場合に「1」を出力する発音時間比較部4
4、比較部42〜44の出力の「1」/「0」による論
理演算を行ってオペレータの心理状態を判定(平常/異
常)する心理状態判定部45から構成される。
FIG. 3 is a block diagram showing the construction of the operator status judging section. The operator state determination unit 4 inputs the sound pressure, frequency and sounding time from the data conversion unit 2,
A sound pressure comparison unit 42 that compares the sound pressure data of the input signal with the data stored in the sound pressure information data file 46 and outputs "1" when the input signal is larger, the frequency data of the input signal and the frequency information data file. The frequency comparison unit 43 that compares the stored data of 47 and outputs “1” when the input signal is higher, compares the sounding time data of the input signal with the stored data of the sounding time information data file 48, and The pronunciation time comparison unit 4 which outputs "1" when the length is shorter
4. A psychological state determination unit 45 that performs a logical operation based on “1” / “0” of the outputs of the comparison units 42 to 44 to determine the psychological state of the operator (normal / abnormal).

【0017】図4は、支援処理出力部の構成を示すブロ
ック図である。支援処理出力部5は支援処理決定部51
を有し、音声認識されたオペレータの指示(命令)とそ
の時の心理状態の判定結果と、プラント状態管理部52
のプラント状態を入力し、オペレーション登録データフ
ァイル53を参照して、それらの入力条件に合致する支
援内容を決定する。
FIG. 4 is a block diagram showing the structure of the support processing output unit. The support process output unit 5 is the support process determination unit 51.
The operator's instruction (command) recognized by voice and the psychological state determination result at that time, and the plant state management unit 52.
Of the plant, and referring to the operation registration data file 53, the support content that matches those input conditions is determined.

【0018】オペレーション登録ファイル53には、た
とえば「if Aならば、thenC」の論理形式によ
る支援内容が登録されている。Aはプラントの異常など
の運転条件、Cはそのときの操作手順である。さらに、
Aには音声語の操作対象(バルブ1など)、Cにはそれ
に関連する操作手順なども登録されている。
In the operation registration file 53, for example, the support contents in a logical format of "if A, then C" are registered. A is an operating condition such as a plant abnormality, and C is an operation procedure at that time. further,
The operation target of the voice word (valve 1 and the like) is registered in A, and the operation procedure related to it is registered in C.

【0019】次に、このように構成される本実施例の動
作を説明する。まず、音声認識処理部とオペレータ状態
判断部の登録処理を説明する。
Next, the operation of this embodiment having such a configuration will be described. First, the registration processing of the voice recognition processing unit and the operator state determination unit will be described.

【0020】図5、図6及び図7は、音声認識処理部に
おいて、登録処理及び運転処理に共通して行われる、周
知のスペクトルデータ生成方法を説明するための波形図
である。この生成方法は、たとえば「コンピュータ音声
処理(安居院猛、中嶋正之著;秋葉出版;1980
年)」に詳しい。
FIGS. 5, 6 and 7 are waveform charts for explaining a well-known spectral data generation method which is performed in the voice recognition processing section in common with the registration processing and the driving processing. This generation method is described, for example, in "Computer audio processing (Takeshi Yasuiin, Masayuki Nakajima; Akiba Publishing; 1980.
Year) ".

【0021】図5は、「バルブ1」と発音した1音声語
の音圧波形(模式図)を示し、同図(a)はマイク6か
ら出力される電圧波形図である。音声認識はその処理速
度を高めるために、音圧データ毎のパターンマッチング
が行なわれる。このため、(a)の音圧波形から(b)
に示す波形分割を行う。本例では、「B,A,R,U,
B,U,I,T,I」の音圧データ数(=9)以上の分
割数(=16)とし且つ、分割の前後部に十分な重複域
を持たせる。これにより、音圧データは何れかの分割領
域に纏まって含まれ、認識率の低下を防止できる。
FIG. 5 shows a sound pressure waveform (schematic diagram) of one voice word pronounced as “valve 1”, and FIG. 5 (a) is a voltage waveform diagram output from the microphone 6. In voice recognition, pattern matching is performed for each sound pressure data in order to increase the processing speed. Therefore, from the sound pressure waveform of (a) to (b)
Waveform division shown in is performed. In this example, “B, A, R, U,
The number of divisions (= 16) is equal to or larger than the number (= 9) of sound pressure data of “B, U, I, T, I”, and a sufficient overlapping area is provided in the front and rear portions of the division. As a result, the sound pressure data is collectively included in any of the divided areas, and the reduction in the recognition rate can be prevented.

【0022】図5(c)は、1分割の音圧波形の拡大波
形図(模式図)を示したものである。図示のように、1
音圧データに対応する同一波形が連続して含まれる。こ
の同一波形の1波長分を、「窓」と呼ばれる枠によって
取りだし、高速フーリェ変換(FTT)によって時間/
周波数変換が行われる。図6に、音圧波形のFTT後の
波形を示す。さらに、逆高速フーリェ変換(IFTT)
とFTTを行って、スペクトルデータを生成する。図7
に、図5(c)から生成されたスペクトルデーを示す。
この生成した分割単位のスペクトルデータを、予め登録
辞書ファイル34に登録されているスペクトルデータと
パターンマッチングし、これを分割数(=16)分だけ
繰り返して、一音声語の音声認識が行なわれる。なお、
隣接する分割域における音圧データの重複は整理され
る。
FIG. 5C shows an enlarged waveform diagram (schematic diagram) of the sound pressure waveform of one division. As shown, 1
The same waveform corresponding to the sound pressure data is continuously included. One wavelength of this same waveform is extracted by a frame called "window", and time / time is calculated by the fast Fourier transform (FTT).
Frequency conversion is performed. FIG. 6 shows a waveform of the sound pressure waveform after FTT. Furthermore, inverse fast Fourier transform (IFTT)
And FTT to generate spectral data. Figure 7
FIG. 5 shows the spectrum data generated from FIG.
The generated spectrum data of the division unit is pattern-matched with the spectrum data registered in the registration dictionary file 34 in advance, and this is repeated for the number of divisions (= 16) to perform voice recognition of one voice word. In addition,
Duplication of sound pressure data in adjacent divided areas is sorted out.

【0023】本実施例では、図2(b)に示す構成によ
り、音声認識処理部の登録処理を行う。登録辞書ファイ
ルの登録は、操作対象の名称(たとえば、「バルブ
1」)を表わす第1音声語と、操作内容を表わす第2音
声語(たとえば「開」)に分けて、スペクトルデータを
登録する。図8に、登録辞書ファイルの登録データのフ
ォーマットを示す。
In this embodiment, the registration processing of the voice recognition processing section is performed by the configuration shown in FIG. 2 (b). The registration of the registration dictionary file is performed by dividing the first voice word indicating the name of the operation target (for example, “valve 1”) and the second voice word indicating the operation content (for example, “open”) into the spectral data. . FIG. 8 shows a format of registration data of the registration dictionary file.

【0024】さらに、第1音声語の登録結果を話者別に
分類し、話者音声情報ファイル36へ登録する。図9
に、話者音声情報ファイルの登録データのフォーマット
を示す。図示のように、同じ第1音声語について、登録
オペレータのスペクトルデータが格納される。同一話者
による登録データは、一語に対して平常状態で複数回の
入力を行い、それぞれによるスペクトルデータを平均化
したものである。
Further, the registration result of the first voice word is classified for each speaker and registered in the speaker voice information file 36. FIG.
Shows the format of the registration data of the speaker voice information file. As shown, the spectral data of the registered operator is stored for the same first phonetic word. The registration data by the same speaker is obtained by averaging spectral data obtained by inputting one word a plurality of times in a normal state.

【0025】次に、オペレータ状態判断部の登録処理を
説明する。この処理は、図4(b)の構成によって行わ
れる。オペレータが登録した第1音声語の長さには、一
般にあまり差がない。登録処理中のデータ変換部2で
は、登録のための複数の第1音声語の中から最大音圧、
最高周波数、最短発音時間を抽出する。オペレータ状態
判断部4のデータ分配部41は、登録されたオペレータ
IDに対応させながら、それぞれ音圧情報データファイ
ル46、周波数情報データファイル47、発音時間情報
データファイル47に登録する。図10(a)〜(c)
に、これら登録データのフォーマットを示す。
Next, the registration process of the operator status judgment unit will be described. This processing is performed by the configuration of FIG. There is generally not much difference in the length of the first phonetic word registered by the operator. In the data conversion unit 2 during the registration process, the maximum sound pressure among the plurality of first voice words for registration,
The highest frequency and the shortest pronunciation time are extracted. The data distribution unit 41 of the operator status determination unit 4 registers the sound pressure information data file 46, the frequency information data file 47, and the sounding time information data file 47 in association with the registered operator ID. 10 (a) to (c)
Shows the format of these registration data.

【0026】次に、本オペレータ支援システムの運転動
作を、図11のフローチャートにしたがって説明する。
Next, the operation of the operator support system will be described with reference to the flow chart of FIG.

【0027】プラントの運転中に、特定の機器に対する
操作が必要となったとき、オペレータはマイク6を通
じ、例えば「バルブ1」、「閉」と命令する(s10
1)。1命令中の第1音声語と第2音声語の間は、両音
声語の区切りを認識するために、語を区切る程度の短い
休止期間を設ける。入力された命令音声語の電圧信号
は、データ変換部2で、第1音声語と第2音声語が音圧
データに変換され、また、第1音声語最大音圧、最高周
波数及び発音時間が抽出される(s102)。第1音声
語と第2音声語の音圧データは、音声認識処理部3で上
述のように分割スペクトルによるパターンマッチングが
繰り返されて命令語の音声認識が行われる。さらに、第
1音声語のスペクトルによる話者パターンマッチングが
行われて、命令を発声したオペレータの認識が行われる
(s103)。
When it is necessary to operate a specific device during the operation of the plant, the operator gives a command through the microphone 6 to, for example, "valve 1" and "close" (s10).
1). Between the first voice word and the second voice word in one command, in order to recognize the breaks between the two voice words, a short pause period is provided for separating the words. The voltage signal of the input command voice word is converted into sound pressure data of the first voice word and the second voice word by the data converter 2, and the maximum voice pressure of the first voice word, the maximum frequency and the pronunciation time. It is extracted (s102). The sound pressure data of the first voice word and the second voice word are subjected to pattern matching by the divided spectrum as described above in the voice recognition processing unit 3 to perform voice recognition of the command word. Furthermore, speaker pattern matching is performed using the spectrum of the first voice word, and the operator who issued the command is recognized (s103).

【0028】次に、オペレータ状態判断部4は、データ
変換部2からの第1音声語の最大音圧、最高周波数及び
発音時間と、音声認識処理部3からの話者認識結果を取
り込み、該当オペレータの登録データに基づく音圧比
較、周波数比較及び発音時間比較を行い(s104)、
これらの比較結果によってオペレータ状態の判断を行う
(s105)。
Next, the operator state judging section 4 fetches the maximum sound pressure, the maximum frequency and the pronunciation time of the first voice word from the data converting section 2 and the speaker recognition result from the voice recognition processing section 3, and applies the result. Sound pressure comparison, frequency comparison and sounding time comparison based on operator registration data are performed (s104),
The operator status is determined based on the comparison results (s105).

【0029】一般に、平常な心理状態に比べ、オペレー
タが緊張などによる異常な心理状態にあるときは、音声
語の音圧が大きく、周波数が高まり、発音時間が短くな
る。しかし、個人差や周囲の状態による誤差もあるの
で、本実施例においては、音圧は平常時の最大値の2
倍、周波数は正常時の最高値の10%、発音時間は平常
時の平均時間の30%減を閾い値とし、これを超えると
き「異常」を示す出力(1)を行い、それ以外の場合は
出力(0)しない。心理状態判定部45は、各比較部4
2〜44の出力を入力し、2以上の入力があれば「オペ
レータ状態:異常」と判定する。なお、音圧比較など特
定の出力を必要条件とするようにしてもよい。
In general, when the operator is in an abnormal psychological state due to tension or the like, the sound pressure of the voice word is high, the frequency is high, and the pronunciation time is short, as compared with the normal psychological state. However, since there are errors due to individual differences and surrounding conditions, in this embodiment, the sound pressure is 2 which is the maximum value during normal times.
The frequency is 10% of the maximum value under normal conditions, and the sounding time is 30% of the average time during normal times as threshold values. When this value is exceeded, an output (1) indicating "abnormal" is output and other values are output. If it is not output (0). The psychological state determination unit 45 includes the comparison units 4
Outputs 2 to 44 are input, and if there are two or more inputs, it is determined as "operator state: abnormal". A specific output such as sound pressure comparison may be set as a necessary condition.

【0030】次に、支援処理出力部5は、オペレータ状
態の判断結果が「正常」であれば、音声認識処理部3か
ら受け取った音声命令通りの出力処理を行う(s10
8)。一方、判断結果が「異常」であれば、プラント状
態検出部の所定データに基づいて、プラント状態の判定
を行う(s106)。プラントが正常であれば、s10
8に移行して音声命令通りの出力処理を行う。しかし、
プラントが異常であれば、オペレーション登録ファイル
53を参照して、該当する所定内容の支援処理を行う
(s107)。
Next, if the judgment result of the operator state is "normal", the support processing output section 5 performs the output processing according to the voice command received from the voice recognition processing section 3 (s10).
8). On the other hand, if the determination result is "abnormal", the plant state is determined based on the predetermined data of the plant state detection unit (s106). If the plant is normal, s10
Then, the processing shifts to 8 and the output processing according to the voice command is performed. But,
If the plant is abnormal, the operation registration file 53 is referred to, and support processing of the corresponding predetermined content is performed (s107).

【0031】支援処理の内容は、プラントの構成や動特
性に応じてケースバイケースとなる。たとえば、プラン
トが系統1と系統2から構成されて、系統1が異常な場
合は「系統1の異常時はバルブ1、バルブ2、バルブ3
の順序に閉じる」ように、オペレーション登録ファイル
53に登録されているものとする。系統1と系統2がと
もに正常な場合は、音声認識された命令通りの処理内
容、「バルブ1、閉」が、PI/O8を介してバルブ1
の操作端に出力される。
The contents of the support processing are on a case-by-case basis according to the configuration and dynamic characteristics of the plant. For example, if the plant is composed of system 1 and system 2, and system 1 is abnormal, "when system 1 is abnormal, valve 1, valve 2, valve 3
Are registered in the operation registration file 53. When both the system 1 and the system 2 are normal, the processing content as instructed by the voice recognition, “valve 1, closed”, is transmitted to the valve 1 via the PI / O 8.
Is output to the operation end of.

【0032】一方、オペレータの心理状態が「異常」と
判断され、系統1に異常の発生している場合は、オペレ
ーション登録ファイル53の「バルブ1、バルブ2、バ
ルブ3の順序に閉じる」を参照し、「バルブ1、閉」の
出力に続いて「次はバルブ2を閉じる」をモニタに指示
する。もし、このときの命令が「系統2、入力」と音声
認識されていれば、オペレーション登録ファイル53の
参照によって「命令の誤り」を確認できるので、「バル
ブ1を閉じよ」をモニタやスピーカを通じて指示すると
ともに、系統2に関する入力を禁止する。さらに、オペ
レータに「落ち着いて、指示通りに操作せよ」などとガ
イダンスすることも可能である。
On the other hand, if the psychological state of the operator is judged to be "abnormal" and an abnormality occurs in system 1, refer to "close valve 1, valve 2, valve 3 in this order" in operation registration file 53. Then, the monitor is instructed to "close valve 2" next to the output of "valve 1 closed". If the command at this time is voice-recognized as “system 2, input”, the “command error” can be confirmed by referring to the operation registration file 53, and “close valve 1” can be checked through the monitor or speaker. Instruct and prohibit input for system 2. Furthermore, it is possible to give guidance to the operator, such as "Please be calm and operate according to the instructions."

【0033】本実施例によれば、オペレータの心理状態
を音声入力から判定し、オペレータがプラント異常など
によって平常心を失っている場合には、操作手順をガイ
ダンスしたり、誤操作をキャンセルして正しい操作を指
示したりすることができるので、未熟練者等の運転を的
確に支援でき、プラントの重大事故発生を防止できる。
なお、上記の例ではオペレータ状態とプラント状態がと
もに異常の場合にのみ支援処理を行っているが、プラン
トが正常な場合でもオペレータ状態が異常な場合には必
要な支援処理を行うようにしてもよい。
According to the present embodiment, the psychological state of the operator is judged from the voice input, and when the operator loses his normal spirit due to the plant abnormality or the like, the operation procedure is guided or the erroneous operation is canceled to make the correct operation. Since it is possible to instruct the operation, it is possible to accurately support the operation of an unskilled person or the like and prevent the occurrence of a serious accident in the plant.
In the above example, the support processing is performed only when both the operator status and the plant status are abnormal, but even if the plant is normal, the necessary support processing may be performed when the operator status is abnormal. Good.

【0034】[0034]

【発明の効果】本発明によれば、プラントの異常等によ
って、オペレータが極度に緊張したり慌てたりしている
場合に、運転操作するオペレータの音声入力からその心
理状態を判断できるので、異常な心理状態にある場合は
必要な操作支援を行うことができ、未熟練なオペレータ
にも操作が容易にできる効果がある。
According to the present invention, when the operator is extremely nervous or frustrated due to a plant abnormality or the like, the psychological state of the operator can be judged from the voice input of the operator who operates the driving machine. When the user is in a psychological state, the necessary operation support can be provided, and even an unskilled operator can easily perform the operation.

【0035】本発明によれば、プラントの異常や過渡応
答時の運転を、オペレータの心理状態に応じて支援でき
るので、プラントの安全運転を確保できる効果がある。
According to the present invention, the operation at the time of abnormal or transient response of the plant can be supported according to the psychological state of the operator, so that there is an effect that the safe operation of the plant can be secured.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の一実施例によるオペレータ支援システ
ムの構成図。
FIG. 1 is a configuration diagram of an operator support system according to an embodiment of the present invention.

【図2】音声認識処理部の構成図。FIG. 2 is a configuration diagram of a voice recognition processing unit.

【図3】オペレータ状態判断処理部の構成図。FIG. 3 is a configuration diagram of an operator status determination processing unit.

【図4】支援処理出力部の構成図。FIG. 4 is a configuration diagram of a support processing output unit.

【図5】音声語の波形分割を説明する音圧波形の模式
図。
FIG. 5 is a schematic diagram of a sound pressure waveform for explaining waveform division of a voice word.

【図6】1音圧データのFET処理による波形変換図。FIG. 6 is a waveform conversion diagram of FET processing of one sound pressure data.

【図7】1音圧データのスペクトル図。FIG. 7 is a spectrum diagram of one sound pressure data.

【図8】登録命令の第1音声語及び第2音声語の登録デ
ータ(スペクトル)のフォーマット図。
FIG. 8 is a format diagram of registration data (spectrum) of a first voice word and a second voice word of a registration command.

【図9】第1音声語にリンクした登録オペレータの登録
データ(スペクトル)のフォーマット図。
FIG. 9 is a format diagram of registration data (spectrum) of a registration operator linked to a first voice word.

【図10】オペレータ状態判断処理部の登録データのフ
ォーマット図。
FIG. 10 is a format diagram of registration data of an operator status determination processing unit.

【図11】オペレータ支援システムの支援動作の一例を
示すフローチャート。
FIG. 11 is a flowchart showing an example of a support operation of the operator support system.

【符号の説明】[Explanation of symbols]

1…オペレータ支援処理装置、2…データ変換部、3…
音声認識処理部、4…オペレータ状態判断部、5…支援
処理出力部、6…マイクロフォン、7…出力装置、8…
PI/O、31…音圧データ分割部、32…音圧スペク
トル変換部、33…音声認識パターンマッチング部、3
4…音声語の登録辞書ファイル、35…話者認識パター
ンマッチング部、36…話者音声登録ファイル、37…
認識結果出力部、41…データ分配部、42…音圧比較
部、43…周波数比較部、44…発音時間比較部、45
…心理状態判定部、46…音圧情報データファイル、4
7…周波数情報データファイル、48…発音時間情報デ
ータファイル、51…支援処理決定部、52…プラント
状態管理部、53…オペレーション登録データファイ
ル。
1 ... Operator support processing device, 2 ... Data conversion unit, 3 ...
Speech recognition processing unit, 4 ... Operator status determination unit, 5 ... Support processing output unit, 6 ... Microphone, 7 ... Output device, 8 ...
PI / O, 31 ... Sound pressure data division unit, 32 ... Sound pressure spectrum conversion unit, 33 ... Voice recognition pattern matching unit, 3
4 ... Voice word registration dictionary file, 35 ... Speaker recognition pattern matching unit, 36 ... Speaker voice registration file, 37 ...
Recognition result output unit, 41 ... Data distribution unit, 42 ... Sound pressure comparison unit, 43 ... Frequency comparison unit, 44 ... Sound generation time comparison unit, 45
... psychological state determination unit, 46 ... sound pressure information data file, 4
Reference numeral 7 ... Frequency information data file, 48 ... Pronunciation time information data file, 51 ... Support process determination unit, 52 ... Plant state management unit, 53 ... Operation registration data file.

───────────────────────────────────────────────────── フロントページの続き (72)発明者 室野井 博好 東京都港区海岸一丁目5番20号 東京瓦斯 株式会社内 (72)発明者 堀 哲也 東京都港区海岸一丁目5番20号 東京瓦斯 株式会社内 ─────────────────────────────────────────────────── ─── Continuation of front page (72) Inventor Hiroyoshi Muronoi 1-5-20 Kaigan, Minato-ku, Tokyo Within Tokyo Gas Co., Ltd. (72) Inventor Tetsuya Hori 1-5-20 Kaigan, Minato-ku, Tokyo Tokyo Gas Co., Ltd.

Claims (7)

【特許請求の範囲】[Claims] 【請求項1】 プラント等の機器の操作を音声入力によ
って行うオペレータの支援方法において、 前記音声入力の所定の信号成分からオペレータの心理状
態が平常か否かを判定し、平常でないと判定される場合
に、正しい操作を誘導するための所定支援を行うことを
特徴とするオペレータの支援方法。
1. A method of assisting an operator for operating equipment such as a plant by voice input, determining whether or not the psychological state of the operator is normal from a predetermined signal component of the voice input, and determining that the operator's psychological state is not normal. In this case, a method for assisting an operator, which is characterized by performing predetermined support for guiding a correct operation.
【請求項2】 請求項1において、 前記心理状態の判定は、前記音声入力による命令語の音
圧の最大値、周波数の最高値および発音時間の最短値を
抽出し、各々に関して予めオペレータ毎に記憶してある
登録データとそれぞれ比較し、2以上の比較結果で音声
入力の方が上回る場合に、当該オペレータの心理状態を
異常(平常でない)と判定することを特徴とするオペレ
ータの支援方法。
2. The determination of the psychological state according to claim 1, wherein the maximum value of the sound pressure, the maximum value of the frequency, and the minimum value of the sounding time of the command word by the voice input are extracted, and for each operator in advance. A method for assisting an operator, comprising comparing the stored registration data with each other, and determining that the psychological state of the operator is abnormal (not normal) when the voice input is higher than two comparison results.
【請求項3】 請求項1または2において、 操作対象となるプラント等の運転状態に応じた操作手順
を予め記憶し、前記所定支援は、該当する操作手順を参
照して、前記音声入力による命令語の正誤を判定し、正
しい場合には次の操作手順をガイダンスし、誤りの場合
には当該命令の処理を禁止するとともに、該当する操作
手順をガイダンスすることを特徴とするオペレータの支
援方法。
3. The operation procedure according to claim 1, wherein an operation procedure according to an operating state of a plant or the like to be operated is stored in advance, and the predetermined support refers to the corresponding operation procedure, and a command by the voice input. A method for assisting an operator, comprising determining whether a word is correct, guiding the next operation procedure if the word is correct, prohibiting processing of the command if the word is incorrect, and guiding the corresponding operation procedure.
【請求項4】 請求項1または2または3において、 前記音声入力による命令語とオペレータの認識は、音圧
波形をスペクトル変換して取得したパターンと、予め登
録されているパターンとのマッチングにより行うことを
特徴とするオペレータの支援方法。
4. The command word and operator recognition according to claim 1, 2 or 3, is performed by matching a pattern acquired by spectrally converting a sound pressure waveform with a pattern registered in advance. An operator support method characterized by the above.
【請求項5】 プラント等の機器の操作を音声入力する
マイクと、支援内容を出力するスピーカやモニタ等の出
力装置と、音声入力から認識した命令語に応じて支援内
容を決定するオペレータ支援処理装置を備えるオペレー
タの支援システムにおいて、 複数の命令語のパターンと該命令語にリンクした話者パ
ターンを記憶する登録ファイルを有し、音声入力からそ
の命令語のパターンを抽出して、前記登録ファイルの命
令語及び話者とパターンマッチングする音声認識処理部
と、 前記命令語の最大音圧、最高周波数及び最短発音時間の
各データを予めオペレータ名毎に記憶するデータファイ
ルを有し、前記音声信号の命令語から抽出された最大音
圧、最高周波数及び最短発音時間の各データと前記話者
認識によるオペレータ名を基に、前記データファイルの
各値とそれぞれ比較して、その比較結果よりオペレータ
の心理状態を判定するオペレータ状態判断処理部と、 前記音声入力から音声認識された命令語とオペレータ状
態の判定結果を入力し、オペレータの心理状態が平常で
ないと判定される場合に、正しい操作を誘導するための
所定支援を行う支援処理出力部と、を設けることを特徴
とするオペレータの支援システム。
5. A microphone for inputting an operation of equipment such as a plant by voice, an output device such as a speaker or a monitor for outputting support contents, and an operator support process for determining support contents according to a command word recognized from voice input. An operator support system including a device, which has a registration file for storing a plurality of command word patterns and a speaker pattern linked to the command words, extracts the command word pattern from voice input, and stores the registration file. The voice recognition processing unit that pattern-matches with the command word and the speaker, and has a data file that stores each data of the maximum sound pressure, the maximum frequency and the shortest sounding time of the command word in advance for each operator name, and the voice signal Based on the maximum sound pressure, the maximum frequency, and the shortest pronunciation time data extracted from the command words and the operator name by the speaker recognition, The operator state determination processing unit that determines the psychological state of the operator based on the comparison result by comparing each value of the operator file and the determination result of the command and the operator state that are voice recognized from the voice input, An assisting system for an operator, comprising: an assisting process output unit that provides a predetermined assist for guiding a correct operation when it is determined that the mental state is not normal.
【請求項6】 請求項5において、 前記支援処理出力部は、操作対象となるプラント等の異
常状態に応じた操作手順を予め記憶し、該プラント等の
異常状態が検出される場合に該当する操作手順を参照し
て、前記音声入力による操作の正誤を判定し、正しい場
合には次の操作手順をガイダンスし、誤りの場合には該
当する操作手順をガイダンスする支援を行うことを特徴
とするオペレータの支援システム。
6. The support process output unit according to claim 5, wherein the operation procedure according to an abnormal state of a plant or the like to be operated is stored in advance, and the abnormal state of the plant or the like is detected. It is characterized by determining whether the operation by the voice input is correct or incorrect by referring to the operation procedure, guiding the next operation procedure when the operation is correct, and assisting the corresponding operation procedure when the operation is incorrect. Operator support system.
【請求項7】 請求項5または6において、 前記音声認識処理部は、音声入力の音圧波形を複数に分
割し、分割波形毎にスペクトル変換した前記パターンを
生成する手段を有していることを特徴とするオペレータ
の支援システム。
7. The voice recognition processing unit according to claim 5, further comprising means for dividing the sound pressure waveform of the voice input into a plurality of parts, and generating the pattern by spectrum conversion for each divided waveform. A support system for operators.
JP8074341A 1996-03-28 1996-03-28 Supporting method and supporting system for operator Pending JPH09265378A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8074341A JPH09265378A (en) 1996-03-28 1996-03-28 Supporting method and supporting system for operator

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8074341A JPH09265378A (en) 1996-03-28 1996-03-28 Supporting method and supporting system for operator

Publications (1)

Publication Number Publication Date
JPH09265378A true JPH09265378A (en) 1997-10-07

Family

ID=13544334

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8074341A Pending JPH09265378A (en) 1996-03-28 1996-03-28 Supporting method and supporting system for operator

Country Status (1)

Country Link
JP (1) JPH09265378A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10143187A (en) * 1996-11-07 1998-05-29 Ricoh Co Ltd Work support system
JP2000189676A (en) * 1998-12-25 2000-07-11 Atlus Co Ltd Voice discriminable game device
JP2002509267A (en) * 1997-12-16 2002-03-26 アミール・リバーマン Emotion state detection device and method
JP2002202882A (en) * 2000-12-28 2002-07-19 Fujitsu Ltd Voice interaction system and voice information method
JP2006267464A (en) * 2005-03-23 2006-10-05 Tokyo Electric Power Co Inc:The Emotion analyzer, emotion analysis program and program storage medium
JP2009042671A (en) * 2007-08-10 2009-02-26 Kao Corp Method for determining feeling
JP2013206389A (en) * 2012-03-29 2013-10-07 Fujitsu Ltd Intimacy calculation method, intimacy calculation program and intimacy calculation device

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10143187A (en) * 1996-11-07 1998-05-29 Ricoh Co Ltd Work support system
JP2002509267A (en) * 1997-12-16 2002-03-26 アミール・リバーマン Emotion state detection device and method
JP2000189676A (en) * 1998-12-25 2000-07-11 Atlus Co Ltd Voice discriminable game device
JP2002202882A (en) * 2000-12-28 2002-07-19 Fujitsu Ltd Voice interaction system and voice information method
US7107217B2 (en) 2000-12-28 2006-09-12 Fujitsu Limited Voice interactive system and voice interactive method
JP2006267464A (en) * 2005-03-23 2006-10-05 Tokyo Electric Power Co Inc:The Emotion analyzer, emotion analysis program and program storage medium
JP4587854B2 (en) * 2005-03-23 2010-11-24 東京電力株式会社 Emotion analysis device, emotion analysis program, program storage medium
JP2009042671A (en) * 2007-08-10 2009-02-26 Kao Corp Method for determining feeling
JP2013206389A (en) * 2012-03-29 2013-10-07 Fujitsu Ltd Intimacy calculation method, intimacy calculation program and intimacy calculation device

Similar Documents

Publication Publication Date Title
Hukin et al. Testing an auditory model by resynthesis.
JP3280825B2 (en) Voice feature analyzer
JPH02163819A (en) Text processor
JPH08263097A (en) Method for recognition of word of speech and system for discrimination of word of speech
US6876964B1 (en) Apparatus for detecting fatigue and doze by voice, and recording medium
JPH09265378A (en) Supporting method and supporting system for operator
JPH08248971A (en) Text reading aloud and reading device
NO306360B1 (en) Speech signal processing apparatus and method
JP4677548B2 (en) Paralinguistic information detection apparatus and computer program
JP2004314750A (en) Vehicle instrument operation control device
Titone et al. Memory and encoding of spoken discourse following right hemisphere damage: Evidence from the auditory moving window (AMW) technique
JP2003334679A (en) Diagnosis system for laser welding
JP3588929B2 (en) Voice recognition device
JPH0566790A (en) Speech recognition method
JP2968976B2 (en) Voice recognition device
Liu Word fragments identification using acoustic-prosodic features in conversational speech
Bharadwaj et al. A Critical Study of the relation of Emotion and Stress from the Suprasegmental Features of an Assamese Emotional Spontaneous Speech
Scharf et al. The role of attention in speech perception
JP2672946B2 (en) Vocal training machine
JP2608702B2 (en) Speech section detection method in speech recognition
JP3065691B2 (en) Voice recognition device
KR19990087730A (en) Real-time speech recognition system for unspecified speakers and method thereof
Kwok et al. Machine recognition of the Cantonese digits using bandpass filters
Carrell Naturalness and intelligibility of amplitude modulated time‐varying sinusoidal speech
Ishi Analysis of autocorrelation-based parameters in Creaky voice