JPH05290101A - 連続音声認識処理方法およびその装置 - Google Patents

Abstract

(57)【要約】 【目的】 発話文章の認識率を改善し、使い易さも向上
させた連続音声認識処理方法およびその装置を得る。 【構成】 プラント機能階層化モデル、運転操作知識ベ
ース、および対話履歴知識ベースを利用して常時プラン
トデータの評価を行い、運転員の注目範囲を絞り込んで
運転員の発話時の発話の目的や内容を決定し、音声認識
部の生成した複数の認識文章候補それぞれの発話の目的
や内容を抽出して、前記注目範囲の絞り込みにて決定し
た発話の目的や内容と比較し、最終認識文章の決定を行
う。 【効果】 運転員によるプラントの運転状況も考慮した
認識文章の決定が行われ、高精度で認識可能で、プラン
ト監視操作盤などの運転操作性も改善できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、大規模プラントシス
テムの監視操作盤や中央制御盤のマンマシンインタフェ
ースに組み込まれる連続音声認識処理方法およびその装
置、特にその音声認識率の向上に関するものである。

【０００２】

【従来の技術】図４は例えば、日本原子力学会１９９０
年会予稿集Ａ１０「ＰＷＲプラントマンマシンシステム
の開発（４）−マンマシンインタフェースへの音声入力
の適用−」に示された従来の連続音声認識処理方法およ
びその装置を示すシステム構成図である。図において、
１は運転員が当該システムに指令する発話文章が入力さ
れる、マイクロホンなどによる音声入力部である。２は
入力された発話文章から音響パラメータを抽出する音響
分析部である。３は認識対象の単語として予め登録した
単語パターンである音響知識（以下単語テンプレートと
いう）を格納する音響知識記憶部である。４は音響パラ
メータと単語テンプレートのパターンマッチングを行
い、発話文章から認識単語候補を抽出するパターンマッ
チング部である。５は対象となるタスクに表れる単語
（ユーザが入力する可能性のある単語）の関連関係をネ
ットワークとして表現した知識である構文知識（以下構
文ネットワークという）を格納した構文知識記憶部であ
る。６は構文ネットワークを用い、単語候補から構文的
に意味のある単語列の探索を行い、音響的類似度の高い
順に優先度付けした複数の認識文章候補を認識結果とし
て出力する構文処理部である。７は押しボタン等からな
り、運転員の押ボタン等の操作によってプラントへの指
令が入力される指示入力部である。８は音声入力部１か
らの音声入力と指示入力部７からの指令入力の結果を統
一したフォーマットで取扱い、質問入力を管理するマン
マシンインタフェース管理部である。

【０００３】次に動作について説明する。音声入力部１
より入力された発話文章音響分析部２によって音響的特
徴が分析され、音響パラメータに変換される。パターン
マッチング部４では音響知識記憶部３に登録された単語
テンプレートとその音響パラメータをパターンマッチン
グさせ、音声入力された文章で使用されている単語を単
語候補として抽出する。従って、このように音声認識の
基本単位として単語を用いる音声認識方式の場合、単語
の音響パラメータを単語テンプレートして予め音響知識
記憶部３に登録しておく必要がある。入力音声の音響的
特徴量のみでは、単語の境界がわからないこと、また、
音声は発生する度にその時間構造が異なることから入力
音声の任意の部分パターンと、登録されているすべての
単語テンプレートとの間で非線形時間軸伸縮によるパタ
ーンマッチングを行う。特に、連続音声では上記のよう
に単語境界がわからないこと、また前後の音の影響で音
響的特徴が大きく異なることから、パターンマッチング
により得られる音響的な類似度により単語の候補を挙げ
ると非常に多くの候補が検出されることになる。このよ
うにパターンマッチングにより得られた単語候補から音
響的な類似度のみの基準で認識結果をとらえることは不
可能である。

【０００４】このため、構文処理部６では単語候補に対
して、構文知識記憶部５に格納された構文ネットワーク
を用い、構文的に意味のある単語列の探索を行う。単語
列の検索においては、単語候補の時間的な接続検定（時
間軸上で隣接する単語かどうか）も同時に行い、複数の
単語列（文章）候補を優先順位を付けて出力する。ここ
で使用する構文ネットワークは日本語の会話文の一般的
な文法規則ではなく、対象となるタスクに表れる文章を
網羅的に単語の連接関係としてネットワーク表現したも
のである。従って、システムを構築する際に、システム
の処理内容とそれに対し発声されうる（発声を許す）文
章を検討し、事前に作成する必要がある。この構文ネッ
トワークの一例を図５に示す。図示の例によれば、例え
ば、「加圧器」と言う単語に対しては「圧力、水位」ま
たは「逃がし」と言う単語が構文的に接続されることを
示している。従って、「トレンド」と言う単語は接続さ
れないため、「加圧器トレンド」と言う発話は意味をな
さない（音響的に認識されても構文的に認識されな
い）。なお、このように比較的負荷の重い構文処理部６
は並列処理を適用することによって、音声認識処理の実
時間性の実現を図っている。

【０００５】

【発明が解決しようとする課題】従来の連続音声認識方
法およびその装置は以上のように構成されているので、
音声認識の基本単位が単語であり、予め登録した文章
（単語の連接関係）とのパターンマッチング及び予め登
録した発話文章候補との構文チェックにより発話内容の
認識を行うため、ある１つの発話に対して音響的類似度
の高いものから順に複数の文章候補を生成する場合があ
り、そのため、現状では認識文章候補として音響的類似
度の一番高いもののみ出力し、運転員の不明確、不確か
な発話により誤認識を行った場合、再度入力させるなど
の方法をとる必要があり、認識率が低く、操作性も良く
ないなどの問題点があった。

【０００６】この発明は上記のような問題点を解消する
ためになされたものであり、発話文章の認識率を改善
し、さらに使い易さも向上させた連続音声認識処理方法
およびその装置を得ることを目的とする。

【０００７】

【課題を解決するための手段】請求項１に記載の発明に
係る連続音声認識処理方法は、プラント機能の因果関係
を表現したプラント機能階層化モデルの各プラント機能
の異常状態をプロセス量を用いて評価するとともに、運
転操作等に関する様々な知識を格納した運転操作知識ベ
ースを用いて異常状態範囲の絞り込みを行い、絞り込ま
れた範囲内において異常の第一原因判明の有無、および
対応操作の実施の有無の情報を用いて、運転員の発話時
における発話の目的や内容を推定し、入力された運転員
の発話文章の音声認識処理を単語を音声認識の基本単位
として行い、複数の認識文章候補を生成する音声認識部
にて構文処理された複数の認識文章候補を取り込んで、
それまでのシステムと運転員との対話の履歴を格納した
対話履歴情報、発話文章とプラント機能階層化モデルと
の対応関係、および発話文章（単語）と発話の目的との
対応関係を用いて文章候補から発話の目的や内容を推定
し、それを前記異常状態範囲の絞り込みによってシステ
ムが推定した結果と比較して、発話の目的や内容が一致
または類似度の高いものを検索するものである。

【０００８】また、請求項２に記載の発明に係る連続音
声認識処理装置は、従来装置を基本とする音声認識部
に、プラント機能階層化モデルを格納したプラント機能
階層化モデル記憶部、運転操作知識ベースを格納した運
転操作知識記憶部、対話履歴知識ベースを格納した対話
履歴知識記憶部、プラントデータを常時取り込み、プラ
ント機能階層化モデルの要素である各プラント機能の異
常状態を評価し、運転操作知識ベースを用いて異常状態
範囲の絞り込みを行って運転員の行うタスクを推定し、
運転員の発話時における発話の目的や内容を決定するプ
ラント状態把握処理部、および、前記音声認識部が生成
した複数の認識文章候補についても、対話履歴知識ベー
ス、発話文章とプラント機能階層化モデルとの対応関
係、発話文章あるいは発話単語と発話の目的との対応関
係をもとにそれぞれの発話の目的や内容を抽出し、それ
らを比較して各認識文章候補の中から運転員の発話時に
おける発話の目的や内容と一致もしくは類似度の高い認
識文章候補を選択する文章理解処理部を付加したもので
ある。

【０００９】

【作用】請求項１に記載の発明における連続音声認識処
理方法は、プロセス量を用いて評価したプラント機能階
層化モデルの各プラント機能の異常状態の範囲を、運転
操作知識ベースを用いて絞り込み、その絞り込まれた範
囲内にて運転員の発話時の発話の目的や内容を推定し、
その結果を、音声認識部の構文処理にて複数得られた認
識文章候補の、対話履歴知識ベースや発話文章とプラン
ト機能階層化モデルとの対応より推定された発話の目的
や内容と比較し、発話の目的や内容が一致または類似度
の高いものを探索することにより、複数得られた前記認
識文章候補の中から、運転員の発話に対する最終認識文
章の決定、および認識文章候補間の優先順位を最適化す
る。

【００１０】また、請求項２に記載の発明における文章
理解処理部は、プラントからのデータに対応させた評価
によって、異常となっているプラント機能階層化モデル
上の位置および各プラント機能の機能喪失状態を同定
し、運転員の注目している領域を絞り込んで運転員の行
うタスクを推定しているプラント状態把握処理部の決定
した、運転員の発話時における発話の目的や内容を、音
声認識部からの複数の認識文章候補について、タイム履
歴知識ベースの履歴情報、発話文章とプラント機能階層
化モデルとの対応関係、発話文章あるいは発話単語と発
話の目的との対応関係をもとに抽出した各認識文章候補
ごとの発話の目的や内容と比較し、各認識文章候補の中
から運転員の発話時における発話の目的や内容と一致も
しくは類似度の高い認識文章候補を選択することによ
り、使い易く、発話文章の認識率も高い連続音声認識処
理装置を実現する。

【００１１】

【実施例】

実施例１．以下、この発明の実施例１を図について説明
する。図１において、１は音声入力部、２は音響分析
部、３は音響知識記憶部、４はパターンマッチング部、
５は構文知識記憶部、６は構文処理部、７は指示入力
部、８はマンマシンインタフェース管理部であり、図４
に同一符号を付した従来のそれらと同一、あるいは相当
部分であるため詳細な説明は省略する。また、９は前記
音響分析部２、音響知識記憶部３、パターンマッチング
部４、構文知識記憶部５、および構文処理部６にて構成
された、音声認識の基本単位が単語である、従来装置と
同等の音声認識部である。

【００１２】また、１０はプラントであり、１１は各プ
ラントの運転モードに於て、運転員が達成すべきフラン
ト運転目標を頂点とし、これを維持するための機能とそ
の実現手段を体系的に表現し階層的に記述したプラント
機能階層化モデルを格納しているプラント機能階層化モ
デル記憶部である。１２は運転要領書に記述された知識
及びプラント運転員が運転操作に関して持つ経験的知識
を抽出した運転操作知識ベースを格納している運転操作
知識記憶部である。１３は発話文章とプラント機能階層
化モデルとの対応関係、発話文章（単語）と発話の目的
との対応関係や、運転員とシステムとの対話の記録であ
る対話履歴知識ベースを格納している対話履歴知識記憶
部である。１４は常時プラント１０よりデータを取り込
み、プラント機能階層化モデルの要素である各プラント
機能の異常状態の評価を実行し、運転操作知識記憶部１
２に格納された運転操作知識ベースに基づいて、異常状
態範囲を絞り込みを行い、運転員の行うタスクを推定し
て、運転員の発話時における発話の目的や内容を決定す
るプラント状態把握処理部である。１５は運転員とシス
テムとの対話の履歴を対話履歴知識ベースとして対話履
歴知識記憶部１３に格納するとともに、音声認識部９が
生成した複数の認識文章候補についても対話履歴知識ベ
ース、発話文章とプラント機能階層化モデルとの対応関
係及び発話文章（単語）と発話の目的との対応関係をも
とに、各々の発話の目的や内容を抽出し、その両者を比
較することにより、複数の認識文章候補の中から運転員
の発話時の目的や内容と一致または類似度の高い認識文
章候補を選択する発話文章の理解処理を行なう文章理解
処理部である。

【００１３】次にこの発明の実現のためのベースとな
る、プラント機能階層化モデル記憶部１１に格納された
プラント機能階層化モデルと、運転操作知識記憶部１２
に格納された運転操作知識ベースについて説明する。ま
ず、プラント機能階層化モデルは、運転員がプラント１
０に対して持つ機能イメージを知識ベースとして具現化
したものである。プラント１０の各運転モード（例え
ば、ＰＷＲ型原子力発電プラントの場合、出力運転状態
維持・温態停止状態維持・冷態停止状態維持）におい
て、運転員が達成すべきプラント運転目標を頂点とし、
これを維持するための機能とその実現手段をその重要度
に従って体系的に構造化し、階層的に記述したものであ
る。最上位にはプラント運転目標が位置し、以下、その
機能を維持するための運転上の諸機能が運転操作と関連
付けて下位側に展開される。また、かかるプラント機能
階層化モデルでは、プラントの各機能目標は階層構造の
節（ユニット）として表現されており、各ユニット間を
結ぶ枝（ブランチ）は結ばれたユニット間に機能的支配
関係があることを示している。従って、プラント機能階
層化モデルの上位ユニットと下位ユニットとの間の関係
には次の点が考慮されている。

【００１４】ａ．上位ユニットは、下位ユニットが達成
すべき目標（あるいは上位機能）を表わし、逆に下位ユ
ニットは上位ユニットを達成するための支援機能（ある
いは下位機能）を表わす。 ｂ．上位ユニットは抽象性が高く下位ユニットを包括し
た上位概念を表わし、逆に、下位ユニットは具体性が高
く上位ユニットを具体化した下位概念を表わす。 ｃ．上位ユニットは深層防御におけるより深い機能を表
わし、下位ユニットはより浅い防御機能を表わす。

【００１５】特に、種々のプラント状態下において、運
転員が中央制御室において実施する対応操作を念頭に入
れ、プラント機能・設計等の情報を用いて構成する図２
に、ＰＷＲ型原子力発電プラントを対象とした出力運転
状態維持に関するプラント機能階層化モデルの例を示
す。出力運転状態を維持するためには、炉心出力の制
御、炉心出力分布の制御、一次冷却材保有量の制御、炉
心熱除去機能の制御、一次冷却系の健全性確保、ヒート
シンクの制御、電気エネルギーへの変換等が本質的な機
能であり、これらが次のレベルの機能目標となる。一般
的には、これらはクリティカル アベイラビリティ フ
ァンクション（Ｃｒｉｔｉｃａｌ Ａｖａｉｌａｂｉｌ
ｉｔｙ Ｆｕｎｃｔｉｏｎｓ）として知られている。更
に、ヒートシンク制御に関しては、蒸気流量制御及びＳ
Ｇ保有水維持が支援機能であり、この２つの機能が次の
レベルの機能目標となる。以下、各機能に応じて、検出
器・制御器・弁・配管等の設備／機器レベルまで順次展
開される。

【００１６】ここで、ある機器が故障し、それを放置す
るとその影響が波及して、順次上位の機能が維持できな
くなりやがては最上位にまで到達して、プラントトリッ
プに至る。この意味でプラント機能階層化モデルは異常
の波及の様子を表現しているとも見なせる。図中、各機
能間が関係づけられているが、これは異常の波及パスを
示している。従って、上位の機能、例えば加圧器圧力制
御機能が侵害されているとすると、その下位の機能群の
中に原因候補があると予想される。

【００１７】一方、運転操作知識ベースは、運転員の運
転経験から得られたプラント運転ノウハウやその行動様
式を運転員との直接インタビュー等により抽出したり、
運転要領書に記述されている運転操作に関する知識をも
とめたもので、条件（ｉｆ）及び実行（ｔｈｅｎ）形式
により構成された次の３つのルールからなる。

【００１８】運転目標決定ルール プロセス量やプラント１０に発生した警報から、維持す
べき運転モード（出力運転、温態停止、冷態停止）を決
定し、以下の処理で使用する監視すべきプラント機能階
層化モデルを選択する。 （例） ｉｆ ＳＩ信号：発生 ｔｈｅｎ プラント機能階層化モデル：冷態停止維持用
選択 注目範囲推定ルール プラント１０の異常徴候情報（プロセス量の閾値計算、
プラント１０に発生した警報及び各種診断機能からの診
断結果）から運転員はどこを優先して注目すべきかを推
定する。即ち、運転員が最優先にて注目すべきである領
域と考えられるプラント機能階層化モデル上の機能範囲
（サブセット）を抽出する。 （例） ｉｆ ユニット“加圧器圧力制御”及びユ
ニット“加圧器水位制御”：機能低下 ＆ 放射線モニタ：徴候あり ｔｈｅｎ ユニット“加圧器水位制御”：優先度の高い
注目範囲 運転員のタスク推定ルール 絞り込まれたプラント状態、原因判明の有無、操作の実
施状況から運転員のタスク（運転員の意図）を推定す
る。 （例） ｉｆ プラント機能階層化モデルの下位側
のみ：異常検知 ＆ 異常原因：未同定 ＆ 直ちに行う操作：実施済み ｔｈｅｎ 運転員のタスク：原因同定（絞り込まれた範
囲を対象）

【００１９】次に本発明の動作について説明する。プラ
ント状態把握処理部１４はプラント１０より診断実行周
期毎にプロセス量を取り込み、プラント機能階層化モデ
ル記憶部１１に格納されている複数のプラント機能階層
化モデルの中から、適切なプラント機能階層化モデルを
１つ選択するとともに、そのモデルの要素である各プラ
ント機能の異常状態を動特性モデルおよび異常原因を特
徴付けるプロセス量を用いて評価する。特に、多重性の
ある検出器の場合は多数決原理、制御器・フィルター等
の機器についてはモデル比較法を用いて評価する。次い
で、プラント状態把握処理部１４では、プラント機能階
層化モデルと実際にプラント１０で発生している現象を
評価した結果とを対比させて、プラント機能階層化モデ
ル上での異常の進展状況（現在の異常事象が本モデルの
どの階層レベルに属するか）、および異常の程度の分析
を行い、当該モデル上での異常状態範囲を絞り込むとと
もに、この状態において運転員の行なうタスクを推定す
る。この時、運転操作知識記憶部１２に格納されている
運転操作知識ベースを用いる。この運転操作知識ベース
のルールは、基本的にＩＦ〜ＴＨＥＮ型で記述されてお
り、ルールとのマッチングを行うことにより適用され
る。

【００２０】この運転操作知識ベースを使用したプラン
ト状態把握処理部１４の処理は以下の（１）〜（３）に
示す通りである。 （１）運転目標決定 プラント機能階層化モデルは、図２に示すように維持機
能目標を頂点とし、それを支援する機能関係を階層的に
記述したものであることから、プラント状態把握処理部
１４は現在のプロセス量を取り込み、運転操作知識ベー
スの運転目標決定ルールに従い、どのプラント機能階層
化モデルを使用するか決定する。前述の例では、ＳＩ信
号が発生していれば、冷態停止維持用プラント機能階層
化モデルを選択する。

【００２１】（２）注目範囲推定 異常発生時において、運転員はまず発生した警報（異
常）をすべて監視の対象として位置付け、その中から監
視すべき情報を優先度を考慮して選択、判断している。
ここでの処理は、このような運転員の行動様式を以下の
手順で実現する。 選択されたプラント機能階層化モデルの各ユニット
についてプラント状態把握処理部１４による評価結果を
取り込む。プラント機能階層化モデルの各ユニットの
内、活性化されたユニット（ユニット評価により機能が
喪失していると判定されたユニット）を運転員の注目の
対象として抽出する。機器の故障や事故等により異常と
なっているユニット（活性化ユニット）は監視すべき範
囲内のユニットの少なくとも１つであることから、異常
となっているユニットを頂点とし、図３に示すように下
位側への末広がりの領域（三角形）を定義する。 プラント機能階層化モデルの構造的特徴に基づき、モ
デルの上位側ほど重要度が高いから、活性化されている
ユニットの内、上位側のユニットの監視を優先する。従
って、ユニット間の位置的包含関連を調べ、注目範囲推
定領域に包含関係が成立する場合、注目範囲推定領域を
より包括的な観点から定める。例えば警報「加圧器水位
偏差大」と警報「加圧器水位低」が発信されたなら、運
転員は「加圧器水位低」に関連する情報に注目範囲を移
すことに相当する。 図３に示すように、プラント状態に応じて運転員の注
目範囲は一般に単一ではないため、複数の注目範囲を扱
う必要がある。このため、複数の注目範囲推定領域の優
先順位は、前述の注目範囲推定ルールを用いて優先度を
決定する。例えば、図３では、ユニットＢ，Ｃ，Ｅが異
常の場合、ユニットＢ，Ｃが階層関係を持つので、ユニ
ットＣはユニットＢの焦点領域内に含まれることにな
る。また、ユニットＢの方がユニットＥより優先度が高
いとすると、ユニットＢを頂点とする注目範囲が優先度
が高い。これによって、運転員が注目すべき領域の枠組
みと順位付けが決定される。

【００２２】（３）運転員のタスク推定 注目範囲が定まると、絞り込まれたプラント状態から監
視、原因同定、対応操作等の運転員の行うタスクを前述
の運転員のタスク推定ルールに基づき推定する。前述の
例では、異常の波及状況が軽微な場合、プラント１０の
異常原因が同定できていないが、直ちに実施する対応操
作が実施済みであれば、運転員は次のタスクとして絞り
込まれた範囲内の原因候補に対して、原因同定を実施す
ることが推定されることを示している。

【００２３】以上の処理により、プラントの絞り込まれ
た異常状態及びその状態下における運転員のタスクが決
定される。この結果は（内容、タスクの種類）と言う２
つ組で記録される。

【００２４】次に、文章理解処理部１５にて発話文章の
理解処理を行なう。まず、この文章理解処理部１５では
運転員とシステムとの対話を管理し、その履歴を対話履
歴知識ベースとして対話履歴知識記憶部１３に格納する
と共に、この格納された対話履歴、発話文章とプラント
機能階層化モデルとの対応関係及び発話文章（単語）と
発話の目的との対応関係をもとに、音声認識部９が生成
した複数の認識文章候補について、以下の考え方で各候
補毎の発話の目的や内容を抽出する。

【００２５】即ち、音声により「加圧器圧力制御系系統
図表示せよ。」と発話した時、音声認識部９ではマイク
ロフォンを介して送られてきた運転員の発話を認識し、
認識文章候補として、例えば、次の表１に示すフォーマ
ットの４つの組（“加圧器圧力制御系”，“系統図”，
“＊”，“表示せよ”）で表現することにより、運転員
の発話文章からキーワードを抽出する。

【００２６】

【表１】

【００２７】運転員の発話文章とプラント機能階層化モ
デルの要素であるプラント機能との対応を記述した対応
表を、発話入力される可能性のあるものすべてについて
あらかじめ作成しておき、登録したデータベースをもと
に、入力された文章に対応するプラント機能可能性モデ
ルのプラント機能を求める。このデータベースの一例を
表２として次に示す。

【００２８】

【表２】

【００２９】また、発話文章の中の指示（疑問）にあた
る部分は「表示せよ」，「示せ」等の単語の場合、発話
目的は「確認」であること、また「異常か」，「発生
か」等の単語の場合は「原因同定」であることを示すこ
とは自明である。従って、音声認識部９への発話入力可
能な単語をあらかじめ分類し、入力単語と発話の目的と
の対応として作成しておくことにより、発話の目的が類
推できる。これらのことから本例である「加圧器圧力制
御系系統図表示せよ。」と言う発話は、運転員が加圧器
圧力制御系に関して「確認」のタスクを実施していると
考えられる。

【００３０】これらの結果は対話の履歴として（内容、
タスクの種類）、即ち（加圧器圧力制御系、確認）と言
う２つ組で時系列情報として対話履歴知識ベースに格納
される。認識文章の最終決定は単一の発話文章だけで行
うのではなく、対話履歴知識ベースに格納されたこれら
の対話履歴を利用することにより、話題の文脈（運転員
のタスクは確認→原因同定→対応操作→確認と言うタス
クの大きな流れを持つこと）および運転員の注目してい
る領域が推定されていることを考慮し、総合的に決定す
る。ただし、特別なキーワードを発話入力することによ
り、これまでの対話履歴をクリアーできるものとする。
なお、複数の認識文章候補が得られた場合、それぞれ個
別に上記処理を実施する。

【００３１】次に、プラント状態把握処理部１４が推定
した結果とこの文章理解処理部１５が推論した結果を比
較することにより、複数の認識文章候補の中から運転員
の発話時の目的や内容と一致または類似度の高い認識文
章候補を探索し、最終認識文章の決定及び認識文章候補
間の優先順位を最適化する。この結果を次のマンマシン
インタフェース管理部８に送る。

【００３２】実施例２．なお、上記実施例では、ＰＷＲ
型原子力発電プラントに適用した場合のプラント機能階
層化モデルについて説明したが、他の炉型や原子力プラ
ント以外の他のプラントに適用してもよく、上記実施例
と同じく、プラント機能に関するモデルと運転ノウハウ
に関する知識とを構築すれば同等の効果を奏する。

【００３３】また、上記実施例では、プラント状態把握
処理部１４、文章理解処理部１５やプラント機能階層化
モデル記憶部１１、運転操作知識記憶部１２、対話履歴
知識記憶部１３などを個別に設置した場合について説明
したが、それらを１つのハードウェア内に一体化しても
よく、上記実施例と同様の効果を奏する。

【００３４】

【発明の効果】以上のように、請求項１に記載の発明に
よれば、プラント機能階層化モデル、運転操作知識ベー
ス及び対話履歴知識ベースを利用して、プラント全体の
状態を監視することにより、運転員の注目範囲を絞り込
むとともに、運転員の意図を推定するように構成したの
で、運転員の発話文章を音響的類似度だけでなく運転員
のプラント運転状況をも考慮した、より精度の高い認識
ができる効果がある。

【００３５】また、請求項２に記載の発明によれば、プ
ラント機能階層化モデル、運転操作知識ベース、および
対話履歴知識ベースを格納する各記憶部と、それらを用
いてプロセス量を評価して運転員の注目範囲を絞り込
み、運転員の発話時の発話の目的や内容を決定するプラ
ント状態把握処理部、および、それを音声認識部の生成
した複数の認識文章候補それぞれの発話の目的や内容と
比較して最終認識文章を決定する文章理解処理部を、単
語を基本単位として音声認識を行っている音声認識部に
付加するように構成したので、従来のシステムにソフト
ウェアを追加することにより、発話文章の認識率を向上
させることができ、この装置をマンマシンインタフェー
スデバイスとしたプラント監視操作盤などの運転操作性
も改善できるばかりか、ハードウェア的にも従来のシス
テムをそのまま使用できる可能性が高く、コスト面でも
廉価になるなどの効果がある。

【図面の簡単な説明】

【図１】この発明の実施例１による連続音声認識処理方
法およびその装置を示すシステム構成図である。

【図２】上記実施例におけるプラント機能階層化モデル
の一例を示す説明図である。

【図３】上記実施例における運転員の注目範囲の絞り込
み領域を示す説明図である。

【図４】従来の連続音声認識処理方法およびその装置を
示すシステム構成図である。

【図５】その構文ネットワークの一例を示す説明図であ
る。

【符号の説明】

１ 音声入力部 ９ 音声認識部 １０ プラント １１ プラント機能階層化モデル記憶部 １２ 運転操作知識記憶部 １３ 対話履歴知識記憶部 １４ プラント状態把握処理部 １５ 文章理解処理部

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成４年１０月１日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】０００３

【補正方法】変更

【補正内容】

【０００３】次に動作について説明する。音声入力部１
より入力された発話文章は音響分析部２によって音響的
特徴が分析され、音響パラメータに変換される。パター
ンマッチング部４では音響知識記憶部３に登録された単
語テンプレートとその音響パラメータをパターンマッチ
ングさせ、音声入力された文章で使用されている単語を
単語候補として抽出する。従って、このように音声認識
の基本単位として単語を用いる音声認識方式の場合、単
語の音響パラメータを単語テンプレートして予め音響知
識記憶部３に登録しておく必要がある。入力音声の音響
的特徴量のみでは、単語の境界がわからないこと、ま
た、音声は発生する度にその時間構造が異なることから
入力音声の任意の部分パターンと、登録されているすべ
ての単語テンプレートとの間で非線形時間軸伸縮による
パターンマッチングを行う。特に、連続音声では上記の
ように単語境界がわからないこと、また前後の音の影響
で音響的特徴が大きく異なることから、パターンマッチ
ングにより得られる音響的な類似度により単語の候補を
挙げると非常に多くの候補が検出されることになる。こ
のようにパターンマッチングにより得られた単語候補か
ら音響的な類似度のみの基準で認識結果をとらえること
は不可能である。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】０００７

【補正方法】変更

【補正内容】

【０００７】

【課題を解決するための手段】請求項１に記載の発明に
係る連続音声認識処理方法は、プラント機能の因果関係
を表現したプラント機能階層化モデルの各プラント機能
の異常状態をプロセス量を用いて評価するとともに、運
転操作等に関する様々な知識を格納した運転操作知識ベ
ースを用いて異常状態範囲の絞り込みを行い、絞り込ま
れた範囲内において異常の第一原因判明の有無、および
対応操作の実施の有無の情報を用いて、運転員の発話時
における発話の目的や内容を推定し、入力された運転員
の発話文章の音声認識処理を単語を音声認識の基本単位
として行い、複数の認識文章候補を生成する音声認識部
にて構文処理された複数の認識文章候補を取り込んで、
それまでのシステムと運転員との対話の履歴を格納した
対話履歴知識ベース、発話文章とプラント機能階層化モ
デルとの対応関係、および発話文章（単語）と発話の目
的との対応関係を用いて文章候補から発話の目的や内容
を推定し、それを前記異常状態範囲の絞り込みによって
システムが推定した結果と比較して、発話の目的や内容
が一致または類似度の高いものを検索するものである。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】０００８

【補正方法】変更

【補正内容】

【０００８】また、請求項２に記載の発明に係る連続音
声認識処理装置は、従来装置を基本とする音声認識部
に、プラント機能階層化モデルを格納したプラント機能
階層化モデル記憶部、運転操作知識ベースを格納した運
転操作知識記憶部、プラント機能階層化モデルと運転員
の発話文章との対応関係、発話文章あるいは発話単語と
発話の目的との対応関係や運転員と当該システムとの対
話の記録である対話履歴知識ベースを格納した対話履歴
知識記憶部、プラントデータを常時取り込み、プラント
機能階層化モデルの要素である各プラント機能の異常状
態を評価し、運転操作知識ベースを用いて異常状態範囲
の絞り込みを行って運転員の行うタスクを推定し、運転
員の発話時における発話の目的や内容を決定するプラン
ト状態把握処理部、および、前記音声認識部が生成した
複数の認識文章候補についても、対話履歴知識ベース、
発話文章とプラント機能階層化モデルとの対応関係、発
話文章あるいは発話単語と発話の目的との対応関係をも
とにそれぞれの発話の目的や内容を抽出し、それらを比
較して各認識文章候補の中から運転員の発話時における
発話の目的や内容と一致もしくは類似度の高い認識文章
候補を選択する文章理解処理部を付加したものである。

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】０００９

【補正方法】変更

【補正内容】

【０００９】

【作用】請求項１に記載の発明における連続音声認識処
理方法は、プロセス量を用いて評価したプラント機能階
層化モデルの各プラント機能の異常状態の範囲を、運転
操作知識ベースを用いて絞り込み、その絞り込まれた範
囲内にて運転員の発話時の発話の目的や内容を推定し、
その結果を、音声認識部の構文処理にて複数得られた認
識文章候補の、対話履歴知識ベースや発話文章とプラン
ト機能階層化モデルとの対応や発話文章あるいは発話単
語と発話の目的との対応関係より推定された発話の目的
や内容と比較し、発話の目的や内容が一致または類似度
の高いものを探索することにより、複数得られた前記認
識文章候補の中から、運転員の発話に対する最終認識文
章の決定、および認識文章候補間の優先順位を最適化す
る。

【手続補正５】

【補正対象書類名】明細書

【補正対象項目名】００１０

【補正方法】変更

【補正内容】

【００１０】また、請求項２に記載の発明における文章
理解処理部は、プラントからのデータに対応させた評価
によって、異常となっているプラント機能階層化モデル
上の位置および各プラント機能の機能喪失状態を同定
し、運転員の注目している領域を絞り込んで運転員の行
うタスクを推定しているプラント状態把握処理部の決定
した、運転員の発話時における発話の目的や内容を、音
声認識部からの複数の認識文章候補について、対話履歴
知識ベースの履歴情報、発話文章とプラント機能階層化
モデルとの対応関係、発話文章あるいは発話単語と発話
の目的との対応関係をもとに抽出した各認識文章候補ご
との発話の目的や内容と比較し、各認識文章候補の中か
ら運転員の発話時における発話の目的や内容と一致もし
くは類似度の高い認識文章候補を選択することにより、
使い易く、発話文章の認識率も高い連続音声認識処理装
置を実現する。

【手続補正６】

【補正対象書類名】明細書

【補正対象項目名】００１２

【補正方法】変更

【補正内容】

【００１２】また、１０はプラントであり、１１は各プ
ラントの運転モードに於て、運転員が達成すべきプラン
ト運転目標を頂点とし、これを維持するための機能とそ
の実現手段を体系的に表現し階層的に記述したプラント
機能階層化モデルを格納しているプラント機能階層化モ
デル記憶部である。１２は運転要領書に記述された知識
及びプラント運転員が運転操作に関して持つ経験的知識
を抽出した運転操作知識ベースを格納している運転操作
知識記憶部である。１３は発話文章とプラント機能階層
化モデルとの対応関係、発話文章（単語）と発話の目的
との対応関係や、運転員とシステムとの対話の記録であ
る対話履歴知識ベースを格納している対話履歴知識記憶
部である。１４は常時プラント１０よりデータを取り込
み、プラント機能階層化モデルの要素である各プラント
機能の異常状態の評価を実行し、運転操作知識記憶部１
２に格納された運転操作知識ベースに基づいて、異常状
態範囲の絞り込みを行い、運転員の行うタスクを推定し
て、運転員の発話時における発話の目的や内容を決定す
るプラント状態把握処理部である。１５は運転員とシス
テムとの対話の履歴を対話履歴知識ベースとして対話履
歴知識記憶部１３に格納するとともに、音声認識部９が
生成した複数の認識文章候補についても対話履歴知識ベ
ース、発話文章とプラント機能階層化モデルとの対応関
係及び発話文章（単語）と発話の目的との対応関係をも
とに、各々の発話の目的や内容を抽出し、その両者を比
較することにより、複数の認識文章候補の中から運転員
の発話時の目的や内容と一致または類似度の高い認識文
章候補を選択する発話文章の理解処理を行なう文章理解
処理部である。

【手続補正７】

【補正対象書類名】明細書

【補正対象項目名】００１５

【補正方法】変更

【補正内容】

【００１５】特に、種々のプラント状態下において、運
転員が中央制御室において実施する対応操作を念頭に入
れ、プラント機能・設計等の情報を用いて構成する。図
２に、ＰＷＲ型原子力発電プラントを対象とした出力運
転状態維持に関するプラント機能階層化モデルの例を示
す。出力運転状態を維持するためには、炉心出力の制
御、炉心出力分布の制御、一次冷却材保有量の制御、炉
心熱除去機能の制御、一次冷却系の健全性確保、ヒート
シンクの制御、電気エネルギーへの変換等が本質的な機
能であり、これらが次のレベルの機能目標となる。一般
的には、これらはクリティカル アベイラビリティ フ
ァンクション（Ｃｒｉｔｉｃａｌ Ａｖａｉｌａｂｉｌ
ｉｔｙ Ｆｕｎｃｔｉｏｎｓ）として知られている。更
に、ヒートシンク制御に関しては、蒸気流量制御及びＳ
Ｇ保有水維持が支援機能であり、この２つの機能が次の
レベルの機能目標となる。以下、各機能に応じて、検出
器・制御器・弁・配管等の設備／機器レベルまで順次展
開される。

【手続補正８】

【補正対象書類名】明細書

【補正対象項目名】００１６

【補正方法】変更

【補正内容】

【００１６】ここで、ある機器が故障し、それを放置す
るとその影響が波及して、順次上位の機能が維持できな
くなりやがては最上位にまで到達して、プラントトリッ
プに至る。この意味でプラント機能階層化モデルは異常
の波及の様子を表現しているとも見なせる。即ち、図
中、各機能間が関係づけられているが、これは異常の波
及パスともなる。従って、上位の機能、例えばＳＧ水位
制御機能が侵害されているとすると、その下位の機能群
であるＳＧ水位検出器や主給水流量制御弁などの中に原
因候補があると予想される。

【手続補正９】

【補正対象書類名】明細書

【補正対象項目名】００１７

【補正方法】変更

【補正内容】

【００１７】一方、運転操作知識ベースは、運転員の運
転経験から得られたプラント運転ノウハウやその行動様
式を運転員との直接インタビュー等により抽出したり、
運転要領書に記述されている運転操作に関する知識をま
とめたもので、条件（ｉｆ）及び実行（ｔｈｅｎ）形式
により構成された次の３つのルールからなる。

【手続補正１０】

【補正対象書類名】明細書

【補正対象項目名】００１８

【補正方法】変更

【補正内容】

【００１８】運転目標決定ルール プロセス量やプラント１０に発生した警報から、維持す
べき運転モード（出力運転、温態停止、冷態停止）を決
定し、以下の処理で使用する監視すべきプラント機能階
層化モデルを選択する。 （例） ｉｆ ＳＩ信号：発生 ｔｈｅｎ プラント機能階層化モデル：冷態停止維持用
選択 注目範囲推定ルール プラント１０の異常徴候情報（プロセス量の閾値計算、
プラント１０に発生した警報及び各種診断機能からの診
断結果）から運転員はどこを優先して注目すべきかを推
定する。即ち、運転員が最優先にて注目すべきである領
域と考えられるプラント機能階層化モデル上の機能範囲
（サブセット）を抽出する。 （例） ｉｆ ユニット“加圧器圧力制御”及びユ
ニット“加圧器水位制御”：機能低下 ＆ 放射線モニタ：徴候あり ｔｈｅｎ ユニット“加圧器水位制御”：優先度の高い
注目範囲 運転員のタスク推定ルール 絞り込まれたプラント状態、原因判明の有無、操作の実
施状況から運転員のタスク（運転員の意図：監視（確
認）、原因同定、対応操作など）を推定する。 （例） ｉｆ プラント機能階層化モデルの下位側
のみ：異常検知 ＆ 異常原因：未同定 ＆ 直ちに行う操作：実施済み ｔｈｅｎ 運転員のタスク：原因同定（絞り込まれた範
囲を対象）

【手続補正１１】

【補正対象書類名】明細書

【補正対象項目名】００２２

【補正方法】変更

【補正内容】

【００２２】（３）運転員のタスク推定 注目範囲が定まると、絞り込まれたプラント状態から監
視（確認）、原因同定、対応操作等の運転員の行うタス
クを前述の運転員のタスク推定ルールに基づき推定す
る。前述の例では、異常の波及状況が軽微な場合、プラ
ント１０の異常原因が同定できていないが、直ちに実施
する対応操作が実施済みであれば、運転員は次のタスク
として絞り込まれた範囲内の原因候補に対して、原因同
定を実施することが推定されることを示している。

【手続補正１２】

【補正対象書類名】明細書

【補正対象項目名】００２７

【補正方法】変更

【補正内容】

【００２７】運転員の発話文章とプラント機能階層化モ
デルの要素であるプラント機能との対応を記述した対応
表を、発話入力される可能性のあるものすべてについて
あらかじめ作成しておき、登録したデータベースをもと
に、入力された文章に対応するプラント機能階層化モデ
ルのプラント機能を求める。このデータベースの一例を
表２として次に示す。

【手続補正１３】

【補正対象書類名】明細書

【補正対象項目名】００３４

【補正方法】変更

【補正内容】

【００３４】

【発明の効果】以上のように、請求項１に記載の発明に
よれば、プラント機能階層化モデル、運転操作知識ベー
ス及びプラント機能階層化モデルと運転員の発話文章と
の対応関係、発話文章あるいは発話単語と発話の目的と
の対応関係や運転員と当該システムとの対話の記録であ
る対話履歴知識ベースを利用して、プラント全体の状態
を監視することにより、運転員の注目範囲を絞り込むと
ともに、運転員の意図を推定するように構成したので、
運転員の発話文章を音響的類似度だけでなく運転員のプ
ラント運転状況をも考慮した、より精度の高い認識がで
きる効果がある。

【手続補正１４】

【補正対象書類名】明細書

【補正対象項目名】００３５

【補正方法】変更

【補正内容】

【００３５】また、請求項２に記載の発明によれば、プ
ラント機能階層化モデル、運転操作知識ベース、および
プラント機能階層化モデルと運転員の発話文章との対応
関係、発話文章あるいは発話単語と発話の目的との対応
関係や運転員と当該システムとの対話の記録である対話
履歴知識ベースを格納する各記憶部と、それらを用いて
プロセス量を評価して運転員の注目範囲を絞り込み、運
転員の発話時の発話の目的や内容を決定するプラント状
態把握処理部、および、それを音声認識部の生成した複
数の認識文章候補それぞれの発話の目的や内容と比較し
て最終認識文章を決定する文章理解処理部を、単語を基
本単位として音声認識を行っている音声認識部に付加す
るように構成したので、従来のシステムにソフトウェア
を追加することにより、発話文章の認識率を向上させる
ことができ、この装置をマンマシンインタフェースデバ
イスとしたプラント監視操作盤などの運転操作性も改善
できるばかりか、ハードウェア的にも従来のシステムを
そのまま使用できる可能性が高く、コスト面でも廉価に
なるなどの効果がある。

Claims (2)

【特許請求の範囲】
1. 【請求項１】 単語を音声認識の基本単位として音声入
   力部より入力されたプラントの運転員の発話文章を処理
   し、得られた複数の認識文章候補の中から運転員の発話
   時における発話の目的や内容と一致もしくは類似度の高
   いものを選択する連続音声認識処理方法において、前記
   複数の認識文章候補に対して、プラントの運転員および
   設計者がプラント設計図書に基づいてプラントに対して
   持っている機能イメージを階層表現した知識ベースであ
   るプラント機能階層化モデルの要素として表現された各
   プラント機能を、前記プラントの運転要領書に記載され
   ている運転操作に関する知識と運転員の持つ運転操作に
   関する経験則を格納した運転操作知識ベースの知識に基
   づいて常時プラントデータに対応させて評価し、異常と
   なっている前記プラント機能階層化モデル上の位置およ
   び各プラント機能の機能喪失状態を同定するとともに、
   これらの情報から運転員の注目している領域の絞り込み
   を行い、運転員の行うタスクを推定して、運転員の発話
   時における発話の目的や内容を決定し、前記複数の認識
   文章候補についても、運転員と当該システムとの対話の
   履歴を格納した対話履歴知識ベースの履歴情報、発話文
   章と前記プラント機能階層化モデルとの対応関係、発話
   文章あるいは発話単語と発話の目的との対応関係をもと
   に、前記各認識候補ごとの発話の目的や内容を抽出する
   とともに、その両者の比較を行って、前記各認識文章候
   補の中から運転員の発話時における発話の目的や内容と
   一致もしくは類似度の高い認識文章候補を選択すること
   を特徴とする連続音声認識処理方法。
2. 【請求項２】 音声入力部より入力されたプラントの運
   転員の発話文章の音声認識処理を、単語を音声認識の基
   本単位として行い、複数の認識文章候補を生成する音声
   認識部と、前記プラントの運転員がそれぞれの運転モー
   ドにおいて達成すべきプラント運転目標を頂点とし、そ
   れを維持するための機能とその実現手段とを体形的に表
   現して階層的に記述したプラント機能階層化モデルを記
   憶するプラント機能階層化モデル記憶部と、前記プラン
   トの運転要領書に記載された知識と運転員が運転操作に
   関して持つ経験的知識を抽出した運転操作知識ベースを
   記憶する運転操作知識記憶部と、前記プラント機能階層
   化モデルと運転員の発話文章との対応関係、発話文章あ
   るいは発話単語と発話の目的との対応関係や運転員と当
   該システムとの対話の記録である対話履歴知識ベースを
   記憶する対話履歴知識記憶部と、前記プラントのデータ
   を常時取り込んで、前記プラント機能階層化モデルの要
   素である各プラント機能の異常状態の評価を行い、前記
   運転操作知識ベースの知識に基づいて異常状態範囲を絞
   り込み、運転員の行うタスクを推定して運転員の発話時
   における発話の目的や内容を決定するプラント状態把握
   処理部と、前記対話履歴知識ベースに運転員と当該シス
   テムとの対話の履歴を格納するとともに、前記音声認識
   部が生成した複数の認識文章候補についても、前記対話
   履歴知識ベース、発話文章と前記プラント機能階層化モ
   デルとの対応関係、および発話文章あるいは発話単語と
   発話の目的との対応関係をもとにそれぞれの発話の目的
   や内容を抽出し、前記プラント状態把握部の決定した発
   話の目的や内容と比較することによって、前記各認識文
   章候補の中から運転員の発話時における発話の目的や内
   容と一致もしくは類似度の高い認識文章候補を選択する
   文章理解処理部とを備えた連続音声認識処理装置。