JP5526903B2 - イベント情報抽出誤り検知装置、方法、及びプログラム - Google Patents

Description

トラブルに至る事象を自然言語で記述したトラブルレポート中の記述から抽出されたイベント情報の抽出誤りを検知する技術に関する。

例えば、交通事故がどのような経緯で発生し、その原因がなんであるかを知ることは、事故を削減する効果的な対策を立案するには必須である。そのために、多量のトラブルレポートからトラブルがどのような仕組みで発生するかを把握し、効果的な削減策の立案に活用することが要請されている。

これを実現するために、次のような手法が様々な分野で実施されている。即ちまず、事故（トラブル）に至るまでに発生している一連の事象（イベント）が、事象の連鎖（イベント連鎖）として把握される。そして、その連鎖中において、どのイベントが事故の直接的な原因となったのか、さらにそのイベントの発生原因はなんであるかが、モデル化して分析される。これらの手法は、バリエーションツリー分析、いきさつダイアグラム分析などと呼ばれている。

例えば、乗用車の発進時の衝突事故に着目する時、「接近する車に気がつかなかった」というイベントが直接原因であり、更にそのイベントは、「発進前のミラーの点検が疎かであった」というイベントに起因することが多いことがわかれば、発進前点検を周知徹底させる方策を施行することによって事故を削減することができる。

このような分析手法では従来、例えば図１に示されるような、事故に至るイベント（事象）の経緯を自然言語で記述したトラブルレポート１０１を分析者が１件ずつ読み込んで、図１に示されるイベント連鎖１０２を人手で作成していた。

この場合、多量のイベントを含むトラブルレポート１０１からイベント連鎖１０２をそれぞれ人手で作成し、直接原因となることが多いイベントを見つけるといった分析は、非常にコストがかかる。

この問題を解決するために、トラブルレポートからこれらのイベント情報を計算機によって抽出する情報抽出技術が適用できる。この技術によって例えば、「後ろの確認を怠り、〜」「バックミラーでの後方確認をさぼり、〜」「前しか見ずに、〜」など、トラブルレポート中の様々な記述に対して、単一のイベント情報「後方確認を怠る」を抽出することが期待される。

また、事故は、それ以前のイベントのエラー（「怠る」「すべき行為を行なわなかった」などイベントに何か問題があること）によって引き起こされるという観点に基づくと、次のようなことが知見できる。即ち、図２に示されるように、トラブルレポート２０１からの抽出結果イベント連鎖２０２を、イベント種別とそのエラータイプの組み合わせとして抽出しておくと、分析の際に利用しやすい。ここで、イベント種別とは、上述の「後方確認を怠る」のように、一つのイベントに対する様々な記述に対応した代表的な言葉である。エラータイプとは、そのイベントがエラー（操作ミス）であるか否か及びエラーである場合にはどのようなエラーかを表す情報であり、一つのエラーに対する様々な記述に対応した代表的な言葉である。

しかしながら、上述のような計算機によるイベント種別及びエラータイプの自動抽出の結果においては、抽出誤りが避けられないという問題がある。多量のトラブルレポートから効率的に正しいイベント連鎖を獲得するためには、自動抽出誤りを検知し指摘するための技術が不可欠である。

自動抽出誤りを検知し指摘するための技術としては、自動抽出結果を各トラブルレポートから生成した複数の正解データと比較し誤りを検知することが知られている。より具体的には、例えば図２に示されるように、抽出結果イベント連鎖２０２に対して、その確からしさを評価する確信度２０３を付与して、確信度の低い結果を、抽出誤り２０４として指摘するという技術が知られている。

また、プログラムの検証装置であって、プログラム実行時のログデータと、設計書情報から得られる正しい処理結果のログデータとを比較して、その一致／不一致箇所をユーザに提示するという従来技術が知られている（例えば下記特許文献１）。

特開２０００−２９８６００号公報

しかし、自動抽出結果を例えばトラブルレポート毎から人手で作成した複数の正解データ中の１つの正解データと比較し抽出誤りを検知する従来技術では、正解データの作成にコストがかかるという問題点を有している。

また、抽出結果に対して図２に示される確信度２０３を計算し、この確信度２０３の低いものを抽出誤り２０４の候補として提示する、確信度２０３を使った抽出誤り２０４の抽出技術は、次のような問題点を有している。即ち、確信度２０３は例えば誤り確率といった絶対的な評価値にはならないため、確信度２０３に対して、精度のよい指摘を行なうことができる閾値を事前に設定することが困難である。

なお、図２に示されるような、多量の正解データ２０５（実際にトラブルレポート２０１から生成されているイベント連鎖）を用意することにより、上記閾値を算出することは可能である。しかしこの場合には、人手によって多量の正解データ２０５を用意する必要があり、より大きなコストがかかり抽出誤りの検出精度も十分でない。

また、前述した特許文献１の技術は、そのままでは抽出誤りの検知には適用できない。なぜなら第１に、トラブルレポートでは、トラブルに至る全ての事象が記述されるわけではなく、特に問題のない正しい操作に関するイベントはしばしば省略される。第２に、トラブルレポートにはトラブルを招く操作エラーを表すイベント（以下、「エラーイベント」と記述する）が記載されるが、このようなエラーイベントはトラブルレポート中では正しい手順とは異なる順番で記述されることも多い。

この結果、例えば特許文献１に記載のような公知技術を単純に適用すると、下記のような抽出誤りの過剰指摘が生じる。設計情報を用いると正しい手順の情報は一つになるがその記載とトラブルレポートの記載が異なると、イベント情報の抽出誤りとされてしまうことになる。トラブルレポートに記載されたイベント情報のエラータイプによっては、正しい手順と異なっていても、抽出ミスではない場合があるが、この場合でも正しい手順に対する緩和がないため抽出誤りとされてしまうことになる。また、正しい手順には記載されているが、トラブルレポートに記載されていないイベントが抽出誤り（又は抽出洩れ）として指摘されてしまうという問題も発生し得る。更に、正しい手順にはエラーイベントは一般には含まれない。この結果、トラブルレポートから正しく抽出されたエラーイベントも、正しい手順には記載されていない結果、そのエラーイベントが抽出誤りとして指摘されてしまう。

そこで、本発明の１つの側面では、トラブルレポートから計算機が抽出した情報抽出結果に含まれる抽出誤りの候補の検出を、少ない正解データを使いながら抽出誤りの過剰指摘を抑制して行うことにより、トラブルレポートからの情報抽出を効率的に行うことを可能とすることを目的とする。

態様の一例では、トラブルレポートから抽出した抽出結果イベント連鎖情報の抽出誤りを検知するイベント情報抽出誤り検知装置であって、トラブルレポートから抽出したイベント種別と、そのイベント種別が発生をした順番と、どのようなエラーかを表すエラータイプと対応付けて記録した抽出結果イベント連鎖情報を記憶する抽出結果イベント連鎖情報記憶部と、正常な手順におけるイベント種別とそのイベント種別が発生をする順番を記憶する正常時イベント連鎖情報記憶部と、前記抽出結果イベント連鎖情報中のイベント種別の順番が前記正常時イベント連鎖情報中の順番と異なっていた場合に、その順番の異なりを許すか許さないかの条件の判定方式を前記エラータイプ毎に記憶するエラータイプ別判定方式情報記憶部と、前記抽出結果イベント連鎖情報記憶部から複数のイベント種別を抽出し、抽出をした複数のイベント種別が発生をした順番が、正規な手順においてそれらのイベント種別が発生する順番と合っているかを前記正常時イベント連鎖情報記憶部を参照して判断し、順番が異なっていれば、抽出をしたイベント種別のエラータイプと前記エラータイプ別判定方式情報記憶部を参照してその順番の異なりを許すか許さないかを判断する制約判定部と、前記制約判定部が前記抽出をした複数のデータのイベント種別が行われた順番が前記正規の手順のイベントのイベント種別が行われる順番と比べて異なり、且つ、その順番の異なりを許さないと判断をすると、前記複数のイベント種別に誤り候補であることを示す値を付与する処理を実行する誤り評価部とを含むことを特徴とするイベント情報抽出誤り検知装置を提供する。

本実施例の態様の構成又は方法によれば、操作マニュアルに基づく正常時の手順のみを用意するだけで、抽出結果イベント連鎖情報における抽出誤りの候補を、過剰指摘を抑制しながら検出することができる。これにより、トラブルレポートからの情報抽出を効率的に行うことが可能となる。

トラブルレポートからのトラブル分析の説明図である。 従来技術とその問題点の説明図である。 本実施形態のシステム構成図である。 本実施形態の処理概要を示す図である。 本実施形態の処理例を示す図である。 イベント種別抽出用辞書データのデータ構成例を示す図である。 エラータイプ推定ルールデータのデータ構成例を示す図である。 抽出結果イベント連鎖情報の例を示す図である。 正常時イベント連鎖情報（自動車発進手順）のデータ構成例を示す図である。 エラータイプ別判定方式情報のデータ構成例を示す図である。 制約条件検証結果表のデータ構成例を示す図である。 イベント情報抽出処理（第０ステップ）の処理説明図（その１）である。 イベント情報抽出処理（第０ステップ）の処理説明図（その２）である。 制約判定処理（第２ステップ）の処理説明図である。 制約判定処理（第２ステップ）の判定処理例を示す図である。 誤り指摘結果表の初期状態のデータ構成例を示す図である。 誤り評価値算出処理（第３ステップ）の動作説明図である。 誤り指摘結果表の誤り評価処理終了時のデータ構成例を示す図である。 本実施形態の全体処理を示すフローチャートである。 図１９のステップＳ１９０１の詳細処理を示すフローチャートである。 図１９のステップＳ１９０２の詳細処理を示すフローチャートである。 図２１の処理例を示す図である。 図２１のステップＳ２１０３及びＳ２１０４の詳細処理を示すフローチャートである。 図３の制約判定部３０６、図４及び図５の制約判定ステップＳ４０３、図１９の制約判定部３０６の処理Ｓ１９０２、図２１のステップＳ２１０５，Ｓ２１０６で用いられる制約条件テーブルの構成例を示す図である。 図２１のステップＳ２１０５及びＳ２１０６の詳細処理を示すフローチャートである。 図１９のステップＳ１９０３の詳細処理を示すフローチャートである。 図２６の処理例を示す図である。 実施形態のシステムを実現可能なハードウェアの構成図である。

以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。
トラブルレポートから抽出されるイベント連鎖は、トラブルに至るイベント（事象）の連鎖を記述するものであるので、連鎖中の各イベントの間には、時間的な順序関係が存在する。また、前述した「乗用車の発進時の衝突事故」に関する事例などのように、その事故の前提となる動作において行なうべき手順が存在することも多く、そのような場合には、事故の前提となる動作の手順がイベント連鎖として記述される。

そこで、以下に説明する本実施形態では、トラブルレポートから自動抽出された抽出結果イベント連鎖情報から選択可能な、任意の２つのイベントの組み合わせについて、そのイベント情報組が満たすべき制約条件を満たすかが判定される。この制約条件は、操作マニュアルや手順書などから作成される正常時イベント連鎖を使って得られる。そして、その判定結果に基づき、制約条件を満たさないイベント情報組を構成するイベント情報が、抽出誤りの候補として検出される。更に、その抽出誤りの候補に基づいて、抽出結果イベント連鎖情報を構成するそれぞれのイベント情報の抽出誤りの可能性が、絶対評価に基づく評価値を算出することで評価される。

ここで抽出誤りとは、イベント情報の抽出処理において、例えば、トラブルレポートの文章解析によって得られるトラブルレポートのイベント種別の選択を、本来抽出されるべきイベント種別を別のイベント種別に誤ることにより生じる。これは、文章解析に用いられる辞書の不備や文章解析の不正確さにより生じる。この抽出誤りは、トラブルのない正常の操作と異なる操作（操作ミス）に帰因するイベント連鎖の発生する順番のエラーも含む。

図３は、本発明の実施形態のシステム構成図である。
図３に示すシステムは、イベント情報抽出部３０２、誤り判定情報データベース（以下、「誤り判定情報ＤＢ」と記載する）３０５、制約判定部３０６、及び誤り評価部３０７を備える。

イベント情報抽出部３０２は、トラブルレポート３０１から、順番を付与したイベント種別とエラータイプの組からなるイベント情報によって構成される抽出結果イベント連鎖情報３０３を自動抽出する。

誤り判定情報ＤＢ３０５には、トラブルが発生していない正常時のイベント連鎖情報である正常時イベント連鎖情報が格納される。この正常時イベント連鎖情報は、各種動作のマニュアル・手順書３０４から、人手によって作成される。また、誤り判定情報ＤＢ３０５には、抽出結果イベント連鎖情報３０３内の各イベント情報エントリに付与されるエラータイプのそれぞれに対応する判定方式を記載した、エラータイプ別判定方式情報が格納される（図５等を参照して後述する）。このエラータイプ別判定方式情報は、予め固定的に設定可能な情報である。

制約判定処理部３０６は、抽出結果イベント連鎖情報３０３から選択される任意の２つのイベントに対応するイベント情報組について、そのイベント情報組が満たすべき制約条件を、誤り判定情報ＤＢ３０５内の情報から作成し判定する。

誤り評価部３０７は、制約判定部３０６での判定結果に基づいて、抽出結果イベント連鎖情報３０３に含まれる各イベント情報の抽出誤りの可能性を評価する。
図４は、図３に示される構成を有する本実施形態のシステムの処理概要を示す図、図５は、本実施形態の具体的な処理例を示す図である。下記の第０ないし第３のステップの各処理はコンピュータが実行する。

第０ステップ：イベント情報抽出処理（図４、図５のＳ４０１）
まず、図４又は図５の第０ステップ（Ｓ４０１）は、図３のイベント情報抽出部３０２の処理を示し、トラブルレポート３０１から抽出結果イベント連鎖情報３０３を抽出する。より具体的には、図５に示されるように、トラブルレポート３０１中の「クラッチを繋いだとき、」という表現から、抽出結果イベント連鎖情報３０３の順番１のイベント情報として、イベント種別「クラッチ接続」とエラータイプ「エラーなし」が抽出される。また、トラブルレポート３０１中の「サイドブレーキを戻していなかったので」という表現から、順番２のイベント情報として、イベント種別「サイドブレーキＯｆｆ」とエラータイプ「行動せず」が抽出される。また、トラブルレポート３０１中の「加速が足りず」という表現から、順番３のイベント情報として、イベント種別「加速」とエラータイプ「不足」が抽出される。更に、トラブルレポート３０１中の「後続車に追突された。」という表現から、順番４のイベント情報として、イベント種別「発信前確認」とエラータイプ「エラーなし」が抽出される。なお、この４番目のイベント情報は抽出誤りであり、本実施形態では、後述する処理によりこの抽出誤りを検出することができる。

第１ステップ：誤り判定情報作成処理（図４、図５のＳ４０２）
次に、図４又は図５の第１ステップ（Ｓ４０２）の誤り判定情報作成処理は、上述の第０ステップの処理とは独立に実行される処理であり、判定情報ＤＢ３０５への誤り判定情報の例えば人手による登録処理に対応する。この誤り判定情報は、抽出結果イベント連鎖情報３０３（図４、図５）を構成するイベント情報の任意の組み合わせが満たすべき制約条件を作成するための情報であり、正常時イベント連鎖情報５０１とエラータイプ別判定方式情報５０２とから構成される。正常時イベント連鎖情報５０１はマニュアル・手順書３０４から作成され、エラータイプ別判定方式情報５０２は例えば人手により定義される。

誤り判定情報ＤＢ３０５中の正常時イベント連鎖情報５０１は、例えば図５の表で表されるデータ構成例を有し、正常な手順におけるイベント種別とその順番を規定する。この情報は、今回の例であれば、例えば、自動車教習所の教科書であるマニュアル・手順書３０４中の「自動車発進手順」として記載されている情報から作成される。このとき、正常時イベント連鎖情報５０１における「イベント種別」に記載される文字列が、抽出結果イベント連鎖情報３０３における「イベント種別」を表す文字列と一致している必要がある。また、表中の「順番１〜１２」は、上記教科書等に記載された正常手順の文書におけるイベントの順番と対応している必要がある。この場合に、どちらを先に行なっても誤りではないイベントには同じ番号を付与する。図５の正常時イベント連鎖情報５０１の表であれば、エンジンを始動（「エンジン始動」）してから、発進前の確認（「発進前確認」）を行ない、次に、サイドブレーキを切って（「サイドブレーキＯｆｆ」、ウィンカを点灯させ（「ウィンカ点灯」）る。しかし、この２つの操作に関しては、どちらを先に行なっても良いため、順番として同じ番号「９」が付与される。その２つの操作の後に、クラッチをつなぐ（「クラッチ接続」）といった情報が記載される。

また、誤り判定情報ＤＢ３０５中のエラータイプ別判定方式情報５０２は、抽出結果イベント連鎖情報３０３を構成する各イベント情報に付与されているエラータイプによって、満たすべき制約条件の変更方法を判定方式として記載したものである。このエラータイプ別判定方式情報５０２は、どのような種類のトラブルレポートであっても共通的に使用可能な情報であり、５０２中の「エラータイプ」に記載される文字列が、抽出結果イベント連鎖情報３０３における「エラータイプ」を表す文字列と一致している必要がある。図５に示されるエラータイプ別判定方式情報５０２の例では、エラータイプとしては例えば、「エラーなし」「行動せず」「不足」などが定義される。「エラーなし」はエラーのない適切な操作を示す。「行動せず」は行なうべき操作を行なわなかったというエラーを示す。「不足」は操作量が不足していたというエラーを示す。これらの各エラータイプに対して、判定方式が規定される。図５に示されるエラータイプ別判定方式情報５０２の例では、エラータイプ「エラーなし」と「不足」に対して判定方式「正常時イベント順序と一致」が、「行動せず」に対して「それまでの順番を許す」がそれぞれ規定される。判定方式「正常時イベント順序と一致」は、抽出結果イベント連鎖情報３０３から選択されたイベントの発生する順番が、正常時イベント連鎖情報５０１中の同じイベントの順番と一致すべきであることを規定する。判定方式「それまでの順番を許す」は、抽出結果イベント連鎖情報３０３から選択されたイベントの順番が、同情報３０３中でのそのイベントの順番以前の全ての順番を取り得る。

第２ステップ：制約判定処理（図４、図５のＳ４０３）
次に、図４又は図５の第２ステップ（Ｓ４０３）の処理は、図３の制約判定処理部３０６の具体的処理を示す。この処理は、抽出結果イベント連鎖情報３０３（図４、図５）を構成するイベント情報に対し、以下の手順に従って、図５の制約条件検証結果表５０３のマトリクス表を作成する。

１．抽出結果イベント連鎖情報３０３から、任意の２つイベント情報（イベント種別＋エラータイプ）の組合せ（イベント情報組）を取得する。
２．上記１．で取得したイベント情報組を構成する各イベント情報のイベント種別をキーとして、各イベント情報の正常時の順番を、正常時イベント連鎖情報５０１より取得する。
３．上記１．で取得したイベント情報組を構成する２つのイベント情報のエラータイプをキーとして、各イベント情報に対応する判定方式を、エラータイプ別判定方式情報５０２より取得する。
４．上記３．で取得した各判定方式に基づき、上記１．で取得したイベント情報組の満たすべき制約条件を作成し、この制約条件にあっているかの判定を実行する。
５．制約条件検証結果表５０３のマトリクス表中の、上記１．で取得したイベント情報組に対応するセルに、上記４．での判定結果を記入する。
６．取得されるイベント情報組がなくなるまで、上記１．から５．までの一連の処理を繰り返す。

第３ステップ：誤り評価値算出処理（図４、図５のＳ４０４）
次に、図４又は図５の第３ステップ（Ｓ４０４）の処理は、図３の誤り評価部３０７の具体的処理を示す。

図３の制約判定部３０６において、制約を満たさないことが判明したイベント情報組は、少なくともその組を構成する一方のイベント情報が抽出誤りであることは分かる。しかし、どちらのイベント情報の抽出結果が誤りであるか（又は両方のイベント情報が誤りであること）まではわからない。

制約を満たさないイベント情報組をユーザに提示して誤りを指摘させることは可能であるが、指摘に無駄が多くなることは避けられない。
そこで、図３の誤り評価部３０７の機能を実現する図４又は図５の第３ステップの誤り評価処理により、制約条件検証結果表５０３（図５）を、それぞれの抽出結果の誤り評価値に変換する処理を行なう。その処理手順は以下の通りである。

１．抽出結果イベント連鎖情報３０３（図４、図５）のテーブルに誤り評価値フィールドを追加し、その各フィールド値を０で初期化して、図４又は図５に示される誤り指摘結果表３０８を作成する。
２．図５に示される制約条件検証結果表５０３をスキャンし、制約条件を満たさない（表中「×」印の）イベント情報組毎に、そのイベント情報組を構成するイベント情報に対応する誤り評価値フィールドの値を１増やす。
３．全てのイベント情報組に対する処理を終了した時点で、誤り評価値フィールドの最小値を算出する。
４．それぞれの誤り評価値から上記最小値を減じたものを、最終的な誤り評価値フィールドの各値とする。評価値フィールドの値が０でない行のイベント種別を、抽出誤りとして検知する。

本実施例によれば、第１ステップに示すように正常時イベント連鎖情報とエラータイプ別判定方式情報５０２からなる誤り判定情報ＤＢ３０５を用いる。そして、第２ステップに示すように、制約の判定に当たって、正常時イベント連鎖情報の順序性を緩和して制約条件を作成、使用することにより、操作マニュアルに基づく正常時の手順のみを用意するだけでよい。これにより、抽出結果イベント連鎖情報における抽出誤りの候補を、過剰指摘を抑制しながら検出し、トラブルレポートからの情報抽出を効率的に行うことが可能となる。

図６は、図４又は図５の第０ステップ（Ｓ４０１）の処理においてイベント種別を自動抽出するために参照されるイベント種別抽出用辞書データ６０１のデータ構成例を示す図である。例えば、イベント種別が「クラッチ接続」であるとき、用言は「繋ぐ」、「接続する」あるいは「離す」であり、格要素はそれぞれ「クラッチ（を）」「スイッチ（を）」あるいは「クラッチペダル（を）」である。この辞書データは、用言と格要素をキーとしてイベント種別を検索できる構造を有している。

図７は、図４又は図５の第０ステップ（Ｓ４０１）の処理においてエラータイプを推定するために参照されるエラータイプ推定ルールデータ７０１のデータ構成例を示す図である。このルールデータは、キーのタイプとキーの例に基づいて、エラータイプを検索できる構造を有している。例えばエラータイプで「行動せず」のとき、キータイプは「文末表現」であり、キーの例はたとえば「〜な（否定助動詞）」、「〜忘れる」である。なお、図７中の「適用される表現の例」は、説明のために付加したもので、実際のデータ構成例には含まなくてもよい。

図８は、図４又は図５の第０ステップ（Ｓ４０１）のイベント情報抽出処理によって抽出される抽出結果イベント連鎖情報３０３のデータ構成例を示す図である。抽出結果イベント連鎖情報３０３は抽出結果イベント連鎖情報記憶部に格納されている。３０３は、イベント種別とエラータイプとからなるイベント情報の連鎖に順番を付与したデータとしてとして表現される。イベント種別とは、「クラッチ接続」のように、様々なイベントを表現する記述に対応した代表的な言葉である。エラータイプとは、「エラーなし」のように、そのイベントがエラー（操作ミス）であるか否か、及びエラーである場合には、「行動せず」のように、どのようなエラーかを表す情報である。このエラータイプは、様々なエラー（操作ミス）を表現する記述に対応した代表的な言葉である。例えば、それぞれ順番が「１」、「２」、イベント種別が「クラッチ接続」、「サイドブレーキＯＦＦ」のときは、エラータイプは「エラーなし」、「行動せず」となる。また、それぞれ順番が「３」「４」で、イベント種別が「加速」、「発進前確認」のときは「不足」「エラーなし」となる。

図９は、図４又は図５の第１ステップ（Ｓ４０２）の誤り判定情報作成処理によって誤り判定情報ＤＢ３０５に作成される正常時イベント連鎖情報５０１のデータ構成例を示す図であり、正常な手順におけるイベント種別とその順番を規定する。

この正常時イベント連鎖情報５０１は自動車発進手順を示した。この例において、順番１・・・７，８，９，１０，１１，１２は、「乗車」・・・「エンジン始動」、「発進前確認」、「サイドブレーキＯＦＦ」、「ウィンカ点灯」、「クラッチ接続」、「加速」、「車線合流」となる。数字で発生順序を定義しているが、順序の逆転を許すイベントは同じ番号（９，９）を提示する。

図１０は、図４又は図５の第１ステップ（Ｓ４０２）の誤り判定情報作成処理によって誤り判定情報ＤＢ３０５に作成されるエラータイプ別判定方式情報５０２のデータ構成例を示す図である。このエラータイプ別判定方式情報５０２は、抽出結果イベント連鎖情報３０３を構成する各イベント情報に付与されているエラータイプ（図８参照）に対応している。各エラータイプ毎、それが満たすべき制約判定処理の内容を判定方式として示し、それぞれに判定方式ＩＤを付与したものである。この判定方式は、エラータイプが変わる毎に変更される。このエラータイプ別判定方式情報５０２は、どのような種類のトラブルレポートであっても共通的に使用可能な情報であり、５０２における「エラータイプ」に記載される文字列が、抽出結果イベント連鎖情報３０３における「エラータイプ」を表す文字列と一致している必要がある。図１０に示した表において示されているエラータイプの定義すなわちエラータイプの判定方式は以下の通りである。なお、この例におけるエラータイプはよく知られたヒューマンエラーの分類に依ったが、他の観点でのエラー分類を採用してもよい。

・エラーなし：エラーのない適切な操作：判定方式ＩＤ＝０
・行動せず：行なうべき操作を行なわなかったというエラー：判定方式ＩＤ＝１
・不要：行なうべきでない操作を行なったというエラー：判定方式ＩＤ＝２
・早過ぎ：操作のタイミングが早過ぎたというエラー：判定方式ＩＤ＝３
・遅過ぎ：操作のタイミングが遅過ぎたというエラー：判定方式ＩＤ＝４
・不足：操作量が不足していたというエラー：判定方式ＩＤ＝０
・過剰：操作量が過剰であったというエラー：判定方式ＩＤ＝０
・対象ミス：操作の対象が誤っていたというエラー：判定方式ＩＤ＝０
・方法ミス：操作の方法が誤っていたというエラー：判定方式ＩＤ＝０

また、判定方式としては、図１０に示した表では、「正常時イベント順序と一致」「それまでの順番を許す」「常に制約を満たさない」「直後のイベント順序との逆転を許す」「直前のイベント順序との逆転を許す」の５つが定義されている。この５つの意味は以下の通りである。

・正常時イベント順序と一致
抽出結果イベント連鎖情報３０３から選択されたイベントの発生する順番が、正常時イベント連鎖情報５０１中の同じイベントの順番と一致していることを規定する。

・それまでの順番を許す
抽出結果イベント連鎖情報３０３から選択されたイベントの順番が、同情報３０３中でのそのイベントの順番以前の全ての順番を取り得るという条件下で決まる順番が、正常時イベント連鎖情報５０１中の同じ２つのイベントの順番と比較することを規定する。

・常に制約を満たさない
抽出結果イベント連鎖情報３０３から選択されたイベントについては、満たすべき制約が存在せず、したがってそのイベントは常に制約を満たさないものと判定される。

・直後のイベント順序との逆転を許す
抽出結果イベント連鎖情報３０３から選択されたイベントの順番が、同情報３０３中でのそのイベントの直後のイベントの順番との逆転を許す。

・直前のイベント順序との逆転を許す
抽出結果イベント連鎖情報３０３から選択されたイベントの順番が、同情報３０３中でのそのイベントの直前のイベントの順番との逆転を許す。

図１１は、図４又は図５の第２ステップ（Ｓ４０３）の制約判定処理によって作成される制約条件検証結果表５０３のマトリクス表のデータ構成例を示す図である。先行イベントの順番を行の並ぶ方向（縦方向）に配置し、後続イベントの順番を列の並ぶ方向（横方向）に配置し、各行と各列が交差するセルに、その行に対応する先行イベントとその列に対応する後続イベントからなるイベント情報組の判定結果が記入される。例えば、１番目の行の先行イベントと２番目の列の後続イベントのイベント情報組に対応して、第１行目と第２列目が交差するセルに制約条件を満たすことを示す判定結果１が記入される。また、１番目の行の先行イベントと４番目の列の後続イベントのイベント情報組に対応して、第１行目と第４列目が交差するセルに制約条件を満たさないことを示す判定結果０が記入される。他も同様である。

図１２及び図１３は、図４又は図５の第０ステップのイベント情報抽出処理の更に具体的な処理の説明図である。この処理は、以下の１．から４．までの一連の手続きとして実行される。

１．トラブルレポート３０１中の文を文章解析たとえば周知の形態素解析、文字列マッチング及び係り受け解析を行なって、格フレームを抽出する。
例えば図１２のステップＳ１２０１に示されるように、トラブルレポート３０１中に「クラッチを接続しなかった」という文があった場合、ステップＳ１２０２に示されるように、格フレーム１として、用言：「接続する」と、格要素：「クラッチ」（を）が抽出される。
また例えば図１３のステップＳ１３０１に示されるように、トラブルレポート３０１中に「クラッチを繋ぐのが遅れてしまった」という文があった場合、ステップＳ１３０２に示されるように、格フレーム１として、用言：「繋ぐ」と、格要素：「クラッチ」（を）が抽出される。更に、格フレーム１を受ける格フレーム２として、用言：「遅れる」と格要素：「繋ぐ」（のが）が抽出される。

２．格フレームの用言と格要素をキーとして、イベント種別抽出用辞書データ６０１とマッチングを行い、イベント種別を推定する。
図１２の例では、ステップＳ１２０３として示されるように、格フレーム１の用言：「接続する」と格要素：「クラッチ」（を）をキーとして、図６のイベント種別抽出用辞書データ６０１が検索され、イベント種別：「クラッチ接続」が抽出される。
また図１３の例では、ステップＳ１３０３として示されるように、格フレーム１の用言：「繋ぐ」と格要素：「クラッチ」（を）をキーとして、図６のイベント種別抽出用辞書データ６０１が検索され、イベント種別：「クラッチ接続」が抽出される。

３．用言の文末表現や、格フレームの格要素、または着目する格フレームを受ける用言について、エラータイプ推定ルールデータ７０１を検索し、エラータイプを推定する。
図１２の例では、ステップＳ１２０４として示されるように、格フレーム１の用言の文末表現として存在する「しなかった」に基づき、キータイプとして「文末表現」と、キーとして「な（否定の助動詞）」が、図７のエラータイプ推定ルールデータ７０１上で検索され、エラータイプとして「行動せず」が抽出される。
図１３の例では、ステップＳ１３０４として示されるように、格フレーム１を受ける格フレーム２の用言として存在する「遅れる」に基づいて、キータイプとして「用言」と、キーとして「遅れる」が、図７のエラータイプ推定ルールデータ７０１上で検索され、エラータイプとして「遅過ぎ」が抽出される。

４．上記２．で推定されたイベント種別と上記３．で推定されたエラータイプを組み合わせて、抽出結果イベント連鎖情報３０３を構成するイベント情報が出力される。
図１２の例では、ステップＳ１２０５として示されるように、イベント種別として「クラッチ接続」とエラータイプとして「行動せず」とからなるイベント情報が出力される。
図１３の例では、ステップＳ１３０５として示されるように、イベント種別として「クラッチ接続」とエラータイプとして「遅過ぎ」とからなるイベント情報が出力される。
以上の第０ステップのイベント情報抽出処理により、例えば図８に示されるデータ構成を有する抽出結果イベント連鎖情報３０３が出力される。

ここで、図８の順番４のイベント種別「発進前確認」が抽出誤りとなっている。これは本来であれば例えば「追突」というイベント種別がイベント種別抽出用辞書データから検出されなければならないところを、たとえばイベント種別抽出用辞書データ６０１の不完全さのためにトラブルレポート３０１中の「発進前」という語句が主要な語句（格フレーム）として認識されてしまっている。この誤解析の結果、「発進前確認」というイベント種別がイベント種別抽出用辞書データ６０１から誤って抽出されてしまったものである。

ここで、抽出誤りが発生しているか否かを、抽出結果イベント連鎖情報３０３中の各イベント種別を、元のトラブルレポート３０１と更に照合して検出する方法も考えられる。しかし、これを実現するためには、上述の手順１．及び２．で示されるイベント種別抽出用辞書データ６０１を用いた文章解析よりも完全なイベント種別抽出用辞書データを用いたマッチング処理を適用する必要があると考えられ、その実現は容易ではない。

そこで、本実施形態では、前述した図４又は図５の第１ステップ（Ｓ４０２）の誤り判定情報作成処理、第２ステップ（Ｓ４０３）の制約判定処理、及び第３ステップ（Ｓ４０４）の誤り評価値算出処理により、この抽出誤りの候補を効果的に検出する。

図１４は、前述した図４又は図５の第２ステップ（Ｓ４０３）の制約判定処理の１．から６．までの処理手順の、更に詳細な処理説明図である。
まず、前述した制約判定処理の１．から６．までの処理手順を図１４と対応付けて説明する。

１．抽出結果イベント連鎖情報３０３から、任意の２つイベント情報（イベント種別＋エラータイプ）の組合せ（イベント情報組）を取得する（図１４の１４０１）。
２．上記１．で取得したイベント情報組を構成する各イベント情報のイベント種別をキーとして、各イベント情報の正常時の順番を、正常時イベント連鎖情報５０１より取得する（図１４の１４０２）。
３．上記１．で取得したイベント情報組を構成する各イベント情報のエラータイプをキーとして、各イベント情報に対応する判定方式のＩＤを、エラータイプ別判定方式情報５０２より取得する（図１４の１４０３）。
４．上記３．で取得した各判定方式に基づき作成された制約条件から、上記１．で取得したイベント情報組の満たすべき制約条件を抽出し、制約条件を満たすかの判定を実行する（図１４の１４０４）。
５．図１１に示されるデータ構成例を有する制約条件検証結果表５０３中の、上記１．で取得したイベント情報組に対応するセルに、上記４．での判定結果（または０）を記入する（図１４の１４０５）。
６．取得されるイベント情報組がなくなるまで、上記１．から５．までの一連の処理を繰り返す（図１４の１４０１から１４０５までの一連の処理の繰返し）。

上記処理手順に基づく具体的な処理例について、以下に説明する。
１．抽出結果イベント連鎖情報３０３を構成する１番目と２番目のイベント情報からなるイベント情報組を取得する。具体的には、１番目のイベント情報として、イベント種別「クラッチ接続」とエラータイプ「エラーなし」が取得される。また、２番目のイベント情報として、イベント種別「サイドブレーキＯｆｆ」とエラータイプ「行動せず」が取得される。

２．上記１．で取得した各イベント種別「クラッチ接続」と「サイドブレーキＯｆｆ」に対応する正常時イベント連鎖情報５０１中の順番（それぞれ「１０」と「９」）を取得する。

３．上記１．で取得した各エラータイプ「エラーなし」と「行動せず」に対応する判定方式（「正常時イベント順序と一致」と「それまでの順番を許す」）を、エラータイプ別判定方式情報５０２から取得する。

４．上記３．での判定方式の取得結果より、以下の制約判定を行う。即ち、抽出結果イベント連鎖情報３０３において、２番目に発生した「サイドブレーキＯｆｆ」に関しては、０，１，２番目の何れかに発生した時に、「クラッチ接続」のイベントと正常時イベント連鎖情報５０１中の順序制約「サイドブレーキＯｆｆ」→「クラッチ接続」を満たすことができるか否かを判定する。ここで０番目は1番目のクラッチ接続の前に発生することを示す。なお、記号「→」は、イベントが発生する順番を表す。即ち、イベント種別「サイドブレーキＯｆｆ」に対応する判定方式は「それまでの順番を許す」である。このため、抽出結果イベント連鎖情報３０３から選択されたイベント種別「サイドブレーキＯｆｆ」の順番については、同情報３０３中でのそのイベントの順番２以前の全ての順番０，１，２番を取り得るという条件下で、正常時イベント連鎖情報５０１中の同じイベントの順番と一致するか否かが判定される。この結果、イベント種別「サイドブレーキＯｆｆ」の順番が０番であるときに、上記２つのイベント情報組の発生する順番が正常時イベント連鎖情報５０１中の順序制約「サイドブレーキＯｆｆ」→「クラッチ接続」を満たすと判定される。

５．制約条件検証結果表５０３中の（先行イベント番号＝１、後続イベント番号＝２）に対応するセル位置（１，２）に、判定結果１（＝「制約を満たす」）を記入する。

６．次のイベント情報組として、抽出結果イベント連鎖情報３０３を構成する１番目と３番目のイベント情報の組を取得する。具体的には、１番目のイベント情報として、イベント種別「クラッチ接続」とエラータイプ「エラーなし」が取得される。また、３番目のイベント情報として、イベント種別「加速」とエラータイプ「不足」が取得される。

７．上記６．で取得した各イベント種別「クラッチ接続」と「加速」に対する正常時イベント連鎖情報５０１中の順番（それぞれ「１０」と「１１」）を取得する。

８．上記６．で取得した各エラータイプ「エラーなし」と「不足」に対応する判定方式（「正常時イベント順序と一致」と「正常時イベント順序と一致」）のＩＤ＝０及びＩＤ＝０を、エラータイプ別判定方式情報５０２から取得する。

９．上記６．で取得したイベント情報組の発生する順番が前記のＩＤに対応する制約条件（図２４参照）である正常時イベント連鎖情報５０１中の順序制約「クラッチ接続」→「加速」を満たすかどうかを調べてこの場合は満たすと判定する。

１０．制約条件検証結果表５０３中の（先行イベント番号＝１、後続イベント番号＝３）に対応するセル位置（１，３）に、判定結果１（＝「制約を満たす」）を記入する。

１１．次のイベント情報組として、抽出結果イベント連鎖情報３０３を構成する１番目と４番目のイベント情報の組を取得する。具体的には、１番目のイベント情報として、イベント種別「クラッチ接続」とエラータイプ「エラーなし」が取得される。また、４番目のイベント情報として、イベント種別「発進前確認」とエラータイプ「エラーなし」が取得される。

１２．上記１１．で取得した各イベント種別「クラッチ接続」と「発進前確認」の順番「１」と「４」に対する正常時イベント連鎖情報５０１中の順番（それぞれ「１０」と「８」）を取得する。

１３．上記１１．で取得した各エラータイプ「エラーなし」と「エラーなし」に対応する判定方式（「正常時イベント順序と一致」と「正常時イベント順序と一致」）のＩＤ＝０、ＩＤ＝０を、エラータイプ別判定方式情報５０２から取得する。

１４．上記１１．で取得したイベント情報組「クラッチ接続」[１]、「発進前確認」[４]の発生する順番「１」「４」が前記イベント情報組の各ＩＤのＩＤ＝０、ＩＤ＝０に対応する制約条件（図２４参照）を満足するかを調べる。すなわち、「クラッチ接続」[１]、「発生前確認」[４]が正常時イベント連鎖情報５０１中の順序制約「発進前確認」「８」→「クラッチ接続」「１０」の順序を満たすかどうかを調べこの場合は満たさないと判定する。「クラッチ接続」と「発進前確認」順序は制約条件である正常時イベント連鎖情報の８＜１０と逆転するから、イベント情報の順番を正常時イベント連鎖情報上の順番に対応させたとき、制約条件である正常時イベント連鎖情報の順番と逆転する。

１５．制約条件検証結果表５０３中の（先行イベント番号＝１、後続イベント番号＝４）に対応するセル位置（１，４）に、判定結果０（＝「制約を満たさない」）を記入する。

以降、「サイドブレーキＯｆｆ」と「加速」の組（判定結果＝１）、「サイドブレーキＯｆｆ」と「発進前確認」の組（判定結果＝０）、「加速」と「発進前確認」の組（判定結果＝０）について制約条件の判定を行ない、図１４に示される制約条件検証結果表５０３を得る。

以上説明した第２ステップ（Ｓ４０３）の制約判定処理において、例えば正常時イベント連鎖情報５０１には記載されているがトラブルレポート３０１では省略されて記載されていないようなイベントが存在するケースを考える。第２ステップでは、抽出結果イベント連鎖情報３０３から抽出できる任意の２つのイベント情報からなるイベント情報組に対してのみ、それらの発生する順番が正常時イベント連鎖情報５０１中の同じ２つのイベント情報の順番と一致するか否かを判定している。従って、正常時イベント連鎖情報５０１には記載されているがトラブルレポート３０１には記載されていないイベントは判定対象とならないため、そのようなイベントが原因で抽出誤り（又は抽出洩れ）と誤判定されることはない。

また本実施形態では、誤り判定情報ＤＢ３０５内のエラータイプ別判定方式情報５０２を用いて、抽出結果イベント連鎖情報３０３中の各イベント情報を構成するエラータイプ毎に、判定方式が変更される。

例えば図１０に示されるように、エラータイプが「エラーなし」「不足」「過剰」「対象ミス」「方法ミス」である場合は、判定方式は「正常時イベント順序と一致」とされる。この判定方式が採用される場合には、例えば図１５（ａ）に示される制約条件判定が実施される。

即ちまず、抽出結果イベント連鎖情報３０３から２つのイベント種別Ａ，Ｂが抽出される。
次に、処理１として、イベント種別Ａをキーとして正常時イベント連鎖情報５０１が参照され、その順番Ｍが取得される。

同様に、処理２として、イベント種別Ｂをキーとして正常時イベント連鎖情報５０１が参照され、その順番Ｎが取得される。
そして、処理３として、抽出結果イベント連鎖情報３０３中でのイベント種別Ａ，Ｂの発生する順番ｍ，ｎの大小関係が、正常時イベント連鎖情報５０１中の同じ２つのイベント情報Ａ，Ｂの順番Ｍ，Ｎの大小関係と一致するか否かが判定される。この結果、これらの大小関係はｍ≦ｎ及びＭ≦Ｎとなって一致するため、「制約条件を満たす」と判定される。

一方、例えば図１０に示されるように、エラータイプが「行動せず」である場合は、判定方式は「それまでの順番を許す」とされる。この判定方式が採用される場合は、例えば図１５（ｂ）に示される制約条件判定が実施される。

即ちまず、抽出結果イベント連鎖情報３０３から２つのイベント種別Ａ，Ｂが抽出される。
次に、処理１として、イベント種別Ａをキーとして正常時イベント連鎖情報５０１が参照され、その順番Ｍが取得される。

同様に、処理２として、イベント種別Ｂをキーとして正常時イベント連鎖情報５０１が参照され、その順番Ｎが取得される。
そして、処理３として、イベント種別Ｂのエラータイプ「行動せず」に対応して決定される判定方式「それまでの順番を許す」（図１０参照）に基づいて、以下のように制約条件が緩和される。即ち、イベント情報Ｊの順番は、イベント情報Ｊの順番の前ならばよいことを意味する。従って、抽出結果イベント連鎖情報３０３において、イベント情報Ｉとイベント情報Ｊがトラブルレポート３０１から正しく抽出されていたならば、制約条件は「常に満たす」となっている。抽出結果イベント連鎖情報３０３において、イベント種別Ｂの順番ｎがイベント種別Ａの順番ｍより前の順序を取り得る状態で、ｍ，ｎの大小関係がＭ，Ｎの大小関係と一致するか否かが判定される。この結果、イベントＢがイベントＡの前に移動してできる順序はＭ≦Ｎとなって一致する。このため、イベント情報Ａ，Ｂの組は、正常時イベント連鎖における順序「Ｂ→Ａ」を満たすことができるので、制約条件が満たされる。この結果、イベント情報Ａ，Ｂの組は、抽出結果イベント連鎖情報３０３において正しく抽出されていると判定される。

このように、例えば或るイベントが操作されなかったというレポートが、トラブルレポート３０１中で正常時とは異なった順序関係で記述されていても、本実施形態では正しい判定がなされる。即ち、上記レポートに対応するイベント情報の発生する順番の妥当性を、正常時イベント連鎖情報５０１及びエラータイプ別判定方式情報５０２を用いて、正しく判定することができる。

本実施形態では、トラブルレポート３０１で報告されるようなエラーを示すイベントは、元々のある決められた手順に従って実施される操作の連鎖において発生する一部の操作ミスとして報告されるものであるという経験則を利用している。更に、そのような操作ミスに対応するイベントは、トラブルレポート３０１中では、他の正常時イベントに対して順番の逆転をもって記述される場合が多いという経験則を利用している。このような経験則を利用して本実施形態では、エラータイプがエラーの発生を示しているイベントについては、次のような処理が実行される。即ち、正常時イベント連鎖情報５０１中の対応するイベントとの順番に関する制約条件の判定において、順番の変更を許すようにその制約条件が緩和される。このような制約条件の緩和を行いながら、トラブルレポート３０１から自動抽出された抽出結果イベント連鎖情報３０３中の各イベント情報において、順番に関して制約条件を満たさないイベントが、抽出誤りの候補として指摘される。これにより、トラブルレポート３０１から適正に抽出される操作ミスに対応するイベントであるエラーイベントを避けながら、トラブルレポート３０１からのイベント自動抽出における抽出誤りの候補を、効率的にかつ精度良く指摘することが可能となる。

この場合、本実施形態におけるイベント情報の順番に関する制約条件の緩和規則は、トラブルレポート３０１中でのイベント情報の起こりうる順番の変更の全ての場合を示しているものではない。従って、本実施形態による制約条件の緩和規則で対応できないような順番が大きく異なるトラブルを示すイベント情報は、トラブルレポートから正確に抽出はされるが抽出誤りとされてしまう可能性がある。しかし、このようなケースは本質的にはあまり発生しないと考えられ、本実施形態による制約条件の緩和規則は、多く発生し得るケースを網羅していると考えられる。従って、これらの制約条件の緩和規則を組み込んだ制約判定処理により、誤って抽出されたイベント情報の候補を、的確に利用者に提示することが可能になると考えられる。

また、誤って抽出されたイベント種別の順番が、正常時イベント連鎖情報５０１中の対応するイベント種別の順番とたまたま一致する場合はあると考えられる。しかしその場合には、そのイベント種別と組み合わされる他の抽出されたイベント種別との発生する順番の関係が影響を受けて狂うことが多いと考えられ、結果的に、制約条件を満たさなくなって抽出誤りの候補として検出できる可能性が高いと考えられる。

次に、図５又は図１２，図１３で説明した第０ステップのイベント情報抽出処理で、トラブルレポート３０１中に記載されるイベントが、イベント種別抽出用辞書データ６０１（図６参照）から正しく抽出できないケースを考える。このケースは、トラブルレポート３０１中に記載されている正常時イベント又はトラブルを記述するエラーイベント（例えば「追突」）が、イベント種別抽出用辞書データ６０１中の全く異なるイベント情報とマッチしてしまうケースである。このようなケースは、イベント種別抽出用辞書データ６０１の不備や、係り受け解析による格フレーム抽出の不正確さによって発生し得る。これは例えば図５において、トラブルレポート３０１中の「後続車に追突された」という文から、全然関係のないイベント種別として「発進前確認」が誤抽出されてしまうようなケースである。そして、本実施形態では、このようなケースにおいて誤抽出されたイベント情報に関して、抽出結果イベント連鎖情報３０３中での順番は、正常時イベント連鎖情報５０１中での順番と比較して正しい順番の関係にはならない。このため、その誤抽出されたイベント情報が制約条件を満たさないという結果を、制約条件検証結果表５０３中に出力することができる。これにより、そのイベント情報が誤抽出された可能性があるということを検出することができる。

上述のケースとは異なり、第０ステップのイベント情報抽出処理で、トラブルレポート３０１から抽出結果イベント連鎖情報３０３に正しく抽出されたエラーイベントが、正常時イベント連鎖情報５０１中に存在しないケースを考える。このケースは例えば、イベント種別抽出用辞書データ６０１（図６参照）にはトラブル（例えば追突）を示すエラーイベントのイベント種別も登録されており、それが抽出結果イベント連鎖情報３０３の一部として正しく抽出されるようなケースである。このケースでは、そのようなエラーイベントは、正常時イベント連鎖情報５０１中には存在しない。このような場合には本実施形態では例えば、後述するように常に制約条件が満たされるように制御することができる。これにより、正常時イベント連鎖情報５０１中に対応するイベント情報がないことにより、正しく抽出されたエラーイベントが誤りの過剰指摘として抽出されてしまう誤動作が回避される。

以上のように、本実施形態では、正常時の手順のみを用意するだけで、トラブルレポートの手順と正常時の手順が異なるだけで抽出誤りとされる条件を総和して抽出誤りの過剰指摘を回避しながら、抽出結果イベント連鎖情報３０３における抽出誤りの候補を、効率的かつ精度よく指摘することが可能となる。

次に、前述した図４又は図５の第３ステップ（Ｓ４０４）の手順１．から４．の誤り評価値算出処理の更に詳細な動作について、図１６から図１８の説明図を用いて説明する。
１．まず、図８に例示される抽出結果イベント連鎖情報３０３のテーブルに誤り評価値フィールドを追加し、その各フィールド値を０で初期化して、図１６に例示される誤り指摘結果表３０８を作成する。

２．次に、図１７に示されるように、制約条件検証結果表５０３をスキャンし、制約条件を満たさないイベント情報組毎に、そのイベント情報組を構成するイベント情報に対応する誤り評価値フィールドの値を１増やす。より具体的には、以下の２−１，２−２，２−３．の処理が実行される。
２−１．制約条件検証結果表５０３の（１，２）（１，３）（１，４）の各セルをスキャンし、制約を満たしていない（１，４）セルに対応する、誤り指摘結果表３０８中の「順番」項目値が「１」と「４」に対応する各行の誤り評価値フィールドの各値（図１７の「集計値」）に１を加える。
２−２．制約条件検証結果表５０３の（２，３）（２，４）の各セルをスキャンし、制約を満たさない（２，４）セルに対応する、誤り指摘結果表３０８中の「順番」項目値が「２」と「４」に対応する各行の誤り評価値フィールドの各値（図１７の「集計値」）に１を加える。
２−３．制約条件検証結果表５０３の（３，４）セルをスキャンし、制約を満たさない（３，４）セルに対応する、誤り指摘結果表３０８中の「順番」項目値が「３」と「４」に対応する各行の誤り評価値フィールドの各値（図１７の「集計値」）に１を加える。

３．スキャン終了時には、誤り指摘結果表３０８中の「順番」項目値が１から３までに対応する各行の誤り評価値フィールド（「集計結果」列）の各値は１、「順番」項目値が「４」に対応する行の誤り評価値フィールドの値（図１７の「集計値」）は３となる。従って最小値は「１」となる。

４．各行（＝イベント）の誤り評価値フィールドの各値（図１７の「集計値」）から最小値「１」を減ずる。この結果、「順番」項目値が「４」に対応する行の誤り評価値フィールドの値（図１７の「最終値」）として「２」が得られる。一方、「順番」項目値が「４」以外に対応する他の行の誤り評価値フィールドの各値（図１７の「最終値」）として「０」を得る。図１８は、最終的に得られる誤り指摘結果表３０８のデータ構成例を示す図である。この結果、評価値フィールドの値が０でない順番４の行のイベント種別「発進前確認」を、抽出誤りとして検知する。

ここで、各誤り評価値から最小値を減じるのは、抽出結果において少なくとも一つのイベント情報は正しく抽出が行なわれているという仮定に基づいた処理である。正しく抽出されたイベント情報が、他方の抽出誤りイベントの影響を受けたために制約を満たさなくなるという現象は当然起こり得るが、このような影響による評価値の上昇は評価値の最小値によって観測可能となる。この補正により、誤り評価値が０より大きいイベント情報においては、それ以上の誤り評価値の上昇を生じるなんらかの要因を持つことが言えるので、誤り評価値が０より大きいという絶対的な基準によって誤りを指摘することが可能となる。

なお、このような処理以外にも図１１に示される制約条件検証結果表５０３を用いて、イベント情報単位の指摘を行なう方法は考えられる。
例えば、図１１は、制約条件を満たさないイベント情報組があり、抽出結果に誤りが存在していることを示唆する。ここで、誤りが１つしか存在しないと仮定し、その誤りが抽出結果中の１〜４番目のイベント情報の何れかであるとして、各々のイベント情報を除いた場合に制約を満たすイベント情報組でのみ構成される制約条件検証結果表５０３が得られるか否かをチェックする。図１１に示される例の場合には、４番目のイベント情報を除いた時、つまり制約条件検証結果表５０３における４行目及び４列目を除いた表は、全て制約を満たす。このため、４番目のイベント情報を、誤りと判定することができる。

また、１つのイベント情報を除いても制約を満たすイベント情報組でのみ構成される制約条件検証結果表５０３が得られない場合には、２つのイベント情報の組合せを制約条件検証結果表５０３から除いて同様の検証を行う。そして、制約を満たすイベント情報組でのみ構成される場合に除外したイベント情報組を誤りと判定する（そのような組が複数得られた場合には、それらを全て出力しても良いし、例えば抽出の確信度といった他の基準で選択を行なってもよい）。このような処理を誤りが３個の時、４個の時、・・・と、制約条件を満たすイベント情報組でのみ構成される制約条件検証結果表５０３が得られるまで繰り返すことで、抽出結果中の誤りを判定することができる。

全体処理を示すフローチャート
図１９は、図３に示される本実施形態のシステムの機能を実現するためのコンピュータによる全体処理を示すフローチャートである。

まず、図３のイベント情報抽出部３０２の機能を実現する処理として、ステップＳ１９０１の処理が実行される。この処理では、トラブルレポート３０１から、順番を付与したイベント種別とエラータイプとかなるイベント情報の組によって構成される抽出結果イベント連鎖情報３０３が自動抽出される。この処理は、図４又は図５又は図１２，図１３の第０ステップのイベント情報抽出処理に対応する。

一方、誤り検知を行う前の準備ステップＳ１９００として、各種動作のマニュアル・手順書３０４から、誤り判定情報として、正常時イベント連鎖情報５０１とエラータイプ別判定方式情報５０２が抽出され、図３の誤り判定情報ＤＢ３０５に格納される。この処理は、図４又は図５の第１ステップの誤り判定情報作成処理に対応する。

次に、図３の制約判定部３０６の機能を実現する処理として、ステップＳ１９０２の処理が実行される。この処理では、抽出結果イベント連鎖情報３０３から選択した全イベント情報組に対して制約条件の判定が行われ、判定結果が制約条件検証結果表５０３に格納される。この処理は、図４又は図５又は図１４，図１５の第２ステップの制約判定処理に対応する。

最後に、図３の誤り評価部３０７の機能を実現する処理として、ステップＳ１９０３の処理が実行される。この処理では、制約条件検証結果表５０３より、各イベントの誤り評価値が算出され、誤り指摘結果表３０８を用いて、評価値が1以上のものが誤り候補としてユーザに提示される。この処理は、図４又は図５又は図１６〜図１８の第３ステップの誤り評価値算出処理に対応する。

図２０は、図１９のステップＳ１９０１のイベント情報抽出部３０２の処理のコンピュータによる詳細処理を示すフローチャートである。
まず、文中の格フレームが抽出される（ステップＳ２００１）。

次に、ステップＳ２００１で抽出された格フレームのうち、最初の格フレームが取得される（ステップＳ２００２）。
次に、ステップＳ２００２にて格フレームの取得が成功したか否かが判定される（ステップＳ２００３）。

ステップＳ２００３で格フレームの取得に成功してステップＳ２００３の判定がＹＥＳなら、その格フレームの用言と格要素をキーとして、イベント種別抽出用辞書データ６０１が検索され、その格フレームに対応するイベント種別が抽出される（ステップＳ２００４）。イベント種別抽出用辞書データ６０１は、前述した図６に示されるデータ構成例を有する。

上記検索の結果、イベント種別抽出用辞書データ６０１中の何れかのレコードとマッチするか否かが判定される（ステップＳ２００５）。
ステップＳ２００５の判定がＮＯの場合には、ステップＳ２００２又は後述するステップＳ２０１６で抽出された格フレームのうち未処理の次の格フレームが取得される（ステップＳ２０１６）。そして、その格フレームに対して、上述のステップＳ２００３からＳ２００５までの一連の処理が繰り返し実行されて、イベント種別抽出用辞書データ６０１から、各格フレームに対応するイベント種別の推定が試みられる。

ステップＳ２００５の判定がＹＥＳとなったら、イベント種別抽出用辞書データ６０１上でヒットしたレコードのイベント種別（図６参照）が、イベント種別の推定結果とされる（ステップＳ２００６）。

次に、現在処理中の格フレームの文末表現をキーとして、エラータイプ推定ルールデータ７０１が検索される（ステップＳ２００７）。エラータイプ推定ルールデータ７０１は、前述した図７に示されるデータ構成例を有する。より具体的には、図７のエラータイプ推定ルールデータ７０１において、「キータイプ」項目の値が「文末表現」であって、かつ「キーの例」項目の値、例えば「〜な（否定助動詞）、〜忘れる」が現在処理中の格フレームの文末表現（図１２、図７参照）に対応するレコードが検索される。

次に、ステップＳ２００７の検索の結果、エラータイプ推定ルールデータ７０１の何れかのレコードとのマッチが検出されたか否かが判定される（ステップＳ２００８）。
ステップＳ２００８の判定がＹＥＳならば、検出されたレコード中の「エラータイプ」項目の値（図７参照）が、エラータイプの推定結果とされる（ステップＳ２００９）。

ステップＳ２００８の判定がＮＯならば、現在処理中の格フレームの格要素をキーとして、エラータイプ推定ルールデータ７０１が検索される（ステップＳ２０１０）。より具体的には、図７のエラータイプ推定ルールデータ７０１において、「キータイプ」項目の値が「格要素」であって、かつ「キーの例」項目の値が現在処理中の格フレームの格要素（図６、図７参照）に対応するレコードが検索される。

次に、ステップＳ２０１０の検索の結果、エラータイプ推定ルールデータ７０１の何れかのレコードとのマッチが検出されたか否かが判定される（ステップＳ２０１１）。
ステップＳ２０１１の判定がＹＥＳならば、検出されたレコード中の「エラータイプ」項目の値（図７参照）が、エラータイプの推定結果として出力される（ステップＳ２００９）。

ステップＳ２０１１の判定がＮＯならば、現在処理中の格フレーム用言をキーとして、エラータイプ推定ルールデータ７０１が検索される（ステップＳ２０１２）。より具体的には、図７のエラータイプ推定ルールデータ７０１において、「キータイプ」項目の値が「用言」であって、かつ「キーの例」項目の値が現在処理中の格フレームの用言（図１３、図７参照）に対応するレコードが検索される。

次に、ステップＳ２０１２の検索の結果、エラータイプ推定ルールデータ７０１の何れかのレコードとのマッチが検出されたか否かが判定される（ステップＳ２０１３）。
ステップＳ２０１３の判定がＹＥＳならば、検出されたレコード中の「エラータイプ」項目の値（図７参照）が、エラータイプの推定結果として出力される（ステップＳ２００９）。

ステップＳ２０１３の判定がＮＯならば、「エラーなし」がエラータイプの推定結果とされる（ステップＳ２０１４）。
以上の図２０に示した処理によりトラブルレポートを文書解析した結果に対して、図６のイベント種別抽出用辞書データ６０１と図７のエラータイプ推定ルールデータ７０１を適用することにより、それぞれイベント種別とエラータイプからなる抽出結果イベント連鎖情報３０３が得られる。

すなわち、ステップＳ２００６と、Ｓ２００９又はステップＳ２０１４とで出力されたイベント種別とエラータイプの組が、現在の検出順を示す「順番」項目値と共に、抽出結果イベント連鎖情報３０３（図３〜図５、図８参照）を構成するイベント情報として出力される（ステップＳ２０１５）。

その後、ステップＳ２００１で抽出された格フレームのうち未処理の次の格フレームが取得される（ステップＳ２０１６）。そして、その格フレームに対して、上述のステップＳ２００３からＳ２００５までの一連の処理が繰り返し実行されて、イベント種別抽出用辞書データ６０１から、各格フレームに対応するイベント種別の推定が試みられる。

上記一連の処理の中で、未処理の次の格フレームが取得されなくなり、ステップＳ２０１３の判定がＮＯとなったら、図１９のステップＳ１９０１の処理を終了し、最終的な抽出結果イベント連鎖情報３０３が出力される。

図２１は、図１９のステップＳ１９０２の制約判定部３０６の処理のコンピュータによる詳細処理を示すフローチャートである。
まず、抽出結果イベント連鎖情報３０３から、最初の未処理の２つイベント情報（イベント種別＋エラータイプ）の組合せ（イベント情報組）が取得される（ステップＳ２１０１）。

ステップＳ２１０１の取得が成功したか否かが判定される（ステップＳ２１０２）。
ステップＳ２１０１の取得が成功しステップＳ２１０２の判定がＹＥＳとなると、ステップＳ２１０１又は後述するステップＳ２１０９で取得されたイベント情報組を構成する各イベント情報のイベント種別をキーとして、各イベント情報の正常時の順番が、正常時イベント連鎖情報５０１より取得される（ステップＳ２１０３）。

次に、ステップＳ２１０１又は後述するステップＳ２１０９で取得されたイベント情報組を構成する各イベント情報のエラータイプをキーとして、各イベント情報に対応する判定方式が、エラータイプ別判定方式情報５０２（図１０参照）より取得される（ステップＳ２１０４）。

次に、ステップＳ２１０３で取得された正常時順番と、ステップＳ２１０４で取得された各判定方式とに基づき、ステップＳ２１０１又は後述するステップＳ２１０９で取得されたイベント情報組の満たすべき制約条件が作成される（ステップＳ２１０５）。

そして、ステップＳ２１０５で作成された制約条件の判定処理が実行され、その制約条件が満たされるか否かが判定される（ステップＳ２１０６）。
ステップＳ２１０５で作成された制約条件が満たされステップＳ２１０６の判定がＹＥＳならば、以下の処理が実行される。即ち、図１１に示されるデータ構成例を有する制約条件検証結果表５０３中の、ステップＳ２１０１又は後述するステップＳ２１０９で取得したイベント情報組に対応するセルに、ステップＳ２１０６での判定結果として「１」（＝「制約を満たす」）が格納される（ステップＳ２１０７）。

一方、ステップＳ２１０５で作成された制約条件が満たされずステップＳ２１０６の判定がＮＯならば、以下の処理が実行される。即ち、制約条件検証結果表５０３中の、ステップＳ２１０１又は後述するステップＳ２１０９で取得したイベント情報組に対応するセルに、ステップＳ２１０６での判定結果として「０」（＝「制約を満たさない」）が格納される（ステップＳ２１０８）。

現在のイベント情報組に対して、ステップＳ２１０３からＳ２１０８までの一連の処理により制約条件の判定処理が終了したら、抽出結果イベント連鎖情報３０３から、次の未処理のイベント情報組が取得される（ステップＳ２１０９）。そして、その新たなイベント情報組に対して、ステップＳ２１０２からＳ２１０８までの一連の処理が繰り返し実行されることにより、制約条件の判定処理が繰り返される。

この繰返しの中で、未処理のイベント情報組が取得されなくなり、ステップＳ２１０２の判定がＮＯとなったら、図１９のステップＳ１９０２の処理を終了し、最終的な制約条件検証結果表５０３が出力される。

上記図２１のフローチャートに基づく具体的な処理例について、図２２に沿って以下に説明する。
抽出結果イベント連鎖情報３０３中の１番目のイベント情報（イベント種別：「クラッチ接続」、エラータイプ：「エラーなし」）と、２番目のイベント情報（イベント種別：「サイドブレーキＯｆｆ」、エラータイプ：「行動せず」）が抽出される（２２０１）。この処理は、図２１のステップＳ２１０１に対応する。

上記２２０１で取得した各イベント情報に対応するイベント種別「クラッチ接続」と「サイドブレーキＯｆｆ」に対する正常時イベント連鎖情報５０１中の順番（それぞれ「１０」と「９」）が取得される（２２０２）。この処理は、図２１のステップＳ２１０２（ＹＥＳ）→ステップＳ２１０３に対応する。

上記２２０１で取得した各イベント情報に対応するエラータイプ「エラーなし」と「行動せず」に対応する判定方式（それぞれ「正常時イベント順序と一致」と「それまでの順番を許す」）が取得される（２２０３）。この処理は、図２１のステップＳ２１０４に対応する。

上記２２０３での判定方式の取得結果より、以下の制約条件の作成（２２０４）と判定（２２０５）が行われる。即ち、「サイドブレーキＯｆｆ」に関しては、０，１，２番目の何れかに発生した時に、「クラッチ接続」のイベントと正常時イベント連鎖情報５０１中の順序制約「サイドブレーキＯｆｆ」→「クラッチ接続」を満たすことができるか否かを判定する。この結果、「サイドブレーキＯｆｆ」が０番目に発生したとした場合に制約を満たすと判定する。

この結果、制約条件が満たされるので、制約条件検証結果表５０３の現在のイベント情報組に対応するセル（１，２）に判定結果「１」が格納される（２２０６）。

以降、「クラッチ接続」と「加速」の組（判定結果＝１）、「クラッチ接続」と「発進前確認」の組（判定結果＝０）の組について制約条件の判定が行われる。更に、「サイドブレーキＯｆｆ」と「加速」の組（判定結果＝１）、「サイドブレーキＯｆｆ」と「発進前確認」の組（判定結果＝０）、「加速」と「発進前確認」の組（判定結果＝０）についても制約条件の判定が行われる。その結果、最終的に図１１に示される制約条件検証結果表５０３が得られる。

図２３は、図２１のイベント情報組中の２つのイベントについて、正常時順番を取得するステップＳ２１０３と、イベント情報組中のイベントのエラータイプからそれぞれ判定方式を取得するステップＳ２１０４のコンピュータによる詳細処理を示すフローチャートである。

まず、図２１のステップＳ２１０１又はＳ２１０９で取得されたイベント情報組を構成する各イベント情報を、抽出結果イベント連鎖情報３０３中のｉ番目のイベント情報Ｉとｊ番目（ｉ＜ｊ）のイベント情報Ｊとする。

始めに、イベント情報Ｉのイベント種別をキーとして、その正常時の順番が、正常時イベント連鎖情報５０１より取得される（ステップＳ２３０１）。
次に、ステップＳ２３０１での正常時順番の取得が成功したか否かが判定される（ステップＳ２３０２）。

正常時順番の取得が成功しステップＳ２３０２の判定がＹＥＳならば、取得された正常時順番が変数Ｎi にセットされる（ステップＳ２３０３）。言い換えれば、イベントiの正常時順番がＮｉとなる。

正常時順番の取得が失敗しステップＳ２３０２の判定がＮＯならば、変数Ｎi に値０がセットされる（ステップＳ２３０４）。これは、トラブルレポートから抽出された抽出結果イベント連鎖情報３０３中のイベント種別が正常時イベント連鎖情報５０１中には存在しないことを意味する。すなわち、図６に示されるイベント種別抽出用辞書データ６０１にはトラブル（例えば追突）を示すエラーイベントのイベント種別も登録されており、それが抽出結果イベント連鎖情報３０３の一部として正しく抽出されるようなケースである。この場合であっても、そのようなエラーイベントは、正常時イベント連鎖情報５０１中には存在しないとき、ステップＳ２３０２の判定がＮＯとなる。このケースは、後述する制約条件テーブル２４０１に基づく制約条件の制約判定処理から除外され抽出誤りの判定対象とならないので、抽出誤りの過剰指摘が抑制される。

続いて、イベント情報Ｊのイベント種別をキーとして、その正常時の順番が、正常時イベント連鎖情報５０１より取得される（ステップＳ２３０５）。
次に、ステップＳ２３０５での正常時順番の取得が成功したか否かが判定される（ステップＳ２３０６）。

正常時順番の取得が成功しステップＳ２３０６の判定がＹＥＳならば、取得された正常時順番が変数Ｎj にセットされる（ステップＳ２３０７）。言い換えれば、イベントｊの正常時順番がＮｊとなる。

正常時順番の取得が失敗しステップＳ２３０６の判定がＮＯならば、変数Ｎj に値０がセットされる（ステップＳ２３０８）。これはトラブルレポートには存在するが正常時順番には存在しない処理を意味する。このケースも、後述する制約条件テーブル２４０１に基づく制約条件の制約判定処理から除外される。

なお、図２３のフローチャートにおいて、ステップＳ２３０２又はＳ２３０６の判定がＮＯとなった場合に、判定方式Ｍj の値が「２」とされることにより、常に制約条件が満たされないように制御されてもよい。この場合には、正常時イベント連鎖情報５０１中に対応するイベント情報がない場合には、あえて抽出誤りとすることにより、抽出誤りが取りこぼされてしまうことを回避することができ、抽出誤りの検出精度を向上させることが可能となる。

以上のステップＳ２３０１からＳ２３０８までの一連の処理は、図２１のステップＳ２１０３の処理に対応する。

次に、イベント情報Ｉに対応する判定方式ＩＤを指定する変数Ｍi に値がセットされたか否かが判定される（ステップＳ２３０９）。

変数Ｍi に値がセットされておらず、即ちイベント情報Ｉに対応する正常時順番の取得に成功しておりステップＳ２３０９の判定がＮＯならば、以下の処理が実行される。
即ちまず、イベント情報Ｉのエラータイプをキーとして、それに対応する判定方式ＩＤが、エラータイプ別判定方式情報５０２（図１０参照）より取得される（ステップＳ２３１０）。

次に、ステップＳ２３１０で取得された判定方式ＩＤが、イベント情報Ｉに対応する判定方式ＩＤを指定する変数Ｍi にセットされる（ステップＳ２３１１）。
一方、変数Ｍi に値がセットされており、ステップＳ２３０９の判定がＹＥＳならば、上述のステップＳ２３１０とＳ２３１１の処理は実行されない。

ステップＳ２３１１の後又はステップＳ２３０９の判定がＹＥＳの後、イベント情報Ｊに対応する判定方式ＩＤを指定する変数Ｍj に値がセットされたか否かが判定される（ステップＳ２３１２）。

変数Ｍj に値がセットされておらず、即ちイベント情報Ｊに対応する正常時順番の取得に成功しておりステップＳ２３１２の判定がＮＯならば、以下の処理が実行される。
即ちまず、イベント情報Ｊのエラータイプをキーとして、それに対応する判定方式ＩＤが、エラータイプ別判定方式情報５０２（図１０参照）より取得される（ステップＳ２３１３）。

次に、ステップＳ２３１３で取得された判定方式ＩＤが、イベント情報Ｊに対応する判定方式ＩＤを指定する変数Ｍj にセットされる（ステップＳ２３１４）。
一方、変数Ｍj に値がセットされており、ステップＳ２３１２の判定がＹＥＳならば、上述のステップＳ２３１３とＳ２３１４の処理は実行されない。

ステップＳ２３１４の後又はステップＳ２３１２の判定がＹＥＳの後、図２３のフローチャートの処理を終了する。
以上のステップＳ２３０９からＳ２３１４までの一連の処理は、図２１のステップＳ２１０４の処理に対応する。

図２４は図３の制約判定部３０６、図４及び図５の制約判定ステップＳ４０３、図１９の制約判定部３０６の処理Ｓ１９０２、図２１のステップＳ２１０５，Ｓ２１０６で用いられる制約条件テーブルの構成例を示す図である。この制約条件テーブル２４０１は図１０に示されるエラータイプ別判定方式情報５０２において規定される各判定方式ＩＤ（Ｍi 、Ｍj ）の組合せ毎に固定的に決定することができる制約条件を規定する。そして、この制約条件テーブル２４０１は、図２１のステップＳ２１０５の制約条件の作成及びステップＳ２１０６の制約判定のコンピュータによる詳細処理を、データテーブルの形式で表現したものである。

前述したように、図２１のステップＳ２１０１又はＳ２１０９で取得されたイベント情報組を構成する各イベント情報を、抽出結果イベント連鎖情報３０３中のｉ番目のイベント情報Ｉとｊ番目（ｉ＜ｊ）のイベント情報Ｊとする。また、前述した図２３のフローチャートによって得られた、イベント情報Ｉ及びＪに対応する判定方式ＩＤをそれぞれ、Ｍi 及びＭj とする。更に、図２３のフローチャートによって得られた、イベント情報Ｉ及びＪに対応する正常時順番をそれぞれ、Ｎi 及びＮj とする。この場合、制約条件テーブル２４０１は、判定方式ＩＤのＭi とＭj の組合せ毎に、正常時順番のＮi とＮj、およびiとｊを使った制約条件が規定されている。

以下に、判定方式ＩＤの組み合わせで規定される制約条件について図２４の制約条件テーブルを参照しながら、前述の例題とは別の例題をあげて詳細に説明する。前のイベント情報Ｉおよびイベント情報Ｊは、それぞれイベントiおよびイベントｊに対応する。

１ 正常時イベント連鎖の例
正常時イベント連鎖として、左折レーンにいる乗用車が前方の交差点を右折する場合の手順を例として挙げ、以降については、この例を基に説明する。なお、この例における正常時イベント連鎖情報を以下のものとする。
１．右ウィンカーを点灯
２．右レーンに進路変更
３．右折

２ 制約の判定方式の説明
判定方式ＩＤ（すなわちエラータイプ）０．１，２，３，４について、エラータイプによる制約の緩和条件を上記例題に沿って再度説明する。

０．正常時イベント順序と一致
抽出結果中のイベントの発生順序が、正常時イベント連鎖における発生順序と一致していることを制約とする。
例えば、「ウィンカー点灯」⇒「進路変更」⇒「右折」という連鎖は、正常時イベント連鎖の順序と一致するので、制約条件を満たす。すなわち、抽出ミスはないと判断する候補となる。

１．それまでの順序を許す
抽出結果の順番以前の全ての値を取り得るという条件下で、正常時イベント連鎖におけ発生順序と一致することを制約とする。
例えば、「進路変更」⇒「右折」⇒「ウィンカー点灯せず」という連鎖は、「ウィンカー点灯せず」のエラータイプが「行動せず」であるので、それ以前の全ての位置に配置され得るので、この連鎖の先頭に配置することができ、この時に正常時イベント連鎖の順序と一致するので、制約条件を満たす。

２．常に制約を満たさない
順序比較を行なう他のイベントの正常時イベント順序がいかなる場合でも、常に制約を満たさないと判定される。すなわち抽出ミスがあると判断する候補となる。例えば、上記正常時連鎖に存在しない「カーナビ操作（エラータイプ： 不要）」が該当する。

３．直後のイベントとの逆転を許す。
抽出結果中の直後のイベントとの逆転を許すという条件下で、正常時イベント連鎖における発生順序と一致することを制約とする。
例えば、「ウィンカー点灯」⇒「右折早過ぎ」⇒「進路変更」という連鎖は、「右折早過ぎ」が直後の「進路変更」と逆転させれば、正常時イベント連鎖の順序と一致するので、このイベント連鎖は下記の制約判定において適切であると判定される。

４．直前のイベントとの逆転を許す
抽出結果中の直前のイベントとの逆転を許すという条件下で、正常時イベント連鎖における発生順序と一致することを制約とする。
例えば、「進路変更」⇒「ウィンカー点灯遅れ」⇒「右折」という連鎖は、「ウィンカー点灯遅れ」を直前の「進路変更」と逆転させれば正常時イベント連鎖の順序と一致するので、このイベント連鎖は下記節の制約判定において適切であると判定される。

３ 制約判定処理の詳細
上述した、エラータイプによる制約の緩和条件の基で、抽出結果イベント連鎖中のi 番目とj 番目のイベント（i<j）における制約判定方式について、それぞれのエラータイプの組み合わせ毎に説明を行なう。以下、イベントi、jに対する正常時イベント連鎖の順序をＮｉ，Ｎｊと記載する。

・ Ｍｉ＝０，Ｍｊ＝０
抽出結果中の２つのイベントに関し、エラータイプがどちらも「正常時イベント順序と一致」
である場合には、制約の緩和は発生せず、制約条件はＮｉ≦Ｎｊとなる。ここでＮｉ＝Ｎｊはどちらを先に行なっても誤りではないイベントには同じ番号を付すことを示す。
例えば、「ウィンカー点灯」⇒「進路変更」という連鎖について、各イベントのエラータイプはどちらも「エラーなし」で、かつ正常時イベント順序はそれぞれＮｉ＝１，Ｎｊ＝２であるので、制約条件を満たす。この連鎖は例えばレポート中の「ウィンカーを出し、進路変更しました」といった自然な表現からの抽出結果に相当する。
一方、「進路変更」⇒「ウィンカー点灯」という連鎖についてはＮｉ＝２，Ｎｊ＝１であるので、制約を満たさない。レポートにおいては、エラーがないイベントについてはその発生順に記載していくことが想定でき、例えば「進路変更し、ウィンカーを点灯しました」といった表現があることは想定できず、従って上記判定結果は妥当である。

・ Ｍｉ＝０，Ｍｊ＝1
イベントi⇒イベントjという抽出結果中のイベント連鎖において、Ｍｊ＝1であるので、イベントj は抽出結果イベント連鎖中においてそれ以前の全ての順番を取り得る。
ここで、Ｎｉ≦Ｎｊである時は、イベントｊの順番としてｊを取れば制約を満たすことになる。一方、Ｎｉ＞Ｎｊである場合も、イベントｊの順番として、i より小さい値を取り得るので、その場合に制約を満たすことになる。以上より、全ての場合において制約を満たすことになる。
例えば、「ウィンカー点灯」⇒「進路変更せず」は制約条件を満たす。この連鎖は例えば、レポート中の「ウィンカーは出しましたが、進路を変更できませんでした」といった自然な表現からの抽出結果に相当する。さらに、「進路変更」⇒「ウィンカー点灯せず」という連鎖も制約条件を満たす。これもレポート中の「進路変更をしましたが、ウィンカーを出すのを忘れていました。」といった自然な表現からの抽出結果に相当する。

・ Ｍｉ＝０，Ｍｊ＝２
Ｍｊ＝２であるので、Ｎｉ，Ｎｊの値に関わりなく、常に制約を満たさない。

・ Ｍｉ＝０，Ｍｊ＝３
イベントi⇒イベントｊ という抽出結果中のイベント連鎖において、Ｍｊ＝３であるので、イベントｊ は直後のイベントｊ+１ との逆転を許す。

ここで、Ｎｉ≦Ｎｊである場合には、抽出結果の順序と正常時順序が一致し、制約を満たす。また、イベントｊ について、抽出結果イベント連鎖における直後のイベントとの順序を逆転させても、イベントｊがより遅れるだけであるから、ｉ＜ｊの関係は変わらないので、逆転による制約緩和は発生しない。つまりＭｊ＝３による制約緩和は発生しない。従って、制約条件はＭｉ＝０，Ｍｊ＝０の場合と同じＮｉ≦Ｎｊとなる。

例えば、「進路変更」⇒「右折早過ぎ」という連鎖は、Ｎｉ＝２，Ｎｊ＝３で、制約を満たす。
一方、「進路変更」⇒「ウィンカー点灯早過ぎ」という連鎖については、「ウィンカー点灯早過ぎ」のエラータイプでは、直後との逆転は許すが直前との逆転は許さないから「進路変更」との逆転を許さない。したがって「進路変更」⇒「ウィンカー点灯早過ぎ」という順序は変わらず、Ｎｉ＝２，Ｎｊ＝１であるので制約を満たさない。

・ Ｍｉ＝０，Ｍｊ＝４
イベントi⇒ _イベントｊという抽出結果中のイベント連鎖において、Ｍｊ＝４であるので、イベントｊ は、直前のイベントｊ-１との逆転を許す。
ここで、Ｎｉ≦Ｎｊである場合には、抽出結果の順序と正常時順序が一致し制約を満たす。また、ｊ＝ｉ+１の場合には、ＮｉとＮｊの順番を逆転させることができるので、上記制約条件Ｎｉ≦Ｎｊを満たさない場合には、ＮｉとＮｊの順番を逆転させることで、制約を満たすことができる。言い換えれば、j＝i＋1とはイベントiとイベントｊの逆転を許すことを表す。以上より、制約条件はｊ＝i+１orＮｉ≦Ｎｊとなる。

例えば、レポート中の「進路を変更する時に、ウィンカーを出すのが遅れ、その後に右折しました」という表現から適切に抽出が行なわれた場合、抽出結果イベント連鎖は「進路変更」⇒「ウィンカー点灯遅過ぎ」⇒「右折」となる。この中の「進路変更」（i=１）⇒「ウィンカー点灯遅過ぎ」（ｊ＝２）という連鎖については、ｊ＝i+１であるので制約を満たす。これは、「ウィンカー点灯遅過ぎ」のエラータイプ「遅過ぎ」が抽出結果における直前イベントとの順序逆転を許し、「ウィンカー点灯」⇒「進路変更」という連鎖として判定することができるからである。さらに抽出結果中のイベント組から構成される他の連鎖「進路変更」⇒「右折」及び「ウィンカー点灯遅過ぎ」⇒「右折」に関しても、それぞれ制約を満たす。したがって、この抽出結果イベント連鎖において、誤りとして指摘されるイベントはなく、つまり、誤り指摘処理が適切に実現される。

一方、「右折」⇒「ウィンカー点灯」⇒「進路変更遅過ぎ」という抽出結果イベント連鎖中の「右折」⇒「進路変更遅過ぎ」という連鎖は制約を満たさない。この抽出結果が正しいとすると、例えば抽出元文は「右折しました。ウィンカーは出しましたが、進路変更が遅れました」といった文になるが、この文は、イベントの発生順序が曖昧であり、レポート中にこのような記載は想定されない。つまり、この抽出結果は誤りを含む。その誤りの候補として、「右折」⇒「進路変更遅れ」という連鎖が制約を満たさないと判定することは妥当である。

・ Ｍｉ＝１，Ｍｊ＝０
Ｍｉ＝１であるので、イベントiについては、発生順序としてi以下の全ての値を取り得る。しかしながら、i以下のどのような値を取る場合でも、ｊより小さい値となるので、抽出イベント間の順序関係は変わらない。つまり、Ｍｉ＝１による制約条件の緩和は発生せず、従って、Ｍｉ＝０，Ｍｊ＝０と同じ制約条件Ｎｉ≦Ｎｊとなる。

例えば、レポート中の「ウィンカーを出さずに進路変更しました」という自然な表現からの抽出結果である「ウィンカー点灯せず」⇒「進路変更」という連鎖は、「ウィンカー点灯」⇒「進路変更」と同様に制約を満たす。

・ Ｍｉ＝１，Ｍｊ＝１
上述のように、Ｍｉ＝１による制約条件の緩和は発生しない。つまり、Ｍｉ＝０，Ｍｊ＝１の場合と同様に、全て制約条件を満たす。

例えば、レポート中の「右折しましたが、進路変更もせず、ウィンカーも出していませんでした」といった自然な表現から抽出される「進路変更せず」⇒「ウィンカー点灯せず」という連鎖は制約を満たす。また、「右折しましたが、ウィンカーを出さず、進路変更もしていませんでした。」という自然な表現から抽出される「ウィンカー点灯せず」⇒「進路変更せず」という連鎖も制約を満たす。

・ Ｍｉ＝１，Ｍｊ＝２
上述のように、Ｍｉ＝１による制約条件の緩和は発生しない。つまり、Ｍｉ＝０，Ｍｊ＝２の場合と同様に、全て制約条件を満たさない。

・ Ｍｉ＝１，Ｍｊ＝３
上述のように、Ｍｉ＝１による制約条件の緩和は発生しない。つまり、Ｍｉ＝０，Ｍｊ＝３の場合と同様に、制約条件はＮｉ≦Ｎｊとなる。
例えば、レポート中の「ウィンカーを出していない中で、進路を変更してしまい早過ぎでした」といった自然な表現から抽出される「ウィンカー点灯せず」⇒「進路変更早過ぎ」という連鎖は制約を満たす。

・ Ｍｉ＝１，Ｍｊ＝４
上述のように、Ｍｉ＝１による制約条件の緩和は発生しない。つまり、Ｍｉ＝０，Ｍｊ＝４の場合と同様に、制約条件はｊ＝i+１orＮｉ≦Ｎｊとなる。
例えば、レポート中の「進路変更できなかったのは、ウィンカーを出すのが遅れたためです」という自然な表現から抽出される「進路変更せず」⇒「ウィンカー点灯遅れ」という連鎖は、ｊ＝i+１であるので制約を満たす。

また、レポート中の「進路変更できず、右折が遅れました」という自然な表現から抽出される「進路変更せず」⇒「右折遅れ」という連鎖は、Ｎｉ＝２、Ｎｊ＝３であり制約を満たす。
・ Ｍｉ＝２，Ｍｊ＝０
・ Ｍｉ＝２，Ｍｊ＝１
・ Ｍｉ＝２，Ｍｊ＝２
・ Ｍｉ＝２，Ｍｊ＝３
・ Ｍｉ＝２，Ｍｊ＝４
Ｍｉ＝２であるので、イベントｊ の正常時順番に関わりなく、制約を満たさない。
・ Ｍｉ＝３，Ｍｊ＝０
Ｍｉ＝３であるので、抽出結果イベント連鎖における直後のイベントとの逆転を許す。つまり、ｊ＝i+１である場合には、Ｎｉ，Ｎｊの値に関わりなく、制約条件を満たすことができる。それ以外はＭｉ＝０，Ｍｊ＝０に準じ、制約条件はｊ＝i+１orＮｉ≦Ｎｊとなる。

例えば、レポート中の「進路変更は早過ぎましたが、その時にウィンカーは出しており、その後に右折しました。」という自然な表現から適切に抽出が行なわれた場合、抽出結果イベント連鎖が「進路変更早過ぎ」⇒「ウィンカー点灯」⇒「右折」となる。この中の「進路変更早過ぎ」（i＝１）⇒「ウィンカー点灯」（ｊ＝２）という連鎖は、ｊ＝i+１であるので制約を満たす。また、上記抽出結果イベント連鎖中の「進路変更早過ぎ」⇒「右折」という連鎖も、Ｎｉ≦Ｎｊであり、制約を満たす。さらに、「ウィンカー点灯」⇒「右折」という連鎖も制約を満たすので、上記抽出結果イベント連鎖においては誤りとして指摘されるイベントはなく、つまり、誤り指摘処理が適切に実現される。

・ Ｍｉ＝３，Ｍｊ＝１
Ｍｉ＝３による制約緩和が発生し、ｊ＝i+１の場合は制約を満たす。それ以外はＭｉ＝０，Ｍｊ＝１に準ずるが、この場合は全て制約条件を満たすので、結局、この場合も全て制約条件を満たす。

・ Ｍｉ＝３，Ｍｊ＝２
Ｍｉ＝３による制約緩和は発生するが、Ｍｊ＝２より、常に制約条件を満たさない。

・ Ｍｉ＝３，Ｍｊ＝３
Ｍｉ＝３による制約緩和が発生する。それ以外はＭｉ＝０，Ｍｊ＝３に準ずる。以上より、制約条件はｊ＝i+１orＮｉ≦Ｎｊとなる。

例えば、レポート中の「ウィンカー点灯も進路変更も早過ぎました」という自然な表現から抽出される「ウィンカー点灯早過ぎ」⇒「進路変更早過ぎ」という連鎖はＮｉ≦Ｎｊであり制約を満たす。また、このような並列表現は、しばしば実際の発生順序が無視され、「進路変更もウィンカー点灯も早過ぎました」という表現が使用される。この表現から抽出される「進路変更早過ぎ」⇒「ウィンカー点灯早過ぎ」という連鎖においては、ｊ＝i+１となるので、制約を満たす。

・ Ｍｉ＝３，Ｍｊ＝４
エラータイプが３の制約は、直後のイベントとの順序逆転を許すというものであり、一方エラータイプが４の制約は、直前のイベントとの順序逆転を許すというものである。この２つ制約緩和を段階的に適用すると、例えば、抽出結果イベント連鎖が「Ａ 早過ぎ」⇒「Ｂ」⇒「Ｃ遅過ぎ」であった時に、まず、エラータイプ３ の制約緩和を加えることで、「Ｂ_」⇒「Ａ」の制約緩和を加えることで、「Ｂ_」⇒「Ｃ遅過ぎ」⇒_「Ａ早過ぎ」という連鎖でも順序を判定できることになる。

つまり、上記抽出結果イベント連鎖における「Ａ早過ぎ」⇒「Ｃ遅過ぎ」という連鎖に関しては、「Ａ」⇒「Ｃ」という順序でも、「Ｃ」⇒「Ａ」という順序のどちらかが正常時の順序と一致すれば良いことになるので、常に制約を満たす事になる。つまり、間に一つ他のイベントをはさんだ場合、つまりｊ≦i+２でも、上記の制約条件の段階適用によって正常イベント間の順序の制約を満たすことができる。

しかしながら、このような２段階の順序逆転を許す文章は、レポートの読み手にとってイベントの発生順序が非常に分かりにくいものになってしまうので、通常は用いられない。例えば、「右折が早過ぎて、進路変更はしましたが、ウィンカーを出すのが遅れました。」という表現は、イベント発生順序が非常に分かりにくい。

以上により、Ｍｉ＝３，Ｍｊ＝４の場合は、２つの制約緩和を段階的に適用することは許可しないことにする。つまり、この２つの制約条件緩和のＯＲ 結合がこの場合の制約条件となる。なお、Ｍｉ＝３による制約条件の緩和も、Ｍｊ＝４による制約条件の緩和は、どちらもｊ＝ｉ+１であるので、このＯＲ結合もｊ＝ｉ+１となる。この条件と、正常時イベントの順序条件Ｎｉ≦ＮｊのＯＲ結合、つまり、ｊ＝i+１orＮｉ≦Ｎｊがこの場合の制約条件となる。

例えば、レポート中の「進路変更が早過ぎ、その後で遅れてウィンカーを出しました」という自然な表現から抽出される「進路変更早過ぎ」⇒「ウィンカー点灯遅れ」という連鎖は、ｊ＝i+１であるので制約条件を満たす。

・ Ｍｉ＝４，Ｍｊ＝０
Ｍｉ＝４であるので、抽出結果イベント連鎖における直前のイベントとの順序逆転を許す。
しかしながら、Ｍｉ＝１の場合と同様に、直前のイベントとの順序逆転を許しても、制約条件の緩和は発生しない。つまり、Ｍｉ＝０，Ｍｊ＝０と同じ制約条件Ｎｉ≦Ｎｊとなる。

例えば、レポート中の「進路変更が遅れてしまいましたが、右折しました」という自然な表現から抽出される「進路変更遅れ」⇒「右折」という連鎖は、「進路変更」⇒「右折」という連鎖と同様に制約を満たす。

・ Ｍｉ＝４，Ｍｊ＝１
上述のように、Ｍｉ＝４による制約条件の緩和は発生せず、Ｍｉ＝０，Ｍｊ＝１と同じで、常に制約条件を満たす。
例えば、レポート中の「ウィンカーを出すのが遅れ、進路変更できませんでした」という自然な記述から抽出される「ウィンカー点灯遅れ」⇒「進路変更せず」という連鎖は制約条件を満たす。

・ Ｍｉ＝４，Ｍｊ＝２
上述のように、Ｍｉ＝４による制約条件の緩和は発生せず、Ｍｉ＝０，Ｍｊ＝２と同じで、常に制約条件を満たさない。

・ Ｍｉ＝４，Ｍｊ＝３
上述のように、Ｍｉ＝４による制約条件の緩和は発生せず、Ｍｉ＝０，Ｍｊ＝３と同じ制約条件とＮｉ≦Ｎｊなる。
例えば、レポート中の「ウィンカーを出すのは遅れたが、強引に進路変更し、右折は却って早過ぎでした。」という自然な表現から抽出される「ウィンカー点灯遅過ぎ」⇒「右折早過ぎ」という連鎖は制約を満たす。

・ Ｍｉ＝４，Ｍｊ＝４
上述のように、Ｍｉ＝４による制約条件の緩和は発生せず、Ｍｉ＝０，Ｍｊ＝４と同じ制約条件はｊ＝i+１orＮｉ≦Ｎｊとなる。
例えば、レポート中の「ウィンカーを出すのも、進路を変更するのも遅れました」といった自然な並列表現から抽出される「ウィンカー点灯遅過ぎ」⇒「進路変更遅過ぎ」という連鎖はＮｉ≦Ｎｊであり、制約を満たす。またこのような並列表現はしばしば実際の発生順序を無視した記述がなされるので、「進路を変更するのも、ウィンカーを出すのも遅れました」という表現から抽出される「進路変更遅過ぎ」⇒「ウィンカー点灯遅過ぎ」という連鎖も、ｊ＝i+１であるので制約を満たす。
以上の結果を、図２４の制約条件テーブルにまとめる。

図２５は、図２１のステップＳ２１０５の制約条件の作成及びステップＳ２１０６の制約判定のコンピュータによる詳細処理を示すフローチャートである。このフローチャートは、図２４の制約条件テーブル２４０１に示される、各判定方式ＩＤ（Ｍi 、Ｍj ）の組合せ毎の制約条件の作成・判定規則をフローチャートとして表したものである。

また、図２１のステップＳ２１０３で取得された各イベント情報Ｉ，Ｊの正常時の順番を、それぞれＮi 、Ｎj とする。更に、図２１のステップＳ２１０４でエラータイプ別判定方式情報５０２から取得された各イベント情報Ｉ，Ｊに対応する各判定方式ＩＤ（図１０参照）を、それぞれＭi 、Ｍj とする。

まず、「Ｍi ＝２である又はＭj ＝２である」が成立するか否かが判定される（ステップＳ２５０１）。
ステップＳ２５０１の判定がＹＥＳならば、判定結果は「制約を常に満たさない」とされる（ステップＳ２５０２）。これは、図２４の制約条件テーブル２４０１においてＭｉ＝２又はＭｊ＝２の制約条件の作成と判定を実現する
ステップＳ２５０１の判定がＮＯならば、「Ｍj ＝１である」が成立するか否かが判定される（ステップＳ２５０３）。これは、図２４の制約条件テーブル２４０１においてＭｉ＝２,Ｍｊ＝１であるケースの制約条件の作成と判定を実現する。

ステップＳ２５０３の判定がＹＥＳならば、判定結果は「制約を満たす」とされる（ステップＳ２５０４）。
ステップＳ２５０３の判定がＮＯならば、「Ｍj ＝０である又はＭj ＝３である」が成立するか否かが判定される（ステップＳ２５０５）。

ステップＳ２５０５の判定がＹＥＳならば、更に「Ｍi ＝３である」が成立するか否かが判定される（ステップＳ２５０６）。
ステップＳ２５０６の判定がＹＥＳならば、「ｊ＝ｉ＋１ ｏｒ Ｎi ≦ Ｎj」が成立するか否かが判定される（ステップＳ２５０７）。これは、図２４の制約条件テーブル２４０１のケースＭｉ＝３，Ｍｊ＝０；Ｍｉ＝３，Ｍｊ＝３の制約条件の作成と判定を実現する。

ステップＳ２５０７の判定がＹＥＳならば、判定結果は「制約を満たす」とされる（ステップＳ２５０８）。 ステップＳ２５０７の判定がＮＯならば、判定結果は「制約を満たさない」とされる（ステップＳ２５０９）。

ステップＳ２５０６の判定がＮＯならば、「Ｎi ≦ Ｎj 」が成立するか否かが判定される（ステップＳ２５１０）。これは、図２４の制約条件テーブル２４０１のケースＭｉ＝０，Ｍｊ＝０；Ｍｉ＝０，Ｍｊ＝３；Ｍｉ＝１，Ｍｊ＝０；Ｍｉ＝１，Ｍｊ＝３；Ｍｉ＝４，Ｍｊ＝０；Ｍｉ＝４，Ｍｊ＝３の制約条件の作成と判定を実現する。

ステップＳ２５１０の判定がＹＥＳならば、判定結果は「制約を満たす」とされる（ステップＳ２５１１）。
ステップＳ２５１０の判定がＮＯならば、判定結果は「制約を満たさない」とされる（ステップＳ２５１２）。

ステップＳ２５０５の判定がＮＯならば、更に「Ｍi ＝３である」が成立するか否かが判定される（ステップＳ２５１３）。
ステップＳ２５１３の判定がＹＥＳならば、「ｊ＝ｉ＋1 ｏｒ Ｎｉ ≦ Ｎｊ 」が成立するか否かが判定される（ステップＳ２５１４）。これは、図２４の制約条件テーブル２４０１のケースＭｉ＝３、Ｍｊ＝４の制約条件の作成と判定を実現する。

ステップＳ２５１４の判定がＹＥＳならば、判定結果は「制約を満たす」とされる（ステップＳ２５１５）。
ステップＳ２５１４の判定がＮＯならば、判定結果は「制約を満たさない」とされる（ステップＳ２５１６）。

ステップＳ２５１３の判定がＮＯならば、「ｊ＝ｉ＋1 ｏｒ Ｎｉ ≦ Ｎｊ」が成立するか否かが判定される（ステップＳ２５１７）。これは、図２４の制約条件テーブル２４０１のケースＭｉ＝０，Ｍｊ＝４；Ｍｉ＝１，Ｍｊ＝４；Ｍｉ＝４，Ｍｊ＝４の制約条件の作成と判定を実現する。

ステップＳ２５１７の判定がＹＥＳならば、判定結果は「制約を満たす」とされる（ステップＳ２５１８）。
ステップＳ２５１７の判定がＮＯならば、判定結果は「制約を満たさない」とされる（ステップＳ２５１９）。

図２６は、図１９において誤り評価部３０７の処理部を制約条件検証結果表５０３より、各イベントの誤り評価値を算出し、評価値が１以上のものを誤り評価としてユーザに提出するステップＳ１９０３のコンピュータによる詳細処理を示すフローチャートである。

まず、抽出結果イベント連鎖情報３０３のテーブルに誤り評価値フィールドが追加され、その各フィールド値が０で初期化されて、誤り指摘結果表３０８（図１６参照）が作成される（ステップＳ２６０１）。

次に、制約条件検証結果表５０３（図１１参照）中の最初のセルの値が検証結果Ｒとして取得される（ステップＳ２６０２）。
次に、ステップＳ２６０２での取得が成功したか否かが判定される（ステップＳ２６０３）。

ステップＳ２６０２での取得が成功しステップＳ２６０３の判定がＹＥＳならば、取得された検証結果Ｒが「１」であるか否かが判定される（ステップＳ２６０４）。
検証結果Ｒが「１」ではなくステップＳ２６０４の判定がＮＯならば、現在のセルに対応するイベント情報組を構成するイベント情報に対応する誤り評価値フィールドの値が１増やされる（ステップＳ２６０５）。

検証結果Ｒが「１」でステップＳ２６０４の判定がＹＥＳの場合又はステップＳ２６０５の処理の後に、制約条件検証結果表５０３中の未処理の次のセルの値が新たな検証結果Ｒとして取得される（ステップＳ２６０６）。そして、上記ステップＳ２６０３からＳ２６０５までの一連の処理が繰り返されて、誤り指摘結果表３０８の各誤り評価値フィールドへの集計が行われる。

上記一連の処理において、制約条件検証結果表５０３中の未処理のセルがなくなってステップＳ２６０３の判定がＮＯになると、誤り指摘結果表３０８の誤り評価値フィールドの最小値ｎが算出される（ステップＳ２６０７）。

そして、誤り指摘結果表３０８の誤り評価値フィールドの各誤り評価値から、上記最小値ｎを減じたものが、最終的な誤り評価値フィールドの各値とされる（ステップＳ２６０８）。

上記フローチャートの処理の具体例を、図２７を用いて以下に説明する。
抽出結果イベント連鎖情報３０３のテーブルに誤り評価値フィールドが追加され、その各フィールド値が０で初期化されて、誤り指摘結果表（初期状態）３０８が成される（ステップ２７０１）。この処理は、図２６のステップＳ２６０１に対応する。

制約条件検証結果表５０３の（１，２）（１，３）（１，４）（２，３）（２，４）（３，４）の各セルをスキャンし、制約を満たしていない（１，４）（２，４）（３，４）セルに対応する、誤り指摘結果表（集計結果）３０８中の各「順番」項目値に対応する行の誤り評価値フィールドの各値に１が加えられる（２７０２）。この処理は、図２６のステップＳ２６０５に対応する。

誤り指摘結果表（集計結果）３０８の誤り評価値フィールドの最小値「１」が算出され、その最小値が誤り指摘結果表（集計結果）３０８の誤り評価値フィールドの各誤り評価値から減算されて、誤り指摘結果表（出力３０８）が生成される。（２７０３）。以上により順番４のイベント種別「発進前確認」の誤り評価値が２となるので、このイベントは抽出に誤りがある誤り候補であると判定される。

図２８は、上述の本実施形態のシステムを実現できるコンピュータのハードウェア構成の一例を示す図である。
図２８に示されるコンピュータは、ＣＰＵ３００１、メモリ３００２、入出力装置３００３、外部記憶装置３００５、可搬記録媒体３００９が挿入される可搬記録媒体駆動装置３００６、及び通信ネットワーク３００７を有し、これらがバス３００８によって相互に接続された構成を有する。

ＣＰＵ３００１は、当該コンピュータ全体の制御を行う。メモリ３００２は、プログラム又はデータを一時的に格納するＲＡＭ等のメモリである。ＣＵＰ３００１は、メモリ３００２上のプログラムを実行することにより、全体の制御を行う。

本実施形態によるシステムは、本実施形態の機能を実現する図１９、図２０、図２１、図２５、図２６の各フローチャートに対応する各制御プログラムを、ＣＰＵ３００１が実行することで実現される。そのプログラムは、例えば外部記憶装置３００５や可搬記録媒体３００９に記録して配布してもよく、或いは通信インターフェース３００７によりネットワークから取得できるようにしてもよい。誤り判定情報ＤＢ３０５（図３）、イベント種別抽出用辞書データ６０１（図６）、エラータイプ推定ルールデータ７０１（図７）、抽出結果イベント連鎖情報３０３（図８）、制約条件検証結果表５０３（図１１）、誤り指摘結果表３０８（図１６等）などは、例えば外部記憶装置３００５又はメモリ３００２上に記憶して運用される。また、メモリ３００２上には、必要に応じて各制御プログラムを実行するためのワーク領域が展開される。

以上説明したイベント情報抽出誤り検知装置の実施形態により、利用者は、以下のような操作が可能となる。即ち、例えば図５に示されるように、利用者は、大量に蓄積されるトラブルレポートからトラブルレポート３０１を順次表示し、それぞれに対応させてイベント情報を自動抽出した結果を含む誤り指摘結果表３０８を即座に表示させることができる。

トラブルレポート３０１から自動抽出される抽出結果イベント連鎖情報３０３において、イベント種別の抽出誤りをコンピュータが完全に自動判定することは困難である。しかし、トラブルレポート３０１中から誤り抽出の可能性を誤り指摘結果表３０８として表示することができれば、利用者は、次のような判断動作が可能となる。即ち利用者は、誤り指摘結果表３０８を参照することにより、抽出結果イベント連鎖情報３０３のどの部分で誤り抽出が発生しているかを、短時間で効率的に判断することができるようになる。即ち、本実施形態は、利用者が大量に蓄積されるトラブルレポートからの抽出結果イベント連鎖情報の自動抽出結果において、イベント抽出誤りを効率的に判断するための支援機能を提供するものである。したがって、本実施形態によれば操作マニュアルに基づく正常時の手順のみを用意するだけで、抽出結果イベント連鎖情報における抽出誤りの候補を、過剰指摘を抑制しながら検出することができる。これにより、トラブルレポートからの情報抽出を効率的に行うことが可能となる。

なお、上述の実施形態において、利用者による最終的なイベント抽出誤りの判断結果を、図３のイベント情報抽出部３０２や制約判定部３０６、誤り評価部３０７での各処理アルゴリズムにフィードバックするような学習機能を実装することも可能である。

より具体的には、抽出誤りが多く発生するイベント種別については、誤って抽出されたイベント種別と正しいイベント種別との対応関係を、例えばイベント情報抽出部３０２に記憶させ、格フレームからの抽出結果を修正する等である。

また、イベント情報抽出部３０２によるイベント種別の推定結果は正しいが制約判定部３０６における判定方式が誤っている場合には、イベント順番の誤り推定の例外ルールを追加する。例外ルールは例えば「イベント種別Ａとイベント種別Ｂにおける順番の逆転については誤りとして指摘しない」というようなルールである。

このような学習機能の追加により、イベント情報抽出誤り検知装置のイベント抽出誤りの指摘精度を向上させることが可能となる。

以上の本実施形態に関して、更に以下の付記を開示する。
（付記１）
トラブルレポートから抽出した抽出結果イベント連鎖情報の抽出誤りを検知するイベント情報抽出誤り検知装置であって、
トラブルレポートから抽出したイベント種別と、そのイベント種別が発生をした順番と、どのようなエラーかを表すエラータイプと対応付けて記録した抽出結果イベント連鎖情報を記憶する抽出結果イベント連鎖情報記憶部と、
正常な手順におけるイベント種別とそのイベント種別が発生をする順番を記憶する正常時イベント連鎖情報記憶部と、
前記抽出結果イベント連鎖情報中のイベント種別の順番が前記正常時イベント連鎖情報中の順番と異なっていた場合に、その順番の異なりを許すか許さないかの条件の判定方式を前記エラータイプ毎に記憶するエラータイプ別判定方式情報記憶部と、
前記抽出結果イベント連鎖情報記憶部から複数のイベント種別を抽出し、抽出をした複数のイベント種別が発生をした順番が、正規な手順においてそれらのイベント種別が発生する順番と合っているかを前記正常時イベント連鎖情報記憶部を参照して判断し、順番が異なっていれば、抽出をしたイベント種別のエラータイプと前記エラータイプ別判定方式情報記憶部を参照してその順番の異なりを許すか許さないかを判断する制約判定部と、
前記制約判定部が前記抽出をした複数のデータのイベント種別が行われた順番が前記正規の手順のイベントのイベント種別が行われる順番と比べて異なり、且つ、その順番の異なりを許さないと判断をすると、前記複数のイベント種別に誤り候補であることを示す値を付与する処理を実行する誤り評価部と、
を含むことを特徴とするイベント情報抽出誤り検知装置。
（付記２）
前記誤り評価部は、
前記各イベント種別に付与された誤り候補であることを示す値を比べて、他のイベント種別よりも誤り候補であることを示す値が高いイベント種別を、誤り箇所の候補として出力する誤り評価手段を更に含む、
ことを特徴とする付記１に記載のイベント情報抽出誤り検知装置。
（付記３）
前記誤り評価部は、
前記イベント種別毎に前記異常が判断された数を集計し、
前記集計の結果から最小集計値を検出し、
前記各集計の結果から前記最小集計値を減算し、
前記減算の結果値がゼロとならない集計の結果に対応するイベント種別を、誤り箇所の候補として出力する、
ことを特徴とする付記１に記載のイベント情報抽出誤り検知装置。
（付記４）
前記誤り評価部は、
前記イベント種別毎に前記異常が判断された数を集計し、
１つ又は複数のイベント種別を選択しながら、他のイベント種別の集計結果がゼロである場合に、前記選択されたイベント種別を、誤り箇所の候補として出力する、
ことを特徴とする付記１に記載のイベント情報抽出誤り検知装置。
（付記５）
前記制約判定部は、
複数の前記判定方式の組合せ毎に、対応する複数のイベント種別の前記抽出結果イベント連鎖情報中での順番に関して前記正常時イベント連鎖情報中での順番との関係で満たすべき制約条件を記憶した制約条件テーブルを備え、
前記抽出結果イベント連鎖情報から複数のイベント情報組を順次抽出し、
前記複数のイベント種別の正常時の各順番を前記正常時イベント連鎖情報記憶部より取得し、
前記複数のイベント種別にそれぞれ対応する複数のエラータイプに対応する複数の判定方式を前記エラータイプ判定方式情報記憶部より取得し、
前記複数のエラータイプに対応する複数の判定方式の組合せに対応する制約条件を前記制約条件テーブルから取得し、
前記各順番の順序関係が前記制約条件を満たさないときに、前記複数のイベント種別に誤り候補であることを示す値を付与する、
ことを特徴とする付記１に記載のイベント情報抽出誤り検知装置。
(付記６)
前記制約条件テーブルは、前記複数のイベント種別の順番の順序関係が前記制約条件をみたすとき、
前記複数のイベント種別の順番が前記正常時イベント連鎖情報中の順番と異なっていても前記複数のイベント種別を誤り候補としない場合が存在するように制約条件を緩和する構成となることを特徴とする付記４に記載のイベント情報抽出誤り検知装置。
（付記７）
前記制約判定部は、
前記複数のイベント種別のうちのいずれかの正常時の順番を前記正常時イベント連鎖情報記憶部より取得できなかった場合に、前記正常時の順番を０とし、前記判定方式を、前記イベント種別の順番が、前記抽出結果イベント連鎖情報中での前記イベント種別の順番以前の全ての順番を取り得るという条件下で、前記イベント種別に対応する前記正常時イベント連鎖情報中のイベント情報の順番と一致すべきであることを規定するものに設定する、
ことを特徴とする付記５に記載のイベント情報抽出誤り検知装置。
（付記８）
前記エラータイプが、エラーのない適切な操作であることを示すとき、操作量が不足していたというエラーを示すとき、操作量が過剰であったというエラーを示すとき、操作の対象が誤っていたというエラーを示すとき、又は操作の方法が誤っていたというエラーを示すときに、前記エラータイプに対応する判定方式は、前記抽出結果イベント連鎖情報から選択された前記エラータイプに対応するイベント種別の順番が、前記イベント種別に対応する前記正常時イベント連鎖情報中のイベント情報の順番と一致すべきであるという規定に基づいて前記制約判定部が判定処理を実行する、
ことを特徴とする付記１に記載のイベント情報抽出誤り検知装置。
（付記９）
前記制御判定部は、
前記エラータイプが、行なうべき操作を行なわなかったというエラーを示すときに、前記エラータイプに対応する判定方式は、前記抽出結果イベント連鎖情報から選択された前記エラータイプに対応するイベント種別の順番が、前記抽出結果イベント連鎖情報中での前記イベント種別の順番以前の全ての順番を取り得るという条件下で、前記イベント種別に対応する前記正常時イベント連鎖情報中のイベント種別の順番と一致すべきであるという規定に基づいて判定処理を実行する、
ことを特徴とする付記１に記載のイベント情報抽出誤り検知装置。
（付記１０）
前記エラータイプが、行なうべきでない操作を行なったというエラーを示すときに、前記エラータイプに対応する判定方式は、前記抽出結果イベント連鎖情報から選択された前記エラータイプに対応するイベント種別については、常に順番が誤っているという規定に基づいて前記制約判定部が判定処理を実行する、
ことを特徴とする付記１に記載のイベント情報抽出誤り検知装置。
（付記１１）
前記エラータイプが、順番は正しいが操作のタイミングが早過ぎたというエラーを示すときに、前記エラータイプに対応する判定方式は、前記抽出結果イベント連鎖情報中での前記イベント種別の順番が、前記抽出結果イベント連鎖情報中での前記イベント種別の直後のイベント種別の順番との逆転を許すという条件下で、前記イベント種別に対応する前記正常時イベント連鎖情報中のイベント種別の順番と一致すべきであるという規定に基づいて前記制約判定部が判定処理を実行する、
ことを特徴とする付記１に記載のイベント情報抽出誤り検知装置。
（付記１２）
前記エラータイプが、順番は正しいが操作のタイミングが遅過ぎたというエラーを示すときに、前記エラータイプに対応する判定方式は、前記抽出結果イベント連鎖情報中での前記イベント種別の順番が、前記抽出結果イベント連鎖情報中での前記イベント種別の直前のイベント種別の順番との逆転を許すという条件下で、前記イベント種別に対応する前記正常時イベント連鎖情報中のイベント種別の順番と一致すべきであるという規定に基づいて前記制約判定部が判定処理を実行する、
ことを特徴とする付記１に記載のイベント情報抽出誤り検知装置。
（付記１３）
トラブルレポートから抽出した抽出結果イベント連鎖情報の抽出誤りを検知するコンピュータに、
トラブルレポートから抽出したイベント種別と、そのイベント種別が発生をした順番と、どのようなエラーかを表すエラータイプと対応付けて記録した抽出結果イベント連鎖情報を記憶する抽出結果イベント連鎖情報記憶部と、正常な手順におけるイベント種別とそのイベント種別が発生をする順番を記憶する正常時イベント連鎖情報記憶部と、前記抽出結果イベント連鎖情報中のイベント種別の順番が前記正常時イベント連鎖情報中の順番と異なっていた場合に、その順番の異なりを許すか許さないかの条件の判定方式を前記エラータイプ毎に記憶するエラータイプ別判定方式情報記憶部とを参照することにより、前記抽出結果イベント連鎖情報記憶部から複数のイベント種別を抽出し、抽出をした複数のイベント種別が発生をした順番が、正規な手順においてそれらのイベント種別が発生する順番と合っているかを前記正常時イベント連鎖情報記憶部を参照して判断し、順番が異なっていれば、抽出をしたイベント種別のエラータイプと前記エラータイプ別判定方式情報記憶部を参照してその順番の異なりを許すか許さないかを判断する制約判定ステップと、
前記制約判定ステップが前記抽出をした複数のデータのイベント種別が行われた順番が前記正規の手順のイベントのイベント種別が行われる順番と比べて異なり、且つ、その順番の異なりを許さないと判断をすると、前記複数のイベント種別に誤り候補であることを示す値を付与する処理を実行する誤り評価ステップと、
を実行させるためのプログラム。
（付記１４）
誤り評価ステップは、
前記各イベント種別に付与された誤り候補であることを示す値を比べて、他のイベント種別よりも誤り候補であることを示す値が高いイベント種別を、誤り箇所の候補として出力する、
ことを特徴とする付記１３に記載のプログラム。
（付記１５）
前記誤り評価ステップは、
前記イベント種別毎に前記異常が判断された数を集計し、
前記集計の結果から最小集計値を検出し、
前記各集計の結果から前記最小集計値を減算し、
前記減算の結果値がゼロとならない集計の結果に対応するイベント種別を、誤り箇所の候補として出力する、
ことを特徴とする付記１３に記載のプログラム。
（付記１６）
前記誤り評価ステップは、
前記イベント種別毎に前記異常が判断された数を集計し、
１つ又は複数のイベント種別を選択しながら、他のイベント種別の集計結果がゼロである場合に、前記選択されたイベント種別を、誤り箇所の候補として出力する、
ことを特徴とする付記１３に記載のプログラム。
（付記１７）
複数の前記判定方式の組合せ毎に、対応する複数のイベント種別の前記抽出結果イベント連鎖情報中での順番に関して前記正常時イベント連鎖情報中での順番との関係で満たすべき制約条件を記憶した制約条件テーブルを備え、
前記繰返し処理において、
前記抽出結果イベント連鎖情報から複数のイベント種別の組を順次抽出し、
前記複数のイベント種別の正常時の各順番を前記正常時イベント連鎖情報記憶部より取得し、
前記複数のイベント種別にそれぞれ対応する複数のエラータイプに対応する複数の判定方式を前記エラータイプ判定方式情報記憶部より取得し、
前記複数のエラータイプに対応する２つの判定方式の組合せに対応する制約条件を前記制約条件テーブルから取得し、
前記各順番の順序関係が前記制約条件を満たさないときに、前記複数のイベント種別に誤り候補であることを示す値を付与する、
ことを特徴とする付記１３に記載のプログラム。
（付記１８）
前記繰返し処理において、
前記複数のイベント種別のうちのいずれかの正常時の順番を前記正常時イベント連鎖情報記憶部より取得できなかった場合に、前記正常時の順番を０とし、前記判定方式を、前記イベント種別の順番が、前記抽出結果イベント連鎖情報中での前記イベント種別の順番以前の全ての順番を取り得るという条件下で、前記イベント種別に対応する前記正常時イベント連鎖情報中のイベント情報の順番と一致すべきであることを規定するものに設定する、
ことを特徴とする付記１７に記載のプログラム。
（付記１９）
前記エラータイプが、エラーのない適切な操作であることを示すとき、操作量が不足していたというエラーを示すとき、操作量が過剰であったというエラーを示すとき、操作の対象が誤っていたというエラーを示すとき、又は操作の方法が誤っていたというエラーを示すときに、前記エラータイプに対応する判定方式は、前記抽出結果イベント連鎖情報から選択された前記エラータイプに対応するイベント種別の順番が、前記イベント種別に対応する前記正常時イベント連鎖情報中のイベント情報の順番と一致すべきであるという規定に基づいて前記制約判定ステップが判定処理を実行する、
ことを特徴とする付記１３に記載のプログラム。
（付記２０）
前記エラータイプが、行なうべき操作を行なわなかったというエラーを示すときに、前記エラータイプに対応する判定方式は、前記抽出結果イベント連鎖情報から選択された前記エラータイプに対応するイベント種別の順番が、前記抽出結果イベント連鎖情報中での前記イベント種別の順番以前の全ての順番を取り得るという条件下で、前記イベント種別に対応する前記正常時イベント連鎖情報中のイベント種別の順番と一致すべきであるという規定に基づいて前記制約判定ステップが判定処理を実行する、
ことを特徴とする付記１３に記載のプログラム。
（付記２１）
前記エラータイプが、行なうべきでない操作を行なったというエラーを示すときに、前記エラータイプに対応する判定方式は、前記抽出結果イベント連鎖情報から選択された前記エラータイプに対応するイベント種別については、常に順番が誤っているという規定に基づいて前記制約判定ステップが判定処理を実行する、
ことを特徴とする付記１３に記載のプログラム。
（付記２２）
前記エラータイプが、順番は正しいが操作のタイミングが早過ぎたというエラーを示すときに、前記エラータイプに対応する判定方式は、前記抽出結果イベント連鎖情報中での前記イベント種別の順番が、前記抽出結果イベント連鎖情報中での前記イベント種別の直後のイベント種別の順番との逆転を許すという条件下で、前記イベント種別に対応する前記正常時イベント連鎖情報中のイベント種別の順番と一致すべきであることを規定する、
ことを特徴とする付記１３に記載のプログラム。
（付記２３）
前記エラータイプが、順番は正しいが操作のタイミングが遅過ぎたというエラーを示すときに、前記エラータイプに対応する判定方式は、前記抽出結果イベント連鎖情報中での前記イベント種別の順番が、前記抽出結果イベント連鎖情報中での前記イベント種別の直前のイベント種別の順番との逆転を許すという条件下で、前記イベント種別に対応する前記正常時イベント連鎖情報中のイベント種別の順番と一致すべきであることを規定する、
ことを特徴とする付記１３に記載のプログラム。
（付記２４）
コンピュータがトラブルレポートから抽出した抽出結果イベント連鎖情報の抽出誤りを検知するイベント情報抽出誤り検知方法であって、
トラブルレポートから抽出したイベント種別と、そのイベント種別が発生をした順番と、どのようなエラーかを表すエラータイプと対応付けて記録した抽出結果イベント連鎖情報を記憶する抽出結果イベント連鎖情報記憶部と、正常な手順におけるイベント種別とそのイベント種別が発生をする順番を記憶する正常時イベント連鎖情報記憶部と、前記抽出結果イベント連鎖情報中のイベント種別の順番が前記正常時イベント連鎖情報中の順番と異なっていた場合に、その順番の異なりを許すか許さないかの条件の判定方式を前記エラータイプ毎に記憶するエラータイプ別判定方式情報記憶部とを参照することにより、前記抽出結果イベント連鎖情報記憶部から複数のイベント種別を抽出し、抽出をした複数のイベント種別が発生をした順番が、正規な手順においてそれらのイベント種別が発生する順番と合っているかを前記正常時イベント連鎖情報記憶部を参照して判断し、順番が異なっていれば、抽出をしたイベント種別のエラータイプと前記エラータイプ別判定方式情報記憶部を参照してその順番の異なりを許すか許さないかを判断する制約判定ステップと、
前記制約判定ステップが前記抽出をした複数のデータのイベント種別が行われた順番が前記正規の手順のイベントのイベント種別が行われる順番と比べて異なり、且つ、その順番の異なりを許さないと判断をすると、前記複数のイベント種別に誤り候補であることを示す値を付与する処理を実行する誤り評価ステップと、
を含むことを特徴とするイベント情報抽出誤り検知方法。
（付記２５）
誤り評価ステップは、
前記各イベント種別に付与された誤り候補であることを示す値を比べて、他のイベント種別よりも誤り候補であることを示す値が高いイベント種別を、誤り箇所の候補として出力する、
ことを特徴とする付記２４に記載のイベント情報抽出誤り検知方法。
（付記２６）
前記誤り評価ステップは、
前記イベント種別毎に前記異常が判断された数を集計し、
前記集計の結果から最小集計値を検出し、
前記各集計の結果から前記最小集計値を減算し、
前記減算の結果値がゼロとならない集計の結果に対応するイベント種別を、誤り箇所の候補として出力する、
ことを特徴とする付記２４に記載のイベント情報抽出誤り検知方法。
（付記２７）
前記誤り評価ステップは、
前記イベント種別毎に前記異常が判断された数を集計し、
１つ又は複数のイベント種別を選択しながら、他のイベント種別の集計結果がゼロである場合に、前記選択されたイベント種別を、誤り箇所の候補として出力する、
ことを特徴とする付記２４に記載のイベント情報抽出誤り検知方法。
（付記２８）
複数の前記判定方式の組合せ毎に、対応する複数のイベント種別の前記抽出結果イベント連鎖情報中での順番に関して前記正常時イベント連鎖情報中での順番との関係で満たすべき制約条件を記憶した制約条件テーブルを備え、
前記繰返し処理において、
前記抽出結果イベント連鎖情報から複数のイベント種別の組を順次抽出し、
前記複数のイベント種別の正常時の各順番を前記正常時イベント連鎖情報記憶部より取得し、
前記複数のイベント種別にそれぞれ対応する複数のエラータイプに対応する複数の判定方式を前記エラータイプ判定方式情報記憶部より取得し、
前記複数のエラータイプに対応する複数の判定方式の組合せに対応する制約条件を前記制約条件テーブルから取得し、
前記各順番の順序関係が前記制約条件を満たさないときに、前記複数のイベント種別に誤り候補であることを示す値を付与する、
ことを特徴とする付記２４に記載のイベント情報抽出誤り検知方法。
（付記２９）
前記繰返し処理において、
前記２つのイベント種別のうちのいずれかの正常時の順番を前記正常時イベント連鎖情報記憶部より取得できなかった場合に、前記正常時の順番を０とし、前記判定方式を、前記イベント種別の順番が、前記抽出結果イベント連鎖情報中での前記イベント種別の順番以前の全ての順番を取り得るという条件下で、前記イベント種別に対応する前記正常時イベント連鎖情報中のイベント情報の順番と一致すべきであることを規定するものに設定する、
ことを特徴とする付記２８に記載のイベント情報抽出誤り検知方法。
（付記３０）
前記エラータイプが、エラーのない適切な操作であることを示すとき、操作量が不足していたというエラーを示すとき、操作量が過剰であったというエラーを示すとき、操作の対象が誤っていたというエラーを示すとき、又は操作の方法が誤っていたというエラーを示すときに、前記エラータイプに対応する判定方式は、前記抽出結果イベント連鎖情報から選択された前記エラータイプに対応するイベント種別の順番が、前記イベント種別に対応する前記正常時イベント連鎖情報中のイベント情報の順番と一致すべきであるという規定に基づいて前記制約判定ステップが判定処理を実行する、
ことを特徴とする付記２４に記載のイベント情報抽出誤り検知方法。
（付記３１）
前記エラータイプが、行なうべき操作を行なわなかったというエラーを示すときに、前記エラータイプに対応する判定方式は、前記抽出結果イベント連鎖情報から選択された前記エラータイプに対応するイベント種別の順番が、前記抽出結果イベント連鎖情報中での前記イベント種別の順番以前の全ての順番を取り得るという条件下で、前記イベント種別に対応する前記正常時イベント連鎖情報中のイベント種別の順番と一致すべきであるという規定に基づいて前記制約判定ステップが判定処理を実行する、
ことを特徴とする付記２４に記載のイベント情報抽出誤り検知方法。
（付記３２）
前記エラータイプが、行なうべきでない操作を行なったというエラーを示すときに、前記エラータイプに対応する判定方式は、前記抽出結果イベント連鎖情報から選択された前記エラータイプに対応するイベント種別については、常に順番が誤っているという規定に基づいて前記制約判定ステップが判定処理を実行する、
ことを特徴とする付記２４に記載のイベント情報抽出誤り検知方法。
（付記３３）
前記エラータイプが、順番は正しいが操作のタイミングが早過ぎたというエラーを示すときに、前記エラータイプに対応する判定方式は、前記抽出結果イベント連鎖情報中での前記イベント種別の順番が、前記抽出結果イベント連鎖情報中での前記イベント種別の直後のイベント種別の順番との逆転を許すという条件下で、前記イベント種別に対応する前記正常時イベント連鎖情報中のイベント種別の順番と一致すべきであるという規定に基づいて前記制約判定ステップが判定処理を実行する、
ことを特徴とする付記２４に記載のイベント情報抽出誤り検知方法。
（付記３４）
前記エラータイプが、順番は正しいが操作のタイミングが遅過ぎたというエラーを示すときに、前記エラータイプに対応する判定方式は、前記抽出結果イベント連鎖情報中での前記イベント種別の順番が、前記抽出結果イベント連鎖情報中での前記イベント種別の直前のイベント種別の順番との逆転を許すという条件下で、前記イベント種別に対応する前記正常時イベント連鎖情報中のイベント種別の順番と一致すべきであることを規定する、
ことを特徴とする付記２４に記載のイベント情報抽出誤り検知方法。

１０１、２０１、３０１ トラブルレポート
１０２ イベント連鎖
２０２ 抽出結果イベント連鎖
２０３ 確信度
２０４ 抽出誤り
２０５ 正解データ
３０２ イベント情報抽出部
３０３ 抽出結果イベント連鎖情報
３０４ マニュアル・手順書
３０５ 誤り判定情報ＤＢ
３０６ 制約判定部
３０７ 誤り評価部
３０８ 誤り指摘結果
４０１ 第０ステップ：イベント情報抽出処理
４０２ 第１ステップ：誤り判定情報作成処理
４０３ 第２ステップ：制約判定処理
４０４ 第３ステップ：誤り評価値算出処理
５０１ 正常時イベント連鎖情報
５０２ エラータイプ別判定方式情報
５０３ 制約条件検証結果表
６０１ イベント種別抽出用辞書データ
７０１ エラータイプ推定ルールデータ
２４０１ 制約条件テーブル

Claims (7)

1. トラブルレポートから抽出した抽出結果イベント連鎖情報の抽出誤りを検知するイベント情報抽出誤り検知装置であって、
   トラブルレポートから抽出したイベント種別と、そのイベント種別が発生をした順番と、どのようなエラーかを表すエラータイプと対応付けて記録した抽出結果イベント連鎖情報を記憶する抽出結果イベント連鎖情報記憶部と、
   正常な手順におけるイベント種別とそのイベント種別が発生をする順番を記憶する正常時イベント連鎖情報記憶部と、
   前記抽出結果イベント連鎖情報中のイベント種別の順番が前記正常時イベント連鎖情報中の順番と異なっていた場合に、その順番の異なりを許すか許さないかの条件の判定方式を前記エラータイプ毎に記憶するエラータイプ別判定方式情報記憶部と、
   前記抽出結果イベント連鎖情報記憶部から複数のイベント種別を抽出し、抽出をした複数のイベント種別が発生をした順番が、正規な手順においてそれらのイベント種別が発生する順番と合っているかを前記正常時イベント連鎖情報記憶部を参照して判断し、順番が異なっていれば、抽出をしたイベント種別のエラータイプと前記エラータイプ別判定方式情報記憶部を参照してその順番の異なりを許すか許さないかを判断する制約判定部と、
   前記制約判定部が前記抽出をした複数のデータのイベント種別が行われた順番が前記正規の手順のイベントのイベント種別が行われる順番と比べて異なり、且つ、その順番の異なりを許さないと判断をすると、前記複数のイベント種別に誤り候補であることを示す値を付与する処理を実行する誤り評価部と、
   を含むことを特徴とするイベント情報抽出誤り検知装置。
2. 前記誤り評価部は、
   前記イベント種別毎に前記誤り候補であることを示す値を集計し、
   前記集計の結果から最小集計値を検出し、
   前記各集計の結果から前記最小集計値を減算し、
   前記減算の結果値がゼロとならない集計の結果に対応するイベント種別を、誤り箇所の候補として出力する
   処理を更に実行することを特徴とする請求項１に記載のイベント情報抽出誤り検知装置。
3. 前記制約判定部は、
   複数の前記判定方式の組合せ毎に、対応する複数のイベント種別の前記抽出結果イベント連鎖情報中での順番に関して前記正常時イベント連鎖情報中での順番との関係で満たすべき制約条件を記憶した制約条件テーブルを備え、
   前記抽出結果イベント連鎖情報から複数のイベント情報組を順次抽出し、
   前記複数のイベント種別の正常時の各順番を前記正常時イベント連鎖情報記憶部より取得し、
   前記複数のイベント種別にそれぞれ対応する複数のエラータイプに対応する複数の判定方式を前記エラータイプ別判定方式情報記憶部より取得し、
   前記複数のエラータイプに対応する複数の判定方式の組合せに対応する制約条件を前記制約条件テーブルから取得し、
   前記複数のイベント種別の順番の順序関係が前記制約条件を満たさないときに、前記抽出をした複数のデータのイベント種別が行われた順番が前記正規の手順のイベントのイベント種別が行われる順番と比べて異なり、且つ、その順番の異なりを許さないと判断をする、
   ことを特徴とする請求項１に記載のイベント情報抽出誤り検知装置。
4. 前記制約条件テーブルは、前記複数のイベント種別の順番の順序関係が前記制約条件をみたすとき、前記複数のイベント種別の順番が前記正常時イベント連鎖情報中の順番と異なっていても前記複数のイベント種別を誤り候補としない場合が存在するように制約条件を緩和する構成となることを特徴とする請求項３に記載のイベント情報抽出誤り検知装置。
5. 前記制約判定部は、
   前記エラータイプが、行なうべき操作を行なわなかったというエラーを示すときに、前記エラータイプに対応する判定方式は、前記抽出結果イベント連鎖情報から選択された前記エラータイプに対応するイベント種別の順番が、前記抽出結果イベント連鎖情報中での前記イベント種別の順番以前の全ての順番を取り得るという条件下で、前記イベント種別に対応する前記正常時イベント連鎖情報中のイベント種別の順番と一致すべきであるという規定に基づいて判定処理を実行する、
   ことを特徴とする請求項１に記載のイベント情報抽出誤り検知装置。
6. トラブルレポートから抽出した抽出結果イベント連鎖情報の抽出誤りを検知するコンピュータに、
   トラブルレポートから抽出したイベント種別と、そのイベント種別が発生をした順番と、どのようなエラーかを表すエラータイプと対応付けて記録した抽出結果イベント連鎖情報を記憶する抽出結果イベント連鎖情報記憶部と、正常な手順におけるイベント種別とそのイベント種別が発生をする順番を記憶する正常時イベント連鎖情報記憶部と、前記抽出結果イベント連鎖情報中のイベント種別の順番が前記正常時イベント連鎖情報中の順番と異なっていた場合に、その順番の異なりを許すか許さないかの条件の判定方式を前記エラータイプ毎に記憶するエラータイプ別判定方式情報記憶部とを参照することにより、前記抽出結果イベント連鎖情報記憶部から複数のイベント種別を抽出し、抽出をした複数のイベント種別が発生をした順番が、正規な手順においてそれらのイベント種別が発生する順番と合っているかを前記正常時イベント連鎖情報記憶部を参照して判断し、順番が異なっていれば、抽出をしたイベント種別のエラータイプと前記エラータイプ別判定方式情報記憶部を参照してその順番の異なりを許すか許さないかを判断する制約判定ステップと、
   前記制約判定ステップが前記抽出をした複数のデータのイベント種別が行われた順番が前記正規の手順のイベントのイベント種別が行われる順番と比べて異なり、且つ、その順番の異なりを許さないと判断をすると、前記複数のイベント種別に誤り候補であることを示す値を付与する処理を実行する誤り評価ステップと、
   を実行させるためのプログラム。
7. コンピュータがトラブルレポートから抽出した抽出結果イベント連鎖情報の抽出誤りを検知するイベント情報抽出誤り検知方法であって、
   トラブルレポートから抽出したイベント種別と、そのイベント種別が発生をした順番と、どのようなエラーかを表すエラータイプと対応付けて記録した抽出結果イベント連鎖情報を記憶する抽出結果イベント連鎖情報記憶部と、正常な手順におけるイベント種別とそのイベント種別が発生をする順番を記憶する正常時イベント連鎖情報記憶部と、前記抽出結果イベント連鎖情報中のイベント種別の順番が前記正常時イベント連鎖情報中の順番と異なっていた場合に、その順番の異なりを許すか許さないかの条件の判定方式を前記エラータイプ毎に記憶するエラータイプ別判定方式情報記憶部とを参照することにより、前記抽出結果イベント連鎖情報記憶部から複数のイベント種別を抽出し、抽出をした複数のイベント種別が発生をした順番が、正規な手順においてそれらのイベント種別が発生する順番と合っているかを前記正常時イベント連鎖情報記憶部を参照して判断し、順番が異なっていれば、抽出をしたイベント種別のエラータイプと前記エラータイプ別判定方式情報記憶部を参照してその順番の異なりを許すか許さないかを判断する制約判定ステップと、
   前記制約判定ステップが前記抽出をした複数のデータのイベント種別が行われた順番が前記正規の手順のイベントのイベント種別が行われる順番と比べて異なり、且つ、その順番の異なりを許さないと判断をすると、前記複数のイベント種別に誤り候補であることを示す値を付与する処理を実行する誤り評価ステップと、
   を含むことを特徴とするイベント情報抽出誤り検知方法。