JP6045159B2 - 操作習熟度評価システム - Google Patents

Description

本発明は、例えば化学プラント、発電プラントの運転操作を訓練する者の習熟度を評価するシステムに関する。

プラントの運転訓練の際、その訓練者の習熟度を評価するため、習熟度を定量的かつ正確に評価する技術が求められている。
習熟度を計測する方法として、従来、プラントの構成機器の圧力、温度などの状態量を基準にして出力される警報信号（アラーム）の出力回数、時間を評価する手法がとられている。しかし、アラームだけでは操作の習熟度が評価できないため、アラームに加え操作手順を評価する手法が特許文献１に提案されている。特許文献１は、訓練者の操作を符号化したデータとして記録し、文字列として熟練者がなした模範手順と比較することで、習熟度を評価することを提案している。また、特許文献２は、監視すべきプロセスパラメータと、その基準値を登録しておき、訓練者の運転プロセスパラメータと常時比較し、値が基準値に近づいたら、これを重要パラメータとして保管することで、訓練者の評価を行うことを提案している。

特開２００９−８６５４２号公報 特開平２−１３５９０号公報 特開平８−３２０６４４号公報

しかし、特許文献１、２のように操作手順を評価するだけでは、未だ定量的かつ正確に評価しているとは言いがたい。
例えば、先行する手順を終了した後に状況を確認してから次の操作に移ることが求められる場合がある。ところが、状況を確認せず短時間で次の操作をした場合と、状況を確認して次の操作に移行した場合とを比較すると、推奨される後者に高い評価が与えられるべきであるが、特許文献１では同じ評価になる。逆に、各々の操作に時間をかけることは操作に必要なエネルギーを増加させる原因となるため望ましくないが、この場合も特許文献１、２では評価に差を設けることができない。熟練者による運転との操作タイミングの比較に着目した評価方法が特許文献３に開示されているが、操作手順の違いの評価を考慮していない。
このように、実際の運転訓練においては、操作手順に加えて、次の操作に移るまでに要した時間も重要な評価項目であり、これも含めた評価が可能な手法が求められる。
そこで本発明は、時間的要素を考慮することで、定量的かつ正確に訓練者の操作習熟度を評価できるシステムを提供することを目的とする。

本発明者は、操作手順の評価に用いられる熟練者、訓練者についての符号化データには、時系列順になされた手順が含まれている。そこで、本発明者はこのデータを用いて、操作タイミングを評価することに着目することで、以下の発明をなした。
本発明は、運転操作の訓練を行う者の運転操作の習熟度を模範となる熟練者の運転操作と比較して評価する習熟度評価システムを提供する。
本発明の習熟度評価システムは、操作手順を評価する手順評価プロセスと、操作タイミングを評価するタイミング評価プロセスと、を実行する。
手順評価プロセスは、熟練者符号化データに対する訓練者符号化データの類似度を評価する。
なお、熟練者符号化データとは、熟練者のなした操作に従って記録された熟練者データを符号化して得られるものであり、訓練者符号化データとは、訓練者のなした操作に従って記録された訓練者操作データを符号化して得られるものである。
また、タイミング評価プロセスは、熟練者符号化データと訓練者符号化データに基づいて、同じ操作を行うタイミングのずれを評価する。
さらに、本発明の習熟度評価システムでは、訓練者の操作の安定度を評価する、安定化度評価プロセスにおいて、熟練者のなした操作に従って記録された警報信号の累積時間と、訓練者のなした操作に従って記録された警報信号の累積時間と、を比較する。
以上の本発明の習熟度評価システムによると、時間的要素をも考慮して習熟度を評価するので、その評価結果は、定量的で、かつ、訓練対象の運転実態に即した正確な評価が得られる。
また、操作手順の評価に用いるために用意される熟練者符号化データ及び訓練者符号化データからタイミング評価を行うことができるので、本発明によると、タイミング評価のために新たなデータを用意する必要がない。
さらに、手順評価プロセス、タイミング評価プロセスに加えて、警報信号基づく評価を行うことで、本発明の習熟度評価システムは、より正確な評価結果を得ることができる。
なお、手順評価プロセス、タイミング評価プロセス、安定化度評価プロセスは、その機能を果たす部位が存在していれば足り、物理的に一体なのか別体なのかを問うものでない。以下の状態量評価プロセスも同様である。

本発明の習熟度評価システムにおけるタイミング評価プロセスは、熟練者符号化データと訓練者符号化データにおいて、先行する第１操作とそれに続く第２操作とが同じ場合には以下の式（１）の誤差率Δｔにより同じ操作を行うタイミングのずれを定量的に評価することができる。なお、式（１）は時間差ｔ１，ｔ２を使って誤差率Δｔを算出する関数であり、後述するようにいくつかの形態を包含する。
誤差率Δｔ＝Ｆ（ｔ１，ｔ２） … 式（１）
ｔ１：熟練者符号化データにおける第１操作と第２操作の時間差
ｔ２：訓練者符号化データにおける第１操作と第２操作の時間差

本発明の習熟度評価システムは、手順評価とタイミング評価を以下説明するように統合することができる。つまり、手順評価プロセスが、熟練者符号化データに対する訓練者符号化データの類似度を編集距離として求める場合、タイミング評価プロセスは、編集距離に前記誤差率Δｔを乗ずることにより、得られた結果は、手順評価とタイミング評価とが統合されたものとなる。そうすると、操作手順と操作タイミングの二つの習熟度を一つの評価値だけで判断できる利点がある。
なお、この評価は、上述した手順評価及びタイミング評価を行うことを妨げない。評価項目が増えることで、評価結果の考察を多面的に行うことができる。

本発明の習熟度評価システムは、タイミング評価プロセスに代えて、又は、加えて、操作対象の状態量を評価する状態量評価プロセスを備えることができる。状態量を用いた評価を行うことで、状態量に依存する操作タイミングを評価できる。
この状態量評価プロセスは、熟練者符号化データに含まれる状態量と、訓練者符号化データに含まれる状態量と、を比較することになる。

本発明の習熟度評価システムによると、時間的要素をも考慮して習熟度を評価するので、その評価結果は、定量的でかつ正確になる。
また、操作手順の評価に用いるために用意される熟練者符号化データ及び訓練者符号化データからタイミング評価を行うことができるので、本発明は、タイミング評価のために新たなデータ源を用意する必要がない。

本実施の形態における操作習熟度評価システムを示す機能ブロック図である。 第１実施形態の操作習熟度評価システムにおける評価処理の手順を示すフローチャートである。 第１実施形態の訓練者データ、訓練者データから得られる操作符号化データ及びアラームデータ、ならびに操作符号化データから得られる文字列データの一例を示す図である。 操作タイミングの評価を説明する図であり、熟練者操作符号化データ及び訓練者符号化データを対比して示している。 安定度評価を説明する図であり、アラームデータ及びアラーム累積時間の内容を示す図である。 第１実施形態における評価結果の表示例を示す図である。 時間重み付けを加えた編集距離を説明する図である。 状態量評価を説明する図である。

以下、添付図面に示す実施の形態に基づいてこの発明を詳細に説明する。
［第１実施形態］
本実施形態による習熟度評価システム１０は、化学物質を製造するプラント、火力・原子力発電プラントなどの各種のプラントの運転を操作する訓練を行なって、その習熟度を定量的に評価するものである。
図１に示すように、習熟度評価システム１０は、例えばＰＣ（Personal Computer）からなるシステム本体１と、データ記憶部（Reference Database）２とを備える。なお、この例ではデータ記憶部２をシステム本体１とは別体として示しているが、システム本体（ＰＣ）１のデータ記憶装置にデータ記憶部２を設けることもできる。
システム本体１は、運転を模擬して訓練を行うことのできる運転訓練シミュレータの機能を備えており、習熟度評価システム１０は、運転訓練シミュレータに付随する機能として捉えることができる。
訓練者（オペレータ）は、システム本体１から提供されるプラントのプロセスデータ（Process Data）に倣って操作信号をシステム本体１に対して入力する。ここでいう、プロセスデータとは、プラントの各工程を示すものであり、例えば、Ａ工程、Ｂ工程、Ｃ工程…というものである。システム本体１は、Ａ工程、Ｂ工程、Ｃ工程…を順に表示装置であるディスプレイ３に表示させ、訓練者は示された工程に必要な運転操作手順を入力手段であるキーボード４を介してシステム本体１に入力することで、運転の訓練がなされる。

訓練者が入力した操作手順はデータ記憶部２に、訓練者データとして記憶される。訓練者データは、訓練者ごとに識別されて記憶される。したがって、データ記憶部２には複数人の訓練者データが記憶される。データ記憶部２には、熟練者データも記憶されている。熟練者データは、訓練者データと同様に、プロセスデータに習って熟練者が運転条件を入力したことに基づいて記憶されたものである。習熟度評価システム１０は、熟練者データと訓練者データを比較することにより、当該訓練者の習熟度を評価し、その結果をディスプレイ３に表示する。

習熟度評価システム１０で行われる訓練者の習熟度評価の手順を図２に基づいて説明する。習熟度評価システム１０は、以下説明するように、運転操作手順（以下、単に操作手順ということがある）、運転操作タイミング（以下、単に操作タイミングということがある）及び安定度の３つの項目に基づいて、訓練者の運転操作の習熟度を評価する。この中で、操作タイミングを評価項目としているところに本実施形態の特徴がある。

始めに、システム本体１は、データ記憶部２から、熟練者データを読み込むとともに、訓練者データを読み込む（図２ ステップＳ１０１，１０３）。図３（ａ）に訓練者データの一例を示しておく。なお、熟練者データも訓練者データと同種のデータを含んでいる。

次に、システム本体１は、読み込んだ熟練者データ及び訓練者データを符号化する（図２ ステップＳ１０５）。操作手順を符号化することで、操作手順及び操作タイミングの評価に資する。符号化により、操作符号化データ（図３（ｂ））とアラームデータ（図３（ｃ））が生成される。符号化は、時間を比較できる変数に換算するものであり、操作開始時間から時系列順にデータが並べられる。なお、熟練者データ及び訓練者データの両者を総称する際には、リファレンスデータという。

操作符号化データは、リファレンスデータのなかでの操作手順に関するデータを時系列順に並べたものである。操作手順に関するデータは、図３（ｂ）の例では、操作開始からの経過時間（秒）、機能ブロック名称、及び、操作符号と、からなる（図３）。
経過時間は、リファレンスデータの「イベント検知時刻」から求められる。
機能ブロック名称は、リファレンスデータの「機能ブロック名称」をそのまま抜き出したものであり、操作対象となった機器を特定するデータである。
操作符号は、リファレンスデータの「メッセージ番号」及び「メッセージ内容」から生成されるものであり、操作の内容を特定するデータである。
例えば、図３（ｂ）の一番上（１行目）のデータは、経過時間が「１０６５（秒）」のときに、「ＰＣ００５」により特定される機器に対して操作が行われ、その操作の内容は「ＣＡ」により特定されることを、示している。
以上のデータが、熟練者、訓練者の双方について作成される。
なお、ここでは評価の際に熟練者データ及び訓練者データを符号化しているが、予め符号化しておいてデータ記憶部２に記憶させてもよい。

アラームデータは、図３（ｃ）に示すように、アラーム数を時系列順に並べたものであり、操作開始からの経過時間（秒）、その時点でシミュレータから出力されたアラーム（警報信号）の数、とからなる。図３（ｃ）の上から２番目（２行目）のデータは、経過時間が「１０２３（秒）」のときにシミュレータから出力されていたアラーム数が５であることを示している。

［運転操作手順の評価］
次に、操作手順を評価するプロセス（図２ ステップＳ１０７）を説明する。操作手順は、熟練者と訓練者の操作手順の差を編集距離（Edit Distance）により評価される。
熟練者データ及び訓練者データの両方について、操作符号化データ（機能ブロック名称、操作符号）を時系列順に並べた文字列データ（熟練者文字列データ，訓練者文字列データ）を作成する。一例を図３（ｄ）に示す。図３（ｄ）は、図３（ｂ）の1行目と２行目から作成された文字列データを示している。
次いで、熟練者文字列データと訓練者文字列データの編集距離を求め、これを操作手順評価値として扱うことで、本実施形態は、熟練者と訓練者の操作手順の差が定量的に評価する。

編集距離とは、二つの文字列がどの程度異なっているか（又は類似度）を示す数値である。具体的には、文字の挿入や削除、置換によって、一つの文字列を別の文字列に変形するのに必要な手順の最小回数として与えられる。
例えば、文字列「ｐａｅｎｔ」を例にすると、「ａ」と「ｅ」の間に「ｔ」を挿入すれば文字列「ｐａｔｅｎｔ」となる。したがって、「ｐａｅｎｔ」と「ｐａｔｅｎｔ」との編集距離は１となる。同様に、文字列「ｐａｅｎｔ」から「ｔ」を削除して文字列「ｐａｅ」が得られるので、「ｐａｅｎｔ」と「ｐａｅ」との編集距離も１、文字列「ｐａｅｎｔ」のうちの１文字「ｐ」を「ｂ」に置換すると文字列「ｂａｅｎｔ」が得られるので、「ｐａｅｎｔ」と「ｂａｅｎｔ」との編集距離も１となる。このように編集距離が小さいほど、２つの文字列は似ていることになる。なお、２つの文字列が一致する時の編集距離は０（ゼロ）である。
したがって、熟練者文字列データに対する訓練者文字列データの編集距離を求めることで、熟練者の操作手順に対する当該訓練者の操作手順の習熟度を定量的に把握できる。なお、実際の評価値は、後述するように、他の評価項目との関係で決められる重み付けを行なって導出される。以降の操作タイミングの評価、安定度の評価についても同様である。

［運転操作タイミングの評価］
次に、操作タイミングを、熟練者と訓練者の操作タイミングの差をペナルティ関数法により評価するプロセス（図２ ステップＳ１０９）を説明する。
この評価は、まず、熟練者符号化データと訓練者符号化データについて、前後が同じ２つの操作間の時間差ｔ１，ｔ２を求める。
図４に基づいて一例を説明する。熟練者符号化データの１行目及び２行目と、訓練者符号化データの１行目及び２行目と、は機能ブロック名称及び操作記号が一致しており、前後が同じ２つの操作を行なっている。熟練者符号化データにおける１行目と２行目の時間差ｔ１は５０（秒）であり、訓練者符号化データにおける１行目と２行目の時間差ｔ２は６３（秒）である。

得られた２つの時間差に基づいて、式（１）の具体な一例として、以下の式（２）による誤差率Δｔを算出する。この誤差率Δｔは、熟練者の操作に対して訓練者が操作に要した時間がどの程度ずれているかを示すので、操作タイミング評価値として取り扱う。上記の例（ｔ１＝５０，ｔ２＝６３）の誤差率Δｔは０．２６となる。もちろん、誤差率Δｔが小さいほど、当該訓練者の習熟度が高いことを示す。
誤差率Δｔ＝|ｔ２−ｔ１|／ｔ１ … 式（２）
誤差率Δｔは前後が同じ２つの操作の数ｎ（Δｔ_１，Δｔ_２，…Δｔ_ｎ）だけ求められることになり、これらの平均値を操作タイミングの評価に用いる。

［安定度の評価］
次に、習熟度評価システム１０は、安定度を評価するプロセス（図２ ステップＳ１１１）を説明する。安定度は、アラームデータ（図３（ｃ））を用いて以下のようにして評価される。
図５に示すように、アラームデータから下記式（３）により熟練者及び訓練者の両者についてアラーム累積時間を求める。前者のアラーム累積時間をＳ_Ｍ、後者のアラーム累積時間をＳ_Ｔとすると、式（１）の具体的な一例として、以下の式（４）により誤差率ｘを求め、安定度評価値とする。
アラーム累積時間Ｓ＝Σ（Δｔ×アラーム数） … 式（３）
誤差率ｘ＝Ｓ_Ｔ／Ｓ_Ｍ … 式（４）

［総合評価値算出］
習熟度評価システム１０は、次に、操作手順、操作タイミング及び安定度の３つの評価項目の結果を総合した評価値を得点として算出する（図２ ステップＳ１１３）。
総合評価値は、以下の式（５）に示すように、３つの評価項目の結果に予め設定された係数による重み付けを行なった上で計算して求められる。なお、式（５）のｋ１，ｋ２，ｋ３は、各評価項目についての重み係数である。総合評価値は、操作手順評価値、操作タイミング評価値及び安定度評価値とともに、データ記憶部２に当該訓練者に対応付けられて記憶される。
総合評価値（得点）＝Ｆ（操作手順評価値、操作タイミング評価値、安定度評価値、各評価値の重み係数（ｋ１,ｋ２,ｋ３）） … 式（５）

［結果の表示］
以上の評価が終了すると、習熟度評価システム１０は、結果をディスプレイ３に表示する（図２ ステップＳ１１５）。
図６にその一例を示す。この例では、総合表価値としての得点に加えて、３つの評価項目の各々の得点を示すグラフ、熟練者と訓練者の操作項目ごとの時間配分を対比して示すグラフ、熟練者と訓練者のアラーム累積時間を対比して示すグラフが表示されている。訓練者又はその他の者は、この表示を参照することにより、当該訓練者の習熟度を定量的に評価できるとともに、熟練者との操作の相違をも把握できる。しかも、総合表価値は操作タイミングをも考慮した結果であるから、運転操作の実態に即した正確な評価ができる。

［第２実施形態］
第１実施形態は、操作手順と操作タイミングを独立して評価したが、本実施形態は両者を同時に評価できるところに特徴がある。その他の点は第１実施形態と同様であるので、以下ではこの特徴部分を説明する。
文字列の類似度を評価する指標である編集距離は、第１実施形態でも述べたように、評価対象の文字列を模範文字列と先頭の文字から比較し、文字の「置換」、「挿入」及び「削除」のいずれかの操作が必要な場合は１、不要な場合は０とし、その累積を距離として算出する。そして、この距離が短いほど、２つの文字列の類似度が高いことを意味する。
この編集距離を算出する際に、下記のように定義した時間重み付けを加えることにより、時間要素も評価する。

時間重みつき距離：
編集距離が１のとき；１
その他のとき；Weight×誤差率（Δｔ）
ここで、Weight：重み係数（例えば、ｙ＝ｂ／ａ^２（０〜１）の値をとる関数）

図７に示す例に基づいて時間重みつき距離について説明する。
図７の例の場合、模範操作の手順及び訓練者（α，β）が行った操作手順は以下の通りである。
熟練者：Ａ→Ｂ→Ｃ→Ｄ→Ｅ
訓練者：Ａ→Ｂ→Ｄ→Ｃ→Ｅ
つまり、訓練者（α，β）の３番目の操作を「Ｃ」に、４番目の操作を「Ｄ」に置換すれば模範操作となるため、編集距離（ＥＤ）は２である。この値は、時間を考慮していない。
ＥＤ：０＋０＋１＋１＋０＝２

重み係数を０．１とし、時間重みを考慮すると、訓練者αの場合１〜５番目の操作についてのＥＤは以下の通りである。よって、訓練者αの時間重みを考慮したＥＤは２．１５となる。
１番目：０．１×（２０−１０）／１０＝０．１
２番目：０．１×（３０−２０）／２０＝０．０５
３，４番目：１（ＥＤ＝１）
５番目：０．１×（２０−２０）／２０＝０
ＥＤ＝０．１＋０．０５＋１＋１＋０＝２．１５
訓練者βの場合１〜５番目の操作についての編集距離は以下の通りである。よって、訓練者βの時間重みを考慮した編集距離（ＥＤ）は２．１０となり、類似度は訓練者αの方が高い。
１番目：０．１×（１０−１０）／１０＝０
２番目：０．１×（１０−２０）／２０＝０．０５
３，４番目：１（ＥＤ＝１）
５番目：０．１×（１０−２０）／２０＝０．０５

以上の通りであり、本実施形態によると、操作手順と操作タイミングの二つの習熟度を一つの評価値だけで判断できる利点がある。ただし本発明は、操作手順の評価、操作タイミングの評価と併存させることを否定するものではない。

［第３実施形態］
第３実施形態は、プラントの状態量を操作条件として評価する。ここで言う状態量としては、例えば圧力、温度がある。この評価は、第１実施形態、第２実施形態で操作条件として扱っている時間の代替として適用できるし、または、３つの評価項目にこの評価を追加してもよい。
操作タイミングの評価に予め指定した状態量を用いる。熟練者の状態量の値と訓練者の状態量の値を第１実施形態における操作タイミングと同様に評価することで、操作タイミングの評価と等価の評価をすることができる。指定する状態量は操作ごとに定められる。以下、図８に基づいて具体例を説明する。

熟練者符号化データと訓練者符号化データについて、前後が同じ２つの操作間の状態量の差ｓ１，ｓ２を求める。図８の例では、熟練者符号化データの１行目及び２行目と、訓練者符号化データの１行目及び２行目と、は機能ブロック名称及び操作記号が一致しており、前後が同じ２つの操作を行なっている。熟練者符号化データにおける１行目と２行目の状態量差ｓ１は５（Ｐａ）であり、訓練者符号化データにおける１行目と２行目の状態量差ｓ２は４（Ｐａ）である。

得られた２つの状態量差に基づいて、式（１）の具体例として、以下の式（６）による状態量誤差率Δｓを算出する。この誤差率Δｓは、熟練者の操作による状態量対して訓練者の操作による状態量がどの程度の誤差を有しているかを示す。プラント運転において、運転操作の時間経過に伴って変化する状態量が存在する。したがって、そのような状態量について誤差率Δｓを評価することは、操作タイミングを評価することと等価である。上記の例（ｓ１＝５，ｓ２＝４）の誤差率Δｓは０．２０となる。もちろん、誤差率Δｓが小さいほど、当該訓練者の習熟度が高いことを示す。
誤差率Δｓ＝|ｓ２−ｓ１|／ｓ１ … 式（６）
誤差率Δｓは前後が同じ２つの操作の数ｎ（Δｔ_１，Δｔ_２，…Δｔ_ｎ）だけ求められることになり、これらの平均値をプラント状態量の評価に用いる。

以上説明したように、第３実施形態により状態量に依存する操作タイミングを評価項目とすることで、よりプラントをはじめとする訓練対象の実態に即した訓練者の習熟度の評価を行うことができる。

以上、本発明を第１実施形態〜第３実施形態に基づいて説明したが、本発明は以下の事項を許容する。
本発明による習熟度評価システムは運転操作シミュレータに付随するのが最も典型的な適用例であるが、それに限らず、実際のプラントに適用することもできる。そして、プラントを実際に運転する際に行った操作手順を時系列順に記憶しておき、後に、本発明による習熟度評価システムにより実機を使った習熟度を評価できる。
また、本発明による習熟度評価システムの適用分野はプラントに限らず、運転操作に訓練が必要ないかなる装置、機器に開放される。
さらに、式（１）による誤差率Δｔの具体例として式（２）（誤差率Δｔ＝|ｔ２−ｔ１|／ｔ１）を用いたが、以下に例示する式によって誤差率Δｔを求めることもできる。なお、ｔ０は基準時間差である。
誤差率Δｔ＝（ｔ２−ｔ１）／ｔ０
誤差率Δｔ＝（ｔ２−ｔ１）／ｔ１
誤差率Δｔ＝（ｔ２−ｔ１）／ｔ２
誤差率Δｔ＝｜ｔ２−ｔ１｜／ｔ２
誤差率Δｔ＝（ｔ２−ｔ１）^２／ｔ１^２

上記以外にも、本発明の主旨を逸脱しない限り、上記実施の形態で挙げた構成を取捨選択したり、他の構成に適宜変更することが可能である。

習熟度評価システム １０
システム本体 １
データ記憶部 ２
ディスプレイ ３
キーボード ４

Claims (4)

1. 運転操作の訓練を行う者の運転操作の習熟度を模範となる熟練者の運転操作と比較して評価する習熟度評価システムであって、
   操作手順を評価する手順評価プロセスと、
   操作タイミングを評価するタイミング評価プロセスと、
   前記訓練者の操作の安定化度を評価する安定化度評価プロセスと、を実行し、
   前記手順評価プロセスは、
   前記熟練者のなした操作に従って記録された熟練者データを符号化して得られた熟練者符号化データに対する、前記訓練者のなした操作に従って記録された訓練者データを符号化して得られた訓練者符号化データの類似度を評価し、
   前記タイミング評価プロセスは、
   前記熟練者手順データと前記訓練者符号化データに基づいて、同じ操作を行うタイミングのずれを評価し、
   前記安定化度評価プロセスは、
   前記熟練者のなした操作に従って記録された警報信号の累積時間と、
   前記訓練者のなした操作に従って記録された警報信号の累積時間と、を比較することを特徴とする習熟度評価システム。
2. 前記タイミング評価プロセスは、
   前記熟練者符号化データと前記訓練者符号化データにおいて、
   先行する第１操作とそれに続く第２操作とが同じ場合に、
   前記熟練者符号化データにおける前記第１操作と前記第２操作の時間差ｔ１と、
   前記訓練者符号化データにおける前記第１操作と前記第２操作の時間差ｔ２と、に基づいて、下記式（１）の誤差率Δｔを算出することで、同じ操作を行うタイミングのずれを評価する、
   請求項１に記載の習熟度評価システム。
   誤差率Δｔ＝Ｆ（ｔ１，ｔ２） … 式（１）
3. 前記手順評価プロセスは、
   前記熟練者符号化データに対する前記訓練者符号化データの類似度を編集距離として求め、
   前記タイミング評価プロセスは、
   前記編集距離に前記誤差率Δｔを乗ずる、
   請求項２に記載の習熟度評価システム。
4. 前記タイミング評価プロセスに代えて、又は、加えて、操作対象の状態量を評価する状態量評価プロセスを備え、
   状態量評価プロセスは、
   前記熟練者符号化データに含まれる前記状態量と、
   前記訓練者符号化データに含まれる前記状態量と、を比較する、
   請求項１〜３のいずれか一項に記載の習熟度評価システム。

Images