以下、本発明の一実施の形態のシミュレータ制御装置21を含む列車運転シミュレーションシステム1について、図1~図13を参照しながら説明する。
図1を参照して、本発明の一実施例である列車運転シミュレーションシステム1について説明する。
シミュレーションの中で異常事象が発生した場合には、訓練生は、緊急停止と、異常事象に対応した輸送指令への報告など、所定の操作を行う。そこで、本発明の一実施例である列車運転シミュレーションシステム1においては、訓練生であるシミュレータの操作者の発話音声を取得し、音声認識を行うことにより、発話内容の評価を行うものである。
列車運転シミュレーションシステム1は、シミュレータ制御ユニット11、列車運転シミュレータユニット12、および、ネットワーク13を含んで構成されている。シミュレータ制御ユニット11は、シミュレータ制御装置21、操作入力装置22、表示装置23、および、プリンタ24を含んで構成される。列車運転シミュレータユニット12は、シミュレーション画面表示装置31、運転操作シミュレータ32、および、集音装置33を含んで構成される。図1の例では、列車運転シミュレータユニット12を構成するシミュレーション画面表示装置31、運転操作シミュレータ32、および、集音装置33を1セットのみ図示しているが、複数人が同時に訓練できるようにする場合には、これらを複数設けることができる。
シミュレータ制御ユニット11のシミュレータ制御装置21は、ネットワーク13を介して列車運転シミュレータユニット12と通信し、操作入力装置22から供給されるユーザ(列車運転に関する教官等)の操作入力に基づいて、列車運転シミュレータユニット12によるシミュレーションの実行を制御し、訓練結果を評価する。具体的には、シミュレータ制御装置21は、運転操作シミュレータ32から、シミュレータ操作者(運転技術の訓練を行う者等)の操作に関する情報を取得し、それらに基づいて、シミュレーション画面表示装置31に表示される表示画像を制御する。また、シミュレータ制御装置21は、集音装置33から、シミュレータ操作者の発話音声を取得し、音声認識を行って、発話内容の評価を行う。
操作入力装置22は、例えば、キーボード、マウス、タッチパッドなどの入力デバイスにより構成され、ユーザ(列車運転に関する教官等)の操作入力を受け、シミュレータ制御装置21に供給する。
表示装置23は、操作入力装置22によるユーザ(列車運転に関する教官等)の操作入力を促すための情報を表示する。操作入力を促すための情報には、例えば、シミュレーション路線名、天候などの、シミュレーションの条件を選択するための情報などがある。また、表示装置23は、シミュレータ制御装置21から、後述する発話内容の評価結果を含むシミュレーション結果に対応する情報の供給を受け、これを表示出力する。
プリンタ24は、シミュレータ制御装置21から、後述する発話内容の評価結果を含むシミュレーション結果に対応する情報の供給を受け、これを印字出力する。
列車運転シミュレータユニット12のシミュレーション画面表示装置31は、シミュレータ制御ユニット11のシミュレータ制御装置21により生成されたシミュレーション画面を表示する。
運転操作シミュレータ32は、運転席または乗務員室を模擬した形態となっており、運転等のために必要なレバーやボタン、または計器等が設けられるとともに、例えば、時刻表や運行表等の列車運行のために必要な備品が備え付けられている。運転操作シミュレータ32は、シミュレータ操作者(運転技術の訓練を行う者)が実行した操作入力を、ネットワーク13を介して、シミュレータ制御装置21に供給する。
集音装置33は、シミュレータ操作者の発話を集音し、シミュレータ制御装置21に供給する。集音装置33は、例えば、図1のようなシミュレータ操作者の正面に設置される非装着型の据え置き装置であるマイクロフォンとして実現することとしてもよいし、例えば、ヘッドセットなど、ユーザが装着する装着型の装置として実現してもよい。
シミュレータ制御ユニット11のシミュレータ制御装置21について、2つの機能構成例を用いて説明する。まず、図2~図11を用いて、第1の構成例としてのシミュレータ制御装置21aについて説明する。そして、図12および図13を用いるとともに、適宜それ以前の図を参照して、第2の構成例としてのシミュレータ制御装置21bについて説明する。
図2を用いて、シミュレータ制御装置21aが有する機能構成について説明する。
シミュレータ制御装置21aは、操作入力制御部51、シミュレータ制御部52、制御装置用出力制御部53、シミュレータ操作入力取得制御部54、表示画面生成部55、ビデオデータ記憶部56、シミュレータ画面表示制御部57、音声取得制御部58、音声認識処理部59、操作者状況記録部60、キーワード記憶部61、熟練者発話情報記憶部62、および、発話内容評価部63の機能を含んで構成されている。
操作入力制御部51(以下、入力制御部51と称する)は、操作入力装置22から供給されるユーザ(列車運転に関する教官等)の操作入力の取得を制御し、取得した操作入力情報を、シミュレータ制御部52に供給する。
シミュレータ制御部52は、入力制御部51から供給された操作入力に基づき、シミュレータ制御装置21aの動作を制御する。具体的には、シミュレータ制御部52は、表示装置23に、操作入力装置22によるユーザ(列車運転に関する教官等)の操作入力を促すための情報を表示させるために、制御装置用出力制御部53(以下、出力制御部53と称する)を制御する。また、シミュレータ制御部52は、入力制御部51から供給された操作入力に基づき、ユーザから選択されたシミュレーションのシナリオに対応する路線、天候などに合致した表示画面をシミュレーション画面表示装置31に表示させるために、表示画面生成部55を制御する。
シミュレータ制御部52は、シミュレータ操作入力取得制御部54(以下、操作取得制御部54と称する)から供給される情報に基づいて、表示画面生成部55を制御して、ビデオデータ記憶部56から実行中のシナリオのシーンに対応する画像データを読み出させ、シミュレーション画面表示装置31に表示される画像データを生成させる。例えば、シミュレーションの開始時に、運転操作シミュレータ32において、発車のための運転操作がなされた場合、シミュレータ制御部52は、操作取得制御部54から供給される情報に基づいて、表示画面生成部55を制御して、シミュレーション画面表示装置31に表示される画像を、実際の発車時に対応する動画像とする。また、シミュレーションの実行中に、運転操作シミュレータ32において、速度の変更やブレーキングなどの運転のための操作入力がなされた場合、シミュレータ制御部52は、操作取得制御部54から供給される情報に基づいて、表示画面生成部55を制御して、シミュレーション画面表示装置31に表示される画像を、シミュレータ操作者が実行した運転操作に対応させる。また、シミュレータ制御部52は、実行中のシナリオにおいて、異常事象が発生するタイミングであった場合、それを、発話内容評価部63(以下、評価部63と称する)に通知する。
また、シミュレータ制御部52は、シミュレーションの結果に対応する情報を、表示装置23に表示出力させたり、プリンタ24に印字出力させるために、操作者状況記録部60(以下、記録部60と称する)に記録されているシミュレーション中の操作者状況に関する情報、および、評価部63による発話内容の評価結果の供給を受け、出力制御部53に供給する。また、シミュレータ制御部52は、表示画面生成部55を制御し、シミュレーションの結果に対応する表示データを生成させて、表示制御部57に供給させる。
出力制御部53は、シミュレータ制御部52の制御に基づいて、表示装置23に、操作入力装置22によるユーザ(列車運転に関する教官等)の操作入力を促すための情報を表示させる。操作入力を促すための情報には、例えば、シミュレーション路線名、天候などの、シミュレーションの条件を選択するための情報などがある。また、出力制御部53は、シミュレータ制御部52の制御に基づいて、シミュレーションの結果に対応する出力データを生成し、表示装置23またはプリンタ24に、発話内容の評価を含むシミュレーションの結果に対応する情報を出力させる。
操作取得制御部54は、運転操作シミュレータ32からネットワーク13を介して供給された、シミュレータ操作者の操作入力に関する情報を取得し、シミュレータ制御部52、記録部60、および、評価部63に供給する。
表示画面生成部55は、シミュレータ制御部52の制御に基づいて、ビデオデータ記憶部56に記憶されている画像データを読み出して、シミュレーション画面表示装置31に表示させるシミュレーション用の画像データを生成し、シミュレータ画面表示制御部57(以下、表示制御部57と称する)に供給する。また、表示画面生成部55は、シミュレータ制御部52の制御に基づいて、シミュレーションの結果に対応する表示データを生成し、表示制御部57に供給する。
ビデオデータ記憶部56は、シミュレーション画面表示装置31に表示させるシミュレーション用の画像データの生成のためのビデオデータを記憶している。
表示制御部57は、表示画面生成部55により生成された画像データを、ネットワーク13を介してシミュレーション画面表示装置31に供給し、その表示を制御する。
音声取得制御部58(以下、音声取得部58と称する)は、集音装置33からネットワーク13を介して供給された、シミュレータ操作者の発話音声を取得し、音声認識処理部59に供給する。
音声認識処理部59は、音声取得部58から供給されたシミュレータ操作者の発話音声を音声認識して、音声データをテキストデータに変換し、シミュレーション結果として記録部60に供給して記録させるとともに、評価部63に供給する。また、音声認識処理部59は、音声取得部58から供給されたシミュレータ操作者の発話音声の高さ、および、発話の速さを数値化し、記録部60に供給して記録させるとともに、評価部63に供給する。
記録部60は、操作取得制御部54、および、音声認識処理部59から供給されたシミュレーション結果を記録する。
キーワード記憶部61は、評価部63がシミュレータ操作者の発話内容を評価するために用いる第1の情報として、輸送指令への報告に用いられるキーワードを、所定の分類ごとに記憶する。
キーワード記憶部61に記憶されているキーワードの例を図3に示す。キーワードは、例えば、場所、事故内容、自列車、乗客・通行人等、他列車、地上設備、周辺状況、および、その他などに、内容によって分類される。場所の分類に記憶されるキーワードには、例えば、A駅(Aには名称が入る)、B駅とC駅の間(BおよびCには名称が入る)、出発後、到着前、駅構内、10km300m(キロ程:数字はいかなるものであっても構わない)、第〇閉そく信号機(〇には数値等が入る)、特殊信号発光機、中継信号機、内方、外方、D踏切(Dには名称が入る)、E橋梁(Eには名称が入る)、Fトンネル(Fには名称が入る)などがある。また、事故内容の分類に記憶されるキーワードには、例えば、車、乗用車、軽乗用車、トラック、バス、バイクなどがある。また、自列車の分類に記憶されるキーワードには、例えば、200M(列車番号)、走行速度X km/h(Xには数値等が入る)、防護無線の発報、防護無線を受信、車両用信号炎管の点火、携帯用信号炎管の点火などがある。
乗客・通行人等の分類に記憶されるキーワードには、例えば、怪我人、怪我、乗客、避難誘導、お客様、運転手、歩行者、通行人、待避場所などがある。また、他列車の分類に記憶されるキーワードには、例えば、対向車線、後続列車、他列車、抑止手配、救援列車、見通し距離などがある。また、地上設備の分類に記憶されるキーワードには、例えば、ATS地上子、転てつ機、沿線電話、遮断機などがある。また、周辺状況の分類に記憶されるキーワードには、線路、踏切、踏切の中、踏切の外、架線、落石、雪崩、強風、濃霧、鹿などがある。また、その他の分類には、各分類に属さないキーワードが記憶される。キーワードの分類は、これ以外のものであってもよい。また、それぞれの分類には、これ以外のキーワードが登録されていてもよい。
図2に戻り、熟練者発話情報記憶部62は、評価部63がシミュレータ操作者の発話内容を評価するために用いる基準発話内容である第2の情報として、熟練者の輸送指令への報告の発話内容例を、シミュレーションの所定のシーンごとに記憶する。シミュレーションの所定のシーンとは、異常事象が発生され、シミュレータ操作者が緊急停止および輸送指令への報告を行うシーンである。具体的には、シミュレーションのシナリオ中に、例えば、踏切に人や乗用車等が侵入している、架線や線路に障害物が存在する、緊急停止信号が点灯している、または、ホームの乗客等に異常が発生しているなどのシーンが発生した場合、シミュレータ操作者は緊急停止の操作、および、輸送指令への報告を行う必要がある。したがって、熟練者発話情報記憶部62には、それらのシーンに対応した熟練者の輸送指令への報告の発話内容例が記憶される。
熟練者発話情報記憶部62に記憶されている熟練者の発話内容例を図4に示す。図4においては、踏切に軽自動車が侵入し、接触したシーンにおける熟練者の発話内容例が示されている。熟練者の発話内容例のうち、図3を用いて説明した各キーワードに対応する単語または複数の単語を含む文言には、それぞれの分類が対応付けられている。例えば、「光町駅」「第1閉そく信号機」「第2閉そく信号機」などの単語には、「場所」の分類が対応付けられ、「軽乗用車」「接触」などの単語には、「事故内容」の分類が対応付けられている。そして、「200M」「防護無線を発報」「車両用信号炎管を点火」などの単語または複数の単語を含む文言には、「自列車」の分類が対応付けられ、「ドライバ」「乗客」「けが」などの単語には、「乗客・通行人等」の分類が対応付けられている。そして、「他列車」「抑止手配」「対向車線」の単語には、「他列車」の分類が対応付けられ、「踏切の外」「救急車」の単語には、「周辺状況」の分類が対応付けられている。
図4に示される熟練者の発話内容例においては、多くの分類のキーワードが、多数、効率的に含まれている。なお、この熟練者の発話内容例では、地上設備のキーワードは含まれていないが、シミュレーションによって発生された異常事象の内容によっては、必要ではない分類も存在する。熟練者発話情報記憶部62は、図4に示される例以外のシーンにおいても、熟練者の発話内容例を、図3を用いて説明した各キーワードに対応する分類に対応付けて記憶している。
再び図2に戻り、評価部63は、音声認識処理部59から供給される音声認識結果を用いて、シミュレータ操作者の発話内容を評価する。具体的には、評価部63は、キーワード記憶部61、および、熟練者発話情報記憶部62に記憶されている情報を用いて、シミュレータ操作者の発話内容を評価することができる。また、評価部63は、音声認識処理部59から供給される音声認識結果から定量的な語(例えば、距離、人数、台数などを示す語)を抽出することにより、シミュレータ操作者の発話内容を評価することができる。また、評価部63は、音声認識処理部59から供給される、シミュレータ操作者の発話音声の高さ、および、発話の速さを数値化した情報に基づいて、シミュレータ操作者の発話内容を評価することができる。
評価部63は、シミュレーションの中で異常事象が発生し、訓練生が、異常事象に対応して輸送指令への報告を開始するタイミングで、発話内容の評価を開始する。具体的には、評価部63は、例えば、操作取得制御部54から、緊急停止の操作入力が行われたことを示す情報の供給を受けた場合、発話内容の評価を開始することができる。また、評価部63は、例えば、シミュレータ制御部52から、実行中のシミュレーションのシナリオにおいて、異常事象が発生するタイミングであることを示す情報の供給を受けた場合、発話内容の評価を開始することができる。また、評価部63は、例えば、音声認識処理部59から供給される音声認識結果が「輸送指令、輸送指令」という、輸送指令への通信の開始を示す決まった文言である場合、発話内容の評価を開始することができる。評価部63は、緊急停止の操作入力が行われたことを示す情報の供給があるか否か、異常事象が発生するタイミングであることを示す情報の供給があるか否か、または、音声認識結果が輸送指令への通信の開始を示す決まった文言であるか否か、のすべての条件判断を行い、いずれかの条件が合致した場合に、発話内容の評価の開始タイミングであることを決定してもよいし、いずれかの条件判断を行うことにより、発話内容の評価の開始タイミングであることを決定してもよい。
評価部63によるシミュレータ操作者の発話内容の評価について、図5および図6を用いて説明する。
図5に、図4において説明した熟練者の発話内容例と同一のシーン同一の異常事象が発生した場合における、シミュレータ操作者の発話内容の音声認識結果の例を示す。図5に示される発話内容の例では、図3を用いて説明したキーワードのうち、事故内容の分類の「車」および「接触」のキーワードと、自列車の分類の「200M」「停止」「破損」「脱線」のキーワードは含まれているが、他の分類のキーワードは含まれていない。すなわち、図5に示されるシミュレータ操作者の発話内容の例では、図3を用いて説明したキーワードのうち、偏った分類に含まれるキーワードしか用いられていないことが分かる。また、図4を用いた熟練者の発話内容例と比較して、事故が発生した場所、乗客や通行人等、他列車、および、周辺状況に関する情報が欠落していることが分かる。
評価部63は、キーワード記憶部61に記憶されているキーワード、および、熟練者発話情報記憶部62に記憶されている同一シーンにおける熟練者の発話内容例を参照し、音声認識処理部59から供給される音声認識結果に基づいて、シミュレータ操作者の発話内容と、熟練者の発話内容例とにおいて一致するキーワードの数を検出し、検出結果を、シミュレータ制御部52に供給する。例えば、図5を用いて説明した音声認識結果である場合、図4を用いて説明した熟練者の発話内容例と一致するキーワードの数は6となる。また、評価部63は、重複するキーワードは、1つとして数えるものとしてもよい。更に、評価部63は、同一シーンにおける熟練者の発話内容例に含まれているキーワード数も算出することにより、熟練者の発話内容例と一致するキーワードの数を、例えば、6/28と算出するものとしてもよい。
また、評価部63は、キーワード記憶部61に記憶されているキーワード、および、熟練者発話情報記憶部62に記憶されている同一シーンにおける熟練者の発話内容例を参照し、音声認識処理部59から供給される音声認識結果に基づいて、シミュレータ操作者の発話内容の音声認識結果、および、同一シーンにおける熟練者の発話内容例に含まれるキーワードの分類の割合を算出し、算出結果を、シミュレータ制御部52に供給する。例えば、音声認識結果が図5を用いて説明したものであり、同一シーンにおける熟練者の発話内容例が図4を用いて説明したものである場合、キーワードの分類の割合は、シミュレータ操作者においては、自列車が80%、事故内容が20%となり、熟練者の発話内容例においては、自列車が38%、場所が18%、事故内容と乗客、通行人等が14%、他列車が11%、周辺状況が7%となる。また、評価部63は、重複するキーワードは、1つとして数えて、分類の割合を算出するものとしてもよい。
また、評価部63は、熟練者発話情報記憶部62に記憶されている同一シーンにおける熟練者の発話内容例を参照し、音声認識処理部59から供給される音声認識結果に基づいて、シミュレータ操作者の発話内容の音声認識結果と、同一シーンにおける熟練者の発話内容例との一致率を算出し、算出結果を、シミュレータ制御部52に供給する。
また、評価部63は、音声認識処理部59から供給される音声認識結果に基づいて、シミュレータ操作者の発話内容の音声認識結果に含まれる定量的な語(例えば、距離、人数、台数などを示す語)の数を検出し、検出結果を、シミュレータ制御部52に供給する。
また、評価部63は、音声認識処理部59から供給される音声認識結果に基づいて、シミュレータ操作者の発話の速さや声の高さなどを用いて、発話の伝わりやすさを評価し、評価結果を、シミュレータ制御部52に供給する。具体的には、評価部63は、シミュレータ操作者の発話の速さや声の高さなどを数値化した情報を、1つまたは複数の閾値と比較し、レベル化したり、指標化することにより、発話の伝わりやすさを評価する。
シミュレータ制御部52は、評価部63から供給された情報を用いて、出力制御部53を制御し、例えば、図6に示されるような評価結果を、表示装置23またはプリンタ24に供給させて出力させる。また、シミュレータ制御部52は、表示画面生成部55を制御し、図6に示されるような評価結果に対応する表示画像データを生成させて、表示制御部57に供給させる。表示制御部57は、表示画面生成部55により生成された画像データを、ネットワーク13を介してシミュレーション画面表示装置31に供給し、その表示を制御する。
この評価結果を確認することにより、シミュレータの操作者の発話内容は、熟練者の発話例と比較して、キーワードが不足し、キーワードの分類が偏っている、すなわち、熟練者の発話例と比較して、報告内容が偏っており、他列車、乗客、通行人等、および、周辺状況の報告が欠けており、報告内容が全体的に不十分であることが分かる。
評価部63は、上述した評価方法のうちの少なくとも1つ、望ましくは、すべての処理を行う。また、評価部63は、シミュレータ制御部52による制御に基づいて、上述した評価方法のうち、ユーザが選択した評価方法を行うようにしてもよい。
次に、図7のフローチャートを参照して、シミュレータ制御装置21aを備える列車運転シミュレーションシステム1において実行されるシミュレーション処理1について説明する。
ステップS1において、操作入力装置22は、ユーザ(列車運転に関する教官等)の操作入力を受け、シミュレータ制御装置21aに供給する。シミュレータ制御装置21aは、ユーザの操作入力に基づいた、路線、天候等の条件に合致したシミュレーションの開始準備を実行する。シミュレータ制御装置21aのシミュレータ制御部52は、表示画面生成部55を制御して、シミュレーションのシナリオに応じた画像生成を開始させる。表示画面生成部55により生成された画像は、表示制御部57を介して列車運転シミュレータユニット12のシミュレーション画面表示装置31に表示される。
ステップS2において、シミュレータ制御装置21aの操作取得制御部54は、ネットワーク13を介して、運転操作シミュレータ32からの操作入力に関する情報が取得されたか否かを判断する。ステップS2において、操作入力に関する情報が取得されていないと判断された場合、操作入力に関する情報が取得されたと判断されるまで、ステップS2の処理が繰り返される。
ステップS2において、操作入力に関する情報が取得されたと判断された場合、ステップS3において、操作取得制御部54は、取得された操作入力に関する情報を、シミュレータ制御部52、および、評価部63に供給する。シミュレータ制御部52は、操作取得制御部54から供給される情報に基づいて、表示画面生成部55を制御して、ビデオデータ記憶部56から実行中のシナリオのシーンに対応する画像データを読み出させ、シミュレーション画面表示装置31に表示される画像データを生成させ、操作入力に基づいたシミュレーションを実行する。例えば、シミュレーションの開始時に、運転操作シミュレータ32において、発車のための運転操作がなされた場合、シミュレータ制御部52は、操作取得制御部54から供給される情報に基づいて、表示画面生成部55を制御して、シミュレーション画面表示装置31に表示される画像を、実際の発車時に対応する動画像とする。また、それ以降、シミュレータ制御部52は、操作取得制御部54から供給される情報に基づいて、例えば、速度の変更やブレーキングなどの操作入力がなされた場合、表示画面生成部55を制御して、シミュレーション画面表示装置31に表示される画像を、シミュレータ操作者が実行した運転操作に対応したものとするなどの、操作入力に基づいたシミュレーションを実行する。
ステップS4において、音声取得部58は、集音装置33からネットワーク13を介して供給された、シミュレータ操作者の発話音声を取得し、音声認識処理部59に供給する。
ステップS5において、音声認識処理部59は、音声取得部58から供給されたシミュレータ操作者の発話音声を音声認識して、音声データをテキストデータに変換し、シミュレーション結果として記録部60に供給して記録させるとともに、評価部63に供給する。
ステップS6において、評価部63は、操作取得制御部54から、緊急停止の操作入力が行われたことを示す情報の供給を受けるか、シミュレータ制御部52から、実行中のシミュレーションのシナリオにおいて、異常事象が発生するタイミングであることを示す情報の供給を受けるか、または、音声認識結果が「輸送指令、輸送指令」などの輸送指令への通信の開始を示す決まった文言であるかなどの、発話内容の評価タイミングとなったか否かを判断する。ステップS6において、発話内容の評価タイミングとなっていないと判断された場合、処理は、ステップS3に戻り、それ以降の処理が繰り返される。
ステップS6において、発話内容の評価タイミングとなったと判断された場合、ステップS7において、図8~図11を用いて後述する発話内容評価処理1~4のうちのいずれか少なくとも1つ、望ましくは、発話内容評価処理1~4のすべての処理が実行される。
ステップS8において、シミュレータ制御部52は、表示装置23に、シミュレーションの結果に対応する情報を表示させるために、記録部60に記録されているシミュレーション中の操作者状況に関する情報、および、評価部63による発話内容の評価結果の供給を受け、出力制御部53に供給する。出力制御部53は、シミュレーションの結果に対応する表示データを生成する。また、シミュレータ制御部52は、表示画面生成部55を制御し、シミュレーションの結果に対応する表示データを生成させる。
ステップS9において、表示画面生成部55は、シミュレーションの結果に対応する表示データを表示制御部57に供給し、ネットワーク13を介してシミュレーション画面表示装置31に供給させて表示させ、出力制御部53は、表示装置23またはプリンタ24に、シミュレーションの結果に対応する情報を出力させて、処理が終了する。
このように、操作者の発話音声が取得され、操作者の発話音声が音声認識され、キーワード記憶部61に記憶されているキーワード、および、熟練者発話情報記憶部62に記憶されている熟練者の発話内容例を用いて、所定のタイミングで、音声認識結果の評価が開始されるので、ユーザ(列車運転に関する教官等)の手間や時間をかけることなく、訓練生の発話内容を、正しく評価することができる。また、評価開始のタイミングを、緊急停止の操作入力が行われたことを示す情報の供給を受けるか、シミュレータ制御部52から、実行中のシミュレーションのシナリオにおいて、異常事象が発生するタイミングであることを示す情報の供給を受けるか、または、音声認識結果が「輸送指令、輸送指令」などの輸送指令への通信の開始を示す決まった文言であるか、のいずれかとしているので、操作者の発話の評価が必要な個所を、誤ることなく、また、無駄な処理を行うことなく実行することができる。
次に、図8のフローチャートを参照して、図7のステップS7において実行される第1の処理である、発話内容評価処理1について説明する。
ステップS21において、評価部63は、キーワード記憶部61に記憶されている、例えば、図3を用いて説明したキーワードの情報を読み込む。
ステップS22において、評価部63は、シミュレータ制御部52から、現在進行しているシミュレーションのシーン情報を取得する。
ステップS23において、評価部63は、熟練者発話情報記憶部62から、シミュレーションのシーン情報に対応する、例えば、図4を用いて説明した熟練者発話情報を読み込む。
ステップS24において、評価部63は、音声認識処理部59から供給された音声認識結果から、キーワードを抽出する。
ステップS25において、評価部63は、抽出されたキーワードと熟練者発話情報に含まれるキーワードとの一致数、または、抽出されたキーワードと熟練者発話情報との分類される属性の割合の比較結果のうちの、すくなくともいずれか1つ、好ましくはこれらすべてを算出して、シミュレータ制御部52に供給し、処理は、図7のステップS8に進む。
このように、分類されたキーワードと、現在進行しているシミュレーションのシーンに合致した熟練者発話情報を用いて音声認識結果が評価されるので、操作者の発話内容を、熟練者の発話例と比較して、精度よく評価することができる。
次に、図9のフローチャートを参照して、図7のステップS7において実行される第2の処理である、発話内容評価処理2について説明する。
ステップS31において、評価部63は、音声認識処理部59から供給された音声認識結果から、例えば、距離、人数、台数などを示す定量的な単語を抽出する。
ステップS32において、評価部63は、抽出された定量的な単語の数を算出して、シミュレータ制御部52に供給し、処理は、図7のステップS8に進む。
このようにして、音声認識結果に定量的な単語が含まれているかどうかを評価することができる。これにより、訓練生に、定量的な語を必要に応じて使用させることを促すための評価を行うことができる。
次に、図10のフローチャートを参照して、図7のステップS7において実行される第3の処理である、発話内容評価処理3について説明する。
ステップS51において、評価部63は、シミュレータ制御部52から、現在進行しているシミュレーションのシーン情報を取得する
ステップS52において、評価部63は、熟練者発話情報記憶部62から、シミュレーションのシーン情報に対応する、熟練者発話情報を読み込む。
ステップS53において、評価部63は、音声認識結果と熟練者発話情報との一致率を算出して、シミュレータ制御部52に供給し、処理は、図7のステップS8に進む。
このように、現在進行しているシミュレーションのシーンに合致した熟練者発話情報を用いて音声認識結果が評価されるので、操作者の発話内容を、熟練者の発話例と比較して精度よく評価することができる。
次に、図11のフローチャートを参照して、図7のステップS7において実行される第4の処理である、発話内容評価処理4について説明する。
ステップS61において、評価部63は、音声認識処理部59から供給された、操作者の声のトーン(高さ)、および、発話の速さに対応する数値情報を所定の閾値と比較する。
ステップS62において、評価部63は、比較結果に基づいて、操作者の発話の伝わりやすさを算出して、シミュレータ制御部52に供給し、処理は、図7のステップS8に進む。
このように、音声認識結果を声のトーン(高さ)、および、発話の速さに対応する数値情報を所定の閾値と比較するようにしたので、操作者の発話の伝わりやすさを評価することができる。
以上説明した処理において、シミュレータ制御装置21aの評価部63は、緊急停止の操作入力が行われたことを示す情報の供給を受けるか、シミュレータ制御部52から、実行中のシミュレーションのシナリオにおいて、異常事象が発生するタイミングであることを示す情報の供給を受けるか、または、音声認識結果が「輸送指令、輸送指令」などの輸送指令への通信の開始を示す決まった文言であるかなどの、発話内容の評価タイミングとなった場合、音声認識結果の評価を開始した。これに対して、所定のタイミングとなった場合に、音声認識を開始するとともに、音声認識結果の評価を開始するものとしてもよい。
次に、図12を用いて、第2の構成例としてのシミュレータ制御装置21bが有する機能構成について説明する。
なお、図12のシミュレータ制御装置21bにおいては、図2を用いて説明したシミュレータ制御装置21aと同様の機能を有する部分については、同一の符号を付し、その詳細な説明は省略する。
すなわち、図12のシミュレータ制御装置21bは、シミュレータ制御部52に代わって、シミュレータ制御部71の機能が備えられ、シミュレータ操作入力取得制御部54に代わって、シミュレータ操作入力取得制御部72(以下、操作取得制御部72と称する)の機能が備えられ、音声認識処理部59に代わって、音声認識処理部73の機能が備えられ、発話内容評価部63に代わって、発話内容評価部74(以下、評価部74と称する)の機能が備えられている。図12のシミュレータ制御装置21bは、上述した部分以外においては、シミュレータ制御装置21aと同様の機能を有する。
シミュレータ制御部71は、実行中のシナリオにおいて、異常事象が発生するタイミングであることを、音声認識処理部59に通知する。シミュレータ制御部71が有するその他の機能は、上述したシミュレータ制御部52と同一である。
操作取得制御部72は、運転操作シミュレータ32からネットワーク13を介して供給された、シミュレータ操作者の操作入力に関する情報を取得し、シミュレータ制御部71、記録部60、および、音声認識処理部73に供給する。
音声認識処理部73は、音声取得部58から供給されたシミュレータ操作者の発話音声を音声認識して、音声データをテキストデータに変換し、シミュレーション結果として記録部60に供給して記録させるとともに、評価部74に供給する。音声認識処理部73は、シミュレーションの中で異常事象が発生し、訓練生が、異常事象に対応して輸送指令への報告を開始するタイミングで、音声認識処理を開始する。具体的には、音声認識処理部73は、例えば、操作取得制御部54から、緊急停止の操作入力が行われたことを示す情報の供給を受けた場合、音声認識処理を開始することができる。また、音声認識処理部73は、例えば、シミュレータ制御部52から、実行中のシミュレーションのシナリオにおいて、異常事象が発生するタイミングであることを示す情報の供給を受けた場合、音声認識処理を開始することができる。音声認識処理部73は、緊急停止の操作入力が行われたことを示す情報の供給があるか否か、または、異常事象が発生するタイミングであることを示す情報の供給があるか否か、のすべての条件判断を行い、いずれかの条件が合致した場合に、音声認識処理の開始タイミングであることを決定してもよいし、いずれかの条件判断を行うことにより、音声認識処理の開始タイミングであることを決定してもよい。
評価部74は、音声認識処理部59から供給される音声認識結果を用いて、シミュレータ操作者の発話内容を評価する。評価部74による発話内容を評価方法は、上述した評価部63と同様であるが、評価の開始のタイミングは、音声認識処理部59から音声認識結果の供給を受けたときである。
次に、図13のフローチャートを参照して、ミュレータ制御装置21bを備える列車運転シミュレーションシステム1において実行されるシミュレーション処理2について説明する。
ステップS71において、操作入力装置22は、ユーザ(列車運転に関する教官等)の操作入力を受け、シミュレータ制御装置21bに供給する。シミュレータ制御装置21bは、ユーザの操作入力に基づいた、路線、天候等の条件に合致したシミュレーションの開始準備を実行する。シミュレータ制御装置21bのシミュレータ制御部71は、表示画面生成部55を制御して、シミュレーションのシナリオに応じた画像生成を開始させる。表示画面生成部55により生成された画像は、表示制御部57を介して列車運転シミュレータユニット12のシミュレーション画面表示装置31に表示される。
ステップS72において、シミュレータ制御装置21bの操作取得制御部72は、ネットワーク13を介して、運転操作シミュレータ32からの操作入力に関する情報が取得されたか否かを判断する。ステップS72において、操作入力に関する情報が取得されていないと判断された場合、操作入力に関する情報が取得されたと判断されるまで、ステップS72の処理が繰り返される。
ステップS72において、操作入力に関する情報が取得されたと判断された場合、ステップS73において、操作取得制御部72は、取得された操作入力に関する情報を、シミュレータ制御部71、および、音声認識処理部73に供給する。シミュレータ制御部71は、操作取得制御部72から供給される情報に基づいて、表示画面生成部55を制御して、ビデオデータ記憶部56から実行中のシナリオのシーンに対応する画像データを読み出させ、シミュレーション画面表示装置31に表示される画像データを生成させ、操作入力に基づいたシミュレーションを実行する。例えば、シミュレーションの開始時に、運転操作シミュレータ32において、発車のための運転操作がなされた場合、シミュレータ制御部71は、操作取得制御部72から供給される情報に基づいて、表示画面生成部55を制御して、シミュレーション画面表示装置31に表示される画像を、実際の発車時に対応する動画像とする。また、それ以降、シミュレータ制御部71は、操作取得制御部72から供給される情報に基づいて、例えば、速度の変更やブレーキングなどの操作入力がなされた場合、表示画面生成部55を制御して、シミュレーション画面表示装置31に表示される画像を、シミュレータ操作者が実行した運転操作に対応したものとするなどの、操作入力に基づいたシミュレーションを実行する。
ステップS74において、音声認識処理部73は、操作取得制御部72から、緊急停止の操作入力が行われたことを示す情報の供給を受けるか、または、シミュレータ制御部71から、実行中のシミュレーションのシナリオにおいて、異常事象が発生するタイミングであることを示す情報の供給を受けるかなどの、音声認識処理の開始タイミングとなったか否かを判断する。ステップS74において、音声認識処理の開始タイミングとなっていないと判断された場合、処理は、ステップS73に戻り、それ以降の処理が繰り返される。
ステップS74において、音声認識処理の開始タイミングとなったと判断された場合、ステップS75において、音声認識処理部73は、音声取得部58から供給されたシミュレータ操作者の発話音声を取得する。
ステップS76において、音声認識処理部73は、音声取得部58から取得したシミュレータ操作者の発話音声を音声認識して、音声データをテキストデータに変換し、シミュレーション結果として記録部60に供給して記録させるとともに、評価部74に供給する。
ステップS76において、発話内容の評価タイミングとなったと判断された場合、ステップS77において、図8~図11を用いて説明した発話内容評価処理1~4のうちのいずれか少なくとも1つ、望ましくは、発話内容評価処理1~4のすべての処理が実行される。
ステップS78において、シミュレータ制御部71は、表示装置23に、シミュレーションの結果に対応する情報を表示させるために、記録部60に記録されているシミュレーション中の操作者状況に関する情報、および、評価部74による発話内容の評価結果の供給を受け、出力制御部53に供給する。出力制御部53は、シミュレーションの結果に対応する表示データを生成する。また、シミュレータ制御部71は、表示画面生成部55を制御し、シミュレーションの結果に対応する表示データを生成させる。
ステップS79において、表示画面生成部55は、シミュレーションの結果に対応する表示データを表示制御部57に供給し、ネットワーク13を介してシミュレーション画面表示装置31に供給させて表示させ、出力制御部53は、表示装置23またはプリンタ24に、シミュレーションの結果に対応する情報を出力させて、処理が終了する。
このように、操作者の発話音声が取得され、所定のタイミングで操作者の発話音声の音声認識が開始され、音声認識結果が評価されるので、訓練生の発話内容を正しく評価することができる。また、音声認識処理の開始のタイミングを、緊急停止の操作入力が行われたことを示す情報の供給を受けるか、シミュレータ制御部52から、実行中のシミュレーションのシナリオにおいて、異常事象が発生するタイミングであることを示す情報の供給を受けるか、のいずれかとしているので、音声認識処理の実行箇所をできるだけ少なくして、ユーザ(列車運転に関する教官等)の手間や時間をかけることなく、操作者の発話の評価を実行することができる。
以上説明したように、本発明の一実施例であるシミュレータ制御装置21では、列車運転シミュレーション実行中の操作者の発話音声が取得され(例えば、図7のステップS4、または、図13のステップS73の処理)、取得された操作者の発話音声が音声認識され(例えば、図7のステップS5、または、図13のステップS74の処理)、音声認識より得られた操作者の発話内容と、列車運転シミュレーションにおいて操作者が発話すべき基準発話内容(例えば、熟練者発話情報記憶部62に記憶された図4に示される熟練者発話情報)とを比較し、操作者の発話内容が評価される(例えば、図7のステップS7、または、図13のステップS77の処理)ので、ユーザ(列車運転に関する教官等)の手間や時間をかけることなく、操作者の発話の評価を実行することができる。
また、列車運転シミュレーションのシーンごとに、シーンに対応した基準発話内容と(例えば、図8のステップS23、または、図10のステップS52の処理)、該当するシーンの、音声認識により得られた操作者の発話内容が比較され、操作者の発話内容が評価されるようにしたのでシーンごとに操作者の発話内容を評価することができる。その結果、操作者の発話内容をより精度よく評価することができる。
また、音声認識処理部59または音声認識処理部73の処理により得られた音声認識結果からキーワード(例えば、キーワード記憶部61により記憶されている図3に示される情報)が抽出され(例えば、図8のステップS24の処理)、抽出されたキーワードと基準発話内容(例えば、熟練者発話情報記憶部62に記憶されている熟練者発話情報)に含まれるキーワードとが比較され、その比較結果に基づいて、音声認識結果を評価する(例えば、図8のステップS25の処理)ようにしたので、キーワードに基づいて、操作者の発話内容を評価できる。シーンに応じて口頭で報告すべき内容において使用される言葉(キーワード)はある程度特定されるので、操作者の発話内容に含まれるキーワードを検討すれば、発話内容を適切に評価することができる。
また、抽出したキーワードの分類の発話内容における割合と、基準発話内容(例えば、熟練者発話情報記憶部62に記憶されている熟練者発話情報)に含まれるキーワードの分類の基準発話内容における割合とを比較して、操作者の発話内容を評価する(例えば、図8のステップS25の処理)ようにしたので、例えば、使用されるキーワードにばらつきがあっても、操作者の発話内容を評価できる。例えば、「車」、「乗用車」は、「事故内容」に分類されるので(図3)、基準発話内容との比較において単語が完全に一致しなくても、同じことを意図する単語であれば、基準発話内容に対応しているものと判断できる。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。