JP6319951B2 - 鉄道シミュレータ、指差動作検出方法および鉄道シミュレーション方法 - Google Patents

Description

本発明は、鉄道シミュレータ、指差動作検出方法および鉄道シミュレーション方法に関する。

従来、鉄道車両の運転を訓練するための鉄道シミュレータが用いられている。車両の運転を訓練する訓練者は、このような鉄道シミュレータを操作して車両の模擬運転を行うことにより、車両の操作を学習する。

また、訓練者は、鉄道車両を安全に運行するために、所定の確認事項に対して、指差動作、喚呼及び視線を向けるという確認動作を行うことを学習する。

訓練者は、これらの確認動作を身につけることにより、車両の安全な運行をより確実に行うことができる。

特許文献１は、指差動作のヒューマンエラー防止効果を実際に体感してもらう指差喚呼効果提示システムを開示している。この指差喚呼効果提示システムでは、マウスおよびマイクをポインティングデバイスとして利用し、提示された課題に対する受検者の応答をポインティングデバイスで検出する。

特開２００９−２１０７８５号公報

鉄道車両運転時の指差動作は、確認する対象を指差す動作であり、ボタンを押すなどのポインティングデバイスを操作する動作とは異なる。このように、特許文献１に記載されたシステムで評価する指差喚呼動作は、鉄道車両運転時に実際に行う指差動作は異なり、実際の動作を十分にシミュレートしているとは言えないという問題があった。

また、実際の鉄道車両には、ポインティングデバイスは設けられておらず、運転視野角内に、実際の鉄道車両の運転席には存在しない不要なものが入るなど、実際の鉄道車両の運転席の環境を十分に再現していないという問題がある。

本明細書では、鉄道の模擬運転をシミュレートする鉄道シミュレータおよび鉄道シミュレーション方法において、実際の環境に近い状態で、実際に近い形で行う指差動作を検出できるようにすることを目的とする。

上記目的を実現するため、本発明では、鉄道シミュレータにおいて、運転席およびその前の操作盤の上部に、訓練者の腕の動きを光学的に検出する検出手段を設け、訓練者の腕および指先を識別する。

すなわち、本明細書に開示する鉄道シミュレータは、鉄道車両の模擬運転をシミュレートする鉄道シミュレータであって、運転席と、運転席の前に設けられ、上面に訓練者が操作する機器が設けられた操作盤と、運転席に着座した訓練者の指差動作を検出する指差動作検出部と、を備え、指差動作検出部は、運転席および操作盤の上部に設けられ、訓練者の腕の動きを光学的に検出する検出手段と、検出手段の検出データから、訓練者の腕および指先を識別する識別手段と、を備える。

例えば、検出手段は、視野内の各部までの距離を検出する距離センサを備え、距離センサは、所定の赤外線パターンを投影するパターン投影手段と、投影された赤外線パターンを検出する赤外線カメラと、赤外線カメラの検出した赤外線パターンの変形具合から、距離を算出する距離算出手段と、を備え、検出手段は、視野内の各部までの距離データを含む距離画像を生成して出力する。なお、検出手段は、ステレオ視システム等でも実現してもよい。

例えば、識別手段は、距離データに基づいて、操作盤より下の部分を背景として距離画像から除去する背景除去部と、背景除去した距離画像において輪郭を抽出する輪郭抽出部と、抽出した輪郭の位置関係および距離データに基づいて、右腕を検出する右腕検出部と、検出した右腕の位置関係および距離データに基づいて、右手の指先を検出する指先検出部と、検出した右腕および指先の画像の時間変化から、右腕および右手の指先の動きおよび静止したかを判定する動体判定部と、を備える。

例えば、鉄道シミュレータは、シミュレートする鉄道車両の模擬運転を、運転シナリオに基づいて行う場合に、指差動作検出部が検出した訓練者の指差動作を、運転シナリオに対応して評価する評価部をさらに備える。

本明細書に開示する指差動作検出方法は、運転席と、運転席の前に設けられ、上面に訓練者が操作する機器が設けられた操作盤と、を備え、鉄道車両の模擬運転をシミュレートする鉄道シミュレータにおいて、運転席に着座した訓練者の指差動作を検出する指差動作検出方法であって、運転席および操作盤の上部から、運転席に着座した訓練者および操作盤を含む視野内の各部までの距離データを含む距離画像を生成し、生成した距離画像に基づいて、操作盤より下の部分を背景であるとして距離画像から除去し、背景除去した距離画像において、所定の位置関係および検出した距離に基づいて、画像処理により、訓練者の指差動作を検出することをコンピュータが実行する。

本明細書に開示する鉄道シミュレーション方法は、鉄道車両の模擬運転を、運転シナリオに基づいてシミュレートする鉄道シミュレーション方法であって、運転席に着座した訓練者に対し、運転シナリオに基づいた情報を提供し、上記の指差動作検出方法で訓練者が行う指差動作を検出し、検出した訓練者の指差動作を、運転シナリオに対応して評価する。

人間の身体の各部の動きを撮像すると共に、距離センサにより各部までの距離を検出し、撮像した画像および距離情報に基づいて各部の動きを検出することは広く知られている。しかし、これまで、鉄道シミュレータにおいて、訓練者の指差動作に伴う腕および手の指先の動きを検出することは行われていなかった。この原因として、人間の身体の各部の動きを検出する検出機構が高価であることや、訓練者が訓練を行う鉄道シミュレータにおける空間が狭い空間であること、などが考えられる。本願発明は、鉄道シミュレータにおいて訓練者が訓練を行う空間は、各部が所定の配置関係にあることに着目して、指差動作を正確に且つ簡単に検出する。

本発明によれば、訓練者の腕の動きを光学的に検出する検出手段を、運転席および操作盤の上部に設ける。仕様にもよるが、鉄道車両では、一般に、指差動作は、右腕および右手で行う。運転席の右側には、壁、窓、計器などが配置され、右側の端から右腕までの距離が狭い。そのため、検出手段を運転席の右側に配置する場合、右腕まで十分な距離で検出手段を配置するのが難しい上に、検出手段を配置すると実際の環境と差異を生じる。さらに、検出手段を運転席の右側に配置する場合、検出手段の視野内で、右腕および右手と左腕および左手が重なり、分離するのが難しくなるという問題が生じる。検出手段を運転席の左側に配置する場合にも同様の問題が発生する。さらに、側方から撮像する場合、画像において、左腕および左手が、右腕および右手の前で重なるのでより識別が難しくなる。左腕および左手で指差動作を行う場合については、以上のことが左右逆になるだけで、基本的な事項は同じである。以降、右腕および右手で指差動作を行う場合を想定して説明を行う。

これに対して、運転席および操作盤の上部は、訓練者が気にかけない空間であり、天井を十分な高さにしても、実際の環境と差異を生じることはなく、通常は計器類も配置されない。そのため、検出手段を運転席および操作盤の上部に設ける場合、右腕まで十分な距離で検出手段を配置でき、実際の環境と差異を生じない。さらに、訓練者は運転席に着座して、左手で運転席の前の操作盤に設けられた操作レバーを常時握り、右手で計器類を操作すると共に指差動作する。そのため、右腕および右手と左腕および左手は、比較的限られた範囲に位置しており、検出手段を運転席および操作盤の上部に設けた場合、検出手段の視野内で、右腕および右手と左腕および左手が重なることは少なく、右腕および右手と左腕および左手の識別が容易である。さらに、右腕および右手と左腕および左手は、通常操作盤より上に位置しており、少なくとも、指差動作を行う場合には、操作盤より上に位置している。そのため、検出手段が距離センサを含む場合には、操作盤より下の距離にある部分は背景として除去することができ、右腕および右手と左腕および左手の識別が容易になる。

本発明によれば、鉄道シミュレータにおいて、実際に近い環境で行う指差動作を正確に且つ簡単な構成で検出できる。これにより、鉄道シミュレータにおいて、指差動作を正確に評価することができる。

本明細書に開示する鉄道シミュレータの一実施形態を示す機能ブロック図である。 本明細書に開示する鉄道シミュレータの表示部を示す図である。 本明細書に開示する鉄道シミュレータを訓練者が操作している様子を示す図である。 本明細書に開示する鉄道シミュレータのシミュレータ本体を説明する図である。 指差動作検出部を説明する図であり、（Ａ）が鉄道シミュレータにおいて指差動作検出部により物体が検出される視野を示し、（Ｂ）が指差動作検出部により撮像された画像の例を模式的に示す。 実施形態で使用する検出器の外観および検出原理を示す図であり、（Ａ）が正面の図であり、（Ｂ）が検出原理を示す。 コンピュータシステムにより識別部内に実現される機能ブロックを示す図である。 識別部の処理を示すフローチャートである。 図８の処理に伴う距離画像の変化を示す図である。 図８の処理に伴う距離画像の変化を示す図である。 図８の処理に伴う距離画像の変化を示す図である。

以下、本明細書で開示する鉄道シミュレータの好ましい一実施形態を、図を参照して説明する。但し、本発明の技術範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶものである。

図１は、本明細書に開示する鉄道シミュレータの一実施形態を示す機能ブロック図である。図２は、本明細書に開示する鉄道シミュレータの表示部を示す図である。図３は、本明細書に開示する鉄道シミュレータを訓練者が操作している様子を示す図である。

本実施形態の鉄道シミュレータ１０は、鉄道車両を運転する運転士を養成するために、訓練者が鉄道車両の模擬運転を行って、車両の運転技術を学習させるものである。

鉄道シミュレータ１０は、運転シナリオに基づいて、鉄道車両の運転席から見える模擬視界映像及び車両の速度等の模擬運転状況を表示し、マスターコントローラ等の操作入力装置を訓練者に操作させて模擬運転を行わせる。

また、鉄道シミュレータ１０は、模擬運転中に訓練者が行う所定の確認事項に対して、確認動作の評価を行って、評価結果を記録する。訓練者は、記録された評価結果に基づいて、自分が行った模擬運転を再生して確認することができる。また、訓練者は、自分が行った模擬運転を再生すると共に、再度、同じ模擬運転を訓練することもできる。

この確認動作には、例えば、訓練者が行う指差動作、喚呼等の訓練者が発言する音声、又は、訓練者が対象物に対して向ける視点の位置等の動作が含まれる。

これらの確認動作は、所定の対象物又は事象に対して行われ得る。所定の対象物又は事象には、例えば、信号機、時刻表に記載されている駅を発車する時刻、戸締めの表示ランプ、保安計器、走行する軌道上のもの等が含まれる。

鉄道シミュレータ１０は、図１に示す各機能ブロックを有する。次に、鉄道シミュレータ１０の各機能ブロックを、図１を参照しながら、以下に説明する。

シナリオ再生部１７は、シナリオ記録部２０に記録された運転シナリオに基づいた模擬視界映像を再生して、表示部４０に表示する。シナリオ再生部１７は、操作入力部４１から操作情報を入力して、再生速度を変更する。

シナリオ記録部２０は、訓練に使用される運転シナリオを記録する。運転シナリオには、シナリオ再生部１７によって再生される模擬視界映像が含まれる。模擬視界映像には、訓練者が確認動作を行う対象物等の情報が関連づけられている。

表示部４０は、シナリオ再生部１７が再生する模擬視界映像を表示する。図２に示す例では、表示部４０は、軌道４０ｂ及び３現示信号機４０ｃを含む模擬視界映像を表示するディスプレイ４０ａを有する。

また、表示部４０は、シナリオ再生部１７が出力する鉄道車両の走行速度等の模擬運転状況を表示する。図２に示す例では、表示部４０は、鉄道車両の走行速度を表示する速度計５０ａを有する。速度計５０ａは、ディスプレイ４０ａの下に位置する計器盤５０に配置される。

模擬運転状況には、例えば、速度又は戸締めランプの点灯状態等の車両運転情報、マスターコントローラ等の訓練者の運転操作情報が含まれ得る。

操作入力部４１は、模擬運転における鉄道車両の走行速度を制御するマスターコントーラ５２等を有する。図２に示す例では、マスターコントーラ５２は、計器盤５０の下に位置する操作盤５１に配置される。操作盤５１は、運転席５４の前に配置される。訓練者Ｐは、運転席５４に着座し、ディスプレイ４０ａに映される模擬視界映像を見ながら、マスターコントーラ５２等を操作する。

視点検知部３０は、訓練者Ｐの視点の位置Ｅを検知する。視点検知部３０は、訓練者Ｐが視認できない波長の電磁波を訓練者Ｐに対して照射し、反射された電磁波を受信して、訓練者Ｐの両目の位置及び各目の視線の向きを検出する。そして、視点検知部３０は、あらかじめ入力されている訓練者Ｐに対する補正情報、ディスプレイ４０ａ、計器盤５０及び操作盤５１等の寸法情報等に基づいて、訓練者Ｐの視点の位置Ｅを検知する。視点検知部３０は、訓練者Ｐの視点の位置Ｅを、評価部１２へ出力する。検知した視点検知部３０は、例えば、公知の技術を用いて構成することができる。

音声認識部３１は、訓練者が発言する喚呼等の音声を入力する音声入力部３１ａと、音声入力部３１ａが入力した音声を認識して文字列に変換する文字列化部３１ｂとを有する。音声認識部３１は、認識した文字列を評価部１２へ出力する。音声認識部３１は、例えば、公知の音声認識技術を用いて構成することができる。図２に示す例では、音声入力部３１ａとしてのマイクロフォンがディスプレイ４０ａの上に配置されており、訓練者Ｐが発言する喚呼等の音声Ｆを入力する。また、音声認識部３１は、訓練者が発言する音声Ｆの音量を定量化して出力する。なお、文字列化部３１ｂの機能は、後述する評価部１２が有していても良い。

指差動作検出部３２は、運転席５４および操作盤５１の上部から、視野内の各部までの距離データを含む画像を生成し、生成した画像を評価部１２に出力する。ここで、距離データとは、視野内の各部（各画素）について、撮像位置と撮像された対象物との間の距離情報を意味する。視野内の各部までの距離データを含む画像を距離画像と称する。図２及び図３に示す例では、指差動作検出部３２に含まれる検出器７０は、運転席５４および操作盤５１の上部に配置されており、訓練者Ｐを上から撮像する。指差動作検出部３２の構成および処理については、後述する。

評価部１２は、シナリオ記録部２０に記録された運転シナリオに基づいて、指差動作検出部３２が検知した指差動作、又は音声認識部３１が入力した音声を認識して文字列に変換した文字列、又は視点検知部３０が検知した視点の位置を、所定の評価基準に基づいて評価する。評価部１２には、シナリオ再生部１７がシナリオ記録部２０から読み出して出力する運転シナリオが入力され、運転シナリオと関連づけて評価が行われる。

運転シナリオには、訓練者が確認動作を行う対象物等の情報が含まれている。評価部１２は、各対象物等に対して、検知した指差動作の有無及びそのタイミング、並びに音声認識部３１が認識した音声を変換した文字列及び音声の音量及びそのタイミング、並びに視点検知部３０が検知した視点の位置及びそのタイミングを、所定の評価基準に基づいて評価する。

指差動作検出部３２は、生成した距離画像に基づいて、訓練者Ｐと訓練者ではない背景の部分とを分離する。訓練者Ｐが指差動作を行う場合、指差動作が行われる操作盤５１より上の空間には、手及び腕以外のものが存在しないので、指差動作検出部３２は、その空間において所定の長さ及び幅を有する領域が存在すると、その領域を訓練者Ｐの手及び腕として検出する。そして、評価部１２は、検出した訓練者Ｐの手及び腕の動作に基づいて、指差動作の有無及びそのタイミングを判断する。

本実施形態では、指差動作検出部３２は、検出した訓練者Ｐの手及び腕の画像領域において、所定の時間の間に検出した手及び腕の移動量を検出する。そして、評価部１２は、検出した手及び腕の移動量に基づいて、指差動作の有無を判断する。なお評価部１２は、上述した動作とは異なる処理を行って、指差動作の判断をしても良い。

また、評価部１２が、音声認識部３１が認識した音声を評価する際には、音声認識部３１が音声を認識して文字列化した文字列を、文字列記録部２２が記録する参照文字列に基づいて評価する。

文字列記録部２２は、訓練者が確認動作を行う対象物等に関連付けられた参照文字列を記録する。評価部１２は、音声認識部３１が認識した音声を評価する際には、各対象物等に対して、文字列記録部２２に記録された参照文字列に基づいて評価する。

評価基準変更部１４は、鉄道車両の模擬運転状況に応じて、評価部１２が使用する評価基準を変更する。本実施形態では、模擬運転状況は鉄道車両の速度であり、評価基準変更部１４は、鉄道車両の走行速度に応じて、評価基準を変更する。評価基準変更部１４には、シナリオ再生部１７から鉄道の走行速度等の模擬運転状況が入力される。

具体的には、上述した評価基準は、評価部１２が評価を開始する鉄道車両の位置と、指差動作、又は喚呼等の音声、又は視線が向けられる対象物との間の距離である開始距離である。評価基準変更部１４は、鉄道車両の走行速度に応じて、開始距離を変更し、評価部１２は、鉄道車両の位置が、対象物に対して開始距離以下に近づいた後に、評価を開始する。この評価基準としての開始距離は、鉄道車両の走行速度が速い時には長くして、走行速度が遅い時には短くすることができる。鉄道シミュレータ１０は、鉄道車両の走行速度に応じて開始距離を変更することにより、訓練者が確認動作を適切なタイミングで行えるのかどうかを評価する。例えば、訓練者が確認動作を行っていても、適切なタイミングで行われていない場合には、その確認動作は評価されない。

また、評価基準は、指差動作の有無を判断する移動量であっても良い。この指差動作の有無を判断する移動量は、評価部１２が用いる所定の閾値として用いられる。評価部１２は、検出した手及び腕の移動量が、所定の閾値よりも大きい場合に、指差動作が行われたと判断する。この評価基準としての指差動作の有無を判断する移動量は、鉄道車両の模擬運転状況である走行速度が速い時には大きくして、走行速度が遅い時には小さくすることができる。

また、評価基準は、音声認識部３１が入力した音声を認識して変換した文字列と、文字列記録部２２に記録された参照文字列との一致度であっても良い。評価部１２は、音声認識部３１が入力した音声を認識して変換した文字列と参照文字列とが、所定の一致度以上であれば、訓練者が正しい喚呼を発言したと判断する。この評価基準としての一致度は、鉄道車両の模擬運転状況である走行速度が速い時には低くして、走行速度が遅い時には高くすることができる。

更に、評価基準は、ディスプレイ４０ａ上における視点の位置と、視線が向けられる対象物との間の距離であっても良い。評価部１２は、ディスプレイ４０ａ上における視点の位置と、視線が向けられる対象物との間の距離が、所定の閾値以下であれば、訓練者が対象物に対して正しく視線を向けたと判断する。この評価基準としての距離は、鉄道車両の模擬運転状況である走行速度が速い時には長くして、走行速度が遅い時には小さくすることができる。この評価基準としての距離は、ディスプレイ上の対象物の移動速度が速い時には長くして、移動速度が遅い時には短くすることが好ましい。

記録処理部１３は、指差動作検出部３２が検知した指差動作、及び音声認識部３１が入力した音声を認識して文字列化した文字列、及び視点検知部３０が検知した視点の位置等を、評価基準に基づいて評価した結果を、シナリオ再生部１７が再生している運転シナリオと関連づけて、訓練結果記録部２３に記録する。

訓練結果記録部２３は、記録処理部１３によって、シナリオ再生部１７が再生している運転シナリオと関連づけられており評価部１２が評価した結果を、訓練者のＩＤと共に記録する。

再生箇所検出部１５は、各訓練者に対して、訓練者のＩＤ及び訓練結果記録部２３に記録された評価した結果に基づいて、運転シナリオの再生すべき再生箇所を検出する。具体的には、再生箇所検出部１５は、指差動作検出部３２が検知した指差動作、又は音声認識部３１が入力した音声を認識して文字列化した文字列、又は視点検知部３０が検知した視点の位置等について、訓練者が正しい動作を行ったと評価されなかった対象物等の部分の運転シナリオを検出する。

また、再生箇所検出部１５は、検出した運転シナリオの再生すべき再生箇所を、シナリオ再生部１７に出力する。シナリオ再生部１７は、再生箇所検出部１５により検出された運転シナリオの再生すべき再生箇所が入力された場合には、再生すべき運転シナリオの部分を表示部４０に出力する。

視点再生部１６は、訓練者の視点の位置が、ディスプレイ４０ａ内に含まれている場合には、訓練者の視点の位置をディスプレイ４０ａ上に模擬視界映像と共に表示しても良い。また、指差動作検出部３２が訓練者の指差す方向を検知する場合には、視点再生部１６は、訓練者の指差すディスプレイ４０ａ上の位置を、模擬視界映像と共にディスプレイ４０ａ上に表示しても良い。

更に、視点再生部１６は、再生箇所検出部１５により検出された運転シナリオの再生すべき再生箇所が入力された場合には、再生箇所検出部１５から入力される訓練者の視点の位置を、表示部４０に出力しても良い。

上述した鉄道シミュレータ１０の各機能ブロックの内、図１の鎖線で囲まれた機能の部分は、シミュレータ本体１０ａとして表され得る。シミュレータ本体１０ａは、図４に示すように、演算部６０と、記憶部６１と、表示部６２と、入力部６３と、出力部６４と、通信部６５とを有する。

演算部６０は、記憶部６１に記憶された所定のプログラムを実行することにより、上述した鉄道シミュレータ１０の鎖線で囲まれた各機能を実現する。

シミュレータ本体１０ａは、例えば、一台又は複数台のサーバ又はパーソナルコンピュータ若しくはステートマシン等のコンピュータを用いて形成され得る。シミュレータ本体１０ａが複数のコンピュータ等を用いて形成される場合には、互いに同期する手段を有することが好ましい。

また、シミュレータ本体１０ａの全ての機能又は一部の機能を、電子回路等のハードウェアを用いて形成しても良い。

次に、指差動作検出部３２の構成および処理について説明する。
図５は、指差動作検出部３２を説明する図であり、（Ａ）が鉄道シミュレータにおいて指差動作検出部３２により物体が検出される視野を示し、（Ｂ）が指差動作検出部３２により撮像された画像の例を模式的に示す。

後述するように、指差動作検出部３２は、訓練者の腕の動きを光学的に検出する検出器７０と、検出器７０の検出データから、訓練者の腕および指先を識別する識別部８０と、を有する。

図５の（Ａ）に示すように、検出器７０は、運転席５４および操作盤５１の上部に配置され、破線で示す視野内の各部の検出器からの距離、すなわち高さを検出し、視野内の各部までの距離データを含む距離画像として出力する。なお、図５の（Ａ）では、検出器７０の撮像の軸は床に対して垂直であるが、ある程度の角度範囲が許容されるのは言うまでもない。

運転席５４および操作盤５１の上部、すなわち鉄道シミュレータの天井は、訓練者が気にかけない空間であり、天井が高くても、実際の環境と差異を生じることはなく、通常は計器類も配置されない。そこで、実施形態の鉄道シミュレータでは、運転席５４および操作盤５１の上部に指差動作検出部３２の検出器７０を配置し、運転席５４に着座した訓練者Ｐおよび操作盤５１が検出器７０の視野内に入るようにする。図５の（Ａ）では、訓練者Ｐの頭部Ｈ、操作盤５１および操作盤５１上に位置する訓練者Ｐの右腕Ｒおよび左腕Ｌが、検出器７０の視野内に入っている。この状態は、運転手が実際に鉄道車両を運転する環境を再現しているといえる。

図５の（Ａ）の配置で、検出器７０が撮像した視野内の画像は、例えば図５の（Ｂ）のように、訓練者Ｐの頭部Ｈ、右腕Ｒ、左腕Ｌおよび操作盤５１を含む。なお、実際の画像には他の部分も含まれるが、図５の（Ｂ）では説明を簡略にするために関係する部分のみを示しており、これは他の図でも同じである。

鉄道シミュレータでは、訓練中には、訓練者は運転席に着座して、左手Ｌで運転席の前の操作盤５１に設けられたマスターコントローラ（操作レバー）５２を常時握り、右手で計器類を操作すると共に指差動作する。そのため、右腕Ｒおよび右手ＲＨと左腕Ｌおよび左手ＬＨは、操作盤５１の上の限られた範囲に位置しており、かならず検出器７０の視野内に入る。しかも、検出器７０は上部に配置されるため、図５の（Ｂ）に示すように、右腕Ｒおよび右手ＲＨと左腕Ｌおよび左手ＬＨが重なることは少なく、重なる場合でも、右手ＲＨが左手ＬＨに重なるだけである。したがって、検出器７０が撮像した画像において、右腕Ｒおよび右手ＲＨと左腕Ｌおよび左手ＬＨを容易に識別が容易できる。

図６は、実施形態で使用する検出器７０の外観および検出原理を示す図であり、（Ａ）が正面の図であり、（Ｂ）が検出原理を示す。実際の配置では、正面が下向きに配置される。
図６の（Ａ）に示すように、検出器７０は、視野内の画像を生成する可視光カメラ７１と、所定の赤外線パターンを投影するパターン投影器７２と、投影された赤外線パターンを検出する赤外線カメラ７３と、を有する。

図６の（Ｂ）に示すように、パターン投影器７２は、２次元で規則的に配置されるドット７６を含む赤外線パターンを視野７５内に投影する。このパターンは赤外線であり、訓練者Ｐは認知できない。赤外線パターンが投影された部分（視野）が平面であれば、赤外線パターンのドット７６は規則的に配置され、赤外線カメラ７３が撮像した赤外線画像でも、ドット７６は規則的に配置される。しかし、視野に凹凸がある場合、投影されたドット７６の配列は歪むことになり、赤外線カメラ７３が撮像した赤外線画像でも、ドット７６の配列が歪むことになる。このドット７６の配列の歪から、三角測量の原理で、視野内の凹凸、すなわち距離を検出することができる。図６に示した検出器７０の原理は広く知られており、これ以上の説明は省略する。距離の算出は、図示していないコンピュータにより実現される距離算出部が行う。言い換えれば、パターン投影器７２、赤外線カメラ７３および距離算出部は、距離センサを形成する。距離センサは、視野内の各部までの距離データを含む距離画像を生成する。

可視光カメラ７１は、図５の（Ｂ）に示すような視野内の可視光画像を生成する。なお、可視光カメラ７１は、訓練者の動作を別途確認するためのものであり、指先動作の検出には直接関係ないので、設けなくてもよい。
検出器７０は、距離センサの生成した距離画像を出力する。
なお、検出器７０は、図６に示したものに限定されず、視野内の画像および距離データを検出できるものであればよく、例えばステレオ視システムを利用して実現することも可能である。

指差動作検出部３２は、上記の検出器７０と、検出器７０の出力する距離画像から、訓練者の腕および指先を識別する識別部８０と、を有する。
識別部８０は、図４に示すようなコンピュータシステムで実現され、検出器７０の出力する距離画像から、指差動作時の右腕Ｒ、右手ＲＨおよび指先ＲＦの動きを検出する。なお、識別部８０は、評価部１２の一部として実現することも可能である。

図７は、コンピュータシステムにより識別部８０内に実現される機能ブロックを示す図である。
識別部８０は、視点変換部８１と、背景除去部８２と、輪郭抽出部８３と、右腕識別部８４と、指先識別部８５と、動作判定部８６と、を有する。

視点変換部８１は、可視光カメラ７１、パターン投影器７２および赤外線カメラ７３を含む検出器７０の位置姿勢情報を用いて、距離画像を仮想的に真上（軸が床に対して垂直）から見た画像に変換する。なお、視点変換部８１は、検出器７０が真上から見た距離画像を出力するように配置された場合には、不要である。

背景除去部８２は、操作盤５１より下の距離にある画像部分を取り除く処理を行う。前述のように、識別する対象は右腕Ｒ、右手ＲＨおよびその指先であり、これらは少なくとも指差動作を行う時には必ず操作盤５１より上に位置するので、操作盤５１より下の部分が処理対象でないことが明らかであるので除去する。このように処理範囲を限定することにより、画像処理に要する時間を短縮できる。

輪郭抽出部８３は、背景を除去した距離画像において、画像処理によりエッジ検出を行い、画像内の連続した部分の輪郭を抽出し、右腕Ｒ、右手ＲＨおよび左腕Ｌや物体同士の重なりを判定する。

右腕識別部８４は、ラベリング処理により、運転席５４の中心位置に対して右側（前方を向いて）にある最も長い物体を右腕Ｒとして識別する。

指先識別部８５は、右腕識別部８４が右腕Ｒとして識別した物体の前側の端点を、指差動作時の指先として検出する。

動作判定部８６は、時系列で、右腕識別部８４が右腕Ｒとして識別した物体の差分を検出し、右腕Ｒが動いている状態から静止状態になったかを判定する。具体的には、右腕Ｒの前側部分（右手ＲＨおよび指先ＲＦ）が前進し、静止した時が、指差動作である。

図８は、識別部８０の処理を示すフローチャートである。
また、図９から図１１は、図８の処理に伴う距離画像の変化を示す図である。
図８から図１１を参照して、識別部８０の処理を説明する。

ステップＳ１０１では、視点変換を行う。この処理は、検出器７０の位置姿勢情報を用いて、距離画像を仮想的に真上から見た画像に変換する。この処理は、通常の線形変換で行われる。なお、前述のように、検出器７０が真上から見た距離画像を出力するように配置された場合には、視点変換は不要である。

図９の（Ａ）は、真上から見た距離画像の例を示し、薄い部分ほど低く（遠く）、濃い部分ほど高い（近い）。例えば、訓練者Ｐの頭部Ｈ、訓練者Ｐの肩部および右腕Ｒ、左腕Ｌ、操作盤５１、床９０の順で低く（遠く）なり、この順で濃淡が薄くなる。なお、運転席５４および操作盤５１の位置は固定であり、運転席５４および操作盤５１に対応する範囲（同じ範囲でなくても可）９０および９２があらかじめ指定されている。

ステップＳ１０２では、背景を除去する。具体的には、前述のように、操作盤５１より下の距離にある画像部分（ここでは操作盤５１も）を取り除く処理を行う。図９の（Ｂ）は、背景除去した距離画像を示し、訓練者Ｐの頭部Ｈ、訓練者Ｐの肩部、右腕Ｒ、右手ＲＨ、右手の指先ＲＦおよび左腕Ｌの部分が残る。

ステップＳ１０３では、背景除去した距離画像内の輪郭抽出を行い、さらに物体同士の重なりを判定する。
図１０の（Ａ）は、抽出した輪郭を示し、訓練者Ｐの頭部Ｈと、訓練者Ｐの右側の肩部から右腕Ｒ、右手ＲＨおよび指先ＲＦまでの部分が一体に抽出され、訓練者Ｐの左側の肩部から左腕Ｌまでの部分が一体に抽出される。左腕Ｌに重なった右腕Ｒ（右手ＲＨ）の部分は、測定部７０までの距離が近いこと、すなわち上側であるとの距離データから判別する。

ステップＳ１０４では、右手ＲＨおよび指先ＲＦを含む右腕Ｒを識別する。この処理は、運転席５４に着座した訓練者Ｐをラベリング処理して輪郭をくりぬき、その中心（左右線）で分断することで左右半身に分離する。そして、右側部分にある最も長い物体（ラベル）が右腕Ｒであり、頭部Ｈよりは低いことから切れ目があり、左側の部分（胸部）よりは上であることから切れ目があり、上下関係に基づいて右腕Ｒの部分を判別する。

図１０の（Ｂ）は、分離した右腕Ｒ（右手ＲＨおよび指先ＲＦを含む）と、頭部Ｈと、左腕Ｌと、を示す。
また、図１１の（Ａ）は、右腕Ｒ（右手ＲＨおよび指先ＲＦを含む）として識別部分のみを示す。

ステップＳ１０５では、指差動作時に右手ＲＨから前方に伸びる指先ＲＦを識別する。この処理は、図１１の（Ａ）の右腕Ｒのみに着目し、その前方に伸びる端部を検出する。そして、その付近の距離データから、端部を仮想的に側方から見た状態に変換する。図１１の（Ｂ）はこの変換した指先ＲＦの画像を示す。この状態で、指先ＲＦの端部Ｔの高さと指先ＲＦの長さを算出する。さらに、指先ＲＦの方向を、図１１の（Ａ）と（Ｂ）から３次元的に求める。

ステップＳ１０６では、現在と過去のフレームにおける右腕Ｒ（右手ＲＨおよび指先ＲＦを含む）の差分を算出することにより、右腕Ｒの動き検出する。そして、右腕Ｒの前側部分（右手ＲＨおよび指先ＲＦ）が前進し、静止した時が、指差動作であると判定し、その時の静止時間、指先ＲＦの端部Ｔの高さ、指先ＲＦの長さおよび方向を評価部１２に出力する。

以上のようにして、指差動作検出部３２は、実際の鉄道車両に近い環境で、実際に近い形で行う指差動作における指先ＲＦの端部Ｔの高さ、指先ＲＦの長さおよび方向を検出する。

評価部１２は、指差動作のタイミングがシナリオの進行に対して規定時間内に行われたか、指先ＲＦの端部Ｔの高さおよび長さが規定の範囲内であるか、を評価する。さらに、評価部１２は、指先ＲＦの方向がディスプレイに表示する画像の方向に合致するかも評価する。

以上説明したように、実施形態の鉄道シミュレータでは、実際の鉄道車両に近い環境で、訓練者に実際に近い形で指差動作を行わせ、訓練者が行った指差動作を精密に評価することが可能になる。

１０ 鉄道シミュレータ
１０ａ シミュレータ本体
１１ 初期化部
１２ 評価部
１７ シナリオ再生部
３０ 視点検知部
３１ 音声認識部
３２ 指差動作検出部
４０ 表示部
４０ａ ディスプレイ
４１ 操作入力部
５０ 計器盤
５１ 操作盤
５２ マスターコントーラ
５４ 運転席
Ｐ 訓練者
Ｒ 右腕
６０ 演算部
６１ 記憶部
６２ 表示部
６３ 入力部
６４ 出力部
６５ 通信部
７０ 検出器
８０ 識別部

Claims (6)

1. 鉄道車両の模擬運転をシミュレートする鉄道シミュレータであって、
   運転席と、
   前記運転席の前に設けられ、上面に訓練者が操作する機器が設けられた操作盤と、
   前記運転席に着座した前記訓練者の指差動作を検出する指差動作検出部と、
   シミュレートする鉄道車両の模擬運転を、運転シナリオに基づいて行う場合に、前記指差動作検出部が検出した前記訓練者の指差動作を、前記運転シナリオに対応して評価する評価部と、
   を備え、
   前記指差動作検出部は、
   前記運転席および前記操作盤の上部に設けられ、前記訓練者の腕の動きを光学的に検出する検出手段と、
   前記検出手段の検出データから、前記訓練者の腕および指先を識別する識別手段と、
   を備え、
   前記評価部は、シミュレートする鉄道車両の模擬運転状況に応じて、前記訓練者の指差動作を評価する評価基準を変更し、
   前記評価基準は、前記評価部が評価を開始する、鉄道車両の位置と前記訓練者の指差動作が向けられる対象物との間の距離である開始距離か、又は、前記訓練者の指差動作の有無を判断する移動量である、ことを特徴とする鉄道シミュレータ。
2. 前記検出手段は、視野内の各部までの距離を検出する距離センサ、を備え、
   前記距離センサは、
   所定の赤外線パターンを投影するパターン投影手段と、
   投影された前記赤外線パターンを検出する赤外線カメラと、
   前記赤外線カメラの検出した前記赤外線パターンの変形具合から、距離を算出する距離算出手段と、を備え、
   前記検出手段は、視野内の各部までの距離データを含む距離画像を出力する請求項１に記載の鉄道シミュレータ。
3. 前記検出手段は、視野内の各部までの距離データを含む距離画像を出力するステレオ視システムを備える請求項１に記載の鉄道シミュレータ。
4. 前記識別手段は、
   前記距離データに基づいて、前記操作盤より下の部分を背景として前記距離画像から除去する背景除去部と、
   背景除去した距離画像において輪郭を抽出する輪郭抽出部と、
   抽出した輪郭の位置関係および前記距離データに基づいて、右腕を検出する右腕検出部と、
   検出した右腕の位置関係および前記距離データに基づいて、右手の指先を検出する指先検出部と、
   検出した右腕および指先の画像の時間変化から、右腕および右手の指先の動きおよび静止したかを判定する動体判定部と、を備える請求項２または３に記載の鉄道シミュレータ。
5. 運転席と、前記運転席の前に設けられ、上面に訓練者が操作する機器が設けられた操作盤と、を備えた鉄道車両の模擬運転を、運転シナリオに基づいてシミュレートする鉄道シミュレーション方法であって、
   運転席に着座した訓練者に対し、前記運転シナリオに基づいた情報を提供し、
   前記訓練者が行う指差動作を検出し、
   検出した前記訓練者の指差動作を、前記運転シナリオに対応してシミュレートされる鉄道車両の模擬運転状況に応じて変更される評価基準に基づいて、評価し、
   前記指差動作の検出は、
   前記運転席および前記操作盤の上部から、前記運転席に着座した前記訓練者および前記操作盤を含む視野内の各部までの距離データを含む距離画像を生成し、
   生成した距離画像に基づいて、前記操作盤より下の部分を背景として前記距離画像から除去し、
   背景除去した距離画像において、所定の位置関係および検出した距離に基づいて、画像処理により、行われ、
   前記評価基準は、前記評価部が評価を開始する、鉄道車両の位置と前記訓練者の指差動作が向けられる対象物との間の距離である開始距離か、又は、前記訓練者の指差動作の有無を判断する移動量である、ことを特徴とする鉄道シミュレーション方法。
6. 背景除去した距離画像における前記訓練者の指差動作の検出は、
   背景除去した距離画像において輪郭を抽出し、
   抽出した輪郭の位置関係および前記距離データに基づいて、右腕を検出し、
   検出した右腕の位置関係および前記距離データに基づいて、右手の指先を検出し、
   検出した右腕および指先の画像の時間変化から、右腕および右手の指先の動きおよび静止したかを判定する、請求項５に記載の鉄道シミュレーション方法。

Images