JP6944793B2 - 運転支援システムおよび運転支援方法並びに運転支援プログラム - Google Patents

Description

本発明は、運転支援システムおよび運転支援方法並びに運転支援プログラムに関する。
更に詳しくは、例えば、運転操作の安全性判定機能を有するサーバ（コンピュータ）を備え、鉄道の運転士やバスの運転手（以下、総称して運転者と称する）の声、および／または周囲の音や鉄道やバスの設備の異常音などを認識して音声認識情報を出力する音声認識機能、運転者の身振り手振りなどの仕草・動作(ジェスチャ)を認識、解析してモーションパターン解析結果情報を出力するモーションジェスチャ機能、そのときの操作対象機器の状態を示す情報を含む各情報の組合せを利用し、運転者の運転操作内容、つまり、安全運転操作をしているか否か（非安全運転操作）を判定し、その結果を示す情報を出力し、当該結果を示す情報により、例えば、運転者の運転操作ミスを減少、改善し、運転操作の正確性を向上させ、安全運転を支援するシステム、方法、プログラムに関する。

車両の安全運転を支援する技術として、例えば、特開２０１４−９２８０４号公報（特許文献１）に記載の技術がある。この公報には、「判定期間における車両での運転操作が理想的であるか否かを判定するための判定情報を取得し、前記判定情報に基づいて、前記判定期間中の案内タイミングにおける前記車両の運転操作が理想的であるか否かを判定し、前記案内タイミングにおける前記車両の運転操作が理想的である場合、前記案内タイミングにおいて運転操作が理想的であることを示す案内を行う」という記載がある（要約書参照）。

特開２０１４−９２８０４号公報

上記従来技術は、例えば、車速の理想的な加速曲線と実速度を対比し、その結果をもって、操作者へ車速に対する運転操作の注意を促す運転支援システムである。係る技術によれば、「運転操作を継続的に理想的な状態とするための指針を提供する」ことが可能である。しかし、鉄道やバスなどの車両を運転する際に操作する操作対象機器などを含む機械の操作には直接に関わりない運転者の声や仕草・動きまで判断して、運転操作の安全性に対する注意を促すことまでは考慮されていない。故に、運転操作者が異常系の操作をしていないかどうか、正常系の動作を正しく操作しているかどうかなどの確認をすることまではできなかった。

そこで、本発明では、機械の操作には直接に関わりない運転者の掛け声や運転者の仕草・動きなども安全運転の支援に役立つことに着目し、運転者が異常系の操作をしていないかどうか、正常系の動作を正しく操作しているかどうかの確認を可能とし、よりきめ細かな安全運転支援を可能とすることを目的とする。

上記課題を解決するために、本発明は、例えば、運転者の声を含む音声情報や身振り手振りなどの仕草・動作（ジェスチャ）のモーションを含む映像情報、操作対象機器の状態を示す情報、の各情報を収集・認識・解析し、その結果と予め安全性判定用情報として、データベースなどの記録手段に登録（蓄積）された運転者の音声認識情報、モーションパターン解析結果情報、操作対象機器の状態を示す情報と比較し、当該情報の比較結果から運転者が異常系の操作をしていないかどうか、正常系の動作を正しく操作しているかどうかの安全性確認、判定し、その結果を示す情報を出力する機能を有する手段を備えたものである。

本発明の代表的な運転支援システム、方法、プログラムの一つは、
移動体の運転席側にある通信端末から運転操作対象機器の機器状態を示す情報および当該運転操作対象機器の運転者の音声情報、映像情報を、ネットワークを介して受信するサーバを備えた運転支援システムであって、
前記音声情報、前記映像情報、前記操作対象機器の状態を示す情報を取得する情報取得手段と、
前記情報取得手段にて取得した音声情報を認識し、音声認識情報を出力する音声認識手段と、
前記情報取得手段にて取得した映像情報を解析し、運転者のモーション解析結果情報を出力するモーション解析手段と、
予め比較用情報として、音声認識情報、モーションパターン解析結果情報、対象機器の状態を示す情報、判定結果を示す情報、を登録する記憶手段と、
前記音声認識手段の音声認識情報、前記モーション解析手段のモーションパターン解析結果情報、前記データ取得手段の操作対象機器の状態を示す情報を利用して、前記操作対象機器を操作する利用者の操作が安全か否かの安全性を判定し、当該判定の結果を示す情報を出力する安全性判定処理手段と、
を備え、
前記安全性判定処理手段は、
前記データ取得手段における操作対象機器の状態を示す情報と前記音声認識手段における音声認識情報、前記モーション解析手段におけるモーションパターン解析結果情報を入力情報とし、当該入力情報を前記記憶手段に予め比較用情報として登録された操作対象機器の状態を示す情報、音声認識情報、モーションパターン解析結果情報と比較し、
当該比較の比較結果から、前記記憶手段における操作対象機器の状態を示す情報、音声認識情報、前記モーションパターン解析結果情報に対応して登録された判定結果を示す情報を出力する
ことを特徴とする。

本発明によれば、運転者が異常系の操作をしていないかどうか、正常系の動作を正しく操作しているかどうかの確認が可能であり、より良い安全運転支援を可能となる。

例えば、以下に記載するような効果を期待することができる。
（１）鉄道の運転士やバスの運転手の声と動きが連動した操作内容まで判定し、安全性を判断すること、
（２）声だけ、身振り手振りだけというような基本動作の欠如により安全性が低下している状態を検知すること
などをもって、安全か非安全（発声不足、発声不明瞭、指差し認識不足、指差し過剰など）、を含むきめ細かな結果を安全運転に反映することができる。
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

図１は本発明における運転支援システムの全体構成図である。 図２は本発明における音声認識処理のフローチャートである。 図３は本発明におけるモーション解析ソフトのフローチャートである。 図４は本発明における安全性判定処理のフローチャートである。 図５は本発明における運転支援システムの実施形態例である。 図６は図５におけるデータベースのデータ構成例を示す図である。

以下、図面を参照しながら、本発明を実施するための形態を詳細に説明する。

図１は、本発明における運転支援システムの全体構成図である。
運転支援システムは、例えば、鉄道やバスなどの移動体の運転席に設置された音声集音器Ｍ１を含み、運転者Ｕ１（利用者）の声を集音し、音声情報を出力する機能を有する音声集音装置Ｍ、身振り手振り感知器Ｃ１を含み、運転者Ｕ１（利用者）の仕草や動きなどを感知し、運転者のモーション情報を出力する機能を有する身振り手振り感知装置Ｃ、運転操作時に操作対象となる操作対象機器Ａ１、操作対象機器Ａ１の機器状態を示す情報、例えば、現状が「出発時」か「走行時」を示す情報を取得する機能を有する機器状態情報取得部Ｌ１、通信機能を有する通信端末Ｔ１、安全性判定機能を有する安全性判定サーバＳ１、ネットワークＮ１、を有する。

音声集音装置Ｍの音声集音器Ｍ１は、例えば、鉄道の運転士やバスの運転手、同乗者（含指導者、添乗者など）が発する声（掛け声）を集音する機能を有する少なくとも１台以上のマイクなどからなる。本例では、運転士、運転手や同乗者の声のみを衆本するものであるが、声以外、例えば、パンタグラフ、線路、車両などの鉄道設備の異常音などを検出するものであっても良い。

感知装置の身振り手振り感知器Ｃ１は、例えば、運転者を撮影する１台以上のモーションセンサやビデオカメラ（以下、カメラと称する）、当該カメラにて撮影した映像（含画像）情報により、運転者の仕草・動き（直感的動作など）、例えば、口の動きや目の視線、身振り手振りなどの動作（ジェスチャ）を感知する機能を有する仕草感知部などからなる。

仕草感知部は、感知した仕草を分析する仕草分析機能を有し、例えば、既存のポスチャ・ジェスチャ認識機能や顔認識機能を有した技術により構成される。ポスチャ・ジェスチャ認識技術や顔認識機能を有した技術は既に公知である。例えば、人の仕草・動線の認識技術については特開２００４−３０３０１４号公報に記載されており、その詳細説明は省略する。ポスチャ・ジェスチャ認識技術手段を利用すれば、複数の人を識別し、複数の仕草を分析できる。

操作対象機器Ａ１は、操作者が操作する対象機器を含む機械である。例えば、運転操作に直接関係するハンドル、ブレーキや運転操作に直接関係しないが、必要とされる例えば、制御機器や計測器などである。

機器状態情報取得部Ｌ１は、操作対象機器Ａ１に接続、または埋め込まれ、操作対象機器Ａ１の状態を電気信号に変換（文字化）し、通信端末Ｔ１に送信する機能を有する。

操作対象機器Ａ１の機器状態とは、例えば、操作対象機器が走行中（走行時）、停止中（出発時）、閉塞進行、中継進行、などを示す情報であり、鉄道の主管制御機器の操作状態、バスのハンドルの状態などを示す情報（データ）である。

なお、機器状態情報取得部Ｌ１と通信端末Ｔ１の間は有線接続または無線接続のどちらでも良い。また、本例では、通信端末Ｔ１から独立した機器として記載しているが、機器状態情報取得部Ｌ１は、操作対象機器Ａ１の状態が取得できるのであれば、通信端末Ｔ１の内部に実装されていても良い。

通信端末Ｔ１は、音声集音器Ｍ１、身振り手振り感知器Ｃ１の仕草感知部、機器状態情報取得部Ｌ１の各部にて収集、感知、取得した各情報（データ）を受け、ネットワークＮ１を介して安全性判定サーバＳ１に送信し、また、安全性判定サーバＳ１側から送信される安全性の判定結果を示す情報、例えば、「発声不足」、「発声不明瞭」、「安全」、「指差し確認不足」、「指差し過剰」、「なし」などを示す文字列の情報を受信し、当該情報を表示部に表示する機能を有する。

安全性判定サーバＳ１は、例えば、コンピュータからなり、通信端末Ｔ１から送信された音声情報（音声データ）、仕草感知情報（映像データ）、対象機器の機器状態を示す情報（出発時／走行時）などの各情報（データ）を受信し、また、判定結果を示す情報を送信する機能を有する通信部を含む通信装置ＴＲ、音声認識ソフトウェアを格納した音声認識ソフトウェア部Ｐ１、モーション解析ソフトウェアを格納したモーション解析ソフトウェア部Ｐ２、安全性の判定する機能を有する安全性判定処理部Ｐ３、を含む演算装置Ｐ、予め比較用として使用される、各情報を登録するデータベース（ＤＢ）Ｄ１、含む記憶装置Ｄを有する。
通信装置ＴＲ、演算装置Ｐ（音声認識ソフトウェア部Ｐ１、モーション解析ソフトウェア部Ｐ２、安全性判定処理部Ｐ３）、記憶装置Ｄはコンピュータシステムを構成する。

データベースＤ１に登録される各情報とは、安全性判定処理部Ｐ３にて、安全性の判定する際に利用される比較用の音声認識情報（例えば、音声認識文字列や音素）、モーションパターン解析結果情報（例えば、モーションパターン列／モーション解析結果文字列）、対象機器の機器状態（出発時／走行時）を示す情報（データ）である。また、各情報の組合せから如何なる判定結果であるかを示す情報（例えば、安全、発声不足、など）である（図６参照）。

音声認識ソフトウェア部Ｐ１の音声認識ソフトウェアは、通信端末Ｔ１からネットワークＮ１を介して送信された音声データを入力値として音声認識し、そのときの音声を音声認識結果である音声認識情報として出力する。
例えば、認識した音声データを文字変換（文字化）し、音声認識文字列を生成し、音声認識文字列（音声認識情報）を音声認識結果として出力する。この音声認識結果の音声認識文字列は、安全性判定処理部Ｐ３へ入力する値とする。音声認識ソフトウェアによる処理手順は後述する。

モーション解析ソフトウェア部Ｐ２のモーション解析ソフトウェアは、通信端末Ｔ１からネットワークＮ１を介して送信された映像データを入力値としてモーション解析し、そのときのモーションをモーション解析結果であるモーションパターン解析結果情報として出力する。
例えば、運転者の仕草や動きを分析し、これを文字情報として変換（文字化）し、モーションパターン解析結果文字列を生成し、モーション解析結果文字列をモーション解析結果として出力する。このモーション解析結果のモーションパターン解析結果文字列は、安全性判定処理部Ｐ３へ入力する値とする。モーション解析ソフトウェアによる処理手順は後述する。

安全性判定処理部Ｐ３は、音声認識ソフトウェアにおける音声認識結果（例えば、音声認識文字列）、モーション解析ソフトウェアにおけるモーションパターン解析結果（例えば、モーション解析結果文字列）、および通信端末Ｔ１からネットワークＮ１を介して送信された操作対象機器Ａ１の機器状態（例えば、文字列）、を入力値（入力情報）とし、データベースＤ１を検索し、当該データベースに登録された各情報と比較し、その比較結果をもって、運転者による運転操作の安全性の適否、例えば、「安全、非安全（発声不足、発声不明瞭、指差し確認不足、指差し過剰）」、などを判定し、その判定結果を示す情報（例えば、文字列）を出力する動作を行う。
すなわち、安全性判定処理部Ｐ３は、音声認識ソフトウェア部Ｐ１やモーション解析ソフトウェア部Ｐ２、などの結果を、予め記憶装置ＤのデータベースＤ１に登録した音声認識文字列、モーションパターン解析結果文字列、操作対象機器の状態を示す文字列と比較し、当該比較した結果、データベースＤ１に合致する文字列があれば、当該文字列に対応して登録された判定結果の文字列を抽出する機能を有する。
安全性判定処理は、演算装置Ｐの内部に格納されたプログラムに従って行う。安全性判定結果は、通信装置を介して通信端末Ｔ１に送信し、運転者側に通知（通報）する。安全性の判定結果は、必要なときに読出し、確認できるように記憶装置Ｄに登録しても良い。安全性判定処理部Ｐ３における処理手順は後述する。

記憶装置ＤのデータベースＤ１は、例えば、前記音声認識手段における音声認識結果（音声認識文字）と比較するための音声認識文字列、前記モーション解析手段におけるモーション解析結果（モーションパターン解析結果文字列）と比較するためのモーションパターン解析結果文字列、当該音声認識文字列およびモーションパターン解析結果文字列に対応する判定結果の文字列、を時系列に登録した一連のデータ（図６参照）が格納されている。そして、安全性判定処理部Ｐ３にて判定処理されるとき、安全性判定処理部Ｐ３からの要求に応じて検索され、また、その結果を出力する。例えば、音声認識文字列が「なし」で、モーション文字列が「右前腕：胴体側、右上腕：水平」で、機器の状態が「出発時」の場合は、その判定結果として、「発声不足」の結果を出力する。

図２は音声認識ソフトウェア（Ｐ１）のフローチャートである。図２のフローチャートに基づく動作は以下のとおりである。

まず、ステップＳ２０１にて、通信端末Ｔ１からネットワークＮ１を介して送信された音声データを入力値として取得する。

次に、ステップＳ２０１による音声認識処理により取得した音声データをステップＳ２０２にて音声認識処理する。

ステップＳ２０３にて、音声出力処理し、その音声認識結果として音声認識情報（音声認識文字列）を安全性判定処理部Ｐ３へ入力する出力値として出力する。

ステップＳ２０１〜Ｓ２０３の一連の処理が終わった後、ステップＳ２０４にて、後続の音声データの入力があるか判定する。
ここで、後続の音声データの入力がある場合（ＹＥＳ）、ステップＳ２０１の音声データを取得する処理に戻る。
後続の音声データの入力がない場合（ＮＯ）、音声認識ソフトウェア（Ｐ１）の処理を終了する。

音声認識ソフトウェア（Ｐ１）の処理内容は一般的に存在する音声認識システムの仕組みを使用して構わない。

図３はモーション解析ソフトウェア（Ｐ２）のフローチャートである。図３のフローチャートに基づく動作は以下のとおりである。

まず、ステップＳ３０１にて、通信端末Ｔ１からネットワークＮ１を介して送信された映像データを入力値として取得する。

次に、ステップＳ３０１のモーション解析処理により取得した映像データをステップＳ３０２にてモーション解析処理する。

ステップＳ３０３にて、モーション出力処理し、その結果をモーションパターン解析結果（モーションパターン解析結果文字列）として、安全性判定処理部（Ｐ３）へ入力する出力値として出力する。

ステップＳ３０１〜Ｓ３０３の一連の処理が終わった後、ステップＳ３０４にて、後続の映像データの入力があるか判定する。
ここで、後続の映像データの入力がある場合（ＹＥＳ）、ステップＳ３０１の映像データ取得処理に戻る。
後続の映像データの入力がない場合（ＮＯ）、モーション解析ソフトウェア（Ｐ２）の処理を終了する。

モーション解析ソフトウェア（Ｐ２）の処理内容は一般的に存在するモーション解析システムの仕組みを使用して構わない。

図４は安全性判定処理部（Ｐ３）のフローチャートである。図４のフローチャートに基づく動作は以下のとおりである。

まず、ステップＳ４０１にて、音声認識ソフトウェア（Ｐ１）からの音声認識結果である音声認識情報（音声認識文字列）を入力値として取得する。

次に、ステップＳ４０２にて、モーション解析ソフトウェア（Ｐ２）からモーションパターン解析結果であるモーションパターン解析結果情報（モーションパターン解析結果文字列）を入力値として取得する。

その後、ステップＳ４０３にて、通信端末Ｔ１からネットワークＮ１を介して送信された操作対象機器Ａ１の機器状態（出発時または走行時）を示す情報を入力値として取得する。

各入力値が揃ったら、ステップＳ４０４にて、音声認識結果、モーションパターン解析結果、操作対象機器Ａ１の機器状態、を示す情報を引数にデータベースＤ１のテーブル６０に予め登録した比較用の登録情報と照合／比較する。

次に、ステップＳ４０５にて、データベースＤ１から照合／比較に対応する判定結果を取得し、当該判定結果を示す情報（発声不足、発声不明瞭、安全、指差し認識不足、指差し認識過剰、の何れか）を出力する。この安全性の判定結果は、通信装置ＴＲを介して通信端末Ｔ１へ送信される。これにより、運転者側では、運転操作の安全性についての注意点を知ることができる。

ステップＳ４０１〜Ｓ４０５の一連の処理が終わった後、ステップＳ４０６にて、後続の判定処理があるか判定する。
ここで、後続の判定処理がある場合（ＹＥＳ）、ステップＳ４０１の音声認識結果取得処理に戻る。後続の判定処理がない場合（ＮＯ）、安全性判定処理部（Ｐ３）の処理を終了する。

図５は本発明における実施形態の一例を説明する図である。
図５では、操作対象機器Ａ１の機器状態を示す情報が「出発時」と仮定して、入力５０１の値として運転者（Ｕ１〜Ｕ４）による４パターンの発声内容（「出発進行」、「発声なし」、「出発進行」、「あいうえお」）と、そのときの音声認識処理５０２、モーション解析処理５０３、安全性判定処理５０４、の例を示している。

音声認識ソフトウェア（Ｐ１）で処理した音声認識文字列は、
例えば、図５のように、
「出発進行」を認識、「認識音声なし」、「出発進行」を認識、「あいうえお」を認識、を示している。

モーション解析ソフトウェア（Ｐ２）で処理したモーションパターン解析結果文字列は、例えば、図５に示すように、
モーションパターン１の『右前腕：胴体側、右上腕：水平』からモーションパターン２の『右前腕：水平、右上腕：水平』に変化し、
モーションパターン１の『右前腕：胴体側、右上腕：水平』からモーションパターン２の『右前腕：水平、右上腕：水平』に変化し、
モーションパターン１の『右前腕：水平、右上腕：水平』からモーションパターン２の『右前腕：水平、右上腕：水平』に変化し、
モーションパターン１の『右前腕：胴体側、右上腕：水平』からモーションパターン２の『右前腕：水平、右上腕：水平』に変化したことを示している。

安全性判定処理部Ｐ３で処理した安全性判定結果の文字列は、
例えば、図５に示すように、
音声認識処理およびモーション解析処理に対応する「安全」、「発声不足」、「指差し確認不足」、「発声不明瞭」などを示している。

すなわち、図５における入力５０１に対する安全性判定サーバＳ１の各処理は、以下のとおりであることを示している。
入力５０１が「出発進行」（１パターン目）の場合における
音声認識ソフトウェア部Ｐ１は、音声データの音声データ（出発進行）を受け、その音声データが「出発進行」であるとして認識し、その結果を「出発進行」の文字列として出力し、
モーション解析ソフトウェア部Ｐ２は、運転者の映像データを受け、運転者が「右前腕：胴体側、右上腕：水平」のモーションパターン１から「右前腕：水平、右上腕：水平」のモーションパターン２に移動（変化）したことを認識し、その結果を図示の如く文字列として出力し、
安全性判定処理部Ｐ３は、音声認識ソフトウェア部Ｐ１およびモーション解析ソフトウェア部Ｐ２における各処理結果を受け、運転者による操作が安全であるか否かを判定し、その結果として「安全」である旨の文字列として出力する。

入力５０１が「発声なし」（２パターン目）の場合における
音声認識ソフトウェア部Ｐ１は、音声データの音声データ（発声なし）を受け、その音声データが「音声なし」であるとして認識し、その結果を「認識音声なし」の文字列として出力し、
モーション解析ソフトウェア部Ｐ２は、運転者の映像データを受け、運転者が「右前腕：胴体側、右上腕：水平」のモーションパターン１から「右前腕：水平、右上腕：水平」のモーションパターン２に移動（変化）したことを認識し、その結果を図示の如く文字列として出力し、
安全性判定処理部Ｐ３は、音声認識ソフトウェア部Ｐ１およびモーション解析ソフトウェア部Ｐ２における各処理結果を受け、運転者による操作が安全であるか否かを判定し、その結果として「発声不足」である旨の文字列として出力する。

入力５０１が「出発進行」（３パターン目）の場合における
音声認識ソフトウェア部Ｐ１は、音声データの音声データ（出発進行）を受け、その音声データが「出発進行」であるとして認識し、その結果を「出発進行」の文字列として出力し、
モーション解析ソフトウェア部Ｐ２は、運転者の映像データを受け、運転者が「右前腕：水平、右上腕：水平」のモーションパターン１から「右前腕：水平、右上腕：水平」のモーションパターン２に移動、つまりモーションパターンに変化がないことを認識し、その結果を図示の如く文字列として出力し、
安全性判定処理部Ｐ３は、音声認識ソフトウェア部Ｐ１およびモーション解析ソフトウェア部Ｐ２における各処理結果を受け、運転者による操作が安全であるか否かを判定し、その結果として「指差し認識不足」である旨の文字列として出力する。

入力５０１が「あいうえお」（４パターン目）の場合における
音声認識ソフトウェア部Ｐ１は、音声データの音声データ（あいうえお）を受け、その音声データが「あいうえお」であることを認識し、その結果を「あいうえお」の文字列として出力し、
モーション解析ソフトウェア部Ｐ２は、運転者の映像データを受け、運転者が「右前腕：胴体側、右上腕：水平」のモーションパターン１から「右前腕：水平、右上腕：水平」のモーションパターン２に移動したことを認識し、その結果を図示の如く文字列として出力し、
安全性判定処理部Ｐ３は、音声認識ソフトウェア部Ｐ１およびモーション解析ソフトウェア部Ｐ２における処理結果を受け、運転者による操作が安全であるか否かを判定し、その結果として「発声不明瞭」である旨の文字列として出力する。

図６は、図５におけるデータベースＤ１に登録された登録情報（データ）の構成例を示すテーブル６０である。

図６では、音声認識ソフトウェア（Ｐ１）で処理した音声認識情報（音声認識文字列）と比較するための音声認識情報（音声認識文字列）６０１、モーション解析ソフトウェア（Ｐ２）で処理したモーションパターンを示すモーションパターン解析結果情報（モーションパターン解析結果文字列）と比較するためのモーションパターン解析結果情報（複数のモーションパターン１〜ｎのモーションパターン解析結果文字列）６０２、操作対象機器Ａ１の機器状態の情報（文字列）と比較するための操作対象機器Ａ１の状態を示す情報（文字列）６０３、判定結果を示す情報（文字列）６０４を格納するテーブル６０の例を示している。

音声認識文字列６０１は、例えば、「なし」、「不明」、「出発進行」、「出発注意」、「出発警告」、「第一閉塞進行」、「中継進行」などの文字列であり、

モーションパターン１、２におけるモーションパターン解析結果文字列６０２は、例えば、「右前腕：胴体側、右上腕水平」、「右前腕：水平、右上腕水平」などの文字列であり、

操作対象機器の機器状態を示す文字列６０３は、例えば、「出発時」、「走行時」などの文字列であり、
判定結果を示す文字列６０４は、例えば、「発声不足」、「発声不明瞭」、「安全」、「指差し認識不足」、「なし」、「指差し過剰」などの文字列である。
なお、モーションパターン３〜ｎは、その後、モーションパターンに変化がないことを示している。

図６では、図５の実施形態を簡素に説明するための列構成となっている。
音声認識文字の列は1列であるが、モーションパターン列のそれぞれに対応する音声認識文字の列が含まれていても構わない。同様に、操作対象機器Ａ１の機器状態列は1列であるが、モーションパターン列のそれぞれに属性の列が含まれていても構わない。

以上述べた実施例によれば、声と動きを連動した安全性の向上、声だけ、身振り手振りだけというような基本動作の欠如により安全性が低下している状態を検知することができる。

なお、本発明は上述した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路で設計するなどによりハードウェアで実現しても良い。また、上記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現しても良い。各機能を実現するプログラム、テーブル、情報（データ）は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤなどの記録媒体に置くことができる。

Ｕ１〜Ｕ４・・・運転者／利用者（運転士、運転手、同乗者）
Ｍ・・・・音声集音装置（音声集音手段）
Ｍ１・・・音声集音器（マイク）
Ｃ・・・・身振り手振り感知装置（身振り手振り感知手段）
Ｃ１・・・身振り手振り感知器（モーションセンサ、カメラ）
Ａ・・・・運転操作に関連する機械
Ａ１・・・操作対象機器
Ｌ１・・・機器状態情報取得部
Ｔ１・・・通信端末
Ｎ１・・・ネットワーク
Ｓ１・・・安全性判定サーバ（コンピュータ）
Ｐ・・・・演算装置
Ｐ１・・・音声認識ソフトウェア部（音声認識手段）
Ｐ２・・・モーション解析ソフトウェア部（モーション解析手段）
Ｐ３・・・安全性判定処理部（安全性判定処理手段）
Ｄ・・・・記憶装置（記憶手段）
Ｄ１・・・データベース
ＴＲ・・・通信装置

Claims (5)

1. 移動体の運転席側にある通信端末から運転操作対象機器の機器状態および当該運転操作対象機器の操作者を含む利用者に関する情報を、ネットワークを介して受信するサーバを備えた運転支援システムであって、
   前記サーバは、
   利用者の音声データ、仕草データ、操作対象機器の状態を示すデータを取得するデータ取得手段と、
   前記データ取得手段にて取得した利用者の音声データを認識し、音声認識情報を出力する音声認識手段と、
   前記データ取得手段にて取得した利用者のモーションを示す映像データを解析し、モーション情報を出力するモーション解析手段と、
   予め比較用情報として、音声認識情報、モーション解析情報、対象機器の状態を示す情報、判定結果を示す情報、を登録する記憶手段と、
   前記音声認識手段の音声認識情報、前記モーション解析手段のモーションパターン解析結果情報、前記データ取得手段の操作対象機器の状態を示す情報を利用して、前記操作対象機器を操作する利用者の操作が安全か否かの安全性を判定し、当該判定の結果を示す情報を出力する安全性判定処理手段と、
   を備え、
   前記安全性判定処理手段は、
   前記データ取得手段における操作対象機器の状態を示す情報と前記音声認識手段における音声認識情報、前記モーション解析手段におけるモーションパターン解析結果情報を入力値とし、当該入力値を前記記憶手段に予め比較用情報として登録された操作対象機器の状態を示す情報、音声認識情報、モーションパターン解析結果情報を比較し、
   当該比較の比較結果から、前記記憶手段における操作対象機器の状態を示す情報、音声認識情報、前記モーションパターン解析結果情報に対応する判定結果を示す情報を出力する
   ことを特徴とする運転支援システム。
2. 請求項１に記載された運転支援システムにおいて、
   前記データ取得手段が前記通信端末から送信される、マイクの音声データ、カメラの仕草データ、操作対象機器の状態を示す機器状態文字列のデータを送受信する通信部であり、
   前記記憶手段が予め比較用情報として登録される機器状態文字列、音声認識文字列、モーションパターン解析結果文字列、判定結果を示す文字列を登録するデータベースであり、
   前記音声認識手段が音声認識ソフトウェアを含み、前記音声データを認識し、音声認識文字列を出力する音声認識ソフトウェア部であり、
   前記モーション解析手段がモーション解析ソフトウェアを含み、前記仕草データを解析し、モーションパターン解析結果文字列を出力するモーション解析ソフトウェア部であり、
   前記安全性判定処理手段が前記音声認識ソフトウェア部における音声認識文字列、前記モーション解析ソフトウェア部におけるモーションパターン解析結果文字列、前記通信部における機器状態を示す文字列、および前記データベースにおける音声認識文字列、モーションパターン解析結果文字列、機器状態を示す文字列、を元に前記操作対象機器を操作する利用者の操作が安全か否かの安全性を判定し、判定結果を文字列として出力する安全性判定処理部であり、
   前記判定結果を示す文字列は、安全、発声不足、発声不明瞭、指差し確認不足、指差し確認過剰、などを含み、前記通信部を介して前記通信端末へ送信される
   ことを特徴とする運転支援システム。
3. 移動体の運転席側にある通信端末から運転操作対象機器の機器状態および当該運転操作対象機器の操作者を含む利用者に関する情報から、当該操作対象の機器の操作の安全性を判定するサーバを備えた運転支援システムにおける運転支援方法であって、
   前記サーバは、
   利用者の音声データ、仕草データ、操作対象機器の状態を示すデータを取得するデータ取得ステップと、
   前記データ取得ステップにて取得した利用者の音声データを認識し、音声認識情報を出力する音声認識ステップと、
   前記データ取得ステップにて取得した利用者のモーションを示す映像データを解析し、モーション情報を出力するモーション解析ステップと、
   予め比較用情報として、音声認識情報、モーション解析情報、対象機器の状態を示す情報、判定結果を示す情報、を登録するステップと、
   前記音声認識ステップの音声認識情報、前記モーション解析ステップのモーションパターン解析結果情報、前記データ取得ステップの操作対象機器の状態を示す情報を利用して、前記操作対象機器を操作する利用者の操作が安全か否かの安全性を判定し、当該判定の結果を示す情報を出力する安全性判定処理ステップと、
   を備え、
   前記安全性判定処理ステップは、
   操作対象機器の利用者を含む人の音声を音声データとして取得し、当該音声を認識処理し、認識処理した音声認識情報を音声認識結果として出力するステップと、
   前記操作対象機器の利用者を含む人の映像を映像データとして取得し、当該映像をモーション解析処理し、モーションパターンのモーション文字列をモーション解析結果として出力するステップと、
   前記音声認識結果、前記モーション解析結果、前記操作対象機器の状態、および予め比較用データとしてデータベースに登録した音声認識文字列、モーション文字列、対象機器の状態を示す文字列、判定結果を示す文字列、を入力値とし、これらを比較処理するステップと、
   前記比較処理するステップの比較結果を受け、前記操作対象機器の操作の安全性を判定し、判定結果を安全性判定結果として出力するステップと、を含む
   ことを特徴とする運転支援方法。
4. 安全性判定サーバを含むコンピュータシステムに、
   操作対象機器の利用者を含む人の音声を音声データとして取得し、当該音声を認識処理し、認識処理した音声認識文字列を音声認識結果として出力する機能と、
   前記操作対象機器の利用者を含む人の映像を映像データとして取得し、当該映像をモーション解析処理し、モーションパターンのモーション文字列をモーション解析結果として出力する機能と、
   前記音声認識結果、前記モーション解析結果、および前記操作対象機器の状態、および予め比較用データとしてデータベースに登録した音声認識文字列、モーション文字列、対象機器の状態を示す文字列、判定結果を示す文字列、を入力値とし、これらを比較処理する機能と、
   前記比較処理するステップの比較結果を受け、前記操作対象機器の操作の安全性を判定し、判定結果を安全性判定結果として出力する機能と、
   を実現するための運転支援プログラム。
5. コンピュータを請求項１または請求項２に記載の運転支援システムとして機能させる運転支援プログラム。

Images