JP6884557B2 - 移動体を利用するユーザの対話型教師データ管理システム - Google Patents

Description

本発明の実施形態は、車両などの移動体を利用するユーザの対話型教師データの収集技術及び学習技術に関する。

従来から、機械学習や機械学習に利用される教師データを収集する手法が提案されている。例えば、ユーザが入力データに対する操作入力を行って評価を行い、教師データを作成したり、教師データを用いて学習処理を行ったりすることができる。

特開２０１５−１３５５５２号公報 特開２０１３−２５７４５号公報

移動体を利用するユーザの対話型教師データ管理システムを提供する。

実施形態の移動体を利用するユーザの対話型教師データ管理システムは、移動体内に設けられ、ネットワークを介して情報管理装置と接続される車載ゲートウェイ装置と、前記情報管理装置と接続される音声認識・合成装置と、を含む。前記情報管理装置は、前記車載ゲートウェイ装置から送信される移動体内でのユーザの挙動又は／及び移動体の挙動に関する情報に基づいて、ユーザに対する対話フレーズを決定するルール制御部と、前記音声認識・合成装置で生成される前記決定された対話フレーズの音声データを、前記車載ゲートウェイ装置に伝送するとともに、前記車載ゲートウェイ装置を介して移動体内で再生された前記対話フレーズに対するユーザの回答に関する音声データを前記車載ゲートウェイ装置から受信する対話制御部と、ユーザの挙動又は／及び移動体の挙動とユーザの前記回答とを関連付けて教師データを生成する教師データ管理部と、を有する。前記車載ゲートウェイ装置は、前記情報管理装置から受信する前記対話フレーズの音声データを移動体内のスピーカから出力する出力制御及び前記情報管理装置に送信されるユーザの前記回答に関する音声データを移動体内のマイクで集音するユーザの発話収集制御を行う対話処理部を、有する。
そして、前記情報管理装置は、前記教師データに対するユーザの挙動又は／及び移動体の挙動を検知するために予め規定された検知ルールを記憶するとともに、前記検知ルール毎に複数の前記教師データを記憶し、前記教師データ管理部は、前記車載ゲートウェイ装置から送信されるユーザの挙動又は／及び移動体の挙動に関する情報それぞれを該当する前記検知ルールに分類して前記教師データを蓄積する。前記ルール制御部は、前記検知ルールに対する前記教師データの蓄積量に応じて異なる前記対話フレーズを選択する。

第１実施形態の対話型教師データ管理システムの概略図である。 第１実施形態の車載ゲートウェイ装置が適用された車内及び車外のネットワーク構成図である。 第１実施形態の車載ゲートウェイ装置の構成ブロックを示す図である。 第１実施形態の学習装置及び音声認識・合成装置の構成ブロックを示す図である。 第１実施形態の対話型教師データ管理システムの各種機能を説明するための図である。 第１実施形態の収集ルール及び収集ルール管理情報の一例を示す図である。 第１実施形態の教師データ及びアシスト情報の一例を示す図である。 第１実施形態の第１ユースケース（Ｕｓｅ Ｃａｓｅ）における対話型教師データの収集処理と学習処理を示すフローチャートである。 第１実施形態の第１ユースケースのユーザアシスト機能の一例を示すフローチャートである。 第１実施形態の第２ユースケース（Ｕｓｅ Ｃａｓｅ）における対話型教師データの収集処理と学習処理を示すフローチャートである。 第１実施形態の第２ユースケースのユーザアシスト機能の一例を示すフローチャートである。 第１実施形態の第３ユースケース（Ｕｓｅ Ｃａｓｅ）における対話型教師データの収集処理と学習処理を示すフローチャートである。 第１実施形態の第３ユースケースのユーザアシスト機能の一例を示すフローチャートである。 第１実施形態の第４ユースケース（Ｕｓｅ Ｃａｓｅ）における対話型教師データの収集処理と学習処理を示すフローチャートである。 第１実施形態の第４ユースケースのユーザアシスト機能の一例を示すフローチャートである。

以下、実施形態につき、図面を参照して説明する。

（第１実施形態）
図１は、第１実施形態の移動体を利用するユーザの対話型教師データ管理システム（以下、対話型システムという）の概略図である。本実施形態の対話型システムは、移動体を利用するユーザに対して発話形式の音声対話で教師データを収集し、収集された教師データを用いた学習処理（教師あり学習）を提供する。なお、本実施形態では、移動体として車両を一例に説明するが、他の移動体（電車、自動で又は無線により遠隔操作されるロボットや飛行体など）にも適用可能である。

移動体には、車載ゲートウェイ装置１００（以下、車載ＧＷ装置と称する）が設けられており、所定のネットワークを介して学習装置２００と接続されている。学習装置２００（情報管理装置に相当する）は、複数の各移動体とネットワークを介して接続され、各ユーザの対話型教師データ収集機能を提供する。学習装置２００は、音声認識・合成装置３００とネットワークを介して接続されており、音声認識・合成装置３００を介した対話形式によるユーザの教師データの収集処理を制御する。

＜車載ＧＷ装置１００＞
図２は、車載ＧＷ装置１００が適用された移動体の車内及び車外のネットワーク構成図である。車載ＧＷ装置１００は、車内のデータソースと直接接続されたり、データソースが接続される車載ネットワークと接続されたりする車載器である。車載ＧＷ装置１００は、車外ネットワークと接続することができ、車内と車外を中継するネットワークノードとして構成される。車載ＧＷ装置１００は、アクセスポイントを経由したＷｉ−Ｆｉなどの無線ＬＡＮ規格に準拠する無線通信、及び基地局を中継した３ＧやＬＴＥ（ＬｏｎｇＴｅｒｍ Ｅｖｏｌｕｔｉｏｎ）などの携帯電話通信の各通信インターフェースを備えている。車載ＧＷ装置１００は、車両外部の車外ネットワークと複数の通信経路（外部通信方式）で接続することができる。

車外ネットワークは、例えば、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）網である。車載ＧＷ装置１００は、ＩＰ網を経由して学習装置２００に接続することができる。車載ＧＷ装置１００は、学習装置２００との間でデータ通信を行うことができる。また、学習装置２００以外の外部サービスシステムとの間でデータ通信を行ったり、車内のデータソースから取得した各種データを学習装置２００や所定の外部サービスシステムに送信したりすることもできる。

図２に示すように、車載ＧＷ装置１００は、Ｗｉ−Ｆｉや３Ｇ／ＬＴＥの通信インターフェースを備えた携帯情報端末を介して、車外ネットワークと接続することもできる。車載ＧＷ装置１００は、携帯情報端末に対し、ＵＳＢ接続したり、無線通信やＢｌｕｅｔｏｏｔｈ（登録商標）／ＮＦＣなどの規格に基づく近距離通信で接続したりすることができる。携帯情報端末は、スマートフォンなどの多機能携帯電話機、携帯電話機、タブレット端末などの通信機能を備えたモバイル機器である。

車載ＧＷ装置１００は、車内のデータソースに、直接または既設の車載ネットワークを介して接続することができる。データソースは、例えば、マイク（集音装置）１１、カメラ（撮影装置）が搭載されたドライブレコーダーや車内を撮影する車内カメラなどの車載カメラ１３、人感センサやユーザが装着するバイタルセンサなどのセンサ機器１４、液晶ディスプレイ装置などの表示手段を備えたナビゲーションシステムなどの車載情報端末１５、及び車載ＬＡＮ１６などがある。車載ＬＡＮ１６は、車両制御システムＶＣＳやマルチメディア系のオーディオ機器などと接続され、これらがデータソースとなる。また、車載ＧＷ装置１００は、データソース以外に、例えば、移動体内に乗車するユーザに音声を出力するスピーカ（音声出力装置）１２と接続することができる。

なお、マイク１１は、車載カメラ１３と一体的に構成されてもよい。また、スピーカ１２は、車載情報端末１５の音声出力装置や移動体のオーディオシステムであってもよい。また、車載カメラ１３や車載情報端末１５が、マイク１１とスピーカ１２とを備えていてもよい。つまり、車載ＧＷ装置１００に接続される複数のデータソースや各種装置は、適宜複合的に構成することができ、車載ＧＷ装置１００は、集音、音声出力、撮影、センサ検出、車載情報端末の制御、車載ＬＡＮ１６を介した車両制御システムＶＣＳとの間の各種制御などに対応する各種機能と接続されていればよい。

車載ＧＷ装置１００は、各データソース又は車載ネットワークが備える通信方式に応じて、データソース毎に異なる通信方式でデータ通信を行う。例えば、マイク１１及びスピーカ１２は、ケーブルを介して又は無線通信でデータ通信を行う。車載カメラ１３は、車載ＧＷ装置１００とケーブルで接続されたシリアル（ＵＡＲＴ）通信（ＲＳ２３２Ｃ，ＲＳ４２２，ＲＳ４８５）でデータ通信を行う。センサ機器１４は、近距離無線通信でデータ通信を行う。車載情報端末１５は、ＬＡＮケーブルで接続されたＥｔｈｅｒｎｅｔ通信でデータ通信を行う。

車載ＬＡＮ１６は、ＣＡＮ（ｃｏｎｔｒｏｌｌｅｒ ａｒｅａ ｎｅｔｗｏｒｋ）、ＦｌｅｘＲａｙ、ＬＩＮ、ＭＯＳＴ（ｍｅｄｉａ ｏｒｉｅｎｔｅｄ ｓｙｓｔｅｍｓ ｔｒａｎｓｐｏｒｔ）などの通信方式で車載ネットワークが組まれている。車載ＧＷ装置１００は、車載ＬＡＮ１６を構成する１つ又は複数の車載ネットワークそれぞれに接続し、各通信方式でデータ通信を行う。

図３は、車載ＧＷ装置１００の構成ブロックを示す図である。車載ＧＷ装置１００は、ハードウェア構成として、各データソースや携帯情報端末との間の通信インターフェースを構成する通信デバイス１１０と、車載ＧＷ装置１００全体の制御を行う制御デバイス１２０と、を含んでいる。

通信デバイス１１０は、Ｅｔｈｅｒｎｅｔ、ＣＡＮ、ＵＡＲＴ、ＵＳＢ、近距離無線通信などの車内通信（内部通信）インターフェース１１１と、無線通信、携帯電話通信などの車外通信（外部通信）インターフェース１１２と、を含む。なお、車内通信インターフェース１１１は、携帯情報端末との間の無線通信機能やＵＳＢ等の接続インターフェースを含むことができる。

制御デバイス１２０は、主にソフトウェアによって動作する各機能部を含んで構成されている。制御デバイス１２０は、まず、各データソースに対する制御を行うことができる。例えば、車載カメラ１３の撮影制御（映像出力制御を含む）、センサ機器１４のセンサ制御（動作やデータ検出）、車載情報端末１５の端末制御を行うことができる。

したがって、制御デバイス１２０は、車外ネットワークから受信したデータを各データソースに出力したり、受信したデータに基づいて各データソースを制御したりすることができる。また、データソース間で、一方又は双方のデータソースを制御することができる。例えば、車載カメラ１３で撮影された映像やセンサ機器１４で取得された検出データを、車載情報端末１５のディスプレイに表示する制御を行うこともできる。

本実施形態の制御デバイス１２０は、車内通信制御部１２１、車外通信制御部１２２、ゲートウェイ制御部（ＧＷ制御部）１２３、情報収集部１２４、対話処理部１２５、学習管理部１２６、及び記憶部１２７を含んでいる。情報収集部１２４、対話処理部１２５及び学習管理部１２６は、後述する移動体側の対話型の教師データの収集制御及び学習装置２００と連携した移動体の運行支援制御を行う。

車載ＧＷ装置１００は、無線通信や携帯電話通信、ＵＡＲＴ、ＵＳＢ、近距離無線通信等の各デバイスドライバがインストールされている。車内通信制御部１２１及び車外通信制御部１２２は、各デバイスドライバを通じて、車内通信インターフェース１１１及び車外通信インターフェース１１２を介した通信制御を行う。また、車内通信制御部１２１は、デバイスドライバを介さずに、例えば、車載ＬＡＮ１６（車両制御システムＶＣＳ）との間の通信制御を行うこともできる。

なお、車外通信制御部１２２は、Ｗｉ−Ｆｉなどの無線通信のアクセスポイント登録処理を行うことができる。例えば、車外通信制御部１２２は、車両の物理的な移動に伴って各所のアクセスポイントを検出し、登録することができる。

ＧＷ制御部１２３は、ネットワーク制御部１２３Ａと、通信制御部１２３Ｂとを含んで構成されている。ネットワーク制御部１２３Ａは、ルーティング制御部１２３１、プロトコル変換部１２３２及びセキュリティ部１２３３を含んでいる。ルーティング制御部１２３１は、各データソース（車載ＬＡＮ１６を介した車両制御システムＶＣＳを含む）から収集されるデータを車外ネットワークに送信する際のルーティング制御、及び車外ネットワークから受信されたデータを各データソースに伝送する際のルーティング制御を行う。また、車内ネットワーク内でのデータソース間でのデータ通信におけるルーティング制御も行う。

プロトコル変換部１２３２は、各データソースに対応する異なる通信方式間でのプロトコル変換処理を行う。データソース別の通信方式をプロトコル変換表として予め保持しておくことができ、例えば、車外ネットワークから受信されたデータをデータソースに伝送する際にプロトコル変換を行う。

セキュリティ部１２３３は、ＳＳＬ（Ｓｅｃｕｒｅ Ｓｏｃｋｅｔｓ Ｌａｙｅｒ）／ＴＬＳ（Ｔｒａｎｓｐｏｒｔ Ｌａｙｅｒ Ｓｅｃｕｒｉｔｙ）プロトコルの通信設定及び通信処理を行う。ＳＳＬ／ＴＬＳ通信は、データソース毎に設定することができ、セキュリティ部１２３３は、車内ネットワークから車外ネットワークにデータが送信される際に、ＳＳＬ／ＴＬＳの設定有無を確認し、暗号化処理を行うことができる。

通信制御部１２３Ｂは、通信状態監視部１２３４、通信経路選択部１２３５、監視制御部１２３６、及びＣｏｎｆｉｇ設定制御部１２３７を含んでいる。通信制御部１２３Ｂは、Ｃｏｎｆｉｇ設定情報に基づいて、通信経路選択制御、データ監視制御、及びデータソースから収集されたデータを車外ネットワークに伝送するデータ伝送制御を行うことができる。

通信経路選択部１２３５は、通信接続Ｃｏｎｆｉｇ設定情報に基づいて、通信経路選択制御を行うことができる。通信接続Ｃｏｎｆｉｇ設定情報は、車外ネットワークから車内ネットワークへのデータ受信時の通信経路設定と、車内ネットワークから車外ネットワークへのデータ伝送時の通信経路設定と、が含まれる。

本実施形態の車載ＧＷ装置１００は、車両などの移動体に搭載される。このため、例えば、車載ＧＷ装置１００は、ネットワークノードとして動的ＩＰアドレスが割り当てられる。車載ＧＷ装置１００は、データの送受信の際、能動的に車外ネットワークの学習装置２００に接続してコネクションを張る。

通信接続の設定内容は、自動設定又は／及び優先設定がある。車載ＧＷ装置１００は、複数の通信方式の経路で、車外ネットワークに接続することができる。例えば、Ｗｉ−Ｆｉ、携帯情報端末経由及び３Ｇ／ＬＴＥの３つの経路の中から１つを選択したり、３つの経路に優先度を設定したりすることができる。また、「自動」の優先度は、例えば、Ｗｉ−ｆｉ＞携帯情報端末経由＞３Ｇ／ＬＴＥのように、予め任意に決めておくことができる。

通信接続の設定内容は、受信するデータ種別に設定することもできる。例えば、学習装置２００から送信される各種情報とそれ以外のシステムから送信される情報とで通信経路の優先度を変えたり、データ容量の大きさで通信経路の優先度を変えたりすることができる。

車内ネットワークから車外ネットワークへのデータ伝送時の通信接続についても同様である。例えば、車載カメラ１３で撮影された映像や画像をアップデートする通信経路や車両制御システムＶＣＳから取得される車両情報をアップロードする通信経路などにおいても、同様に自動設定又は／及び優先設定を行うことができる。

また、通信接続Ｃｏｎｆｉｇ設定には、車外ネットワークの接続先である学習装置２００のＵＲＬ指定（登録）が含まれる。なお、学習装置２００は、複数の拠点に、複数設けることもできる。この場合、各拠点の学習装置２００の各ＵＲＬが登録されるように構成することができる。外部サービスシステムについても同様である。

さらに、通信接続Ｃｏｎｆｉｇ設定は、車載ＧＷ装置１００が利用する複数の通信経路それぞれの有効／無効の設定が含まれる。Ｗｉ−Ｆｉ通信利用設定、３Ｇ／ＬＴＥ通信利用設定、携帯情報端末通信利用設定の有効（ＯＮ）／無効（ＯＦＦ）を設定することができる。

車載ＧＷ装置１００（通信制御部１２３Ｂ）は、起動後、通信接続Ｃｏｎｆｉｇ設定情報を取得し、接続フラグがＯＮの通信経路に対して通信接続処理を行う。接続フラグとは、各通信方式の通信利用設定における有効（ＯＮ）／無効（ＯＦＦ）である。接続フラグがＯＮの通信経路が複数ある場合、複数の通信経路全ての通信接続を維持するように、制御される。すなわち、車載ＧＷ装置１００の監視制御やデータ収集・伝送制御に関係なく、接続フラグがＯＮの複数の通信経路全てに対し、常時接続状態を維持するように制御される。そして、データソース毎に、各通信経路の通信状態に応じてＣｏｎｆｉｇ設定に基づく適切な通信経路選択を行い、車外ネットワークとの間でデータ通信を行う。

通信状態監視部１２３４は、接続フラグがＯＮの通信経路の通信状態（接続中／遮断）を監視する。通信状態監視部１２３４は、各通信経路の通信状態を通信制御部１２３Ｂに出力する。次に、通信状態監視部１２３４は、接続状態監視終了信号（例えば、車両のイグニッションスイッチのＯＦＦ信号）の有無を確認する。監視を終了しない場合は、通信制御部１２３Ｂは、接続フラグがＯＮの通信経路が遮断されていないと判別された場合、通信状態の監視を継続する。一方、遮断されていると判別された場合、通信制御部１２３Ｂは、接続フラグがＯＮで、遮断されている通信経路に対し、再度通信接続処理を行う。一方、接続状態監視終了信号の入力があり、監視を終了する場合は、接続中の全ての通信経路の遮断処理を行う。

一方で、監視制御部１２３６は、各データソースから出力されるデータを監視することができ、監視制御部１２３６で利用されるＣｏｎｆｉｇ設定情報を設定することもできる。例えば、車載ＬＡＮＣｏｎｆｉｇ設定情報は、車両制御システムＶＣＳから取得される車両情報を、車外ネットワーク（外部システム）にアップロードする周期、平均車速閾値、運転時間閾値などの設定情報が含まれる。また、センサ機器１４は、例えば、ユーザの心拍数、脈拍の間隔、血圧などを測定又は／及び算出して車載ＧＷ装置１００に出力することができる。センサ機器Ｃｏｎｆｉｇ設定情報は、バイタル情報転送（アップロード）周期、心拍数転送閾値、心拍数異常閾値などの設定情報が含まれる。

監視制御部１２３６は、例えば、データソース毎に設定されたＣｏｎｆｉｇ設定情報に基づく監視制御を行う。データソースは、時系列に連続したデータを車載ＧＷ装置１００に出力することができる。Ｃｏｎｆｉｇ設定情報に基づく監視制御は、データソースから収集されるデータを監視し、例えば、閾値を超えるデータが検出された場合に異常発生を検知する異常検出制御と、データソースから収集されたデータを、車外ネットワークに伝送するデータ収集・伝送制御とが含まれる。

監視制御部１２３６は、データソースから出力されるデータを対象に、データソース毎に異常検出を行い、異常が検出された場合、例えば、車載情報端末に異常が検出された旨を表示する通知処理を行うことができる。

なお、監視制御は、通信状態監視と同様に、車両のイグニッションスイッチのＯＦＦ信号などのデータソースの監視制御を終了する信号の有無を確認して、行うことができる。

これらのＣｏｎｆｉｇ設定情報は、外部サービスシステム側で予め設定したり、ユーザが外部サービスシステムに接続して設定したりすることができる。車載ＧＷ装置１００は、例えば、車両のイグニッションスイッチのＯＮ／ＯＦＦに連動して、車両のバッテリなどから電力供給を受けて起動することができる。車載ＧＷ装置１００は、起動時に外部サービスシステムに接続して、Ｃｏｎｆｉｇ設定情報を取得することができる。このとき、車載ＧＷ装置１００は、通信接続Ｃｏｎｆｉｇ設定情報に基づいて、通信経路選択処理を行うことができる。

Ｃｏｎｆｉｇ設定制御部１２３７は、外部サービスシステムから制御デバイス１２０に入力されたＣｏｎｆｉｇ設定情報を、通信経路選択部１２３５及び監視制御部１２３６が利用できるように記憶部１２７にセット（更新）する。

なお、車載ＧＷ装置１００と学習装置２００との間のデータ通信は、予め設定されるユーザの識別ＩＤや車両ＧＷ装置１００の固体識別子（例えば、ＭＡＣアドレス）などを用いて、双方で認証を行うことができる。車載ＧＷ装置１００は、学習装置２００との間のデータ通信において、固体識別子が含まれるように制御する。

記憶部１２７は、制御デバイス１２０で処理される各種データ、各処理のために使用される情報、車外ネットワークから受信したデータや情報などを記憶する。図３の例では、記憶部１２７が車載ＧＷ装置１００に内蔵されているが、例えば、記憶部１２７が車載ＧＷ装置１００に対して外付けされてもよい。

＜車載ＧＷ装置１００を介した、対話型教師データ収集・学習＞
本実施形態の対話型システムは、教師データの収集機能と、収集された教師データに基づく学習処理を行い、移動体を利用するユーザをアシストする（運行支援）機能と、を提供する。図４は、学習装置２００及び音声認識・合成装置３００の構成ブロックを示す図である。図５は、対話型システムの各種機能を説明するための図である。

学習装置２００は、通信装置２１０、制御装置２２０及び記憶装置２３０を含んで構成されている。通信装置２１０は、音声認識・合成装置３００との間のデータ通信及び１つまたは複数の車載ＧＷ装置１００とのデータ通信を制御する。制御装置２２０は、対話制御部２２１、教師データ管理部２２２及びルール制御部２２３を備えている。記憶装置２３０は、対話型システムで使用される各種情報や車載ＧＷ装置１００から送信される教師データ（車両運行情報を含む）、音声認識・合成装置３００から提供される音声データや音声認識結果（テキストデータ）などを記憶する。

音声認識・合成装置３００は、学習装置２００との間の通信制御を行う通信装置３１０と、フレーズ（テキストデータ）を音声に変換して音声データを生成する音声合成部３２１及び音声データをテキストデータに変換する音声認識部３２２を備える制御装置３２０と、記憶装置３３０とを備える。

音声対話による教師データの収集処理は、車載ＧＷ装置１００と学習装置２００とが連携して行い、音声認識・合成装置３００が対話音声データのデータ処理をサポートする。

一方で、車載ＧＷ装置１００は、情報収集部１２４、対話処理部１２５及び学習管理部１２６を備えている。情報収集部１２４は、車載カメラ１３で撮影されたユーザの挙動（ユーザが移動体に乗車している状況及びユーザが移動体を運転している状況を含む）を収集する。また、移動体の挙動、例えば、車両制御システムＶＣＳから取得される車両運行情報を収集する。

対話処理部１２５は、学習装置２００から提供される音声データをスピーカ１２に出力するとともに、マイク１１を介して収集されるユーザの発話音声を取得する。学習管理部１２６は、学習装置２００と連携し、学習装置２００から受信する対話フレーズの音声データを移動体内のスピーカ１２から出力する出力制御及び学習装置２００に送信されるユーザの回答に関する音声データを移動体内のマイク１１で集音するユーザの発話収集制御を行う。

図５に示すように、まず、車載ＧＷ装置１００が、移動体に乗車するユーザ（例えば、移動体を運転操作するドライバー）との音声対話による教師データの収集処理を制御して、学習装置２００に教師データを提供する。このとき、車載ＧＷ装置１００の学習管理部１２６は、予め設定された教師データの収集ルールに基づいて収集処理を制御することができる。

教師データは、例えば、入出力のペアで構成される。つまり、事象（例題）に対するユーザの回答（反応）が教師データである。そこで、所定のユーザの挙動、所定の車両運行情報またはこれらの組み合わせを、教師データの収集ルールとして予め設定する。収集ルールとは、教師データに対応するユーザの挙動や車両運行情報の検知ルールである。

図６は、移動体側に記憶される収集ルール情報の一例を示す図である。なお、収集ルール情報は、学習装置２００で生成することができ、学習装置２００側で管理される収集ルール管理情報と対応関係にある。図６に示すように、収集ルールは、教師データＩＤ、教師データ名称、センサ種別、検知条件などを含んで構成されている。

学習管理部１２６は、情報収集部１２４によって収集されるユーザの挙動又は／及び移動体の挙動と、収集ルールとをマッチングし、収集ルールにマッチングするユーザの挙動又は／及び移動体の挙動が検出された場合に、対話形式での「問い掛け」及びその「回答」を得るように制御する。図６の例で説明すると、例題として、「わき見運転」が設定され、「わき見運転」のユーザ挙動として、「ステアリング操作値が所定値以上であり、かつユーザが横を向いた状態」を設定することができる。この場合、学習管理部１２６は、車載カメラ１３で撮影されたユーザの顔画像に基づいてユーザが正面を向いていない状態か否かを判別することで、「ユーザが横を向いた状態」を検出することができる。ステアリング装置値は、車両制御システムＶＣＳから取得することができる。なお、学習管理部１２６は、所定の横を向いた状態の顔の特徴情報（画像又はパラメータなど）に基づいて、カメラ１３で撮影されたユーザの顔画像とパターンマッチングを行い、ユーザが横を向いた（正面を向いていない）状態を判別することができる。特徴情報は、例えば、後述する学習処理によって適宜更新することができる。ステアリング操作値などの検知条件に含まれる車両制御情報についても同様である。

学習管理部１２６は、収集ルールにマッチングするユーザの挙動又は／及び移動体の挙動が検出されると、学習装置２００に、ユーザの顔画像および車両運行情報（例えば、ステアリング操作値）を含む検出データを送信する。学習管理部１２６は、例えば、教師データＩＤなどの収集ルールを識別可能な情報を含むように検出データを生成して、学習装置２００に送信することができる。

学習装置２００は、車載ＧＷ装置１００で保持される収集ルールを管理しており、図６に示す収集ルール管理情報を記憶している。収集ルール管理情報は、移動体側の収集ルール情報に対して、対話フレーズおよび音声認識結果が関連付けられて記憶される。図６に示すように、各収集ルールに対して「問い掛け」の対話フレーズが予め設定されている。例えば、収集ルール「わき見運転」は、問い掛け対話フレーズとして「今の確認は、右折（又は左折）のためですか？」が設定されている。対話制御部２２０は、車載ＧＷ装置１００から受信する検出データに基づいて、収集ルールに紐付く対話フレーズを決定し、「問い掛け」対話フレーズの音声データ生成要求を、音声認識・合成装置３００に送信する。

音声認識・合成装置３００の音声合成部３２１は、学習装置２００で決定された対話フレーズ（テキストデータ）を音声に変換する音声合成処理を行う。音声認識・合成装置３００は、学習装置２００から受信した「問い掛け」対話フレーズの生成要求に基づいて、記憶装置３３０に予め格納されている各種音声データを用い、対話フレーズの音声データを生成する。

対話制御部２２１は、「問い掛け」の音声データを車載ＧＷ装置１００に提供する。車載ＧＷ装置１００の対話処理部１２５は、学習装置２００によって決定された対話フレーズの音声データを受信してスピーカ１２から出力し、ユーザに問い掛けると共に、問い掛けに対するユーザの受け答えをマイク１１で収集する。対話処理部１２５は、ユーザの「受け答え」音声データを、学習装置２００に送信する。このときも、音声データに教師データＩＤなどの識別情報を付加して学習装置２００に送信することができる。

学習装置２００は、受信した「受け答え」音声データを音声認識・合成装置３００に送信し、音声認識・合成装置３００が「受け答え」音声データに対する音声認識処理を行い、テキストデータ（音声認識結果）を生成する。「受け答え」音声データの音声認識結果は、学習装置２００に送信される。教師データ管理部２２２は、「受け答え」の音声認識結果、すなわち、「問い掛け」と「受け答え」とによる対話結果に基づいて、収集ルール毎に、教師データを生成する。

図７は、教師データの一例を示す図である。図７に示すように、教師データＩＤ毎に、センサデータ（画像や移動体の挙動を示す情報）及び「受け答え」の音声認識結果が関連付けられて蓄積される。つまり、図７の例において、問い掛けに対する肯定的な回答「はい」と、問い掛けに対する否定的な回答「いいえ」とが、教師データＩＤ毎に蓄積される。

このように本実施形態では、「わき見運転」に対して「はい」と回答したときのユーザの挙動（横顔画像）とそのときの車両運行情報のペアが蓄積されるとともに、「わき見運転」に対して「いいえ」と回答したときのユーザの挙動（横顔画像）とそのときの車両運行情報のペアが、それぞれ蓄積される。したがって、収集ルール「わき見運転」に対して回答別にユーザの挙動又は／及び移動体の挙動を分類して蓄積することで、その後のユーザの挙動及び移動体の挙動が、「わき見運転」に該当するか否かを判別することができる。このように蓄積された教師データは、リアルタイムで学習され、後述するユースケースで例示するような移動体を利用するユーザのアシスト機能に利用される。

本実施形態の教師データ収集機能は、移動体に乗車するユーザが、「問い掛け」に対して音声で「受け答え」するだけで、教師データを収集することができる。ドライバー等のユーザは、移動体を運転操作する。つまり、基本的に両手がふさがっており、従来のように、操作ボタンやタッチパネルなどの入力インターフェースの操作が必要な教師データの収集方法では、移動体の車両運行中に教師データを収集することは、困難であった。本実施形態の対話型システムは、音声による「受け答え」以外の操作入力が不要であり、移動体を運転操作するユーザからリアルタイムに教師データを収集することができる。なお、移動体を運転操作しているか否かは、例えば、車両制御システムＶＣＳから車速やステアリング操作情報、ブレーキ操作情報などを取得することで、車載ＧＷ装置１００は、移動体を運転操作中であるか否かを判別し、運転操作中に特化した教師データの収集制御を行うこともできる。

また、収集された教師データは、ユーザ独自の教師データ（学習データ）として蓄積され、学習処理に使用される。学習装置２００は、教師データに基づく学習処理を経て、移動体を利用するユーザに、ユーザアシスト（運行支援）機能を提供する。

特に、本実施形態は、ユーザ固有の教師データに基づく学習処理及びユーザアシスト機能を提供することができる。従来は、収集される教師データが加工や編集されてしまったり、ユーザの挙動を所定のルールやパラメータでデータ整形したりしていた。このため、ユーザ固有の学習処理というよりは、例えば、ユーザの挙動があるルールに該当していることしか学習されなかった。このような場合、ユーザが意図していない行動までも学習されてしまい、ユーザの挙動とその真意を的確に把握することが難しく、ユーザに特化した学習機能を提供することができなかった。

これに対して本実施形態では、ユーザの挙動や移動体の挙動に対して、対話形式でユーザに問い掛け、ユーザにその挙動の真意をリアルタイムに回答してもらうことができる。このため、ルールに該当している挙動でも、ユーザの真意が異なる入力を教師データとして蓄積したり、ユーザの真意とは異なるルールに該当する挙動を教師データとして蓄積したりすることができる。

本実施形態の対話型システムは、発話形式の音声対話によって、移動体を運転操作するユーザからリアルタイムに教師データを収集でき、かつ教師データにユーザ独自の意図を反映させた挙動（学習データ）の実績を蓄積することができる。

また、学習装置２００は、蓄積されたユーザの教師データを学習処理し、移動体を利用するユーザをアシストする（運行支援）機能を提供する。つまり、上述したように、収集ルールは、検知ルールであり、学習装置２００のルール制御部２２３は、例えば、収集ルールに基づく教師データが、Ｎ個以上蓄積された場合（Ｎ回以上、検知された場合）、収集ルールを検知ルールとして活用し、収集ルールに該当するユーザの挙動や移動体の挙動に対して、ユーザに注意喚起やアドバイスなどを行うことができる。

この場合、教師データを収集するための対話フレーズ以外に、図７に示すような注意喚起やアドバイスを行うための発話フレーズ（アドバイス情報）を、教師ルールＩＤに対して予め関連付けておくことができる。例えば、「わき見運転」の収集ルールに対して「前方に注意して走行して下さい。」などの発話フレーズを設定することができる。ルール制御部２２３は、記憶装置２３０に記憶された収集ルールと、車載ＧＷ装置１００から受信した検知データとをマッチングし、該当する収集ルールの発話フレーズを決定することができる。

ルール制御部２２３は、決定された発話フレーズを音声認識・合成装置３００に送信し、音声認識・合成装置３００は、発話フレーズの音声データを生成する。ルール制御部２２３は、発話フレーズの音声データを音声認識・合成装置３００から受信すると、車載ＧＷ装置１００に送信する。車載ＧＷ装置１００の対話処理部１２５は、発話フレーズの音声データをスピーカ１２に出力して、移動体を運転操作するユーザに注意喚起やアドバイスを音声で通知する。

＜ユースケース１＞
図８は、本実施形態の対話型システムを適用した第１ユースケースを示す図である。図８の例は、対話型教師データの収集処理と学習処理を示すフローチャートである。

第１ユーザケースは、移動体を利用するユーザ（トライバー）を認識する教師データの収集・学習処理である。ドライバーが乗車して車両のイグニッションスイッチをＯＮすると（Ｓ１０１）、車載カメラ１３が撮影動作を開始する（Ｓ１１１）。このとき、情報収集部１２４が、車載ＧＷ装置１００の起動に伴って車載カメラ１３に対して撮影動作の開始指示を出力するように構成してもよい。

車載カメラ１３は、撮影データ（画像データ）を情報収集部１２４に出力する。学習管理部１２６は、記憶部１２７に記憶されている収集ルールを参照し、収集ルールとして「ドライバー認識」が設定されているか否かを判別する。「ドライバー認識」が設定されている場合、撮影されたドライバーの画像データを「ドライバー乗車検知データ」として、学習装置２００に送信する（Ｓ１２１）。

学習装置２００（ルール制御部２２３）は、ドライバー乗車検知データを照合する処理を行う。このとき、ルール制御部２２３は、ドライバー乗車検知データの照合ログ（照合回数など）を記憶する。照合ログは、ドライバー乗車検知データに対応する教師データＩＤと紐付いている。ルール制御部２２３は、検知データに含まれる教師データＩＤに基づいて、記憶装置２３０に記憶されている収集ルール「ドライバー認識」を判別し、「ドライバー乗車検知データ」の照合処理を行う（Ｓ２０１）。

ルール制御部２２３は、教師データＩＤ別に記憶された教師データを参照し、撮影されたドライバーの顔画像データと照合する（Ｓ２０２）。照合の結果、過去に収集された教師データに該当する顔画像が含まれていない場合、ルール制御部２２３は、初めて移動体に乗車したドライバーであると判別する共に、初めて乗車したドライバーに対する対話フレーズ「名前をお願いします」を選択する。一方で、ステップＳ２０２での照合の結果、過去に収集された教師データに該当する顔画像が含まれている場合、２回目以降の照合であると判別し、２回目以降に乗車したドライバーに対する対話フレーズ「○○さんですか？」を選択する。対話制御部２２１は、選択された対話フレーズ（テキストデータ）を音声認識・合成装置３００に送信する（Ｓ２０３）。音声認識・合成装置３００は、受信した対話フレーズの音声データを生成し、学習装置２００に送信する（Ｓ３０１、Ｓ３０２）。学習装置２００は、対話フレーズの音声データを車載ＧＷ装置１００に転送する。

まず、初めて乗車する場合、車載ＧＷ装置１００の対話処理部１２５は、対話フレーズの音声データを再生し、スピーカ１２から「名前をお願いします」を出力する（Ｓ１２２，Ｓ１１２）。ユーザが返答する自身の名前は、マイク１１で集音され、発話音声が情報収集部１２４に出力される（Ｓ１０２、Ｓ１１３）。対話処理部１２５は、情報収集部１２４を介して収集された「○○です」の音声データを、学習装置２００に送信する（Ｓ１２３）。

学習装置２００の対話制御部２２１は、ユーザの発話音声データを含む音声認識要求を音声認識・合成装置３００に送信する（Ｓ２０５）。音声認識・合成装置３００は、発話音声データの音声認識処理を行い、音声認識結果（テキストデータ）を学習装置２００に送信する（Ｓ３０３、Ｓ３０４）。学習装置２００の教師データ管理部２２２は、受信した音声認識結果「○○です」を、教師データＩＤ毎に分類して蓄積し、図７に示したように、センサデータと関連付けて記憶装置２３０に記憶する（Ｓ２０６）。

教師データ管理部２２２は、所定のタイミングで、蓄積された教師データを学習処理し（Ｓ２０７）、ユーザ別のパーソナル辞書（ルール）を更新して、車載ＧＷ装置１００に送信する（Ｓ２０８）。車載ＧＷ装置１００の学習管理部１２６は、受信したパーソナル辞書を記憶部１２７に記憶するルール更新処理を行う（Ｓ１２４）。

なお、学習装置２００のルール制御部２２３は、ステップＳ３０４で受信した音声認識結果を用いて、対話フレーズを生成することができる。例えば、ルール制御部２２３は、ステップＳ２０２での照合の結果、ユーザが初めて乗車したことを把握できる。そこで、ルール制御部２２３は、ステップＳ３０４で受信する音声認識結果に含まれるユーザの「名前」を抽出し、ステップＳ２０２における２回目以降のときの対話フレーズに、組み込むことができる。

第１ユースケースは、例えば、カーシェアリング（ｃａｒｓｈａｒｉｎｇ）での利用者認証に適用することができる。図９は、第１ユースケースにおけるユーザアシスト機能の一例を示すフローチャートである。図９の例では、ステップＳ２０２において、Ｎ回以上のドライバー認識照合が行われている場合、乗車するユーザに対する音声対話の問い掛けを省略し、学習装置２００で移動体に乗車するユーザの利用者認証を自動的に行うことができる。例えば、異なる移動体に乗車しても、Ｎ回以上のドライバー認識照合によって利用者認証の正確性が担保される場合、教師データに基づいて自動的に利用者認証を行うことができる。

また、第１ユーザケースの場合、利用者認証を行うことができるので、利用権限が与えられていない第３者による利用を制限することができる。例えば、「ドライバー認識」教師データの蓄積を通じ、車両の所有者以外のユーザが検出された場合、学習装置２００から車両の起動を禁止するメッセージを受信し、学習管理部１２６が車両制御システムＶＣＳに対して、車両の起動を禁止する制御信号を出力する。例えば、車両の盗難防止に活用できる。

＜ユースケース２＞
図１０は、本実施形態の対話型システムを適用した第２ユースケースを示す図である。図１０の例は、対話型教師データの収集処理と学習処理を示すフローチャートである。

第２ユーザケースは、移動体を運転するユーザ（トライバー）の挙動と移動体の挙動とを組み合わせた教師データの収集・学習処理である。車載カメラ１３は、運転中のドライバーを撮影し、撮影データ（画像データ）を情報収集部１２４に出力する（Ｓ１０３）。また、車両制御システムＶＣＳは、車両制御情報として、ステアリング操作情報を情報収集部１２４に出力する（Ｓ１１１Ａ）。

学習管理部１２６は、記憶部１２７に記憶されている収集ルールを参照し、情報収集部１２４から出力されたユーザの画像データと移動体の車両制御情報とに基づいて、該当する収集ルール（教師データＩＤ）を判別する（Ｓ１２１Ａ）。図１０の例の場合、教師データＩＤ「わき見運転」の検知条件にマッチングするので、収集ルールが「わき見運転」であると把握することができる。学習管理部１２６は、検知条件にマッチングした場合（Ｓ１２１Ｂ）、検知データを生成する。検知データは、ユーザの画像データと移動体のステアリング操作情報とを含む。生成された検知データは、学習装置２００に送信される（Ｓ１２１）。

学習装置２００（ルール制御部２２３）は、「わき見運転」の検知データを照合する処理を行う。このときも、ルール制御部２２３は、「わき見運転」の検知データの照合ログ（照合回数など）を記憶する。照合ログは、「わき見運転」に対応する教師データＩＤと紐付いている。ルール制御部２２３は、検知データに含まれる教師データＩＤに基づいて、記憶装置２３０に記憶されている収集ルール「わき見運転」を判別し、「わき見運転」の照合処理を行う（Ｓ２０１）。

ルール制御部２２３は、教師データＩＤ別に記憶された教師データを参照し、撮影されたドライバーの顔画像データと「わき見運転」の教師データとを照合する（Ｓ２０２）。照合の結果、過去に収集された「わき見運転」の教師データの照合回数（すなわち、「わき見運転」の教師データ蓄積数）がＮ回未満である場合、ルール制御部２２３は、「わき見運転」の教師データの収集を行うために、ドライバーに対する対話フレーズ「今の操作は、右折又は左折のためですか？」を選択する。一方で、ステップＳ２０２での照合の結果、過去に収集された「わき見運転」の教師データの照合回数がＮ回以上である場合、図１１に示す第２ユースケースにおけるユーザアシスト機能に進む。

対話制御部２２１は、選択された対話フレーズ（テキストデータ）を音声認識・合成装置３００に送信する（Ｓ２０３）。音声認識・合成装置３００は、受信した対話フレーズの音声データを生成し、学習装置２００に送信する（Ｓ３０１、Ｓ３０２）。学習装置２００は、対話フレーズの音声データを車載ＧＷ装置１００に転送する。

車載ＧＷ装置１００の対話処理部１２５は、対話フレーズの音声データを再生し、スピーカ１２から「今の操作は、右折又は左折のためですか？」を出力する（Ｓ１２２，Ｓ１１２）。ユーザが返答する回答は、マイク１１で集音され、発話音声が情報収集部１２４に出力される（Ｓ１０２、Ｓ１１３）。対話処理部１２５は、情報収集部１２４を介して収集された「はい、そうです。」又は「いいえ、違います。」の音声データを、学習装置２００に送信する（Ｓ１２３）。

学習装置２００の対話制御部２２１は、ユーザの発話音声データを含む音声認識要求を音声認識・合成装置３００に送信する（Ｓ２０５）。音声認識・合成装置３００は、発話音声データの音声認識処理を行い、音声認識結果（テキストデータ）を学習装置２００に送信する（Ｓ３０３、Ｓ３０４）。学習装置２００の教師データ管理部２２２は、受信した音声認識結果「はい、そうです。」又は「いいえ、違います。」を、「わき見運転」の教師データＩＤに分類して蓄積し、図７に例示したように、センサデータであるステアリング操作値と関連付けて記憶装置２３０に記憶する（Ｓ２０６）。

教師データ管理部２２２は、所定のタイミングで、蓄積された教師データを学習処理し（Ｓ２０７）、ユーザ別のパーソナル辞書（ルールや検知条件など）を更新して、車載ＧＷ装置１００に送信する（Ｓ２０８）。車載ＧＷ装置１００の学習管理部１２６は、受信したパーソナル辞書を記憶部１２７に記憶するルール更新処理を行う（Ｓ１２４）。

第２ユースケースは、ユーザの挙動と移動体の挙動とから、ユーザ独自のわき見運転の挙動を把握することができ、個々のユーザで異なるわき見運転の挙動を、固有に学習処理することができる。図１１は、第２ユースケースにおけるユーザアシスト機能の一例を示すフローチャートであり、図１０のステップＳ２０２で「わき見運転」のログ照合回数がＮ回以上の場合の処理を示している。

図１１の例では、ステップＳ２０２において、Ｎ回以上の「わき見運転」の照合が行われている場合、乗車するユーザに対して、「わき見運転」による注意喚起を行うアドバイスを音声で行う。図１１に示すように、照合の結果、過去に収集された「わき見運転」の教師データの照合回数がＮ回以上である場合、ルール制御部２２３は、「わき見運転」に対するユーザアシストを行うために、ドライバーに対する対話フレーズ「前方に注意して走行して下さい」を選択する。

対話制御部２２１は、選択された対話フレーズ（テキストデータ）を音声認識・合成装置３００に送信する（Ｓ２０３）。音声認識・合成装置３００は、受信した対話フレーズの音声データを生成し、学習装置２００に送信する（Ｓ３０１、Ｓ３０２）。学習装置２００は、対話フレーズの音声データを車載ＧＷ装置１００に転送する。

車載ＧＷ装置１００の対話処理部１２５は、対話フレーズの音声データを再生し、スピーカ１２から「前方に注意して走行して下さい」を出力する（Ｓ１２２，Ｓ１１２）。学習装置２００の対話制御部２２１は、図１０の例と同様に、ユーザアシスト機能の際に収集された「わき見運転」の教師データを蓄積し（Ｓ２０６）、蓄積された教師データを学習処理（Ｓ２０７）、ユーザ別のパーソナル辞書（ルールや検知条件など）の更新及び車載ＧＷ装置１００への送信処理を行う（Ｓ２０８）。車載ＧＷ装置１００の学習管理部１２６は、受信したパーソナル辞書を記憶部１２７に記憶するルール更新処理を行う（Ｓ１２４）。

＜ユースケース３＞
図１２は、本実施形態の対話型システムを適用した第３ユースケースを示す図である。図１２の例は、対話型教師データの収集処理と学習処理を示すフローチャートである。

第３ユーザケースは、移動体の挙動の教師データの収集・学習処理である。車両制御システムＶＣＳは、車両制御情報として、車両の加速度情報を情報収集部１２４に出力する（Ｓ１１１Ａ）。

第３ユースケースにおいて、学習管理部１２６は、記憶部１２７に記憶されている収集ルールを参照し、情報収集部１２４から出力された移動体の車両制御情報に基づいて、該当する収集ルール（教師データＩＤ）を判別する（Ｓ１２１Ａ）。図１２の例の場合、教師データＩＤ「安全運転１」の検知条件にマッチングするので、収集ルールが「安全運転１」であると把握することができる。学習管理部１２６は、検知条件にマッチングした場合（Ｓ１２１Ｂ）、検知データを生成する。検知データは、移動体の加速度情報を含む。生成された検知データは、学習装置２００に送信される（Ｓ１２１）。

学習装置２００（ルール制御部２２３）は、「安全運転１」の検知データを照合する処理を行う。このときも、ルール制御部２２３は、「安全運転１」の検知データの照合ログ（照合回数など）を記憶する。照合ログは、「安全運転１」に対応する教師データＩＤと紐付いている。ルール制御部２２３は、検知データに含まれる教師データＩＤに基づいて、記憶装置２３０に記憶されている収集ルール「安全運転１」を判別し、「安全運転１」の照合処理を行う（Ｓ２０１）。

ルール制御部２２３は、教師データＩＤ別に記憶された教師データを参照し、加速度情報と「安全運転１」の教師データとを照合する（Ｓ２０２）。照合の結果、過去に収集された「安全運転１」の教師データの照合回数（すなわち、「安全運転１」の教師データ蓄積数）がＮ回未満である場合、ルール制御部２２３は、「安全運転１」の教師データの収集を行うために、ドライバーに対する対話フレーズ「今のは、安全運転の操作ですか？」を選択する。一方で、ステップＳ２０２での照合の結果、過去に収集された「安全運転１」の教師データの照合回数がＮ回以上である場合、図１３に示す第３ユースケースにおけるユーザアシスト機能に進む。

対話制御部２２１は、選択された対話フレーズ（テキストデータ）を音声認識・合成装置３００に送信する（Ｓ２０３）。音声認識・合成装置３００は、受信した対話フレーズの音声データを生成し、学習装置２００に送信する（Ｓ３０１、Ｓ３０２）。学習装置２００は、対話フレーズの音声データを車載ＧＷ装置１００に転送する。

車載ＧＷ装置１００の対話処理部１２５は、対話フレーズの音声データを再生し、スピーカ１２から「今のは、安全運転の操作ですか？」を出力する（Ｓ１２２，Ｓ１１２）。ユーザが返答する回答は、マイク１１で集音され、発話音声が情報収集部１２４に出力される（Ｓ１０２、Ｓ１１３）。対話処理部１２５は、情報収集部１２４を介して収集された「はい、そうです。」又は「いいえ、違います。」の音声データを、学習装置２００に送信する（Ｓ１２３）。

学習装置２００の対話制御部２２１は、ユーザの発話音声データを含む音声認識要求を音声認識・合成装置３００に送信する（Ｓ２０５）。音声認識・合成装置３００は、発話音声データの音声認識処理を行い、音声認識結果（テキストデータ）を学習装置２００に送信する（Ｓ３０３、Ｓ３０４）。学習装置２００の教師データ管理部２２２は、受信した音声認識結果「はい、そうです。」又は「いいえ、違います。」を、「安全運転１」の教師データＩＤに分類して蓄積し、図７に示したように、センサデータである車両の加速度と関連付けて記憶装置２３０に記憶する（Ｓ２０６）。

教師データ管理部２２２は、所定のタイミングで、蓄積された教師データを学習処理し（Ｓ２０７）、ユーザ別のパーソナル辞書（ルールや検知条件など）を更新して、車載ＧＷ装置１００に送信する（Ｓ２０８）。車載ＧＷ装置１００の学習管理部１２６は、受信したパーソナル辞書を記憶部１２７に記憶するルール更新処理を行う（Ｓ１２４）。

第３ユースケースは、移動体の挙動から、ユーザ独自の安全運転の挙動を把握することができ、個々のユーザで異なる安全運転の挙動を、固有に学習処理することができる。図１３は、第３ユースケースにおけるユーザアシスト機能の一例を示すフローチャートであり、図１２のステップＳ２０２で「安全運転１」のログ照合回数がＮ回以上の場合の処理を示している。

図１３の例では、ステップＳ２０２において、Ｎ回以上の「安全運転１」の照合が行われている場合、乗車するユーザに対して、「安全運転１」による注意喚起を行うアドバイスを音声で行う。図１３に示すように、照合の結果、過去に収集された「安全運転１」の教師データの照合回数がＮ回以上である場合、ルール制御部２２３は、「安全運転１」に対するユーザアシストを行うために、ドライバーに対する対話フレーズ「周囲に注意して走行して下さい」を選択する。

対話制御部２２１は、選択された対話フレーズ（テキストデータ）を音声認識・合成装置３００に送信する（Ｓ２０３）。音声認識・合成装置３００は、受信した対話フレーズの音声データを生成し、学習装置２００に送信する（Ｓ３０１、Ｓ３０２）。学習装置２００は、対話フレーズの音声データを車載ＧＷ装置１００に転送する。

車載ＧＷ装置１００の対話処理部１２５は、対話フレーズの音声データを再生し、スピーカ１２から「周囲に注意して走行して下さい」を出力する（Ｓ１２２，Ｓ１１２）。学習装置２００の対話制御部２２１は、図１０の例と同様に、ユーザアシスト機能の際に収集された「安全運転１」の教師データを蓄積し（Ｓ２０６）、蓄積された教師データを学習処理（Ｓ２０７）、ユーザ別のパーソナル辞書（ルールや検知条件など）の更新及び車載ＧＷ装置１００への送信処理を行う（Ｓ２０８）。車載ＧＷ装置１００の学習管理部１２６は、受信したパーソナル辞書を記憶部１２７に記憶するルール更新処理を行う（Ｓ１２４）。

＜ユースケース４＞
図１４は、本実施形態の対話型システムを適用した第４ユースケースを示す図である。図１４の例は、対話型教師データの収集処理と学習処理を示すフローチャートである。

第４ユーザケースは、移動体の挙動の教師データの収集・学習処理である。車両制御システムＶＣＳは、車両制御情報として、車速およびブレーキ操作情報を情報収集部１２４に出力する（Ｓ１１１Ａ）。ここで、車両制御情報として、例えば、車両に搭載された自動安全システムによって制御された車両制御情報を含むことができる。例えば、ユーザの操作以外にも、障害物検知機能によって障害物が検知されたときの車速やブレーキ操作情報を含むことができる。

第４ユースケースにおいて、学習管理部１２６は、記憶部１２７に記憶されている収集ルールを参照し、情報収集部１２４から出力された移動体の車両制御情報に基づいて、該当する収集ルール（教師データＩＤ）を判別する（Ｓ１２１Ａ）。図１４の例の場合、教師データＩＤ「安全運転２」の検知条件にマッチングするので、収集ルールが「安全運転２」であると把握することができる。学習管理部１２６は、検知条件にマッチングした場合（Ｓ１２１Ｂ）、検知データを生成する。検知データは、移動体の車速およびブレーキ操作情報を含む。生成された検知データは、学習装置２００に送信される（Ｓ１２１）。

学習装置２００（ルール制御部２２３）は、「安全運転２」の検知データを照合する処理を行う。このときも、ルール制御部２２３は、「安全運転２」の検知データの照合ログ（照合回数など）を記憶する。照合ログは、「安全運転２」に対応する教師データＩＤと紐付いている。ルール制御部２２３は、検知データに含まれる教師データＩＤに基づいて、記憶装置２３０に記憶されている収集ルール「安全運転２」を判別し、「安全運転２」の照合処理を行う（Ｓ２０１）。

ルール制御部２２３は、教師データＩＤ別に記憶された教師データを参照し、車速およびブレーキ操作情報と「安全運転」の教師データとを照合する（Ｓ２０２）。照合の結果、過去に収集された「安全運転２」の教師データの照合回数（すなわち、「安全運転２」の教師データ蓄積数）がＮ回未満である場合、ルール制御部２２３は、「安全運転２」の教師データの収集を行うために、ドライバーに対する対話フレーズ「今の運転操作は、安全な運転でしたか？」を選択する。一方で、ステップＳ２０２での照合の結果、過去に収集された「安全運転２」の教師データの照合回数がＮ回以上である場合、図１５に示す第４ユースケースにおけるユーザアシスト機能に進む。

対話制御部２２１は、選択された対話フレーズ（テキストデータ）を音声認識・合成装置３００に送信する（Ｓ２０３）。音声認識・合成装置３００は、受信した対話フレーズの音声データを生成し、学習装置２００に送信する（Ｓ３０１、Ｓ３０２）。学習装置２００は、対話フレーズの音声データを車載ＧＷ装置１００に転送する。

車載ＧＷ装置１００の対話処理部１２５は、対話フレーズの音声データを再生し、スピーカ１２から「今の運転操作は、安全な運転でしたか？」を出力する（Ｓ１２２，Ｓ１１２）。ユーザが返答する回答は、マイク１１で集音され、発話音声が情報収集部１２４に出力される（Ｓ１０２、Ｓ１１３）。対話処理部１２５は、情報収集部１２４を介して収集された「はい、そうです。」又は「いいえ、違います。」の音声データを、学習装置２００に送信する（Ｓ１２３）。

学習装置２００の対話制御部２２１は、ユーザの発話音声データを含む音声認識要求を音声認識・合成装置３００に送信する（Ｓ２０５）。音声認識・合成装置３００は、発話音声データの音声認識処理を行い、音声認識結果（テキストデータ）を学習装置２００に送信する（Ｓ３０３、Ｓ３０４）。学習装置２００の教師データ管理部２２２は、受信した音声認識結果「はい、そうです。」又は「いいえ、違います。」を、「安全運転２」の教師データＩＤに分類して蓄積し、図７に示したように、センサデータである車速およびブレーキ操作情報と関連付けて記憶装置２３０に記憶する（Ｓ２０６）。

教師データ管理部２２２は、所定のタイミングで、蓄積された教師データを学習処理し（Ｓ２０７）、ユーザ別のパーソナル辞書（ルールや検知条件など）を更新して、車載ＧＷ装置１００に送信する（Ｓ２０８）。車載ＧＷ装置１００の学習管理部１２６は、受信したパーソナル辞書を記憶部１２７に記憶するルール更新処理を行う（Ｓ１２４）。

第４ユースケースは、第３ユースケース同様、ユーザ独自の安全運転の挙動を把握することができ、個々のユーザで異なる安全運転の挙動を、固有に学習処理することができる。図１５は、第４ユースケースにおけるユーザアシスト機能の一例を示すフローチャートであり、図１４のステップＳ２０２で「安全運転２」のログ照合回数がＮ回以上の場合の処理を示している。

図１５の例では、ステップＳ２０２において、Ｎ回以上の「安全運転２」の照合が行われている場合、乗車するユーザに対して、「安全運転２」による注意喚起を行うアドバイスを音声で行う。図１５に示すように、照合の結果、過去に収集された「安全運転２」の教師データの照合回数がＮ回以上である場合、ルール制御部２２３は、「安全運転２」に対するユーザアシストを行うために、ドライバーに対する対話フレーズ「周囲に注意して走行して下さい」を選択する。

対話制御部２２１は、選択された対話フレーズ（テキストデータ）を音声認識・合成装置３００に送信する（Ｓ２０３）。音声認識・合成装置３００は、受信した対話フレーズの音声データを生成し、学習装置２００に送信する（Ｓ３０１、Ｓ３０２）。学習装置２００は、対話フレーズの音声データを車載ＧＷ装置１００に転送する。

車載ＧＷ装置１００の対話処理部１２５は、対話フレーズの音声データを再生し、スピーカ１２から「周囲に注意して走行して下さい」を出力する（Ｓ１２２，Ｓ１１２）。学習装置２００の対話制御部２２１は、図１０の例と同様に、ユーザアシスト機能の際に収集された「安全運転２」の教師データを蓄積し（Ｓ２０６）、蓄積された教師データを学習処理（Ｓ２０７）、ユーザ別のパーソナル辞書（ルールや検知条件など）の更新及び車載ＧＷ装置１００への送信処理を行う（Ｓ２０８）。車載ＧＷ装置１００の学習管理部１２６は、受信したパーソナル辞書を記憶部１２７に記憶するルール更新処理を行う（Ｓ１２４）。

このように、第１ユーザケースから第４ユースケースを適宜組み合わせると、例えば、「ドライバー認識」や「安全運転」の教師データの蓄積により、一人のユーザが、他の車両を運転しても、そのユーザの運転挙動を反映させた車両制御や、運転の癖や個人の感覚に合わせた自動運転などを提供することができる。また、運転が上手な人（優良ドライバー）の運転挙動を体感できるように、車載ＧＷ装置１００を介した移動体の制御を行うこともできる。自動運転のときや教習所などでの実地運転の際に、優良ドライバーの運転挙動（車速、家族度、ステアリング操作量、ブレーキ操作量、顔の向きなど）の教師データに基づいて、車載ＧＦ装置１００を介して車両を制御するように構成することができる。

以上、本実施形態について説明したが、車載ゲートウェイ装置１００の制御デバイス１２０の各機能及び学習装置２００の各機能は、プログラムによって実現可能であり、各機能を実現するために予め用意されたコンピュータプログラムが補助記憶装置に格納され、ＣＰＵ等の制御部が補助記憶装置に格納されたプログラムを主記憶装置に読み出し、主記憶装置に読み出された該プログラムを制御部が実行することで、各部の機能を動作させることができる。

また、車載ゲートウェイ装置１００は、車載ゲートウェイシステムとして構成することができる。例えば、通信デバイス１１０及び制御デバイス１２０を個別の装置として構成し、これらを相互に接続した車載ゲートウェイシステムとして構成することができる。また、同様に、制御デバイス１２０の各機能部も、適宜個別の処理装置として構成して、車載ゲートウェイシステムとして構成することもできる。

また、上記プログラムは、コンピュータ読取可能な記録媒体に記録された状態で、学習装置２００に提供することも可能である。コンピュータ読取可能な記録媒体としては、ＣＤ−ＲＯＭ等の光ディスク、ＤＶＤ−ＲＯＭ等の相変化型光ディスク、ＭＯ（Magnet Optical）やＭＤ(Mini Disk)などの光磁気ディスク、フロッピー（登録商標）ディスクやリムーバブルハードディスクなどの磁気ディスク、コンパクトフラッシュ（登録商標）、スマートメディア、SDメモリカード、メモリスティック等のメモリカードが挙げられる。また、本発明の目的のために特別に設計されて構成された集積回路（ICチップ等）等のハードウェア装置も記録媒体として含まれる。また、車載ゲートウェイ装置１００についても同様である。なお、車載ゲートウェイ装置１００の場合、通信デバイス１１０を介して車外ネットワークから車載ゲートウェイ装置１００に各部を実現するためのプログラムを提供し、インストールさせることもできる。

なお、本発明の実施形態を説明したが、当該実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１１ マイク
１２ スピーカ
１３ 車載カメラ
１４ センサ機器
１５ 車載情報端末
１６ 車載ＬＡＮ
１００ 車載ゲートウェイ装置（車載ＧＷ装置）
１１０ 通信デバイス
１１１ 車内通信インターフェース
１１２ 車外通信インターフェース
１２０ 制御デバイス
１２１ 車内通信制御部
１２２ 車外通信制御部
１２３ ゲートウェイ制御部（ＧＷ制御部）
１２３Ａ ネットワーク制御部
１２３１ ルーティング制御部
１２３２ プロトコル変換部
１２３３ セキュリティ部
１２３Ｂ 通信制御部
１２３４ 通信状態監視部
１２３５ 通信経路選択部
１２３６ 監視制御部
１２３７ Ｃｏｎｆｉｇ設定制御部
１２４ 情報収集部
１２５ 対話処理部
１２６ 学習管理部
１２７ 記憶部
２００ 学習装置
２１０ 通信装置
２２０ 制御装置
２２１ 対話制御部
２２２ 教師データ管理部
２２３ ルール制御部
２３０ 記憶装置
３００ 音声認識・合成装置
３１０ 通信装置
３２０ 制御装置
３２１ 音声合成部
３２２ 音声認識部
３３０ 記憶装置
ＶＣＳ 車両制御システム

Claims (4)

1. 移動体を利用するユーザの対話型教師データ管理システムであって、
   移動体内に設けられ、ネットワークを介して情報管理装置と接続される車載ゲートウェイ装置と、前記情報管理装置と接続される音声認識・合成装置と、を含み、
   前記情報管理装置は、
   前記車載ゲートウェイ装置から送信される移動体内でのユーザの挙動又は／及び移動体の挙動に関する情報に基づいて、ユーザに対する対話フレーズを決定するルール制御部と、
   前記音声認識・合成装置で生成される前記決定された対話フレーズの音声データを、前記車載ゲートウェイ装置に伝送するとともに、前記車載ゲートウェイ装置を介して移動体内で再生された前記対話フレーズに対するユーザの回答に関する音声データを前記車載ゲートウェイ装置から受信する対話制御部と、
   ユーザの挙動又は／及び移動体の挙動とユーザの前記回答とを関連付けて教師データを生成する教師データ管理部と、を有し、
   前記車載ゲートウェイ装置は、
   前記情報管理装置から受信する前記対話フレーズの音声データを移動体内のスピーカから出力する出力制御及び前記情報管理装置に送信されるユーザの前記回答に関する音声データを移動体内のマイクで集音するユーザの発話収集制御を行う対話処理部を、有し、
   前記情報管理装置は、前記教師データに対するユーザの挙動又は／及び移動体の挙動を検知するために予め規定された検知ルールを記憶するとともに、前記検知ルール毎に複数の前記教師データを記憶し、
   前記教師データ管理部は、前記車載ゲートウェイ装置から送信されるユーザの挙動又は／及び移動体の挙動に関する情報それぞれを該当する前記検知ルールに分類して前記教師データを蓄積し、
   前記ルール制御部は、前記検知ルールに対する前記教師データの蓄積量に応じて異なる前記対話フレーズを選択することを特徴とする対話型教師データ管理システム。
2. 移動体を利用するユーザの対話型教師データ管理システムであって、
   移動体内に設けられ、ネットワークを介して情報管理装置と接続される車載ゲートウェイ装置と、前記情報管理装置と接続される音声認識・合成装置と、を含み、
   前記情報管理装置は、
   前記車載ゲートウェイ装置から送信される移動体内でのユーザの挙動又は／及び移動体の挙動に関する情報に基づいて、ユーザに対する対話フレーズを決定するルール制御部と、
   前記音声認識・合成装置で生成される前記決定された対話フレーズの音声データを、前記車載ゲートウェイ装置に伝送するとともに、前記車載ゲートウェイ装置を介して移動体内で再生された前記対話フレーズに対するユーザの回答に関する音声データを前記車載ゲートウェイ装置から受信する対話制御部と、
   ユーザの挙動又は／及び移動体の挙動とユーザの前記回答とを関連付けて教師データを生成する教師データ管理部と、を有し、
   前記車載ゲートウェイ装置は、
   前記情報管理装置から受信する前記対話フレーズの音声データを移動体内のスピーカから出力する出力制御及び前記情報管理装置に送信されるユーザの前記回答に関する音声データを移動体内のマイクで集音するユーザの発話収集制御を行う対話処理部を、有し、
   前記情報管理装置は、前記教師データに対するユーザの挙動又は／及び移動体の挙動を検知するために予め規定された検知ルールを記憶するとともに、前記検知ルール毎に複数の前記教師データを記憶し、
   前記教師データ管理部は、前記車載ゲートウェイ装置から送信されるユーザの挙動又は／及び移動体の挙動に関する情報それぞれを前記検知ルールに分類して前記教師データを蓄積し、
   前記ルール制御部は、前記検知ルールに対する前記教師データの蓄積量が所定の閾値よりも大きい場合、前記検知ルール毎に予め設定された、検知されたユーザの挙動又は／及び移動体の挙動に対するアシストフレーズを選択し、前記アシストフレーズに対応する音声データを、前記対話制御部及び前記車載ゲートウェイ装置を介して移動体内の前記スピーカから出力させるように制御することを特徴とする対話型教師データ管理システム。
3. 前記車載ゲートウェイ装置は、
   移動体内のユーザの挙動を取得する撮影装置と、移動体を制御する所定のシステムとに接続され、ユーザの挙動又は／及び移動体の挙動に関する情報を収集する情報収集部と、
   前記教師データに対するユーザの挙動又は／及び移動体の挙動を検知するために予め規定された検知ルールを記憶する記憶部と、
   ユーザの挙動又は／及び移動体の挙動と前記検知ルールとをマッチングし、前記検知ルールにマッチングしたユーザの挙動又は／及び移動体の挙動に関する情報を含む検知データを生成して、前記情報管理装置に送信する学習管理部と、
   をさらに有することを特徴とする請求項１又は２に記載の対話型教師データ管理システム。
4. 前記車載ゲートウェイ装置は、移動体を運転操作中のユーザの挙動又は／及び移動体の挙動に関する情報を前記情報管理装置に送信するとともに、
   前記対話処理部は、運転操作中のユーザへの前記出力制御及び運転操作中のユーザの発話に対する前記発話収集制御を行うことを特徴とする請求項１から３のいずれか１つに記載の対話型教師データ管理システム。

Images