JP6848702B2 - 覚醒支援装置および覚醒支援方法 - Google Patents

Description

本発明は、覚醒支援装置および覚醒支援方法に関する。

従来より、車両用の居眠り防止装置として、運転者の居眠りを検知した場合、運転者に対して音や光によって注意を喚起する技術が知られている。このような居眠り防止装置の中には、運転者に対して音声による問いかけを行い、所定時間の間、運転者からの応答が検出されなかった場合に、運転者の居眠り（すなわち、覚醒度の低下）を検出するものがある。

例えば、下記特許文献１には、車両が所定時間以上走行している場合に、運転者への音声による問い合わせを開始し、当該問い合わせを開始してから、所定時間の間、運転者からの応答が無い場合には、運転者が居眠りをしている可能性が高いと判断し、居眠り防止案内を開始する技術が開示されている。

特開２００１−１６３０８０号公報

しかしながら、上記特許文献１の技術では、運転者への音声による問い合わせを開始するための判断基準である所定時間や、居眠り防止案内を開始するための判断基準である所定時間が、不特定多数の運転者を対象とする固定のものであるため、実際には運転者が全く眠気を感じていないにも関わらず、居眠り防止案内が開始されてしまう場合があり、居眠り検知の判定精度に改善の余地があった。

本発明は、上述した従来技術の課題を解決するため、運転者の個人差に応じた好適な推定方法により、運転者の覚醒度を高精度に推定できるようにすることを目的とする。

本開示の一態様の覚醒支援装置は、質問形式の対話音声を出力し、前記対話音声に対する運転者の応答音声を取得する対話処理部と、前記対話音声に対して前記運転者が前記応答音声で応答する際に要する応答時間を計測する応答時間計測部と、前記応答時間の履歴に基づいて前記応答時間の統計値を算出する統計値算出部と、前記応答時間計測部によって計測された前記応答時間と、前記統計値算出部によって算出された前記統計値とに基づいて、前記運転者の覚醒度の推定値を導出する推定部と、を備える。

また、本開示の一態様の覚醒支援方法は、質問形式の対話音声を出力し、前記対話音声に対する運転者の応答音声を取得する対話処理工程と、前記対話音声に対して前記運転者が前記応答音声で応答する際に要する応答時間を計測する応答時間計測工程と、前記応答時間の履歴に基づいて前記応答時間の統計値を算出する統計値算出工程と、前記応答時間計測工程で計測された前記応答時間と、前記統計値算出工程で算出された前記統計値とに基づいて、前記運転者の覚醒度の推定値を導出する推定工程と、を含む。

本構成により、運転者自身の過去の応答時間に基づいて算出された統計値が基準となって、運転者の覚醒度の推定値が導出されることとなる。運転者自身による過去の応答時間は、運転者が質問に対する応答を行うときの個人差が忠実に反映されたものである。したがって、本構成により、運転者の覚醒度を高精度に推定することができる。

本開示の一態様の覚醒支援装置において、前記応答音声に含まれている特定の単語を抽出する特定単語抽出部と、特定単語抽出部による前記特定の単語の抽出結果に基づいて、前記運転者の覚醒度の推定値を導出する第２推定部と、をさらに備えるようにしてもよい。

本構成により、運転者が実際に発した応答音声の内容から、運転者の覚醒度が推定されることとなる。運転者から発せられる応答音声の内容は、運転者の現在の状態（覚醒度）を運転者自身が忠実に表すものである。したがって、本構成により、運転者の覚醒度を高精度に推定することができる。

本開示の一態様の覚醒支援装置において、複数の前記対話音声が、想定する応答時間の長さに応じて、複数の対話音声グループに分類されており、前記統計値算出部は、前記運転者に向けて、前記複数の対話音声グループのうちのいずれか一の対話音声グループの前記対話音声が出力された場合、当該一の対話音声グループの前記対話音声が前記運転者に向けて過去に出力されたときの、前記応答時間の履歴に基づいて、前記応答時間の統計値を算出するようにしてもよい。

本構成により、質問内容に応じた適切な過去の応答時間に基づいて算出された統計値が基準となって、運転者の覚醒度の推定値が導出されることとなる。したがって、本構成により、運転者の覚醒度を高精度に推定することができる。

運転者の個人差に応じた好適な推定方法により、運転者の覚醒度を高精度に推定することができる。

実施形態に係る覚醒支援システムのシステム構成を示す図である。 実施形態に係るナビゲーション装置の制御装置による処理の手順を示すフローチャートである。 実施形態に係るナビゲーション装置（覚醒度低下検知部）が参照するテーブルの一例を示す図である。 実施形態に係るナビゲーション装置（覚醒度低下検知部）による検知処理の手順を示すフローチャートである。 実施形態に係るナビゲーション装置およびセンターサーバによる対話処理の手順を示すシーケンス図である。 実施形態に係るナビゲーション装置（推定処理部）による覚醒度推定処理の手順を示すフローチャートである。 実施形態に係るナビゲーション装置（覚醒度復帰検知部）が参照するテーブルの一例を示す図である。 実施形態に係るナビゲーション装置（覚醒度復帰検知部）による覚醒度復帰検知処理の手順を示すフローチャートである。

以下、図面を参照して、本発明の実施形態の覚醒支援システムについて説明する。

（覚醒支援システム１０のシステム構成）
図１は、実施形態に係る覚醒支援システム１０の機能構成を示す図である。図１に示す覚醒支援システム１０は、ナビゲーション装置１００およびセンターサーバ２００を備えて構成されている。この覚醒支援システム１０は、自動車等の車両の運転者に対して、覚醒支援サービスを提供する。覚醒支援サービスとは、運転者の覚醒度の低下を検知すると、センターサーバ２００から提供される対話サービスを利用して、運転者に対して質問形式の対話音声を出力することにより、運転者の覚醒度の向上を促すサービスである。特に、本実施形態の覚醒支援サービスは、運転者との対話を通じて、運転者の覚醒度を高精度に推定することが可能である。覚醒支援サービスによって推定された運転者の覚醒度は、例えば、車両が備える各種処理部（例えば、覚醒度に基づいて運転者に休憩を促す処理部、覚醒度のロギングを行う処理部等）へ出力される。

（センターサーバ２００）
センターサーバ２００は、ナビゲーション装置１００から覚醒支援サービスが利用される際に、ナビゲーション装置１００に対して対話サービスを提供する装置である。対話サービスとは、運転者向けの対話音声を表す対話音声データのナビゲーション装置１００への提供を行うサービスである。

センターサーバ２００は、車両の外部の施設（例えば、対話サービスの提供会社が管理する施設）内に設置される。センターサーバ２００は、ナビゲーション装置１００との間の無線通信（例えば、Ｗｉ−Ｆｉ（登録商標）等）を介して、ナビゲーション装置１００との間で、各種データ（例えば、対話音声データ、応答音声データ等）の送受信を行うことが可能である。

図１に示すように、センターサーバ２００は、通信Ｉ／Ｆ（Inter-Face）２０１および制御装置２１０を備える。

通信Ｉ／Ｆ２０１は、無線通信によるナビゲーション装置１００との通信を制御することにより、ナビゲーション装置１００との間で各種データの送受信を行う。例えば、通信Ｉ／Ｆ２０１は、ナビゲーション装置１００から、運転者向けの対話音声データの取得要求を受信する。また、例えば、通信Ｉ／Ｆ２０１は、対話音声提供部２１１から提供された運転者向けの対話音声データを、ナビゲーション装置１００へ送信する。また、例えば、通信Ｉ／Ｆ２０１は、ナビゲーション装置１００から、運転者の応答音声の音声認識結果データ（音声テキスト）を受信する。

制御装置２１０は、ナビゲーション装置１００に対して対話サービスを提供する処理を行う装置である。図１に示すように、制御装置２１０は、その機能として、対話音声提供部２１１、応答音声解析部２１２、および状態検知部２１３を備える。

対話音声提供部２１１は、通信Ｉ／Ｆ２０１によって運転者向けの対話音声の取得要求が受信されると、ナビゲーション装置１００に対して、運転者向けの対話音声データを提供する。例えば、対話音声提供部２１１は、以下に例示されるような、想定する応答時間が比較的短い第１の対話音声グループの対話音声データ、および、想定する応答時間が比較的長い第２の対話音声グループの対話音声データを提供し得る。

＜第１の対話音声グループの対話音声データの一例＞
・「少し私と会話しませんか？」
・「この先に渋滞があります。回避ルートを検索しますか？」
・「燃料が少なくなっています。給油できる場所を検索しますか？」
＜第２の対話音声グループの対話音声データの一例＞
・「今日のお昼ご飯は何を食べましたか？」
・「一番最近見た映画は何でしたか？」
・「旅行に行くとしたら、どこに行きたいですか？」

応答音声解析部２１２は、通信Ｉ／Ｆ２０１によって運転者の応答音声の認識結果データ（音声テキスト）が受信されると、当該認識結果データに基づいて、運転者の応答音声を解析する。具体的には、応答音声解析部２１２は、運転者の応答音声の認識結果データ（音声テキスト）に対して、公知の構文解析処理および意図理解処理（特定単語抽出処理）を行う。

例えば、応答音声解析部２１２による解析結果は、対話音声提供部２１１にフィードバックされる。これにより、対話音声提供部２１１は、運転者の応答内容に応じて、より好適な次の対話音声（より対話らしい対話音声）を導出することが可能である。

また、例えば、応答音声解析部２１２による解析結果は、質問内容および運転者の応答内容に応じて、ナビゲーション装置１００の適切な処理部にフィードバックされる。例えば、質問内容が「この先に渋滞があります。回避ルートを検索しますか？」であり、且つ、運転者の応答内容が「はい」である場合、応答音声解析部２１２による解析結果は、ナビゲーション装置１００の経路探索部にフィードバックされる。これにより、ナビゲーション装置１００の経路探索部が、渋滞を回避するルートを探索することとなる。

状態検知部２１３は、通信Ｉ／Ｆ２０１によって運転者の応答音声の認識結果データ（音声テキスト）が受信されると、当該認識結果データに基づいて、公知の方法（例えば、音声テキストから特定の単語を検知する方法）により、運転者の状態（例えば、緊張度、ストレス度等）を検知する。例えば、状態検知部２１３による検知結果は、対話音声提供部２１１にフィードバックされる。これにより、対話音声提供部２１１は、運転者の状態に応じて、より好適な次の対話音声を導出することが可能である。

なお、制御装置２１０は、ＣＰＵ（Central Processing Unit）、主記憶装置（例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等）、補助記憶装置（例えば、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等）等のハードウェアを備えて構成されている。上記した制御装置２１０の各機能は、例えば、制御装置２１０において、主記憶装置または補助記憶装置に記憶されているプログラムをＣＰＵ（コンピュータ）が実行することによって実現される。

また、センターサーバ２００は、物理的に１台の情報処理装置によって構成されてもよく、物理的に複数台の情報処理装置によって構成されてもよい。後者の場合、複数台の情報処理装置は、ネットワークを介して互いに接続されたものであってもよい。

（ナビゲーション装置１００）
ナビゲーション装置１００は、車両に搭載される装置である。ナビゲーション装置１００は、一般的なナビゲーション装置の機能（例えば、経路探索機能、経路案内機能等）の他に、「覚醒支援装置」の機能を有する。ナビゲーション装置１００は、センターサーバ２００との間の無線通信回線（例えば、基地局を末端とする携帯電話網やＷｉ−Ｆｉ等）を介して、センターサーバ２００との間で各種データ（例えば、対話音声データ、応答音声データ、応答音声の認識結果データ等）の送受信を行うことが可能である。

図１に示すように、ナビゲーション装置１００は、入力装置１０１、ディスプレイ１０２、ＧＰＳ（Global Positioning System）ユニット１０３、スピーカ１０４、通信Ｉ／Ｆ１０５、マイク１０６、地図ＤＢ１１１、施設情報ＤＢ１１２、および制御装置１２０を備える。

入力装置１０１は、ユーザが、各種情報の入力を行う際に用いる装置である。入力装置１０１としては、例えば、タッチパネル、操作ボタン、十字キー等が挙げられる。ディスプレイ１０２は、各種情報を表示する装置である。ディスプレイ１０２としては、例えば、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等が挙げられる。

ＧＰＳユニット１０３は、ＧＰＳ衛星から受信したＧＰＳ信号に基づいて、ナビゲーション装置１００の現在地（経度および緯度）を検知する。スピーカ１０４は、各種音声（例えば、運転者向けの対話音声等）を出力する装置である。

通信Ｉ／Ｆ１０５は、無線通信によるセンターサーバ２００との通信を制御することにより、センターサーバ２００との間で各種データの送受信を行う。例えば、通信Ｉ／Ｆ１０５は、センターサーバ２００へ、運転者向けの対話音声データの取得要求を送信する。また、例えば、通信Ｉ／Ｆ１０５は、センターサーバ２００（対話音声提供部２１１）から提供された運転者向けの対話音声データを受信する。また、例えば、通信Ｉ／Ｆ１０５は、センターサーバ２００へ、運転者の応答音声の音声認識結果データ（音声テキスト）を送信する。

マイク１０６は、車内の運転席近傍に設けられており、運転者から発せられた音声を入力する装置である。マイク１０６としては、例えば、ナビゲーション装置１００の本体に内蔵されているマイク、ナビゲーション装置１００の本体とは別に設けられている外部マイク等を用いることができる。

地図ＤＢ１１１は、地図データを記憶する。地図データは、複数のノードデータと複数のリンクデータとを含んでいる。ノードデータは、交差点に相当するデータである。リンクデータは、ノードとノードの間の道路区間に相当するデータである。

施設情報ＤＢ１１２は、複数の施設情報を記憶する。例えば、各施設情報は、施設名、位置情報（緯度および経度）、ジャンル、住所、郵便番号、電話番号、詳細コメント、画像等の情報を含んでいる。

制御装置１２０は、「覚醒支援装置」の機能を実現する装置であり、ナビゲーション装置１００から覚醒支援サービスが利用される際に、ナビゲーション装置１００側の処理を制御する装置である。図１に示すように、制御装置１２０は、情報取得部１２１、覚醒度低下検知部１２２、覚醒度復帰検知部１２３、対話処理部１２４、および推定処理部１３０を備える。

情報取得部１２１は、運転者によって運転される車両に関する車両情報、および、車両が走行中の道路に関する道路情報を取得する。具体的には、情報取得部１２１は、運転者の覚醒度の低下を検知するための所定の事象（要注意動作（一般的に、運転者に対して注意を促すことが好ましい動作）および正常動作）が発生したことを特定するための、車両情報および道路情報を取得する。情報取得部１２１によって取得される車両情報および道路情報として、例えば、以下のような車両情報および道路情報が挙げられる（但し、これらの車両情報および道路情報に限らない）。なお、これらの車両情報は、例えば、車両に搭載されている各種ＥＣＵ（Electronic Control Unit）、各種センサ等から取得することが可能である。また、これらの道路情報は、例えば、地図ＤＢ１１１等から取得することが可能である。

＜情報取得部１２１によって取得される車両情報の一例＞
・車速信号
・アクセル開度信号
・ブレーキ信号
・ハンドル舵角信号
・加速度センサ出力信号
・車線逸脱警報システムからの出力信号
・ウインカ点灯信号
・車両進行方向情報
・運転時間
＜情報取得部１２１によって取得される道路情報の一例＞
・一方通行情報
・制限速度
・一時停止情報
・カーブ情報

覚醒度低下検知部１２２は、情報取得部１２１によって取得された車両情報および道路情報に基づいて、運転者の覚醒度の低下を検知する。具体的には、覚醒度低下検知部１２２は、情報取得部１２１によって取得された車両情報および道路情報に基づいて、車両の走行に関する所定の要注意動作が発生したことを特定する。そして、覚醒度低下検知部１２２は、特定された所定の要注意動作に対応付けられている減点数による、スコアの減点を行う。このスコアは、覚醒度低下検知部１２２による運転者の覚醒度の低下の検知、および、覚醒度復帰検知部１２３による運転者の覚醒度の復帰の検知のために、定義されるものであり、例えば、初期値を「０」とする。そして、覚醒度低下検知部１２２は、スコアが「−１０」以下となったとき、「運転者の覚醒度が低下した」と判断する。なお、所定の要注意動作および減点数の一例については、図３を用いて後述する。また、覚醒度低下検知部１２２による覚醒度低下検知処理の詳細については、図４を用いて後述する。

覚醒度復帰検知部１２３は、覚醒度低下検知部１２２によって運転者の覚醒度の低下が検知された後、情報取得部１２１によって取得された車両情報および道路情報に基づいて、運転者の覚醒度が低下状態から復帰したことを検知する。具体的には、覚醒度復帰検知部１２３は、情報取得部１２１によって取得された車両情報および道路情報に基づいて、車両の走行に関する所定の正常動作が発生したことを特定する。そして、覚醒度復帰検知部１２３は、特定された所定の正常動作に対応付けられている点数による、スコアの加点を行う。そして、覚醒度復帰検知部１２３は、スコアが所定の閾値（例えば、初期値である「０」。但し、これに限らない）を超えたとき、「運転者の覚醒度が低下状態から復帰した」と判断する。なお、所定の正常動作および加点数の一例については、図７を用いて後述する。また、覚醒度復帰検知部１２３による覚醒度復帰検知処理の詳細については、図８を用いて後述する。

対話処理部１２４は、運転者との音声対話を行う。具体的には、まず、対話処理部１２４は、センターサーバ２００に対して、運転者向けの対話音声データの取得要求を送信する。これにより、対話処理部１２４は、センターサーバ２００から、運転者向けの対話音声データを取得する。そして、対話処理部１２４は、当該対話音声データに基づく対話音声を、スピーカ１０４から出力させる。続いて、対話処理部１２４は、マイク１０６から入力された、運転者の応答音声を取得する。そして、対話処理部１２４は、当該応答音声に対する音声認識処理を行うことにより、当該応答音声の音声テキストを生成する。さらに、対話処理部１２４は、音声認識処理によって生成された音声テキストを、センターサーバ２００へ送信する。

対話処理部１２４は、覚醒度低下検知部１２２によって運転者の覚醒度の低下が検知された場合、運転者と対話する音声である対話音声を出力する。そして、対話処理部１２４は、対話音声の出力後、覚醒度復帰検知部１２３によって運転者の覚醒度の低下状態からの復帰が検知された場合、対話音声の出力を終了する。

推定処理部１３０は、応答時間計測部１３１、応答時間ＤＢ１３２、統計値算出部１３３、特定単語抽出部１３４、推定部１３５、および第２推定部１３６を備える。

応答時間計測部１３１は、対話音声に対して運転者が応答音声で応答する際に要する応答時間を計測する。例えば、応答時間計測部１３１は、対話処理部１２４によって対話音声が出力されてから、対話処理部１２４によって運転者の応答音声が取得されるまでの応答時間を計測する。例えば、応答時間計測部１３１は、ナビゲーション装置１００が備えるタイマー機能を用いて、または、ナビゲーション装置１００のシステム時刻に基づいて、応答時間を計測することができる。

応答時間ＤＢ１３２は、応答時間計測部１３１によって応答時間が計測される毎に、当該応答時間が記録される。これにより、応答時間ＤＢ１３２には、応答時間計測部１３１によって計測された応答時間が、時系列に蓄積されることとなる。

統計値算出部１３３は、応答時間ＤＢ１３２に記録されている複数の応答時間に基づいて、これら複数の応答時間の平均応答時間を算出する。具体的には、統計値算出部１３３は、複数の対話音声グループ（本実施形態では、第１の対話音声グループおよび第２の対話音声グループ）のそれぞれについて、応答時間ＤＢ１３２に記録されている最も新しい３件の応答時間（但し、これに限らない）に基づいて、これら３件の応答時間の平均応答時間を算出する。

特定単語抽出部１３４は、対話処理部１２４による音声認識処理によって生成された音声テキストに基づいて、運転者の応答音声に含まれている特定の単語を抽出する。特定単語抽出部１３４によって抽出される特定の単語は、運転者の覚醒度の低下を示唆するものであることが好ましく、例えば、以下のような単語が挙げられる（但し、これらの単語に限らない）。

・「眠たい」
・「疲れた」
・「つまらない」
・「やすみたい」
・「あーあ」
・「もー」

推定部１３５は、応答時間計測部１３１によって計測された応答時間と、統計値算出部１３３によって算出された平均応答時間とに基づいて、運転者の覚醒度の推定値を導出する。具体的には、推定部１３５は、応答時間計測部１３１によって計測された応答時間が、統計値算出部１３３によって算出された平均応答時間の１．８倍以上である場合、「運転者の覚醒度が低下している」との推定値を導出する。ここで、推定部１３５は、応答時間計測部１３１によって計測された応答時間が、第１の対話音声グループの質問に対する応答時間である場合、統計値算出部１３３によって算出された第１の対話音声グループの平均応答時間に基づいて、運転者の覚醒度の推定値を導出する。一方、推定部１３５は、応答時間計測部１３１によって計測された応答時間が、第２の対話音声グループの質問に対する応答時間である場合、統計値算出部１３３によって算出された第２の対話音声グループの平均応答時間に基づいて、運転者の覚醒度の推定値を導出する。

なお、推定部１３５は、応答時間計測部１３１によって計測された応答時間と、統計値算出部１３３によって算出された平均応答時間とに基づいて、運転者の覚醒度の度数を推定値として導出するようにしてもよい。この場合、推定部１３５は、応答時間計測部１３１によって計測された応答時間が、統計値算出部１３３によって算出された平均応答時間よりも大きいほど、運転者の覚醒度の度数が小さくなるようにするとよい。

また、推定部１３５は、応答時間計測部１３１によって計測された応答時間と、統計値算出部１３３によって算出された平均応答時間とに基づいて、予め定義された２つ以上の推定値の中から、いずれかの推定値を選択的に導出するようにしてもよい。この場合、推定部１３５は、応答時間計測部１３１によって計測された応答時間が、統計値算出部１３３によって算出された平均応答時間よりも大きいほど、運転者の覚醒度がより低いことを表す推定値が選択されるようにするとよい。

第２推定部１３６は、特定単語抽出部１３４による特定の単語の抽出結果に基づいて、運転者の覚醒度の推定値を導出する。具体的には、第２推定部１３６は、特定単語抽出部１３４によって応答音声から所定回数以上（例えば、過去１５分の間に、２回以上）の特定の単語が抽出された場合、「運転者の覚醒度が低下している」との推定値を導出する。

なお、第２推定部１３６は、特定単語抽出部１３４による特定の単語の抽出結果に基づいて、運転者の覚醒度の度数を推定値として導出するようにしてもよい。この場合、第２推定部１３６は、特定単語抽出部１３４によって抽出された特定の単語の数が多いほど、運転者の覚醒度の度数が小さくなるようにするとよい。

また、第２推定部１３６は、特定単語抽出部１３４による特定の単語の抽出結果に基づいて、予め定義された２つ以上の推定値の中から、いずれかの推定値を選択的に導出するようにしてもよい。この場合、第２推定部１３６は、特定単語抽出部１３４によって抽出された特定の単語の数が多いほど、運転者の覚醒度がより低いことを表す推定値が選択されるようにするとよい。

制御装置１２０は、推定部１３５によって導出された運転者の覚醒度の推定値と、第２推定部１３６によって導出された運転者の覚醒度の推定値とを、これらの推定値を必要とする各種処理部へ出力する。出力する。制御装置１２０は、これら２つの推定値を、個別に出力してもよい。または、制御装置１２０は、これら２つの推定値に基づいて所定の演算を行うことによって出力用の推定値を算出し、当該出力用の推定値を出力してもよい。

なお、制御装置１２０は、ＣＰＵ、主記憶装置（例えば、ＲＯＭ、ＲＡＭ等）、補助記憶装置（例えば、ＨＤＤ、フラッシュメモリ等）等のハードウェアを備えて構成されている。図１に示した制御装置１２０の各機能は、例えば、制御装置１２０において、主記憶装置または補助記憶装置に記憶されているプログラムをＣＰＵ（コンピュータ）が実行することによって実現される。

ＣＰＵが実行するプログラムは、予めナビゲーション装置１００に導入された状態で提供されてもよく、外部から提供されてナビゲーション装置１００に導入されるようにしてもよい。後者の場合、このプログラムは、外部記憶媒体（例えば、ＵＳＢメモリ、メモリカード、ＣＤ−ＲＯＭ等）によって提供されてもよく、ネットワーク（例えば、インターネット等）上のサーバからダウンロードすることによって提供されるようにしてもよい。

（ナビゲーション装置１００の制御装置１２０による処理の手順）
図２は、実施形態に係るナビゲーション装置１００の制御装置１２０による処理の手順を示すフローチャートである。図２に示す処理は、例えば、車両が走行中の間、ナビゲーション装置１００によって繰り返し実行される。

まず、情報取得部１２１が、運転者によって運転される車両に関する車両情報、および、車両が走行中の道路に関する道路情報を取得する（ステップＳ２０１）。次に、覚醒度低下検知部１２２が、ステップＳ２０１で取得された車両情報および道路情報に基づいて、運転者の覚醒度が低下したことを検知する覚醒度低下検知処理を行う（ステップＳ２０２）。なお、覚醒度低下検知部１２２による覚醒度低下検知処理の詳細については、図３および図４を用いて後述する。

ステップＳ２０２の覚醒度低下検知処理において、運転者の覚醒度の低下が検知されなかった場合（ステップＳ２０３：Ｎｏ）、制御装置１２０は、ステップＳ２０１へ処理を戻す。一方、ステップＳ２０２の覚醒度低下検知処理において、運転者の覚醒度の低下が検知された場合（ステップＳ２０３：Ｙｅｓ）、対話処理部１２４が、運転者と対話する音声である対話音声を出力する（ステップＳ２０４）。なお、対話処理部１２４による対話処理の詳細については、図５を用いて後述する。

続いて、推定処理部１３０が、運転者の覚醒度を推定する覚醒度推定処理を行う。（ステップＳ２０５）。なお、推定処理部１３０による覚醒度推定処理の詳細については、図６を用いて後述する。

また、情報取得部１２１が、運転者によって運転される車両に関する車両情報、および、車両が走行中の道路に関する道路情報を取得する（ステップＳ２０６）。そして、覚醒度復帰検知部１２３が、ステップＳ２０６で取得された車両情報および道路情報に基づいて、運転者の覚醒度の低下状態からの復帰を検知する覚醒度復帰検知処理を行う（ステップＳ２０７）。なお、覚醒度復帰検知部１２３による覚醒度復帰検知処理の詳細については、図７および図８を用いて後述する。

ステップＳ２０７の覚醒度復帰検知処理において、運転者の覚醒度の低下状態からの復帰が検知されなかった場合（ステップＳ２０８：Ｎｏ）、制御装置１２０は、ステップＳ２０４へ処理を戻す。一方、ステップＳ２０７の覚醒度復帰検知処理において、運転者の覚醒度の低下状態からの復帰が検知された場合（ステップＳ２０８：Ｙｅｓ）、対話処理部１２４が、対話音声の出力を終了する（ステップＳ２０９）。そして、制御装置１２０は、図２に示す一連の処理を終了する。

（覚醒度低下検知部１２２が参照するテーブルの一例）
図３は、実施形態に係るナビゲーション装置１００（覚醒度低下検知部１２２）が参照するテーブルの一例を示す図である。図３（ａ）に示すテーブル３００は、車両の走行に関する所定の要注意動作毎に、減点数が設定されたものである。また、図３（ｂ）に示すテーブル３１０は、所定の要注意動作の発生時刻からの経過時間毎に、減点数に対して乗じるべき係数が設定されたものである。これらのテーブル３００，３１０は、例えば、制御装置１２０が備えるメモリに予め記憶されている。そして、これらのテーブル３００，３１０は、ナビゲーション装置１００の覚醒度低下検知部１２２によって、運転者の覚醒度の低下を検知する際に参照される。

（覚醒度低下検知処理の手順）
図４は、実施形態に係るナビゲーション装置１００（覚醒度低下検知部１２２）による覚醒度低下検知処理の手順を示すフローチャートである。図４は、図２のフローチャートにおける覚醒度低下検知処理（ステップＳ２０２）の処理内容を、詳細に説明するものである。

まず、覚醒度低下検知部１２２は、情報取得部１２１によって取得された車両情報および道路情報に基づいて、テーブル３００に示すいずれかの要注意動作が発生したことを特定する（ステップＳ４０１）。

例えば、覚醒度低下検知部１２２は、車速信号、ブレーキ信号、加速度センサ出力信号等に基づいて、「急ブレーキ（通常道路）」が発生したことを特定することができる。また、例えば、覚醒度低下検知部１２２は、車速信号、ブレーキ信号、加速度センサ出力信号、ハンドル舵角信号等に基づいて、「急ブレーキ（右左折時）」が発生したことを特定することができる。

また、例えば、覚醒度低下検知部１２２は、ハンドル舵角信号等に基づいて、「急ハンドル」が発生したことを特定することができる。また、例えば、覚醒度低下検知部１２２は、車線逸脱警報システムからの出力信号等に基づいて、「車線離脱（１回）」が発生したことを特定することができる。

また、例えば、覚醒度低下検知部１２２は、一時停止情報、ブレーキ信号、車速信号等に基づいて、「一時線不停止」が発生したことを特定することができる。また、例えば、覚醒度低下検知部１２２は、一方通行情報、車両進行方向情報等に基づいて、「逆走」が発生したことを特定することができる。

また、例えば、覚醒度低下検知部１２２は、ウインカ点灯信号、ハンドル舵角信号、車速信号等に基づいて、「右左折ランプ点灯のまま３０秒以上直進」が発生したことを特定することができる。また、例えば、覚醒度低下検知部１２２は、ウインカ点灯信号、車速信号等に基づいて、「ハザードランプ点灯のまま３０秒以上走行」が発生したことを特定することができる。

ステップＳ４０１において、いずれの要注意動作の発生も特定されなかった場合（ステップＳ４０１：Ｎｏ）、覚醒度低下検知部１２２は、図４に示す一連の処理を終了する。一方、ステップＳ４０１において、いずれかの要注意動作の発生が特定された場合（ステップＳ４０１：Ｙｅｓ）、覚醒度低下検知部１２２は、図３のテーブル３００を参照することにより、ステップＳ４０１で特定された要注意動作に対応付けられている減点数を特定する（ステップＳ４０２）。例えば、経路探索部２２２は、特定された要注意動作が「急ブレーキ（通常道路）」である場合、テーブル３００から、減点数として「−４点」を特定する。また、例えば、経路探索部２２２は、特定された要注意動作が「急ブレーキ（右左折時）」である場合、テーブル３００から、減点数として「−８点」を特定する。

また、覚醒度低下検知部１２２は、ステップＳ４０１で特定された要注意動作の発生時刻からの経過時間を特定する（ステップＳ４０３）。また、覚醒度低下検知部１２２は、図３のテーブル３１０を参照することにより、ステップＳ４０３で特定された経過時間に対応付けられている係数を特定する（ステップＳ４０４）。覚醒度低下検知部１２２は、ステップＳ４０２で特定された減点数に対して、ステップＳ４０４で特定された係数を乗じる（ステップＳ４０５）。例えば、経路探索部２２２は、ステップＳ４０３で特定された経過時間が「５分経過」に該当する場合、テーブル３１０から、係数として「０．９」を特定し、当該係数を、ステップＳ４０２で特定された減点数に乗じる。また、例えば、経路探索部２２２は、ステップＳ４０３で特定された経過時間が「８分経過」に該当する場合、テーブル３１０から、係数として「０．７」を取得し、当該係数を、ステップＳ４０２で特定された減点数に乗じる。

そして、覚醒度低下検知部１２２は、ステップＳ４０５で係数を乗じた後の減点数による、スコア（初期値＝０）の減点を行う（ステップＳ４０６）。さらに、覚醒度低下検知部１２２は、ステップＳ４０６での減点により、スコアが「−１０」以下となったか否かを判断する（ステップＳ４０７）。

ステップＳ４０７において、スコアが「−１０」以下になっていないと判断された場合（ステップＳ４０７：Ｎｏ）、覚醒度低下検知部１２２は、図４に示す一連の処理を終了する。一方、ステップＳ４０７において、スコアが「−１０」以下になったと判断された場合（ステップＳ４０７：Ｙｅｓ）、覚醒度低下検知部１２２は、「運転者の覚醒度が低下した」と判断する（ステップＳ４０８）。そして、覚醒度低下検知部１２２は、図４に示す一連の処理を終了する。

（対話処理の手順）
図５は、実施形態に係るナビゲーション装置１００（対話処理部１２４）およびセンターサーバ２００による対話処理の手順を示すシーケンス図である。図５は、図２のフローチャート（ステップＳ２０４）において開始される対話処理の処理内容を、詳細に説明するものである。

まず、ナビゲーション装置１００において、対話処理部１２４が、通信Ｉ／Ｆ１０５を介して、センターサーバ２００に対して、運転者向けの対話音声データの取得要求を送信する（ステップＳ５０１）。

センターサーバ２００において、通信Ｉ／Ｆ２０１が、ナビゲーション装置１００から送信された取得要求を受信すると（ステップＳ５０２）、対話音声提供部２１１が、運転者向けの対話音声データを提供する（ステップＳ５０３）。そして、対話音声提供部２１１が、通信Ｉ／Ｆ２０１を介して、ナビゲーション装置１００に対して、ステップＳ５０３で提供された対話音声データを送信する（ステップＳ５０４）。

ナビゲーション装置１００において、通信Ｉ／Ｆ１０５が、センターサーバ２００から送信された対話音声データを受信すると（ステップＳ５０５）、対話処理部１２４が、当該対話音声データに基づく対話音声を、スピーカ１０４から出力させる（ステップＳ５０６）。

続いて、対話処理部１２４が、マイク１０６から入力された、運転者の応答音声を取得すると（ステップＳ５０７）、対話処理部１２４は、当該応答音声の音声認識処理を行うことにより、当該応答音声の音声テキストを生成する（ステップＳ５０８）。さらに、対話処理部１２４は、ステップＳ５０８で生成された音声テキストを、センターサーバ２００へ送信する（ステップＳ５０９）。

センターサーバ２００において、通信Ｉ／Ｆ２０１が、ナビゲーション装置１００から送信された音声テキストを受信すると（ステップＳ５１０）、応答音声解析部２１２が、当該音声テキストに対する解析処理を行う（ステップＳ５１１）。また、状態検知部２１３が、当該音声テキストに基づいて、運転者の状態を検知する（ステップＳ５１２）。

なお、図５の処理において、センターサーバ２００は、ステップＳ５１１で行われた解析処理の結果や、ステップＳ５１２で検知された運転者の状態を、対話音声提供部２１１にフィードバックしてもよい。これにより、対話音声提供部２１１は、次に対話音声を提供する際に、当該対話音声を、運転者の応答内容や運転者の状態に応じたものとすることができる。

（覚醒度推定処理の手順）
図６は、実施形態に係るナビゲーション装置１００（推定処理部１３０）による覚醒度推定処理の手順を示すフローチャートである。図６は、図２のフローチャートにおける覚醒度推定処理（ステップＳ２０５）の処理内容を、詳細に説明するものである。

まず、応答時間計測部１３１が、対話処理部１２４によって行われた対話処理における、応答時間（運転者向けの対話音声が出力されてから、運転者の応答音声が取得されるまでの応答時間）を計測する（ステップＳ６０１）。そして、応答時間計測部１３１が、ステップＳ６０１で計測された応答時間を、応答時間ＤＢ１３２に記録する（ステップＳ６０２）。

また、統計値算出部１３３が、応答時間ＤＢ１３２に記録されている複数の応答時間に基づいて、これら複数の応答時間の平均応答時間を算出する（ステップＳ６０３）。そして、推定部１３５が、ステップＳ６０１で計測された応答時間と、ステップＳ６０３で算出された平均応答時間とに基づいて、運転者の覚醒度の推定値を導出する（ステップＳ６０４）。

また、特定単語抽出部１３４が、対話処理部１２４によって行われた対話処理において生成された、運転者の応答音声の音声認識処理結果（音声テキスト）に基づいて、運転者の応答音声に含まれている特定の単語を抽出する（ステップＳ６０５）。そして、第２推定部１３６が、ステップＳ６０５で行われた抽出処理の結果に基づいて、運転者の覚醒度の推定値を導出する（ステップＳ６０６）。そして、推定処理部１３０は、図６に示す一連の処理を終了する。

（覚醒度復帰検知部１２３が参照するテーブルの一例）
図７は、実施形態に係るナビゲーション装置１００（覚醒度復帰検知部１２３）が参照するテーブルの一例を示す図である。図７に示すテーブル７００は、車両の走行に関する所定の正常動作毎に、加点数が設定されたものである。このテーブル７００は、例えば、制御装置１２０が備えるメモリに予め記憶されている。そして、このテーブル７００は、ナビゲーション装置１００の覚醒度復帰検知部１２３によって、運転者の覚醒度の低下状態からの復帰を検知する際に参照される。

（覚醒度復帰検知処理の手順）
図８は、実施形態に係るナビゲーション装置１００（覚醒度復帰検知部１２３）による覚醒度復帰検知処理の手順を示すフローチャートである。図８は、図２のフローチャートにおける覚醒度復帰検知処理（ステップＳ２０７）の処理内容を、詳細に説明するものである。

まず、覚醒度復帰検知部１２３は、情報取得部１２１によって取得された車両情報および道路情報に基づいて、テーブル７００に示すいずれかの正常動作が発生したことを特定する（ステップＳ８０１）。

例えば、覚醒度復帰検知部１２３は、車速信号、ブレーキ信号、加速度センサ出力信号等に基づいて、「緩やかな減速動作」が発生したことを特定することができる。また、例えば、覚醒度復帰検知部１２３は、ウインカ点灯信号、ハンドル舵角信号、車速信号等に基づいて、「正常な右左折ランプを伴う右左折」が発生したことを特定することができる。また、例えば、覚醒度復帰検知部１２３は、車線逸脱警報システムからの出力信号等に基づいて、「一定期間車線離脱なし」が発生したことを特定することができる。

ステップＳ８０１において、いずれの正常動作の発生も特定されなかった場合（ステップＳ８０１：Ｎｏ）、覚醒度復帰検知部１２３は、図８に示す一連の処理を終了する。一方、ステップＳ８０１において、いずれかの正常動作の発生が特定された場合（ステップＳ８０１：Ｙｅｓ）、覚醒度復帰検知部１２３は、図７のテーブル７００を参照することにより、ステップＳ８０１で特定された正常動作に対応付けられている加点数を特定する（ステップＳ８０２）。例えば、経路探索部２２２は、特定された正常動作が「緩やかな減速動作」である場合、テーブル７００から、加点数として「＋１点」を特定する。

そして、覚醒度復帰検知部１２３は、ステップＳ８０２で特定された加点数による、スコアの加点を行う（ステップＳ８０３）。さらに、覚醒度復帰検知部１２３は、ステップＳ８０３での加点により、スコアが所定の閾値を超えたか否かを判断する（ステップＳ８０４）。

ステップＳ８０４において、スコアが所定の閾値を超えていないと判断された場合（ステップＳ８０４：Ｎｏ）、覚醒度復帰検知部１２３は、図８に示す一連の処理を終了する。一方、ステップＳ８０４において、スコアが所定の閾値を超えたと判断された場合（ステップＳ８０４：Ｙｅｓ）、覚醒度復帰検知部１２３は、「運転者の覚醒度が低下状態から復帰した」と判断する（ステップＳ８０５）。そして、覚醒度復帰検知部１２３は、図８に示す一連の処理を終了する。

以上説明したように、本実施形態に係るナビゲーション装置１００によれば、対話音声に対して運転者が応答音声で応答する際に要する応答時間を計測し、当該応答時間と、当該応答時間の履歴に基づいて算出された統計値とに基づいて、運転者の覚醒度の推定値を導出することができる。本構成により、運転者自身の過去の応答時間に基づいて算出された統計値が基準となって、運転者の覚醒度の推定値が導出されることとなる。運転者自身の過去の応答時間は、運転者が質問に対する応答を行うときの個人差が忠実に反映されたものである。したがって、本実施形態に係るナビゲーション装置１００によれば、運転者の覚醒度を高精度に推定することができる。

また、本実施形態に係るナビゲーション装置１００によれば、運転者からの応答音声に含まれている特定の単語の抽出結果に基づいて、運転者の覚醒度の推定値を導出することができる。本構成により、運転者が実際に発した応答音声の内容から、運転者の覚醒度が推定されることとなる。運転者から発せられる応答音声の内容は、運転者の現在の状態（覚醒度）を運転者自身が忠実に表すものである。したがって、本実施形態に係るナビゲーション装置１００によれば、運転者の覚醒度を高精度に推定することができる。

また、本実施形態に係るナビゲーション装置１００によれば、運転者に向けて、複数の対話音声グループのうちのいずれか一の対話音声グループの対話音声が出力された場合、当該一の対話音声グループの対話音声が運転者に向けて過去に出力されたときの、応答時間の履歴に基づいて、応答時間の統計値を算出することができる。本構成により、質問内容に応じた適切な過去の応答時間に基づいて算出された統計値が基準となって、運転者の覚醒度の推定値が導出されることとなる。したがって、本実施形態に係るナビゲーション装置１００によれば、運転者の覚醒度を高精度に推定することができる。

また、本実施形態に係るナビゲーション装置１００によれば、車両情報に基づいて運転者の覚醒度低下が検知された場合、運転者と対話する音声である対話音声を出力し、対話音声の出力後、車両情報に基づいて運転者の覚醒度低下からの復帰を検知した場合、対話音声の出力を終了することができる。本構成により、実際に運転者の覚醒度が低下している間、運転者との対話が行われることとなる。したがって、本実施形態に係るナビゲーション装置１００によれば、運転者との対話を行う期間を、運転者の状態に応じて適切に調整することができる。

また、本実施形態に係るナビゲーション装置１００によれば、車両情報に基づいて所定の要注意動作が発生したことを特定する毎に、当該所定の要注意動作に対応付けられている点数をスコアから減点し、当該スコアが所定の閾値以下となったとき、運転者の覚醒度低下を検知することができる。本構成により、運転者による車両の運転操作に伴って、繰り返し所定の要注意動作が発生すると、運転者との対話が開始することとなる。ここでの所定の要注意動作は、運転者の覚醒度が低下した状態において生じ得るものである。したがって、本実施形態に係るナビゲーション装置１００によれば、運転者との対話の開始時期を、運転者の状態に応じて適切に調整することができる。

また、本実施形態に係るナビゲーション装置１００によれば、車両情報に基づいて所定の正常動作が発生したことを特定する毎に、当該所定の正常動作に対応付けられている点数をスコアに加点し、当該スコアが所定の閾値を超えたとき、運転者の覚醒度低下からの復帰を検知することができる。本構成により、運転者による車両の運転操作に伴って、繰り返し所定の正常動作が発生すると、運転者との対話が終了することとなる。ここでの所定の正常動作は、運転者の覚醒度が復帰した状態において生じ得るものである。したがって、本実施形態に係るナビゲーション装置１００によれば、運転者との対話の終了時期を、運転者の状態に応じて適切に調整することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明はこれらの実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形又は変更が可能である。

例えば、実施形態において、センターサーバ２００に設けることとした機能の一部（例えば、経路探索機能）を、ナビゲーション装置１００または他の情報処理装置に設けるようにしてもよい。

また、実施形態において、ナビゲーション装置１００に設けることとした機能の一部を、センターサーバ２００または他の情報処理装置に設けるようにしてもよい。例えば、対話処理部１２４を、センターサーバ２００または他の情報処理装置に設けるようにしてもよい。この場合、対話処理部１２４は、質問形式の対話音声を表す対話音声データを、ナビゲーション装置１００へ出力することにより、当該対話音声データに基づく対話音声を、ナビゲーション装置１００のスピーカ１０４から出力させる。また、対話処理部１２４は、ナビゲーション装置１００のマイク１０６から、対話音声に対する運転者の応答音声が入力されると、当該応答音声を表す応答音声データを、ナビゲーション装置１００から取得する。

また、実施形態において、「覚醒支援装置」の一例としてナビゲーション装置１００を用いているが、これ以外の情報処理装置（例えば、車載オーディオ装置、スマートフォン、タブレット端末等）によって、「覚醒支援装置」の機能を実現するようにしてもよい。

１０ 覚醒支援システム
１００ ナビゲーション装置（覚醒支援装置）
１０１ 入力装置
１０２ ディスプレイ
１０３ ＧＰＳユニット
１０４ スピーカ
１０５ 通信Ｉ／Ｆ
１０６ マイク
１１１ 地図ＤＢ
１１２ 施設情報ＤＢ
１２０ 制御装置
１２１ 情報取得部
１２２ 覚醒度低下検知部
１２３ 覚醒度復帰検知部
１２４ 対話処理部
１３０ 推定処理部
１３１ 応答時間計測部
１３２ 応答時間ＤＢ
１３３ 統計値算出部
１３４ 特定単語抽出部
１３５ 推定部
１３６ 第２推定部
２００ センターサーバ
２０１ 通信Ｉ／Ｆ
２１０ 制御装置
２１１ 対話音声提供部
２１２ 応答音声解析部
２１３ 状態検知部

Claims (3)

1. 質問形式の対話音声を出力し、前記対話音声に対する運転者の応答音声を取得する対話処理部と、
   前記対話音声に対して前記運転者が前記応答音声で応答する際に要する応答時間を計測する応答時間計測部と、
   前記応答時間の履歴に基づいて前記応答時間の統計値を算出する統計値算出部と、
   前記応答時間計測部によって計測された前記応答時間と、前記統計値算出部によって算出された前記統計値とに基づいて、前記運転者の覚醒度の推定値を導出する推定部と、
   を備え、
   複数の前記対話音声が、想定する応答時間の長さに応じて、複数の対話音声グループに分類されており、
   前記統計値算出部は、前記運転者に向けて、前記複数の対話音声グループのうちのいずれか一の対話音声グループの前記対話音声が出力された場合、当該一の対話音声グループの前記対話音声が前記運転者に向けて過去に出力されたときの、前記応答時間の履歴に基づいて、前記応答時間の統計値を算出する、覚醒支援装置。
2. 前記応答音声に含まれている特定の単語を抽出する特定単語抽出部と、
   前記特定単語抽出部による前記特定の単語の抽出結果に基づいて、前記運転者の覚醒度の推定値を導出する第２推定部と、
   をさらに備える、請求項１に記載の覚醒支援装置。
3. 質問形式の対話音声を出力し、前記対話音声に対する運転者の応答音声を取得する対話処理工程と、
   前記対話音声に対して前記運転者が前記応答音声で応答する際に要する応答時間を計測する応答時間計測工程と、
   前記応答時間の履歴に基づいて前記応答時間の統計値を算出する統計値算出工程と、
   前記応答時間計測工程で計測された前記応答時間と、前記統計値算出工程で算出された前記統計値とに基づいて、前記運転者の覚醒度の推定値を導出する推定工程と、
   を含み、
   複数の前記対話音声が、想定する応答時間の長さに応じて、複数の対話音声グループに分類されており、
   前記統計値算出工程では、前記運転者に向けて、前記複数の対話音声グループのうちのいずれか一の対話音声グループの前記対話音声が出力された場合、当該一の対話音声グループの前記対話音声が前記運転者に向けて過去に出力されたときの、前記応答時間の履歴に基づいて、前記応答時間の統計値を算出する、覚醒支援方法。

Images