JP7239260B2 - 電子装置、運転者状態推定システム - Google Patents

Description

本発明は、運転者の状態を推定する機能を備えた電子装置に関し、特に、運転者の疲労状態を推定し、推定結果に基づき運転支援情報を提示する技術に関する。

運転者の状態を監視して、運転者の疲労や眠気を警告するシステムが実用化されている。このようなシステムでは、運転時間、顔認識(例えば、目の開閉状態)、心拍数や脈拍などの生体情報を用いて、運転者の疲労度合を検知している。例えば、特許文献１の運転支援装置は、生体情報に基づき運転者の疲労度を推定し、その疲労度を、運転継続時間、運転操作、道路種別、眠気等に応じて補正する方法を開示している。

国際公開２０１７－０１７７８３号公報

上記した特許文献１は、走行中の運転者の疲労度の判定に、目的地や運転の経験値などで疲労度に重み付けし、警報表示をするか否かを判定している。しかしながら、運転者が車両に乗車する前に疲労しているような場合には、必ずしも走行中の運転者の疲労度を正確に判定することができないおそれがある。例えば、乗車前に電子機器等を過度に操作したり、長時間の視聴を行った場合には、運転者に疲労が蓄積していることがあり、通常のときよりも早く眠気や疲労を生じることがある。このため、搭乗前の運転者の状態を考慮することが望まれる。

本発明は、このような従来の課題を解決するものであり、車外における運転者の行動を考慮して走行中の運転者の状態を推定する機能を備えた電子装置および運転者状態推定システムを提供することを目的とする。

本発明に係る、運転者の状態を推定する機能を備えた電子装置は、車外における運転者の行動履歴情報を取得可能な取得手段と、前記行動履歴情報に基づき車外における運転者の状態を推定する第１の運転者状態推定手段と、車内における運転者の状況を検出する検出手段と、前記検出手段により検出された運転者の状況および第１の運転者状態推定手段の推定結果に基づき車内における運転者の状態を推定する第２の運転者状態推定手段とを有する。

ある実施態様では、前記第２の運転者状態推定手段は、前記第１の運転者状態推定手段の推定結果に応じて運転者の状態を推定するための閾値または条件を可変する。ある実施態様では、前記第２の運転者状態推定手段は、運転者の疲労度を推定するために前記閾値または前記条件を用いる。

本発明に係る、運転者の状態を推定する機能を備えた電子装置は、車外における運転者の行動履歴情報を取得可能な取得手段と、前記行動履歴情報に基づき車外における運転者の状態を推定する第１の運転者状態推定手段と、車内における運転者の状況を検出する検出手段と、前記検出手段により検出された運転者の状況に基づき車内における運転者の状態を推定する第２の運転者状態推定手段と、前記第１の運転者状態推定手段の推定結果および第２の運転者状態推定手段の推定結果に基づき運転者支援情報を提示する提示手段とを有する。

ある実施態様では、前記提示手段は、前記第１の運転者状態推定手段の推定結果に応じて運転支援情報を提示するための閾値または条件を可変する。ある実施態様では、前記提示手段は、前記閾値または前記条件により前記運転支援情報を提示するタイミングを可変する。ある実施態様では、電子装置はさらに、自車位置を検出する位置検出手段を含み、前記取得手段は、前記位置検出手段により検出された自車位置に基づき前記行動履歴情報を選択する。ある実施態様では、前記取得手段は、自車の現在地が自宅である場合には、自宅に設置された電子機器に関する行動履歴情報を取得し、自車の現在地が自宅以外である場合には、携帯端末に関する行動履歴情報を取得する。ある実施態様では、前記取得手段は、外部と無線による通信を可能にする通信手段を含み、前記取得手段は、前記通信手段を介して前記行動履歴情報を取得する。ある実施態様では、前記取得手段は、当該電子装置が起動されるときに前記行動履歴情報を取得する。ある実施態様では、前記第１および第２の運転者状態推定手段は、運転者の疲労度を推定する。ある実施態様では、前記第１および第２の運転者状態推定手段は、運転者の睡眠時間から疲労度を推定する。ある実施態様では、前記行動履歴情報は、運転者による車外の電子機器の操作情報、運転者による車外の電子機器の視聴情報、運転者による電子機器の通信情報、運転者による電子機器の通話情報、または運転者による電子機器のアプリケーション情報を含む。

本発明に係る運転者状態推定システムは、上記記載された電子装置と、当該電子装置と通信を可能なサーバーと、運転者により使用可能な外部の電子機器とを含み、前記外部の電子機器は、運転者の使用情報を前記サーバーにアップロードし、前記電子装置は、前記サーバーから運転者の使用情報に関する行動履歴情報をダウンロードする。ある実施態様では、前記外部の電子機器は、高機能型携帯電話機（スマートフォン）や運転者の自宅に設置されたスマート家電機器を含む。

本発明によれば、車外における運転者の行動履歴情報を取得し、これを利用して車内における運転者の状態を推定し、あるいは運転支援情報の提示をするようにしたので、車内における運転者の状態をより正確に推定することができ、あるいはより適切な運転支援情報を提示することができる。

本発明の実施例に係る運転者状態推定システムの構成例を示す図である。 本発明の実施例に係る車載装置の構成例を示す図である。 本実施例の生体情報取得部の一構成例を示す図である。 本発明の実施例に係る運転者状態推定プログラムの機能的な構成を示すブロック図である。 本発明の実施例に係るスマート家電機器や携帯端末等の電子機器の典型的な構成を示す図である。 本発明の実施例に係る運転者の行動履歴抽出プログラムの機能的な構成を示すブロック図である。 図７（Ａ）は、本実施例の行動履歴サーバーの機能的な構成を示す図、図７（Ｂ）は、行動履歴情報の一例を示す図である。 本発明の実施例に係る運転者状態推定システムの動作フローである。 本発明の第１の実施例に係る車載装置の運転者状態推定の動作フローである。 本発明の第２の実施例に係る車載装置の運転者状態推定の動作フローである。 本発明の第２の実施例に係る車載装置の運転者状態推定の動作フローである。

次に、本発明の実施形態について説明する。本発明の運転者の状態を推定する機能を備えた電子装置は、ある実施態様では、パーソナルコンピュータ、ポータブル端末、またはオーディオ・ビジュアル・ナビゲーション（ＡＶＮ）機能を備えた車載装置であることができる。また、ある実施態様では、本発明の電子装置は、運転支援システムに適用され、運転者の状態に応じた運転支援情報を提示する。運転支援情報には、走行中の運転案内や注意喚起、休憩や運転の中止などの勧告等が含まれる。以下の実施例では、運転者の状態を推定する機能を備えた電子装置として車載装置を例示する。

図１は、本発明の実施例に係る運転者状態推定システムの構成例を示す図である。本実施例に係る運転者状態推定システム１０は、自宅に設置されたスマート家電機器２０、スマートフォン等に代表される携帯端末３０、運転者の行動履歴情報を提供する行動履歴サーバー４０、および運転者の状態を推定する機能を備えた車載装置１００を含んで構成される。運転者の状態とは、例えば、運転者の疲労度である。

スマート家電機器２０は、例えば、テレビ、パーソナルコンピュータ、ゲーム機器などであり、運転者が自宅で使用する電子機器である。スマート家電機器２０は、無線通信機能を備え、インターネットに接続可能なＩｏＴ化された家電であり、運転者によるスマート家電機器２０の使用に関する使用情報を行動履歴サーバー４０にアップロードする機能を備えている。携帯端末３０は、運転者が携帯し、使用する機器であり、携帯端末３０は、無線通信機能を備え、運転者による携帯端末３０の使用に関する使用情報を行動履歴サーバー４０にアップロードする機能を備えている。

図１には、一人のユーザーしか例示していないが、行動履歴サーバー４０は、複数のユーザーの行動履歴情報をそれぞれ管理し、各ユーザーの車載装置等からのリクエストに応じて行動履歴情報を送信する。

車載装置１００は、例えば、運転者車両Ｍに搭乗しこれから運転を開始しようとするとき、あるいは起動時に、行動履歴サーバー４０にアクセスし、行動履歴サーバー４０から運転者の行動履歴情報をダウンロードする。行動履歴サーバー４０に格納されている行動履歴情報は、運転者の車外における行動履歴であり、行動履歴情報は、走行前の運転者の行動あるいは状態を推定するために利用される。

図２は、本実施例の車載装置１００の内部構成を示すブロック図である。車載装置１００は、入力部１１０、位置検出部１２０、ナビゲーション部１３０、生体情報取得部１４０、車両情報取得部１５０、出力部１６０、記憶部１７０、通信部１８０および制御部１９０を含んで構成される。ここに示す構成は一例であり、車載装置１００は、オーディオ・ビデオ機能や、テレビ・ラジオ受信機能などを備えるものであってもよい。さらに車載装置１００は、車両周辺を撮像する撮像カメラやレーダー等を用いて障害物や白線等を検知し、運転者の走行支援を行う機能を搭載するものであってもよい

入力部１１０は、ユーザーからの入力を受け取り、これを制御部１９０へ提供する。位置検出部１２０は、例えば、ＧＰＳ測位や自立航法測位（角速度センサや加速度センサなど）により車両Ｍの現在地を検出する。ナビゲーション部１３０は、道路地図データを参照し、車両Ｍの現在地周辺の道路を案内したり、目的地までの経路を探索し、探索経路を案内する。

生体情報取得部１４０は、乗車後、すなわち車内における運転者の生体情報を取得する。生体情報取得部１４０は、１つまたは複数の生体センサを含むことができ、例えば、図４に示すような心拍計１４２、脳波計１４４、血圧計、体温計などを含むことができる。生体センサは、ウエアラブル端末として運転者に装着することが可能であり、生体センサで検出された結果は制御部１９０へ提供される。さらに生体情報取得部１４０は、運転者の顔を撮像する撮像カメラまたはドライブレコーダ１４６を含むことができる。撮像カメラ１４６によって撮像された画像は、制御部１９０へ提供され、制御部１９０は、画像データを解析することで運転者の瞼の開閉度合、視線方向、欠伸など検出し、これを生体情報として利用する。

車両情報取得部１５０は、車両に関する車両情報を取得する。車両情報は、例えば、ウィンカー操作、ヘッドライトの点灯または消灯、ワイパー操作、フットブレーキ操作、アクセル操作、ハンドル操作、パーキングブレーキのオンまたはオフ、速度情報などを車内バス等を介して取得する。

出力部１６０は、表示部や音声出力部（スピーカー）を含み、例えば、ナビゲーション部１３０が動作されているとき、表示部に道路地図が表示され、音声出力部から交差点等の案内音声が出力される。また、車載装置１００は、運転者の状態（例えば、疲労状態）に応じて、運転者を覚醒させる警告や疲労度に応じた交差点案内などを出力部１６０から出力させることができる。

記憶部１７０は、車載装置１００に必要なデータやソフトウエア等を格納する。例えば、ナビゲーション部１３０に使用される道路地図データや制御部１９０が実行するアプリケーションプログラム等が記憶される。通信部１８０は、外部機器や外部ネットワークとの間で有線または無線によるデータ通信を可能にする。１つの態様では、図１に示すように、通信部１８０は、インターネット等を介して行動履歴サーバー４０にアクセスし、そこから車外における運転者の行動履歴情報をダウンロードする。

制御部１９０は、例えば、ＲＯＭ／ＲＡＭを備えたマイクロコントローラ、マイクロプロセッサ、画像処理プロセッサ、ディジタルシグナルプロセッサ（ＤＳＰ）等を含み、ソフトウエアおよび／またはハードウエアにより車載装置１００の各部を制御する。

１つの態様では、制御部１９０は、運転者の状態を推定するための運転者状態推定プログラムを実行する。図４に、運転者状態推定プログラム２００の機能的な構成を示す。運転者状態推定プログラム２００は、行動履歴情報取得部２１０、車外運転者状態推定部２２０、車内運転者状態推定部２３０、運転支援情報提示部２４０を備える。

行動履歴情報取得部２１０は、通信部１８０を介して行動履歴サーバー４０にアクセスし、そこから車外における運転者の行動履歴情報を取得する。１つの例では、車両Ｍのイグニッションキーがオンされたとき、あるいは車載装置１００が起動されたとき、行動履歴情報取得部２１０は、行動履歴サーバー４０にアクセスし、行動履歴情報を取得する。他の例では、行動履歴情報取得部２１０は、ユーザーからの指示があったとき、あるいは運転者状態推定プログラム２００により決められたスケジュールに従い、行動履歴サーバー４０にアクセスし、そこから行動履歴情報を取得する。

車外運転者状態推定部２２０は、行動履歴情報取得部２１０によって取得された行動履歴情報に基づき車外における運転者の状態、言い換えれば車両Ｍに搭乗する前の運転者の状態を推定する。運転者の状態とは、例えば、運転者の疲労度である。ある態様では、車外運転者状態推定部２２０は、予め用意されたアルゴリズムに従い、行動履歴情報に対応する疲労度の度合を数値化し、数値化した疲労度を車内運転者状態推定部２３０へ提供する。例えば、疲労度が大きい場合には、数値も大きくなり、疲労度が小さい場合には、数値が小さくなる。

車内運転者状態推定部２３０は、車外運転者状態推定部２２０による推定結果を考慮し、かつ生体情報取得部１４０で取得された生体情報および／または車両情報取得部１５０で取得された車両情報に基づき車内における運転者の状態、つまり車両Ｍに搭乗した運転者の状態を推定する。

車内運転者状態推定部２３０は、生体情報に基づき運転者の状態（ここでは、疲労度とする）を推定する。例えば、車両情報やドライブレコーダ１４６からの映像により運転時間が一定値を超えたか否か、単位時間当たりの運転者の瞬きの回数が一定値以下になったか否か、運転者の瞼の開き具合が小さくなったか否か、運転者の心拍数が一定値以下になったか否か、運転者の特定の脳波の有無などに基づき、運転者の疲労度を推定する。運転者の疲労度の推定には、車両情報に基づき、走行中における右左折の回数、ブレーキの回数、アクセルの回数なども加味するようにしてもよい。１つの態様では、車内運転者状態推定部２３０は、予め決められたアルゴリズムに従い、取得した生体情報や車両情報を数値化する。

車内運転者状態推定部２３０は、上記のように生体情報や車両情報に基づき運転者の状態を推定するが、この推定を行うとき、車外運転者状態推定部２２０により推定された運転者の状態を初期データとして用いる。１つの態様として、車外における運転者の疲労度をＴｏｕｔとしたとき、車内運転者状態推定部２３０は、車外における運転者の疲労度Ｔｏｕｔに応じて、車内における運転者の疲労度Ｔｉｎを推定するために用いる閾値Ｔｈを可変する。例えば、取得された生体情報や車両情報を演算して得られた数値をＤＥＴとしたとき、車内運転者状態推定部２３０は、ＤＥＴ＞Ｔｈであるとき、車内における運転者の疲労度Ｔｉｎが高いと推定し、ＤＥＴ＜Ｔｈであるとき、車内における運転者の疲労度Ｔｉｎが小さいと推定する。もし、車外における運転者の疲労度Ｔｏｕｔが比較的大きければ、閾値ＴｈをＴｈ＿ｓに小さくし、通常のときよりも疲労度の推定がされ易くなるようにする。他方、車外における疲労度Ｔｏｕｔが比較的小さければ、閾値ＴｈをＴｈ＿ｂに大きくし（Ｔｈ＿ｓ＜Ｔｈ＿ｂ）、通常のときよりも幾分だけ疲労度の推定がされ易くなるようにする。

なお、車内における運転者の状態を推定する閾値Ｔｈは１つに限らず、複数の閾値Ｔｈ１、Ｔｈ２、…、Ｔｈｎを用意し、運転者の疲労度を複数のレベルで推定するようにしてもよい。この場合にも、複数の閾値Ｔｈ１、Ｔｈ２、…、Ｔｈｎは、車外の運転者の疲労度Ｔｏｕｔに応じて可変される。さらに、上記の例では、車外における運転者の疲労度Ｔｏｕｔが高い場合と低い場合に応じて閾値Ｔｈを可変するようにしたが、疲労度Ｔｏｕｔをさらに複数の閾値を利用して複数レベルの疲労度に判別し、それぞれのレベルに応じて閾値Ｔｈを可変するようにしてもよい。

運転支援情報提示部２４０は、車内運転者状態推定部２３０の推定結果に基づき運転者にとって有益な運転情報を出力部１６０を介して提示する。例えば、運転支援情報提示部２４０は、車内における運転者の疲労度Ｔｉｎに応じた運転支援情報を提示し、疲労度が大きい場合には、通常よりも早いタイミングで運転支援情報（障害物の存在、ナビゲーション部１３０による交差点等の案内、白線逸脱の警告など）を提示したり、通常では提示しない運転支援情報（走行速度、後続車の有無など）を提示したりする。例えば、疲労度Ｔｉｎが大きい場合には、通常よりも時間ｔ１秒だけ早く運転支援情報を出力させ、疲労度Ｔｉｎが小さい場合には、通常よりも時間ｔ２秒だけ早く運転支援情報を出力させる（ｔ１＞ｔ２）。

次に、図１に示すスマート家電機器２０および携帯端末３０の機能について説明する。本実施例では、スマート家電機器２０および携帯端末３０は、運転者の行動履歴情報を抽出し、これを行動履歴サーバー４０にアップロードする機能を備えている。図５に、スマート家電機器２０や携帯端末３０等の電子機器３００の典型的な構成を示す。同図に示すように、電子機器３００は、通信部３１０、入力部３２０、出力部３３０、記憶部３４０および制御部３５０を含んで構成される。

通信部３１０は、外部機器または外部ネットワークと有線または無線を介してデータ通信を行う機能を有する。また、スマートフォンのような携帯端末であれば、通信部３１０は、公衆無線回線網を介してデータ通信や音声通話を可能にする。

入力部３２０は、ユーザーからの指示を受け取り、これを制御部３５０へ提供する。入力部３２０は、例えば、キーボード、タッチパネル、リモコン、マウス、音声認識モジュールなどである。出力部３３０は、画像を出力するディスプレイや音声を出力するスピーカー等を含む。例えば、電子機器がテレビであれば、出力部３３０は、テレビ放送で受信した映像／音声やインターネット配信された映像／音声を出力する。

記憶部３４０は、電子機器３００に必要なデータやソフトウエア等を格納する。制御部３５０は、例えば、ＲＯＭ／ＲＡＭを備えたマイクロコントローラ、マイクロプロセッサ、画像処理プロセッサ、ディジタルシグナルプロセッサ（ＤＳＰ）等を含み、ソフトウエアおよび／またはハードウエアにより電子機器３００の各部を制御する。１つの態様では、制御部３５０は、運転者の行動履歴情報を抽出するための行動履歴抽出プログラムを実行する。

図６に、行動履歴抽出プログラム４００の機能的な構成を示す。行動履歴抽出プログラム４００は、電子機器の使用状態を監視する使用状態監視部４１０、使用状態監視部４１０の監視結果に基づき使用情報を記憶部３４０に記録する使用情報記録部４２０、記録された使用情報を通信部３１０を介して行動履歴サーバー４０にアップロードする使用情報アップロード部４３０を備える。

使用状態監視部４１０は、スマート家電機器２０や携帯端末３０に代表される電子機器３００の使用状態を監視する。どのような使用状態を監視するかは任意であり、予め設定しておくことが可能である。１例として、使用状態監視部４１０は、運転者による入力部３２０の操作を監視し、操作回数、操作時刻、操作時間の累計などの操作情報を検出する。また、使用状態監視部４１０は、電子機器３００によって実行されているアプリケーションソフトウエアの種類（例えば、ゲームソフト、音楽再生ソフト、ブラウザソフトなど）やアプリケーションソフトウエアの使用時間を検出したり、出力部３３０から映像が出力されている時刻、出力されている時間の累計などの運転者の視聴情報を検出したり、通信部３１０によるインターネット等を介したデータ通信量、通信時刻、通信時間の累計などの通信情報を検出したり、運転者による通話時刻や通話時間の累計などの通話情報を検出する。さらに使用状態監視部４１０は、電子機器３００が位置情報を取得する機能を備えていれば、当該位置情報を検出する。電子機器３００の位置情報は、電子機器３００がスマート家電機器２０かスマートフォン３０からの識別に利用することが可能であり、さらにスマートフォン３０の位置情報である場合には、その位置情報の変化から運転者の移動距離を推定することが可能になる。

使用情報記録部４２０は、使用状態監視部４１０によって検出された操作情報、視聴情報、通信情報、通話情報、アプリケーション情報、位置情報等を、運転者による電子機器の使用情報として記憶部３４０に記録する。

使用情報アップロード部４３０は、使用情報記録部４２０によって記録された使用情報を通信部３１０を介して行動履歴サーバー４０にアップロードする。アップロードするタイミングは任意であり、使用情報記録部４２０が記録するときであってもよいし、使用状態監視部４１０により運転者による使用が検出されなくなったときであってもよいし、一定の時間間隔または予め決められた時間間隔等であってもよい。

次に、行動履歴サーバー４０について説明する。行動履歴サーバー４０は、電子機器３００（スマート家電機器２０や携帯端末３０）により抽出された行動履歴情報を車載装置１００に提供する中継として機能する。行動履歴サーバー４０は、図７（Ａ）に示すように、使用情報受信部４２、行動履歴情報作成部４４、および行動履歴情報送信部４６を含む。

使用情報受信部４２は、電子機器３００からアップロードされた使用情報を受け取り、行動履歴情報作成部４４は、アップロードを行った電子機器３００の識別情報とともに、受け取った使用情報に基づき行動履歴情報を作成し、これを記憶部に格納する。図７（Ｂ）に、作成された行動履歴情報の一例を示す。行動履歴情報作成部４４は、使用情報がアップロードされた時点を作成日時として、その使用情報を格納する。使用情報は、アップロードを行った電子機器の識別情報、運転者による電子機器３００の操作情報、視聴情報、通信情報、通話情報、アプリケーション情報、位置情報などを含む。

行動履歴情報送信部４６は、図４に示す行動履歴情報取得部２１０から行動履歴情報のリクエストを受け取ると、これに応答して、リクエストがあった時点から一定時間前の行動履歴情報を送信する。どのくらい前の期間の行動履歴情報を送信するかは、予め設定することが可能である。例えば、リクエストから６時間前、あるいは１２時間前の行動履歴情報が送信される。

また、行動履歴情報取得部２１０は、行動履歴情報の中から必要な情報のみを選択することが可能であり、その場合、行動履歴情報取得部２１０は、情報を選択するための選択条件をリクエストに含めることができる。例えば、行動履歴情報の中の操作情報のみの送信をリクエストしたり、位置情報に基づき自宅以外の電子機器の行動履歴情報の送信をリクエストすることも可能である。行動履歴情報送信部４６は、行動履歴情報取得部２１０からのリクエストに選択条件が含まれる場合には、当該選択条件に該当する行動履歴情報を送信する。

次に、本実施例による運転者状態推定システムの動作について図８のフローを参照して説明する。運転者による電子機器３００の使用が行われると（Ｓ１００）、電子機器３００において使用情報が記録され（Ｓ１１０）、決められたタイミングで使用情報が行動履歴サーバー４０にアップロードされる（Ｓ１２０）。行動履歴サーバー４０は、アップロードされた使用情報に基づき行動履歴情報を作成し（Ｓ１３０）、これを運転者の個人情報としてサーバーに格納する（Ｓ１４０）。その後、運転者が車両に乗車し、例えば、車載装置１００が起動されたとき（Ｓ１５０）、車載装置１００から行動履歴サーバー４０に対して行動履歴情報の送信がリクエストされる。行動履歴サーバー４０は、当該リクエストを受信すると、運転者の行動履歴情報を車載装置１００へ送信し（Ｓ１６０）、車載装置１００は、車外における運転者の行動履歴情報を取得する（Ｓ１７０）。

図９は、本発明の第１の実施例に係る車載装置の運転者状態推定の動作を説明するフローチャートである。車載装置１００において、行動履歴情報取得部２１０により行動履歴情報が取得されると（Ｓ２００）、車外運転者状態推定部２２０により車外における運転者の状態が推定される（Ｓ２１０）。次に、車内運転者状態推定部２３０は、車外運転者状態推定部２２０によって推定された結果を初期データとして取り込み、車内における運転者の状態を推定するために用いる閾値Ｔｈを、車外における運転者の状態を考慮して調整する（Ｓ２２０）。そして、車内運転者状態推定部２３０は、調整された閾値Ｔｈを用いて、取得された生体情報や車両情報に基づき車内における運転者の状態を推定する（Ｓ２４０）。次に、運転支援情報提示部２４０は、車内運転者状態推定部２３０の推定結果に基づき運転支援情報を提示する（Ｓ２４０）。運転者状態推定プログラム２００は、走行が継続される場合には、ステップＳ２３０、Ｓ２４０を繰り返す。

このように本実施例によれば、運転者が運転を開始する前の車外の行動履歴情報を取得し、車外における運転者の状態を推定し、この推定結果を車内における運転者の状態の推定に反映させるようにしたので、車内における運転者の状態をより正確に推定することができ、その結果、適切なタイミングあるいは適切な内容の運転支援情報を運転者に提示することができる。

次に、本発明の第２の実施例について説明する。第１の実施例では、車外における運転者の状態の推定結果を車内における運転者の状態の推定に反映させるようにしたが、第２の実施例は、車外における運転者の状態の推定結果を運転支援情報の提示に反映させる。

図４に示す車外運転者状態推定部２２０による推定結果は、運転支援情報提示部２４０に提供され、運転支援情報提示部２４０は、その推定結果に応じて運転支援情報を提示する。１つの態様として、車外における運転者の疲労度をＴｏｕｔとしたとき、運転支援情報提示部２４０は、車外における運転者の疲労度Ｔｏｕｔに応じて、運転支援情報を提示するタイミングを可変する。例えば、疲労度Ｔｏｕｔが比較的大きい場合には、運転支援情報提示部２４０は、通常のときよりも時間Ｔ１だけ早いタイミングで運転支援情報を提示し、運転者に時間的余裕をもって運転支援情報を知らせる。また、疲労度Ｔｏｕｔが比較的小さい場合には、運転支援情報提示部２４０は、通常のときよりも早いが時間Ｔ１よりも遅い時間Ｔ２のタイミングで運転支援情報を提示する。また、他の態様では、運転支援情報提示部２４０は、疲労度Ｔｏｕｔに応じて運転支援情報（例えば、運転中止の警告）を提示するか否かの閾値Ｔｐを可変するようにしもてよい。例えば、疲労度Ｔｏｕｔが比較的大きい場合には、閾値ＴｐをＴｐ＿ｓに小さくし、運転支援情報が提示され易くなるようにし、疲労度Ｔｏｕｔが比較的小さい場合には、閾値ＴｐをＴｐ＿ｂに大きくし、運転支援情報が幾分だけ提示され易くなるようにしてもよい。

図１０は、本発明の第２の実施例に係る車載装置の運転者状態推定の動作を説明するフローチャートである。車載装置１００において、行動履歴情報取得部２１０により行動履歴情報が取得されると（Ｓ３００）、車外運転者状態推定部２２０により車外における運転者の状態が推定される（Ｓ３１０）。次に、運転支援情報提示部２４０は、車外運転者状態推定部２２０によって推定された結果を初期データとして取り込み、運転支援情報を提示するための条件を、車外における運転者の状態を考慮して調整する（Ｓ３２０）。次に、車内運転者状態推定部２３０は、取得された生体情報や車両情報に基づき車内における運転者の状態を推定し（Ｓ３３０）、この推定結果を運転支援情報提示部２４０に提供する。運転支援情報提示部２４０は、調整された条件を用いて、車内運転者状態推定部２３０の推定結果に基づき運転支援情報を提示する（Ｓ３４０）。運転者状態推定プログラム２００は、走行が継続される場合には、ステップＳ３３０、Ｓ３４０を繰り返す。

このように本実施例によれば、運転者が運転を開始する前の車外の行動履歴情報を取得し、車外における運転者の状態を推定し、この推定結果を運転支援情報を提示する条件に反映させるようにしたので、車内における運転者の状態に応じた適切なタイミングあるいは適切な内容の運転支援情報を運転者に提示することができる。なお、本発明は、第１の実施例と第２の実施例とを組み合わせるものであってもよく、この場合、車外における運転者の状態の推定結果は、車内運転者状態推定部２３０の閾値Ｔｈおよび運転支援情報提示部２４０の提示条件のそれぞれに反映され、これにより、車内おける運転者の状態を正確に推定しつつ、運転支援情報を適切に提示することが可能になる。

次に、本発明の第３の実施例について説明する。図１１は、本発明の第３の実施例に係る車載装置の運転者状態推定の動作を説明するフローチャートである。先ず、行動履歴情報取得部２１０は、着座センサまたはドライブレコーダの画像に基づき運転者が運転席に着座したことが検出されると（Ｓ４００）、位置検出部１２０から現在地情報を入手し（Ｓ４１０）、自車が自宅か否かを判定する（Ｓ４２０）。自宅の現在地は、例えば、ナビゲーション部１３０に登録されている自宅情報を使用してもよいし、運転者状態推定プログラム２００に予め登録しておいてもよい。

行動履歴情報取得部２１０は、自車の現在地が自宅である場合には、スマート家電機器２０の行動履歴情報を取得する（Ｓ４３０）。この場合、行動履歴情報取得部２１０は、行動履歴情報の送信を行動履歴サーバー４０にリクエストする際に、選択条件としてスマート家電機器の識別情報を加える。これにより、行動履歴サーバー４０は、スマート家電機器２０からアップロードされた使用情報に基づき作成された行動履歴情報を検索し、検索された行動履歴情報を車載装置１００へ送信する。

次に、車外運転者状態推定部２２０は、スマート家電機器２０の行動履歴情報に基づき運転者の昨晩の睡眠時間がＸ以下か否かを推定する（Ｓ４４０）。睡眠時間は、例えば、スマート家電機器２０が夜中の１時まで使用され、朝の７時から使用が開始された場合には、睡眠時間が６時間と推定される。また、デフォルト値として、睡眠の開始時刻午前０時、終了時刻が午前８時とし、その間にスマート家電機器２０の使用があれば、デフォルト値から使用時間を減算するようにしてよい。睡眠時間がＸ以下の場合、第１、第２の実施例のときと同様に、車内運転者状態推定部２３０および／または運転支援情報提示部２４０は、運転者へ疲労警告または運転支援情報の警報タイミングを調整し（Ｓ４５０）、睡眠時間がＸを越える場合には、通常の運転支援情報の警報タイミングを使用する（Ｓ４８０）。

一方、自車の現在地が自宅以外の場合（Ｓ４２０）、行動履歴情報取得部２１０は、スマートフォン（携帯端末３０）の行動履歴情報を取得する（Ｓ４６０）。つまり、運転者は、自宅以外の場所で活動をしていることが予想されるからである。行動履歴情報取得部２１０は、行動履歴情報の送信を行動履歴サーバー４０にリクエストする際に、選択条件として携帯端末３０の識別情報を加える。これにより、行動履歴サーバー４０は、携帯端末３０からアップロードされた使用情報に基づき作成された行動履歴情報を検索し、検索された行動履歴情報を車載装置１００へ送信する。

次に、車外運転者状態推定部２２０は、携帯端末３０の行動履歴情報に基づき運転者の操作時間がＹ以上か否かを推定する（Ｓ４７０）。操作時間がＹ以上である場合には、第１、第２の実施例のときと同様に、車内運転者状態推定部２３０および／または運転支援情報提示部２４０は、運転者へ疲労警告または運転支援情報の警報タイミングを調整し（Ｓ４５０）、操作時間がＹ未満の場合には、通常の運転支援情報の警報タイミングを使用する（Ｓ４８０）。

このように本実施例によれば、自車の現在位置に基づきスマート家電機器２０または携帯端末３０の行動履歴情報を選択するようにしたので、車外における運転者の適切な行動履歴情報を取得することができ、その結果、車内における運転者の状態をより正確に推定することができる。

上記実施例では、行動履歴情報の取得に行動履歴サーバー４０を利用したが、これは一例であり、本発明は、行動履歴サーバー４０を介在させずに、車載装置１００が直接的にスマート家電機器２０あるいは携帯端末３０と通信し、それぞれの機器から行動履歴情報を取得するものであってもよい。

以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。

１０：運転者状態推定システム
２０：スマート家電機器
３０：携帯端末
４０：行動履歴サーバー
１００：車載装置
２００：運転者状態推定プログラム
３００：電子機器
４００：行動履歴抽出プログラム
Ｍ：車両

Claims (14)

1. 運転者の状態を推定する機能を備えた電子装置と、
   運転者の自宅に設置された家電機器と、
   運転者の携帯端末と、
   前記電子装置、前記家電機器および前記携帯端末と通信可能なサーバーとを含み、
   前記家電機器は、当該家電機器の使用状態を監視し、当該監視から得られた使用情報を前記サーバーにアップロードし、
   前記携帯端末は、当該携帯端末の使用状態を監視し、当該監視から得られた使用情報を前記サーバーにアップロードし、
   前記サーバーは、前記家電機器および前記携帯端末からアップロードされた使用情報に基づき運転者の行動履歴情報を作成し、前記電子装置からのリクエストに応答して前記行動履歴情報を前記電子装置に送信し、
   前記電子装置は、
   前記サーバーに前記リクエストを送信し、前記サーバーから運転者の行動履歴情報を取得可能な取得手段と、
   前記行動履歴情報に基づき車外における運転者の疲労度を推定する第１の運転者状態推定手段と、
   車内における運転者の状況を検出する検出手段と、
   前記第１の運転者状態推定手段によって推定された疲労度を初期データとして取り込み、車内における運転者の疲労度を推定するために用いる閾値または条件を前記初期データに応じて変更し、前記変更された閾値または条件を用いて前記検出手段により検出された運転者の状況に基づき車内における運転者の疲労度が高いか否かを推定する第２の運転者状態推定手段と、
   を有する運転者状態推定システム。
2. 運転者の状態を推定する機能を備えた電子装置と、
   運転者の自宅に設置された家電機器と、
   運転者の携帯端末と、
   前記電子装置、前記家電機器および前記携帯端末と通信可能なサーバーとを含み、
   前記家電機器は、当該家電機器の使用状態を監視し、当該監視から得られた使用情報を前記サーバーにアップロードし、
   前記携帯端末は、当該携帯端末の使用状態を監視し、当該監視から得られた使用情報を前記サーバーにアップロードし、
   前記サーバーは、前記家電機器および前記携帯端末からアップロードされた使用情報に基づき運転者の行動履歴情報を作成し、前記電子装置からのリクエストに応答して前記行動履歴情報を前記電子装置に送信し、
   前記電子装置は、
   前記サーバーに前記リクエストを送信し、前記サーバーから運転者の行動履歴情報を取得可能な取得手段と、
   前記行動履歴情報に基づき車外における運転者の疲労度を推定する第１の運転者状態推定手段と、
   車内における運転者の状況を検出する検出手段と、
   前記検出手段により検出された運転者の状況に基づき車内における運転者の疲労度を推定する第２の運転者状態推定手段と、
   前記第１の運転者状態推定手段の推定結果および第２の運転者状態推定手段の推定結果に基づき運転者支援情報を提示する提示手段とを有し、
   前記提示手段は、前記第１の運転者状態推定手段によって推定された疲労度を初期データとして取り込み、運転者支援情報を提示するための閾値または条件を前記初期データに応じて変更し、前記変更された閾値または条件を用いて運転支援情報を提示する、運転者状態推定システム。
3. 前記提示手段は、前記閾値または前記条件により前記運転支援情報を提示するタイミングを可変する、請求項２に記載の運転者状態推定システム。
4. 前記取得手段は、前記行動履歴情報を選択するための選択条件を前記リクエストに含め、
   前記サーバーは、前記選択条件に応じた行動履歴情報を前記電子装置に送信する、請求項１または２に記載の運転者状態推定システム。
5. 電子装置はさらに、自車位置を検出する位置検出手段を含み、
   前記取得手段は、前記位置検出手段により検出された自車位置に応じた行動履歴情報を選択するための選択条件を前記リクエストに含め、
   前記サーバーは、前記選択条件に応じた行動履歴情報を前記電子装置に送信する、請求項１または２に記載の運転者状態推定システム。
6. 前記取得手段は、自車の現在地が自宅である場合には、自宅に設置された前記家電機器の行動履歴情報を選択するための選択条件を前記リクエストに含め、自車の現在地が自宅以外である場合には、前記携帯端末の行動履歴情報を選択するための選択条件を前記リクエストに含める、請求項５に記載の運転者状態推定システム。
7. 前記取得手段は、外部と無線による通信を可能にする通信手段を含み、前記取得手段は、前記通信手段を介して前記行動履歴情報を取得する、請求項１または２に記載の運転者状態推定システム。
8. 前記取得手段は、当該電子装置が起動されるときに前記行動履歴情報を取得するためのリクエストを送信する、請求項１または２に記載の運転者状態推定システム。
9. 前記第１および第２の運転者状態推定手段は、運転者の睡眠時間から疲労度を推定する、請求項１または２に記載の運転者状態推定システム。
10. 前記行動履歴情報は、運転者による車外の電子機器の操作情報を含む、請求項１または２に記載の運転者状態推定システム。
11. 前記行動履歴情報は、運転者による車外の電子機器の視聴情報を含む、請求項１または２に記載の運転者状態推定システム。
12. 前記行動履歴情報は、運転者による電子機器の通信情報を含む、請求項１または２に記載の運転者状態推定システム。
13. 前記行動履歴情報は、運転者による電子機器の通話情報を含む、請求項１または２に記載の運転者状態推定システム。
14. 前記行動履歴情報は、運転者による電子機器のアプリケーション情報を含む、請求項１または２に記載の運転者状態推定システム。

Images