JP7575397B2

JP7575397B2 - ドライバー異常対応システム、ドライバー異常対応方法、及びプログラム

Info

Publication number: JP7575397B2
Application number: JP2021555685A
Authority: JP
Inventors: 公則佐藤; 宏夫川島; 憲之根本; 将仁谷口
Original assignee: Logisteed Ltd
Current assignee: Logisteed Ltd
Priority date: 2019-11-13
Filing date: 2019-11-13
Publication date: 2024-10-29
Anticipated expiration: 2039-11-13
Also published as: WO2021095153A1; JPWO2021095153A1

Description

本発明は、車両等のドライバーの異常レベルを判定し、判定された異常レベルに応じて対応策を選択し、選択された対応策を実行することが可能なドライバー異常対応システム、ドライバー異常対応方法、及びプログラムに関する。

近年、運転中のドライバーの異常が原因の交通事故や不祥事を解決する技術が注目されている。例えば、運転者が、正常姿勢から異常姿勢に遷移する過程で頭部が位置すると想定される範囲に、少なくとも一つの予兆領域を規定して、その予兆領域に頭部が逗留した場合に、運転者が異常姿勢の状態にあると判定する技術が提案されている（特許文献１）。

特開２０１９－１０５８７２号公報

運転中のドライバーの異常が原因の交通事故や不祥事を解決するには、ドライバーの異常の度合い（異常レベル）に応じた対応策を実施することが重要である。しかしながら、特許文献１には、車線逸脱防止機能及び路外逸脱防止機能を有する減速停止型の異常時対応システムについては記載があるが、運転中のドライバーの異常レベルを判定して、異常レベルに応じた対応策を実施することはできないという問題がある。

この課題に対して、本発明者は、ドライバーの正常時の運転の仕方を学習しておけば、ドライバーの運転の仕方が学習の結果と異なる時に、その異なりの度合いに応じて異常レベルを判定することが可能であるため、判定された異常レベルに応じた対応策を実行することが可能である点に着目した。

本発明は、車両等のドライバーの正常時の運転の仕方を学習することにより、ドライバーの運転の仕方が学習の結果と異なる時に異常レベルを判定し、判定された異常レベルに応じて対応策を選択し、選択された対応策を実行することが可能なドライバー異常対応システム、ドライバー異常対応方法、及びプログラムを提供することを目的とする。

本発明では、以下のような解決手段を提供する。

第１の特徴に係る発明は、
運転中のドライバーの異常レベルを判定して、選択された対応策を実行するドライバー異常対応システムであって、
正常時のドライバーが撮像された正常時画像を取得する第１取得手段と、
前記取得された正常時画像を解析してドライバーを特定し、そのドライバーについての正常時動作を検出する第１検出手段と、
前記特定したドライバー毎に前記検出された正常時動作を学習する学習手段と、
正常時であるか異常時であるか未知のドライバーが撮像された未知画像を取得する第２取得手段と、
前記取得された未知画像を解析してドライバーを特定し、そのドライバーについての未知動作を検出する第２検出手段と、
指標は顔や手の動き、仕草、姿勢、視線、表情を含み、前記特定したドライバーの前記検出された未知動作が、それぞれの指標についての前記特定したドライバーの前記学習された結果と異なる度合いに応じて、異常レベルを判定する判定手段と、
前記判定された異常レベルに応じて、対応策を選択する選択手段と、
前記選択された対応策を実行する実行手段と、
を備え、
前記判定手段は、前記判定された異常レベルが所定時間にわたって継続する場合は、異常レベルを上げるドライバー異常対応システムを提供する。

第１の特徴に係る発明によれば、運転中のドライバーの異常レベルを判定して、選択された対応策を実行するドライバー異常対応システムにおいて、正常時のドライバーが撮像された正常時画像を取得する第１取得手段と、前記取得された正常時画像を解析してドライバーを特定し、そのドライバーについての正常時動作を検出する第１検出手段と、前記特定したドライバー毎に前記検出された正常時動作を学習する学習手段と、正常時であるか異常時であるか未知のドライバーが撮像された未知画像を取得する第２取得手段と、前記取得された未知画像を解析してドライバーを特定し、そのドライバーについての未知動作を検出する第２検出手段と、指標は顔や手の動き、仕草、姿勢、視線、表情を含み、前記特定したドライバーの前記検出された未知動作が、それぞれの指標についての前記特定したドライバーの前記学習された結果と異なる度合いに応じて、異常レベルを判定する判定手段と、前記判定された異常レベルに応じて、対応策を選択する選択手段と、前記選択された対応策を実行する実行手段と、を備え、前記判定手段は、前記判定された異常レベルが所定時間にわたって継続する場合は、異常レベルを上げる。

第１の特徴に係る発明は、ドライバー異常対応システムのカテゴリであるが、ドライバー異常対応方法、及びプログラムであっても同様の作用、効果を奏する。

第２の特徴に係る発明は、第１の特徴に係る発明であるドライバー異常対応システムであって、
前記第１取得手段において、更に正常時のドライバーの生体情報を取得し、
前記第１検出手段において、更に正常時生体情報を検出し、
前記学習手段において、更に正常時生体情報を学習し、
前記第２取得手段において、更に正常時であるか異常時であるか未知のドライバーの生体情報を取得し、
前記第２検出手段において、更にドライバーの生体情報が正常であるか異常であるかを検出し、
前記判定手段において、異常レベルの判定の際に、前記ドライバーの生体情報が正常であるか異常であるかの度合いを加味して判定を行うドライバー異常対応システムを提供する。

第２の特徴に係る発明によれば、第１の特徴に係る発明であるドライバー異常対応システムにおいて、前記第１取得手段において、更に正常時のドライバーの生体情報を取得し、前記第１検出手段において、更に正常時生体情報を検出し、前記学習手段において、更に正常時生体情報を学習し、前記第２取得手段において、更に正常時であるか異常時であるか未知のドライバーの生体情報を取得し、前記第２検出手段において、更にドライバーの生体情報が正常であるか異常であるかを検出し、前記判定手段において、異常レベルの判定の際に、前記ドライバーの生体情報が正常であるか異常であるかの度合いを加味して判定を行う。

第３の特徴に係る発明は、第１の特徴又は第２の特徴に係る発明であるドライバー異常対応システムであって、
前記第１取得手段において、時系列に正常時のドライバーが撮像された正常時画像を取得し、
前記第１検出手段において、前記取得された時系列の正常時画像を解析して、正常時動作を検出し、
前記学習手段において、前記検出された時系列の正常時動作を学習し、
前記判定手段において、異常レベルの判定の際に、前記検出された未知動作が、前記学習された時系列の結果と異なる度合いに応じて判定を行うドライバー異常対応システムを提供する。

第３の特徴に係る発明によれば、第１の特徴又は第２の特徴に係る発明であるドライバー異常対応システムにおいて、前記第１取得手段において、時系列に正常時のドライバーが撮像された正常時画像を取得し、前記第１検出手段において、前記取得された時系列の正常時画像を解析して、正常時動作を検出し、前記学習手段において、前記検出された時系列の正常時動作を学習し、前記判定手段において、異常レベルの判定の際に、前記検出された未知動作が、前記学習された時系列の結果と異なる度合いに応じて判定を行う。

第４の特徴に係る発明は、第１の特徴から第３の特徴の何れかに係る発明であるドライバー異常対応システムであって、
前記第１取得手段において、更に正常時の運転時の場所情報を取得し、
前記学習手段において、更に正常時の運転時の場所情報を含めて学習し、
前記第２取得手段において、更に正常時であるか異常時であるか未知の運転時の場所情報を取得し、
前記判定手段において、異常レベルの判定の際に、前記未知動作に前記場所情報を加味して判定を行うドライバー異常対応システムを提供する。

第４の特徴に係る発明によれば、第１の特徴から第３の特徴の何れかに係る発明であるドライバー異常対応システムにおいて、前記第１取得手段において、更に正常時の運転時の場所情報を取得し、前記学習手段において、更に正常時の運転時の場所情報を含めて学習し、前記第２取得手段において、更に正常時であるか異常時であるか未知の運転時の場所情報を取得し、前記判定手段において、異常レベルの判定の際に、前記未知動作に前記場所情報を加味して判定を行う。

第５の特徴に係る発明は、第１の特徴から第４の特徴のいずれかに係る発明であるドライバー異常対応システムであって、
前記判定手段において、前記検出された未知動作が、前記学習された結果と異なる回数又は時間に応じて、異常レベルを判定するドライバー異常対応システムを提供する。

第５の特徴に係る発明によれば、第１の特徴から第４の特徴のいずれかに係る発明であるドライバー異常対応システムにおいて、前記判定手段において、前記検出された未知動作が、前記学習された結果と異なる回数又は時間に応じて、異常レベルを判定する。

第６の特徴に係る発明は、第１の特徴から第５の特徴のいずれかに係る発明であるドライバー異常対応システムであって、
前記第１取得手段において、正常時のドライバーが撮像された正常時画像を複数人分取得し、
前記判定手段において、前記検出された未知動作が、前記学習された結果の平均値又は中央値と異なる度合いに応じて、異常レベルを判定するドライバー異常対応システムを提供する。

第６の特徴に係る発明によれば、第１の特徴から第５の特徴のいずれかに係る発明であるドライバー異常対応システムにおいて、前記第１取得手段において、正常時のドライバーが撮像された正常時画像を複数人分取得し、前記判定手段において、前記検出された未知動作が、前記学習された結果の平均値又は中央値と異なる度合いに応じて、異常レベルを判定する。

第７の特徴に係る発明は、
運転中のドライバーの異常レベルを判定して、選択された対応策を実行するドライバー異常対応システムにより実行されるドライバー異常対応方法であって、
正常時のドライバーが撮像された正常時画像を取得するステップと、
前記取得された正常時画像を解析してドライバーを特定し、そのドライバーについての正常時動作を検出するステップと、
前記特定したドライバー毎に前記検出された正常時動作を学習するステップと、
正常時であるか異常時であるか未知のドライバーが撮像された未知画像を取得するステップと、
前記取得された未知画像を解析してドライバーを特定し、そのドライバーについての未知動作を検出するステップと、
指標は顔や手の動き、仕草、姿勢、視線、表情を含み、前記特定したドライバーの前記検出された未知動作が、それぞれの指標についての前記特定したドライバーの前記学習された結果と異なる度合いに応じて、異常レベルを判定するステップと、
前記判定された異常レベルに応じて、対応策を選択するステップと、
前記選択された対応策を実行するステップと、
を備え、
前記判定するステップは、前記判定された異常レベルが所定時間にわたって継続する場合は、異常レベルを上げるドライバー異常対応システムにより実行されるドライバー異常対応方法を提供する。

第８の特徴に係る発明は、
運転中のドライバーの異常レベルを判定して、選択された対応策を実行するドライバー異常対応システムに、
正常時のドライバーが撮像された正常時画像を取得するステップ、
前記取得された正常時画像を解析してドライバーを特定し、そのドライバーについての正常時動作を検出するステップ、
前記特定したドライバー毎に前記検出された正常時動作を学習するステップ、
正常時であるか異常時であるか未知のドライバーが撮像された未知画像を取得するステップ、
前記取得された未知画像を解析してドライバーを特定し、そのドライバーについての未知動作を検出するステップ、
指標は顔や手の動き、仕草、姿勢、視線、表情を含み、前記特定したドライバーの前記検出された未知動作が、それぞれの指標についての前記特定したドライバーの前記学習された結果と異なる度合いに応じて、異常レベルを判定するステップ、
前記判定された異常レベルに応じて、対応策を選択するステップ、
前記選択された対応策を実行するステップ、
を実行するためのプログラムであって、
前記判定するステップは、前記判定された異常レベルが所定時間にわたって継続する場合は、異常レベルを上げるプログラムを提供する。

本発明によれば、車両等のドライバーの正常時の運転の仕方を学習することにより、ドライバーの運転の仕方が学習の結果と異なる時に異常レベルを判定し、判定された異常レベルに応じて対応策を選択し、選択された対応策を実行することが可能なドライバー異常対応システム、ドライバー異常対応方法、及びプログラムを提供することが可能となる。

図１は、本発明の好適な実施形態の概要図である。図２は、コンピュータ１００と撮像装置２００の機能ブロックと各機能の関係を示す図である。図３は、ドライバー異常対応システムが行う、ドライバー異常対応処理のフローチャート図である。図４は、生体情報をあわせて取得する場合の、コンピュータ１００と撮像装置２００と生体情報取得装置３００の機能ブロックと各機能の関係を示す図である。図５は、同一ドライバーでの異常レベル判定を行う場合の、ドライバー異常対応処理のフローチャート図である。図６は、正常時画像の一例である。図７は、未知画像の一例である。図８は、異常レベルに対応する異常動作と対応策を示す一例である。図９は、異常レベルを判定するための回数と時間を示す一例である。

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

［ドライバー異常対応システムの概要］
図１は、本発明の好適な実施形態の概要図である。この図１に基づいて、本発明の概要を説明する。ドライバー異常対応システムは、コンピュータ１００、撮像装置２００、通信網４００から構成される。

なお、図１において、撮像装置２００の数は一つに限らず複数であってもよい。また、コンピュータ１００は、実在する装置に限らず、仮想的な装置であってもよいし、クラウドサービス等であってもよい。

コンピュータ１００は、図２に示すように、制御部１１０、通信部１２０、記憶部１３０、入力部１４０、出力部１５０から構成される。制御部１１０には、第１取得手段１１１、第１検出手段１１２、学習手段１１３、第２取得手段１１４、第２検出手段１１５、判定手段１１６、選択手段１１７、実行手段１１８、を備える。制御部１１０は、必要に応じて、通信部１２０、記憶部１３０、入力部１４０、出力部１５０と協働して、前記各手段の機能を実現する。また、撮像装置２００は、同じく図２に示すように、撮像部２０、制御部２１０、通信部２２０、記憶部２３０、入力部２４０、出力部２５０から構成される。通信網４００は、コンピュータ１００と撮像装置２００との通信を可能とするネットワークである。

コンピュータ１００は、撮像装置２００とデータ通信可能な計算装置である。ここでは、車載装置を前提として図示しているが、スマートフォン等の携帯端末、ノートパソコン、ウェアラブルデバイス等であってよいし、実在する装置に限らず、仮想的な装置であってもよい。また、クラウド等のサービスであってもよい。

撮像装置２００は、コンピュータ１００とデータ通信可能な、撮像素子やレンズ等の撮像デバイスを備える撮像装置であり、運転中のドライバーを撮像可能なものである。ここでは、車載カメラを前提として図示しているが、デジタルカメラ、デジタルビデオ、携帯端末やノートパソコンやウェアラブルデバイスのカメラ等の必要な機能を備える撮像装置であってよい。また、記憶部２３０に撮像画像を保存可能としてもよい。撮像する画像は、解析のために必要な解像度であるものとし、基本的には動画であるが、静止画であってもよいものとする。

図１のドライバー異常対応システムにおいて、まず、第１取得手段１１１は、正常時のドライバーが撮像された正常時画像を取得する（ステップＳ１０１）。ここでの取得は、撮像装置２００から直接行ってもよいし、正常時画像を集めたデータベースや外部のサーバ等から行ってもよいし、撮像装置２００以外のデジタルカメラやビデオカメラ等から行ってもよいし、ＣＤ－ＲＯＭやＤＶＤやＵＳＢメモリ等の記憶媒体から行ってもよい。動画である場合には、合わせて音声データを取得してもよいものとする。

図６は、正常時画像の一例である。正常時画像は、ドライバーの正常時の、顔や手の動き、仕草、姿勢、視線、表情等が確認できる解像度や撮像範囲であるものとする。正常時画像は、基本的には動画であるが、静止画であってもよいものとする。

図１に戻り、コンピュータ１００の第１検出手段１１２は、ステップＳ１０１で取得された正常時画像を解析して、正常時動作を検出する（ステップＳ１０２）。取得された画像が複数ある場合には、画像のそれぞれについて、正常動作を検出する。ここでの正常動作とは、ドライバーの正常時の、顔や手の動き、仕草、姿勢、視線、表情等であるものとする。

次に、学習手段１１３は、ステップステップＳ１０２で検出された正常時動作を学習する（ステップＳ１０３）。ステップＳ１０２で検出された、顔や手の動き、仕草、姿勢、視線、表情等は、正常時のものであるため、それぞれがどのような範囲に収まるのか、どのような頻度で何回行われるのか、どのような時間継続されるのか、等を学習する。正常時動作の学習に、正常時画像が足りない場合には、ステップＳ１０１とステップＳ１０２を繰り返す。また、逆に、学習が十分に行われている場合には、ステップＳ１０１からステップＳ１０３は省略してもよいものとする。

次に、第２取得手段１１４は、正常時であるか異常時であるか未知のドライバーが撮像された未知画像を撮像装置２００から取得する（ステップＳ１０４）。ステップＳ１０４の取得を開始するタイミングとしては、ドライバーが運転を開始したタイミングが考えられる。ドライバーが運転を開始するタイミングを知るために、撮像装置２００から撮像を開始した際にコンピュータ１００に対して通知を行うようにしてもよい。

図７は、未知画像の一例である。未知画像は、ドライバーの顔や手の動き、仕草、姿勢、視線、表情等が確認できる解像度や撮像範囲であるものとする。未知画像は、基本的には動画であるが、静止画であってもよいものとする。

図１に戻り、コンピュータ１００の第２検出手段１１５は、取得された未知画像を解析して、未知動作を検出する（ステップＳ１０５）。ここでの未知動作とは、取得した未知画像のドライバーの、顔や手の動き、仕草、姿勢、視線、表情等であるものとする。

次に、コンピュータ１００の判定手段１１６は、ステップＳ１０５で検出された未知動作が、ステップＳ１０３で学習された結果と異なる度合いに応じて、異常レベルを判定する（ステップＳ１０６）。ここでは、検出された未知動作が学習された正常時動作と、ドライバーの顔や手の動き、仕草、姿勢、視線、表情等のそれぞれの指標に対してどの程度異なるのかの比較を行い、その度合いに応じて異常レベルを判定する。どの程度異なるのか、という判断は、例えば、それぞれの指標（顔や手の動き、仕草、姿勢、視線、表情等）について、学習された正常動作の結果と異なる回数や時間に応じて行うことが可能である。また、異常レベルを何段階設けるかは、システムに応じて設定可能であるものとする。図１では、異常レベルはレベル２の脇見運転と判定したものとする。

図８は、異常レベルに対応する異常動作と対応策を示す一例である。図８の例では、異常レベルをレベル１からレベル５の５段階に設定している。レベル１の異常動作は、「いつもより鼻をこする回数が多い（風邪／アレルギー等）」である。この場合、「正常時に比べてドライバーの手の動きが鼻の付近に来ることが多い」、「正常時に比べて鼻をこする仕草が多い」等から判定を行うことができる。レベル２の異常動作は、「脇見運転」である。この場合、「正常時に比べてドライバーの姿勢が傾いている」、「正常時に比べてドライバーの視線が前方を向いていない」、「正常時に比べてドライバーの表情が確認できない」等から判定を行うことができる。レベル３の異常動作は、「怒鳴り散らしている」である。この場合、「正常時に比べてドライバーの顔が口を激しく動かしている」、「正常時に比べてドライバーが手を大きく振り回している」、「正常時に比べて表情が怒りに満ちている」等から判定を行うことができる。レベル４の異常動作は「意識が飛びかけている（急病／寝不足等）」である。この場合、「正常時に比べてドライバーの手が運転動作をしていない」、「正常時に比べてドライバーの姿勢が傾いている」、「正常時に比べてドライバーの頭や体が定期的に傾いている」、「正常時に比べてドライバーの視線が確認できない（目を閉じている／フレームアウト）」、「正常時に比べてドライバーの表情が目を閉じたままである」等から判定を行うことができる。レベル５の異常動作は「意識不明」である。この場合、レベル４の状態が長く継続していること等から判定を行うことができる。ここで挙げた異常レベル分けの段階と、それぞれの異常動作の例は、あくまで一例であり、もっと異常レベル分けの段階や異常動作の例を多くしてもよいし、少なくしてもよい。図８の異常レベルに対応する対応策については、後述する。

図９は、異常レベルを判定するための回数と時間を示す一例である。図９の例でも、図８の例と同じように、異常レベルをレベル１からレベル５の５段階に設定している。レベル１の異常動作「いつもより鼻をこする回数が多い（風邪／アレルギー等）」を判定するために、「正常時に比べてドライバーの手の動きが鼻の付近に来ることが多い」、「正常時に比べて鼻をこする仕草が多い」等の指標に対して、未知動作が回数として「５回以上」、時間として「累計３分以上」の場合に異常レベル１と判定することとする。レベル２の異常動作「脇見運転」を判定するために、「正常時に比べてドライバーの姿勢が傾いている」、「正常時に比べてドライバーの視線が前方を向いていない」、「正常時に比べてドライバーの表情が確認できない」等の指標に対して、未知動作が回数として「３回以上」、時間として「累計３分以上」の場合に異常レベル２と判定することとする。レベル３の異常動作「怒鳴り散らしている」を判定するために、「正常時に比べてドライバーの顔が口を激しく動かしている」、「正常時に比べてドライバーが手を大きく振り回している」、「正常時に比べて表情が怒りに満ちている」等の指標に対して、未知動作が回数として「２回以上」、時間として「累計１分以上」の場合に異常レベル３と判定することとする。レベル４の異常動作「意識が飛びかけている（急病／寝不足等）」を判定するために、「正常時に比べてドライバーの手が運転動作をしていない」、「正常時に比べてドライバーの姿勢が傾いている」、「正常時に比べてドライバーの頭や体が定期的に傾いている」、「正常時に比べてドライバーの視線が確認できない（目を閉じている／フレームアウト）」、「正常時に比べてドライバーの表情が目を閉じたままである」等の指標に対して、未知動作が回数として「１回以上」、時間として「累計１分以上」の場合に異常レベル４と判定することとする。レベル５の異常動作「意識不明」を判定するために、レベル４の状態が長く継続していること、すなわちレベル４と判定した状態からさらに、その状態が２分以上つまり時間として「累計３分以上」の場合に異常レベル５と判定することとする。ここで、上記異常レベルの判定の際に、「回数及び時間の条件を満たす場合」で判定するか、「回数又は時間の条件を満たす場合」で判定するかは、システムに応じて設定可能であるものとする。

図１に戻り、コンピュータ１００の選択手段１１７は、ステップＳ１０６で判定された異常レベルに応じて、対応策を選択する（ステップＳ１０７）。ここでの対応策とは、例えば通知を行う通知系と、ドライバーの車両の制御を行う車両制御系等が考えられ、一つの対応策でなく、複数の対応策を同時に行ってもよいものとする。図１では、「異常レベル２：脇見運転」に対する対応策として、通知系として「ドライバーに通知」と「管理者に通知」を、車両制御系として「スピードダウン」を選択したものとする。図８を基に、異常レベルに対応する対応策の例を説明する。図８の例では、レベル１の「いつもより鼻をこする回数が多い（風邪／アレルギー等）」の場合の対応策として、通知系としては「ドライバーに通知（注意喚起／経過観察）」を示している。例えば車両から音声・音・光・画像や文字の表示・振動等の手段を用いてドライバーに対して通知を行うことで、注意喚起が可能となる。また、その後、経過観察として、図９に示した通常の指標より少ない回数や時間で、再度レベル１の判定を行ってもよいし、同じ状態が続くようであれば異常レベルを上げてもよい。レベル２の「脇見運転」の場合の対応策として、通知系としては「ドライバーに通知」と「管理者に通知」、車両制御系としては「スピードダウン」を示している。通知系の「ドライバーに通知」は前述の通りとして、「管理者に通知」は、例えばメールや電話やＳＮＳ（ソーシャルンネットワーキングサービス）等で事前に登録した管理者への通知を行う。これにより、例えば社用車の場合には会社の管理者が状況を把握することが可能となる等利便性が上がるとともに、ドライバーの安全意識を向上することができる。また、車両制御系として車両を直接制御して「スピードダウン」を行うことにより、事故の発生確率を低くするとともに、万が一事故が起こった場合の被害を低減することが可能となる。レベル３の「怒鳴り散らしている」の場合の対応策として、通知系としては「管理者に通知」、車両制御系としては「スピードダウン」と「スピード制限」を示している。通知系の「管理者に通知」と車両制御系の「スピードダウン」の対応内容は前述の通りである。車両制御系の「スピード制限」は、例えば、レベル２の判定後、一定時間は車両を直接制御してスピードを出せる上限の速度を制限することにより、ドライバーによるあおり運転や事故の発生の可能性を下げることができると考える。レベル４の「意識が飛びかけている（急病／寝不足等）」の場合の対応策として、通知系としては「周囲の人への通知」、車両制御系としては「急停止」を示している。通知系の「周囲の人への通知」は、例えば、車両から車両内外に向けて、音声・音・光・画像や文字の表示等の手段を用いて同乗者や車両の周辺の人に対して通知を行うことで、車両のドライバーに対して働きかけてもらう効果を期待できる。また、車両制御系の「急停止」は、急ブレーキを行うということではなく、速やかに安全な場所に停止するということで、事故の発生を防止するためのものである。その際に、あわせてハザードランプ等を点灯させてもよい。レベル５の「意識不明」の場合の対応策として、レベル４の対応策に加えて、通知系として「緊急機関への通報」を示している。「緊急機関への通報」としては、例えば、１１９番通報等で消防署等の公共機関に、車両の位置情報とドライバーが意識不明であるという内容の通報を行ってもよいし、車両の種類に応じた緊急時の連絡先に、同様の通報を行ってもよい。図８では、異常レベル毎に一つの異常動作という例であるため、レベル毎に対応策を示したが、同じレベルに複数の異常動作がある場合には、異常動作に応じて対応策を設定してよい。

図１に戻り、最後にコンピュータ１００の実行手段１１８は、ステップＳ１０７で選択された対応策を実行する（ステップＳ１０８）。図１では、通知系として「ドライバーに通知」と「管理者に通知」を、車両制御系として「スピードダウン」を実行したものとする。

このように、本発明によれば、車両等のドライバーの正常時の運転の仕方を学習することにより、ドライバーの運転の仕方が学習の結果と異なる時に異常レベルを判定し、判定された異常レベルに応じて対応策を選択し、選択された対応策を実行することが可能なドライバー異常対応システム、ドライバー異常対応方法、及びプログラムを提供することが可能となる。

［各機能の説明］
図２は、コンピュータ１００と撮像装置２００の機能ブロックと各機能の関係を示す図である。コンピュータ１００は、制御部１１０、通信部１２０、記憶部１３０、入力部１４０、出力部１５０から構成される。制御部１１０には、第１取得手段１１１、第１検出手段１１２、学習手段１１３、第２取得手段１１４、第２検出手段１１５、判定手段１１６、選択手段１１７、実行手段１１８、を備える。制御部１１０は、必要に応じて、通信部１２０、記憶部１３０、入力部１４０、出力部１５０と協働して、前記各手段の機能を実現する。撮像装置２００は、撮像部２０、制御部２１０、通信部２２０、記憶部２３０、入力部２４０、出力部２５０から構成される。通信網４００は、コンピュータ１００と撮像装置２００との通信を可能とするネットワークである。

制御部１１０として、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）等を備える。制御部１１０は、必要に応じて、通信部１２０、記憶部１３０、入力部１４０、出力部１５０と協働して、前記各手段の機能を実現する。

通信部１２０として、他の機器と通信可能にするためのデバイスを備える。通信は有線接続であっても無線接続であってもよい。また、この通信部１２０を介して、必要に応じて正常時画像を取得するために外部のサーバやデータベースとの通信を行うものとする。

記憶部１３０として、ハードディスクや半導体メモリによる、データのストレージ部を備え、正常時画像、正常時動作、学習結果、未知画像、異常レベル、判定結果、対応策等の処理に必要なデータを記憶する。記憶部１３０は外部のサーバやデータベースやクラウドサービス等であってもよい。

入力部１４０は、ドライバー異常対応システムを管理又は運用するために必要な機能を備えるものとする。入力を実現するための例として、キーボード、マウス、ペンタブレット、タッチパネル、音声認識を行うためのマイク等を備えることが可能である。ネットワークを介して入力を行えるものとしてもよい。入力方法により、本発明は特に機能を限定されるものではない。

出力部１５０は、ドライバー異常対応システムを管理又は運用するために必要な機能を備えるものとする。出力を実現するための例として、ディスプレイ、プロジェクターへの投影等の表示と音声出力等の形態が考えられる。ネットワークを介して出力を行えるものとしてもよい。出力方法により、本発明は特に機能を限定されるものではない。

撮像装置２００は、コンピュータ１００とデータ通信可能な、撮像素子やレンズ等の撮像デバイスを備える撮像装置であり、運転中のドライバーの画像を撮像する。運転中のドライバーを撮像可能なものである。ここでは、車載カメラを前提として図示しているが、デジタルカメラ、デジタルビデオ、携帯端末やノートパソコンやウェアラブルデバイスのカメラ等の必要な機能を備える撮像装置であってよい。また、記憶部２３０に撮像画像を保存可能としてもよい。撮像する画像は、解析のために必要な解像度であるものとし、基本的には動画であるが、静止画であってもよいものとする。

撮像装置２００は、撮像部２０として、レンズ、撮像素子、等の撮像デバイス等を備え、動画や静止画等の撮像画像として撮像する。また、撮像して得られる画像は、画像解析に必要なだけの解像度を持った精密な画像であるものする。

制御部２１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。

通信部２２０として、他の機器と通信可能にするためのデバイスを備える。通信は有線接続であっても無線接続であってもよい。

記憶部２３０として、ハードディスクや半導体メモリによる、データのストレージ部を備え、撮像画像等の必要なデータ等を記憶する。画像を撮影した日時や場所の情報をあわせて記憶してもよい。記憶部２３０は外部のサーバやデータベースやクラウドサービス等であってもよい。

入力部２４０は、撮像装置２００を操作するために必要な機能を備えるものとする。入力を実現するための例として、ハードウェアボタン、タッチパネル、マイク等を備えることが可能である。ネットワークを介して入力を行えるものとしてもよい。

出力部２５０は、撮像装置２００を操作するために必要な機能を備えるものとする。出力を実現するための例として、ディスプレイ等への表示と音声出力等の形態が考えられる。ネットワークを介して出力を行えるものとしてもよい。

［ドライバー異常対応処理］
図３は、ドライバー異常対応システムが行う、ドライバー異常対応処理のフローチャート図である。上述した各手段が実行する処理について、本フローチャート図にあわせて説明する。

まず、コンピュータ１００の第１取得手段１１１は、正常時のドライバーが撮像された正常時画像を取得する（ステップＳ３０１）。ここでの取得は、撮像装置２００から直接行ってもよいし、正常時画像を集めたデータベースや外部のサーバ等から行ってもよいし、撮像装置２００以外のデジタルカメラやビデオカメラ等から行ってもよいし、ＣＤ－ＲＯＭやＤＶＤやＵＳＢメモリ等の記憶媒体から行ってもよい。動画である場合には、合わせて音声データを取得してもよいものとする。

図３に戻り、コンピュータ１００の第１検出手段１１２は、ステップＳ３０１で取得された正常時画像を解析して、正常時動作を検出する（ステップＳ３０２）。取得された画像が複数ある場合には、画像のそれぞれについて、正常動作を検出する。ここでの正常動作とは、ドライバーの正常時の、顔や手の動き、仕草、姿勢、視線、表情等であるものとする。

次に、学習手段１１３は、ステップステップＳ３０２で検出された正常時動作を学習する（ステップＳ３０３）。ステップＳ３０２で検出された、顔や手の動き、仕草、姿勢、視線、表情等は、正常時のものであるため、それぞれがどのような範囲に収まるのか、どのような頻度で何回行われるのか、どのような時間継続されるのか、等を学習する。正常時動作の学習に、正常時画像が足りない場合には、ステップＳ３０１とステップＳ３０２を繰り返す。また、逆に、学習が十分に行われている場合には、ステップＳ３０１からステップＳ３０３は省略してもよいものとする。

撮像装置２００は、ドライバーが運転を開始するタイミングで、撮像を開始する（ステップＳ３０４）。撮像装置２００は、撮像開始とあわせて、コンピュータ１００に対して、撮像開始の通知を行う。

コンピュータ１００の第２取得手段１１４は、撮像装置２００からの撮像開始の通知を受けて、正常時であるか異常時であるか未知のドライバーが撮像された未知画像を撮像装置２００から取得する（ステップＳ３０５）。

図３に戻り、コンピュータ１００の第２検出手段１１５は、取得された未知画像を解析して、未知動作を検出する（ステップＳ３０６）。ここでの未知動作とは、取得した未知画像のドライバーの、顔や手の動き、仕草、姿勢、視線、表情等であるものとする。

次に、コンピュータ１００の判定手段１１６は、ステップＳ３０６で検出された未知動作が、ステップＳ３０３で学習された結果と異なる度合いに応じて、異常レベルを判定する（ステップＳ３０７）。ここでは、検出された未知動作が学習された正常時動作と、ドライバーの顔や手の動き、仕草、姿勢、視線、表情等のそれぞれの指標に対してどの程度異なるのかの比較を行い、その度合いに応じて異常レベルを判定する。どの程度異なるのか、という判断は、例えば、それぞれの指標（顔や手の動き、仕草、姿勢、視線、表情等）について、学習された正常動作の結果と異なる回数や時間に応じて行うことが可能である。また、異常レベルを何段階設けるかは、システムに応じて設定可能であるものとする。図３のフローチャートでは、異常レベルはレベル２の脇見運転と判定したものとする。

図８は、異常レベルに対応する異常動作と対応策を示す一例である。図８の例では、異常レベルをレベル１からレベル５の５段階に設定している。レベル１の異常動作は、「いつもより鼻をこする回数が多い（風邪／アレルギー等）」である。この場合、「正常時に比べてドライバーの手の動きが鼻の付近に来ることが多い」、「正常時に比べて鼻をこする仕草が多い」等から判定を行うことができる。レベル２の異常動作は、「脇見運転」である。この場合、「正常時に比べてドライバーの姿勢が傾いている」、「正常時に比べてドライバーの視線が前方を向いていない」、「正常時に比べてドライバーの表情が確認できない」等から判定を行うことができる。レベル３の異常動作は、「怒鳴り散らしている」である。この場合、「正常時に比べてドライバーの顔が口を激しく動かしている」、「正常時に比べてドライバーが手を大きく振り回している」、「正常時に比べて表情が怒りに満ちている」等から判定を行うことができる。レベル４の異常動作は「意識が飛びかけている（急病／寝不足等）」である。この場合、「正常時に比べてドライバーの手が運転動作をしていない」、「正常時に比べてドライバーの姿勢が傾いている」、「正常時に比べてドライバーの頭や体が定期的に傾いている」、「正常時に比べてドライバーの視線が確認できない（目を閉じている／フレームアウト）」、「正常時に比べてドライバーの表情が目を閉じたままである」等から判定を行うことができる。レベル５の異常動作は「意識不明」である。この場合、レベル４の状態が長く継続していること等から判定を行うことができる。ここで挙げた異常レベル分けの段階と、それぞれの異常動作の例は、あくまで一例であり、もっと異常レベル分けの段階や異常動作の例を多くしてもよいし、少なくしてもよい。

図３に戻り、コンピュータ１００の選択手段１１７は、ステップＳ３０７で判定された異常レベルに応じて、対応策を選択する（ステップＳ３０８）。ここでの対応策とは、例えば通知を行う通知系と、ドライバーの車両の制御を行う車両制御系等が考えられ、一つの対応策でなく、複数の対応策を同時に行ってもよいものとする。図３のフローチャートでは、「異常レベル２：脇見運転」に対する対応策として、通知系として「ドライバーに通知」と「管理者に通知」を、車両制御系として「スピードダウン」を選択したものとする。図８を基に、異常レベルに対応する対応策の例を説明する。図８の例では、レベル１の「いつもより鼻をこする回数が多い（風邪／アレルギー等）」の場合の対応策として、通知系としては「ドライバーに通知（注意喚起／経過観察）」を示している。例えば車両から音声・音・光・画像や文字の表示・振動等の手段を用いてドライバーに対して通知を行うことで、注意喚起が可能となる。また、その後、経過観察として、図９に示した通常の指標より少ない回数や時間で、再度レベル１の判定を行ってもよいし、同じ状態が続くようであれば異常レベルを上げてもよい。レベル２の「脇見運転」の場合の対応策として、通知系としては「ドライバーに通知」と「管理者に通知」、車両制御系としては「スピードダウン」を示している。通知系の「ドライバーに通知」は前述の通りとして、「管理者に通知」は、例えばメールや電話やＳＮＳ等で事前に登録した管理者への通知を行う。これにより、例えば社用車の場合には会社の管理者が状況を把握することが可能となる等利便性が上がるとともに、ドライバーの安全意識を向上することができる。また、車両制御系として車両を直接制御して「スピードダウン」を行うことにより、事故の発生確率を低くするとともに、万が一事故が起こった場合の被害を低減することが可能となる。レベル３の「怒鳴り散らしている」の場合の対応策として、通知系としては「管理者に通知」、車両制御系としては「スピードダウン」と「スピード制限」を示している。通知系の「管理者に通知」と車両制御系の「スピードダウン」の対応内容は前述の通りである。車両制御系の「スピード制限」は、例えば、レベル２の判定後、一定時間は車両を直接制御してスピードを出せる上限の速度を制限することにより、ドライバーによるあおり運転や事故の発生の可能性を下げることができると考える。レベル４の「意識が飛びかけている（急病／寝不足等）」の場合の対応策として、通知系としては「周囲の人への通知」、車両制御系としては「急停止」を示している。通知系の「周囲の人への通知」は、例えば、車両から車両内外に向けて、音声・音・光・画像や文字の表示等の手段を用いて同乗者や車両の周辺の人に対して通知を行うことで、車両のドライバーに対して働きかけてもらう効果を期待できる。また、車両制御系の「急停止」は、急ブレーキを行うということではなく、速やかに安全な場所に停止するということで、事故の発生を防止するためのものである。その際に、あわせてハザードランプ等を点灯させてもよい。レベル５の「意識不明」の場合の対応策として、レベル４の対応策に加えて、通知系として「緊急機関への通報」を示している。「緊急機関への通報」としては、例えば、１１９番通報等で消防署等の公共機関に、車両の位置情報とドライバーが意識不明であるという内容の通報を行ってもよいし、車両の種類に応じた緊急時の連絡先に、同様の通報を行ってもよい。図８では、異常レベル毎に一つの異常動作という例であるため、レベル毎に対応策を示したが、同じレベルに複数の異常動作がある場合には、異常動作に応じて対応策を設定してよい。

図３に戻り、コンピュータ１００の実行手段１１８は、ステップＳ３０８で選択された対応策を実行する（ステップＳ３０９）。図３では、通知系として「ドライバーに通知」と「管理者に通知」を、車両制御系として「スピードダウン」を実行したものとする。

最後に、コンピュータ１００の制御部１１０は、ドライバー異常対応処理を終了するかどうかの確認を行う（ステップＳ３１０）。ドライバー異常対応処理を終了しない場合には、ステップＳ３０５の未知画像の取得処理を行い、ドライバー異常対応処理を終了する場合には、コンピュータ１００の処理を終了する。ドライバー異常対応処理を終了するタイミングとしては、撮像装置２００から撮像終了の通知を受け取った場合等が考えられる。

図３のフローチャートでは、ステップＳ３０７の異常レベル判定でレベル２と判定する場合を例として説明したが、ここで、レベル１からレベル５の何れの異常レベルにも該当しない場合、すなわち正常時には、ステップＳ３０８からステップＳ３０９をスキップして、ステップＳ３１０へと進むものとする。

また、ステップＳ３０７の異常レベル判定で何れの異常レベルにも該当しない場合の未知画像を、正常時画像として取得しておき、次回の正常時動作の学習に使用してもよい。

［生体情報を利用したドライバー異常対応処理］
図４は、生体情報をあわせて取得する場合の、コンピュータ１００と撮像装置２００と生体情報取得装置３００の機能ブロックと各機能の関係を示す図である。図２の構成のコンピュータ１００と撮像装置２００に加え、生体情報取得装置３００を備える。図４では、生体情報取得装置３００の機能ブロックのみを図示しているが、コンピュータ１００と撮像装置２００の機能ブロックは、図２と同様であるものとする。通信網４００は、コンピュータ１００と撮像装置２００、コンピュータ１００と生体情報取得装置３００の通信をそれぞれ可能とする。

生体情報取得装置３００は、生体情報取得部３０、制御部３１０、通信部３２０、記憶部３３０、入力部３４０、出力部３５０から構成される。生体情報取得装置３００は、コンピュータ１００とデータ通信可能な、心拍・体温・心電図・血圧・呼吸・交感神経・副交感神経等の生体情報が取得可能なカメラデバイス又はセンサデバイスを備える装置であり、運転中のドライバーの生体情報を取得する。ここでは、ウェアラブルデバイスを前提として図示しているが、カメラデバイス、医療用端末、車載装置等の生体情報を取得可能な装置であってよい。また、記憶部３３０に取得した生体情報を保存可能としてもよい。

生体情報取得装置３００は、生体情報取得部３０として、カメラデバイス、センサデバイス等の生体情報が取得可能なデバイス等を備える。ここでの生体情報とは、心拍・体温・心電図・血圧・呼吸・交感神経・副交感神経等のドライバーの身体又は精神の状態を判断可能な情報であるものとする。生体情報取得部３０がカメラデバイスである場合、制御部３１０によって取得した画像を解析して、心拍・呼吸等の生体情報を得ることが可能である。生体情報取得部がセンサデバイスである場合、心拍・体温・心電図・血圧・呼吸等をそれぞれのセンサから得ることが可能である。また、心拍・体温・心電図・血圧・呼吸等を制御部３１０によって解析することで、交感神経・副交感神経等の生体情報を得ることが可能である。

制御部３１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。

通信部３２０として、他の機器と通信可能にするためのデバイスを備える。

記憶部３３０として、ハードディスクや半導体メモリによる、データのストレージ部を備え、生体情報等の必要なデータ等を記憶する。生体情報を取得した日時や場所の情報をあわせて記憶してもよい。記憶部３３０は外部のサーバやデータベースやクラウドサービス等であってもよい。

入力部３４０は、生体情報取得装置３００を操作するために必要な機能を備えるものとする。入力を実現するための例として、ハードウェアボタン、タッチパネル、マイク等を備えることが可能である。

出力部３５０は、生体情報取得装置３００を操作するために必要な機能を備えるものとする。出力を実現するための例として、ディスプレイ等への表示や音声出力等の形態が考えられる。

ここで、上述した各手段が実行する生体情報を利用したドライバー異常対応処理について、図３のフローチャートを用いて説明する。正常時画像と未知画像に関する処理は、図３の説明として前述した処理であるため、ここでは、追加で処理を行う生体情報中心に記述する。

まず、コンピュータ１００の第１取得手段１１１は、正常時のドライバーが撮像された正常時画像とあわせて、更に正常時のドライバーの生体情報を取得する（ステップＳ３０１）。ここでの正常時のドライバーの生体情報の取得は、生体情報取得装置３００から直接行ってもよいし、生体時の生体情報を集めたデータベースや外部のサーバ等から行ってもよいし、生体情報取得装置３００以外の装置等から行ってもよいし、ＣＤ－ＲＯＭやＤＶＤやＵＳＢメモリ等の記憶媒体から行ってもよい。取得する生体情報は心拍・体温・心電図・血圧・呼吸・交感神経・副交感神経等のドライバーの身体又は精神の状態を判断可能な情報であるものとする。

次に、コンピュータ１００の第１検出手段１１２は、正常時動作の検出とあわせて、更に正常時生体情報を検出する（ステップＳ３０２）。取得された正常時の生体情報が複数ある場合には、生体情報のそれぞれについて、正常時生体情報を検出する。ここでの正常時生体情報とは、ドライバーの正常時の、心拍・体温・心電図・血圧・呼吸・交感神経・副交感神経等であるものとする。

次に、学習手段１１３は、正常時動作の学習とあわせて、更に正常時生体情報を学習する（ステップＳ３０３）。ステップＳ３０２で検出された、心拍・体温・心電図・血圧・呼吸・交感神経・副交感神経等の生体情報は、正常時のものであるため、それぞれが数値的にどのような範囲に収まるのかを学習する。正常時生体情報の学習に、正常時生体情報が足りない場合には、ステップＳ３０１とステップＳ３０２を繰り返す。また、逆に、学習が十分に行われている場合には、ステップＳ３０１からステップＳ３０３は省略してもよいものとする。

生体情報をドライバー異常対応処理に利用したい場合、生体情報取得装置３００は、ドライバーが運転を開始するより前のタイミングで、生体情報取得を開始する（ステップＳ３０４）。また、生体情報取得装置３００は、ドライバーが運転を開始するタイミングにあわせて、コンピュータ１００に対して、生体情報取得を行っているか行っていないかの通知を行う。

生体情報取得装置２００が生体情報の取得を行っている場合、コンピュータ１００の第２取得手段１１４は、未知画像の撮像装置２００からの取得とあわせて、更に正常時であるか異常時であるか未知のドライバーの生体情報を生体情報取得装置３００から取得する（ステップＳ３０５）。ここでの未知のドライバー生体情報とは、ドライバーが正常であるか異常であるか未知の場合の、心拍・体温・心電図・血圧・呼吸・交感神経・副交感神経等のデータであるものとする。

コンピュータ１００の第２検出手段１１５は、未知動作の検出とあわせて、更にドライバーの生体情報が正常であるか異常であるかを検出する（ステップＳ３０６）。ここでドライバーの生体情報が正常であるか異常であるかは、心拍・体温・心電図・血圧・呼吸・交感神経・副交感神経等のデータが、それぞれ数値的に正常時の範囲に収まっているかどうかによって検出する。

次に、コンピュータ１００の判定手段１１６は、未知動作の異常レベルの判定の際に、ドライバーの生体情報が正常であるか異常であるかの度合いを加味して異常レベルの判定を行う（ステップＳ３０７）。例えば、心拍・体温・心電図・血圧・呼吸・交感神経・副交感神経等のデータの何れか一つ又は複数が、数値的に正常時の範囲を逸脱している、つまり異常である場合、その異常が数値的に大きいか小さいかや、異常のデータがいくつあるか等を加味して、異常レベルを判定する。異常が数値的に大きい場合や異常のデータが多い場合には、異常レベルをより上げて判定を行う。生体情報をどの程度加味するかは、システムに応じて設定可能とする。

このように、本発明によれば、車両等のドライバーの正常時の運転の仕方を学習することにより、ドライバーの運転の仕方が学習の結果と異なる時に異常レベルを判定する際に、画像だけでなく生体情報を用いることで、より適切に異常レベルを判定し、判定された異常レベルに応じて対応策を選択し、選択された対応策を実行することが可能なドライバー異常対応システム、ドライバー異常対応方法、及びプログラムを提供することが可能となる。

［時系列を考慮したドライバー異常対応処理］
ドライバー異常対応処理において、取得する画像の時系列を考慮することで、例えば取得する画像が動画像ではなくて静止画像である場合にも、適切なドライバー異常対応処理を行うことが可能である。ここで、時系列を考慮したドライバー異常対応処理について、図３のフローチャートを用いて説明する。ここでは、時系列を考慮する処理を中心に記述するものとする。

まず、コンピュータ１００の第１取得手段１１１は、時系列に正常時のドライバーが撮像された正常時画像を取得する（ステップＳ３０１）。

次に、コンピュータ１００の第１検出手段１１２は、ステップＳ３０１で取得された時系列の正常時画像を解析して、正常時動作を検出する（ステップＳ３０２）。

次に、学習手段１１３は、ステップＳ３０２で検出された時系列の正常時動作を学習する（ステップＳ３０３）。

そして、コンピュータ１００の判定手段１１６は、未知動作の異常レベルの判定の際に、ステップＳ３０６で検出された未知動作が、前記学習された時系列の結果と異なる度合いに応じて判定を行う（ステップＳ３０７）。例えば、時系列に未知画像０１、未知画像、０２、未知画像０３、未知画像０４、未知画像０５と取得した場合、５枚の未知画像それぞれについては異常レベルがレベル１以上であると判定されない場合にも、時系列の順番を考慮して、時系列の正常時動作と比較した場合に異常レベルがレベル１以上である可能性がある。

このように、本発明によれば、時系列を考慮して車両等のドライバーの正常時の運転の仕方を学習することにより、ドライバーの運転の仕方が学習の結果と異なる時に異常レベルを判定する際に時系列を考慮することで、たとえ静止画像を用いた場合にも、より適切に異常レベルを判定し、判定された異常レベルに応じて対応策を選択し、選択された対応策を実行することが可能なドライバー異常対応システム、ドライバー異常対応方法、及びプログラムを提供することが可能となる。

［場所情報を加味したドライバー異常対応処理］
ドライバー異常対応処理において、画像とあわせてＧＰＳ情報や地図情報等の場所情報を取得して、それを加味することで、より適切なドライバー異常対応処理を行うことが可能である。ここで、場所情報を加味したドライバー異常対応処理について、図３のフローチャートを用いて説明する。ここでは、場所情報に関連する処理を中心に記述するものとする。

まず、コンピュータ１００の第１取得手段１１１は、正常時のドライバーが撮像された正常時画像とあわせて、更に正常時の運転時の場所情報を取得する（ステップＳ３０１）。ここでの正常時の運転時の場所情報の取得は、画像情報にあらかじめＧＰＳ情報や地図情報を付加しておくことを想定しているが、他の手段で取得してもよい。取得する場所情報はＧＰＳ情報や地図情報等の、運転時の場所を判断可能な情報であるものとする。

学習手段１１３は、正常時動作の学習時に、更に正常時の運転時の場所情報を含めて学習する（ステップＳ３０３）。これは、例えば、見晴らしが良い道路と、見晴らしが悪い道路とでは、正常時でもドライバーの動作が顔や手の動き、仕草、姿勢、視線、表情等が異なるためである。他にも、一般道路と高速道路、街中と山道等でドライバーの動作は異なると考えられる。

第２取得手段１１４は、未知画像の撮像装置２００からの取得とあわせて、更に場所情報を取得する（ステップＳ３０５）。

そして、判定手段１１６は、未知動作の異常レベルの判定の際に、前記未知動作に前記場所情報を加味して判定を行う（ステップＳ３０７）。場所条件を加味する判定を行うための手法の例としては、未知動作の場所情報が、見晴らしが良い道路か見晴らしが悪い道路か、一般道路か高速道路か、街中か山道か、等に応じて、同様の条件で学習した正常時動作と比較して判定を行うこと等が考えられる。

このように、本発明によれば、場所情報を加味して車両等のドライバーの正常時の運転の仕方を学習することにより、ドライバーの運転の仕方が学習の結果と異なる時に異常レベルを判定する際にも場所情報を加味して、より適切に異常レベルを判定し、判定された異常レベルに応じて対応策を選択し、選択された対応策を実行することが可能なドライバー異常対応システム、ドライバー異常対応方法、及びプログラムを提供することが可能となる。

［同一ドライバーでの異常レベル判定を行う場合のドライバー異常対応処理］
図５は、同一ドライバーでの異常レベル判定を行う場合の、ドライバー異常対応処理のフローチャート図であり、図２と同様の構成で実現可能である。前述した各手段が実行する処理について、本フローチャート図にあわせて説明する。ここでは、主に図３のフローとの差分について説明する。

まず、コンピュータ１００の第１取得手段１１１は、正常時のドライバーが撮像された正常時画像を取得する（ステップＳ５０１）。

次に、第１検出手段１１２は、ステップＳ５０１で取得された正常時画像を解析してドライバーを特定し、そのドライバーについての正常時動作を検出する（ステップＳ５０２）。ドライバーを特定するために、正常時画像に写っている人物の画像データだけでなく、車両内の内装等の画像データを使用してもよいし、画像データ以外にドライバーを特定するために有用なデータをあらかじめ付加しておいてもよい。

次に、学習手段１１３は、特定したドライバー毎にステップＳ５０２で検出された正常時動作を学習する（ステップＳ５０３）。ステップＳ５０２で検出された、ドライバー毎の顔や手の動き、仕草、姿勢、視線、表情等について、それぞれがどのような範囲に収まるのか、どのような頻度で何回行われるのか、どのような時間継続されるのか、等を学習する。

撮像装置２００は、ドライバーが運転を開始するタイミングで、撮像を開始する（ステップＳ５０４）。撮像装置２００は、撮像開始とあわせて、コンピュータ１００に対して、撮像開始の通知を行う。

コンピュータ１００の第２取得手段１１４は、撮像装置２００からの撮像開始の通知を受けて、正常時であるか異常時であるか未知のドライバーが撮像された未知画像を撮像装置２００から取得する（ステップＳ５０５）。

次に、第２検出手段１１５は、取得された未知画像を解析してドライバーを特定し、未知動作を検出する（ステップＳ５０６）。

次に、判定手段１１６は、特定したドライバーのステップＳ５０６で検出された未知動作が、特定したドライバーのステップＳ５０３で学習された結果と異なる度合いに応じて、異常レベルを判定する（ステップＳ５０７）。ここでは、検出された未知動作が学習された正常時動作と、ドライバーの顔や手の動き、仕草、姿勢、視線、表情等のそれぞれの指標に対してどの程度異なるのかの比較を行い、その度合いに応じて異常レベルを判定する。

選択手段１１７は、ステップＳ５０７で判定された異常レベルに応じて、対応策を選択する（ステップＳ５０８）。

実行手段１１８は、ステップＳ５０８で選択された対応策を実行する（ステップＳ５０９）。

最後に、コンピュータ１００の制御部１１０は、ドライバー異常対応処理を終了するかどうかの確認を行う（ステップＳ５１０）。ドライバー異常対応処理を終了しない場合には、ステップＳ５０５の未知画像の取得処理を行い、ドライバー異常対応処理を終了する場合には、コンピュータ１００の処理を終了する。ドライバー異常対応処理を終了するタイミングとしては、撮像装置２００から撮像終了の通知を受け取った場合等が考えられる。

このように、本発明によれば、ドライバーを特定して、ドライバー毎に車両等のドライバーの正常時の運転の仕方を学習することにより、ドライバーの運転の仕方が学習の結果と異なる時に異常レベルを高精度に判定し、判定された異常レベルに応じて対応策を選択し、選択された対応策を実行することが可能なドライバー異常対応システム、ドライバー異常対応方法、及びプログラムを提供することが可能となる。

図５のフローチャートでは、同一ドライバーでの異常レベル判定を行う場合の、高精度のドライバー異常対応処理について説明したが、逆に、多数の正常時のドライバーとあるドライバーの比較を行うことも可能である。その場合には、新規のドライバーに対しても、ドライバー異常対応処理を行うことができるという利点がある。多数の正常時のドライバーとあるドライバーの比較を行う場合には、図３のステップＳ３０１の正常時画像取得時に、正常時のドライバーが撮像された正常時画像を複数人分取得し、ステップＳ３０７の異常レベル判定時に、ステップＳ３０６で検出された未知動作がステップＳ３０３で学習された正常時動作の結果の平均値又は中央値と異なる度合いに応じて、異常レベルを判定することが可能である。

上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末、仮想装置、クラウドサービスを含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される形態であってもよいし、読取可能な記録媒体に記録された形態で提供される形態であってもよい。

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

１００コンピュータ、２００撮像装置、３００生体情報取得装置、４００通信網

Claims

運転中のドライバーの異常レベルを判定して、選択された対応策を実行するドライバー異常対応システムであって、
正常時のドライバーが撮像された正常時画像を取得する第１取得手段と、
前記取得された正常時画像を解析してドライバーを特定し、そのドライバーについての正常時動作を検出する第１検出手段と、
前記特定したドライバー毎に前記検出された正常時動作を学習する学習手段と、
正常時であるか異常時であるか未知のドライバーが撮像された未知画像を取得する第２取得手段と、
前記取得された未知画像を解析してドライバーを特定し、そのドライバーについての未知動作を検出する第２検出手段と、
指標は顔や手の動き、仕草、姿勢、視線、表情を含み、前記特定したドライバーの前記検出された未知動作が、それぞれの指標についての前記特定したドライバーの前記学習された結果と異なる度合いに応じて、異常レベルを判定する判定手段と、
前記判定された異常レベルに応じて、対応策を選択する選択手段と、
前記選択された対応策を実行する実行手段と、
を備え、
前記判定手段は、前記判定された異常レベルが所定時間にわたって継続する場合は、異常レベルを上げるドライバー異常対応システム。
前記第１取得手段において、更に正常時のドライバーの生体情報を取得し、
前記第１検出手段において、更に正常時生体情報を検出し、
前記学習手段において、更に正常時生体情報を学習し、
前記第２取得手段において、更に正常時であるか異常時であるか未知のドライバーの生体情報を取得し、
前記第２検出手段において、更にドライバーの生体情報が正常であるか異常であるかを検出し、
前記判定手段において、異常レベルの判定の際に、前記ドライバーの生体情報が正常であるか異常であるかの度合いを加味して判定を行う請求項１に記載のドライバー異常対応システム。
前記第１取得手段において、時系列に正常時のドライバーが撮像された正常時画像を取得し、
前記第１検出手段において、前記取得された時系列の正常時画像を解析して、正常時動作を検出し、
前記学習手段において、前記検出された時系列の正常時動作を学習し、
前記判定手段において、異常レベルの判定の際に、前記検出された未知動作が、前記学習された時系列の結果と異なる度合いに応じて判定を行う請求項１又は請求項２に記載のドライバー異常対応システム。
前記第１取得手段において、更に正常時の運転時の場所情報を取得し、
前記学習手段において、更に正常時の運転時の場所情報を含めて学習し、
前記第２取得手段において、更に正常時であるか異常時であるか未知の運転時の場所情報を取得し、
前記判定手段において、異常レベルの判定の際に、前記未知動作に前記場所情報を加味して判定を行う請求項１から請求項３の何れか一項に記載のドライバー異常対応システム。
前記判定手段において、前記検出された未知動作が、前記学習された結果と異なる回数又は時間に応じて、異常レベルを判定する請求項１から請求項４の何れか一項に記載のドライバー異常対応システム。
前記第１取得手段において、正常時のドライバーが撮像された正常時画像を複数人分取得し、
前記判定手段において、前記検出された未知動作が、前記学習された結果の平均値又は中央値と異なる度合いに応じて、異常レベルを判定する請求項１から請求項５の何れか一項に記載のドライバー異常対応システム。
前記対応策は、周囲の人への通知と、緊急機関への通報を含む請求項１に記載のドライバー異常対応システム。
運転中のドライバーの異常レベルを判定して、選択された対応策を実行するドライバー異常対応システムにより実行されるドライバー異常対応方法であって、
正常時のドライバーが撮像された正常時画像を取得するステップと、
前記取得された正常時画像を解析してドライバーを特定し、そのドライバーについての正常時動作を検出するステップと、
前記特定したドライバー毎に前記検出された正常時動作を学習するステップと、
正常時であるか異常時であるか未知のドライバーが撮像された未知画像を取得するステップと、
前記取得された未知画像を解析してドライバーを特定し、そのドライバーについての未知動作を検出するステップと、
指標は顔や手の動き、仕草、姿勢、視線、表情を含み、前記特定したドライバーの前記検出された未知動作が、それぞれの指標についての前記特定したドライバーの前記学習された結果と異なる度合いに応じて、異常レベルを判定するステップと、
前記判定された異常レベルに応じて、対応策を選択するステップと、
前記選択された対応策を実行するステップと、
を備え、
前記判定するステップは、前記判定された異常レベルが所定時間にわたって継続する場合は、異常レベルを上げるドライバー異常対応システムにより実行されるドライバー異常対応方法。
運転中のドライバーの異常レベルを判定して、選択された対応策を実行するドライバー異常対応システムにおいて、
正常時のドライバーが撮像された正常時画像を取得するステップ、
前記取得された正常時画像を解析してドライバーを特定し、そのドライバーについての正常時動作を検出するステップ、
前記特定したドライバー毎に前記検出された正常時動作を学習するステップ、
正常時であるか異常時であるか未知のドライバーが撮像された未知画像を取得するステップ、
前記取得された未知画像を解析してドライバーを特定し、そのドライバーについての未知動作を検出するステップ、
指標は顔や手の動き、仕草、姿勢、視線、表情を含み、前記特定したドライバーの前記検出された未知動作が、それぞれの指標についての前記特定したドライバーの前記学習された結果と異なる度合いに応じて、異常レベルを判定するステップ、
前記判定された異常レベルに応じて、対応策を選択するステップ、
前記選択された対応策を実行するステップ、
を実行するためのプログラムであって、
前記判定するステップは、前記判定された異常レベルが所定時間にわたって継続する場合は、異常レベルを上げるプログラム。