JPWO2020122175A1 - 運転支援装置、運転支援方法、プログラム - Google Patents

Abstract

車両に備わる運転状況センシング装置から前記車両の運転状況のセンシングデータを取得する第一取得手段と、前記車両の運転者の生体変化に関する生体情報を取得する第二取得手段と、前記運転状況のセンシングデータに対応する値である危険イベントの第一発生指標値及び前記運転者の前記生体情報に対応する値である第二発生指標値に基づいて危険イベントの発生を判定する判定手段と、を備える運転支援装置。

Description

本発明は、運転支援装置、運転支援方法、プログラムを記憶する記憶媒体に関する。

車両などの移動体の加速度情報を取得し、急ハンドルや急ブレーキを検知した場合に危険イベント（事故に発展する可能性のある事象）が発生したと判定し、運転者にフィードバックすることで安全運転を支援する手法がある。
また、車両などの移動体を運転する運転者の危険状態を予測する技術が特許文献１に開示されている。
特許文献１には、運転者を示す被監視者の動作を監視し、危険状態に移行する兆候を示す兆候動作と一致する動作であって被監視者が行った動作を検出することについて記載されている。また、特許文献１には、その兆候動作が被監視者の認識力低下状態、眠気発生状態、酩酊状態、頭の動き、顔の表情の変化、視線の動きの変化などであることについて記載されている。

特開２０１８−１４７０２１号公報

ところで移動体の運転時の危険イベントにはさまざまな種別があり、安全運転支援においては、該さまざまな種別の危険イベントの発生を検知することが望まれる。

そこでこの発明は、上述の課題を解決する運転支援装置、運転支援方法、プログラムを記憶する記憶媒体を提供することを目的としている。

発明の第１の態様によれば、車両に備わる運転状況センシング装置から前記車両の運転状況のセンシングデータを取得する第一取得手段と、前記車両の運転者の生体変化に関する生体情報を取得する第二取得手段と、前記運転状況のセンシングデータに対応する値である危険イベントの第一発生指標値及び前記運転者の前記生体情報に対応する値である第二発生指標値に基づいて危険イベントの発生を判定する判定手段と、を備える。

発明の第２の態様によれば、運転支援方法は、車両に備わる運転状況センシング装置から前記車両の運転状況のセンシングデータを取得し、前記車両の運転者の生体変化に関する生体情報を取得し、前記運転状況のセンシングデータに対応する値である危険イベントの第一発生指標値及び前記運転者の前記生体情報に対応する値である第二の発生指標値に基づいて危険イベントの発生を判定する。

発明の第３の態様によれば、記憶媒体に記憶されたプログラムは、運転支援装置のコンピュータに、車両に備わる運転状況センシング装置から前記車両の運転状況のセンシングデータを取得し、前記車両の運転者の生体変化に関する生体情報を取得し、前記運転状況のセンシングデータに対応する値である危険イベントの第一発生指標値及び前記運転者の前記生体情報に対応する値である第二発生指標値に基づいて危険イベントの発生を判定する、処理を実行させる。

本発明によれば、さまざまな種別の危険イベントの発生を検知することができる。

本実施形態による運転支援システムの概要を示す図である。 本実施形態による運転支援装置のハードウェア構成図である。 本実施形態による運転支援装置の機能ブロック図である。 本実施形態によるドライブレコーダのハードウェア構成を示す図である。 本実施形態によるドライブレコーダの制御装置の機能ブロック図である。 本実施形態によるドライブレコーダの処理フローを示す第一の図である。 本実施形態によるドライブレコーダの処理フローを示す第二の図である。 本実施形態による運転支援装置の処理フローを示す図である。 本実施形態による運転支援装置の最小構成を示す図である。

以下、本発明の一実施形態による運転支援装置を図面を参照して説明する。
図１は本実施形態による運転支援装置を含む運転支援システムの概要を示す図である。
図１で示すように運転支援システム１００は、運転支援装置１とドライブレコーダ２とが、無線通信ネットワークや有線通信ネットワークを介して接続されることにより構成される。運転支援装置１は例えば運転支援を行う事業者のコンピュータサーバであり通信ネットワークに接続したコンピュータサーバ（クラウドサーバ）である。ドライブレコーダ２は複数の移動体にそれぞれ設けられている。図１では、移動体の一例として車両２０を用いて説明している。ドライブレコーダ２はカメラを有しており、車両２０の外部と内部とを撮影した撮影画像を運転支援装置１へ送信する。ドライブレコーダ２は運転状況センシング装置の一態様である。またドライブレコーダ２は運転者センシング装置の一態様である。

図２は運転支援装置のハードウェア構成図である。
この図が示すように運転支援装置１は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＨＤＤ（Hard Disk Drive）１０４、通信モジュール１０５、データベース１０６等の各ハードウェアを備えたコンピュータである。

図３は運転支援装置の機能ブロック図である。
運転支援装置１は電源が投入されると起動し、予め記憶する運転支援プログラムを実行する。これにより運転支援装置１には、制御部１１、第一取得部１２、第二取得部１３、判定部１４、第一算出部１５、第二算出部１６、記録部１７、フィードバック情報生成部１８、出力部１９を少なくとも備える。

制御部１１は、運転支援装置１の他の機能部を制御する。
第一取得部１２は、車両２０に備わるドライブレコーダ２等の運転状況センシング装置から、車両２０の運転状況に関するセンシングデータを取得する。
第二取得部１３は、車両２０の運転者の生体情報をドライブレコーダ２等の運転状況センシング装置より取得する。

判定部１４は、危険イベントデータが含む危険イベントの発生指標値（第一発生指標値）が所定の閾値以上である場合に、危険イベントが発生したと判定する。ここで、危険イベントとは、例えば事故に発展する可能性のある事象である。危険イベントデータは事故に発展する可能性のある事象が発生した際にドライブレコーダ２で生成されるデータである。危険イベントデータには、イベント発生を検知した際の車両の加速度、速度、ハンドル回転角度、ブレーキ踏込量、イベント発生時刻、車両の位置情報（緯度情報、経度情報）、ドライブレコーダ２のＩＤ、及び運転者ＩＤ等が含まれる。
判定部１４は、危険イベントデータが含む危険イベントの発生指標値が所定の閾値未満の場合であっても、運転者の生体変化に関する生体情報に基づいて算出した危険イベントの発生指標値（第二発生指標値）が所定の閾値以上である場合に、危険イベントが発生したと判定する。

判定部１４は、運転状況のセンシングデータ（運転状況データ）に基づいて算出した危険イベントの発生指標値（第一発生指標値）が所定の閾値以上である場合、危険イベントが発生したと判定する。運転状況データは、車両情報、位置情報（緯度情報、経度情報）、加速度、速度、ハンドル回転角度、ブレーキ踏込量、該運転状況データの生成時刻、ドライブレコーダ２のＩＤ、及び運転者ＩＤ、などを含む。
判定部１４は、運転状況のセンシングデータに基づいて算出した危険イベントの発生指標値が所定の閾値未満の場合であっても、運転者の生体変化に関する生体情報に基づいて算出した危険イベントの発生指標値（第二発生指標値）が所定の閾値以上である場合に、危険イベントが発生したと判定する。

第一算出部１５は、生体情報が運転者の顔を撮影した顔画像である場合に、その顔画像に基づいて危険イベントの発生指標値を算出する。
第二算出部１６は、生体情報が運転者の発声音である場合に、その発声音に基づいて危険イベントの発生指標値を算出する。
危険イベントの発生指標値は、単数であっても複数であってもよい。複数の発生指標値を用いる場合は、例えば複数の発生指標値の平均値を用いたり、優先度の高い発生指標値に重みづけをして当該重みづけされた複数の発生指標値を用いたりすることができる。

記録部１７は、危険イベントが発生したと判定された場合に、危険イベントの発生要因情報を記録する。すなわち、運転状況のセンシングデータに基づく発生指標値が所定の閾値以上であることによりその危険イベントが発生したと判定されたのか、生体情報に基づく発生指標値が所定の閾値以上であることによりその危険イベントが発生したと判定さ入れたのか、の何れかを示す発生要因情報を記録する。
フィードバック情報生成部１８は、運転者の識別情報と、発生要因情報とを少なくとも含むフィードバック情報を生成する。
出力部１９は、フィードバック情報を所定の出力先装置へ出力する。

上述のような各機能部を備えることにより運転支援装置１は、危険イベントの発生指標値が所定の閾値未満の場合であっても、運転者の生体変化に関する生体情報より算出した危険イベントの発生指標値が所定の閾値以上である場合に、危険イベントが発生したと判定して記録する。
これにより、さまざまな種別の危険イベントの発生を検知することができる。そして、危険イベントの発生に関する情報を記録することができる。より具体的には、慢性的な荒い運転（運転者が無自覚な、危険運転予備軍となる運転）を検知し、その情報を記録することができる。

図４はドライブレコーダのハードウェア構成を示す図である。
ドライブレコーダ２は、センサ２１、通信装置２２、カメラ２３、制御装置２４、記憶装置２５などを含んで構成される。本実施の形態において、例えば、センサ２１は、複数のセンサを含む。センサ２１は加速度センサ２１１、音検知センサ２１２、ＧＰＳセンサ２１３などを含んでよい。なおこれらのセンサ２１は、ドライブレコーダ２の外部の車両の何れかの位置に設置されて、ドライブレコーダ２がそれらセンサ２１のセンシングした情報を取得してもよい。なお、本実施の形態では、センサ２１が加速度センサ２１１、音検知センサ２１２、ＧＰＳセンサ２１３を含む場合を例示するがこの例に限定されるものではない。

通信装置２２は運転支援装置１と通信接続する。
カメラ２３は、上述した外部撮影レンズ（図示せず）と内部撮影レンズ（図示せず）とを備える。外部撮影レンズは車両２０の前進方向を中心とする所定の画角を有する。内部撮影レンズは運転者が運転席に着座した際に、当該運転者の顔を撮影できる方向を中心とする所定の画角を有する。これによりドライブレコーダ２のカメラ２３は車両の前方の撮影画像と、車内の運転者の顔が写る撮影画像とを生成することができる。

制御装置２４はドライブレコーダ２の各機能を制御する。
記憶装置２５は動画像、静止画像の少なくともいずれか、及びセンサ２１でセンシングされた各種情報、を含むセンシング情報を記憶する。
ドライブレコーダ２は基地局等を介して運転支援装置１と通信接続する。なおドライブレコーダ２の制御装置２４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータである。

図５はドライブレコーダに備わる制御装置の機能ブロック図である。
制御装置２４はドライブレコーダ２が起動すると、メモリ等に記憶された制御プログラムをＣＰＵが実行する。これにより制御装置２４には、車両情報取得部２４１、位置情報取得部２４２、加速度情報取得部２４３、イベント検知部２４４、アップロード画像生成部２４５、運転状況データ送信部２４６、イベントデータ送信部２４７、画像送信部２４８の各機能部が備わる。

車両情報取得部２４１は、ドライブレコーダ２に挿入されたメモリ、または予めドライブレコーダ２に内蔵されているメモリ等の記憶部に記録されている車両２０に関する情報（運転者ＩＤ、車両種別、車両ＩＤ）含む車両情報を取得する。車両情報取得部２４１の取得できる車両情報としては、例えばさらに、運転始動時刻、運転停止時刻、時刻に応じた車両速度、車内温度、ハンドル角度、ブレーキ踏込量などの情報が含まれてよい。

位置情報取得部２４２は時刻に応じた車両の位置情報（緯度情報、経度情報）の情報をＧＰＳセンサ２１３（図４）などから取得する。
加速度情報取得部２４３は、時刻に応じた車両の加速度情報を加速度センサ２１１（図４）から取得する。
イベント検知部２４４は加速度に基づいて車両に所定の危険イベントが発生したか否かを判定する。所定の危険イベントとは例えば事故に発展する可能性のある事象である。

アップロード画像生成部２４５はカメラ２３の撮影により当該カメラ２３から動画像、静止画像の何れかを少なくとも含む画像データを取得し、その画像データに基づいてアップロード用の撮影画像を所定の間隔で生成して出力する。アップロード画像生成部２４５は一例としては、１ｆｐｓ（frames per second）の生成速度で撮影画像の生成を行う。つまり、アップロード画像生成部２４５は、１秒あたり１枚の撮影画像を生成する。アップロード画像生成部２４５は、イベント検知部２４４による危険イベントが発生したと検知された際には、少なくとも危険イベントの発生前の一定時間を含む期間において、３０ｆｐｓなどの生成速度で撮影画像を生成してよい。

運転状況データ送信部２４６は、上述した車両情報、位置情報（緯度情報、経度情報）、加速度、速度、ハンドル回転角度、ブレーキ踏込量、該運転状況データの生成時刻、ドライブレコーダ２のＩＤ、及び運転者ＩＤ、などを含む運転状況データを運転支援装置１へ送信する。

イベントデータ送信部２４７はイベント検知部２４４により危険イベントの発生が検知された場合に危険イベントデータを送信してよい。危険イベントデータには、イベント発生を検知した際の車両の加速度、速度、ハンドル回転角度、ブレーキ踏込量、イベント発生時刻、車両の位置情報（緯度情報、経度情報）、ドライブレコーダ２のＩＤ、及び運転者ＩＤ等が含まれてよい。危険イベントデータには、さらに他のセンシング情報が含まれていてもよい。危険イベントデータにはイベントの種別を示す識別子が含まれてよい。
画像送信部２４８は、アップロード画像生成部２４５の生成した撮影画像を運転支援装置１へ送信する。

なお制御装置２４は、イベント検知部２４４やイベントデータ送信部２４７を備えなくともよい。この場合、イベント検知部２４４に相当する機能が運転支援装置１に備わる。また制御装置２４と運転支援装置１とにイベント検知部２４４に対応する機能が備わってもよい。この場合、制御装置２４に備わるイベント検知部２４４がセンシングデータに基づいて危険イベントの発生を検知し、運転支援装置１がその危険イベントの発生をより詳細に解析して、危険イベントの発生があったという判定が正しいか否かを判定してよい。イベント検知部２４４の機能が運転支援装置１にのみ備わる場合には、制御装置２４の運転状況データ送信部２４６は常時、運転状況データを、通信装置２２を介して運転支援装置１に送信してよい。

図６はドライブレコーダの処理フローを示す第一の図である。
次に、図６にしたがって、ドライブレコーダ２の処理フローについて順を追って説明する。
まずドライブレコーダ２における運転状況データの送信処理について説明する。
車両の電気系統が起動するとドライブレコーダ２が動作を始動する（ステップＳ１０１）。ドライブレコーダ２のセンサ２１それぞれは、ドライブレコーダ２の始動後に各種センシングを開始する（ステップＳ１０２）。またカメラ２３は撮影を開始する（ステップＳ１０３）。そしてドライブレコーダ２の動作中、制御装置２４の車両情報取得部２４１は車両情報を取得する（ステップＳ１０４）。
また位置情報取得部２４２はＧＰＳセンサ２１３から位置情報（緯度情報、経度情報）を所定の時間間隔で取得する（ステップＳ１０５）。また加速度情報取得部２４３は、加速度センサ２１１から加速度情報を所定の時間間隔で取得する（ステップＳ１０６）。所定の時間間隔は例えば０．１秒毎などであってよい。
運転状況データ送信部２４６は、ステップＳ１０４、Ｓ１０５、Ｓ１０６で取得された車両情報、位置情報（緯度情報、経度情報）、加速度情報を取得し、それらの情報と運転状況データの生成時刻とドライブレコーダ２のＩＤと運転者ＩＤとを含む運転状況データを生成する（ステップＳ１０７）。運転状況データ送信部２４６は、音検知センサ２１２から車内の音や車外の音の情報を取得して、その音の情報を含む運転状況データを生成してもよい。
運転状況データ送信部２４６は当該運転状況データの運転支援装置１への送信を通信装置２２へ要求する。通信装置２２は運転状況データを運転支援装置１へ送信する（ステップＳ１０８）。

他方、カメラ２３は、外部撮影レンズに入力した入射光に基づいて生成した車両２０の前方方向を撮影した第一撮影画像と、内部撮影レンズに入力した入射光に基づいて生成した運転者の顔を含む第二撮影画像と、を制御装置２４へ出力する。制御装置２４のアップロード画像生成部２４５は、第一撮影画像と第二撮影画像とを取得する。アップロード画像生成部２４５は、第一撮影画像と第二撮影画像とを含むアップロード画像を生成する（ステップＳ１０９）。
具体的にはアップロード画像生成部２４５は、所定の時間間隔ごとにカメラ２３から取得した第一撮影画像や第二撮影画像を含むアップロード画像を生成する。第一撮影画像や第二撮影画像は静止画像であっても動画像であってもよい。アップロード画像生成部２４５の生成するアップロード画像には、その生成時刻、ドライブレコーダ２のＩＤ、運転者ＩＤなどが含まれる。
画像送信部２４８は、アップロード画像の運転支援装置１への送信を通信装置２２へ要求する。通信装置２２はアップロード画像を運転支援装置１へ送信する（ステップＳ１１０）。制御装置２４は処理終了か否かを判定し（ステップＳ１１１）、処理終了までステップＳ１０２からの処理を繰り返す。

図７はドライブレコーダの処理フローを示す第二の図である。
ドライブレコーダ２は、運転状況データやアップロード画像の送信処理と並行してイベント検知処理を行う。まずドライブレコーダ２が始動すると、制御装置２４のイベント検知部２４４は、加速度情報取得部２４３から加速度情報を所定の時間間隔で取得する（ステップＳ２０１）。またイベント検知部２４４は車両情報取得部２４１から速度情報を所定の時間間隔で取得する（ステップＳ２０２）。
イベント検知部２４４は車両の加速度と速度の時間変化に基づいて車両にイベントが発生したか否かを検知する（ステップＳ２０３）。イベントとは本実施形態においては危険な事象である。このイベントが発生したか否かの検知は、運転者属性に応じて定められてよい。

具体的にはイベント検知部２４４は記憶装置２４等に記録される動作条件データを取得する。動作条件データは、危険イベントが発生したと判定するための条件を示すデータである。この動作条件データは、危険度レベル情報及び危険運転種別情報を含む。危険度レベル情報は危険度「１」、危険度「２」、危険度「３」・・・などの危険の度合を示す数値と、該当する危険度を判定するための基準となる加速度と、を紐づけたデータである。なお危険度の数値が高いほど危険度が高いとする。危険運転種別情報は、急発進、急加速、急停車、急減速などの危険運転の種別を判定するための条件であり、危険運転の種別に応じた加速度の方向や速度の値を示すデータである。
イベント検知部２４４は、一例としては、車両の加速度が危険度レベル情報の危険度「３」に対応する加速度となり、かつ車両の加速度方向や速度が、危険運転種別情報の何れかの危険運転の種別が示す加速度方向や速度の条件を満たす場合、危険イベントの発生を検知する。イベント検知部２４４は、車両の加速度が所定の危険度に対応する加速度となった場合、または車両の加速度方向や速度が危険運転種別情報の示す何れかの危険運転の種別に対応する加速度方向や速度の条件を満たす場合の少なくとも一方において、危険イベントの発生を検知するようにしてもよい。
危険度レベル情報や危険運転種別情報は運転者属性に応じて設定される。このため、運転者属性に基づく危険イベント発生の検知を行うことができる。

イベント検知部２４４は危険イベント発生を検知した場合、危険イベントデータを生成する（ステップＳ２０４）。危険イベントデータには危険イベント発生を検知した際の車両の加速度と、速度と、ハンドル回転角度と、ブレーキ踏込量と、危険イベント発生時刻と、車両の位置情報（緯度情報、経度情報）と、ドライブレコーダ２のＩＤと、運転者ＩＤとが含まれてよい。危険イベントデータには、その他のセンシング情報が含まれていてもよい。
イベントデータ送信部２４７は危険イベントデータをイベント検知部２４４から取得する。イベントデータ送信部２４７は、危険イベントデータの運転支援装置１への送信を通信装置２２へ指示する。通信装置２２は危険イベントデータを運転支援装置１へ送信する（ステップＳ２０５）。制御装置２４は処理終了か否かを判定し（ステップＳ２０６）、処理終了までステップＳ２０１からの処理を繰り返す。

なお本実施形態においてはイベント検知部２４４の機能が制御装置２４に備わる態様について説明するが、イベント検知部２４４の機能が制御装置２４に備わらない場合があってよい。この場合、イベント検知部２４４の機能は運転支援装置１が備え、当該運転支援装置１が運転状況データに基づいて危険イベントの発生を検知する。

図８は運転支援装置の処理フローを示す図である。
運転支援装置１において、第一取得部１２は車両の通信装置２２から送信された運転状況データを、通信モジュール１０５を介して取得する（ステップＳ３０１）。また第一取得部１２は車両の通信装置２２から送信された危険イベントデータを、通信モジュール１０５を介して取得する（ステップＳ３０２）。また第二取得部１３は車両の通信装置２２から送信されたアップロード画像を、通信モジュール１０５を介して取得する（ステップＳ３０３）。

判定部１４は、ステップＳ３０１、Ｓ３０２で取得した運転状況データと危険イベントデータとを取得する。判定部１４は危険イベントデータや運転状況データに基づいて車両２０における危険イベントの発生の有無を判定する（ステップＳ３０４）。判定部１４は危険イベントデータに含まれる危険イベントの発生指標値に基づいて車両２０において危険イベントが発生したか否かを確認する。
具体的には、発生指標値が所定の閾値以上であるかどうかに基づいて車両２０において危険イベントが発生したか否かを確認する。発生指標値が加速度である場合には、判定部１４は危険イベントデータに含まれる加速度が所定の閾値以上であるか否かを判定し、加速度が閾値以上である場合には危険イベントの発生有りと判定する。運転状況データに基づいて危険イベントの発生有無を判定する処理については、上述の通りである。

なお運転支援装置１で行う、危険イベントデータや運転状況データに基づく危険イベントの発生有無の判定は、ドライブレコーダ２で行われる危険イベントの検知と比較して精度の高いものであってよい。上述したように、イベント検知部２４４の機能がドライブレコーダ２の制御装置２４に備わっていない場合には、判定部１４が運転状況データに基づいて危険イベントの検知を、上述のイベント検知部２４４と同様の処理により行ってもよい。判定部１４は危険イベントデータや運転状況データに基づいて危険イベントの発生を検知した場合には、危険イベントが発生したことを示す情報を記録部１７へ出力する。

判定部１４は危険イベントデータや運転状況データに基づいて危険イベントの発生有りと判定しなかった場合にも、運転者の生体変化に関する生体情報に基づいて危険イベントの発生有無を判定する（ステップＳ３０５）。
具体的には、判定部１４は第一算出部１５に対して、撮影画像に基づいて危険イベントの発生指標値を算出するよう指示する。第一算出部１５は、アップロード画像に含まれる第二撮影画像内の運転者の顔の状態（表情）を解析して、運転者の顔の状態に基づく危険イベントの発生指標値を算出する。
運転者の顔の状態に基づく危険イベントの発生指標値は、例えば顔の状態が驚き、恐怖、怒りを示す状態である場合には、高い値を示す。第一算出部１５は、第二撮影画像内に写る運転者の顔の状態を判定し、驚きの度合、恐怖の度合、怒りの度合を示す値を算出し、その値を危険イベントの発生指標値とする。

第二撮影画像に写る運転者の顔の状態に基づいて、驚きの度合、恐怖の度合、怒りの度合を示す値を算出する手法はどのような手法であってもよい。一例としては、第一算出部１５は、顔画像の目、口、眉毛など位置情報を、危険イベントの発生指標値の算出モデルに入力し、その出力値となる驚きの度合、恐怖の度合、怒りの度合を示す危険イベントの発生指標値を算出し、判定部１４に出力する。危険イベントの発生指標値の算出モデルは、驚きを示す顔画像、恐怖を示す顔画像、怒りを示す顔画像を正解データとして機械学習することにより得られた算出モデルであってよい。
判定部１４はこれらの危険イベントの発生指標値が所定の値以上である場合には、危険イベントの発生有りと判定する。判定部１４は危険イベントの発生指標値を所定の時間間隔で算出し、発生指標値の変化の度合が所定値以上である場合に、危険イベントの発生有りと判定してもよい。

なお上述の処理においては第二撮影画像内の運転者の顔の状態に基づいて危険イベントの発生指標値を算出する態様について説明しているが、運転者の他の生体情報に基づいて危険イベントの発生指標値を算出するようにしてもよい。例えば、判定部１４の指示に基づき、第二算出部１６が運転状況データに含まれる運転者の声に基づいて危険イベントの発生指標値を算出してもよい。運転者の声に基づく危険イベントの発生指標値も、その声により驚き、恐怖、怒りを示す状態であると判定された場合には、高い値を示す。

運転状況データに含まれる運転者の声の状態に基づいて、驚きの度合、恐怖の度合、怒りの度合を示す値を算出する手法はどのような手法であってもよい。一例としては、第二算出部１６は、声の信号を危険イベントの発生指標値の算出モデルに入力し、その出力値となる驚きの度合、恐怖の度合、怒りの度合を示す危険イベントの発生指標値を算出し、判定部１４に出力する。この危険イベントの発生指標値の算出モデルも、驚きを示す声の信号、恐怖を示す声の信号、怒りを示す声の信号を正解データとして機械学習することにより得られた算出モデルであってよい。

運転支援装置１は、危険イベントの発生指標値を、運転者の視線、単位時間当たりの脈拍、開瞼度などに基づいて算出してもよい。視線や開瞼度は第二撮影画像に写る運転者の顔の画像に基づいて算出すればよい。また生体情報が単位時間当たりの脈拍である場合には、例えば運転者が装着する脈拍センサから得た信号に基づいて、ドライブレコーダ２が単位時間当たりの脈拍の値を含む運転状況データを生成し、運転支援装置１へ送信すればよい。
例えば、運転支援装置１は、運転者の視線の単位時間当たりの変化の度合に基づいて、危険イベントの発生指標値を算出する。運転支援装置１は、運転者の単位時間当たりの脈拍の変動に基づいて、危険イベントの発生指標値を算出する。運転支援装置１は、例えば、予め登録された開瞼度と運転中の開瞼度との差異に基づいて、危険イベントの発生指標値を算出する。

ステップＳ３０４とステップＳ３０５の少なくとも一方において危険イベントの発生有りと判定した場合、判定部１４は記録部１７に対して危険イベントが発生したことを示す情報を記録部１７に出力する。
記録部１７は、危険イベントが発生したと判定された場合に、次の判定を行う。すなわち、記録部１７は、運転状況のセンシングデータに基づく発生指標値が所定の閾値以上であることによりその危険イベントが発生したと判定されたか、又は生体情報に基づく発生指標値が所定の閾値以上であることによりその危険イベントが発生したと判定されたのか、の何れかを示す発生要因情報を記録する（ステップＳ３０６）。
記録部１７は、発生要因情報と危険イベントの発生有りと判定した時刻と、ドライブレコーダ２のＩＤ、運転者ＩＤなどの情報を含む危険イベント発生情報をデータベース１０６に記録する（ステップＳ３０７）。

上述の処理によれば、さまざまな種別の危険イベントの発生を検知することができる。そして、危険イベントの発生に関する情報を記録することができる。より具体的には、慢性的な荒い運転（運転者が無自覚な、危険運転予備軍となる運転）を検知し、その情報を記録することができる。

フィードバック情報生成部１８は、記録された危険イベント発生情報を用いて、フィードバック情報を生成する（ステップＳ３０８）。フィードバック情報は、運転者ＩＤごとに、危険イベントの発生した位置情報、危険イベント種別、センシング情報が示す各センサの値などの一覧であってよい。フィードバック情報には危険イベントの発生した時刻に撮影されたアップロード画像が含まれてもよい。
生体情報に基づく発生指標値が所定の閾値以上であることにより危険イベントが発生したと判定された場合には、フィードバック情報には、第二撮影画像内に写る運転者の顔の状態により判定した、驚きの度合、恐怖の度合、怒りの度合を示す値（発生指標値）などが含まれてもよい。またフィードバック情報は、全ての危険イベント発生情報に含まれる位置情報に危険を示すアイコンが表示された地図データであってもよい。
フィードバック情報生成部１８は出力部１９にフィードバック情報を出力する。出力部１９は、フィードバック情報を所定の出力先装置へ送信する（ステップＳ３０９）。

図９は運転支援装置の最小構成を示す図である。
この図が示すように運転支援装置１は少なくとも、第一取得部（第一取得手段）１２、第二取得部（第二取得手段）１３、判定部（判定手段）１４を備える。
第一取得部１２は、車両２０に備わるドライブレコーダ２等の運転状況センシング装置から車両２０の運転状況のセンシングデータを取得する。
第二取得部１３は、車両２０の運転者の生体変化に関する生体情報を取得する。
判定部１４は、運転状況のセンシングデータに対応する値である危険イベントの発生指標値（第一発生指標値）及び運転者の生体変化に関する生体情報に対応する値である危険イベントの発生指標値（第二発生指標値）に基づいて危険イベントの発生を判定する。

上述の運転支援装置１やドライブレコーダ２の制御装置２４は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。

上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

この出願は、２０１８年１２月１２日に日本出願された特願２０１８−２３２８７７号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明によれば、さまざまな種別の危険イベントの発生を検知することができる。

１・・・運転支援装置
２・・・ドライブレコーダ
１１・・・制御部
１２・・・第一取得部
１３・・・第二取得部
１４・・・判定部
１５・・・第一算出部
１６・・・第二算出部
１７・・・記録部
１８・・・フィードバック情報生成部
１９・・・出力部
２１・・・センサ
２２・・・通信装置
２３・・・カメラ
２４・・・制御装置
２５・・・記憶装置
２１１・・・加速度センサ
２１２・・・音検知センサ
２１３・・・ＧＰＳセンサ
２４１・・・車両情報取得部
２４２・・・位置情報取得部
２４３・・・加速度情報取得部
２４４・・・イベント検知部
２４５・・・アップロード画像生成部
２４６・・・運転状況データ送信部
２４７・・・イベントデータ送信部
２４８・・・画像送信部

本発明は、運転支援装置、運転支援方法、プログラムに関する。

そこでこの発明は、上述の課題を解決する運転支援装置、運転支援方法、プログラムを提供することを目的としている。

Claims (8)

1. 車両に備わる運転状況センシング装置から前記車両の運転状況のセンシングデータを取得する第一取得手段と、
   前記車両の運転者の生体変化に関する生体情報を取得する第二取得手段と、
   前記運転状況のセンシングデータに対応する値である危険イベントの第一発生指標値及び前記運転者の前記生体情報に対応する値である第二発生指標値に基づいて危険イベントの発生を判定する判定手段と、
   を備える運転支援装置。
2. 前記判定手段は、前記第一発生指標値が所定の閾値以上である場合、及び前記第一発生指標値が前記所定の閾値未満の場合であっても前記第二発生指標値が所定の閾値以上である場合に、前記危険イベントが発生したと判定する、
   請求項１に記載の運転支援装置。
3. 危険イベントが発生したと判定された場合に、前記第一発生指標値が所定の閾値以上であることによりその危険イベントが発生したと判定されたか、前記第二発生指標値が所定の閾値以上であることによりその危険イベントが発生したと判定されたのかの何れかを示す発生要因情報を記録する記録手段と、
   を備える請求項１または２に記載の運転支援装置。
4. 前記運転者の識別情報と、前記発生要因情報とを少なくとも含むフィードバック情報を生成するフィードバック情報生成手段と、
   を備える請求項３に記載の運転支援装置。
5. 前記生体情報が前記運転者の顔画像を撮影した撮影画像であり、
   前記撮影画像に基づいて前記第二発生指標値を算出する第一算出手段と、
   を備える請求項１から請求項４の何れか一項に記載の運転支援装置。
6. 前記生体情報が前記運転者の発声音であり、
   前記発声音に基づいて前記第二発生指標値を算出する第二算出手段と、
   を備える請求項１から請求項５の何れか一項に記載の運転支援装置。
7. 車両に備わる運転状況センシング装置より前記車両の運転状況のセンシングデータを取得し、
   前記車両の運転者の生体変化に関する生体情報を取得し、
   前記運転状況のセンシングデータに対応する値である危険イベントの第一発生指標値及び前記運転者の前記生体情報に対応する値である第二の発生指標値に基づいて危険イベントの発生を判定する、
   ことを特徴とする運転支援方法。
8. 運転支援装置のコンピュータに、
   車両に備わる運転状況センシング装置から前記車両の運転状況のセンシングデータを取得し、
   前記車両の運転者の生体変化に関する生体情報を取得し、
   前記運転状況のセンシングデータに対応する値である危険イベントの第一発生指標値及び前記運転者の前記生体情報に対応する値である第二発生指標値に基づいて危険イベントの発生を判定する、
   処理を実行させるプログラムを記憶する記憶媒体。

Images