JP6932269B1 - 運転支援制御装置及び運転支援制御方法 - Google Patents

Abstract

運転支援制御装置（１００）は、車内撮像用の第１カメラ（２）による第１撮像画像を用いて、車両（１）における運転者の状態を検知する第１推論部（２１）と、車外撮像用の第２カメラ（３）による第２撮像画像を用いて、車両（１）に対する周囲における脅威を検知する第２推論部（２２）と、運転者の状態に応じて、脅威に対する通知の態様を設定する処理を実行する通知制御部（２３）と、通知が出力されたときの運転者の状態に応じて通知制御部（２３）の学習をすることにより、通知の態様を設定する処理を運転者に適合させる適合部（２４）と、を備える。

Description

本開示は、運転支援制御装置及び運転支援制御方法に関する。

従来、車両用のＤＭＳ（Ｄｒｉｖｅｒ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ）が開発されている。また、車両用のＣＭＳ（Ｃａｍｅｒａ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ）が開発されている。以下、ＣＭＳを「電子ミラー」ということがある。

特開２０１８−１８５６７３号公報

従来、車内撮像用のカメラにより撮像された画像を用いて、運転者の状態を検知する技術が開発されている。また、車外撮像用のカメラにより撮像された画像を用いて、車両の周囲における物体等を検知する技術が開発されている。また、これらの検知結果に応じて、運転者に対する通知を出力する技術が開発されている（例えば、特許文献１参照。）。

かかる通知は、運転者毎に好適な態様が異なり得るものである。したがって、かかる通知の態様は、個々の運転者に適合するように設定されるのが好適である。しかしながら、従来技術においては、かかる通知の態様を個々の運転者に適合させるための構成が設けられていない。このため、従来技術においては、個々の運転者に適合した態様による通知を実現することが困難であるという問題があった。

本開示は、上記のような課題を解決するためになされたものであり、個々の運転者に適合した態様による通知を実現することを目的とする。

本開示に係る運転支援制御装置は、車内撮像用の第１カメラによる第１撮像画像を用いて、車両における運転者の状態を検知する第１推論部と、車外撮像用の第２カメラによる第２撮像画像を用いて、前記車両に対する周囲における脅威を検知する第２推論部と、前記運転者の状態に応じて、前記脅威に対する通知の態様を設定する処理を実行する通知制御部と、を備える。
前記第２推論部は、前記第２撮像画像における特徴量を抽出する特徴量抽出部と、前記特徴量を用いて物体認識を含む画像認識を実行する画像認識部と、前記画像認識の結果に基づき前記脅威を検知する脅威検知部と、を有し、前記脅威が生じたときに、前記運転者の注意が向けられている領域を示す顕著性マップＭ１と、前記脅威検知部による検知結果を示す情報の入力に対して前記顕著性マップＭ１に対応するリスクマップＭ２と、前記運転者が注意を向けるべき領域を示すアテンションマップＭ３と、を生成する。
本開示に係る運転支援制御装置は、前記顕著性マップＭ１と前記リスクマップＭ２と前記アテンションマップＭ３における位置及び前記脅威検知部による個々の物体に対応する脅威レベルを含む情報と、前記通知が出力されたときの前記運転者の状態に応じて前記通知制御部の機械学習をする適合部を、上記構成とともに備えるものである。

本開示によれば、上記のように構成したので、個々の運転者に適合した態様による通知を実現することができる。

実施の形態１に係る運転支援制御装置の要部を示すブロック図である。 実施の形態１に係る運転支援制御装置における第１推論部の要部を示すブロック図である。 実施の形態１に係る運転支援制御装置における第２推論部の要部を示すブロック図である。 実施の形態１に係る運転支援制御装置における第２推論部のうちの画像認識部及び脅威検知部の要部を示すブロック図である。 実施の形態１に係る運転支援制御装置における通知制御部の要部を示すブロック図である。 グラフの例を示す説明図である。 リスクマップの例を示す説明図である。 顕著性マップの例を示す説明図である。 アテンションマップの例を示す説明図である。 実施の形態１に係る運転支援制御装置の要部のハードウェア構成を示すブロック図である。 実施の形態１に係る運転支援制御装置の要部の他のハードウェア構成を示すブロック図である。 実施の形態１に係る運転支援制御装置の要部の他のハードウェア構成を示すブロック図である。 実施の形態１に係る運転支援制御装置の動作を示すフローチャートである。 実施の形態１に係る運転支援制御装置の動作を示すフローチャートである。 実施の形態１に係る運転支援制御装置の動作を示すフローチャートである。 実施の形態１に係る運転支援制御装置の要部のシステム構成を示すブロック図である。 実施の形態１に係る運転支援制御装置の要部の他のシステム構成を示すブロック図である。 実施の形態１に係る運転支援制御装置の要部の他のシステム構成を示すブロック図である。 実施の形態１に係る運転支援制御装置の要部の他のシステム構成を示すブロック図である。 実施の形態１に係る運転支援制御装置の要部の他のシステム構成を示すブロック図である。 実施の形態１に係る運転支援制御装置の要部の他のシステム構成を示すブロック図である。 実施の形態１に係る運転支援制御装置の要部の他のシステム構成を示すブロック図である。 実施の形態１に係る運転支援制御装置の要部の他のシステム構成を示すブロック図である。 実施の形態１に係る運転支援制御装置の要部の他のシステム構成を示すブロック図である。 実施の形態１に係る他の運転支援制御装置の要部を示すブロック図である。

以下、この開示をより詳細に説明するために、この開示を実施するための形態について、添付の図面に従って説明する。

実施の形態１．
図１は、実施の形態１に係る運転支援制御装置の要部を示すブロック図である。図２は、実施の形態１に係る運転支援制御装置における第１推論部の要部を示すブロック図である。図３は、実施の形態１に係る運転支援制御装置における第２推論部の要部を示すブロック図である。図４は、実施の形態１に係る運転支援制御装置における第２推論部のうちの画像認識部及び脅威検知部の要部を示すブロック図である。図５は、実施の形態１に係る運転支援制御装置における通知制御部の要部を示すブロック図である。図１〜図５を参照して、実施の形態１に係る運転支援制御装置について説明する。

図１に示す如く、車両１は、第１カメラ２、第２カメラ３、センサ類４及び出力装置５を有してる。

第１カメラ２は、車内撮像用のカメラである。すなわち、第１カメラ２は、車両１の車室内前方部に設けられており、かつ、車両１の車室内を撮像するものである。第１カメラ２は、動画撮像用のカメラにより構成されており、かつ、赤外線カメラにより構成されている。以下、第１カメラ２により撮像される動画を構成する個々の静止画を「第１撮像画像」ということがある。車両１の運転席に運転者が着座しているとき、第１撮像画像は、運転者の顔を含み得るものである。

第２カメラ３は、車外撮像用のカメラである。具体的には、例えば、第２カメラ３は、電子ミラー用のカメラである。すなわち、第２カメラ３は、車両１の側部に設けられており、かつ、車両１に対する後方を撮像するものである。第２カメラ３は、動画撮像用のカメラにより構成されており、かつ、可視光カメラにより構成されている。以下、第２カメラ３により撮像される動画を構成する個々の静止画を「第２撮像画像」ということがある。車両１に対する後方に物体（例えば他車両）が存在するとき、第２撮像画像は、かかる物体を含み得るものである。

なお、第１カメラ２は、赤外線カメラに代えて可視光カメラにより構成されているものであっても良い。また、第２カメラ３は、可視光カメラに代えて赤外線カメラにより構成されているものであっても良い。

センサ類４は、車両１の状態を検出するものである。センサ類４は、複数種類のセンサを含むものである。具体的には、例えば、センサ類４は、車両１の走行速度を検出するセンサ、車両１における操舵角を検出するセンサ、車両１におけるスロットル開度を検出するセンサ、車両１におけるシフトポジションを検出するセンサ、車両１におけるアクセルペダルの操作量を検出するセンサ、及び車両１におけるブレーキペダルの操作量を検出するセンサを含むものである。

出力装置５は、光源１１、ディスプレイ１２、スピーカ１３及び触覚デバイス１４のうちの少なくとも一つを含むものである。以下、出力装置５が光源１１、ディスプレイ１２、スピーカ１３及び触覚デバイス１４のうちの全てを含む場合の例を中心に説明する。

光源１１は、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）により構成されており、かつ、車両１のダッシュボードに設けられている。ディスプレイ１２は、例えば、液晶ディスプレイ又は有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイにより構成されており、かつ、車両１のダッシュボードに設けられている。スピーカ１３は、例えば、車両１のダッシュボードに設けられている。触覚デバイス１４は、例えば、バイブレータにより構成されており、かつ、車両１の運転席又は車両１のハンドルに設けられている。

なお、ディスプレイ１２は、電子ミラー用のディスプレイを含むものであっても良い。すなわち、第２カメラ３及びディスプレイ１２により電子ミラーの要部が構成されているものであっても良い。また、ディスプレイ１２は、ヘッドアップディスプレイを含むものであっても良い。

図１に示す如く、車両１は、運転支援制御装置１００を有している。運転支援制御装置１００は、第１推論部２１、第２推論部２２、通知制御部２３及び適合部２４を有している。以下、第１推論部２１、第２推論部２２、通知制御部２３及び適合部２４の各々について説明する。

図２に示す如く、第１推論部２１は、画像データ取得部３１、特徴量抽出部３２及び状態検知部３３を有している。

画像データ取得部３１は、第１撮像画像を示す画像データ（以下「第１画像データ」ということがある。）を取得するものである。特徴量抽出部３２は、当該取得された第１画像データを用いて、第１撮像画像における特徴量を抽出するものである。状態検知部３３は、当該抽出された特徴量を用いて、車両１における運転者の状態を検知するものである。すなわち、特徴量抽出部３２により抽出される特徴量は、運転者の状態を検知するための特徴量を含むものである。

具体的には、例えば、状態検知部３３は、顔検出（Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ）、顔パーツ検出（Ｆａｃｉａｌ Ｐａｒｔｓ Ｄｅｔｅｃｔｉｏｎ）、顔向き推定（Ｆａｃｅ Ｄｉｒｅｃｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ）、頭部位置推定（Ｈｅａｄ Ｐｏｓｉｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ）、開眼度算出（Ｄｅｇｒｅｅ ｏｆ Ｅｙｅ Ｏｐｅｎｉｎｇ Ｐｒｅｄｉｃｔｉｏｎ）、開口度算出（Ｄｅｇｒｅｅ ｏｆ Ｍｏｕｔｈ Ｏｐｅｎｉｎｇ Ｐｒｅｄｉｃｔｉｏｎ）、視線追跡（Ｅｙｅ Ｔｒａｃｋｉｎｇ）、視線推定（Ｅｙｅ Ｐｏｓｉｔｉｏｎ Ｅｓｉｔｉｍａｔｉｏｎ）及びハンドジェスチャー認識（Ｈａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ）のうちの少なくとも一つを実行するものである。また、例えば、状態検知部３３は、脇見検知、眠気検知、人物認識、物体認識、動き認識、行動認識及び非接触脈拍推定のうちの少なくとも一つを実行するものである。

以下、状態検知部３３が顔検出、顔パーツ検出及び視線推定を実行する場合の例を中心に説明する。すなわち、状態検知部３３が運転者の視線方向を検知する場合の例を中心に説明する。

ここで、第１推論部２１は、機械学習により学習自在なものであっても良い。より具体的には、特徴量抽出部３２及び状態検知部３３が機械学習により学習自在なものであっても良い。以下、第１推論部２１が機械学習により学習自在なものである場合の例を中心に説明する。

例えば、特徴量抽出部３２は、教師あり学習により学習自在なニューラルネットワークであって、上記のような機能を実現するように学習されたニューラルネットワークを用いるものであっても良い。かかるニューラルネットワークは、深層学習により学習自在な畳み込みニューラルネットワーク（以下「ＣＮＮ」と記載することがある。）を含むものであっても良い。なお、特徴量抽出部３２は、教師あり学習により学習自在なニューラルネットワークに代えて、教師なし学習により学習自在なニューラルネットワークを用いるものであっても良い。

また、例えば、状態検知部３３は、教師あり学習により学習自在なニューラルネットワークであって、上記のような機能を実現するように学習されたニューラルネットワークを用いるものであっても良い。かかるニューラルネットワークは、深層学習により学習自在なＣＮＮを含むものであっても良い。なお、状態検知部３３は、教師あり学習により学習自在なニューラルネットワークに代えて、教師なし学習により学習自在なニューラルネットワークを用いるものであっても良い。

かかる機械学習を用いることにより、いわゆる「ルールベース」を用いる場合に比して、運転者の状態を高精度に検知することができる。すなわち、ＤＭＳに係る検知精度の向上を図ることができる。

特徴量抽出部３２による特徴量の抽出及び状態検知部３３による状態の検知には、公知の種々の技術を用いることができる。すなわち、ＤＭＳに係る公知の種々の技術を用いることができる。また、画像認識（Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ）に係る公知の種々の技術を用いることができる。また、教師あり学習、教師なし学習又は深層学習に係る公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。

例えば、特徴量抽出部３２による特徴量の抽出及び状態検知部３３による状態の検知には、以下の参考文献１に記載された技術が用いられるものであっても良い。また、例えば、以下の参考文献２に記載された技術が用いられるものであっても良い。

［参考文献１］
Marks, T., Kumar, A., Mou, W., Feng, C., Liu, X., "UGLLI Face Alignment: Estimating Uncertainty with Gaussian Log-Likelihood Loss," IEEE International Conference on Computer Vision (ICCV) Workshop on Statistical Deep Learning for Computer Vision (SDL-CV), October 2019.

［参考文献２］
米国特許第９６３３２５０号明細書

図３に示す如く、第２推論部２２は、画像データ取得部４１、特徴量抽出部４２、画像認識部４３、脅威検知部４４及び車両情報取得部４５を有している。

画像データ取得部４１は、第２撮像画像を示す画像データ（以下「第２画像データ」ということがある。）を取得するものである。特徴量抽出部４２は、当該取得された第２画像データを用いて、第２撮像画像における特徴量を抽出するものである。これにより、特徴量抽出部４２は、第２撮像画像に対応する特徴マップを生成するものである。画像認識部４３は、当該生成された特徴マップを用いて、物体認識（Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ）を含む画像認識を実行するものである。

すなわち、図４に示す如く、画像認識部４３は、走行シーン推定部５１、物体認識部５２、距離推定部５３及び物体追跡部５４を有している。

走行シーン推定部５１は、上記生成された特徴マップを用いて、シーン判別又はコンテキスト分類を実行するものである。これにより、走行シーン推定部５１は、車両１が走行しているシーン（以下「走行シーン」という。）を推定するものである。

物体認識部５２は、上記生成された特徴マップを用いて、物体認識を実行するものである。具体的には、例えば、物体認識部５２は、上記生成された特徴マップを用いて、物体検出（Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ）を実行するものである。すなわち、特徴量抽出部４２により抽出される特徴量は、物体検出に対応した高レベル特徴（Ｈｉｇｈ−ｌｅｖｅｌ Ｆｅａｔｕｒｅ）を含むものである。

物体検出は、第２撮像画像に含まれる個々の物体について、回帰（Ｒｅｇｒｅｓｓｉｏｎ）により位置を推定するとともに、分類（Ｃｌａｓｓｉｆｙ）により種別を推定するものである。物体検出により、第２撮像画像に含まれる個々の物体について、位置及び大きさに対応する座標（ｘ，ｙ，ｗ，ｈ）に対応するバウンディングボックスを示す情報、並びに属性に対応するラベルを示す情報などが出力される。

距離推定部５３は、物体認識部５２による物体検出の結果を用いて、第２撮像画像に含まれる個々の物体について、第２カメラ３に対する距離を推定するものである。例えば、距離とバウンディングボックスの縦方向のピクセル数との対応関係を示すテーブル又は関数が属性毎に用意されている。距離推定部５３は、かかるテーブル又は関数を用いて、個々のバウンディングボックスの縦方向のピクセル数に基づき距離を推定する。図６は、かかるテーブル又は関数に対応するグラフの例を示している。

なお、物体認識部５２による物体認識は、物体検出に代えて又は加えて、領域分割（Ｓｃｅｎｅ Ｓｅｇｍｅｎｔａｔｉｏｎ）を含むものであっても良い。領域分割は、第２撮像画像を個々の属性に対応する領域に分割するものである。領域分割により、第２撮像画像がピクセル単位にて複数個の領域に分割される。領域分割により、個々の領域の面積を示す情報、及び個々の領域に対応する属性を示す情報などが出力される。以下、物体認識部５２が物体検出を実行する場合の例を中心に説明する。

物体追跡部５４は、物体認識部５２による物体認識の結果を時系列的に用いることにより、第２撮像画像に含まれる個々の物体に対するトラッキングを実行するものである。これにより、個々の物体について、第２カメラ３により撮像される動画における見かけの形状の変化による認識精度の低下を抑制することができる。

すなわち、例えば、ある物体が移動することにより、第２カメラ３により撮像される動画において、当該物体の見かけの形状が時間的に変化することがある。このとき、あるタイミングにおける第２撮像画像においては当該物体の見かけの形状が学習済みの形状となり、他のタイミングにおける第２撮像画像においては当該物体の形状が未学習の形状となることがある。そして、後者のタイミングにおける物体認識により当該物体が認識されないことにより、当該物体の認識が時間的に不安定になることがある。

これに対して、当該物体に対するトラッキングを実行することにより、後者のタイミングにおいても当該物体を認識することができる。これにより、当該物体の認識を時間的に安定させることができる。この結果、当該物体の認識精度を更に向上することができる。

物体追跡部５４によるトラッキングは、例えば、以下のようなものである。すなわち、物体追跡部５４は、第Ｎのフレーム（Ｎは任意の整数である。）に対応する第２撮像画像に対する物体検出の結果に基づき、個々の物体に対応する属性、個々の物体に対応する座標、及び個々の小領域における背景に対する前景の母集団比率について、ＫＬＤ（Ｋｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒ Ｄｉｖｅｒｇｅｎｃｅ）等の距離に基づく損失（Ｔｒａｃｋｉｎｇ−ｌｏｓｓ）による回帰を実行する。これにより、物体追跡部５４は、第Ｎ＋１のフレームに対応する第２撮像画像における各物体の位置及び大きさを予測する。

次いで、物体追跡部５４は、かかる予測の結果と第Ｎ＋１のフレームに対応する第２撮像画像に対する物体検出の結果とを比較することにより、第Ｎのフレームに対応する第２撮像画像に対する物体検出により検出されており、かつ、第Ｎ＋１のフレームに対応する第２撮像画像に対する物体検出により検出されていない物体を検出する。これにより、第Ｎ＋１のフレームに対応する第２撮像画像に含まれているにもかかわらず物体検出により検出されなかった物体について、継続的に検出することができる。

このほか、物体追跡部５４によるトラッキングには、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。

なお、画像認識部４３による画像認識は、これらの具体例に限定されるものではない。例えば、画像認識部４３は、第２撮画像に含まれる個々の物体について、属性、大きさ、距離、領域及び特徴空間のうちの少なくとも一つを推定するものであっても良い。

脅威検知部４４は、画像認識部４３による画像認識の結果に基づき、車両１に対する周囲における脅威を検知するものである。より具体的には、脅威検知部４４は、車両１に対する後方における脅威を検知するものである。

すなわち、図４に示す如く、脅威検知部４４は、脅威レベル設定部６１及び脅威レベル補正部６２を有している。

脅威レベル設定部６１は、画像認識部４３による画像認識の結果に基づき、第２撮像画像に含まれる個々の物体に対応する脅威レベルを設定するものである。具体的には、例えば、脅威レベル設定部６１は、以下のようにして脅威レベルを設定する。

第一に、脅威レベル設定部６１は、距離推定部５３により推定された距離に応じて脅威レベルを設定する。すなわち、脅威レベル設定部６１は、個々の物体について、当該推定された距離が小さいときは、当該推定された距離が大きいときに比して脅威レベルを高くする。

第二に、脅威レベル設定部６１は、物体追跡部５４によるトラッキングの結果を用いて、車両１に対する個々の物体の相対速度を推定するとともに、個々の物体が車両１に接近中であるか否かを推定する。脅威レベル設定部６１は、車両１に接近中の物体に対応する脅威レベルを、そうでない物体に対応する脅威レベルに比して高くする。また、脅威レベル設定部６１は、車両１に接近中の個々の物体について、上記推定された相対速度が高いときは、上記推定された相対速度が低いときに比して脅威レベルを高くする。

そのほか、脅威レベル設定部６１は、物体認識部５２による物体認識の結果に基づき、個々の物体に対応する属性に応じて脅威レベルを設定するものであっても良い。また、脅威レベル設定部６１は、物体認識部５２による物体認識の結果に基づき車両１に対する個々の物体の相対位置を推定して、当該推定された相対位置に応じて脅威レベルを設定するものであっても良い。また、例えば、脅威レベル設定部６１は、走行シーン推定部５１により推定された走行シーンに応じて脅威レベルを設定するものであっても良い。

車両情報取得部４５は、センサ類４を用いて、車両１の状態を示す情報（以下「車両情報」という。）を取得するものである。車両情報は、例えば、車両１の走行速度を示す情報、車両１における操舵角を示す情報、車両１におけるスロットル開度を示す情報、車両１におけるシフトポジションを示す情報、車両１におけるアクセルペダルの操作量を示す情報、及び車両１におけるブレーキペダルの操作量を示す情報を含むものである。

脅威レベル補正部６２は、車両情報取得部４５により取得された車両情報を用いて、脅威レベル設定部６１により設定された脅威レベルを補正するものである。

例えば、車両情報に基づき、車両１が左折しようとしている状態であるものとする。この場合、脅威レベル補正部６２により、車両１に対する左後方に存在する物体に対応する脅威レベルを上げるように補正がなされる。他方、車両情報に基づき、車両１が右折しようとしている状態であるものとする。この場合、脅威レベル補正部６２により、車両１に対する右後方に存在する物体に対応する脅威レベルを上げるように補正がなされる。

このようにして、車両１に対する周囲における脅威が検知される。より具体的には、車両１に対する後方における脅威が検知される。

ここで、第２推論部２２は、機械学習により学習自在なものであっても良い。より具体的には、特徴量抽出部４２、画像認識部４３及び脅威検知部４４が機械学習により学習自在なものであっても良い。以下、第２推論部２２が機械学習により学習自在なものである場合の例を中心に説明する。

例えば、特徴量抽出部４２は、教師あり学習により学習自在なニューラルネットワークであって、上記のような機能を実現するように学習されたニューラルネットワークを用いるものであっても良い。かかるニューラルネットワークは、深層学習により学習自在なＣＮＮを含むものであっても良い。なお、特徴量抽出部４２は、教師あり学習により学習自在なニューラルネットワークに代えて、教師なし学習により学習自在なニューラルネットワークを用いるものであっても良い。

また、例えば、画像認識部４３のうちの物体認識部５２は、教師あり学習により学習自在なニューラルネットワークであって、上記のような機能を実現するように学習されたニューラルネットワークを用いるものであっても良い。かかるニューラルネットワークは、深層学習により学習自在なＣＮＮを含むものであっても良い。なお、物体認識部５２は、教師あり学習により学習自在なニューラルネットワークに代えて、教師なし学習により学習自在なニューラルネットワークを用いるものであっても良い。

また、例えば、脅威検知部４４は、教師あり学習により学習自在なニューラルネットワークであって、上記のような機能を実現するように学習されたニューラルネットワークを用いるものであっても良い。かかるニューラルネットワークは、深層学習により学習自在なＣＮＮを含むものであっても良い。なお、脅威検知部４４は、教師あり学習により学習自在なニューラルネットワークに代えて、教師なし学習により学習自在なニューラルネットワークを用いるものであっても良い。

かかる機械学習を用いることにより、ルールベースを用いる場合に比して、高精度な画像認識を実現することができる。また、脅威を高精度に検知することができる。すなわち、ＣＭＳに係る検知精度の向上を図ることができる。

特徴量抽出部４２による特徴量の抽出、画像認識部４３による画像認識、及び脅威検知部４４による脅威の検知には、公知の種々の技術を用いることができる。すなわち、ＣＭＳに係る公知の種々の技術を用いることができる。また、画像認識に係る公知の種々の技術を用いることができる。また、教師あり学習、教師なし学習又は深層学習に係る公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。

なお、特徴量抽出部４２による特徴量の抽出及び物体認識部５２による物体検出は、以下のような技術を用いるものであっても良い。

まず、特徴量抽出部４２は、第２画像データを用いて物体らしさ（Ｏｂｊｅｃｔｎｅｓｓ）に対応する中レベル特徴（Ｍｉｄ−ｌｅｖｅｌ Ｆｅａｔｕｒｅ）を抽出することにより、個々の第２撮像画像に対応する１個の特徴マップ（以下「第１特徴マップ」という。）を生成する。具体的には、例えば、特徴量抽出部４２は、以下の参考文献３に記載された方法と同様の方法により、物体らしさに対応する顕著性マップ（Ｓａｌｉｅｎｃｙ Ｍａｐ）を生成する。すなわち、第１特徴マップは、ＣＮＮを用いることなく生成される。第１特徴マップは、互いに直行する２方向に配列された複数個の特徴量（以下「第１特徴量」という。）により構成されている。

［参考文献３］
国際公開第２０１８／０５１４５９号

また、特徴量抽出部４２は、第２画像データを用いて高レベル特徴を抽出することにより、個々の第２撮像画像に対応する複数個の特徴マップ（以下「第２特徴マップ」という。）を生成する。複数個の第２特徴マップは、例えば、ＣＮＮにより順次生成される。個々の第２特徴マップは、互いに直行する２方向に配列された複数個の特徴量（以下「第２特徴量」という。）により構成されている。

次いで、特徴量抽出部４２は、以下のようにして、個々の第２撮像画像に対応する複数個の特徴マップ（以下「第３特徴マップ」という。）を生成する。

すなわち、特徴量抽出部４２は、第１特徴マップにおける個々の第１特徴量を用いて、個々の第２特徴マップにおける対応する第２特徴量に対する重み付けをする。かかる重み付けにより、個々の第２特徴マップにおける個々の第２特徴量が対応する物体らしさに応じて補強される。このようにして、複数個の第２特徴マップに対応する複数個の第３特徴マップが生成される。すなわち、個々の第３特徴マップにおける個々の特徴量は、かかる補強がなされた特徴量によるものである。

または、特徴量抽出部４２は、第１特徴マップにおける個々の第１特徴量と個々の第２特徴マップにおける対応する第２特徴量とについて、要素毎（Ｅｌｅｍｅｎｔ−ｗｉｓｅ）の掛け算を実行することにより内積（Ｉｎｎｅｒ Ｐｒｏｄｕｃｔ）を演算する。かかる演算により、個々の第２特徴マップにおける個々の第２特徴量が対応する物体らしさに応じて補強される。このようにして、複数個の第２特徴マップに対応する複数個の第３特徴マップが生成される。すなわち、個々の第３特徴マップにおける個々の特徴量は、かかる補強がなされた特徴量によるものである。

次いで、物体認識部５２は、いわゆる「マルチスケール」に対応した方法による物体検出を実行する。具体的には、例えば、物体認識部５２は、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）による物体検出を実行する。ＳＳＤについては、以下の参考文献４に記載されている。

［参考文献４］
Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, Alexander C. Berg, "SSD: Single Shot MultiBox Detector," v5, 29 Dec 2016, https://arxiv.org/pdf/1512.02325v5.pdf

かかる技術を用いることにより、公知の機械学習を用いる場合に比して、更に高精度な物体検出を実現することができる。特に、小さい物体に対する検出精度を向上することができる。この結果、脅威を更に高精度に検知することができる。

図５に示す如く、通知制御部２３は、態様設定部７１、出力制御部７２及び整合部７３を有している。態様設定部７１は、要否設定部８１を有している。また、態様設定部７１は、手段設定部８２、タイミング設定部８３、レベル設定部８４及び内容設定部８５のうちの少なくとも一つを有している。以下、態様設定部７１が手段設定部８２、タイミング設定部８３、レベル設定部８４及び内容設定部８５のうちの全てを有している場合の例を中心に説明する。

態様設定部７１は、状態検知部３３により検知された運転者の状態に応じて、脅威検知部４４により検知された脅威に対する通知の態様を設定するものである。ここで、「態様」とは、要否、手段、タイミング、レベル及び内容などを含むものである。

より具体的には、要否設定部８１は、かかる通知の要否を設定するものである。

また、手段設定部８２は、要否設定部８１により通知「要」に設定されたとき、かかる通知の出力に用いられる手段を設定するものである。すなわち、手段設定部８２は、複数種類の手段（例えば光源１１、ディスプレイ１２、スピーカ１３及び触覚デバイス１４）のうちの少なくとも１種類の手段を選択するものである。

また、タイミング設定部８３は、要否設定部８１により通知「要」に設定されたとき、かかる通知が出力されるタイミングを設定するものである。ここで、手段設定部８２により２種類以上の手段が選択された場合、タイミング設定部８３は、当該選択された２種類以上の手段の各々による通知のタイミングを設定するようになっている。換言すれば、タイミング設定部８３は、手段毎に通知のタイミングを設定するようになっている。

また、レベル設定部８４は、要否設定部８１により通知「要」に設定されたとき、かかる通知のレベルを設定するものである。ここで、手段設定部８２により２種類以上の手段が選択された場合、レベル設定部８４は、当該選択された２種類以上の手段の各々による通知のレベルを設定するようになっている。換言すれば、レベル設定部８４は、手段毎に通知のレベルを設定するようになっている。

また、内容設定部８５は、要否設定部８１により通知「要」に設定されたとき、かかる通知の内容を設定するものである。ここで、手段設定部８２により２種類以上の手段が選択された場合、内容設定部８５は、当該選択された２種類以上の手段の各々による通知の内容を設定するようになっている。換言すれば、内容設定部８５は、手段毎に通知の内容を設定するようになっている。

態様設定部７１は、機械学習により学習自在なものである。例えば、態様設定部７１は、ニューラルネットワークを用いるものである。かかるニューラルネットワークは、状態検知部３３による検知結果を示す情報（すなわち運転者の状態を示す情報）及び脅威検知部４４による検知結果を示す情報（すなわち個々の物体に対応する脅威レベルを含む情報）の入力を受け付けて、上記各設定を示す値を出力するものである。

出力制御部７２は、態様設定部７１による設定に基づき、出力装置５を用いて通知を出力する制御を実行するものである。すなわち、出力制御部７２は、要否設定部８１により通知「要」に設定されたとき、光源１１を用いて通知用の光を出力する制御、ディスプレイ１２を用いて通知用の画像を表示する制御、スピーカ１３を用いて通知用の音声を出力する制御、及び触覚デバイス１４を用いて通知用の振動を出力する制御のうちの少なくとも一つを実行する。

適合部２４は、出力装置５により通知が出力されたときの運転者の状態に応じて、通知制御部２３の学習をするものである。より具体的には、適合部２４は、このときの状態検知部３３による検知結果を用いて、出力装置５により出力される次回以降の通知の態様が車両１の運転者に適合したものとなるように態様設定部７１の学習をするものである。

ここで、態様設定部７１による態様の設定方法の具体例として、レベル設定部８４によるレベルの設定方法について説明する。また、適合部２４による態様設定部７１の学習方法の具体例として、適合部２４によるレベル設定部８４の学習方法について説明する。

まず、状態検知部３３による検知結果を示す情報（すなわち運転者の状態を示す情報）の入力に対して、運転者の注意が向けられている領域を示す顕著性マップＭ１が生成される。顕著性マップＭ１においては、運転者が視線を向けている領域における顕著性値が他の領域における顕著性値に比して高い値となる。図７は、顕著性マップＭ１の例を示している。

また、脅威検知部４４による検知結果を示す情報（すなわち個々の物体に対応する脅威レベルを含む情報）の入力に対して、顕著性マップＭ１に対応するリスクマップＭ２が生成される。リスクマップＭ２においては、高い脅威レベルを有する物体に対応する領域におけるリスク値が他の領域におけるリスク値に比して高い値となる。図８は、リスクマップＭ２の例を示している。

次いで、顕著性マップＭ１とリスクマップＭ２との空間差分に基づき、運転者が注意を向けるべき領域を示すアテンションマップＭ３が生成される。アテンションマップＭ３においては、運転者が注意を向けるべきでありながら注意を向けていない領域におけるアテンション値が他の領域におけるアテンション値に比して高い値となる。図９は、アテンションマップＭ３の例を示している。

次いで、アテンションマップＭ３におけるアテンション値に応じて通知のレベルが設定される。例えば、運転者が脅威に気付いていない場合、運転者が脅威に注意を向けていないことにより、アテンションマップＭ３におけるアテンション値が高くなると考えられる。この場合、通知のレベルも高い値に設定される。

ここで、上記生成された顕著性マップＭ１を含むデータに、上記生成された顕著性マップＭ１に対する差分が最も小さいリスクマップＭ２に対応するラベルが自動的に付与される。そして、当該ラベルが付与されたデータが、レベル設定部８４に対応するニューラルネットワークの学習用データセットに新たに追加される。これにより、かかるニューラルネットワークの次回以降の学習の精度を向上することができる。

次いで、上記高いレベルによる通知が出力される。その後も上記と同様の顕著性マップＭ１、リスクマップＭ２及びアテンションマップＭ３が時系列的に生成される。これらのマップＭ１，Ｍ２，Ｍ３に基づき、通知が出力されたことにより運転者が脅威に気付いた蓋然性が高い場合は同様の脅威に対する次回以降の通知のレベルを下げるようにニューラルネットワークのパラメータが調整される。他方、通知が出力されたにもかかわらず運転者が脅威に気付いていない蓋然性が高い場合は同様の脅威に対する次回以降の通知のレベルを上げるようにニューラルネットワークのパラメータが調整される。

このようにして、通知のレベルを設定する処理が現在の運転者に次第に適合していく。

なお、これらのマップＭ１，Ｍ２，Ｍ３に基づき、通知が出力されてから運転者が脅威に気付くまでの時間に応じて、同様の脅威に対する次回以降の通知のタイミングを調整するようにニューラルネットワークのパラメータが調整されるものであっても良い。

整合部７３は、出力装置５により２種類以上の手段による通知（すなわち２種類以上の通知）が出力されたとき、かかる２種類以上の通知を相互に整合させる処理を実行するものである。かかる処理は、例えば、態様設定部７１に対応するニューラルネットワークにおけるパラメータを調整することにより実現される。

例えば、同一の脅威に対して、第１の手段（例えばディスプレイ１２）による通知が出力されるとともに、第２の手段（例えばスピーカ１３）による通知が出力されるものとする。これらの通知が同一の脅威に対する通知であることを明確にする観点から、これらの通知は同時に又は略同時に出力されるのが好適である。しかしながら、上記のとおり、タイミング設定部８３は、手段毎に通知のタイミングを設定するようになっている。このため、第１の手段による通知が出力されるタイミングに対して、第２の手段による通知が出力されるタイミングがずれることがある。

これに対して、整合部７３は、第１の手段による通知が出力されるタイミングと第２の手段による通知が出力されるタイミングとを揃えるようにニューラルネットワークのパラメータを調整する。これにより、同様の脅威に対する同様の通知が次回以降出力されるとき、これらの通知が出力されるタイミングについて整合性を図ることができる。

以下、第１推論部２１が有する機能を総称して「ドライバモニタリング機能」ということがある。また、かかるドライバモニタリング機能に「Ｆ１」の符号を用いることがある。また、第１推論部２１により実行される処理を総称して「ドライバモニタリング処理」ということがある。

以下、第２推論部２２が有する機能を総称して「カメラモニタリング機能」ということがある。また、かかるカメラモニタリング機能に「Ｆ２」の符号を用いることがある。また、第２推論部２２により実行される処理を総称して「カメラモニタリング処理」ということがある。

以下、通知制御部２３が有する機能を総称して「通知制御機能」ということがある。また、かかる通知制御機能に「Ｆ３」の符号を用いることがある。また、通知制御部２３により実行される処理及び制御を総称して「通知制御」ということがある。

以下、適合部２４が有する機能を総称して「適合機能」ということがある。また、かかる適合機能に「Ｆ４」の符号を用いることがある。また、適合部２４により実行される処理を総称して「適合処理」ということがある。

次に、図１０〜図１２を参照して、運転支援制御装置１００の要部のハードウェア構成について説明する。

図１０に示す如く、運転支援制御装置１００は、プロセッサ９１及びメモリ９２を有している。メモリ９２には、複数個の機能Ｆ１〜Ｆ４に対応するプログラムが記憶されている。プロセッサ９１は、メモリ９２に記憶されているプログラムを読み出して実行する。これにより、複数個の機能Ｆ１〜Ｆ４が実現される。

または、図１１に示す如く、運転支援制御装置１００は、処理回路９３を有している。処理回路９３は、複数個の機能Ｆ１〜Ｆ４に対応する処理を実行する。これにより、複数個の機能Ｆ１〜Ｆ４が実現される。

または、図１２に示す如く、運転支援制御装置１００は、プロセッサ９１、メモリ９２及び処理回路９３を有している。メモリ９２には、複数個の機能Ｆ１〜Ｆ４のうちの一部の機能に対応するプログラムが記憶されている。プロセッサ９１は、メモリ９２に記憶されているプログラムを読み出して実行する。これにより、かかる一部の機能が実現される。また、処理回路９３は、複数個の機能Ｆ１〜Ｆ４のうちの残余の機能に対応する処理を実行する。これにより、かかる残余の機能が実現される。

プロセッサ９１は、１個以上のプロセッサにより構成されている。個々のプロセッサは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）を用いたものである。

メモリ９２は、１個以上の不揮発性メモリにより構成されている。または、メモリ９２は、１個以上の不揮発性メモリ及び１個以上の揮発性メモリにより構成されている。すなわち、メモリ９２は、１個以上のメモリにより構成されている。個々のメモリは、例えば、半導体メモリ又は磁気ディスクを用いたものである。より具体的には、個々の揮発性メモリは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を用いたものである。また、個々の不揮発性メモリは、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ソリッドステートドライブ又はハードディスクドライブを用いたものである。

処理回路９３は、１個以上のデジタル回路により構成されている。または、処理回路９３は、１個以上のデジタル回路及び１個以上のアナログ回路により構成されている。すなわち、処理回路９３は、１個以上の処理回路により構成されている。個々の処理回路は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ ｏｎ ａ Ｃｈｉｐ）又はシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）を用いたものである。

ここで、プロセッサ９１が複数個のプロセッサにより構成されているとき、複数個の機能Ｆ１〜Ｆ４と複数個のプロセッサとの対応関係は任意である。すなわち、複数個のプロセッサの各々は、複数個の機能Ｆ１〜Ｆ４のうちの対応する１個以上の機能に対応するプログラムを読み出して実行するものであっても良い。プロセッサ９１は、個々の機能Ｆ１〜Ｆ４に対応する専用のプロセッサを含むものであっても良い。

また、メモリ９２が複数個のメモリにより構成されているとき、複数個の機能Ｆ１〜Ｆ４と複数個のメモリとの対応関係は任意である。すなわち、複数個のメモリの各々は、複数個の機能Ｆ１〜Ｆ４のうちの対応する１個以上の機能に対応するプログラムを記憶するものであっても良い。メモリ９２は、個々の機能Ｆ１〜Ｆ４に対応する専用のメモリを含むものであっても良い。

また、処理回路９３が複数個の処理回路により構成されているとき、複数個の機能Ｆ１〜Ｆ４と複数個の処理回路との対応関係は任意である。すなわち、複数個の処理回路の各々は、複数個の機能Ｆ１〜Ｆ４のうちの対応する１個以上の機能に対応する処理を実行するものであっても良い。処理回路９３は、個々の機能Ｆ１〜Ｆ４に対応する専用の処理回路を含むものであっても良い。

次に、図１３のフローチャートを参照して、運転支援制御装置１００の動作について説明する。

まず、第１推論部２１がドライバモニタリング処理を実行する（ステップＳＴ１）。また、第２推論部２２がカメラモニタリング処理を実行する（ステップＳＴ２）。ドライバモニタリング処理及びカメラモニタリング処理は、所定の条件が満たされているとき（例えば車両１におけるイグニッション電源がオンされているとき）、繰り返し実行される。

ステップＳＴ１，ＳＴ２の処理の結果を用いて、通知制御部２３が通知制御を実行する（ステップＳＴ３）。通知制御により通知が出力された場合（ステップＳＴ４“ＹＥＳ”）、適合部２４が適合処理を実行する（ステップＳＴ５）。運転者が車両１を運転しているとき、通知制御及び適合処理が繰り返し実行されることにより、通知の態様が次第に当該運転者に適合していく。

次に、図１４〜図２２を参照して、運転支援制御装置１００の変形例について説明する。

車両１に車載情報機器６が搭載されるものであっても良い。車載情報機器６は、例えば、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）により構成されている。また、車両１に携帯情報端末７が持ち込まれるものであっても良い。携帯情報端末７は、例えば、スマートフォンにより構成されている。

車載情報機器６及び携帯情報端末７は、相互に通信自在なものであっても良い。車載情報機器６は、車両１外に設けられたサーバ８と通信自在なものであっても良い。携帯情報端末７は、車両１外に設けられたサーバ８と通信自在なものであっても良い。すなわち、サーバ８は、車載情報機器６及び携帯情報端末７のうちの少なくとも一方と通信自在なものであっても良い。これにより、サーバ８は、車両１と通信自在なものであっても良い。

複数個の機能Ｆ１〜Ｆ４の各々は、車載情報機器６にて実現されるものであっても良く、携帯情報端末７にて実現されるものであっても良く、サーバ８にて実現されるものであっても良く、車載情報機器６及び携帯情報端末７が連携することにより実現されるものであっても良く、車載情報機器６及びサーバ８が連携することにより実現されるものであっても良く、又は携帯情報端末７及びサーバ８が連携することにより実現されるものであっても良い。

すなわち、図１４に示す如く、車載情報機器６により運転支援制御装置１００の要部が構成されているものであっても良い。または、図１５に示す如く、携帯情報端末７により運転支援制御装置１００の要部が構成されているものであっても良い。または、図１６に示す如く、サーバ８により運転支援制御装置１００の要部が構成されているものであっても良い。

または、図１７に示す如く、車載情報機器６及び携帯情報端末７により運転支援制御装置１００の要部が構成されているものであっても良い。または、図１８に示す如く、車載情報機器６及びサーバ８により運転支援制御装置１００の要部が構成されているものであっても良い。または、図１９に示す如く、携帯情報端末７及びサーバ８により運転支援制御装置１００の要部が構成されているものであっても良い。

または、図２０、図２１又は図２２に示す如く、車載情報機器６、携帯情報端末７及びサーバ８により運転支援制御装置１００の要部が構成されているものであっても良い。

次に、図２３を参照して、運転支援制御装置１００の他の変形例について説明する。

図２３に示す如く、運転支援制御装置１００は、車両制御部２５を有するものであっても良い。車両制御部２５は、脅威検知部４４により検知された脅威に応じて、車両１を操作する制御を実行するものである。具体的には、例えば、車両制御部２５は、車両１におけるステアリング、ブレーキ又はスロットル開度を操作する制御を実行することにより、車両１と当該検知された脅威に対応する物体との衝突を回避するものである。

なお、かかる制御は、当該検知された脅威に対する通知が出力されたにもかかわらず車両１の運転者が当該検知された脅威に気付いていない場合にのみ実行されるものであっても良い。

次に、運転支援制御装置１００の他の変形例について説明する。

第１推論部２１は、第１カメラ２を用いるのに加えて、生体センサを用いるものであっても負い。生体センサは、複数種類のセンサを含むものであっても良い。個々のセンサは、例えば、車両１の運転席に設けられたものであっても良く、又は運転者の身体に取り付けられたものであっても良い。これにより、状態検知部３３による検知対象は、運転者の脈拍、血圧及び姿勢などを含むものであっても良い。

以上のように、実施の形態１に係る運転支援制御装置１００は、車内撮像用の第１カメラ２による第１撮像画像を用いて、車両１における運転者の状態を検知する第１推論部２１と、車外撮像用の第２カメラ３による第２撮像画像を用いて、車両１に対する周囲における脅威を検知する第２推論部２２と、運転者の状態に応じて、脅威に対する通知の態様を設定する処理を実行する通知制御部２３と、通知が出力されたときの運転者の状態に応じて通知制御部２３の学習をすることにより、通知の態様を設定する処理を運転者に適合させる適合部２４と、を備える。これにより、個々の運転者に適合した態様による通知を実現することができる。

また、第１推論部２１は、機械学習により学習自在であり、第２推論部２２は、機械学習により学習自在である。これにより、ルールベースを用いる場合に比して、ドライバモニタリング処理及びカメラモニタリング処理の各々を高精度にすることができる。

また、実施の形態１に係る運転支援制御方法は、第１推論部２１が、車内撮像用の第１カメラ２による第１撮像画像を用いて、車両１における運転者の状態を検知するステップＳＴ１と、第２推論部２２が、車外撮像用の第２カメラ３による第２撮像画像を用いて、車両１に対する周囲における脅威を検知するステップＳＴ２と、通知制御部２３が、運転者の状態に応じて、脅威に対する通知の態様を設定する処理を実行するステップＳＴ３と、適合部２４が、通知が出力されたときの運転者の状態に応じて通知制御部２３の学習をすることにより、通知の態様を設定する処理を運転者に適合させるステップＳＴ５と、を備える。これにより、個々の運転者に適合した態様による通知を実現することができる。

なお、本願開示はその開示の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

本開示に係る運転支援制御装置及び運転支援制御方法は、ＤＭＳ及びＣＭＳを組み合わせてなるシステムに用いることができる。

１ 車両、２ 第１カメラ、３ 第２カメラ、４ センサ類、５ 出力装置、６ 車載情報機器、７ 携帯情報端末、８ サーバ、１１ 光源、１２ ディスプレイ、１３ スピーカ、１４ 触覚デバイス、２１ 第１推論部、２２ 第２推論部、２３ 通知制御部、２４ 適合部、２５ 車両制御部、３１ 画像データ取得部、３２ 特徴量抽出部、３３ 状態検知部、４１ 画像データ取得部、４２ 特徴量抽出部、４３ 画像認識部、４４ 脅威検知部、４５ 車両情報取得部、５１ 走行シーン推定部、５２ 物体認識部、５３ 距離推定部、５４ 物体追跡部、６１ 脅威レベル設定部、６２ 脅威レベル補正部、７１ 態様設定部、７２ 出力制御部、７３ 整合部、８１ 要否設定部、８２ 手段設定部、８３ タイミング設定部、８４ レベル設定部、８５ 内容設定部、９１ プロセッサ、９２ メモリ、９３ 処理回路、１００ 運転支援制御装置。

Claims (24)

1. 車内撮像用の第１カメラによる第１撮像画像を用いて、車両における運転者の状態を検知する第１推論部と、
   車外撮像用の第２カメラによる第２撮像画像を用いて、前記車両に対する周囲における脅威を検知する第２推論部と、
   前記運転者の状態に応じて、前記脅威に対する通知の態様を設定する処理を実行する通知制御部と、を備え、
   前記第２推論部は、前記第２撮像画像における特徴量を抽出する特徴量抽出部と、前記特徴量を用いて物体認識を含む画像認識を実行する画像認識部と、前記画像認識の結果に基づき前記脅威を検知する脅威検知部と、を有し、
   前記脅威が生じたときに、前記運転者の注意が向けられている領域を示す顕著性マップＭ１と、前記脅威検知部による検知結果を示す情報の入力に対して前記顕著性マップＭ１に対応するリスクマップＭ２と、前記運転者が注意を向けるべき領域を示すアテンションマップＭ３と、を生成し、
   前記顕著性マップＭ１と前記リスクマップＭ２と前記アテンションマップＭ３における位置及び前記脅威検知部による個々の物体に対応する脅威レベルを含む情報と、前記通知が出力されたときの前記運転者の状態に応じて前記通知制御部の機械学習をする適合部と、を備える運転支援制御装置。
2. 前記第１推論部は、機械学習により学習自在であり、
   前記第２推論部は、機械学習により学習自在である
   ことを特徴とする請求項１記載の運転支援制御装置。
3. 前記通知の態様を設定する処理は、前記通知の手段を設定する処理、前記通知のタイミングを設定する処理、前記通知のレベルを設定する処理及び前記通知の内容を設定する処理のうちの少なくとも一つを含むことを特徴とする請求項１記載の運転支援制御装置。
4. 前記通知は、複数種類の手段に対応する複数種類の通知を含み、
   前記通知制御部は、前記複数種類の通知を相互に整合させる処理を実行する
   ことを特徴とする請求項１記載の運転支援制御装置。
5. 前記第１推論部は、前記第１撮像画像における特徴量を抽出する特徴量抽出部と、前記特徴量を用いて前記運転者の状態を検知する状態検知部と、を有することを特徴とする請求項１記載の運転支援制御装置。
6. 前記状態検知部は、顔検出、顔パーツ検出、顔向き推定、頭部位置推定、開眼度算出、開口度算出、視線追跡、視線推定、ハンドジェスチャー認識、脇見検知、眠気検知、人物認識、物体認識、動き認識、行動認識及び非接触脈拍推定のうちの少なくとも一つを実行することを特徴とする請求項５記載の運転支援制御装置。
7. 前記第２推論部は、前記第２撮像画像における特徴量を抽出する特徴量抽出部と、前記特徴量を用いて物体認識を含む画像認識を実行する画像認識部と、前記画像認識の結果に基づき前記脅威を検知する脅威検知部と、を有することを特徴とする請求項１記載の運転支援制御装置。
8. 前記画像認識部は、前記物体認識を実行する物体認識部と、前記物体認識の結果を時系列的に用いることにより、前記第２撮像画像に含まれる個々の物体に対するトラッキングを実行する物体追跡部と、を有し、
   前記脅威検知部は、前記物体認識の結果及び前記トラッキングの結果に基づき前記脅威を検知する
   ことを特徴とする請求項７記載の運転支援制御装置。
9. 前記画像認識部は、前記第２撮像画像に含まれる個々の物体について、属性、大きさ、距離、領域及び特徴空間のうちの少なくとも一つを推定することを特徴とする請求項７記載の運転支援制御装置。
10. 前記物体認識は、物体検出及び領域分割のうちの少なくとも一方を含み、
    前記物体検出は、前記第２撮像画像に含まれる個々の物体の位置を回帰により推定するとともに、前記個々の物体の属性を分類により推定するものであり、
    前記領域分割は、前記第２撮像画像を個々の属性に対応する領域に分割するものである
    ことを特徴とする請求項７記載の運転支援制御装置。
11. 前記特徴量抽出部は、教師あり学習又は教師なし学習により学習自在であることを特徴とする請求項７記載の運転支援制御装置。
12. 前記特徴量抽出部は、畳み込みニューラルネットワークを用いるものであることを特徴とする請求項７記載の運転支援制御装置。
13. 前記特徴量抽出部は、深層学習により学習自在であることを特徴とする請求項７記載の運転支援制御装置。
14. 前記物体認識部は、深層学習により学習自在であることを特徴とする請求項８記載の運転支援制御装置。
15. 前記脅威検知部は、前記第２撮像画像に含まれる個々の物体に対応する脅威レベルを設定する脅威レベル設定部を有することを特徴とする請求項７記載の運転支援制御装置。
16. 前記第２推論部は、前記車両の状態を示す車両情報を取得する車両情報取得部を有し、
    前記脅威検知部は、前記車両の状態に応じて前記脅威レベルを補正する脅威レベル補正部を有する
    ことを特徴とする請求項１５記載の運転支援制御装置。
17. 前記車両情報取得部は、前記車両におけるセンサ類を用いて前記車両情報を取得することを特徴とする請求項１６記載の運転支援制御装置。
18. 前記車両情報は、前記車両の走行速度を示す情報及び前記車両における操舵角を示す情報を含むことを特徴とする請求項１６記載の運転支援制御装置。
19. 前記脅威レベル設定部は、前記個々の物体に対応する距離に基づき前記脅威レベルを設定することを特徴とする請求項１５記載の運転支援制御装置。
20. 前記通知の手段は、光源、ディスプレイ、スピーカ及び触覚デバイスのうちの少なくとも一つを含むことを特徴とする請求項１記載の運転支援制御装置。
21. 前記ディスプレイは、ヘッドアップディスプレイ及び電子ミラー用ディスプレイのうちの少なくとも一方を含むことを特徴とする請求項２０記載の運転支援制御装置。
22. 前記第１カメラは、赤外線カメラにより構成されており、
    前記第２カメラは、可視光カメラにより構成されている
    ことを特徴とする請求項１記載の運転支援制御装置。
23. 前記脅威に応じて前記車両を操作する制御を実行する車両制御部を備えることを特徴とする請求項１記載の運転支援制御装置。
24. 第１推論部が、車内撮像用の第１カメラによる第１撮像画像を用いて、車両における運転者の状態を検知するステップと、
    第２推論部が、車外撮像用の第２カメラによる第２撮像画像を用いて、前記車両に対する周囲における脅威を検知するステップと、
    通知制御部が、前記運転者の状態に応じて、前記脅威に対する通知の態様を設定する処理を実行するステップと、
    前記第２推論部の特徴量抽出部が、前記第２撮像画像における特徴量を抽出するステップと、
    前記第２推論部の画像認識部が、前記特徴量を用いて物体認識を含む画像認識を実行するステップと、
    前記第２推論部の脅威検知部が、前記画像認識の結果に基づき前記脅威を検知するステップと、
    前記第２推論部が、前記脅威が生じたときに、前記運転者の注意が向けられている領域を示す顕著性マップＭ１と、前記脅威検知部による検知結果を示す情報の入力に対して前記顕著性マップＭ１に対応するリスクマップＭ２と、前記運転者が注意を向けるべき領域を示すアテンションマップＭ３と、を生成するステップと、
    適合部が、前記顕著性マップＭ１と前記リスクマップＭ２と前記アテンションマップＭ３における分布情報及び検知された物体に対する脅威レベル情報と、前記通知が出力されたときの前記運転者の状態に応じて前記通知制御部の機械学習をするステップと、
    を備える運転支援制御方法。

Images