JP7107061B2 - 運転支援方法及び運転支援装置 - Google Patents

Description

本発明は、運転支援方法及び運転支援装置に関する。

運転者の脳活動等の生体情報に基づいて車両の運転支援を行う技術が提案されている。例えば特許文献１に記載の車両用運転支援装置では、ブレイン・ネットワーク・インタフェースをドライバーの頭部に装着して、ドライバーの脳活動データを検出する。運転支援制御ユニットは、検出した脳活動データに基づいて車両の操作対象（ステアリング、ブレーキ等）の目標操作量を特定し、特定した目標操作量に基づいて、上記操作対象の駆動制御を行う。

特開２００８－２４７１１８号公報

しかしながら、脳活動解析などの生体情報を用いた運転操作の判断では、操作種別の判別が難しいことがある。
本発明は、生体情報を用いた運転操作判断における操作種別の判別精度を向上することを目的とする。

本発明の一態様に係る運転支援方法では、自車両の周囲環境と運転者の状態とに基づいて運転者による自車両の運転操作の第１操作種別を予測し、運転者の生体情報に基づいて運転者による自車両の運転操作の第２操作種別を予測し、第１操作種別と第２操作種別とに基づいて自車両の運転支援を実行する。

本発明の態様によれば、生体情報を用いた運転操作判断における操作種別の判別精度を向上できる。

実施形態の運転支援装置の一例の概略構成図である。 脳波の波形の一例を表すグラフである。 運動準備電位の測定方法を説明するための概略図である。 図１に示すコントローラの機能構成の一例を示すブロック図である。 Ｔ１＜Ｔ３ａの場合の操作タイミングの説明図である。 Ｔ１＞Ｔ３ｂの場合の操作タイミングの説明図である。 実施形態の運転支援方法の一例のフローチャートである。

以下、本発明の実施形態について、図面を参照しつつ説明する。なお、各図面は模式的なものであって、現実のものとは異なる場合がある。また、以下に示す本発明の実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の構造、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。

（構成）
図１を参照する。運転支援装置１は、運転者が運転支援装置１を搭載する車両（以下、「自車両」と表記する）を運転する際に、補助的に自車両を運転することにより、運転者による運転操作を支援する装置である。
運転支援装置１は、周囲環境センサ２と、車内センサ３と、車両センサ４と、脳波センサ５と、ナビゲーションシステム６と、コントローラ７と、車両制御アクチュエータ８を備える。

周囲環境センサ２は、自車両の周囲環境、例えば自車両の周囲の他車両や障害物などの物体を検出するセンサである。
周囲環境センサ２は、例えばレーザレンジファインダ（ＬＲＦ：Laser Range-Finder）やレーダなどの測距装置であってよい。測距装置は、例えば、自車両周囲に存在する物体（他車両や障害物）、自車両と物体との相対位置、自車両と物体との距離を検出する。測距装置は、検出した測距データをコントローラ７へ出力する。

周囲環境センサ２は、テレオカメラや単眼カメラ等のカメラであってもよい。カメラは、自車両の周囲に存在する物体や、車線境界線（例えば白線）などの道路標示、交通信号機、道路標識、縁石やガードレール等の地物などを撮影した撮影データをコントローラ７へ出力する。

車内センサ３は、自車両の車室内の運転者の状態を検出する。例えば車内センサ３は、車室内に設けられて運転者を撮影する車内カメラであってよい。また例えば車内センサ３は、運転者によるステアリングホイールの把持状態や、アクセルペダルやブレーキペダルへ足を載せていることを検出するタッチセンサであってよい。
車内センサ３は、運転者の撮影データや、タッチセンサの検出信号をコントローラ７へ出力する。

車両センサ４は、自車両の走行状態を検出するセンサと、運転者により行われた運転操作を検出するセンサとを含む。
自車両の走行状態を検出するセンサは、例えば車速センサあってよい。
運転操作を検出するセンサは、例えば、操舵角センサと、アクセルセンサと、ブレーキセンサと、シフトポジションセンサであってよい。

車速センサは、自車両の車輪速に基づいて自車両の速度を検出する。
操舵角センサは、操舵操作子であるステアリングホイールの現在の回転角度（操舵操作量）である現在操舵角を検出する。
アクセルセンサは、自車両のアクセル開度を検出する。例えばアクセルセンサは、自車両のアクセルペダルの踏み込み量をアクセル開度として検出する。

ブレーキセンサは、運転者によるブレーキ操作量を検出する。例えばブレーキセンサは、自車両のブレーキペダルの踏み込み量をブレーキ操作量として検出する。
シフトポジションセンサは、シフトレバーの状態を検出する。
車両センサ４は、検出した自車両の速度、操舵角、アクセル開度、ブレーキ操作量、シフトレバーの状態をコントローラ７へ出力する。

脳波センサ５は、被験者である運転者（人間）の脳波（脳活動）を検出し、検出された脳波信号（脳波データ）をコントローラ７に出力する。
脳波センサ５は、脳波計測用の電極群（複数の電極）と、電極群で採集された電位変化である複数の脳波信号を増幅する増幅器と、増幅器から出力された複数の脳波信号のそれぞれから所定の通過帯域の周波数成分を抽出するフィルタと、抽出された脳波信号のアナログデータを所定のサンプリング周期でサンプリングしてデジタルデータに変換するＡ／Ｄ変換器を有する。

なお、脳波センサ５の電極群以外の機能の一部がコントローラ７に内蔵されていてもよい。
また、脳波センサ５以外のセンサを用いて運転者の脳活動を測定してもよい。例えば、脳血流、心拍数、呼吸、発汗量及び顔画像など、運転者の脳活動を推定しうる生体情報を検出するセンサを用いてもよい。

脳波センサ５は、運転者の頭部に取り付けられた複数の電極間に生じる微弱な電位差信号を運転者の脳において生じる電気活動として検出する。例えば、コントローラ７は、脳波センサ５により検出された各電極の脳波のデータ間の電位差信号を周波数解析することにより、運転者の脳において生じる運動準備電位（ＭＲＰ）を算出する。
運動準備電位は、思考や認知の結果として現れる脳の反応を示す事象関連電位（ＥＲＰ）の一種であり、自発的に手や脚等を動かそうとする時に発生する電位である。

運動準備電位の基礎となる脳波は運転者が実際に行動を開始する前に発生する。このため、運動準備電位は運転者が行動を開始するタイミングよりも２秒程度前から検出され、４００ｍｓ程度前からより大きく検出される。このため、運動準備電位を算出することにより、運転者が実際に行動を開始する前に運転者の行動（行動意図）を予測することができる。なお、ここではコントローラ７が、周波数解析により運動準備電位を算出する場合を例示するが、周波数解析に限らずパターン解析でもよく、信号解析できるものであればよい。

図２は、脳波信号における特徴ベクトルの一例を示す図である。ここでは、運転者の行動開始前の脳波信号からＮ個の特徴量を抽出し、脳波の特徴ベクトルＰ＝（ｐ１，ｐ２，…，ｐＮ）を生成する。特徴量は、例えば一定の等間隔でサンプリングした値等を使用する。図３に示すように、過去の運動準備電位の特徴量を予めデータベース化しておき、特徴空間に配置される領域Ｄを決定する。

領域Ｄの定義は、例えば複数サンプルがあれば、ベクトル集合｛Ｐ｝の重心点を中心とし、半径を標準偏差σとする円を領域Ｄとして決定する。そして、運転者からリアルタイムで計測した運動準備電位の特徴ベクトルＰが、領域Ｄに入るか否かを判定する。
コントローラ７は、特徴ベクトルＰが領域Ｄに入る場合に運動準備電位が発生していると判定し、特徴ベクトルＰが領域Ｄに入っていない場合に運動準備電位が発生していないと判定する。

図１を参照する。ナビゲーションシステム６は、自車両の現在位置と、その現在位置における道路地図情報を認識する。ナビゲーションシステム６は、乗員が入力した目的地までの走行経路を設定し、この走行経路に従って乗員に経路案内を行う。
さらにナビゲーションシステム６は、設定した走行経路や、走行経路上の道路地図情報をコントローラ７へ出力する。ナビゲーションシステム６からコントローラ７へ提供される情報を「ナビ情報」と表記する。

ナビゲーションシステム６は、ナビコントローラ６１と、測位装置６２と、地図データベース６３と、表示部６４と、操作部６５と、音声出力部６６と、通信部６７を備える。なお、図１において地図データベースを地図ＤＢと表記する。
ナビコントローラ６１は、ナビゲーションシステム６の情報処理動作を制御する電子制御ユニットである。ナビコントローラ６１は、プロセッサとその周辺部品とを含む。プロセッサは、例えばＣＰＵ（Central Processing Unit）、やＭＰＵ（Micro-Processing Unit）であってよい。

周辺部品には記憶装置等が含まれる。記憶装置は、半導体記憶装置、磁気記憶装置及び光学記憶装置のいずれかを備えてよい。記憶装置は、レジスタ、キャッシュメモリ、主記憶装置として使用されるＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等のメモリを含んでよい。

測位装置６２は、自車両の現在位置を測定する。測位装置６２は、例えばＧＰＳ（Global Positioning System）受信器であってよい。また測位装置６２は、ＧＬＯＮＡＳＳ（Global Navigation Satellite System）等の他の衛星測位システムの衛星信号に基づいて自車両の現在位置を測定してもよい。また測位装置６２は、慣性航法装置であってもよい。

地図データベース６３は、道路地図情報を記憶している。道路地図情報は、走行車線、道路線種、道路形状、勾配、車線数、法定速度（制限速度）、道幅、一時停止線、交差点、合流地点、分岐地点に関する情報を含む。
表示部６４は、ナビゲーションシステム６において様々な視覚的情報を出力する。例えば、表示部６４には、自車両周囲の地図画面や推奨経路の案内を表示してよい。また、表示部６４には、運転支援装置１による運転支援制御で生成されるメッセージ（例えば、運転者に操舵操作や減速操作を促すメッセージ）を表示してよい。

操作部６５は、ナビゲーションシステム６において乗員の操作を受け付ける。操作部６５は、例えばボタン、ダイヤル、スライダなどであってよく、表示部６４に設けられたタッチパネルであってもよい。例えば操作部６５は、乗員による目的地の入力操作や、表示部６４の表示画面の切り替え操作を受け付けてよい。

音声出力部６６は、ナビゲーションシステム６において様々な音声情報を出力する。音声出力部６６は、設定した走行経路に基づく運転案内や、自車両周囲の地図情報に基づく道路案内情報を出力してよい。また、音声出力部６６は、運転支援装置１による運転支援制御で生成されるメッセージ（例えば、運転者に操舵操作や減速操作を促すメッセージ）を出力してよい。

通信部６７は、自車両の外部の通信装置との間で無線通信を行う。通信部６７による通信方式は、例えば公衆携帯電話網による無線通信や、車車間通信、路車間通信、又は衛星通信であってよい。ナビゲーションシステム６は、通信部６７によって外部装置から道路地図情報を取得してもよい。

コントローラ７は、自車両の運転支援を行う電子制御ユニットである。コントローラ７は、プロセッサ７１と、記憶装置７２等の周辺部品とを含む。プロセッサ７１は、例えばＣＰＵやＭＰＵであってよい。
記憶装置７２は、半導体記憶装置、磁気記憶装置及び光学記憶装置のいずれかを備えてよい。記憶装置７２は、レジスタ、キャッシュメモリ、主記憶装置として使用されるＲＯＭ及びＲＡＭ等のメモリを含んでよい。

なお、汎用の半導体集積回路中に設定される機能的な論理回路でコントローラ７を実現してもよい。例えば、コントローラ７はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ：Field-Programmable Gate Array）等のプログラマブル・ロジック・デバイス（ＰＬＤ：Programmable Logic Device）等を有していてもよい。

コントローラ７は、周囲環境センサ２が検出した周囲環境、車内センサ３が検出した運転者状態、車両センサ４が検出した車両状態、脳波センサ５が検出した運転者の脳波信号、及びナビゲーションシステム６から提供されるナビ情報に基づいて、運転者が意図する運転操作を予測する。
コントローラ７は、予測した運転操作を実現するための運転操作系（例えばステアリングホイール機構、アクセル機構、ブレーキ機構）の目標操作量を算出し、目標操作量に基づいて車両制御アクチュエータ８を駆動して自車両の運転操作系を制御する。
これにより、コントローラ７は、運転者があたかも自分で操作している感覚となるように自車両を運転し、運転者の運転操作を支援する。

車両制御アクチュエータ８は、コントローラ７からの制御信号に応じて、自車両のステアリングホイール、アクセル開度及びブレーキ装置を操作して、自車両の車両挙動を発生させる。車両制御アクチュエータ８は、ステアリングアクチュエータと、アクセル開度アクチュエータと、ブレーキ制御アクチュエータを備える。
ステアリングアクチュエータは、自車両のステアリングの操舵方向及び操舵量を制御する。アクセル開度アクチュエータは、自車両のアクセル開度を制御する。ブレーキ制御アクチュエータは、自車両のブレーキ装置の制動動作を制御する。

次に図４を参照して、コントローラ７による運転支援機能について説明する。コントローラ７は、ナビ情報取得部１０１と、周囲環境認識部１０２と、車両データ取得部１０３と、運転者状態認識部１０４と、脳活動解析部１０５と、脳活動データベース１０６と、感度時間記憶部１０７と、運転操作データベース１０８と、運転操作判断部１１０と、操作種別データベース１１４と、操作タイミング予測部１２０と、自動機能装置１３０と、自動機能制御部１４０を備える。図４において「データベース」を「ＤＢ」と表記する。

例えばコントローラ７は、図１の記憶装置７２に格納されたコンピュータプログラムをプロセッサ７１で実行することにより、ナビ情報取得部１０１、周囲環境認識部１０２、車両データ取得部１０３、運転者状態認識部１０４、脳活動解析部１０５、運転操作判断部１１０、操作タイミング予測部１２０、自動機能装置１３０、自動機能制御部１４０の機能を実現してよい。

ナビ情報取得部１０１は、ナビゲーションシステム６からナビ情報を取得する。ナビ情報取得部１０１は、例えば自車両の進行方向に存在する交差点、合流地点、分岐地点、ワインディングロード、一時停止線などの道路地図情報を取得する。ナビ情報取得部１０１は、取得したナビ情報を運転操作判断部１１０へ出力する。
また、ナビ情報取得部１０１は、自車両の周囲の走行車線、道路形状、法定速度、道幅、一時停止線などの道路地図情報をナビゲーションシステム６から取得する。ナビ情報取得部１０１は、取得した道路地図情報を自動機能装置１３０へ出力する。

周囲環境認識部１０２は、自車両の周囲の撮影データや周囲の物体までの測距データを周囲環境センサ２から取得する。周囲環境認識部１０２は、周囲環境センサ２から取得したデータに基づいて、自車両の周囲環境を認識する。
例えば周囲環境認識部１０２は、以下のような周囲環境を認識する。
(1) 周囲（前方、後方、横前後）の車両との車間距離、相対速度、衝突余裕時間（ＴＴＣ：Time To Collision）、車間時間（ＴＨＷ：Time-Head Way）、自車両が他車両に囲まれていて操舵や加減速が制約されているか否か等の周囲車両情報

(2)自車両の周囲の障害物（例えば前方の進路を塞ぐ障害物）
(3)自車両の前方の交通信号機の信号現示（赤信号）や信号現示の変化（例えば赤信号から青信号への変化）
(4)車線変更可能な隣接車線が左右にあるか否か等の車線情報
周囲環境認識部１０２は、認識した周囲環境の情報を運転操作判断部１１０及び自動機能装置１３０へ出力する。

車両データ取得部１０３は、自車両の速度、操舵角、アクセル開度、ブレーキ操作量、シフトレバーの状態等の自車両の車両データを車両センサ４から取得する。車両データ取得部１０３は、車両データを運転操作判断部１１０へ出力する。
運転者状態認識部１０４は、運転者の撮影データや、タッチセンサの検出信号を車内センサ３から取得する。

例えば運転者状態認識部１０４は、運転者の撮影データに基づいて運転者の姿勢や、顔の向き、視線の方向を運転者の状態として認識してよい。
運転者状態認識部１０４は、タッチセンサの検出信号に基づいてステアリングホイールの把持状態や、アクセルペダル、ブレーキペダルへの接触状態を運転者の状態として認識してよい。
運転者状態認識部１０４は、認識した運転者の状態の情報を運転操作判断部１１０へ出力する。

脳活動解析部１０５は、運転者の脳波信号を脳波センサ５から取得する。脳活動解析部１０５は、脳波信号の特徴ベクトルＰを生成し（図２参照）、脳活動データベース１０６に記憶された特徴空間に配置される領域Ｄ（図３参照）に特徴ベクトルＰが入るか否かに応じて運動準備電位が発生しているか否かを判定する。
脳活動解析部１０５は、検出した運動準備電位を運転操作判断部１１０と操作タイミング予測部１２０へ出力する。

運転操作データベース１０８は、各運転者についての、運転操作と脳活動との関係を示す脳活動データを記憶している。例えば、脳活動解析部１０５にて、運転者によるステアリング操作の運動準備電位が検出された際に、この検出タイミングから実際にステアリングが操作されるまでの時間（これを遅れ時間βとする）を求める。そして、遅れ時間βを累積的に記憶する。遅れ時間βとして、複数の検出データの平均値を用いることもできる。

感度時間記憶部１０７は、運転操作データベース１０８に記憶されているデータに基づいて、各運転者が操作種別を操作する際の感度時間（後述するΔｔ）を求めこの感度時間を記憶する。例えば、先行車両を回避するためにステアリングを操作して車線変更する際に、早めに車線変更する運転者と、先行車両との間の車間距離が短くなってから車線変更する運転者を区別し、運転者を、運転技能の高い上級者、運転技能の低い初級者、及びその中間の技能である中級者の３つの技能レベルに分類する。そして、例えば初級者の感度時間を８００［ｍsec］とし、中級者の感度時間を５００［ｍsec］とし、上級者の感度時間を２００［ｍsec］とする。

なお、技能レベルの設定は、各運転者の過去の運転操作データに基づいて設定する以外で、例えば、ユーザが任意に設定することも可能である。例えば、運転経験が１年未満の運転者を初級者、１年以上で１０年未満の運転者を中級者、１０年以上の運転者を上級者に設定することも可能である。なお、本発明は３つの技能レベルに限定されるものではなく、４以上の技能レベルを設定しそれぞれについて異なる感度時間を設定してもよい。

運転操作判断部１１０は、運転者によりこれから行われる自車両の運転操作の操作種別を判断する。
運転操作判断部１１０は、第１操作種別予測部１１１と、第２操作種別予測部１１２と、操作種別判断部１１３を備える。
第１操作種別予測部１１１は、ナビ情報取得部１０１が取得したナビ情報や周囲環境認識部１０２の認識結果に基づいて、自車両の周囲環境を判断する。また第１操作種別予測部１１１は、車両データ取得部１０３が取得した車両データや、運転者状態認識部１０４の認識結果に基づいて、運転者の状態を判断する。

第１操作種別予測部１１１は、自車両の周囲環境と運転者の状態に基づいて、運転者による自車両の運転操作の第１操作種別を予測する。
例えば第１操作種別予測部１１１は、自車両の周囲環境に基づいて運転者による運転操作の発生を予測してよい。そして、第１操作種別予測部１１１は、運転者の状態に基づいて運転操作の第１操作種別を予測してよい。

例えば、第１操作種別予測部１１１は、車線変更可能な隣接車線が左右にあるか否か等の車線情報、周囲の車両との車間距離、相対速度、ＴＴＣ、ＴＨＷ等の周囲車両情報、ナビ情報、交差点情報、自車速、操舵角、アクセルペダル操作状態、ブレーキペダル操作状態等に基づいて、車線変更の発生を予測する。そして、第１操作種別予測部１１１は、運転者の姿勢、顔の向き、視線等に基づいて、車線変更の左右方向を推定し、第１操作種別として左操舵及び右操舵のいずれかを予測する。

また例えば、第１操作種別予測部１１１は、自車両の周囲環境に基づいて発生を予測した第１操作種別の運転操作が、運転者によって行われる可能性があるか否かを、運転者の状態に基づいて予測してもよい。
例えば第１操作種別予測部１１１は、車線情報、周囲車両情報、ナビ情報、交差点情報、自車速、操舵角、アクセルペダル操作状態、ブレーキペダル操作状態等に基づいて、車線変更の発生を予測する。

第１操作種別予測部１１１は、運転者の姿勢、顔の向き、視線等に基づいて車線変更が行われる可能性があるか否かを判断する。運転者が、車線変更のための後方確認を行い且つステアリングホイールを把持していれば、第１操作種別予測部１１１は第１操作種別として車線変更を予測する。運転者が、車線変更のための後方確認を行っていないか、ステアリングホイールを把持していなければ、第１操作種別予測部１１１は第１操作種別の予測結果を出力しない。

また例えば、第１操作種別予測部１１１は、交差点やカーブ路での旋回操作をナビ情報に基づいて予測してよい。このとき第１操作種別予測部１１１は、ナビ情報に基づいて右操舵又は左操舵のいずれかを予測してもよい。
第１操作種別予測部１１１は、運転者によるステアリングホイールの把持状態に基づいて旋回操作が行われる可能性があるか否を判断する。例えば、ステアリングホイールが把持されていれば、第１操作種別予測部１１１は第１操作種別として旋回操作を予測する。第１操作種別予測部１１１は右操舵又は左操舵の何れかを第１操作種別として予測してもよい。ステアリングホイールが把持されていなければ、第１操作種別予測部１１１は第１操作種別の予測結果を出力しない。

また例えば、第１操作種別予測部１１１は、自車両の前方の一時停止線、赤信号、先行車両、障害物等の停止要因への接近に基づいて減速操作を予測してよい。
第１操作種別予測部１１１は、運転者によるアクセルペダルの操作状態や前方の停止要因の注視状態に基づいて、減速操作が行われる可能性があるか否を判断する。例えばアクセルペダルを踏んでいないか緩めており前方の停止要因を注視していれば、第１操作種別予測部１１１は第１操作種別として減速操作を予測する。運転者がアクセルペダルを所定踏み込み量以上踏んでいるか前方の停止要因を注視していなかれば、第１操作種別予測部１１１は第１操作種別の予測結果を出力しない。

また例えば、第１操作種別予測部１１１は、自車両の周囲環境の変化に基づいて自車両の発進操作を予測してよい。例えば、前方の交通信号機の信号現示が青に変化した、右折時に対向車が無くなった、一時停止線や本線手前での一時停止を遂行したなど、周囲環境の変化により自車両の発進が可能になった場合に、第１操作種別予測部１１１は、自車両の発進操作を予測してよい。
第１操作種別予測部１１１は、ブレーキペダルの操作状態、シフトレバーの状態及び進行方向の注視状態に基づいて、発進操作が行われる可能性があるか否かを判断する。例えば、ブレーキペダルが踏まれていて、シフトレバーが「Ｄ」ポジションにあり、運転者が進行方向を注視していれば、第１操作種別予測部１１１は第１操作種別として発進操作を予測する。ブレーキペダルが踏まれていないか、シフトレバーが「Ｄ」ポジションにないか、運転者が進行方向を注視していない場合、第１操作種別予測部１１１は第１操作種別の予測結果を出力しない。

以上の判断方法の代わりに、過去に運転者が行った運転操作の操作種別と、そのときの周囲環境及び運転者の状態とを記憶した操作種別データベース１１４に基づいて、第１操作種別を予測してもよい。
また、運転者が行った運転操作の操作種別と、そのときの周囲環境及び運転者の状態とを機械学習した判別器を用いて、第１操作種別を予測してもよい。

第２操作種別予測部１１２は、脳活動解析部１０５が検出した運動準備電位に基づいて運転者による自車両の運転操作の第２操作種別を予測する。
例えば第２操作種別予測部１１２は、運動準備電位が脳のどの部位で発生したかに応じて、運転者が右手、左手、又は足のいずれを動かすのかを予測してよい。第２操作種別予測部１１２は、運転者が右手、左手、又は足のいずれを動かすかによって、右操舵操作、左操舵操作、加速操作及び制動操作（ブレーキング）などのいずれの操作種別の運転操作を行うのか予測してよい。
また例えば第２操作種別予測部１１２は、運動準備電位が発生したときに運転者が行った運転操作を機械学習した判別器を使用して、運転者による運転操作の操作種別を予測してもよい。

操作種別判断部１１３は、予測した第１操作種別と第２操作種別に基づいて運転者による自車両の運転操作の操作種別を判断する。
例えば操作種別判断部１１３は、第１操作種別予測部１１１が予測した第１操作種別が車線変更である場合、第２操作種別予測部１１２が予測した操舵方向の操舵操作を、運転者による運転操作の操作種別として判断する。

また例えば操作種別判断部１１３は、第１操作種別予測部１１１が予測した第１操作種別が旋回操作である場合、第２操作種別予測部１１２が予測した操舵方向の操舵操作を、運転者による運転操作の操作種別として判断する。
また例えば操作種別判断部１１３は、第１操作種別予測部１１１が予測した第１操作種別が減速操作である場合、第２操作種別予測部１１２が予測した制動操作を、運転者による運転操作の操作種別として判断する。
また例えば操作種別判断部１１３は、第１操作種別予測部１１１が予測した第１操作種別が発進操作である場合、第２操作種別予測部１１２が予測した加速操作を、運転者による運転操作の操作種別として判断する。

操作種別判断部１１３は、運転者による運転操作の操作種別が判断できない場合には操作種別を判断しない。この場合に運転支援装置１は運転支援を実行しない。
例えば、第１操作種別予測部１１１が第１操作種別を予測しない場合には、操作種別判断部１１３は操作種別を判断しない。第２操作種別予測部１１２が第２操作種別を予測しない場合にも、操作種別判断部１１３は操作種別を判断しない。

また例えば、第１操作種別予測部１１１が予測した第１操作種別と第２操作種別予測部１１２が予測した第２操作種別とが整合しない場合にも、操作種別判断部１１３は操作種別を判断しない。
例えば第１操作種別と第２操作種別が一致しない場合には、第１操作種別と第２操作種別は整合しない。例えば、車線変更や旋回操作において第１操作種別として予測された操舵操作が第２操作種別と一致しない場合、第１操作種別と第２操作種別は整合しない。

また第１操作種別と第２操作種別とが矛盾する場合にも、第１操作種別と第２操作種別は整合しない。
例えば第１操作種別として車線変更又は旋回操作が予測されているのにも関わらず第２操作種別として操舵操作以外の操作種別（例えば制動操作、加速操作）が予測された場合には第１操作種別と第２操作種別は整合しない。

例えば第１操作種別として減速操作が予測されているのにも関わらず第２操作種別として制動操作以外の操作種別（例えば、操舵操作、加速操作）が予測された場合には第１操作種別と第２操作種別は整合しない。
例えば第１操作種別として発進操作が予測されているのにも関わらず第２操作種別として加速操作以外の操作種別（例えば、操舵操作、制動操作）が予測された場合には第１操作種別と第２操作種別は整合しない。
操作種別判断部１１３が運転者による運転操作の操作種別を判断すると、運転操作判断部１１０は、操作種別を自動機能制御部１４０へ出力する。

自動機能装置１３０は、ナビ情報取得部１０１が取得した道路地図情報、及び周囲環境認識部１０２が認識した周囲環境の情報に基づいて、自車両の運転操作を補助的に実行する機能を有する。自動機能装置１３０は、例えば、ＡＣＣ(Adaptive Cruise Control)装置であってよい。なお、ＡＣＣ装置は周知の装置であるので、詳細な説明を省略する。また、自動機能装置を自動運転装置としてもよい。自動運転装置についても周知の装置であるので説明を省略する。

操作タイミング予測部１２０は、脳活動解析部１０５で検出した運動準備電位に基づいて、運転者の運転操作の開始タイミングを予測する。
操作タイミング予測部１２０は、運転操作データベース１０８に運転者毎に記憶された遅れ時間βを読み出し、運転者が運転操作を行うタイミング（これを「対象者操作タイミングＴ２」とする）を決定する。

図５Ａ及び図５Ｂのタイミングチャートに示すように、運動準備電位が検出されるタイミングＴ０から遅れ時間βが経過した時刻が対象者操作タイミングＴ２となる。
時刻Ｔ１は、自動機能装置１３０が運転者の意図によらずに自動操作を行う場合の操作タイミング（これを「自動操作タイミングＴ１」とする）を示す。

操作タイミング予測部１２０は、対象となる運転者の感度時間（これを「Δｔ」とする）を感度時間記憶部１０７から読み出す。前述のように、各運転者の運転技能に基づいて、初級者、中級者、及び上級者の技術レベルが設定されており、各技術レベルに応じて感度時間Δｔが設定されている。
この処理では、対象となる運転者の運転技能に基づいて、感度時間Δｔを取得する。例えば、運転者の運転技能が中級者である場合には感度時間Δｔは５００［ｍsec］に設定される。

操作タイミング予測部１２０は、対象者操作タイミングＴ２と自動操作タイミングＴ１との差分「Ｔ２－Ｔ１」（これを「時間差α」とする）を演算し、この時間差αと運転者の感度時間Δｔとを比較する。
α＞Δｔである場合には、操作タイミング予測部１２０は、自動機能装置１３０の作動タイミングＴｒを「Ｔ２－Δｔ」に設定する。即ち、図５Ａに示すように、対象者操作タイミングＴ２から感度時間Δｔだけ遡ったタイミングＴ３ａを、自動操作する際の作動タイミングＴｒとして設定する。

α≦Δｔである場合には、操作タイミング予測部１２０は、自動機能装置１３０の作動タイミングＴｒを、自動操作タイミングＴ１に設定する。即ち、図５Ｂに示すように、対象者操作タイミングＴ２から感度時間Δｔだけ遡ったタイミングＴ３ｂは、自動操作タイミングＴ１よりも早いタイミングＴ３ｂとなるので、自動操作タイミングＴ１を、自動操作する際の作動タイミングＴｒとして設定する。

図４を参照する。自動機能制御部１４０は、操作種別判断部１１３が予測した運転者の操作種別、及び操作タイミング予測部１２０で設定された作動タイミングＴｒに基づいて、自動機能装置１３０へ運転支援指令を出力する。
自動機能装置１３０は、自動機能装置１３０からの運転支援指令に応じて自動機能を制御する。具体的には、予測された操作種別の運転操作を実現する運転操作系（例えばステアリングホイール機構、アクセル機構、ブレーキ機構）の目標操作量を算出する。
そして、目標操作量に基づいて車両制御アクチュエータ８を駆動して自車両の運転操作系を制御する。

（動作）
図６を参照して、実施形態の運転支援装置の動作を説明する。
ステップＳ１においてナビ情報取得部１０１は、ナビゲーションシステム６からナビ情報を取得する。
ステップＳ２において周囲環境認識部１０２は、周囲環境センサ２から取得したデータに基づいて、自車両の周囲環境を認識する。

ステップＳ３において車両データ取得部１０３は、自車両の速度、操舵角、アクセル開度、ブレーキ操作量、シフトレバーの状態等の自車両の車両データを車両センサ４から取得する。
ステップＳ４において運転者状態認識部１０４は、運転者の撮影データに基づいて運転者の姿勢や、顔の向き、視線の方向を運転者の状態として認識する。運転者状態認識部１０４は、タッチセンサの検出信号に基づいて運転操作子への接触状態を運転者の状態として認識する。
ステップＳ５において脳波センサ５により運転者の脳波を測定する。脳活動解析部１０５は、運転者の脳波信号を解析することにより運動準備電位を検出する。

ステップＳ６において第１操作種別予測部１１１は、ナビ情報取得部１０１が取得したナビ情報や周囲環境認識部１０２の認識結果に基づいて、自車両の周囲環境を判断する。また第１操作種別予測部１１１は、車両データ取得部１０３が取得した車両データや、運転者状態認識部１０４の認識結果に基づいて、運転者の状態を判断する。
第１操作種別予測部１１１は、自車両の周囲環境と運転者の状態に基づいて、運転者による自車両の運転操作の第１操作種別を予測する。

ステップＳ７において第２操作種別予測部１１２は、脳活動解析部１０５が検出した運動準備電位に基づいて運転者による自車両の運転操作の第２操作種別を予測する。
ステップＳ８において操作種別判断部１１３は、第１操作種別と第２操作種別に基づいて操作種別を判断できるか否かを判断する。操作種別を判断できる場合（ステップＳ８：Ｙ）に処理はステップＳ９へ進む。操作種別を判断できない場合（ステップＳ８：Ｎ）に運転支援を行わずに処理は終了する。

ステップＳ９において操作タイミング予測部１２０は、運動準備電位の検出タイミングに基づいて、運転者の運転操作の開始タイミングＴ２を予測する。操作タイミング予測部１２０は、予測した運転操作の開始タイミングＴ２に基づいて、自動機能装置１３０の作動タイミングＴｒを設定する。

ステップＳ１０において自動機能制御部１４０は、操作種別判断部１１３が判断した運転者の操作種別、及び操作タイミング予測部１２０で設定された作動タイミングＴｒに基づいて、自動機能装置１３０へ運転支援指令を出力する。
自動機能装置１３０は、自動機能装置１３０からの運転支援指令に応じて自動機能を制御することにより、運転支援を実行する。

（実施形態の効果）
（１）第１操作種別予測部１１１は、自車両の周囲環境と運転者の状態とに基づいて運転者による自車両の運転操作の第１操作種別を予測する。第２操作種別予測部１１２は、運転者の生体情報に基づいて運転者による自車両の運転操作の第２操作種別を予測する。操作種別判断部１１３、自動機能制御部１４０及び自動機能装置１３０は、第１操作種別と第２操作種別とに基づいて、自車両の運転支援を実行する。

このように生体情報に基づいて予測した第２操作種別に加えて、自車両の周囲環境と運転者の状態とに基づいて予測した第１操作種別を考慮して、運転者による運転操作の操作種別を考慮するため、操作種別の判別精度を向上することができる。この結果、より適切な運転支援を提供できる。

（２）第１操作種別として自車両の車線変更を予測した場合に、操作種別判断部１１３、自動機能制御部１４０及び自動機能装置１３０は、第２操作種別として予測した操舵方向に基づいて運転支援を実行する。
これにより自車両が操舵操作を行う走行シーンにおいて、より正しく操舵操作を予測できる。このため、より適切な運転支援を提供できる。

（３）自車両の走行予定経路と運転者の状態とに基づいて第１操作種別として旋回操作を予測した場合に、操作種別判断部１１３、自動機能制御部１４０及び自動機能装置１３０は、第２操作種別として予測した操舵方向に基づいて運転支援を実行する。
これにより自車両が操舵操作を行う走行シーンにおいて、より正しく操舵操作を予測できる。このため、より適切な運転支援を提供できる。

（４）自車両の進行方向に存在する先行車両又は障害物と運転者の状態とに基づいて第１操作種別として減速操作を予測した場合に、操作種別判断部１１３、自動機能制御部１４０及び自動機能装置１３０は、第２操作種別として予測した制動操作に基づいて運転支援を実行する。
これにより自車両が制動操作を行う走行シーンにおいて、より正しく制動操作を予測できる。このため、より適切な運転支援を提供できる。

（５）自車両の進行方向に存在する赤信号又は一時停止線と運転者の状態とに基づいて第１操作種別として減速操作を予測した場合に、操作種別判断部１１３、自動機能制御部１４０及び自動機能装置１３０は、第２操作種別として予測した制動操作に基づいて運転支援を実行する。
これにより自車両が制動操作を行う走行シーンにおいて、より正しく制動操作を予測できる。このため、より適切な運転支援を提供できる。

（６）自車両の発進が可能になる周囲環境の変化と運転者の状態とに基づいて第１操作種別として発進操作を予測した場合に、操作種別判断部１１３、自動機能制御部１４０及び自動機能装置１３０は、第２操作種別として予測した加速操作に基づいて運転支援を実行する。
これにより自車両が加速操作を行う走行シーンにおいて、より正しく加速操作を予測できる。このため、より適切な運転支援を提供できる。

（７）操作種別判断部１１３、自動機能制御部１４０及び自動機能装置１３０は、第１操作種別と第２操作種別とに基づいて操作種別を判断できない場合に運転支援を実行しない。
これにより、誤った操作種別の運転支援を防止できる。

（８）脳波センサ５及び脳活動解析部１０５は、運転者の脳活動を検出して生体情報を取得する。
このように脳活動解析を用いることで、運転者が操作を実行する前に迅速に運転操作を検出できる。

１…運転支援装置、２…周囲環境センサ、３…車内センサ、４…車両センサ、５…脳波センサ、６…ナビゲーションシステム、７…コントローラ、８…車両制御アクチュエータ、６１…ナビコントローラ、６２…測位装置、６３…地図データベース、６４…表示部、６５…操作部、６６…音声出力部、６７…通信部、７１…プロセッサ、７２…記憶装置、１０１…ナビ情報取得部、１０２…周囲環境認識部、１０３…車両データ取得部、１０４…運転者状態認識部、１０５…脳活動解析部、１０６…脳活動データベース、１０７…感度時間記憶部、１０８…運転操作データベース、１１０…運転操作判断部、１１１…第１操作種別予測部、１１２…第２操作種別予測部、１１３…操作種別判断部、１１４…操作種別データベース、１２０…操作タイミング予測部、１３０…自動機能装置、１４０…自動機能制御部

Claims (9)

1. 運転者の状態として、前記運転者の姿勢、前記運転者の顔の向き、前記運転者の視線の方向、ステアリングホイールの把持状態、アクセルペダルへ足を載せているか否か、ブレーキペダルへ足を載せているか否か、の少なくともいずれか一つを検出し、
   自車両の周囲環境と前記運転者の状態とに基づいて、前記運転者による前記自車両の運転操作の第１操作種別を予測し、
   前記運転者の生体情報に基づいて、前記運転者による前記自車両の運転操作の第２操作種別を予測し、
   前記第１操作種別と前記第２操作種別とに基づいて、前記自車両の運転支援を実行する、
   ことを特徴とする運転支援方法。
2. 自車両の周囲環境と運転者の状態とに基づいて、前記運転者による前記自車両の運転操作の第１操作種別を予測し、
   前記運転者の生体情報に基づいて、前記運転者による前記自車両の運転操作の第２操作種別を予測し、
   前記自車両の進行方向に存在する赤信号又は一時停止線と前記運転者の状態とに基づいて前記第１操作種別として減速操作を予測した場合に、前記第２操作種別として予測した制動操作に基づいて前記運転支援を実行することを特徴とする運転支援方法。
3. 自車両の周囲環境と運転者の状態とに基づいて、前記運転者による前記自車両の運転操作の第１操作種別を予測し、
   前記運転者の生体情報に基づいて、前記運転者による前記自車両の運転操作の第２操作種別を予測し、
   前記自車両の発進が可能になる周囲環境の変化と前記運転者の状態とに基づいて前記第１操作種別として発進操作を予測した場合に、前記第２操作種別として予測した加速操作に基づいて前記運転支援を実行することを特徴とする運転支援方法。
4. 前記第１操作種別と前記第２操作種別とに基づいて操作種別を判断できない場合に、前記運転支援を実行しないことを特徴とする請求項１～３の何れか一項に記載の運転支援方法。
5. 前記運転者の脳活動を検出して前記生体情報を取得することを特徴とする請求項１～４のいずれか一項に記載の運転支援方法。
6. 自車両の周囲環境と運転者の状態とに基づいて、前記運転者による前記自車両の運転操作の第１操作種別を予測し、
   前記運転者の生体情報に基づいて、前記運転者による前記自車両の運転操作の第２操作種別を予測し、
   前記第１操作種別と前記第２操作種別とに基づいて、前記自車両の運転支援を実行し、
   前記第１操作種別と前記第２操作種別のいずれか一方が予測されない場合、又は前記第１操作種別と前記第２操作種別とが整合しない場合に、前記自車両の運転支援を実行しない、
   ことを特徴とする運転支援方法。
7. 前記第１操作種別と前記第２操作種別とが整合しない場合とは、前記第１操作種別として車線変更が予測されているにもかかわらず前記第２操作種別として操舵操作以外の操舵種別が予測された場合、前記第１操作種別として減速操作が予測されているにもかかわらず前記第２操作種別として制動操作以外の操舵種別が予測された場合、又は前記第１操作種別として発進操作が予測されているにもかかわらず前記第２操作種別として加速操作以外の操舵種別が予測された場合であることを特徴とする請求項６に記載の運転支援方法。
8. 自車両の周囲環境を検出する第１センサと、
   運転者の状態として、前記運転者の姿勢、前記運転者の顔の向き、前記運転者の視線の方向、ステアリングホイールの把持状態、アクセルペダルへ足を載せているか否か、ブレーキペダルへ足を載せているか否か、の少なくともいずれか一つを検出する第２センサと、
   前記運転者の生体情報を取得する第３センサと、
   前記第１センサが検出した前記周囲環境と前記第２センサが検出した前記運転者の状態とに基づいて、前記運転者による前記自車両の運転操作の第１操作種別を予測し、前記第３センサが取得した前記生体情報に基づいて、前記運転者による前記自車両の運転操作の第２操作種別を予測し、前記第１操作種別と前記第２操作種別とに基づいて、前記自車両の運転支援を実行するコントローラと、
   を備えることを特徴とする運転支援装置。
9. 自車両の周囲環境を検出する第１センサと、
   運転者の状態を検出する第２センサと、
   前記運転者の生体情報を取得する第３センサと、
   前記第１センサが検出した前記周囲環境と前記第２センサが検出した前記運転者の状態とに基づいて、前記運転者による前記自車両の運転操作の第１操作種別を予測し、前記第３センサが取得した前記生体情報に基づいて、前記運転者による前記自車両の運転操作の第２操作種別を予測し、前記第１操作種別と前記第２操作種別とに基づいて、前記自車両の運転支援を実行し、前記第１操作種別と前記第２操作種別のいずれか一方が予測されない場合、又は前記第１操作種別と前記第２操作種別とが整合しない場合に、前記自車両の運転支援を実行しないコントローラと、
   を備えることを特徴とする運転支援装置。

Images