JP6533707B2 - 運転状態監視方法，装置，およびそれを備えた車両 - Google Patents

Description

本発明は，運転者の運転操作を支援する走行制御装置を備えた車両において，運転者の状態監視を監視し，運転者を適切な運転状態に保つ技術に関する。

運転者の運転負荷を軽減するため，車間距離に応じて速度制御を行ったりレーンマーカに沿って操舵制御を行ったりするシステムが知られているが，これらのシステムは，運転者の姿勢や覚醒度等が適切な状態である必要があり，運転者の運転状態を監視する方法や適切な状態に保つ方法が提案されている。

また，米国運輸省の道路交通安全局によれば，より高度な運転支援システム（例えば，自動運転システム）においては，運転操作の主権が制御システムになるが，その場合であっても，システムの判断により自動運転を継続することが困難であると判断した場合に，運転主権を適切に運転者に切り替えられることを求めている。

これに対して，例えば，特許文献１には，運転支援制御実行中において，所定時間毎に制御量やアシスト量など意図的に下げることで支援レベルを下げ，それに対する運転者の反応を確認することで，運転者の運転状態を判定する方法が記載されている。

また，特許文献２には，スイッチ操作などにより運転者から運転切り替えが要求された場合に，運転者が適切に運転できるか否かを確認し，その結果により運転切り替えを行ったり，運転切り替えの要求を却下するなどの処理を行う方法が記載されている。

特開２０１３−４１５２４ 特開２０１４−６５４７８

上記従来技術（特許文献１）は，運転支援の実行中であっても運転の主権が運転者にあり，ペダル操作やステアリング操作の責任が運転者を前提としたシステムには適用可能であるが，より高度な運転支援状態（例えば，自動運転中）においては，運転の主権がシステムにあり運転者の運転操作への関わりを検出しにくくなるため，運転者の運転状態を適切に判断できない場合がある。また，特許文献２では，運転者の切り替え要求に対して，運転切り替えが可能か否かの判断を行っているが，自動運転中における運転者の状態を監視する方法は記載されていない。

上記従来技術で述べたように，自動運転を解除し運転者に主権が切り替わる場合があり，自動運転中であっても，運転者は自動運転に対応した運転状態を維持する必要がある。

本発明の目的は，上記課題を解決するためのものであり， 自動運転中における運転者の状態を監視し，運転主権を運転者に切り替えるために必要な時間を推定するとともに，運転者を自動運転に対応した適切な運転状態に維持する運転者の状態監視方法および装置を提供することにある。

上記課題は，
運転者の運転操作を支援する運転支援制御装置を備え，車両周辺の物体を検出する物体検出手段と運転者の状態を検出する運転者状態検出手段と
を備えた車両に用いられ，運転支援制御中の運転者の運転状態を監視する運転状態監視装置において，
運転者に目視確認を指示する物体の候補を決定する目視対象物決定手段と
前記目視対象物決定手段で決定した対象物を所定時間毎に目視することを運転者に要求する目視確認指示手段と
前記目視対象物決定手段が決定した対象物のうち少なくとも一つを運転者が目視したことを判定する目視確認判定手段と
前記目視確認指示手段が運転者に対して目視確認を指示してから前記目視確認判定手段により運転者が目視確認したことを検出するまでの時間を定期的に計測し、定期的に計測した前記時間を、運転主権を前記運転支援制御装置から手動運転に切り替える時間として、前記運転支援制御装置に出力する確認時間計測手段と
を有すること
を特徴とする運転者の状態監視方法，装置およびそれを備えた車両により解決できる。

運転支援制御中の運転者の状態を適切に把握するとともに，運転者の運転状態を所定の状態に維持することで，自動運転のような高度な運転支援制御中にシステムの要求により運転主権を切り替える必要が生じた場合に，安全かつ速やかに運転者に運転を切り替えられる。

本発明にかかる運転者状態監視装置のシステム構成 本発明にかかる運転者状態監視装置の処理フロー 本発明の第1の実施形態にかかる走行環境の模式図 本発明の第1の実施形態における目視確認指示手段の表示例 本発明の第１の実施形態における運転者状態監視装置の処理フロー 本発明の第１の実施形態における警告方法を説明するシステムの模式図 本発明の第２の実施形態における重要度を考慮した運転切り替え時間の計測手順を示すフローチャート 本発明の第２の実施形態にかかる走行環境の模式図

以下，本発明の実施形態を図面に基づいて詳細に説明する。

本発明における第１の実施形態について，図を用いて説明する。

図１において，物体検出手段１０は，車室外に向けて設置され，自車両周辺の人，車両などの移動物体や標識，信号，建物などの静止物体を検出するとともにその物体を認識し，認識した結果，その物体と物体検出手段１０との相対的な位置関係およびその物体の種別，属性を出力する。動的な物体の情報に関しては，例えば，ステレオカメラ１１，単眼カメラ１２，レーダ１３などのセンサにより車両と物体との相対的な位置関係を把握することができる。好ましくは，検知した物体の種別や属性を認識するために画像処理を活用したセンサを用いると良い。また，静止物体を認識するためには，画像処理を活用したセンサの他，ＧＰＳ１５(Global Positioning System：全地球測位システム)と地図情報１４とを組み合わせて，現在の位置において運転者が目視可能な地物の候補を抽出してもよい。

運転状態検出手段２０は，車室内の運転者に向けて設置され，運転者の状態として，運転者の視線や着座姿勢を検出する。ドライバカメラ２１は，ドライバに向けられたカメラからの映像情報を画像処理し，運転者の顔や目の向きにもとづいて運転者の視線方向を検出し，運転者の頭部位置からの視線の方向（ベクトル）を出力する。また，着座姿勢センサ２２は，運転者の着座状態を複数の加重センサで計測し，その荷重分布から運転者の着座姿勢を推定する。好ましくは，ドライバカメラ２１は，視線検出の他に映像から運転者の上半身の姿勢を検出し，その出力と着座姿勢センサ２２の荷重分布とを組み合わせて，適切な運転姿勢と推定される現在の運転姿勢との比較結果を運転状態検出手段２０が出力する構成にすると良い。

運転者状態監視装置３０は，自動運転のような高度な運転支援制御中に運転者に運転主権を切り替える必要が生じた場合に，適切な時間を確保して自動制御から運転者の操作に切り替えられるように，物体検出手段１０および運転状態検出手段２０の出力にもとづいて，あらかじめ運転切り替えに必要な時間を計測，または推定し，運転支援制御装置に出力する。運転切り替えに必要な時間の計測方法は，運転者に運転が切り替わった際に，運転に必要な車室外の情報（歩行者，車両，標識など）を目視により確認する必要があり，運転支援制御中で車室外の情報を目視していなかった状態から目視する状態までの時間を切り替えに必要な時間として計測する。詳細は，図ＸＸのフローチャートで説明する。

運転切り替えに必要な時間を計測するために，運転者状態監視装置３０は，目視対象決定手段３１，目視確認指示手段３２，目視確認判定手段３３，確認時間計測手段３４を含む構成となっている。

目視対象物決定手段３１は，物体検出手段１０が出力する物体との相対的な位置関係や種別，属性などにもとづいて，当該走行環境において運転主権が切り替わった時に，運転を行う上で認識すべき車室外の物体情報を少なくとも１つ選択し，例えば，その識別情報（ターゲットＩＤなど）を出力する。

目視確認指示手段３２は，目視対象物決定手段３１の出力にもとづいて，運転者に目視対象物を確認することを要求するために，通知手段４０に指令を出力する。

目視確認判定手段３３は，運転状態検出手段２０および目視対象物決定手段３１の出力にもとづいて，運転者が目視対象物決定手段３１で設定した対象物を目視したか否かを判定する。

確認時間計測手段３４は，目視確認指示手段３２が通知手段４０に指令し，運転者に目視確認の要求を開始してから，目視確認判定手段３３により運転者が対象物を目視確認するまでの時間を計測し，この時間を運転主権の切り替えに必要な時間とする。

通知手段４０は，表示装置４１，スピーカ４２，シートベルトアクチュエータ４３などで構成し，運転者状態監視装置３０の出力にもとづいて，表示，音声，体感（振動）で運転者に目視確認の要求を伝える。

運転支援制御装置５０は，車両に搭載している他の制御装置やセンサ情報と，前記運転者状態監視装置３０の出力にもとづいて，アクチュエータ５５（制動装置５６，操舵装置５７，駆動装置５８）に制御信号を出力し，車両の走行を制御する。

図２のフローチャートを用いて，運転切り替えに必要な時間の算出方法を説明する。

まず，Ｓ１００にて車両周辺の物体情報を取得する。その後，Ｓ１０１にて前回の運転切り替え時間計測後から所定時間経過したか否かを判定する。否定判断された場合には一旦処理を中断する。肯定判断された場合にはＳ１０２に進む。

Ｓ１０２では，運転切り替えに必要な時間を計測中であるか否かを判定する。既に計測状態である場合には肯定判断され，Ｓ１０６を実行する。否定判断された場合には，計測開始前の状態であり，Ｓ１０３〜Ｓ１０５にて初期化を行う。Ｓ１０３では，Ｓ１００にて取得した車両周辺の物体情報にもとづき，目視確認の対象とする物体を決定する。そして，Ｓ１０４にて時間計測用のカウンタを初期化する。さらに，Ｓ１０５にて運転切り替え時間が計測中であることを示すフラグをセットし，Ｓ１０６に進む。

Ｓ１０６では，Ｓ１０３にて決定した対象物体の目視確認を運転者に要求する。この処理は，例えば，音声などにより報知する場合には所定時間毎に案内し，表示装置などを用いる場合には連続して表示するなど，運転者に対する煩わしさを低減する方法で実施する。

次に，Ｓ１０７にて運転者の視線情報を取得する。運転者の視線情報は運転状態検出手段２０の出力のうち，運転者の視線に関する情報である。Ｓ１０８では，Ｓ１０７にて取得した運転者の視線情報と，Ｓ１００で取得した車両周辺の物体情報のうち，Ｓ１０３にて決定した確認対象物体の位置情報を比較し，運転者が確認対象物体を目視したか否かを判定する。ここで否定判断された場合，運転者が対象物の目視確認要求に応えていないため，Ｓ１０９にて時間の計測を継続する。一方，Ｓ１０８にて肯定判断された場合，時間の計測を終了し，運転主権の切り替えに必要な時間として，運転支援制御装置５０に対して出力する。

以上のように，本発明における運転者状態監視装置３０は，運転支援制御中において，運転者の運転意識が通常の状態よりも低下していることを鑑み，運転主権が運転者に切り替わる場合に必要な切り替え時間，つまり，運転者の運転意識が通常の状態に戻るまでの時間を定期的に計測し把握するとともに，運転者の運転状態（運転意識）を適切な状態に維持することで，本発明の目的である，運転支援制御が終了する際に，安全かつ速やかに運転者に運転を切り替えることができる。

図３および図４は，図１の構成および図２のフローチャートでの処理を具体的なシーンで模式的に示した図で，物体検出手段１１としてステレオカメラ１１，運転状態検出手段としてドライバカメラ２１，通知手段４０の表示装置４１として運転者に付与する情報を運転者の視線上のウィンドシールド７１に重畳表示可能なヘッドアップディスプレイとした例である。

図３では，自車両の前方に横断歩道および歩行者７２が存在するシーンを運転支援制御により自動で走行している。仮に，当該シーンにおいてＳ１０１で所定時間が経過し，運転切り替え時間の計測を開始した場合，まず，Ｓ１００にて得られる物体情報として，ターゲットＩＤ，自車両との相対的な位置関係（ｘ，ｙ），移動方向，種別にもとづいて，目視確認の対象とする物体を決定する（Ｓ１０３）。図３では物体が一つのため，歩行者７２をターゲットと決定する。そして，カウンタの初期化やフラグをセットし，運転者に対して目視確認を要求する（Ｓ１０６）。

目視確認を要求，指示する方法は種々の方法が考えられるが，以下，図４の構成の場合の一実施例として，ヘッドアップディスプレイにより運転者が目視確認すべき対象をウィンドシールド７１に重畳表示する場合の演算例を説明する。

ドライバカメラ２１は，運転者の頭部７０や上半身の位置から着座姿勢や視線を演算するが，同時にシートの位置やドライバカメラ２１が出力する時系列情報から，運転者が適切に着座した場合の頭部の位置（基準頭部位置と呼ぶ）を演算する。次に，基準頭部位置とステレオカメラ１１の出力にもとづいて決定した目視確認対象物の位置情報から，基準頭部位置における視線（基準視線Ｌ１と呼ぶ）を演算する。基準視線Ｌ１とウィンドシールド７１とが交差する点Ｐ１が目視確認の要求としてマーカ等を表示する位置となる。マーカは，重畳表示されて，基準頭部位置からマーカを見た場合に，あたかも実際の歩行者７２にマーカ７３が付されているかの如く表示する。

このように表示したマーカに対して，Ｓ１０６にて運転者に目視確認を要求する際に，運転者の頭部位置が基準頭部位置から大幅に乖離している場合，運転者は適切な運転姿勢をとり基準頭部位置に近い位置で目視確認をしなければ，Ｓ１０７にて視線が基準視線と一致せず，運転切り替えに必要な時間は計測が継続される。つまり，運転切り替え時間の計測は，上記のように運転姿勢を適切な位置に戻すことも含めて計測され，自動走行中に運転意識が低下していたり，姿勢が適切でない場合には，それらを復帰するまでの時間を含めて計測しており，より正確に運転切り替え時間を計測することができる。

なお，切り替えに必要な時間は，所定の時間以下であることが望ましく，図５のフローチャートのように構成しても良い。

例えば，運転支援システムの性能限界以上に複雑な走行環境となり支援制御の継続が困難な場合には，システムが手動運転への切り替えを要求する場合がある。その際，運転者の着座姿勢が適切な運転姿勢に対して大幅に乖離し運転切り替えに必要な時間が長くなると，制御による安全な走行状態が保てなくなる可能性がある。そのため，運転状態監視装置３０は，切り替えに必要な時間の推定とともに，運転切り替え時間が所定時間以下となるように運転者の運転意識や着座姿勢を維持する必要がある。そこで，運転状態監視装置３０は，運転切り替え時間が所定時間以上と推定される場合には，Ｓ２０１にて切り替えに必要な時間の計測を中断し，Ｓ２０２にて通知手段４０や運転支援制御装置５０に対して，運転者からの応答が得られないことを示す信号を出力する。この信号にもとづき，通知手段４０により警告を発したり，運転支援制御装置５０の制御内容を運転者が運転切り替えの用意ができていない場合の処理に切り替えたりする。

Ｓ２０１にて所定時間以上となる場合，運転者が居眠りや運転以外のことに集中している場合が想定されるため，Ｓ２０２の警告処理の例としては，スピーカ４２からの音による警告だけでなく，図６に示すように，シートベルトを巻き取るシートベルトアクチュエータ４３に指令し，運転者に直接振動を付与しても良い。

また，運転者への運転主権の切り替えが困難と判断した場合には車両を安全な状態に保つ必要があり，運転支援制御装置５０の指令によりアクチュエータ５５の制御を継続し，最終的には安全に停止する。例えば，本来予定していた走行経路とは異なっても，自車両の前を走行する車両（先行車）が停止するまで自動的に追従走行し，先行車が停止した際に路肩の安全を確認しながら路肩に停止したり，先行車が存在しない場合には，やはり，安全を確認し自動的に路肩に停車するように制御する。

図７および図８を用いて，本発明の第２の実施形態を説明する。図７のフローチャートは，図２のフローチャートにＳ３０１およびＳ３０２を追加した処理手順を示す。図２のフローチャートでは，Ｓ１００で取得した物体情報にもとづいてＳ１０３にて目視対象物を決定する。図７のフローチャートでは，Ｓ１００で取得した物体が複数存在する場合における目視対象物の決定に際して，当該走行環境における重要度を演算し，目視対象物を選択的に決定する。Ｓ３０１およびＳ３０２以外は図２と同じであり説明を省略する。

Ｓ３０１では，走行環境に関連する情報を取得する。この情報は，例えば，車線数，横断歩道の有無，道路形状（直線，曲線），信号や標識の有無とその位置に関して地図情報にもとづいて取得する。これらの情報とＳ１００の物体情報および自車位置や進行方向，速度を勘案し，Ｓ３０２にて重要度を設定する。

重要度の設定は，例えば，図８のような環境においては，自車両が走行する車線に沿って走行する自転車や横断歩道を渡ろうとする歩行者（いずれも，丸印を付したもの）は，自車両が走行する上で注意を要する対象であり，このような物体に対しては重要度を高く設定する。また，同一種別の物体が多数存在する場合（図８では歩行者）には，それらを一つの集合として扱い，Ｓ１０６にて，音声として「歩行者を確認してください」のように目視確認を要求してもよい。この場合，検出している複数の歩行者のいずれかに対して運転者の視線が向かったことを確認した場合にＳ１０８にて肯定判断し，運転切り替え時間の計測を終了する。

このように，自動走行中であっても運転者が運転を行う場合に注意を払うべき物体に対して目視確認の優先度を高めることで，運転切り替え時間の計測とともに運転意識の低下を防ぎ，安全かつ速やかに運転切り替えを行う事ができるという効果がある。

10：物体検出手段
11：ステレオカメラ
12：単眼カメラ
13：レーダ
14：地図
15：GPS
20：運転者状態検出手段
21：ドライバカメラ
30：運転者状態監視装置
31：目視対象物決定手段
32：目視確認指示手段
33：目視確認判定手段
34：確認時間計測手段
40：通知手段
41：ヘッドアップディスプレイ
42：スピーカ
43：シートベルトアクチュエータ
50：運転支援制御装置
51：ウィンドシールド
55：アクチュエータ
56：制動装置
57：操舵装置
58：駆動装置
70：運転者
71：ウィンドシールド
72：確認対象物（歩行者）
73：マーカ

Claims (4)

1. 運転者の運転操作を支援する運転支援制御装置を備え，車両周辺の物体を検出する物体検出手段と運転者の状態を検出する運転者状態検出手段と
   を備えた車両に用いられ，運転支援制御中の運転者の運転状態を監視する運転状態監視装置において，
   運転者に目視確認を指示する物体の候補を決定する目視対象物決定手段と
   前記目視対象物決定手段で決定した対象物を目視することを運転者に要求する目視確認指示手段と
   前記目視対象物決定手段が決定した対象物のうち少なくとも一つを運転者が目視したことを判定する目視確認判定手段と
   前記目視確認指示手段が運転者に対して目視確認を指示してから前記目視確認判定手段により運転者が目視確認したことを検出するまでの時間を定期的に計測し、定期的に計測した前記時間を、運転主権を前記運転支援制御装置から手動運転に切り替える時間として、前記運転支援制御装置に出力する確認時間計測手段と
   を有すること
   を特徴とする運転者状態監視装置。
2. 請求項1記載の運転者状態監視装置において，さらに，
   前記目視確認指示手段は，
   運転者が適正な運転姿勢において対象物を目視した時の基準視線を演算し，
   前記基準視線上のウィンドシールドにマーカを重畳表示するとともに，
   前記目視確認判定手段は，前記運転者状態検出手段の出力にもとづき運転者の視線と基準視線とが略一致する場合に運転者が前記目視対象物決定手段で決定した対象物を目視したと判定すること
   を特徴とする運転者状態監視装置。
3. 請求項１記載の運転者状態監視装置において，さらに，
   対象物決定手段は，対象物の特徴量を抽出するとともに，目視確認指示手段は，対象物決定手段が出力する特徴量を有する物体を目視することを音声により指示すること
   を特徴とする運転者状態監視装置。
4. 請求項１乃至３記載の運転者状態監視装置において，
   前記確認時間計測手段が所定時間以上である場合に音および/または警告を発すること
   を特徴とする運転者状態監視装置。

Images