JP7272338B2 - 自動運転システム - Google Patents

Description

本発明は自動運転システムに関する。

近年、自律走行によって車線変更を行うことができる自動運転車両が開発されてきている。斯かる自動運転車両では、周囲の他車両を検出可能なセンサを用いて、移動先の車線の状況が確認される。

これに関して、特許文献１には、センサによって他車両が検出されていないときには、センサの故障の可能性があるため、車線変更時の安全性が低下することが記載されている。このため、特許文献１に記載の運転制御装置では、移動先の車線に他車両が検出されていない場合には、ドライバによる安全確認が検知され、ドライバによって車線変更の開始ボタンが押されたときに車線変更が行われる。一方、移動先の車線に他車両が検出されている場合には、ドライバによる安全確認を検知することなく、車線変更が行われる。

特開２０１７－１００５６２号公報

しかしながら、センサによって他車両が検出されていたとしても、他車両の不測の挙動等によって車線変更時の安全性が低下するおそれがある。

上記課題に鑑みて、本発明の目的は、自律走行によって車線変更を行うときの安全性を向上させることにある。

本開示の要旨は以下のとおりである。

（１）車両のドライバの顔を撮影して該ドライバの顔画像を生成する車内カメラと、前記車両の周囲に存在する他車両を検出する車両検出装置と、前記顔画像に基づいて前記ドライバの顔向き又は視線の角度を検出する視点検出部と、前記角度に基づいて前記ドライバが前記車両の周囲の安全を確認したか否かを判定する判定部と、前記車両の自律走行を制御する車両制御部とを備え、前記車両制御部は、前記ドライバが前記車両の周囲の安全を確認したと判定され且つ前記ドライバが車線変更を承認したときに前記車両の車線変更を開始し、前記判定部は、前記車両検出装置によって移動先の車線に他車両が検出されていないときには、第１の条件が満たされた場合に前記ドライバが前記車両の周囲の安全を確認したと判定し、前記車両検出装置によって前記車線に他車両が検出されているときには、前記第１の条件よりも厳しい第２の条件が満たされた場合に前記ドライバが前記車両の周囲の安全を確認したと判定する、自動運転システム。

（２）前記他車両は、前記車両の後側方を走行する他車両である、上記（１）に記載の自動運転システム。

（３）前記第１の条件は前記ドライバが一つの動作を行うことであり、前記第２の条件は前記ドライバが複数の動作を行うことである、上記（１）又は（２）に記載の自動運転システム。

（４）前記車両が走行している車線が被合流車線である場合、前記第１の条件及び前記第２の条件は前記ドライバが前記被合流車線に合流する合流車線の方向を見ることを含む、上記（１）又は（２）に記載の自動運転システム。

（５）前記第１の条件は前記ドライバが所定の動作を行うことであり、前記第２の条件は前記ドライバが前記所定の動作及び追加の動作を行うことである、上記（１）から（４）のいずれか１つに記載の自動運転システム。

本発明によれば、自律走行によって車線変更を行うときの安全性を向上させることができる。

図１は、本発明の実施形態に係る自動運転システムの構成を概略的に示す図である。 図２は、自動運転システムを搭載した車両の内部を概略的に示す図である。 図３は、ＥＣＵのプロセッサの機能ブロック図である。 図４は、被合流車線を走行する車両を示す図である。 図５は、要求フラグ設定処理の制御ルーチンを示すフローチャートである。 図６は、車線変更処理の制御ルーチンを示すフローチャートである。

以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下の説明では、同様な構成要素には同一の参照番号を付す。

＜自動運転システムの構成＞
図１は、本発明の実施形態に係る自動運転システム１の構成を概略的に示す図である。自動運転システム１は、車両に搭載され、車両の自律走行を行う。車両の自律走行では、車両の加速、操舵及び制動の一部又は全部が自動的に実行される。

図１に示されるように、自動運転システム１は、車両検出装置２、車内カメラ３、ＧＰＳ受信機４、地図データベース５、アクチュエータ６、ＨＭＩ７及び電子制御ユニット（ＥＣＵ）８を備える。車両検出装置２、車内カメラ３、ＧＰＳ受信機４、地図データベース５、アクチュエータ６及びＨＭＩ７は、車両に設けられ、ＣＡＮ（Controller Area Network）等の規格に準拠した車内ネットワークを介してＥＣＵ８に通信可能に接続される。

車両検出装置２は車両（自車両）の周囲の他車両を検出する。本実施形態では、車両検出装置２は、車外カメラ、ライダ（Laser Imaging Detection And Ranging（ＬＩＤＡＲ））、ミリ波レーダ若しくは超音波センサ（ソナー）、又はこれらの任意の組み合わせから構成される。車外カメラは車両の周囲を撮影して所定範囲の画像を生成する。ライダは、車両の周囲にレーザ光を照射し、レーザ光の反射光を受信する。ミリ波レーダは、車両の周囲にミリ波を発信し、ミリ波の反射波を受信する。超音波センサは、車両の周囲に超音波を発信し、超音波の反射波を受信する。車両検出装置２の出力はＥＣＵ８に送信される。

図２は、自動運転システム１を搭載した車両１０の内部を概略的に示す図である。車内カメラ３は車両のドライバの顔を撮影してドライバの顔画像を生成する。すなわち、車内カメラ３はいわゆるドライバモニタカメラである。

車内カメラ３は車両１０の内部に設けられる。具体的には、図２に示すように、車内カメラ３は車両１０のステアリングコラム１１の上部に設けられる。図２には、車内カメラ３の投影範囲が破線で示されている。なお、車内カメラ３は、車両１０のステアリング１２、ルームミラー、メータパネル、メータフード等に設けられてもよい。また、自動運転システム１は複数の車内カメラ３を備えていてもよい。

車内カメラ３はカメラ及び投光器を含む。カメラは、レンズ及び撮像素子から構成され、例えばＣＭＯＳ（相補型金属酸化膜半導体）カメラ又はＣＣＤ（電荷結合素子）カメラである。投光器は、ＬＥＤ（発光ダイオード）であり、例えばカメラの両側に配置された二個の近赤外ＬＥＤである。ドライバに近赤外光を照射することによって、夜間等の低照度時においてもドライバに不快感を与えることなくドライバの顔を撮影することができる。また、近赤外以外の波長成分の光を除去するバンドパスフィルタがカメラの内部に設けられ、近赤外ＬＥＤから照射される赤色波長成分の光を除去する可視光カットフィルタが投光器の前面に設けられる。車内カメラ３の出力はＥＣＵ８に送信される。

ＧＰＳ受信機４は、３個以上のＧＰＳ衛星から信号を受信し、車両１０の現在位置（例えば、車両１０の緯度及び経度）を検出する。ＧＰＳ受信機４の出力はＥＣＵ８に送信される。

地図データベース５は地図情報を記憶する。地図データベース５に記憶された地図情報は、車両１０の外部との通信、ＳＬＡＭ（Simultaneous Localization and Mapping）技術等を用いて更新される。ＥＣＵ８は地図データベース５から地図情報を取得する。地図情報は、例えば、ドライバによって入力された目的地までの走行計画を作成する際に用いられる。

アクチュエータ６は車両１０を動作させる。例えば、アクチュエータ６は、車両１０の加速のための駆動装置（エンジン及びモータの少なくとも一方）、車両１０の制動のためのブレーキアクチュエータ、車両１０の操舵のためのステアリングモータ等を含む。ＥＣＵ８はアクチュエータ６を制御する。

ＨＭＩ７は、ドライバと車両１０との間で情報の入出力を行う入出力装置である。ＨＭＩ７は、例えば、情報を表示するディスプレイ、音を発生させるスピーカー、ドライバが入力操作を行うための操作ボタン又はタッチスクリーン、ドライバの音声を受信するマイクロフォン等を含む。ＥＣＵ８の出力はＨＭＩ７を介してドライバに伝達され、ドライバからの入力はＨＭＩ７を介してＥＣＵ８に送信される。

ＥＣＵ８は車両１０の各種制御を実行する。図１に示されるように、ＥＣＵ８は、通信インターフェース８１、メモリ８２及びプロセッサ８３を備える。通信インターフェース８１及びメモリ８２は信号線を介してプロセッサ８３に接続されている。なお、本実施形態では、一つのＥＣＵ８が設けられているが、機能毎に複数のＥＣＵが設けられていてもよい。

通信インターフェース８１は、ＥＣＵ８を車内ネットワークに接続するためのインターフェース回路を有する。すなわち、通信インターフェース８１は、車内ネットワークを介して、車両検出装置２、車内カメラ３、ＧＰＳ受信機４、地図データベース５、アクチュエータ６及びＨＭＩ７に接続される。

メモリ８２は、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。メモリ８２は、プロセッサ８３によって各種処理が実行されるときに使用されるプログラム、データ等を記憶する。

プロセッサ８３は、一つ又は複数のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。なお、プロセッサ８３は、論理演算ユニット又は数値演算ユニットのような演算回路を更に有していてもよい。

図３は、ＥＣＵ８のプロセッサ８３の機能ブロック図である。本実施形態では、プロセッサ８３は、視点検出部８４、判定部８５及び車両制御部８６を有する。視点検出部８４、判定部８５及び車両制御部８６は、それぞれ、メモリ８２に記憶されたプログラムをプロセッサ８３が実行することによって実現される機能モジュールである。なお、視点検出部８４、判定部８５及び車両制御部８６は、それぞれ、プロセッサ８３に設けられた専用の演算回路であってもよい。

視点検出部８４は、車内カメラ３によって生成された顔画像に基づいてドライバの顔向き又は視線の角度を検出する。判定部８５は、ドライバの顔向き又は視線の角度に基づいて、ドライバが車両１０の周囲の安全を確認したか否かを判定する。

視点検出部８４は、例えば、車内カメラ３によって生成されたドライバの顔画像と、ドライバが正面を向いているときの顔形状データとのマッチングを行うことによってドライバの顔向きの角度を検出する。具体的には、視点検出部８４は、両者の一致率が最大となるようにドライバの顔画像を回転させ、一致率が最大となるときの回転角度をドライバの顔向きの角度として検出する。顔形状データはＥＣＵ８のメモリ８２又は他の記憶装置に予め記憶されている。顔形状データは、一般的な人間の顔のデータであっても、ドライバ毎に取得されてもよい。

なお、視点検出部８４は、車内カメラ３によって生成されたドライバの顔画像と、ドライバの顔向きが異なる複数の顔形状データとのマッチングを行うことによってドライバの顔向きの角度を検出してもよい。この場合、視点検出部８４は、両者の一致率が最大となる顔形状データの顔向きをドライバの顔向きの角度として検出する。複数の顔形状データはＥＣＵ８のメモリ８２又は他の記憶装置に予め記憶されている。複数の顔形状データは、一般的な人間の顔のデータであっても、ドライバ毎に取得されてもよい。

また、視点検出部８４は、例えば、以下の方法によってドライバの視線の角度を検出する。まず、視点検出部８４は、車内カメラ３によって生成されたドライバの顔画像から顔領域を特定し、眼、鼻、口等の顔部品の特徴点を抽出することによって顔部品を検出する。次いで、視点検出部８４は、プルキニエ像（角膜反射像）の位置と瞳孔中心の位置とを検出し、プルキニエ像と瞳孔中心との位置関係に基づいてドライバの視線の角度を検出する。なお、視点検出部８４は、プルキニエ像と瞳孔中心との位置関係と、検出されたドライバの顔向きの角度とに基づいてドライバの視線の角度を検出してもよい。

また、視点検出部８４は他の公知の手法によってドライバの顔向き又は視線の角度を検出してもよい。

車両制御部８６は車両１０の自律走行を制御する。例えば、車両制御部８６はアクチュエータ６を用いて車両１０の操舵及び加速を制御することによって車両１０の車線変更を行う。このとき、車両制御部８６は、車両検出装置２によって検出された他車両との衝突を回避するように車両１０の車線変更を行う。

しかしながら、車線変更時の安全性を高めるためには、車両検出装置２のみに頼ることなく、ドライバ自身によって安全確認が行われることが望ましい。また、ドライバの意思に反した車線変更を回避するために、予めドライバの承認を得ることが望ましい。

このため、車両制御部８６は、ドライバが車両１０の周囲の安全を確認したと判定され且つドライバが車線変更を承認したときに車両１０の車線変更を開始する。一方、車両制御部８６は、ドライバが車両１０の周囲の安全を確認しなかったと判定されたとき又はドライバが車線変更を承認しなかったときには車両１０の車線変更を中止する。

また、車線変更時の危険度は移動先の車線の状況に応じて異なる。移動先の車線に他車両が存在する場合には、移動先の車線に他車両が存在しない場合に比べて、より慎重な安全確認が必要とされる。

このため、判定部８５は、車両検出装置２によって移動先の車線に他車両が検出されていないときには、第１の条件が満たされた場合にドライバが車両１０の周囲の安全を確認したと判定し、車両検出装置２によって移動先の車線に他車両が検出されているときには、第１の条件よりも厳しい第２の条件が満たされた場合にドライバが車両１０の周囲の安全を確認したと判定する。このことによって、危険度に応じた適切な基準に基づいて安全確認の有無が判定されるため、自律走行によって車線変更を行うときの安全性を向上させることができる。

第１の条件及び第２の条件は予め定められる。例えば、第１の条件はドライバが一つの動作を行うことであり、第２の条件はドライバが複数の動作を行うことである。この場合、第１の条件の具体例は、ドライバが正面から車線変更の方向に顔向き又は視線を向けること（第１動作）、ドライバが車線変更の方向を所定時間見ること（第２動作）、又はドライバが車両１０のルームミラーを所定時間見ること（第３動作）である。一方、第２の条件の具体例は、ドライバが車線変更の方向を所定時間見た後に正面を見ること（第４動作）、ドライバが正面から車線変更の方向に二回以上顔向き又は視線を向けること（第５動作）、ドライバが第１動作及び第３動作を行うこと、又はドライバが第２動作及び第３動作を行うことである。正面、車線変更の方向（右又は左）、及びルームミラーの方向に相当する顔向き又は視線の角度は予め定められる。

なお、第１の条件はドライバが所定の動作を行うことであり、第２の条件はドライバが上記所定の動作及び追加の動作を行うことである。この場合、例えば、第１の条件はドライバが第１動作を行うことであり、第２の条件はドライバが第５動作を行うことである。また、第１の条件はドライバが第２動作を行うことであり、第２の条件はドライバが第４動作を行うことであってもよい。また、第１の条件はドライバが第３動作を行うことであり、第２の条件はドライバが第１動作及び第３動作を行うこと又はドライバが第２動作及び第３動作を行うことであってもよい。

また、図４に示されるように車両１０が走行している車線が被合流車線である場合には、第１の条件及び第２の条件は、上述した条件に加えて、ドライバが被合流車線に合流する合流車線の方向を見ることを含んでいてもよい。このことによって、図４に示されるような状況において車線変更を行うときの安全性をより一層向上させることができる。

＜要求フラグ設定処理＞
以下、図５及び図６のフローチャートを参照して、自律走行によって車線変更を行うための制御について詳細に説明する。図５は、要求フラグ設定処理の制御ルーチンを示すフローチャートである。本制御ルーチンはＥＣＵ８によって所定の時間間隔で繰り返し実行される。本制御ルーチンでは、車線変更の要求に応じて要求フラグＦが設定される。

最初に、ステップＳ１０１において、車両制御部８６は、車両１０の車線変更が必要であるか否かを判定する。車線変更には、追い越しのための車線変更、合流のための車線変更、分流のための車線変更、衝突回避のための車線変更（例えば高速道路における被合流等）等が含まれる。

車両制御部８６は、例えば、車両１０に対する先行車両の相対速度が所定値以下であるときに追い越しのための車線変更が必要であると判定する。先行車両の相対速度は車両検出装置２によって検出可能である。また、車両制御部８６は、例えば、合流地点又は分流地点までの距離又は到達時間が所定値以下であるときに合流又は分流のための車線変更が必要であると判定する。合流地点又は分流地点までの距離又は到達時間は、ＧＰＳ受信機４の出力、地図データベース５に記憶された地図情報等に基づいて算出される。また、車両制御部８６は、例えば、車両検出装置２及びＧＰＳ受信機４の出力、地図データベース５に記憶された地図情報等に基づいて、車両１０の走行車線に合流する他車両との衝突が予測されたときには衝突回避のための車線変更が必要であると判定する。

ステップＳ１０１において車両１０の車線変更が不要であると判定された場合、本制御ルーチンはステップＳ１０２に進む。ステップＳ１０２では、車両制御部８６は、ドライバが車線変更を指示したか否かを判定する。例えば、ドライバは、操作又は音声によるＨＭＩ７への入力、ウィンカレバーの操作等によって車線変更を指示し、これらの検出信号に基づいて、ドライバが車線変更を指示したか否かが判定される。ステップＳ１０２においてドライバが車線変更を指示しなかったと判定された場合、本制御ルーチンは終了する。

一方、ステップＳ１０１において車両１０の車線変更が必要であると判定された場合、又はステップＳ１０２においてドライバが車線変更を指示したと判定された場合、本制御ルーチンはステップＳ１０３に進む。ステップＳ１０３では、車両制御部８６はＨＭＩ７を介して車線変更の実施をドライバに通知する。このとき、ＨＭＩ７は表示（文字等）又は音声によってドライバに安全確認を促してもよい。

次いで、ステップＳ１０４において、車両制御部８６は要求フラグＦを１に設定する。なお、車両１０のイグニッションスイッチがオンにされたときの要求フラグＦの初期値はゼロである。ステップＳ１０４の後、本制御ルーチンは終了する。

＜車線変更処理＞
図６は、車線変更処理の制御ルーチンを示すフローチャートである。本制御ルーチンはＥＣＵ８によって繰り返し実行される。

最初に、ステップＳ２０１において、判定部８５は、要求フラグＦが１であるか否かを判定する。要求フラグＦがゼロであると判定された場合、本制御ルーチンは終了する。一方、要求フラグＦが１であると判定された場合、本制御ルーチンはステップＳ２０２に進む。

ステップＳ２０２では、判定部８５は、車両検出装置２によって移動先の車線に他車両が検出されているか否かを判定する。他車両が検出されていないと判定された場合、本制御ルーチンはステップＳ２０３に進む。ステップＳ２０３では、判定部８５は、所定時間以内に第１の条件が満たされたか否かを判定する。

一方、ステップＳ２０２において他車両が検出されていると判定された場合、本制御ルーチンはステップＳ２０４に進む。ステップＳ２０４では、判定部８５は、所定時間以内に第２の条件が満たされたか否かを判定する。

ステップＳ２０３において第１の条件が満たされたと判定された場合、又はステップＳ２０４において第２の条件が満たされたと判定された場合、本制御ルーチンはステップＳ２０５に進む。ステップＳ２０５では、車両制御部８６は、所定時間以内にドライバが車線変更を承認したか否かを判定する。例えば、ドライバは、操作又は音声によるＨＭＩ７への入力、ステアリング１２への接触、ステアリング１２の操作、所定位置への注視等によって車線変更を承認し、これらの検出信号に基づいて、ドライバが車線変更を承認したか否かが判定される。

ステップＳ２０５においてドライバが車線変更を承認したと判定された場合、本制御ルーチンはステップＳ２０６に進む。ステップＳ２０６では、車両制御部８６は車線変更を開始する。

一方、ステップＳ２０３において第１の条件が満たされなかったと判定された場合、ステップＳ２０４において第２の条件が満たされなかったと判定された場合、又はステップＳ２０５においてドライバが車線変更を承認しなかったと判定された場合、本制御ルーチンはステップＳ２０７に進む。ステップＳ２０７では、車両制御部８６は車線変更を中止する。

ステップＳ２０６又はステップＳ２０７の後、本制御ルーチンはステップＳ２０８に進む。ステップＳ２０８では、車両制御部８６は要求フラグＦをゼロにリセットする。ステップＳ２０８の後、本制御ルーチンは終了する。

また、車線変更時には、移動先の車線において車両１０の後側方に存在する他車両が車両１０に接近するおそれがある。すなわち、車両１０の後側方に存在する他車両の危険度が高い。このため、ステップＳ２０２において、判定部８５は、車両検出装置２によって、移動先の車線において車両１０の後側方を走行する他車両が検出されているか否かを判定してもよい。この場合、危険度が特に高い状況においてのみ安全確認のための厳しい条件が課されるため、車両１０の安全を確保しつつ、自律走行による車線変更を円滑に行うことができる。

以上、本発明に係る好適な実施形態を説明したが、本発明はこれら実施形態に限定されるものではなく、特許請求の範囲の記載内で様々な修正及び変更を施すことができる。例えば、ＥＣＵ８はＧＰＵ（Graphics Processing Unit）を有していてもよい。

１ 自動運転システム
２ 車両検出装置
３ 車内カメラ
８ 電子制御ユニット（ＥＣＵ）
１０ 車両
８３ プロセッサ
８４ 視点検出部
８５ 判定部
８６ 車両制御部

Claims (5)

1. 車両のドライバの顔を撮影して該ドライバの顔画像を生成する車内カメラと、
   前記車両の周囲に存在する他車両を検出する車両検出装置と、
   前記顔画像に基づいて前記ドライバの顔向き又は視線の角度を検出する視点検出部と、
   前記角度に基づいて前記ドライバが前記車両の周囲の安全を確認したか否かを判定する判定部と、
   前記車両の自律走行を制御する車両制御部と
   を備え、
   前記車両制御部は、前記ドライバが前記車両の周囲の安全を確認したと判定され且つ前記ドライバが車線変更を承認したときに前記車両の車線変更を開始し、
   前記判定部は、前記車両検出装置によって移動先の車線に他車両が検出されていないときには、第１の条件が満たされた場合に前記ドライバが前記車両の周囲の安全を確認したと判定し、前記車両検出装置によって前記車線に他車両が検出されているときには、前記第１の条件よりも厳しい第２の条件が満たされた場合に前記ドライバが前記車両の周囲の安全を確認したと判定する、自動運転システム。
2. 前記他車両は、前記車両の後側方を走行する他車両である、請求項１に記載の自動運転システム。
3. 前記第１の条件は前記ドライバが一つの動作を行うことであり、前記第２の条件は前記ドライバが複数の動作を行うことである、請求項１又は２に記載の自動運転システム。
4. 前記車両が走行している車線が被合流車線である場合、前記第１の条件及び前記第２の条件は前記ドライバが前記被合流車線に合流する合流車線の方向を見ることを含む、請求項１又は２に記載の自動運転システム。
5. 前記第１の条件は前記ドライバが所定の動作を行うことであり、前記第２の条件は前記ドライバが前記所定の動作及び追加の動作を行うことである、請求項１から４のいずれか１項に記載の自動運転システム。

Images