JP7285705B2 - 自動運転システム - Google Patents

Description

本発明は、自動運転システムに関する。

自動運転システムの高安全化技術として、例えば、特許文献１に記載された車両用警報装置がある。特許文献１には、対象物子供／大人識別部と、警報判定部を備え、対象物子供／大人識別部は、撮像装置により撮像された自車両前方の画像から“人物”が検出されると、前記検出された“人物”が“子供”であるか“大人”であるかを識別し、警報判定部は、対象物子供／大人識別部の識別結果に応じて、前記自車両のドライバへ注意を促す警報を出力する車両用警報装置が示されている。こうすることで、対象物が子供である場合、道路への飛び出しの危険性が高いと判断し、警報範囲を大きく設定し、対象物が大人である場合は、道路への飛び出しの危険性が低いと判断し、警報範囲を低く設定することができる。すなわち、対象物の種類に応じた飛び出しの危険性を考慮し、警報を出力できるとしている。

また、従来技術として特許文献２がある。特許文献２には、自車周辺の対象物のリスクポテンシャルと今後リスクが増加する可能性を予測した仮想リスクポテンシャルを算出し、このリスクポテンシャルと仮想リスクポテンシャルに基づいて自車の経路や速度を計画する走行支援技術が開示されている。

特開２０１４－７８１５５号公報 特開２０１７－１８２５６８号公報

特許文献１に記載の技術においては、検出された“人物”が“子供”であるか“大人”であるかを識別して対象物（オブジェクト）の種類に応じて警報を発しているが、対象物が特定できない場合の対処法については考慮されていなかった。

また、特許文献２に記載の技術においては、リスクポテンシャルと仮想リスクポテンシャルに基づいて自車の経路や速度を計画するようにしているが、対象物が特定できない場合の対処法については考慮されていなかった。

本発明の目的は、オブジェクトの種類が特定できない場合においても走行支援を行うことのできる自動運転システムを提供することにある。

上記目的を達成するために本発明は、車両の外界情報を取得する外界センサと、前記外界センサの情報に基づいてオブジェクトとの衝突を回避するように前記車両の目標軌道を算出する認知判断装置とを備えた自動運転システムであって、前記認知判断装置は、責任判定部を備え、前記責任判定部は、前記車両がシステム責任の自動運転状態において、前記外界センサが前記オブジェクトの情報を検出すると前記オブジェクトの種類を判別し、前記オブジェクトの種類が特定できない場合には前記オブジェクトが動的であるか静的であるかを判別し、前記オブジェクトが静的の場合には、前記システム責任の自動運転を継続させ、前記オブジェクトが動的の場合には、前記システム責任の自動運転からドライバ責任の自動運転に切り替えることを特徴とする。

本発明によれば、オブジェクトの種類が特定できない場合においても走行支援を行うことのできる自動運転システムを提供することができる。

本発明の第１実施例に係る車載制御システムのシステム構成図である。 本発明の第１実施例に係る認知判断装置のブロック構成図である。 種類が特定できるオブジェクトが存在する場合の回避軌道を示す図である。 種類の特定不可の静的オブジェクトが存在する場合の回避軌道を示す図である。 種類の特定不可の動的オブジェクトが存在する場合の回避軌道を示す図である。 本発明の第１実施例に係る責任判定部のフローチャートである。 種類が特定できるオブジェクトが存在する場合の自動運転システムの動作を示す図である。 種類の特定不可の静的オブジェクトが存在する場合の自動運転システムの動作を示す図である。 種類の特定不可の動的オブジェクトが存在する場合の自動運転システムの動作を示す図である。 本発明の第２実施例に係る責任判定部のフローチャートである。 本発明の第３実施例に係る車載制御システムのシステム構成図である。 本発明の第３実施例に係る責任判定部のフローチャートである。

本発明の実施例の説明に先立ち、本発明の実施形態について説明する。以下の説明では、周辺環境を認識し、その情報に基づき自動運転を行うことが可能な移動体が利用されていることを想定する。なお、移動体の一例として車両を用いるが、それに限定するものではない。

本発明の実施形態は、車両に搭載されたセンサ情報から前記車両の周囲のオブジェクトの位置と速度と種類を認識し、前記オブジェクトの位置と速度と種類に基づいて前記オブジェクトの衝突リスクを予測し、前記衝突リスクに基づき前記オブジェクトとの衝突を回避する自動運転システムに関するものである。本実施形態では、種類が特定できるオブジェクトが存在する場合、自車両はそのオブジェクトの種類に応じて衝突回避の軌道を算出し、その軌道に基づいてシステム責任の自動運転を継続する。また、種類不明の静的オブジェクトが存在する場合には、自車両はシステム責任の自動運転を継続する。一方、種類不明の動的オブジェクトが存在する場合には、自車両はシステム責任の自動運転からドライバ責任の自動運転に切り替えるともに、運転の監視者にドライバ責任の自動運転であることを報知して、ハンドルを把持するように要求する等の注意喚起を行う。

ここで、動的オブジェクトとは、他車両、歩行者のように移動可能なオブジェクトであり、静的オブジェクトは建築物のように移動不能なオブジェクトである。なお、システム責任の自動運転とは、ＳＡＥ（Society of Automotive Engineers)で定義された自動運転レベルとレベル３以上（緊急時やＯＤＤ（Operational Design Domain）範囲外を除く）であり、運転の監視者の責任の自動運転とはレベル２である。

本実施形態に示した自動運転システムを適用することで、オブジェクトの種類が特定できない場合において、動的オブジェクトか静的オブジェクトかに応じて自動運転レベルを適切に変更し、走行の安全性と自動運転システムの可用性を両立することができる。すなわち、オブジェクトの正確なリスク予測ができない“オブジェクトの種類は不明だが、オブジェクトが動的な場合”は、ドライバ責任の自動運転に切り替えることで、ドライバに予め正確なリスク予測ができない可能性を伝えることができ、システムの安全性を向上させることができる。オブジェクトの正確なリスク予測ができる“オブジェクトの種類は不明だが、オブジェクトが静的な場合”は、システム責任の自動運転を継続することで自動運転システムの可用性を向上させることができる。

以下に図面を参照しながら、本発明の好適な実施形態について説明する。以下の実施形態に示す擬態的な数値等は、発明の理解を容易するための例示に過ぎず、特に断る場合を除き、それに限定されるものではない。

以下、本発明の実施例について添付の図面を参照しつつ説明する。同様の構成要素には同様の符号を付し、同様の説明は繰り返さない。

本発明の各種の構成要素は必ずしも個々に独立した存在である必要はなく、一の構成要素が複数の部材から成ること、複数の構成要素が一の部材から成ること、或る構成要素が別の構成要素の一部であること、或る構成要素の一部と他の構成要素の一部とが重複すること、などを許容する。

図１は本発明の第１実施例に係る車載制御システムのシステム構成図である。図１に示すように、車載制御システム１は、自車両の外界の情報を取得する外界センサ２と、自車両の内部状態を検出する内界センサ３と、自車両の位置の検出および目的地までの目標ルートを算出するナビゲーションシステム４と、ドライバ（ユーザ）および乗員と自車両の車載制御システムの間に情報をやり取りするＨＭＩ装置５（HMI:Human Machine Interface）と、外界センサ２と内界センサ３の情報に基づき自車両の走行制御を行う上で目標軌道を算出する認知判断装置６と、認知判断装置６の目標軌道に基づき自車両の操舵制御機構（図示せず）、車両速度制御機構（図示せず）、およびブレーキ制御機構（図示せず）への指令値を演算する車両運動制御装置７と、車両運動制御装置７の指令値に基づき前記自車両の操舵制御機構を制御する操舵制御装置８と、当該指令値に基づき車両速度制御機構を制御し自車両の速度を調整する車両速度制御装置９と、当該指令値に基づきブレーキ制御機構を制御し各車輪のブレーキの力を制御するブレーキ制御装置１０と、を備える。

上述のように、外界センサ２は、自車両の外界の情報を取得するための機器である。外界センサ２は、光波（例えば赤外線を含む）、電磁波（例えばミリ波レーダを含む）、カメラ等のうち、一つまたは複数を備える。第１実施例では、外界センサ２として、前方にステレオカメラとミリ波レーダ、左右側にレーザレーダ、後方にミリ波レーダを備える。なお、第１実施例では、センサ構成の一例として上記のセンサの組み合わせを示しているが、それに限定するものではなく、例えば、超音波センサ、単眼カメラ、ＬｉＤＡＲ（Light Detection and Ranging）などとの組み合わせでも良い。また、上述のセンサ種類やセンシング領域は一例として示したものに過ぎず、それに限定されるものではない。

内界センサ３は自車両の内部状態を取得するための機器である。自車両の内部状態は、自車両の速度、加速度、姿勢、舵角、操舵トルク、ペダルの踏み込み量と踏み込み速度等のうち、少なくとも１つを備える。内界センサ３として、車速センサ、ＩＭＵ（Inertial Measurement Unit）、舵角センサ、操舵トルクセンサ、ペダルセンサを備える。なお、本実施例は、センサ構成の一例として上記のセンサの組み合わせを示したものに過ぎず、それに限定されるものではない。

車速センサは、車両の車輪の回転速度をパルス信号として検出することにより、車両の進行方向への速度を測定するための機器ある。

ＩＭＵは自車両の加速度および姿勢を検出するための機器である。ＩＭＵの構成としては、例えば３軸の角速度センサ（ジャイロセンサ）および３軸の加速度センサを備え、３次元の角速度および加速度信号を計測することにより、自車両の加速度および姿勢を検出する。

舵角センサは、自車両の舵角を検出するための機器である。舵角センサは、操舵制御装置８の内部に内蔵されていても良い。

操舵トルクセンサは、例えば、車両のステアリングシャフトに対して設けられ、車両のドライバがステアリングホイールに与える操舵トルクを検出する。

前記の外界センサ２および内界センサ３によって取得された情報は認知判断装置６へ送信される。ナビゲーションシステム４（詳細は図示せず）は、ＨＭＩ装置５（詳細は後述する）を介し自車両の乗員によって設定された目的地まで自車両を案内する装置である。

ナビゲーションシステム４は、ＧＮＳＳ（Global Navigation Satellite System）および地図データベースから構成されており、ＧＮＳＳからの自車両の絶対位置情報（例えば自車両の緯度および経度）と、外界センサ２のステレオカメラからのランドマークの情報と、内界センサ３の加速度センサ、角速度センサ、車速センサの情報と、地図データベースの情報に基づき地図上における自車両の位置（自己位置）を推定し、自車両周辺の地図情報をＨＭＩ装置５を介して出力する。また、ナビゲーションシステム４は、推定された自車両の位置情報および地図データベースの地図情報に基づいて、設定された目的地に至るまでの目標ルートを算出する。自車両の位置情報および地図情報は、認知判断装置６へ送信される。

ＨＭＩ装置５は、自車両のドライバもしくは乗員、もしくはその両方と車両の車載制御システムとの間で情報の入力および出力を行う手段を備えた装置である。ＨＭＩ装置５によって取得された入力情報はナビゲーションシステムまたは認知判断装置６へ送信される。情報入力操作手段としては、タッチパネルであっても操作ボタン、音声入力であっても良く、ドライバ、もしくは乗員が情報をＨＭＩ装置５に情報を入力することができる手段であれば良い。

タッチパネルは、例えば目的地や経路の設定、地図の拡大および縮小、運転モード（自動運転または手動運転）の設定等を行うのに用いられる。操作ボタンは、例えば音量調整や自動運転から手動運転への切り替え等を行うのに用いられる。

また、ドライバおよび乗員に対し、情報および警報を出力するための手段として、文字または画像情報を表示するディスプレイ装置と音を発生するスピーカーを備える。ディスプレイは、目標ルートの表示、目的地までの案内表示（次の交差点を左折するなど）、運転モードの表示、自車両の走行状態のモニタリング等を行うのに用いられる。スピーカーは、ディスプレイの表示と連動して、目的地までの案内、自車両の走行または周辺環境に関する警報および注意喚起、運転操作の指示等を発信するのに用いられる。

なお、本実施の形態では、ＨＭＩ装置５の一例として上記の装置の組み合わせを示しているが、それに限定するものではなく、例えば情報入力のＨＭＩ装置として、音声認識装置を備えてもよい。また、情報出力のＨＭＩ装置５として、ランプ、ドライバに振動を与える振動器、ドライバ用座席の角度又は位置を変更するドライバ座席調整器等を備えてもよい。

認知判断装置６は、図１に詳細を図示しないが、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリおよび入出力インタフェース等を有しており、自車両を制御するコンピュータである。上記ＲＯＭには、オブジェクトを認識し、その認識結果に基づき自動運転レベルを切り替えるか否かを判断する認識部と、自動運転の戦略を決定する運転行動計画と、自車の軌道を計画する軌道計画部のプログラムと、が記憶されており、自車両の周辺環境を認識し、その認識結果に基づき、自車両が安全にオブジェクトを回避できる目標軌道を生成し、車両運動制御装置７へ送信する。ただし、上記機能は一例に過ぎず、それに限定されるものではない。車両運動制御装置７は自車両が目標軌道に追従するように前記操舵制御機構の指令値、エンジン制御機構の指令値、およびブレーキ制御機構の指令値を演算し、各制御機構の操舵制御装置８、車両速度制御装置９、ブレーキ制御装置１０へ送信する。各制御機構の操舵制御装置８、車両速度制御装置９、ブレーキ制御装置１０は、認知判断装置６の指令値を受信し、当該の指令値に基づき各制御機構を制御する。なお、認知判断装置６は、複数の認知判断装置から構成されていても良い。

操舵制御装置８は、例えば、車両のＥＰＳ（Electric Power Steering：電動パワーステアリングシステム）を制御する電子ユニットである。操舵制御装置８は、電動パワーステアリングシステムのうち、車両の操舵トルクをコントロールするアシストモータを駆動させることにより、車両の操舵角を制御する。操舵制御装置８は、認知判断装置６からの制御信号に応じて操舵角を制御する。

車両速度制御装置９は、車両の車両速度を制御する電子制御ユニットである。車両速度制御装置９は、例えば、エンジンに対する燃料の供給量及び空気の供給量をコントロールすることで車両の速度を制御する。なお、車両速度制御装置９は、車両がハイブリッド車又は電気自動車である場合には、動力源として駆動するモータの制御を行うモータ制御部として機能する。車両速度制御装置９は、車両運動制御装置７からの制御信号に応じて車両の速度を制御する。

ブレーキ制御装置１０は、車両のブレーキ制御機構を制御する電子制御ユニットである。ブレーキ制御機構としては、例えば、液圧ブレーキ制御機構を用いることができる。ブレーキ制御装置１０は、液圧ブレーキ制御機構に付与する液圧を調整することで、車両の車輪へ付与する制動力をコントロールする。ブレーキ制御装置１０は、認知判断装置６からの制御信号に応じて車輪への制動力を制御する。なお、ブレーキ制御装置１０は、車両が回生ブレーキ制御機構を備えている場合、液圧ブレーキ制御機構及び回生ブレーキ制御機構の両方を制御してもよい。

以上により、車載制御システム１は、認識した自車両の周囲環境に応じて、車両速度制御装置９、ブレーキ制御装置１０を制御することで車両の速度を適切に制御するとともに、操舵制御機構を制御し自動車線維持制御、自動車線変更制御、自動合流制御、自動分岐制御、運転レベルの切り替えなどを実現することができる。

次に、図２を参照して、認知判断装置６の構成について説明する。図２は本発明の第１実施例に係る認知判断装置のブロック構成図である。

図２に示すように、認知判断装置６は、認識部６１、責任判定部６２、リスク予測部６３、運転行動計画部６４、軌道計画部６５から構成されている。これらの制御プログラムはＲＯＭに記憶されており、ＣＰＵにて実行される。

認識部６１は、各外界センサ２の情報に基づき標識、白線、道路端、オブジェクトを認識し、標識、白線、道路端、オブジェクトの認識結果をリスク予測部６３、運転行動計画部６４、軌道計画部６５に出力し、オブジェクトの認識結果を責任判定部６２に出力する。ここで、オブジェクトの情報は、オブジェクトの位置、速度、種類、オブジェクトが動的か静的なものかの情報を含む。オブジェクトを認識するためには、まず、外界センサ２から得られた情報に基づいて自車両周辺のオブジェクトを検出する。オブジェクトを検出するには、例えばミリ波レーダ（図示しない）を照射し、オブジェクトに反射されて帰ってくる電波を検出することにより、オブジェクトまでの距離と方向が検出される。別の手法（図示しない）では、距離センサにより検出された物標点の形状があらかじめ記憶されているテンプレートの形状と一致するか否かに基づいて、オブジェクトが検出される。上記手法により、オブジェクトを検出することで、オブジェクトの大きさ、形状、自車両からの位置、絶対および相対速度の情報が得られる。なお、上記のオブジェクト検出手法は一例を示したものに過ぎず、それに限定されるものではない。オブジェクト検出の方法は他にも存在するので、発明を実施するにあたっては任意の手法を適宜選択すれば良い。

次に、オブジェクトが検出された後、外界センサ２の情報に基づいて、オブジェクトの種類を特定する。オブジェクトを特定するのに、例えばステレオカメラから取得された画像を、あらかじめ機械学習された識別器に与え、その識別器の出力結果に後処理（詳細は後述する）を加えることによってオブジェクトがデータベース上のどの種類に属しているかが特定される。なお、識別器としてニューラルネットワークやサポートベクターマシン等があり、本実施例では、任意の識別器を用いても良い。また、複数の識別器を組み合わせて使用するようにしても良い。さらに、詳細は割愛するが、画像を識別器に入力する前に、カメラから取得された画像に対し、フィルタリング等の前処理や特徴抽出の処理を施しても良い。

次に、前記後処理の一例を説明するために、識別器としてニューラルネットワークが用いられると仮定する。一般に、ニューラルネットワークは、入力画像があらかじめ定義された各々の種類に属する可能性を割合として出力する。前記ニューラルネットワークの出力結果から、出力値が最も高いものを選択し、その値があらかじめ設定された閾値以上の場合は、オブジェクトの種類を前記の出力値に対応した種類と決定する。一方、前記の出力値が閾値未満のとき、オブジェクトの種類は特定不能とする。すなわち、オブジェクトの種類は不明である。なお、上記の後処理の手法は一例であり、本発明の理解を容易するための例示に過ぎず、本発明は上述の手法に限定されるものではない。なお，標識、白線、道路端の認識手法は、パターンマッチングやハフ変換によるエッジ抽出などの一般的な手法を用いる。

責任判定部６２は、車両がシステム責任の自動運転状態において、認識部６１のオブジェクト情報と外界センサ２の情報に基づき自動運転レベルを切り替える必要があるかどうかを判断し、ドライバ責任の自動運転か、システム責任の自動運転かを表す責任状態量をＨＭＩ装置５に出力するとともに、オブジェクトが静的オブジェクトか動的オブジェクトかの判定結果をリスク予測部６３に出力する。ＨＭＩ装置５は責任判定部６２の情報を出力して報知し、ドライバに注意喚起を行う。なお、標識、白線、道路端の認識結果を、責任判定部６２の判断に用いる構成としてもよい。

次に、リスク予測部６３は、前記認識部６１の認識結果と前記責任判定部６２の判定結果に基づいてオブジェクトの衝突リスクを予測し、衝突危険度を運転行動計画部６４と軌道計画部６５に出力する。オブジェクトの衝突危険度として、例えば最大値を１００、最小値を０とし、その数値が高いほど衝突危険度が高いことを表すようにしても良い。リスク予測部６３は、例えば次のように、オブジェクトの相対位置、相対速度、オブジェクトの種類、動的オブジェクトであるか静的オブジェクトであるか等に基づき衝突危険度を設定する。

次に図３を用いて、オブジェクトに対する回避軌道について説明する。図３Ａは種類が特定できるオブジェクトが存在する場合の回避軌道を示す図である。

図３Ａにおいて、自車両はシステム責任の自動運転状態において片側２車線の道路の左側車線を走行している。左側車線には障害物となるオブジェクトが存在する。オブジェクトの周りには、オブジェクトを中心として円状に分別された衝突危険度を設定する。衝突危険度は、オブジェクトその物の危険度が高く、オブジェクトからの距離が遠くなるほど低くなる。また、衝突危険度を示す円の大きさは、検出されるオブジェクトの種類によって異なるよう設定する。

図３Ａにおいて、（ａ）はオブジェクトが子供と判断された場合の回避軌道を示しており、（ｂ）はオブジェクトが大人と判断された場合の回避軌道を示している。

図３Ａに示すように、外界センサ２から得られた情報に基づいて、オブジェクトの種類が特定できる場合は、オブジェクトの種類に基づいて衝突危険度のエリアを算出する。例えば、（ａ）に示すようにオブジェクトが子供と判断された場合は、（ｂ）に示す大人と判断された場合よりも衝突危険度のエリアを広く予測する。このようにすることで、子供と判断された場合には、後述する軌道計画部６５は、子供が飛び出す可能性を考慮した大きな回避軌道を生成することができる。すなわち、オブジェクトの種類に応じて適切な回避軌道を生成することができる。責任判定部６２は、システム責任の自動運転状態において、外界センサ２から得られた情報に基づいてオブジェクトの種類が特定できる場合は、システム責任の自動運転状態を継続する。

次にオブジェクトの種類が特定できない場合について説明する。図３Ｂは種類の特定不可の静的オブジェクトが存在する場合の回避軌道を示す図である。図３Ｃは種類の特定不可の動的オブジェクトが存在する場合の回避軌道を示す図である。

図３Ｂに示すように、オブジェクトの種類が特定できず、かつ静的オブジェクトである場合は、オブジェクトが動かないという前提で、オブジェクト周辺に衝突危険度を設定する。このようにすることで、後述する軌道計画部６５は、衝突リスクを過大に評価して大きな回避軌道をとることなく、ドライバの感覚に合った回避軌道を生成することができる。責任判定部６２は、システム責任の自動運転状態において、外界センサ２から得られた情報に基づいてオブジェクトの種類が特定できず、かつ静的オブジェクトである場合は、システム責任の自動運転状態を継続する。

また、図３Ｃに示すように、オブジェクトの種類が特定できず、かつ動的オブジェクトである場合は、オブジェクトがどのような挙動をするか予測できないため、例えば子供と同様にオブジェクトが道路に飛び出すことを想定し、静的オブジェクトよりも広い範囲となるように衝突危険度を設定する。
責任判定部６２は、システム責任の自動運転状態において、外界センサ２から得られた情報に基づいてオブジェクトの種類が特定できず、かつ動的オブジェクトである場合は、システム責任の自動運転状態からドライバ責任の自動運転状態に切り替える。このようにすることで、オブジェクトの種類が特定できない、かつ動的オブジェクトである場合は、最悪状態を想定した回避軌道を生成することができる。上記の衝突危険度の算出方法は、一例に過ぎず、それに限定されるものではない。リスク予測部６３で算出した前記衝突危険度を運転行動計画部６４と軌道計画部６５に出力する。

運転行動計画部６４は、各内界センサ３の情報、ナビゲーションシステム４からの地図情報、前記リスク予測部６３の出力結果、認識部６１の標識、白線、道路端、オブジェクトの情報に基づき、自車両が今後とる運転行動（実行される機能）を計画する。ここで、運転行動は、例えば自車線内走行制御、自動合流制御、自動車線変更制御、自動分岐制御、交差点右折、交差点左折、交差点直進などの自動運転の機能である。ただし、上記機能に限定されるものではなく、運転行動は走行車線などの情報で表現されても良い。軌道計画部６５は、前記運転行動、地図情報、白線、道路端、オブジェクトの情報、リスク予測部６３の出力結果に基づき、目標軌道を計画する。

次に、図４を参照して、第１実施例に係る車載制御システム１の責任判定部６２の処理フローについて説明する。図４は本発明の第１実施例に係る責任判定部のフローチャートである。

この処理により、自車両の周辺環境に応じて、システム責任の自動運転を継続するか、ドライバ責任の自動運転に切り替えるかを判断することができる。以下に説明する状況では、車載制御システム１により、自動車線維持制御、自動車線変更制御、および航行制御を含む自動運転が行われていることを想定する。

ステップＳ１０１では、認識部６１のオブジェクト認識結果を受信し、オブジェクトの情報を取得する。

次に、ステップＳ１０２では、前記認識部６１のオブジェクト認識結果に基づいてオブジェクトの種類が特定可能かどうかを判断する。ここで、オブジェクトの種類が特定可能の場合（ステップＳ１０２のＹｅｓ）、責任判定部６２は、システム責任の自動運転レベルをＨＭＩ装置５に出力し、システム責任の自動運転をそのまま継続し、システム責任の自動運転に対応した責任状態量を設定する（ステップＳ１０５）。

一方、オブジェクトの種類が特定不能の場合（ステップＳ１０２のＮｏ）、ステップＳ１０３に進み、外界センサ２の情報に基づいて、オブジェクトが動的オブジェクトであるか静的オブジェクトであるかを判別する。動的オブジェクトは、他車両、歩行者のように移動可能なオブジェクトであり、静的オブジェクトは建築物のように移動不能なオブジェクトである。

なお、オブジェクトを静的オブジェクトあるいは動的オブジェクトの判別は、フィルタ、オプティカルフロー（動きベクトル）、およびパターンマッチングなどの一般的な手法のうち、任意の手法を用いる。また、オプティカルフローとパターンマッチングのように、複数の手法を組み合わせて利用するようにしても良い。

オプティカルフローは、オブジェクトの種類によらずオブジェクトの動きを検出することができるが、止まっている歩行者のような場合では、歩行者は静的オブジェクトに判別される。一方、パターンマッチングは、オブジェクトの動きによらずに、オブジェクトを静的かあるいは動的オブジェクトかの判別は可能であるが、あらかじめ学習されていないオブジェクトには判別できない。このように、オプティカルフローとパターンマッチングを組み合わせることによって、歩行者のような動く可能性があるオブジェクトを正しく判別することが可能で、さらには、未知のオブジェクトでも、そのオブジェクトが動いていれば正しく判別することができる。

上記判断に基づき、オブジェクトが静的オブジェクトに判別された場合（ステップＳ１０３のＹｅｓ）、責任判定部６２は、システム責任の自動運転レベルをＨＭＩ装置５に出力し、システム責任の自動運転を継続し、システム責任の自動運転に対応した責任状態量を設定する（ステップＳ１０５）。

一方、オブジェクトが動的オブジェクトに判別された場合（ステップＳ１０３のＮｏ）、ステップＳ１０４に進み、責任判定部６２は、ドライバ責任の自動運転に対応した責任状態量を設定し、その責任状態量をＨＭＩ装置５に出力する。責任判定部６２は、ＨＭＩ装置５を介してドライバに注意喚起し、ハンドルを把持するように要求する等の働き掛けを行い、ドライバ責任の自動運転に切り替える。図示しないが、上記のいずれの自動運転レベルであっても、ドライバが運転操作（ハンドル操作、ブレーキやアクセルを踏む等）を行った場合は、自動運転システムは自動運転を終了する。

ステップＳ１０６では、静的のオブジェクトであるか動的のオブジェクトであるかの情報をリスク予測部６３に送信するとともに、責任状態量をＨＭＩ装置５に出力する。

以上説明した自動運転システムを適用した場合の動作例を図５に示す。
図５Ａは種類が特定できるオブジェクトが存在する場合の自動運転システムの動作を示す図、図５Ｂは種類の特定不可の静的オブジェクトが存在する場合の自動運転システムの動作を示す図、図５Ｃは種類の特定不可の動的オブジェクトが存在する場合の自動運転システムの動作を示す図である。

図５Ａに示すように、種類が特定できるオブジェクトが存在する場合、自車両の認知判断装置６はそのオブジェクトの種類に応じて衝突回避の軌道を算出し、その軌道に基づいてシステム責任の自動運転を継続する。

また、図５Ｂに示すように、種類特定不可の静的オブジェクトが存在する場合、自車両の認知判断装置６は静的オブジェクトに応じて衝突回避の軌道を算出し、システム責任の自動運転を継続する。

一方、図５Ｃに示すように、ステップＳ１０３の処理（図４）により、種類特定不可の動的オブジェクトが存在する場合には、自車両の認知判断装置６は、ステップＳ１０４の処理（図４）により、システム責任の自動運転からドライバ責任の自動運転に切り替えるよう自動運転レベルを変更するともに、ＨＭＩ装置５を介してドライバに注意喚起し、ハンドルを把持するように要求する等の働き掛けを行う。

以上より、本実施例に示した自動運転システムを適用することで、オブジェクトの種類が特定できない場合において、動的オブジェクトか静的オブジェクトかに応じて自動運転レベルを適切に変更し、走行の安全性と自動運転システムの可用性を両立することができる。すなわち、オブジェクトの正確なリスク予測ができない“オブジェクトの種類は不明だが、オブジェクトが動的な場合”は、ドライバ責任の自動運転に切り替えることで、ドライバに予め正確なリスク予測ができない可能性を伝えることができ、システムの安全性を向上させることができる。オブジェクトの正確なリスク予測ができる“オブジェクトの種類は不明だが、オブジェクトが静的な場合”は、システム責任の自動運転を継続することで自動運転システムの可用性を向上させることができる。

次に本発明の第２実施例について図６を用いて説明する。図６は本発明の第２実施例に係る責任判定部のフローチャートである。第１実施例と同様の内容については、適宜その説明を省略する。

図６において、第１実施例と異なるところは、認識されたオブジェクトまでの距離Ｌが閾値ＴＬ以上であるかどうかを判断する処理（ステップＳ２０１）を有することにある。オブジェクトまでの距離は、例えば第１実施例で説明したミリ波レーダを使用する。

第２実施例では、認識部６１によりオブジェクトが認識された後、その認識結果に基づき、オブジェクトとの距離を判定する。具体的には、自車両とオブジェクトまでの距離Ｌを、あらかじめ設定した閾値ＴＬと比較し、距離Ｌが閾値ＴＬ以上の場合（ステップＳ２０１のＹｅｓ）は、ステップＳ１０５に進んでシステム責任の自動運転を継続し、距離Ｌが閾値ＴＬ未満の場合（ステップＳ２０１のＮｏ）は、ステップＳ１０２に遷移する。

ここで、閾値ＴＬは、例えば認識性能試験において、様々なオブジェクトの距離の条件下で、オブジェクトの認識性能が所定の性能に達成できるオブジェクトの距離の最大値に設定する。なお、上記のＴＬ算出方法は一例に過ぎず、それに限定されるものではない。また、オブジェクトの距離は、上述のように認識部６１の認識結果から取得する方法以外に、例えば自車両外部のセンサからオブジェクトの距離情報を取得することもできる。本発明の実施にあたっては、オブジェクトの距離情報の取得は、任意の手法を適宜用いるようにすると良い。

第２実施例では、遠くに存在する物体の種類の特定や、静的オブジェクトであるか動的オブジェクトであるかを判断することが技術的に難しく、誤判定が起こりやすいことから、頻繁に自動運転レベルを解除してしまう恐れがあり、この場合ドライバの利便性を損なう問題があった。そこで、第２実施例を適用することにより、認識の必要がない十分に遠く存在するオブジェクトを無視することによって、自動運転レベルの切り替え回数を抑制することができ、ドライバの利便性を向上することができる。

次に本発明の第３実施例について図７及び図８を用いて説明する。なお、第１実施例と同様の内容については、適宜その説明を省略する。図７は本発明の第３実施例に係る車載制御システムのシステム構成図、図８は本発明の第３実施例に係る責任判定部のフローチャートである。

図７において、第１実施例（図１）と異なるところは、無線通信装置１１を備えたことにある。

無線通信装置１１は、自車両と外部の車載制御システムと通信するための機器である。図７に示すように、無線通信装置１１は、外界センサ２と内界センサ３とＨＭＩ装置５の情報を取得し、遠隔制御システム１２へ送信する機能を有する。また、図７に示すように、遠隔制御システム１２からの指令を無線通信装置１１を介して受信することが可能になる。遠隔制御システム１２は、車両から離れた位置において車両を制御するものである。第３実施例では、オペレータが遠隔制御システム１２を用いて車両の制御を行う。

オペレータは、遠隔制御システム１２を用いて車両の走行状態をモニタリングし、ハンドルとブレーキとアクセルの指令値を生成することで、操舵制御装置８、車両速度制御装置９、ブレーキ制御装置１０を制御することができる。すなわち、オペレータは第１実施例、第２実施例では実現できなかった、車両の遠隔操作を行うことができる。

次に、図８を用いて、第３実施例における認知判断装置の責任判定部６２の処理フローについて説明する。なお、図８におけるステップＳ１０１－Ｓ１０６は、第１実施例の説明における図４のステップＳ１０１－Ｓ１０６と同様であるため、その説明を省略する。第１実施例と異なるところは、第１実施例のフローチャートにステップＳ３０１－ステップＳ３０３の処理を追加したところにある。

第３実施例では、ステップＳ１０３にてオブジェクトが静的オブジェクトである動的オブジェクトであるかの判断を行い、オブジェクトが動的オブジェクトである場合、内界センサ３の情報に基づいて、車内にドライバが存在しているか否かを判断する（ステップＳ３０１）。ここで、使用する内界センサは、例えば座席に搭載されている着座センサである。着座センサに基づいて、ドライバが車内に存在する場合（ステップＳ３０１のＹｅｓ）は、第１実施例と同様に、ドライバ責任の自動運転に対応した責任状態量を設定（ステップＳ１０４）し、その責任状態量をＨＭＩ装置５に出力し、ＨＭＩ装置５を介してドライバに注意喚起し、ハンドルを把持するように要求する等の働き掛けを行い、ドライバ責任の自動運転に切り替える。

一方、車内にドライバが存在しないと判断された場合（ステップＳ３０１のＮｏ）は、まず、自車両の内部情報と周辺環境の情報を外部車載制御システムへ転送し（Ｓ９）、次に、オペレータ責任の自動運転に対応した責任状態量を設定（ステップＳ３０３）し、その責任状態量をＨＭＩ装置５に出力し、ＨＭＩ装置５は無線通信装置１１を介してその情報を遠隔に居るオペレータに注意喚起し、遠隔操作が行える体制で待機するように要求等の働き掛けを行い、オペレータ責任の自動運転に切り替える。ここで、オペレータの判断によりオーバーライドが必要な場合は、遠隔操作用の操作デバイスを用いて運転操作（ジョイスティックやハンドル操作、ブレーキやアクセルを踏む等）を行うことにより、オーバーライドすることが可能である（図示しない）。

なお、図示はしないが、第３実施例の責任判定部には、ステップＳ１０１とステップＳ１０２との間に、第２実施例の図６で用いたステップＳ２０１の処理を挿入することも可能である。ステップＳ２０１の処理を追加することにより、認識する必要のない遠くに存在する物体を無視することができ、自動運転レベルの切り替え回数を抑制することができ、運転の監視者の利便性を向上することができる。

第１実施例と第２実施例では、車内にドライバが存在することを想定していた。第３実施例では、車内にドライバが存在しない無人走行車両においても、安全にオブジェクトを回避できるので、自動運転システムの可用性を向上することができる。

第１実施例～第３実施例では、認知判断装置６を車両に搭載した例で説明したが、認知判断装置６は車両外の任意の場所に設置することも可能ある。その場合、車両には第３実施例で説明したような無線通信装置１１を搭載し、車両に搭載された各機器と、任意の場所に設置された認知判断装置６との間を無線で接続する。
このように構成することにより、認知判断装置６を任意の場所に設置した場合においても、認知判断装置６を車両に搭載したものと同等の機能を実現することができる。

さらに、本発明の適用可能な分野は車載システムに限らず、詳細は割愛するが、自律運転のロボット等も適応することも可能である。

なお、本発明は、上述した実施例に限定するものではなく、様々な変形例が含まれる。上述した実施例は本発明を分かり易く説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定するものではない。

１…車載制御システム、２…外界センサ、３…内界センサ、４…ナビゲーションシステム、５…ＨＭＩ装置、６…認知判断装置、７…車両運動制御装置、８…操舵制御装置、９…車両速度制御装置、１０…ブレーキ制御装置、１１…無線通信装置、１２…遠隔制御システム、６１…認識部、６２…責任判定部、６３…リスク予測部、６４…運転行動計画部、６５…軌道計画部。

Claims (5)

1. 車両の外界情報を取得する外界センサと、前記外界センサの情報に基づいてオブジェクトとの衝突を回避するように前記車両の目標軌道を算出する認知判断装置とを備えた自動運転システムであって、
   前記認知判断装置は、責任判定部を備え、
   前記責任判定部は、
   前記車両がシステム責任の自動運転状態において、前記外界センサが前記オブジェクトの情報を検出すると前記オブジェクトの種類を判別し、前記オブジェクトの種類が特定できない場合には前記オブジェクトが動的であるか静的であるかを判別し、前記オブジェクトが静的の場合には、前記システム責任の自動運転を継続させ、前記オブジェクトが動的の場合には、前記システム責任の自動運転からドライバ責任の自動運転に切り替えることを特徴とする自動運転システム。
2. 請求項１において、
   前記責任判定部の情報を出力するＨＭＩ装置を備え、
   前記責任判定部は、前記オブジェクトが動的の場合には、ドライバ責任の自動運転であることを前記ＨＭＩ装置を介してドライバに報知すること特徴とする自動運転システム。
3. 車両の外界情報を取得する外界センサと、前記外界センサの情報に基づいてオブジェクトとの衝突を回避するように前記車両の目標軌道を算出する認知判断装置とを備えた自動運転システムであって、
   前記認知判断装置は、責任判定部を備え、
   前記責任判定部は、
   前記車両がシステム責任の自動運転状態において、前記外界センサから得られる前記オブジェクトとの距離が予め設定した閾値以上であるか否かを判断し、前記オブジェクトとの距離が予め設定した閾値以上の場合には前記システム責任の自動運転を継続させ、前記オブジェクトとの距離が予め設定した閾値未満の場合には前記オブジェクトの種類を判別し、前記オブジェクトの種類が特定できた場合には前記システム責任の自動運転を継続させ、前記オブジェクトの種類が特定できない場合には前記オブジェクトが動的であるか静的であるかを判別し、前記オブジェクトが静的の場合には、前記システム責任の自動運転を継続させ、前記オブジェクトが動的の場合には、前記システム責任の自動運転からドライバ責任の自動運転に切り替えることを特徴とする自動運転システム。
4. 車両の外界情報を取得する外界センサと、前記外界センサの情報に基づいてオブジェクトとの衝突を回避するように前記車両の目標軌道を算出する認知判断装置と、前記車両の内部状態を検出する内界センサを備えた自動運転システムであって、
   前記認知判断装置は、責任判定部を備え、
   前記責任判定部は、
   前記車両がシステム責任の自動運転状態において、前記外界センサが前記オブジェクトの情報を検出すると前記オブジェクトの種類を判別し、前記オブジェクトの種類が特定できた場合には前記システム責任の自動運転を継続させ、前記オブジェクトの種類が特定できない場合には前記オブジェクトが動的であるか静的であるかを判別し、前記オブジェクトが静的の場合には、前記システム責任の自動運転を継続させ、前記オブジェクトが動的の場合には、前記内界センサの情報に基づき、前記車両内にドライバが存在しているか否かを判断し、前記車両内に前記ドライバが存在している場合には、前記システム責任の自動運転からドライバ責任の自動運転に切り替えることを特徴とする自動運転システム。
5. 請求項４において、
   オペレータが前記車両の遠隔操作を行う遠隔制御システムとの間で通信を行う無線通信装置を備え、
   前記責任判定部は、前記オブジェクトが動的の場合であって、前記車両内に前記ドライバが存在していない場合には、前記システム責任の自動運転から前記オペレータが前記遠隔制御システムを用いて前記車両の制御を行うオペレータ責任の自動運転に切り替えることを特徴とする自動運転システム。

Images