JP6289284B2 - 半導体装置及び制御方法 - Google Patents

Description

本発明は、半導体装置及び制御方法に関し、例えば車両を自動で制御する技術に関する。

現代の自動車は、運転者によって制御がなされている。昨今、ＡＤＡＳ（Advanced Driver Assistance Systems：高度運転支援システム）のように、運転者を支援、もしくは、自動車を制御するシステムが開発されてきており、その一部が市場に投入されている。

自動運転（自律運転）するシステムでは、システムと運転者との間での制御権の移行方法が重要となる。この制御権の移行に関する手続きを一般的にオーバーライド（動作の上書き）要求と言う。

特許文献１には、自動走行とドライバ（＝運転者）の操作に基づいて走行させる手動走行との切り換えを適切に行うことを目的とした走行支援装置が開示されている。この走行支援装置は、ドライバ（＝運転者）からの、ハンドル操作、アクセル操作、ブレーキ操作などによるオーバーライド要求を検出すると自動走行を解除する。

このようにオーバーライド要求は、システムによる自動車の制御中に運転者が能動的に制御権を取得しにいく際に発行される。

特開２０１０−２６４８２９号公報

上述したように、従来技術においては、制御権の移行は、運転者またはシステムが能動的に制御権を取得しに行くことで行われており、システムが主導して運転者へ制御権を受け渡すフローは存在していない。すなわち、システムが判断して運転者に制御権を渡すことは実現されていない。

その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

一実施の形態によれば、半導体装置は、物体を回避した走行経路を算出できない場合に、自動制御モードから手動制御モードへ移行させるものである。

前記一実施の形態によれば、システムが判断して運転者に制御権を渡すことを実現することができる。

実施の形態１に係る車載制御システムの構成図である。 実施の形態１に係るＬＳＩのハードウェア構成図である。 実施の形態に係る物体の分類例を示す図である。 移動物体（線形に動く物体）が移動する可能性のある領域を例示する図である。 移動物体（線形に動く物体）が移動する可能性のある領域を例示する図である。 移動物体（線形に動く物体）が移動する可能性のある領域を例示する図である。 移動物体（ランダムに動く物体）が移動する可能性のある領域を例示する図である。 移動物体（ランダムに動く物体）が移動する可能性のある領域を例示する図である。 距離に応じた存在度の算出例を示す図である。 走行可能な線を算出できない場合の地図の一例を示す図である。 走行可能な線を算出できない場合の地図の一例を示す図である。 実施の形態１に係るオーバーライド要求の発行に関する各要素の関係図である。 実施の形態１に係るオーバーライド要求の発行に関する各要素の関係図である。 オーバーライド要求発行時のタイミングチャートである。 摩擦係数を算出する際の処理の流れを示す概念図である。 実施の形態１に係るＬＳＩのオーバーライド要求発行処理を示すフローチャートである。 上書きの制御によるオーバーライド要求の概念図である。 オーバーライド要求発行タイミングの比較例を示す図である。 実施の形態２に係る車載制御システムの構成図である。 実施の形態２に係るオーバーライド要求の発行に関する各要素の関係図である。 実施の形態２に係るＬＳＩのオーバーライド要求発行処理を示すフローチャートである。 実施の形態２に係るＬＳＩの予備時間調整処理を示すフローチャートである。 実施の形態３に係る車載制御システムの構成図である。 実施の形態３に係るオーバーライド要求の発行に関する各要素の関係図である。 実施の形態３に係るＬＳＩのオーバーライド要求発行処理を示すフローチャートである。 実施の形態３に係るＬＳＩの運転者操作時間調整処理を示すフローチャートである。 一実施の形態に係る半導体装置を示す図である。

以下に図面を参照しながら、本発明の好適な実施形態について説明する。以下の実施形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、それに限定されるものではない。また、以下の記載及び図面では、説明の明確化のため、当業者にとって自明な事項等については、適宜、省略及び簡略化がなされている。

＜実施の形態１＞
実施の形態１について説明する。まず、図１を参照して、実施の形態１に係る車載制御システム１のシステム構成について説明する。図１に示すように、車載制御システム１は、カメラ２と、距離センサ３と、ユーザインターフェイス装置４と、ＬＳＩ（Large Scale Integration）５、６と、出力装置７とを有する。車載制御システム１は、自動車に搭載されるシステムである。以下、車載制御システム１が搭載される自動車を「自車」と言う。

カメラ２は、自車の周辺を撮像する装置である。カメラ２は、ＣＭＯＳセンサ２０（Complementary Metal Oxide Semiconductor）を有する。ＣＭＯＳセンサ２０は、自車の周辺を撮像することで、自車の周辺の画像を示す画像情報を生成し、ＬＳＩ５に送信する。

距離センサ３は、自車から周辺の物体までの距離を計測する。距離センサ３は、例えば光波（例えば赤外線を含む）および電波（例えばミリ波を含む）などの電磁波によって、自車の周辺の物体までの距離を計測する。距離センサ３は、計測した周辺の物体までの距離を示す距離情報を生成し、ＬＳＩ５に送信する。

ユーザインターフェイス装置４は、運転者（ユーザ）からの操作を受ける装置である。ユーザインターフェイス装置４は、例えば、ハンドル、アクセルペダル、ブレーキペダル、および操作スイッチなどである。このように、車載用制御システム１は、典型的には、複数のユーザインターフェイス装置４を有する。ユーザインターフェイス装置４は、運転者からの操作に応じて、その操作内容を示す操作情報を生成し、ＬＳＩ５及びＬＳＩ６に送信する。

例えば、ユーザインターフェイス装置４がハンドル（ステアリングアングルセンサを含む）である場合、ハンドルのステアリングアングルセンサは、運転者からの操作によるハンドルの操舵角を検出し、検出した操舵角を示す操作情報を生成する。また、例えば、ユーザインターフェイス装置４がアクセルペダル（アクセルペダルポジションセンサを含む）である場合、アクセルペダルポジションセンサは、運転者からの操作によるアクセルペダルの踏込量を検出し、検出した踏込量を示す操作情報を生成する。また、例えば、ユーザインターフェイス装置４がブレーキペダル（ブレーキペダルポジションセンサを含む）である場合、ブレーキペダルポジションセンサは、運転者からの操作によるブレーキペダルの踏込量を検出し、検出した踏込量を示す操作情報を生成する。

ＬＳＩ５は、カメラ２、距離計３、及びユーザインターフェイス装置４から受信した情報に基づいて、車載制御システム１における車両の制御モードの移行を制御する半導体装置である。ここで、車載制御システム１は、制御モードとして、運転者からの操作に応じて自車を制御する手動制御モードと、カメラ２及び距離センサ３による観測結果に基づいて自車を自動的に制御する自動制御モードとを有している。ＬＳＩ５は、判断部５０と、画像認識部５１と、カメラ入力部５２と、センサ入力部５３と、ユーザ入力部５４と、ユーザ出力部５５とを有する。

判断部５０は、カメラ２から受信した画像情報に基づいて画像認識部５１が認識した結果と、距離センサ３から受信した距離情報と、ユーザインターフェイス装置４から受信した操作情報とに基づいて、車載制御システム１をどの制御モードで動作させるかを判断する。判断部５０は、その判断結果を示す判断結果情報をＬＳＩ６に送信する。これにより、後述するように、ＬＳＩ６は、判断部５０から受信した判断結果情報が示す判断結果に従った制御モードで自車を制御する。

また、判断部５０は、自動制御モードでは、画像認識部５１による認識結果と、距離センサ３による測定結果とに基づいて、自車の制御内容を特定する指令値を算出し、ＬＳＩ６に送信する。より詳細には、判断部５０は、自動制御モードでは、画像認識部５１による認識結果と、距離センサ３による測定結果とに基づいて、物体との接触を回避するように自車の走行経路を算出し、算出した走行経路で自車が走行するように指令値を算出する。なお、判断部５０は、自動制御モードでは、物体との接触を回避するために、物体の手前で自車を停止するように指令値を算出することもできる。

ここで、判断部５０は、車載制御システム１をどの制御モードで動作させるか、例えば次のように判断する。判断部５０は、手動制御モード中に、制御モードの切り替えを指示する操作スイッチが操作されたことを示す操作情報を受信した場合には、手動制御モードから自動制御モードへ移行すると判断する。一方、判断部５０は、自動制御モード中に、制御モードの切り替えを指示する操作スイッチが操作されたことを示す操作情報を受信した場合には、自動制御モードから手動制御モードへ移行すると判断する。また、判断部５０は、自動制御モード中に、ハンドル、アクセルペダル、またはブレーキペダルなどから受信した操作情報に基づいて、これらのいずれかが操作されたことが認識される場合には、自動制御モードから手動制御モードへ移行すると判断する。

さらに、本実施の形態では、判断部５０は、自動制御モード中に、画像認識部５１による認識結果と、距離センサ３による測定結果とに基づいて、物体との接触を回避した自車の走行経路を算出できないと判断した場合、危険要因を排除できないとし、より安全な方法として自動制御モードから手動制御モードへ移行すべきと判断する。これにより、車載制御システム１から運転者への制御権の的確な受け渡しを実現する。

また、判断部５０は、手動制御モード中に、画像認識部５１による認識結果と、距離センサ３による測定結果とに基づいて、自車の走行を継続すると自車が物体と接触してしまう危険要因を排除できないと判断した場合、手動制御モードから自動制御モードへ移行すべきと判断する。これにより、判断部５０は、仮に、車載制御システム１から運転者への制御権の受け渡し後に、運転者による自車を制動させるための操作が行われなかった場合であっても、車載制御システム１を手動制御モードから自動制御モードに移行させ、物体との接触を回避するように自車を停止させるようＬＳＩ６に指示することも可能である。このように、本実施の形態では、運転者による自車を制動させるための操作が行われなかった場合であっても、安全性を担保することができる。

画像認識部５１は、カメラ２から受信した画像情報に基づいて、自車の周辺に存在する物体と、その物体の動きを認識する。画像認識部５１は、それらの認識結果を示す認識結果情報を判断部５０に出力する。

カメラ入力部５２は、カメラ２から送信された画像情報を受信し、画像認識部５１に出力する。センサ入力部５３は、距離センサ３から送信された距離情報を受信し、画像認識部５１に出力する。ユーザ入力部５４は、ユーザインターフェイス装置４から送信された操作情報を受信し、判断部５０に出力する。ユーザ出力部５５は、判断部５０から出力された情報を、出力装置７に送信する。

ＬＳＩ６は、ユーザインターフェイス４または判断部５０から受信した情報に基づいて自車を制御する。ＬＳＩ６は、制御部６０と、ユーザ入力部６１と、ユーザ出力部６２とを有する。

制御部６０は、自車の各部を制御する。ここで、制御部６０は、手動制御モードでは、ユーザインターフェイス装置４から受信した操作情報が示すユーザの操作内容に基づいて、自車の各部を制御する。一方、制御部６０は、自動制御モードでは、判断部５０から受信した指令値に基づいて、自車の各部を制御する。

制御部６０は、自車の各部（例えば、タイヤの切れ角、エンジンの回転数、およびブレーキの加減など）を制御する。この場合、制御部６０は、手動制御モードでは、ハンドルから受信した操作情報が示すハンドルの操舵角に応じて、自車のタイヤの切れ角を制御する。また、制御部６０は、手動制御モードでは、アクセルペダルから受信した操作情報が示すアクセルペダルの踏込量に応じて、自車のエンジンの回転数を制御する。また、制御部６０は、手動制御モードでは、ブレーキペダルから受信した操作情報が示すブレーキペダルの踏込量に応じて、自車のブレーキの加減を制御する。

一方、制御部６０は、自動制御モードでは、判断部５０から受信した指令値に基づいて、タイヤの切れ角、エンジンの回転数、およびブレーキの加減を制御することになる。よって、指令値は、自車の各部の状態（タイヤの切れ角、エンジンの回転数、およびブレーキの加減）の制御内容を特定することができる情報であれば、任意の形式としてよい。例えば、指令値は、上述の操舵角および踏込量を疑似的に示す情報であってもよい。

ユーザ入力部６１は、ユーザインターフェイス装置４から送信された操作情報を受信し、制御部６０に出力する。ユーザ出力回路６２は、制御部６０から出力された情報を、出力装置７に送信する。

出力装置７は、ＬＳＩ５およびＬＳＩ６からの指示に従って、運転者に対して任意の内容を通知するための出力を行う装置である。出力装置７は、例えば、運転者に対する表示を行う表示装置、運転者に対する音声を出力する音声出力装置、またはそれらを同時に行う装置である。表示装置は、例えば、運転者への通知内容を示す画像を表示する表示パネルであってもよく、運転者への通知内容に対応するＬＥＤ（Light Emitting Diode）であってもよい。音声出力装置は、例えば、スピーカである。

よって、判断部５０および制御部６０は、運転者に対して通知をする場合には、その通知を指示する情報を、ユーザ出力部５５、６２を介して出力装置７に送信する。例えば、判断部５０または制御部６０は、出力装置が表示パネルである場合に自動制御モードから手動制御モードへの移行を通知するときには、その旨を通知する画像を示す画像情報を出力装置７に送信する。これにより、表示パネルは、その画像情報が示す画像を表示する。また、例えば、判断部５０または制御部６０は、出力装置がＬＥＤである場合に自動制御モードから手動制御モードへの移行を通知するときには、その点灯を指示する情報を出力装置７に送信する。また、例えば、判断部５０または制御部６０は、出力装置がスピーカである場合に自動制御モードから手動制御モードへの移行を通知するときには、その旨を通知する音声を示す音声情報を出力装置７に送信する。これにより、スピーカは、その音声情報が示す音声を出力する。

続いて、図２を参照して、実施の形態１に係るＬＳＩ５のハードウェア構成について説明する。図２に示すように、ＬＳＩ５は、ＣＰＵ（Central Processing Unit）１０と、ハードウェアアクセラレータ１１と、内蔵メモリ１２と、外部メモリインターフェイス回路１３と、周辺回路１４とを有する。周辺回路１４は、カメラインターフェイス回路１５と、センサインターフェイス回路１６と、およびユーザインターフェイス回路１７とを有する。

ＣＰＵ１０は、判断部５０及び画像認識部５１として機能する。すなわち、ＣＰＵ１０は、カメラ２及び距離センサ３からの情報に基づいて自車の周辺の物体を認識する処理、制御モードの移行を判断する処理、および、ＬＳＩ６へ出力する指令値を算出する処理などを実行する。

ハードウェアアクセラレータ１１は、判断部５０及び画像認識部５１として機能する。ＣＰＵ１０における演算処理の一部を補助的に実行する。例えば、ハードウェアアクセラレータ１１は、画像情報に基づいて物体を認識する際に、画像情報が示す画像を解析する演算処理の一部を実行する。ハードウェアアクセラレータ１１として、例えば、複数のＧＰＵコアを含むＧＰＵ（Graphics Processing Unit）を利用してよい。

内蔵メモリ１２には、ＣＰＵ１０が処理の実行に利用する情報、およびＣＰＵ１０に上述の処理を実行させる命令を含むプログラム（ソフトウェア）が格納される。ＣＰＵ１０は、内蔵メモリ１２に格納されたプログラムを実行することで、判断部５０及び画像認識部５１としての処理を実現する。

外部メモリインターフェイス回路１３は、車載制御システム１がＬＳＩ５の外部に有する外部メモリ（図示せず）に格納された情報を取得し、内蔵メモリ１２に格納する。例えば、外部メモリに上述のプログラムが予め格納されるようにしてもよい。この場合、外部メモリインターフェイス回路１３は、外部メモリに格納されるプログラムを取得し、内蔵メモリ１２に格納することで、ＣＰＵ１０がプログラムを実行可能とする。

カメラインターフェイス回路１５は、カメラ入力部５２として機能する。カメラインターフェイス回路１５は、カメラ２から送信された画像情報を受信し、内蔵メモリ１２に格納する。センサインターフェイス回路１６は、センサ入力部５３として機能する。センサインターフェイス回路１６は、距離センサ３から送信された距離情報を受信し、内蔵メモリ１２に格納する。ユーザインターフェイス回路１７は、ユーザ入力部５４およびユーザ出力部５５として機能する。ユーザインターフェイス回路１７は、ユーザインターフェイス装置４から送信された操作情報を受信し、内蔵メモリ１２に格納する。これにより、ＣＰＵ１０（判断部５０及び画像認識部５１）は、内蔵メモリ１２を参照することで、画像情報、距離情報、および操作情報を利用可能となる。ここでＣＰＵ１０はハードウェアアクセラレータ１１、内蔵メモリ１２は外部メモリと置き換えてもよい。

続いて、図３を参照して、実施の形態に係る物体の分類例について説明する。判断部５０は、画像認識部５１からの認識結果情報に基づいて、物体（認識された物体）を、静止物体と、移動物体とに分類する。判断部５０は、画像認識部５１からの認識結果情報に基づいて、物体が静止物体か移動物体かを判断する。さらに、判断部５０は、移動物体を、線形に動く物体と、ランダムに動く物体とに分類する。より具体的には、判断部５０は、図３に示すように、認識した物体を、（１）静止物体と、（２）線形に動く物体と、（３）ランダムに動く物体とに分類する。

なお、この物体の分類は、フィルタ、オプティカルフロー（動きベクトル）、およびパターンマッチングなどの一般的な手法のうち、任意の手法を利用するようにしてよい。例えば、ある画像（第１の画像）とその第１の画像の次の撮像で生成された画像（第２の画像）との間における物体の動き（動きベクトル）の方向と、第２の画像とその第２の画像の次の撮像で生成された画像（第３の画像）との間におけるその物体の動き（動きベクトル）の方向の違いが、所定の許容範囲内であれば線形に動く物体と判断し、その許容範囲外であればランダムに動く物体と判断するようにしてもよい。

続いて、図４〜図８を参照して、オーバーライド要求の判断方法について説明する。

判断部５０は、自動制御モードである場合、各物体の分類結果と、各物体までの距離とに基づいて、自動制御モードで走行を継続すると仮定した場合に自車が各物体を回避した走行経路で走行可能か否かを判断する。なお、判断部５０は、距離センサ３からの距離情報に基づいて、各物体までの距離として認識する。距離センサ３の代わりにＣＭＯＳセンサ２０を用いて距離を測定する方法を用いてもよい。具体的には、ＣＯＭＳセンサ２０を二つ用いたステレオカメラが一般的である。判断部５０は、自車が各物体を回避した走行経路で走行可能でないと判断した場合には、自動制御モードから手動制御モードへの移行を要求するオーバーライド要求を発行する。また、判断部５０は、オーバーライド要求を発行するタイミングも算出し、算出したタイミングでオーバーライド要求を発行する。

ここで、判断部５０は、自車が各物体を回避した走行経路で走行可能か否かを判断する際に、自車の周辺領域について物体が存在する蓋然性を示す存在度の分布をマッピングした地図を生成し、存在度の分布に基づいて自車の走行経路を算出する。この地図は、例えば、鳥瞰マップ（上空から見た平面状の自車周辺領域の図）としてもよい。この地図は、例えば、この地図を示す地図情報として判断部５０によって内蔵メモリ１２に格納されることで保持される。

ここでは、物体が存在する確率を存在度として表す例について説明する。ここで、存在度は、最大値が１００％であり、最小値が０％である。しかしながら、存在度は、物体が存在する蓋然性に応じて変化する値であれば、その形式は確率に限られない。

この場合、判断部５０は、次のように地図上に存在度の分布を設定する。
（１）静止物体について
静止物体が存在する領域は、存在度の最大値（１００％）を設定する。
（２）（３）移動物体について
移動物体が移動する可能性のある領域は、移動物体の分類と、自車からその領域までの距離に応じた存在度を設定する。

このように、静止物体は移動せず常にその場所に存在することとなるため、静止物体が存在する領域は、移動物体が移動する可能性のある領域よりも大きな値となるように存在度が設定される。

ここで、判断部５０は、移動物体が移動する可能性のある領域を、例えば次のように決定する。
（２）線形に動く物体：物体からその進行方向に延びる放射状の領域、物体からその進行方向に延びる帯状の領域、または物体の進行方向の前方に配置された円形状の領域
（３）ランダムに動く物体：物体を中心とした円形状の領域

まず、図４Ａ〜図４Ｃを参照して、線形に動く物体について説明する。物体からその進行方向に延びる放射状の領域は、例えば、図４Ａとして示す形状で配置される。この領域は、物体から遠ざかるに従って、その領域の幅が大きくなるように配置される。また、進行方向に対して左右の曲線部分の曲率は、所定の値として決定してもよく、物体の速度（例えば動きベクトルの大きさ）が小さくなるに従って、より大きくなるように決定してもよい。なお、物体の速度は、上述の物体の動き（例えば動きベクトルの大きさ）により特定することができる。また、進行方向の長さは、所定の値で決定してもよく、物体の速度が大きくなるに従って、より大きくなるように決定してもよい。

物体からその進行方向に延びる帯状の領域は、例えば、図４Ｂとして示す形状で配置される。進行方向の長さは、所定の値として決定してもよく、物体の速度が大きくなるに従って、より大きくなるように決定してもよい。また、進行方向と直交する方向の長さも、所定の値として決定してもよく、物体の速度が大きくなるに従って、より小さくなるように決定してもよい。

物体の進行方向の前方に配置された円形状の領域は、例えば、図４Ｃとして示す形状で配置される。進行方向の長さは、所定の値として決定してもよく、物体の速度が大きくなるに従って、より大きくなるように決定してもよい。また、所定の値で決定してもよく、進行方向と直交する方向の長さは、物体の速度が大きくなるに従って、より小さくなるように決定してもよい。なお、図４Ｃでは、領域が楕円形状の場合について例示しているが、円形状は、正円形状であっても、楕円形状であってもよい。

次に、図５Ａ〜図５Ｂを参照して、ランダムに動く物体について説明する。物体を中心とした円形状の領域は、例えば、図５Ａとして示すように正円形状で配置される。この場合、半径は、所定の値として決定してもよく、物体の速度が大きくなるに従って、より大きくなるように決定してもよい。また、物体を中心とした円形状の領域は、例えば、図５Ｂとして示すように楕円形状で配置されるようにしてもよい。この場合、進行方向の長さは、所定の値として決定してもよく、物体の速度が大きくなるに従って、より大きくなるように決定してもよい。また、この場合、進行方向と直交する方向の長さは、所定の値として決定してもよく、物体の速度が大きくなるに従って、より小さくなるように決定してもよい。

次に、移動物体が移動する可能性のある領域における存在度の決定方法について説明する。まず、判断部５０は、自車から領域までの距離に応じて、存在度の初期値を決定する。

判断部５０は、図６に例示するように、自車からその進行方向に延びる放射状の領域を、自車の移動可能領域として決定する。そして、その移動可能領域内で、移動物体が移動する可能性のある領域の存在度を、例えば次のように決定する。

・距離Ｒ１未満の領域は、１００％とする
・距離Ｒ２未満の領域（距離Ｒ１未満の領域除く）は、７０％とする
・距離Ｒ３未満の領域（距離Ｒ２未満の領域除く）は、４０％とする
・距離Ｒ３以上の領域（距離Ｒ３未満の領域除く）は、２０％とする

すなわち、存在度は、自車から物体までの距離が短くなるに従って、より大きな値となるように決定される。例えば、距離Ｒ２は距離Ｒ１よりも長く、距離Ｒ３は距離Ｒ２よりも長く設定される。また、各距離Ｒ１〜Ｒ３は、予め定めてもよく、自車の速度に応じて動的に変化させてもよい。例えば、判断部５０は、自車の速度に基づいて、距離Ｒ１を自車がＸ１秒で到達する距離とし、距離Ｒ２を自車がＸ２秒で到達する距離とし、距離Ｒ３を自車がＸ３秒で到達する距離としてもよい（Ｘ３＞Ｘ２＞Ｘ１）。なお、判断部５０は、自車の速度を任意の方法で取得するようにしてよい。例えば、判断部５０は、センサ入力部５３を介して自車の車軸センサ（図示せず）から車軸の回転角度を示す角度情報を取得し、取得した角度情報が示す回転角度に基づいて自車の速度を算出する。

ここで、移動物体が自車に近い場所に存在する場合には、自車がその場所に到達するまでの時間も短いため、自車がその場所に到達したときに移動物体はあまり移動していない可能性が高い。一方、移動物体が自社の遠い場所に存在する場合には、自車がその場所に到達するまでの時間も長いため、自車がその場所に到達したときには移動物体は遠くに移動してしまっている可能性が高い。よって、移動物体の存在度は、上述したように、自車から移動物体までの距離が短くなるに従って、より大きな値となり、自車から移動物体までの距離が長くなるに従って、より小さな値となるように決定される。

次に、判断部５０は、移動物体が移動する可能性のある領域について距離に応じた存在度を決定した場合、その存在度を移動物体の分類に応じて調整することで最終的な存在度を決定する。

判断部５０は、移動物体の分類に応じた係数を存在度に乗算することで最終的な存在度を決定する。移動物体の分類に応じた係数は、任意の値を予め決定するようにしてよい。例えば、線形に動く物体は「２」とし、ランダムに動く物体は「３」としてもよい。このように、ランダムに動く物体は、線形に動く物体と比較して移動先が予測し難いため、線形に動く物体よりも係数を大きくするとよい。これによれば、ランダムに動く物体に対して、自車の走行経路を安全サイドに倒して狭めることになり、より安全性を担保することができる。

また、判断部５０は、異なる移動物体間で移動する可能性のある領域が重複している場合は、その重複している領域については、高い方の存在度を最終的な存在度として採用するようにしてもよく、それぞれの存在度を加算した値を、最終的な存在度として採用するようにしてもよい。また、加算した値が最大値を超える場合には、存在度を最大値に丸め込むようにすればよい。

判断部５０は、地図上における最終的な存在度の分布に従って、自車が各物体を回避して走行可能な線（走行経路）を算出する。判断部５０は、地図上で自車を模した物体を走行させるシミュレーションを行うことで、自車を模した物体が所定の閾値以上の存在度が設定された領域と重複することなく走行可能な線を算出できるか否かを判断する。これらの領域および自車を模した物体は、例えば、グリッド単位に区切られた地図上に配置されて上述の判断が行われる。

判断部５０は、走行可能な線を算出できたと判断した場合、その算出した線の通りに自車が走行するように指令値を生成し、ＬＳＩ６に送信する。すなわち、自動制御モードによる自車の制御が継続される。

一方、判断部５０は、走行可能な線を算出できないと判断した場合、運転者に自車の運転を委ねるためにオーバーライド要求を発行する。ここで、図７および図８を参照して、走行可能な線を算出できないと判断する状況の一例について説明する。また、ここでは、閾値は、４０％であるものとする。

図７は、静止物体２０１〜２０５だけが存在し、線が算出できない場合における地図の例について示している。静止物体２０１〜２０５が存在する領域は、その静止物体２０１〜２０５として認識した物体の形状に応じて複数グリッドで配置される。これらのグリッドは、存在度が１００％に設定される。自車も所定の複数グリッドで配置される。ここで、図７に示す例では、静止物体２０１と静止物体２０２の間と、静止物体２０２と静止物体２０３の間は、自車の幅よりも広いものとする。一方で、静止物体２０４と静止物体２０１、２０２のそれぞれとの間と、静止物体２０５と静止物体２０２、２０３のそれぞれとの間は、自車の幅よりも狭いものとする。この場合、判断部５０は、この自車を移動させる複数のパターンを検証するが、自車がどのような走行経路をとっても静止物体２０１〜２０５が存在する領域のいずれかと重複する。言い換えると、自車がどのような走行経路をとっても閾値（４０％）以上の領域と重複してしまう。よって、この場合は、判断部５０は、自車が走行可能な線を算出できないと判断する。

図８は、静止物体２１１、２１２と移動物体２１３、２１４が存在し、線が算出できない場合における地図の例について示している。静止物体２１１、２１２が存在する領域と、移動物体２１３、２１４が移動する可能性のある領域は、それらの物体として認識した物体の形状に応じて複数グリッドで配置される。静止物体２１１、２１２が存在する領域のグリッドは、存在度が１００％に設定される。移動物体２１３、２１４が移動する可能性のある領域のうち、線形に移動する物体２１４が移動する可能性のある領域は４０％に設定され、ランダムに移動する物体２１３が移動する可能性のある領域は６０％に設定されるものとする。例えば、これらの領域が、上述の距離に応じた存在度と係数の例で、距離Ｒ３以上の領域内に存在する場合には、このような存在度が算出される。ここでは、線形に移動する物体２１４が移動する可能性のある領域と、ランダムに移動する物体２１３が移動する可能性のある領域とが重複する領域は、それらの領域の存在度を加算した値として１００％を設定している。また、自車も所定の複数グリッドで配置される。図８に示す例では、静止物体２１１が存在する領域と移動物体２１３が移動する可能性のある領域の間と、移動物体２１３が移動する可能性のある領域と移動物体２１４が移動する可能性のある領域との間に隙間は無いものとする。また、移動物体２１４が移動する可能性のある領域と静止物体２１１が存在する領域との間は、自車の幅よりも狭いものとする。この場合、判断部５０は、この自車を移動させる複数のパターンを検証するが、自車がどのような走行経路をとっても静止物体２１１、２１２が存在する領域または移動物体２１３、２１４が移動する可能性のある領域のいずれかと重複する。言い換えると、自車がどのような走行経路をとっても閾値（４０％）以上の領域と重複してしまう。よって、この場合も、判断部５０は、自車が走行可能な線を算出できないと判断する。

そして、判断部５０は、このように、自車が走行可能な線を算出できないと判断した場合には、自動制御モードから手動制御モードに移行させるオーバーライド要求を発行する。

続いて、図９および図１０を参照して、オーバーライド要求の発行に関する各要素の関係について説明する。オーバーライド要求は、図９に示す態様で発行するようにしてもよく、図１０に示す態様で発行するようにしてもよい。

まず、図９に示す例について説明する。上述したように判断部５０は、画像認識部５１による認識結果と、距離センサ３による測定結果とに基づいてオーバーライド要求発行の要否を判定する。そして、判断部５０は、オーバーライド要求を発行すると判断した場合、オーバーライド要求として自動制御モードから手動制御モードに移行させるとの判断結果を制御部６０に通知する。制御部６０は、判断部５０からの判断結果の通知に応じて、自動制御モードとしての制御を止めて手動制御モードとしての制御を開始する。また、制御部６０は、判断結果の通知に応じて、オーバーライド要求として運転者に対して運転を要求する通知を出力装置７によって行う。この要求は、自動制御モードから手動制御モードに移行させる旨の通知に相当する。

次に、図１０に示す例について説明する。上述したように判断部５０は、画像認識部５１による認識結果と、距離センサ３による測定結果とに基づいてオーバーライド要求発行の要否を判定する。そして、判断部５０は、オーバーライド要求を発行すると判断した場合、オーバーライド要求として判断結果を制御部６０に通知する。制御部６０は、オーバーライド要求に応じて、自動制御モードとしての制御を止めて手動制御モードとしての制御を開始する。また、判断部５０は、オーバーライド要求を発行すると判断した場合、オーバーライド要求として運転者に対して運転を要求する通知を出力装置７によって行う。

このように、オーバーライド要求として、図９に示すように、制御部６０と運転者とに、自動制御モードから手動制御モードに移行する旨がシーケンシャルに通知されるようにしてもよく、図１０に示すように、制御部６０と運転者とに、自動制御モードから手動制御モードに移行する旨がパラレルに通知されるようにしてもよい。図１０に示すように、オーバーライド要求を発行した場合には、制御部６０を介さずに運転者に対して自動制御モードから手動制御モードに移行する旨（運転を要求する旨）が通知されるため、運転者に対するレスポンスをより高速にすることができる。

続いて、オーバーライド要求の発行タイミングの算出方法について説明する。判断部５０は、自車が各物体を回避して走行可能な線を算出できなかった場合であっても、代表的な自車が走行する線（走行経路）を算出し、その線に沿って自車が走行した場合に自車が物体に到達するまでの時間を算出する。ここで、自車が物体に到達するまでの時間は、例えば、自車が物体が存在する領域に到達するまでの時間であるが、物体が移動物体である場合には、自車が物体が移動する可能性のある領域に到達するまでの時間としてよい。

そして、判断部５０は、自車が物体に到達する時点から、オーバーライド要求を発行してから運転者が車両を制動させるための操作を開始するまでの準備時間と、その操作によって車両が停止するまでの制動時間との合計時間を遡った時点までにオーバーライド要求を発行する。以下、この合計時間を「オーバーライド要求発行の限界時間」と言う。なお、判断部５０は、例えば、自車が物体に到達するまでの時間を、その物体までの距離と、車軸センサの角度情報に基づく自車の速度とから算出すればよい。ここで、準備時間は、オーバーライド要求を発行してから運転者が運転をできる状態になるまでの反応時間である予備時間と、運転者が運転をできる状態になってから操作を開始するまでの反応時間である運転者操作時間とを含む。すなわち、予備時間は、運転者が、出力装置７による通知によって、オーバーライド要求の発行を認識するまでの時間に相当する。

なお、判断部５０は、オーバーライド要求は、上述の自車が物体に到達する時点からオーバーライド要求発行の限界時間を遡った時点までに発行するものであれば、いずれのタイミングで発行するようにしてもよいが、典型的には、図１１に示すように、判断部５０は、オーバーライド要求発行の限界時間を遡った時点でオーバーライド要求を発行する。ここで、厳密には、上述の予備時間、運転者操作時間、及び制動時間は、実際に制動制御をした場合に自車が物体に到達する時点よりも前に制動時間が終了する（すなわち自車が物体の手前で停止する）ように、余裕をもった時間で定められる。オーバーライド要求発行の限界時間は、次式（１）〜（３）によって算出される。

制動距離 ＝ 制動前の自車速度（Km/h）の２乗÷（２５４×路面の摩擦係数） ・・・ （１）
制動時間 ＝ ２×制動距離／自車速度 ・・・ （２）
オーバーライド要求発行の限界時間
＝ 予備時間＋運転者操作時間＋制動時間・・・（３）

式（１）によって算出される制動距離は、自車を制動させて物体を停止または回避するまでの距離となる。なお、自車の速度は、例えば、上述したように、車軸センサの角度情報に基づいて算出するようにすればよい。

ここで、自車と路面との間の摩擦係数は、自車の速度、自車の特性（例えばタイヤの特性）、および路面の状態に応じて変化する。よって、摩擦係数は、所定の値としてもよいが、好ましくは、次に説明するように動的に算出するとよい。

続いて、摩擦係数の算出方法について説明する。摩擦係数を算出する際の処理の流れを示す概念図である。判断部５０は、自車を制動する制御が行われた場合に、そのときの制動距離と自車の速度とを算出し、算出した制動距離と自車の速度とに基づいて実際の摩擦係数を算出する。なお、自車の速度は、自車を制動する制御が開始された時点の速度となる。また、判断部５０は、制動距離を、自車を制動する制御が開始された時点の位置から、その制御によって自車が停止した時点の位置までの距離として算出する。判断部５０は、手動制御モードでは、自車を制動する制御が開始された時点を、ブレーキから送信された操作情報に基づいてブレーキに対する操作が開始されたことを検出した時点として検出すればよい。また、判断部５０は、自動制御モードでは、自車を制動する制御が開始された時点を、自車を制動して停止させるためにブレーキを制御する指令値の送信を開始した時点として検出すればよい。また、判断部５０は、自車が停止した時点を、自車の速度が０となった時点として検出すればよい。

また、この自車の位置の算出は、例えば、図１２に示すように、車軸センサと、６Ｄセンサ（図示せず）と、カメラ２からの情報を利用する。

６Ｄセンサは、ＧＰＳ（Global Positioning System）と、３軸の加速度センサと、３軸の地磁気センサとが１つに統合されたセンサである。６Ｄセンサは、ＧＰＳとしての機能によって測定される自車の位置を示す位置情報と、３軸の加速度センサとしての機能によって測定される３軸方向における自車の加速度情報と、３軸の地磁気センサとしての機能によって測定される自車の方向を特定するための３軸方向における地磁気を示す地磁気情報とをＬＳＩ５に送信する。判断部５０は、６Ｄセンサから送信された位置情報をセンサ入力部５３を介して取得し、取得した位置情報が示す位置を、自車の位置として算出する。また、判断部５０は、ＧＰＳによる位置情報の取得間隔の間においては、次に説明するように車軸センサで算出した走行距離に基づいて自車の位置を更新する。

車軸センサは、上述したように、自車の車軸の回転角度を示す角度情報をＬＳＩ５に送信する。判断部５０は、車軸センサから送信された角度情報をセンサ入力部５３を介して取得し、取得した角度情報が示す車軸の回転角度に基づいて、自車の速度を算出する。そして、判断部５０は、算出した自車の速度を積分することで走行距離を算出する。

また、判断部５０は、画像認識部５１からの認識結果に基づいて、ＳＬＡＭ（Simultaneous Localization And Mapping）により自己位置の推定およびマップとの位置比較（自己位置固定）を行う。判断部５０は、車軸センサおよび６Ｄセンサからの情報に基づいて算出した自車の位置を、このＳＬＡＭによって得られる自車の周辺物体からの相対位置に基づいて、より正確な位置に補正し、補正後の自車の位置を、最終的な自車の位置として算出する。

なお、自車の位置は、上述の車軸センサからの情報に基づく走行距離、６Ｄセンサからの情報に基づく位置、およびＳＬＡＭによる位置の全てを利用することに限られない。摩擦係数を算出できる精度で自車の位置を算出することができれば、それらのうちの少なくとも１つ、または、他の手法により自車の位置を算出するようにしてもよい。

判断部５０は、式（１）によって、このようにして算出した制動距離と自車の速度とから、摩擦係数を逆算する。このように、自車を制動させる制御が行われるごとに、摩擦係数を算出して、随時、制動距離の算出に利用する摩擦係数を更新する。

判断部５０は、このようにして算出した摩擦係数を用いて、式（１）により制動距離を算出する。次に、判断部５０は、算出した制動距離を用いて、式（２）により制動時間を算出する。そして、判断部５０は、算出した制動時間を用いて、式（３）によりオーバーライド要求発行の限界時間を算出する。なお、式（３）における予備時間および運転者操作時間は、所定の時間としている。

続いて、図１３を参照して、実施の形態１に係るＬＳＩ６のオーバーライド要求判断処理について説明する。判断部５０は、例えば、所定の時間間隔ごとに次の処理を実行し、オーバーライド要求の要否を判断する。

センサ入力部５３は、距離センサ３から送信された距離情報を受信し、判断部５０に出力する（Ｓ１）。カメラ入力部５２は、カメラ２から送信された画像情報を受信し、画像認識部５１に出力する（Ｓ２）。画像認識部５１は、カメラ入力部５２から出力された画像情報が示す画像について、画像認識を行う（Ｓ３）。すなわち、画像認識部５１は、画像に含まれる物体を検出して認識する。画像認識部５１は、その認識結果を示す認識結果情報を判断部５０に出力する。

次に、判断部５０は、ステップＳ４〜Ｓ１０までの処理を、画像認識部５１で認識された全ての物体に対して順番に実行する。

判断部５０は、センサ入力部５３から出力された距離情報に基づいて、物体までの距離を算出する（Ｓ４）。判断部５０は、画像認識部５１から出力された認識結果情報が示す認識結果に基づいて、その物体が静止物体か移動物体かを判定する（Ｓ５）。また、物体が移動物体であると判定した場合（Ｓ５：動き）、判断部５０は、画像認識部５１から出力された画像認識結果情報が示す画像認識結果に基づいて、その物体の動き特性を判定する（Ｓ６）。すなわち、判断部５０は、その物体が線形に動く物体か、ランダムに動く物体かを判定する。

物体が線形に動く物体であると判定した場合（Ｓ６：線形）、判断部５０は、その物体が動作する可能性のある領域の存在度として、線形に動く物体の存在度を算出する（Ｓ７）。すなわち、判断部５０は、その物体が動作する可能性のある領域の存在度として、自車からの距離に応じた存在度に、線形に動く物体の係数を乗算した値を算出する。

物体がランダムに動く物体であると判定した場合（Ｓ６：ランダム）、判断部５０は、その物体が動作する可能性のある領域の存在度として、ランダムに動く物体の存在度を算出する（Ｓ８）。すなわち、判断部５０は、その物体が動作する可能性のある領域の存在度として、自車からの距離に応じた存在度に、ランダムに動く物体の係数を乗算した値を算出する。

物体が静止物体であると判定した場合（Ｓ５：静止）、判断部５０は、その物体が存在する領域の存在度として、静止物体の存在度を算出する（Ｓ９）。すなわち、判断部５０は、その物体が存在する領域の存在度として、存在度の最大値を算出する。

存在度の算出後（Ｓ７、Ｓ８、またはＳ９の後）、判断部５０は、算出した存在度を地図上に統合する統合処理を実施する（Ｓ１０）。すなわち、判断部５０は、地図上に、算出した存在度を設定する。このとき、既に存在度が設定されている領域（グリッド）については、例えば、上述したように、その存在度に後から設定しようとした存在度を加算した値を設定するようにしてよい。

認識した全ての物体について統合処理が完了後、判断部５０は、生成した地図上で、自車が走行可能な線を算出できるか否かを判断する（Ｓ１１）。そして、自車が走行可能な線を算出できないと判断した場合には、判断部５０は、自動制御モードから手動制御モードへの移行を要求するオーバーライド要求を発行する（Ｓ１２）。

以上に説明したように、従来技術における制御権の移行は、図１４に示すように、運転者またはシステムが能動的に制御権を取得しに行く制御が主であった。それに対して、本実施の形態では、自動制御モードにおける車両の走行経路の算出において、認識した物体を回避した走行経路を算出できない場合に、自動制御モードから手動制御モードへ移行させるようにしている。そのため、自動制御モードでの走行を極力継続しつつも、絶対に安全であるとは言える状況でない場合に制御権を運転者に受け渡すことが可能となる。よって、システムから運転者への制御権の的確な受け渡しを実現することができる。

また、本実施の形態では、少なくとも、車両が物体に到達すると推定される時点から、運転者が車両を制動させる操作に入るまでの時間として定められた準備時間と、車両の速度に基づいて算出した車両の制動時間とを加算した限界時間を遡った時点までに自動制御モードから手動制御モードへ移行させるようにしている。これによれば、図１５に示すように、運転者による操作時間が十分に担保された適切なタイミングで制御権の受け渡しを実現することができる。

＜実施の形態２＞
続いて、実施の形態２について説明する。まず、図１６を参照して、実施の形態２に係る車載制御システム１のシステム構成について説明する。なお、実施の形態１と同様の内容については、適宜その説明を省略する。

実施の形態２に係る車載制御システム１は、実施の形態１に係る車載制御システム１と比較して、さらに、アイカメラ８と、心拍センサ９とを有する。また、実施の形態２に係るＬＳＩ５は、実施の形態１に係るＬＳＩ５と比較して、さらに、判断部５０および画像認識部５１に代えて、判断部５６および画像認識部５７を有する。

アイカメラ８は、自動車の運転者を撮像する装置である。アイカメラ８は、ＣＭＯＳセンサ８０を有する。ＣＭＯＳセンサ８０は、運転者を撮像することで、運転者の画像を示す画像情報を生成し、ＬＳＩ５に送信する。アイカメラ８は、少なくとも運転者の目をその撮像範囲に含むように自動車に搭載されている。

心拍センサ９は、運転者の心拍数を計測し、計測した心拍数を示す心拍数情報をＬＳＩ５に送信する。心拍センサ９は、自動車において、運転者の心拍数を計測可能な箇所に設置される。例えば、心拍センサ９は、ハンドルまたはシートベルトなどに設置される。

よって、本実施の形態２では、カメラ入力部５２は、さらに、アイカメラ８から送信された画像情報を受信し、画像認識部５７に画像情報を出力する。また、センサ入力部５３は、さらに、心拍センサ９から送信された心拍数情報を受信し、判断部５６に心拍数情報を出力する。

画像認識部５７は、実施の形態１に係る画像認識部５１と比較して、さらに、カメラ入力部５２から出力されたアイカメラ８からの画像情報が示す画像に基づいて、運転者の視線の動きを認識する。画像認識部５７は、その認識結果を示す視線認識結果情報を判断部５６に出力する。

判断部５６は、判断部５０と比較して、さらに、画像認識部５７から出力された視線認識結果情報が示す認識結果と、センサ入力部５３から出力された心拍数情報が示す心拍数とに基づいて、運転者の緊張度を算出する処理が追加されている。判断部５６は、算出した緊張度に応じて、オーバーライド要求発行の限界時間の算出に利用する予備時間を調整する。

緊張度は、例えば、所定の時間内において、画像間で視線が動いたと判定される割合が高くなるに従って、より高くなるように算出される。例えば、判断部５６は、視線の動き（例えば瞳孔の動きベクトル）が所定の閾値を超えた場合に視線が動いたと判断する。また、緊張度は、心拍数が大きくなるに従って、より高くなるように算出される。

続いて、図１７を参照して、オーバーライド要求の発行に関する各要素の関係について説明する。図１７は、実施の形態１において図９で示した関係を基礎として、実施の形態２が適用された例について示している。

本実施の形態２では、判断部５６は、実施の形態１の判断部５０と比較して、さらに、運転者の状態として、運転者の視線の動きと心拍数を取得する。判断部５６は、実施の形態１の判断部５０と比較して、さらに、運転者の状態に基づいて、オーバーライド要求発行に関する判断を行う。

続いて、図１８を参照して、実施の形態１に係るＬＳＩ５のオーバーライド要求判断処理について説明する。なお、図１８におけるステップＳ１〜Ｓ１２は、実施の形態１の説明における図１２のステップＳ１〜Ｓ１２と同様であるため、その説明を省略する。

本実施の形態２では、認識した全ての物体について統合処理（Ｓ１０）が完了した後、判断部５０は、運転者の緊張度を算出し、算出した緊張度に応じて予備時間を調整する（Ｓ１３）。そして、判断部５０は、ステップＳ１２でオーバーライド要求を発行する場合には、調整後の予備時間を利用してオーバーライド要求発行の限界時間を算出する。

続いて、図１９を参照して、実施の形態２に係るＬＳＩ５の予備時間調整処理について説明する。ここで、図１９のステップＳ２３〜Ｓ２８は、図１７のステップＳ１３に相当する。

まず、手動運転モード時の処理について説明する。判断部５０は、例えば、所定の時間が経過する度に、以下のステップＳ２０〜Ｓ２２の処理を実施する。アイカメラ８は、運転者を撮像して運転者の画像を示す画像情報をＬＳＩ５に送信する。心拍センサ９は、運転者の心拍数を計測し、計測した心拍数を示す心拍数情報をＬＳＩ５に送信する（Ｓ２０）。判断部５６は、画像認識部５７から出力された視線認識結果情報が示す運転者の視線の動きと、心拍センサ９から送信された心拍数情報が示す心拍数とに基づいて、運転者の緊張度Ａを算出する（Ｓ２１）。判断部５６は、算出した緊張度Ａを示す緊張度情報を内蔵メモリ１２に格納する（Ｓ２２）。この緊張度Ａは、運転者が正常状態にある緊張度の基準値として利用される。

次に、自動運転モード時の処理について説明する。ステップＳ２３およびＳ２４については、ステップＳ２０およびＳ２１と同様であるため、その説明を省略する。判断部５６は、手動運転モード時に事前に算出しておいた緊張度Ａと、自動運転モード時のオーバーライド要求を発行しようとしているときにおける緊張度Ｃ（ステップＳ２４で算出）とを比較する（Ｓ２５）。判断部５６は、緊張度Ｃと緊張度Ａとの差が所定の閾値以上であるか否かを判断する（Ｓ２６）。

緊張度Ａと緊張度Ｃとの差が所定の閾値以上であると判断した場合（Ｓ２６：Ｙｅｓ）、判断部５６は、予め定めた基準時間に、調整時間を加算した時間を、予備時間として設定する（Ｓ２７）。ここで、基準時間は、運転者が正常状態である場合の予備時間である。

緊張度Ａと緊張度Ｃとの差が所定の閾値未満であると判断した場合（Ｓ２６：Ｎｏ）、判断部５６は、予め定めた基準時間を、予備時間として設定する（Ｓ２８）。

以上に説明したように、本実施の形態２では、運転者の状態の測定結果に基づいて運転者の緊張度を算出し、算出した緊張度が所定の適正範囲を超えている場合、準備時間を増加させるようにしている。これによれば、運転者の状態に限らず、運転者による操作時間をより十分に担保することができる。

＜実施の形態３＞
続いて、実施の形態３について説明する。まず、図２０を参照して、実施の形態３に係る車載制御システム１のシステム構成について説明する。なお、実施の形態２と同様の内容については、適宜その説明を省略する。

実施の形態３に係る車載制御システム３では、ＬＳＩ５が、実施の形態２に係るＬＳＩ５と比較して、さらに、学習蓄積部５８を有する。また、ＬＳＩ６は、制御部６０に代えて、制御部６３を有する。

学習蓄積部５８は、ユーザインターフェイス装置４から送信された操作情報に基づいて、オーバーライド要求発行時におけるユーザの操作を学習・蓄積する。学習蓄積部５８は、学習結果に応じて、判断部５６がオーバーライド要求発行の限界時間の算出に利用する運転者操作時間を調整する。

制御部６３は、実施の形態１、２の制御部６０と比較して、さらに、判断部５６からの自動制御モードから手動制御モードへ移行するとの判断結果を示す判断結果情報の受信に応じて、自動制御モードから手動制御モードへ移行を通知する通知情報を学習蓄積部５８に通知する。この通知情報により、学習蓄積部５８は、オーバーライド要求の発行タイミング（自動制御モードから手動制御モードへ移行したタイミング）を認識することが可能である。

続いて、図２１を参照して、オーバーライド要求の発行に関する各要素の関係について説明する。図２１は、実施の形態１において図９で示した関係を基礎として、実施の形態２、３が適用された例について示している。

本実施の形態３では、学習蓄積部５８は、運転者の状態として、運転者の操作を学習・蓄積する。また、制御部６３は、実施の形態１、２の制御部６０の動作に加え、さらに、判断結果の通知に応じて、オーバーライド要求の発行を学習蓄積部５８に通知する。これにより、学習蓄積部５８は、オーバーライド要求の発行時におけるユーザの操作を認識可能となる。学習蓄積部５８は、オーバーライド要求の発行時におけるユーザの操作を学習する。学習蓄積部５８は、学習結果に応じて、判断部５６が利用する運転者操作時間を調整する。なお、オーバーライド要求の発行の通知は、判断部５６がオーバーライド要求を発行するときに、学習蓄積部５８に通知するようにしてもよい。

続いて、図２２を参照して、実施の形態３に係るＬＳＩ５のオーバーライド要求判断処理について説明する。なお、図２２におけるステップＳ１〜Ｓ１３は、実施の形態２の説明における図１８のステップＳ１〜Ｓ１３と同様であるため、その説明を省略する。

本実施の形態３では、オーバーライド要求の発行（Ｓ１２）の後、学習蓄積部５８は、ユーザインターフェイス装置４から送信された操作情報に基づいて、オーバーライド要求発行時におけるユーザの操作を学習・蓄積する（Ｓ１４）。また、学習蓄積部５８は、ステップＳ１２でオーバーライド要求を発行する場合には、学習結果に応じて、判断部５６が利用する運転者操作時間を調整する。

続いて、図２３を参照して、実施の形態３に係るＬＳＩ５の運転者操作時間調整処理について説明する。ここで、図２３のステップＳ３１〜Ｓ３６は、図２２のステップＳ１４に相当する。

学習蓄積部５８は、オーバーライド要求が発行された時点から、運転者によって操作が開始される時点までの時間を計測する（Ｓ３１）。上述したように、学習蓄積部５８は、このオーバーライド要求の発行時点を、制御部６３からの通知情報を受信した時点として認識する。また、運転者によって操作が開始される時点は、運転者によって操作が行われたことを示す操作情報をユーザインターフェイス装置４から受信した時点として認識する。

また、学習蓄積部５８は、オーバーライド要求が発行された時点からの運転者による操作の正確さを判断する（Ｓ３２）。学習蓄積部５８は、操作の正確さとして、例えば、操作の正確さが高くなるに従って、より高い値となる正確度を算出する。ここで、操作の正確さは、例えば、次のように運転者による自車の操作が、その期待値と一致するか否かによって判断する。

１つ目の方法として、学習蓄積部５８は、操作の正確さを、運転者が操作したユーザインターフェイス装置４が、期待するユーザインターフェイス装置４と一致したか否かによって判断するようにしてよい。例えば、オーバーライド要求後には、自車を制動させることが期待されるため、期待するユーザインターフェイス装置４としてブレーキを予め定めておく。学習蓄積部５８は、ユーザインターフェイス装置４から受信した操作情報が、ブレーキからの操作情報であれば正確度を高く算出し、ハンドルまたはアクセルからの操作情報であれば正確度を低く算出する。

また、２つ目の方法として、学習蓄積部５８は、判断部５６が算出した自車の走行経路と、運転者が操作した自車の走行経路が一致するか否かによって判断するようにしてよい。例えば、この場合、判断部５６は、上述の地図情報を、算出した走行経路を示すように生成する。学習蓄積部５８は、判断部５６によって内蔵メモリ１２に格納された地図情報が示す地図における走行経路と、ユーザインターフェイス装置４から受信した操作情報が示す操作に基づいて算出した実際の自車の走行経路とを比較し、それらの一致度を判断する。そして、学習蓄積部５８は、走行経路の一致度が高くなるに従って、より高い正確度を算出する。

このように、運転者による正確度は、運転者による操作が、その期待値と一致しない場合よりも、一致する場合の方が高くなるように算出される。なお、これらの２つの方法を実施して、総合的に正確度を算出するようにしてもよい。

学習蓄積部５８は、ステップＳ３１での計測した時間と、ステップＳ３２での判断結果とに基づいて、運転者の操作の評価結果を示すポイントを算出する（Ｓ３３）。このポイントは、ステップＳ３１で計測した時間が現在の準備時間より長い場合よりも、ステップＳ３１で計測した時間が現在の準備時間よりも短い場合の方が高い値となるように算出される。また、このポイントは、ステップＳ３２で算出した運転の正確さが高くなるに従って、より高い値となるように算出される。学習蓄積部５８は、算出したポイントを示すポイント情報を内蔵メモリ１２に格納する（Ｓ３４）。このポイントは、過去に算出された複数のポイントとの平均値とすることで学習結果を蓄積するようにしてもよい。

学習蓄積部５８は、内蔵メモリ１２に格納されたポイント情報に基づいて、運転者操作時間を算出する（Ｓ３５）。運転者操作時間は、ポイントが低くなるに従って、より長い時間となるように算出される。例えば、運転者操作時間は、ポイントに対して反比例する値として算出されるようにしてもよい。また、例えば、運転者操作時間は、ポイントが所定の閾値よりも低い場合に、所定の運転者操作時間の基準値に、所定の調整値が加算されるようにしてもよい。学習蓄積部５８は、算出した運転者操作時間を、判断部５６が利用する運転者操作時間として反映する（Ｓ３６）。

以上に説明したように、本実施の形態３では、自動制御モードから手動制御モードへ移行させた時点から、運転者が車両を操作するまでの時間を計測し、計測した時間が準備時間よりも長い場合よりも、計測した時間が準備時間よりも短い場合の方が大きい値となるように評価値（ポイント）を算出するようにしている。また、自動制御モードから手動制御モードへ移行させた時点からの運転者による車両の操作と、その期待値とを比較し、それらが一致しない場合よりも、それらが一致する場合の方が大きい値となるように評価値を算出するようにしている。そして、評価値が低くなるに従ってより長い時間となるように準備時間を算出し更新するようにしている。これによれば、運転者の操作能力に限らず、運転者による操作時間をより十分に担保することができる。

＜実施の形態４＞
ここで、図２４を参照して、上述の実施の形態１乃至３から抽出される一実施の形態について実施の形態４として説明する。図２４に示すように、実施の形態４に係る半導体装置１００は、運転者からの操作に応じて制御する手動制御モードと、自動的に制御する自動制御モードとの間で、車両の制御モードの移行を制御する。半導体装置１００は、認識部１０１と、経路算出部１０２と、モード制御部１０３とを有する。

認識部１０１は、車両の周辺の観測結果に基づいて車両の周辺に存在する物体を認識する。経路算出部１０２は、認識した物体に基づいて、自動制御モードにおける車両の走行経路を算出する。モード制御部１０３は、認識した物体を回避した走行経路を算出できない場合に、自動制御モードから手動制御モードへ移行させる。認識部１０１は、画像認識部５１、５７に対応する。経路算出部１０２およびモード制御部１０３は、判断部５０、５６に対応する。

これによれば、自動制御モードで極力走行を継続しつつも、制御権を運転者に受け渡すべき状況で、制御権を運転者に受け渡すことが可能となる。よって、システムから運転者への制御権の的確な受け渡しを実現することができる。

以上、本発明者によってなされた発明を複数の実施の形態に基づき具体的に説明したが、本発明は既に述べた実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることはいうまでもない。

例えば、上記の実施形態では、センサ３、９、２０、８０を１つだけ有する場合について例示したが、これに限られない。複数のセンサ３、９、２０、８０を有するようにし、画像認識部５１、５７および判断部５０、５６が複数のセンサからの情報を総合的に判断するようにしてもよい。

また、上記の実施の形態１乃至３では、画像認識部５１、５７および判断部５０、５６と、制御部６０、６１とを異なるＬＳＩ５、６に有する例について説明したが、これに限られない。画像認識部５１、５７と、判断部５０、５６と、制御部６０、６３を、１つのＬＳＩ内に有するようにしてもよい。この場合、ユーザ入力部５４、６１とユーザ出力部５５、６２は、１つだけ有するようにしてよい。

また、上記の実施の形態１乃至３では、移動物体を、線形に動く物体と、ランダムに動く物体とにさらに分類する例について説明したが、分類しないようにしてもよい。また、存在度を考慮せずに、静止物体が存在する領域と、移動物体が移動する可能性のある領域を回避するように走行経路を算出するようにしてもよい。しかしながら、好ましくは、上記の実施形態で説明したように、この移動物体の分類と、存在度を考慮するとよい。そのようにすることで、実際の状況をより考慮した判断を行うことができるため、判断の精度を向上させることができる。

また、上記の実施の形態１乃至３では、図６に示す移動可能領域内に存在する物体のみを考慮する例について説明したが、これに限られない。移動可能領域外に存在する物体であっても、移動物体は移動可能領域内に移動してくる可能性がある。そのため、移動可能領域外の物体も考慮してオーバーライド要求の要否判断を行うようにしてもよい。

また、上記の実施の形態１乃至３では、移動物体が移動する可能性のある領域を、図４および図５に示すように算出する例について説明したが、これに限られない。ＬＳＩ５に無線通信によって他のＬＳＩ５と通信する無線通信部を有するようにし、この無線通信部を介して他の自動車に搭載されたＬＳＩ５から、そのＬＳＩ５が算出した走行経路を示す走行経路情報を受信するようにしてもよい。そして、判断部５０は、受信した走行経路情報が示す走行経路を、他の自動車（物体）の移動する可能性のある領域として算出するようにしてもよい。

また、上記の実施の形態２では、視線の動きと心拍数の両方に基づいて緊張度を算出する例について説明したが、いずれか１つに基づいて緊張度を算出するようにしてもよい。

また、上記の実施の形態２では、緊張度Ａと緊張度Ｃとの差（緊張度Ｃから緊張度Ａを引いた値の絶対値）が所定の閾値以上であるか否かを判断する例について説明したが、これに限られない。例えば、緊張度Ｃが緊張度Ａよりも高く、緊張度Ｃから緊張度Ａを減算した値が閾値以上である場合に予備時間を調整し（Ｓ２７）、それ以外の場合には予備時間を調整しない（Ｓ２８）ようにしてもよい。

また、上記の実施の形態３では、計測した時間と操作の正確さの両方に基づいてポイントを算出するようにしているが、いずれか１つに基づいてポイントを算出するようにしてもよい。

また、上記の実施の形態３では、学習蓄積部５８を実施の形態２の構成に対して適用した場合について例示したが、実施の形態１の構成に対して適用するようにしてもよい。

１ 車載制御システム
２ カメラ
３ 距離センサ
４ ユーザインターフェイス装置
５、６ ＬＳＩ
７ 出力装置
８ アイカメラ
９ 心拍センサ
２０、８０ ＣＭＯＳセンサ
５０、５６ 判断部
５１、５７ 画像認識部
５２ カメラ入力部
５３ センサ入力部
５４、６１ ユーザ入力部
５５、６２ ユーザ出力部
５８ 学習蓄積部
６０、６３ 制御部
１００ 半導体装置
１０１ 認識部
１０２ 経路算出部
１０３ モード制御部

Claims (9)

1. 車両の周辺の観測結果に基づいて前記車両の周辺に存在する物体を認識する認識部と、
   前記認識した物体に基づいて、前記車両を自動的に制御する自動制御モードにおける前記車両の走行経路を算出する経路算出部と、
   前記認識した物体を回避した走行経路を算出できない場合に、前記自動制御モードから、前記車両を運転者からの操作に応じて制御する手動制御モードへ移行させるモード制御部と、
   を備え、
   前記モード制御部は、少なくとも、前記車両が前記物体に到達すると推定される時点から、運転者が前記車両を制動させる操作に入るまでの時間として定められた準備時間と、前記車両の速度に基づいて算出した前記車両の制動時間とを加算した限界時間を遡った時点までに前記自動制御モードから前記手動制御モードへ移行させ、
   前記自動制御モードから前記手動制御モードへ移行させた時点から、前記運転者が前記車両を操作するまでの時間を計測し、計測した時間が前記準備時間より長い場合よりも、計測した時間が前記準備時間よりも短い場合の方が大きい値となるように評価値を算出する学習部を備え、
   前記学習部は、前記評価値が低くなるに従ってより長い時間となるように前記準備時間を算出し更新する、
   半導体装置。
2. 車両の周辺の観測結果に基づいて前記車両の周辺に存在する物体を認識する認識部と、
   前記認識した物体に基づいて、前記車両を自動的に制御する自動制御モードにおける前記車両の走行経路を算出する経路算出部と、
   前記認識した物体を回避した走行経路を算出できない場合に、前記自動制御モードから、前記車両を運転者からの操作に応じて制御する手動制御モードへ移行させるモード制御部と、
   を備え、
   前記モード制御部は、少なくとも、前記車両が前記物体に到達すると推定される時点から、運転者が前記車両を制動させる操作に入るまでの時間として定められた準備時間と、前記車両の速度に基づいて算出した前記車両の制動時間とを加算した限界時間を遡った時点までに前記自動制御モードから前記手動制御モードへ移行させ、
   前記自動制御モードから前記手動制御モードへ移行させた時点からの前記運転者による前記車両の操作と、その期待値とを比較し、それらが一致しない場合よりも、それらが一致する場合の方が大きい値となるように評価値を算出する学習部を備え、
   前記学習部は、前記評価値が低くなるに従ってより長い時間となるように前記準備時間を算出し更新する、
   半導体装置。
3. 前記経路算出部は、前記認識した物体について、静止物体が存在する物体存在領域と、移動物体が移動する可能性がある物体移動領域とを示す地図を生成し、生成した地図において、それぞれの領域を回避する移動経路を算出する、
   請求項１又は２に記載の半導体装置。
4. 前記経路算出部は、前記物体存在領域と前記物体移動領域のそれぞれについて、前記車両からの距離が短くなるに従ってより大きな値となるように、前記物体が存在する蓋然性を示す存在度を設定し、前記車両の前記存在度が所定の閾値以上となる領域と重複しない走行経路を算出する、
   請求項３に記載の半導体装置。
5. 前記経路算出部は、前記物体存在領域と前記物体移動領域のそれぞれについて、前記物体移動領域よりも前記物体存在領域の方が大きな値となるように、前記物体が存在する蓋然性を示す存在度を設定し、前記車両の前記存在度が所定の閾値以上となる領域と重複しない走行経路を算出する、
   請求項３に記載の半導体装置。
6. 前記経路算出部は、前記物体移動領域について、前記移動物体が線形に移動する物体である場合よりも前記移動物体がランダムに移動する物体である場合の方が大きな値となるように前記存在度を設定する、
   請求項５に記載の半導体装置。
7. 前記半導体装置は、さらに、前記車両を制動させる制御が開始された時点から、前記車両が停止するまでの距離と、前記車両を制動させる制御が開始された時点の速度とに基づいて、前記車両と路面との間の摩擦係数を算出する摩擦係数算出部を備え、
   前記モード制御部は、前記算出した摩擦係数と前記車両の速度とに基づいて前記車両の制動時間を算出する、
   請求項１又は２に記載の半導体装置。
8. 前記半導体装置は、さらに、運転者の状態の測定結果に基づいて前記運転者の緊張度を算出する緊張度算出部を備え、
   前記モード制御部は、前記算出した緊張度が所定の適正範囲を超えている場合、前記準備時間を増加させる、
   請求項１又は２に記載の半導体装置。
9. 車両の周辺の観測結果に基づいて前記車両の周辺に存在する物体を認識し、
   前記認識した物体に基づいて、前記車両を自動的に制御する自動制御モードにおける前記車両の走行経路を算出し、
   前記認識した物体を回避した走行経路を算出できない場合に、前記自動制御モードから、前記車両を運転者からの操作に応じて制御する手動制御モードへ移行させ、
   少なくとも、前記車両が前記物体に到達すると推定される時点から、運転者が前記車両を制動させる操作に入るまでの時間として定められた準備時間と、前記車両の速度に基づいて算出した前記車両の制動時間とを加算した限界時間を遡った時点までに前記自動制御モードから前記手動制御モードへ移行させ、
   前記自動制御モードから前記手動制御モードへ移行させた時点から、前記運転者が前記車両を操作するまでの時間を計測し、計測した時間が前記準備時間より長い場合よりも、計測した時間が前記準備時間よりも短い場合の方が大きい値となるように評価値を算出し、
   前記評価値が低くなるに従ってより長い時間となるように前記準備時間を算出し更新する、
   制御方法。

Images