JP7433146B2 - 物体検出方法及び物体検出装置 - Google Patents

Description

本開示は、自車両の周囲に存在する物体を検出する物体検出方法及び物体検出装置に関する。

従来、車輪速センサで検出される車速およびヨーレートセンサによって検出される車両の直進状態若しくは旋回状態に応じて、シャッター速度を制御するカメラ制御部を有する車載用撮像装置が知られている（例えば、特許文献１参照）。

特開２０１０－２５０５０３号公報

特許文献１に開示された先行技術では、車両が旋回中であることを検知した場合にカメラのシャッター速度を高速に切り替えるが、カメラのシャッター速度を調整するだけでは信号機の現示情報を認識することが困難である。

本開示は、上記課題に着目してなされたもので、車両挙動の変化を伴う走行中の物体検出シーンにおいて、像ぶれを抑制した撮像結果を得ることで、物体認識性能の向上を達成することを目的とする。

上記目的を達成するため、本開示は、車載カメラとして狭角カメラと広角カメラを有する撮像部と、撮像部で撮像された画像に基づいて自車両の周囲に存在する検出対象物体を検出する周囲物体検出部と、を備える物体検出方法である。周囲物体検出部は、以下の手順を有する。自車両と検出対象物体の間の距離の情報を取得する。距離が狭角カメラで検出対象物体を検出可能な距離領域になると、狭角カメラからの画像を選択する。狭角カメラからの画像選択中、自車両に発生する車両挙動の大きさをあらわす車両挙動指標値の情報を取得する。車両挙動指標値が所定値よりも大きく、かつ、距離が広角カメラで検出対象物体を検出可能な距離領域であると、広角カメラからの画像選択に切り替える。広角カメラからの画像選択に切り替えると、広角カメラの露光時間を、車両挙動指標値が所定値以下のときの第１露光時間よりも短い第２露光時間に設定する。第２露光時間に設定された広角カメラで撮像された画像に基づいて検出対象物体を検出する。車両挙動指標値の所定値は、車両挙動の大きさを異ならせた走行を行うとき、狭角カメラからの像ぶれした画像データを取得し、物体認識性が低くなる像ぶれが発生したときの車両挙動指標値に基づいて予め設定する。

上記課題解決手段を採用したため、車両挙動の変化を伴う走行中の物体検出シーンにおいて、画像全体の明るさを保ちながら像ぶれを抑制した撮像結果を広角カメラから得ることで、物体認識性能の向上を達成することができる。

実施例１の物体検出方法及び物体検出装置が適用された自動運転車両のシステム構成を示す全体システム構成図である。 自動運転コントローラ及び車両運動コントローラの制御ブロック構成を示すブロック構成図である。 自動運転コントローラの周囲物体検出部の構成を示すブロック構成図である。 自車両が検出対象物体から遠い位置のときに狭角カメラと広角カメラによって撮像される画像を示す画像説明図である。 図４Ａよりも自車両が検出対象物体へ向かって前進した位置のときに狭角カメラと広角カメラによって撮像される画像を示す画像説明図である。 図４Ｂよりも自車両が検出対象物体へ向かってさらに前進した位置のときに狭角カメラと広角カメラによって撮像される画像を示す画像説明図である。 狭角カメラおよび広角カメラにより検出対象物体を検出可能な領域と距離を示す説明図である。 自車両と検出対象物体との距離に応じたカメラ画像の切り替え位置を示す説明図である。 ヨーレート値及び検出対象物体との距離に応じたカメラ画像の切り替え位置を示す説明図である。 自車両が旋回しながら交差点に接近するときの走行シーンの一例を示す作用説明図である。 狭角レンズから広角レンズに切り替えてシャッター速度を上げたときのＦナンバー（Ｆ値）・シャッター速度・露出量の関係を示す相関図である。 自車両が旋回しながら交差点に接近するときに露光時間を短くした狭角カメラからの画像例(a)とカメラを切替えると共に露光時間を短くした広角カメラからの画像例(b)を示す比較画像図である。 自動運転コントローラの周囲物体検出部にて実行される物体検出処理の流れを示すフローチャートである。 ヨーレート取得ステップでのヨーレートセンサからヨーレートを取得する処理の流れを示すフローチャートである。 ヨーレート取得ステップでの地図から曲率半径と制限速度を取得してヨーレート推定値を計算する計算処理の流れを示すフローチャートである。 ヨーレート取得ステップでの走行履歴レコードからの過去のヨーレート値を参照することによりヨーレート推定値を得る処理の流れを示すフローチャートである。 検出対象物体が交流電源による光源を有しない場合の露光時間設定ステップでの露光時間設定処理の流れを示すフローチャートである。 検出対象物体が交流電源による光源を有する場合の露光時間設定ステップでの露光時間設定処理の流れを示すフローチャートである。

以下、本開示による物体検出方法及び物体検出装置を実施するための形態を、図面に示す実施例１に基づいて説明する。

実施例１における物体検出方法及び物体検出装置は、自動運転モードを選択すると目標軌跡が生成され、生成された目標軌跡に沿って走行するように速度及び舵角による車両運動が制御される自動運転車両（走行支援車両の一例）に適用したものである。以下、実施例１の構成を、「全体システム構成」、「自動運転コントローラの制御ブロック構成」、「周囲物体検出部の詳細構成」に分けて説明する。

［全体システム構成（図１）］
自動運転車両ＡＤは、図１に示すように、車載センサ１と、ナビゲーション装置２と、車載制御ユニット３と、アクチュエータ４と、ＨＭＩモジュール５と、を備えている。なお、「ＨＭＩ」は「Human Machine Interface」の略称である。

車載センサ１は、自車両周辺物体や走行路形状などの周辺環境、自車両位置や自車両状態などを認識するために自車両に搭載された各種のセンサである。この車載センサ１は、外部センサ１１、通信機１２、内部センサ１３を有する。

外部センサ１１は、自車両周辺に向けて設けられ、自車両周辺の静止物体や移動物体や走行路形状などを検出するセンサである。外部センサ１１としては、例えば、車載カメラ、測距センサなどが用いられる。ここで、「車載カメラ」は、取得した画像データに基づいて、自車両の周囲状況を監視する機能や自車両の周辺に存在する物体を認識する機能を有する。「測距センサ」は、光をスキャニングしながら検出対象物体までの距離を測定する二次元走査型の光距離センサであり、レーザスキャナ、LRF（「Laser rangefinder」の略)、LiDAR(「Light Detection and Ranging」の略)などと呼ばれる。なお、外部センサ１１においては、例えば、車載カメラと測距センサを組み合わせ、検出情報を融合させることによって車両制御に必要な情報を取得するセンサフュージョンを行っても良い。このセンサフュージョンによって、検出対象物体の認識、検出対象物体までの距離、検出対象物体の方向などの必要情報を取得する。

通信機１２は、アンテナ１２ａを有し、外部データ通信器との間で無線通信を行うことで、必要な情報を外部から取得する。即ち、外部データ通信器が、例えば、他車に搭載されたデータ通信器の場合、自車両と他車の間で車車間通信を行う。この車車間通信により、他車が保有する様々な情報から必要な情報を取得することができる。また、外部データ通信器が、例えば、インフラ設備に設けられたデータ通信器の場合、自車両とインフラ設備の間でインフラ通信（路車間通信）を行う。このインフラ通信により、インフラ設備が保有する情報の中から必要な情報を取得することができる。

なお、通信機１２には、ＧＮＳＳアンテナにより３個以上のＧＰＳ衛星からの信号を受信して、自己位置を示す位置データ（緯度及び経度）を取得するＧＰＳ受信機を含む。ここで、「ＧＮＳＳ」は「Global Navigation Satellite System」の略称であり、「ＧＰＳ」は「Global Positioning System」の略称である。

内部センサ１３は、自車両の速度・加速度・姿勢データなどによる自車両情報を検出する検出機器である。内部センサ１３には、自車両の重心点を通る鉛直軸回りの回転角速度であるヨーレートを検出するヨーレートセンサ１３１を有する。ヨーレートセンサ１３１以外に、車輪速センサ、アクセル操作量センサなど、自車両に搭載され、制御必要情報を取得するためのセンサを含むことができる。なお、内部センサ１３として、６軸慣性センサ（ＩＭＵ：Inertial Measurement Unit）を有しても良い。３軸加速度センサと３軸ジャイロセンサから構成された６軸慣性センサを有する場合は、鉛直軸回りのヨーイング回転挙動（ヨーレートを含む）、左右軸回りのピッチング回転挙動、前後軸回りのローリング回転挙動を検出することができる。

ナビゲーション装置２は、施設情報データを内蔵し、目的地までの自車両が走行する経路を案内する装置であり、目的地が入力されると、自車両の現在地（或いは任意に設定された出発地）から目的地までの案内経路が生成される。なお、目的地の入力は、自車両の乗員入力であっても、携帯端末（例えば、スマートフォンなど）により自車両の外部に存在するユーザーからの無線入力であっても良い。

車載制御ユニット３は、ＣＰＵやメモリを備えており、車載センサ１によって検出された各種の検出情報、ナビゲーション装置２によって生成された案内経路情報、必要に応じて適宜入力されるドライバ入力情報を統合処理する。そして、この車載制御ユニット３には、目標軌跡及び目標速度プロファイルを生成する自動運転コントローラ３１と、生成された目標軌跡及び目標速度プロファイルに基づいて車両運動を制御するための指令値を演算する車両運動コントローラ３２と、を有している。

自動運転コントローラ３１では、車載センサ１やナビゲーション装置２からの入力情報や高精度地図データなどに基づき、目標軌跡及び目標速度プロファイルを階層処理により生成する。ここで、「目標軌跡」とは、自車両を自動運転走行させる際に目標とする走行軌跡であり、例えば、自車両が車線幅内で走行する軌跡、自車両周囲の走行可能領域内で走行する軌跡、障害物を回避する軌跡などを含む。生成された目標軌跡及び目標速度プロファイルの情報は車両運動コントローラ３２に出力される。また、生成された目標軌跡の情報は、高精度地図データと合成されてＨＭＩモジュール５のディスプレイに表示する。

車両運動コントローラ３２では、自動運転コントローラ３１からの目標軌跡及び目標速度プロファイルの情報、又は、ドライバ操作によるマニュアル操作情報に基づいて自車両を走行させるための制御指令値を演算する。演算された制御指令値はアクチュエータ４に出力される。なお、車両運動コントローラ３２は、マニュアル操作入力の有無によって走行モードを調停し、調停結果（自動運転走行モード、又は、マニュアル運転走行モード）に応じた制御指令値を演算する。

アクチュエータ４は、自車両の直進走行/旋回走行/停止させるための制御アクチュエータであり、速度制御アクチュエータ４１、操舵制御アクチュエータ４２を有する。速度制御アクチュエータ４１は、車載制御ユニット３から入力された速度制御指令値に基づいて駆動輪へ出力する駆動トルク又は制動トルクを制御する。操舵制御アクチュエータ４２は、車載制御ユニット３から入力された操舵制御指令値に基づいて操舵輪の転舵角を制御する。なお、本実施例においては自動運転コントローラ３１が目標軌跡及び目標速度プロファイルを生成し、目標軌跡及び目標速度プロファイルに基づいて駆動輪へ出力する駆動トルク又は制動トルク、及び操舵輪の転舵角を制御する例を説明するが、これに限らず、例えば自動運転コントローラ３１が目標軌跡のみを生成して、目標軌跡に基づいて操舵輪の転舵角のみを制御してもよい。

ＨＭＩモジュール５は、自車両の乗員を含むドライバと車載制御ユニット３などによるシステムとの間で互いの意思や情報を伝達するためのインターフェイスである。ＨＭＩモジュール５は、例えば、乗員に自動運転制御状況などによる画像情報を表示するヘッドアップディスプレイ、メータディスプレイ、アナウンス音声を出力するスピーカ、点灯や点滅により警告するランプ、ドライバが入力操作を行う操作ボタン、タッチパネルなどから構成される。

［自動運転コントローラの制御ブロック構成（図２）］
自動運転コントローラ３１は、図２に示すように、目標軌跡の生成に必要な情報の取得処理部として、地図情報記憶部３１１、自己位置推定部３１２、走行環境認識部３１３、周囲物体検出部３１４、走行履歴記憶部３１９を備えている。そして、目標軌跡（目標速度プロファイル）を生成する階層処理部として、走行車線計画部３１５、動作決定部３１６、走行領域設定部３１７、目標軌跡生成部３１８を備えている。

地図情報記憶部３１１は、車外に存在する静止物体の三次元の位置情報（経度、緯度、高さ）が設定された高精度三次元地図（以下、単に「地図」という。）のデータが格納された車載メモリである。地図データの静止物体には、例えば、横断歩道、停止線、各種標識、分岐点、走行路標示、信号機、電柱、建物、看板、車道やレーンの中心線、区画線、路肩線、走行路と走行路のつながり、などの様々な要素が含まれる。

自己位置推定部３１２は、車載センサ１からのセンサ情報、地図情報記憶部３１１からの地図情報を入力し、入力されたセンサ情報と地図情報、或いは、ＧＰＳ衛星からの信号受信に基づいて自車両の自己位置を推定し、自己位置情報を出力する。

走行環境認識部３１３は、車載センサ１からのセンサ情報、ナビゲーション装置２からの案内経路情報、地図情報記憶部３１１からの地図情報、自己位置推定部３１２からの自己位置情報、周囲物体検出部３１４からの周囲物体認識情報を入力する。そして、これらの入力情報と自車両走行環境の刻々と変化する動的な情報を統合し、自車両の走行環境を認識し、走行環境認識情報を出力する。

周囲物体検出部３１４は、車載センサ１からのセンサ情報を入力し、自車両の周囲に存在する物体の位置、属性、挙動の検出又は予測によって自車両の周囲物体を認識し、周囲物体認識情報を出力する。周囲物体検出部３１４の詳しい構成については後述する。

走行履歴記憶部３１９は、自車両が過去に検出対象物体に接近する走行をした際の自車両の自己位置に対応したヨーレート検出値などのデータが格納された車載メモリである。この走行履歴記憶部３１９は、周囲物体検出部３１４からリクエストを入力すると、リクエストに応じて記憶されている自車両の自己位置に対応したヨーレート検出値などの情報を周囲物体検出部３１４へ出力する。

走行車線計画部３１５は、ナビゲーション装置２からの案内経路情報、地図情報記憶部３１１からの地図情報を入力する。そして、目的地までの案内経路上において、自車両が走行すべき走行車線（以下、「目標車線」という）を計画し、目標車線情報を出力する。

動作決定部３１６は、走行環境認識部３１３からの走行環境認識情報、走行車線計画部３１５からの目標車線情報を入力する。そして、目標車線に沿って走行したとき、自車両が遭遇する事象を抽出し、それら事象に対する自車両の動作を決定し、自車両動作決定情報を出力する。ここで、「自車両の動作」とは、発進、停止、加速、減速、右左折などの目標車線に沿って走行するために必要となる自車両の動きをいう。

走行領域設定部３１７は、地図情報記憶部３１１からの地図情報、動作決定部３１６からの自車両動作決定情報、周囲物体検出部３１４からの周囲物体認識情報を入力する。そして、自車両の動作情報と周囲物体認識情報を照合し、目標車線に沿って自車両が走行可能な走行可能領域を設定し、走行可能領域情報を出力する。ここで、「走行可能領域」とは、例えば、自車両周辺に駐車車列、工事区間などが存在するとき、当該領域との干渉や接触を回避するように設定される領域をいう。

目標軌跡生成部３１８は、走行領域設定部３１７からの走行可能領域情報を入力し、現在の自車両位置から任意に設定される目標位置まで、走行可能領域内を走行することを拘束条件として自車両を走行させる目標軌跡を生成する。この目標軌跡生成部３１８では、目標軌跡の生成と併せ、自車両の目標軌跡に沿う経時的な速度計画である目標速度プロファイルを生成する。そして、目標軌跡生成部３１８から車両運動コントローラ３２に対して、目標軌跡情報と目標速度プロファイル情報を出力する。

［周囲物体検出部の詳細構成（図３～図７）］
周囲物体検出部３１４は、車載カメラとして、狭角カメラ１１１と広角カメラ１１２を有する撮像部１１０を備え、狭角カメラ１１１で撮像された画像、或いは、広角カメラ１１２で撮像された画像に基づいて、自車両の周囲に存在する検出対象物体を検出する。即ち、周囲物体検出部３１４は、本開示の物体検出装置に相当し、周囲物体検出部３１４で実行される物体検出手法は本開示の物体検出方法に相当する。

撮像部１１０は、検出対象物体を第１画角と第１焦点距離により撮像可能な狭角カメラ１１１と、同じ検出対象物体を第１画角よりも広い第２画角と第１焦点距離よりも短い第２焦点距離により撮像可能な広角カメラ１１２とを有する。狭角カメラ１１１と広角カメラ１１２による２台の車載カメラは、同じ検出対象物体をそれぞれの撮像素子（ＣＣＤ、ＣＭＯＳなど）により捉えて検出対象物体の画像データを取得できるように、自車両のフロントウインドウの上部内側位置などにレンズ光軸を自車両の前方に向けて設けられる。

ここで、「狭角カメラ１１１」とは、検出対象物体を第１画角（例えば、18°前後領域の角度）と第１焦点距離（例えば、135mm前後領域の距離）により撮像可能な望遠レンズを備えるカメラ（望遠カメラ）をいう。「広角カメラ１１２」とは、検出対象物体を第２画角（第１画角よりも広い画角で、例えば、34°前後領域の角度）と第２焦点距離（第１焦点距離よりも短い焦点距離で、例えば、70mm前後領域の距離）により撮像可能な標準レンズを備えるカメラ（標準カメラ）をいう。

図４Ａ～図４Ｃは、実施例１において自車両から前進方向に検出対象物体を捉えた狭角カメラ１１１及び広角カメラ１１２によって取得される画像を示した図である。図４Ａ～図４Ｃにつれて自車両が検出対象物体（信号機、標識など）に近づいている様子を表している。図４Ａは狭角カメラ１１１でのみ検出対象物体を検出することができる場合を表している。この場合、広角カメラ１１２で検出するために必要な画素数が得られないため、広角カメラ１１２からの画像では物体を検出することができない。図４Ｂは狭角カメラ１１１及び広角カメラ１１２のどちらでも検出対象物体を物体として検出できる場合を表している。図４Ｃは狭角カメラ１１１からの画像では検出対象物体を画角範囲内に捉えることができず、広角カメラ１１２でのみ検出対象物体を物体として検出できる場合を表している。

周囲物体検出部３１４は、図３に示すように、距離情報取得部３１４ａ、ヨーレート情報取得部３１４ｂ（車両挙動指標値情報取得部の一例）、画像選択部３１４ｃ、露光時間設定部３１４ｄ、物体検出部３１４ｅ、出力部３１４ｆを有する。以下、各構成要素について説明する。

距離情報取得部３１４ａは、検出対象物体と自車両の間の距離Ｄの情報を取得する。検出対象物体が地図に登録されている物体であれば、ＧＰＳ衛星からの信号受信に基づく自車の自己位置情報を用いて地図上で計算した結果により、検出対象物体と自車両の間の距離Ｄの情報を取得する。また、検出対象物体までの距離が車載センサにより検出可能であれば、車載されているRadarやLiDARのような測距センサからの実空間上での計測結果により、検出対象物体と自車両の間の距離Ｄの情報を取得する。

ヨーレート情報取得部３１４ｂは、検出対象物体へ接近するときに自車両に発生する車両挙動の大きさをあらわす車両挙動指標値の一例であるヨーレート値Ｙ（自車両の重心点を通る鉛直軸回りの回転角速度）の情報を取得する。ここで、ヨーレート値Ｙの具体的な取得手法としては、「センサからの取得手法(a)」、「地図からの取得手法(b)」、「走行履歴からの取得手法(c)」があり、何れか一つの取得手法を選択しても良いし、複数の取得手法を選択しても良い。以下、ヨーレート値Ｙの情報を取得する取得手法(a),(b),(c)を説明する。

(a) 自車両にヨーレートセンサ１３１を設け、自車両に発生するヨーレート値Ｙの情報として、ヨーレートセンサ１３１からのヨーレートセンサ値Ｙ(sen)を取得する。

(b) 自車両が検出対象物体に接近するときの道路地図と道路関連情報を有する地図情報記憶部３１１を備える。そして、地図情報記憶部３１１から自車両が検出対象物体に接近するときに走行する道路の曲率半径Ｒと道路の制限速度Ｖの情報を取得し、曲率半径Ｒと制限速度Ｖを用いた算出処理によりヨーレート推定値Ｙ(pre)を取得する。なお、ヨーレート推定値Ｙ(pre)は、Ｙ(pre)＝Ｖ／Ｒの式により計算できる。

(c) 自車両が過去に検出対象物体に接近する走行をした際の自車両の自己位置に対応したヨーレート検出値を記憶する走行履歴記憶部３１９を備える。そして、走行履歴記憶部３１９に記憶されているヨーレート記憶情報を自車両の自己位置推定に基づいて読み込み、ヨーレート記憶情報を参照してヨーレート推定値Ｙ(memo)を取得する。このとき、自車両が検出対象物体に接近するまでの区間におけるヨーレート記憶情報を一気に読み込み、ヨーレート記憶情報の最大値をヨーレート推定値Ｙ(memo)としても良い。

画像選択部３１４ｃは、距離情報取得部３１４ａからの距離Ｄの情報とヨーレート情報取得部３１４ｂからのヨーレート値Ｙの情報に基づいて、狭角カメラ１１１からの画像選択を広角カメラ１１２からの画像選択に切り替える。つまり、狭角カメラ１１１からの画像選択中、ヨーレート値Ｙが所定値Ｙ_THよりも大きく、かつ、距離Ｄが広角カメラ１１２で検出対象物体を検出可能な距離領域であると、広角カメラ１１２からの画像選択に切り替える。

ここで、狭角カメラ１１１でのみ検出対象物体の検出開始が可能な位置までの距離を第１距離Ｄ１という。広角カメラ１１２で検出対象物体の検出開始が可能な位置までの距離を第２距離Ｄ２という。広角カメラ１１２でのみ検出対象物体の検出開始が可能な位置までの距離を第３距離Ｄ３という。２距離Ｄ２と第３距離Ｄ３の間に予め設定した画像切り替え位置までの距離を距離閾値Ｄ_THという（図５～図７を参照）。

図５は実施例１において狭角カメラ１１１及び広角カメラ１１２により検出対象物体を検出可能な領域と距離について示した図である。自車両Ａから検出対象物体（以下、「信号機ＴＳ」とする。）までを距離Ｄとしたときに、Ｄ１≧Ｄ≧Ｄ２の範囲は、狭角カメラ１１１でのみ検出可能な範囲を表している。次に、Ｄ２≧Ｄ≧Ｄ３の範囲は、広角カメラ１１２であっても狭角カメラ１１１であっても検出可能な範囲を表している。次に、Ｄ３≧Ｄ≧０の範囲は、広角カメラ１１２でのみ検出可能な範囲を表している。なお、狭角カメラ１１１で検出できる範囲TELE1は、Ｄ１≧Ｄ≧Ｄ３の範囲であり、広角カメラ１１２で検出できる範囲WIDE1は、Ｄ２≧Ｄ≧０の範囲である。

図６は実施例１においてヨーレート情報取得部３１４ｂが取得したヨーレート値Ｙが所定値Ｙ_TH以下を維持した場合、距離Ｄに応じて画像選択部３１４ｃがカメラ選択を切り替えた様子を表している。自車両Ａは距離情報取得部３１４ａによって信号機ＴＳとの距離Ｄを取得する。この距離Ｄが距離閾値Ｄ_THよりも近づいた場合、つまり、狭角カメラ１１１からの画像選択中、Ｄ＜Ｄ_THとなった場合、距離Ｄのみに依存して広角カメラ１１２からの画像選択に切り替える。ここで、「距離閾値Ｄ_TH」は、例えば、直進平坦路を走行しているとき、Ｄ２≧Ｄ≧Ｄ_THの範囲において狭角カメラ１１１から広角カメラ１１２への切り替え位置を変える実験を行い、物体認識性が高くなる切り替え位置の実験結果に基づいて予め設定する。

図７は実施例１においてヨーレート情報取得部３１４ｂが取得したヨーレート値Ｙが所定値Ｙ_THよりも大きい場合、画像選択部３１４ｃが広角カメラ１１２を距離Ｄに対して優先的に選択する様子を表している。ヨーレート値Ｙが所定値Ｙ_TH以下を維持した場合は、自車両Ａが距離閾値Ｄ_THよりも信号機ＴＳに近づかないと広角カメラ１１２に切り替わらない。しかし、ヨーレート値Ｙが所定値Ｙ_THよりも大きい場合は、広角カメラ１１２が検出を開始できる第２距離Ｄ２よりも近いと、自車両Ａが距離閾値Ｄ_THよりも信号機ＴＳから遠い場合でも狭角カメラ１１１からの画像選択を広角カメラ１１２からの画像選択に切り替える。つまり、狭角カメラ１１１からの画像選択中、Ｄ２≧Ｄ≧Ｄ_THの範囲であれば、ヨーレート値Ｙが所定値Ｙ_THよりも大きいと判断されたタイミングにて広角カメラ１１２からの画像選択に切り替える。ここで、「所定値Ｙ_TH」は、例えば、車速を異ならせてカーブ路走行を行うとき、狭角カメラ１１１からの像ぶれした画像データを取得する実験を行い、物体認識性が低くなる像ぶれが発生したときのヨーレート値実験結果に基づいて予め設定する。

露光時間設定部３１４ｄは、撮像部１１０に有する狭角カメラ１１１と広角カメラ１１２の露光時間を設定する。ここで、検出対象物体が、交流電源による光源を用いない静止物体（例えば、道路標識など）や移動物体（例えば、横断歩道を横切る歩行者など）であるとする。この場合、ヨーレート値Ｙが所定値Ｙ_THよりも大きいと、ヨーレート値Ｙが所定値Ｙ_TH以下のときの第１露光時間ＳＳ１よりも短い第２露光時間ＳＳ２に露光時間を設定する。なお、「露光時間」とは、カメラの撮像素子がレンズを通した光にさらされる（露出する）時間のことをいう。この露光時間をシャッター速度で表現すると、露光時間が短いほどシャッター速度が速く、露光時間が長いほどシャッター速度が遅くなる。

一方、検出対象物体が、交流電源による光源を用いて交通情報を表示する光情報表示物体（例えば、LED光源を用いた信号機、道路情報表示板など）であるとする。この場合、広角カメラ１１２の露光時間を第２露光時間ＳＳ２に設定したとき、第２露光時間ＳＳ２が、フリッカー周期による露光時間下限値ＳＳ_Fより短いか否かを判断する。そして、第２露光時間ＳＳ２が露光時間下限値ＳＳ_Fより短いと判断されると、露光時間下限値ＳＳ_F以上の時間を、露光時間として設定する。ここで、「フリッカー」とは、カメラ画像を映像として見たときに光源が点灯状態と消灯状態を繰り返すことで、ちらついて見える映像になる現象をいう。「フリッカー周期」とは、光源が点灯状態と消灯状態を繰り返すときの周期であり、交流電源の周波数に関連して決まる。フリッカー周期は、交流電源の周波数の２倍の周期（例えば、東日本：50Hz×2＝100Hz、西日本：60Hz×2＝120Hz）となり、これは１周期中に２回ピークがくることによる。

物体検出部３１４ｅは、そのときに選択されている狭角カメラ１１１又は広角カメラ１１２で撮像された画像に基づいて、自車両の周囲に存在する検出対象物体を検出すると共に、検出対象物体から認識情報を抽出する。ここで、検出対象物体を検出する手段としては、予め登録されているテンプレートに基づくパターンマッチングによる方法を用いても良い。また、Haar-like、LBP（Local Binary Pattern）、HOG（Histograms of Oriented Gradients）のような画像特徴量に基づいてAdaBoostやSVM（Support Vector Machine）のような機械学習を用いて学習した検出器によって検出する方法を用いても良い。さらに、これ以外の方法を用いて検出対象物体の画像から制御上必要とされる認識情報を抽出するようにしても良い。

出力部３１４ｆは、物体検出部３１４ｅにより検出された検出対象物体の認識情報を走行環境認識部３１３や走行領域設定部３１７へ出力する。例えば、検出対象物体が信号機ＴＳの場合には、信号機ＴＳの点灯表示による現示情報（赤、青、黄）、信号機ＴＳの矢印表示による直進許可情報、右折許可情報、左折許可情報を認識情報とする。そして、精度良く取得した検出対象物体の認識情報を、走行環境認識部３１３及び走行領域設定部３１７へ出力することで、走行環境認識、走行領域の設定を適切に行うことができる。

次に、周囲物体検出技術について説明する。そして、実施例１の作用を、「周囲物体検出処理作用」、「ヨーレート情報取得処理作用」、「露光時間設定処理作用」に分けて説明する。

［周囲物体検出技術について（図８～図１０）］
自動運転システムは、自車両の周辺に存在する物体の認識による状況把握を行い、適切な目標軌道を生成し、その目標軌道に沿って走行するように車両の動作制御を行う。このとき、自車両の周辺に存在する物体の認識精度が低いと、目標軌道や目標速度プロファイルの生成が適切とならない可能性が高くなるため、自動運転システムにおいて、自車両の周辺に存在する物体を精度良く認識することが重要な要素の一つとなっている。

例えば、検出対象物体が信号機である場合、自車両が旋回しながら信号機が設置された交差点に接近すると、自車両はカーブ路に沿って進行方向を変えることで、重心を通る鉛直軸回りのヨーレート値が大きくなるヨー挙動変化を示す。自車両のヨーレート値が大きくなるヨー挙動変化を示すと、車載カメラは自車両のヨー挙動変化に応じて振れ、車載カメラからの画像に像ぶれが生じることになる。カメラ画像に像ぶれが生じると、像ぶれ幅により物体形状や表示形状の輪郭が曖昧となり、検出対象物体である信号機の現示が何であるかを認識する認識精度が低くなる。具体的には、例えば信号機の現示が矢印である場合には矢印の表示形状の輪郭が曖昧となり、認識精度が低くなる。

これに対し、車輪速センサで検出される車速およびヨーレートセンサによって検出される車両の直進状態若しくは旋回状態に応じて、シャッター速度を制御するカメラ制御部を有する。そして、カメラ制御部は、車両が旋回中であることを検知した場合、直進走行中の場合に比べて車載カメラのシャッター速度を高速に切り替える車載用撮像装置が提案されている（例えば、特開２０１０－２５０５０３号公報を参照）。

上記提案された背景技術においては、自車両が旋回中であることを検知した場合に車載カメラのシャッター速度を高速に切り替えることになる。車載カメラのシャッター速度を高速に切り替えることは、車両旋回時に発生する検出対象物体の像ぶれの影響の抑制することには有効である。しかし、シャッター速度を高速に切り替えると、シャッター速度が高速であるほどカメラレンズから入ってくる光量が少なくなるため、撮像素子に結像された画像全体が暗くなってしまい、検出対象物体を検出することができなくなるおそれがある、という課題がある。なお、低光量の場合には、車載カメラのＩＳＯ感度を上げることも考えられるが、この場合は高感度ノイズが原因で検出対象物体の検出ができなくなるおそれがある。

特に、検出対象物体が信号機の場合であって点灯状態の現示情報を認識したいとき、画像全体が暗くなってしまうと、信号機であるという物体検出ができても信号機の現示情報が何であるかを認識することが困難になる。さらに、信号機の場合には交流電源による光源を有するため、シャッター速度を高速に切り替えたことでフリッカー周期より短い露光時間になると、光源が消灯状態の画像が含まれることになり、信号機からの現示情報の認識がより困難になる。

上記背景技術や課題に対し、その解決手法を検証した結果、
(A) 車載カメラの像ぶれ量は、焦点距離と露光時間に比例し、焦点距離と露光時間を共に短くすると、露光時間のみを短くする場合よりも像ぶれ量を軽減できる。
(B) レンズの明るさは焦点距離とレンズ口径で決まり、焦点距離の短いレンズを有する広角カメラを選択すると、露光時間を短くしても、物体検出に必要な明るさを確保できる。
という点に着目した。

上記着目点に基づいて本開示は、車載カメラとして狭角カメラ１１１と広角カメラ１１２を有する撮像部１１０と、撮像部１１０で撮像された画像に基づいて自車両Ａの周囲に存在する検出対象物体を検出する周囲物体検出部３１４と、を備える物体検出方法である。周囲物体検出部３１４は、以下の手順を有する。自車両Ａと検出対象物体の間の距離Ｄの情報を取得する。距離Ｄが狭角カメラ１１１で検出対象物体を検出可能な距離領域になると、狭角カメラ１１１からの画像を選択する。狭角カメラ１１１からの画像選択中、自車両Ａに発生する車両挙動の大きさをあらわす車両挙動指標値の情報を取得する。車両挙動指標値が所定値よりも大きく、かつ、距離Ｄが広角カメラ１１２で検出対象物体を検出可能な距離領域であると、狭角カメラ１１１からの画像選択を広角カメラ１１２からの画像選択に切り替える。広角カメラ１１２からの画像選択に切り替えると、広角カメラ１１２の露光時間を、車両挙動指標値が所定値以下のときの第１露光時間ＳＳ１よりも短い第２露光時間ＳＳ２に設定する。第２露光時間ＳＳ２に設定された広角カメラ１１２で撮像された画像に基づいて検出対象物体を検出する、という物体検出方法を採用した。

例えば、図８に示すように、検出対象物体が信号機ＴＳであり、自車両Ａがカーブ路を旋回しながら信号機ＴＳが設置された交差点に向かって接近する場合について説明する。このとき、自車両Ａは、図８の矢印Ｂの枠内に示すカーブ路に沿って進行方向を変えることで、重心を通る鉛直軸回りのヨーレート値Ｙが大きくなるヨー挙動変化を示す（図８の下部の矢印Ｂの枠内に示すヨーレート値特性）。このため、ヨーレート値Ｙが所定値Ｙ_THよりも大きくなり、自車両Ａのヨー挙動変化によって撮像結果に像ぶれが発生することが予見できる。

よって、狭角カメラ１１１からの画像選択中、像ぶれによる物体認識性能の劣化が予見され、かつ、距離Ｄが広角カメラ１１２で検出対象物体を検出可能な距離領域であると、広角カメラ１１２からの画像選択に切り替えられる。つまり、像ぶれによる物体認識性能の劣化が予見される場合、通常は狭角カメラ１１１を選択する領域であっても優先的に広角カメラ１１２からの画像選択に切り替えられる。そして、広角カメラ１１２に切り替えることによって狭角カメラ１１１の場合よりも明るい画像を得ることができるので、露光時間の調整によって車両挙動指標値が所定値以下である場合の第１露光時間ＳＳ１よりも短い第２露光時間ＳＳ２に設定することができる。このように、自車両Ａが旋回などによって大きな挙動変化をしながら検出対象物体に接近する場合、通常より早期に狭角カメラ１１１から広角カメラ１１２への切り替え操作及び広角カメラ１１２の露光時間を短く設定する操作が行われる。この結果、車両挙動の変化を伴う走行中の物体検出シーンにおいて、画像全体の明るさを保ちながら像ぶれを抑制した撮像結果を広角カメラ１１２から得ることで、物体認識性能の向上を達成することができることになる。

ここで、広角カメラ１１２への切り替え操作、及び、広角カメラ１１２の露光時間を短く設定する操作を行うことで、画像全体の明るさを保ちながら像ぶれを抑制した撮像結果が広角カメラ１１２から得られる理由を説明する。

まず、焦点距離をｆ[mm]とし、自車両の振れ角速度をγ[rad/sec]とし、露光時間をΔTとすると、像ぶれ量ｄ[mm/sec]は、
ｄ＝ｆ×γ×ΔT …(1)
の式で近似できる。また、焦点距離をｆ[mm]とし、レンズ口径をＤlens[mm]とすると、レンズ明るさの指標であってレンズから取り込む光の量を数値化したＦ値は、
Ｆ値＝ｆ／Ｄlens …(2)
の式であらわされる。よって、以下の作用１，２，３を示す。

（作用１）狭角カメラ１１１から広角カメラ１１２への切り替え操作を行うと、焦点距離ｆが短くなる。よって、上記式(1)により自車両の振れ角速度γと露光時間ΔTが同じであると仮定しても像ぶれ量ｄを軽減できる。また、上記式(2)によりレンズ口径Ｄlensが同じであると仮定したとき、レンズ明るさの指標であるＦ値は小さくなる（＝レンズ光量が増加する）。
（作用２）広角カメラ１１２の露光時間を短く設定する操作を行うと、上記式(1)により焦点距離ｆと自車両の振れ角速度γとが同じであると仮定しても像ぶれ量ｄを軽減できる。
（作用３）広角カメラ１１２への切り替え操作、及び、広角カメラ１１２の露光時間を短く設定する操作を行うことで、焦点距離ｆが短くなるのに加えて露光時間ΔTが短くなるという２つの相乗効果により像ぶれ量ｄを軽減できる。さらに、焦点距離ｆが短くなることによりレンズ明るさの指標であるＦ値が小さくなって、レンズ光量が増加する。よって、画像全体の明るさを保ちながら像ぶれを抑制した撮像結果が広角カメラ１１２から得られることになる。

具体例として、狭角カメラ１１１の第１焦点距離を160mm、第１画角を約15deg、広角カメラ１１２の第２焦点距離を80mm、第２画角を約30degとする。なお、何れも35mmフィルムに換算した値である。この場合、狭角カメラ１１１と広角カメラ１１２とで同じレンズ口径Ｄlensのレンズを使用した場合、広角カメラ１１２のレンズ明るさの指標であるＦ値は、狭角カメラ１１１のレンズ明るさ指標であるＦ値の1/2となる（Ｆ値は小さいほどレンズは明るく、レンズを通る光量が多くなる）。例えば、狭角カメラ１１１を選択した場合、図９に特性Ｎに示すように、シャッター速度を１段速くすると、露出量が大きくなり画像が暗くなる。これに対し、広角カメラ１１２を選択した場合、図９に特性Ｗに示すように、狭角カメラ１１１の特性Ｎに比べＦ値が上昇する（図９のＦナンバー座標軸に沿う上向き矢印）。加えて、広角カメラ１１２を選択した場合、図９に特性Ｗに示すように、シャッター速度を１段速くしても、狭角カメラ１１１の特性Ｎに比べて４倍明るくなる露出量が得られる（図９の露出量座標軸に沿う斜め上向き矢印）。なお、露出量は対数スケールである。

このため、検出対象物体を信号機ＴＳとしたときであって狭角カメラ１１１の選択を維持した場合には、シャッター速度を１段速くしても、図１０(a)に示すように、露光時間ΔTのみが短くなるため、像ぶれ量ｄを僅かに軽減できるだけで、画像全体が暗くなる。よって、信号機ＴＳにおいて点灯している上向き矢印による直進表示や横向き矢印による左折表示の輪郭形状がぶれて表示内容認識性が低下する。露光時間ΔTのみを短くして像ぶれ量ｄを軽減するには、シャッター速度を数段速くする必要があり、この場合は、画像全体の暗さがより増して信号機ＴＳの直進表示や左折表示を認識できない。

これに対し、検出対象物体を信号機ＴＳとしたときであって広角カメラ１１２からの画像選択に切り替えた場合、シャッター速度を１段速くするだけで、図１０(b)に示すように、焦点距離ｆと露光時間ΔTが短くなるという２つの理由により、像ぶれ量ｄを有効に軽減できるだけでなく画像全体の明るさが保たれる。よって、信号機ＴＳの点灯している上向き矢印による直進表示や横向き矢印による左折表示の輪郭形状を画像から認識する認識性が、狭角カメラ１１１を選択した場合に比べて向上する。

［周囲物体検出処理作用（図１１）］
以下、図１１に示すフローチャートに基づいて、周囲物体検出部３１４において実行される周囲物体検出処理作用を説明する。検出対象物体と自車両Ａとの間の距離Ｄが取得されると（Ｓ１）、距離Ｄが狭角カメラ１１１でのみ検出対象物体の検出開始が可能な位置までの第１距離Ｄ１未満であるか否かが判断される（Ｓ２）。Ｄ≧Ｄ１と判断されている間は、Ｓ１→Ｓ２へと進む流れが繰り返される。そして、自車両Ａが検出対象物体へ近づくことでＤ＜Ｄ１と判断されると、Ｓ２からＳ３→Ｓ４へと進み、検出対象物体を認識する画像として狭角カメラ１１１からの画像が選択され（Ｓ３）、距離Ｄが第２距離Ｄ２と第３距離Ｄ３の間に設定した画像切り替え位置までの距離閾値Ｄ_TH未満であるか否かが判断される（Ｓ４）。

Ｄ＜Ｄ_THと判断されている間は、Ｓ４からＳ５→Ｓ６へと進み、ヨーレート値Ｙを取得し（Ｓ５）、ヨーレート値Ｙが所定値Ｙ_THよりも大きいか否かが判断される（Ｓ６）。Ｙ≦Ｙ_THと判断されている間は、Ｓ６→Ｓ１→Ｓ２→Ｓ３→Ｓ４→Ｓ５へと進む流れが繰り返され、狭角カメラ１１１の画像選択が維持される（Ｓ３）。そして、Ｙ≦Ｙ_THと判断されたままで自車両Ａが検出対象物体へ近づくことでＤ≧Ｄ_THになると、Ｓ４からＳ９へと進み、検出対象物体を認識する画像として狭角カメラ１１１からの画像選択が広角カメラ１１２からの画像選択に切り替えられる（Ｓ９）。

一方、Ｙ＞Ｙ_THと判断されると、Ｓ６からＳ７へと進み、距離Ｄが広角カメラ１１２で検出対象物体の検出開始が可能な位置までの第２距離Ｄ２未満であるか否かが判断される（Ｓ７）。Ｄ≧Ｄ２と判断されている間は、Ｓ７→Ｓ１→Ｓ２→Ｓ３→Ｓ４→Ｓ５→Ｓ６へと進む流れが繰り返され、狭角カメラ１１１の画像選択が維持される（Ｓ３）。しかし、Ｄ＜Ｄ２と判断されると、Ｓ７からＳ８→Ｓ９へと進み、撮像部１１０に有する広角カメラ１１２の露光時間が、狭角カメラ１１１の画像選択中の第１露光時間ＳＳ１よりも短い第２露光時間ＳＳ２に設定される（Ｓ８）。そして、検出対象物体を認識する画像として狭角カメラ１１１からの画像選択が広角カメラ１１２からの画像選択に切り替えられる（Ｓ９）。

検出対象物体を認識する画像として広角カメラ１１２からの画像選択に切り替えられると、Ｓ９→Ｓ１０→Ｓ１１へと進む流れが、Ｓ１１にて交差点を通過したと判断されるまで繰り返される。Ｓ１０では、広角カメラ１１２からの画像に基づいて検出対象物体が検出（認識）される。

このように、狭角カメラ１１１からの画像選択中、ヨーレート値Ｙが所定値Ｙ_THよりも大きく、かつ、距離Ｄが第２距離Ｄ２から距離閾値Ｄ_THまでの距離領域であると、広角カメラ１１２からの画像選択に切り替えている。例えば、自車両Ａが検出対象物体へ近づくアプローチ経路がカーブ路などのように、ヨーレート値Ｙが所定値Ｙ_THよりも大きくなる走行シーンにおいては、車両挙動指標値に基づく画像切り替えが、距離情報に基づく画像切り替えに優先される。よって、車両挙動によって撮像結果に像ぶれが発生する場合、距離Ｄが距離閾値Ｄ_THに到達する前の早期タイミングにて物体認識性能が向上する広角カメラ１１２からの画像に切り替えることができる。

また、狭角カメラ１１１からの画像選択中、ヨーレート値Ｙが所定値Ｙ_TH以下であると、狭角カメラ１１１からの画像選択を維持する。そして、狭角カメラ１１１からの画像選択を維持したままで、距離Ｄが距離閾値Ｄ_TH未満になると、広角カメラ１１２からの画像選択に切り替えている。例えば、自車両Ａが検出対象物体へ近づくアプローチ経路が直進平坦路などのように、ヨーレート値Ｙが所定値Ｙ_TH以下を維持する走行シーンにおいては、距離情報に基づく画像切り替えが、車両挙動指標値に基づく画像切り替えに優先される。よって、車両挙動によって撮像結果に像ぶれが発生しない場合、距離Ｄが距離閾値Ｄ_THに到達すると、狭角カメラ１１１からの画像よりも物体認識性能が向上する広角カメラ１１２からの画像に切り替えることができる。

［ヨーレート情報取得処理作用（図１２）］
以下、図１２Ａ、図１２Ｂ、図１２Ｃに示すフローチャートに基づいて、ヨーレート情報取得部３１４ｂ（図１１のヨーレート値取得ステップＳ５）において実行されるヨーレート情報取得処理作用を説明する。ここで、ヨーレート値Ｙの情報を取得する具体的な取得手法としては、「センサからの取得手法：図１２Ａ」、「地図からの取得手法：図１２Ｂ」、「走行履歴からの取得手法：図１２Ｃ」がある。

センサからの取得手法（図１２Ａ）は、自車両Ａのヨーレートを検出するヨーレートセンサ１３１を設け、自車両Ａに発生するヨーレート値Ｙの情報として、ヨーレートセンサ１３１からのヨーレートセンサ値Ｙ(sen)を取得する（Ｓ５１）。この場合、自車両Ａが検出対象物体に接近する走行区間に沿って時々刻々変化するヨーレート値Ｙの情報が取得される。よって、カーブ路の入口域でヨーレートセンサ値Ｙ(sen)が所定値Ｙ_THよりも大きくなると、Ｙ(sen)＞Ｙ_THとなった以降の走行区間で広角カメラ１１２からの画像を選択することができる。

地図からの取得手法（図１２Ｂ）は、自車両Ａが検出対象物体に接近するときの道路地図と道路関連情報を有する地図情報記憶部３１１を備える。そして、地図情報記憶部３１１から自車両Ａが検出対象物体に接近するときに走行する道路の曲率半径Ｒを取得し（Ｓ５２）、道路の制限速度Ｖを取得し（Ｓ５３）、制限速度Ｖと曲率半径Ｒを用いた算出処理によりヨーレート推定値Ｙ(pre)（＝Ｖ／Ｒ）を取得する（Ｓ５４）。この場合、制限速度Ｖにてカーブ路を自車両Ａが走行したと仮定したときのヨーレート値Ｙが、自車両Ａが検出対象物体に接近する前に予測推定される。よって、自車両Ａが検出対象物体に接近するときの経路が地図情報記憶部３１１に含まれている経路であれば、自車両Ａに発生するヨーレート推定値Ｙ(pre)を事前に取得することが可能となる。この結果、実際のヨーレート値Ｙが上昇する前のタイミングにて広角カメラ１１２からの画像を選択することで、撮像結果が像ぶれになることが未然に防止される。

走行履歴からの取得手法（図１２Ｃ）は、自車両Ａが過去に検出対象物体に接近する走行をした際の自車両Ａの自己位置に対応したヨーレート検出値を記憶する走行履歴記憶部３１９を備える。そして、走行履歴記憶部３１９に記憶されている走行履歴レコードのうちヨーレート記憶情報を自車両Ａの自己位置推定に基づいて読み込み、ヨーレート記憶情報を参照してヨーレート推定値Ｙ(memo)を取得する（Ｓ５５）。この場合、自車両が検出対象物体に接近するまでの区間において過去と同様の車速にて走行すると仮定したときのヨーレート値Ｙが、自車両Ａが検出対象物体に接近する前に予測推定される。よって、走行履歴記憶部３１９に登録済みの経路であれば、自車両Ａに発生するヨーレート推定値Ｙ(memo)を事前に取得することが可能となる。この結果、実際のヨーレート値Ｙが上昇する前のタイミングにて広角カメラ１１２からの画像を選択することで、撮像結果が像ぶれになることが未然に防止される。

［露光時間設定処理作用（図１３）］
以下、図１３Ａ、図１３Ｂに示すフローチャートに基づいて、露光時間設定部３１４ｄ（図１１の露光時間設定ステップＳ８）において実行される露光時間設定処理作用を説明する。

検出対象物体が交流電源による光源を用いない物体とする。この場合、図１３Ａに示すように、第１露光時間ＳＳ１を露光時間として設定し（Ｓ８１）、ヨーレート値Ｙが所定値Ｙ_THよりも大きいか否かが判断される（Ｓ８２）。Ｙ≦Ｙ_THと判断された場合、Ｓ８１→Ｓ８２→エンドへと進み、第１露光時間ＳＳ１が露光時間として設定される。一方、Ｙ＞Ｙ_THと判断された場合、Ｓ８１→Ｓ８２→Ｓ８３→エンドへと進み、Ｓ８３では、第１露光時間ＳＳ１よりも短い第２露光時間ＳＳ２が露光時間として設定される。

このように、検出対象物体が交流電源による光源を用いない物体の場合は、像ぶれ抑制を考慮して予め設定された第２露光時間ＳＳ２が、そのまま露光時間として設定されることになる。よって、例えば、道路標識などの静止物体、横断歩道を横切る歩行者などの移動物体を検出対象物体とするとき、画像全体の明るさを保ちながら像ぶれを抑制した撮像結果を広角カメラ１１２から得ることができる。

検出対象物体が交流電源による光源を用いる物体とする。この場合、図１３Ｂに示すように、第１露光時間ＳＳ１を露光時間として設定し（Ｓ８４）、ヨーレート値Ｙが所定値Ｙ_THよりも大きいか否かが判断される（Ｓ８５）。Ｙ≦Ｙ_THと判断された場合、Ｓ８４→Ｓ８５→エンドへと進み、第１露光時間ＳＳ１が露光時間として設定される。一方、Ｙ＞Ｙ_THと判断された場合、Ｓ８４→Ｓ８５→Ｓ８６→Ｓ８７へと進み、Ｓ８６では、第１露光時間ＳＳ１よりも短い第２露光時間ＳＳ２が露光時間として設定される。次のＳ８７では、広角カメラ１１２の露光時間を第２露光時間ＳＳ２に設定したとき、第２露光時間ＳＳ２がフリッカー周期による露光時間下限値ＳＳ_Fより短いか否かが判断される。

Ｓ８７においてＳＳ２≧ＳＳ_Fと判断されると、Ｓ８７からエンドへ進み、広角カメラ１１２の露光時間が第２露光時間ＳＳ２に設定される。しかし、Ｓ８７においてＳＳ２＜ＳＳ_Fと判断されると、Ｓ８７からＳ８８→エンドへと進む。Ｓ８８では、露光時間下限値ＳＳ_Fが露光時間として設定される。なお、Ｓ８８では、露光時間下限値ＳＳ_F以上の時間を露光時間として設定しても良い。

このように、検出対象物体が交流電源による光源を用いる物体の場合、フリッカーによる画像に消灯状態が生じる影響を排除するには、「露光時間を長くすること（＝シャッター速度を遅くすること）」が有効な対策となる。このため、第２露光時間ＳＳ２が露光時間下限値ＳＳ_F未満であることで、フリッカーにより画像に消灯状態が生じると判断されると、フリッカー周期により画像に消灯状態が生じない露光時間の下限を示す値である露光時間下限値ＳＳ_Fが露光時間として設定されることになる。よって、例えば、LED光源を用いた信号機ＴＳ、道路情報表示板などのように、交流電源による光源を用いて交通情報を表示する光情報表示物体の場合、検出対象の信号機ＴＳなどの光源が消灯状態として撮像されることを防止でき、光源を用いた物体の認識性能を向上させることができる。なお、露光時間下限値ＳＳ_F以上の露光時間とすると、フリッカー周期による影響を排除できるが、露光時間を長くするほど像ぶれ抑制作用は低くなる。このため、露光時間下限値ＳＳ_F付近の時間を露光時間として設定することで、フリッカー周期による影響排除と像ぶれ抑制との両立を図ることができる。

以上説明したように、実施例１の自動運転車両ＡＤにおける物体検出方法及び物体検出装置にあっては、下記に列挙する効果を奏する。

(1) 車載カメラとして、検出対象物体を第１画角と第１焦点距離により撮像可能な狭角カメラ１１１と、検出対象物体を第１画角よりも広い第２画角と第１焦点距離よりも短い第２焦点距離により撮像可能な広角カメラ１１２とを有する撮像部１１０と、
撮像部１１０で撮像された画像に基づいて自車両Ａの周囲に存在する検出対象物体を検出する周囲物体検出部３１４と、を備える物体検出方法であって、
周囲物体検出部３１４は、
自車両Ａと検出対象物体の間の距離Ｄの情報を取得し、
距離Ｄが狭角カメラ１１１で検出対象物体を検出可能な距離領域になると、狭角カメラ１１１からの画像を選択し、
狭角カメラ１１１からの画像選択中、自車両Ａに発生する車両挙動の大きさをあらわす車両挙動指標値（ヨーレート値Ｙ）の情報を取得し、
車両挙動指標値（ヨーレート値Ｙ）が所定値よりも大きく、かつ、距離Ｄが広角カメラ１１２で検出対象物体を検出可能な距離領域であると、広角カメラ１１２からの画像選択に切り替え、
広角カメラ１１２からの画像選択に切り替えると、広角カメラ１１２の露光時間を、車両挙動指標値（ヨーレート値Ｙ）が所定値以下のときの第１露光時間ＳＳ１よりも短い第２露光時間ＳＳ２に設定し、
第２露光時間ＳＳ２に設定された広角カメラ１１２で撮像された画像に基づいて検出対象物体を検出する（図１１）。
このため、車両挙動の変化を伴う走行中の物体検出シーンにおいて、画像全体の明るさを保ちながら像ぶれを抑制した撮像結果を広角カメラ１１２から得ることで、物体認識性能の向上を達成する物体検出方法を提供することができる。

(2) 狭角カメラ１１１からの画像選択中、車両挙動指標値（ヨーレート値Ｙ）が所定値よりも大きく、かつ、距離Ｄが第２距離Ｄ２から距離閾値Ｄ_THまでの距離領域であると、広角カメラ１１２からの画像選択に切り替える（図１１のＳ３→Ｓ４→Ｓ５→Ｓ６→Ｓ７→Ｓ８→Ｓ９）。
このため、車両挙動によって撮像結果に像ぶれが発生する場合、距離Ｄが距離閾値Ｄ_THに到達する前の早期タイミングにて物体認識性能が向上する広角カメラ１１２からの画像に切り替えることができる。

(3) 狭角カメラ１１１からの画像選択中、車両挙動指標値（ヨーレート値Ｙ）が所定値以下であると、狭角カメラ１１１からの画像選択を維持し、
狭角カメラ１１１からの画像選択を維持したままで、距離Ｄが距離閾値Ｄ_TH未満になると、広角カメラ１１２からの画像選択に切り替える（図１１のＳ３→Ｓ４→Ｓ９）。
このため、車両挙動によって撮像結果に像ぶれが発生しない場合、距離Ｄが距離閾値Ｄ_THに到達すると、狭角カメラ１１１からの画像よりも物体認識性能が向上する広角カメラ１１２からの画像に切り替えることができる。

(4) 自車両Ａに発生する車両挙動指標値の情報は、自車両Ａの重心点を通る鉛直軸回りの回転角速度をあらわすヨーレート値Ｙの情報である（図８）。
このため、ヨーレート値Ｙが上昇するカーブ路を経由して自車両Ａが検出対象物体に接近する走行シーンのとき、画像全体の明るさを保ちながら像ぶれを抑制した撮像結果を広角カメラ１１２から得ることができる。

(5) 自車両Ａのヨーレートを検出するヨーレートセンサ１３１を設け、
自車両Ａに発生するヨーレート値Ｙの情報として、ヨーレートセンサ１３１からのヨーレートセンサ値Ｙ(sen)を取得する（図１２Ａ）。
このため、カーブ路の入口域でヨーレートセンサ値Ｙ(sen)が所定値Ｙ_THよりも大きくなると、Ｙ(sen)＞Ｙ_THとなった以降の走行区間で広角カメラ１１２からの画像を選択することができる。

(6) 自車両Ａが検出対象物体に接近するときの道路地図と道路関連情報を有する地図情報記憶部３１１を備え、
地図情報記憶部３１１から自車両Ａが検出対象物体に接近するときに走行する道路の曲率半径Ｒと道路の制限速度Ｖの情報を取得し、制限速度Ｖと曲率半径Ｒを用いた算出処理によりヨーレート推定値Ｙ(pre)を取得する（図１２Ｂ）。
このため、自車両Ａに発生するであろうヨーレート推定値Ｙ(pre)を事前に取得することが可能となり、実際のヨーレート値Ｙが上昇する前に広角カメラ１１２からの画像を選択することで、撮像結果が像ぶれになるのを未然に防止することができる。

(7) 自車両Ａが過去に検出対象物体に接近する走行をした際の自車両Ａの自己位置に対応したヨーレート検出値を記憶する走行履歴記憶部３１９を備え、
走行履歴記憶部３１９に記憶されているヨーレート記憶情報を自車両Ａの自己位置推定に基づいて読み込み、ヨーレート記憶情報を参照してヨーレート推定値Ｙ(memo)を取得する（図１２Ｃ）。
このため、自車両Ａに発生するであろうヨーレート推定値Ｙ(memo)を事前に取得することが可能となり、実際のヨーレート値Ｙが上昇する前に広角カメラ１１２からの画像を選択することで、撮像結果が像ぶれになるのを未然に防止することができる。

(8) 検出対象物体は、交流電源による光源を用いて交通情報を表示する光情報表示物体（信号機ＴＳなど）であり、
光情報表示物体を検出する場合、広角カメラ１１２の露光時間を第２露光時間ＳＳ２に設定したとき、第２露光時間ＳＳ２が、フリッカー周期による露光時間下限値ＳＳ_Fより短いか否かを判断し、
第２露光時間ＳＳ２が露光時間下限値ＳＳ_Fより短いと判断されると、露光時間下限値ＳＳ_F以上の時間を露光時間として設定する（図１３Ｂ）。
このため、交流電源による光源を用いて交通情報を表示する光情報表示物体（信号機ＴＳなど）の場合、光源が消灯状態として撮像されることを防止でき、光源を用いた光情報表示物体（信号機ＴＳなど）の認識性能を向上させることができる。

(9) 車載カメラとして、検出対象物体を第１画角と第１焦点距離により撮像可能な狭角カメラ１１１と、検出対象物体を第１画角よりも広い第２画角と第１焦点距離よりも短い第２焦点距離により撮像可能な広角カメラ１１２とを有する撮像部１１０と、
撮像部１１０で撮像された画像に基づいて自車両Ａの周囲に存在する検出対象物体を検出する周囲物体検出部３１４と、を備える物体検出装置において、
周囲物体検出部３１４は、
検出対象物体と自車両Ａの間の距離Ｄの情報を取得する距離情報取得部３１４ａと、
検出対象物体へ接近するときに自車両Ａに発生する車両挙動の大きさをあらわす車両挙動指標値（ヨーレート値Ｙ）の情報を取得する車両挙動指標値情報取得部（ヨーレート情報取得部３１４ｂ）と、
距離の情報と車両挙動指標値（ヨーレート値Ｙ）の情報に基づいて、狭角カメラ１１１からの画像選択を広角カメラ１１２からの画像選択に切り替える画像選択部３１４ｃと、
撮像部１１０の露光時間を設定する露光時間設定部３１４ｄと、を備え、
画像選択部３１４ｃは、狭角カメラ１１１からの画像選択中、車両挙動指標値（ヨーレート値Ｙ）が所定値よりも大きく、かつ、距離Ｄが広角カメラ１１２で検出対象物体を検出可能な距離領域であると、広角カメラ１１２からの画像選択に切り替え、
露光時間設定部３１４ｄは、車両挙動指標値（ヨーレート値Ｙ）が所定値よりも大きいと、露光時間を、車両挙動指標値（ヨーレート値Ｙ）が所定値以下のときの第１露光時間ＳＳ１よりも短い第２露光時間ＳＳ２に設定する（図３）。
このため、車両挙動の変化を伴う走行中の物体検出シーンにおいて、画像全体の明るさを保ちながら像ぶれを抑制した撮像結果を広角カメラ１１２から得ることで、物体認識性能の向上を達成する物体検出装置を提供することができる。

以上、本開示の物体検出方法及び物体検出装置を、実施例１に基づき説明してきた。しかし、具体的な構成については、この実施例１に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加などは許容される。

実施例１では、像ぶれの予見情報として、自車両Ａの重心点を通る鉛直軸回りの回転角速度をあらわすヨーレート値Ｙを用いる例を示した。しかし、像ぶれの予見情報としては、ヨーレート値によるヨーイング回転挙動に限られるものではなく、像ぶれを招く原因になる自車両の様々な車両挙動指標値が含まれる。例えば、ヨーレート以外のヨーイング回転挙動を表す指標値、車両左右軸回りのピッチング回転挙動を表す指標値、車両前後軸回りのローリング回転挙動を表す指標値、ヨー/ピッチ/ロールの複合的な車両挙動を表す指標値であっても良い。

実施例１では、車載カメラとして、狭角カメラ１１１と広角カメラ１１２による２台のカメラを用いる例を示した。しかし、撮像部に有する車載カメラとしては、ズームレンズを備える１台のズームレンズカメラであっても良い。ズームレンズカメラを用いた場合、１台のカメラでありながら、狭角モードの選択による狭角カメラと、広角モードの選択による広角カメラを兼用することになる。

実施例１では、検出対象物体の代表例として、信号機ＴＳと標識の例を示した。しかし、検出対象物体としては、信号機、標識以外の様々な静止物体であっても良いし、又、静止物体に限らず、人物、自転車、他車両などの移動物体も含まれる。さらに、信号機のように自車両の前方に向けて設置した車載カメラにより捉えられる物体に限られず、例えば、自車両の側方に設置した車載カメラにより捉えられ、斜め前方から物体へ接近して側方へ抜けるような物体も含まれる。

実施例１では、本開示の物体検出方法及び物体検出装置を、目標軌跡に沿って走行するように車両運動が制御される自動運転車両ＡＤに適用する例を示した。しかし、本開示の物体検出方法及び物体検出装置は、自動運転車両に限らず、オートクルーズ機能やレーンキープ機能などを備え、少なくともステアリング操作/アクセル操作/ブレーキ操作の何れか一つの運転操作を支援する運転支援車両に対しても適用することができる。また、本開示の物体検出方法及び物体検出装置を適用する車両としては、エンジン車、ハイブリッド車、電気自動車、などのあらゆる駆動方式の車両に適用することができる。

ＡＤ 自動運転車両
１ 車載センサ
１１０ 撮像部
１１１ 狭角カメラ
１１２ 広角カメラ
２ ナビゲーション装置
３ 車載制御ユニット
３１ 自動運転コントローラ
３１１ 地図情報記憶部
３１２ 自己位置推定部
３１３ 走行環境認識部
３１４ 周囲物体検出部
３１４ａ 距離情報取得部
３１４ｂ ヨーレート情報取得部（車両挙動指標値情報取得部）
３１４ｃ 画像選択部
３１４ｄ 露光時間設定部
３１４ｅ 物体検出部
３１４ｆ 出力部
３１９ 走行履歴記憶部
３２ 車両運動コントローラ
４ アクチュエータ
５ ＨＭＩモジュール

Claims (9)

1. 車載カメラとして、検出対象物体を第１画角と第１焦点距離により撮像可能な狭角カメラと、前記検出対象物体を前記第１画角よりも広い第２画角と前記第１焦点距離よりも短い第２焦点距離により撮像可能な広角カメラとを有する撮像部と、
   前記撮像部で撮像された画像に基づいて自車両の周囲に存在する前記検出対象物体を検出する周囲物体検出部と、を備える物体検出方法であって、
   前記周囲物体検出部は、
   前記自車両と前記検出対象物体の間の距離の情報を取得し、
   前記距離が前記狭角カメラで前記検出対象物体を検出可能な距離領域になると、前記狭角カメラからの画像を選択し、
   前記狭角カメラからの画像選択中、前記自車両に発生する車両挙動の大きさをあらわす車両挙動指標値の情報を取得し、
   前記車両挙動指標値が所定値よりも大きく、かつ、前記距離が前記広角カメラで前記検出対象物体を検出可能な距離領域であると、前記広角カメラからの画像選択に切り替え、
   前記広角カメラからの画像選択に切り替えると、前記広角カメラの露光時間を、前記車両挙動指標値が所定値以下のときの第１露光時間よりも短い第２露光時間に設定し、
   前記第２露光時間に設定された前記広角カメラで撮像された画像に基づいて前記検出対象物体を検出し、
   前記車両挙動指標値の所定値は、車両挙動の大きさを異ならせた走行を行うとき、前記狭角カメラからの像ぶれした画像データを取得し、物体認識性が低くなる像ぶれが発生したときの車両挙動指標値に基づいて予め設定する
   ことを特徴とする物体検出方法。
2. 請求項１に記載された物体検出方法において、
   前記狭角カメラでのみ前記検出対象物体の検出開始が可能な位置までの距離を第１距離、前記広角カメラで前記検出対象物体の検出開始が可能な位置までの距離を第２距離、前記広角カメラでのみ前記検出対象物体の検出開始が可能な位置までの距離を第３距離、前記第２距離と前記第３距離の間に予め設定した画像切り替え位置までの距離を距離閾値というとき、
   前記狭角カメラからの画像選択中、前記車両挙動指標値が所定値よりも大きく、かつ、前記距離が前記第２距離から前記距離閾値までの距離領域であると、前記広角カメラからの画像選択に切り替える
   ことを特徴とする物体検出方法。
3. 請求項２に記載された物体検出方法において、
   前記狭角カメラからの画像選択中、前記車両挙動指標値が所定値以下であると、前記狭角カメラからの画像選択を維持し、
   前記狭角カメラからの画像選択を維持したままで、前記距離が前記距離閾値未満になると、前記広角カメラからの画像選択に切り替える
   ことを特徴とする物体検出方法。
4. 請求項１から３までの何れか一項に記載された物体検出方法において、
   前記自車両に発生する車両挙動指標値の情報は、前記自車両の重心点を通る鉛直軸回りの回転角速度をあらわすヨーレート値の情報である
   ことを特徴とする物体検出方法。
5. 請求項４に記載された物体検出方法において、
   前記自車両のヨーレートを検出するヨーレートセンサを設け、
   前記自車両に発生するヨーレート値の情報として、前記ヨーレートセンサからのヨーレートセンサ値を取得する
   ことを特徴とする物体検出方法。
6. 請求項４に記載された物体検出方法において、
   前記自車両が前記検出対象物体に接近するときの道路地図と道路関連情報を有する地図情報記憶部を備え、
   前記地図情報記憶部から前記自車両が前記検出対象物体に接近するときに走行する道路の曲率半径と道路の制限速度の情報を取得し、前記制限速度と前記曲率半径を用いた算出処理によりヨーレート推定値を取得する
   ことを特徴とする物体検出方法。
7. 請求項４に記載された物体検出方法において、
   前記自車両が過去に前記検出対象物体に接近する走行をした際の前記自車両の自己位置に対応したヨーレート検出値を記憶する走行履歴記憶部を備え、
   前記走行履歴記憶部に記憶されているヨーレート記憶情報を前記自車両の自己位置推定に基づいて読み込み、前記ヨーレート記憶情報を参照してヨーレート推定値を取得する
   ことを特徴とする物体検出方法。
8. 請求項１から７までの何れか一項に記載された物体検出方法において、
   前記検出対象物体は、交流電源による光源を用いて交通情報を表示する光情報表示物体であり、
   前記光情報表示物体を検出する場合、前記広角カメラの露光時間を前記第２露光時間に設定したとき、前記第２露光時間が、フリッカー周期による露光時間下限値より短いか否かを判断し、
   前記第２露光時間が前記露光時間下限値より短いと判断されると、前記露光時間下限値以上の時間を前記露光時間として設定する
   ことを特徴とする物体検出方法。
9. 車載カメラとして、検出対象物体を第１画角と第１焦点距離により撮像可能な狭角カメラと、前記検出対象物体を前記第１画角よりも広い第２画角と前記第１焦点距離よりも短い第２焦点距離により撮像可能な広角カメラとを有する撮像部と、
   前記撮像部で撮像された画像に基づいて自車両の周囲に存在する前記検出対象物体を検出する周囲物体検出部と、を備える物体検出装置において、
   前記周囲物体検出部は、
   前記検出対象物体と前記自車両の間の距離の情報を取得する距離情報取得部と、
   前記検出対象物体へ接近するときに前記自車両に発生する車両挙動の大きさをあらわす車両挙動指標値の情報を取得する車両挙動指標値情報取得部と、
   前記距離の情報と前記車両挙動指標値の情報に基づいて、前記狭角カメラからの画像選択を前記広角カメラからの画像選択に切り替える画像選択部と、
   前記撮像部の露光時間を設定する露光時間設定部と、を備え、
   前記画像選択部は、前記狭角カメラからの画像選択中、前記車両挙動指標値が所定値よりも大きく、かつ、前記距離が前記広角カメラで前記検出対象物体を検出可能な距離領域であると、前記広角カメラからの画像選択に切り替え、
   前記露光時間設定部は、前記車両挙動指標値が所定値よりも大きいと、前記露光時間を、前記車両挙動指標値が所定値以下のときの第１露光時間よりも短い第２露光時間に設定し、
   前記車両挙動指標値の所定値は、車両挙動の大きさを異ならせた走行を行うとき、前記狭角カメラからの像ぶれした画像データを取得し、物体認識性が低くなる像ぶれが発生したときの車両挙動指標値に基づいて予め設定する
   ことを特徴とする物体検出装置。