JP6868570B2 - 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法 - Google Patents

Description

本開示は、車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法に関する。

特許文献１には、自車両前方に所定周期でパルス光を出射し、ターゲット距離に応じて設定される撮像タイミングでターゲット距離からの反射光を撮像し、それにより得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する、車両用距離画像データ生成装置が開示されている。

日本国特開２００９−２５７９８３号公報

特許文献１に記載のような車両用距離画像データ生成装置においては、パルス光の発光時間および反射光の撮像（露光）時間が短いほどターゲット距離の分解能を細かくし距離検出の精度を上げることができるが、発光時間および露光時間が短いほど撮像した画像の輝度が低く物体の認識が困難になる。また、単純に、発光強度を高めたり発光パルス幅を長くすると消費電力が増大し、発光回数および露光回数を増やすとフレームレートが高くなり撮像対象となる全撮影領域の撮像画像を網羅的に取得するための時間が長くなるといった弊害が生じる。

また、特許文献１に記載のような車両用距離画像データ生成装置においては、パルス光の投光時間および反射光の撮像（露光）時間によって、距離分解能が決まる。距離検出の精度を上げるためには、距離分解能ができるだけ細かい（１フレーム分の領域幅が短い）ことが望ましい。また、撮影したい距離領域であるターゲット距離領域（例えば、自車両前方の０ｍ〜２００ｍ）の全てを、細かな距離分解能で明るく撮影できることが望ましい。しかしながら、距離分解能が短いほど所望の撮影範囲の距離画像を網羅的に取得するための時間がかかったり、装置のコストが上がったりしてしまう。

本開示の第一の目的は、細かな距離分解能を維持しつつも、撮像画像内の物体の認識精度を向上し得る車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法を提供することにある。

また、本開示の第二の目的は、対象物の認識精度を向上させつつ、所望の撮影範囲の距離画像を網羅的に取得するための時間やコストの増大を防止可能な車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法を提供することにある。

さらに、本開示の第三の目的は、ターゲット距離領域のうち対象物が存在する距離領域を集中的に撮影するための車両用画像取得方法、車両用画像取得装置、制御装置、および車両用画像取得装置または制御装置を備えた車両を提供することにある。

上記第一の目的を達成するため、本開示の車両用画像取得装置は、
所定方向にパルス光を発光する発光部と、
ターゲット距離領域に応じて設定される撮像タイミングで前記ターゲット距離領域から帰ってくる反射光を撮像し、ターゲット距離領域の異なる複数の撮像画像を取得する画像取得部と、
前記パルス光の発光周期および前記撮像タイミングを制御するタイミング制御部と、
を備え、
前記タイミング制御部は、異なるターゲット距離領域のうち対象物の認識に必要な特定距離の領域を前記特定距離以外の領域よりも高輝度で撮像するように、前記発光周期および前記撮像タイミングの少なくとも一方を制御する。

上記構成によれば、対象物の認識に必要な特定距離の領域のみを高輝度で（明るく）撮像することで、対象物の存在し得る特定距離の領域の撮像画像と特定距離以外の領域の撮像画像との輝度のコントラストがはっきりするため、特定距離の領域内の対象物の認識がしやすくなる。これにより、細かな距離分解能を維持しつつも、撮像画像内の物体の認識精度を向上させることができ、照明制御や車両制御の向上につなげることができる。

前記特定距離の領域は、悪天候下または夜間の場合には前記ターゲット距離領域のうち前記画像取得部に最も近い領域であっても良い。

上記構成によれば、悪天候下あるいは夜間に最も注意を払うべき画像取得部に最も近い領域を明るく撮像することで、対象物の認識精度を向上させ、雨天時や夜間の安全運転に寄与することができる。

前記特定距離の領域は、前記ターゲット距離領域のうち認識候補の対象物を検知した領域であっても良い。

上記構成によれば、認識候補となる対象物の検知を前もって行うことで、対象物の認識精度を上げることができる。

前記特定距離の領域は、前記認識候補の対象物を検知した領域が複数ある場合には、当該複数の領域のうち前記画像取得部に最も近い領域と設定されても良い。

上記構成によれば、複数の認識候補の対象物がある場合に、画像取得部に最も近い対象物を明るく撮像することで、最も注意を払うべき対象物の認識精度を向上させることができる。

前記タイミング制御部は、前記特定距離の領域では前記特定距離以外の領域よりも前記パルス光の発光回数および前記画像取得部による露光回数を増やしても良い。

上記構成によれば、特定距離の領域においてのみ発光回数および露光回数を増やすことで、消費電力を必要以上に上げることなく、また、フレームレートを必要以上に高くすることなく、対象物の認識精度を上げることができる。

前記発光部は、前記特定距離の領域では前記特定距離以外の領域よりも前記パルス光の発光強度を上げるように制御されても良い。

上記構成によれば、特定距離の領域においてのみ発光強度を上げることで、消費電力を必要以上に上げることなく、対象物の認識精度を上げることができる。

前記タイミング制御部は、前記特定距離の領域では前記特定距離以外の領域よりも前記パルス光の発光時間を長くするとともに前記画像取得部による露光時間を短くしても良い。

上記構成によれば、特定距離の領域においてのみ発光時間を長くしつつ露光時間を短くすることで、細かな距離分解能を維持しながら、対象物の認識精度を上げることができる。

また、上記第一の目的を達成するため、本開示の制御装置は、
所定方向にパルス光を発光する発光部と、ターゲット距離領域に応じて設定される撮像タイミングで前記ターゲット距離領域から帰ってくる反射光を撮像してターゲット距離領域の異なる複数の撮像画像を取得する画像取得部とを備えた車両用画像取得装置を制御するための制御装置であって、
異なるターゲット距離領域のうち対象物の認識に必要な特定距離の領域を前記特定距離以外の領域よりも高輝度で撮像するように、前記パルス光の発光周期および前記撮像タイミングの少なくとも一方を制御する。

上記構成によれば、特定距離の領域内の対象物の認識がしやすくなるため、細かな距離分解能を維持しつつも、撮像画像内の物体の認識精度を向上させることができ、照明制御や車両制御の向上につなげることができる。

また、上記第一の目的を達成するため、本開示の車両用画像取得方法は、
撮像タイミングを変化させながら所定方向に発光されるパルス光の反射光を撮像することで、ターゲット距離領域の異なる複数の撮像画像を取得する、車両用画像取得方法であって、
異なるターゲット距離領域のうち対象物の認識に必要な特定距離の領域を前記特定距離以外の領域よりも高輝度で撮像するように、前記パルス光の発光周期および前記撮像タイミングの少なくとも一方を制御する。

上記構成によれば、細かな距離分解能を維持しつつも、撮像画像内の物体の認識精度を向上させることができる。

上記第二の目的を達成するため、本開示の車両用画像取得装置は、
所定方向にパルス光を発光する発光部と、
ターゲット距離領域に応じて設定される撮像タイミングで前記ターゲット距離領域から帰ってくる反射光を撮像し、ターゲット距離の異なる複数の撮像画像を取得する画像取得部と、
前記パルス光の発光周期および前記撮像タイミングを制御するタイミング制御部と、
を備え、
前記タイミング制御部は、異なるターゲット距離領域のうち対象道路環境の領域を前記対象道路環境以外の領域よりも集中的に撮像するように、前記発光周期および前記撮像タイミングの少なくとも一方を制御する。

上記構成によれば、対象道路環境の領域のみ集中的に撮像することで、対象物までの距離を精度良く把握することができ、所望の撮影範囲の画像を網羅的に取得するための時間やコストの増大を防止することができる。また、対象道路環境の領域とそれ以外の領域との輝度のコントラストがはっきりするため、対象道路環境内の認識候補の対象物の認識がしやすくなる。そのため、照明制御や車両制御の向上につなげることができる。

前記対象道路環境は、交差点あるいはカーブであって、地図情報より取得されても良い。

上記構成によれば、事故の起こりやすい交差点や見通しの悪いカーブを地図情報から取得して集中的に撮像することで、交通事故の抑制につなげることができる。

前記タイミング制御部は、前記対象道路環境の領域では前記対象道路環境以外の領域よりも前記パルス光の発光時間および前記撮像部による露光時間を短くしても良い。

上記構成によれば、対象道路環境の領域において発光時間および露光時間を短くすることで、対象道路環境の領域の距離分解能を向上させることができる。

前記タイミング制御部は、前記対象道路環境の領域では前記対象道路環境以外の領域よりも前記パルス光の発光時間を長くするとともに前記撮像部による露光時間を短くしても良い。

上記構成によれば、対象道路環境の領域を明るく撮像でき、対象物の認識精度を高めることができる。

前記タイミング制御部は、前記対象道路環境の領域では前記対象道路環境以外の領域よりも前記パルス光の発光強度を上げても良い。

上記構成によれば、対象道路環境の領域を明るく撮像でき、対象物の認識精度を高めることができる。

また、上記第二の目的を達成するため、本開示の制御装置は、
所定方向にパルス光を発光する発光部と、ターゲット距離領域に応じて設定される撮像タイミングで前記ターゲット距離領域から帰ってくる反射光を撮像してターゲット距離領域の異なる複数の撮像画像を取得する画像取得部とを備えた車両用画像取得装置を制御するための制御装置であって、
異なるターゲット距離領域のうち対象道路環境の領域を前記対象道路環境以外の領域よりも集中的に撮像するように、前記発光周期および前記撮像タイミングの少なくとも一方を制御する。

上記構成によれば、対象道路環境の領域のみ集中的に撮像することで、対象物までの距離を精度良く把握することができるとともに、対象道路環境内の認識候補の物体の認識がしやすくなる。

また、上記第二の目的を達成するため、本開示の車両用画像取得方法は、
撮像タイミングを変化させながら所定方向に発光されるパルス光の反射光を撮像することで得られた、ターゲット距離領域の異なる複数の撮像画像を取得する、車両用画像取得方法であって、
異なるターゲット距離領域のうち対象道路環境の領域を前記対象道路環境以外の領域よりも集中的に撮像するように、前記パルス光の発光周期および前記撮像タイミングの少なくとも一方を制御する。

上記構成によれば、対象道路環境の領域のみ集中的に撮像することで、対象物までの距離を精度良く把握することができるとともに、対象道路環境内の認識候補の物体の認識がしやすくなる。

上記第三の目的を達成するため、本開示の車両用画像取得方法は、
撮像タイミングを変化させながら所定方向に所定周期でパルス光を発光するステップと、ターゲット距離領域に応じて設定される撮像タイミングで前記ターゲット距離領域から帰ってくる反射光を撮像し、ターゲット距離の異なる複数の撮像画像を取得するステップとを含む、車両用画像取得方法であって、
前記パルス光を発光するステップの前に、前記対象物の有無を検索するステップを含む。

上記構成によれば、予め対象物の有無を検索するステップを備えることで、パルス光を発光するステップおよびパルス光の反射光を撮像するステップにおいてターゲット距離領域のうち対象物の存在する距離領域を集中的に撮影することができる。そのため、物体認識の精度を向上させることができるとともに、ターゲット距離領域の撮像画像を網羅的に取得するための時間やコストの増大を防止することができる。

前記対象物の有無を検索するステップは、前記対象物の有無およびその距離を検索するための検索フレームを、所定の連続的に変化する距離領域を撮影するための撮影フレームの前に設けることを含んでも良い。

上記構成によれば、容易な方法により画像取得処理の前に対象物の有無を検索することができる。

前記対象物の有無を検索するステップは、
前記ターゲット距離領域を自車両に近い近傍領域と前記自車両から遠い遠方領域とに区分けし、
前記遠方領域を最初の検索領域と設定し、
前記遠方領域からの反射光が撮像された前記遠方領域の画像に所定の画像領域が含まれるか否かを判断し、
前記所定の画像領域の有無によって次の検索領域を決定することで前記自車両から最も近い対象物の距離を検出することを含んでも良い。

上記構成によれば、少ないフレーム数で最も近い距離にある対象物を検索することができる。

前記所定の画像領域は、輝度値がしきい値以下の画素領域であっても良い。

上記構成によれば、簡便な処理により対象物の有無を検索することができる。

前記対象物の有無を検索するステップは、前記パルス光の複数回の発光または前記反射光の複数回の撮影によって前記対象物が存在する距離領域を絞り込むことを含んでも良い。

上記構成によれば、少ないフレーム数で最も近い距離にある対象物を検索することができる。

また、上記第三の目的を達成するため、本開示の車両用画像取得装置は、
所定方向にパルス光を発光する発光部と、
ターゲット距離に応じて設定される撮像タイミングで前記ターゲット距離から帰ってくる反射光を撮像し、ターゲット距離の異なる複数の撮像画像を取得する画像取得部と、
前記パルス光の発光周期および前記撮像タイミングを制御するタイミング制御部と、
を備え、
前記発光部による前記パルス光の発光前に、対象物の有無を検索する検索処理制御部を備えている。

上記構成によれば、予め対象物の有無を検索することで、ターゲット距離領域のうち対象物の存在する距離領域を集中的に撮影することができる。そのため、物体認識の精度を向上させることができるとともに、ターゲット距離領域の距離画像を網羅的に取得するための時間やコストの増大を防止することができる。

また、上記第三の目的を達成するため、本開示の制御装置は、
所定方向にパルス光を発光する発光部と、ターゲット距離領域に応じて設定される撮像タイミングで前記ターゲット距離領域から帰ってくる反射光を撮像してターゲット距離領域の異なる複数の撮像画像を取得する画像取得部とを備えた車両用画像取得装置を制御するための制御装置であって、
前記発光部による前記パルス光の発光前に、対象物の有無を検索する検索処理制御部を備えている。

上記構成によれば、予め対象物の有無を検索することで、ターゲット距離領域のうち対象物の存在する距離領域を集中的に撮影することができ、物体認識の精度を向上させることができるとともに、ターゲット距離領域の距離画像を網羅的に取得するための時間やコストの増大を防止することができる。

また、上記第一から第三の目的を達成するため、本開示の車両は、
上述の車両用画像取得装置または制御装置を備えている。

上記構成によれば、例えば自動運転システムを搭載した車両における安全性を高めることができる。

本開示によれば、細かな距離分解能を維持しつつも、撮像画像内の物体の認識精度を向上させることができる。

また、本開示によれば、対象物の認識精度を向上させつつ、所望の撮影範囲の画像を網羅的に取得するための時間やコストの増大を防止させることができる。

本実施形態の障害物検出装置の構成を示すブロック図である。 各ターゲット距離領域を撮像する際の、発光部の動作（発光動作）とゲートの動作（カメラゲート動作）との時間的な関係を示す図である。 自車両前方の異なる位置に４つの異なる物体が存在している状況を示す図である。 撮像領域の一部がオーバーラップする状態を示す図である。 各物体に対応する画素の時間的な輝度変化を示す模式図である。 発光／露光時間と距離分解能との関係を説明するための図である。 実施例１に係る、特定距離の領域の決定処理を示すフローチャートである。 実施例１に係る、発光周期および撮像タイミングを示す図である。 実施例１の別の例に係る発光周期と撮像タイミングとの時間的な関係を示す図である。 実施例２に係る、特定距離の領域とそれ以外の領域との発光強度の関係を示す図である。 発光時間を変化させた場合の反射光量および撮像対象長さの変化を示す図である。 実施例３および実施例６に係る、発光時間および露光時間と反射光量および距離分解能との関係を示す図である。 実施例４に係る、発光周期および撮像タイミングを示す図である。 実施例５に係る、特定距離の領域とそれ以外の領域との発光強度の関係を示す図である。 実施例７に係る、対象物の検索方法を示す図である。 実施例７に係る、特定距離における撮像の模式図および撮像画像であって、（Ａ）は特定距離よりも手前に対象物が無い場合の模式図および撮像画像であり、（Ｂ）は、特定距離よりも手前に対象物がある場合の模式図および撮像画像である。 実施例７に係る、検索距離決定のためのシーケンス処理を示す図である。 実施例７に係る、発光周期および撮像タイミングの例を示す図である。 実施例８に係る、検索距離決定のためのシーケンス処理を示す図である。 実施例８の別の例に係る、検索距離決定のためのシーケンス処理を示す図である。

以下、本実施形態の一例について、図面を参照して詳細に説明する。

図１は、車両用画像取得装置を適用した本実施形態に係る障害物検出装置の構成を示すブロック図である。図２は、各ターゲット距離領域を撮像する際の、発光部の動作（発光動作）とゲートの動作（カメラゲート動作）との時間的な関係を示す模式図である。

図１に示されるように、車両Ｖ（自車両）に設けられる障害物検出装置１は、画像取得装置２と、画像処理部（距離画像データ生成部）３と、物体認識処理部４と、判断部１０とを備えている。

画像取得装置２は、発光部５と、対物レンズ６と、光増倍部７と、高速度カメラ（画像取得部）８と、タイミングコントローラ（タイミング制御部）９とを備えている。

発光部５は、例えば、車両Ｖの前端部に配置した近赤外線ＬＥＤである。図２に示されるように、発光部５は、タイミングコントローラ９から出力されるパルス信号に応じて、所定の発光時間ｔＬ（例えば、５ｎｓ）の間、所定方向（例えば、車両Ｖの前方）にパルス光を出射する。発光部５から照射されるパルス光の発光周期ｔＰは、例えば、１０μｓ以下の間隔とする。

対物レンズ６は、例えば、車両Ｖ前方の所定範囲を撮像できる画角とするように設定された光学系であって、物体からの反射光を受光する。対物レンズ６は、発光部５と近接して配置されていても良く、離隔して配置されていても良い。

光増倍部７は、ゲート７ａとイメージインテンシファイア７ｂとを備えている。
ゲート７ａは、タイミングコントローラ９からの開閉指令信号に応じて開閉する。本実施形態では、ゲート７ａの開放時間（ゲート時間）ｔＧを、発光時間ｔＬと同じ５ｎｓとしている。ゲート時間ｔＧは、領域１から領域ｎまでの全撮像領域における各領域（ターゲット距離領域）の撮像対象長さ（撮像対象深さ）に比例する。ゲート時間ｔＧを長くするほど各領域の撮像対象長さは長くなる。撮像対象長さは、光速度×ゲート時間ｔＧから求められ、本実施形態では、ゲート時間ｔＧ＝５ｎｓとしているため、撮像対象長さは、「光速度（約３×１０^８ｍ／ｓ）×ゲート時間（５ｎｓ）」より、１．５ｍとなる。
イメージインテンシファイア７ｂは、極微弱な光（物体からの反射光等）を一旦電子に変換して電気的に増幅し、再度蛍光像に戻すことで光量を倍増してコントラストのついた像を見るためのデバイスである。イメージインテンシファイア７ｂにより増幅された光は高速度カメラ８のイメージセンサに導かれる。

高速度カメラ８は、タイミングコントローラ９からの指令信号に応じて、光増倍部７から発せられた像を撮像し、取得した撮像画像を画像処理部３へ出力する。本実施形態では、解像度６４０×４８０（横：縦）、輝度値１〜２５５(２５６段階)、１００ｆｐｓ以上のカメラを用いている。

タイミングコントローラ９は、高速度カメラ８により撮像される撮像画像が、狙った撮像領域であるターゲット距離領域から帰ってくる反射光のタイミングとなるように、発光部５の発光開始時点からゲート７ａを開くまでの時間であるディレイ時間ｔＤ（図２では、ｔＤ_ｎ，ｔＤ_ｎ＋１）を設定し、ディレイ時間ｔＤに応じた開閉指令信号を出力することで、撮像タイミングを制御する。つまり、ディレイ時間ｔＤは、車両Ｖからターゲット距離領域までの距離（撮像対象距離）を決める値である。ディレイ時間ｔＤと撮像対象距離との関係は、以下の式（１）から求められる。
撮像対象距離＝光速度（約３×１０^８ｍ／ｓ）×ディレイ時間ｔＤ／２ ・・・式（１）

タイミングコントローラ９は、ターゲット距離領域が車両Ｖの前方（遠方）へと連続的に離れるように、ディレイ時間ｔＤを所定間隔（例えば、１０ｎｓ）ずつ長くすることで、高速度カメラ８の撮像範囲を車両Ｖの前方側へ変化させる。なお、タイミングコントローラ９は、ゲート７ａが開く直前に高速度カメラ８の撮像動作を開始させ、ゲート７ａが完全に閉じた後に撮像動作を終了させる。

タイミングコントローラ９は、設定された所定のターゲット距離領域（領域１、領域２、…、領域ｎの各領域）毎に複数回の発光および露光を行うよう発光部５、ゲート７ａおよび高速度カメラ８を制御する。高速度カメラ８が受光した光は電荷に変換され、複数回の発光および露光を繰り返すことで蓄積される。所定の電荷蓄積時間ごとに得られる１枚の撮像画像をフレームと呼ぶ。なお、高速度カメラ８は、ターゲット距離領域ごとに１枚（１フレーム）ずつ撮像画像を取得しても良く、あるいは各ターゲット距離領域において複数の撮像画像（数フレーム）を取得しても良い。このようにして、高速度カメラ８は、ターゲット距離領域の異なる複数の撮像画像を取得し、取得した複数の撮像画像を画像処理部３へ出力する。

画像処理部３は、高速度カメラ８により撮像された全撮像領域の撮像画像における同一画素の輝度に基づいて、画素毎の物体（対象物）までの距離を表す距離画像データを生成し、生成した距離画像データを物体認識処理部４へ出力する。

物体認識処理部４は、距離画像データに含まれる物体を特定する。物体の特定方法は、パターンマッチング等、周知の技術を用いることができる。

判断部１０は、物体認識処理部４により特定された物体（人、自動車、標識等）と自車両（車両Ｖ）との関係（距離、方向等）を判断する。

次に、本実施形態に係る画像取得の作用を説明する。
［画像取得作用］
タイミングコントローラ９は、高速度カメラ８により撮像される撮像画像が、所定のターゲット距離領域から帰ってくる反射光のタイミングとなるように、ディレイ時間ｔＤを設定し、高速度カメラ８の撮像タイミングを制御する。ターゲット距離領域に物体が存在している場合、発光部５から出射された光がターゲット距離領域から戻ってくる時間は、車両Ｖとターゲット距離領域との間の距離（撮像対象距離）を光が往復する時間となるため、ディレイ時間ｔＤは、撮像対象距離と光速度から求めることができる。

上記方法で得られた高速度カメラ８の撮像画像において、ターゲット距離領域に物体が存在する場合、当該物体の位置に対応する画素の輝度値データは、反射光の影響を受け、他の画素の輝度値データよりも高い値を示す。これにより、各画素の輝度値データに基づいて、ターゲット距離領域に存在する物体との距離を求めることができる。

図３は、車両Ｖの前方の異なる位置に４つの物体Ａ〜Ｄが存在している状況を示している。物体Ａは傘をさした人物であり、物体Ｂは対向車線側のバイクであり、物体Ｃは歩道側の樹木であり、物体Ｄは対向車線側の車両（対向車）である。車両Ｖと各物体との距離の関係は、Ａ＜Ｂ＜Ｃ＜Ｄとする。
このとき、本実施形態では、１つの物体からの反射光が連続する複数の撮像領域における撮像画像の画素に反映されるように、撮像領域の一部をオーバーラップさせている。すなわち、図４に示すように、撮像対象距離をＢ１→Ｂ２→Ｂ３→…と連続的に変化させながら撮像する際、撮像領域の撮像対象長さＡよりも撮像対象距離の増加量（Ｂ２−Ｂ１）を短くすることで、撮像領域の一部がオーバーラップしながら変化するように撮像対象距離の増加量を設定している。

図５は、各物体に対応する画素の時間的な輝度変化を示している。
撮像領域の一部をオーバーラップさせることで、図５に示されるように、連続する複数の撮像画像における同一画素の輝度値は、徐々に増加し、各物体Ａ〜Ｄの位置でピークとなった後は徐々に小さくなる三角波状の特性を示す。このように、１つの物体からの反射光が複数の撮像画像に含まれるようにすることで、画素の時間的な輝度変化が三角波状となるため、当該三角波状のピークと対応する撮像領域を当該画素における車両Ｖから各物体（被写体）Ａ〜Ｄまでの距離とすることで、検出精度を高めることができる。

なお、上記実施形態に係る画像取得装置２を備えた障害物検出装置１を、いわゆるＡＨＢ（オートマチック・ハイビーム）システムやＡＤＢ（アダプティブ・ドライビング・ビーム）システムの配光制御に用いることができる。障害物検出装置１を車両Ｖに搭載される他のカメラセンサと併用することで、例えば、画像取得装置２にて得られたターゲット距離領域の異なる複数の撮像画像から車両Ｖ前方の物体の有無および距離を検出するとともに、他のカメラセンサで車両Ｖ前方の映像を取得する。カメラセンサで取得された映像の中の各光点の距離を画像取得装置２で取得した撮像画像から求め、各光点の距離、輝度、形状（光点とその周辺の形状）、時系列変化等から当該光点が車両か否かを判別することができる。このように、画像取得装置２と他のカメラセンサを併用することで、特に遠方の車両の検知を高精度かつ高速に行うことができ、ＡＨＢシステムやＡＤＢシステムの配光制御を好適に行うことができる。

［実施例１］
図６は、発光／露光時間と距離分解能との関係を説明するための図である。図６の（Ａ）は、パルス光のパルス幅（発光時間）および高速度カメラのゲート時間（露光時間）が比較的短い場合の距離分解能を示している。一方、図６の（Ｂ）は、パルス光のパルス幅（発光時間）および高速度カメラのゲート時間（露光時間）がそれぞれ（Ａ）のパルス幅およびゲート時間よりも長い場合の距離分解能を示している。また、図６の（Ｃ）および（Ｄ）には、発光／露光時間と撮像対象距離との関係が示されている。
上述の通り、撮像対象距離Ｌは「光速×ディレイ時間ｔＤ（図６の（Ｃ）および（Ｄ）における時間ｔＡ）／２」から求められる。すなわち、パルス光の発光終了時点から露光開始時点までの時間ｔＡ_１が距離Ｌ１に相当し、パルス光の発光開始時点から露光終了時点までの時間ｔＡ_２が距離Ｌ２に相当する。そのため、図６の（Ａ）のように発光時間および露光時間が短いほど、図６の（Ｃ）に示されるように撮像対象長さ（Ｌ２−Ｌ１）が短くなる、すなわち、距離分解能が高くなる。一方、図６の（Ｂ）のように発光時間および露光時間が長いほど、図６の（Ｄ）に示されるように撮像対象長さ（Ｌ２−Ｌ１）が長くなる、すなわち、距離分解能が低下することがわかる。したがって、発光時間および露光時間が短いほどターゲット距離の分解能を細かくし距離検出の精度を上げることができる。しかし、発光時間および露光時間が短いほど撮像した画像の輝度が低くなるため、物体の認識は困難になる。

そこで、本出願の発明者は、上記事情を総合的に考慮して、物体の認識に必要な特定距離の領域のみを高輝度で（明るく）撮像することで、特定距離の領域内の物体の認識精度を向上させることを見出した。以下に、特定距離の領域のみを高輝度で撮像するための方法について詳述する。

図７は、実施例１に係る特定距離の領域を決定するためのフローチャートである。図８は、実施例１に係る発光周期と撮像タイミングとの時間的な関係を示す図である。

ステップＳ１１において、タイミングコントローラ９は、夜間あるいは悪天候下での走行であるかを判断する。タイミングコントローラ９は、車両Ｖが備える後述の各種スイッチあるいはセンサからの情報に基づき夜間あるいは悪天候下での走行であるかを判断することができる。ステップＳ１１において夜間あるいは悪天候下での走行であると判断された場合（ステップＳ１１のＹｅｓ）には、ステップＳ１２へ移行する。一方、ステップＳ１１において夜間あるいは悪天候下での走行ではないと判断された場合（ステップＳ１１のＮｏ）には、ステップＳ１３へ移行する。

「悪天候」とは、距離画像データを生成する際に物体の認識ミスにつながりうる天候のことを指す。具体的には、悪天候等とは、雨、霧、雪など、前方の視認を直接的に妨げたり、光を乱反射させる水分が路面等に存在したりする天候である。悪天候であるかの判定は、車両Ｖのワイパースイッチ、フォグランプスイッチ、または雨滴センサなどからの情報に基づいて行われる。また、夜間であるかの判定は、車両Ｖのテールランプスイッチやオートライト用のセンサなどからの情報に基づいて行われる。また、夜間判定のための専用のセンサを設けても良い。

ステップＳ１２において、タイミングコントローラ９は、車両Ｖから最も近い領域である領域１にフラグを立てる、すなわち領域１を特定距離の領域の候補とし、ステップＳ１３へ移行する。

ステップＳ１３において、タイミングコントローラ９は、各ターゲット距離領域（領域１〜ｎ）において認識候補の物体を検知した領域があるかを判断する。認識候補の物体の検知は、画像取得装置２による画像取得により行ってもよく、他のセンサによりあらかじめ検知を行ってもよい。ステップＳ１３において、タイミングコントローラ９は、認識候補の物体を検知した領域がある場合には（ステップＳ１３のＹｅｓ）、ステップＳ１４に移行する。一方、ステップＳ１３において、タイミングコントローラ９は、認識候補の物体を検知した領域がない場合には（ステップＳ１３のＮｏ）、ステップＳ１５に移行する。

ステップＳ１４において、タイミングコントローラ９は、認識候補の物体を検知した領域のうち車両Ｖから最も近い領域である領域、例えば領域１にフラグを立てる。すなわち、タイミングコントローラ９は、領域１を特定距離の領域の候補とし、ステップＳ１５へ移行する。なお、タイミングコントローラ９は、領域１で認識候補の物体が検知されない場合は、領域２以降の領域で認識候補の物体を検知した領域のうち、車両Ｖから最も近い領域にフラグを立てる。

ステップＳ１５において、タイミングコントローラ９は、ステップ１２またはステップＳ１４でフラグが立てられた領域を特定距離の領域と設定する。このように、悪天候下または夜間の場合にはターゲット距離領域のうち車両Ｖに最も近い領域が特定距離の領域と設定される。また、ターゲット距離領域のうち認識候補の物体を検知した領域が特定距離の領域と設定され、さらに、認識候補の物体を検知した領域が複数ある場合には、複数の領域のうち車両Ｖに最も近い領域が特定距離の領域と設定される。
なお、上記の特定距離の領域を決定するための処理は、タイミングコントローラ９ではなく、高速度カメラ８あるいは画像処理部３等で行ってもよい。

実施例１においては、以上のように設定された特定距離の領域を、当該特定距離以外の領域よりも高輝度で撮像するように、タイミングコントローラ９によりパルス光の発光周期および反射光の撮像タイミングを制御する。
例えば、特定距離の領域が車両Ｖから最も近い領域である領域１に設定された場合、図８に示されるように、領域１を撮像するためのパルス光の発光回数および高速度カメラによる露光回数を、特定距離以外の領域２〜ｎを撮像するための発光回数および露光回数よりも増やす。例えば、領域１における発光周期ｔＰ_１を、例えば１／１５０ｍｓとし、領域２〜ｎにおける発光周期ｔＰ_２を１／１００ｍｓとする。このように、特定距離の領域１においてのみ発光回数および露光回数を増やすことで、領域１における撮像画像の画素の輝度が領域２〜ｎにおける撮像画像の画素の輝度よりも高くなるため、領域１の撮像画像と領域２〜ｎの撮像画像との輝度の差が大きくなる、すなわち、領域１の撮像画像と領域２〜ｎの撮像画像とのコントラストが高くなる。

なお、特定距離の領域である領域１を撮像するためのパルス光の発光回数および高速度カメラによる露光回数を増やすために、領域１のエリアスキャン回数を特定距離以外の領域２〜ｎを撮像するためのエリアスキャン回数よりも増やしてもよい。例えば、図９に示されるように、領域１のエリアスキャンが、領域２〜ｎの各エリアスキャンの間に挟まれるようにすることで、領域１のエリアスキャン回数を領域２〜ｎのエリアスキャン回数よりも増やすことができる。これにより、特定距離の領域１においてのみ発光回数および露光回数を増やすことができ、距離画像データ内での領域１における撮像画像の画素の輝度が領域２〜ｎにおける撮像画像の画素の輝度よりも高くなる。

以上説明した実施例１の画像取得装置２によれば、以下に列挙する効果を奏する。

（１）画像取得装置２のタイミング制御部９は、異なるターゲット距離領域のうち対象物の認識に必要な特定距離の領域を当該特定距離以外の領域よりも高輝度で撮像するように、パルス光の発光周期および反射光の撮像タイミングの少なくとも一方を制御する。
このように、対象物の認識に必要な特定距離の領域のみを高輝度で（明るく）撮像することで、対象物の存在し得る特定距離の領域の撮像画像と特定距離以外の領域の撮像画像との輝度のコントラストがはっきりするため、特定距離の領域内の対象物の認識がしやすくなる。また、比較的短いパルス幅およびゲート時間を維持しているため、高い（細かな）距離分解能を維持することができる。また、特定距離以外の領域では、発光回数および露光回数が増加しないため、必要以上にフレームレートが高くなることがなく、撮像対象となる全撮像領域の撮像画像を網羅的に取得するための時間を短くすることができる。以上のように、本実施例の車両用画像取得装置２によれば、細かな距離分解能を維持しつつ、撮像画像内の物体の認識精度を向上させることができ、照明制御や車両制御の向上につなげることができる。

（２）特定距離の領域は、悪天候下または夜間の場合にはターゲット距離領域１〜ｎのうち車両Ｖに最も近い領域１であることが好ましい。この構成によれば、悪天候下あるいは夜間に最も注意を払うべき車両Ｖに最も近い領域１を明るく撮像することで、対象物の認識精度を向上させ、雨天時や夜間の安全運転に寄与することができる。

（３）特定距離の領域は、複数のターゲット距離領域１〜ｎのうち認識候補の対象物を検知した領域であることが好ましい。この構成によれば、認識候補となる対象物の検知を前もって行うことで、対象物の認識精度を上げることができる。

（４）特定距離の領域は、認識候補の対象物を検知した領域が複数ある場合には、当該複数の領域のうち車両Ｖに最も近い領域と設定されることが好ましい。この構成によれば、複数の認識候補の対象物がある場合に、車両Ｖに最も近い対象物を明るく撮像することで、最も注意を払うべき対象物の認識精度を向上させることができる。

（５）タイミング制御部は、特定距離の領域では特定距離以外の領域よりもパルス光の発光回数および露光回数を増やすことが好ましい。この構成によれば、特定距離の領域においてのみ発光回数および露光回数を増やすことで、消費電力を必要以上に増やすことなく、また、フレームレートを必要以上に高くすることなく、対象物の認識精度を上げることができる。

［実施例２］
図１０は、実施例２に係る、特定距離の領域とそれ以外の領域との発光強度の関係を示す図である。
実施例２においては、例えば、特定距離の領域が車両Ｖから最も近い領域である領域１に設定された場合、図１０に示されるように、領域１を撮像するためのパルス光の発光強度を、特定距離以外の領域２〜ｎを撮像するための発光強度よりも上げるように発光部５が制御される。このように、特定距離の領域１においてのみ発光強度を上げることで、領域１における撮像画像の画素の輝度が領域２〜ｎにおける撮像画像の画素の輝度よりも高くなるため、領域１の撮像画像と領域２〜ｎの撮像画像とのコントラストが高くなる。また、特定領域以外の領域２〜ｎの発光強度は比較的小さいまま維持されているため、消費電力を必要以上に上げることなく、対象物の認識精度を上げることができる。

［実施例３］
図１１の（Ａ）および（Ｂ）は、発光時間を変化させた場合の反射光量および撮像対象長さの変化を示す図である。また、図１２は、実施例３に係る、発光時間および露光時間と反射光量および距離分解能との関係を示す図である。
図１１の（Ａ）および（Ｂ）に示されるように、発光終了時点から露光開始（ゲート開放）時点までの時間ｔＡ_１により撮影領域における撮影対象距離の開始地点Ｌ１が決まり、発光開始時点から露光終了（ゲート閉鎖）時点までの時間ｔＡ_２により撮影対象距離の終了地点Ｌ２が決まる。
ここで、図１１の（Ａ）に示されるように、発光時間ｔＬ_１がゲート時間（露光時間）ｔＧよりも短い状態から、発光時間ｔＬ_１をｔＬ_２まで長くする（ｔＬ_２＞ｔＬ_１）と、反射光を露光できる光量のピークが上昇し、物体を明るく撮像することができる。しかし、発光終了時点から露光開始（ゲート開放）時点までの時間ｔＡ_３が短くなる（ｔＡ_１＞ｔＡ_３）ため、撮影対象距離の開始地点Ｌ３が地点Ｌ１よりも車両Ｖの手前側に移動される。すなわち、発光時間が長くなると撮像対象長さが長くなり、距離分解能が低下してしまう。
また、図１１の（Ｂ）に示されるように、発光時間ｔＬ_３がゲート時間（露光時間）ｔＧと同じかそれよりも長い状態から、発光時間ｔＬ_３をさらに時間ｔＬ_４まで長くする（ｔＬ_４＞ｔＬ_３）と、露出できる反射光量の最大光量の持続時間が長くなって物体を明るく撮像できるが、発光終了時点から露光開始時点までの時間ｔＡ_３が短くなるため、撮像対象長さが長くなって距離分解能が低下してしまう。

そこで、実施例３においては、例えば、特定距離の領域が車両Ｖから最も近い領域である領域１に設定された場合、図１２に示されるように、領域１を撮像するためのパルス光の発光時間を長くするとともに領域１を撮像する際の高速度カメラ８による露光時間を短くするように制御している。具体的には、領域１における発光時間ｔＬ_１をｔＬ_２まで長くする（ｔＬ_２＞ｔＬ_１）とともに、領域１における露光時間ｔＧ_１をｔＧ_２まで短くする（ｔＧ_１＞ｔＧ_２）。露光時間ｔＧの短縮は、露光時間ｔＧ_１の開始時間を遅延させることで行われる。このように、特定距離の領域において発光時間を長くすることで露光可能な光量を増加させ特定距離領域に存在する物体を明るく撮像することができる。一方、発光時間を長くすることに伴い露光時間を短くしているため、発光時間および露光時間の変化の前後において、発光終了時点から露光開始時点までの時間ｔＡ（ｔＡ_１→ｔＡ_３）が大きく変動しないようにしている。そのため、発光時間を長くしても撮像対象長さが長くなることがない。
以上のように、特定距離の領域（例えば、領域１）においてのみ発光時間を長くしつつ露光時間を短くすることで、細かな距離分解能を維持しながら、対象物の認識精度を上げることができる。

次に、実施例４および５について、図１３および図１４を参照して説明する。
上述の通り、発光時間および露光時間が短いほどターゲット距離の分解能を細かくし距離検出の精度を上げることができる。しかし、発光時間および露光時間が短いほど撮像した画像の輝度が低くなるため、所望の撮影範囲の撮像画像を網羅的に高輝度で取得するための時間がかかったり、装置のコ
ストが上がったりしてしまう。

そこで、本出願の発明者は、上記事情を総合的に考慮して、対象道路環境のみを集中的に撮像することで、対象物の認識精度を向上させつつ、所望の撮影範囲の画像を網羅的に取得するための時間やコストの増大を防止可能であることを見出した。以下に、対象道路環境のみを集中的に撮像するための方法について詳述する。

実施例４における対象道路環境とは、例えば、事故の起こりやすい交差点や、見通しの悪いカーブである。これらの対象道路環境は地図情報により取得される。本例においては、画像処理部３は、例えば、交差点やカーブ等の対象道路環境の有無や、車両Ｖから対象道路環境までの距離をナビゲーションシステム等から取得し、集中的に撮像すべき領域が決定される。

図１３は、実施例４に係る発光周期と撮像タイミングとの時間的な関係を示す図である。
実施例４においては、対象道路環境の領域を当該対象道路環境以外の領域よりも集中的に撮像するように、パルス光の発光周期および高速度カメラ８による撮像タイミングを制御する。
図１３に示されるように、タイミングコントローラ９は、例えば、交差点やカーブ等の対象道路環境が領域１〜ｎのうち領域２，３に設定された場合、領域２，３の撮像時のパルス光の発光時間ｔＬｂおよび高速度カメラ８によるゲート開放時間（露光時間）ｔＧｂを、領域２，３以外の領域１，４〜ｎの撮像時の発光時間ｔＬａおよび露光時間ｔＧａよりも短くするように制御している。このように、対象道路環境の領域２，３においてのみ発光時間および露光時間を短くすることで、領域２，３の距離分解能を領域１，４〜ｎの距離分解能よりも向上させることができる。

以上説明した実施例４の画像取得装置２によれば、以下に列挙する効果を奏する。

（６）タイミングコントローラ９は、異なるターゲット距離領域のうち対象道路環境の領域を当該対象道路環境以外の領域よりも集中的に撮像するように、パルス光の発光周期および撮像タイミングの少なくとも一方を制御する。このように、対象道路環境の領域のみ集中的に撮像することで、対象物までの距離を精度良く把握することができ、所望の撮影範囲の画像を網羅的に取得するための時間やコストの増大を防止することができる。また、対象道路環境の領域とそれ以外の領域との輝度のコントラストがはっきりするため、対象道路環境内の認識候補の対象物の認識がしやすくなる。そのため、照明制御や車両制御の向上につなげることができる。

（７）対象道路環境は、交差点あるいはカーブであって、地図情報より取得されることが好ましい。
事故の起こりやすい交差点や見通しの悪いカーブを地図情報から取得して集中的に撮像することで、交通事故の抑制につなげることができる。

（８）タイミングコントローラ９は、対象道路環境の領域では対象道路環境以外の領域よりもパルス光の発光時間および高速度カメラ８による露光時間を短くすることが好ましい。
対象道路環境の領域において発光時間および露光時間を短くすることで、対象道路環境の領域の距離分解能を向上させ、対象物までの距離を精度良く把握することができる。

［実施例５］
図１４は、実施例５に係る、特定距離の領域とそれ以外の領域との発光強度の関係を示す図である。
図１４に示されるように、実施例５においては、例えば、対象道路環境の領域が領域２，３と設定された場合、領域２，３の撮像時のパルス光の発光強度を、対象道路環境以外の領域１，４〜ｎの撮像時の発光強度よりも上げるように発光部５が制御される。このように、対象道路環境の領域２，３の発光強度を対象道路環境以外の領域１，４〜ｎよりも上げることで、領域２，３における撮像画像の画素の輝度が他の領域１，４〜ｎにおける撮像画像の画素の輝度よりも高くなるため、対象道路環境のみを集中的に明るく撮像することができる。また、対象道路環境以外の領域１，４〜ｎの発光強度は比較的小さい状態が維持されているため、消費電力が必要以上に増加することなく、対象物の認識精度を向上させることができる。

［実施例６］
実施例６について、実施例３の説明で用いた図１１および図１２を参照して説明する。

上述の通り、図１１の（Ａ）に示されるように、発光時間ｔＬ_１がゲート開放時間（露光時間）ｔＧよりも短い状態から、発光時間ｔＬ_１をｔＬ_２まで長くする（ｔＬ_２＞ｔＬ_１）と、反射光を露光できる光量のピークが上昇し、物体を明るく撮像することができる。しかし、発光時間が長くなると撮影対象長さが長くなり、距離分解能が低下してしまう。
また、図１１の（Ｂ）に示されるように、発光時間ｔＬ_３をさらに時間ｔＬ_４まで長くする（ｔＬ_４＞ｔＬ_３）と、露出できる反射光量の最大光量の持続時間が長くなって物体を明るく撮像できるが、発光終了時点から露光開始時点までの時間ｔＡ_３が短くなるため、撮像対象長さが長くなって距離分解能が低下してしまう。

そこで、実施例６においては、例えば、対象道路環境の領域が領域２，３に設定された場合、領域２，３を撮像する際のパルス光の発光時間を長くするとともに、領域２，３を撮像する際の高速度カメラ８による露光時間を短くするように制御している（図１２参照）。具体的には、領域２，３における発光時間ｔＬ_１をｔＬ_２まで長くする（ｔＬ_２＞ｔＬ_１）とともに、領域２，３における露光時間ｔＧ_１をｔＧ_２まで短くする（ｔＧ_１＞ｔＧ_２）。露光時間ｔＧの短縮は、露光時間ｔＧ_１の開始時間を遅延させることで行われる。このように、特定距離の領域において発光時間を長くすることで露光可能な光量を増加させ特定距離領域に存在する物体を明るく撮像することができる。一方、発光時間を長くすることに伴い露光時間を短くしているため、発光時間および露光時間の変化の前後において、発光終了時点から露光開始時点までの時間ｔＡ（ｔＡ_１→ｔＡ_３）が大きく変動しないようにしている。そのため、発光時間を長くしても撮像対象長さが長くなる、すなわち距離分解能が劣化することがない。
以上のように、集中的に撮像すべき特定距離の領域（例えば、領域２，３）においてのみ発光時間を長くしつつ露光時間を短くすることで、細かな距離分解能を維持しながら、対象物の認識精度を上げることができる。

次に、実施例７および８について、図１５〜２０を参照して説明する。
上述の通り、発光時間および露光時間が短いほどターゲット距離の分解能を細かくし距離検出の精度を上げることができる。撮影したい距離範囲であるターゲット距離領域（例えば、自車両前方の０ｍ〜２００ｍ）の全てを細かな距離分解能で明るく撮影できることが望ましいが、距離分解能が短いほどターゲット距離領域の撮像画像を網羅的に取得するための時間がかかったり、装置のコストが上がったりしてしまう。

そこで、本出願の発明者は、上記事情を総合的に考慮して、ターゲット距離領域のうち物体（対象物）が存在する所望の領域を集中的に撮影することで、当該所望の領域における物体の認識精度を向上させつつ、所望の撮影範囲の画像を網羅的に取得するための時間やコストの増大を防止可能であることを見出した。以下に、所望の領域を集中的に撮像するための方法について詳述する。

［実施例７］
図１５は、実施例７に係る、物体の検索方法を示す図である。
実施例７においては、タイミングコントローラ９（検索処理制御部の一例）は、上記に示した画像取得処理の前に、自車両前方における物体の有無を検索するような検索処理シーケンスを実施する。図１５に示されるように、検索処理シーケンスでは、物体の有無およびその距離を大まかに検索するための検索フレームと、所定の連続的に変化するターゲット距離領域を撮影して画像を取得するための撮影フレームとを設け、検索フレームを撮影フレームの前に配置する。検索フレームは、所定回数の検索（検索１〜ｎ）を含む。撮影フレームは、領域１〜ｎの全撮像領域の撮影を含む。検索フレームは、１回の撮影フレームに対して１回、または複数回の撮影フレームに対して１回設けることができる。すなわち、図１５の（Ａ）に示すように、まず検索１〜ｎまでの検索フレームを実施し、次に撮影フレームを実施し、その後に再び検索フレームを実施するようにして、検索フレームと撮影フレームとを１回ずつ交互に実施することができる。また、図１５の（Ｂ）に示すように、最初に検索フレームを実施し、次に撮影フレーム１から撮影フレームｎまでの複数回の撮影フレームを実施し、その後に再び検索フレームを実施するようにして、複数回の撮影フレーム１〜ｎの実施に対して１回の検索フレームを実施する構成としてもよい。このように、実施例７においては、タイミングコントローラ９は、パルス光を出力するステップおよび反射光を撮像するステップを含む撮影フレームの前に、物体の有無を検索するステップである検索フレームを設けるように発光部５によるパルス光の発光周期および高速度カメラ８による撮像タイミングを制御可能である。

図１６は、特定距離における撮像の模式図および撮像画像である。具体的には、図１６の（Ａ）は特定距離よりも手前に対象物が無い場合の模式図および撮像画像であり、図１６の（Ｂ）は、特定距離よりも手前に対象物がある場合の模式図および撮像画像である。また、図１７は、実施例７に係る検索距離決定のためのシーケンス処理を示す図である。

図１６は、自車両前方の同一方向において自車両から異なる距離に複数の物体が存在している場合を例示したものである。図１６の例では、手前側から順に人形１、人形２、壁が存在している。図１６の（Ａ）では、人形１の存在する領域に輝度のピークが来るようなタイミングで撮像が行われる。一方、図１６の（Ｂ）では、人形２と壁との間の領域に輝度のピークが来るようなタイミングで撮像が行われる。

図１６の（Ａ）の場合、人形１よりも手前には物体は存在していないため、人形１および人形２が視認可能に撮像された画像が取得される。一方、図１６の（Ｂ）の場合、撮像可能距離（輝度を示す三角形の領域）よりも手前に人形１が存在しているため、人形１が存在する領域の画素が黒くなった（輝度値がゼロとなった）画像が取得される。

本実施形態では、上記の特性を生かし、自車両から最も遠い領域から検索を開始するように検索処理シーケンスを行うことで、検索対象の領域が決定される。詳細には、撮影したい距離範囲（ターゲット距離領域）を自車両前方の０〜２００ｍとしたとき、図１７に示される検索１〜検索４の検索処理が行われる。

（検索１）
まず、タイミングコントローラ９は、高速度カメラ８に、ターゲット距離領域（０〜２００ｍ）のうち自車両から遠い領域である領域ａ（１００〜２００ｍ）を撮影させる。そして、領域ａの撮像画像に真っ黒な画素領域がある場合は、タイミングコントローラ９は、高速度カメラ８に、領域ａよりも近い領域（０〜１００ｍ）のうち自車両から遠い領域である領域ｂ（５０〜１００ｍ）を撮像させる。一方、領域ａの撮像画像に真っ黒な画素領域が無い場合には、タイミングコントローラ９は、高速度カメラ８に、領域ａのうち自車両から遠い領域である領域ｃ（５０〜１００ｍ）を撮像させる。なお、真っ黒な画素領域があるか否かの判断は、しきい値よりも低い輝度を有する画素領域のサイズや形状に基づいて判断することができる。

（検索２）
次に、検索１の結果に基づいて、タイミングコントローラ９は、領域ｄ〜ｇのいずれかの撮影処理を行う。
領域ｂで撮像された画像に真っ黒な画素領域がある場合は、タイミングコントローラ９は、高速度カメラ８に、領域ｂよりも近い領域（０〜５０ｍ）のうち自車両から遠い領域である領域ｄ（２５〜５０ｍ）を撮像させる。一方、領域ｂの撮像画像に真っ黒な画素領域が無い場合には、タイミングコントローラ９は、高速度カメラ８に、領域ｂのうち自車両から遠い領域である領域ｅ（７５〜１００ｍ）を撮像させる。
領域ｃで撮像された画像に真っ黒な画素領域がある場合は、タイミングコントローラ９は、高速度カメラ８に、領域ａ内で領域ｃよりも近い領域（１００〜１５０ｍ）のうち自車両から遠い領域である領域ｆ（１２５〜１５０ｍ）を撮像させる。一方、領域ｃの撮像画像に真っ黒な画素領域が無い場合には、タイミングコントローラ９は、高速度カメラ８に、領域ｃのうち自車両から遠い領域である領域ｇ（１７５〜２００ｍ）を撮像させる。

（検索３）
次に、検索２の結果に基づいて、タイミングコントローラ９は、領域ｈ〜ｋのいずれかの撮影処理を行う。
領域ｄで撮像された画像に真っ黒な画素領域がある場合は、タイミングコントローラ９は、高速度カメラ８に、領域ｄよりも近い領域（０〜２５ｍ）のうち自車両から遠い領域である領域ｈ（１２．５〜２５ｍ）を撮像させる。一方、領域ｄの撮像画像に真っ黒な画素領域が無い場合には、タイミングコントローラ９は、高速度カメラ８に、領域ｄのうち自車両から遠い領域である領域ｉ（３７．５〜５０ｍ）を撮像させる。
領域ｅで撮像された画像に真っ黒な画素領域がある場合は、タイミングコントローラ９は、高速度カメラ８に、領域ｂ内で領域ｅよりも近い領域（５０〜７５ｍ）のうち自車両から遠い領域である領域ｊ（６２．５〜７５ｍ）を撮像させる。一方、領域ｅの撮像画像に真っ黒な画素領域が無い場合には、タイミングコントローラ９は、高速度カメラ８に、領域ｅのうち自車両から遠い領域である領域ｋ（８７．５〜１００ｍ）を撮像させる。
領域ｆで撮像された画像に真っ黒な画素領域がある場合は、タイミングコントローラ９は、高速度カメラ８に、領域ａ内で領域ｆよりも近い領域（１００〜１２５ｍ）のうち自車両から遠い領域である領域ｌ（１１２．５〜１２５ｍ）を撮像させる。一方、領域ｆの撮像画像に真っ黒な画素領域が無い場合には、タイミングコントローラ９は、高速度カメラ８に、領域ｆのうち自車両から遠い領域である領域ｍ（１３７．５〜１５０ｍ）を撮像させる。
領域ｇで撮像された画像に真っ黒な画素領域がある場合は、タイミングコントローラ９は、高速度カメラ８に、領域ｃ内で領域ｇよりも近い領域（１５０〜１７５ｍ）のうち自車両から遠い領域である領域ｎ（１６２．５〜１７５ｍ）を撮像させる。一方、領域ｇの撮像画像に真っ黒な画素領域が無い場合には、タイミングコントローラ９は、高速度カメラ８に、領域ｇのうち自車両から遠い領域である領域ｏ（１８７．５〜２００ｍ）を撮像させる。

（検索４）
最後に、検索３の結果に基づいて、タイミングコントローラ９は、対象物の存在する領域を決定する。
領域ｈ（１２．５〜２５ｍ）で撮像された画像に真っ黒な画素領域がある場合は、タイミングコントローラ９は、０〜１２．５ｍの領域に対象物が存在すると決定する。一方、領域ｈで撮像された画像に真っ黒な画素領域が無い場合には、タイミングコントローラ９は、１２．５〜２５ｍの領域に対象物が存在すると決定する。
領域ｉ（３７．５〜５０ｍ）で撮像された画像に真っ黒な画素領域がある場合は、タイミングコントローラ９は、２５〜３７．５ｍの領域に対象物が存在すると決定する。一方、領域ｉで撮像された画像に真っ黒な画素領域が無い場合には、タイミングコントローラ９は、３７．５〜５０ｍの領域に対象物が存在すると決定する。
領域ｊ（６２．５〜７５ｍ）で撮像された画像に真っ黒な画素領域がある場合は、タイミングコントローラ９は、５０〜６２．５ｍの領域に対象物が存在すると決定する。一方、領域ｊで撮像された画像に真っ黒な画素領域が無い場合には、タイミングコントローラ９は、６２．５〜７５ｍの領域に対象物が存在すると決定する。
領域ｋ（８７．５〜１００ｍ）で撮像された画像に真っ黒な画素領域がある場合は、タイミングコントローラ９は、７５〜８７．５ｍの領域に対象物が存在すると決定する。一方、領域ｋで撮像された画像に真っ黒な画素領域が無い場合には、タイミングコントローラ９は、８７．５〜１００ｍの領域に対象物が存在すると決定する。
領域ｌ（１１２．５〜１２５ｍ）で撮像された画像に真っ黒な画素領域がある場合は、タイミングコントローラ９は、１００〜１１２．５ｍの領域に対象物が存在すると決定する。一方、領域ｌで撮像された画像に真っ黒な画素領域が無い場合には、タイミングコントローラ９は、１１２．５〜１２５ｍの領域に対象物が存在すると決定する。
領域ｍ（１３７．５〜１５０ｍ）で撮像された画像に真っ黒な画素領域がある場合は、タイミングコントローラ９は、１２５〜１３７．５ｍの領域に対象物が存在すると決定する。一方、領域ｍで撮像された画像に真っ黒な画素領域が無い場合には、タイミングコントローラ９は、１３７．５〜１５０ｍの領域に対象物が存在すると決定する。
領域ｎ（１６２．５〜１７５ｍ）で撮像された画像に真っ黒な画素領域がある場合は、タイミングコントローラ９は、１５０〜１６２．５ｍの領域に対象物が存在すると決定する。一方、領域ｎで撮像された画像に真っ黒な画素領域が無い場合には、タイミングコントローラ９は、１６２．５〜１７５ｍの領域に対象物が存在すると決定する。
領域ｏ（１８７．５〜２００ｍ）で撮像された画像に真っ黒な画素領域がある場合は、タイミングコントローラ９は、１７５〜１８７．５ｍの領域に対象物が存在すると決定する。一方、領域ｏで撮像された画像に真っ黒な画素領域が無い場合には、タイミングコントローラ９は、１８７．５〜２００ｍの領域に対象物が存在すると決定する。

上記の検索処理シーケンスにおいて、例えば、真っ黒な画素領域が検索１〜検索４のいずれでも「有」である場合、０〜１２．５ｍの領域に対象物があると判断される。また、例えば、真っ黒な画素領域が検索１では「無」、検索２では「有」、検索３では「無」、検索４では「有」である場合、１２５〜１３７．５ｍの領域に対象物があると判断される。
このように、実施例７に係る検索処理シーケンスでは４フレームの検索により距離分解能１２．５ｍで自車両から最も近い距離にある対象物を検索することができる。

検索フレームを用いた検索処理シーケンスにおいて、自車両から最も近い距離にある対象物の領域が決定されると、タイミングコントローラ９は、当該対象物が存在する領域を集中的に撮影するように制御する。具体的には、図１８の（Ａ）〜（Ｃ）に示すように、例えば対象物が存在する領域が領域１〜ｎのうち領域１である場合、領域１の発光回数および露光回数を他の領域２〜ｎよりも増やしたり、領域１の発光強度を領域２〜ｎの発光強度よりも上げたり、領域１の発光時間を露光時間よりも長くしたりすることによって、領域１を集中的に撮影することができる。なお、最も近い距離にある対象物が存在しない領域２〜ｎについては距離画像データの生成に要する時間およびコストの削減のため、必要以上に発光回数や発光時間を増加したり発光強度を上げないようにしている。

以上説明した実施例７の画像取得装置２および当該装置により実施される画像取得方法によれば、以下に列挙する効果を奏する。

（９）タイミングコントローラ９は、パルス光を発光しパルス光の反射光を撮像することで画像を取得するステップを実行する前に、対象物の有無を検索するステップを実行する。このように、予め対象物の有無を検索するステップを備えることで、画像を取得するステップにおいてターゲット距離領域のうち対象物の存在する距離領域を集中的に撮影することができる。そのため、物体認識の精度を向上させることができるとともに、ターゲット距離領域の撮像画像を網羅的に取得するための時間やコストの増大を防止することができる。

（１０）対象物の有無を検索するステップは、対象物の有無およびその距離を検索するための検索フレームを、所定の連続的に変化する距離領域を撮影するための撮影フレームの前に設けることが好ましい。この構成によれば、容易な方法により画像取得処理の前に対象物の有無を検索することができる。

（１１）対象物の有無を検索するステップは、ターゲット距離領域を自車両に近い近傍領域と自車両から遠い遠方領域とに区分けし、遠方領域を最初の検索領域と設定し、遠方領域からの反射光が撮像された遠方領域の画像に所定の画像領域が含まれるか否かを判断し、所定の画像領域の有無によって次の検索領域を決定することで自車両から最も近い対象物の距離を検出することを含むことが好ましい。この構成によれば、少ないフレーム数で最も近い距離にある対象物を検索することができる。

（１２）所定の画像領域は、輝度値がしきい値以下の画素領域であることが好ましい。この構成によれば、簡便な処理により対象物の有無を検索することができる。

［実施例８］
図１９は、実施例８に係る検索距離決定のためのシーケンス処理を示す図である。
実施例８においては、実施例７と同様に、撮影したい距離範囲（ターゲット距離領域）は例えば自車両前方の０〜２００ｍと設定されている。

（検索１）
図１９に示されるように、まず、タイミングコントローラ９は、発光部５を１回発光させ、１回の露光（ゲート開閉動作）を行う。この１回の露光は、自車両から遠い領域である領域ａ（１００〜２００ｍ）を撮影できるようにその露光タイミングおよび露光時間が制御される。そして、検索１として、タイミングコントローラ９は、領域ａ（１００〜２００ｍ）の撮像画像における真っ黒な画素領域の有無を検出し、領域ａに物体があるかを判断する。

（検索２）
次に、タイミングコントローラ９は、発光部５を２回発光させ、１回の露光（ゲート開閉動作）を行う。この１回の露光は、２回の発光による反射光をそれぞれ受光して領域ｂ（５０〜１００ｍ）および領域ｃ（１５０〜２００ｍ）を撮像できるようにその露光タイミングおよび露光時間が制御される。そして、検索２として、タイミングコントローラ９は、領域ｂ（５０〜１００ｍ）および領域ｃ（１５０〜２００ｍ）の撮像画像における真っ黒な画素領域の有無を検出し、領域ｂまたは領域ｃに物体があるかを判断する。

（検索３）
次に、タイミングコントローラ９は、発光部５を４回発光させ、１回の露光（ゲート開閉動作）を行う。この１回の露光は、４回の発光による反射光をそれぞれ受光して領域ｄ（２５〜５０ｍ）、領域ｅ（７５〜１００ｍ）、領域ｆ（１２５〜１５０ｍ）および領域ｇ（１７５〜２００ｍ）を撮像できるようにその露光タイミングおよび露光時間が制御される。そして、検索３として、タイミングコントローラ９は、領域ｄ（２５〜５０ｍ）、領域ｅ（７５〜１００ｍ）、領域ｆ（１２５〜１５０ｍ）および領域ｇ（１７５〜２００ｍ）の撮像画像における真っ黒な画素領域の有無を検出し、領域ｄ〜ｇのいずれかに物体があるかを判断する。

（検索４）
次に、タイミングコントローラ９は、発光部５を８回発光させ、１回の露光（ゲート開閉動作）を行う。この１回の露光は、領域ｈ（１２．５〜２５ｍ）、領域ｉ（３７．５〜５０ｍ）、領域ｊ（６２．５〜７５ｍ）、領域ｋ（８７．５〜１００ｍ）、領域ｌ（１１２．５〜１２５ｍ）、領域ｍ（１３７．５〜１５０ｍ）、領域ｎ（１６２．５〜１７５ｍ）および領域ｏ（１８７．５〜２００ｍ）を撮像できるようにその露光タイミングおよび露光時間が制御される。そして、検索４として、タイミングコントローラ９は、領域ｈ（１２．５〜２５ｍ）、領域ｉ（３７．５〜５０ｍ）、領域ｊ（６２．５〜７５ｍ）、領域ｋ（８７．５〜１００ｍ）、領域ｌ（１１２．５〜１２５ｍ）、領域ｍ（１３７．５〜１５０ｍ）、領域ｎ（１６２．５〜１７５ｍ）および領域ｏ（１８７．５〜２００ｍ）の撮像画像における真っ黒な画素領域の有無を検出し、領域ｈ〜ｏのいずれかに物体があるかを判断する。

実施例８に係る検索処理シーケンスにおいて、例えば、真っ黒な画素領域が検索１〜検索４のいずれでも「有」である場合、０〜１２．５ｍの領域に対象物があると判断される。また、例えば、真っ黒な画素領域が検索１では「無」、検索２では「有」、検索３では「無」、検索４では「有」である場合、１２５〜１３７．５ｍの領域に対象物があると判断される。
このように、実施例８に係る検索処理シーケンスでは４フレームの検索により距離分解能１２．５ｍで自車両から最も近い距離にある対象物を検索することができる。

なお、図１９に示す実施例８の構成では複数回の発光を１回の露光で撮像することで対象物が存在する領域を測定するようにしているが、この構成に限られない。例えば、図２０に示すように、１回の発光に対して検索対象領域に応じて複数回の露光を行うことで、対象物が存在する領域を測定するようにしても良い。図２０に示すシーケンス処理によっても、４フレームの検索により自車両から最も近い距離にある対象物を検索することができる。

以上説明した実施例８では、対象物有無を検索するために、パルス光の複数回の発光または反射光の複数回の撮影によって対象物が存在する距離領域を絞り込むように構成されている。この構成によれば、実施例７と同様に、少ないフレーム数で最も近い距離にある対象物を検索することができる。

以上、本開示を実施するための形態を、実施例に基づき説明したが、本開示の具体的な構成については、実施例の構成に限らず、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計変更や追加等は許容される。

例えば、撮像対象長さ、撮像対象距離の変化量、ターゲット距離領域ごとのフレーム数などは、高速度カメラ８や画像処理部３の性能に応じて適宜設定することができる。

上記実施の形態では、図１に示されるように、高速度カメラ８が画像取得部として機能する構成としているが、この例に限られない。例えば、画像取得部としての機能を画像処理部３が有していても良く、あるいは高速度カメラ８と画像処理部３との間に画像取得部として撮像画像を格納する別個のメモリが設けられても良い。

上記実施の形態では、図１に示されるように、対物レンズ６と高速度カメラ８との間に光増倍部７（ゲート７ａ、イメージインテンシファイア７ｂ）が設けられた構成としているが、この例に限られない。例えば、光増倍部７を設けず、高速度カメラ８内で所定の撮像タイミングでゲーティングを行って複数の撮像画像を取得することも可能である。

上記実施の形態では、画像処理部３により距離画像データを生成することで物体認識を行う構成としているが、高速度カメラ８で撮像された個々のターゲット距離の撮像画像から物体認識を行っても良い。

本出願は、２０１５年１２月２１日出願の日本特許出願・出願番号２０１５−２４８８２０と、２０１５年１２月２１日出願の日本特許出願・出願番号２０１５−２４８８２１と、２０１５年１２月２１日出願の日本特許出願・出願番号２０１５−２４８８２２とに基づくものであり、その内容はここに参照として取り込まれる。

Claims (12)

1. 所定方向にパルス光を発光する発光部と、
   ターゲット距離領域に応じて設定される撮像タイミングで前記ターゲット距離領域から帰ってくる反射光を撮像し、ターゲット距離領域の異なる複数の撮像画像を取得する画像取得部と、
   前記発光部および前記画像取得部を制御するタイミング制御部と、
   を備え、
   前記タイミング制御部は、異なるターゲット距離領域のうち対象物の認識に必要な特定距離の領域を前記特定距離以外の領域よりも高輝度で撮像するために、前記特定距離の領域では前記特定距離以外の領域よりも前記パルス光の発光時間を長くするとともに前記画像取得部による露光時間を短くする、車両用画像取得装置。
2. 前記特定距離の領域は、悪天候下または夜間の場合には前記ターゲット距離領域のうち前記画像取得部に最も近い領域である、請求項１に記載の車両用画像取得装置。
3. 前記特定距離の領域は、前記ターゲット距離領域のうち認識候補の対象物を検知した領域である、請求項１に記載の車両用画像取得装置。
4. 前記特定距離の領域は、前記認識候補の対象物を検知した領域が複数ある場合には、当該複数の領域のうち前記画像取得部に最も近い領域と設定される、請求項３に記載の車両用画像取得装置。
5. 前記タイミング制御部は、ターゲット距離領域毎に前記発光部による前記パルス光の少なくとも１回の発光および前記画像取得部による少なくとも１回の撮像を行うことで少なくとも１枚の撮像画像を取得するとともに、前記特定距離の領域の前記少なくとも１枚の撮像画像の取得タイミングが前記特定距離以外の複数の領域のそれぞれの前記少なくとも１枚の撮像画像の取得タイミングの間に挟まれるように、前記発光部および前記画像取得部を制御する、請求項１から４のいずれか一項に記載の車両用画像取得装置。
6. 所定方向にパルス光を発光する発光部と、ターゲット距離領域に応じて設定される撮像タイミングで前記ターゲット距離領域から帰ってくる反射光を撮像してターゲット距離領域の異なる複数の撮像画像を取得する画像取得部とを備えた車両用画像取得装置を制御するための制御装置であって、
   異なるターゲット距離領域のうち対象物の認識に必要な特定距離の領域を前記特定距離以外の領域よりも高輝度で撮像するために、前記特定距離の領域では前記特定距離以外の領域よりも前記パルス光の発光時間を長くするとともに前記画像取得部による露光時間を短くする、制御装置。
7. 撮像タイミングを変化させながら所定方向に発光されるパルス光の反射光を撮像することで、ターゲット距離領域の異なる複数の撮像画像を取得する、車両用画像取得方法であって、
   異なるターゲット距離領域のうち対象物の認識に必要な特定距離の領域を前記特定距離以外の領域よりも高輝度で撮像するために、前記特定距離の領域では前記特定距離以外の領域よりも前記パルス光の発光時間を長くするとともに前記反射光を撮像するための露光時間を短くする、車両用画像取得方法。
8. 所定方向にパルス光を発光する発光部と、
   ターゲット距離領域に応じて設定される撮像タイミングで前記ターゲット距離領域から帰ってくる反射光を撮像し、ターゲット距離領域の異なる複数の撮像画像を取得する画像取得部と、
   前記発光部および前記画像取得部を制御するタイミング制御部と、
   を備え、
   前記タイミング制御部は、異なるターゲット距離領域のうち対象道路環境の領域を前記対象道路環境以外の領域よりも集中的に撮像するために、前記対象道路環境の領域では前記対象道路環境以外の領域よりも前記パルス光の発光時間を長くするとともに前記画像取得部による露光時間を短くする、車両用画像取得装置。
9. 前記対象道路環境は、交差点あるいはカーブであって、地図情報より取得される、請求項８に記載の車両用画像取得装置。
10. 所定方向にパルス光を発光する発光部と、ターゲット距離領域に応じて設定される撮像タイミングで前記ターゲット距離領域から帰ってくる反射光を撮像してターゲット距離領域の異なる複数の撮像画像を取得する画像取得部とを備えた車両用画像取得装置を制御するための制御装置であって、
    異なるターゲット距離領域のうち対象道路環境の領域を前記対象道路環境以外の領域よりも集中的に撮像するために、前記対象道路環境の領域では前記対象道路環境以外の領域よりも前記パルス光の発光時間を長くするとともに前記画像取得部による露光時間を短くする、制御装置。
11. 撮像タイミングを変化させながら所定方向に発光されるパルス光の反射光を撮像することで、ターゲット距離領域の異なる複数の撮像画像を取得する、車両用画像取得方法であって、
    異なるターゲット距離領域のうち対象道路環境の領域を前記対象道路環境以外の領域よりも集中的に撮像するために、前記対象道路環境の領域では前記対象道路環境以外の領域よりも前記パルス光の発光時間を長くするとともに前記反射光を撮像するための露光時間を短くする、車両用画像取得方法。
12. 請求項１から５、８および９のいずれか一項に記載の車両用画像取得装置、または請求項６または１０に記載の制御装置を備えている、車両。

Images