JPWO2019044434A1

JPWO2019044434A1 - 物体検出システム

Info

Publication number: JPWO2019044434A1
Application number: JP2019539144A
Authority: JP
Inventors: 貴清安川; 門司　竜彦; 竜彦門司
Original assignee: Hitachi Automotive Systems Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2017-08-28
Filing date: 2018-08-08
Publication date: 2020-04-16
Anticipated expiration: 2038-08-08
Also published as: US20200148097A1; US11167687B2; JP6853890B2; WO2019044434A1; DE112018003170T5

Abstract

本発明は、車両外に外乱を及ぼすことなく、照明制限領域に対象体が存在しても、対象体を検出できるようにした物体検出システムを提供する。撮像モジュールが照明制限領域の物体を撮像するタイミングに合わせて、照明制御モジュールが、画像処理モジュールの画像処理の結果に基づいて、照明モジュールによる、照明制限領域への照明の開始と終了とを制御する。

Description

本発明は、物体検出システムに係り、例えば、車両に搭載され、車両の走行制御支援に応用、ないしは、適用等できるシステムに関する。

現在、自動車には、様々な、運転支援システムが適用されている。この種の運転支援システムとして、歩行者を検出して、ドライバーに警報を与えたり、操舵、制動等、車両の制御を援助できるようにした、歩行者検出システムが存在する。

歩行者検出システムは、環境光やヘッドライトからの反射光を可視カメラから取り込み、カメラの画像を利用して歩行者を検出する。ところで、夜間においては、照明が当たっていない歩行者を検出することが困難であるため、近年では、遠赤外線カメラの撮像情報に基いて歩行者を検出できるようにしたシステムも存在する。

しかしながら、歩行者と背景（路面等）との間で温度コントラストが得られにくいシーンでは、歩行者を検出できないといった課題もあるため、可視光カメラからの画像も歩行者の検出ために重要である。

一方、夜間、車両がロービームで走行している場合、これは、車両がハイビームで走行している場合よりも、遥かに多い状態であるが、ヘッドライトが遠方まで届かないため、ドライバーにとっては、歩行者の検出が遅れるという課題がある。

そこで、特開２００９−８３８２４号公報には、自車周辺を撮像する撮像手段と、該撮像手段により撮像された物体が歩行者であるか判断する歩行者検出手段と、を備えた車両用歩行者検出装置において、前記歩行者検出手段は、撮像された前記物体を歩行者として補完可能か否かを判定する補完判定手段を備え、該補完判定手段により補完可能と判定された場合に、前記自車に備えられたヘッドライトをロービームからハイビームに切り替えるライト切替手段を備え、前記歩行者検出手段は、ハイビームに切り替えた後の撮像結果に基づいて歩行者を検出するようにしたことが提案されている。この車両用歩行者検出装置によれば、車両がロービーム走行状態であっても、歩行者として補完可能が判定された段階でハイビームに切り替わるために、歩行者の検出が遅れないという利点がある。

特開２００９−８３８２４号公報

しかし、上記従来の車両用歩行者検出装置では、ヘッドライトをロービームからハイビームに切り替える際に、対向車に対する眩惑や対向車両に搭載されたセンサの飽和等の外乱を生じさせるおそれがある。そこで、本発明は、車両外にこの種の外乱を及ぼすことなく、照明制限領域に対象体が存在しても、対象体を検出できるようにした物体検出システムを提供することを目的とする。

前記目的を達成するために、本発明は、車両外の物体を検出し、検出情報を車両の制御装置に提供する物体検出システムであって、前記物体を照明するための照明モジュールと、前記照明モジュールを制御する照明制御モジュールと、前記物体を撮像する撮像モジュールと、前記物体が撮像された画像を処理する画像処理モジュールと、を備え、前記撮像モジュールが照明制限領域の物体を撮像するタイミングに合わせて、前記照明制御モジュールは、前記画像処理モジュールの画像処理の結果に基いて、前記照明モジュールによる、前記照明制限領域への照明の開始と終了とを制御する、というものである。

本発明によれば、車両外に外乱を及ぼすことなく、照明制限領域に対象体が存在しても、対象体を検出できるようにした物体検出システムを提供することができる。

物体検出システムを備える車載装置の機能ブロック図の一例である。画像処理モジュールの詳細な構成を示すブロック図である。撮像素子の一例に係る模式図である。撮像素子の他の例に係る模式図である。歩行者（特定対象体）検出処理の手順の一例を示すフローチャートである。物体検出システムが照明を制御する動作の一例を示すフローチャートである。撮像モジュールの動作の一例を示すフローチャートである。撮像とハイビームの点灯とのタイミングチャートの一例である。夜間ハイビーム走行時の撮像映像の一例である。夜間ロービーム走行時の撮像映像の一例である。夜間ハイビーム走行時の撮像映像の他の例である。夜間ロービーム走行時の撮像映像の他の例である。短時間露光で得られた画像である。ＬＥＤヘッドライトで照明された領域を撮像した映像の一例である。車両が歩行者に近づいた際の映像である。歩行者全身が撮像された映像である。物体検出システムの機能ブロック図の他の例である。図１５の画像処理・照明制御モジュールの詳細な構成を示すブロック図である。物体検出システムの機能ブロック図の更に他の例である。図１７の画像処理・照明制御モジュールの詳細な構成を示すブロック図である。物体検出システムの機能ブロック図の更に他の例である。赤外受光素子を追加したカラー画素の受光素子の配置図である。クリア画素を備える受光素子の配置図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。以下の実施形態では、物体検出システムを自動車に適用したものについて説明する。図１は、物体検出システム１０を備える車載装置１００の機能ブロック図の一例である。この車載装置の機能ブロック図は、物体検出システムに関連する構成を示したものであり、例えば、車載装置として、全ての構成要素を示したものではない。なお、物体（検出対象体）は、主として歩行者としての人物（低速移動体）であり、前方走行車、対向車、動物、路上・路肩の構造物等を含んでよい。車には自転車、二輪車、四輪車が含まれてよい。

物体検出システム１０は、撮像モジュール１０１、画像処理モジュール１０２、照明制御モジュール１０６、及び、照明モジュール１０７を備える。車載装置１００は、物体検出システム１０に加えて、車両情報取得モジュール１０３、車両制御モジュール１０４、照明切換モジュール１０５、警報通知モジュール１０８、及び、走行系制御モジュール１０９を備える。なお、「モジュール」という用語は、ハードウェア、ソフトウェア、又は、両者の組み合わせによって、実現される構成であって、「ユニット」、「手段」、又は、「装置」、「パーツ」の如く、他の言葉で言い換えられてもよい。

次に、物体検出システム１０を詳細に説明する。物体検出システム１０は、検出対象体（歩行者、対向車両、先行車両等）を検出する。物体検出システム１０は、既述のとおり、撮像モジュール１０１、及び、画像処理モジュール１０２に加えて、夜間等のドライバーの視認性が低下する状況でも検出対象を検出できるようにするために、検出対象を照射するための照明モジュール１０７と、その照明制御モジュール１０６を備える。

撮像モジュール１０１は、車両の外界の映像を撮像し、撮像した映像（または画像）を画像処理モジュール１０２に転送する。撮像モジュール１０１は、例えば、可視カメラ、（遠）赤外線カメラ、又は、両者のハイブリッドカメラであってよい。更に、撮像モジュール１０１は、例えば、単眼カメラ、又は、ステレオカメラであってよい。また、撮像モジュール１０１と照明モジュール１０７とが一体化されてもよい。

画像処理モジュール１０２は、撮像モジュール１０１から受信した撮像映像（撮像画像）に対して画像処理を行う。画像処理モジュール１０２は、撮像モジュール１０１による撮像のための設定情報（例えば、撮像タイミングや撮像時間等）を決定し、これを撮像モジュール１０１に転送し、設定することができる。画像処理モジュール１０２は、カメラ制御用ＥＣＵ（Electronic Control Unit）であってよく、例えば、後述の図２に示すように、画像処理ＬＳＩであってよい。

照明制御モジュール１０６は、撮像された画像の処理の情報を画像処理モジュール１０２から受信し、車両の走行状態や制御状態に関する情報を車両制御モジュール１０４から受信し、ドライバーがロービーム、そして、ハイビームを切り替えるための信号を照明切換モジュール１０５から受信し、最適な照明の状態、態様等を決定、選択、判定等し、これを照明モジュール１０７に設定して、ヘッドライトの最適な照射態様を実現する。照明制御モジュール１０６は、例えば、ランプ制御用ＥＣＵ等で構成されてよい。なお、照明状態を、ロービーム、そして、ハイビームの２態様に限定されず、３態様以上にしてもよい。

照明モジュール１０７は、車両の前方を照射するヘッドライトと、その駆動回路である。照明モジュール１０７は、照明制御モジュール１０６によって、照明方法、例えば、車両の前方を照射する態様と、更に、遠方を照射する態様とを切り替える。前者は、ロービーム用のバルブを点灯し、後者はこれにハイビーム用のバルブを点灯することによって達成される。なお、一つのバルブをロー・ハイに切り替えるようにしてもよい。ヘッドライトは、バルブを利用するタイプの他、夫々で、照明方法を制御が可能な複数の発光ダイオード（ＬＥＤ）を搭載するタイプでもよい。後者のものは、照射領域を細かく分割して照明できる。

車両情報取得モジュール１０３は、車両の速度等の走行状態、そして、舵角等の操作状態からなる車両情報を、ＣＡＮ（Controller Area Network）を介してセンサ等から取得し、これを車両制御モジュール１０４に送信する。

車両制御モジュール１０４は、車両情報取得モジュール１０３、照明制御モジュール１０６、警報通知モジュール１０８、及び、走行系制御モジュール１０９に接続している。
車両制御モジュール１０４は、画像処理モジュール１０２の歩行者の検出情報、又は、これと車両情報取得モジュール１０３からの車両情報とに基いて、車両の走行状態に関して警報（例えば、歩行者注意）の報知がドライバーへの注意喚起として必要であると判断した場合に、警報通知モジュール１０８に警報を出力するための駆動信号を出力する。警報通知モジュール１０８は、例えば、液晶モニタ、スピーカ等であってよい。

照明切換モジュール１０５は、車両のドライバーの手動操作によって照明状態（ロービーム、又は、ハイビーム）が指定される際に、指定情報を照明制御モジュール１０６に出力する。

図２に、画像処理モジュール１０２の詳細な構成を示すブロック図を示す。画像処理モジュール１０２は、コントローラ２０１、画像処理回路２０２、プログラム２０３、メモリ２０４、撮像Ｉ／Ｆ２０５、照明制御Ｉ／Ｆ２０６、及び、車両Ｉ／Ｆ２０７を備え、これらは通信バスによって互いに接続されている。

コントローラ２０１は、ＣＰＵ（Central Processing Unit）等のプロセッサを備え、画像処理回路２０２を、画像処理に必要な処理が記述されたプログラム２０３に基いて動作させて、撮像画像の画像処理を行う。コントローラ２０１がプログラム２０３を実行する際、メモリ２０４をワークエリアとして利用する。

撮像Ｉ／Ｆ２０５は、撮像モジュール１０１が映像を撮像するための条件の設定や、撮像した映像を取り込む伝送を行うためのインターフェースである。照明制御Ｉ／Ｆ２０６は、照明モジュール１０７に照明の切換（ロー又はハイビーム）の情報を伝送するためのインターフェースである。車両Ｉ／Ｆ２０７は、車両制御モジュール１０４を介して、車両情報取得モジュール１０３から車両情報を取得し、そして、画像処理の結果に基づく情報の伝送を、車両制御モジュール１０４に対して行うためのインターフェースである。画像処理モジュール１０２は、撮像Ｉ／Ｆ２０５を経由して撮像モジュール１０１と接続し、照明制御Ｉ／Ｆ２０６を経由して照明制御モジュール１０６と接続し、車両Ｉ／Ｆ２０７を経由して車両制御モジュール１０４と接続している。

撮像モジュール１０１は、撮像した画像を電気信号に変換する撮像素子を備える。検出対象体の認識に必要な情報を効果的取得するために、撮像素子は、複数の受光素子が整列した受光面を備えるものが好適である。

図３に、撮像素子の一例（模式図）を示す。撮像素子は、カラー画素の受光素子（Ｒ素子、Ｇ素子、Ｂ素子）が複数規則的に並んだ配列を備える。なお、「Ｒ」は赤色の波長帯を検出する受光素子（Ｒ素子）、「Ｇ」は緑色の波長帯を検出する受光素子（Ｇ素子）、「Ｂ」は青色の波長帯を検出する受光素子（Ｂ素子）である。各受光素子は、フィルタ構成で特定の波長を受けるように感度を落とす、帯域制限によって、対応する各色の成分を検出する。

撮像素子は、カラー画素が異なる複数の受光素子の配列を備える。そこで、画像処理モジュール１０２は、個々の素子の領域に投影される各色を再現するために、補完処理を行う。例えば、補完処理は、隣接する素子間で、波長帯の成分の平均値でよい（（１）-（３））。（１）のように、Ｒ素子の緑色成分（Ｇ成分）は、斜めに近接する４つのＧ素子の平均値でよく、同様に、Ｒ素子の青色成分（Ｂ成分）は、上下の２つのＢ素子の平均値でよい。

図４に、撮像素子の他の例を示す。画像処理モジュール１０２が物体のカラー画像を取得する際、色成分を厳密に切り分ける必要がない状況では、クリア画素の受光素子（Ｃ素子）を撮像素子に適用すればよい。撮像素子における受光素子の配列を図３と比較すると、Ｇ素子及びＢ素子がＣ素子に置き換えられている。クリア画素は、色の制約がないため、全ての周波数成分を受光できる。したがって、図４に示すように、カラー画素の受光素子の少なくとも一つがクリア画素の受光素子にされることによって、カラー画素の受光素子が配列される場合（図３）に比較して補完処理を簡略にできる。その結果、ダイナミックレンジの改善が期待される。

なお、図４に示す配列には、赤色画素の素子（Ｒ素子）が残されている。これは、前方走行車のテールライトの認識において赤色の識別が必要になるからである。こうすることによって、赤色を確実に識別できて、補完処理の軽減を図ることができる。

次に、物体検出システム１０（図１）が、車両の前方画像を撮像モジュール１０１（カメラ）から取り込んで、歩行者を検出する動作について説明する。図５は、歩行者検出処理の手順の一例を示すフローチャートである。車両情報取得モジュール１０３は、速度や舵角等の車両情報を取得する（ステップＳ５０１）。車両情報取得モジュール１０３は、車両情報を、車両制御モジュール１０４を経由して画像処理モジュール１０２に伝送する。

ステップＳ５０２では、画像処理モジュール１０２のコントローラ２０１は、画像処理回路２０２を動作させ、画像処理回路２０２は、車両情報に基づいてメモリ２０４に格納された「歩行者モデル」を決定する。歩行者モデルとは、歩行者のパターン判定を行うために設定されたモデル情報であって、画像の縦横比によって人体が特定されるものであってもよい。詳細な歩行者モデルでは、露出部（顔、手）の色や輝度等の情報がモデル情報に付加されてもよい。

次いで、画像処理回路２０２は、撮像モジュール１０１から受信した映像を所定の基準と比較して、撮像対象が歩行者の可能性があるか否かを判定する。映像が歩行者の全体像ばかりでなく、歩行者の一部（例えば、脚部、下半身）である場合、画像処理回路２０２は、これらの映像を歩行者の可能性がある「推定歩行者」に分類する。画像処理回路２０２は、撮像のタイミング毎に、撮像された画像と、それに対する「推定歩行者」の有無をメモリ２０４に累積記憶する。

次に、ステップＳ５０３において、画像処理回路２０２は、メモリ２０４を参照して、「推定歩行者」として分類された映像の特徴（輪郭等）を抽出し、及び／又は、連続する映像のモーションパターン（例えば、歩行者の動きを示す情報）を抽出する等して、「推定歩行者」として分類された映像の特徴パターンを抽出する。

画像処理回路２０２は、特徴パターンと映像モデルとを比較する。画像処理回路２０２は、「推定歩行者」の映像が歩行者の全体である、又は、この映像が歩行者の一部であるか否かを判定する。画像処理回路２０２は、この判定を肯定すると、撮像対象を歩行者である識別する。この映像が歩行者の一部であることを識別できるということは、撮像された対象を歩行者として補完できるということでもある。そこで、画像処理回路２０２は、推定歩行者を補完した上で、歩行者モデルとのパターンマッチングを行ってもよい。なお、補完については、既述の特許文献１を含めて公知のものを参照すればよい。

そして、ステップＳ５０４では、画像処理回路２０２は、ステップＳ５０３の判定結果（歩行者識別結果）を直接、照明制御モジュール１０６に出力する。照明制御モジュール１０６は、後述のとおり、推定歩行者が判定されると、照明モジュール１０７をハイビームになるように点灯させる。なお、ステップＳ５０３で、撮像対象が歩行者ではないと判定された場合には、ステップＳ５０４がスキップされてもよい。

次に、図５の判定結果に基づいて、物体検出システム１０が照明を制御する動作を図６のフローチャートに基づいて説明する。なお、照明のためのヘッドライトを一灯式のものとし、ヘッドライトをロービームからハイビームに切り替えられることを前提として説明する。照明制御モジュール１０６は、画像処理モジュール１０２から、推定歩行者の識別情報を受信すると（ステップ６０１：Ｙ）、歩行者のための撮像タイミングにおいて、ヘッドライト（照明モジュール１０７）をハイビーム照射に切り替える（ステップ６０２）。撮像モジュール１０１は、ヘッドライトがハイビームに切り替わったタイミングで、推定歩行者を撮像する（ステップ６０３）。

照明制御モジュール１０６は、車載カメラ（照明モジュール１０７）の撮像のタイミングに合わせて、ハイビームをロービームに切り替える（ステップ６０４）。これによって、照明制御モジュール１０６は、ハイビームの点灯時間を撮像周期の範囲内に制限することができる。この結果、照明制御モジュール１０６は、ハイビームによって、推定歩行者の撮像を可能にしながら、ハイビームの点灯時間を、例えば、２ｍｓｅｃ〜５０ｍｓｅｃ程度に制限できる。ハイビームの点灯時間が極めて短時間であることによって、他車への眩惑、他車のセンサの飽和等を避けることができる。

画像処理回路２０２は、ハイビームの点灯期間に撮像された映像を歩行者モデルと比較して、映像が歩行者であるか否かを解析、換言すれば、推定歩行者が歩行者として正しかったか否かの真偽を判定する（ステップ６０６）。画像処理回路２０２は、判定結果を肯定すると、肯定情報を車両制御モジュール１０４に出力する。車両制御モジュール１０４は、「歩行者」の存在のための警報の発報を警報通知モジュール１０８に設定する（ステップ６０７）。ハイビームの点灯時間が極短時間であり、ドライバーが歩行者を視認できなくても、「歩行者」の存在のための警報がドライバーに提供される。

画像処理モジュール１０２は、図５と図６のフローチャートを、例えば、撮像周期に合わせて、繰り返し実行する。車両が時速４０ｋｍ／ｈで走行している場合、１秒あたり約１１ｍ走行する計算となる。歩行者は時速４ｋｍ／ｈを目安とすると、１秒あたり約１ｍ移動する。歩行者の飛び出し等のリスクを考慮すれば、画像処理モジュール１０２は、図５と図６のフローチャートを、少なくとも１秒間隔で実行すればよい。撮像周期は、これより遥かに短い。

画像処理回路２０２は、「推定歩行者」が歩行者であることを判定した場合は、この「推定歩行者」に対して、ハイビームを点灯させない。画像処理回路２０２は、「推定歩行者」を歩行者であると判定できない場合、ステップ６０８において「推定歩行者」が歩行者以外であると確定できるか否かを判定し、これを否定する場合には、ステップ６０２に戻り、次のタイミングにおいてハイビームへの切替を行い、「推定歩行者」の判定を継続する。

ステップ６０６、６０８において、画像処理回路２０２は、物体（推定歩行者）の動きの情報つまりトラッキング情報等を用いて、歩行者を認識するための確度を向上できるようにしてよい。歩行者は、車両の速度に対して移動速度が遅いため、段階的に歩行者と車両との距離が短くなり、歩行者の検知の精度が向上する。

既述のとおり、画像処理モジュール１０２から、ＣＡＮ等のネットワークを経由することなく、照明制御モジュール１０６に、直接、ハイビーム点灯指令が伝達されるため、伝送遅延の問題が解消される。その結果、撮像タイミング・撮像時間に整合して、照明制御モジュール１０６はハイビームを点灯させることができる。ハイビームの点灯時間が極短時間であっても、撮像モジュール１０１は、露光時間等の条件を踏まえた上で、対象体を撮像できる。

図７に、撮像モジュール１０１の動作をフローチャートとして説明する。撮像モジュール１０１は図７のフローチャートを繰り返すことにより、車両前方を撮像する。短露光時間処理（ステップ７０１）では輝度の高いヘッドライト（対向車）の検出のために、撮像モジュール１０１は、短い露光時間での撮像を行う。中露光時間処理（ステップ７０２）では、輝度の低いテールランプ（前方車）の検出のために、撮像モジュール１０１は、中程度の露光時間での撮像を行う。長露光時間処理（ステップ７０３）では、光源を持たない歩行者の検出のために、撮像モジュール１０１は、長露光時間での撮像を行う。照明制御モジュール１０６は、長露光時間での撮像のタイミングに合わせて、照明モジュール１０７をハイビームの点灯状態にする。歩行者の反射光量が低いため、歩行者の検出には、相対的に長い露光時間を必要とする。なお、これらの処理順番を、図７のものとは異なるようにしてもよい。

図８は、撮像とハイビームの点灯とのタイミングチャートである。８ａは、タイミング信号８０１のパターンであり、例えば、６０ｍｓｅｃ毎に、タイミング信号８０１が出力される。隣接するタイミング信号の間の期間が、撮像周期である。８ｂは、撮像のタイミングパターンである。撮像モジュール１０１は、第１のタイミング信号に同期して短露光時間撮像を行い（８０２）、第２のタイミング信号に同期して中露光時間撮像を行い（８０３）、第３のタイミング信号に同期して長露光時間撮像を行う（８０４）。

８ｄは、ハイビーム（遠方照射）の点灯タイミングを示す。照明制御モジュール１０６は、第３のタイミング信号に同期して、換言すれば、歩行者の撮像のための長露光時間撮像（８０４）に合わせて、或いは、同期させて、ハイビームの点灯を、照明モジュール１０７に実行させる（８０５）。したがって、照明制御モジュール１０６は、ハイビームの点灯を、歩行者の撮像のための期間に制限、或いは、設定することができる。

照明モジュール１０７の応答速度が早ければ、照明制御モジュール１０６は、８ｅに示すように、長露光時間撮像（８０４）と同じタイミングにハイビームのオン（８０５）を設定する。照明モジュール１０７の応答速度、及び、車両での回路内の信号遅延の影響から、十分な照度を得るために、照明制御モジュール１０６は、ハイビームのオンを時定数Δｔを含めて実行する。即ち、照明制御モジュール１０６は、ハイビームのオンを、８ｄの長露光時間撮像の波形（８０４）の時定数Δｔ分先行させて実行する。これにより、ハイビームの照度は、破線部のように徐々に立ち上がり、撮像を開始するまでに十分な照度になる（８ｅ）。なお、ハイビームのオフは時定数Δｔの影響を受けないので、照明制御モジュール１０６は、長露光時間撮像（８０４）のオフと同じタイミングで、ハイビームのオフを実行してもよい。

なお、照明モジュール１０７の量産品においては、個体差の影響も想定する必要がある。そこで、照明制御モジュール１０６は、時定数Δｔに加えて、例えば、３０％程度の余裕を持って、ハイビームのオン・オフを実行してもよい（８ｆ）。なお、８ｃに示すように、撮像モジュール１０１は、短露光時間８０２と中露光時間８０３とを、第１のタイミング信号と第２のタイミング信号との間で実施し、長露光時間８０４を第２のタイミングに同期させて実行するようにしてもよい。

夜間ハイビーム走行時の歩行者９０１の撮像映像を図９Ａに示す。夜間ロービーム走行時の歩行者９０１の撮像映像を図９Ｂに示す。図９Ａによれば、ドライバーは、歩行者９０１を確認することができ、一方、図９Ｂによれば、ロービームは遠方まで届かないために、遠方は照明が制限さえる遮光領域９０２となって、ドライバーは、遠方の歩行者９０１を確認できない。

図１０Ａは、車両の進行によって、歩行者１００１が車両に近接した撮像映像（夜間ハイビーム）を示す。１００２は対向車の映像である。図１０Ｂは、夜間ロービーム時の映像である。図１０Ｂから分かるように、歩行者１００１のうち、その足元１００３Ｂのみが撮像される。ドライバーは、他車への眩惑を避けるため、通常、ロービームで走行しており、歩行者の足元が見えるだけで、これを歩行者であると視認し難い。画像処理モジュール１０２は、その足元の映像を推定歩行者として分類し、これに短時間ハイビームを適用することにより、歩行者の全体を照明して（図１０Ａ）、歩行者を判定する。

画像処理モジュール１０２は、対向車両の検出については、歩行者のための認識のように、映像としてではなく、そのヘッドライトの輝度情報に基づいた光点を利用すればよい。ロービーム時の遮光領域１００３（図１０Ｂ）に対向車が存在していても、画像処理モジュール１０２は、対向車をヘッドライトの光点１００３Ａに基いて検出できる。図１１は、短時間露光（図８（８ｄ））で得られた画像である。輝度情報は受光素子の配列であるＲＧＢのカラー受光素子成分より以下の換算式により導出される。
Y = 0.299R + 0.587G + 0.114B
U = -0.147R - 0.289G + 0.436B
V = 0.615R - 0.515G - 0.100B

Ｙは輝度情報、Ｕ，Ｖは色差信号であり、輝度情報Ｙを指標とすることにより、画像処理モジュール１０２は、周辺よりも十分に明るいヘッドライト、及び、テールライトを検知することができる。露光時間が制限することにより、画像処理モジュール１０２は、対向車、前方車周辺の自発光ノイズを削除でき、ヘッドライト、テールライト等の光点を検出、抽出することができる。

既述の実施形態では、照明モジュール１０７として、モジュール全体として、ハイビームを点灯のオン・オフ、或いは、光の照射方向をロー・ハイと切り替えるタイプのものを説明したが、これに限らず、例えば、複数のＬＥＤ等の発光部を備えるヘッドライトであってもよい。この種の照明モジュールでは、発光部毎に、光量、光の方向等を変えることができる。図１２は、ＬＥＤヘッドライトで照明された領域を撮像した映像の一例である。１３０２は、対向車の領域であって、この領域の光量が制限されている。１３０１は歩行者の領域であって、ここでも光量が制限されている。このように、ＬＥＤヘッドライトは、所定の領域毎に、光量を調整できる。光量が制限されているとは、制限領域に対応するＬＥＤが非駆動か、或いは，ＬＥＤの駆動電流が制限されていることを意味する。光量が制限されるは、対向車や歩行者に対する眩惑の制限のためである。

１３０１の領域に歩行者が存在すると、車両が歩行者に近づいた際、図１３に示すように、１３０１の領域の下端から歩行者の下肢１３１０が露出した映像が、画像処理モジュール１０２に提供される。画像処理モジュール１０２は、これを推定歩行者と判定すると、照明制御モジュール１０６は、１３０１の領域に対応するＬＥＤを点灯させるか、ＬＥＤの駆動電流を増大させるか、制限領域に向いていないＬＥＤの向きを変えて制限領域を照射するＬＥＤの数を増やすこと等を一時的に行い、制限領域１３０１を高輝度にすることによって、撮像モジュール１０１は歩行者全身１３２０を撮像できるようになった（図１４）。

既述の実施形態では、画像処理モジュール１０２と照明制御モジュール１０６とを、別なＬＳＩから構成されることを説明したが、図１５に示すように、一体のＬＳＩ（画像処理・照明制御モジュール１５０１）にしてもよい。図１６は、画像処理・照明制御モジュール１５０１の詳細なブロック図である。画像処理・照明制御モジュール１５０１は、画像処理回路２０２に加えて、照明制御回路１６０２を備え、コントローラ２０１は、これらを統合制御する。こうすることによって、画像処理回路２０２が推定歩行者を判定したことに伴う、ハイビームのオン・オフを迅速かつ確実に制御して、歩行者検知と他車への眩惑防止の両立を図っている。

また、図１７に示すように、画像処理モジュール１０２、又は、画像処理・照明制御モジュール１５０１とレーダ測距モジュール１７０１とを接続してもよい。レーダ測距モジュール１７０１は、ミリ波レーダ、もしくはＬＩＤＡＲ（Light Detection and Ranging）等の光照射とその反射光の受光による測距を行う。また、認識処理・照明制御モジュール１７０２は、レーダ測距モジュール１７０１に搬送情報の提供と受光信号の分別制御、更には照明モジュール１０７の制御も行う。認識処理・照明制御モジュール１７０２は、レーダが検知した立体物を、認識処理・照明制御によって確定することができる。例えば、レーダが検知した立体物に対して、認識処理・照明制御モジュール１７０２は一時的にハイビームを照射し、その際の撮像した映像を画像処理して、必要に応じて推定歩行者を判定しながら、立体物を歩行者であると確定する。図１８に示すように、認識処理・照明制御モジュール１７０２は、レーダ測距のための変復調回路１８０１と、レーダ測距モジュール１７０１へのインターフェース１８０２を備える。

図１９に示すように、物体検出システム１０は、可視光の照明モジュール１０７の他に、赤外照明モジュール１９０１を備えてもよい。画像処理モジュール１０２は、推定歩行者を判定すると、歩行者の確定のために、赤外照明モジュール１９０１から、推定歩行者に向けて赤外光を一時的に照射する。撮像モジュール１０１は、赤外線カメラを備え、赤外線によって照明された対象を撮像する。画像処理モジュール１０２は、可視光の一時的な照射を実行してもしなくてもよい。赤外照明モジュール１９０１によって、悪天候時の夜間であっても、推定歩行者が確実に照明される。

赤外光検出のためには、赤外受光素子を有する撮像素子が必要となる。赤外受光素子（ＩＲ）を追加したカラー画素の受光素子の配置を図２０に示す。赤外光成分をＩＲ画素で検知する他は、図３のカラー画素の受光素子と同様である。

クリア画素（Ｃ）を用いる構成を図２１に示す。赤外受光素子と赤色受光素子に対して、クリア画素を入れ子に配置する。本配列により、クリア画素は画面全体で均等に受光でき、かつ赤外成分、赤色成分も検知が可能な撮像素子が実現できる。

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、又は、ＳＤカード等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０物体検出システム、１００車載装置、１０１撮像モジュール、１０２画像処理モジュール、１０６照明制御モジュール、１０７照明モジュール

Claims

車両外の物体を検出し、検出情報を車両の制御装置に提供する物体検出システムであって、
前記物体を照明するための照明モジュールと、
前記照明モジュールを制御する照明制御モジュールと、
前記物体を撮像する撮像モジュールと、
前記物体が撮像された画像を処理する画像処理モジュールと、
を備え、
前記撮像モジュールが照明制限領域の物体を撮像するタイミングに合わせて、
前記照明制御モジュールは、前記画像処理モジュールの画像処理の結果に基づいて、前記照明モジュールによる、前記照明制限領域への照明の開始と終了とを制御する、
物体検出システム。
前記画像処理モジュールは、
前記物体が撮像された画像が特定対象体の可能性があることを判定すると、
前記照明制御モジュールに、前記撮像モジュールが前記照明制限領域の物体を撮像するタイミングに合わせて、前記照明制限領域への照明の開始と終了とを制御させる、
請求項１記載の物体検出システム。
前記撮像モジュールは、前記照明制限領域への照明によって、前記物体を撮像し、
前記画像処理モジュールは、当該物体を撮像した画像が、前記特定対象体であるか否かを判定する、
請求項２記載の物体検出システム。
前記照明モジュールは、第一の照明状態と、第二の照明状態と、を切替自在に構成され、
前記照明制御モジュールは、前記照明制限領域への照明を、前記第二の照明状態によって、実行する、
請求項１記載の物体検出システム。
前記画像処理モジュールは、
前記物体が撮像された画像が前記特定対象体の一部であることを判定すると、
当該画像が前記特定対象体の可能性があると判定する、
請求項２記載の物体検出システム。
前記照明モジュールは、
前記第一の照明状態において、前記車両の前方を照明し、
前記第二の照明状態において、前記第一の照明状態よりも遠方も照射する、
請求項４記載の物体検出システム。
前記照明制限領域が、前記第一の照明状態では照明されず、前記第二の照明状態で照明される領域である、
請求項４記載の物体検出システム。