JP5561333B2 - 画像処理装置、撮像方法、プログラムおよび車両 - Google Patents

画像処理装置、撮像方法、プログラムおよび車両 Download PDF

Info

Publication number
JP5561333B2
JP5561333B2 JP2012202111A JP2012202111A JP5561333B2 JP 5561333 B2 JP5561333 B2 JP 5561333B2 JP 2012202111 A JP2012202111 A JP 2012202111A JP 2012202111 A JP2012202111 A JP 2012202111A JP 5561333 B2 JP5561333 B2 JP 5561333B2
Authority
JP
Japan
Prior art keywords
imaging
light
region
exposure amount
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012202111A
Other languages
English (en)
Other versions
JP2013117520A (ja
Inventor
亮介 笠原
秀明 平井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2012202111A priority Critical patent/JP5561333B2/ja
Priority to CN201280053482.6A priority patent/CN104024827B/zh
Priority to PCT/JP2012/078907 priority patent/WO2013065870A1/en
Priority to US14/354,210 priority patent/US9616852B2/en
Priority to BR112014010711A priority patent/BR112014010711A2/pt
Priority to EP12844757.0A priority patent/EP2773944B1/en
Publication of JP2013117520A publication Critical patent/JP2013117520A/ja
Application granted granted Critical
Publication of JP5561333B2 publication Critical patent/JP5561333B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833—Optical rain sensor
    • B60S1/0844—Optical rain sensor including a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions

Description

本発明は、画像処理装置、撮像方法、プログラムおよび車両に関する。
車走行時のワイパー制御の自動化のために、フロントガラスに付着した雨滴を検出する技術や、照明と、照明光の波長のみを透過させる光学フィルタを用いて、例えば車線などの検出等のセンシング用途のカメラによって、フロントガラスに付着した雨滴も同時に検出する技術が従来から知られている。
例えば、特許文献１には、センシング用途のカメラと雨滴を検出するためのカメラとを兼用させる目的で、画像処理装置と光源と光学フィルタとを備え、光源から光を照射してフロントガラスの外側の雨滴を撮像して、刻々と変わる外光に追従するため、用意した照明の強度を変化させる構成を備えた画像処理システムが開示されている。
しかしながら、このような従来技術のように、センシング用途のカメラと、雨滴を検出するためのカメラを兼用させた技術では、刻々と変わる外光に追従し、光学フィルタ部分の露光も合わせる必要があったため、予め用意した照明の強度を変化させる必要があった。このため、非常に強力な照明が必要となり、消費電力が増大するという問題がある。
また、従来技術では、車外に強力な光を投射しなければならず、安全性をより確保することが求められている。
本発明は、上記に鑑みてなされたものであって、センシング用途と物体検出用途の撮像部を兼用する場合であっても、消費電力を削減することができ、かつ安全性をより向上させることができる画像処理装置、撮像方法、プログラムおよび車両を提供することを主な目的とする。
上述した課題を解決し、目的を達成するために、本発明にかかる画像処理装置は、ガラスに対して光を照射する光源と、前記光源から照射された光の前記ガラスからの反射光を含む撮像領域からの光を撮像する撮像部と、前記撮像領域の一部からの光を入射して、前記ガラスに付着した物体の検知のための物体検知用フィルタと、前記撮像領域のうち前記物体検知用フィルタが存在しない第１領域を撮像するための第１露光量と、前記第１露光量と異なる露光量であって、前記撮像領域のうち前記物体検知用フィルタが存在する第２領域を撮像するための第２露光量とを決定する露光制御部と、前記撮像部で撮像された撮像画像を解析する画像解析部と、を備え、前記撮像部は、前記第１露光量での前記撮像領域の撮像と、決定された前記第２露光量での前記撮像領域の撮像とを切り換えること、を特徴とする。
また、本発明にかかる撮像方法は、画像処理装置で実行される撮像方法であって、前記画像処理装置は、ガラスに対して光を照射する光源と、撮像領域の一部からの光を入射して、前記ガラスに付着した物体の検知のための物体検知用フィルタと、を備え、前記光源から照射された光の前記ガラスからの反射光を含む撮像領域からの光を撮像する撮像ステップと、前記撮像領域のうち前記物体検知用フィルタが存在しない第１領域を撮像するための第１露光量と、前記第１露光量と異なる露光量であって、前記撮像領域のうち前記物体検知用フィルタが存在する第２領域を撮像するための第２露光量とを決定する露光制御ステップと、前記撮像ステップで撮像された撮像画像を解析する画像解析ステップと、を含み、前記撮像ステップは、前記第１露光量での前記撮像領域の撮像と、決定された前記第２露光量での前記撮像領域の撮像とを切り換えること、を特徴とする。
また、本発明にかかるプログラムは、コンピュータに実行させるためのプログラムであって、前記コンピュータは、ガラスに対して光を照射する光源と、撮像領域の一部からの光を入射して、前記ガラスに付着した物体の検知のための物体検知用フィルタと、を備え、前記光源から照射された光の前記ガラスからの反射光を含む撮像領域からの光を撮像する撮像ステップと、前記撮像領域のうち前記物体検知用フィルタが存在しない第１領域を撮像するための第１露光量と、前記第１露光量と異なる露光量であって、前記撮像領域のうち前記物体検知用フィルタが存在する第２領域を撮像するための第２露光量とを決定する露光制御ステップと、前記撮像ステップで撮像された撮像画像を解析する画像解析ステップと、を前記コンピュータに実行させ、前記撮像ステップは、前記第１露光量での前記撮像領域の撮像と、決定された前記第２露光量での前記撮像領域の撮像とを切り換えること、を特徴とする。
また、本発明にかかる車両は、ガラスに対して光を照射する光源と、前記光源から照射された光の前記ガラスからの反射光を含む撮像領域からの光を撮像する撮像部と、前記撮像領域の一部からの光を入射して、前記ガラスに付着した物体の検知のための物体検知用フィルタと、前記撮像領域のうち前記物体検知用フィルタが存在しない第１領域を撮像するための第１露光量と、前記第１露光量と異なる露光量であって、前記撮像領域のうち前記物体検知用フィルタが存在する第２領域を撮像するための第２露光量とを決定する露光制御部と、前記撮像部で撮像された撮像画像を解析する画像解析部と、前記撮像画像の解析結果に基づいて、前記車両の動作を制御する制御部と、を備え、前記撮像部は、前記第１露光量での前記撮像領域の撮像と、決定された前記第２露光量での前記撮像領域の撮像とを切り換えることを特徴とする。
本発明によれば、センシング用途と物体検出用途の撮像部を兼用する場合であっても、消費電力を削減することができ、かつ安全性をより向上させることができるという効果を奏する。
図１は、実施の形態の車載機器制御システムの概略構成を示す模式図である。 図２は、実施の形態の撮像ユニットの概略構成を示す模式図である。 図３は、実施の形態の撮像ユニットに設けられる撮像装置の概略構成を示す説明図である。 図４は、実施の形態の自車両のフロントガラスの外壁面上の雨滴に撮像レンズの焦点が合っている場合における、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。 図５は、実施の形態の無限遠に焦点が合っている場合における、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。 図６は、雨滴検出用の撮像画像データに適用可能なカットフィルタのフィルタ特性を示すグラフである。 図７は、雨滴検出用の撮像画像データに適用可能なバンドパスフィルタのフィルタ特性を示すグラフである。 図８−１は、光学フィルタの側面図である。 図８−２は、実施の形態の撮像装置の光学フィルタに設けられる前段フィルタの正面図である。 図９は、実施の形態の撮像装置の撮像画像データの画像例を示す説明図である。 図１０は、実施の形態の撮像装置の詳細を示す説明図である。 図１１は、実施の形態の撮像装置の光学フィルタと画像センサとを光透過方向に対して直交する方向から見たときの模式拡大図である。 図１２は、異物検出を説明するための図である。 図１３は、雨滴が付着している状態の実験結果を示す図である。 図１４は、雨滴が付着していない状態の実験結果を示す図である。 図１５は、実施の形態１の露光制御処理の手順を示すフローチャートである。 図１６は、光源の発光強度と露光量との関係図である。 図１７は、実施の形態２の制御処理の手順を示すフローチャートである。 図１８は、実施の形態３の制御処理の手順を示すフローチャートである。 図１９は、雨滴など異物があった場合の雨滴検出用フィルタ有領域の撮像画像の例を示す図である。 図２０は、実施の形態５の露光制御処理の手順を示すフローチャートである。 図２１は、変形例３の撮像ユニットの光学系の構成図である。 図２２は、変形例３の光学系による撮像画像の一例を示す図である。
以下に添付図面を参照して、画像処理装置、撮像方法、プログラムおよび車両の実施の形態を詳細に説明する。なお、本発明に係る画像処理装置は、車載機器制御システムに限らず、例えば、撮像画像に基づいて物体検出を行う物体検出装置を搭載したその他のシステムにも適用できる。
（実施の形態１）
図１は、実施の形態１における車載機器制御システムの概略構成を示す模式図である。車載機器制御システムは、自動車などの自車両１００に搭載された撮像装置で撮像した自車両進行方向前方領域（撮像領域）の撮像画像データを利用して、ヘッドランプの配光制御、ワイパーの駆動制御、その他の車載機器の制御を行うものである。
本実施の形態の車載機器制御システムは、図１に示すように、撮像装置（図１では不図示。図２参照。）を有する撮像ユニット１０１と、露光制御ユニット１０９と、画像解析ユニット１０２と、車両走行制御ユニット１０８と、ワイパー制御ユニット１０６と、ヘッドランプ制御ユニット１０３とを主に備えている。ここで、車両走行制御ユニット１０８、ワイパー制御ユニット１０６、ヘッドランプ制御ユニット１０３は、自車両１００の動作を制御する制御部として機能する。
本実施形態の車載機器制御システムに設けられる撮像装置は、撮像ユニット１０１に設けられており、走行する自車両１００の進行方向前方領域を撮像領域として撮像するものであり、例えば、自車両１００のフロントガラス１０５のルームミラー（図示せず）付近に設置される。撮像ユニット１０１の撮像装置で撮像された撮像画像データは、画像解析ユニット１０２に入力される。
露光制御ユニット１０９は、撮像ユニット１０１の撮像装置の露光制御を行う。撮像領域のうち、後述する雨滴検知用フィルタが存在しない第１領域を撮像するための第１露光量と、第１露光量と異なる露光量であって、撮像領域のうち雨滴検知用フィルタが存在する第２領域を撮像するための第２露光量とを決定する。撮像装置は、この露光制御ユニット１０１で決定された第１露光量での撮像領域の撮像と、決定された第２露光量での撮像領域の撮像とを切り換える。
画像解析ユニット１０２は、撮像装置から送信されてくる撮像画像データを解析し、撮像画像データに自車両１００の前方に存在する他車両の位置、方角、距離を算出したり、フロントガラス１０５に付着する雨滴や異物などの付着物を検出したり、撮像領域内に存在する路面上の白線（区画線）等の検出対象物を検出したり、雨量を算出したりする。他車両の検出では、他車両のテールランプを識別することで自車両１００と同じ進行方向へ進行する先行車両を検出し、他車両のヘッドランプを識別することで自車両１００とは反対方向へ進行する対向車両を検出する。
画像解析ユニット１０２の算出結果は、ヘッドランプ制御ユニット１０３に送られる。ヘッドランプ制御ユニット１０３は、例えば、画像解析ユニット１０２が算出した距離データから、自車両１００の車載機器であるヘッドランプ１０４を制御する制御信号を生成する。具体的には、例えば、先行車両や対向車両の運転者の目に自車両１００のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両１００の運転者の視界確保を実現できるように、ヘッドランプ１０４のハイビームおよびロービームの切り替えを制御したり、ヘッドランプ１０４の部分的な遮光制御を行ったりする。
画像解析ユニット１０２の算出結果は、ワイパー制御ユニット１０６にも送られる。ワイパー制御ユニット１０６は、ワイパー１０７を制御して、自車両１００のフロントガラス１０５に付着した雨滴や異物などの付着物を除去する。ワイパー制御ユニット１０６は、画像解析ユニット１０２が検出した異物検出結果を受けて、ワイパー１０７を制御する制御信号を生成する。ワイパー制御ユニット１０６により生成された制御信号がワイパー１０７に送られると、自車両１００の運転者の視界を確保するべく、ワイパー１０７を稼動させる。
また、画像解析ユニット１０２の算出結果は、車両走行制御ユニット１０８にも送られる。車両走行制御ユニット１０８は、画像解析ユニット１０２が検出した白線検出結果に基づいて、白線によって区画されている車線領域から自車両１００が外れている場合等に、自車両１００の運転者へ警告を報知したり、自車両１００のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。
図２は、撮像ユニット１０１の概略構成を示す模式図である。図３は、撮像ユニット１０１に設けられる撮像装置２００の概略構成を示す説明図である。撮像ユニット１０１は、撮像装置２００と、光源２０２と、これらを収容する撮像ケース２０１とから構成されている。撮像ユニット１０１は自車両１００のフロントガラス１０５の内壁面側に設置される。撮像装置２００は、図３に示すように、撮像レンズ２０４と、光学フィルタ２０５と、画像センサ２０６とから構成されている。光源２０２は、フロントガラス１０５に向けて光を照射し、その光がフロントガラス１０５の外壁面で反射したときにその反射光が撮像装置２００へ入射するように配置されている。
本実施形態において、光源２０２は、フロントガラス１０５の外壁面に付着した付着物（以下、付着物が雨滴である場合を例に挙げて説明する。）を検出するためのものである。フロントガラス１０５の外壁面に雨滴２０３が付着している場合、光源２０２から照射された光は、フロントガラス１０５の外壁面と外気との界面で反射し、その反射光が撮像装置２００へ入射する。そこで、撮像装置２００の撮像画像データから、フロントガラス１０５に付着する雨滴２０３の検出を行う。
また、本実施形態において、撮像ユニット１０１は、図２に示すとおり、撮像装置２００や光源２０２を、フロントガラス１０５とともに撮像ケース２０１で覆っている。このように撮像ケース２０１で覆うことにより、フロントガラス１０５の内壁面が曇るような状況であっても、撮像ユニット１０１で覆われたフロントガラス１０５が曇ってしまう事態を抑制できる。よって、フロントガラス１０５の曇りによって画像解析ユニット１０２が誤解析するような事態を抑制でき、画像解析ユニット１０２の解析結果に基づく各種制御動作を適切に行うことができる。
ただし、フロントガラス１０５の曇りを撮像装置２００の撮像画像データから検出して、例えば自車両１００の空調設備を制御する場合には、撮像装置２００に対向するフロントガラス１０５の部分が他の部分と同じ状況となるように、撮像ケース２０１の一部に空気の流れる通路を形成してもよい。
ここで、本実施形態では、撮像レンズ２０４の焦点位置は、無限遠又は無限遠とフロントガラス１０５との間に設定している。これにより、フロントガラス１０５上に付着した雨滴２０３の検出を行う場合だけでなく、先行車両や対向車両の検出や白線の検出を行う場合にも、撮像装置２００の撮像画像データから適切な情報を取得することができる。
例えば、フロントガラス１０５上に付着した雨滴２０３の検出を行う場合、撮像画像データ上の雨滴画像の形状は円形状であることが多いので、撮像画像データ上の雨滴候補画像が円形状であるかどうかを判断してその雨滴候補画像が雨滴画像であると識別する形状認識処理を行う。このような形状認識処理を行う場合、フロントガラス１０５の外壁面上の雨滴２０３に撮像レンズ２０４の焦点が合っているよりも、上述したように無限遠又は無限遠とフロントガラス１０５との間に焦点が合っている方が、多少ピンボケして、雨滴の形状認識率（円形状）が高くなり、雨滴検出性能が高い。
図４は、フロントガラス１０５の外壁面上の雨滴２０３に撮像レンズ２０４の焦点が合っている場合における、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。図５は、無限遠に焦点が合っている場合における、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。フロントガラス１０５の外壁面上の雨滴２０３に撮像レンズ２０４の焦点が合っている場合、図４に示すように、雨滴に映り込んだ背景画像２０３ａまでが撮像される。このような背景画像２０３ａは雨滴２０３の誤検出の原因となる。また、図４に示すように雨滴の一部２０３ｂだけ弓状等に輝度が大きくなる場合があり、その大輝度部分の形状すなわち雨滴画像の形状は太陽光の方向や街灯の位置などによって変化する。このような種々変化する雨滴画像の形状を形状認識処理で対応するためには処理負荷が大きく、また認識精度の低下を招く。
これに対し、無限遠に焦点が合っている場合には、図５に示すように、多少のピンボケが発生する。そのため、背景画像２０３ａの映り込みが撮像画像データに反映されず、雨滴２０３の誤検出が軽減される。また、多少のピンボケが発生することで、太陽光の方向や街灯の位置などによって雨滴画像の形状が変化する度合いが小さくなり、雨滴画像の形状は常に略円形状となる。よって、雨滴２０３の形状認識処理の負荷が小さく、また認識精度も高い。
ただし、無限遠に焦点が合っている場合、遠方を走行する先行車両のテールランプを識別する際に、画像センサ２０６上のテールランプの光を受光する受光素子が１個程度になることがある。この場合、詳しくは後述するが、テールランプの光がテールランプ色（赤色）を受光する赤色用受光素子に受光されないおそれがあり、その際にはテールランプを認識できず、先行車両の検出ができない。このような不具合を回避しようとする場合には、撮像レンズ２０４の焦点を無限遠よりも手前に合わせることが好ましい。これにより、遠方を走行する先行車両のテールランプがピンボケするので、テールランプの光を受光する受光素子の数を増やすことができ、テールランプの認識精度が上がり先行車両の検出精度が向上する。
撮像ユニット１０１の光源２０２には、発光ダイオード（ＬＥＤ）や半導体レーザ（ＬＤ）などを用いることができる。また、光源２０２の発光波長は、例えば可視光や赤外光を用いることができる。ただし、光源２０２の光で対向車両の運転者や歩行者等を眩惑するのを回避する場合には、可視光よりも波長が長くて画像センサ２０６の受光感度がおよぶ範囲の波長、例えば８００ｎｍ以上１０００ｎｍ以下の赤外光領域の波長を選択するのが好ましい。本実施形態の光源２０２は、赤外光領域の波長を有する光を照射するものである。
ここで、フロントガラス１０５で反射した光源２０２からの赤外波長光を撮像装置２００で撮像する際、撮像装置２００の画像センサ２０６では、光源２０２からの赤外波長光のほか、例えば太陽光などの赤外波長光を含む大光量の外乱光も受光される。よって、光源２０２からの赤外波長光をこのような大光量の外乱光と区別するためには、光源２０２の発光量を外乱光よりも十分に大きくする必要があるが、このような大発光量の光源２０２を用いることは困難である場合が多い。
そこで、本実施形態においては、例えば、図６に示すように光源２０２の発光波長よりも短い波長の光をカットするようなカットフィルタか、もしくは、図７に示すように透過率のピークが光源２０２の発光波長とほぼ一致したバンドパスフィルタを介して、光源２０２からの光を画像センサ２０６で受光するように構成する。これにより、光源２０２の発光波長以外の光を除去して受光できるので、画像センサ２０６で受光される光源２０２からの光量は、外乱光に対して相対的に大きくなる。その結果、大発光量の光源２０２でなくても、光源２０２からの光を外乱交と区別することが可能となる。
ただし、本実施形態においては、撮像画像データから、フロントガラス１０５上の雨滴２０３を検出するだけでなく、先行車両や対向車両の検出や白線の検出も行う。そのため、撮像画像全体について光源２０２が照射する赤外波長光以外の波長帯を除去してしまうと、先行車両や対向車両の検出や白線の検出に必要な波長帯の光を画像センサ２０６で受光できず、これらの検出に支障をきたす。そこで、本実施形態では、撮像画像データの画像領域を、フロントガラス１０５上の雨滴２０３を検出するための雨滴検出用画像領域と、先行車両や対向車両の検出や白線の検出を行うための車両検出用画像領域とに区分し、雨滴検出用画像領域に対応する部分についてのみ光源２０２が照射する赤外波長光以外の波長帯を除去するフィルタ（以下、「雨滴検出用フィルタ」という場合もある。）を、光学フィルタ２０５に配置している。すなわち、雨滴検出用画像領域は、撮像領域のうち、雨滴検出用フィルタが存在する領域（以下、「雨滴検出用フィルタ有領域」という場合もある。）を撮像した撮像画像データの領域である。また、車両検出用画像領域は、撮像領域のうち、雨滴検出用フィルタが存在しない領域（以下、「雨滴検出用フィルタ無領域」という場合もある。）を撮像した撮像画像データの領域である。
ここで、雨滴検出用フィルタ無領域が第１領域に相当し、雨滴検出用フィルタ有領域が第２領域に相当する。
図８−１は、光学フィルタ２０５の側面図である。本実施形態の光学フィルタ２０５は、図８−１に示すように、基板２２１の撮像レンズ２０４側２０５ａの面には、赤外光および可視光相当を透過する分光フィルタ層２２４が形成されている。また、基板２２１の画像センサ６０側２０５ｂの面には、偏光フィルタ層２２２、ＳＯＧ（Ｓｐｉｎ Ｏｎ Ｇｌａｓｓ）層２２３、雨滴検出用フィルタである赤外光透過フィルタ２１２が順に形成されている。
このようにフィルタ層を光学フィルタ２０５の基板２２１の両面に形成することにより、光学フィルタ２０５の反りを抑制することが可能となる。基板２２１の片側面の面にだけ多層膜を形成すると応力がかかり、反りが生じる。しかしながら、図８−１のように基板２２１の両面に多層膜を形成した場合は、応力の効果が相殺されるため、反りを抑制することができる。
ここで、基板２２１は、可視光域に対して透明な材料、例えば、ガラス、サファイア、水晶などで構成することができる。本実施の形態では、ガラス、特に、安価で、また耐久性もある石英（屈折率１．４６）やテンパックスガラス（屈折率１．５１）を基板２２１の材料として用いる。
また、基板２２１の光学フィルタ２０５ａ側の面に形成された分光フィルタ層２２４は、波長範囲４００ｎｍ〜６７０ｎｍのいわゆる可視光領域と、波長範囲９４０〜９７０ｎｍの赤外光領域の双方を透過するフィルタである。なお、可視光領域は車両周辺情報を検出するのに用い、赤外光領域は雨滴を検出するために用いる。また、分光フィルタ層２２４は、波長７００〜９４０ｎｍの範囲の光を透過しない（透過率５％以下が望ましい）。これは、この波長範囲を取り込んだ場合、得られる画像データは全体的に赤くなってしまい、テールランプの赤色を示す部分などを抽出することが困難となることがある。そこで、赤外光をカットする特性をもつフィルタを形成してやれば、外乱となる他の色の光を除去できるため、例えばテールランプの検出精度を向上させることができる。
また、光学フィルタ２０５ｂ側の面に形成された偏光フィルタ層２２２は、Ｓ偏光成分をカットし、Ｐ偏光成分のみを透過するフィルタである。この偏光フィルタ層２２２により、外乱要因や不要反射光（映りこみ光）をカットすることができる。
本実施の形態では、偏光フィルタ層２２２は、ワイヤグリッド偏光子で形成されている。ワイヤグリッドは、アルミなどの金属で構成された導電体線が特定のピッチで格子状に配列してなるものであり、そのピッチが入射光（例えば、可視光の波長４００ｎｍから８００ｎｍ）に比べてかなり小さいピッチ（例えば、２分の１以下）であれば、導電体線に対して平行に振動する電場ベクトル成分の光をほとんど反射し、導電体線に対して垂直な電場ベクトル成分の光をほとんど透過させるため、単一偏光を作り出す偏光子として使用できる。
なお、ワイヤグリッド偏光子においては、金属ワイヤ断面積が増加すると、消光比が増加すること、更に周期幅に対する所定の幅以上の金属ワイヤでは透過率が減少する。また、金属ワイヤの長手方向に直交する断面形状がテーパ形状であると、広い帯域において透過率、偏光度の波長分散性が少なく、高消光比特性を示す。ワイヤグリッドの断面構造（不図示）において溝方向の偏光方向の光が入射したときは遮光し、溝と直交する方向の偏光方向の光が入射したときは透過する。
本実施の形態では、偏光フィルタ層２２２の偏光子として、ワイヤグリッド構造を用いているため、以下のような利点がある。すなわち、ワイヤグリッド構造は、よく知られる半導体プロセス、すなわちアルミ薄膜を蒸着した後にパターニングを行いメタルエッチングなどの手法によりワイヤグリッドのサブ波長凹凸構造を形成すればよい。よって、撮像素子の画素サイズ相当（数ミクロンレベル）で偏光子の方向を調整することが可能であるため、本実施例のような画素単位で透過偏光軸が選択できる。また、ワイヤグリッド構造は上述のとおり、アルミなどの金属で作製されるため、耐熱性に優れ、車載用途には好適である。
本実施の形態のＳＯＧ層２２３は、使用帯域の光に透明な基板と、基板上で直線状に延びたワイヤグリッドの凸部は使用帯域の光の波長よりも小さいピッチで配列されている。そのアルミ凸部の間には基板２２１よりも屈折率の低いか同等の無機材料が充填された充填部が形成されてなる。この充填部はワイヤグリッド構造の凸部も覆うように形成されてなる。
ＳＯＧ層２２３の形成材料としては、偏光フィルタ層２２２の偏光子の偏光特性を劣化させないために、その屈折率が空気の屈折率＝１に極力近い低屈折率材料であることが好ましい。例えば、セラミックス中に微細な空孔を分散させて形成してなる多孔質のセラミックス材料が好ましく、ポーラスシリカ（ＳｉＯ2）、ポーラスフッ化マグネシウム（ＭｇＦ）、ポーラスアルミナ（Ａｌ2Ｏ3）などが挙げられる。また、これらの低屈折率の程度はセラミックス中の空孔の数や大きさ（ポーラス度）によって決まるものである。このうち、特に、基板２２１の主成分がシリカの水晶やガラスからなる場合にはポーラスシリカ（ｎ＝１．２２〜１．２６）であれば、基板２２１よりも屈折率が小さくなり好適である。
ＳＯＧ層２２３の形成方法としては、無機系塗布膜（ＳＯＧ：Ｓpin Ｏn Ｇlass）生成方法を用いる。すなわち、シラノール［Ｓｉ(ＯＨ)4］をアルコールに溶かした溶剤を基板上にスピン塗布し、その後に熱処理によって溶媒成分を揮発させ、シラノール自体を脱水重合反応させるような経緯で形成される。
ＳＯＧ層２２３を用いることにより、偏光フィルタ層２２２がサブ波長サイズのワイヤグリッド構造であるため、ＳＯＧ層２２３の上に形成される赤外光透過フィルタ２１２に比べ強度的には弱い。とくに光学フィルタ２０５は、画像センサ２０６に密着配置することが望まれるため、そのハンドリングにおいては光学フィルタ２０５と画像センサ２０６の撮像素子面が接触する可能性もあるが、強度的に弱い偏光フィルタ層２２２はＳＯＧ層２２３で保護されているため、ワイヤグリッド構造を損傷することなく光学フィル２０５タを実装することができる。なお分光フィルタ層２２４もＳＯＧ層２２３で保護することも可能である。
また、ＳＯＧ層２２３を設けることにより、ワイヤグリッド部への異物進入も抑制できる。ワイヤグリッドの凸部の高さは一般に使用波長の半分以下で構成される。一方、分光フィルタは使用波長同等から数倍の高さとなり、かつ厚みを増すほど遮断波長での透過率特性を急峻に出来る。そして、ＳＯＧ層２２３は厚さが増すほど、その上面の平坦性確保が難しくなるとともに、充填領域の均質性が損なわれるなどの理由により、厚くするのは適切ではない。本実施の形態では偏光フィルタ層２２２をＳＯＧ層２２３で覆ったのちに赤外光透過フォルタ２１２を形成しているため、ＳＯＧ層２２３を安定的に形成することができる。またＳＯＧ層２２３の上面に形成する赤外光透過フォルタ２１２もその特性を最適に形成することが可能である。
図８−２は、光学フィルタ２０５の画像センサ６０側の正面図である。図９は、撮像画像データの画像例を示す説明図である。図８−２に示すように、車両検出用画像領域２１３である撮像画像中央部（撮像領域の高さ２／４に相当する部分）に対応する箇所に配置される領域２１１と、雨滴検出用画像領域２１４である撮像画像上部（撮像領域高さ１／４に相当する部分）及び撮像画像下部（撮像領域高さ１／４に相当する部分）に対応する箇所に配置される赤外光透過フィルタ２１２とに、領域分割されている。赤外光透過フィルタ２１２には、図６に示したカットフィルタや図７に示したバンドパスフィルタを用いる。
対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の画像は、主に撮像画像上部に存在することが多く、撮像画像下部には自車両前方の直近路面の画像が存在するのが通常である。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別に必要な情報は撮像画像上部に集中しており、その識別において撮像画像下部の情報はあまり重要でない。よって、単一の撮像画像データから、対向車両や先行車両あるいは白線の検出と雨滴の検出とを両立して行う場合には、図９に示すように、撮像画像下部と上部を雨滴検出用画像領域２１４とし、残りの撮像画像中央部を車両検出用画像領域２１３とし、これに対応して赤外光透過フィルタ２１２を設けるのが好適である。
撮像装置２００の撮像方向を下方へ傾けていくと、撮像領域内の下部に自車両のボンネットが入り込んでくる場合がある。この場合、自車両のボンネットで反射した太陽光や先行車両のテールランプなどが外乱光となり、これが撮像画像データに含まれることで対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の誤識別の原因となる。このような場合でも、本実施形態では、撮像画像下部に対応する箇所に図６に示したカットフィルタや図７に示したバンドパスフィルタが配置されているので、ボンネットで反射した太陽光や先行車両のテールランプなどの外乱光が除去される。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別精度が向上する。
なお、本実施形態では、撮像レンズ２０４の特性により、撮像領域内の光景と画像センサ２０６上の像とでは天地が逆になる。よって、撮像画像下部を雨滴検出用画像領域２１４とする場合には、光学フィルタ２０５の前段フィルタ２１０の上部を図６に示したカットフィルタや図７に示したバンドパスフィルタで構成することになる。
ここで、先行車両を検出する際には、撮像画像上のテールランプを識別することで先行車両の検出を行うが、テールランプは対向車両のヘッドランプと比較して光量が少なく、また街灯などの外乱光も多く存在するため、単なる輝度データのみからテールランプを高精度に検出するのは困難である。そのため、テールランプの識別には分光情報を利用し、赤色光の受光量に基づいてテールランプを識別することが必要となる。そこで、本実施形態では、後述するように、光学フィルタ２０５の後段フィルタ２２０に、テールランプの色に合わせた赤色フィルタあるいはシアンフィルタ（テールランプの色の波長帯のみを透過させるフィルタ）を配置し、赤色光の受光量を検知できるようにしている。
ただし、本実施形態の画像センサ２０６を構成する各受光素子は、赤外波長帯の光に対しても感度を有するので、赤外波長帯を含んだ光を画像センサ２０６で受光すると、得られる撮像画像は全体的に赤みを帯びたものとなってしまう。その結果、テールランプに対応する赤色の画像部分を識別することが困難となる場合がある。そこで、本実施形態では、光学フィルタ２０５の前段フィルタ２１０において、車両検出用画像領域２１３に対応する箇所を赤外光カットフィルタ領域２１１としている。これにより、テールランプの識別に用いる撮像画像データ部分から赤外波長帯が除外されるので、テールランプの識別精度が向上する。
図１０は、本実施形態における撮像装置２００の詳細を示す説明図である。この撮像装置２００は、主に、撮像レンズ２０４と、光学フィルタ２０５と、２次元配置された画素アレイを有する画像センサ２０６を含んだセンサ基板２０７と、センサ基板２０７から出力されるアナログ電気信号（画像センサ２０６上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部２０８とから構成されている。被写体（検出対象物）を含む撮像領域からの光は、撮像レンズ２０４を通り、光学フィルタ２０５を透過して、画像センサ２０６でその光強度に応じた電気信号に変換される。信号処理部２０８では、画像センサ２０６から出力される電気信号（アナログ信号）が入力されると、その電気信号から、撮像画像データとして、画像センサ２０６上における各画素の明るさ（輝度）を示すデジタル信号を、画像の水平・垂直同期信号とともに後段のユニットへ出力する。
図１１は、光学フィルタ２０５と画像センサ２０６とを光透過方向に対して直交する方向から見たときの模式拡大図である。画像センサ２０６は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などを用いた受光素子であり、画素ごとにフォトダイオード２０６Ａを用いている。フォトダイオード２０６Ａは、画素ごとに２次元的にアレイ配置されており、フォトダイオード２０６Ａの集光効率を上げるために、各フォトダイオード２０６Ａの入射側にはマイクロレンズ２０６Ｂが設けられている。この画像センサ２０６がワイヤボンディングなどの手法によりＰＷＢ（Ｐｒｉｎｔｅｄ Ｗｉｒｉｎｇ Ｂｏａｒｄ）に接合されてセンサ基板２０７が形成されている。
光学フィルタ２０５と画像センサ２０６はＵＶ接着剤で接合してもよいし、撮影に用いる有効画素範囲外をスペーサなどで支持した状態で有効画素外の四辺領域でＵＶ接着や熱圧着してやればよい。光学フィルタ２０５と画像センサ２０６を密着接合することにより、雨滴検出用領域と車両検出用領域の境界が明確になり、雨滴有無の判別精度が上げられる。
また、図９に示す画像領域で、画面上部あるいは画面下部のいずれか一方にのみ雨滴検出領域を設けた場合、光学フィルタ２０５と画像センサ２０６を平行に接着することは困難であり、傾斜して接着してしまう。傾斜して接着されてしまうと、領域上部と領域下部とで光路長が変化してしまい車両周辺情報、例えば白線検知を行う場合には白線座標の読み誤りなど認識精度の劣化原因となる。このため、本実施の形態では、図９に示すように、雨滴検出用領域を撮像画像の上部と下部とし、これに対応して赤外光透過フィルタ２１２を設けているので、光学フィルタ２０５と画像センサ２０６を平行に接着することが容易となり、この結果、雨滴検出の精度を向上させることができる。
次に、本実施の形態による、ワイパー１０７やウォッシャー（不図示）を制御するための異物検出が可能である。ここで、異物とは、雨滴であるが、この他、鳥の糞、隣接車両からの跳ねてきた路面上の水しぶきを含めることもできる。
図１２は、異物検出を説明するための図である。光源２０２は、そのフロントガラスの外側面の正反射光が撮像レンズの光軸と略一致するように配置される。撮像装置２００が受光する光線について、図中の光線Ａ〜Ｅの標記を用いて説明する。
光線Ａ：光源２０２から出射してフロントガラスを通過した光線Ａは、フロントガラス１０５の撮像装置２００から見て外側に雨滴が付着していない場合はそのまま外部に漏れる。なお、光源２０２としてはアイセーフ帯の波長・光量の光源を選択されるとともに、図１２に示すように上側に向けて光を出力することにより安全性がより図られている。
光線Ｂ：光源２０２からの出射光のうち、その一部はフロントガラス１０５に入射するときにその表面で反射される。一般にその偏光成分は、Ｓ偏光成分であることが知られている。このような光は、本来の雨滴検出にとっては不要光となり誤検出の原因となるが、本実施の形態では、光学フィルタ２０５の偏光フィルタ層２２２によりＳ偏光成分をカットされるようになっているため不要光を除去することが可能である。
光線Ｃ：光源２０２からの出射光のうち、フロントガラス１０５の内側表面で反射されずにフロントガラス１０５内を透過した光線Ｃの成分はＰ偏光成分がＳ偏光成分に比べて多くなる。このフロントガラス１０５内に入射した光は、フロントガラス１０５の外側に雨滴が付着している場合には雨滴内部で多重反射して撮像装置２００側に向けて再度フロントガラス内を透過して、撮像装置の光学フィルタ２０５に到達する。そして、分光フィルタ層２２４を透過し、続く偏光フィルタ層２２２ではＰ偏光成分が透過するようにワイヤグリッド構造の溝方向が形成されているため、ここをも通過し、このとき雨滴検出領域には光源２０２の波長に合わせた赤外光透過フィルタ２１２が形成されているが、光線Ｃはここを透過し、画像センサ２０６に到達し、雨滴がフロントガラス１０５面に付着していることを認識することができる。
光線Ｄ：光源２０２ではなく、フロントガラス１０５の外側から入射し撮像装置２００に到達する光のうち、雨滴検出領域に到達する光線Ｄは赤外光透過フィルタでその多くがカットされる。このように雨滴検出領域はフロントガラス１０５外側の外乱光もカットされる構成となっている。
光線Ｅ：雨滴検出領域以外の領域、すなわち赤外光透過フォルタ２１２が存在しない領域を通過する光線Ｅは、可視域および赤外光のみ透過するとともに、Ｐ偏光成分のみとなり不要光がカットされた状態で画像センサ２０６に到達し、各種アプリケーション用の信号として検出される。
光源２０２は、雨滴と空気の境界面のいずれかの面での反射光が撮像されるように、フロントガラス１０５への入射角度が設定される。雨滴からの反射光が最も強くなるレイアウトは、図１２に示すように、フロントガラス１０５面の法線に対して撮像装置２００の光軸と略反対側の位置に設置された場合、および撮像装置２００の光軸とほぼ同じ光軸となるように配置した場合であり、反射光が最も小さいのはフロントガラス１０５の法線と光源の光軸がほぼ一致した場合である。
なお、光源２０２は、赤外光透過フィルタ２１２の領域にのみ照射するように配置することができる。これにより、車両検出用領域からのノイズ成分を回避することができる。また、光源２０２を複数設けてもよい。この場合は、偏光フィルタ層２２２の各領域の偏光子パタンは、複数の光源２０２のうち偏光子パタンへの入射光量が最も大きい光源がフロントガラス１０５へ向かって出射する光の光軸と、撮像レンズの光軸との２つの光軸で形成される面に対して平行な偏光成分のみを透過するように設定される。
光源２０２の発光方法としては、連続発光（ＣＷ発光ともいう）の他、特定のタイミングでパルス発光してもよい。発光のタイミングと撮影のタイミングを同期することにより、外乱光による影響をより減少させることができる。また、複数の光源２０２を設置した場合には、複数の光源２０２を同時に発光させてもよいし、順次発光させてもよい。順次発光させた場合は、その発光のタイミングと撮影のタイミングを同期することにより、外乱光による影響をより減少させることができる。
ここで、発明者が撮影した実験結果を図１３、図１４に示す。画像領域の下部と上部は雨滴検出用領域となっている。図１３は雨滴が付着している状態の実験結果を示す図である。図１４は雨滴が付着していない状態の実験結果を示す図である。
画像中の「ｄｅｔｅｃｔｉｏｎ ａｒｅａ」と記載されている部分が雨滴検出用領域であり、この領域に雨滴付着時は光源２０２からのＬＥＤ光が入射し、図１４に示すように、雨滴が付着していないときは、ＬＥＤ光は検出されない。雨滴が付着されている場合には、「Ｒａｉｎ ｄｅｔｅｃｔｅｄ」と表示されるように雨滴を認識している。また付着していないときは「Ｒａｉｎ ｎｏｔ ｄｅｔｅｃｔｅｄ」ということで認識していない状態を示している。この認識処理は，ＬＥＤ受光量の閾値調整により容易に行うことができる。なお、閾値は一意に定める必要はなく、撮像装置２００の車両検出用領域の露光調整情報などをもとに最適値を算出するように構成してもよい。
次に、本実施の形態による露光制御処理について説明する。図１５は、実施の形態１の露光制御処理の手順を示すフローチャートである。まず、露光制御ユニット１０９は、赤外光透過フィルタ２１２が存在しない領域２１１である雨滴検出用フィルタ無領域（車両検出用画像領域２１３に相当）を撮像するための第１露光量を決定する（ステップＳ１１）。
この第１露光量は、雨滴検出用フィルタ無領域（車両検出用画像領域２１３）の撮像に適した露光量である。
ここで、露光制御ユニット１０９は、第１露光量を、雨滴検出用フィルタ無領域の光量により決定する。言い換えれば、自動露光制御（ＡＥ：Ａｕｔｏ Ｅｘｐｌｏｓｕｒｅ）における測定範囲を雨滴検出用フィルタ無領域に設定することにより、第１露光量を決定する。露光量は具体的には露光時間で決定される。
すなわち、遠方の画像を撮影する場合は、雨滴検出用フィルタ無領域の部分を検出しながら自動露光調整を行う。赤外光透過フィルタ２１２の存在しない領域２１１は、周辺の光量変化が大きい。撮像装置２００が撮影する車両周辺の照度は昼間の数万ルクスから夜間の１ルクス以下まで変化する。このため、その撮影シーンに応じて露光時間を調整する必要があり、これに対しては公知の自動露光制御を行う。なお、本実施の形態では、被写体は路面周辺にあるため、路面領域の画像をもとに露光制御を行うのが好ましい。
次に、露光制御ユニット１０９は、赤外光透過フィルタ２１２が存在する領域である雨滴検出用フィルタ有領域（雨滴検出用画像領域２１４に相当）を撮像するための第２露光量を決定する（ステップＳ１２）。
この第２露光量は、雨滴検出用フィルタ有領域（雨滴検出用画像領域２１４）の撮像に適した露光量である。かかる雨滴検出用フィルタ有領域は、光源２０２の異物からの反射光のみを取り込むように設定されているため、周辺環境による光量の変化は小さい。このため、外光の状況によらない固定の露光時間で撮影することも可能である。
図１６は、光源２０２の発光強度と露光量との関係図である。図１６に示すように、発光強度が大きくなるに従って、露光量は小さくなる（露光時間が短くなる）。本実施の形態では、露光制御ユニット１０９は、光源の発光強度に相当する駆動電流から図１６の関係に従って、第２露光量を変化させて決定する。
上述のように、雨滴検出用フィルタ無領域に適した第１露光量で撮像を行うことは、結果、雨滴検出用フィルタ無領域の撮像を行うことになる。雨滴検出用フィルタ有領域に適した第２露光量で撮像を行うことは、結果、雨滴検出用フィルタ有領域の撮像を行うことになる。従って、これ以降は、雨滴検出用フィルタ無領域に適した第１露光量での撮像を「雨滴検出用フィルタ無領域の撮像」といい、雨滴検出用フィルタ有領域に適した第２露光量での撮像を「雨滴検出用フィルタ有領域の撮像」という場合がある。
次に、露光制御ユニット１０９は、第１露光量での連続撮像回数ｎを決定する（ステップＳ１３）。また、露光制御ユニット１０９は、第２露光量での連続撮像回数ｍを決定する（ステップＳ１４）。ここで、第２露光量での連続撮像回数ｍは、第１露光量での連続撮像回数ｎよ小さい回数とする。例えば、ｎ＝３０、ｍ＝１等である。
そして、撮像装置２００は，第１露光量での撮像をｎ回連続して実行する（ステップＳ１５）。そして、画像解析ユニット１０２は、撮像画像の解析を行って（ステップＳ１６）、ヘッドランプ制御ユニット１０３，車両走行ユニット１０８等による各種制御を行う（ステップＳ１７）。
次に、撮像装置２００は、第２露光量での撮像をｍ回連続して実行する（ステップＳ１８）。そして、画像解析ユニット１０２は、撮像画像の解析を行って（ステップＳ１９）、ワイパー制御ユニット１０６等による各種制御を行う（ステップＳ２０）。
そして、所定の終了指示（ユーザによる終了指示など）があるまで、ステップＳ１５からＳ２０までの処理を繰り返し実行する（ステップＳ２１：Ｎｏ）。
例えば、ｎ＝３０、ｍ＝１の場合には、撮像装置２００は、第１露光量での雨滴検出用フィルタ無領域に適した撮像を連続して３０回行い、その後、第２露光量での雨滴検出用フィルタ有領域に適した撮像を１回行い、その後、第１露光量での雨滴検出用フィルタ無領域に適した撮像を連続して３０回行う等のように切り換える。
雨滴検出用フィルタ無領域の画像は、画像解析ユニット１０２で、例えば、白線検出や車両検出等の認識処理に用いられる。これらの認識処理は、入力される画像フレーム間の情報も用いるため、決められた時間間隔、または規則で撮影したフレームが画像解析ユニット１０２に入力される必要がある。
また、ワイパーを駆動させるか否かのために行う雨滴検出は、例えば、車線逸脱や前方車間距離の検出などと比較しては、短時間で状況が変わることはなく、また安全性としても優先度は低い。
このため、雨滴検出用フィルタ有領域の撮像画像は、雨滴検出用フィルタ無領域の撮像画像に一定間隔で挿入するように、雨滴検出用フィルタ有領域の連続撮像回数ｍは、雨滴検出用フィルタ無領域の連続撮像回数ｎより小さく決定している。
このように本実施の形態では、撮像装置２００で、車両検出用の撮像画像と雨滴検出用の撮像画像とを兼用して撮像しているが、雨滴検出用フィルタ無領域の撮像画像の連続撮像と、雨滴検出用フィルタ有領域の連続撮像を切り換えて行って、画像解析を行っているので、消費電力を削減することができ、かつ安全性をより向上させることができる。
（実施の形態２）
実施の形態２の車載機器制御システムは、雨滴が検出された場合、雨滴検出用フィルタ有領域の撮像画像の挿入周期を短くする、すなわち、雨滴検出用フィルタ無領域の連続撮像回数に対する雨滴検出用フィルタ有領域の連続撮像回数の割合を増加させるものである。具体的には、雨滴が検出された場合、撮像装置２００は、雨滴検出用フィルタ無領域の連続撮像回数ｎを減少し、かつ雨滴検出用フィルタ有領域の連続撮像回数ｍを変更しないか、あるいは、雨滴検出用フィルタ無領域の連続撮像回数ｎを変更せず、かつ雨滴検出用フィルタ有領域の連続撮像回数ｍを増加させる。
本実施の形態の車載機器制御システムの概略構成、撮像ユニット１０１、撮像装置２００の概略構成はいずれも実施の形態１と同様である。
雨が急に大量に降ってくるということはまれなため、雨滴を検出していない状態では、雨滴検出用フィルタ有領域を撮影するためのフレームの頻度は少なくしておいてよい。しかし、一旦、雨滴が検出された場合には、雨量の変化を細かく見る方が望ましいので、その場合には、撮像装置２００は、雨滴検出用フィルタ有領域を撮影するためのフレームの頻度を増加している。
例えば、雨滴検出用フィルタ無領域の撮像ｘ１２０回→雨滴検出用フィルタ有領域の撮像ｘ１回→雨滴検出用フィルタ無領域の撮像ｘ１２０回→雨滴検出用フィルタ有領域の撮像ｘ１回→雨滴検出用フィルタ無領域の撮像ｘ１２０回→・・・のような切り換えが通常時の場合を考える。この場合に、一回雨滴が検出された場合には以下のように、細かく見るように頻度を変更する。
雨滴検出用フィルタ無領域の撮像ｘ３０回→雨滴検出用フィルタ有領域の撮像ｘ１回→雨滴検出用フィルタ無領域の撮像ｘ３０回→雨滴検出用フィルタ有領域の撮像ｘ１→雨滴検出用フィルタ無領域の撮像ｘ３０回→・・・。
また、本実施の形態では、雨滴が検出された場合、ワイパー制御ユニット１０６は、ワイパーを雨滴量に応じた速度で駆動する。そして、撮像装置２００は、ワイパー制御ユニット１０６によるワイパーの駆動周期に同期して、雨滴検出用フィルタ有領域の撮像、すなわち第２露光量での撮像を行う。
すなわち、ワイパーが駆動した後に、雨滴が拭かれるため、雨滴が検出できなくなる。このため、雨滴検出用フィルタ有領域は、ワイパーが拭き終わったタイミングで撮像する。これにより、不必要な雨滴検出用の撮像画像を増加させる必要がなくなり、車両や白線検出用の撮像画像のフレーム数を増加させることができる。なお、一定時間、雨滴が検出されない状態が継続した場合には、雨滴検出用フィルタ有領域の撮像頻度を、通常時の頻度に戻すことが好ましい。
図１７は、実施の形態２の制御処理の手順を示すフローチャートである。画像解析ユニット１０２は、雨滴検出用フィルタ有領域の撮像画像から雨滴の検出を行う（ステップＳ３１）。そして、雨滴が検出された場合（ステップＳ３２：Ｙｅｓ）、撮像装置２００は、雨滴検出用フィルタ無領域の連続撮像回数ｎに対する雨滴検出用フィルタ有領域の連続撮像回数ｍの割合を増加する（ステップＳ３３）。
次に、ワイパー制御ユニット１０６は、雨滴量に応じてワイパーの駆動速度を決定し（ステップＳ３４）、これに基づきワイパーが駆動される。
次に、撮像装置２００は、雨滴検出用フィルタ有領域に適した第２露光量での撮像のタイミングを、上述したワイパー駆動に同期したタイミングに決定する（ステップＳ３５）。これにより、雨滴検出用フィルタ有領域は、ワイパーが拭き終わったタイミングで撮像される。
このように本実施の形態では、雨滴が検出された場合、雨滴検出用フィルタ無領域の連続撮像回数ｎに対する雨滴検出用フィルタ有領域の連続撮像回数ｍの割合を増加させることで、雨滴検出用フィルタ有領域の撮像画像の挿入周期を短くしているので、雨量の変化を高精度で把握することができる。
また、本実施の形態では、雨滴検出用フィルタ有領域を、ワイパーが拭き終わったタイミングで撮像しているので、不必要な雨滴検出用の撮像画像を増加させる必要がなくなり、車両や白線検出用の撮像画像のフレーム数を増加させることができる。
（実施の形態３）
自動露光を行っている雨滴検出用フィルタ無領域において、第１露光量（露光時間）を取得することで、車両周囲の光量を測定することができる。第１露光量が少ない（露光時間が短い）場合には、周囲は明るい状況ということで、天候が晴れていることが推測できる。晴天の場合には、雨が降ってくる可能性は低いため、雨滴検出用フィルタ有領域の撮像頻度を下げることが望ましい。
このため、本実施の形態では、雨滴検出用フィルタ無領域の第１露光量から晴天であると判断した場合に、雨滴検出用フィルタ無領域の連続撮像回数ｎに対する雨滴検出用フィルタ有領域の連続撮像回数ｍの割合を減少させることで、雨滴検出用フィルタ有領域の撮像画像の挿入周期を長くする。
本実施の形態の車載機器制御システムの概略構成、撮像ユニット１０１、撮像装置２００の概略構成はいずれも実施の形態１と同様である。
本実施の形態では、具体的には、撮像装置２００は、雨滴検出用フィルタ無領域の連続撮像回数ｎを増加し、かつ雨滴検出用フィルタ有領域の連続撮像回数ｍを変更しないか、あるいは、雨滴検出用フィルタ無領域の連続撮像回数ｎを変更せず、かつ雨滴検出用フィルタ有領域の連続撮像回数ｍを減少させる。
また、本実施の形態では、撮像ユニット１０１内の光源制御部（不図示）が第１露光量に応じて光源２０２の発光強度を変更している。基本的に本実施の形態では、光量を変化させる必要はないが、あまりに強い外光の場合には、以下のように発光強度を変更する。
光量が変化した場合（例えば、光量として、０．５ｌｕｘ〜１０万ｌｕｘ程度まで）には、雨滴検出用フィルタ有領域については、外光の影響を受け、異物が付着していない部分の背景が変化してしまい、最悪の場合、全領域飽和してしまい、異物の検出ができなくなることが考えられる。
この場合には、撮像ユニット１０１の光源制御部は、雨滴検出用フィルタ有領域の赤外光透過フィルタ２１２を透過してきた外光よりも、強い光で光源２０２より投射する必要があり、雨滴検出用フィルタ無領域の部分の露光量より、どのくらいの光量が雨滴検出用フィルタ有領域にバックグラウンドして入ってくるかを算出し、その量に応じて光源のパワーを変更すると良い。
また、この場合には、変更した光源の発光強度に合わせて、雨滴検出用フィルタ無領域の第１露光量を変更するよう構成してもよい。
逆に、夜間には、外光がほとんど入ってこないため、光源２０２の発光強度は小さくても良い。この場合にも、撮像ユニット１０１の光源制御部は、雨滴検出用フィルタ無領域の部分の第１露光量より、どのくらいの光量が雨滴検出用フィルタ有領域にバックグラウンドして入ってくるかを算出し、その量に応じて光源２０２の発光強度を変更することにより、発光強度を小さくすることができ、低消費電力化を実現することができる。
図１８は、実施の形態３の制御処理の手順を示すフローチャートである。まず、撮像ユニット１０１は、第１露光量から光量を上述のように測定する（ステップＳ４１）。そして、撮像ユニット１０１は、晴天か否かを判断し（ステップＳ４２）、晴天である場合には（ステップＳ４２：Ｙｅｓ）、雨滴検出用フィルタ無領域の連続撮像回数ｎに対する雨滴検出用フィルタ有領域の連続撮像回数ｍの割合を減少させる（ステップＳ４３）。
次に、撮像ユニット１０１の光源制御部は、光量に応じて光源２０２の発光強度を上述のとおりに変更する（ステップＳ４４）。
このように本実施の形態では、晴天である場合には、雨滴検出用フィルタ無領域の連続撮像回数ｎに対する雨滴検出用フィルタ有領域の連続撮像回数ｍの割合を減少させることで、雨滴検出用フィルタ有領域の撮像画像の挿入周期を長くしているので、晴天の場合に雨滴検出用フィルタ有領域の撮像頻度を下げ、消費電力の削減を図ることができる。
また、本実施の形態では、第１露光量に応じて光源２０２の発光強度を変更しているので、消費電力のさらなる削減を図ることができる。
（実施の形態４）
本実施の形態では、上述の実施の形態に加えて、画像解析ユニット１０２において雨滴を検出した場合に、雨滴検出用フィルタ有領域の撮像画像の画素値の分散に関する値を指標として、雨量の測定を行う。
本実施の形態の車載機器制御システムの概略構成、撮像ユニット１０１、撮像装置２００の概略構成はいずれも実施の形態１と同様である。
雨滴検出用フィルタ有領域の画像は、雨滴など異物があった場合には反射光が発生することにより、図１９に示す撮像画像が得られる。図１９の例では、ＳＷＳカメラ撮影画像の輝度の標準偏差値を計算すると、それぞれ、左の画像から、２０，２７，３９となり、雨量と相関することがわかる。
このため、本実施の形態では、画像解析ユニット１０２の雨量算出部（不図示）は、雨滴検出用フィルタ有領域の撮像画像から、輝度の標準偏差値等の分散に関する値を算出して、この分散に関する値に基づき、雨量の測定を行っている。なお、分散に関する値には、分散そのものも含まれる。
なお、単純に反射光量を雨量の指標としても良いが、その場合には光源２０２の発光強度の変動の影響を大きく受けてしまうことになる。このため、反射光の分散に関する値より雨量の指標を得ると良い。例えば、雨粒がある場合には、雨滴検出用フィルタ有領域の画像に濃淡が現れるため、分散値は大きくなる。また、雨量が大きくなるほど多数の雨粒や、大きな雨粒がつくため、分散値が大きくなる。
このように本実施の形態では、画像解析ユニット１０２の雨量算出部が、雨滴検出用フィルタ有領域の撮像画像の画素値の分散に関する値を指標として、雨量の測定を行っているので、雨量測定の高精度化を図ることができる。
また、本実施の形態では、画像解析ユニット１０２の雨量算出部が、雨滴検出用フィルタ有領域の撮像画像の画素値のうち、所定の閾値以下の輝度値を除いて分散に関する値を算出するように画像解析ユニット１０２を構成してもよい。
雨滴検出用フィルタ有領域においても、赤外光透過フィルタ２１２で遮断しきれなかったわずかな外光は、バックグラウンドとして雨滴検出用フィルタ有領域の画像に現れてくることになる。その影響をなくすため、分散を算出する前に、雨滴検出用フィルタ有領域の画像の所定の閾値以下の輝度値を分散の関する値の算出から除外することが好ましい。
例えば、標準偏差値を計算する前に、１２８の値を各ピクセル毎に減じた（減じた結果が０以下になる場合は０とした）後に標準偏差値を計算すると、図１９のそれぞれ左の画像から標準偏差は６，１６，２９となり、より雨量との相関が大きいことがわかる。
従って、これにより、雨量測定のさらなる高精度化を図ることができるという利点がある。
（実施の形態５）
本実施の形態では、雨滴検出用フィルタ有領域を光源２０２からの照射光の照射、非照射を制御しながら撮像し、得られた撮像画像から雨量を検出する。
本実施の形態の車載機器制御システムの概略構成、撮像ユニット１０１、撮像装置２００の概略構成はいずれも実施の形態１と同様である。
雨滴検出用フィルタ有領域（第２領域）においても、外光には光源２０２と同一波長の光が含まれるためたとえ光源２０２を消灯した場合（すなわち、光を照射しない場合）にも雨滴検出用フィルタより漏れだした外光が画像センサ２０６に混入してしまう。この雨滴検出用フィルタ有領域への外光混入により、外光の強度によって得られる輝度値が雨量によらず変化してしまうため、雨滴検出の精度が劣化する。
このため、本実施の形態では、撮像装置２００による雨滴検出用フィルタ有領域の撮像において、光源２０２を点灯した状態（すなわち、光を照射した状態）と光源２０２を消灯した状態（すなわち、光を照射しない状態）の撮像画像を２枚連続で撮影し、画像解析ユニット１０２により、漏れた外光をキャンセルする処理を行う。
本実施の形態では、撮像ユニット１０１内に光源制御部（不図示）が設けられており、この光源制御部が光源２０２からの光の照射を制御して、光源２０２を消灯したり点灯したりする。
撮像装置２００は、雨滴検出用フィルタ有領域（第２領域）の撮像において、光源２０２から光を照射しない消灯状態での第１撮像と、光源２０２から光を照射した点灯状態での第２撮像とを切り替えて行う。
車両が走行し、漏れこんでいる外光が逐次変化することを考慮すると、その２つの撮像画像間の時間は短いほど良いので、光源２０２を点灯した状態と光源２０２を消灯した状態の撮像画像は連続したフレームとすることが好ましい。このため、より具体的には、撮像装置２００は、第１撮像と、第２撮像とを連続して交互に行っている。
また、第１撮像画像と第２撮像画像は同一の露光量で撮像された場合に、画像解析ユニット１０２により最も外光のキャンセル処理の精度を向上させることができるため、撮像装置２００は、第１撮像と第２撮像とを、同一露光量である第２露光量で行っている。
また、画像解析ユニット１０２には、フロントガラス１０５に付着した雨滴の雨量を検出する雨滴検出部（不図示）が設けられている。雨滴検出部は、点灯状態での第２撮像により得られる第２撮像画像の画素値から、第１撮像により得られる第１撮像画像の画素値を減算することにより、外光のキャンセル処理を行う。
より具体的には、雨滴検出部は、点灯状態での第２撮像による第２撮像画像の画素の画素値の総和から、消灯状態での第１撮像による第１撮像画像の画素の画素値の総和を減算して外光のキャンセル処理を行い、この減算した総和値を雨量の指標として用いて雨量を検出する。
本実施の形態では、実施の形態１で図４、５を用いて説明したように、フロントガラス１０５の外壁面上に撮像レンズ２０４の焦点が合っていないため、フロントガラス１０５の外壁面に付着した一粒の雨滴は面積によらず、得られる撮像画像はほぼ一定の大きさの円となる。しかしながら、雨滴の面積と得られる撮像画像の輝度値は相関があるため、その輝度値より一粒の雨滴の大きさを推定することが可能である。
また、フロントガラス１０５に多数の雨粒が付着している場合には、撮像画像上でその大きさに応じた輝度値を有する多数の円が得られる。このため、本実施の形態では、雨滴が付着した面の面積に相関を持つ値として、雨滴検出用フィルタ有領域の撮像画像の範囲の輝度値の和、すなわち雨滴検出用フィルタ有領域の撮像画像の画素値の総和を雨量の指標としている。
この場合、雨滴検出部は、第２撮像画像の輝度値から第１撮像画像の輝度値を画素ごとに減算することにより外光のキャンセル処理を行うことも可能である。この場合には、画素ごとに減算するために、消灯状態の撮像画像の画素値をすべて記憶しておく必要があり、雨滴検出用フィルタ有領域の画素数だけメモリの記憶容量が必要になり、装置も高価となる。
これに対して、消灯状態での第１撮像画像の画素値（輝度値）の総和をメモリ等に記憶しておき、雨滴検出部が、光源２０２の点灯状態での第２撮像画像の画素値（輝度値）の総和から、光源２０２の消灯状態での第１撮像画像の画素値（輝度値）の総和を減算することにより、それぞれの撮像画像の画素値の総和の演算ですむため、画素毎に減算を行う場合と比較して、フレームバッファが必要なくなり、メモリの記憶容量を削減することができる。
次に、本実施の形態による露光制御処理について説明する。図２０は、実施の形態５の露光制御処理の手順を示すフローチャートである。まず、第１露光量の決定から第２露光量での連続撮像回数ｍの決定までの処理（ステップＳ５１〜Ｓ５４）については、実施の形態１の露光制御処理におけるステップＳ１１からＳ１４までの処理と同様に行われる。
そして、実施の形態１と同様に、撮像装置２００は、雨滴検出用フィルタ無領域の第１露光量での撮像をｎ回連続して実行する（ステップＳ５５）。そして、画像解析ユニット１０２は、撮像画像の解析を行って（ステップＳ５６）、ヘッドランプ制御ユニット１０３，車両走行制御ユニット１０８等による各種制御を行う（ステップＳ５７）。
次に、撮像装置２００は、光源２０２を消灯した状態で第２露光量で雨滴検出用フィルタ有領域の撮像を１回実行する（ステップＳ５８）。さらに、撮像装置２００は、光源２０２を点灯した状態で第２露光量で雨滴検出用フィルタ有領域の撮像を１回実行する（ステップＳ５９）。
次に、画像解析ユニット１０２の雨滴検出部は、上述した手法により、外光のキャンセル処理を行った上で、雨滴検出を行う（ステップＳ６０）。このようなステップＳ５８からＳ６０までの処理は、ｍ／２回繰り返し実行される。そして、ワイパー制御ユニット１０６等による各種制御を行う（ステップＳ６１）。
そして、所定の終了指示（ユーザによる終了指示など）があるまで、ステップＳ５５からＳ６１までの処理を繰り返し実行する（ステップＳ６２：Ｎｏ）。
例えば、ｎ＝３０、ｍ＝２の場合には、撮像装置２００は、第１露光量での雨滴検出用フィルタ無領域に適した撮像を連続して３０回行う。その後、撮像装置２００は、光源２０２を消灯した状態で第２露光量で雨滴検出用フィルタ有領域の撮像を１回行い、これに連続して、撮像装置２００は、光源２０２を点灯した状態で第２露光量で雨滴検出用フィルタ有領域の撮像を１回行う。その後、撮像装置２００は、第１露光量での雨滴検出用フィルタ無領域に適した撮像を連続して３０回行う。そして、撮像装置２００は、光源２０２を消灯した状態で第２露光量で雨滴検出用フィルタ有領域の撮像を１回行い、これに連続して、撮像装置２００は、光源２０２を点灯した状態で第２露光量で雨滴検出用フィルタ有領域の撮像を１回行う等のように切り換える。なお、雨滴検出用フィルタ無領域の撮像頻度を、増加してもよい。
このように本実施の形態では、光源２０２を消灯した状態で第２露光量で雨滴検出用フィルタ有領域の撮像を１回行い、これに連続して、撮像装置２００は、光源２０２を点灯した状態で第２露光量で雨滴検出用フィルタ有領域の撮像を１回行って、外光のキャンセル処理を行って雨滴検出を実行しているので、外光の影響を削減して雨滴検出を高精度に実現することができる。
なお、光源２０２の消灯状態での撮像と、光源２０２の点灯状態での撮像とはいずれを先に行ってもよい。
以上、実施の形態１〜５について説明したが、上記実施の形態に多様な変更または改良を加えることができる。
（変形例１）
雨量検出部を、光源２０２の点灯状態での第２撮像画像の画素値（輝度値）の総和から、光源２０２の消灯状態での第１撮像画像の画素値（輝度値）の総和を減算した値、すなわち、減算した総和値に非線形特性を付与し、この非線形特性を付与し値に基づいて雨量を検出するように構成してもよい。
上記減算した総和値により雨量を検出する場合には、大きな雨滴一粒よりも、同じ面積の小さな多数の粒の雨滴の方が大きい雨量として検出される。このため、本変形例では、上記減算した総和値に非線形成分を付与することにより、より正確な雨量の指標とすることができる。
非線形特性の付与の一例としては、以下の式により、雨量の指標を算出する手法があげられるが、これに限定されるものではない。
ｒａｉｎ＿ａｍｏｕｎｔ＝ｅｘｐ（ｓｕｍ（ｉｍｇ（ｘ，ｙ）×ｃｏｅｆｆ１−１）
ここで、ｒａｉｎ＿ａｍｏｕｎｔ：雨量指標
ｉｍｇ（ｘ，ｙ）：雨滴検出用フィルタ有領域の輝度値
ｓｕｍ（）：雨滴検出用フィルタ有領域の画素値の総和演算子
ｃｏｅｆｆ１：係数
係数ｃｏｅｆｆ１は、実験より適切な値を求めることができる。
（変形例２）
雨滴検出部が、画素ごとに、点灯状態での第２撮像画像の画素値から消灯状態での第１撮像画像の画素値を減算することより、外光のキャンセル処理を行う場合には、雨量検出部を、画素ごとに第２撮像画像の画素値から第１撮像画像の画素値を減算した値に非線形特性を付与し、この非線形特性を付与した値の総和値を求め、求めた総和値に基づいて雨量を検出するように構成してもよい。これにより、より正確に雨量の検出を行うことができる。
非線形特性の付与の一例としては、以下の式により、雨量の指標を算出する手法があげられるが、これに限定されるものではない。
ｒａｉｎ＿ａｍｏｕｎｔ＝ｓｕｍ（ｅｘｐ（ｉｍｇ（ｘ，ｙ）＊ｃｏｅｆｆ２−１））
ここで、ｒａｉｎ＿ａｍｏｕｎｔ：雨量指標
ｉｍｇ（ｘ，ｙ）：雨滴検出用フィルタ有領域の輝度値
ｓｕｍ（）：雨滴検出用フィルタ有領域の画素値の総和演算子
ｃｏｅｆｆ２：係数
係数ｃｏｅｆｆ２は、実験より適切な値を求めることができる。
（変形例３）
実施の形態１〜５では、撮像ユニット１０１の光学系は、図２に示すものを用いていた。この変形例３では、全反射光学系を撮像ユニット１０１に用いている。図２１は、変形例３の撮像ユニット１０１の光学系の構成図である。
本実施の形態の撮像ユニット１０１では、光源２０２から出射した光は、図２１の光路で示されるように、フロントガラス１０５の車内側の面に設けられた反射偏向部材２１０１に入射することにより、フロントガラス１０５の外壁面で全反射して撮像レンズ２０４１に入射し、センサ基板２０４２の画像センサ２０で受光される。
図２１に示すような全反射の光学系を用いた場合、実施の形態１〜５の撮像ユニット１０１の光学系と比較して、取得される撮像画像が反転する。図２２は、変形例３の光学系による撮像画像の一例を示す図である。図２２の例からわかるように、実施の形態４における図１９に示した例の撮像画像を反転したものとなっている。すなわち、雨滴が付着したところが暗くなり、雨滴がついていないところが明るくなる。
実施の形態１〜５の撮像ユニット１０１の光学系では、雨量が多いほど処理結果の値も大きくなるが、全反射を用いた本変形例の光学系では反対に、雨量が多いほど処理結果の値が小さくなる。ただし、撮像画像の解析処理については実施の形態１〜５の処理と同様に行われる。
また、本変形例の雨量検出部の処理結果である雨量を、ワイパー制御などでより扱いやすい形とするため、雨量を閾値と比較して、例えば、以下に基づいて雨量を段階的なレベルで、ワイパー制御ユニット１０６に送出するように、雨量検出部を構成してもよい。
雨量 ワイパー制御ユニットへの出力 意味
０−０．１ ０ 雨なし
０．１−０．３ １ 小雨
０．３−０．５ ２ 雨
０．５−０．７ ３ 大雨
０．７−１．０ ４ 非常に強い雨
これにより、ワイパー制御ユニット１０６で受信するのは、０から４の５段階となり、意味づけがされた扱いやすい情報となる。また、そのままの雨量の値を伝達する場合と比較して、データ量も少なくなり効率的なものとなる。
上記実施の形態の車載機器制御システムで実行される各処理はハードウェアで実現することができる他、プログラムで実現することもできる。この場合、上記実施の形態の車載機器制御システムで実行される各処理プログラムは、ＲＯＭ等に予め組み込まれて提供される。
上記実施の形態の車載機器制御システムで実行される各処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
さらに、上記実施の形態の車載機器制御システムで実行される各処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上記実施の形態の車載機器制御システムで実行される各処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
上記実施の形態の車載機器制御システムで実行される各処理プログラムは、上述した各部または各ユニットを含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭから各処理プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部または各ユニットが主記憶装置上に生成されるようになっている。
１００ 自車両
１０１ 撮像ユニット
１０２ 画像解析ユニット
１０３ ヘッドランプ制御ユニット
１０４ ヘッドランプ
１０５ フロントガラス
１０６ ワイパー制御ユニット
１０７ ワイパー
１０８ 車両走行制御ユニット
２００ 撮像装置
２０１ 撮像ケース
２０２ 光源
２０３ 雨滴
２０４ 撮像レンズ
２０５ 光学フィルタ
２０６ 画像センサ
２０６Ａ フォトダイオード（受光素子）
２１１ 雨滴検出用フィルタ無領域
２１２ 赤外光透過フィルタ領域（雨滴検出用フィルタ有領域）
２１３ 車両検出用画像領域
２１４ 雨滴検出用画像領域
２２１ 基板
２２２ 偏光フィルタ層
２２３ ＳＯＧ
特開２００５−１９５５６６号公報

Claims (24)

  1. ガラスに対して光を照射する光源と、
    前記光源から照射された光の前記ガラスからの反射光を含む撮像領域からの光を撮像する撮像部と、
    前記撮像領域の一部からの光を入射して、前記ガラスに付着した物体の検知のための物体検知用フィルタと、
    前記撮像領域のうち前記物体検知用フィルタが存在しない第１領域を撮像するための第１露光量と、前記第１露光量と異なる露光量であって、前記撮像領域のうち前記物体検知用フィルタが存在する第２領域を撮像するための第２露光量とを決定する露光制御部と、
    前記撮像部で撮像された撮像画像を解析する画像解析部と、を備え、
    前記撮像部は、前記第１露光量での前記撮像領域の撮像と、決定された前記第２露光量での前記撮像領域の撮像とを切り換えること、
    を特徴とする画像処理装置。
  2. 前記露光制御部は、前記第１露光量を、前記第１領域の光量に基づいて決定すること、
    を特徴とする請求項１に記載の画像処理装置。
  3. 前記露光制御部は、前記第２露光量を、前記光源の発光強度に基づいて決定すること、
    を特徴とする請求項１に記載の画像処理装置。
  4. 前記撮像部は、前記第１露光量による撮像を所定の第１回数ごとに連続して行い、前記第２露光量による撮像を所定の第２回数ごとに連続して行うことを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
  5. 前記第２回数は、前記第１回数より少ないことを特徴とする請求項４に記載の画像処理装置。
  6. 前記画像解析部は、さらに、前記撮像画像を解析して前記ガラス上の物体を検出し、
    前記撮像部は、前記物体が検出された場合に、前記第１回数に対する前記第２回数の割合を増加することを特徴とする請求項４または５に記載の画像処理装置。
  7. 前記物体は雨滴であり、
    前記画像処理装置は、
    前記ガラス上の前記雨滴を除去するワイパーと、
    前記ワイパーの駆動を制御するワイパー制御部と、をさらに備え、
    前記撮像部は、前記ワイパーの駆動に同期して、前記第２露光量での撮像を行うことを特徴とする請求項６に記載の画像処理装置。
  8. 前記撮像部は、前記撮像部で受光した光量に基づいて晴天か否かを判断し、晴天である場合には、前記第１回数に対する前記第２回数の割合を減少することを特徴とする請求項６または７に記載の画像処理装置。
  9. 前記撮像部で受光した光量に基づいて前記光源の発光強度を変更する光源制御部
    をさらに備えたことを特徴とする請求項４〜７のいずれか一つに記載の画像処理装置。
  10. 前記撮像画像の画素値の分散に関する値に基づいて雨量を算出する雨量算出部
    をさらに備えたことを特徴とする請求項７〜９のいずれか一つに記載の画像処理装置。
  11. 前記雨量算出部は、さらに、所定の閾値以下の前記撮像画像の輝度値を除いて前記分散に関する値を求め、前記分散に関する値に基づいて雨量を算出することを特徴とする請求項１０に記載の画像処理装置。
  12. 前記光源からの前記光の照射を制御する光源制御部をさらに備え、
    前記撮像部は、前記第２領域の撮像において、前記光源から前記光を照射しない消灯状態での第１撮像と、前記光源から前記光を照射した点灯状態での第２撮像とを切り替えて行うことを特徴とする請求項６に記載の画像処理装置。
  13. 前記撮像部は、前記第１撮像と、前記第２撮像とを連続して交互に行うことを特徴とする請求項１２に記載の画像処理装置。
  14. 前記撮像部は、前記第１撮像と前記第２撮像とを、同一の露光量である前記第２露光量で行うことを特徴とする請求項１２または１３に記載の画像処理装置。
  15. 前記物体は雨滴であり、
    前記画像処理装置は、
    前記第２撮像により得られる第２撮像画像の画素値から、前記第１撮像により得られる第１撮像画像の画素値を減算し、減算した値に基づいて雨量を検出する雨量検出部、
    をさらに備えたことを特徴とする請求項１２〜１４のいずれか一つに記載の画像処理装置。
  16. 前記雨量検出部は、画素ごとに、前記第２撮像画像の画素値から前記第１撮像画像の画素値を減算することを特徴とする請求項１５に記載の画像処理装置。
  17. 前記雨量検出部は、前記第２撮像画像の画素の画素値の総和から、前記第１撮像画像の画素の画素値の総和を減算し、減算した総和値に基づいて雨量を検出することを特徴とする請求項１５に記載の画像処理装置。
  18. 前記雨量検出部は、前記減算した総和値に非線形特性を付与した値に基づいて、前記雨量を検出することを特徴とする請求項１７に記載の画像処理装置。
  19. 前記雨量検出部は、画素ごとに前記第２撮像画像の画素値から前記第１撮像画像の画素値を減算した値に非線形特性を付与した値の総和を求め、前記総和に基づいて前記雨量を検出することを特徴とする請求項１６に記載の画像処理装置。
  20. 前記光源から照射された光を前記ガラスで全反射させて前記撮像部に反射光を導入させる光学素子、
    をさらに備えたことを特徴とする請求項１〜１９のいずれか一つに記載の画像処理装置。
  21. 前記雨量検出部は、算出した雨量を、所定の閾値と比較して、段階的なレベルに振り分けて出力することを特徴とする請求項１５〜２０のいずれか一つに記載の画像処理装置。
  22. 画像処理装置で実行される撮像方法であって、
    前記画像処理装置は、
    ガラスに対して光を照射する光源と、
    撮像領域の一部からの光を入射して、前記ガラスに付着した物体の検知のための物体検知用フィルタと、を備え、
    前記光源から照射された光の前記ガラスからの反射光を含む撮像領域からの光を撮像する撮像ステップと、
    前記撮像領域のうち前記物体検知用フィルタが存在しない第１領域を撮像するための第１露光量と、前記第１露光量と異なる露光量であって、前記撮像領域のうち前記物体検知用フィルタが存在する第２領域を撮像するための第２露光量とを決定する露光制御ステップと、
    前記撮像ステップで撮像された撮像画像を解析する画像解析ステップと、を含み、
    前記撮像ステップは、前記第１露光量での前記撮像領域の撮像と、決定された前記第２露光量での前記撮像領域の撮像とを切り換えること、
    を特徴とする撮像方法。
  23. コンピュータに実行させるためのプログラムであって、
    前記コンピュータは、
    ガラスに対して光を照射する光源と、
    撮像領域の一部からの光を入射して、前記ガラスに付着した物体の検知のための物体検知用フィルタと、を備え、
    前記光源から照射された光の前記ガラスからの反射光を含む撮像領域からの光を撮像する撮像ステップと、
    前記撮像領域のうち前記物体検知用フィルタが存在しない第１領域を撮像するための第１露光量と、前記第１露光量と異なる露光量であって、前記撮像領域のうち前記物体検知用フィルタが存在する第２領域を撮像するための第２露光量とを決定する露光制御ステップと、
    前記撮像ステップで撮像された撮像画像を解析する画像解析ステップと、を前記コンピュータに実行させ、
    前記撮像ステップは、前記第１露光量での前記撮像領域の撮像と、決定された前記第２露光量での前記撮像領域の撮像とを切り換えること、
    を特徴とするプログラム。
  24. 車両であって、
    ガラスに対して光を照射する光源と、
    前記光源から照射された光の前記ガラスからの反射光を含む撮像領域からの光を撮像する撮像部と、
    前記撮像領域の一部からの光を入射して、前記ガラスに付着した物体の検知のための物体検知用フィルタと、
    前記撮像領域のうち前記物体検知用フィルタが存在しない第１領域を撮像するための第１露光量と、前記第１露光量と異なる露光量であって、前記撮像領域のうち前記物体検知用フィルタが存在する第２領域を撮像するための第２露光量とを決定する露光制御部と、
    前記撮像部で撮像された撮像画像を解析する画像解析部と、
    前記撮像画像の解析結果に基づいて、前記車両の動作を制御する制御部と、を備え、
    前記撮像部は、前記第１露光量での前記撮像領域の撮像と、決定された前記第２露光量での前記撮像領域の撮像とを切り換えること、
    を特徴とする車両。
JP2012202111A 2011-11-02 2012-09-13 画像処理装置、撮像方法、プログラムおよび車両 Expired - Fee Related JP5561333B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2012202111A JP5561333B2 (ja) 2011-11-02 2012-09-13 画像処理装置、撮像方法、プログラムおよび車両
CN201280053482.6A CN104024827B (zh) 2011-11-02 2012-11-01 图像处理装置、图像捕捉方法和车辆
PCT/JP2012/078907 WO2013065870A1 (en) 2011-11-02 2012-11-01 Image processing apparatus, image-capturing method, and vehicle
US14/354,210 US9616852B2 (en) 2011-11-02 2012-11-01 Image processing apparatus, image-capturing method, and vehicle
BR112014010711A BR112014010711A2 (pt) 2011-11-02 2012-11-01 aparelho de processamento de imagem, método de captura de imagem e veículo
EP12844757.0A EP2773944B1 (en) 2011-11-02 2012-11-01 Image processing apparatus, image-capturing method, and vehicle

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011241698 2011-11-02
JP2011241698 2011-11-02
JP2012202111A JP5561333B2 (ja) 2011-11-02 2012-09-13 画像処理装置、撮像方法、プログラムおよび車両

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014121111A Division JP6098575B2 (ja) 2011-11-02 2014-06-12 撮像ユニット、画像処理装置および車両

Publications (2)

Publication Number Publication Date
JP2013117520A JP2013117520A (ja) 2013-06-13
JP5561333B2 true JP5561333B2 (ja) 2014-07-30

Family

ID=48192203

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012202111A Expired - Fee Related JP5561333B2 (ja) 2011-11-02 2012-09-13 画像処理装置、撮像方法、プログラムおよび車両

Country Status (6)

Country Link
US (1) US9616852B2 (ja)
EP (1) EP2773944B1 (ja)
JP (1) JP5561333B2 (ja)
CN (1) CN104024827B (ja)
BR (1) BR112014010711A2 (ja)
WO (1) WO2013065870A1 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5944405B2 (ja) 2010-11-30 2016-07-05 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ カメラ及び照明による窓ガラス上の雨滴の検出
DE102011103302A1 (de) 2011-06-03 2012-12-06 Conti Temic Microelectronic Gmbh Kamerasystem für ein Fahrzeug
JP5761143B2 (ja) * 2011-11-02 2015-08-12 株式会社リコー 撮像ユニット、撮像ユニットを搭載した車両
JP5633503B2 (ja) 2011-11-29 2014-12-03 株式会社リコー 画像処理システム、画像処理システムを備えた車両、画像処理方法及びプログラム
DE102011056051A1 (de) 2011-12-05 2013-06-06 Conti Temic Microelectronic Gmbh Verfahren zur Auswertung von Bilddaten einer Fahrzeugkamera unter Berücksichtigung von Informationen über Regen
DE102012103873A1 (de) * 2012-05-03 2013-11-21 Conti Temic Microelectronic Gmbh Detektion von Regentropfen auf einer Scheibe mittels einer Kamera und Beleuchtung
US9654742B2 (en) * 2012-11-30 2017-05-16 Safety Management Services, Inc. System and method of automatically determining material reaction or sensitivity using images
JP2015028427A (ja) * 2013-07-30 2015-02-12 株式会社リコー 付着物検出装置、移動体機器制御システム、移動体及び付着物検出用プログラム
JP2015052495A (ja) 2013-09-06 2015-03-19 株式会社リコー 導光体、物体検出装置
JP6380843B2 (ja) 2013-12-19 2018-08-29 株式会社リコー 物体検出装置及びこれを備えた移動体機器制御システム並びに物体検出用プログラム
JP6555569B2 (ja) * 2014-03-12 2019-08-07 株式会社リコー 画像処理装置、移動体機器制御システム及び画像処理用プログラム
US9426377B2 (en) 2014-10-03 2016-08-23 Ricoh Company, Ltd. Image capturing apparatus, image capturing method, storage medium, and device control system for controlling vehicle-mounted devices
JP6536946B2 (ja) * 2014-10-03 2019-07-03 株式会社リコー 撮像装置、撮像方法、プログラムおよび移動体機器制御システム
US9726604B2 (en) 2014-11-12 2017-08-08 Ricoh Company, Ltd. Adhering detection apparatus, adhering substance detection method, storage medium, and device control system for controlling vehicle-mounted devices
JP6468482B2 (ja) * 2014-11-26 2019-02-13 株式会社リコー 撮像装置、物体検出装置及び移動体機器制御システム
CN108605102B (zh) * 2015-12-09 2021-11-23 前视红外系统股份公司 一种改进图像质量的方法和热成像装置
US10823975B2 (en) * 2016-04-18 2020-11-03 Semiconductor Components Industries Methods and apparatus for a polarizing image sensor
WO2018041109A1 (en) * 2016-08-31 2018-03-08 Zhejiang Dahua Technology Co., Ltd. Deivces and methods for detecting and removing vapor
US10427645B2 (en) * 2016-10-06 2019-10-01 Ford Global Technologies, Llc Multi-sensor precipitation-classification apparatus and method
CN106494303B (zh) * 2016-10-13 2018-10-02 浙江亚太机电股份有限公司 车用多功能摄像头系统
CN106427902A (zh) * 2016-10-26 2017-02-22 江苏金米智能科技有限责任公司 一种基于图像检测的车辆雨刮器自动控制系统
EP3563348B1 (en) * 2016-12-29 2021-05-05 YARA International ASA Handheld device and method for determining a plant status
US9953210B1 (en) 2017-05-30 2018-04-24 Gatekeeper Inc. Apparatus, systems and methods for improved facial detection and recognition in vehicle inspection security systems
JP6656214B2 (ja) * 2017-09-04 2020-03-04 キヤノン株式会社 飛行体、移動装置、制御方法、プログラム、及び記憶媒体
US11538257B2 (en) 2017-12-08 2022-12-27 Gatekeeper Inc. Detection, counting and identification of occupants in vehicles
CN108391036B (zh) * 2018-03-28 2023-07-11 东风商用车有限公司 一种可检测感知功能降级的车载摄像装置及其检测方法
US11062928B2 (en) * 2019-10-07 2021-07-13 Kla Corporation Process optimization using design of experiments and response surface models
US10867193B1 (en) 2019-07-10 2020-12-15 Gatekeeper Security, Inc. Imaging systems for facial detection, license plate reading, vehicle overview and vehicle make, model, and color detection
CN110562201A (zh) * 2019-09-19 2019-12-13 广州小鹏汽车科技有限公司 雨刮器的控制方法、控制装置和车辆
US11196965B2 (en) 2019-10-25 2021-12-07 Gatekeeper Security, Inc. Image artifact mitigation in scanners for entry control systems
CN113252557B (zh) * 2021-04-08 2023-02-03 成都小淞科技有限公司 条纹结构光喷涂瑕疵检出光源装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6243543A (ja) * 1985-08-21 1987-02-25 Honda Motor Co Ltd ウインドガラスの水滴検出装置
JP2007127657A (ja) * 1995-05-23 2007-05-24 Olympus Corp 撮像装置、撮像方法、色分類装置、色分類方法および色むら検査装置
DE19803694C1 (de) 1998-01-30 1999-04-22 Kostal Leopold Gmbh & Co Kg Verfahren zum Detektieren von auf einer lichtdurchlässigen Scheibe befindlichen Objekten sowie Vorrichtung
JP3641250B2 (ja) * 2002-04-23 2005-04-20 三菱電機株式会社 透光体表面の異物検出装置
JP4326999B2 (ja) 2003-08-12 2009-09-09 株式会社日立製作所 画像処理システム
JP4327024B2 (ja) * 2003-08-12 2009-09-09 株式会社日立製作所 画像処理システム
JP4262072B2 (ja) * 2003-12-05 2009-05-13 株式会社日立製作所 自動車用補助機器制御装置
JP2006005621A (ja) 2004-06-17 2006-01-05 Olympus Corp 撮像装置
JP4984915B2 (ja) 2006-03-27 2012-07-25 セイコーエプソン株式会社 撮像装置、撮像システム及び撮像方法
CN100574376C (zh) * 2006-03-27 2009-12-23 精工爱普生株式会社 摄像装置、摄像系统以及摄像方法
JP4930316B2 (ja) 2007-10-05 2012-05-16 株式会社デンソー 雨滴量検出装置およびそれを用いたワイパ制御装置、ヘッドライト制御装置
DE102009000003A1 (de) 2009-01-02 2010-07-08 Robert Bosch Gmbh Kameraanordnung zur Erfassung eines Scheibenzustandes einer Fahrzeugscheibe
JP5429622B2 (ja) 2009-02-16 2014-02-26 株式会社リコー 液滴認識装置と雨滴認識装置と自動ワイパー装置
US8466960B2 (en) 2009-02-16 2013-06-18 Ricoh Company, Ltd. Liquid droplet recognition apparatus, raindrop recognition apparatus, and on-vehicle monitoring apparatus
JP5887840B2 (ja) 2011-11-02 2016-03-16 株式会社リコー 画像処理装置

Also Published As

Publication number Publication date
CN104024827A (zh) 2014-09-03
JP2013117520A (ja) 2013-06-13
CN104024827B (zh) 2016-05-25
EP2773944A4 (en) 2015-01-07
EP2773944A1 (en) 2014-09-10
US20140321709A1 (en) 2014-10-30
WO2013065870A1 (en) 2013-05-10
BR112014010711A2 (pt) 2017-04-18
EP2773944B1 (en) 2017-08-30
US9616852B2 (en) 2017-04-11

Similar Documents

Publication Publication Date Title
JP5561333B2 (ja) 画像処理装置、撮像方法、プログラムおよび車両
JP6380843B2 (ja) 物体検出装置及びこれを備えた移動体機器制御システム並びに物体検出用プログラム
JP5633503B2 (ja) 画像処理システム、画像処理システムを備えた車両、画像処理方法及びプログラム
JP5846485B2 (ja) 付着物検出装置及び付着物検出方法
JP5761143B2 (ja) 撮像ユニット、撮像ユニットを搭載した車両
JP2013190416A (ja) 付着物検出装置及びこれを用いた車載機器制御装置
JP2013029451A (ja) 付着物検出装置及び付着物検出方法
JP2005195569A (ja) 画像処理システム
JP2013031053A (ja) 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ及びその製造方法
JP6555569B2 (ja) 画像処理装置、移動体機器制御システム及び画像処理用プログラム
JP5862207B2 (ja) 画像処理システム
JP5887840B2 (ja) 画像処理装置
JP2013095315A (ja) 撮像装置内蔵ルームミラー装置及びそれを備えた車両
JP6098575B2 (ja) 撮像ユニット、画像処理装置および車両
JP2013097223A (ja) 撮像方法及び撮像ユニット
JP6566308B2 (ja) 付着物検出装置、移動体機器制御システム、付着物検出用プログラム及び付着物検出方法
JP6536946B2 (ja) 撮像装置、撮像方法、プログラムおよび移動体機器制御システム
JP5845820B2 (ja) 撮像ユニット及びそれを備えた車両
JP6111514B2 (ja) 画像処理システム及びそれを備えた車両
JP5891723B2 (ja) 撮像方法および撮像ユニット
JP5967165B2 (ja) 画像処理システム、画像処理システムを備えたワイパー制御システム及び車両、並びにプログラム
JP5879937B2 (ja) 撮像ユニット
JP2015169567A (ja) 付着物検出装置、移動体機器制御システム及び付着物検出用プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140416

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20140416

TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20140502

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140513

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140526

R151 Written notification of patent or utility model registration

Ref document number: 5561333

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees