JP5656131B2 - 撮像ユニット及びその設置方法 - Google Patents

撮像ユニット及びその設置方法 Download PDF

Info

Publication number
JP5656131B2
JP5656131B2 JP2012276442A JP2012276442A JP5656131B2 JP 5656131 B2 JP5656131 B2 JP 5656131B2 JP 2012276442 A JP2012276442 A JP 2012276442A JP 2012276442 A JP2012276442 A JP 2012276442A JP 5656131 B2 JP5656131 B2 JP 5656131B2
Authority
JP
Japan
Prior art keywords
light
imaging
image
wall surface
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012276442A
Other languages
English (en)
Other versions
JP2013190417A (ja
JP2013190417A5 (ja
Inventor
伊藤 泉
泉 伊藤
平井 秀明
秀明 平井
小林 正典
正典 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2012276442A priority Critical patent/JP5656131B2/ja
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201380009292.9A priority patent/CN104136910B/zh
Priority to US14/372,061 priority patent/US20150054954A1/en
Priority to PCT/JP2013/053783 priority patent/WO2013122242A1/en
Priority to BR112014020693A priority patent/BR112014020693A2/pt
Priority to EP13749832.5A priority patent/EP2815228B1/en
Publication of JP2013190417A publication Critical patent/JP2013190417A/ja
Publication of JP2013190417A5 publication Critical patent/JP2013190417A5/ja
Application granted granted Critical
Publication of JP5656131B2 publication Critical patent/JP5656131B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/08Mirrors
    • G02B5/0816Multilayer mirrors, i.e. having two or more reflecting layers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21Polarisation-affecting properties
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/04Wipers or the like, e.g. scrapers
    • B60S1/06Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833Optical rain sensor
    • B60S1/0844Optical rain sensor including a camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0026Windows, e.g. windscreen
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/43Refractivity; Phase-affecting properties, e.g. optical path length by measuring critical angle
    • G01N2021/435Sensing drops on the contact surface

Description

本発明は、透明板状部材を介して予め決められた撮像領域の画像を撮像する撮像ユニット及びその設置方法に関するものである。
特許文献1には、車両、船舶、航空機等に用いられるガラス或いは一般建造物の窓ガラス等の各種のウィンドウガラス(透明板状部材)の表面に付着する雨滴等の液滴及び曇りや塵などの異物(付着物)を検出する画像処理システム(付着物検出装置)が開示されている。この画像処理システムでは、自動車の室内に設置された光源から自車のフロントガラス(透明板状部材)に光を照射し、フロントガラスに照射した光の反射光を撮像素子で受光して画像を撮像する。そして、撮像した画像を解析してフロントガラスに雨滴等の異物が付着しているか否を判別する。具体的には、光源を点灯したときの撮像画像の画像信号に対し、ラプラシアンフィルタ等を用いてエッジ検出処理を行い、雨滴の画像領域と雨滴でない画像領域の境界を強調したエッジ画像を作成する。そして、このエッジ画像に対して一般化ハフ変換を行って円形である画像領域を検出し、検出した円形領域の個数を数え、その個数を雨量に変換して雨量を求める。
本出願人は、特願2011−240848号(以下「先願」という。)において、フロントガラスを介して自車両前方領域を撮像領域とした画像を撮像するとともに、フロントガラスの外壁面に付着する雨滴の画像を撮像できる撮像ユニットを提案した。以下、この先願に係る撮像ユニットについて、図面を用いて説明する。
図41(a)は、フロントガラスの傾斜角度が20°である場合において、光源からの光が雨滴Rdで反射して撮像部200に入射する光路を示す説明図である。図41(b)は、撮像画像データの画像例を示す説明図である。
先願の撮像ユニットは、撮像部200と光源202とから構成され、自車両のフロントガラス105の内壁面側に設置される。撮像部200は、予め決められた撮像領域(車両前方領域)を撮像できるように、撮像部200の撮像方向(撮像レンズの光軸方向)Pが特定の方向(水平方向を基準とした方向)を向くように角度調整されて、例えば自車両の室内天井部に固定される。これにより、図41(b)に示すように、車両前方領域が車両検出用画像領域213内に適切に映し出される。
一方、光源202は、図41(a)に示すように、照射する光がフロントガラス105の外壁面に付着する雨滴Rd(詳しくは雨滴Rdと空気との界面)で反射してその反射光(以下「雨滴反射光」という。)が雨滴検出用画像領域214内に映し出されるように角度調整されて、例えば自車両のフロントガラス105の内壁面に固定される。これにより、図41(b)に示すように、フロントガラス105の外壁面に付着した雨滴Rdの画像が雨滴検出用画像領域214内に適切に映し出される。
フロントガラス105の傾斜角度θgが予め決まっている場合、撮像部200と光源202をユニット化し、撮像部200に対する光源202の相対位置や光源202の光照射方向を固定しておくことで、撮像ユニットの設置作業は、その撮像部200の撮像方向Pが特定の方向を向くように撮像ユニットを取り付けるだけの簡単な作業で済む。しかしながら、フロントガラスの傾斜角度θgは車両の種類によって違いがあるため、上記のように撮像部200と光源202をユニット化すると、限られた車両にしか対応することができないという不具合が発生する。
この不具合について、以下詳しく説明する。
図42は、フロントガラスの傾斜角度が20°であるときに最適化されている撮像ユニットを、傾斜角度が20°であるフロントガラス105に対して設置した場合における、光源からの光がフロントガラス105の外壁面で反射する光路を示す説明図である。
図43は、フロントガラスの傾斜角度が20°であるときに最適化されている撮像ユニットを、傾斜角度が35°であるフロントガラス105に対して設置した場合における、光源からの光がフロントガラス105の外壁面で反射する光路を示す説明図である。
光源202から照射される光の一部はフロントガラス105の内壁面や外壁面で反射する。図42は、フロントガラス105の外壁面で反射する例である。このようにフロントガラス105の外壁面で反射した正反射光が雨滴検出用画像領域214に映し出されると、このような光強度の強い正反射光が外乱光となることで、雨滴Rdの検出精度が悪化する。そのため、光源202は、図41(a)に示したように雨滴Rdで反射した雨滴反射光が雨滴検出用画像領域214内に映し出され、かつ、フロントガラス105の外壁面で反射した正反射光は雨滴検出用画像領域214に映し出されないように、角度調整することが必要となる。
ここで、フロントガラス105の傾斜角度が20°である車両に対応するように角度調整された撮像部200及び光源202が固定支持された撮像ユニットを考える。この撮像ユニットは、傾斜角度が20°であるフロントガラス105であれば、撮像部200の撮像方向が特定の方向を向くように角度調整して設置するという簡単な設置作業により、図42に示すように、フロントガラス105の外壁面で反射した正反射光が撮像部200へ入射しないように配置される。よって、撮像部200の車両検出用画像領域213で車両前方の画像を撮像しつつ、雨滴検出用画像領域214で雨滴の画像を、当該正反射光によるノイズを含むことなく、撮像することができる。しかしながら、この撮像ユニットをフロントガラス105の傾斜角度が20°よりも大きい車両に設置した場合、光源202から照射される光がフロントガラス105の内壁面に入射する入射角は、フロントガラス105の傾斜角度が20°である場合の入射角よりも大きくなる。その結果、フロントガラス105の外壁面で反射する正反射光の向きは図42に示す場合よりも上側へずれ、当該正反射光が撮像部200に入射してしまう。
次に、光源202をフロントガラス105の内壁面に固定するものであって、光源202を固定した状態で撮像部200の撮像方向Pを調整が可能な撮像ユニットを考える。この撮像ユニットは、撮像部200の撮像方向が特定の方向を向くように角度調整して設置する作業と、光源202をフロントガラス105の内壁面に固定する作業という簡単な設置作業により、図42に示すように、傾斜角度が20°であるフロントガラス105において、その外壁面で反射した正反射光が撮像部200へ入射しないように配置される。この撮像ユニットにおいては、フロントガラス105の傾斜角度θgが20°よりも大きい車両に設置した場合でも、光源202から照射される光がフロントガラス105の内壁面に入射する入射角θは、フロントガラス105の傾斜角度θgが20°である場合の入射角θと同じとなる。
しかしながら、この撮像ユニットは、光源202の光照射方向(水平方向を基準とした方向)がフロントガラス105の傾斜角度θgに応じて変化することになる。そのため、フロントガラス105の傾斜角度θgが異なれば、入射角θが同じでも、フロントガラス105の外壁面での正反射光の方向(水平方向を基準とした方向)がずれることになる。よって、例えば、この撮像ユニットをフロントガラス105の傾斜角度が35°である車両に設置した場合、図43に示すように、フロントガラス105の傾斜角度の差(15°)の分だけ、フロントガラス105の外壁面で反射する正反射光の向きは図42に示す場合よりも上側へずれる。その結果、当該正反射光が撮像部200に入射してしまう。
図44は、フロントガラス105の外壁面で正反射した正反射光が撮像部200に入射しない場合の雨滴反射光とフロントガラスでの反射光との受光量を比較したグラフである。
図45は、フロントガラス105の外壁面で正反射した正反射光が撮像部200に入射した場合の雨滴反射光とフロントガラスでの反射光との受光量を比較したグラフである。
フロントガラス105の外壁面で正反射した正反射光が撮像部200に入射しない場合、図44に示すように、フロントガラス105の内壁面や外壁面で反射した拡散反射光の一部が受光されるだけであり、その受光量は雨滴反射光の受光量に対して十分に少ないものとなっている。よって、この場合、雨滴を検出する際に高いS/N比を確保することができる。一方、フロントガラス105の外壁面で正反射した正反射光が撮像部200に入射する場合、図45に示すように、フロントガラス105の外壁面で反射した正反射光という強い光強度をもった外乱光が受光される。この受光量は雨滴反射光の受光量に対して多いものとなっているので、雨滴を検出する際に高いS/N比を確保することができない。
フロントガラス105の傾斜角度θgが20°から多少外れた角度であっても、フロントガラス105で反射した正反射光が撮像部200へ入射しない範囲であれば、高いS/N比を確保できるので、雨滴の検出精度が悪化することはない。しかしながら、光源202から照射される光は実際には広がりをもって照射される場合が多いため、フロントガラス105で反射した正反射光の全体が撮像部200へ入射しないフロントガラス105の傾斜角度範囲は非常に狭い。そのため、上述したような設置作業が簡易な撮像ユニットを、広いフロントガラスの傾斜角度範囲に対応させることはできないという問題があった。一方、撮像部200の撮像方向Pを特定の方向へ向くように角度調整するだけでなく、光源202の位置や光照射方向も調整するようにすれば、広いフロントガラスの傾斜角度範囲に対応させることも可能であるが、この場合、光源202の位置や光照射方向を調整する作業が必要となり、撮像ユニットの設置作業の簡略化を実現できないといった問題が生じる。
本発明は、以上の問題に鑑みなされたものであり、その目的とするところは、フロントガラス等の透明板状部材を介して撮像領域の画像を撮像するとともに、その透明板状部材の外壁面に付着する雨滴等の付着物の画像も撮像できる撮像ユニットを、広い傾斜角度範囲の透明板状部材に対し、その透明板状部材の内壁面や外壁面での正反射光が撮像手段に入射しないように適切に設置でき、その設置作業も簡単な撮像ユニット及びその設置方法を提供することである。
上記目的を達成するために、本発明は、予め決められた撮像領域から透明板状部材の外壁面に入射して該透明板状部材を透過した透過光を受光して該撮像領域の画像を撮像する撮像手段と、光を照射する光源とが、該透明板状部材の内壁面側に配置されるとともに、該光源からの光が該透明板状部材の外壁面に付着する付着物で反射したときの反射光が上記撮像手段で受光されるように構成され、上記撮像領域の画像とともに該付着物の画像を撮像する撮像ユニットにおいて、上記光源から照射された光を反射させる反射光学部材を固定支持し、上記透明板状部材の内壁面上に、該反射光学部材の反射面が該透明板状部材に対して固定されるように固定配置される反射光学モジュールと、上記光源及び上記撮像手段を固定支持し、該撮像手段の撮像方向が特定の方向を向くように上記透明板状部材の内壁面に対して固定配置される光源・撮像モジュールと、上記反射光学モジュールと上記光源・撮像モジュールとの相対位置を位置決めする相対位置決め機構とを有し、上記撮像手段は、受光素子が2次元配置された撮像画素アレイで構成された画像センサにより、上記透明板状部材を透過した撮像領域からの透過光と、該透明板状部材の外壁面に付着する付着物で反射した正反射光とを、互いに異なるセンサ領域で受光するものであり、上記透明板状部材の内壁面の傾斜角度が所定角度範囲内のいずれの角度であっても、上記透明板状部材の内壁面又は外壁面で反射する正反射光が、上記付着物で反射した反射光を受光するセンサ領域に入射しないように、構成されていることを特徴とする。
本発明においては、反射光学部材が固定支持された反射光学モジュールを透明板状部材の内壁面に固定配置し、かつ、光源及び撮像手段が固定支持された光源・撮像モジュールを撮像手段の撮像方向が特定の方向を向くように固定配置するという設置作業を行うことで、当該撮像ユニットの設置作業を完了することができる。このとき、光源・撮像モジュールと反射光学モジュールとが相対位置決め機構により相対位置決めされるので、上記の設置作業を行うことにより、これらのモジュール間の相対位置が固定され、これらのモジュールに固定支持されている光源、反射光学部材、撮像手段の相対位置や、光源から反射光学部材を経て透明板状部材へ入射する光の光路も、固定される。
仮に、このような相対位置決め機構が設けられていない場合、これらのモジュールを固定配置する際に、これらのモジュール間の相対位置を調整しながら、これらのモジュールを個別に固定する必要が生じるが、本発明によれば、このようなモジュール間の相対位置の調整が相対位置決め機構によって行われるので、これらのモジュールの調整、固定作業が容易になる。また、本発明によれば、傾斜角度が異なる透明板状部材に対して当該撮像ユニットを設置する際、撮像手段の撮像方向を特定の方向に向けるという調整作業は必要であるものの、光源の位置や光照射方向の調整や反射光学部材の位置や向きの調整なども不要である。
また、本発明においては、当該撮像ユニットが設置される透明板状部材の傾斜角度が異なる場合でも、撮像手段の撮像方向は一定の方向(上記特定の方向)に向かうように調整される。そのため、この撮像手段とともに撮像・光源ユニットに固定支持される光源の光照射方向も、透明板状部材の傾斜角度に関係なく、一定方向を向くことになる。一方、本発明では、反射光学モジュールの反射光学部材が透明板状部材に対して固定配置されるので、光源の光照射方向に対する反射光学部材の反射面の向きは透明板状部材の傾斜角度に応じて変わることになる。よって、当該撮像ユニットが設置される透明板状部材の傾斜角度が異なる場合、光源から照射される光の反射光学部材への入射角が異なるものとなり、これにより反射光学部材で反射した光の透明板状部材の内壁面への入射角も異なるものとなる。ただし、本発明によれば、透明板状部材の傾斜角度が異なる場合でも、反射光学部材で反射した光の方向(水平方向に対する方向)、すなわち、透明板状部材の内壁面に入射する光の入射方向(水平方向に対する方向)は、一定方向を向くようにすることが可能である。その結果、透明板状部材の内壁面や外壁面で反射した正反射光が透明板状部材の内壁面から出射されるときの出射方向(水平方向に対する方向)は、透明板状部材の傾斜角度に関係なく、一定とすることが可能である。したがって、透明板状部材の内壁面や外壁面で反射した正反射光が透明板状部材の内壁面から出射されるときの出射方向が透明板状部材の傾斜角度の違いによって変化する構成と比較して、透明板状部材の傾斜角度の違いによる当該正反射光の振れ幅(撮像方向に対して直交する仮想面上を通る当該正反射光の位置の変化量)を狭くすることが可能である。この場合、当該撮像ユニットが設置される透明板状部材の傾斜角度範囲が広くても、透明板状部材の内壁面や外壁面で反射した正反射光が撮像手段に入射しにくくなる。
ただし、本発明においては、反射光学部材で反射した光が透明板状部材の内壁面へ入射する入射地点が透明板状部材の傾斜角度の違いによって変化する場合がある。この場合には、この入射地点のズレによって、透明板状部材の内壁面や外壁面での正反射光の光路が振れる。しかしながら、この場合でも、通常は、入射地点のズレによる当該正反射光の振れ幅よりも、当該正反射光の透明板状部材内壁面からの出射方向が変化することによる当該正反射光の振れ幅の方が大きい。
本発明によれば、当該撮像ユニットを広い傾斜角度範囲の透明板状部材に対して設置する場合に、その設置作業を簡単化できる構成を採用しても、その透明板状部材の内壁面や外壁面での正反射光が撮像手段に入射しないようにすることができるという優れた効果が得られる。
実施形態における車載機器制御システムの概略構成を示す模式図である。 同車載機器制御システムにおける撮像ユニットの概略構成を示す模式図である。 同撮像ユニットにおいて、ミラーモジュールに対する光源・撮像モジュールの固定方法の一例を示す模式図である。 (a)は、傾斜角度が20°であるフロントガラスに対して同撮像ユニットを設置した場合に光源から照射される光の光路を示す説明図である。(b)は、傾斜角度が35°であるフロントガラスに対して同撮像ユニットを設置した場合に光源から照射される光の光路を示す説明図である。 同撮像ユニットの光源の拡散特性の一例を示すグラフである。 同光源の概略構成を示す説明図である。 同撮像ユニットにおける回転連結機構の回転軸の好適な配置例を説明するための説明図である。 実施形態における撮像ユニットの一構造例を示す斜視図である。 同構造例における撮像ユニットを別の角度から見たときの斜視図である。 実施形態における撮像ユニットに設けられる撮像部の概略構成を示す説明図である。 同撮像ユニットの光源の他の構成例を示す説明図である。 同撮像ユニットの光源の更に他の構成例を示す説明図である。 同撮像ユニットの反射ミラーの他の構成例を示す説明図である。 同撮像ユニットの反射ミラーの更に他の構成例を示す説明図である。 同撮像ユニットの反射ミラーの更に他の構成例を示す説明図である。 同撮像ユニットに遮光部材を設けた構成例を示す説明図である。 同撮像ユニットの反射ミラーを小型化した構成例を示す説明図である。 (a)は、フロントガラスの外壁面上の雨滴に撮像レンズの焦点が合っているときの雨滴画像の例を示す説明図である。(b)は、無限遠又は無限遠とフロントガラスとの間に焦点が合っているときの雨滴画像の例を示す説明図である。 雨滴検出用の撮像画像データに適用可能なカットフィルタのフィルタ特性を示すグラフである。 雨滴検出用の撮像画像データに適用可能なバンドパスフィルタのフィルタ特性を示すグラフである。 同撮像部の光学フィルタに設けられる前段フィルタの正面図である。 同撮像部の撮像画像データの画像例を示す説明図である。 雨滴検出用画像領域を撮像画像上部と下部の両方に設けた場合の撮像画像データの画像例を示す説明図である。 雨滴検出用画像領域を撮像画像上部と下部の両方に設けた場合の光学フィルタに設けられる前段フィルタの正面図である。 同撮像部の光学フィルタの前段フィルタにおける赤外光カットフィルタ領域のフィルタ特性を示すグラフである。 同撮像部の光学フィルタと画像センサとを光透過方向に対して直交する方向から見たときの模式拡大図である。 同光学フィルタの偏光フィルタ層と分光フィルタ層の領域分割パターンを示す説明図である。 同光学フィルタの層構成の一例を模式的に示す断面図である。 同光学フィルタの層構成の他の例を模式的に示す断面図である。 図29の光学フィルタにおける前段フィルタの分光フィルタ特性を示すグラフである。 図29の光学フィルタにおける後段フィルタの雨滴検出用フィルタ部220Bに設けられる分光フィルタ層の分光フィルタ特性を示すグラフである。 図29の光学フィルタにおける雨滴検出用フィルタ部220Bを透過する光の分光特性を示すグラフである。 図29の光学フィルタにおける後段フィルタの雨滴検出用フィルタ部220Bに設けられる分光フィルタ層の他の分光フィルタ特性を示すグラフである。 同光学フィルタの車両検出用フィルタ部を透過して画像センサ上の各フォトダイオードで受光される受光量に対応した情報(各撮像画素の情報)の内容を示す説明図である。 (a)は、図34に示す符号A−Aで切断した光学フィルタの車両検出用フィルタ部及び画像センサを模式的に表した断面図である。(b)は、図34に示す符号B−Bで切断した光学フィルタの車両検出用フィルタ部及び画像センサを模式的に表した断面図である。 実施形態における車両検出処理の流れを示すフローチャートである。 変形例1において、光学フィルタを透過して画像センサ上の各撮像画素での受光量に対応した情報(各撮像画素の情報)の内容を示す説明図である。 (a)は、図37に示す符号A−Aで切断した光学フィルタ及び画像センサを模式的に表した断面図である。(b)は、図37に示す符号B−Bで切断した光学フィルタ及び画像センサを模式的に表した断面図である。 変形例2において、光学フィルタを透過して画像センサ上の各撮像画素での受光量に対応した情報(各撮像画素の情報)の内容を示す説明図である。 (a)は、図39に示す符号A−Aで切断した光学フィルタ及び画像センサを模式的に表した断面図である。(b)は、図39に示す符号B−Bで切断した光学フィルタ及び画像センサを模式的に表した断面図である。 (a)は、先願の撮像ユニットを傾斜角度が20°であるフロントガラスに設置した場合において、光源からの光が雨滴で反射して撮像部に入射する光路を示す説明図である。(b)は、同撮像ユニットで撮像した撮像画像データの画像例を示す説明図である。 フロントガラスの傾斜角度が20°であるときに最適化されている撮像ユニットを、傾斜角度が20°であるフロントガラスに対して設置した場合における、光源からの光がフロントガラスの外壁面で反射する光路を示す説明図である。 フロントガラスの傾斜角度が20°であるときに最適化されている撮像ユニットを、傾斜角度が35°であるフロントガラスに対して設置した場合における、光源からの光がフロントガラスの外壁面で反射する光路を示す説明図である。 フロントガラスの外壁面で正反射した正反射光が撮像部に入射しない場合の雨滴反射光とフロントガラスでの反射光との受光量を比較したグラフである。 フロントガラスの外壁面で正反射した正反射光が撮像部に入射した場合の雨滴反射光とフロントガラスでの反射光との受光量を比較したグラフである。
以下、本発明に係る撮像ユニットを、車両システムとしての車載機器制御システムに用いる一実施形態について説明する。
なお、本発明に係る撮像ユニットは、車載機器制御システムに限らず、他のシステムにも適用できる。
図1は、本実施形態における車載機器制御システムの概略構成を示す模式図である。
本車載機器制御システムは、自動車などの自車両100に搭載された撮像手段としての撮像装置で撮像した自車両進行方向前方領域(撮像領域)の撮像画像データを利用して、ヘッドランプの配光制御、ワイパーの駆動制御、その他の車載機器の制御を行うものである。
本実施形態の車載機器制御システムに設けられる撮像ユニット101は、走行する自車両100の進行方向前方領域を撮像領域として撮像するため、例えば、自車両100のフロントガラス(透明板状部材)105のルームミラー(図示せず)付近に設置される。撮像ユニット101の撮像部で撮像された撮像画像データは、画像処理手段としての画像解析ユニット102に入力される。画像解析ユニット102は、撮像部から送信されてくる撮像画像データを解析し、撮像画像データに自車両100の前方に存在する他車両の位置、方角、距離を算出したり、フロントガラス105に付着する雨滴や異物などの付着物を検出したり、撮像領域内に存在する路端箇所や路面上の白線(区画線)等の検出対象物を検出したりする。他車両の検出では、他車両のテールランプを識別することで自車両100と同じ進行方向へ進行する先行車両を検出し、他車両のヘッドランプを識別することで自車両100とは反対方向へ進行する対向車両を検出する。
画像解析ユニット102の算出結果は、ヘッドランプ制御ユニット103に送られる。ヘッドランプ制御ユニット103は、例えば、画像解析ユニット102が算出した距離データから、自車両100の車載機器であるヘッドランプ104を制御する制御信号を生成する。具体的には、例えば、先行車両や対向車両の運転者の目に自車両100のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両100の運転者の視界確保を実現できるように、ヘッドランプ104のハイビームおよびロービームの切り替えを制御したり、ヘッドランプ104の部分的な遮光制御を行ったりする。
画像解析ユニット102の算出結果は、ワイパー制御ユニット106にも送られる。ワイパー制御ユニット106は、ワイパー107を制御して、自車両100のフロントガラス105に付着した雨滴や異物などの付着物を除去する。ワイパー制御ユニット106は、画像解析ユニット102が検出した異物検出結果を受けて、ワイパー107を制御する制御信号を生成する。ワイパー制御ユニット106により生成された制御信号がワイパー107に送られると、自車両100の運転者の視界を確保するべく、ワイパー107を稼動させる。
また、画像解析ユニット102の算出結果は、車両走行制御ユニット108にも送られる。車両走行制御ユニット108は、画像解析ユニット102が検出した路端や白線の検出結果に基づいて、白線や路端によって区画されている車線領域から自車両100が外れている場合等に、自車両100の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。
図2は、撮像ユニット101の概略構成を示す模式図である。
撮像ユニット101は、撮像部200と、光源202と、反射ミラー203とから構成されている。撮像ユニット101は自車両100のフロントガラス105の内壁面側に設置される。撮像部200及び光源202は、光源・撮像モジュール101Aに固定支持されており、反射ミラー203は、ミラーモジュール101Bに固定支持されている。本実施形態において、光源202及び反射ミラー203は、フロントガラス105の外壁面に付着した付着物(以下、付着物が雨滴である場合を例に挙げて説明する。)を検出するためのものである。
光源・撮像モジュール101Aは、撮像部200が予め決められた撮像領域(車両前方領域)を撮像できるように、フロントガラス105の傾斜角度に関係なく、撮像部200の撮像方向(撮像レンズの光軸方向)Pが特定の方向を向くように、自車両100に固定される。本明細書において、フロントガラス105の傾斜角度とは、車両進行方向に沿った鉛直面内におけるフロントガラス105の内壁面又は外壁面と水平方向とのなす角度をいうものとする。また、本実施形態において、撮像部200の撮像方向Pが向く特定方向は、車両進行方向から僅かに下方へ向いた方向となる。
ミラーモジュール101Bは、光源・撮像モジュール101Aの光源202から照射される光をフロントガラス105に向けて反射させる反射ミラー203を固定支持するものであり、フロントガラス105の内壁面に固定される。したがって、ミラーモジュール101B内の反射ミラー203は、フロントガラス105の傾斜角度に応じてその反射面の方向(水平方向に対する方向)が変わることになる。光源・撮像モジュール101Aは、フロントガラス105の傾斜角度に関係なく固定配置されるものであるため、フロントガラス105の傾斜角度が異なれば、光源・撮像モジュール101Aに固定支持されている光源202から照射される光の反射ミラー203に対する入射角も変わってくる。
光源・撮像モジュール101A及びミラーモジュール101Bは、回転連結機構101Cを介して連結されている。この回転連結機構101Cは、フロントガラス105の傾斜方向に対して直交する方向(図2中紙面前後方向)に延びる回転軸を有し、この回転軸を中心にして光源・撮像モジュール101Aとミラーモジュール101Bとを相対回転させることができる。
このような構成を有する撮像ユニット101を自車両100に設置する際の作業手順は、以下のような手順で行うことができる。
まず、ミラーモジュール101Bをフロントガラス105に固定する。この固定には、例えば、フロントガラス105に対してミラーモジュール101Bを接着したり、フロントガラス105に予め固定されたフック等の機構部品にミラーモジュール101Bを係合させたりする固定方法を採用できる。
次に、固定したミラーモジュール101Bに対して回転連結機構101Cの回転軸を中心に光源・撮像モジュール101Aを回転させ、光源・撮像モジュール101Aの撮像部200の撮像方向Pが上記特定の方向に一致するように、光源・撮像モジュール101Aの角度調整を行い、光源・撮像モジュール101Aを自車両100に固定する。なお、回転連結機構101Cの回転調整範囲、すなわち、ミラーモジュール101Bに対する光源・撮像モジュール101Aの角度調整範囲は、想定されるフロントガラス105の傾斜角度範囲に応じて適宜設定される。本実施形態では、フロントガラス105の傾斜角度範囲を20°以上35°以下の範囲内に想定しているが、この範囲は本撮像ユニット101が搭載される車両の種類に応じて適宜変更される。
光源・撮像モジュール101Aとミラーモジュール101Bの固定方法としては、例えば、回転連結機構101に設けたボルト部品により、ミラーモジュール101Bの筺体に対して光源・撮像モジュール101Aを締結することにより固定する方法が挙げられる。また、図3に示すような方法も挙げられる。すなわち、光源・撮像モジュール101Aに対して回転連結機構101Cの回転軸を中心とした円弧の一部の形状をもった長穴部101Dを形成するとともに、ミラーモジュール101Bに対してボルト穴を形成する。そして、光源・撮像モジュール101Aの長穴部101Dを通して、ミラーモジュール101Bのボルト穴にボルト部品101Eを締結することにより、光源・撮像モジュール101Aとミラーモジュール101Bとを固定する。この場合、長穴部101Dの長さは、ミラーモジュール101Bに対する光源・撮像モジュール101Aの角度調整範囲にわたる調整動作が可能な長さに適宜設定される。
図4(a)は、傾斜角度θgが20°であるフロントガラス105に対して本実施形態の撮像ユニット101を設置した場合に光源202から照射される光の光路を示す説明図である。
図4(b)は、傾斜角度θgが35°であるフロントガラス105に対して本実施形態の撮像ユニット101を設置した場合に光源202から照射される光の光路を示す説明図である。
光源202の光照射方向は、回転連結機構101Cの回転調整範囲内で常にミラーモジュール101Bの反射ミラー203の反射面に向かうように、光源・撮像モジュール101Aに固定支持されている。本撮像ユニット101においては、フロントガラス105の傾斜角度が異なる場合でも、反射ミラー203で反射した光の方向(水平方向に対する方向)、すなわち、フロントガラス105の内壁面に入射する光の入射方向(水平方向に対する方向)は、一定方向を向くことになる。その結果、フロントガラス105の外壁面に付着する雨滴Rdで反射した光がフロントガラス105の内壁面から出射するときの出射方向(水平方向に対する方向)は、フロントガラス105の傾斜角度θgに関係なく、一定となる。
ただし、回転連結機構101Cの回転軸の位置によっては、反射ミラー203で反射した光がフロントガラス105の内壁面へ入射する入射地点がフロントガラス105の傾斜角度θgの違いによって変化する場合がある。この場合、この入射地点のズレによってフロントガラス105の外壁面(詳しくは外壁面と空気との界面)での正反射光が振れ幅(撮像方向Pに対して直交する仮想面上を通る当該正反射光の位置の変化量)をもつが、その振れ幅は入射地点のズレ幅と同等であり、僅かなものである。本実施形態によれば、フロントガラス105の傾斜角度が20°以上35°以下の範囲内であれば、当該正反射光が撮像部200に入射することはない。
フロントガラス105の外壁面に雨滴Rdが付着していない場合、光源202から照射されて反射ミラー203で反射した光は、上述のようにフロントガラス105の外壁面と外気との界面で反射するが、その正反射光は撮像部200へ入射しない。一方、フロントガラス105の外壁面に雨滴Rdが付着している場合、フロントガラス105の外壁面と雨滴Rdとの間における屈折率差は、フロントガラス105の外壁面と外気との間の屈折率差よりも小さくなる。そのため、光源202から照射された光は、フロントガラス105の外壁面と雨滴Rdの界面を透過して雨滴Rdに入射する。そして、雨滴Rdに入射した光は、雨滴Rdと空気との界面で反射する。この雨滴反射光は、フロントガラス105を透過した後、撮像部200へ入射する。雨滴Rdの有無によるこのような違いによって、画像解析ユニット102は、撮像部200から送信される撮像画像データから、フロントガラス105に付着する雨滴Rdを検出する。
具体的な構成例について説明すると、撮像部200の撮像方向が水平であり、撮像部200の半画角が14°であり、光源202の拡散角が図5に示すように±6°であるとした場合、光源202の光照射方向(光源202の光軸)は、撮像部200の撮像方向P(水平方向)に対して11°だけ下方を向くように構成される。なお、このような拡散角を有する光源202は、図6に示すように、発光ダイオード(LED)や半導体レーザ(LD)などの発光部202aとコリメートレンズ202bとから構成することができる。光源202の発光波長は、例えば可視光や赤外光を用いることができる。ただし、光源202の光で対向車両の運転者や歩行者等を眩惑するのを回避する場合には、可視光よりも波長が長くて画像センサ206の受光感度がおよぶ範囲の波長、例えば800nm以上1000nm以下の赤外光領域の波長を選択するのが好ましい。本実施形態の光源202は、赤外光領域の波長を有する光を照射するものである。
一方、反射ミラー203の反射面とフロントガラス105の内壁面の法線105Nとのなす角度は、76°に設定されている。これにより、この構成例によれば、フロントガラス105の外壁面での正反射光がフロントガラス105の内壁面から射出される射出方向は、撮像部200の撮像方向(水平方向)に対して17°だけ下方を向く。この射出方向の角度は、フロントガラス105の傾斜角度に関係なく、一定である。この17°という射出角度は、図5に示した光源202の拡散角よりも小さいため、反射ミラー203で反射した光がフロントガラス105の内壁面へ入射する入射地点よりも、撮像部200の鉛直方向位置が下側に位置している限り、フロントガラス105の外壁面での正反射光が撮像部200へ入射することはない。
また、回転連結機構101Cの回転中心は、フロントガラス105の傾斜角度が20°以上35°以下の範囲内において、反射ミラー203で反射した光のフロントガラス105の内壁面への入射地点が略一定となるように設定されている。この構成を実現する配置例としては、図7に示すような配置例が好ましい。具体的には、回転連結機構101Cの回転軸に対して直交する仮想面において、反射ミラー203の反射面におけるフロントガラス105から離れた側の端点を第一点106Aとする。また、第一点106Aを通るように引いたフロントガラス内壁面の法線105N2におけるフロントガラス内壁面との交点を第二点106Bとする。また、撮像部200へ向かってフロントガラス内壁面から射出される光L3の射出点のうち、光源・撮像モジュール101Aの角度調整範囲内において最も第二点106Bから遠い地点を第三点106Cとする。また、第一点106A、第二点106B、第三点106Cとともに長方形の頂点を形成するように設定される地点(第二点106Bとの対角点)を第四点106Dとする。そして、これらの4つの点106A,106B,106C,106Dに囲まれた長方形領域内に、回転連結機構101Cの回転中心が含まれるように配置するのが好ましい。一例としては、図4に示したように、反射ミラー203で反射した光がフロントガラス105の内壁面へ入射するまでの光路を、回転連結機構101Cの回転中心が横切る位置とするのがよい。
本実施形態において、撮像ユニット101は、光源・撮像モジュール101Aやミラーモジュール101Bを、フロントガラス105とともに撮像ケース201で覆うようにしてもよい。このように撮像ケース201で覆うことにより、フロントガラス105の内壁面が曇るような状況であっても、撮像ケース201で覆われたフロントガラス105が曇ってしまう事態を抑制できる。よって、フロントガラスの曇りによって画像解析ユニット102が誤解析するような事態を抑制でき、画像解析ユニット102の解析結果に基づく各種制御動作を適切に行うことができる。
ただし、フロントガラス105の曇りを撮像部200の撮像画像データから検出して、例えば自車両100の空調設備を制御する場合には、撮像部200に対向するフロントガラス105の部分が他の部分と同じ状況となるように、撮像ケース201で覆わず、または、撮像ケース201の一部に空気の流れる通路を形成するようにしてもよい。
また、本実施形態では、撮像ユニットを設置する対象となる透明板状部材が、車両システムへの適用を考慮して車両のフロントガラス105である例について説明しているが、撮像ユニットを設置する対象は、これに限定されるものではない。例えば、車両以外の監視システムなどの透明板状部材に対して設置して利用することも可能である。
図8は、本実施形態における撮像ユニットの一構造例を示す斜視図である。
図9は、この構造例における撮像ユニットを別の角度から見たときの斜視図である。
本構造例の撮像ユニットは、光源202が図示しない発光部と発光部からの光を反射ミラー203へ導く導光射出部202Aとから構成されている。導光射出部202Aの射出端部から射出された光は、ミラーモジュール101Bに設置された反射ミラー203にて反射され、フロントガラス105の内壁面に入射し、その外壁面に付着した付着物にて反射した後、撮像部200にて受光される。ミラーモジュール101Bとフロントガラス105との固定には、先に述べたとおり、フロントガラス105に対してミラーモジュール101Bを接着したり、フロントガラス105に予め固定されたフック等の機構部品にミラーモジュール101Bを係合させたりする固定方法を採用できる。
本構造例における撮像ユニットの光源・撮像モジュール101Aとミラーモジュール101Bとの固定には、図3に例示した構成が採用されている。すなわち、光源・撮像モジュール101Aに形成した円弧状の長穴部101Dを通して、ミラーモジュール101Bに形成されたボルト穴に対し、ボルト部品101Eを締結して固定する。
図10は、撮像ユニット101に設けられる撮像部200の概略構成を示す説明図である。
撮像部200は、主に、撮像レンズ204と、光学フィルタ205と、2次元配置された画素アレイを有する画像センサ206を含んだセンサ基板207と、センサ基板207から出力されるアナログ電気信号(画像センサ206上の各受光素子が受光した受光量)をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部208とから構成されている。
本実施形態の光源・撮像モジュール101Aに固定支持される光源202と撮像部200は、光源202の発光部202aと撮像部200の画像センサ206とを同じ基板207上に設けるのが、必要な電装部品数の減少、コストダウンに寄与できる点で好ましい。特、光源202の発光部202aの光軸と撮像部200の画像センサ206のセンサ面法線方向がいずれも基板面に対して法線方向を向くような構成することで、製造工程の簡素化等のメリットが享受できる。ところが、本実施形態では、光源202の光照射方向と撮像部200の撮像方向とが互いに異なる方向を向くように構成されるので、そのままでは光源202の発光部202aと撮像部200の画像センサ206とを同じ基板207上に設けることは難しい。
そこで、光源202の発光部202aと撮像部200の画像センサ206とを同じ基板207上に設ける場合には、例えば、光源202に、発光部202aが照射する光の光路を変更する光路変更部材を配置してもよい。この光路変更部材としては、例えば、図11に示すような偏向プリズム202cを用いたり、図12に示すように偏心配置したコリメートレンズ202bを用いたりすることができる。
また、本実施形態の反射ミラー203は、平面ミラーであるが、図13に示すように、凹面ミラー203Aを採用してもよい。光源202から照射される光L1は、例えば発光部202aがLEDなどの拡散性が比較的大きいものの場合には、コリメートレンズ202bを用いても、光路長が長ければ拡散し、広がる。特に、上述したように、光源202の発光部202aと撮像部200の画像センサ206とを同じ基板207上に設ける場合には、光源202から反射ミラー203Aまでの光路長は、例えば数十mm、場合によっては100mm以上となることもあり、光源202からの光L1は拡散し、広がる。このような光を平面で反射させると、フロントガラス105上での照度が低下する。また、このような広がりをもった光では、その一部がフロントガラス105の内壁面や外壁面で反射した正反射光が撮像部200へ入射しやすくなるので、本実施形態の撮像ユニット101で対応可能なフロントガラス105の傾斜角度を狭めることになる。図13に示すような凹面ミラー203Aを用いれば、光源202からの広がりをもった光L1を平行化した光L2をフロントガラス105へ照射することができ、フロントガラス105上での照度低下を抑制し、また、本実施形態の撮像ユニット101で対応可能なフロントガラス105の傾斜角度を広く維持できる。
また、本実施形態の反射ミラー203としては、図14に示すように、偏光ミラー(偏光ビームスプリッタ)203Bを採用してもよい。フロントガラス105の外壁面に入射する光はP偏光成分が多く、S偏光成分はフロントガラス105の内壁面で反射することが多い。反射ミラー203として、偏光ミラー203Bを採用することで、光源202からの光L1について、例えば、P偏光成分(LP2)を反射し、S偏光成分(LS3)を透過させることができる。これにより、フロントガラス105へ入射させる光LP2の偏光成分を選択的にP偏光成分とすることができ、フロントガラス105の内壁面で反射する反射光の光強度を小さくすることができる。その結果、フロントガラス105の内壁面で反射する反射光が撮像部200へ入射して雨滴検出精度を悪化させる事態を抑制できる。
図14に示す偏光ミラー203Bは、その反射面(偏光面)とは反対側の面(裏面)に光吸収部材203aが設けられており、これにより反射面(偏光面)を透過したS偏光成分は光吸収部材203aに吸収されて大幅に減弱、消失する。なお、光吸収部材203aに代えて、例えば砂面処理した光拡散部材を裏面に設けるなど、他の方法により、反射面(偏光面)を透過したS偏光成分を減弱させるようにしてもよい。
ただし、このような光吸収部材203aを裏面に設けても、反射面(偏光面)を透過したS偏光成分の一部が裏面で反射してフロントガラス105に照射され、雨滴検出精度を悪化させる場合がある。この場合には、図15に示すように、偏光ミラー203Bの裏面が反射面に対して傾斜するように構成したウェッジ基板を用いた偏光ミラー203Cを採用してもよい。この場合、反射面(偏光面)を透過したS偏光成分の一部が裏面で反射しても、その正反射光がフロントガラス105に向かうことはなく、フロントガラス105に向かうS偏光成分は拡散反射光のごく一部となる。したがって、フロントガラス105に照射されるS偏光成分の光強度を大幅に小さくすることができ、雨滴検出精度の悪化を抑制できる。
また、反射ミラー203で反射した光は、反射ミラー203の反射面で拡散反射した拡散成分を含み、その拡散成分が撮像部200に入射すると、雨滴検出精度を悪化させる。これを抑止する方法としては、例えば、図16に示すように、反射ミラー203の反射面で拡散反射した拡散成分が撮像部200に直接入射したり、反射ミラー203の反射面での拡散成分がフロントガラス105の内壁面や外壁面で正反射して撮像部200に入射したりするのを抑制するための遮光部材203Dを設ける方法が有効である。図16に示す例は、遮光部材203Dをミラーモジュール101Bに付加した構成であるが、遮光部材203Dを光源・撮像モジュール101Aに付加してもよい。ただし、遮光部材203Dをミラーモジュール101Bに付加する場合、フロントガラス105の近傍に遮光部材203Dを配置することができるので、フロントガラス105の傾斜角度の影響が少ない状態で、良好な拡散成分の遮光特性を得ることができる。
また、反射ミラー203の反射面で拡散反射した拡散成分が撮像部200に入射することを抑止する方法としては、例えば、図17に示すように、小型の反射ミラー203Eを採用するなどして、光源202からの光L1の一部が反射ミラー203Eの反射面から外れるように構成してもよい。この場合、遮光部材203Dのような新たな部材を付加することなく、拡散成分による雨滴検出精度の悪化を抑止する効果が得られる。この構成は、特に、反射ミラー203Eとフロントガラス105の内壁面との距離が短い場合(当該区間で新たな拡散が生じない場合)に有効である。
本実施形態では、撮像レンズ204の焦点は、無限遠又は無限遠とフロントガラス105の外壁面との間に設定している。これにより、フロントガラス105上に付着した雨滴Rdの検出を行う場合だけでなく、先行車両や対向車両の検出や白線の検出を行う場合にも、撮像部200の撮像画像データから適切な情報を取得することができる。
例えば、フロントガラス105上に付着した雨滴Rdの検出を行う場合、撮像画像データ上の雨滴画像の形状は円形状であることが多いので、撮像画像データ上の雨滴候補画像が円形状であるかどうかを判断してその雨滴候補画像が雨滴画像であると識別する形状認識処理を行う。このような形状認識処理を行う場合、図18(a)に示すようにフロントガラス105の外壁面上の雨滴Rdに撮像レンズ204の焦点が合っているよりも、上述したように無限遠又は無限遠とフロントガラス105との間に焦点が合っている方が、図18(b)に示すように多少ピンボケして、雨滴の形状認識率(円形状)が高くなり、雨滴検出性能が高い。
ただし、無限遠に焦点が合っている場合、遠方を走行する先行車両のテールランプを識別する際に、画像センサ206上のテールランプの光を受光する受光素子が1個程度になることがある。この場合、詳しくは後述するが、テールランプの光がテールランプ色(赤色)を受光する赤色用受光素子に受光されないおそれがあり、その際にはテールランプを認識できず、先行車両の検出ができない。このような不具合を回避しようとする場合には、撮像レンズ204の焦点を無限遠よりも手前に合わせることが好ましい。これにより、遠方を走行する先行車両のテールランプがピンボケするので、テールランプの光を受光する受光素子の数を増やすことができ、テールランプの認識精度が上がり先行車両の検出精度が向上する。
本実施形態では、撮像ユニット101の光源202の発光波長として、赤外光領域の波長を用いる。特に、直射日光などの外界からの光の影響を低減するためには、940nm付近の波長を選択することが有効である。ここで、雨滴Rdで反射した光源202からの赤外波長光を撮像部200で撮像する際、撮像部200の画像センサ206では、光源202からの赤外波長光のほか、例えば太陽光などの赤外波長光を含む大光量の外乱光も受光される。よって、光源202からの赤外波長光をこのような大光量の外乱光と区別するためには、光源202の発光量を外乱光よりも十分に大きくする必要があるが、このような大発光量の光源202を用いることは困難である場合が多い。
そこで、本実施形態においては、例えば、図19に示すように光源202の発光波長よりも短い波長の光をカットするようなカットフィルタか、もしくは、図20に示すように透過率のピークが光源202の発光波長とほぼ一致したバンドパスフィルタを介して、光源202からの光を画像センサ206で受光するように構成する。これにより、光源202の発光波長以外の光を除去して受光できるので、画像センサ206で受光される光源202からの光量は、外乱光に対して相対的に大きくなる。その結果、大発光量の光源202でなくても、光源202からの光を外乱交と区別することが可能となる。
ただし、本実施形態においては、撮像画像データから、フロントガラス105上の雨滴Rdを検出するだけでなく、先行車両や対向車両の検出や白線の検出も行う。そのため、撮像画像全体について光源202が照射する赤外波長光以外の波長帯を除去してしまうと、先行車両や対向車両の検出や白線の検出に必要な波長帯の光を画像センサ206で受光できず、これらの検出に支障をきたす。そこで、本実施形態では、撮像画像データの画像領域を、フロントガラス105上の雨滴Rdを検出するための雨滴検出用画像領域と、先行車両や対向車両の検出や白線の検出を行うための車両検出用画像領域とに区分し、雨滴検出用画像領域に対応する部分についてのみ光源202が照射する赤外波長光以外の波長帯を除去するフィルタを、光学フィルタ205に配置している。
図21は、光学フィルタ205に設けられる前段フィルタ210の一例を示す正面図である。
図22は、撮像画像データの画像例を示す説明図である。
本実施形態の光学フィルタ205は、図10に示したように、前段フィルタ210と後段フィルタ220とを光透過方向に重ね合わせた構造となっている。前段フィルタ210は、図4に示すように、車両検出用画像領域213である撮像画像上部2/3に対応する箇所に配置される赤外光カットフィルタ領域211と、雨滴検出用画像領域214である撮像画像下部1/3に対応する箇所に配置される赤外光透過フィルタ領域212とに、領域分割されている。赤外光透過フィルタ領域212には、図19に示したカットフィルタや図20に示したバンドパスフィルタを用いる。
対向車両のヘッドランプ及び先行車両のテールランプ並びに路端や白線の画像は、主に撮像画像中央部に存在することが多く、撮像画像下部には自車両前方の直近路面の画像が存在するのが通常である。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに路端や白線の識別に必要な情報は撮像画像中央部に集中しており、その識別において撮像画像下部の情報はあまり重要でない。よって、単一の撮像画像データから、対向車両や先行車両あるいは路端や白線の検出と雨滴の検出とを両立して行う場合には、図22に示すように、撮像画像下部を雨滴検出用画像領域214とし、撮像画像中央部を含む残りの撮像画像上部を車両検出用画像領域213とし、これに対応して前段フィルタ210を領域分割するのが好適である。
なお、撮像画像上部の情報は、自車両前方の上空の画像が存在するのが通常であり、撮像画像下部の情報と同様、対向車両のヘッドランプ及び先行車両のテールランプ並びに路端や白線の識別にはあまり重要でない。よって、雨滴検出用画像領域214を撮像画像上部に設けるようにしてもよいし、図23に示すように雨滴検出用画像領域214A,214Bを撮像画像上部と下部の両方に設けるようにしてもよい。後者の場合、光学フィルタ205に設けられる前段フィルタ210としては、図24に示すように、車両検出用画像領域213である撮像画像中央部1/2に対応する箇所に配置される赤外光カットフィルタ領域211と、雨滴検出用画像領域214Aである撮像画像上部1/4に対応する箇所に配置される赤外光透過フィルタ領域212Aと、雨滴検出用画像領域214Bである撮像画像下部1/4に対応する箇所に配置される赤外光透過フィルタ領域212Bとに領域分割されたものを用いる。
このように、雨滴検出用画像領域214A,214Bを撮像画像上部と下部の両方に設ける場合、各雨滴検出用画像領域214A,214Bにそれぞれ対応する光源202及び反射ミラー203を設けることが望ましい。ただし、光源202の発光部202aを共通化し、発光部202aからの光を分割して各雨滴検出用画像領域214A,214Bを照明するようにすることは可能である。
また、本実施形態においては、撮像領域内の下部に自車両のボンネットが入り込んでくる場合がある。この場合、自車両のボンネットで反射した太陽光や先行車両のテールランプなどが外乱光となり、これが撮像画像データに含まれることで雨滴検出精度を悪化させる原因となる。このような場合でも、本実施形態では、撮像画像下部に対応する箇所に図19に示したカットフィルタや図20に示したバンドパスフィルタが配置されているので、ボンネットで反射した太陽光や先行車両のテールランプなどの外乱光が雨滴検出用画像領域214Aに含まれずに除去され、雨滴検出精度を悪化させることはない。
また、本実施形態の前段フィルタ210における車両検出用画像領域213に対応する箇所には、赤外光カットフィルタ領域211が配置される。この箇所のフィルタ領域は、可視光を透過できればよいので、全波長帯を透過する非フィルタ領域でもよいが、光源202からの赤外波長光が入射してもこれによるノイズが軽減されるように、赤外波長をカットできるのが望ましい。本実施形態の赤外光カットフィルタ領域211には、例えば図25に示すような波長特性を有するものが好適に利用できる。図25に示す波長特性は、可視光領域(例えば400nm以上670nm以下の波長帯)を透過し、670nmよりも長い波長帯(赤外光領域)をカットするショートパスフィルタ特性となっている。
ここで、先行車両を検出する際には、撮像画像上のテールランプを識別することで先行車両の検出を行うが、テールランプは対向車両のヘッドランプと比較して光量が少なく、また街灯などの外乱光も多く存在するため、単なる輝度データのみからテールランプを高精度に検出するのは困難である。そのため、テールランプの識別には分光情報を利用し、赤色光の受光量に基づいてテールランプを識別することが必要となる。そこで、本実施形態では、後述するように、光学フィルタ205の後段フィルタ220に、テールランプの色に合わせた赤色フィルタあるいはシアンフィルタ(テールランプの色の波長帯のみを透過させるフィルタ)を配置し、赤色光の受光量を検知できるようにしている。
ただし、本実施形態の画像センサ206を構成する各受光素子は、赤外波長帯の光に対しても感度を有するので、赤外波長帯を含んだ光を画像センサ206で受光すると、得られる撮像画像は全体的に赤みを帯びたものとなってしまう。その結果、テールランプに対応する赤色の画像部分を識別することが困難となる場合がある。この理由からも、本実施形態では、光学フィルタ205の前段フィルタ210において、車両検出用画像領域213に対応する箇所を赤外光カットフィルタ領域211としている。これにより、テールランプの識別に用いる撮像画像データ部分から赤外波長帯が除外されるので、テールランプの識別精度が向上する。
図10に示すように、被写体(検出対象物)を含む撮像領域からの光は、撮像レンズ204を通り、光学フィルタ205を透過して、画像センサ206でその光強度に応じた電気信号に変換される。信号処理部208では、画像センサ206から出力される電気信号(アナログ信号)が入力されると、その電気信号から、撮像画像データとして、画像センサ206上における各画素の明るさ(輝度)を示すデジタル信号を、画像の水平・垂直同期信号とともに後段のユニットへ出力する。
図26は、光学フィルタ205と画像センサ206とを光透過方向に対して直交する方向から見たときの模式拡大図である。
画像センサ206は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などを用いたイメージセンサであり、その受光素子にはフォトダイオード206Aを用いている。フォトダイオード206Aは、画素ごとに2次元的にアレイ配置されており、フォトダイオード206Aの集光効率を上げるために、各フォトダイオード206Aの入射側にはマイクロレンズ206Bが設けられている。この画像センサ206がワイヤボンディングなどの手法によりPWB(printed wiring board)に接合されてセンサ基板207が形成されている。
画像センサ206のマイクロレンズ206B側の面には、光学フィルタ205が近接配置されている。光学フィルタ205の後段フィルタ220は、図26に示すように、透明なフィルタ基板221上に偏光フィルタ層222と分光フィルタ層223を順次形成して積層構造としたものである。偏光フィルタ層222と分光フィルタ層223は、いずれも、画像センサ206上における1つのフォトダイオード206Aに対応するように領域分割されている。
光学フィルタ205と画像センサ206との間に空隙がある構成としてもよいが、光学フィルタ205を画像センサ206に密着させる構成とした方が、光学フィルタ205の偏光フィルタ層222と分光フィルタ層223の各領域の境界と画像センサ206上のフォトダイオード206A間の境界とを一致させやすくなる。光学フィルタ205と画像センサ206は、例えば、UV接着剤で接合してもよいし、撮像に用いる有効画素範囲外でスペーサにより支持した状態で有効画素外の四辺領域をUV接着や熱圧着してもよい。
図27は、本実施形態に係る光学フィルタ205の偏光フィルタ層222と分光フィルタ層223の領域分割パターンを示す説明図である。
偏光フィルタ層222と分光フィルタ層223は、それぞれ、第1領域及び第2領域という2種類の領域が、画像センサ206上の1つのフォトダイオード206Aに対応して配置されたものである。これにより、画像センサ206上の各フォトダイオード206Aによって受光される受光量は、受光する光が透過した偏光フィルタ層222と分光フィルタ層223の領域の種類に応じて、偏光情報や分光情報等として取得することができる。
なお、本実施形態では、画像センサ206はモノクロ画像用の撮像素子を前提にして説明するが、画像センサ206をカラー用撮像素子で構成してもよい。カラー用撮像素子で構成する場合、カラー用撮像素子の各撮像画素に付属するカラーフィルタの特性に応じて、偏光フィルタ層222と分光フィルタ層223の各領域の光透過特性を調整してやればよい。
本実施形態における光学フィルタ205の一例について説明する。
図28は、本実施形態における光学フィルタ205の層構成の一例を模式的に示す断面図である。
図28に示す光学フィルタ205は、雨滴検出用画像領域214が撮像画像下部に対応している場合に適用されるものである。この光学フィルタ205の後段フィルタ220は、車両検出用画像領域213に対応する車両検出用フィルタ部220Aと、雨滴検出用画像領域214に対応する雨滴検出用フィルタ部220Bとで、その層構成が異なっている。具体的には、車両検出用フィルタ部220Aは分光フィルタ層223を備えているのに対し、雨滴検出用フィルタ部220Bは分光フィルタ層223を備えていない。また、車両検出用フィルタ部220Aと雨滴検出用フィルタ部220Bとでは、その偏光フィルタ層222,225の構成が異なっている。
図29は、本実施形態における光学フィルタ205の層構成の他の例を模式的に示す断面図である。
図29に示す光学フィルタ205は、雨滴検出用画像領域214が撮像画像上部と下部の両方に対応している場合に適用されるものである。この光学フィルタ205の前段フィルタ210は、車両検出用画像領域213に対応する箇所も雨滴検出用画像領域214に対応する箇所も同じ分光フィルタ層211’で構成されている。この分光フィルタ層211’としては、例えば、図30に示すように、400nm以上670nm以下の可視光帯域と、920nm以上960nm以下の赤外波長帯域とを選択的に透過させるフィルタ特性を有するものを用いることができる。なお、光源202の中心波長は940nmで、その半値全幅は10nmであることを前提としている。
このような分光フィルタ層211’であれば、車両検出に用いる可視光帯域と雨滴検出に用いる赤外波長帯域の両方を透過させつつ、残りの不要な波長帯をカットできるので、車両検出用と雨滴検出用とで異なるフィルタ層を形成する必要がなくなる。分光フィルタ層211’は、700nm以上920nm未満の波長範囲の光は透過しない、若しくは、その透過率が5%以下となっている。この波長範囲の透過を抑制する理由は、上述したように、この波長範囲を取り込むと、得られる撮像画像データが全体的に赤くなってしまい、テールランプの赤色を示す部分などを抽出することが困難となることがあるからである。この観点からすれば、図28に示すように、光源波長帯域の920nm以上960nm以下の範囲も透過しないことが望ましいが、可視光帯域に比較して帯域幅が狭小であること、かつCMOSをはじめとする可視光用イメージセンサにおいては可視光帯域に比較して相対的に低感度であることから、光源波長帯域を透過させても、車両検出等の精度がほぼ維持できる。
図29に示す光学フィルタ205の後段フィルタ220は、車両検出用画像領域213に対応する車両検出用フィルタ部220Aと、雨滴検出用画像領域214に対応する雨滴検出用フィルタ部220Bとで、その層構成が異なっている。具体的には、雨滴検出用フィルタ部220Bは分光フィルタ層226を備えているのに対し、車両検出用フィルタ部220Aはこの分光フィルタ層226を備えていない。また、図28に示した光学フィルタ205と同様、車両検出用フィルタ部220Aと雨滴検出用フィルタ部220Bとでは、その偏光フィルタ層222,225の構成が異なっている。
図28に示した光学フィルタ205を画像センサ206に対して固定する場合、画像センサ206と対向する側(図中下側)において、車両検出用フィルタ部220Aには分光フィルタ層223が設けられているが、雨滴検出用フィルタ部220Bには分光フィルタ層223が設けられていない。そのため、この光学フィルタ205と画像センサ206とを平行に固定することが難しく、その分光フィルタ層223の厚みの差によって傾いて固定されやすい。このように傾いて固定されると、車両検出用画像領域の上部と下部とで光路長が変わってしまい、車両周辺情報、例えば白線検知を行う場合の白線座標の検出誤差が大きくなるなど、種々の不具合を引き起こす。
これに対し、図29に示す光学フィルタ205であれば、画像センサ206と対向する側(図中下側)において、上部と下部の両方に同じ分光フィルタ層226が設けられているため、これを画像センサ206に対して平行に固定することは比較的容易である。なお、本実施形態では、車両検出用の領域と雨滴検出用の領域の分割方法としては、市松状パターンやストライプ状パターンなどに領域分割し、これらの領域を撮像画像全体に分散配置してもよい。この場合も、光学フィルタと画像センサとを平行に固定することが容易である。
また、図29に示す光学フィルタ205を用いる場合、すなわち、雨滴検出用画像領域214が撮像画像上部と下部の両方に対応している場合には、雨滴検出用画像領域214が撮像画像上部又は下部の一方にしか対応している場合と比較して、雨滴検出用の領域を広く取りやすい。よって、雨滴検出精度の向上につながる。市松状パターンやストライプ状パターンなどのように車両検出用の領域と雨滴検出用の領域とを撮像画像全体に分散配置する構成においても、雨滴検出用の領域を広く取りやすいので、雨滴検出精度の向上につながる。
また、図29に示す光学フィルタ205の後段フィルタ220においては、雨滴検出用フィルタ部220Bに分光フィルタ層226が備わっている。この分光フィルタ層226としては、例えば、図31に示すように、880nm以上の赤外波長帯域を選択的に透過させるフィルタ特性を有するものを用いることができる。ただし、本実施形態の画像センサ206の長波長側の限界値は1100nmであるため、分光フィルタ層226を介して受光される光の波長帯は、880nm以上1100nm以下の赤外波長帯域となる。ただし、分光フィルタ層226に入射する光は、前段フィルタ210の分光フィルタ211’によって、その波長範囲が920nm以上960nm以下に制限されているので、図32に示すように、920nm以上960nm以下の波長帯(図32においてハッチングした箇所)のみが分光フィルタ層226を透過することになる。
また、図29に示す光学フィルタ205の後段フィルタ220においては、その分光フィルタ層226として、例えば、図33に示すように、925nm以上965nm以下の波長範囲を選択的に透過させるフィルタ特性を有するものを用いることができる。ただし、分光フィルタ層226に入射する光は、前段フィルタ210の分光フィルタ211’によって、その波長範囲が920nm以上960nm以下に制限されているので、925nm以上960nm以下の波長帯のみが分光フィルタ層226を透過することになる。
このように、2つの分光フィルタ層211’,226を透過させることで、単一のフィルタ層を透過させる場合よりも、高いフィルタ特性(波長選択性能)を得ることができる。
図34は、本実施形態における光学フィルタ205の車両検出用フィルタ部220Aを透過して画像センサ206上の各フォトダイオード206Aで受光される受光量に対応した情報(各撮像画素の情報)の内容を示す説明図である。
図35(a)は、図34に示す符号A−Aで切断した光学フィルタ205の車両検出用フィルタ部220A及び画像センサ206を模式的に表した断面図である。
図35(b)は、図34に示す符号B−Bで切断した光学フィルタ205の車両検出用フィルタ部220A及び画像センサ206を模式的に表した断面図である。
なお、以下の説明では、図28に示した光学フィルタ205を用いる場合を例に挙げて説明する。
本実施形態における光学フィルタ205の車両検出用フィルタ部220Aは、図35(a)及び(b)に示すように、透明なフィルタ基板221の上に偏光フィルタ層222を形成した後、その上に分光フィルタ層223を形成して積層構造としたものである。そして、偏光フィルタ層222は、ワイヤーグリッド構造を有するものであり、その積層方向上面(図35中下側面)は凹凸面となる。このような凹凸面上にそのまま分光フィルタ層223を形成しようとすると、分光フィルタ層223がその凹凸面に沿って形成され、分光フィルタ層223の層厚ムラが生じて本来の分光性能が得られない場合がある。そこで、本実施形態の光学フィルタ205は、偏光フィルタ層222の積層方向上面側を充填材で充填して平坦化した後、その上に分光フィルタ層223を形成している。
充填材としては、この充填材によって凹凸面が平坦化される偏光フィルタ層222の機能を妨げない材料であればよいので、本実施形態では偏光機能を有しない材料のものを用いる。また、充填材による平坦化処理は、例えば、スピンオングラス法によって充填材を塗布する方法が好適に採用できるが、これに限られるものではない。
本実施形態において、偏光フィルタ層222の第1領域は、画像センサ206の撮像画素の縦列(鉛直方向)に平行に振動する垂直偏光成分のみを選択して透過させる垂直偏光領域であり、偏光フィルタ層222の第2領域は、画像センサ206の撮像画素の横列(水平方向)に平行に振動する水平偏光成分のみを選択して透過させる水平偏光領域である。
また、分光フィルタ層223の第1領域は、偏光フィルタ層222を透過可能な使用波長帯域に含まれる赤色波長帯(特定波長帯)の光のみを選択して透過させる赤色分光領域であり、分光フィルタ層223の第2領域は、波長選択を行わずに光を透過させる非分光領域である。そして、本実施形態においては、図34に一点鎖線で囲ったように、隣接する縦2つ横2つの合計4つの撮像画素(符号a、b、e、fの4撮像画素)によって撮像画像データの1画像画素が構成される。
図34に示す撮像画素aでは、光学フィルタ205の偏光フィルタ層222における垂直偏光領域(第1領域)と分光フィルタ層223の赤色分光領域(第1領域)を透過した光が受光される。したがって、撮像画素aは、垂直偏光成分(図34中符号Pで示す。)の赤色波長帯(図34中符号Rで示す。)の光P/Rを受光することになる。
また、図34に示す撮像画素bでは、光学フィルタ205の偏光フィルタ層222における垂直偏光領域(第1領域)と分光フィルタ層223の非分光領域(第2領域)を透過した光が受光される。したがって、撮像画素bは、垂直偏光成分Pにおける非分光(図34中符号Cで示す。)の光P/Cを受光することになる。
また、図34に示す撮像画素eでは、光学フィルタ205の偏光フィルタ層222における水平偏光領域(第2領域)と分光フィルタ層223の非分光領域(第2領域)を透過した光が受光される。したがって、撮像画素eは、水平偏光成分(図34中符号Sで示す。)における非分光Cの光S/Cを受光することになる。
図34に示す撮像画素fでは、光学フィルタ205の偏光フィルタ層222における垂直偏光領域(第1領域)と分光フィルタ層223の赤色分光領域(第1領域)を透過した光が受光される。したがって、撮像画素fは、撮像画素aと同様、垂直偏光成分Pにおける赤色波長帯Rの光P/Rを受光することになる。
以上の構成により、本実施形態によれば、撮像画素aおよび撮像画素fの出力信号から赤色光の垂直偏光成分画像についての一画像画素が得られ、撮像画素bの出力信号から非分光の垂直偏光成分画像についての一画像画素が得られ、撮像画素eの出力信号から非分光の水平偏光成分画像についての一画像画素が得られる。よって、本実施形態によれば、一度の撮像動作により、赤色光の垂直偏光成分画像、非分光の垂直偏光成分画像、非分光の水平偏光成分画像という3種類の撮像画像データを得ることができる。
なお、これらの撮像画像データでは、その画像画素の数が撮像画素数よりも少なくなるが、より高解像度の画像を得る際には一般に知られる画像補間処理を用いてもよい。例えば、より高い解像度である赤色光の垂直偏光成分画像を得ようとする場合、撮像画素aと撮像画素fに対応する画像画素についてはこれらの撮像画素a,fで受光した赤色光の垂直偏光成分Pの情報をそのまま使用し、撮像画素bに対応する画像画素については、例えばその周囲を取り囲む撮像画素a,c,f,jの平均値を当該画像画素の赤色光の垂直偏光成分の情報として使用する。
また、より高い解像度である非分光の水平偏光成分画像を得ようとする場合、撮像画素eに対応する画像画素についてはこの撮像画素eで受光した非分光の水平偏光成分Sの情報をそのまま使用し、撮像画素a,b,fに対応する画像画素については、その周囲で非分光の水平偏光成分を受光する撮像画素eや撮像画素gなどの平均値を使用したり、撮像画素eと同じ値を使用したりしてもよい。
このようにして得られる赤色光の垂直偏光成分画像は、例えば、テールランプの識別に使用することができる。赤色光の垂直偏光成分画像は、水平偏光成分Sがカットされているので、路面に反射した赤色光や自車両100の室内におけるダッシュボードなどからの赤色光(映りこみ光)等のように水平偏光成分Sの強い赤色光による外乱要因が抑制された赤色画像を得ることができる。よって、赤色光の垂直偏光成分画像をテールランプの識別に使用することで、テールランプの認識率が向上する。
また、非分光の垂直偏光成分画像は、例えば、白線や対向車両のヘッドランプの識別に使用することができる。非分光の水平偏光成分画像は、水平偏光成分Sがカットされているので、路面に反射したヘッドランプや街灯等の白色光や自車両100の室内におけるダッシュボードなどからの白色光(映りこみ光)等のように水平偏光成分Sの強い白色光による外乱要因が抑制された非分光画像を得ることができる。よって、非分光の垂直偏光成分画像を白線や対向車両のヘッドランプの識別に使用することで、その認識率が向上する。特に、雨路において、路面を覆った水面からの反射光は水平偏光成分Sが多いことが一般に知られている。よって、非分光の垂直偏光成分画像を白線の識別に使用することで、雨路における水面下の白線を適切に識別することが可能となり、認識率が向上する。
また、非分光の垂直偏光成分画像と非分光の水平偏光成分画像との間で各画素値を比較した指標値を画素値とした指標値画像を用いれば、後述するように、撮像領域内の金属物体、路面の乾湿状態、撮像領域内の立体物、雨路における白線の高精度な識別が可能となる。ここで用いる指標値画像としては、例えば、非分光の垂直偏光成分画像と非分光の水平偏光成分画像との間の画素値の差分値を画素値とした差分画像、これらの画像間の画素値の比率を画素値とした比率画像(偏光比画像)、あるいは、これらの画像間の画素値の合計に対するこれらの画像間の画素値の差分値の比率(差分偏光度)を画素値とした差分偏光度画像などを使用することができる。
ただし、偏光比画像と差分偏光度画像とを比較すると、前者は、分母にくる偏光成分(例えばP偏光成分)がゼロ付近を示す場合には、偏光比は無限大に近づく値となってしまい、正確な値を得ることができない。一方、後者も、分母にくるP偏光成分とS偏光成分との合計値がゼロ付近を示す場合には、差分偏光度が無限大に近づく値となってしまい、正確な値を得ることができない。両者を比較したとき、後者の方が、分母がゼロ付近の値を取る確率が低く、正確な値を算出できる確率が高い。
また、偏光比画像については、分母にくる偏光成分(例えばP偏光成分)がゼロ付近を示す場合には正確な値を算出できないが、分子にくる偏光成分(例えばS偏光成分)については、これがゼロ付近を示す場合でも正確な値を算出することが可能である。したがって、分子にくる偏光成分(例えばS偏光成分)を検出する場合に好適な指標値画像である。
一方、差分偏光度画像は、分母にくるP偏光成分とS偏光成分との合計値がゼロ付近を示すのは、P偏光成分とS偏光成分のいずれかがゼロ付近を示す場合である。P偏光成分がゼロ付近を示す確率とS偏光成分がゼロ付近を示す確率は同等なので、差分偏光度画像は、P偏光成分もS偏光成分も平等に検出できる指標値画像であると言える。
本実施形態では、以上の比較から、偏光比画像ではなく差分偏光度画像を指標値画像として用いる。
本実施形態では、前段フィルタ210を構成する赤外光カットフィルタ領域211と赤外光透過フィルタ領域212とが、それぞれ層構成の異なる多層膜によって形成されている。このような前段フィルタ210の製造方法としては、赤外光カットフィルタ領域211の部分をマスクで隠しながら赤外光透過フィルタ領域212の部分を真空蒸着などにより成膜した後、今度は赤外光透過フィルタ領域212の部分をマスクで隠しながら赤外光カットフィルタ領域211の部分を真空蒸着などにより成膜するという方法が挙げられる。
また、本実施形態において、車両検出用フィルタ部220Aの偏光フィルタ層222と、雨滴検出用フィルタ部220Bの偏光フィルタ層225とは、いずれも、2次元方向に領域分割されたワイヤーグリッド構造であるが、前者の偏光フィルタ層222は透過軸が互いに直交する2種類の領域(垂直偏光領域及び水平偏光領域)が撮像画素単位で領域分割されたものであり、後者の偏光フィルタ層225は垂直偏光成分Pのみを透過させる透過軸をもつ1種類の領域が撮像画素単位で領域分割されたものである。このような異なる構成をもつ偏光フィルタ層222,225を同一のフィルタ基板221上に形成する場合、例えば、ワイヤーグリッド構造の金属ワイヤーのパターニングを行うテンプレート(型に相当するもの)の溝方向の調整により、各領域の金属ワイヤーの長手方向の調整は容易である。
なお、本実施形態では、赤外光カットフィルタ領域211を光学フィルタ205に設けず、例えば、撮像レンズ204に赤外光カットフィルタ領域211を設けてもよい。この場合、光学フィルタ205の作製が容易となる。
また、赤外光カットフィルタ領域211に代えて、後段フィルタ220の雨滴検出用フィルタ部220Bに垂直偏光成分Pのみを透過させる分光フィルタ層を形成してもよい。この場合、前段フィルタ210には赤外光カットフィルタ領域211を形成する必要はない。
また、本実施形態の光学フィルタ205は、図34に示したように領域分割された偏光フィルタ層222及び分光フィルタ層223を有する後段フィルタ220が、前段フィルタ210よりも画像センサ206側に設けられているが、前段フィルタ210を後段フィルタ220よりも画像センサ206側に設けてもよい。
〔車両検出処理〕
次に、本実施形態における先行車両及び対向車両の検出処理の流れについて説明する。
図36は、本実施形態における車両検出処理の流れを示すフローチャートである。
本実施形態の車両検出処理では、撮像部200が撮像した画像データに対して画像処理を施し、検出対象物であると思われる画像領域を抽出する。そして、その画像領域に映し出されている光源体の種類が2種類の検出対象物のいずれであるかを識別することで、先行車両、対向車両の検出を行う。
まず、ステップS1では、撮像部200の画像センサ206によって撮像された自車両前方の画像データをメモリに取り込む。この画像データは、上述したように、画像センサ206の各撮像画素における輝度を示す信号を含む。次に、ステップS2では、自車両の挙動に関する情報を図示しない車両挙動センサから取り込む。
ステップS3では、メモリに取り込まれた画像データから検出対象物(先行車両のテールランプ及び対向車両のベッドランプ)であると思われる輝度の高い画像領域(高輝度画像領域)を抽出する。この高輝度画像領域は、画像データにおいて、所定の閾値輝度よりも高い輝度を有する明るい領域となり、複数存在する場合が多いが、それらのすべてを抽出する。よって、この段階では、雨路面からの照り返し光を映し出す画像領域も、高輝度画像領域として抽出される。
高輝度画像領域抽出処理では、まず、ステップS3−1において、画像センサ206上の各撮像画素の輝度値を所定の閾値輝度と比較することにより2値化処理を行う。具体的には、所定の閾値輝度以上の輝度を有する画素に「1」、そうでない画素に「0」を割り振ることで、2値化画像を作成する。次に、ステップS3−2において、この2値化画像において、「1」が割り振られた画素が近接している場合には、それらを1つの高輝度画像領域として認識するラベリング処理を実施する。これによって、輝度値の高い近接した複数の画素の集合が、1つの高輝度画像領域として抽出される。
上述した高輝度画像領域抽出処理の後に実行されるステップS4では、抽出された各高輝度画像領域に対応する撮像領域内の物体と自車両との距離を算出する。この距離算出処理では、車両のランプは左右1対のペアランプであることを利用して距離を検出するペアランプ距離算出処理と、遠距離になるとペアランプを構成する左右のランプを区別して認識できなくなって当該ペアランプが単一ランプとして認識される場合の単一ランプ距離算出処理とを実行する。
まず、ペアランプ距離算出処理のために、ステップS4−1では、ランプのペアを作成する処理であるペアランプ作成処理を行う。ペアとなる左右一対のランプは、撮像部200が撮像した画像データにおいて、近接しつつほぼ同じ高さとなる位置にあり、高輝度画像領域の面積がほぼ同じで、かつ高輝度画像領域の形が同じであるとの条件を満たす。したがって、このような条件を満たす高輝度画像領域同士をペアランプとする。ペアをとることのできない高輝度画像領域は単一ランプとみなされる。ペアランプが作成された場合には、ステップS4−2のペアランプ距離算出処理によって、そのペアランプまでの距離を算出する。車両の左右ヘッドランプ間の距離及び左右テールランプ間の距離は、一定値w0(例えば1.5m程度)で近似することができる。一方、撮像部200における焦点距離fは既知であるため、撮像部200の画像センサ206上の左右ランプ距離w1を算出することにより、ペアランプまでの実際の距離xは、単純な比例計算(x=f・w0/w1)により求めることができる。なお、先行車両や対向車両までの距離検出は、レーザレーダやミリ波レーダなどの専用の距離センサを用いてもよい。
ステップS5では、垂直偏光成分Pの赤色画像と垂直偏光成分Pの白色画像との比率(赤色輝度比率)を指標値とした分光情報として用い、この分光情報から、ペアランプとされた2つの高輝度画像領域が、ヘッドランプからの光によるものなのか、テールランプからの光によるものなのかを識別するランプ種類識別処理を行う。このランプ種類識別処理では、まずステップS5−1において、ペアランプとされた高輝度画像領域について、画像センサ206上の撮像画素a,fに対応した画素データと画像センサ206上の撮像画素bに対応した画素データとの比率を画素値とした赤色比画像(指標値画像)を作成する。そして、ステップS5−2において、その赤色比画像の画素値を所定の閾値と比較し、所定の閾値以上である高輝度画像領域についてはテールランプからの光によるテールランプ画像領域であるとし、所定の閾値未満である高輝度画像領域についてはヘッドランプからの光によるヘッドランプ画像領域であるとするランプ種別処理を行う。
なお、ここで説明した分光情報は、赤色輝度比率を指標値した例であるが、差分偏光度のような、垂直偏光成分Pの赤色画像と垂直偏光成分Pの白色画像との間の画素値の合計値に対するこれらの画像間の画素値の差分値の比率などの他の指標値を用いてもよい。
続いて、ステップS6では、テールランプ画像領域及びヘッドランプ画像領域として識別された各画像領域について、差分偏光度((S−P)/(S+P))を指標値とした偏光情報として用いて、テールランプ又はヘッドランプからの直接光か雨路面等の鏡面部で反射して受光された照り返し光かを識別する照り返し識別処理を行う。この照り返し識別処理では、まずステップS6−1において、テールランプ画像領域について差分偏光度((S−P)/(S+P))を算出し、その差分偏光度を画素値とした差分偏光度画像(指標値画像)を作成する。また、同様に、ヘッドランプ画像領域についても差分偏光度((S−P)/(S+P))を算出し、その差分偏光度を画素値とした差分偏光度画像を作成する。そして、ステップS6−2において、それぞれの差分偏光度画像の画素値を所定の閾値と比較し、所定の閾値以上であるテールランプ画像領域及びヘッドランプ画像領域については、照り返し光によるものであると判断し、それらの画像領域は先行車両のテールランプを映し出したものではない又は対向車両のヘッドランプを映し出したものではないとして、除外する処理を行う。この除外処理を行った後に残るテールランプ画像領域及びヘッドランプ画像領域は、先行車両のテールランプを映し出したものである、あるいは、対向車両のヘッドランプを映し出したものであると識別される。
なお、レインセンサなどを車両に搭載しておき、当該レインセンサにより雨天時であることを確認した場合にのみ、上述した照り返し識別処理S6を実行するようにしてもよい。また、運転者(ドライバー)がワイパーを稼働している場合にのみ、上述した照り返し識別処理S6を実行するようにしてもよい。要するに、雨路面からの照り返しが想定される雨天時のみに上述した照り返し識別処理S6を実行するようにしてもよい。
以上のような車両検出処理により検出した先行車両及び対向車両の検出結果は、本実施形態では自車両の車載機器であるヘッドランプの配光制御に用いられる。具体的には、車両検出処理によりテールランプが検出されてその先行車両のバックミラーに自車両のヘッドランプ照明光が入射する距離範囲内に近づいた場合に、その先行車両に自車両のヘッドランプ照明光が当たらないように、自車両のヘッドランプの一部を遮光したり、自車両のヘッドランプの光照射方向を上下方向又は左右方向へずらしたりする制御を行う。また、車両検出処理によりベッドランプが検出されて、その対向車両の運転者に自車両のヘッドランプ照明光が当たる距離範囲内に近づいた場合に、その対向車両に自車両のヘッドランプ照明光が当たらないように、自車両のヘッドランプの一部を遮光したり、自車両のヘッドランプの光照射方向を上下方向又は左右方向へずらしたりする制御を行う。
〔白線検出処理〕
以下、本実施形態における白線検出処理について説明する。
本実施形態では、自車両が走行可能領域から逸脱するのを防止する目的で、検出対象物としての白線(区画線)を検出する処理を行う。ここでいう白線とは、実線、破線、点線、二重線等の道路を区画するあらゆる白線を含む。なお、黄色線等の白色以外の色の区画線などについても同様に検出可能である。
本実施形態における白線検出処理では、撮像ユニット101から取得することができる情報のうち、白色成分(非分光)の水平偏光成分Sと垂直偏光成分Pとの比較による偏光情報、例えば、白色成分(非分光)の水平偏光成分Sと垂直偏光成分Pの差分偏光度((S−P)/(S+P))を用いる。白線からの反射光は、通常、拡散反射成分が支配的であるため、その反射光の垂直偏光成分Pと水平偏光成分Sとはほぼ同等となり、差分偏光度はゼロに近い値を示す。一方、白線が形成されていないアスファルト面部分は、乾燥状態のときには、散乱反射成分が支配的となる特性を示し、その差分偏光度は正の値を示す。また、白線が形成されていないアスファルト面部分は、湿潤状態のときには、鏡面反射成分が支配的となり、その差分偏光度は更に大きな値を示す。したがって、得られた路面部分の偏光差分値が所定閾値よりも小さい部分を白線と判定することができる。
〔雨滴検出処理〕
次に、本実施形態における雨滴検出処理について説明する。
本実施形態では、撮像部200が撮像した画像データのうち雨滴検出用画像領域214に対応する画像データを用いる。雨滴Rdからの反射光は、上述したように、垂直偏光成分Pをもつ高輝度なものであり、光学フィルタ205を通じて画像センサ206により受光される受光量が大きい。したがって、雨滴検出用画像領域214中から高輝度画像領域を抽出し、抽出された高輝度画像領域を雨滴の画像領域の候補領域として特定する。この高輝度画像領域の抽出には、上述した車両検出処理における高輝度画像領域抽出処理(ステップS3)と同様の処理を採用できる。
また、撮像画像データ上の雨滴画像の形状は円形状であることが多いので、高輝度画像領域抽出処理によって抽出した雨滴画像領域の候補領域が円形状であるかどうかの形状識別処理を行い、その結果から雨滴画像領域を特定する。そして、本実施形態では、連続して撮像される10枚の撮像画像単位で雨滴検出処理が繰り返し行われ、各雨滴検出処理での雨滴の有無の検出結果を雨滴検出カウントデータにカウントしていく。ワイパー制御ユニット106は、例えば、この雨滴検出カウントデータが所定の条件(連続して10個カウントされた場合など)を満たしたときに、ワイパー107の駆動制御やウォッシャー液の吐出制御を行う。
〔変形例1〕
次に、本実施形態における光学フィルタ205の一変形例(以下、本変形例を「変形例1」という。)について説明する。
図37は、本変形例1における光学フィルタ205を透過して画像センサ206上の各フォトダイオード206Aで受光される受光量に対応した情報(各撮像画素の情報)の内容を示す説明図である。
図38(a)は、図37に示す符号A−Aで切断した光学フィルタ205及び画像センサ206を模式的に表した断面図である。
図38(b)は、図37に示す符号B−Bで切断した光学フィルタ205及び画像センサ206を模式的に表した断面図である。
本変形例1に係る光学フィルタ205は、車両検出用のフィルタ領域と雨滴検出用のフィルタ領域とを市松状パターンに領域分割し、これらの領域を撮像画像全体に分散配置した光学フィルタである。
本変形例1において、偏光フィルタ層225’は、画像センサ206の全体に、垂直偏光成分Pのみを選択して透過させる垂直偏光領域である。また、分光フィルタ層226’の第1領域は、偏光フィルタ層225’を透過可能な使用波長帯域に含まれる赤外光波長帯の光のみを選択して透過させる赤外光分光領域であり、分光フィルタ層226’の第2領域は、波長選択を行わずに光を透過させる非分光領域である。そして、本変形例1においては、図37に一点鎖線で囲ったように、隣接する縦2つ横2つの合計4つの撮像画素(符号a、b、e、fの4撮像画素)によって撮像画像データの1画像画素が構成される。
図37に示す撮像画素a及び撮像画素fでは、光学フィルタ205の偏光フィルタ層225’(垂直偏光領域)と分光フィルタ層226’の赤外光分光領域(第1領域)を透過した光が受光される。したがって、撮像画素aは、垂直偏光成分(図37中符号Pで示す。)の赤外光波長帯(図37中符号IRで示す。)の光P/IRを受光することになる。
また、図37に示す撮像画素b及び撮像画素eでは、光学フィルタ205の偏光フィルタ層225’(垂直偏光領域)と分光フィルタ層226’の非分光領域(第2領域)を透過した光が受光される。したがって、撮像画素bは、垂直偏光成分Pにおける非分光(図37中符号Cで示す。)の光P/Cを受光することになる。
以上の構成により、本変形例1によれば、撮像画素aおよび撮像画素fの出力信号から赤外光の垂直偏光成分画像についての一画像画素が得られ、撮像画素b及び撮像画素eの出力信号から非分光の垂直偏光成分画像についての一画像画素が得られる。よって、本変形例1によれば、一度の撮像動作により、赤外光の垂直偏光成分画像、非分光の垂直偏光成分画像という2種類の撮像画像データを得ることができる。
なお、これらの撮像画像データでは、その画像画素の数が撮像画素数よりも少なくなるが、より高解像度の画像を得る際には、上述したような一般に知られる画像補間処理を用いてもよい。
このようにして得られる赤外光の垂直偏光成分画像は、雨滴検出処理に使用することができる。本変形例1における雨滴検出処理の内容は、上記実施形態のものと同様のものを採用することができる。
また、非分光の垂直偏光成分画像は、上記実施形態と同様、白線や対向車両のヘッドランプの識別に使用することができる。
〔変形例2〕
次に、本実施形態における光学フィルタ205の他の変形例(以下、本変形例を「変形例2」という。)について説明する。
図39は、本変形例2における光学フィルタ205を透過して画像センサ206上の各フォトダイオード206Aで受光される受光量に対応した情報(各撮像画素の情報)の内容を示す説明図である。
図40(a)は、図39に示す符号A−Aで切断した光学フィルタ205及び画像センサ206を模式的に表した断面図である。
図40(b)は、図39に示す符号B−Bで切断した光学フィルタ205及び画像センサ206を模式的に表した断面図である。
本変形例2に係る光学フィルタ205は、車両検出用のフィルタ領域と雨滴検出用のフィルタ領域とをストライプ状パターンに領域分割し、これらの領域を撮像画像全体に分散配置した光学フィルタである。
本変形例2において、偏光フィルタ層225’は、上記変形例1と同様、画像センサ206の全体に、垂直偏光成分Pのみを選択して透過させる垂直偏光領域である。また、分光フィルタ層226’の第1領域は、偏光フィルタ層225’を透過可能な使用波長帯域に含まれる赤外光波長帯の光のみを選択して透過させる赤外光分光領域であり、分光フィルタ層226’の第2領域は、波長選択を行わずに光を透過させる非分光領域である。そして、本変形例2においては、図39に一点鎖線で囲ったように、隣接する縦2つ横2つの合計4つの撮像画素(符号a、b、e、fの4撮像画素)によって撮像画像データの1画像画素が構成される。
図39に示す撮像画素a及び撮像画素eでは、光学フィルタ205の偏光フィルタ層225’(垂直偏光領域)と分光フィルタ層226’の赤外光分光領域(第1領域)を透過した光が受光される。したがって、撮像画素aは、垂直偏光成分Pの赤外光波長帯IRの光P/IRを受光することになる。
また、図39に示す撮像画素b及び撮像画素fでは、光学フィルタ205の偏光フィルタ層225’(垂直偏光領域)と分光フィルタ層226’の非分光領域(第2領域)を透過した光が受光される。したがって、撮像画素bは、垂直偏光成分Pにおける非分光Cの光P/Cを受光することになる。
以上の構成により、本変形例2によれば、撮像画素aおよび撮像画素eの出力信号から赤外光の垂直偏光成分画像についての一画像画素が得られ、撮像画素b及び撮像画素fの出力信号から非分光の垂直偏光成分画像についての一画像画素が得られる。よって、本変形例2によれば、一度の撮像動作により、赤外光の垂直偏光成分画像、非分光の垂直偏光成分画像という2種類の撮像画像データを得ることができる。
なお、これらの撮像画像データでは、その画像画素の数が撮像画素数よりも少なくなるが、より高解像度の画像を得る際には、上述したような一般に知られる画像補間処理を用いてもよい。
このようにして得られる赤外光の垂直偏光成分画像は、雨滴検出処理に使用することができる。本変形例2における雨滴検出処理の内容は、上記実施形態のものと同様のものを採用することができる。
また、非分光の垂直偏光成分画像は、上記実施形態と同様、白線や対向車両のヘッドランプの識別に使用することができる。
本変形例2のように車両検出用のフィルタ領域と雨滴検出用のフィルタ領域とをストライプ状パターンに領域分割した光学フィルタ205は、市松状パターンに領域分割した上記変形例1の光学フィルタと比較して、画像センサ206の各撮像画素と光学フィルタ205の各領域との相対位置ズレ精度を緩和することが可能である。すなわち、上記変形例1のような市松状パターンの場合、鉛直方向と水平方向のそれぞれについて、画像センサ206の各撮像画素と光学フィルタ205の各領域との相対位置を調整する必要があるが、本変形例2のようなストライプ状パターンの場合には、画像センサ206の各撮像画素と光学フィルタ205の各領域との相対位置を調整する必要があるが、水平方向についてだけ、相対位置の調整を行えばよい。したがって、本変形例2によれば、製造工程の組立時間の短縮や組付装置の簡素化が可能となる。
なお、ストライプ状パターンのストライプ方向は、光源202の光照射方向と、撮像部200の撮像方向とを含む仮想面(本変形例2では鉛直面となる。)に対して平行であるのがよい。この場合、雨滴Rdに照射された光の反射光(雨滴反射光)を、画像上の縦方向のいずれかの雨滴内の反射光を捉えることとなる。縦方向にストライプ方向を有することにより縦方向の赤外光情報を取り出す解像度が上がるため、雨滴の検出精度が上げられる。
以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
(態様A)
予め決められた自車両前方領域等の撮像領域からフロントガラス105等の透明板状部材の外壁面に入射して該透明板状部材を透過した透過光を受光して該撮像領域の画像を撮像する撮像部200等の撮像手段と、光を照射する光源202とが、該透明板状部材の内壁面側に配置されるとともに、該光源からの光が該透明板状部材の外壁面に付着する雨滴Rd等の付着物で反射したときの反射光が上記撮像手段で受光されるように構成され、上記撮像領域の画像とともに該付着物の画像を撮像する撮像ユニット101において、上記光源から照射された光を反射させる反射ミラー203,203A,203B,203C,203Cを固定支持し、上記透明板状部材の内壁面上に固定配置されるミラーモジュール101Bと、上記光源及び上記撮像手段を固定支持し、該撮像手段の撮像方向Pが特定の方向を向くように上記透明板状部材の内壁面に対して固定配置される光源・撮像モジュール101Aと、上記ミラーモジュールと上記光源・撮像モジュールとを、反射ミラーで反射した上記光源からの光の上記透明板状部材の内壁面に対する入射面に直交する回転軸回りで相対回転可能に連結する回転連結機構101Cとを有することを特徴とする。
これによれば、当該撮像ユニット101の設置作業は、その撮像部200の撮像方向Pが特定の方向を向くように光源・撮像モジュール101Aを固定するとともに、ミラーモジュール101Bを透明板状部材に固定するという簡単な作業で済む。
しかも、透明板状部材の傾斜角度の違いによる、光源から照射されて反射ミラーで反射した光が透明板状部材の内壁面や外壁面で正反射する正反射光の振れ幅(撮像方向に対して直交する仮想面上を通る当該正反射光の位置の変化量)は狭いものとなるので、当該撮像ユニットが設置される透明板状部材の傾斜角度範囲が広くても、透明板状部材の内壁面や外壁面で反射した正反射光が撮像手段に入射しにくくなる。
なお、ミラーモジュールと光源・撮像モジュールとの相対位置を位置決めできる相対位置決め機構であれば、回転連結機構に限定されることはない。したがって、例えば、光源・撮像モジュールを、ミラーモジュールではなく、透明板状部材や透明板状部材を備えた製品壁部(車両の内壁等)などの別の部材に固定するような構成であってもよい。
(態様B)
上記態様Aにおいて、上記撮像手段の焦点は、上記透明板状部材の外壁面よりも遠方に設定されていることを特徴とする。
これによれば、撮像領域の画像と付着物の画像の両方を好適に撮像することができる。
(態様C)
上記態様A又はBにおいて、上記撮像手段は、受光素子206Aが2次元配置された撮像画素アレイで構成された画像センサ206により、光学フィルタ205を介して、上記透明板状部材を透過した撮像領域からの透過光と、該透明板状部材の外壁面に付着する付着物で反射した反射光とを、互いに異なるセンサ領域で受光するものであり、上記光源は、赤外光波長帯等の特定波長帯の光を照射するものであり、上記光学フィルタ205は、そのフィルタ領域の一部に、上記特定波長帯の光を選択的に透過させる第1フィルタ領域が形成され、そのフィルタ領域の他部に、上記撮像領域からの光を透過させる第2フィルタ領域が形成されていることを特徴とする。
これによれば、撮像領域の画像と付着物の画像の両方を好適に撮像することができる。
(態様D)
上記態様A〜Cのいずれかの態様において、上記撮像手段は、受光素子が2次元配置された撮像画素アレイで構成された画像センサにより、上記透明板状部材を透過した撮像領域からの透過光と、該透明板状部材の外壁面に付着する付着物で反射した正反射光とを、互いに異なるセンサ領域で受光するものであり、上記透明板状部材の内壁面の傾斜角度が所定角度範囲(20°以上35°以下の角度範囲等)内のいずれの角度であっても、上記透明板状部材の内壁面又は外壁面で反射する正反射光が、上記付着物で反射した反射光を受光するセンサ領域に入射しないように、構成されていることを特徴とする。
透明板状部材の内壁面や外壁面で反射した正反射光は、付着物で反射した反射光と同等以上の強い光強度を有するものであるため、付着物で反射した反射光に対して大きなノイズ成分となる。本態様によれば、このような大きなノイズ成分となる当該正反射光が、付着物で反射した反射光を受光するセンサ領域に入射しないので、当該ノイズ成分による付着物の検出精度の低下を抑制できる。
(態様E)
上記態様A〜Dのいずれかの態様において、上記透明板状部材の内壁面の傾斜角度が所定角度範囲(20°以上35°以下の角度範囲等)内のいずれの角度であっても、上記反射ミラーで反射した光の該透明板状部材の内壁面に入射する地点が一定となるように、構成されていることを特徴とする。
これによれば、透明板状部材の傾斜角度に関わらず、光源から照射されて反射ミラーで反射した光が透明板状部材の内壁面や外壁面で正反射する正反射光の振れ幅をほぼゼロにすることが可能となるので、安定した付着物の検出が可能となる。
(態様F)
上記態様A〜Eのいずれかの態様において、上記光源・撮像モジュールは、上記光源から照射される光の光路を変更する偏向プリズム202cや偏心配置したコリメートレンズ202b等の光路変更部材を有することを特徴とする。
これによれば、光源202を設置する基板と撮像手段の画像センサ206の基板とを容易に共通化することが可能となり、電装部品の簡素化の実現が容易となる。
(態様G)
上記態様A〜Fのいずれかの態様において、上記反射ミラーは、凹面ミラー203Aであることを特徴とする。
これによれば、反射ミラーで反射した光束に集束力を付与することができ、透明板状部材への入射角のばらつきを低減でき、付着物の検出性能を向上させることが可能となる。
(態様H)
上記態様A〜Gのいずれかの態様において、上記反射ミラーは、偏光ミラー203Bであることを特徴とする。
これによれば、透明板状部材を透過して付着物へ入射する光の偏光成分だけを、透明板状部材に向けて照射することが可能となり、透明板状部材の内壁面や外壁面で反射する光に含まれる偏光成分を低減できる。その結果、透明板状部材の内壁面や外壁面で反射する光によるノイズ成分を低減して、付着物の検出性能を向上させることが可能となる。
(態様I)
上記態様A〜Hのいずれかの態様において、上記撮像手段に受光されることで上記撮像領域の画像及び上記付着物の画像の少なくとも一方の画像のノイズ成分となる上記光源からの光を遮光する遮光部材203Dを、上記ミラーモジュール101B及び上記光源・撮像モジュール101Aの少なくとも一方に設けたことを特徴とする。
これによれば、反射ミラーの反射面で拡散反射した拡散成分が撮像手段に直接入射したり、反射ミラーの反射面での拡散成分が透明板状部材の内壁面や外壁面で正反射して撮像手段に入射したりするノイズ成分を低減できる。
(態様J)
上記態様A〜Iのいずれかの態様に係る撮像ユニット101の設置方法であって、上記ミラーモジュール101Bを上記透明板状部材の内壁面上に固定する前又は後に、上記光源・撮像モジュール101Aに固定支持された撮像手段の撮像方向Pが特定の方向を向くように、該光源・撮像モジュールを該透明板状部材の内壁面に対して固定することを特徴とする。
これによれば、当該撮像ユニット101を簡単な作業で設置することができる。
100 自車両
101 撮像ユニット
101A 光源・撮像モジュール
101B ミラーモジュール
101C 回転連結機構
101D 長穴部
101E ボルト部品
102 画像解析ユニット
103 ヘッドランプ制御ユニット
104 ヘッドランプ
105 フロントガラス
106 ワイパー制御ユニット
107 ワイパー
108 車両走行制御ユニット
200 撮像部
202 光源
202A 導光射出部
202a 発光部
202b コリメートレンズ
202c 偏向プリズム
203,203E 反射ミラー
203a 光吸収部材
203A 凹面ミラー
203B,203C 偏光ミラー
203D 遮光部材
204 撮像レンズ
205 光学フィルタ
206 画像センサ
207 センサ基板
208 信号処理部
210 前段フィルタ
211 赤外光カットフィルタ領域
212 赤外光透過フィルタ領域
213 車両検出用画像領域
214,214A,214B 雨滴検出用画像領域
220 後段フィルタ
220A 車両検出用フィルタ部
220B 雨滴検出用フィルタ部
221 フィルタ基板
222,225,225’ 偏光フィルタ層
223,226,226’ 分光フィルタ層
P 垂直偏光成分
S 水平偏光成分
特許第4326999号公報

Claims (11)

  1. 予め決められた撮像領域から透明板状部材の外壁面に入射して該透明板状部材を透過した透過光を受光して該撮像領域の画像を撮像する撮像手段と、光を照射する光源とが、該透明板状部材の内壁面側に配置されるとともに、該光源からの光が該透明板状部材の外壁面に付着する付着物で反射したときの反射光が上記撮像手段で受光されるように構成され、上記撮像領域の画像とともに該付着物の画像を撮像する撮像ユニットにおいて、
    上記光源から照射された光を反射させる反射光学部材を固定支持し、上記透明板状部材の内壁面上に、該反射光学部材の反射面が該透明板状部材に対して固定されるように固定配置される反射光学モジュールと、
    上記光源及び上記撮像手段を固定支持し、該撮像手段の撮像方向が特定の方向を向くように上記透明板状部材の内壁面に対して固定配置される光源・撮像モジュールと、
    上記反射光学モジュールと上記光源・撮像モジュールとの相対位置を位置決めする相対位置決め機構とを有し、
    上記撮像手段は、受光素子が2次元配置された撮像画素アレイで構成された画像センサにより、上記透明板状部材を透過した撮像領域からの透過光と、該透明板状部材の外壁面に付着する付着物で反射した正反射光とを、互いに異なるセンサ領域で受光するものであり、上記透明板状部材の内壁面の傾斜角度が所定角度範囲内のいずれの角度であっても、上記透明板状部材の内壁面又は外壁面で反射する正反射光が、上記付着物で反射した反射光を受光するセンサ領域に入射しないように、構成されていることを特徴とする撮像ユニット。
  2. 請求項1に記載の撮像ユニットにおいて、
    上記透明板状部材の内壁面の傾斜角度が所定角度範囲内のいずれの角度であっても、上記反射光学部材で反射した光の該透明板状部材の内壁面に入射する地点が一定となるように、構成されていることを特徴とする撮像ユニット。
  3. 予め決められた撮像領域から透明板状部材の外壁面に入射して該透明板状部材を透過した透過光を受光して該撮像領域の画像を撮像する撮像手段と、光を照射する光源とが、該透明板状部材の内壁面側に配置されるとともに、該光源からの光が該透明板状部材の外壁面に付着する付着物で反射したときの反射光が上記撮像手段で受光されるように構成され、上記撮像領域の画像とともに該付着物の画像を撮像する撮像ユニットにおいて、
    上記光源から照射された光を反射させる反射光学部材を固定支持し、上記透明板状部材の内壁面上に、該反射光学部材の反射面が該透明板状部材に対して固定されるように固定配置される反射光学モジュールと、
    上記光源及び上記撮像手段を固定支持し、該撮像手段の撮像方向が特定の方向を向くように上記透明板状部材の内壁面に対して固定配置される光源・撮像モジュールと、
    上記反射光学モジュールと上記光源・撮像モジュールとの相対位置を位置決めする相対位置決め機構とを有し、
    上記透明板状部材の内壁面の傾斜角度が所定角度範囲内のいずれの角度であっても、上記反射光学部材で反射した光の該透明板状部材の内壁面に入射する地点が一定となるように、構成されていることを特徴とする撮像ユニット。
  4. 請求項1乃至3のいずれか1項に記載の撮像ユニットにおいて、
    上記相対位置決め機構は、上記反射光学モジュールと上記光源・撮像モジュールとを、反射光学部材で反射した上記光源からの光の上記透明板状部材の内壁面に対する入射面に直交する回転軸回りで相対回転可能に連結する回転連結機構であることを特徴とする撮像ユニット。
  5. 請求項の撮像ユニットにおいて、
    上記回転連結機構の回転軸に対して直交する仮想面上で、上記反射光学部材の反射面端部のうち上記透明板状部材から離れた端部の位置を第一地点とし、該第一点を通るように引いた該透明板状部材の内壁面の法線における該内壁面との交点を第二点とし、上記撮像手段へ向かって該透明板状部材の内壁面から射出される光の射出点のうち最も該第二点から遠い地点を第三点としたとき、該第一点、該第二点及び該第三点を頂点とする長方形の領域内に上記回転連結機構の回転軸が位置するように構成されていることを特徴とする撮像ユニット。
  6. 請求項1乃至5のいずれか1項に記載の撮像ユニットにおいて、
    上記光源・撮像モジュールは、上記光源から照射される光の光路を変更する光路変更部材を有することを特徴とする撮像ユニット。
  7. 請求項1乃至6のいずれか1項に記載の撮像ユニットにおいて、
    上記反射光学部材は、反射ミラーであることを特徴とする撮像ユニット。
  8. 請求項1乃至7のいずれか1項に記載の撮像ユニットにおいて、
    上記反射光学部材は、凹面ミラーであることを特徴とする撮像ユニット。
  9. 請求項1乃至8のいずれか1項に記載の撮像ユニットにおいて、
    上記反射光学部材は、偏光ミラーであることを特徴とする撮像ユニット。
  10. 請求項1乃至9のいずれか1項に記載の撮像ユニットにおいて、
    上記撮像手段に受光されることで上記撮像領域の画像及び上記付着物の画像の少なくとも一方の画像のノイズ成分となる上記光源からの光を遮光する遮光部材を、上記反射光学モジュール及び上記光源・撮像モジュールの少なくとも一方に設けたことを特徴とする撮像ユニット。
  11. 請求項1乃至10のいずれか1項に記載の撮像ユニットの設置方法であって、
    上記反射光学モジュールを上記透明板状部材の内壁面上に固定する前又は後に、上記光源・撮像モジュールに固定支持された撮像手段の撮像方向が特定の方向を向くように、該光源・撮像モジュールを該透明板状部材の内壁面に対して固定することを特徴とする撮像ユニットの設置方法。
JP2012276442A 2012-02-13 2012-12-19 撮像ユニット及びその設置方法 Expired - Fee Related JP5656131B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2012276442A JP5656131B2 (ja) 2012-02-13 2012-12-19 撮像ユニット及びその設置方法
US14/372,061 US20150054954A1 (en) 2012-02-13 2013-02-12 Imaging unit and method for installing the same
PCT/JP2013/053783 WO2013122242A1 (en) 2012-02-13 2013-02-12 Imaging unit and method for installing the same
BR112014020693A BR112014020693A2 (pt) 2012-02-13 2013-02-12 unidade de imagem e método para instalação da mesma
CN201380009292.9A CN104136910B (zh) 2012-02-13 2013-02-12 成像单元及其安装方法
EP13749832.5A EP2815228B1 (en) 2012-02-13 2013-02-12 Imaging unit and method for installing the same

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012028917 2012-02-13
JP2012028917 2012-02-13
JP2012276442A JP5656131B2 (ja) 2012-02-13 2012-12-19 撮像ユニット及びその設置方法

Publications (3)

Publication Number Publication Date
JP2013190417A JP2013190417A (ja) 2013-09-26
JP2013190417A5 JP2013190417A5 (ja) 2014-07-10
JP5656131B2 true JP5656131B2 (ja) 2015-01-21

Family

ID=48984350

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012276442A Expired - Fee Related JP5656131B2 (ja) 2012-02-13 2012-12-19 撮像ユニット及びその設置方法

Country Status (6)

Country Link
US (1) US20150054954A1 (ja)
EP (1) EP2815228B1 (ja)
JP (1) JP5656131B2 (ja)
CN (1) CN104136910B (ja)
BR (1) BR112014020693A2 (ja)
WO (1) WO2013122242A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150027543A (ko) * 2013-09-04 2015-03-12 현대모비스 주식회사 라이다 센서 시스템
JP6424488B2 (ja) * 2014-06-19 2018-11-21 日産自動車株式会社 物体検出装置及び物体検出方法
US9426377B2 (en) 2014-10-03 2016-08-23 Ricoh Company, Ltd. Image capturing apparatus, image capturing method, storage medium, and device control system for controlling vehicle-mounted devices
US9726604B2 (en) 2014-11-12 2017-08-08 Ricoh Company, Ltd. Adhering detection apparatus, adhering substance detection method, storage medium, and device control system for controlling vehicle-mounted devices
JP6468482B2 (ja) 2014-11-26 2019-02-13 株式会社リコー 撮像装置、物体検出装置及び移動体機器制御システム
US9783128B2 (en) * 2014-12-15 2017-10-10 Trw Automotive U.S. Llc Vehicle camera defogging vent with glare mitigation
US9465987B1 (en) * 2015-03-17 2016-10-11 Exelis, Inc. Monitoring and detecting weather conditions based on images acquired from image sensor aboard mobile platforms
CN105491350B (zh) * 2016-01-04 2018-12-14 烟台中正新技术有限公司 一种用于车辆行驶图像采集的摄像装置
JP7347612B1 (ja) 2022-09-02 2023-09-20 いすゞ自動車株式会社 車両制御装置及び車両制御方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US6420975B1 (en) * 1999-08-25 2002-07-16 Donnelly Corporation Interior rearview mirror sound processing system
US6329925B1 (en) * 1999-11-24 2001-12-11 Donnelly Corporation Rearview mirror assembly with added feature modular display
EP1263626A2 (en) * 2000-03-02 2002-12-11 Donnelly Corporation Video mirror systems incorporating an accessory module
JP3727543B2 (ja) * 2000-05-10 2005-12-14 三菱電機株式会社 画像表示装置
FR2854251B1 (fr) * 2003-04-25 2005-11-04 Tietronix Optics Dispositif d'aide a la conduite
JP4326999B2 (ja) 2003-08-12 2009-09-09 株式会社日立製作所 画像処理システム
US7718943B2 (en) * 2004-09-29 2010-05-18 Gentex Corporation Moisture sensor for optically detecting moisture
JP2007033400A (ja) * 2005-07-29 2007-02-08 Asmo Co Ltd 表面付着物検出装置
JP5051874B2 (ja) * 2006-01-11 2012-10-17 日東電工株式会社 積層フィルムの製造方法、積層フィルムの欠陥検出方法、積層フィルムの欠陥検出装置
US8698894B2 (en) * 2006-02-07 2014-04-15 Magna Electronics Inc. Camera mounted at rear of vehicle
US9022586B2 (en) * 2006-03-28 2015-05-05 Rosco, Inc. Vehicular mirror having a camera for enhanced vision
EP2217911B1 (en) * 2007-11-15 2016-04-13 Xtralis Technologies Ltd Particle detection
JP5441462B2 (ja) * 2009-03-23 2014-03-12 オムロンオートモーティブエレクトロニクス株式会社 車両用撮像装置
DE102010023593A1 (de) 2010-06-12 2011-12-15 Conti Temic Microelectronic Gmbh Optische Vorrichtung mit einem bifokalen optischen Element und einem Spiegelelement
JP5761143B2 (ja) 2011-11-02 2015-08-12 株式会社リコー 撮像ユニット、撮像ユニットを搭載した車両

Also Published As

Publication number Publication date
US20150054954A1 (en) 2015-02-26
EP2815228B1 (en) 2017-07-05
CN104136910B (zh) 2016-08-31
JP2013190417A (ja) 2013-09-26
CN104136910A (zh) 2014-11-05
BR112014020693A2 (pt) 2019-04-02
EP2815228A1 (en) 2014-12-24
EP2815228A4 (en) 2015-10-07
WO2013122242A1 (en) 2013-08-22

Similar Documents

Publication Publication Date Title
JP5656131B2 (ja) 撮像ユニット及びその設置方法
JP6468482B2 (ja) 撮像装置、物体検出装置及び移動体機器制御システム
JP5846485B2 (ja) 付着物検出装置及び付着物検出方法
EP3085073B1 (en) Object detection apparatus, moving body device control system and program therefor
US9726604B2 (en) Adhering detection apparatus, adhering substance detection method, storage medium, and device control system for controlling vehicle-mounted devices
JP4326999B2 (ja) 画像処理システム
JP2013031054A (ja) 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ及びその製造方法
US20140029008A1 (en) Foreign substance detection device, moving body control system including foreign substance detection device, and moving body including moving body control system
US9426377B2 (en) Image capturing apparatus, image capturing method, storage medium, and device control system for controlling vehicle-mounted devices
JP5936098B2 (ja) 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ
JP2013029451A (ja) 付着物検出装置及び付着物検出方法
JP2005195569A (ja) 画像処理システム
US20160341848A1 (en) Object detection apparatus, object removement control system, object detection method, and storage medium storing object detection program
JP6555569B2 (ja) 画像処理装置、移動体機器制御システム及び画像処理用プログラム
JP5858327B2 (ja) 撮像装置及びこれを備えた物体検出装置並びに偏光フィルタ
WO2016084359A1 (en) Imaging device, object detector and mobile device control system
JP2016200528A (ja) 物体検出装置、移動体機器制御システム及び物体検出用プログラム
JP2015031564A (ja) 付着物検出装置及び移動装置用機器制御システム
JP2016146583A (ja) 撮像装置、移動体機器制御システム及びプログラム
JP6701542B2 (ja) 検出装置、移動体機器制御システム及び検出用プログラム
JP5891723B2 (ja) 撮像方法および撮像ユニット
JP2015169567A (ja) 付着物検出装置、移動体機器制御システム及び付着物検出用プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140526

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140526

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20140526

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20140613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140819

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141113

R151 Written notification of patent or utility model registration

Ref document number: 5656131

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees