JPWO2013035321A1 - 付着物検出装置 - Google Patents

Abstract

受光した反射光に応じて生成された画像データに基づく付着物の検出の精度が落ちることがある。ウィンドシールドに対して光源から斜入射された照明光のうち、ウィンドシールドで反射した照明光に基づいてウィンドシールドの外面に付着する付着物を検出する付着物検出装置であって、ウィンドシールドの外面で反射する第１照明光と、ウィンドシールドの内面で反射する第２照明光とを含む照明光を受光して画像データを出力する撮像部と、画像データにおける第２照明光に起因する輝度成分の影響を低減して、ウィンドシールドの外面に付着する付着物を画像データから検出する検出部と、を備える。

Description

本発明は、透光板に付着した付着物を検出する付着物検出装置に関する。

車両のウィンドシールドなどの光を透過する透光板に付着した雨滴などの付着物を検出する付着物検出装置が知られている。特許文献１には、ウィンドシールドの内面から照射された光のうちウィンドシールドの外面において反射された反射光を撮像素子を介して受光し、受光した反射光に応じて生成された画像データに基づいてウィンドシールドの外面に付着した雨滴を検出する雨滴検出装置が開示されている。
特許文献１ 特開２０１１−２７４９０号公報

上記のような雨滴検出装置では、ウィンドシールドの内面など外面以外の面で反射された反射光も撮像素子が受光してしまう。これにより、受光した反射光に応じて生成された画像データに基づく付着物の検出の精度が落ちることがある。

本発明の態様において、ウィンドシールドに対して光源から斜入射された照明光のうち、ウィンドシールドで反射した照明光に基づいてウィンドシールドの外面に付着する付着物を検出する付着物検出装置であって、ウィンドシールドの外面で反射する第１照明光と、ウィンドシールドの内面で反射する第２照明光とを含む照明光を受光して画像データを出力する撮像部と、画像データにおける第２照明光に起因する輝度成分の影響を低減して、ウィンドシールドの外面に付着する付着物を画像データから検出する検出部と、を備える。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

実施形態に係る付着物検出装置の断面図である。 画像の領域間に生じる輝度差について説明するための図である。 画像の領域間に生じる輝度差について説明するための図である。 実施形態に係る付着物検出装置の内部回路を模式的に示すブロック図である。 輝度成分の影響を低減する処理の一例について説明するための図である。 変形例に係る付着物検出装置の内部回路を模式的に示すブロック図である。 輝度成分の影響を低減する処理の一例について説明するための図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係る付着物検出装置１０の断面図である。付着物検出装置１０は、車両のウィンドシールド５０の外面である第１反射面５２に付着した雨滴などの付着物を検出する。付着物検出装置１０は、車両のウィンドシールド５０の内面である第２反射面５４にシリコンシート４０を介して固定される。付着物検出装置１０は、例えば車両のフロントガラスの内側で、ワイパー払拭範囲内のドライバーの視界を妨げない位置に固定される。付着物検出装置１０は、例えば、車両のフロントガラスの内側のバックミラーの近傍に固定される。ウィンドシールド５０は、光を透過する透光板の一例である。ウィンドシールド５０の第１反射面５２は、透光板の光源２０と反対側の面の一例であり、ウィンドシールド５０の第２反射面５４は、透光板の光源２０側の面の一例である。また、シリコンシート４０は、付着物検出装置１０とウィンドシールド５０とに挟持され、ウィンドシールド５０の第２反射面５４での光の反射を低減させる光透過性の中間層の一例である。なお、付着物検出装置１０は、例えば車両のリアガラスなどに設置されてもよい。

付着物検出装置１０は、光源２０、プリズム３０、ミラー３２、撮像部１００、制御部２００および筐体６０を備える。筐体６０は、本体６２およびカバー６４を有する。筐体６０は、光源２０、プリズム３０、ミラー３２、撮像部１００、および制御部２００を収容する。

光源２０は、例えば近赤外光を出射するＬＥＤなどの発光素子である。光源２０は、カバー６４の内側に設けられ、プリズム３０を介してウィンドシールド５０に対して照射光を斜入射させる。プリズム３０は、ポリカーボネートなどの光透過性の樹脂またはガラスで形成される光学系である。プリズム３０は、本体６２の底面に設けられる。プリズム３０は、本体６２と一体的に形成されてもよい。

プリズム３０は、入射側レンズ面３０ａおよび出射側レンズ面３０ｂを有する。入射側レンズ面３０ａは、凸形状を有し、光源２０から照射された照射光を平行光にして、平行光である照射光をウィンドシールド５０に対して傾斜させて入射させる。照射光は、第１反射面５２、第２反射面５４、およびシリコンシート４０とプリズム３０との境界面である第３反射面４２でそれぞれ反射する。照射光の第１反射面５２に対する入射角は、ウィンドシールド５０の屈折率およびウィンドシールド５０の第１反射面５２に接する空気等の媒体の屈折率を考慮して、照射光が第１反射面５２において全反射可能な角度であることが好ましい。第１反射面５２で反射された第１反射光Ｒ１、第２反射面５４で反射された第２反射光Ｒ２、および第３反射面４２で反射された第３反射光Ｒ３を含む反射光は、プリズム３０を介して出射側レンズ面３０ｂに導かれる。出射側レンズ面３０ｂは、凸形状を有し、第１反射光Ｒ１、第２反射光Ｒ２、および第３反射光Ｒ３を含む反射光を集光する。なお、第１反射光Ｒ１は、ウィンドシールド５０の外面で反射する第１照明光の一例である。第２反射光Ｒ２は、ウィンドシールド５０の内面で反射する第２照明光の一例である。第３反射光Ｒ３は、付着物検出装置１０とウィンドシールド５０に挟持された光透過性の中間層のうち付着物検出装置１０との境界面で反射する第３照明光の一例である。

なお、第２反射光Ｒ２は、ウィンドシールド５０の光源２０側の面で反射する反射光に加えて、シリコンシート４０のウィンドシールド５０側の面で反射する反射光も含む。ウィンドシールド５０のシリコンシート４０側の面と、シリコンシート４０のウィンドシールド５０側の面とは互いに接触しているので、それぞれの反射光の光路にはほんど差がない。したがって、第２反射光Ｒ２は、それぞれの反射光を含む。同様に、第３反射光Ｒ３は、シリコンシート４０のプリズム３０側の面で反射する反射光に加えて、プリズム３０のシリコンシート４０側の面で反射する反射光も含む。また、ウィンドシールド５０の外面に撥水機能などを有するコーティング層が塗布されている場合には、第１反射光Ｒ１は、コーティング層の両面において反射する反射光も含む。

ミラー３２は、出射側レンズ面３０ｂから出射された反射光を反射させて、撮像部１００に導く。入射側レンズ面３０ａを含むプリズム３０の一部分は、光源２０からの入射光を平行光にしてウィンドシールド５０の第１反射面５２に対して斜入射させる入射光学系として機能する。また、出射側レンズ面３０ｂを含むプリズム３０の一部分およびミラー３２は、反射光を集光する集光光学系として機能する。なお、入射光学系および集光光学系は、ウィンドシールド５０の屈折率および厚さ、付着物検出領域１１０の範囲などを考慮して、ウィンドシールド５０に斜入射された照射光が第１反射面５２で全反射し、かつ全反射された照射光に基づく付着物検出領域１１０の画像を撮像部１００が撮像できるように設計される。

撮像部１００は、本体６２に設けられ、反射光を受光して、ウィンドシールド５０の外面である第１反射面５２の付着物検出領域１１０の画像を示す画像データを出力する。制御部２００は、カバー６４の内側に設けられ、撮像部１００から出力された画像データに基づいて第１反射面５２の付着物検出領域１１０に付着した付着物を検出する。制御部２００は、付着物の検出結果を例えばワイパーの制御を行うワイパー制御装置に出力する。なお、反射光を撮像部１００に導くためのミラーの配置および数は上記の配置および数には限定されない。また、撮像部１００および制御部２００が配置される位置は上記位置には限定されない。

ウィンドシールド５０の第１反射面５２に雨滴などの付着物が付着している場合、ウィンドシールド５０の屈折率と、第１反射面５２に付着した付着物の屈折率とが、全反射の条件を満たさなくなる。その結果、ウィンドシールド５０に斜入射され、ウィンドシールド５０の第１反射面５２まで達した照射光の一部が第１反射面５２で反射せずに、透過してしまう。したがって、付着物が付着している場合、撮像部１００に入射される第１反射面５２で反射した反射光、つまり第１反射光Ｒ１の光強度は、付着物が付着していない場合に撮像部１００に入射される第１反射光Ｒ１の光強度よりも小さくなる。よって、画像データが表す画像において付着物の画像が存在する領域の輝度値は、付着物の画像が存在しない領域の輝度値に比べて小さくなる。そこで、付着物検出装置１０は、画像において予め定められた閾値以下の輝度値をもつ領域が存在し、かつその領域の大きさが予め定められた基準面積以上の場合には、その領域を付着物の画像が存在する付着物領域として検出する。

ところが、上記の通り、撮像部１００に入射される反射光は、付着物の検出に用いられる主成分である第１反射光Ｒ１のほかに、副成分である第２反射光Ｒ２および第３反射光Ｒ３など他の反射光も含む。なお、主成分である第１反射光Ｒ１の割合は、副成分である第２反射光Ｒ２および第３反射光Ｒ３の割合より大きい場合もあれば、等しい場合、あるいは小さい場合もある。また、図１に示す入射光学系および集光光学系を有する付着物検出装置１０において、図１の矢印７０で示す方向をＸ方向とした場合、第１領域１０１に含まれる照射光による反射光は、第１反射光Ｒ１のみである。これに対して、第２領域１０２に含まれる照射光による反射光は、第１反射光Ｒ１および第２反射光Ｒ２である。さらに、第３領域１０３に含まれる照射光による反射光は、第１反射光Ｒ１、第２反射光Ｒ２および第３反射光Ｒ３である。したがって、第１反射面５２に付着物が付着していない場合でも、撮像部１００の受光面における光強度は、領域毎に異なってしまう。よって、付着物が付着していない場合でも、反射光に基づき出力される画像データが表す画像の輝度値は、領域毎に差が生じてしまう。

ここで、車両に搭載されるウィンドシールド５０は、赤外光をカットする機能を有する素材が用いられることがある。この場合、ウィンドシールド５０に斜入射される近赤外光がウィンドシールド５０内で減衰する割合が増加してしまう。よって、この場合、撮像部１００に入射される反射光に占める第１反射光Ｒ１の割合が減少してしまう。つまり、撮像部１００に入射される反射光に占める第２反射光Ｒ２および第３反射光Ｒ３の割合が増加してしまう。その結果、赤外光をカットする機能を有さない場合に比べて、画像データにおける第２反射光Ｒ２および第３反射光Ｒ３に起因する輝度成分の影響により、画像データに基づく付着物の検出の精度が低下する可能性が高い。

図２および図３は、付着物が第１反射面５２に付着した状態で撮像部１００により撮像された画像データが表す画像の一部を示す画像８０、および画像８０のＸ方向における光強度の一例を示す。画像８０の第１領域１０１には、付着物３０１、画像８０の第２領域１０２には、付着物３０２、画像８０の第３領域１０３には、付着物３０３が存在する。なお、図２および図３における第１領域１０１、第２領域１０２、および第３領域１０３は、図１に示す第１領域１０１、第２領域１０２、および第３領域１０３に対応する。破線で示される閾値Ｔは、付着物を検出すべく画像データが表す画像の輝度値と比較される閾値を示す。図２は、ウィンドシールド５０として赤外光をカットする機能を有さないウィンドシールドが用いられる場合の例である。一方、図３は、ウィンドシールド５０として赤外光をカットする機能を有するウィンドシールドが用いられる場合の例である。なお、本実施形態では、光源２０から照射される照射光を均一な平行光にしてウィンドシールド５０に照射している。したがって、画像８０における輝度値が異なる領域間の境界が直線状となる。このように画像の輝度値が異なる領域間の境界を直線状にすることで、画像における輝度値が異なる領域を特定しやすくなる。しかし、照射光が均一光または平行光でなくても、画像に現れる輝度分布には、第１領域、第２領域、および第３領域のそれぞれの境界に段差が現れるので、照射光に起因する各領域内の輝度分布を考慮すれば、境界を特定することができる。したがって、付着物検出装置１０は、様々な光源および照射光学系を選択し得る。

図２に示すようにウィンドシールド５０が赤外光をカットする機能を有さない素材で構成される場合、画像の領域間の輝度差が比較的少ない。したがって、それぞれの領域に対する閾値が同じ値であっても、それぞれの領域に対応する位置に付着した付着物を適切に検出できる場合が多い。一方、図３に示すように、ウィンドシールド５０が赤外光をカットする機能を有する素材で構成される場合、領域間の輝度差が比較的多い。したがって、それぞれの領域に対する閾値が同じ値の場合には、領域によっては付着物を適切に検出できない場合がある。図３に示す画像８０の場合には、第３領域１０３に存在する付着物３０３を検出できない。

以上のように、ウィンドシールド５０が赤外光をカットする機能を有する素材の場合、ウィンドシールド５０が赤外光をカットする機能を有さない素材の場合に比べて、画像データに基づく付着物の検出の精度がより低下してしまう。

図４は、付着物検出装置１０の内部回路３００を模式的に示すブロック図である。内部回路３００は、撮像部１００および制御部２００を備える。撮像部１００は、撮像素子駆動部１１２、撮像素子１１４、およびアナログデジタル変換部１１６を有する。撮像素子１１４は、撮像素子駆動部１１２により特定のタイミングで駆動され、反射光を受光し、受光した反射光を光電変換して画像信号を出力する。撮像素子１１４から出力された画像信号は、アナログデジタル変換部１１６により離散化され、制御部２００において画像データに変換される。ここで、撮像素子１１４が受光する反射光は、赤外光である。したがって、撮像素子１１４は、赤外線カットフィルターを有さない。また、付着物の検出は、画像データにおける輝度成分の大きさに基づいて行われる。したがって、画像データが表す画像は、グレースケール画像でよい。例えば、通常の撮像ユニットを利用する場合には、赤外カットフィルターが組み込まれていないユニットを利用するか、赤外カットフィルターを取り外して利用すれば良い。ただし、この場合、撮像素子の画素が、赤外光の波長領域まで感知できることを要する。

制御部２００は、ＣＰＵ２１０、プログラムメモリ２２０、およびメインメモリ２３０を有する。ＣＰＵ２１０は、ロードされたプログラムを実行して付着物検出装置１０全体を包括的に制御する。ＣＰＵ２１０には、プログラムメモリ２２０、メインメモリ２３０および撮像部１００が接続される。プログラムメモリ２２０は、不揮発性記録媒体および読出専用記録媒体の少なくとも一方を含み、ＣＰＵ２１０が実行するファームウエア等を、電力の供給なしに保持する。メインメモリ２３０はＲＡＭを含み、ＣＰＵ２１０の作業領域として使用される。

ＣＰＵ２１０は、検出部２１２、領域情報生成部２１４、輝度差情報生成部２１６を含む。また、プログラムメモリ２２０は、情報格納部２３２を含む。検出部２１２は、アナログデジタル変換部１１６から取得した画像信号を画像データに変換する。検出部２１２は、画像データにおける照射光による反射光のうち第１反射光Ｒ１以外の反射光に起因する輝度成分の影響を低減して、第１反射面５２に付着した付着物を画像データから検出する。より具体的には、検出部２１２は、画像データが表す画像の輝度値に基づいて付着物を検出する。情報格納部２３２は、検出部２１２が付着物を検出する場合に画像の輝度値と比較される予め定められた閾値に関する閾値情報を格納する。また、情報格納部２３２は、検出部２１２が、画像において輝度値が異なる領域を特定するために参照する、当該異なる領域に関する領域情報を格納する。加えて、情報格納部２３２は、検出部２１２が輝度成分の影響を低減するために参照する、画像における領域間の輝度差に関する輝度差情報を格納する。

領域情報生成部２１４は、情報格納部２３２に格納すべき領域情報を生成する。輝度差情報生成部２１６は、情報格納部２３２に格納すべき輝度差情報を生成する。ここで、ウィンドシールド５０の厚みは、付着物検出装置１０が搭載される車両の車種などによって異なる。よって、画像におけるそれぞれの反射光が到達する領域および領域間の輝度差は車種によって異なる。そこで、領域情報生成部２１４および輝度差情報生成部２１６は、例えば、付着物検出装置１０が実際に搭載される車両のウィンドシールド５０に設置され、付着物検出装置１０が最初に起動された後に、領域情報および輝度差情報を生成する。

領域情報生成部２１４は、まず、撮像部１００により第１反射面５２に付着物が付着していない状態で撮像された検査画像データを取得する。領域情報生成部２１４は、検査画像データが表す検査画像の輝度値分布に基づいて、検査画像における照射光による反射光のうち第１反射光Ｒ１のみが到達する領域と、それ以外の領域とに関する領域情報を生成し、情報格納部２３２に登録する。さらに言えば、領域情報生成部２１４は、検査画像の輝度値分布に基づいて、検査画像における照射光による反射光のうち第１反射光Ｒ１のみが到達する第１領域１０１、照射光による反射光のうち第１反射光Ｒ１に第２反射光Ｒ２が重畳されて到達する第２領域１０２、および照射光による反射光のうち第１反射光Ｒ１に第２反射光Ｒ２と第３反射光Ｒ３が重畳されて到達する第３領域１０３に関する領域情報を生成する。例えば、領域情報生成部２１４は、検査画像内の輝度値の変化が急峻となる境界を示すエッジを検出することにより、それぞれの領域を特定し、領域情報を生成する。

輝度差情報生成部２１６は、情報格納部２３２が格納する領域情報を参照して、検査画像における第１領域１０１、第２領域１０２、および第３領域１０３を特定する。次いで、輝度差情報生成部２１６は、第１領域１０１の平均輝度値を示す第１平均輝度値、第２領域１０２の平均輝度値を示す第２平均輝度値、および第３領域１０３の平均輝度値を示す第３平均輝度値を算出する。さらに、輝度差情報生成部２１６は、第１平均輝度値と第２平均輝度値との差分を示す第１差分値、および第１平均輝度値と第３平均輝度値との差分を示す第２差分値とを算出する。そして、輝度差情報生成部２１６は、第１差分値および第２差分値を輝度差情報として、情報格納部２３２に登録する。

検出部２１２は、画像データにおける照射光による反射光のうち第１反射光Ｒ１以外の反射光に起因する輝度成分の影響を低減して、第１反射面５２に付着した付着物を画像データから検出する。検出部２１２は、画像データが表す画像において、ウィンドシールド５０で反射した照明光のうち第１反射光Ｒ１が到達する領域と、第１反射光Ｒ１に加えてそれ以外の照明光が到達する他の領域との間に生じる輝度差を低減してもよい。検出部２１２は、第１反射光Ｒ１に加えてそれ以外の照明光が到達する他の領域の輝度値から当該輝度差を減算することにより、輝度差を低減してもよい。より具体的には、検出部２１２は、撮像部１００から出力される画像データにおける第２反射光Ｒ２および第３反射光Ｒ３に起因する輝度成分の影響を低減して、第１反射面５２に付着した付着物を画像データから検出する。より具体的には、検出部２１２は、情報格納部２３２が格納する閾値情報を参照し、予め定められた閾値を取得する。検出部２１２は、画像データが表す画像において予め定められた閾値以下の輝度値をもつ予め定められた基準面積以上の領域を付着物の画像が存在する付着物領域として検出する。例えば、検出部２１２は、画像を構成する画素群の中から予め定められた閾値以下の輝度値をもつ隣接する画素群を検索し、検索された画素群に含まれる画素数が基準数以上の場合には、当該画素群により画定される領域を付着物領域として検出する。なお、画像がグレースケール画像の場合には、検出部２１２は、画像を構成する各画素のそれぞれの画素値を輝度値として用いてもよい。また、撮像素子１１４がカラーフィルタを有し、画像がカラー画像の場合には、検出部２１２は、画像を構成する各画素のそれぞれのＲＧＢ値を選択して輝度値として用いてもよい。この場合、選択した画素のフィルターは、赤外光の波長領域を透過するように設定されている。

なお、情報格納部２３２に格納される閾値情報が示す予め定められた閾値は、実験により設定された値を用いればよい。すなわち、ウィンドシールド５０の付着物検出領域１１０に雨滴を模した水滴を付着させた状態で撮像部１００に付着物検出領域１１０を撮像させる。撮像された画像データが示す画像を構成する各画素のうち他の画素の輝度値と比べて急峻に輝度値が変化する画素を検索する。このような検索を複数の画像データにより複数回繰り返し、検索された各画素の輝度値の平均輝度値を算出する。そして、算出された平均輝度値に基づいて閾値を設定する。また、基準面積または基準数も、実験により設定された値を用いればよい。例えば、ウィンドシールド５０の付着物検出領域１１０に雨滴を模した、運転者の運転に影響を与える恐れがある大きさの水滴を付着させた画像を撮像部１００に撮像させる。撮像された画像から水滴に対応する領域を特定し、特定された領域の面積または画素数を算出する。そして、算出された面積または画素数に基づいて基準面積または基準数を設定する。

検出部２１２は、上記の通り、画像データにおける第２反射光Ｒ２および第３反射光Ｒ３に起因する輝度成分の影響を低減して、第１反射面５２に付着した付着物を画像データから検出する。検出部２１２は、画像データが表す画像において、照射光による反射光のうち第１反射光Ｒ１のみが到達する領域と、それ以外の領域との間に生じる輝度差を低減することにより輝度成分の影響を低減する。さらに言えば、検出部２１２は、画像データが表す画像における第１領域１０１、第２領域１０２、および第３領域１０３のそれぞれの間の輝度差を低減することにより輝度成分の影響を低減する。例えば、検出部２１２は、情報格納部２３２が格納する輝度差情報が示す第１差分値を参照して、画像データが表す画像における第２領域１０２の輝度値を第１差分値だけ減算する。さらに、検出部２１２は、輝度差情報が示す第２差分値を参照して、画像データが表す画像における第３領域１０３の輝度値を第２差分値だけ減算する。これにより、検出部２１２は、画像データが表す画像における第１領域１０１、第２領域１０２、および第３領域１０３のそれぞれの間の輝度差を低減できる。よって、検出部２１２は、それぞれの領域において同一の閾値を用いて付着物の検出を行っても、検出の精度が低下することを防止できる。つまり、検出部２１２は、第１反射面５２の付着物検出領域１１０のいずれの位置に付着した付着物でも精度良くその付着物を検出できる。なお、検出部２１２は、画像の領域間の輝度差を小さくできればよく、画像の領域間の輝度差をゼロにしなくてもよい。

領域情報および輝度差情報を生成するために用いられる検査画像の輝度値分布は、光源２０からの照射光以外の外光などの影響によっても変化する。そこで、領域情報生成部２１４および輝度差情報生成部２１６は、昼間に撮像された検査画像および夜間に撮像された検査画像のそれぞれについて、領域情報および輝度差情報を生成してもよい。この場合、情報格納部２３２は、昼間用および夜間用の領域情報および輝度差情報を格納する。そして、検出部２１２は、例えば車両のライトの自動点灯を制御するために用いられる光検知センサからの光検知信号に基づいて現在が昼間か夜間かを判定し、判定結果に応じた領域情報および輝度差情報を参照して、付着物を検出する。

なお、領域情報および輝度差情報は、付着物検出装置１０の設計段階で、実験において生成し、予め情報格納部２３２に格納しておいてもよい。この場合には、ＣＰＵ２１０は、領域情報生成部２１４および輝度差情報生成部２１６を有さなくてもよい。

図５は、付着物が第１反射面５２に付着した状態で撮像部１００により撮像された画像データに対して第２反射光Ｒ２および第３反射光Ｒ３に起因する輝度成分の影響を低減する処理が施された後の画像８０、および第２反射光Ｒ２および第３反射光Ｒ３に起因する輝度成分の影響を低減する処理が施された後の当該画像８０のＸ方向における光強度の大きさを示す。このように、輝度成分の影響を低減する処理が施された後の画像は、領域間の輝度差が低減されている。よって、検出部２１２は、画像において輝度差があるそれぞれの領域に含まれる画素群から、付着物の画像を構成する閾値以下の輝度値をもつ画素群を確実に検索できる。例えば、検出部２１２は、画像８０を構成する画素群の中から付着物３０１、３０２および３０３のそれぞれに対応する領域に含まれる閾値Ｔ以下の輝度値をもつ隣接する画素群を検索できる。検出部２１２は、検索されたそれぞれの画素群に含まれる画素数が基準数以上であると判断して、それぞれの画素群により画定される領域をそれぞれ付着物３０１、３０２、および３０３が存在する付着物領域として検出できる。したがって、検出部２１２がそれぞれの領域において同一の閾値Ｔを用いて付着物の検出を行っても、それぞれの領域に存在する付着物３０１，３０２、および３０３を確実に検出できる。つまり、検出部２１２は、同一の閾値Ｔを用いても、付着物検出領域１１０内のいずれの位置に存在する付着物でも確実に検出できる。

なお、輝度差情報生成部２１６は、第１平均輝度値と第３平均輝度値との差分を示す第３差分値、および第２平均輝度値と第３平均輝度値との差分を示す第４差分値とを算出してもよい。この場合、検出部２１２は、画像データが表す画像における第１領域１０１の輝度値に第３差分値を加算する。さらに、検出部２１２は、画像データが表す画像における第２領域１０２の輝度値に第４差分値を加算する。これにより、検出部２１２は、画像データが表す画像における第１領域１０１、第２領域１０２、および第３領域１０３のそれぞれの間の輝度差を低減できる。

図６は、本実施形態に係る付着物検出装置１０の変形例における内部回路３００を模式的に示すブロック図である。本変形例において、内部回路３００は、輝度差情報生成部２１６の代わりに、閾値情報生成部２１８を備える。また、情報格納部２３２は、画像の輝度値と比較される閾値に関する閾値情報を格納する。検出部２１２は、画像の輝度値と比較される閾値として、画像における第１反射光Ｒ１のみが到達する領域と、それ以外の領域とでそれぞれ異なる閾値を用いることにより、第１反射光Ｒ１以外の反射光に起因する輝度成分の影響を低減する。そこで、情報格納部２３２は、閾値情報として、それぞれの領域毎の閾値に関する閾値情報を格納する。さらに言えば、情報格納部２３２は、画像の第１領域１０１に対応する第１閾値、画像の第２領域１０２に対応する第１閾値より大きい第２閾値、画像の第３領域１０３に対応する第２閾値より大きい第３閾値のそれぞれに関する閾値情報を格納する。

閾値情報生成部２１８は、情報格納部２３２に格納すべき閾値情報を生成する。閾値情報生成部２１８は、撮像部１００により第１反射面５２に付着物が付着していない状態で撮像された検査画像データに基づいて、領域毎に用いられるそれぞれ異なる閾値に関する閾値情報を生成する。閾値情報生成部２１８は、例えば、付着物検出装置１０がウィンドシールド５０に設置され、最初に起動した後に、閾値情報を生成する。

より具体的には、閾値情報生成部２１８は、情報格納部２３２が格納する領域情報を参照して、検査画像データが表す検査画像における第１領域１０１、第２領域１０２、および第３領域１０３を特定する。閾値情報生成部２１８は、第１領域１０１の平均輝度値を示す第１平均輝度値、第２領域１０２の平均輝度値を示す第２平均輝度値、および第３領域１０３の平均輝度値を示す第３平均輝度値を算出する。さらに、閾値情報生成部２１８は、第１平均輝度値と第２平均輝度値との差分を示す第１差分値、および第１平均輝度値と第３平均輝度値との差分を示す第２差分値とを算出する。そして、閾値情報生成部２１８は、予め情報格納部２３２に格納されている第１領域１０１に対する第１閾値を取得し、第１閾値と第１差分値とを加算することで、第２領域１０２に対する第２閾値を算出する。また、閾値情報生成部２１８は、第１閾値と第２差分値とを加算することで、第３領域１０３に対する第３閾値を算出する。ついで、閾値情報生成部２１８は、算出した第２閾値および第３閾値を第１閾値とともに閾値情報として情報格納部２３２に登録する。なお、閾値情報生成部２１８は、第１閾値と、第１差分値および第２差分値とを閾値情報として情報格納部２３２に登録してもよい。なお、閾値情報は、付着物検出装置１０の設計段階で、実験において生成し、予め情報格納部２３２に格納しておいてもよい。この場合には、ＣＰＵ２１０は、閾値情報生成部２１８を有さなくてもよい。

検出部２１２は、画像の輝度値と比較される閾値として、画像における第１反射光Ｒ１のみが到達する領域と、それ以外の領域とでそれぞれ異なる閾値を用いることにより、第１反射光Ｒ１以外の反射光に起因する輝度成分の影響を低減する。異なる閾値は、第１反射光Ｒ１のみが到達する領域と、第１反射光Ｒ１に加えてそれ以外の照明光が到達する他の領域との間で生じる輝度差に応じて設定されてもよい。より具体的には、検出部２１２は、情報格納部２３２に格納された閾値情報を参照して、画像の第１領域１０１に対する第１閾値を取得する。検出部２１２は、画像の第１領域１０１の輝度値と第１閾値との比較により第１領域１０１における付着物を検出する。また、検出部２１２は、閾値情報を参照して、画像の第２領域１０２に対する第２閾値を取得する。検出部２１２は、画像の第２領域１０２の輝度値と第２閾値との比較により第２領域１０２における付着物を検出する。さらに、検出部２１２は、閾値情報を参照して、画像の第３領域１０３に対する第３閾値を取得する。検出部２１２は、画像の第３領域１０３の輝度値と第３閾値との比較により第３領域１０３における付着物を検出する。これにより、第１反射光Ｒ１以外の反射光に起因する輝度成分の影響で画像のそれぞれの領域間に輝度差が生じている場合でも、検出部２１２は、画像のそれぞれの領域に対応する位置に存在する付着物を検出できる。

図７は、付着物が第１反射面５２に付着した状態で撮像部１００により撮像された画像データが表す画像８０、および各領域の閾値および画像８０のＸ方向における光強度の大きさを示す。このように、領域間の輝度差に応じて領域毎に閾値が異なる。よって、検出部２１２は、画像８０を構成する画素群の中から領域毎に異なる閾値を用いて領域毎にそれぞれの閾値以下の輝度値をもつ隣接する画素群を検索できる。例えば、検出部２１２は、輝度差があるそれぞれの領域である第１領域１０１、第２領域１０２、および第３領域１０３の閾値である閾値Ｔ１、閾値Ｔ２および閾値Ｔ３を用いて、画像８０を構成する画素群の中から付着物３０１、３０２および３０３のそれぞれに対応する領域に含まれる閾値Ｔ１、閾値Ｔ２および閾値Ｔ３以下の輝度値をもつ隣接する画素群を検索できる。検出部２１２は、検索されたそれぞれの画素群に含まれる画素数が基準数以上であると判断して、それぞれの画素群により画定される領域をそれぞれ付着物３０１、３０２、および３０３が存在する付着物領域として検出できる。このように、領域間の輝度差に応じて領域毎に設定された閾値を用いて付着物の検出を行うことで、第１反射光Ｒ１以外の反射光に起因する輝度成分の影響で画像のそれぞれの領域間に輝度差が生じている場合でも、検出部２１２は、画像のそれぞれの領域に対応する第１反射面５２に存在する付着物を検出できる。

なお、上記では、検出部２１２は、光源２０からの照射光を全反射可能な入射角で、第１反射面５２に斜入射させて、付着物が付着している第１反射面５２において全反射しない場合に生じる輝度値の変化に基づいて付着物を検出する例について説明した。しかし、例えば、画像データが示す画像から輝度値の変化を検知することで付着物を検出できるのであれば、光源２０からの照射光は、ウィンドシールド５０に対して全反射可能な入射角で斜入射させなくてもよい。例えば、付着物検出装置１０が備える光学系によっては、光源２０からの照射光を全反射しない入射角で第１反射面５２に照射した場合に、境界面の屈折率の変化により、第１反射面５２に付着物が付着していない場合に比べて、付着物が付着している場合のほうが、第１反射面５２で反射する第１反射光Ｒ１の割合が多くなることも考えられる。このような場合には、検出部２１２は、画像データが示す画像を構成する画素群の中から予め定められた閾値以上の画素群を検索することで付着物を検出してもよい。

上記では、付着物検出装置１０は、ウィンドシールド５０の第２反射面５４での光の反射を低減させるシリコンシート４０を介してウィンドシールド５０に固定される例について説明した。しかし、付着物検出装置１０は、シリコンシート４０を介さずウィンドシールド５０に固定されてもよい。この場合、第３反射光Ｒ３は存在しない。したがって、検出部２１２は、撮像部１００から出力される画像データにおける第２反射光Ｒ２に起因する輝度成分の影響を低減して、第１反射面５２に付着した付着物を画像データから検出すればよい。また、ウィンドシールド５０は、例えば紫外線をカットするコーティングが施されているなど、多層構造化されている場合がある。このような場合には、更なる反射光が存在する。しかし、上記の実施形態と同様にこれらの反射光に起因する輝度成分の影響を低減すれば、やはり付着物を検出することができる。

また、上記では、検出部２１２は、画像データにおける第２反射光Ｒ２および第３反射光Ｒ３に起因する輝度成分の影響を低減した後、当該画像データが表す画像のうち第１領域１０１、第２領域１０２、および第３領域１０３のすべての領域の画像の輝度値に基づいて、第１反射面５２に付着した付着物を画像データから検出している。しかし、検出部２１２は、画像データが表す画像において、ウィンドシールド５０で反射した照射光のうち第１反射光Ｒ１が到達する領域を用いて付着物を検出してもよい。検出部２１２は、画像データが表す画像のうち第１領域１０１の画像の輝度値のみに基づいて付着物の検出を行うことで、画像データにおける第２反射光Ｒ２および第３反射光Ｒ３に起因する輝度成分の影響を低減してもよい。つまり、検出部２１２は、画像データが表す画像のうち第２領域１０２および第３領域１０３の画像については、付着物の検出には利用しないことで、画像データにおける第２反射光Ｒ２および第３反射光Ｒ３に起因する輝度成分の影響を低減してもよい。さらに、例えば、ミラー３２に第２反射光Ｒ２および第３反射光Ｒ３を遮光する遮光フィルターなどの遮光手段を設けることで、画像データにおける第２反射光Ｒ２および第３反射光Ｒ３に起因する輝度成分の影響を低減してもよい。この場合、撮像部１００は、第２反射光Ｒ２および第３反射光Ｒ３に起因する輝度成分の影響が低減された反射光を受光面で受光する。そして、検出部２１２は、第１反射光Ｒ１に基づく画像データから第１反射面５２に付着した付着物を検出する。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。

請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ 付着物検出装置
２０ 光源
３０ プリズム
３２ ミラー
４０ シリコンシート
４２ 第３反射面
５０ ウィンドシールド
５２ 第１反射面
５４ 第２反射面
１００ 撮像部
１１２ 撮像素子駆動部
１１４ 撮像素子
１１６ アナログデジタル変換部
２００ 制御部
２１２ 検出部
２１４ 領域情報生成部
２１６ 輝度差情報生成部
２１８ 閾値情報生成部
２２０ プログラムメモリ
２３０ メインメモリ
２３２ 情報格納部
３００ 内部回路
Ｒ１ 第１反射光
Ｒ２ 第２反射光
Ｒ３ 第３反射光

Claims (15)

1. ウィンドシールドに対して光源から斜入射された照明光のうち、前記ウィンドシールドで反射した前記照明光に基づいて前記ウィンドシールドの外面に付着する付着物を検出する付着物検出装置であって、
   前記ウィンドシールドの外面で反射する第１照明光と、前記ウィンドシールドの内面で反射する第２照明光とを含む前記照明光を受光して画像データを出力する撮像部と、
   前記画像データにおける前記第２照明光に起因する輝度成分の影響を低減して、前記ウィンドシールドの外面に付着する前記付着物を前記画像データから検出する検出部と、
   を備える付着物検出装置。
2. 前記撮像部は、前記付着物検出装置と前記ウィンドシールドに挟持された光透過性の中間層のうち前記付着物検出装置との境界面で反射する第３照明光および前記第２照明光とともに前記第１照明光を受光して前記画像データを出力し、
   前記検出部は、前記画像データにおける前記第２照明光および前記第３照明光に起因する輝度成分の影響を低減して、前記付着物を前記画像データから検出する請求項１に記載の付着物検出装置。
3. 前記検出部は、前記画像データが表す画像において、前記反射した照射光のうち前記第１照明光が到達する領域と、前記第１照明光に加えてそれ以外の照明光が到達する他の領域との間に生じる輝度差を低減する請求項１または請求項２に記載の付着物検出装置。
4. 前記検出部は、前記画像における前記他の領域の輝度値から前記輝度差を減算することにより、前記輝度差を低減する請求項３に記載の付着物検出装置。
5. 前記検出部は、前記輝度差を減算した前記画像の全ての領域における輝度値を、一の閾値と比較することで前記付着物を検出する請求項４に記載の付着物検出装置。
6. 前記輝度差に関する輝度差情報を格納する情報格納部を備え、
   前記検出部は、前記輝度差情報を参照して前記付着物を検出する請求項３から５のいずれか一項に記載の付着物検出装置。
7. 前記撮像部により前記外面に前記付着物が付着していない状態で撮像された検査画像データに基づいて、前記輝度差情報を生成する輝度差情報生成部を備える請求項６に記載の付着物検出装置。
8. 前記検出部は、前記付着物を検出すべく前記画像データが表す画像の輝度値と比較される閾値として、前記画像における前記第１照明光が到達する領域と、前記第１照明光に加えてそれ以外の照明光が到達する他の領域とでそれぞれ異なる閾値を用いることにより、前記輝度成分の影響を低減する請求項１または請求項２に記載の付着物検出装置。
9. 前記異なる閾値は、前記第１照明光のみが到達する領域と、前記他の領域との間に生じる輝度差に応じて設定される請求項８に記載の付着物検出装置。
10. 前記異なる閾値に関する閾値情報を格納する情報格納部を備え、
    前記検出部は、前記閾値情報を参照して前記付着物を検出する請求項８または９に記載の付着物検出装置。
11. 前記撮像部により前記外面に前記付着物が付着していない状態で撮像された検査画像データに基づいて、前記閾値情報を生成する閾値情報生成部をさらに備える請求項１０に記載の付着物検出装置。
12. 前記撮像部により前記外面に前記付着物が付着していない状態で撮像された検査画像データが表す画像の輝度値分布に基づいて、前記照明光のうち前記第１照明光が到達する領域と、前記他の領域とに関する領域情報を生成する領域情報生成部を備え、
    前記検出部は、前記領域情報を参照して前記第１照明光が到達する領域と、前記他の領域とを特定し、前記付着物を検出する請求項３から請求項１１のいずれか１つに記載の付着物検出装置。
13. 前記検出部は、前記画像データが表す画像において、前記反射した照射光のうち前記第１照明光が到達する領域を用いて前記付着物を検出する請求項１または２に記載の付着物検出装置。
14. 前記撮像部は、赤外光の透過を低減する機能を有する前記ウィンドシールドに対して、前記光源から斜入射された赤外光である前記照明光を受光して画像データを出力する請求項１から請求項１３のいずれか１つに記載の付着物検出装置。
15. ウィンドシールドに対して光源から斜入射された照明光のうち、前記ウィンドシールドで反射した前記照明光に基づいて前記ウィンドシールドの外面に付着する付着物を検出する付着物検出装置であって、
    前記ウィンドシールドの内面で反射する第２照明光を遮光する遮光手段と、
    前記ウィンドシールドの外面で反射する第１照明光を受光して、画像データを出力する撮像部と、
    前記ウィンドシールドの外面に付着した前記付着物を前記画像データから検出する検出部と
    を備える付着物検出装置。