JP6750449B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関するものである。

従来、例えば特許文献１に記載されているように、レンズ及び撮像素子を備えたカメラにより車室内側から車両のフロントウインドシールドを撮像し、撮像した画像に基づいてフロントウインドシールドの外表面に雨滴等の水滴が付着していることを検出する撮像装置（雨滴検出装置）がある。このような撮像装置では、フロントウインドシールドの外表面に付着した雨滴が撮像対象であるため、撮像対象から撮像素子において撮像対象の像が結像する撮像面までの物像間距離が短く、像間距離（レンズ後側主点から撮像面までの距離）が長い。

また、近年、同様のカメラにより車両の周辺を撮像し、撮像した画像に基づいて運転者への運転支援（走行時に障害物等を検出し衝突を回避する等）を積極的に行う撮像装置（運転支援装置）も提案されている（例えば特許文献２参照）。このような撮像装置では、車両の前方の遠景や、車両の周辺に存在する別の車両や障害物等が撮像対象となるため、撮像対象から撮像面までの物像間距離が長く、像間距離（レンズ後側主点から撮像面までの距離）が短い。

そして、特許文献３には、遠方の撮像対象と近傍の撮像対象とを単一の撮像装置で撮像する技術が記載されている。特許文献２に記載された撮像装置は、ケースの開口から同ケース内に入射した入射光をハーフミラーで分岐し、分岐された一方の入射光を第１レンズを介して第１撮像面に集光し、他方の入射光を第１レンズとは焦点距離の異なる第２レンズを介して第２撮像面に集光するように構成されている。

特開２００１−１４７２７８号公報 特開２０１５−１９４９６２号公報 特開平４−３００７４８号公報

ところで、特許文献３に記載された撮像装置においては、第１レンズと第１撮像面との間の距離（第１レンズの後側主点から第１撮像面までの像間距離）、並びに、第２レンズと第２撮像面との間の距離（第２レンズの後側主点から第２撮像面までの像間距離）は、ピントを合わせたい撮像対象に応じてそれぞれ所定の距離だけ確保する必要がある。しかしながら、第１及び第２撮像面とハーフミラーとの間に第１及び第２レンズがそれぞれ配置された構成であるため、上記所定の距離を確保するために装置が大型化されてしまうという問題があった。

本発明は、上記課題を解決するためになされたものであって、その目的は、装置の大型化を抑制することができる撮像装置を提供することにある。

上記課題を解決する撮像装置は、レンズと、前記レンズを透過した光の光路上に配置されたビームスプリッタと、前記ビームスプリッタを透過した透過光が結像する位置に位置する第１の撮像面を有する第１の撮像部と、前記ビームスプリッタで反射された反射光が結像する位置に位置する第２の撮像面を有する第２の撮像部と、を備え、前記第１の撮像部は、車両のウインドシールドを撮像するものであり、前記第１の撮像面を含む平面と、前記レンズの主面を含む平面と、前記ウインドシールドの外表面を含む平面とが一直線上で交わる。

この構成によれば、レンズを透過した光がビームスプリッタを介して第１及び第２の撮像部の各々に至るため、レンズと第１の撮像面との間の距離、並びに、同レンズと第２の撮像面との間の距離を、ピントを合わせたい撮像対象に応じてそれぞれ確保すればよい。従って、ピントを合わせたい撮像対象に応じて２つの撮像部に応じたレンズをそれぞれ備える従来の撮像装置に比べて、装置の大型化を抑制することができる。また、レンズを１つにすることができるため、これによっても装置の大型化を抑制することができるとともに、製造コストを低減することができる。

この構成によれば、シャインプルーフの原理によって、第１の撮像部で撮像する画像のピント（焦点）をウインドシールドの外表面に沿った範囲に合わせることができる。そのため、例えば、ウインドシールドと正対しない位置にレンズを配置しても、ウインドシールドの外表面にピントが合い且つ背景にはピントが合っていない（背景がぼけた）画像を撮像することができる。従って、第１の撮像部で撮像した画像に基づいて、ウインドシールドの外表面の情報を高精細に得ることができる。

上記課題を解決する撮像装置は、レンズと、前記レンズを透過した光の光路上に配置されたビームスプリッタと、前記ビームスプリッタを透過した透過光が結像する位置に位置する第１の撮像面を有する第１の撮像部と、前記ビームスプリッタで反射された反射光が結像する位置に位置する第２の撮像面を有する第２の撮像部と、を備え、前記第２の撮像部は、車両のウインドシールドを撮像するものであり、前記ビームスプリッタの反射面を含む平面に関して面対称となる位置に仮想的に配置された前記第２の撮像部の前記第２の撮像面を仮想撮像面とすると、前記仮想撮像面を含む平面と、前記レンズの主面を含む平面と、前記ウインドシールドの外表面を含む平面とが一直線上で交わる。
この構成によれば、レンズを透過した光がビームスプリッタを介して第１及び第２の撮像部の各々に至るため、レンズと第１の撮像面との間の距離、並びに、同レンズと第２の撮像面との間の距離を、ピントを合わせたい撮像対象に応じてそれぞれ確保すればよい。従って、ピントを合わせたい撮像対象に応じて２つの撮像部に応じたレンズをそれぞれ備える従来の撮像装置に比べて、装置の大型化を抑制することができる。また、レンズを１つにすることができるため、これによっても装置の大型化を抑制することができるとともに、製造コストを低減することができる。

この構成によれば、シャインプルーフの原理によって、第２の撮像部で撮像する画像のピント（焦点）をウインドシールドの外表面に沿った範囲に合わせることができる。そのため、例えば、ウインドシールドと正対しない位置にレンズを配置しても、ウインドシールドの外表面にピントが合い且つ背景にはピントが合っていない（背景がぼけた）画像を撮像することができる。従って、第２の撮像部で撮像した画像に基づいて、ウインドシールドの外表面の情報を高精細に得ることができる。

上記撮像装置において、前記第１の撮像部及び前記第２の撮像部の何れか一方の撮像部は、車両のウインドシールド越しに前記車両の周辺を撮像するものであり、何れか他方の撮像部は、前記ウインドシールドを撮像するものであり、前記第１の撮像部で撮像した画像と前記第２の撮像部で撮像した画像とを比較し、比較結果に基づいて前記ウインドシールドの外表面に付着した異物の前記外表面における位置を検出する画像処理装置を有することが好ましい。
この構成によれば、一方の撮像部は、車両周辺にピントが合い且つウインドシールドの外表面に付着した雨滴等の異物にはピントが合っていない（異物がぼけた）画像を撮像する。その一方で、他方の撮像部は、ウインドシールドにピントが合い且つ車両周辺にはピントが合っていない（車両周辺がぼけた）画像を撮像する。しかしながら、他方の撮像部が撮像する画像は、部分的に車両周辺にピントが合ってしまうことがある。従って、一方の撮像部が撮像した画像と他方の撮像部が撮像した画像とを比較してウインドシールドの外表面に付着した異物の位置を検出することにより、他方の撮像部で撮像した画像において部分的に車両周辺にピントが合ってしまった部分を異物であると誤検出することを抑制することができる。
上記課題を解決する撮像装置は、レンズと、前記レンズを透過した光の光路上に配置されたビームスプリッタと、前記ビームスプリッタを透過した透過光が結像する位置に位置する第１の撮像面を有する第１の撮像部と、前記ビームスプリッタで反射された反射光が結像する位置に位置する第２の撮像面を有する第２の撮像部と、を備え、前記第１の撮像部及び前記第２の撮像部の何れか一方の撮像部は、車両のウインドシールド越しに前記車両の周辺を撮像するものであり、何れか他方の撮像部は、前記ウインドシールドを撮像するものであり、前記第１の撮像部で撮像した画像と前記第２の撮像部で撮像した画像とを比較し、比較結果に基づいて前記ウインドシールドの外表面に付着した異物の前記外表面における位置を検出する画像処理装置を有する。
この構成によれば、レンズを透過した光がビームスプリッタを介して第１及び第２の撮像部の各々に至るため、レンズと第１の撮像面との間の距離、並びに、同レンズと第２の撮像面との間の距離を、ピントを合わせたい撮像対象に応じてそれぞれ確保すればよい。従って、ピントを合わせたい撮像対象に応じて２つの撮像部に応じたレンズをそれぞれ備える従来の撮像装置に比べて、装置の大型化を抑制することができる。また、レンズを１つにすることができるため、これによっても装置の大型化を抑制することができるとともに、製造コストを低減することができる。

この構成によれば、一方の撮像部は、車両周辺にピントが合い且つウインドシールドの外表面に付着した雨滴等の異物にはピントが合っていない（異物がぼけた）画像を撮像する。その一方で、他方の撮像部は、ウインドシールドにピントが合い且つ車両周辺にはピントが合っていない（車両周辺がぼけた）画像を撮像する。しかしながら、他方の撮像部が撮像する画像は、部分的に車両周辺にピントが合ってしまうことがある。従って、一方の撮像部が撮像した画像と他方の撮像部が撮像した画像とを比較してウインドシールドの外表面に付着した異物の位置を検出することにより、他方の撮像部で撮像した画像において部分的に車両周辺にピントが合ってしまった部分を異物であると誤検出することを抑制することができる。

上記撮像装置において、前記画像処理装置は、前記一方の撮像部で異なる時刻に撮像した複数の第１の画像に基づいてオプティカルフローを算出し、算出した前記オプティカルフローに基づいて、前記第１の画像よりも後に前記一方の撮像部で撮像した第２の画像が撮像された時刻の予測画像を形成し、前記第２の画像における前記異物の像が存在する異物存在範囲に、前記予測画像における前記異物存在範囲に対応する部分の画像を繋ぎ合わせた画像を形成することが好ましい。

この構成によれば、画像処理装置は、２つの撮像部で撮像した画像を比較してウインドシールドの外表面に付着した異物の同外表面における位置を検出するため、一方の撮像部で撮像した車両周辺の画像である第２の画像における異物の像が存在する異物存在範囲を認識することができる。そして、画像処理装置は、第２の画像における異物存在範囲に、第２の画像よりも前に撮像した複数の第１の画像から予測された予測画像における異物存在範囲に対応する部分の画像を繋ぎ合わせた画像を形成する。そのため、画像処理装置は、異物の影響（水滴によるぼけ等）が軽減された車両周辺の画像を形成することができる。

上記撮像装置において、前記画像処理装置は、前記一方の撮像部で撮像した画像における前記異物の像が存在する異物存在範囲に、前記外表面に当該異物が付着する前に前記一方の撮像部で撮像した画像における前記異物存在範囲に対応する部分の画像を繋ぎ合わせた画像を形成することが好ましい。

この構成によれば、画像処理装置は、２つの撮像部で撮像した画像を比較してウインドシールドの外表面に付着した異物の同外表面における位置を検出するため、一方の撮像部で撮像した車両周辺の画像における異物の像が存在する異物存在範囲を認識することができる。そして、ウインドシールドの外表面に当該異物が付着する前に一方の撮像部で撮像した画像における異物存在範囲に対応する部分の画像を、異物存在範囲を含む画像の当該異物存在範囲に繋ぎ合わせることにより、異物の影響（水滴によるぼけ等）が軽減された車両周辺の画像を形成することができる。

上記撮像装置において、前記画像処理装置による前記外表面に付着した異物の位置の検出結果に基づいて前記外表面に付着した異物の有無を判定する異物判定部と、前記異物判定部による異物の有無の判定に基づいてワイパモータを駆動制御するワイパ制御部と、を備えたことが好ましい。

この構成によれば、異物判定部は、異物の誤検出が抑制された画像処理装置の検出結果に基づいて、ウインドシールドの外表面に付着した異物の有無を判定する。従って、異物判定部は、ウインドシールドの外表面に付着した異物の有無を高精度に判定することができる。そして、この異物判定部の判定結果に基づいて、ワイパ制御部がワイパモータを駆動制御するため、ウインドシールドの外表面の状態に応じて高精度にワイパモータを駆動制御することができる。
上記撮像装置において、前記第１の撮像部及び前記第２の撮像部の何れか一方の撮像部は、車両のウインドシールド越しに前記車両の周辺を撮像するものであり、何れか他方の撮像部は、前記ウインドシールドを撮像するものであり、前記ビームスプリッタは、前記他方の撮像部よりも前記一方の撮像部の方が受光する光量が多くなるように、前記ビームスプリッタに入射した入射光を分割することが好ましい。
この構成によれば、情報量の多い画像を撮像する一方の撮像部の方に、より多くの光を分配することができる。

本発明の撮像装置によれば、装置の大型化を抑制することができる。

実施形態の撮像装置を備えた車両の平面図。 フロントウインドシールドに固定された実施形態の撮像装置を模式的に示す断面図。 実施形態における撮像装置及びフロントウインドシールドの模式図。 実施形態の撮像装置の模式図。 実施形態の撮像装置の概略構成を示すブロック図。 第１実施形態における画像処理装置が行う処理のフローチャート。 第１実施形態における第１のイメージセンサが撮像した遠方画像の模式図。 第１実施形態における第１のイメージセンサが撮像した遠方画像の模式図。 第１実施形態における第２のイメージセンサが撮像した近傍画像の模式図。 第１実施形態における画像処理装置が形成した遠方画像の模式図。 第２実施形態における画像処理装置が行う処理のフローチャート。 第２実施形態における第１のイメージセンサが撮像した遠方画像の模式図。 第２実施形態における画像処理装置が形成した基準画像の模式図。 第２実施形態における第１のイメージセンサが撮像した遠方画像の模式図。 第２実施形態における第１のイメージセンサが撮像した遠方画像の模式図。 第２実施形態における画像処理装置が形成した予測画像の模式図。 第２実施形態における画像処理装置が形成した遠方画像の模式図。 別の形態の撮像装置の模式図。 別の形態の撮像装置及びフロントウインドシールドの模式図。 別の形態の撮像装置及びフロントウインドシールドの模式図。 別の形態の撮像装置を備えた車両の平面図。 別の形態における撮像装置を備えた車両の模式断面図。

＜第１実施形態＞
以下、撮像装置の第１実施形態について説明する。
図１に示すように、車両１０には、ルーフパネル１１の車両前方側端部から車両前方側に向かって斜め下方に延びるようにフロントウインドシールド１２（以下、ウインドシールド１２とする）が設けられている。また、車両１０には、車両１０の運転者の運転支援を行うための画像と、ウインドシールド１２の外表面１２ａに付着した異物を検出するための画像とを撮像する撮像装置２０が設けられている。なお、ウインドシールド１２の外表面１２ａに付着する異物としては、雨滴、雪、塵埃、虫、汚れ等が挙げられる。

図２に示すように、撮像装置２０は、筐体２１と、筐体２１にて保持されたレンズ２２と、筐体２１の内部に収容されたビームスプリッタとしてのハーフミラー２３と、同じく筐体２１の内部に収容された第１の撮像部としての第１のイメージセンサ２４及び第２の撮像部としての第２のイメージセンサ２５とを備えている。

図１及び図２に示すように、筐体２１は、ウインドシールド１２の内表面１２ｂに固定されている。詳しくは、筐体２１は、ウインドシールド１２の上端部において、同ウインドシールド１２の車幅方向の略中央部に固定されている。

図２に示すように、レンズ２２は、筐体２１の前方に設けられた開口部２１ａから同筐体２１の内側に入射する入射光Ｌ１を受光可能に配置されている。
図３に示すように、ハーフミラー２３は、レンズ２２を透過した入射光Ｌ１の光路上に配置されており、該ハーフミラー２３に入射した入射光Ｌ１を２つに分割して分岐させる。ハーフミラー２３は、レンズ２２に対して車両１０の後方側に配置されており、入射光Ｌ１を１：１の割合で透過光Ｌ２と反射光Ｌ３とに分割する。そして、ハーフミラー２３を透過した透過光Ｌ２は、車両１０の後方側に進み、同ハーフミラー２３の反射面２３ｂで反射された反射光Ｌ３は、車両１０の下方側に進むようになっている。なお、ハーフミラー２３は、例えば、立方体状をなすプリズム型のものであり、入射光Ｌ１が入射する入射面２３ａがレンズ２２の主面２２ａと平行をなすように配置されている。また、ハーフミラー２３は、車幅方向（図３において紙面垂直方向）から見て、その反射面２３ｂがレンズ２２の主面２２ａに対して４５°傾斜するように配置されている。

図３及び図４に示すように、第１のイメージセンサ２４及び第２のイメージセンサ２５は、例えば、ＣＭＯＳイメージセンサである。これら第１及び第２のイメージセンサ２４，２５は、それぞれ順次画像を撮像するものであり、例えば、１秒間に３０フレームの画像を撮像する。

第１のイメージセンサ２４は、ハーフミラー２３を透過した透過光Ｌ２の光路上に配置されており、透過光Ｌ２を受光する第１の撮像面２４ａを有する。そして、第１のイメージセンサ２４は、透過光Ｌ２が結像する位置に第１の撮像面２４ａが位置するように配置されており、本実施形態では、車両１０の周辺（車両１０の前方等）の像が第１の撮像面２４ａに結像するように、ハーフミラー２３に対して車両１０の後方側に配置されている。また、第１のイメージセンサ２４は、第１の撮像面２４ａがレンズ２２の主面２２ａと平行をなすように配置されている。そして、第１のイメージセンサ２４は、第１の撮像面２４ａに結像した画像（即ち、車両１０の内部からウインドシールド１２越しに車両１０の周辺を撮像した画像）を撮像する。

第２のイメージセンサ２５は、ハーフミラー２３で反射された反射光Ｌ３の光路上に配置されており、反射光Ｌ３を受光する第２の撮像面２５ａを有する。そして、第２のイメージセンサ２５は、反射光Ｌ３が結像する位置に第２の撮像面２５ａが位置するように配置されており、本実施形態では、筐体２１（図２参照）の前方のウインドシールド１２の像が第２の撮像面２５ａに結像するように、ハーフミラー２３に対して車両１０の下方側に配置されている。また、第２のイメージセンサ２５は、第２の撮像面２５ａを含む平面がレンズ２２の主面２２ａを含む平面に対して直角をなすように配置されている。そして、第２のイメージセンサ２５は、第２の撮像面２５ａに結像した画像（即ち、車両１０の内部から見たウインドシールド１２の一部分の画像）を撮像する。

なお、図３に示すように、第１のイメージセンサ２４は、車両１０の周辺（車両１０の前方側）の範囲Ｘ１にピントが合うように設けられ、第２のイメージセンサ２５は、筐体２１の前方側のウインドシールド１２を含む範囲Ｘ２にピントが合うように設けられている。即ち、第２のイメージセンサ２５が撮像する撮像対象は、第１のイメージセンサ２４が撮像する撮像対象よりもレンズ２２に近い位置に位置する。そのため、第２のイメージセンサ２５側の像間距離（ハーフミラー２３を介した主面２２ａと第２の撮像面２５ａとの間の距離）は、第１のイメージセンサ２４側の像間距離（主面２２ａと第１の撮像面２４ａとの間の距離）よりも長い。

また、図５に示すように、撮像装置２０は、第１及び第２のイメージセンサ２４，２５が撮像した画像の画像処理を行う画像処理装置２６を備えている。画像処理装置２６は、各種制御を行うＣＰＵと記憶装置２６ａとを有する周知のマイクロコンピュータで構成されている。記憶装置２６ａは、例えば、ＣＰＵで行う処理を実行するプログラムやパラメータ等を格納するＲＯＭ及びその処理過程で生成されるデータを一時格納する作業領域としてのＲＡＭにて構成されている。記憶装置２６ａには、第１のイメージセンサ２４が撮像した画像、及び第２のイメージセンサ２５が撮像した画像が記憶される。

また、撮像装置２０は、画像処理装置２６が出力する画像データに基づいてウインドシールド１２の外表面１２ａに付着した異物の有無を判定する異物判定部３１と、異物判定部３１による異物の有無の判定に基づいてワイパモータＭを駆動制御するワイパ制御部３２とを備えている。ワイパモータＭには、同ワイパモータＭによって駆動されウインドシールド１２の外表面１２ａを払拭するワイパＷが連結されている。

また、撮像装置２０は、画像処理装置２６が出力する画像データに基づいて運転者への運転支援（走行時に障害物等を検出し衝突を回避する等）を行うための運転支援制御部３３を備えている。運転支援制御部３３は、画像処理装置２６が出力する画像データに基づいて、車両１０のエンジンを制御するエンジンＥＣＵ（図示略）、ブレーキを制御するブレーキＥＣＵ、スピーカ等を制御するための制御信号を出力する。

次に、画像処理装置２６が行う異物検出の処理について説明する。
図６乃至図８に示すように、画像処理装置２６は、ステップＳ１０１において、車両１０の内部からウインドシールド１２越しに車両１０の周辺を撮像した画像を第１のイメージセンサ２４から取得し、ステップＳ１０２に移行する。第１のイメージセンサ２４から取得した画像は、ウインドシールド１２の外表面１２ａに異物等が付着していない場合には、例えば、図７に示すような画像Ｆ１である。一方、ウインドシールド１２の外表面１２ａに異物が付着している場合には、第１のイメージセンサ２４から取得した画像は、例えば、図８に示すような画像Ｆ２となる。第１のイメージセンサ２４は、車両１０の周辺にピントがあった画像を撮像するものであるため、画像Ｆ２においては、異物４１（例えば雨滴）の輪郭はぼけたものとなる。なお、以下、ウインドシールド１２の外表面１２ａに異物４１が付着しているものとして、画像処理装置２６が行う異物検出の処理の説明をする。

ステップＳ１０２において、画像処理装置２６は、第１のイメージセンサ２４から取得した画像の各画素に関する微分演算（エッジ強度の演算）を行う。そして、画像処理装置２６は、その演算結果に基づいて、画像中のエッジ（明るさが鋭敏に変化している箇所）を抽出してステップＳ１０５に移行する。なお、本実施形態では、エッジの抽出は、微分演算の結果が、記憶装置２６ａに予め記憶された閾値を超えるか否かを判定することにより行う。

また、図６及び図９に示すように、画像処理装置２６は、ステップＳ１０３において、車両１０の内部からウインドシールド１２を撮像した画像を第２のイメージセンサ２５から取得し、ステップＳ１０４に移行する。画像処理装置２６は、前記ステップＳ１０１において第１のイメージセンサ２４から取得した画像が撮像された時刻と同時刻に第２のイメージセンサ２５で撮像された画像を取得する。第２のイメージセンサ２５から取得した画像は、例えば、図９に示すような画像Ｆ３である。第２のイメージセンサ２５は、筐体２１の前方のウインドシールド１２にピントが合った画像を撮像するものであるため、画像Ｆ３においては、異物４１の背景の車両１０の周辺の画像はぼけたものとなる。

ステップＳ１０４において、画像処理装置２６は、第２のイメージセンサ２５から取得した画像の各画素に関する微分演算（エッジ強度の演算）を行い、その演算結果に基づいて、画像中のエッジを抽出してステップＳ１０５に移行する。なお、エッジの抽出は前記ステップＳ１０２と同様に行われる。

図６、図８及び図９に示すように、ステップＳ１０５において、画像処理装置２６は、前記ステップＳ１０２においてエッジの抽出処理を行った画像と、前記ステップＳ１０４においてエッジの抽出処理を行った画像とを比較し、２つの画像の両方ともに存在する輪郭を抽出する。詳述すると、前記ステップＳ１０１において第１のイメージセンサ２４から取得した画像Ｆ２（図８参照）では、車両１０の周辺の景色の輪郭（車道や、前方に位置する車両等の輪郭）は鮮明となるが、ウインドシールド１２の外表面１２ａに付着した異物４１の輪郭はぼけてしまう。その一方で、前記ステップＳ１０３において第２のイメージセンサ２５から取得した画像Ｆ３（図９参照）では、車両１０の周辺の景色の輪郭はぼけているが、ウインドシールド１２の外表面１２ａに付着した異物４１の輪郭は鮮明となる。しかしながら、ステップＳ１０３において第２のイメージセンサ２５から取得した画像Ｆ３には、ステップＳ１０１において第１のイメージセンサ２４から取得した画像Ｆ２においてのみ輪郭が鮮明であるべき車両１０の周辺の景色の輪郭が写り込んでいることがある。例えば、画像Ｆ３には、信号機の一部の輪郭４２が写り込んでいる。そこで、ステップＳ１０２においてエッジの抽出処理を行った画像と、ステップＳ１０４においてエッジの抽出処理を行った画像との両方の画像に含まれる（写っている）輪郭（例えば、輪郭４２）は、異物４１の輪郭ではないと判断することができる。従って、ステップＳ１０５では、画像処理装置２６は、前記ステップＳ１０２においてエッジの抽出処理を行った画像と、前記ステップＳ１０４においてエッジの抽出処理を行った画像とを比較する。そして、画像処理装置２６は、その比較結果に基づいて、ステップＳ１０４においてエッジの抽出処理を行った画像には含まれていなくてもよい輪郭、即ち、２つの画像の両方ともに存在する輪郭を抽出して、ステップＳ１０６に移行する。

ステップＳ１０６において、画像処理装置２６は、前記ステップＳ１０５において抽出した輪郭（例えば、輪郭４２）を、前記ステップＳ１０４においてエッジの抽出処理を行った画像から消去して、ステップＳ１０７に移行する。なお、本ステップＳ１０６を行って得られる画像には、異物４１の輪郭のみが残ることになる。

ステップＳ１０７において、画像処理装置２６は、前記ステップＳ１０６で得られた画像に含まれる異物４１の輪郭のうち、環状になっていない（輪郭が閉じていない）異物４１ａの輪郭を繋いで環状にする連結処理を行って、ステップＳ１０８に移行する。

ステップＳ１０８において、画像処理装置２６は、前記ステップＳ１０７において連結処理を行った画像中の異物４１の輪郭の内側を塗りつぶして、ステップＳ１０９に移行する。

ステップＳ１０９において、画像処理装置２６は、前記ステップＳ１０８において塗りつぶした部分を、画像において異物が存在する範囲であるとする。これにより、第２のイメージセンサ２５で撮像される範囲内のウインドシールド１２の外表面１２ａ上で、各異物４１が存在する位置（異物４１が占める範囲）が検出される。そして、画像処理装置２６は、異物４１の位置情報を含む画像データを異物判定部３１（図５参照）に出力して処理を終了する。

図５に示すように、異物判定部３１は、画像処理装置２６が出力した異物４１の位置情報を含む画像データに基づいて（即ち、画像処理装置２６による外表面１２ａに付着した異物の位置の検出結果に基づいて）、ウインドシールド１２の外表面１２ａに付着した異物の有無や、異物の量を判定する。そして、その判定結果をワイパ制御部３２に出力する。

ワイパ制御部３２は、異物判定部３１による異物の有無の判定に基づいてワイパモータＭを駆動制御する。詳述すると、車両１０の室内に設けられたレバースイッチ（図示略）がオート位置に操作されている場合に、異物判定部３１が外表面１２ａに異物が存在すると判定すると、その判定結果に基づいてワイパ制御部３２はワイパモータＭを駆動させる。例えば、ワイパ制御部３２は、異物判定部３１にて判定された異物の量に応じたモード（低速モード、高速モード、間欠モード等）でワイパモータＭを駆動させる。すると、ワイパモータＭによってワイパＷが駆動され、同ワイパＷによってウインドシールド１２の外表面１２ａが払拭されて自動的に外表面１２ａ上の雨滴等の異物が除去される。

また、画像処理装置２６は、ウインドシールド１２の外表面１２ａに異物４１が付着している場合に第１のイメージセンサ２４で撮像した画像と、同異物４１が外表面１２ａに付着する前に第１のイメージセンサ２４で撮像した画像とから、異物４１の影響（雨滴によるぼけ等）を除去した車両１０の周辺の画像を形成する。詳述すると、上記した異物検出のための処理（図６参照）のステップＳ１０９で画像において異物が存在する範囲であるとした部分は、第１のイメージセンサ２４から取得した画像Ｆ２（図８参照）においては異物４１の像が存在する異物存在範囲Ａ１に該当する。そこで、画像処理装置２６は、ステップＳ１０９を行って得られた異物４１の位置情報を含む画像データ（即ち外表面１２ａに付着した異物の位置の検出結果）と、第１のイメージセンサ２４から取得した画像Ｆ２とに基づいて、当該画像Ｆ２における異物４１の位置、即ち異物存在範囲Ａ１を認識する。そして、画像処理装置２６は、画像Ｆ２における異物存在範囲Ａ１に、ウインドシールド１２の外表面１２ａに異物４１が付着する前（例えば直前）に第１のイメージセンサ２４で撮像した画像Ｆ１（図７参照）における異物存在範囲Ａ１に対応する部分の画像を繋ぎ合わせた（置き換えた）画像Ｆ４（図１０参照）を形成する。図１０に示す画像Ｆ４では、二点鎖線で囲まれた異物存在範囲Ａ１の内側の部分が、図７に示す画像Ｆ１の対応する部分に置き換えられている。そして、画像処理装置２６は、形成した画像Ｆ４の画像データを運転支援制御部３３に出力する。なお、画像処理装置２６は、第１のイメージセンサ２４から取得した画像に異物存在範囲Ａ１が存在しない場合には、第１のイメージセンサ２４から取得した画像（もしくは、ステップＳ１０２においてエッジの抽出処理を行った画像）の画像データを運転支援制御部３３に出力する。

図５に示すように、運転支援制御部３３は、画像処理装置２６が出力した画像データに基づいて、車両１０に近接する障害物を検出する（障害物の有無を判定する）。そして、運転支援制御部３３は、画像処理装置２６が出力した画像データに基づいて車両１０に近接する障害物を検出すると、車両１０を減速もしくは停止させるための制御信号をエンジンＥＣＵやブレーキＥＣＵに出力したり、運転者に注意を促すための警告音を出すための制御信号をスピーカに出力したりする。

次に、本実施形態の作用について説明する。
レンズ２２を透過した入射光Ｌ１がハーフミラー２３を介して第１及び第２のイメージセンサ２４，２５の各々に至るため、レンズ２２と第１の撮像面２４ａとの間の距離、並びに、同レンズ２２と第２の撮像面２５ａとの間の距離を、ピントを合わせたい撮像対象に応じてそれぞれ確保すればよい。即ち、レンズ２２と第１の撮像面２４ａとの間の距離（レンズ２２の主面２２ａ（後ろ側主点）から第１の撮像面２４ａまでの像間距離）は、車両１０の周辺にピントが合うように（第１の撮像面２４ａに車両１０の周辺の像が結像するように）確保すればよい。そして、同レンズ２２と第２の撮像面２５ａとの間の距離（レンズ２２の主面２２ａ（後ろ側主点）から第２の撮像面２４ａまでの像間距離）は、ウインドシールド１２にピントが合うように（第２の撮像面２５ａにウインドシールド１２の像が結像するように）確保すればよい。

次に、本実施形態の特徴的な効果を記載する。
（１）ピントを合わせたい撮像対象に応じて２つの撮像部に応じたレンズをそれぞれ備える従来の撮像装置に比べて、装置の大型化を抑制することができる。また、レンズを１つにすることができる（焦点距離の異なる２つのレンズを備えなくてもよい）ため、これによっても装置の大型化を抑制することができるとともに、製造コストを低減することができる。

（２）第１のイメージセンサ２４は、車両１０の周辺にピントが合い且つウインドシールド１２の外表面１２ａに付着した異物にはピントが合っていない（異物がぼけた）画像を撮像する。その一方で、第２のイメージセンサ２５は、ウインドシールド１２にピントが合い且つ車両１０の周辺にはピントが合っていない（車両１０の周辺がぼけた）画像を撮像する。しかしながら、第２のイメージセンサ２５が撮像する画像は、部分的に車両１０の周辺にピントが合ってしまうことがある。従って、第１のイメージセンサ２４が撮像した画像と第２のイメージセンサ２５が撮像した画像とを比較して外表面１２ａに付着した異物の位置を検出することにより、第２のイメージセンサ２５で撮像した画像において部分的に車両１０の周辺にピントが合ってしまった部分を異物であると誤検出することを抑制することができる。その結果、ウインドシールド１２の外表面１２ａに付着した異物（異物の位置）を高精度に検出することができる。そして、車両１０の周辺の障害物等を異物であると誤検出することが抑制されるため、ワイパ制御部３２の誤作動を抑制することができる。

（３）ウインドシールド１２の外表面１２ａに異物が付着していると、ウインドシールド１２越しに車両１０の周辺を撮像する第１のイメージセンサ２４が撮像した画像では、異物と重なる部分の車両１０の周辺の画像が不鮮明になったり、異物に隠れて写らなかったりする虞がある。本実施形態では、画像処理装置２６は、第１及び第２のイメージセンサ２４，２５で撮像した画像を比較して、ウインドシールド１２の外表面１２ａに付着した異物の同外表面１２ａにおける位置を検出する。そのため、第１のイメージセンサ２４で撮像した車両１０の周辺の画像における異物の像が存在する範囲である異物存在範囲Ａ１を認識することができる。そして、外表面１２ａに当該異物が付着する前に第１のイメージセンサ２４で撮像した画像における異物存在範囲Ａ１に対応する部分の画像を、異物存在範囲Ａ１を含む画像の当該異物存在範囲Ａ１に繋ぎ合わせることにより、異物の影響（水滴によるぼけ等）が軽減された車両１０の周辺の画像を形成することができる。そして、ウインドシールド１２の外表面１２ａに付着した異物の影響が軽減された当該画像に基づいて、運転支援制御部３３は、車両１０に近接する障害物を検出するため、障害物の誤検出が低減される。

（４）異物判定部３１は、異物の誤検出が抑制された画像処理装置２６の検出結果に基づいて、ウインドシールド１２の外表面１２ａに付着した異物の有無を判定する。従って、異物判定部３１は、ウインドシールド１２の外表面１２ａに付着した異物の有無を高精度に判定することができる。そして、この異物判定部３１の判定結果に基づいて、ワイパ制御部３２がワイパモータＭを駆動制御するため、ウインドシールド１２の外表面１２ａの状態に応じて高精度にワイパモータＭを駆動制御することができる。その結果、ワイパモータＭによって駆動されるワイパＷによって、ウインドシールド１２の外表面１２ａを良好に払拭することができる。

（５）画像処理装置２６は、第１のイメージセンサ２４が撮像した車両１０の周辺の画像と第２のイメージセンサ２５が撮像したウインドシールド１２の画像とを比較し、その比較結果に基づいて外表面１２ａに付着した異物の位置を検出する。そのため、第２のイメージセンサ２５が撮像した画像における異物の位置を高精度に検出することができる。更に、その検出結果に基づいて、画像処理装置２６は、第１のイメージセンサ２４が撮像した画像における異物の位置を高精度に認識することができる。そして、運転支援制御部３３は、第１のイメージセンサ２４が撮像した画像であって異物の位置が高精度に認識された画像に基づいて車両１０に近接する障害物を検出する。そのため、第１のイメージセンサ２４で撮像した画像がウインドシールド１２の外表面１２ａに付着した異物の影響を受けている場合であっても、当該異物の影響により車両１０に近接する障害物を運転支援制御部３３が誤検出することが抑制される。

（６）画像処理装置２６は、第１のイメージセンサ２４が撮像した車両１０の周辺の画像と第２のイメージセンサ２５が撮像したウインドシールド１２の画像とを比較することにより、ウインドシールド１２の外表面１２ａに付着した水滴だけでなく、外表面１２ａに付着した塵埃、虫、汚れ等の位置（存在する範囲）も検出することができる。従って、画像処理装置２６は、その検出結果に基づいて、第１のイメージセンサ２４が撮像した画像における塵埃、虫、汚れ等の位置を認識することができる。よって、第２のイメージセンサ２５で撮像される範囲内のウインドシールド１２の外表面１２ａに塵埃、虫、汚れ等が付着している場合であっても、運転支援制御部３３が、当該塵埃、虫、汚れ等を車両１０に近接する障害物として誤検出することを抑制することができる。

（７）ウインドシールド１２の外表面１２ａに異物が付着している場合には、対向車のヘッドライトや先行車のテールランプ等の光が当該異物によって屈折されたり反射されたりすることがある。すると、第１のイメージセンサ２４が撮像した画像がその影響を受けて、本来暗くなるべきところが明るくなったり、逆に本来明るくなるべきところが暗くなったりすることがある。しかし、画像処理装置２６は、第１のイメージセンサ２４が撮像した車両１０の周辺の画像と第２のイメージセンサ２５が撮像したウインドシールド１２の画像とを比較して、ウインドシールド１２の外表面１２ａに付着した異物の位置を検出し、第１のイメージセンサ２４が撮像した車両１０の周辺の画像における異物の位置を認識する。従って、夜間の降雨時等であっても、ウインドシールド１２の外表面１２ａに付着した異物の影響によって、画像処理装置２６が異物の位置を誤検出したり、運転支援制御部３３が車両１０に近接する障害物を誤検出したりすることを低減できる。

＜第２実施形態＞
以下、撮像装置２０の第２実施形態における制御処理について説明する。なお、本第２実施形態では、上記第１実施形態と同一の構成や対応する構成に同一の符号を付してその説明を省略する。

図１１及び図１２に示すように、画像処理装置２６は、ステップＳ２０１において、車両１０の内部からウインドシールド１２越しに車両１０の周辺を撮像した画像を第１のイメージセンサ２４から取得し、ステップＳ２０２に移行する。図１２に示す画像Ｆ１１は、ウインドシールド１２の外表面１２ａに異物が付着している場合に、第１のイメージセンサ２４から取得した画像（第２の画像）の一例である。第１のイメージセンサ２４は、車両１０の周辺にピントがあった画像を撮像するものであるため、画像Ｆ１１においては、異物４１の輪郭はぼけたものとなる。なお、以下、ウインドシールド１２の外表面１２ａに異物４１が付着しているものとして、画像処理装置２６が行う制御処理を説明する。

図１１及び図１３に示すように、ステップＳ２０２において、画像処理装置２６は、前記ステップＳ２０１で取得した画像Ｆ１１から検出された異物４１の領域についてマスク処理を行うための基準画像Ｆ１２を形成する。画像処理装置２６は、上記第１実施形態の異物検出の処理（ステップＳ１０１〜Ｓ１０９）により、画像Ｆ１１において異物が存在する範囲を認識する。なお、本実施形態では、ステップＳ１０１で画像処理装置２６が取得する画像は、ステップＳ２０１において第１のイメージセンサ２４から取得した画像Ｆ１１に該当し、ステップＳ１０３で画像処理装置２６が取得する画像は、同画像Ｆ１１が撮像された時刻と同時刻に第２のイメージセンサ２５で撮像された画像である。そして、画像処理装置２６は、ステップＳ１０９を行って得られた異物４１の位置情報を含む画像データ（即ち外表面１２ａに付着した異物の位置の検出結果）と、ステップＳ２０１で第１のイメージセンサ２４から取得した画像Ｆ１１とに基づいて、当該画像Ｆ１１における異物４１の位置、即ち異物存在範囲Ａ１を認識する。そして、画像処理装置２６は、別の画像から異物存在範囲Ａ１に該当する部分の画像を抽出するための基準画像Ｆ１２を形成する。因みに、基準画像Ｆ１２は、異物存在範囲Ａ１と異物存在範囲Ａ１でない部分とを明確にした画像である。

また、図１１及び図１４に示すように、ステップＳ２０３において、画像処理装置２６は、ステップＳ２０１で取得した画像Ｆ１１が撮像された時刻から１時刻前に第１のイメージセンサ２４で撮像された画像Ｆ１３（第１の画像）を記憶装置２６ａから読み出す。なお、「１時刻前」とは、ステップＳ２０１で取得した画像Ｆ１１が第１のイメージセンサ２４で撮像された時刻よりも前の時刻であって、予め設定された時刻である。例えば、１時刻前の画像は、ステップＳ２０１で取得した画像Ｆ１１の１フレーム前の画像である。なお、本実施形態では、画像Ｆ１３が撮像されたときには、ウインドシールド１２の外表面１２ａに異物は付着していなかったものとする。

また、図１１及び図１５に示すように、ステップＳ２０４において、画像処理装置２６は、ステップＳ２０１で取得した画像Ｆ１１が撮像された時刻から２時刻前に第１のイメージセンサ２４で撮像された画像Ｆ１４（第１の画像）を記憶装置２６ａから読み出す。なお、「２時刻前」とは、前記ステップＳ２０３における「１時刻前」よりも前の時刻であって、予め設定された時刻である。例えば、２時刻前の画像は、ステップＳ２０３における「１時刻前」よりも更に１時刻前の画像であり、ステップＳ２０１で取得した画像Ｆ１１の２フレーム前の画像である。なお、本実施形態では、画像Ｆ１４が撮像されたときには、ウインドシールド１２の外表面１２ａに異物は付着していなかったものとする。

次いで、図１１、図１４及び図１５に示すように、ステップＳ２０５において、画像処理装置２６は、前記ステップＳ２０３で取得した１時刻前の画像Ｆ１３と、前記ステップＳ２０４で取得した２時刻前の画像Ｆ１４とから、オプティカルフローを算出し、ステップＳ２０６に移行する。画像処理装置２６は、異なる時刻に撮像された画像Ｆ１３と画像Ｆ１４とにおいて、例えば、同一の部位として認識可能な点を特徴点として設定し、この特徴点の移動をフローベクトルとして当該画像を複数に分類した群ごとに算出する。このようなフローベクトルを画像Ｆ１３，Ｆ１４の全領域において算出する。なお、オプティカルフローの具体的な算出方法は、マッチング法や勾配法などの代表的な公知の手法を用いることができるが、特に限定しない。

図１１及び図１６に示すように、ステップＳ２０６において、画像処理装置２６は、ステップＳ２０５で算出したオプティカルフローに基づいて、前記ステップＳ２０１で取得した画像Ｆ１１が撮像された時刻における予測画像Ｆ１５を形成し、ステップＳ２０７に移行する。

図１１及び図１７に示すように、ステップＳ２０７において、画像処理装置２６は、前記ステップＳ２０１で第１のイメージセンサ２４から取得した画像Ｆ１１における異物存在範囲Ａ１に該当する部分に、前記ステップＳ２０６で形成した予測画像Ｆ１５における異物存在範囲Ａ１に対応する部分の画像を置換した画像Ｆ１６を形成する。画像処理装置２６は、前記ステップＳ２０２において形成した基準画像Ｆ１２（図１３参照）を用いて、前記ステップＳ２０６において形成した予測画像Ｆ１５（図１６参照）にマスク処理を施す。これにより、予測画像Ｆ１５において異物存在範囲Ａ１に対応する部分の画像が抽出される。そして、画像処理装置２６は、前記ステップＳ２０１において第１のイメージセンサ２４から取得した画像Ｆ１１（図１２参照）における異物存在範囲Ａ１に対応する部分に、予測画像Ｆ１５から抽出した画像を置き換えた（繋ぎ合わせた）画像Ｆ１６（図１７参照）を形成する。そして、画像処理装置２６は、形成した画像Ｆ１６の画像データを運転支援制御部３３に出力して処理を終了する。

図５に示すように、運転支援制御部３３は、上記第１実施形態と同様に、画像処理装置２６が出力した画像データに基づいて、車両１０に近接する障害物を検出する（障害物の有無を判定する）。そして、運転支援制御部３３は、画像処理装置２６が出力した画像データに基づいて車両１０に近接する障害物を検出すると、車両１０を減速もしくは停止させるための制御信号をエンジンＥＣＵやブレーキＥＣＵに出力したり、運転者に注意を促すための警告音を出すための制御信号をスピーカに出力したりする。

また、異物判定部３１によるウインドシールド１２の外表面１２ａに付着した異物の有無の判定、及びワイパ制御部３２によるワイパモータＭの駆動制御についても、上記実施形態と同様に行われる。

上記した本実施形態においても上記第１実施形態と同様の作用を得ることができる。また、本実施形態によれば、上記第１実施形態の（１），（２），（４）〜（７）の効果に加えて、以下の効果を奏することができる。

（８）ウインドシールド１２の外表面１２ａに異物が付着していると、ウインドシールド１２越しに車両１０の周辺を撮像する第１のイメージセンサ２４が撮像した画像では、異物と重なる部分の車両１０の周辺の画像が不鮮明になったり、異物に隠れて写らなかったりする虞がある。本実施形態では、画像処理装置２６は、第１及び第２のイメージセンサ２４，２５で撮像した画像を比較して、ウインドシールド１２の外表面１２ａに付着した異物の同外表面１２ａにおける位置を検出する。そのため、第１のイメージセンサ２４で撮像した車両１０の周辺の画像における異物の像が存在する範囲である異物存在範囲Ａ１を認識することができる。そして、画像処理装置２６は、第１のイメージセンサ２４で撮像した画像Ｆ１１における異物存在範囲Ａ１に、画像Ｆ１１よりも前に第１のイメージセンサ２４で撮像した複数の画像Ｆ１３，Ｆ１４から予測した予測画像Ｆ１５における異物存在範囲Ａ１に対応する部分の画像を繋ぎ合わせた画像Ｆ１６を形成する。そのため、画像処理装置２６は、異物の影響（水滴によるぼけ等）が軽減された車両１０の周辺の画像を形成することができる。例えば、車両１０に対して相対的に移動する障害物が、ステップＳ２０１で第１のイメージセンサ２４から取得した画像Ｆ１１においてウインドシールド１２の外表面１２ａに付着した異物４１と重なってしまうことがある。このような場合でも、画像Ｆ１１よりも前に第１のイメージセンサ２４で撮像した複数の画像Ｆ１３，Ｆ１４から予測画像Ｆ１５を形成し同予測画像Ｆ１５における異物存在範囲Ａ１に対応する部分を画像Ｆ１１に繋ぎ合わせた画像Ｆ１６を形成することで、画像Ｆ１１において異物存在範囲Ａ１に重なった障害物を認識できる可能性がある。また、画像Ｆ１１における異物存在範囲Ａ１に、予測画像Ｆ１５における異物存在範囲Ａ１に対応する部分の画像を繋ぎ合わせるため、画像Ｆ１６において置き換えられた部分（異物存在範囲Ａ１の部分）以外の部分は、車両１０の周辺の実際の新しい情報を含むものとなる。そして、画像処理装置２６で形成されたこのような画像であって、ウインドシールド１２の外表面１２ａに付着した異物の影響が軽減された当該画像に基づいて、運転支援制御部３３は、車両１０に近接する障害物を検出するため、運転支援制御部３３による障害物の誤検出が低減される。

なお、上記各実施形態は、以下のように変更してもよい。
・上記各実施形態では、異物判定部３１による異物の有無の判定に基づいてワイパモータＭを駆動制御するとしたが、判定の結果を他の用途に用いるようにしてもよい。また、撮像装置２０は、必ずしも異物判定部３１及びワイパ制御部３２を備えなくてもよい。

・上記各実施形態では、第１のイメージセンサ２４が撮像した画像を、運転者への運転支援のために用いているが、他の用途に用いるようにしてもよい。また、撮像装置２０は、必ずしも運転支援制御部３３を備えなくてもよい。

・上記第１実施形態では、運転支援制御部３３は、第１のイメージセンサ２４で撮像した画像における異物存在範囲Ａ１に、ウインドシールド１２の外表面１２ａに異物が付着する前に第１のイメージセンサ２４で撮像した画像を繋ぎ合わせた画像に基づいて、車両１０に近接する障害物を検出する。しかしながら、運転支援制御部３３は、ウインドシールド１２の外表面１２ａ上の異物の有無にかかわらず、第１のイメージセンサ２４から取得した画像であって繋ぎ合わせる加工を施していない画像（もしくは、ステップＳ１０２においてエッジの抽出処理を行った画像）に基づいて、車両１０に近接する障害物を検出してもよい。この場合においても、第１のイメージセンサ２４が撮像した画像であって異物の位置が認識された画像に基づいて運転支援制御部３３が車両１０に近接する障害物を検出することにより、上記第１実施形態の（５）と同様の効果が得られる。なお、この場合、画像処理装置２６は、上記繋ぎ合わせた画像を形成しなくてもよい。

・上記第２実施形態では、画像処理装置２６は、第１のイメージセンサ２４で撮像した２つの画像Ｆ１３，Ｆ１４から、画像Ｆ１１を撮像した時刻の予測画像Ｆ１５を形成する。しかしながら、画像処理装置２６は、画像Ｆ１１を撮像した時刻よりも前に第１のイメージセンサ２４で異なる時刻に撮像した３つ以上の画像から、画像Ｆ１１を撮像した時刻の予測画像を形成するものであってもよい。

・上記第２実施形態では、画像処理装置２６は、第１のイメージセンサ２４で撮像した画像における異物存在範囲Ａ１に、当該画像が撮像された時刻よりも前に第１のイメージセンサ２４で撮像した複数の画像から予測した予測画像における異物存在範囲Ａ１に対応する部分を繋ぎ合わせた画像を形成し、画像データを出力する。そして、運転支援制御部３３は、画像処理装置２６が出力した画像データに基づいて、車両１０に近接する障害物を検出する。しかしながら、運転支援制御部３３は、ウインドシールド１２の外表面１２ａ上の異物の有無にかかわらず、第１のイメージセンサ２４から取得した画像であって繋ぎ合わせる加工を施していない画像（もしくは、ステップＳ１０２においてエッジの抽出処理を行った画像）に基づいて、車両１０に近接する障害物を検出してもよい。この場合においても、第１のイメージセンサ２４が撮像した画像であって異物の位置が認識された画像に基づいて運転支援制御部３３が車両１０に近接する障害物を検出することにより、上記第１実施形態の（５）と同様の効果が得られる。なお、この場合、画像処理装置２６は、上記繋ぎ合わせた画像を形成しなくてもよい。

・上記各実施形態の画像処理装置２６は、第２のイメージセンサ２５で撮像される範囲内のウインドシールド１２の外表面１２ａ上の異物の位置を高精度に検出するため、第１のイメージセンサ２４で撮像した画像における異物の位置を高精度に認識できる。従って、運転支援制御部３３もしくは画像処理装置２６は、第１のイメージセンサ２４で撮像した画像における異物の位置に応じて、運転支援を行うために使用する当該画像を修正することが可能である。また、運転支援制御部３３は、第１のイメージセンサ２４で撮像した画像における異物の占める割合に応じて、運転支援の内容を変更するべく制御信号を変更することが可能である。また、運転支援制御部３３は、第１のイメージセンサ２４で撮像した画像における異物の占める割合が多い場合（一定以上となる場合）には、運転支援を停止する旨の警告音を出すための制御信号をスピーカに出力することが可能である。

・上記各実施形態では、画像処理装置２６は、第１のイメージセンサ２４が撮像した画像と第２のイメージセンサ２５が撮像した画像とを比較し、その比較結果に基づいてウインドシールド１２の外表面１２ａに付着した異物の同外表面１２ａにおける位置を検出する。しかしながら、画像処理装置２６は、第２のイメージセンサ２５が撮像した画像のみを用いて、ウインドシールド１２の外表面１２ａに付着した異物の同外表面１２ａにおける位置を検出するものであってもよい。

・上記各実施形態では、第１のイメージセンサ２４は、車両１０の周辺の像が第１の撮像面２４ａに結像するように配置されており、第２のイメージセンサ２５は、ウインドシールド１２の像が第２の撮像面２５ａに結像するように配置されている。しかしながら、第１のイメージセンサ２４を、ウインドシールド１２の像が第１の撮像面２４ａに結像するように配置し、第２のイメージセンサ２５を、車両１０の周辺の像が第２の撮像面２５ａに結像するように配置してもよい。

・上記各実施形態では、第１のイメージセンサ２４は、第１の撮像面２４ａがレンズ２２の主面２２ａと平行をなすように配置され、第２のイメージセンサ２５は、第２の撮像面２５ａを含む平面がレンズ２２の主面２２ａを含む平面に対して直角をなすように配置されている。しかしながら、第１及び第２のイメージセンサ２４，２５は、第１及び第２の撮像面２４ａ，２５ａにて透過光Ｌ２及び反射光Ｌ３をそれぞれ受光できるように配置されるのであれば、その配置態様は上記実施形態のものに限らない。

例えば、図１９に示す例では、第１のイメージセンサ２４は、ウインドシールド１２の像が第１の撮像面２４ａに結像するように配置され、第２のイメージセンサ２５は、車両１０の周辺の像が第２の撮像面２５ａに結像するように配置されている。そして、第１のイメージセンサ２４の第１の撮像面２４ａを含む平面Ｐ１と、レンズ２２の主面２２ａを含む平面Ｐ２と、ウインドシールド１２の外表面１２ａを含む平面Ｐ３とが一直線Ｓ１上で交わるように、第１のイメージセンサ２４及びレンズ２２が配置されている。なお、図１１は、車両１０を車幅方向から見た模式図であり、平面Ｐ１，Ｐ２，Ｐ３は紙面と直交するため直線で図示し、一直線Ｓ１は紙面垂直方向に延びるため点で図示している。

このようにすると、シャインプルーフの原理によって、第１のイメージセンサ２４で撮像する画像のピント（焦点）をウインドシールド１２の外表面１２ａに沿った範囲Ｘ３に合わせることができる。そのため、例えば、ウインドシールド１２と正対しない位置にレンズ２２を配置（即ち、主面２２ａがウインドシールド１２と平行をなさない位置にレンズ２２を配置）しても、ウインドシールド１２の外表面１２ａにピントが合い且つ背景にはピントが合っていない（背景がぼけた）画像を撮像することができる。従って、第１のイメージセンサ２４で撮像した画像に基づいて、ウインドシールド１２の外表面１２ａの情報（異物の付着状態等）を高精細に得ることができる。

なお、ウインドシールド１２の外表面１２ａは、実際は湾曲しており平面ではないため、例えば、その湾曲した面に最も近い平面を平面Ｐ３として、この平面Ｐ３に対して、第１のイメージセンサ２４の第１の撮像面２４ａ及びレンズ２２の主面２２ａの傾きが設定される。即ち、ウインドシールド１２の外表面１２ａを含む平面Ｐ３は、シャインプルーフの原理によって、ピントをウインドシールド１２の外表面１２ａに沿った範囲に合わせることができる平面であればよい。

また例えば、図２０に示す例では、第１のイメージセンサ２４は、車両１０の周辺の像が第１の撮像面２４ａに結像するように配置され、第２のイメージセンサ２５は、ウインドシールド１２の像が第２の撮像面２５ａに結像するように配置されている。また、第１のイメージセンサ２４は、第１の撮像面２４ａがレンズ２２の主面２２ａと平行をなすように配置されている。ここで、ハーフミラー２３の反射面２３ｂを含む平面Ｐ４に関して面対称となる位置に仮想的に配置された第２のイメージセンサ２５（図１２では二点鎖線で図示している）の第２の撮像面２５ａを仮想撮像面２５ｂとする。即ち、実存の第２のイメージセンサ２５と仮想の第２のイメージセンサ２５とが平面Ｐ４に関して面対称となる状態を想定し、仮想の第２のイメージセンサ２５の第２の撮像面２５ａを仮想撮像面２５ｂとする。そして、仮想撮像面２５ｂを含む平面Ｐ５と、レンズ２２の主面２２ａを含む平面Ｐ２と、ウインドシールド１２の外表面１２ａを含む平面Ｐ３とが一直線Ｓ２上で交わるように、第２のイメージセンサ２５及びレンズ２２が配置されている。なお、図２０は、車両１０を車幅方向から見た模式図であり、平面Ｐ５，Ｐ２，Ｐ３は紙面と直交するため直線で図示し、一直線Ｓ２は紙面垂直方向に延びるため点で図示している。

このようにすると、シャインプルーフの原理によって、第２のイメージセンサ２５で撮像する画像のピント（焦点）をウインドシールド１２の外表面１２ａに沿った範囲Ｘ３に合わせることができる。そのため、例えば、ウインドシールド１２と正対しない位置にレンズ２２を配置しても、ウインドシールド１２の外表面１２ａにピントが合い且つ背景にはピントが合っていない（背景がぼけた）画像を撮像することができる。従って、第２のイメージセンサ２５で撮像した画像に基づいて、ウインドシールド１２の外表面１２ａの情報を高精細に得ることができる。

なお、図２０に示す例についても図１９に示した例と同様に、ウインドシールド１２の外表面１２ａは、実際は湾曲しており平面ではないため、例えば、その湾曲した面に最も近い平面を平面Ｐ３として、この平面Ｐ３に対して、第２のイメージセンサ２５の第２の撮像面２５ａ（仮想撮像面２５ｂ）及びレンズ２２の主面２２ａの傾きが設定される。

・上記各実施形態の撮像装置２０は、レンズ２２を透過した光を分割する（分岐する）ビームスプリッタとして、レンズ２２を透過した光（即ち入射光Ｌ１）を１：１に分割するハーフミラー２３を備えている。しかしながら、撮像装置２０に備えられるビームスプリッタによる入射光Ｌ１の分割比はこれに限らない。例えば、ビームスプリッタは、ウインドシールド１２を撮像する第２のイメージセンサ２５よりも車両１０の周辺を撮像する第１のイメージセンサ２４の方が受光する光量が多くなるように、入射光Ｌ１を分割するものであってもよい。このようにすると、情報量の多い画像を撮像する第１のイメージセンサ２４の方に、より多くの光を分配することができる。従って、車両１０に近接する障害物を第１のイメージセンサ２４が撮像した画像に基づいて検出する運転支援制御部３３が、障害物を誤検出することをより低減することができる。

・レンズ２２を透過する光（レンズ２２に入射して第１の撮像面２４ａ若しくは第２の撮像面２５ａに至る光であり、ハーフミラー２３により分岐された光を含む）の光路上の少なくとも１箇所にフィルタを設けてもよい。フィルタは、例えば、偏光フィルタ、円偏光フィルタ、減光フィルタ、赤外線カットフィルタ、可視光カットフィルタ等である。

図１８に示す例では、ハーフミラー２３を透過した透過光Ｌ２の光路上に赤外線カットフィルタ５１が設けられ、ハーフミラー２３で反射された反射光Ｌ３の光路上に減光フィルタ５２が設けられている。赤外線カットフィルタ５１は、ハーフミラー２３と第１の撮像面２４ａとの間に配置され、減光フィルタ５２は、ハーフミラー２３と第２の撮像面２５ａとの間に配置されている。このように、ウインドシールド１２越しに車両１０の周辺を撮像する第１のイメージセンサ２４の第１の撮像面２４ａとハーフミラー２３との間に赤外線カットフィルタ５１を配置すると、第１のイメージセンサ２４で撮像される画像が、人間の目で見た色彩に近い画像となる。従って、第１のイメージセンサ２４が撮像した画像に基づいて車両１０に近接する障害物を検出することにより、運転支援制御部３３は、障害物を誤検知し難くなる。また、ウインドシールド１２を撮像する第２のイメージセンサ２５の第２の撮像面２５ａとハーフミラー２３との間に減光フィルタ５２を配置すると、第２のイメージセンサ２５が撮像する画像において、外表面１２ａに付着した異物の輪郭が、対向車のヘッドライトや街灯等の強い外乱光に紛れて現れなくなることを低減できる。また、透過光Ｌ２の光路上と、反射光Ｌ３の光路上とにそれぞれフィルタを配置することができるため、第１及び第２のイメージセンサ２４，２５の各々に適したフィルタをそれぞれ配置することが容易にできる。

また、第１のイメージセンサ２４と第２のイメージセンサ２５との両方に共通のフィルタを配置したい場合には、入射光Ｌ１の光路上で、レンズ２２とハーフミラー２３との間にフィルタを設けることで、フィルタの数を減少させることができる。例えば、レンズ２２とハーフミラー２３の入射面２３ａとの間に、偏光フィルタを設けてもよい。このようにすると、路面や車両ボディで反射した反射光が第１及び第２の撮像面２４ａ，２５ａで受光されることを抑制できる。そして、第１のイメージセンサ２４で撮像した画像において、周辺の車両のブレーキランプやヘッドライトの位置を画像処理装置２６や運転支援制御部３３が誤認することを抑制できる。また、第２のイメージセンサ２５で撮像した画像において、外表面１２ａに付着した異物の輪郭が外乱光に紛れて現れなくなることを抑制できる。

また、ハーフミラー２３に代えて、上記フィルタの機能を備えたビープスプリッタ（例えば、偏光ビームスプリッタ）を撮像装置２０に備えてもよい。
・上記各実施形態では、第１及び第２のイメージセンサ２４，２５が受光する光は、レンズ２２を透過した入射光Ｌ１をハーフミラー２３で分割した光である。そのため、第１及び第２のイメージセンサ２４，２５の各々が受光する光は、レンズ２２を透過する入射光Ｌ１よりも光量が少ない。従って、第１及び第２のイメージセンサ２４，２５の各々が撮像する画像が暗くなる虞がある。しかしながら、明るいレンズを使用したり、第１及び第２のイメージセンサ２４，２５（撮像素子）の感度を向上させたりすることで、第１及び第２のイメージセンサ２４，２５の各々が撮像する画像の明るさを改善することができる。また、撮像装置２０に明るさ調整装部を設けることで、第１及び第２のイメージセンサ２４，２５の各々が撮像する画像の明るさを改善することができる。明るさ調整部は、例えば、第１及び第２のイメージセンサ２４，２５の各々におけるシャッタスピードを調整するものであってもよい。また例えば、明るさ調整部は、画像処理装置２６に設けられ、第１及び第２のイメージセンサ２４，２５の各々で撮像した画像のゲインコントロールを行うものであってもよい。

・上記各実施形態では、ハーフミラー２３は、車幅方向から見て、レンズ２２の主面２２ａに対して反射面２３ｂが４５°傾斜するように配置されている。しかしながら、ハーフミラー２３は、第１及び第２のイメージセンサ２４，２５にて透過光Ｌ２及び反射光Ｌ３をそれぞれ受光可能であれば、その配置態様はこれに限らない。

・上記各実施形態では、ハーフミラー２３は、立方体状をなすプリズム型のものを用いたが、これに限らず、平面型のもの等を用いてもよい。
・上記各実施形態では、第１のイメージセンサ２４は、ハーフミラー２３に対して車両１０の後方側に配置され、第２のイメージセンサ２５は、ハーフミラー２３に対して車両１０の下方側に配置されている。しかしながら、ハーフミラー２３に対する第１及び第２のイメージセンサ２４，２５の配置位置は、これに限らない。

例えば、図２１に示すように、第２のイメージセンサ２５を、ハーフミラー２３に対して車幅方向の一方側に配置してもよい。図２１に示す例では、第２のイメージセンサ２５は、ハーフミラー２３に対して左側に配置されている。なお、この場合、ハーフミラー２３は、透過光Ｌ２が第１のイメージセンサ２４で受光され且つ反射光Ｌ３が第２のイメージセンサ２５で受光されるように配置される。このようにすると、撮像装置２０（筐体２１）を車両１０の上下方向に薄型化することができる。その結果、撮像装置２０によって車両１０の搭乗者の視界が狭まることを抑制することができる。

・上記各実施形態では、第１及び第２のイメージセンサ２４，２５は、何れもＣＭＯＳイメージセンサであるが、これに限らず、他の撮像素子（ＣＣＤイメージセンサ等）であってもよい。

・上記各実施形態では、レンズ２２を保持し、ハーフミラー２３、第１のイメージセンサ２４及び第２のイメージセンサ２５を収容した筐体２１は、ウインドシールド１２の内表面１２ｂに固定されている。しかしながら、車両１０内における筐体２１の配置位置は、これに限らず、撮像装置２０にて車両１０の周辺とウインドシールド１２とを撮像可能な位置であればよい。但し、筐体２１は、運転者の視界の邪魔にならない位置に固定されることが好ましい。

例えば、図２２に示すように、筐体２１は、ルーフパネル１１に固定されてもよい。この例では、筐体２１は、例えば、図示しないバックミラーの車両前方側に位置するようにルーフパネル１１に固定され、車幅方向の中央に位置する。

・上記各実施形態では、撮像装置２０は、車両１０の周辺の画像と、ウインドシールド１２の画像とを撮像する用途に用いられているが、これに限らず、被写体距離（レンズから撮像対象までの距離）が異なる２つの撮像対象を撮像する用途に用いられればよい。例えば、撮像装置２０は、車両１０の周辺（車両１０の後方側）の画像と、車両１０の後方に設けられたウインドシールドとしてのリヤウインドシールドの画像とを撮像する用途に用いられてもよい。

次に、上記各実施形態及び変更例から把握できる技術的思想を以下に追記する。
（イ）前記画像処理装置は、検出した前記外表面における前記異物の位置と、前記一方の撮像部が撮像した画像とに基づいて、当該一方の撮像部が撮像した画像における前記異物の位置を認識し、前記異物の位置が認識された前記画像に基づいて前記車両に近接する障害物を検出する運転支援制御部を有することを特徴とする。

この構成によれば、画像処理装置は、一方の撮像部が撮像した車両周辺の画像と他方の撮像部が撮像したウインドシールドの画像とを比較し、その比較結果に基づいてウインドシールドの外表面に付着した異物の位置を検出する。そのため、他方の撮像部が撮像した画像における異物の位置を高精度に検出することができる。更に、その検出結果に基づいて、画像処理装置は、一方の撮像部が撮像した画像における異物の位置を高精度に認識することができる。そして、運転支援制御部は、一方の撮像部が撮像した画像であって異物の位置が高精度に認識された画像に基づいて車両に近接する障害物を検出する。そのため、一方の撮像部で撮像した画像がウインドシールドの外表面に付着した異物の影響を受けている場合であっても、当該異物の影響により車両に近接する障害物を運転支援制御部が誤検出することが抑制される。

１０…車両、１２…ウインドシールドとしてのフロントウインドシールド、１２ａ…外表面、２０…撮像装置、２２…レンズ、２２ａ…主面、２３…ビームスプリッタとしてのハーフミラー、２３ｂ…反射面、２４…第１の撮像部としての第１のイメージセンサ、２４ａ…第１の撮像面、２５…第２の撮像部としての第２のイメージセンサ、２５ａ…第２の撮像面、２５ｂ…仮想撮像面、２６…画像処理装置、３１…異物判定部、３２…ワイパ制御部、４１，４１ａ…異物、Ａ１…異物存在範囲、Ｆ１，Ｆ２，Ｆ３，Ｆ４，Ｆ１６…画像、Ｆ１１…第２の画像としての画像、Ｆ１３，Ｆ１４…第１の画像としての画像、Ｆ１５…予測画像、Ｌ１…入射光、Ｌ２…透過光、Ｌ３…反射光、Ｍ…ワイパモータ、Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５…平面、Ｓ１，Ｓ２…一直線。

Claims (8)

1. レンズと、
   前記レンズを透過した光の光路上に配置されたビームスプリッタと、
   前記ビームスプリッタを透過した透過光が結像する位置に位置する第１の撮像面を有する第１の撮像部と、
   前記ビームスプリッタで反射された反射光が結像する位置に位置する第２の撮像面を有する第２の撮像部と、
   を備え、
   前記第１の撮像部は、車両のウインドシールドを撮像するものであり、
   前記第１の撮像面を含む平面と、前記レンズの主面を含む平面と、前記ウインドシールドの外表面を含む平面とが一直線上で交わることを特徴とする撮像装置。
2. レンズと、
   前記レンズを透過した光の光路上に配置されたビームスプリッタと、
   前記ビームスプリッタを透過した透過光が結像する位置に位置する第１の撮像面を有する第１の撮像部と、
   前記ビームスプリッタで反射された反射光が結像する位置に位置する第２の撮像面を有する第２の撮像部と、
   を備え、
   前記第２の撮像部は、車両のウインドシールドを撮像するものであり、
   前記ビームスプリッタの反射面を含む平面に関して面対称となる位置に仮想的に配置された前記第２の撮像部の前記第２の撮像面を仮想撮像面とすると、前記仮想撮像面を含む平面と、前記レンズの主面を含む平面と、前記ウインドシールドの外表面を含む平面とが一直線上で交わることを特徴とする撮像装置。
3. 請求項１又は請求項２に記載の撮像装置において、
   前記第１の撮像部及び前記第２の撮像部の何れか一方の撮像部は、車両のウインドシールド越しに前記車両の周辺を撮像するものであり、何れか他方の撮像部は、前記ウインドシールドを撮像するものであり、
   前記第１の撮像部で撮像した画像と前記第２の撮像部で撮像した画像とを比較し、比較結果に基づいて前記ウインドシールドの外表面に付着した異物の前記外表面における位置を検出する画像処理装置を有することを特徴とする撮像装置。
4. レンズと、
   前記レンズを透過した光の光路上に配置されたビームスプリッタと、
   前記ビームスプリッタを透過した透過光が結像する位置に位置する第１の撮像面を有する第１の撮像部と、
   前記ビームスプリッタで反射された反射光が結像する位置に位置する第２の撮像面を有する第２の撮像部と、
   を備え、
   前記第１の撮像部及び前記第２の撮像部の何れか一方の撮像部は、車両のウインドシールド越しに前記車両の周辺を撮像するものであり、何れか他方の撮像部は、前記ウインドシールドを撮像するものであり、
   前記第１の撮像部で撮像した画像と前記第２の撮像部で撮像した画像とを比較し、比較結果に基づいて前記ウインドシールドの外表面に付着した異物の前記外表面における位置を検出する画像処理装置を有することを特徴とする撮像装置。
5. 請求項３又は請求項４に記載の撮像装置において、
   前記画像処理装置は、前記一方の撮像部で異なる時刻に撮像した複数の第１の画像に基づいてオプティカルフローを算出し、算出した前記オプティカルフローに基づいて、前記第１の画像よりも後に前記一方の撮像部で撮像した第２の画像が撮像された時刻の予測画像を形成し、前記第２の画像における前記異物の像が存在する異物存在範囲に、前記予測画像における前記異物存在範囲に対応する部分の画像を繋ぎ合わせた画像を形成することを特徴とする撮像装置。
6. 請求項３又は請求項４に記載の撮像装置において、
   前記画像処理装置は、前記一方の撮像部で撮像した画像における前記異物の像が存在する異物存在範囲に、前記外表面に当該異物が付着する前に前記一方の撮像部で撮像した画像における前記異物存在範囲に対応する部分の画像を繋ぎ合わせた画像を形成することを特徴とする撮像装置。
7. 請求項３乃至請求項６の何れか１項に記載の撮像装置において、
   前記画像処理装置による前記外表面に付着した異物の位置の検出結果に基づいて前記外表面に付着した異物の有無を判定する異物判定部と、
   前記異物判定部による異物の有無の判定に基づいてワイパモータを駆動制御するワイパ制御部と、
   を備えたことを特徴とする撮像装置。
8. 請求項１乃至請求項７の何れか１項に記載の撮像装置において、
   前記第１の撮像部及び前記第２の撮像部の何れか一方の撮像部は、車両のウインドシールド越しに前記車両の周辺を撮像するものであり、何れか他方の撮像部は、前記ウインドシールドを撮像するものであり、
   前記ビームスプリッタは、前記他方の撮像部よりも前記一方の撮像部の方が受光する光量が多くなるように、前記ビームスプリッタに入射した入射光を分割することを特徴とする撮像装置。