JP4881050B2

JP4881050B2 - 車載用撮像装置

Info

Publication number: JP4881050B2
Application number: JP2006108953A
Authority: JP
Inventors: 忠夫一ノ瀬
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2006-04-11
Filing date: 2006-04-11
Publication date: 2012-02-22
Anticipated expiration: 2026-04-11
Also published as: JP2007282106A

Description

本発明は、外界の画像を結像するレンズ系の汚れを検出する車載用の撮像装置に関するものである。

従来、レンズ系の汚れ検出する装置としては、図６に示すように、外界の被写体の画像を結像するレンズ系１と、レンズ系１により結像された画像を含む光を受光する撮像素子２と、外界の被写体の画像とは別の方向からレンズ系１に向けて発光する１つの光源３と、光源３から発生された光の少なくとも一部を、レンズ系１に対して外界の被写体とは反対側からレンズ系１に向けて、レンズ系１の光軸とほぼ平行に反射するとともに、レンズ系１からくる光の一部を透過するハーフミラー１０とを備えたものがある。１つの光源３から発光された光はハーフミラー１０により反射されてレンズ系１に対して外界からの光とは逆方向から当てられ、レンズ系１に汚れがある場合は散乱光となり、この散乱光の一部はハーフミラー１０を通過して撮像素子２で受光される。こうして撮像素子２で受光された光量の増加量から汚れ検出を行っていた（例えば、特許文献１参照）。

また、車両に設置される従来のレンズ系の汚れ検出装置として、車両が移動している間に、異なるタイミングでカメラにより撮像された複数の画像の差分を抽出し、抽出された画像の差分に基づいて、カメラの汚れを検出するものがある。車両が移動している時に、異なるタイミングにて撮像された２つの画像に含まれる濃度値の差分を抽出して積算された濃度値の画像に基づいて汚れの検出を行っていた（例えば、特許文献２参照）。
特開２００１−１０９０４７号公報（第２図）特開２００３−２５９３５８号公報

しかしながら、前記特許文献１に記載の従来のレンズ系の汚れ検出装置は、光源３から発光される光が１種類であるため、レンズ系の汚れによる散乱光と、様々な波長や強さを有する外界からの光との混合によって、撮像素子のダイナミックレンジの影響を受けて散乱光の成分に影響を与えることが考えられる。また、散乱光の成分は撮像素子２に到達する前にハーフミラー１０によって減少するため、光源３から発光する光は必ず外界の被写体を明るくする程度の光量を必要とし、光源３が発光する光の光量が微弱である場合には適さない。さらに、外界の被写体の画像のとは別の方向から光源３から発光された光はハーフミラー１０によりレンズ系１に対して外界の被写体とは反対側からレンズ系１に向けて、レンズ系１の光軸とほぼ平行に反射する構成としなければならないため、小型であるべき車載の構造に適さない。

前記特許文献２に記載の従来のレンズ系の汚れ検出装置では、移動している画像に対して移動していない箇所をレンズ系の汚れと判別する方法であるため、車両の移動時にはレンズ系の汚れを検出することができても、車両の停車時にはレンズ系の汚れを検出することができない。

本発明は、上記従来の課題を解決するためになされたもので、外界からの光の条件によるレンズ系の汚れを検出する誤差を低減し、小型化を維持しつつも車両が移動しているか停車しているかに関わらずレンズ系の汚れを検出を可能とする車載用撮像装置を提供することを目的とする。

本発明の車載用撮像装置は、外界の被写体の画像を結像するレンズ系と、前記レンズ系により結像された画像を含む光を受光して画像信号に変換する撮像素子と、前記撮像素子に隣接して配置され、前記レンズ系により反射されて前記撮像素子に受光される程度の光量の、それぞれが波長の異なる光を前記レンズ系に向けて発光する複数の光源と、前記撮像素子により変換された前記画像信号を蓄積するメモリと、前記複数の光源の点灯および消灯を制御し、前記メモリに蓄積された、前記複数の光源それぞれの点灯、消灯に応じて撮像された前記画像信号を比較して、前記レンズ系の汚れを検出する汚れ検出部とを備えた前記外界の被写体の画像を取り込む構成を有している。

この構成により、本発明の車載用撮像装置は、様々な波長や強さを有する外界からの光の影響によって、ある波長では変化量が少なかった場合でも、その他の波長での変化量から汚れを検出できる可能性が高くなるため、外界からの光の条件による検出誤差の低減し、小型化を維持しつつも車両が移動しているか停車しているかに関わらずレンズ系の汚れを検出することができる。

また、本発明の車載用撮像装置は、前記複数の光源が発光する光は、前記レンズ系を通過して外界の被写体により反射された反射光が前記撮像素子により画像信号に変換されない程度の光量である構成を有しても良い。

この構成により、本発明の車載用撮像装置は、外界の被写体による反射光が撮像装置に受光されることにより生じるノイズを回避することができる。

また、本発明の車載用撮像装置は、前記汚れ検出部は、前記複数の光源それぞれの点灯、消灯に応じて撮像された前記画像信号について同一座標の画像を比較して前記レンズ系の汚れを検出する構成を有しても良い。

この構成により、本発明の車載用撮像装置は、各波長について同一座標の画素ごとにレンズ系の汚れの有無を検出することができるので、外界からの光の条件によるレンズ系の汚れの検出誤差を低減し、小型化を維持しつつも車両が移動しているか停車しているかに関わらずレンズ系の汚れを検出することができる。

また、本発明の車載用撮像装置は、前記汚れ検出部は、前記複数の光源それぞれの点灯、消灯に応じて撮像された前記画像信号について各画素の光量の和のみ前記メモリに蓄積し、これを比較して前記レンズ系の汚れを検出する構成を有しても良い。

この構成により、本発明の車載用撮像装置は、各波長について各画素の光量の和に基づいてレンズ系の汚れの有無を検出することができるので、外界からの光の条件によるレンズ系の汚れの検出誤差を低減し、小型化を維持しつつも車両が移動しているか停車しているかに関わらずレンズ系の汚れを検出することができる。さらに、メモリに蓄積される情報が各画素ごとに１つではなく、１つの光源について１つとなるため、メモリの容量が大幅に削減される。

また、本発明は、前記複数の光源は、可視光あるいは可視光以外の光を選択的に発光する構成を有しても良い。

この構成により、本発明の車載用撮像装置は、可視光や可視光以外の光を用いることにより、各種波長の光によってレンズ系の汚れの有無を検出することができると同時に、可視光以外の光を用いてレンズ系の汚れ検出する場合、周囲に気づかれることはなく、不快な印象を与えることもない。また、夜間に赤外線を使って外界の被写体を撮像する機能を有した車載用撮像装置などの場合、特に有効である。

本発明は、外界からの光の条件によるレンズ系の汚れ検出の誤差を低減し、小型化を維持しつつも車両が移動しているか停車しているかに関わらずレンズ系の汚れを検出することができるといった効果を有する車載用撮像装置を提供することができる。

以下、本発明の実施の形態について、図面を参照して説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態の車載用撮像装置の構成図である。

図１に示すように、本実施の形態の車載用撮像装置１００は、外界の被写体の画像を結像するレンズ系１と、レンズ系１により結像された画像を含む光を受光して画像信号に変換する撮像素子２と、撮像素子２に隣接して配置され、レンズ系１により反射されて撮像素子２に受光される程度の光量の、それぞれが波長の異なる微弱な光をレンズ系１に向けて発光する複数の光源３-１、３-２、・・・、３-（ｎ-１）、３-ｎと、撮像素子２により変換された画像信号を蓄積するメモリ５と、複数の光源３-１〜３-ｎの点灯および消灯を制御し、メモリ５に蓄積された、複数の光源３-１〜３-ｎそれぞれの点灯、消灯に応じた画像信号をフレームごとに比較して、レンズ系１の汚れを検出する汚れ検出部４とを備えている。尚、複数の光源３-１〜３-ｎがそれぞれ発光する光は、撮像素子２が受光可能であればカラー光、あるいは可視光以外の波長の光を発光であっても良いが、レンズ系１を通過して外界の被写体により反射された反射光が撮像素子２により画像信号に変換されない程度の光量とする。これにより、複数の光源３-１〜３-ｎから発光された光が、レンズ系１を通過して外界の被写体により反射されて撮像装置に受光されることにより生じるノイズを回避することができる。また、図１において、複数の光源３-１、３-２、・・・、３-（ｎ-１）、３-ｎは撮像素子２に対して一列に並ぶように示されているが、本発明はこれに限定されない。複数の光源の配置は、例えば撮像素子を囲む円周上など、様々な変形態様が可能である。

以上のように構成された車載用撮像装置１００について、図２および図３を参照してその動作を説明する。図２は、本実施の形態の車載用撮像装置の動作を説明するフロー図である。図３は、本実施の形態の車載用撮像装置の差分データの抽出方法を説明する図である。

まず、複数の光源３-１〜３-ｎが消灯した時に撮像素子２から出力される１フレームの画像信号を基準データ３０としてメモリ５に保存する（Ｓ１１）。次に、光源３-１〜３-ｎそれぞれを点灯させた時に撮像素子２から出力される画像信号を光源点灯データ４０-１〜４０-ｎとして取得し（Ｓ１２）、ステップＳ１１でメモリ５に保存された基準データ３０と同一座標の画素の画像との差分を抽出して差分データ５０-１〜５０-ｎとしてメモリ５の基準データ３０とは別の領域に保存する（Ｓ１３）。こうして得られた差分データ５０-１〜５０-ｎについて所定の閾値より大きいか否かを判定し（Ｓ１４）、差分データが閾値を越えたと判定された場合、レンズ系１の汚れを検出したとし（Ｓ１５）、差分データが閾値を越えていないと判定された場合、レンズ系１の汚れを検出せずとする（Ｓ１６）。ステップＳ１４において、汚れ基準の判定基準として、全ての差分データが閾値を越えた場合にレンズ系の汚れを検出としても良い。しかしながら、本発明はこれに限定されず、状況と用途に応じて様々な変形態様が可能である。レンズ系１の汚れによる散乱光と、様々な波長や強さを有する外界からの光との混合によって、散乱光の成分に影響を与えることもあるため、例えば、所定の数の差分データが閾値を越えた場合にレンズ系１の汚れを検出したとしても良い。

本実施の形態では、ステップＳ１２とステップＳ１３とに分けて、光源３-１〜３-ｎそれぞれを点灯させた時の光源点灯データ４０-１〜４０-ｎと基準データ３０と同一座標の画素の画像との差分を抽出して差分データ５０-１〜５０-ｎとしてメモリ５の基準データ３０とは別の領域に保存するとしたが、本発明はこれに限定されない。例えば、光源３-１を点灯させた時の撮像素子２からの１フレームの画像信号を取り込み光源点灯データ４０-１とし、メモリ５に蓄積された基準データ３０と光源点灯データ４０-１との同一座標画素の差分を抽出して差分データ５０-１としてメモリ５の基準データ３０とは別の領域に保存し、続けて光源３-２〜３-ｎについても順に同様の工程で差分データ５０-２〜５０-ｎを抽出していっても良い。

以上説明したように、本実施の形態の車載用撮像装置は、外界の被写体の画像を結像するレンズ系１と、レンズ系１により結像された画像を含む光を受光して画像信号に変換する撮像素子２と、撮像素子２に隣接して配置され、レンズ系１により反射されて撮像素子２に受光される程度の光量の、それぞれが波長の異なる微弱な光をレンズ系１に向けて発光する複数の光源３-１〜３-ｎと、撮像素子２により変換された画像信号を蓄積するメモリ５と、複数の光源３-１〜３-ｎの点灯および消灯を制御し、メモリ５に蓄積された、複数の光源３-１〜３-ｎそれぞれの点灯、消灯に応じた画像信号をフレームごとに比較して、前記レンズ系の汚れを検出する汚れ検出部４とを備えているため、各波長ごとに差分データと所定の閾値との比較が行うことができるので、様々な波長や強さを有する外界からの光の影響によって、ある波長では変化量が少なかった場合でも、その他の波長での変化量からレンズ系の汚れを検出できる可能性が高くなり、レンズ系の汚れを見逃す可能性が低くなる。また、光源を撮像素子の横に隣接して配置しているので、例えば、撮像素子と同一の基板上などに取り付けることが可能であり、ハーフミラーを必要としないため小型化を維持でき、ハーフミラーによる散乱光の減少もない。また、複数の光源を点灯、消灯させているので車両が移動しているか停車しているかに関わらずレンズ系の汚れを瞬時に検出することができる。

また、本発明の車載用撮像装置において、複数の光源が発光するそれぞれ波長の異なる光は可視光でも良く、また可視光以外の光でも良く、また可視光と可視光以外の光を選択的に発光可能としても良い。複数の光源が発光する光として可視光以外の光を用いてレンズ系の汚れ検出を検出する場合、周囲に気づかれることはなく、不快な印象を与えることもない。また、夜間に赤外線を使って外界の被写体を撮像する機能を有した車載用撮像装置などの場合、特に有効である。

（第２の実施の形態）
続いて、本発明の第２の実施の形態の車載用撮像装置について説明する。本実施の形態の携帯端末は、図１に示す車載用撮像装置と基本構成を同じくするため、同様の構成については同一の番号を用いて表記し、詳細な説明を省略する。本実施の形態において、汚れ検出部４は、複数の光源３-１〜３-ｎそれぞれの点灯、消灯に応じて撮像された画像信号について各画素の光量の和のみを比較してレンズ系１の汚れを検出するようになっている。

以上のように構成された車載用撮像装置１００について、図４および図５を参照してその動作を説明する。図４は、本実施の形態の車載用撮像装置の動作を説明するフロー図である。図５は、本実施の形態の車載用撮像装置の光量和差分データの抽出方法を説明する図である。

まず、複数の光源３-１〜３-ｎが消灯した時に撮像素子２から出力される１フレームの画像信号を取得し、各画素の光量和を光量和基準データ３５としてメモリ５に保存する（Ｓ２１）。次に、光源３-１〜３-ｎそれぞれを点灯させた時に撮像素子２から出力される画像信号の各画素の光量和を光量和データ４５-１〜４５-ｎとして算出し（Ｓ２２）、ステップＳ２１でメモリ５に保存された光量和基準データ３５との差分を光量和差分データ５５-１〜５５-ｎとしてメモリ５の光量和基準データ３５とは別の領域に保存する（Ｓ２３）。こうして得られた光量和差分データ５５-１〜５５-ｎについて所定の閾値より大きいか否かを判定し（Ｓ２４）、光量和差分データが閾値を越えたと判定された場合、レンズ系１の汚れを検出しとし（Ｓ２５）、光量和差分データが閾値を越えていないと判定された場合、レンズ系１の汚れを検出せずとする（Ｓ２６）。ステップＳ２４において、汚れ基準の判定基準として、全ての光量和差分データが閾値を越えた場合にレンズ系の汚れを検出としても良い。しかしながら、本発明はこれに限定されず、状況と用途に応じて様々な変形態様が可能である。レンズ系１の汚れによる散乱光と、様々な波長や強さを有する外界からの光との混合によって、散乱光の成分に影響を与えることもあるため、例えば、所定の数の光量和差分データが閾値を越えた場合にレンズ系１の汚れを検出したとしても良い。

本実施の形態では、ステップＳ２２とステップＳ２３とに分けて、光源３-１〜３-ｎそれぞれを点灯させた時の光量和データ４５-１〜４５-ｎと光量和基準データ３５との差分を算出して光量和差分データ５５-１〜５５-ｎとしてメモリ５の光量和基準データ３５とは別の領域に保存するとしたが、本発明はこれに限定されない。例えば、光源３-１を点灯させた時の撮像素子２からの１フレームの画像信号を取り込み光量和データ４５-１とし、メモリ５に蓄積された基準データ３０と光量和データ４５-１との差分を算出して光量和差分データ５５-１としてメモリ５の基準データ３０とは別の領域に保存し、続けて光源３-２〜３-ｎについても順に同様の工程で光量和差分データ５５-２〜５５-ｎを抽出していっても良い。

以上説明したように、本実施の形態の車載用撮像装置は、外界の被写体の画像を結像するレンズ系１と、レンズ系１により結像された画像を含む光を受光して画像信号に変換する撮像素子２と、撮像素子２に隣接して配置され、レンズ系１により反射されて撮像素子２に受光される程度の光量の、それぞれが波長の異なる微弱な光をレンズ系１に向けて発光する複数の光源３と、撮像素子２により変換された画像信号を蓄積するメモリ５と、複数の光源３の点灯および消灯を制御し、メモリ５に蓄積された、複数の光源３それぞれの点灯、消灯に応じた画像信号をフレームごとに比較して、前記レンズ系の汚れを検出する汚れ検出部４とを備えているため、各波長ごとに差分データと所定の閾値との比較が行うことができるので、様々な波長や強さを有する外界からの光の影響によって、ある波長では変化量が少なかった場合でも、その他の波長での変化量からレンズ系の汚れを検出できる可能性が高くなり、レンズ系の汚れを見逃す可能性が低くなる。また、光源を撮像素子の横に隣接して配置しているので、例えば、撮像素子と同一の基板上に取り付けることが可能であり、ハーフミラーを必要としないため小型化を維持でき、ハーフミラーによる散乱光の減少もない。また、光源の点消灯の変化を行うことで汚れを検出することができるので車両が移動しているか停車しているかに関わらずレンズ系の汚れを瞬時に検出することができる。さらに、汚れ検出部４は、複数の光源３-１〜３-ｎそれぞれの点灯、消灯に応じて撮像された画像信号について各画素の光量の和のみ必要に応じてメモリ５に蓄積し比較してレンズ系１の汚れを検出するようになっているので、比較を行う１フレームの情報が各画素単位でなく１フレームに１つの値となり、メモリ５を削減することができる。

本発明の車載用撮像装置は、外界からの光の条件によるレンズ系の汚れ検出の誤差を低減し、小型化を維持しつつも車両が移動しているか停車しているかに関わらずレンズ系の汚れを検出することができるので車載用撮像装置等として有用である。

本発明の第１の実施の形態の車載用撮像装置のブロック図本発明の第１の実施の形態の車載用撮像装置の動作を説明するフロー図本発明の第１の実施の形態の車載用撮像装置の差分データの抽出方法を説明する図本発明の第２の実施の形態の車載用撮像装置の動作を説明するフロー図本発明の第２の実施の形態の車載用撮像装置の光量和差分データの抽出方法を説明する図従来の撮像装置のブロック図

符号の説明

１レンズ系
２撮像素子
３-１〜３-ｎ光源
４汚れ検出部
５メモリ
６筐体
１０ハーフミラー
３０基準データ
３５光量和基準データ
４０-１〜４０-ｎ光源点灯データ
４５-１〜４５-ｎ光量和データ
５０-１〜５０-ｎ差分データ
５５-１〜５５-ｎ光量和差分データ
１００車載用撮像装置

Claims

外界の被写体の画像を取り込む車載用撮像装置であって、
前記外界の被写体の画像を結像するレンズ系と、前記レンズ系により結像された画像を含む光を受光して画像信号に変換する撮像素子と、前記撮像素子に隣接して配置され、前記レンズ系により反射されて前記撮像素子に受光される程度の光量の、それぞれが波長の異なる光を前記レンズ系に向けて発光する複数の光源と、前記撮像素子により変換された前記画像信号を蓄積するメモリと、前記レンズ系の汚れを検出する汚れ検出部とを備え、
前記汚れ検出部は、前記複数の光源の点灯および消灯を制御し、前記メモリに蓄積された、前記複数の光源それぞれの点灯、消灯に応じて撮像された前記画像信号間を比較および判定し、各光源別に得られた前記判定結果の全てあるいは一部を用いて汚れとして検出することを特徴とする車載用撮像装置。
前記複数の光源は、前記撮像素子と同一の基板上に配置されることを特徴とする請求項１に記載の車両用撮像装置。
前記複数の光源が発光する光は、前記レンズ系を通過して外界の被写体により反射された反射光が前記撮像素子により画像信号に変換されない程度の光量であることを特徴とする請求項２に記載の車載用撮像装置。
前記汚れ検出部は、前記複数の光源それぞれの点灯、消灯に応じて撮像された前記画像信号について同一座標の画像を比較して前記レンズ系の汚れを検出することを特徴とする請求項２に記載の車載用撮像装置。
前記汚れ検出部は、前記複数の光源それぞれの点灯、消灯に応じて撮像された前記画像信号について各画素の光量の和のみ前記メモリに蓄積し、これを比較して前記レンズ系の汚れを検出することを特徴とする請求項２に記載の車載用撮像装置。
前記複数の光源は、可視光および可視光以外の光を選択的に発光することを特徴とする請求項２に記載の車載用撮像装置。