以下、本発明の第1の実施形態について、図面を参照して説明する。
図1に示すように、第1の実施形態に係る画像処理システム1は、移動体4に搭載され、照度計10、撮像装置(カメラ)20、表示装置30、照明装置40等を含んで構成される。照度計10、表示装置30、照明装置40は、それぞれ通信ケーブル、通信ネットワーク等を介してカメラ20と接続されて情報を送受信する。また、カメラ20は、通信ケーブル等を介して、ECU(Engine Control Unit)等と接続されて情報を送受信する。ここで、本願における「移動体」は、例えば、乗用車、トラック、バスといった道路上を走行する車両等を意味する。
照度計10は、移動体4の任意の位置、例えば、フロントガラスの最下部に固定して取り付けられる。照度計10は、計測部11、通信インタフェース12等を含んで構成される。
計測部11は、カメラ20が画像を撮像する環境の照度Iを計測する。
通信インタフェース12は、計測部11によって計測された照度Iを表す照度情報を画像処理装置22に送信する。通信インタフェース12は、物理コネクタ、無線通信機等とすることができる。物理コネクタには、電気コネクタ、光コネクタ、及び電磁コネクタが含まれる。また、無線通信機には、Bluetooth(登録商標)及びIEEE802.11を含む各規格に準拠する無線通信機、並びにアンテナが含まれる。
カメラ20は、移動体4の後方を撮像するように設置される。また、カメラ20は、前方又は側方を撮像するように設置されてもよい。図2に示すように、カメラ20は、撮像部21、画像処理装置22等を含んで構成される。
撮像部21は、撮像レンズ211、撮像素子212、信号処理部213等を含んで構成される。
撮像レンズ211は、該撮像レンズ211に入射した光が撮像素子212で結像するように集光するレンズである。撮像レンズ211は、例えば、魚眼レンズ、超広角レンズで構成されてもよい。撮像レンズ211は、単レンズで構成されてもよいし、複数枚のレンズで構成されてもよい。
撮像素子212は、撮像レンズ211によって結像された画像を撮像する撮像素子である。撮像素子212は、CCD(Charge-Coupled Device)イメージセンサ及びCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを含む。
信号処理部213は、画像を処理するプロセッサであり、例えば特定の機能を実行するように形成した専用のマイクロプロセッサや特定のプログラムを読出すことにより特定の機能を実行するプロセッサである。
信号処理部213は、該撮像素子212で結像された画像を表す画像信号を生成する。また、信号処理部213は、画像について、歪み補正、明度調整、コントラスト調整、ガンマ補正等の任意の処理を行ってもよい。
画像処理装置22は、画像取得部221、プロセッサ222、メモリ223、通信インタフェース224等を含んで構成される。
画像取得部221は、信号処理部213によって生成された画像信号の入力を受けることによって画像信号が表す画像を取得する、撮像部21とのインタフェースである。
プロセッサ222は、画像取得部221によって取得した画像を処理するプロセッサであり、例えば特定の機能を実行するように形成した専用のマイクロプロセッサや特定のプログラムを読出すことにより特定の機能を実行する汎用のCPU(中央処理装置:Central Processing Unit)である。
プロセッサ222は、撮像部21によって撮像され、画像取得部221によって取得された画像(以降、「取得画像」という)と、照度計10によって計測され、通信インタフェース224によって取得された照度Iとに基づいて、一様な異物の有無を判定する。異物には、撮像レンズ211に付着した汚れ又は曇りが含まれる。また、プロセッサ222は、異物の付着度合いである汚れ度又は曇り度を判定する。
ここで、プロセッサ222における一様な汚れの有無を判定する機能について詳細に説明する。
プロセッサ222は、画像取得部221によって取得された取得画像に撮像された被写体と、メモリ223に記憶されている基準画像に撮像された被写体とが同一であるか否かを判定する。
そのため、プロセッサ222は、取得画像と基準画像との類似性を示す指標Sを画像マッチングによって算出する。基準画像とは、汚れ判定が実施される前に、汚れ判定実施場所でカメラ20によって撮像された汚れ判定の基準となる画像である。汚れ判定実施場所は、移動体4のユーザが日常生活において定期的に滞在又は訪問することになっている場所であって、例えば、ユーザの自宅の駐車場、職場の駐車場等である。
類似性を示す指標Sとは、例えば、一般的な画像マッチングで用いられるSSD(Sum of Squared Difference)、SAD(Sum of Absolute Difference)等である。SSDは、基準画像の画素値と、取得画像の対応する位置にある画素値との差の二乗を基準画像及び取得画像の全ての画素について足し合わせた値である。SADは、基準画像の画素値と、取得画像の対応する位置にある画素値との差の絶対値を基準画像及び取得画像の全ての画素について足し合わせた値である。そのため、指標SをSSD又はSADとする場合、指標Sが低いほど基準画像と取得画像は類似している。
プロセッサ222は、SSDを指標Sとして算出すると、算出した指標Sと所定の閾値Sthとに基づいて、取得画像の被写体が基準画像の被写体と同一であるか否かを判定する。具体的には、プロセッサ222は、指標Sが所定の閾値Sth未満である場合、取得画像の被写体が基準画像の被写体と同一であると判定し、指標Sが所定の閾値Sth以上である場合、取得画像の被写体が基準画像の被写体と同一でないと判定する。所定の閾値Sthとは、指標Sがこの値より大きい場合に、取得画像の被写体は基準画像の被写体でないと、予め実験により決定される値である。ここで、プロセッサ222は、指標SとしてSSDの代わりにSADを算出してもよい。
また、プロセッサ222は、基準画像からエッジを検出した基準エッジ画像と、取得画像からエッジを検出した取得エッジ画像とに基づいて、上述のようにSSD又はSADを指標Sとして算出し、取得画像の被写体が基準画像の被写体と同一であるか否かを判定してもよい。
プロセッサ222が、取得画像に撮像された被写体と基準画像に撮像された被写体とが同一であるか否かを判定する方法は上述の方法に限られず、任意の方法により行うことができる。
また、プロセッサ222は、基準画像に撮像されている被写体と同一の被写体が撮像されている取得画像のうち、撮像レンズ211が汚れていないとみなせる状態で撮像された取得画像を構成する画素の輝度の平均値(以降、「平均輝度La」という)と、取得画像が撮像されたときに照度計10によって計測された照度Iとの相関関係を示す相関関数を算出する。本実施形態では、プロセッサ222が平均輝度Laと照度Iとに基づいて相関関数を算出する例を説明するが、平均輝度Laの代わりに、取得画像を構成する画素の輝度の合計に基づいて相関関数を算出してもよい。このような平均輝度La、輝度の合計等の、取得画像全体に係る輝度に関する特性を表す情報を輝度情報という。
具体的には、プロセッサ222は、取得画像の被写体が基準画像の被写体と同一であると判定すると、取得画像の平均輝度Laを算出する。そして、プロセッサ222は、平均輝度Laを算出すると、図3に示すような、取得画像が撮像されたときに照度計10によって計測された照度Iと平均輝度Laとの組合せをメモリ223に記憶させる。
また、プロセッサ222は、初期状態から、所定の数の、照度Iと平均輝度Laとの組合せがメモリ223に記憶されると、メモリ223に記憶されている組合せに基づいて、照度Iと平均輝度Laとの相関関係を示す、図3の実線に示すような一次関数を相関関数として算出する。ここで、初期状態とは、新しく製造された撮像レンズ211がカメラ20に設置された状態のこと、カメラ20に設置されている撮像レンズ211が清掃され、汚れが取り払われた状態のこと等をいう。また、所定の数とは、照度Iと平均輝度Laとの組合せを記憶するための処理が繰り返されても、画像に影響を与える程度の一様の汚れが撮像レンズ211に付着していないと見込まれる数であって、信頼できる相関関数を算出するために十分であるとされる組合せの数である。
また、プロセッサ222は、相関関数が算出された以降に、さらに撮像画像と照度Iとが取得され、平均輝度Laと照度Iとの組合せが所定の数より多くメモリ223に記憶されると、新たに記憶された平均輝度Laと、照度Iと、相関関係とに基づいて撮像レンズ211の汚れの有無を判定する。
具体的には、プロセッサ222は、計測された照度Iに基づいて相関関係を満たす理想輝度Liを算出する。相関関係とは、上述のように、撮像レンズ211が汚れていないとみなせる状態での照度Iと平均輝度Laとの関係を示す相関関数である。したがって、理想輝度Liは、撮像レンズ211が汚れていない場合に、照度計10で計測された照度Iであるときに撮像された画像において期待される平均輝度Laである。
そこで、プロセッサ222は、平均輝度Laが理想輝度Liより所定の閾値Lth以上、低いか否かを判定することによって撮像レンズ211の汚れの有無を判定する。所定の閾値Lthとは、平均輝度Laと理想輝度Liとの差がこの値より大きい場合に、撮像レンズ211を用いて撮像された画像が、以降で実施される各種解析等の結果に不正確さをもたらすと想定される値であって、予めの実験により決定される。
具体的には、プロセッサ222は、平均輝度Laが理想輝度Liより所定の閾値Lth以上、低い場合、撮像レンズ211の汚れがあると判定する。図3に示す例で説明すると、(1)に示す点は、照度I1で撮像された取得画像の平均輝度がLa1であることを示している。プロセッサ222は、実線で示される相関関数を用いて、照度I1が測定された場合の理想輝度LiはLi1であると算出する。この場合、平均輝度La1が理想輝度Li1より所定の閾値Lth以上低いため、プロセッサ222は、撮像レンズ211に汚れがあると判定する。
また、プロセッサ222は、平均輝度Laが理想輝度Liより所定の閾値Lth以上低くない場合、撮像レンズ211に汚れがないと判定する。図3に示す例で説明すると、(2)に示す点は、照度I2で撮像された取得画像の平均輝度がLa2であることを示している。プロセッサ222は、実線で示される相関関数を用いて、照度I2が測定された場合の理想輝度LiはLi2であると算出する。この場合、平均輝度La2が理想輝度Li2より所定の閾値Lth以上低くないため、プロセッサ222は、撮像レンズ211に汚れがないと判定する。
なお、プロセッサ222は、上述のように、平均輝度Laの代わりに、取得画像を構成する画素の輝度の合計に基づいて相関関数を算出する場合、画素の輝度の合計が理想輝度Liに取得画像の画素数を乗じた値より所定の閾値以上低いか否かに基づいて撮像レンズ211に汚れがあるか否かを判定する。
さらに、プロセッサ222は、撮像レンズ211に汚れがあると判定した場合、平均輝度Laと理想輝度Liとの差に基づいて、撮像レンズ211の汚れ度を判定する。プロセッサ222は、平均輝度Laと理想輝度Liとの差が大きいほど汚れ度が高いと判定する。例えば、プロセッサ222は、差が理想輝度Liの0%以上で10%未満である場合に汚れ度1とし、差が理想輝度Liの10%以上で20%未満である場合に汚れ度2とする。汚れ度の設定の方法、差に基づく汚れ度の判定の方法は、これに限られず任意の方法であってよい。
また、プロセッサ222は、撮像レンズ211に汚れがあると判定し、汚れ度を判定すると、汚れている旨及び汚れ度を含む汚れ情報を、通信インタフェース224を介して出力する。
メモリ223は、汚れ判定実施場所で撮像部21によって撮像され、画像取得部221によって取得した画像を基準画像として記憶する。また、プロセッサ222によって算出された、図3に示すような、取得画像の平均輝度Laと該取得画像が撮像されたときに照度計10によって計測された照度Iとの組合せを記憶する。また、メモリ223は、プロセッサ222によって算出された、照度Iと平均輝度Laとの相関関係を示す相関関数を記憶可能である。
通信インタフェース224は、照度情報取得部として、照度計10によって送信された照度情報を受ける。また、通信インタフェース224は、プロセッサ222が出力した汚れ情報を表示装置30、照明装置40、ECU等に送信する。通信インタフェース224は、通信インタフェース12と同様に、物理コネクタ、無線通信機等とすることができる。
表示装置30は、通信インタフェース31、表示用プロセッサ32、表示パネル33等を含んで構成される。
通信インタフェース31は、画像処理装置22から通信インタフェース224を介して送信された汚れ情報を受信する。通信インタフェース31は、通信インタフェース12と同様に、物理コネクタ、無線通信機等とすることができる。
表示用プロセッサ32は、通信インタフェース31によって受信した汚れ情報を表示パネル33に表示させる。
照明装置40は、カメラ20が撮像する方向を照射するように設置される。照明装置40は、通信インタフェース41、照射制御部42、発光部43等を含んで構成される。
通信インタフェース41は、画像処理装置22から通信インタフェース224を介して送信された汚れ情報を受信する。通信インタフェース41は、通信インタフェース12と同様に、物理コネクタ、無線通信機等とすることができる。
照射制御部42は、通信インタフェース41によって受信した汚れ情報に基づいて、発光部43による照射の明るさを制御する。
発光部43は、照射制御部42によって制御された明るさで、カメラ20が撮像する方向を照射する。
続いて、本実施形態の画像処理システム1の画像処理方法について、図4を参照して説明する。
本画像処理の前提として、撮像部21は、汚れ判定実施場所におけるユーザの指示入力、あるいは移動体4のイグニッションをON又はOFFするといった車両を操作するための車両操作入力に基づいて、汚れ判定実施場所を特定の画角で撮像する。
撮像部21によって汚れ判定実施場所が撮像されると、信号処理部213が撮像された画像を表す画像信号を画像処理装置22に出力する。そして、画像処理装置22のメモリ223は、画像信号が表す画像を基準画像として記憶しておく。メモリ223は、複数の画像を基準画像として記憶することができる。画像処理装置22は、指示入力又は車両操作入力がされる度に撮像された画像から、撮像される頻度の高い同一被写体の画像群を選択し、その中の一つの画像を基準画像として記憶することができる。
以上のように、画像処理装置22のメモリ223には、常に基準画像が記憶された状態にある。この状態で、画像処理装置22に指示入力又は車両操作入力がされると、撮像部21は画像を撮像する(ステップS11)。
また、指示入力又は車両操作入力がされると、すなわち、ステップS11でカメラ20によって画像が撮像されるときに、照度計10は周囲環境の照度Iを計測する(ステップS12)。照度計10による照度Iの測定は、指示入力又は車両操作入力と同時である必要はなく、計測部11の計測にかかる時間、及び、信号の伝達にかかる時間等の範囲内でずれていてよい。あるいは、照度Iは、周辺環境の照度Iが変化しない範囲で、例えば、10秒以内の範囲でずらして測定してもよい。
ステップS11で、画像が撮像されると、画像取得部221が、撮像された画像を取得画像として取得し、プロセッサ222が、取得画像に撮像された被写体がメモリ223に記憶されている基準画像に撮像された被写体と同一であるか否かを判定する(ステップ13)。同一の被写体を撮像したものか否かの判定は、例えば、基準画像と取得画像とを画像マッチングすることによって画像の類似性を示す指標Sを算出することによって行うことができる。
具体的には、プロセッサ222は、指標Sを算出し、指標Sが所定の閾値Sth以上であるか否かを判定する。プロセッサ222は、指標Sが所定の閾値Sth以上である場合、取得画像に撮像されている被写体が基準画像に撮像されている被写体ではないと判定し、画像処理システム1は処理を終了する。また、プロセッサ222は、指標Sが所定の閾値Sth未満である場合、取得画像に撮像されている被写体が基準画像に撮像されている被写体と同一であると判定する。
ステップS13で、取得画像に撮像された被写体が基準画像に撮像された被写体と同一でないと判定されると、画像処理システム1は処理を終了する。取得画像に撮像された被写体が基準画像に撮像された被写体と同一であると判定されると、プロセッサ222は、取得画像の平均輝度Laを算出する(ステップS14)。
ステップS14で、平均輝度Laが算出されると、メモリ223は、平均輝度Laと、ステップS12で計測された照度Iとの組合せを記憶する(ステップS15)。
ステップS15で、メモリ223が照度Iと平均輝度Laとの組合せを記憶すると、プロセッサ222は、メモリ223に記憶されている照度Iと平均輝度Laとの組合せが所定の数以下かである否かを判定する(ステップS16)。
ステップS16で、照度Iと平均輝度Laとの組合せが所定の数以下であると判定された場合、プロセッサ222は、組合せの数が所定の数であるか否かを判定する(ステップS17)。
ステップS17で、組合せの数が所定の数であると判定された場合、プロセッサ222は、照度Iと平均輝度Laとの相関関係を示す、一次関数で表される相関関数を算出し(ステップS18)、メモリ23が算出された相関関数を記憶する。そして、画像処理システム1は処理を終了する。
ステップS17で、組合せの数が所定の数でないと判定された場合、画像処理システム1は処理を終了する。
ステップS16で、組合せの数が所定の数以下でないと判定された場合、プロセッサ222は、ステップS12で計測された照度Iに基づいて、ステップS18で算出され、記憶された相関関数を用いて理想輝度Liを算出する(ステップS19)。
ステップS19で、理想輝度Liが算出されると、プロセッサ222は、平均輝度Laが理想輝度Liより所定の閾値Lth以上低いか否かを判定する(ステップS20)。
ステップS20で、平均輝度Laが理想輝度Liより所定の閾値Lth以上低くないと判定された場合、プロセッサ222は撮像レンズ211に汚れがないと判定して(ステップS21)、処理を終了する。
ステップS20で、平均輝度Laが理想輝度Liより所定の閾値Lth以上、低いと判定された場合、プロセッサ222は、撮像レンズ211に汚れがあると判定する(ステップS22)。
ステップS22で、撮像レンズ211に汚れがあると判定されると、プロセッサ222は、平均輝度Laと理想輝度Liとの差に基づいて、撮像レンズ211の汚れ度を判定する(ステップS23)。
ステップS23で、撮像レンズ211の汚れ度が判定されると、プロセッサ222は、通信インタフェース224を介して、撮像レンズ211が汚れている旨及び汚れ度を含む汚れ情報を表示装置30、照明装置40、ECUのいずれか1つ以上に出力する(ステップS24)。
ステップS24で、汚れ情報が表示装置30に出力されると、表示装置30は汚れ情報を表示する(ステップS25)。このとき、表示装置30は、汚れ情報に基づいて撮像レンズ211のクリーニングを促す注意を表示してもよい。
また、ステップS24で汚れ情報が照明装置40に出力されると、照明装置40は汚れ情報に基づいて明るさを制御、例えば、汚れ情報に含まれる汚れ度が高いほど、光量を多くするようライトを制御してもよい(ステップS25)。また、ステップS24でECUに汚れ情報が出力されると、ECUは汚れ情報に基づいて、移動体4を制御してもよい。
第1の実施形態においては、基準画像に撮像されている被写体と同一の被写体が撮像されている取得画像の平均輝度Laと、該取得画像が撮像されたときの照度Iとの相関関数を算出し、算出された相関関数に基づいて撮像レンズ211の汚れの有無を判定するため、光源や光フィルタを用いない少ない部品点数で、撮像レンズ211が汚れているか否かを把握することができる。これに伴い、光源や光フィルタを設置するための手間及びコストを低減させることができ、簡易に汚れを判定することができる。
また、第1の実施形態においては、移動体4に搭載された照明装置40は、画像処理装置22によって出力された汚れ情報に基づいて照射の明るさを制御するため、撮像部21は適切な照度Iで画像を撮像することができる。そのため、撮像レンズ211が汚れていても所望の輝度を有する画像を撮像することができる。したがって、撮像部21によって撮像された画像を用いる画像処理が適切に実行されることになる。
以下、本発明の第2の実施形態について、図面を参照して説明する。
第2の実施形態に係る画像処理システム2は、第1の実施形態に係る画像処理システム1と同様に移動体4に搭載された照度計10、カメラ20、表示装置30、照明装置40等を含んで構成される。
第2の実施形態におけるプロセッサ222は、第1の実施形態におけるプロセッサ222と同様に、照度Iと平均輝度Laとの相関関係を示す相関関数を算出し、メモリ223が算出された相関関数を記憶する点で同様である。以降の説明では、第1の実施形態と同様にして算出された相関関数、すなわち所定の数の、照度Iと平均輝度Laとの組合せよって算出された相関関数を第1の相関関数という。
第2の実施形態におけるプロセッサ222は、初期状態から、照度Iと平均輝度Laとの組合せが所定の数より多く記憶されると、メモリ23に記憶されている最新の所定の数の照度Iと平均輝度Laとの組合せに基づいて、第2の相関関数を算出する。
そして、プロセッサ222は、第1の相関関数と第2の相関関数との解離度に基づいて撮像レンズ211の汚れの有無を判定する。例えば、プロセッサ222は、各相関関数の0次の係数の差を解離度として算出し、解離度が所定の閾値以上である場合には、撮像レンズ211に汚れがあると判定する。また、プロセッサ222は、第1の相関関数の0次の係数と第2の相関関数の0次の係数との差が所定の閾値未満である場合には、撮像レンズ211に汚れがないと判定する。
続いて、第2の実施形態の画像処理システム2の画像処理方法について、図5を参照して説明する。
まず、第1の実施形態と同様に、本画像処理の前提として、汚れ判定実施場所における指示入力又は車両操作入力に基づいて、撮像部21は、汚れ判定実施場所を特定の画角で撮像する。メモリ223は、複数の画像を基準画像として記憶することができる。画像処理装置22は、指示入力又は車両操作入力がされる度に撮像された画像から、撮像される頻度の高い同一被写体の画像群を選択し、その中の一つの画像を基準画像として記憶することができる。
この状態で開始される、図5のステップS31〜S37に示す画像処理システム2の処理は、図4のステップS11〜S17に示す第1の実施形態の画像処理システム1の処理と同様である。
ステップS37で、組合せの数が所定の数であると判定された場合、プロセッサ222は、照度Iと平均輝度Laとの相関関係を示す、一次関数で表される相関関数を第1の相関関数として算出し(ステップS38)、メモリ223が算出された相関関数を記憶する。そして、画像処理システム1は処理を終了する。
ステップS37で、組合せの数が所定の数でないと判定された場合、画像処理システム1は処理を終了する。
ステップS36で、組合せの数が所定の数以下でないと判定された場合、プロセッサ222は、メモリ223に記憶されている最新の、所定の数の照度Iと平均輝度Laとの組合せに基づいて、照度Iと平均輝度Laとの相関関係を示す、一次関数で表される第2の相関関数を算出する(ステップS39)。
ステップS39で、第2の相関関数が算出されると、プロセッサ222は、第1の相関関数と第2の相関関数との解離度を算出する(ステップS40)。
ステップS40で解離度が所定の閾値以上であるか否かを判定する(ステップS41)。
ステップS41で、解離度が所定の閾値未満であると判定された場合、プロセッサ222は撮像レンズ211に汚れがないと判定して(ステップS42)、処理を終了する。
ステップS41で解離度が所定の閾値以上であると判定された場合、プロセッサ222は、撮像レンズ211に汚れがあると判定する(ステップS43)。
ステップS43で、撮像レンズ211に汚れがあると判定されると、プロセッサ222は、解離度に基づいて撮像レンズ211の汚れ度を判定する(ステップS44)。
ステップS44で、撮像レンズ211の汚れ度が判定されると、プロセッサ222は、通信インタフェース224を介して、汚れている旨及び汚れ度を含む汚れ情報を表示装置30、照明装置40、ECUのいずれか1つ以上に出力する(ステップS45)。
ステップS45で表示装置30に汚れ情報が出力されると、表示装置30は汚れ情報を表示する(ステップS46)。このとき、表示装置30は、汚れ情報に基づいて撮像レンズ211のクリーニングを促す注意を表示してもよい。
また、ステップS45で汚れ情報が照明装置40に出力されると、照明装置40は汚れ情報に基づいて明るさを制御、例えば、汚れ情報に含まれる汚れ度が高いほど、光量を高くするようライトを制御してもよい(ステップS46)。また、ステップS45でECUに汚れ情報が出力されると、ECUは汚れ情報に基づいて、移動体4を制御してもよい。
以上、説明したように、第2の実施形態においては、基準画像に撮像されている被写体と同一の被写体が撮像されている取得画像の平均輝度Laと、該取得画像が撮像されたときの照度Iとの相関関数を算出し、算出した相関関数に基づいて撮像レンズ211の汚れの有無を判定するため、光源や光フィルタを用いない少ない部品点数で、撮像レンズ211が汚れているか否かを把握することができる。これに伴い、光源や光フィルタを設置するための手間及びコストを低減させることができ、簡易に汚れを判定することができるという第1の実施形態と同様の効果を奏する。
続いて、本発明の第3の実施形態について、図面を参照して説明する。
第3の実施形態に係る画像処理システム3は、第1の実施形態に係る画像処理システム1と同様に移動体4に搭載された照度計10、カメラ20、表示装置30、照明装置40等を含んで構成される。
第3の実施形態におけるプロセッサ222は、第1の実施形態におけるプロセッサ222と同様であるが、取得画像に撮像された被写体が基準画像に撮像されている被写体と同一であるか否かを判定する処理を行う前に、取得画像に撮像された局所的な汚れを検出する。
ここで、プロセッサ222が、局所的な汚れを検出する方法の一例について説明する。
局所的な汚れを検出するための前提として、メモリ223は、移動体4が複数の異なる場所にいるとき、又は移動体4が複数の異なる方位を向いているときに撮像部21によってそれぞれ撮像された画像を記憶している。
この状態で、指示入力又は車両への操作入力がされて、撮像部21によって撮像が行われると、プロセッサ222は、複数の画像における互いに対応する領域の画素値の差が所定の範囲内である領域があるか否かを判定する。また、プロセッサ222は、複数の画像における互いに対応する領域における画素値の差が所定の範囲内である領域があった場合、該領域を除く、複数の画像の互いに対応する領域の画素値は異なるか否かを判定する。複数の画像に画素値が同一である領域があり、該領域を除く領域の画素値は各画像で異なる場合、プロセッサ222は、画素値が同一である領域に対応する、撮像レンズ211部分に局所的な汚れが付着していると判定する。
ここで、判定に用いられる複数の画像には、上述のように指示入力等の前に記憶された画像と、指示入力等の後に撮像部21によって撮像された取得画像とが含まれてもよいし、指示入力等の前に記憶された複数の画像のみが含まれてもよい。
また、プロセッサ222は、局所的な汚れが撮像された領域の、取得画像の全領域に対する割合である局所的汚れ割合を算出する。そして、プロセッサ222は、局所的汚れ割合が所定の閾値未満である場合、取得画像の局所的な汚れが撮像されていない領域に撮像された被写体が、基準画像の対応する領域に撮像された被写体と同一であるかの判定、及び撮像レンズ211の一様な汚れの有無の判定を行う。プロセッサ222は、局所的汚れ割合が所定の閾値以上である場合、取得画像と基準画像との被写体が同一であるかの判定、及び撮像レンズ211の一様な汚れの有無の判定を行わない。ここで、所定の閾値とは、予めの実験によって定められた、局所的汚れ割合がこの値以上であると上記の判定に信頼性を損なうと見込まれる割合である。
また、プロセッサ222は、取得画像における局所的な汚れが撮像されていない領域と、該領域に対応する基準画像上の領域とを用いて取得画像に撮像された被写体が基準画像に撮像された被写体と同一であるか否かを判定する。判定の具体的な方法については、第1の実施形態における方法と同様である。
また、プロセッサ222は、取得画像における局所的な汚れがない領域の平均輝度Laを算出して、算出した平均輝度Laに基づいて一様な汚れの有無を判定する。一様な汚れの有無の判定の具体的は方法については、第1の実施形態又は第2の実施形態における汚れの有無の判定の方法と同様である。
続いて、本実施形態の画像処理システム3の画像処理方法について、図6を参照して説明する。
まず、第1の実施形態と同様に、本画像処理の前提として、汚れ判定実施場所における指示入力又は車両操作入力に基づいて、撮像部21は、汚れ判定実施場所を特定の画角で撮像する。
撮像部21によって汚れ判定実施場所が撮像されると、信号処理部213が撮像された画像を表す画像信号を画像処理装置22に出力する。そして、画像処理装置22のメモリ223は、画像信号が表す画像を基準画像として記憶しておく。メモリ223は、複数の画像を基準画像として記憶することができる。画像処理装置22は、指示入力又は車両操作入力がされる度に撮像された画像から、撮像される頻度の高い同一被写体の画像群を選択し、その中の一つの画像を基準画像として記憶することができる。
以上のように、画像処理装置22のメモリ223には、常に基準画像が記憶された状態にある。この状態で、画像処理装置22に指示入力又は車両操作入力がされると、撮像部21は画像を撮像する(ステップS51)。
また、指示入力又は車両操作入力がされると、すなわち、ステップS51でカメラ20によって画像が撮像されるときに、照度計10は周囲環境の照度Iを計測する(ステップS52)。
ステップS51で、画像が撮像されると、プロセッサ222が、複数の画像を用いて撮像レンズ211の局所的な汚れを検出するための処理を行って、汚れが検出されたか否かを判定する(ステップS53)。
ステップS53で、局所的な汚れが検出されなかった場合、取得画像の全領域と基準画像の全領域とを画像マッチングすることによって、取得画像に撮像された被写体がメモリ223に記憶された基準画像に撮像された被写体と同一であるか否かを判定する(ステップS55)。
ステップS53で、局所的な汚れが検出された場合、取得画像において撮像レンズ211の局所的な汚れに対応する領域の、全領域に対する局所的汚れ割合を算出し、局所的汚れ割合が閾値未満か否かを判定する(ステップS54)。
ステップS54で局所的汚れ割合が所定の閾値以上であると判定されると、画像処理システム3は処理を終了する。ステップS54で割合が所定の閾値未満であると判定されると、プロセッサ222は、取得画像における局所的な汚れが撮像されていない領域と、該領域に対応する基準画像上の領域とを用いて、取得画像に撮像された被写体が基準画像に撮像された被写体と同一であるか否かを判定する(ステップS55)。
ステップS55で、取得画像に撮像された被写体が基準画像に撮像された被写体と同一でないと判定された場合、画像処理システム3は処理を終了する。ステップS55で取得画像に撮像された被写体が基準画像に撮像された被写体と同一であると判定された場合、プロセッサ222は、取得画像の平均輝度Laを算出する(ステップS56)。
ステップS56では、プロセッサ222は、ステップS53で局所的な汚れが検出されなかった場合、取得画像の全領域、又は予め定められた所定の領域の平均輝度Laを算出する。また、プロセッサ222は、ステップS53で局所的な汚れが検出された場合、取得画像の全領域又は所定の領域のうち、局所的な汚れがない領域の平均輝度Laを算出する。
ステップS57以降の処理は、第1の実施形態におけるステップS15以降の処理と同様である。ただし、ステップS60において、プロセッサ222は、ステップS56で局所的な汚れがない領域について算出された平均輝度Laに基づいて相関関数を算出する。そして、ステップS61においては、ステップS60で局所的な汚れがない領域について算出された平均輝度Laに基づいて算出された相関関数と、ステップS52で測定された照度Iとに基づいて理想輝度Liを算出する。
なお、第3の実施形態のプロセッサ222は、図6のステップS61〜S65に示すように、平均輝度Laと理想輝度Liとに基づいて、撮像レンズ211の汚れの有無及び汚れ度を判定しているが、この限りではなく、第2の実施形態と同様に第1の相関関数と第2の相関関数とに基づいて、撮像レンズ211の汚れの有無及び汚れ度を判定してもよい。
以上、説明したように、第3の実施形態においては、基準画像に撮像されている被写体と同一の被写体が撮像されている取得画像の平均輝度Laと、該取得画像が撮像されたときの照度Iとの相関関数を算出し、算出した相関関数とに基づいて撮像レンズ211の汚れの有無を判定するため、光源や光フィルタを用いない少ない部品点数で、撮像レンズ211が汚れているか否かを把握することができる。これに伴い、光源や光フィルタを設置するための手間及びコストを低減させることができ、簡易に汚れを判定することができるという第1の実施形態と同様の効果を奏する。
また、第3の実施形態においては、プロセッサ222は、取得画像における局所的な汚れが撮像されていない領域と、該領域に対応する基準画像上の領域とを用いて、それぞれに撮像されている被写体が同一であるか否かを判定する。そのため、局所的な汚れに起因して被写体が同一であるか否かの判定が不正確になるのを防ぐことができる。
また、第3の実施形態においては、また、プロセッサ222は、取得画像における局所的な汚れがない領域の平均輝度Laを算出して、算出した平均輝度Laに基づいて一様な汚れの有無を判定する。そのため、平均輝度Laが局所的な汚れに起因して一様な汚れの有無の判定が不正確となるのを防ぐことができる。
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態及び実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態及び実施例に記載の複数の構成ブロックを1つに組合せたり、あるいは1つの構成ブロックを分割したりすることが可能である。
上述の実施形態においては、メモリ223には1つの基準画像が記憶されていてもよいし、複数の基準画像が記憶されていてもよい。メモリ223に1つの基準画像が記憶されている場合、プロセッサ222は、取得画像と1つの基準画像との類似性を示す指標Sを算定する。メモリ223に複数の基準画像が記憶されている場合、プロセッサ222は、取得画像と複数の基準画像それぞれとの類似性を示す指標Sを算出し、取得画像に最も類似している基準画像の指標S、すなわち最も低い指標SLについて閾値Sthと比較する。そして、プロセッサ222は最も低い指標SLが閾値Sth未満であると判定した場合、該指標SLに係る、取得画像に最も類似している基準画像を用いて上述のように汚れの有無を判定する。この場合、例えば、プロセッサ222は、複数の基準画像のうち、取得画像に最も類似している基準画像を一意に識別する画像識別情報を、通信インタフェース224を介して表示装置30等に出力することもできる。
また、上述の実施形態においては、プロセッサ222は、取得画像に撮像された被写体が基準画像に撮像された被写体と同一であるか否かを判定しているが、この処理において、取得画像の全ての領域を用いてもよいし、取得画像の一部の領域を用いてもよい。また、上述の実施形態においては、プロセッサ222は、取得画像の平均輝度Laを算出しているが、この処理では取得画像の全領域を構成する画素の平均輝度Laを算出してもよいし、取得画像の所定の領域を構成する画素の平均輝度Laを算出してもよい。プロセッサ222が所定の領域に係る平均輝度Laを算出する場合、全領域に係る平均輝度Laを算出する場合に比べて、処理負荷を低減させることが可能となる。
また、上述の実施形態において、プロセッサ222が、基準画像と取得画像との類似性を示す指標Sに基づいて、取得画像に撮像された被写体が基準画像に撮像された被写体と同一であるか否かを判定しているが、この限りではない。例えば、プロセッサ222は、基準画像が取得された位置を表す位置情報と、取得画像が撮像された位置を表す位置情報が一致しているか否かに基づいて、取得画像に撮像された被写体が基準画像に撮像された被写体であるか否かを判定してもよい。この場合、移動体4はGPS受信機を備え、通信インタフェース224は、GPS受信機から送信された移動体4の位置情報に基づいて撮像位置の位置情報を取得する位置情報取得部として機能する。なお、ここでの「一致」とは厳密な一致を意味するものではなく、基準画像が取得された位置と取得画像が撮像された位置とで同一の被写体が撮像されるであろうと期待される程度に離れていてもよい。
この場合、プロセッサ222は、基準画像が取得されたときのカメラ20の方向を表す方向情報を取得し、位置情報と方向情報とに基づいて、取得画像に撮像された被写体が基準画像に撮像された被写体であるか否かを判定してもよい。この場合、プロセッサ222は、移動体4に取り付けられているジャイロセンサによって検出された移動体4の方向に基づいて、検出されたカメラ20の方向を取得する。
また、上述の実施形態において、プロセッサ222が、計測された照度Iと、算出された平均輝度Laとの相関関係を示す相関関数を算出する処理において、任意の方法により、照度Iに対する平均輝度Laの異常値を検出し、該異常値を除外して相関関数を算出してもよい。
また、上述の実施形態において、プロセッサ222は、汚れの有無及び汚れ度を判定するとしたが、例えば、撮像レンズ211の曇りの有無及び曇り度を判定してもよい。この場合、通信インタフェース224は、表示装置30、照明装置40、ECU等に、撮像レンズ211に曇りがある旨、及び曇り度を含む曇り情報を出力する。