JP6970911B2 - 汚れ検出装置の制御方法、および汚れ検出装置 - Google Patents

Description

本開示はデータ通信技術に関し、特にカメラの汚れを検出する技術に関する。

カメラの汚れを検出する従来技術として、カメラにより撮影された画像情報から抽出した高周波成分の積分値が閾値以下の場合に、カメラの汚れが発生していると判定することが知られている。

また、カメラの汚れを検出する別の従来技術として、カメラにより異なるタイミングで撮像された複数の映像の各領域に含まれる濃度値の差分を積算し、その積算値が所定値以下の領域を汚れ領域の候補とすることが知られている。

特開２００７−２０８８６５号公報 特開２００３−２５９３５８号公報

上記２つの従来技術の方法では、実際にはカメラのレンズ面に汚れが付着していないにもかかわらず汚れが付着していると判定してしまうことがあり、改善が求められる。

本開示は上記課題に鑑みたもので、１つの目的は、カメラに付着した汚れの有無を推定する精度を向上させることである。

上記課題を解決するために、本開示のある態様の汚れ検出装置は、１つのカメラにより複数の時点で撮像された複数の画像を取得する取得部と、取得部により取得された複数の画像間で輝度の変化度合いが相対的に低い領域である不変領域を検出する第１検出部と、取得部により取得された複数の画像の中の少なくとも１つの対象画像から周波数領域のデータを抽出し、抽出された周波数領域のデータに基づいて、対象画像内の複数の領域のボケ度合いを検出する第２検出部と、第１検出部により検出された不変領域と、第２検出部により検出された複数の領域のボケ度合いとに基づいて、カメラに付着した汚れの有無を推定する推定部と、を備える。

本開示の別の態様は、カメラである。このカメラは、外界を撮像する撮像部と、撮像部により複数の時点で撮像された複数の画像間で輝度の変化度合いが相対的に低い領域である不変領域を検出する第１検出部と、撮像部により撮像された複数の画像の中の少なくとも１つの対象画像から周波数領域のデータを抽出し、抽出された周波数領域のデータに基づいて、対象画像内の複数の領域のボケ度合いを検出する第２検出部と、第１検出部により検出された不変領域と、第２検出部により検出された複数の領域のボケ度合いとに基づいて、本カメラに付着した汚れの有無を推定する推定部と、を備える。

なお、以上の構成要素の任意の組合せ、本発明の表現を、方法、コンピュータプログラム、コンピュータプログラムを記録した記録媒体、本装置を搭載した車両などの間で変換したものもまた、本発明の態様として有効である。

本開示によれば、カメラに付着した汚れの有無を推定する精度を向上させることができる。

実施例の車両の構成を模式的に示す図である。 図１の汚れ検出装置の機能構成を示すブロック図である。 後方画像の例を示す図である。 変化度画像の例を示す図である。 ボケ強度画像の例を示す図である。 汚れ候補画像の例を示す図である。 汚れ検出結果画像の例を示す図である。 汚れ検出装置の動作を示すフローチャートである。 変形例のリアカメラの機能構成を示すブロック図である。

本開示における装置、システム、または方法の主体は、コンピュータを備えている。このコンピュータがプログラムを実行することによって、本開示における装置、システム、または方法の主体の機能が実現される。コンピュータは、プログラムに従って動作するプロセッサを主なハードウェア構成として備える。プロセッサは、プログラムを実行することによって機能を実現することができれば、その種類は問わない。プロセッサは、半導体集積回路（ＩＣ）、又はＬＳＩ（large scale integration）を含む一つ又は複数の電子回路で構成される。複数の電子回路は、一つのチップに集積されてもよいし、複数のチップに設けられてもよい。複数のチップは一つの装置に集約されていてもよいし、複数の装置に備えられていてもよい。プログラムは、コンピュータが読み取り可能なＲＯＭ、光ディスク、ハードディスクドライブなどの非一時的記録媒体に記録される。プログラムは、記録媒体に予め格納されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。

実施例の構成を説明する前に概要を説明する。
車両の後部に、当該車両の後方空間の様子を撮像するテレビジョンカメラ（以下「リアカメラ」と呼ぶ。）が搭載されることがある。車両には、リアカメラにより撮像された後方空間の画像（動画および静止画を含み、以下「後方画像」とも呼ぶ。）に基づいて、後方空間に存在する人や障害物を検知すると、運転者へアラートを通知するアプリケーションが導入されることもある。また、車両には、後方画像に基づいて後方空間の人や障害物を検知すると、その人や障害物を回避するように自動運転の挙動を決定するアプリケーションが導入されることもある。

リアカメラのレンズ表面（外に露出した面）には、埃、泥、油、タバコのヤニ等の汚れが付着することがある。このような汚れが付着したリアカメラにより撮像された後方画像は、後方空間の様子を正しく示さなくなる。その結果、後方画像に基づいてデータ処理を行うアプリケーションが、車両の後方空間に存在する人や障害物を検知できなくなる可能性がある。また、上記アプリケーションが、汚れにより生じた後方画像内のシルエットを人や障害物と誤検知する可能性もある。そこで、本実施例では、車両のリアカメラのレンズ表面に付着した汚れの有無を推定する精度を向上させる技術を提案する。

ところで、カメラのレンズ表面に汚れが付着した場合、その汚れに起因した焦点ボケが発生する（レンズ汚れの特徴１）。すなわち、レンズ表面の汚れおよび汚れの周辺に対応する後方画像内の領域にボケが生じ、例えば、当該領域では画像のコントラストが不明瞭になる。また、レンズ表面に付着した汚れは同じ位置に固定される。そのため、汚れに対応する後方画像内の領域は、時間経過に伴う変化が少ない（レンズ汚れの特徴２）。実施例の汚れ検出装置は、カメラのレンズ汚れのこれらの特徴を踏まえたアルゴリズムにより汚れの有無を推定する。

具体的には、実施例の汚れ検出装置は、上記特徴１に即した第１の検出処理として、後方画像のデータに対して離散フーリエ変換を使用した周波数空間分析処理を実行し、後方画像におけるボケ度合い（以下「ボケ強度」とも呼ぶ。）を検出する。ただし、街灯、長い建物の影、木漏れ日等により光学的にレンズボケと同じ拡散が発生する場合、ボケ強度が高く評価されることがあり、すなわち誤検出の可能性がある。

また、実施例の汚れ検出装置は、上記特徴２に即した第２の検出処理として、異なるタイミングで撮像された複数の後方画像間での輝度の変化度合いを検出し、変化度合いが低い領域を汚れ候補として検出する。ただし、第２の検出処理では、平坦な道路や雲のない空等、複数の後方画像間で変化に乏しい箇所を汚れ候補として評価することがあり、すなわち誤検出の可能性がある。

そこで、実施例の汚れ検出装置は、第１検出処理の結果と第２検出処理の結果とを組み合わせてカメラのレンズ表面の汚れの有無を推定する。これにより、汚れの誤検出を抑制し、汚れの有無の推定精度（言い換えれば推定の正確度）を高める。以下、実施例の構成を説明する。

図１は、実施例の車両１０の構成を模式的に示す。車両１０は、リアカメラ１２、汚れ検出装置１４、表示装置１６、ステアリングＥＣＵ（Electronic Control Unit）１８、トランスミッションＥＣＵ２０、ＣＡＮ（Controller Area Network）２２を備える。

リアカメラ１２は、車両１０の後方空間の様子を撮像する撮像部を含み、車両１０の後方空間の様子を示す後方画像を生成し、出力するテレビジョンカメラである。撮像部は、ガラス製または樹脂製のレンズを含む。リアカメラ１２は、撮像開始からの時間経過とともに、複数の後方画像を順次生成し、それら複数の後方画像を順次出力する。実施例における後方画像は輝度画像とする。

汚れ検出装置１４は、リアカメラ１２から出力された後方画像に基づいて、リアカメラ１２のレンズ表面に付着した汚れの有無を検出する情報処理装置である。実施例の汚れ検出装置１４は、汚れの検出結果を示すデータを表示装置１６へ出力する。

表示装置１６は、ＬＣＤ（liquid crystal display）等の画面を備え、汚れ検出装置１４による汚れの検出結果を含む各種情報を画面に表示させる情報処理装置である。表示装置１６は、例えば、カーナビゲーション装置でもよく、先進運転支援システム（advanced driver assistance system:ADAS）でもよい。

ステアリングＥＣＵ１８は、車両１０のステアリングを制御するための各種処理を実行する。実施例のステアリングＥＣＵ１８は、ハンドルの操舵角を所定のセンサから取得し、その操舵角を示すデータ（例えばＣＡＮフレーム）をＣＡＮ２２へ送出する。変形例として、ステアリングＥＣＵ１８は、ハンドルの操舵角に代えてステアリングの転舵角を所定のセンサから取得して、その転舵角を示すデータをＣＡＮ２２へ送出してもよい。

トランスミッションＥＣＵ２０は、車両１０のトランスミッションを制御するための各種処理を実行する。実施例のトランスミッションＥＣＵ２０は、エンジン回転数およびギヤ比等に基づいて車両１０の走行速度を導出し、その走行速度を示すデータをＣＡＮ２２へ送出する。なお、ステアリングＥＣＵ１８およびトランスミッションＥＣＵ２０とは異なる装置が、操舵角（もしくは転舵角）を示すデータ、および、走行速度を示すデータをＣＡＮ２２へ出力してもよい。

図２は、図１の汚れ検出装置１４の機能構成を示すブロック図である。本開示のブロック図において示される各ブロックは、ハードウェア的には、コンピュータのＣＰＵ・メモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。

汚れ検出装置１４は、通信部３０と制御部３２を備える。通信部３０は、所定の通信プロトコルにしたがってリアカメラ１２および表示装置１６と通信する。また、通信部３０は、ＣＡＮプロトコルにしたがってＣＡＮ２２で伝送されるデータを受信する。

制御部３２は、リアカメラ１２の汚れの有無を検出するためのデータ処理を実行する。制御部３２は、通信部３０を介して、外部装置から出力されたデータを取得し、また、外部装置へデータを送信する。図２には不図示だが、汚れ検出装置１４は、各種データを記憶する記憶部をさらに備えてもよく、制御部３２は、記憶部に記憶されたデータを参照または更新しつつ、データ処理を実行してもよい。

制御部３２は、画像取得部３４、変化度検出部３６、ボケ強度検出部３８、走行状態判定部４０、推定部４２、結果出力部４８を備える。これらの機能ブロックに対応する複数のモジュールを含むコンピュータプログラム（例えば、汚れ検出アプリケーション）が汚れ検出装置１４のストレージへインストールされてもよい。汚れ検出装置１４のＣＰＵは、このコンピュータプログラムをメインメモリへ読み出して実行することにより、各機能ブロックの機能を発揮してもよい。

画像取得部３４は、リアカメラ１２により複数の時点で撮像された複数の後方画像（実施例では輝度画像）を、通信部３０を介して順次取得し、例えば、不図示のメモリ内に後方画像のデータを展開する。図３は、後方画像の例を示す。後方画像５０は、例えば、６４０×４８０ピクセルのＶＧＡ（Video Graphics Array）画像でもよく、３２０×２４０ピクセルのＱＶＧＡ（Quarter Video Graphics Array）画像でもよい。また、図３の後方画像５０では、リアカメラ１２に付着した汚れの影響を受けた領域である汚れ影響領域５２を強調して示している。

図２に戻り、変化度検出部３６は、画像取得部３４により取得された複数の後方画像であり、すなわち、車両１０の後方空間の複数時点の様子を示す複数の後方画像間における輝度の変化度合いを計測する。変化度検出部３６は、複数の後方画像間で輝度の変化度合いが相対的に低い領域を不変領域として検出する。

例えば、変化度検出部３６は、後方画像に対して公知のソーベルフィルタを使用して画像内の輝度勾配を抽出し、輝度勾配の抽出結果を示す画像（ここでは「輝度勾配画像」と呼ぶ。）を生成してもよい。変化度検出部３６は、複数の後方画像に対応する複数の輝度勾配画像を生成してもよい。変化度検出部３６は、最新の後方画像に対応する輝度勾配画像における画素の輝度値を、過去の後方画像（例えば３世代前までの後方画像）に対応する輝度勾配画像における同じ位置の画素の輝度値と比較して、輝度勾配の変化を所定の閾値で判定してもよい。そして、変化度検出部３６は、輝度勾配の変化の頻度が所定の閾値未満の画素を輪郭とする画像内の領域を不変領域として検出してもよい。

不変領域検出のための上記閾値は、開発者の知見や経験、実施例の車両１０を用いた実験等により適切な値が決定されてもよい。また、変化度検出部３６は、ソーベルフィルタ以外の公知の手法により後方画像の輝度勾配を抽出してもよい。また、変化度検出部３６は、上記の特許文献２（特開２００３−２５９３５８号公報）の手法を適用して、複数の画像の各領域に含まれる濃度値の差分を積算し、その積算値が所定の閾値未満の領域を不変領域として検出してもよい。

実施例の変化度検出部３６は、検出した不変領域の位置を示す画像（以下「変化度画像」と呼ぶ。）を生成し、変化度画像のデータを推定部４２へ出力する。図４は、変化度画像の例を示す。図４の変化度画像６０は、複数の不変領域６２を含む。

図２に戻り、ボケ強度検出部３８は、画像取得部３４により取得された複数の画像の中の少なくとも１つの対象画像から周波数領域のデータを抽出し、抽出した周波数領域のデータに基づいて、対象画像内の複数の領域のボケ度合い（言い換えればボケ強度）を検出する。ボケ強度検出部３８は、画像取得部３４から入力された複数の画像のそれぞれを対象画像として、各対象画像内の複数領域のボケ度合いを検出してもよい。

実施例のボケ強度検出部３８は、対象画像を所定数のブロックに分割し、ＤＦＴを使用して、各ブロックの空間領域の画像データを空間周波数領域のデータへ変換する。後方画像がＶＧＡ画像の場合、ボケ強度検出部３８は、当該後方画像を、横１６ブロック（４０ピクセル／ブロック）×縦１６ブロック（３０ピクセル／ブロック）に分割してもよい。ボケ強度検出部３８は、１つのブロックに含まれる周波数分布における高周波の成分の割合が多いほど当該ブロックのボケ強度を低く決定してもよく、１つのブロックに含まれる高周波の成分の割合が少ないほど当該ブロックのボケ強度を高く決定してもよい。

実施例のボケ強度検出部３８は、対象画像内の各ブロックのボケ強度を示す画像（以下「ボケ強度画像」と呼ぶ。）を生成し、ボケ強度画像のデータを推定部４２へ出力する。図５は、ボケ強度画像の例を示す。図５のボケ強度画像７０は、横１６ブロック×縦１６ブロックの合計１９６ブロックを含み、ボケ強度が高いブロックほど白く示し、ボケ強度が低いブロックほど黒く示している。

図２に戻り、走行状態判定部４０は、リアカメラ１２が撮像する後方画像に変化を生じさせる予め定められた条件（以下「画像変化条件」と呼ぶ。）を記憶する。画像変化条件は、車両１０の走行状態に関する条件と、リアカメラ１２から出力された後方画像の態様に関する条件を含む。例えば、画像変化条件は、車両１０の速度または移動距離が所定の閾値以上になった場合に満たされるよう定められてもよい。また、画像変化条件は、車両１０の旋回角度が所定の閾値以上になった場合に満たされるよう定められてもよい。

さらにまた、画像変化条件は、複数の後方画像間で輝度の変化が大きくなった場合に満たされるよう定められてもよく、例えば、最新の後方画像の平均輝度と過去（例えば直前）の後方画像の平均輝度との差が所定の閾値以上になった場合に満たされるよう定められてもよい。画像変化条件の充足有無を判定するための各閾値は、開発者の知見や経験、車両１０を用いた実験等により適切な値が決定されてもよい。

走行状態判定部４０は、通信部３０がＣＡＮ２２から受信した車両１０の速度情報を取得し、その速度情報に基づいて、車両１０の速度または移動距離（例えば速度の積分値）が画像変化条件を満たすか否かを判定する（判定１）。また、走行状態判定部４０は、通信部３０がＣＡＮ２２から受信した車両１０の操舵角情報（もしくは転舵角情報）を取得し、車両１０の操舵角（もしくは転舵角）の値が画像変化条件を満たすか否かを判定する（判定２）。

また、走行状態判定部４０は、画像取得部３４により取得された複数の後方画像のそれぞれにおける平均輝度値を公知の手法により導出し、それら複数の後方画像に亘る平均輝度値の変化度合いが画像変化条件を満たすか否かを判定する（判定３）。走行状態判定部４０は、判定１〜判定３の少なくとも１つで画像変化条件を満たすと判定した場合、画像変化条件が満たされた旨のデータを推定部４２へ出力する。

推定部４２は、変化度検出部３６により検出された後方画像内の不変領域と、ボケ強度検出部３８により検出された後方画像内の複数領域のボケ度合いの両方に基づいて、リアカメラ１２に付着した汚れの有無を推定する。推定部４２は、後方画像における不変領域の少なくとも一部と、後方画像におけるボケ強度が所定値より領域の少なくとも一部とが一致する場合であり、実施例では所定サイズ以上一致する場合に、リアカメラ１２に汚れが付着したと推定する。推定部４２は、走行状態判定部４０により車両１０の走行状態または後方画像の輝度値が画像変化条件を満たすと判定された場合、言い換えれば、走行状態判定部４０から画像変化条件が満たされた旨のデータが入力された場合に、本推定処理を実行する。

推定部４２は、検出結果統合部４４と汚れ判定部４６を含む。検出結果統合部４４は、変化度検出部３６から入力された変化度画像を取得する。また、検出結果統合部４４は、ボケ強度検出部３８から入力されたボケ強度画像を取得する。検出結果統合部４４は、予め定められたボケ強度の基準値に基づいてボケ強度画像内の各ブロックを二値化した画像である二値化ボケ強度画像を生成する。二値化ボケ強度画像は、ボケ強度が基準値以上を示すブロックと、ボケ強度が基準値未満のブロックとを異なる態様で示す画像であってもよい。なお、ボケ強度画像の二値化処理は、ボケ強度検出部３８が実行してもよい。

検出結果統合部４４は、変化度画像が示す不変領域の少なくとも一部と、二値化ボケ強度画像が示すボケ強度が基準値以上のブロックの少なくとも一部とが重なる場合に、その重なる領域（１つ以上の画素の集合）を汚れ候補領域として決定する。検出結果統合部４４は、汚れ候補領域を示す画像である汚れ候補画像を生成し、汚れ候補画像のデータを汚れ判定部４６へ出力する。図６は、汚れ候補画像の例を示す。図６の汚れ候補画像８０は、２つの汚れ候補領域８２を含む。

図２に戻り、汚れ判定部４６は、検出結果統合部４４から入力された汚れ候補画像に含まれる各汚れ候補領域のサイズ（例えば画素数等）を検出する。汚れ判定部４６は、汚れ候補画像に含まれる１つ以上の汚れ候補領域のうちサイズが所定の閾値以上の汚れ候補領域を最終的な汚れ領域として検出する。汚れ領域検出のための上記閾値は、開発者の知見や経験、車両１０を用いた実験等により適切な値が決定されてもよい。汚れ判定部４６は、汚れ領域を検出した場合であり、すなわち、少なくとも１つの汚れ候補領域のサイズが上記閾値以上の場合に、リアカメラ１２のレンズ表面に汚れが付着したと判定する。

また、汚れ判定部４６は、汚れ領域を検出した場合、画像取得部３４により取得された後方画像の上に汚れ領域を示す画像を重畳させた汚れ検出結果画像を生成する。図７は、汚れ検出結果画像の例を示す。図７の汚れ検出結果画像９０は、２つの汚れ検出領域９２を含む。

図２に戻り、結果出力部４８は、汚れ判定部４６による判定結果であり、すなわち、汚れ検出結果を示すデータを外部装置へ送信する。実施例では、結果出力部４８は、リアカメラ１２に付着した汚れの有無を示すデータを表示装置１６へ送信し、リアカメラ１２の汚れの有無を示す情報を表示装置１６に表示させる。また、結果出力部４８は、汚れ判定部４６により生成された汚れ検出結果画像を表示装置１６へ送信し、汚れ検出結果画像を表示装置１６に表示させる。

以上の構成による汚れ検出装置１４の動作を説明する。
図８は、汚れ検出装置１４の動作を示すフローチャートである。リアカメラ１２は、車両１０の後方空間の様子を継続的に撮像し、複数の後方画像を順次汚れ検出装置１４へ出力する。汚れ検出装置１４の画像取得部３４は、通信部３０を介して、リアカメラ１２により複数の時点で生成された複数の後方画像を取得する（Ｓ１０）。

変化度検出部３６は、複数の後方画像に亘る輝度の変化度合いを画素ごとに検出し、複数の後方画像間で輝度の変化度合いが相対的に低い領域を不変領域として検出する（Ｓ１２）。ボケ強度検出部３８は、各後方画像について、後方画像を分割した複数のブロックそれぞれにおけるボケ強度を検出する（Ｓ１４）。走行状態判定部４０は、通信部３０がＣＡＮ２２から受信した走行状態を示すデータ、または後方画像に基づいて、画像変化条件が満たされたか否かを判定する（Ｓ１６）。

画像変化条件が満たされた場合（Ｓ１８のＹ）、検出結果統合部４４は、変化度検出部３６により検出された不変領域と、ボケ強度検出部３８により検出されたボケ強度が所定値より強い領域とが重複する領域を汚れ候補領域として検出する（Ｓ２０）。汚れ判定部４６は、検出結果統合部４４により検出された少なくとも１つの汚れ候補領域が、予め定められたサイズ以上である場合（Ｓ２２のＹ）、リアカメラ１２のレンズ表面に汚れが付着していると判定するとともに、汚れ領域を示す汚れ検出結果画像を生成する（Ｓ２４）。汚れ判定部４６は、検出結果統合部４４により検出されたすべての汚れ候補領域が上記サイズ未満である場合（Ｓ２２のＮ）、リアカメラ１２のレンズ表面に汚れが付着していないと判定する（Ｓ２６）。

結果出力部４８は、汚れ検出結果を示すデータとして、リアカメラ１２のレンズ表面に汚れが付着しているか否かの判定結果を示すデータを表示装置１６へ送信する。汚れが付着している場合、結果出力部４８は、汚れ検出結果を示すデータとして、汚れ検出結果画像のデータを表示装置１６へさらに送信する（Ｓ２８）。表示装置１６は、汚れ検出装置１４から送信された汚れ検出結果を画面に表示する。

なお、結果出力部４８は、リアカメラ１２のレンズ表面に汚れが付着していると汚れ判定部４６が判定した場合にのみ、汚れ検出結果のデータを表示装置１６へ送信してもよい。画像変化条件が満たされない場合（Ｓ１８のＮ）、Ｓ２０以降の処理をスキップする。汚れ検出装置１４は、図８の一連の処理を繰り返し実行する。例えば、汚れ検出装置１４は、リアカメラ１２から後方画像が入力されるたびに図８の一連の処理を実行してもよい。

実施例の汚れ検出装置１４は、後方画像内の不変領域と、後方画像内の複数領域のボケ度合いとを組み合わせに基づいて、リアカメラ１２のレンズ表面に付着した汚れの有無を推定する。これにより、不変領域に基づく汚れの検出の弱点と、ボケ度合いに基づく汚れの検出の弱点を補完し、汚れの有無の推定精度を高めることができる。また、画像変化条件が満たされた場合であり、すなわち、後方画像に変化が生じた場合に、リアカメラ１２に付着した汚れの有無を推定する。これにより、平坦な道路や雲のない空等を不変領域として検出することを抑制し、汚れの有無の推定精度を一層高めることができる。

以上、本開示を実施例をもとに説明した。この実施例は例示であり、各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。以下変形例を示す。

上記実施例では、リアカメラ１２のレンズ表面の汚れの有無を検出する汚れ検出装置１４をリアカメラ１２とは別装置として設けたが、リアカメラ１２と汚れ検出装置１４とを一体化してもよい。言い換えれば、リアカメラ１２は、撮像部に加えて、実施例の汚れ検出装置１４の機能を備えてもよい。リアカメラ１２に搭載された汚れ検出装置１４の機能は、撮像部により撮像された後方画像に基づいて自装置（すなわちリアカメラ１２）に付着した汚れの有無を判定してもよい。

図９は、変形例のリアカメラの機能構成を示すブロック図である。リアカメラ１２は、通信部１００、撮像部１０２、画像出力部１０４、汚れ検出部１０６を備える。通信部１００は、実施例の汚れ検出装置１４の通信部３０に対応し、表示装置１６およびＣＡＮ２２と通信する。実施例に記載したように撮像部１０２はレンズを含む。また、撮像部１０２は、車両１０の後方空間の様子を撮像し、後方画像を生成する。画像出力部１０４は、通信部１００を介して、後方画像を表示装置１６へ送信する。

汚れ検出部１０６は、実施例の汚れ検出装置１４に対応し、実施例の汚れ検出装置１４と同様の機能ブロックを含む。画像取得部３４は、撮像部１０２により生成された後方画像のデータを取得し、後方画像のデータを変化度検出部３６、ボケ強度検出部３８、走行状態判定部４０へ入力する。変化度検出部３６、ボケ強度検出部３８、走行状態判定部４０、推定部４２の機能は、実施例と同様である。結果出力部４８は、汚れ検出結果のデータを表示装置１６へ出力する。

別の態様として、汚れ検出装置１４と表示装置１６とを一体化してもよい。例えば、表示装置１６としてのカーナビゲーション装置またはＡＤＡＳは、実施例の汚れ検出装置１４の機能を備えてもよい。さらに別の態様として、実施例の汚れ検出装置１４の機能は、車両１０の外部の装置に設けられてもよい。例えば、実施例の汚れ検出装置１４の機能は、インターネット等の通信網を介して車両１０に接続されるサーバに設けられてもよい。

上記実施例では、汚れ検出装置１４の結果出力部４８は、汚れ検出結果を示すデータを表示装置１６に対して送信した。変形例として、結果出力部４８は、表示装置１６以外の他装置へ汚れ検出結果を示すデータを送信してもよい。この他装置は、車両１０の外部装置でもよく、結果出力部４８は、インターネット等の通信網を介して車両１０の外部装置へ汚れ検出結果を示すデータを送信してもよい。また、結果出力部４８は、汚れ検出アプリケーションに対する外部のアプリケーションへ汚れ検出結果を示すデータを送信してもよい。例えば、結果出力部４８は、リアカメラ１２により撮像された後方画像に基づいて所定のデータ処理（アラートの出力等）を行うアプリケーションへ汚れ検出結果を示すデータを送信してもよい。

上記実施例では、変化度検出部３６は変化度画像６０（図４）を出力し、ボケ強度検出部３８はボケ強度画像７０（図５）を出力し、検出結果統合部４４は汚れ候補画像８０（図６）を出力し、汚れ判定部４６は汚れ検出結果画像９０（図７）を出力した。変形例として、変化度検出部３６は、不変領域の位置を示す非画像データ（不変領域の座標値等）を出力してもよい。また、ボケ強度検出部３８は、複数のブロックそれぞれのボケ強度を示す非画像データ、または、所定値よりボケ強度が高いブロックの位置を示す非画像データ（ブロックの識別情報や座標値等）を出力してもよい。また、検出結果統合部４４は、汚れ候補領域の位置（座標値等）を示す非画像データを出力してもよい。また、汚れ判定部４６は、汚れ検出領域の位置（座標等）を示す非画像データを出力してもよい。

上記実施例では、汚れ検出装置１４は、車両１０のリアカメラ１２に付着した汚れの有無を推定したが、汚れの付着有無を推定する対象はリアカメラ１２に制限されない。実施例に記載の汚れ検出技術は、車両１０の後部以外に搭載されたカメラの汚れの検出にも適用可能である。また、実施例に記載の汚れ検出技術は、或る位置や地点、動かない物体等に固定設置されたカメラ（例えば監視カメラ等）の汚れの検出にも適用可能である。

実施例および変形例に記載の技術は、以下の項目によって特定されてもよい。
［項目１］
１つのカメラにより複数の時点で撮像された複数の画像を取得する取得部と、
前記取得部により取得された複数の画像間で輝度の変化度合いが相対的に低い領域である不変領域を検出する第１検出部と、
前記取得部により取得された複数の画像の中の少なくとも１つの対象画像から周波数領域のデータを抽出し、抽出された前記周波数領域のデータに基づいて、前記対象画像内の複数の領域のボケ度合いを検出する第２検出部と、
前記第１検出部により検出された前記不変領域と、前記第２検出部により検出された前記複数の領域のボケ度合いとに基づいて、前記カメラに付着した汚れの有無を推定する推定部と、
を備える汚れ検出装置。
この構成によると、第１検出部により検出された画像内の不変領域と、第２検出部により検出された画像内の複数領域のボケ度合いとを組み合わせることにより、カメラに付着した汚れの有無を推定する精度（言い換えれば正確度）を高めることができる。例えば、この構成によると、実際には汚れが付着していないにもかかわらず汚れが付着していると誤検出してしまうことを抑制できる。
［項目２］
前記推定部は、前記第１検出部により検出された不変領域の少なくとも一部と、前記第２検出部により検出されたボケ度合いが所定値より高い領域の少なくとも一部とが一致する場合に、前記カメラに汚れが付着したと推定する、
項目１に記載の汚れ検出装置。
この構成によると、輝度の変化が低く、かつ、ボケ度合いが高い領域が存在する場合に汚れが有りと推定することにより、汚れの有無の推定精度を高めることができる。
［項目３］
前記カメラは、車両に搭載されたカメラであって、当該車両の周囲を撮像するものであり、
前記車両の走行状態が、前記カメラの画像に変化を生じさせる所定の条件を満たすか否かを判定する判定部をさらに備え、
前記推定部は、前記判定部により前記車両の走行状態が前記条件を満たすと判定された場合に、前記カメラに付着した汚れの有無を推定する処理を実行する、
項目１または２に記載の汚れ検出装置。
この構成によると、変化が生じた画像に基づいて汚れの有無を推定するため、その推定精度を一層高めることができる。例えば、この構成によると、車両に動きがないことに起因する汚れの誤検出を抑制できる。
［項目４］
外界を撮像する撮像部と、
前記撮像部により複数の時点で撮像された複数の画像間で輝度の変化度合いが相対的に低い領域である不変領域を検出する第１検出部と、
前記撮像部により撮像された複数の画像の中の少なくとも１つの対象画像から周波数領域のデータを抽出し、抽出された前記周波数領域のデータに基づいて、前記対象画像内の複数の領域のボケ度合いを検出する第２検出部と、
前記第１検出部により検出された前記不変領域と、前記第２検出部により検出された前記複数の領域のボケ度合いとに基づいて、本カメラに付着した汚れの有無を推定する推定部と、
を備えるカメラ。
この構成によると、画像内の不変領域と、画像内の複数領域のボケ度合いとを組み合わせることにより、カメラに付着した汚れの有無を推定する精度を高めることができる。
［項目５］
１つのカメラにより複数の時点で撮像された複数の画像を取得し、
前記複数の画像間で輝度の変化度合いが相対的に低い領域である不変領域を検出し、
前記複数の画像の中の少なくとも１つの対象画像から周波数領域のデータを抽出し、抽出された前記周波数領域のデータに基づいて、前記対象画像内の複数の領域のボケ度合いを検出し、
前記不変領域と、前記複数の領域のボケ度合いとに基づいて、前記カメラに付着した汚れの有無を推定する、
ことをコンピュータに実行させるためのコンピュータプログラム。
この構成によると、画像内の不変領域と、画像内の複数領域のボケ度合いとを組み合わせることにより、カメラに付着した汚れの有無を推定する精度を高めることができる。
［項目６］
１つのカメラにより複数の時点で撮像された複数の画像を取得し、
前記複数の画像間で輝度の変化度合いが相対的に低い領域である不変領域を検出し、
前記複数の画像の中の少なくとも１つの対象画像から周波数領域のデータを抽出し、抽出された前記周波数領域のデータに基づいて、前記対象画像内の複数の領域のボケ度合いを検出し、
前記不変領域と、前記複数の領域のボケ度合いとに基づいて、前記カメラに付着した汚れの有無を推定する、
ことをコンピュータに実行させるためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
この構成によると、画像内の不変領域と、画像内の複数領域のボケ度合いとを組み合わせることにより、カメラに付着した汚れの有無を推定する精度を高めることができる。

上述した実施例および変形例の任意の組み合わせもまた本開示の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。

１０ 車両、 １２ リアカメラ、 １４ 汚れ検出装置、 １６ 表示装置、 ３４ 画像取得部、 ３６ 変化度検出部、 ３８ ボケ強度検出部、 ４２ 推定部、 ４４ 検出結果統合部、 ４６ 汚れ判定部、 ４８ 結果出力部。

Claims (6)

1. 車両に搭載されたカメラに付着する汚れを検出する汚れ検出装置の制御方法であって、
   第１時点で前記カメラによって撮影された第１画像を取得する第１ステップと、
   前記第１時点より後の第２時点で前記カメラによって撮影された第２画像を取得する第２ステップと、
   前記第１画像について輝度勾配を抽出して第１輝度勾配画像を生成する第３ステップと、
   前記第２画像について輝度勾配を抽出して第２輝度勾配画像を生成する第４ステップと、
   前記第２画像における所定の画素に対応する、前記第１輝度勾配画像の第１輝度値と、前記第２画像における前記所定の画素に対応する、前記第２輝度勾配画像の第２輝度値と、を比較し、前記第１輝度値から前記第２輝度値への変化が所定の閾値以下である前記所定の画素を輪郭とする前記第２画像内の領域を不変領域とする第５ステップと、
   前記第１画像又は前記第２画像の対象画像について空間周波数領域のデータを求め、前記空間周波数領域のデータに基づいて、前記対象画像内の複数の領域のボケ度合いを検出する第６ステップと、
   前記不変領域と前記ボケ度合いとに基づいて、前記カメラに付着した汚れの有無を判断する第７ステップと、を有する
   汚れ検出装置の制御方法。
2. 請求項１に記載の汚れ検出装置の制御方法であって、
   前記第７ステップは、前記不変領域内に前記ボケ度合いが所定値より高い領域がある場合、前記カメラに汚れが付着したとする、
   汚れ検出装置の制御方法。
3. 請求項１又は請求項２に記載の汚れ検出装置の制御方法であって、
   前記車両の走行状態が所定の条件を満たす場合、少なくとも前記第７ステップを実行する、
   汚れ検出装置の制御方法。
4. 車両に搭載されたカメラに結合するように設定された取得部と、
   出力部と、
   を備える汚れ検出装置であって、
   第１時点で前記カメラによって撮影された第１画像を、前記取得部を介して取得し、前記第１時点より後の第２時点で前記カメラによって撮影された第２画像を、前記取得部を介して取得し、
   前記第１画像について輝度勾配を抽出して第１輝度勾配画像を生成し、
   前記第２画像について輝度勾配を抽出して第２輝度勾配画像を生成し、
   前記第２画像における所定の画素に対応する、前記第１輝度勾配画像の第１輝度値と、前記第２画像における前記所定の画素に対応する、前記第２輝度勾配画像の第２輝度値と、を比較し、
   前記第１輝度値から前記第２輝度値への変化が所定の閾値以下である前記所定の画素を輪郭とする前記第２画像内の領域を不変領域とし、
   前記第１画像又は前記第２画像の対象画像について空間周波数領域のデータを求め、前記空間周波数領域のデータに基づいて、前記対象画像内の複数の領域のボケ度合いを検出し、
   前記不変領域と前記ボケ度合いとに基づいて、前記カメラに付着した汚れの有無を判断し、
   前記カメラに付着した汚れの有無の判断結果を、前記出力部を介して出力する、
   汚れ検出装置。
5. 請求項４に記載の汚れ検出装置であって、
   前記不変領域内に前記ボケ度合いが所定値より高い領域がある場合、前記カメラに汚れが付着したとする、
   汚れ検出装置。
6. 請求項４又は請求項５に記載の汚れ検出装置であって、
   前記車両の走行状態が所定の条件を満たす場合に、前記不変領域と前記ボケ度合いとに基づいて、前記カメラに付着した汚れの有無を判断する、
   汚れ検出装置。

Images