JP3199174B2 - 画像処理方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、自動車の自動走
行・走行補助システムにおいて、路面状況認識、障害物
検知や前方車両追尾などを行うために、車載カメラによ
って撮像した画像を処理する画像処理方法に関するもの
である。

【０００２】

【従来の技術】従来より、自動車の自動走行・走行補助
システムでは、自動車のルームミラー（バックミラー）
の裏側などに取り付けられた車載カメラで自動車の前方
を撮像し、その撮像した画像を画像処理装置で処理する
ことによって、路面状況認識、障害物検知や前方車両追
尾などを行っている。

【０００３】ここで、雨が降った場合には、運転者は自
動車のワイパーを動作させるが、このワイパーが車載カ
メラによって撮像されると、画像処理装置がワイパーを
障害物であると誤って検知してしまうなどの画像処理に
悪影響を及ぼすおそれがあった。

【０００４】そこで、従来では、画像処理装置は、ワイ
パーが動作していることを、ワイパーのスイッチに連動
した機構的・電気的情報から得ることにより、ワイパー
の動作中は画像処理を停止させたり、または、機構的に
動作中のワイパーの位置を検出し、ワイパーの写ってい
る画像または画像の部分を画像処理にて除外することが
行われていた。

【０００５】

【発明が解決しようとする課題】しかし、上記のよう
な、単純にワイパーの動作中に画像処理を停止させる場
合、その間、路面状況認識、障害物検知や前方車両追尾
などが行われないので、システムの安全性が低下してし
まう。また、ワイパーの動作中に車載カメラが撮像した
画像の中にも、画像処理に影響のない（ワイパーの写っ
ていない）画像及び画像の部分なども存在するが、これ
らの画像及び画像の部分を画像処理に効率的に使用する
ことができないという課題があった。

【０００６】また、機構的にワイパーの位置を検出する
場合、ワイパーの移動抵抗が原理的に存在し、また、あ
る程度、ワイパーにはしなりや遊びがあるので、正確な
ワイパーの位置を検出することができず、ワイパーの位
置を画像処理に反映させることが困難であるなどの課題
があった。

【０００７】この発明は、上記のような課題を解決する
ためになされたものであり、ワイパーの影響による誤認
識を防ぎ、システムの安全性及び信頼性を向上させると
ともに、効率よく画像処理を行うことが可能になる画像
処理方法を得ることを目的とする。

【０００８】

【課題を解決するための手段】請求項１記載の発明に係
る画像処理方法は、撮像された画像を現フレームとし、
以前に撮像された画像である前フレームと現フレームと
の間で各画素の濃度の差分からなる差分画像を得て、差
分画像の平均濃度が第１の閾値（ＴＡ）よりも大きい場
合、または、第１の閾値よりも小さい第２の閾値（Ｔ
Ｂ）よりも大きく、かつ、差分画像の濃度の分散が分散
値の閾値（ＴＶ）よりも小さい場合に、現フレームがワ
イパー画像を含むフレームであるワイパーフレームであ
ると判定するようにしたものである。

【０００９】

【００１０】請求項２記載の発明に係る画像処理方法
は、現フレームがワイパーフレームでないと判定した場
合にのみ現フレームを、次回の判定のための前フレーム
として保存するようにしたものである。

【００１１】請求項３記載の発明に係る画像処理方法
は、現フレームがワイパーフレームである判定した場合
に、その後の数フレームを無条件にワイパーフレームと
するようにしたものである。

【００１２】請求項４記載の発明に係る画像処理方法
は、外界照度の変動に対応させて各閾値（ＴＡ，ＴＢ，
ＴＶ）を変動させるようにしたものである。

【００１３】請求項５記載の発明に係る画像処理方法
は、外界照度が高い場合には車載カメラのシャッター速
度を上げ、外界照度が低い場合には車載カメラのシャッ
ター速度を下げるようにしたものである。

【００１４】請求項６記載の発明に係る画像処理方法
は、車載カメラのシャッター速度を上げると同時に、各
閾値（ＴＡ，ＴＢ，ＴＶ）を下げるようにしたものであ
る。

【００１５】

【００１６】

【００１７】

【００１８】請求項７記載の発明に係る画像処理方法
は、差分画像の飽和閾値以上の濃度レベルをカットする
とともに、ワイパーフレームか否かを判定する前にフィ
ルタ処理にてノイズを除去するようにしたものである。

【００１９】

【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態１．図１は、この発明の実施の形態１による
画像処理方法を説明するための画像例を示す図である。
図１において、画像１０１は、車載カメラ（図示せず）
が撮像した現画像である。この画像１０１には、自動車
のワイパー部分１０１Ａが写っている。画像１０１の全
画素の濃度（輝度）の平均値（平均濃度）は、ＡＮであ
り、また、全画素の濃度の分散値（分散）は、ＶＮであ
る。

【００２０】画像１０２は、車載カメラが撮像した画像
１０１の１フレーム前の画像である。因みに、フレーム
とは、車載カメラが撮像したある瞬間の画像のことをい
う。画像１０２には、画像１０１のように自動車のワイ
パー部分１０１Ａは写っていない。画像１０２の全画素
の濃度の平均値（平均濃度）は、ＡＢであり、また、全
画素の濃度の分散値（分散）は、ＶＢである。

【００２１】画像１０３は、画像１０１と画像１０２の
差分画像、即ち、画像１０１各画素の濃度と画像１０２
の各画素の濃度の差分値の画像である。尚、この差分画
像１０３の各画素の濃度は、画像１０１，１０２の濃度
の差分値の絶対値を取る場合と、マイナス値が生じる場
合のいずれでもよいものとする。この差分画像１０３に
は、画像１０１と画像１０２を差分した結果、ワイパー
部分１０３Ａが残っている。差分画像１０３の全画素の
濃度の平均値（平均濃度）は、ａであり、また、全画素
の濃度の分散値（分散）は、ｖである。

【００２２】次に、画像処理動作について説明する。図
２は、この発明の実施の形態１による画像処理方法を説
明するためのフローチャートである。図２に示すよう
に、まず、画像処理装置（図示せず）は、画像処理を行
う画像１０１を取り込み（ステップＳＴ１）、現画像１
０１とこの現画像１０１の１フレーム前の画像１０２と
の差分処理を行う（ステップＳＴ２）。上記したよう
に、差分処理は、画像１０１，１０２の各画素の濃度を
差分値を求めるものであり、この差分処理の結果、差分
画像１０３が得られる。

【００２３】次に、画像処理装置は、差分画像１０３に
基づいて、現画像１０１がワイパーフレームであるか否
か判定する（ステップＳＴ３）。ここで、ワイパーフレ
ームとは、車載カメラが撮像したある瞬間の画像のう
ち、ワイパーが写っている画像のことをいう。

【００２４】ワイパーフレームであるか否かは、差分画
像１０３から平均濃度ａ及び分散ｖを求め、これら平均
濃度ａ及び分散ｖが平均濃度ａの所定閾値ＴＡ，ＴＢ及
び分散ｖの所定閾値ＴＶに対して、以下の条件式を満た
すとき、現画像１０１をワイパーフレームであると判定
する。

【００２５】（１）ａ＞ＴＡ または、 （２）ａ＞ＴＢ かつ、ｖ＜ＴＶ 但し、ＴＡ＞ＴＢとする。

【００２６】即ち、差分画像１０３の全体の平均濃度ａ
のレベルが（所定閾値ＴＡより）高いか、または、差分
画像１０３の平均濃度ａのレベルがある程度（所定閾値
ＴＢより）高く、かつ、分散ｖが（所定閾値ＴＶより）
小さい場合を、ワイパーフレームと判定する。なぜな
ら、画像１０１にワイパー部分１０１Ａが写っている
と、差分画像１０３のワイパー部分１０３Ａによって、
差分画像１０３の全体の平均濃度が高くなり、また、濃
度が高い画素の分散も小さくなるからである。

【００２７】ワイパーフレーム判定処理（ステップＳＴ
３）の結果、現画像１０１がワイパーフレームであると
判定されると、現画像１０１についてワイパーフレーム
用実処理を実行する（ステップＳＴ４）。このワイパー
フレーム用実処理は、ワイパーフレームである画像１０
１が画像処理に悪影響を及ぼすので、その画像１０１を
除外するものである。

【００２８】一方、ワイパーフレーム判定処理（ステッ
プＳＴ３）の結果、ワイパーフレームでないと判定され
ると、現画像１０１について非ワイパーフレーム用実処
理を実行する（ステップＳＴ５）。この非ワイパーフレ
ーム用実処理は、ワイパーフレームでない画像１０１に
基づいて、画像処理を行って、路面状況認識や障害物検
知などを行うものである。

【００２９】ワイパーフレーム用実処理（ステップＳＴ
４）または非ワイパーフレーム用実処理（ステップＳＴ
５）の後、画像１０１がワイパーフレームであるか非ワ
イパーフレームであるかに拘わらず、現画像１０１を次
フレームの画像（１０１）との差分処理用に保存する
（ステップＳＴ６）。即ち、この現フレーム保存処理に
よって保存された画像は、次フレームに対しては、１フ
レーム前の画像（１０２）となる。

【００３０】現フレーム保存処理（ステップＳＴ６）の
後、画像取込処理（ステップＳＴ１）に戻り、次フレー
ムの処理が実行される。

【００３１】以上のように、この実施の形態１によれ
ば、ワイパーの動作・位置を、従来技術のように、ワイ
パーに連動した機構的・電気的情報から得るのでなく、
撮像した画像１０１，１０２より求める差分画像１０３
から得るので、正確にワイパーの動作・位置を検出する
ことができ、その結果、システムの安全性・信頼性を向
上させることができる。

【００３２】また、画像毎に、ワイパーフレームか否か
判定するので、画像処理に悪影響を及ぼすワイパーフレ
ームのみ除外することができ、効率よく画像処理を行う
ことができる。

【００３３】実施の形態２．上記実施の形態１では、現
フレーム保存処理（ステップＳＴ６）にて、画像がワイ
パーフレームであるか否かに拘わらず、次フレーム用に
保存していたが、この実施の形態２では、画像が非ワイ
パーフレームである場合に限り、その画像を次フレーム
用に保存するものである。即ち、この実施の形態２で
は、現画像と最も近い過去の非ワイパーフレームの画像
との差分処理を行うようにしたものである。

【００３４】図３は、この発明の実施の形態２による画
像処理方法を説明するための画像例を示す図である。画
像１１１〜１１６は左から右に時系列に並べている。画
像１１１，１１２，１１６は、非ワイパーフレームであ
り、画像１１３〜１１５は、ワイパーフレームであると
する。

【００３５】次に、画像処理動作について説明する。図
４は、この発明の実施の形態２による画像処理方法を説
明するためのフローチャートである。 （１）図３の画像１１２の処理から説明する。画像処理
装置は、上記実施の形態１と同様、画像１１２を取り込
み（ステップＳＴ１）、現画像１１２とこの現画像１１
２の最も近い過去の非ワイパーフレームの画像１１１
（現画像１１２の１フレーム前の画像）との差分処理を
行う（ステップＳＴ２）。そして、画像処理装置は、上
記実施の形態１と同様、差分画像（図示せず）に基づい
て、現画像１１２がワイパーフレームであるか否か判定
する（ステップＳＴ３）。

【００３６】現画像１１２は、非ワイパーフレームであ
るので、画像処理装置は、現画像１１２を、次フレーム
以降の画像処理で使用する最も近い過去の非ワイパーフ
レームとして保存（画像１１１からの更新）する（ステ
ップＳＴ１１）。そして、画像処理装置は、上記実施の
形態１と同様、その画像１１２について非ワイパーフレ
ーム用実処理を実行して（ステップＳＴ５）、次の画像
１１３の処理に移行する（ステップＳＴ１）。

【００３７】（２）図３の画像１１３の処理を説明す
る。画像処理装置は、上記したのと同様、画像１１３を
取り込み（ステップＳＴ１）、現画像１１３とこの現画
像１１３の最も近い過去の非ワイパーフレームの画像１
１２との差分処理を行い（ステップＳＴ２）、差分画像
に基づいて、現画像１１３がワイパーフレームであるか
否か判定する（ステップＳＴ３）。

【００３８】現画像１１３は、ワイパーフレームである
ので、画像処理装置は、現画像１１２を保存せずに、上
記実施の形態１と同様、その画像１１３についてワイパ
ーフレーム用実処理を実行して（ステップＳＴ４）、次
の画像１１３の処理に移行する（ステップＳＴ１）。即
ち、非ワイパーフレームである画像１１２は、保存され
たまま更新されずに、次フレーム以降の画像処理で使用
される。

【００３９】（３）図３の画像１１４，１１５の処理
は、画像１１４，１１５がワイパーフレームであるの
で、上記した画像１１３の処理と同様、画像取込処理
（ステップＳＴ１）、最も近い過去の非ワイパーフレー
ムである画像１１２との差分処理（ステップＳＴ２）、
ワイパーフレーム判定処理（ステップＳＴ３）、及びワ
イパーフレーム用実処理（ステップＳＴ４）が行われ
る。

【００４０】（４）図３の画像１１６の処理は、画像１
１６が非ワイパーフレームであるので、上記した画像１
１２の処理と同様、画像取込処理（ステップＳＴ１）、
最も近い過去の非ワイパーフレームである画像１１２と
の差分処理（ステップＳＴ２）、ワイパーフレーム判定
処理（ステップＳＴ３）、画像１１６を最も近い過去の
非ワイパーフレームとして保存（画像１１２から更新）
する現フレーム保存処理（ステップＳＴ１１）、及び非
ワイパーフレーム用実処理（ステップＳＴ５）が行われ
る。従って、画像１１６が次フレーム以降の画像処理に
差分処理用に使用される。

【００４１】尚、現画像が非ワイパーフレームである場
合の現フレーム保存処理（ステップＳＴ１１）は、非ワ
イパーフレーム用実処理（ステップＳＴ５）の前に行っ
ていたが、非ワイパーフレーム用実処理（ステップＳＴ
５）の後に行ってもよい。

【００４２】以上のように、この実施の形態２によれ
ば、現画像との差分処理用に、最も近い過去の非ワイパ
ーフレームの画像を保存するようにしたので、ワイパー
フレーム判定処理（ステップＳＴ３）の誤判定を少なく
することができる。

【００４３】即ち、上記実施の形態１では、現画像がワ
イパーフレームであるか否かに拘わらず、現画像を次フ
レーム用に保存するので、差分用に保存した画像がワイ
パーフレームである場合、ワイパーフレームの平均濃度
が高いため、ワイパーフレームとワイパーフレームの差
分画像の平均濃度ａが低下し、現画像がワイパーフレー
ムであるにも拘わらず、現画像を非ワイパーフレームと
誤判定してしまうおそれがあるが、この実施の形態２で
は、必ず非ワイパーフレームと差分処理を行うので、現
画像を非ワイパーフレームと誤判定してしまうことが少
なくなる。

【００４４】実施の形態３．上記実施の形態１では、画
像毎に、ワイパーフレームであるか否か判定していた
が、この実施の形態３では、現画像がワイパーフレーム
であれば、続く数フレームもワイパーフレームであると
して処理するものである。

【００４５】尚、この実施の形態３による画像例は、上
記図１及び図３と同様の画像例を適用できるので、説明
を省略する。

【００４６】次に、画像処理動作について説明する。図
５は、この発明の実施の形態３による画像処理方法を説
明するためのフローチャートである。画像処理装置は、
上記実施の形態２と同様、処理する画像を取り込むと
（ステップＳＴ１）、次に、現画像が無条件にワイパー
フレームとして判断してよいか否か判定する（ステップ
ＳＴ２１）。

【００４７】無条件にワイパーフレームとして判断して
よいか否かは、「ｗｉｐ＿ｃｎｔ」の値が０か否か、即
ち、「ｗｉｐ＿ｃｎｔ」の値が１以上か否かによって判
定される。ここで、「ｗｉｐ＿ｃｎｔ」とは、画像処理
装置によってワイパーフレームが検出された後、続く何
フレームまでを無条件にワイパーフレームと判断するか
を示す値である。例えば、画像処理装置に取り込まれた
現画像の「ｗｉｐ＿ｃｎｔ」の値が３であれば、画像処
理装置は、続く３フレームまでを無条件にワイパーフレ
ームとして判断する。

【００４８】無条件ワイパーフレーム判定処理（ステッ
プＳＴ２１）の結果、「ｗｉｐ＿ｃｎｔ」の値が１以上
の場合、現画像を無条件にワイパーフレームと判断でき
る期間中であるので、画像処理装置は、数値デクリメン
ト処理、即ち、「ｗｉｐ＿ｃｎｔ」の値を１引き（ステ
ップＳＴ２２）、その後、ワイパーフレーム用実処理を
実行して（ステップＳＴ４）、次の画像の処理に移行す
る（ステップＳＴ１）。

【００４９】一方、無条件ワイパーフレーム判定処理
（ステップＳＴ２１）の結果、「ｗｉｐ＿ｃｎｔ」の値
が０の場合、無条件にワイパーフレームと判断できない
ので、現画像がワイパーフレームであるか否かを判定す
る必要がある。従って、上記実施の形態２と同様、現画
像と最も近い過去の非ワイパーフレームの画像との差分
処理（ステップＳＴ２）を行うことにより差分画像を求
め、その差分画像に基づいて、現画像がワイパーフレー
ムであるか否か判断する（ステップＳＴ３）。

【００５０】ワイパーフレーム判定処理（ステップＳＴ
３）の結果、現画像がワイパーフレームであると判定さ
れると、画像処理装置は、続く何フレームまでを無条件
にワイパーフレームと判断するかを示す値である「ｗｉ
ｐ＿ｃｎｔ」の値を任意の値ｎに設定する。即ち、以
後、無条件に現画像をワイパーフレームとするフレーム
数をｎに設定する（ステップＳＴ２３）。そして、画像
処理装置は、上記実施の形態２と同様、ワイパーフレー
ム用実処理を実行して（ステップＳＴ４）、次の画像の
処理に移行する（ステップＳＴ１）。

【００５１】また、ワイパーフレーム判定処理（ステッ
プＳＴ３）の結果、現画像が非ワイパーフレームである
と判定されると、画像処理装置は、上記実施の形態２と
同様、現画像を、最も近い過去の非ワイパーフレームと
して保存し（ステップＳＴ１１）、その後、非ワイパー
フレーム用実処理を実行して（ステップＳＴ５）、次の
画像の処理に移行する（ステップＳＴ１）。

【００５２】以上のように、この実施の形態３によれ
ば、現画像がワイパーフレームであると検出した場合
に、続く数フレームも無条件にワイパーフレームである
として処理するので、絶対にワイパーフレームである画
像（あるいはワイパーフレームである可能性が高い画
像）について、直ちにワイパーフレーム用実処理（ステ
ップＳＴ４）を実行することができ、画像処理の効率化
を図ることができるとともに、ワイパーフレーム判定処
理（ステップ３）における誤判定の可能性を低くするこ
とができる。

【００５３】実施の形態４．上記実施の形態１から実施
の形態３では、現画像の濃度と差分処理用の前画像（現
画像の１フレーム前の画像、または現画像と最も近い過
去の非ワイパーフレームの画像）の濃度とを差分した差
分画像を求め、その差分画像の平均濃度ａ及び分散ｖか
ら、現画像がワイパーフレームであるか否かを判定して
いるので、現画像と前画像の濃度のレベルを一定にする
必要がある。

【００５４】しかし、自動車が移動するに従って、外界
照度が変動する（自動車の外が明るくなったり暗くなっ
たりする）ので、現画像と前画像の濃度のレベルは一定
にならない。例えば、自動車が建物の陰に差し掛かって
いる場合は、外界照度は暗くなり画像も暗くなってしま
う。そこで、この実施の形態４では、外界照度の変動に
対応させるようにしたものである。

【００５５】図６は、この発明の実施の形態４による画
像処理方法を説明するための画像例を示す図である。図
６において、画像１２１は、建物の陰に差し掛かったと
きに車載カメラによって撮像された現画像である。この
画像１２１には、自動車のワイパー部分１２１Ａが写っ
ており、ワイパーフレームであるとする。画像１２１の
平均濃度ＡＮ’及び分散ＶＮ’は、通常（図１の画像１
０１の平均濃度ＡＮ及び分散ＶＮ）よりも低くなってい
る。

【００５６】画像１２２は、建物の陰に差し掛かってい
ないときに車載カメラによって撮像された差分処理用の
前画像である。この画像１２２の平均濃度ＡＢ及び分散
ＶＢは、通常（図１の画像１０２の平均濃度ＡＢ及び分
散ＶＢと同様）であるとする。

【００５７】画像１２３は、画像１２１と画像１２２の
差分画像である。この差分画像１２３には、画像１２１
と画像１２２を差分した結果、ワイパー部分１２３Ａが
残っている。差分画像１２３の平均濃度ａ’及び分散
ｖ’は、画像１２１が建物の陰で全体的に暗くなってい
るので、通常（図１の差分画像１０３の平均濃度ａ及び
分散ｖ）よりも低くなっている。

【００５８】

【００５９】

【００６０】

【００６１】そこで、外界照度に応じて、ワイパーフレ
ーム判定の条件式の所定閾値ＴＡ，ＴＢ及び所定閾値Ｔ
Ｖを変動させる。即ち、差分画像１２３の平均濃度ａ’
及び分散ｖ’が、外界照度に応じた所定閾値ＴＡ’，Ｔ
Ｂ’及び所定閾値ＴＶ’による条件式を満たすか否かに
よって、現画像１２１がワイパーフレームであるか否か
を判定する。このとき、所定閾値ＴＡ’，ＴＢ’及び所
定閾値ＴＶ’は、外界照度に比例した値となる。

【００６２】以上のように、この実施の形態４によれ
ば、外界照度に応じて、所定閾値ＴＡ，ＴＢ及び所定閾
値ＴＶを変動させるようにしたので、外界照度の影響を
なくすことができ、ワイパー検出の信頼性を向上させる
ことができる。

【００６３】実施の形態５．一般的に、カメラのシャッ
ター速度（秒／フレーム）を上げると、撮像した画像全
体の濃度（輝度）のレベルが下がって画像全体が暗くな
る。逆に、カメラのシャッター速度を下げると、撮像し
た画像全体の濃度のレベルが上がって画像全体が明るく
なる。即ち、カメラのシャッター速度と画像の濃度は反
比例する関係にある。

【００６４】上記実施の形態４では、外界照度の影響を
なくすために、外界照度に応じて、所定閾値ＴＡ，ＴＢ
及び所定閾値ＴＶを変動させるようにしたが、この実施
の形態５では、上記のカメラのシャッター速度と画像の
濃度の関係を利用して、現画像の濃度のレベルと前画像
の濃度のレベルを一定にすることにより、外界照度の影
響をなくすようにしたものである。

【００６５】外界照度が高い場合（外が明るい場合）に
は、シャッター速度を上げて画像全体の濃度のレベルを
下げ、逆に、外界照度が低い場合（外が暗い場合）に
は、シャッター速度を下げて画像全体の濃度のレベルを
上げるようにする。例えば、図６において、外界照度が
低い画像１２１を撮像するときのシャッター速度を、外
界照度が通常の画像１２２を撮像するときのシャッター
速度よりも下げることにより、画像１２１と画像１２２
の濃度のレベルを一定にすることができる。

【００６６】以上のように、この実施の形態５によれ
ば、外界照度に応じて車載カメラのシャッター速度を制
御することにより、現画像の濃度のレベルと前画像の濃
度のレベルが一定となり、外界照度の影響をなくすこと
ができ、その結果、ワイパー検出の信頼性を向上させる
ことができる。

【００６７】実施の形態６．上記実施の形態５では、現
画像の濃度のレベルと前画像の濃度のレベルを一定とす
るために、外界照度に応じて車載カメラのシャッター速
度を制御するようにした。かかる場合、雨のときには、
外界照度が低いため（外が暗いため）、シャッター速度
が下げられるが、シャッター速度が下げられると、ワイ
パーが写る時間が長くなってしまい、画像処理に利用で
きる画像（非ワイパーフレーム）が少なくなってしま
い、効率よく画像処理を行えなくなってしまう。

【００６８】そこで、この実施の形態６では、雨の場合
には、シャッター速度を上げると同時に、ワイパーフレ
ーム判定の条件式に用いる所定閾値ＴＡ，ＴＢ及び所定
閾値ＴＶを下げるように構成する。

【００６９】このように、シャッター速度を上げると同
時に、所定閾値ＴＡ，ＴＢ及び所定閾値ＴＶを下げるよ
うにすることにより、現画像の濃度のレベルと前画像の
濃度のレベルが一定となり、ワイパー検出の信頼性を向
上させることができるとともに、ワイパーが写る時間が
短くなり、画像処理に利用できる画像（非ワイパーフレ
ーム）が多くなって効率よく画像処理を行うことができ
る。

【００７０】実施の形態７．上記実施の形態１から実施
の形態６では、現画像がワイパーフレームであるか否か
を、差分画像全体の平均濃度ａ及び分散ｖによって判定
していたが、この実施の形態７では、差分画像内の所定
位置に設定した矩形範囲の平均濃度及び分散によって判
定するものである。

【００７１】図７は、この発明の実施の形態７による画
像処理方法を説明するための画像例を示す図である。図
７において、画像１３１は、車載カメラが撮像した現画
像であり、この画像１３１は、自動車のワイパー部分１
３１Ａが写っており、ワイパーフレームである。画像１
３２は、車載カメラが撮像した画像１３１の前画像であ
り、この画像１３２は、非ワイパーフレームである。

【００７２】画像１３３は、画像１３１と画像１３２の
差分画像である。この差分画像１３３内には、所定位置
に矩形範囲１３３Ｋ〜１３３Ｐが設定してある。矩形範
囲１３３Ｋ〜１３３Ｐの設定位置は、差分画像１３３内
のワイパーが通過し得る場所（自動車の車種によって異
なる）とする。また、差分画像１３３の矩形範囲１３３
Ｋ〜１３３Ｐ内の平均濃度をそれぞれａ１〜ａ６とし、
また、矩形範囲１３３Ｋ〜１３３Ｐ内の分散をそれぞれ
ｖ１〜ｖ６とする。

【００７３】次に、画像処理動作について説明する。図
８は、この発明の実施の形態７による画像処理方法を説
明するためのフローチャートである。画像処理装置は、
上記実施の形態１から実施の形態６と同様、現画像１３
１を取り込み（ステップＳＴ１）、現画像１３１と前画
像１３２とを差分処理（ステップＳＴ２）することによ
り、差分画像１３３を求める。このとき、差分画像１３
３内の矩形範囲１３３Ｋ〜１３３Ｐの平均濃度ａ１〜ａ
６及び分散ｖ１〜ｖ６も求めておく。

【００７４】次に、画像処理装置は、差分画像１３３の
数値初期化を行う（ステップＳＴ３１）。即ち、ワイパ
ーフレーム用のフラグである「ｗｉｐ＿ｆｒｍ」を０に
設定し、また、矩形カウント数である「ｉ」を１に設定
する。

【００７５】次に、画像処理装置は、差分画像１３３の
矩形カウント数「ｉ」が「ｎ」よりも大きい値であるか
否か判定することにより（ステップＳＴ３２）、処理を
行う矩形範囲１３３Ｋ〜１３３Ｐの数を管理する。ここ
で、「ｎ」の値は、差分画像１３３に設定された矩形範
囲１３３Ｋ〜１３３Ｐの数である。従って、「ｉ」が
「ｎ」よりも小さい場合には、差分画像１３３の処理し
ていない矩形範囲１３３Ｋ〜１３３Ｐがあり、「ｉ」が
「ｎ」よりも大きい場合には、差分画像１３３の全ての
矩形範囲１３３Ｋ〜１３３Ｐを処理したことを示す。
尚、差分画像１３３の場合は、矩形範囲１３３Ｋ〜１３
３Ｐが６つであるので、「ｎ」は５となる。

【００７６】処理矩形数管理処理（ステップＳＴ３２）
の結果、「ｉ」が「ｎ」よりも小さい場合、まだ処理し
ていない矩形範囲１３３Ｋ〜１３３Ｐがあるので、次
に、画像処理装置は、「ｉ」番目の矩形範囲１３３Ｋ〜
１３３Ｐがワイパー矩形（ワイパーが撮像された矩形範
囲）であるか否か判定する（ステップＳＴ３３）。ここ
で、ワイパー矩形であるか否かは、例えば、矩形範囲１
３３Ｋ〜１３３Ｐ内の平均濃度ａ１〜ａ６が最大となる
場合などをワイパー矩形と判定する。

【００７７】ワイパー矩形判定処理の結果、ワイパー矩
形でなく非ワイパー矩形（ワイパーが撮像されていない
矩形範囲）であれば、処理矩形数インクリメント処理、
即ち、「ｉ」の値に１加え（ステップＳＴ３４）、その
後、処理矩形数管理処理（ステップＳＴ３２）に戻っ
て、まだ処理していない矩形範囲１３３Ｋ〜１３３Ｐが
あるか否か判定する。

【００７８】ワイパー矩形判定処理の結果、ワイパー矩
形であれば、画像処理装置は、現画像１３１がワイパー
フレームであると判断し、ワイパーフレーム用のフラグ
「ｗｉｐ＿ｆｒｍ」を１に設定する（ステップＳＴ３
５）。そして、画像処理装置は、ワイパーフレーム判定
処理（ステップＳＴ３６）にて、ワイパーフレーム用の
フラグ「ｗｉｐ＿ｆｒｍ」が１であるか否かによって、
現画像１３１がワイパーフレームであるか否か判定し
（ステップＳＴ３６）、「ｗｉｐ＿ｆｒｍ」が１であれ
ば、ワイパーフレーム用実処理を実行して（ステップＳ
Ｔ４）、次の画像の処理に移行する（ステップＳＴ
１）。

【００７９】一方、処理矩形数管理処理（ステップＳＴ
３２）の結果、「ｉ」が「ｎ」よりも大きい場合、全て
の矩形範囲１３３Ｋ〜１３３Ｐを処理したので、ワイパ
ーフレーム判定処理（ステップＳＴ３６）に移行する。
このとき、「ｗｉｐ＿ｆｒｍ」が０であるので、現画像
１３１が非ワイパーフレームであると判定し、現画像１
３１を次の画像の差分処理用に保存し（ステップＳＴ１
１）、非ワイパーフレーム用実処理を実行して（ステッ
プＳＴ５）、次の画像の処理に移行する（ステップＳＴ
１）。

【００８０】以上のように、この実施の形態７によれ
ば、差分画像１３３内の矩形範囲１３３Ｋ〜１３３Ｐの
平均濃度ａ１〜ａ６及び分散ｖ１〜ｖ６によって、現画
像１３１がワイパーフレームであるか否か判定するの
で、画像全体よりも狭い範囲でワイパーフレーム判定を
行うことができ、その結果、一層、ワイパーフレーム判
定の信頼性を向上させることができる。

【００８１】実施の形態８．上記実施の形態７では、画
像単位で差分処理を行っていたが、この実施の形態８で
は、矩形範囲単位で差分処理を行うものである。

【００８２】図９は、この発明の実施の形態８による画
像処理方法を説明するためのフローチャートである。
尚、画像例については、上記図７に示したものと同様で
あるため、説明を省略する。画像処理装置は、現画像１
３１２を取り込むと（ステップＳＴ１）、次に、差分処
理（ステップＳＴ２）を行わずに、数値初期化処理（ス
テップＳＴ３１）を行う。

【００８３】数値初期化処理の後、画像処理装置は、処
理矩形数管理処理（ステップＳＴ３２）を行う。処理矩
形数管理処理（ステップＳＴ３２）の結果、「ｉ」が
「ｎ」よりも小さい場合、まだ処理していない矩形範囲
１３３Ｋ〜１３３Ｐがあるので、次に、画像処理装置
は、矩形範囲１３３Ｋ〜１３３Ｐ単位で差分処理を行う
（ステップＳＴ４１）。そして、画像処理装置は、矩形
範囲１３３Ｋ〜１３３Ｐ単位でワイパー矩形か否か判定
する（ステップＳＴ４２）。

【００８４】ワイパー矩形判定処理の結果、現矩形範囲
がワイパー矩形であれば、ワイパーフレーム用のフラグ
「ｗｉｐ＿ｆｒｍ」を１に設定し、処理矩形数インクリ
メント処理にて、「ｉ」の値に１加え（ステップＳＴ４
５）、その後、処理矩形数管理処理（ステップＳＴ３
２）に戻って、まだ処理していない矩形範囲１３３Ｋ〜
１３３Ｐがあるか否か判定する。

【００８５】また、ワイパー矩形判定処理の結果、現矩
形範囲が非ワイパー矩形であれば、現矩形範囲を次の矩
形範囲との差分処理用に保存し（ステップＳＴ４４）そ
の後、処理矩形数管理処理（ステップＳＴ３２）に戻っ
て、まだ処理していない矩形範囲１３３Ｋ〜１３３Ｐが
あるか否か判定する。

【００８６】一方、処理矩形数管理処理（ステップＳＴ
３２）の結果、「ｉ」が「ｎ」よりも大きい場合、全て
の矩形範囲１３３Ｋ〜１３３Ｐを処理したので、ワイパ
ーフレーム判定処理（ステップＳＴ３６）に移行する。

【００８７】ワイパーフレーム判定処理の結果、画像処
理装置は、ワイパーフレーム用のフラグ「ｗｉｐ＿ｆｒ
ｍ」が１であれば、現画像１３１がワイパーフレームで
あると判定し、ワイパーフレーム用実処理（ステップＳ
Ｔ４）を実行し、また、ワイパーフレーム用のフラグ
「ｗｉｐ＿ｆｒｍ」が０であれば、現画像１３１が非ワ
イパーフレームであると判定し、非ワイパーフレーム用
実処理（ステップＳＴ５）を実行して、次の画像の処理
に移行する（ステップＳＴ１）。

【００８８】以上のように、この実施の形態８によれ
ば、差分処理を矩形範囲１３３Ｋ〜１３３Ｐ単位で行う
ようにしたので、全ての矩形範囲１３３Ｋ〜１３３Ｐに
ついてワイパー矩形であるか否か判定することができ、
その結果、より一層、ワイパーフレーム判定の信頼性を
向上させることができる。

【００８９】実施の形態９．上記実施の形態７及び実施
の形態８では、矩形範囲１３３Ｋ〜１３３Ｐがワイパー
矩形であると判定されると、ワイパーフレーム用実処理
によって画像１３１全体を除外していたが、この実施の
形態８では、ワイパー部分が最も多いワイパー矩形の矩
形範囲のみ除外するものである。

【００９０】図１０は、この発明の実施の形態９による
画像処理方法を説明するための画像例を示す図である。
図１０に示すように、画像１４０内には、矩形範囲１４
０Ｋ〜１４０Ｎが重複させて設定されている。この矩形
範囲１４０Ｋ〜１４０Ｎのサイズ（辺の長さ）は、ワイ
パーの最大移動量（＝ワイパーの最高速度×シャッター
時間）＋αとし、矩形範囲１４０Ｋ〜１４０Ｎのサイズ
及び間隔は、矩形範囲１４０Ｋ〜１４０Ｎの中の１つに
必ずワイパー部分がはみ出さずに収まる（撮像される）
ように設定される。

【００９１】画像１４１〜１４５は、上から下に時系列
に並べている。画像１４１は、非ワイパーフレームであ
り、画像１４２〜１４５は、ワイパーフレームであると
する。画像１４２〜１４５のワイパー部分１４２Ａ〜１
４５Ａは、画像１４２〜１４５それぞれの矩形範囲１４
２Ｋ，１４３Ｌ，１４４Ｍ，１４５Ｎ内に収まってい
る。

【００９２】図１１は、上記図１０の１つの画像１４３
の矩形範囲１４３Ｋ〜１４３Ｎの位置を示す図である。
図１１に示すように、画像１４３内の矩形範囲１４３Ｋ
〜１４３Ｎは、上記図１０の画像１４０の矩形範囲１４
０Ｋ〜１４０Ｎと同じ位置に設定されている。即ち、矩
形範囲１４２Ｋ，１４３Ｌ，１４４Ｍ，１４５Ｎの添え
字のアルファベットは、画像１４０の矩形範囲１４０Ｋ
〜１４０Ｎの位置に対応させている。画像１４３のワイ
パー部分１４３Ａは、矩形範囲１４３Ｌ内にはみ出さず
に収まっている。

【００９３】次に、画像処理動作について説明する。こ
の実施の形態９の画像処理動作は、上記実施の形態７ま
たは実施の形態８の画像処理動作と次の点で異なる。即
ち、図１１の画像１４３において、矩形範囲１４３Ｋ〜
１４３Ｎのうち、矩形範囲１４３Ｋ〜１４３Ｍがワイパ
ー矩形であると判定されると（尚、矩形範囲１４３Ｎは
非ワイパー矩形と判定）、そのワイパー矩形の矩形範囲
１４３Ｋ〜１４３Ｍの中で、最もワイパー部分１４３Ａ
を含んでいる矩形範囲１４３Ｌを判定する。

【００９４】ここで、ワイパー矩形の矩形範囲１４３Ｋ
〜１４３Ｍの中で最もワイパー部分１４３Ａを含んでい
る矩形範囲１４３Ｌを判定する基準は、矩形範囲１４３
Ｋ〜１４３Ｍ内の差分の濃度の絶対値の合計値Ａｉが最
大のもの、または、矩形範囲１４３Ｋ〜１４３Ｍの分散
Ｖｉが最小のものを選択する。

【００９５】そして、画像処理装置は、ワイパー矩形の
矩形範囲１４３Ｋ〜１４３Ｍの中で最もワイパー部分１
４３Ａを含んでいる矩形範囲１４３Ｌを除外する処理を
実行する。

【００９６】矩形範囲１４３Ｌ以外の領域については、
画像処理装置は、ワイパー部分１４３Ａを含んでいない
ので、非ワイパーフレーム用実処理を実行する。

【００９７】以上のように、この実施の形態９によれ
ば、ワイパー部分が最も多いワイパー矩形の矩形範囲を
判定し、この矩形範囲のみ除外するので、ワイパー部分
１４３Ａを含んでいるワイパーフレームの画像１４３を
有効に利用することができ、その結果、システムの安全
性・信頼性を一層向上させることができる。

【００９８】実施の形態１０．上記実施の形態１から実
施の形態９では、差分画像のノイズを考慮していなかっ
たが、この実施の形態１０では、差分画像のノイズをも
考慮して画像処理を行うようにしたものである。

【００９９】図１２は、この発明の実施の形態１０によ
る差分画像のノイズ除去処理を説明するための画像例を
示す図である。図において、画像１５０は、ワイパー部
分１５０Ａが写っている差分画像である。

【０１００】図１３は、図１２の差分画像１５０のａ−
ａ’ライン画素における濃度レベルを示す図である。図
１３において、ラインイメージ（Ａ）（Ｂ）（Ｃ）は、
差分画像１５０のａ−ａ’ライン画素（横軸）における
濃度のレベル（縦軸）を示すものである。図１３のライ
ンイメージ（Ａ）（Ｂ）に示すように、差分画像１５０
にノイズが生じるのは、車載カメラが撮像している間に
も自動車は移動しているので、現画像と前画像とでは、
濃度のレベルの高い位置や低い位置がずれてしまうた
め、このような現画像と前画像との差分画像１５０に極
端に濃度のレベルが高い画素が生じてしまい、これがノ
イズとなってしまうからである。

【０１０１】次に、画像処理動作について説明する。図
１４は、この発明の実施の形態１０による画像処理方法
を説明するためのフローチャートである。画像処理装置
は、上記実施の形態１と同様、現画像を取り込む（ステ
ップＳＴ１）。

【０１０２】次に、画像処理装置は、飽和付き差分処理
を行う（ステップＳＴ５１）。この飽和付き差分処理
は、上述した差分処理以外に、現画像と前画像との濃度
のレベルの差異の上限（飽和閾値）を設定し、飽和閾値
以上の濃度のレベルをカットして飽和閾値レベルとする
処理も含んだものである。このように、飽和付き差分処
理を行うのは、ノイズの濃度のレベルが小さい場合に
は、ワイパーフレーム判定処理において無視することが
できるが、このノイズの濃度のレベルが大きくなると、
ノイズの濃度のレベルによって平均濃度ａが高くなり、
ワイパーフレーム判定処理においてワイパーフレームで
ないのにワイパーフレームであると誤判定してしまう可
能性が生じるからである。

【０１０３】このような飽和付き差分処理の結果、ライ
ンイメージ（Ａ）の波形は、飽和閾値以上のレベルがカ
ットされ、ラインイメージ（Ｂ）のような波形となる。

【０１０４】次に、画像処理装置は、最小フィルタ処理
を行う（ステップＳＴ５２）。この最小フィルタ処理
は、処理対象ラインの画素に対して、その周囲の画素数
の中の濃度レベルの最小値を、その画素の濃度レベルと
する処理であり、これによってノイズが除去される。こ
のうような最小フィルタ処理の結果、ラインイメージ
（Ｂ）の波形は、ノイズが除去され、ラインイメージ
（Ｃ）のような波形となる。

【０１０５】以後の処理は、上記実施の形態１の図２で
説明したのと同様であるため、重複する説明を省略す
る。

【０１０６】以上のように、この実施の形態１０によれ
ば、飽和閾値以上の濃度レベルをカットするとともに、
ノイズを除去してからワイパーフレーム判定を行うよう
にしたので、ワイパーフレーム判定処理における誤判定
を少なくでき、その結果、画像処理の効率性を上げるこ
とができるとともに、システムの安全性・信頼性を向上
させることができる。

【０１０７】

【発明の効果】以上のように、請求項１記載の発明によ
れば、前フレームと現フレームとの間で各画素の濃度の
差分からなる差分画像の平均濃度が第１の閾値（ＴＡ）
よりも大きい場合、または、第１の閾値よりも小さい第
２の閾値（ＴＢ）よりも大きく、かつ、差分画像の濃度
の分散が分散値の閾値（ＴＶ）よりも小さい場合に、現
フレームがワイパー画像を含むフレームであるワイパー
フレームであると判定するようにしたので、画像毎に、
ワイパーフレームか否か判定するので、画像処理に悪影
響を及ぼすワイパーフレームのみ除外することができ、
効率よく画像処理を行うことができる効果がある。

【０１０８】

【０１０９】請求項２記載の発明によれば、現フレーム
がワイパーフレームでないと判定した場合にのみ現フレ
ームを、次回の判定のための前フレームとして保存する
ようにしたので、ワイパーフレーム判定処理の誤判定を
少なくすることができる効果がある。

【０１１０】請求項３記載の発明によれば、現フレーム
がワイパーフレームである判定した場合に、その後の数
フレームを無条件にワイパーフレームとするようにした
ので、ワイパーフレームである可能性が高いフレームを
ワイパーフレームとすることができる効果がある。

【０１１１】請求項４記載の発明によれば、外界照度の
変動に対応させて各閾値（ＴＡ，ＴＢ，ＴＶ）を変動さ
せるようにしたので、外界照度によるワイパーフレーム
判定処理への影響をなくすことができ、ワイパーフレー
ム検出の信頼性を向上させることができる効果がある。

【０１１２】請求項５記載の発明によれば、外界照度が
高い場合には車載カメラのシャッター速度を上げ、外界
照度が低い場合には車載カメラのシャッター速度を下げ
るようにしたので、請求項４と同様、外界照度の影響を
なくすことができ、ワイパーフレーム検出の信頼性を向
上させることができる効果がある。

【０１１３】請求項６記載の発明によれば、車載カメラ
のシャッター速度を上げると同時に、各閾値（ＴＡ，Ｔ
Ｂ，ＴＶ）を下げるようにしたので、ワイパーフレーム
検出の信頼性を維持することができる効果がある。

【０１１４】

【０１１５】

【０１１６】

【０１１７】請求項７記載の発明によれば、差分画像の
飽和閾値以上の濃度レベルをカットするとともに、ワイ
パーフレームか否かを判定する前にフィルタ処理にてノ
イズを除去するようにしたので、ワイパーフレーム判定
処理における誤判定を少なくすることができる効果があ
る。

【図面の簡単な説明】

【図１】 この発明の実施の形態１による画像処理方法
を説明するための画像例を示す図である。

【図２】 この発明の実施の形態１による画像処理方法
を説明するためのフローチャートである。

【図３】 この発明の実施の形態２による画像処理方法
を説明するための画像例を示す図である。

【図４】 この発明の実施の形態２による画像処理方法
を説明するためのフローチャートである。

【図５】 この発明の実施の形態３による画像処理方法
を説明するためのフローチャートである。

【図６】 この発明の実施の形態４による画像処理方法
を説明するための画像例を示す図である。

【図７】 この発明の実施の形態７による画像処理方法
を説明するための画像例を示す図である。

【図８】 この発明の実施の形態７による画像処理方法
を説明するためのフローチャートである。

【図９】 この発明の実施の形態８による画像処理方法
を説明するためのフローチャートである。

【図１０】 この発明の実施の形態９による画像処理方
法を説明するための画像例を示す図である。

【図１１】 図１０の１つの画像の矩形範囲の位置を示
す図である。

【図１２】 この発明の実施の形態１０による差分画像
のノイズ除去処理を説明するための画像例を示す図であ
る。

【図１３】 図１２の差分画像のａ−ａ’ライン画素に
おける濃度レベルを示す図である。

【図１４】 この発明の実施の形態１０による画像処理
方法を説明するためのフローチャートである。

【符号の説明】

１０１，１０２，１１１〜１１６，１２１，１２２，１
３１，１３２ 画像 １０３，１２３，１３３，１４０，１４１〜１４５，１
５０ 差分画像 １０１Ａ，１０３Ａ，１２１Ａ，１２３Ａ，１３１Ａ，
１３３Ａ， １４１Ａ〜１４５Ａ，１５０Ａ ワイパー
部分 １３３Ｋ〜１３３Ｐ，１４０Ｋ〜１４０Ｎ，１４２Ｋ，
１４３Ｋ〜Ｎ，１４４Ｍ，１４５Ｎ 矩形範囲

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平８−30898（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00,7/00 G08G 1/16 B60R 21/00

Claims (7)

(57)【特許請求の範囲】
1. 【請求項１】 自動車に搭載された車載カメラによって
   自動車の前方を撮像し、撮像された画像からワイパーを
   含む画像を判定する画像処理方法であって、 撮像された画像を現フレームとし、以前に撮像された画
   像である前フレームと現フレームとの間で各画素の濃度
   の差分からなる差分画像を得て、 前記差分画像の平均濃度が第１の閾値（ＴＡ）よりも大
   きい場合、または、前記第１の閾値よりも小さい第２の
   閾値（ＴＢ）よりも大きく、かつ、差分画像の濃度の分
   散が分散値の閾値（ＴＶ）よりも小さい場合に、現フレ
   ームがワイパー画像を含むフレームであるワイパーフレ
   ームであると判定する ことを特徴とする画像処理方法。
2. 【請求項２】 現フレームがワイパーフレームでないと
   判定した場合にのみ現フレームを、次回の判定のための
   前フレームとして保存する 請求項１記載の画像処理方
   法。
3. 【請求項３】 現フレームがワイパーフレームである判
   定した場合に、その後の数フレームを無条件にワイパー
   フレームとする 請求項１または請求項２記載の画像処理
   方法。
4. 【請求項４】 外界照度の変動に対応させて各閾値（Ｔ
   Ａ，ＴＢ，ＴＶ）を変動させる 請求項１から請求項３の
   うちいずれか１項記載の画像処理方法。
5. 【請求項５】 外界照度が高い場合には車載カメラのシ
   ャッター速度を上げ、外界照度が低い場合には車載カメ
   ラのシャッター速度を下げる 請求項１から請求項４のう
   ちいずれか１項記載の画像処理方法。
6. 【請求項６】 車載カメラのシャッター速度を上げると
   同時に、各閾値（ＴＡ，ＴＢ，ＴＶ）を下げる 請求項５
   記載の画像処理方法。
7. 【請求項７】 差分画像の飽和閾値以上の濃度レベルを
   カットするとともに、ワイパーフレームか否かを判定す
   る前にフィルタ処理にてノイズを除去する 請求項１から
   請求項６のうちいずれか１項記載の画像処理方法。