JP4100336B2 - 画像処理装置 - Google Patents

Description

本発明は、車両に搭載される画像処理装置に係り、特に、雨雪等の落下物を検出する技術に関する。

従来より、車両周辺の映像をカメラ等の撮影手段を用いて撮影し、得られた撮影画像を画像処理し、画像処理の結果に基づいて雨滴を検出し、車両に搭載される各種機器（例えば、ワイパー）を制御する機能を備えた画像処理装置が提案されている（例えば、特開２００１−１４７２７８号公報；特許文献１参照）。

一方、雨雪が付着する前に雨滴或いは雪を検出して、これらが付着する位置を特定する検出装置として、投光部と、投光部から投射される帯状光を受光する受光部と備え、これらの間を雨滴や雪が通過すると帯状光の特性に変化が生じることを利用して、雨滴や雪を付着前に、雨滴、雪を検出する装置が提案されている（例えば、特開平１０−８２７４１号公報；特許文献２参照）。

従って、この装置を用いることで、画像処理装置に撮影画像の歪みを除去する機能を追加する必要がなく、好適に雨滴による歪みを除去することが可能となる。
特開２００１−１４７２７８号公報 特開平１０−８２７４１号公報

しかしながら、上述した特許文献１，２では、雨滴、雪、或いはこれ以外の落下物を高精度に検出できるものではなかった。

本発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、雨滴、雪、及びそれ以外の落下する物体を高精度に検出することができる画像処理装置を提供することにある。

上記目的を達成するため、本発明は、撮影対象となる映像を時系列的に撮影する撮影手段と、前記撮影手段により撮影される画像から、落下物を検出する落下物検出手段と、前記撮影手段により時系列的に撮影された画像に基づいて、前記落下物検出手段により検出された落下物の画像上での特徴量を求める特徴量算出手段と、前記特徴量算出手段により求められた落下物の画像上での特徴量、及び前記落下物の実空間での大きさと落下速度との関係を示し且つ予め測定された雨雪の実測落下速度特性に基づいて、前記落下物の実空間での特徴量を決定する特徴量決定手段と、前記特徴量決定手段により決定された落下物の実空間での特徴量に基づいて、落下物の空気抵抗を推定する空気抵抗推定手段と、を備えたことを特徴とする。

本発明によれば、時系列的に撮影対象となる映像を撮影して得られた画像に基づいて、落下物の画像上での特徴量（例えば、落下物の位置、大きさ、落下速度等）を求め、これと予め測定された雨雪の実測落下速度特性とに基づいて、落下物が雨雪であるか否かを判断する。つまり、本発明では、画像上における落下物の落下に関する情報を求め、画像上の落下に関する情報と、雨雪の実測の落下速度特性とに基づき、雨雪と比較した時の空気抵抗の大小を判断している。

従って、雨が降っている場合、或いは雪が降っている場合には、確実にこれを検出することができ、且つ、その量、即ち、降雨量、降雪量をも検出することができる。

以下、本発明の実施形態を図面に基づいて説明する。図１は、本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。なお、本実施形態では、画像処理装置が移動体としての車両に搭載され、該画像処理装置にて、車両外部に降る雨雪及びその他の落下物を検出する場合を例に挙げて説明する。

図１に示すように、本実施形態に係る画像処理装置１は、車両内部に設置され一定時間経過ごとに車両周辺の映像を撮影する撮影部（撮影手段）１０を備えている。

また、画像処理装置１は、車速に関する情報を取得する車速取得部（速度取得手段）２０と、撮影部１０により撮影された画像、及び車速取得部２０により得られた車速の情報に基づいて、画像処理を行う処理部３０とを備えている。

ここで、撮影部１０は、例えば、１秒間に１０００枚程度の画像を撮影できる高フレームレート撮影手段である。車速取得部２０は、車輪速センサや舵角センサなどを用いデッドレコニング等の手法を用いて、自車両の走行距離と、進行方向を検出するものである。

また、車速取得部２０は、この他にもＧＰＳにより自車両の位置や速度を検出するようなものであってもよい。なお、車速取得部２０は、様々な情報を取得するが、処理部３０には車速に関する情報のみを送信するようになっている。

処理部３０は、撮影部１０により取得された撮影画像に基づき、画像中に含まれる落下物を検出し、この落下物が雨雪であるものと推定する落下物検出部（落下物検出手段）３１と、撮影部１０により時系列的に撮影された撮影画像に基づいて、落下物検出部３１により推定された落下物の画像上での特徴量を算出する特徴量算出部（特徴量算出手段）３２とを備えている。

ここで、落下物の特徴量とは、落下物の状態や動きに関する特徴を示すものであり、例えば、落下物の大きさ、落下速度等が挙げられる。また、雨雪とは、雨滴、雪及びこれらが入り交じったものである。

更に、処理部３０は、特徴量算出部３２により算出された画像上での落下物の特徴量に基づいて、実空間での落下物の特徴量を決定する特徴量決定部（特徴量決定手段）３３と、特徴量決定部３３により決定された実空間の特徴量に基づいて、落下物が落下中に受ける空気抵抗を推定する空気抵抗推定部（空気抵抗推定手段）３４と、を備えている。

また、上記画像処理装置１には、空気抵抗推定部３４により推定された空気抵抗に基づいて、外部機器を制御する外部機器制御部４０が接続されている。外部機器制御部４０は、空気抵抗推定部３４にて推定された空気抵抗推定値に基づいて、例えば、警報や運転操作自体を制御するものである。

次に、本実施形態に係る画像処理装置１の処理動作を、図２に示すフローチャートを参照しながら説明する。ここでの処理では、落下物が全て雨雪であると仮定し、更に、雨滴であるか雪であるかを判断する。

また、落下物が雨雪ではないものと判断された場合には、この落下物が落下する際の空気抵抗を求める。もし、空気抵抗が大きければ（落下速度が遅ければ）、落下物は紙切れや落ち葉等の重量密度の小さいものであると見なすことができ、空気抵抗が小さければ（落下速度が速ければ）、小石等の重量密度が大きい物体であると判断することができるので、その後の車両制御を行う上での重要な情報となる。

図２に示すフローチャートにおいて、まず、撮影部１０は、車両周囲の映像を撮影して画像を取得する（ステップＳＴ１）。

ここで、空から雨雪が落下し、車両のフロントガラスに付着する様子、及び撮影部１０により撮影される様子を、図３に示す模式図を参照して説明する。

図３に示すように、雨雪５０は、略等速直線運動で落下する。なお、同図に示すｔ１〜ｔ５は、画像の撮影時刻を示し、時刻ｔ１〜ｔ５はすべて等間隔（Δｔ）となっている。つまり、時刻ｔ１，ｔ２・・の順に雨雪が落下し、時刻ｔ５にてフロントガラス５１に付着する。

撮影部１０は、この等速直線運動の落下の様子（フロントガラス５１への付着を含む）を、１秒間に１０００枚程度撮影し、撮影画像のデータを処理部３０に逐次出力している。

なお、落下の際の雨雪５０は、通常略円形であるが、雨雪５０の粒が一定以上の大きさになると空気抵抗を受けて、横に広がった楕円形状をなすようになる。また、実際の雨雪５０は落下中に風等を受けるため水平方向に移動するが、本実施形態では、雨雪５０の水平方向への移動を考慮しないものとする。

これは、撮影部１０として高フレームレートの撮影手段を用いているので、雨雪５０の水平方向への影響は極めて小さくなっているからである。更には、車両走行時においては車両の走行速度に比べ、雨雪５０の水平方向への移動量が極めて小さいからである。

再度、図２を参照して説明する。ステップＳＴ１の処理で、画像が取得されると、その後、落下物検出部３１は、画像内に存在する落下物を検出し、これを雨雪５０と推定する（ステップＳＴ２）。

そして、落下物検出部３１は、この推定結果の情報を特徴量算出部３２に出力する。更に、落下物検出部３１は、推定結果と共に、撮影部１０により時系列的に取得される撮影画像を特徴量算出部３２に出力する。

その後、特徴量算出部３２は、撮影部１０により時系列的に撮影された撮影画像、及び落下物検出部３１による検出結果の情報に基づいて、画像上での雨雪５０の特徴量である位置、大きさ及び落下速度を求める（ステップＳＴ３）。

例えば、特徴量算出部３２は、今回の処理で撮影された画像から、画像上での雨雪５０の大きさ及び位置（後述する図４（ａ）に示す撮像素子１２に結像された大きさ及び位置に相当）を求め、今回の処理及び前回の処理で撮影された画像から雨雪５０の移動量を求め、この移動量と撮影部１０の撮影間隔Δｔに基づいて、この雨雪５０の落下速度（撮像素子１２に結像された雨雪５０の所定時間あたりの位置移動量に相当）を算出する。

この際、特徴量算出部３２は、画像上の雨雪５０の大きさを、例えば雨雪５０の外形の横幅から求めるようにしている。また、特徴量算出部３２は、雨雪５０の画像上の位置を、例えば雨雪５０の円形状や楕円形状等の重心となる位置として特定する。また、ここで対象となる落下物が画像中で、落下していないことが明らかな場合は、この物体を落下物以外の物体として処理の対象外とする。

雨雪５０の特徴量を算出した後、特徴量算出部３２は、算出した特徴量の情報と、車速取得部２０からの車速に関する情報とを特徴量決定部３３に出力する。

そして、特徴量決定部３３は、これら情報を受けて、雨雪５０の大きさと落下速度との相関関係を示す落下速度関数を予想落下速度関数（後述）として算出する。

予想落下速度関数を算出した後、特徴量決定部３３は、この予想落下速度関数と、予め測定された雨雪５０の実測落下速度特性との交点が存在するか否かを判断する（ステップＳＴ４）。ここで、実測落下速度特性とは、実空間における雨雪５０の大きさと落下速度との相関関係を示す特性曲線である。以下、この処理について図４を参照しながら詳しく説明する。

図４は、予想落下速度関数と実測落下速度特性との交点を求める処理（ステップＳＴ４）の説明図であり、同図（ａ）は、撮影部１０と実空間に存在する雨雪５０との位置関係を示し、同図（ｂ）は、撮影部１０により時系列的に撮影される画像に映し出される雨雪５０の例を示し、同図（ｃ）は、雨雪５０の大きさＳと、落下速度ｖとの関係を示している。なお、図４（ｂ）では、説明を容易にするために、時系列的に得られる撮影画像を重ね合わせて一画像にしたものを示している。

図４（ａ）に示すように、撮影部１０は、レンズ１１を介して実空間に存在する雨雪５０を、撮像素子１２にて撮像する。このとき、実際の雨雪５０の大きさをＳとし、レンズ１１から実際の雨雪５０までの距離をＺとし、撮像素子１２からレンズ１１までの距離をｆとし、撮像素子１２に結像された雨雪５０の大きさをＬとすると、実際の雨雪５０の大きさＳは、次の（１）式で示すことができる。

Ｓ＝ＬＺ／ｆ ・・・（１）
また、画像は撮影部１０により一定時間ごとに取得されている。いま、図４（ｂ）に示すように、時刻ｔにおける画像上の雨雪５０が、座標（ｘ１，ｙ１）の位置ｐ１であるとする。また、Δｔ秒後の時刻ｔ＋Δｔにおける画像上の雨雪５０が、座標（ｘ２，ｙ２）の位置ｐ２であるとする。そして、雨雪５０の水平方向の移動を考慮しないことから、ｘ座標を同一、即ち、ｘ１＝ｘ２とすると、実際の雨雪５０の落下速度ｖは、次の（２）式で示すことができる。

ｖ＝Ｚ・（ｙ２−ｙ１）／Δｔ・ｆ ・・・（２）
この（２）式に、上述の式（１）を代入すると、実空間での雨雪５０の落下速度ｖは、次の（３）式で示すことができる。

ｖ＝Ｓ・（ｙ２−ｙ１）／Δｔ・Ｌ１ ・・・（３）
但し、Ｌ１は、時刻ｔにおける画像上の雨雪５０の大きさである。

また、（３）式において、符号ｙ１，ｙ２，Δｔ，Ｌ１は既知であるため、これらの符号で示される式をａ１で示すと、実際の雨雪５０の落下速度ｖは、次の（４）式で示すことができる。

ｖ＝ａ１・Ｓ ・・・（４）
この（４）式が、画像上から算出される実空間の雨雪５０の予想落下速度関数である。ここで、予想落下速度関数は、実空間の雨雪５０までの距離Ｚが不明であるため、雨雪５０の大きさＳの１次式となっている。

即ち、距離Ｚが不明であると、図５に示すように、撮影部１０に近い側（距離ｚ１）の雨雪５０の画像上での大きさが、遠い側（距離ｚ２）の雨雪５０の画像上での大きさのｚ１／ｚ２倍である場合に、両者は同じ大きさとして撮影されるからであり、画像上からでは、小さい雨雪５０が近くにある場合と、大きい雨雪５０が遠くにある場合との見分けが付かないことになる。このため、落下速度関数は、Ｓの１次式となってしまう。

よって、特徴量決定部３３は、実空間の特徴量を求めるために、予想落下速度関数だけでなく、実測落下速度特性を併用して、両者の交点αの値を実際の雨雪５０の落下速度等とするようにしている。

即ち、図４（ｃ）に示す特性曲線Ｓ１は、上述した（４）式で示される雨雪５０の予想落下速度関数を示し、Ｓ２は、雨滴の実測落下速度特性を示し、Ｓ３は、雪の実測落下速度特性を示し、Ｓ４は、空気抵抗が小さい場合の予想落下速度関数を示し、Ｓ５は、空気抵抗が中程度の予想落下速度関数を示し、Ｓ６は、空気抵抗が大きい場合の予想落下速度関数を示しており、この例では、予想落下速度関数Ｓ１と、雨滴の実測落下速度特性Ｓ２との交点αを求めている。そして、このαの値を実際の雨雪５０の落下速度としている。ここで、Ｓ１とＳ２とが交わることから、落下物としての雨雪５０は、雪ではなく雨滴であると判断される。

また、図４（ｃ）の例では、予想落下速度関数Ｓ１が、雨滴の実測落下速度特性Ｓ２と交わる場合を例に示しているが、Ｓ１が、雪の実測落下速度特性Ｓ３と交わる場合には、落下物としての雨雪５０は、雪であると判断される。

また、上記の説明では、車両が停止していることを条件として、交点αを求める場合について示したが、車両走行中においては、走行速度に基づき、次のようにして交点αの判断を行う。

車両が速度ｖｓで走行している場合、Δｔ秒後における実空間の雨雪５０の位置は、Ｚ−ｖｓ・Δｔとなるので、これを上記の（２）式に当てはめると、次の（５）式が得られる。

ｖ＝｛（Ｚ−ｖｓ・Δｔ）・ｙ２／ｆ−Ｚ・ｙ１／ｆ｝／Δｔ ・・・（５）
そして、（１）式を用いると、（５）式は、次の（６）式とすることができる。

ｖ＝｛（Ｓ／Ｌ１−ｖｓ・Δｔ／ｆ）・ｙ２−Ｓ・ｙ１／Ｌ１｝／Δｔ・・・（６）
ここで、符号ｙ１，ｙ２，Ｌ１，ｖｓ，Δｔは既知の数であるため、これらの符号で示される式をａ２とすると、（６）式は、次の（７）式とすることができる。

ｖ＝ａ２・Ｓ ・・・（７）
この（７）式が車両走行中の落下速度関数である。

特徴量決定部３３は、車両が走行している場合、ステップＳＴ４において、この落下速度関数と、実測落下速度特性との交点を車両停車時と同様に求める（図４（ｃ）参照）。

再度、図２を参照して説明する。落下速度関数と実測落下速度特性との交点が存在すると判断した場合（ステップＳＴ４でＹＥＳ）、空気抵抗推定部３４は、落下する雨雪が雨滴であるか或いは雪であるかを判断する（ステップＳＴ７）。

この判断は、上述した交点αに基づいて判断することができる。即ち、上述したように、空気抵抗推定部３４は、交点αが予想落下速度関数Ｓ１と雨滴の実測落下速度特性Ｓ２との交点である場合に雨雪を雨滴であると判断し、雪の実測落下速度特性Ｓ３との交点である場合に雨雪を雪であると判断し、処理を終了する。

一方、予想落下速度関数と実測落下速度特性との交点が存在しないと判断した場合には（ステップＳＴ４でＮＯ）、空気抵抗推定部３４は、雨雪の落下速度よりも落下速度関数が大きいか否かを判断する（ステップＳＴ８）。

落下物の落下速度関数が雨滴の実測落下速度特性よりも大きいと判断した場合、即ち、図４（ｃ）に示した予想落下速度関数Ｓ４のように、Ｓ２よりも大きいと判断した場合には（ステップＳＴ８でＹＥＳ）、空気抵抗が小さいと判断し、処理を終了する。他方、落下物の落下速度関数が雪の実測落下速度特性よりも小さいと判断した場合、即ち、図４（ｃ）に示した予想落下速度関数Ｓ６のように、Ｓ３よりも小さいと判断した場合には（ステップＳＴ８でＮＯ）、空気抵抗が大きいと判断し、処理を終了する。

こうして、落下物が雨雪であるものと仮定してその空気抵抗を求めることにより、この落下物が雨滴であるか、雪であるか、或いはそれ以外の空気抵抗の大きい物体であるか、空気抵抗の小さい物体であるかを、確実に検出することができるのである。

このようにして、本実施形態に係る画像処理装置１では、時系列的に車両周辺を撮影し、得られた撮影画像に基づいて、落下物をすべて雨雪であるものと判断して処理を行うことにより、落下物の画像上での特徴量（大きさ、落下速度等）を算出する。その後、この特徴量と予め測定された雨雪の実測落下速度特性とに基づいて、落下物の空気抵抗を推定している。

つまり、本実施形態では、画像上における落下物の落下に関する情報を求め、画像上の落下の情報と、雨雪の実測の落下速度特性とに基づき、落下物の空気抵抗を推定し、落下物が雨水であるか、雪であるか、或いはそれ以外の物体であるかを判断している。従って、雨が降っている場合、或いは雪が降っている場合には、確実にこれを検出することができ、且つ、その量、即ち、降雨量、降雪量をも検出することができる。

また、車速に関する情報を取得し、この車速情報を用いて、予想落下速度関数を求めているので、車両停止時のみでなく、車両走行時においても落下物の空気抵抗を推定することが可能となり、利便性を向上させることができる。

以上、本発明の画像処理装置を図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置き換えることができる。

例えば、空気抵抗の小さいものが存在することを検出した後に、カメラ前方のウインド部に定常的に画像の欠損が検出されるような場合、ウインド部に傷が生じたと判定し、その領域を画像処理の対象から除外するというような処理するようにしてもよい。

また、本実施形態では、移動体としての車両に画像処理装置を搭載し、車両周辺の映像を撮影する例について説明したが、本発明は、これに限定されるものではなく、船舶、電車などの他の移動体に搭載される場合についても適用することが可能である。更に、例えば、高速道路の監視カメラのように、移動体に搭載せずに使用する場合についても適用することができる。

車両等の周辺に落下する雨雪等の落下物の空気抵抗求める上で極めて有用である。

本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。 本発明の一実施形態に係る画像処理装置の処理動作を示すフローチャートである。 雨雪が車両のフロントガラスに付着するときの様子を示す説明図である。 落下速度関数と実測落下速度特性との交点を求める処理を示す説明図であり、（ａ）は撮影部と実空間の雨雪との位置関係を示し、（ｂ）は撮影部により時系列的に得られる撮影画像の一例を示し、（ｃ）は予想落下速度関数と実測落下速度特性との関係を示している。 車両前方に雨雪が落下する際の様子を示す説明図である。

符号の説明

１ 画像処理装置
１０ 撮影部（撮影手段）
１１ レンズ
１２ 撮像素子
２０ 車速取得部（速度取得手段）
３０ 処理部
３１ 落下物検出部（落下物検出手段）
３２ 特徴量算出部（特徴量算出手段）
３３ 特徴量決定部（特徴量決定手段）
３４ 空気抵抗推定部（空気抵抗推定手段）
４０ 外部機器制御部
５０ 雨雪
５１ フロントガラス

Claims (4)

1. 撮影対象となる映像を時系列的に撮影する撮影手段と、
   前記撮影手段により撮影される画像から、落下物を検出する落下物検出手段と、
   前記撮影手段により時系列的に撮影された画像に基づいて、前記落下物検出手段により検出された落下物の画像上での特徴量を求める特徴量算出手段と、
   前記特徴量算出手段により求められた落下物の画像上での特徴量、及び前記落下物の実空間での大きさと落下速度との関係を示し且つ予め測定された雨雪の実測落下速度特性に基づいて、前記落下物の実空間での特徴量を決定する特徴量決定手段と、
   前記特徴量決定手段により決定された落下物の実空間での特徴量に基づいて、落下物の空気抵抗を推定する空気抵抗推定手段と、
   を備えたことを特徴とする画像処理装置。
2. 該画像処理装置は、移動体に搭載されるものであり、
   前記移動体の速度に関する情報を取得する速度取得手段を更に備え、
   前記空気抵抗推定手段は、前記特徴量決定手段により決定された落下物の実空間での特徴量に加え、前記速度取得手段にて取得された速度に関する情報に基づいて、移動体の移動時における落下物の空気抵抗を推定することを特徴とする請求項１に記載の画像処理装置。
3. 前記落下物の実空間での特徴量として、落下物の大きさを用い、更に落下速度を含むものであることを特徴とする請求項１または請求項２のいずれかに記載の画像処理装置。
4. 前記移動体は車両であり、前記移動体の速度は車速であることを特徴とする請求項１〜請求項３のいずれか１項に記載の画像処理装置。

Images