JPH11231069A

JPH11231069A - 降雨雪状況の評価方法およびその装置

Info

Publication number: JPH11231069A
Application number: JP10031154A
Authority: JP
Inventors: Muneo Yamada; 宗男山田; Koji Ueda; 浩次上田; Yasushi Aihara; 靖師相原; Isao Horiba; 勇夫堀場
Original assignee: Nagoya Electric Works Co Ltd
Current assignee: Nagoya Electric Works Co Ltd
Priority date: 1998-02-13
Filing date: 1998-02-13
Publication date: 1999-08-27
Anticipated expiration: 2018-02-13
Also published as: JP3382529B2

Abstract

(57)【要約】【課題】ＴＶカメラなどで撮影した画像から降雨雪成
分を時系列的に抽出し、その移動ベクトルから降雨雪の
量、強度、方向の状況を正確に評価することができる降
雨雪状況の評価方法およびその装置を提供する。【解決手段】ＴＶカメラ１０１で降雨雪検出対象領域
を撮影し、マルチプレクサ２０１を交互に切り換えるこ
とによって隣合うフレーム画像をフレーム画像メモリ２
０２ａ，ｂに格納し、差分処理部２０３でシーケンシャ
ル差分演算行なって正負の移動成分からなるシーケンシ
ャル差分画像を検出した後、面積しきい値処理部４０４
によって面積しきい値処理を施して降雨雪成分のみを抽
出する。次いで、画像解析手段３において正負の移動成
分の重心間を結ぶ移動ベクトルを算出し、この移動ベク
トルの数、長さ、方向を基に降雨雪の量、強度、方向の
いずれかの評価を行なう。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ＴＶカメラなどで
撮影した画像から降雨雪成分を時系列的に抽出し、その
移動ベクトルから降雨雪状況の評価を行なう方法および
その装置に関する。

【０００２】

【従来の技術】従来、光の遮断や反射を利用して降雪や
降雨を検出する方法が提案されているが、これらの方法
は雪片や雨滴の量だけを基準として降雪や降雨を検出す
るものであり、風などの影響を受ける降雨雪の実際の状
況を相対的に把握することができないといった問題があ
った。

【０００３】

【発明が解決しようとする課題】本発明は、上記問題を
解決するためになされたもので、ＴＶカメラなどで撮影
した画像から降雨雪成分を時系列的に抽出し、その移動
ベクトルから降雨雪の量、強度、方向の状況を相対的に
評価することができる降雨雪状況の評価方法およびその
装置を提供することを目的とする。

【０００４】

【課題を解決するための手段】上記目的を達成するため
に、本発明の降雨雪状況の評価方法は、降雨雪検出対象
領域を撮影した画像から降雨雪成分を時系列的に抽出
し、該抽出した時系列な降雨雪成分を用いてそれぞれの
降雨雪成分についての移動ベクトルを算出し、該算出し
た移動ベクトルの数、長さ、方向を基に降雨雪の量、強
度、方向の何れかの評価を行なうようにしたものであ
る。このような構成とすることにより、降雨雪の状況を
相対的に把握して評価することができる。

【０００５】また、本発明の降雨雪状況の評価装置は、
降雨雪検出対象領域を撮影する撮影手段と、撮影した時
系列な画像データの差分から降雨雪成分を抽出する画像
処理手段と、個々の降雨雪成分を識別して降雨雪の移動
ベクトルを算出する画像解析手段と、算出した上記移動
ベクトルの数、長さ、方向を基に降雨雪の量、強度、方
向の何れかの評価を行う降雨雪評価部とから構成したも
のである。このように構成することにより、簡単な構成
の装置でもって、降雨雪の状況を相対的に把握して評価
することができる。

【０００６】

【発明の実施の形態】（第１の実施の形態）図１に、本
発明の方法を利用した降雨雪状況の評価装置の第１の実
施の形態を示す。この第１の実施の形態は、移動ベクト
ルを算出するための時系列な降雨雪成分の抽出にシーケ
ンシャル差分法と呼ばれる手法を用いた場合の例を示す
ものである。そこで、この第１の実施の形態について説
明するに、先ず、シーケンシャル差分法について説明す
る。

【０００７】シーケンシャル差分法とは、時間的に隣り
合う２つの画像の差分をとることによって画像中から移
動体のみを時系列的な正負の成分として抽出する手法で
ある。図２に、このシーケンシャル差分法の原理を示
す。同図（Ａ）は或る時刻Ｔにおける撮影画像ｆ
（Ｔ）、同図（Ｂ）はこれに続く時刻Ｔ＋ｔ（ｔは撮影
間隔、例えば、ＴＶカメラの場合、フレーム間隔１／３
０秒）の撮影画像ｆ（Ｔ＋ｔ）であって、この（Ａ）の
撮影画像ｆ（Ｔ）から（Ｂ）の撮影画像ｆ（Ｔ＋ｔ）を
減算すると、写っている物体Ｍが移動体である場合に
は、同図（Ｃ）にその差分画像を示すように、時間的に
前側の移動体部分が正（＋）の極性に、また時間的に後
側の移動体部分が負（−）の極性を持つ成分としてペア
で表れる。

【０００８】そこで、同図（Ｄ）に示すように、この時
系列的に抽出された正負の成分の重心間をつなぐベクト
ルを算出すれば、これが当該移動体についての移動ベク
トルとなり、この移動ベクトルの長さから移動体（降雨
雪）の強度を、その向きθから移動方向を、また画面全
体に存在する移動ベクトルの数から降雨雪の量を知るこ
とができる。第１の実施の形態は、このシーケンシャル
差分法を利用して構成したものである。

【０００９】なお、図２は時間的に前の画像ｆ（Ｔ）か
ら後ろの画像ｆ（Ｔ＋ｔ）差し引く場合を示したが、こ
れとは逆に、時間的に後ろの画像ｆ（Ｔ＋ｔ）から前の
画像ｆ（Ｔ）を差し引いても、移動方向に対する正負の
極性が逆になるだけで同様に実現できる。

【００１０】次に、上記シーケンシャル差分法を利用し
た図１の降雨雪状況の評価装置について詳細に説明す
る。図１において、１は降雨雪検出対象領域を撮影した
画像データをデジタル信号により出力する撮影手段、２
はデジタル信号からなるフレーム画像を記憶し、記憶し
た時系列な画像データの差分から降雨雪成分を抽出する
画像処理手段、３は個々の降雨雪成分を識別して移動ベ
クトルを算出する画像解析手段、４は算出した上記移動
ベクトルの数、長さ、方向を基に量、強度、方向の何れ
かの評価を行う降雨雪評価部である。

【００１１】次に、各手段の詳細について説明する。撮
影手段１はＴＶカメラ１０１と、該ＴＶカメラ１０１で
撮影した映像信号の高域成分を除去して雑音の減少とサ
ンプリング時の折り返し歪みを防止するローパスフィル
タ（ＬＰＦ）１０２と、映像信号をデジタル信号に変換
するＡＤ変換器１０３とから構成されている。

【００１２】画像処理手段２はフレーム画像単位でスイ
ッチを左右に切り換えるマルチプレクサ２０１と、撮影
されたフレーム画像を交互に格納する２つのフレーム画
像メモリ２０２ａ，２０２ｂと、フレーム画像メモリ２
０２ａ，２０２ｂに格納された時間的に隣り合う２つの
フレーム画像間の差分演算を行う差分処理部２０３と、
差分処理によって抽出された正負の移動成分に対して面
積しきい値処理を施して面積の大きな車両や歩行者成分
を除外し、面積の小さな降雨雪成分のみを抽出する面積
しきい値処理部２０４とから構成されている。

【００１３】画像解析手段３は絶対値画像算出処理部３
０１と、ラベリング処理部３０２と、ラベル領域分離処
理部３０３と、移動ベクトル演算処理部３０４とから構
成されている。

【００１４】なお、上記説明において、車両や歩行者が
行き来する道路上の降雨雪の状況を評価する場合などに
は、雪片や雨滴の他に走行車両や歩行者なども移動成分
として抽出されるため、これらを除外するための前記面
積しきい値処理部２０４が必要である。

【００１５】しかし、車両や人などの通らない場所に
は、撮影される移動体は雪片や雨滴のみであるため、面
積しきい値処理部２０４を省略することができる。ま
た、上記の各手段および降雨雪評価部は、ハードウェア
回路で構成してもよいが、通常はマイクロコンピュータ
を用いたソフトウェア回路によって構成される。以下、
後述する他の実施の形態においても同様である。

【００１６】次に、図１の降雨雪状況の評価装置の処理
動作について、図３のフローチャートおよび図４〜図８
の処理説明図を参照して説明する。ＴＶカメラ１０１で
撮影された降雨雪検出対象領域の映像信号はローパスフ
ィルタ１０２で高域成分をカットされた後、ＡＤ変換器
１０３においてデジタル信号に変換される（ステップＳ
１１）。デジタル信号に変換された画像データは、マル
チプレクサ２０１によって１フレーム（１／３０秒）毎
に２つのフレーム画像メモリ２０２ａと２０２ｂに交互
に格納される（図３のステップＳ１２ａ）。

【００１７】差分処理部２０３は、フレーム画像メモリ
２０２ａと２０２ｂに格納された時間的に隣り合う２つ
のフレーム画像ｆ（Ｔ）とｆ（Ｔ＋ｔ）とを用いて図２
に示したシーケンシャル差分演算を行ない、正負の極性
からなる移動成分を抽出する（ステップＳ１３ａ）。

【００１８】前述したように、車両や人の全く通らない
場所の降雨雪状態を検出する場合には、画面中に走行車
両や歩行者などが写るようなことはないが、撮影場所が
道路などの場合には、画面中を走る車両なども移動成分
として抽出されてしまう。そこで、このような場合に
は、次の面積しきい値処理部２０４において一定以上の
大きな面積を持つ移動成分を雪片や雨滴ではないものと
判定し、これらの移動体を画面から除外する（ステップ
Ｓ１４）。このようにして、結果的に図４（Ａ）〜
（Ｃ）に示すような降雨雪成分のみが残ったシーケンシ
ャル差分画像が取り出される。

【００１９】ここで、上記の面積しきい値処理部２０４
において面積しきい値処理を実行する前処理として移動
体を分離する手法としては、本出願人が先に出願した特
願平８−２９３４０６号に提案したラベリング処理によ
る手法などを用いればよい。すなわち、ラベリングと
は、濃淡画像を適当なしきい値で抽出対象と背景の二つ
の領域に分離した二値化処理画像に対して通常「１」が
与えられる抽出対象の領域（連続成分）毎に異なるラベ
ルをそれらの要素である画素に付与する操作であり、ラ
ベリングの最大番号値が領域の総数、領域中の画素の数
がその領域の面積を示すことであり、ラベリング処理と
は、隣接した画素に対して定められた伝播規則に従って
情報を逐次伝播する伝播法などを利用することにより対
象物に対するラベリングを行う処理のことである。

【００２０】なお、上記面積の小さな降雨雪成分と面積
の大きな車両成分などとを区分けするための面積しきい
値の具体的な値は、撮影場所、撮影画角、撮影条件など
によって適切な値に設定する必要があることは言うまで
もなく、後述する他の実施の形態においても同様であ
る。

【００２１】次に、前記のようにして得られた図５
（Ａ）（＝図４（Ｃ））に示すようなシーケンシャル差
分画像Ｓ（ｘ，ｙ）は絶対値画像算出処理部３０１にお
いて、図５（Ｂ）に示すような絶対値画像Ｍ（ｘ，ｙ）
＝｜Ｓ（ｘ，ｙ）｜に変換される。

【００２２】この絶対値画像Ｍ（ｘ，ｙ）はラベリング
処理部３０２に送られ、図６に示すように、個々の降雨
雪成分を識別するためのラベル付けを行なう。次いで、
ラベル領域分離処理部３０３は、前述の画像処理手段２
で得られた降雨雪成分の正負の符号（図４（Ｃ）参照）
を基に、図７に示すように前記ラベル付けされた降雨雪
成分の絶対値画像を＋領域と−領域に分離してお互いの
関連付けを行なう。

【００２３】上記のようにして関連付けされたラベル付
け画像は移動ベクトル演算処理部３０４に送られ、図８
に示すようにラベル付け画像の＋領域と−領域のそれぞ
れについてその重心Ｇp とＧm を算出する。なお、この
重心Ｇp ，Ｇm は、＋，−それぞれの領域内における各
画素の座標平均である。

【００２４】そして、移動ベクトル演算処理部３０４
は、図８中に矢印で示した＋領域と−領域の重心Ｇp と
Ｇm の間を結ぶベクトルを算出し（ステップＳ１５）、
このベクトルを当該降雨雪成分についての移動ベクトル
として出力する。このようにして得られた各降雨雪成分
の移動ベクトルは、降雨雪評価部４に送られる。

【００２５】降雨雪評価部４は、この送られてくる各降
雨雪成分の移動ベクトルを基に、その時の降雨または降
雪の量、強度、方向を次のようにして評価し各々適切な
表現形式をもって出力する（ステップＳ１６）。

【００２６】（１）降雨または降雪の量の評価各時刻ｔにおける画面上の移動ベクトルの数は、その画
像内に存在する降雨雪成分の数に相当しているので、各
時刻についての移動ベクトルの数を集計していけば、図
９に示すように時間経過に伴う降雨または降雪の量とそ
の変化を求めることができる。したがって、この図９か
ら現在および過去についての降雨量または降雪量を評価
することができる。

【００２７】（２）降雨または降雪の方向の評価移動ベクトルの向きは降雨雪成分の落下方向に対応して
いる。したがって、移動ベクトルの方向を算出すれば、
雨滴や雪片の方向、すなわちその時の風向きを評価でき
る。例えば、図１０（Ａ）のように垂直方向を０°と規
定し、各角度方向についての移動ベクトルの数を集計す
れば、図１０（Ｂ）〜（Ｄ）に示すようにその時の風向
きがどの方向であるかを評価できる。

【００２８】（３）降雨または降雪の強度の評価移動ベクトルの長さは降雨雪成分の落下速度に対応して
おり、図１１（Ａ）〜（Ｃ）のように各ベクトルの長さ
毎の移動ベクトルの数を集計すれば、その時の降雨や降
雪の強度または風速を評価できる。

【００２９】上記のようにして降雨雪評価部４から出力
される降雨または降雪の量、強度、方向を基に、その時
点における降雨または降雪の状況を正確に把握して評価
することができる。

【００３０】なお、車両や人の全く通らない場所の降雨
雪状態を検出する場合には、前記面積しきい値処理部２
０４を省略してもよいことは前述したとおりであり、後
述する他の実施の形態においても同様である。

【００３１】また、降雨雪の方向は、季節に応じた一定
の規則性があるため、上述の実施の形態では１台のＴＶ
カメラ１０１を用いた簡便な手法のものを説明したが、
固定したＴＶカメラで年間を通じた降雨雪の観測を行う
場合や、より正確な風向きの評価を必要とする場合に
は、以下に説明する立体計測の原理を応用すればよく、
後述する他の実施の形態においても同様である。

【００３２】図１２において、１０１Ａと１０１Ｂは同
一の筐体内に収納固定された図示を省略した２台のＴＶ
カメラの撮像面、Ｐ₁は雪片（または雨滴）の最初の位
置を示し、撮像面１０１Ａ、１０１Ｂ上でそれぞれ（ｘ
_a，ｙ_a）と（ｘ_b，ｙ_b）の座標として検知された場
合に、Ｐ₁の座標（ｘ₁，ｙ₁，ｚ₁）は次の式によっ
て与えられる。

【００３３】ｘ₁＝ｘ_aｄ／（ｘ_a−ｘ_b）ｙ₁＝ｆｄ／（ｘ_a−ｘ_b）ｚ₁＝ｙ_aｄ／（ｘ_a−ｘ_b）＝ｙ_bｄ／（ｘ_a−
ｘ_b）ここで、ｆはＴＶカメラの焦点距離、ｄは２台のカメラ
の距離である。同様にして雪片（または雨滴）の移動し
た位置Ｐ₂（ｘ₂，ｙ₂，ｚ₂）を求めることにより、
次の式から降雨雪の強度Ｌが与えられる。

【数１】

【００３４】また、風向ｗは座標の差分（ｘ₂−ｘ₁）
（ｙ₂−ｙ₁）から得られる各々の極性と次式に示すベ
クトルの傾きＲから図１３に示す各方位の前後１１．２
５°の範囲を風向きとして定めた図１４のようなテーブ
ルを用いることによって容易に求めることができる。

【数２】なお、Ｒ＞５．０およびＲ≦０．２の場合には、それぞ
れ（ｙ₂−ｙ₁）および（ｘ₂−ｘ₁）の極性のみを参
照する。

【００３５】（第２の実施の形態）図１５に、本発明の
方法を利用した降雨雪状況の評価装置の第２の実施の形
態を示す。この第２の実施の形態は、移動ベクトルを算
出するための時系列な降雨雪成分の抽出にダイナミック
差分法と呼ばれる手法を用いた場合の例を示すものであ
る。そこで、この第２の実施の形態について説明する前
に、先ずダイナミック差分法について説明する。

【００３６】ダイナミック差分法とは、静止物体のみが
写った背景画像と移動体が写った撮影画像との差分をと
ることによって画像中から移動体のみを抽出する手法で
ある。図１６に、このダイナミック差分法の原理を示
す。同図（Ａ）は或る時刻Ｔにおける撮影画像ｆ
（Ｔ）、同図（Ｂ）は背景画像であって、この（Ａ）の
撮影画像ｆ（Ｔ）から（Ｂ）の背景画像を減算すると、
同図（Ｃ）にその差分画像を示すように、時刻Ｔにおけ
る撮影画像中に存在する移動体Ｍのみを抽出することが
できる。同様に、同図（Ｄ）に所定時間ｔ（例えば、Ｔ
Ｖカメラの場合、フレーム間隔１／３０秒）が経過した
後の次の撮影画像ｆ（Ｔ＋ｔ）を用いて前記背景画像
（Ｂ）との減算処理を行なうと、同図（Ｅ）に示すよう
に移動体Ｍの位置が移動した差分画像を得る。

【００３７】そこで、同図（Ｆ）に示すように、ダイナ
ミック差分演算によって得られた前記２つの移動体の重
心の間をつなぐベクトルを算出すれば、これが当該移動
体についての移動ベクトルとなり、この移動ベクトルの
長さから移動体（降雨雪）の強度を、その向きθから移
動方向を、また画面全体に存在する移動ベクトルの数か
ら降雨雪の量を知ることができる。第２の実施の形態
は、このダイナミック差分法を利用して構成したもので
ある。なお、図１６は時間的に撮影画像から背景画像を
差し引く場合を示したが、これとは逆に、背景画像から
撮影画像を差し引いても同様に実現できる。

【００３８】次に、上記ダイナミック差分法を利用した
図１５の降雨雪状況の評価装置について詳細に説明す
る。図１５おいて、１はＴＶカメラ１０１とローパスフ
ィルタ（ＬＰＦ）１０２とＡＤ変換器１０３とから構成
される撮影手段、２はＴＶカメラ１０１で撮影した時間
的に隣り合う撮影画像から前記ダイナミック差分法に基
づいて移動体たる降雨雪成分を時系列的に抽出する画像
処理手段、３は抽出した時系列な降雨雪成分から各降雨
雪成分についての移動ベクトルを算出する画像解析手
段、４は算出された移動ベクトルからその時の降雨また
は降雪の量、強さ、方向などを評価して出力する降雨雪
評価部である。

【００３９】前記画像処理手段２は、撮影画像を格納す
る撮影画像メモリ２０５ａと、気象条件の変化や昼夜の
輝度変化に応じて輝度状態を追従させた背景画像を格納
しておくための背景画像メモリ２０５ｂと、撮影画像メ
モリ２０５ａと背景画像メモリ２０５ｂに格納された撮
影画像と背景画像の差分演算を行なう差分処理部２０３
と、ダイナミック差分処理によって抽出された差分画像
に面積しきい値処理を施して面積の大きな車両や歩行者
成分を除外し、面積の小さな雪片や雨滴成分のみを抽出
する面積しきい値処理部２０４とから構成されている。

【００４０】なお、前記画像解析手段３は、ラベリング
処理部３０２と、ラベル領域関連付け処理部３０５と、
移動ベクトル演算処理部３０４とから構成されている。

【００４１】次に、図１５の降雨雪状況の評価装置の処
理動作について、図１７のフローチャートおよび図１８
〜図２０の処理説明図を参照して説明する。なお、前述
した第１の実施の形態のフローチャート（図３）と同一
の処理部分には同一の符号を付して示した。

【００４２】この第２の実施の形態の場合、背景画像メ
モリ２０５ｂに常に撮影時と同じ輝度の背景成分のみか
らなる背景画像が記憶される。なお、上記の背景を自動
更新する手法としては、本出願人が特公平７−１１４４
９４号で提案した方法などを利用すればよい。

【００４３】すなわち、数１０ミリないし数秒程度の一
定時間間隔毎に撮影された撮影画像と、予め記憶した背
景画像の対応する画素同士の差分をとることにより両者
の輝度値の変化量を算出し、その変化量が気象状態等に
よる変化量であると判断される場合には、その輝度値の
変化量に重み付けを施した後、背景画像へ帰還して加算
し、この加算後の画像を新たな背景画像とする方法であ
る。

【００４４】次に、ＴＶカメラ１０１で撮影された降雨
雪検出対象領域の映像信号はローパスフィルタ１０２で
高域成分をカットされた後、ＡＤ変換器１０３において
デジタル信号に変換される（ステップＳ１１）。次に、
デジタル信号に変換された画像データは、１フレーム
（１／３０秒）毎に撮影画像メモリ２０５ａに順次格納
される（ステップＳ１２ｂ）。差分処理部２０３は、撮
影画像メモリ２０５ａと背景画像メモリ２０５ｂに格納
された撮影画像と背景画像とのダイナミック差分演算を
行なう（ステップＳ１３ｂ）。

【００４５】前述したように、車両や人の全く通らない
場所の降雨雪状態を検出する場合には、画面中に走行車
両や歩行者などが写るようなことはないが、撮影場所が
道路などの場合には、画面中を走る車両なども移動成分
として抽出されてしまう。そこで、このような場合に
は、次の面積しきい値処理部２０４において一定以上の
大きな面積を持つ移動成分を雪片や雨滴ではないものと
判定し、これらの移動体を画面から除外する（ステップ
Ｓ１４）。このようにして、降雨雪成分のみが残ったダ
イナミック差分画像が取り出される。

【００４６】前記のようにして得られた図１８（Ａ）
（Ｂ）に示す時間的に前後したダイナミック差分画像ｆ
（Ｔ）とｆ（Ｔ＋ｔ）はラベリング処理部３０２に送ら
れ、図１９（Ａ）（Ｂ）に示すように、個々の降雨雪成
分を識別するためのラベル付けを行なう。すなわち、ラ
ベリング処理部３０２は、隣り合うダイナミック差分画
像の各降雪成分について図１９（Ａ）（Ｂ）に示すよう
なラベリング処理を施し、各降雨雪成分の重心Ｇi ，Ｇ
ｊとその面積Ｓi ，Ｓｊを算出する。

【００４７】次いで、ラベル領域関連付け処理部３０５
は、図２０（Ａ）に示すラベル画像（Ｔ）中の或る降雨
雪成分ｉについて、その重心位置Ｇi から半径Ｒの領域
内に存在する降雨雪成分を図２０（Ｂ）に示すラベル画
像（Ｔ＋ｔ）中から探索し、半径Ｒの中に属する降雨雪
成分中のラベル画像（Ｔ）の降雨雪成分ｉの面積Ｓiと
の差が最小である降雨雪成分ｊを同一の降雨雪成分とし
て関連付ける。

【００４８】上記のようにして関連付けされたラベル付
け画像は移動ベクトル演算処理部３０４に送られ、図２
０のように関連付けされた降雨雪成分ｉの重心Ｇi と降
雨雪成分ｊの重心Ｇｊとの間を結ぶベクトルを算出し
（ステップＳ１５）、このベクトルを当該降雨雪成分に
ついての移動ベクトルとして出力する。このようにして
得られた各降雨雪成分の移動ベクトルは、降雨雪評価部
４に送られる。

【００４９】降雨雪評価部４は、この送られてくる各降
雨雪成分の移動ベクトルを基に、前述した第１の実施の
形態と同様に、図９〜図１１に示すごときその時の降雨
または降雪の量、強度、方向を評価し、各々適切な表現
形式を以て出力する（ステップＳ１６）。

【００５０】（第３の実施の形態）図２１に、本発明の
方法を利用した降雨雪状況の評価装置の第３の実施の形
態を示す。この第３の実施の形態は、移動ベクトルを算
出するための時系列な降雨雪成分の抽出にナイキスト成
分抽出法と呼ばれる手法を用いた場合の例を示すもので
ある。

【００５１】インタレース方式のＴＶカメラで移動体を
撮影した場合には、フレーム画像中に写った移動体の上
下両端部にはナイキスト周波数に相当する１走査ライン
間隔の縞が生じるので、ナイキスト成分抽出法を用いて
このナイキスト成分を画像中から抽出する。図２２に、
このナイキスト成分抽出法の原理を示す。同図（Ａ）は
或る時刻Ｔにおける撮影画像ｆ（Ｔ）、同図（Ｂ）はこ
れに続く時刻Ｔ＋ｔ（ｔは撮影間隔。例えば、ＴＶカメ
ラの場合、フレーム間隔１／３０秒）の撮影画像ｆ（Ｔ
＋ｔ）である。それぞれの画像ｆ（Ｔ）、ｆ（Ｔ＋ｔ）
中に写った移動体Ｍの上下両端にはナイキスト成分がそ
れぞれ存在している。

【００５２】（Ａ）の撮影画像ｆ（Ｔ）から（Ｂ）の撮
影画像ｆ（Ｔ＋ｔ）を減算すると、写っている物体Ｍが
移動体である場合には、同図（Ｃ）にその差分画像を示
すように、移動体の上下の両端部分に正負の極性からな
るナイキスト成分がペアで表れる。

【００５３】そこで、同図（Ｄ）に示すように周波数フ
ィルタ処理によっていずれか一方の正負のナイキスト成
分を抽出し、同図（Ｅ）に示すように抽出した正負のナ
イキスト成分の重心間をつなぐベクトルを算出すれば、
これが当該移動体についての移動ベクトルとなり、この
移動ベクトルの長さから移動体（降雨雪）の強度を、そ
の向きθから移動方向を、また画面全体に存在する移動
ベクトルの数から降雨雪の量を知ることができる。第３
の実施の形態は、このナイキスト成分抽出法を利用して
構成したものである。

【００５４】なお、図２２は時間的に前の画像ｆ（Ｔ）
から後ろの画像ｆ（Ｔ＋ｔ）を差し引く場合を示した
が、これとは逆に、時間的に後ろの画像ｆ（Ｔ＋ｔ）か
ら前の画像ｆ（Ｔ）を差し引いても、移動方向に対する
正負の極性が逆になるだけで同様に実現できる。

【００５５】次に、上記ナイキスト成分抽出法を利用し
た図２１の降雨雪状況の評価装置について詳細に説明す
る。図２１おいて、１はＴＶカメラ１０１、ローパスフ
ィルタ（ＬＰＦ）１０２、ＡＤ変換器１０３から構成さ
れる撮影手段である。２はＴＶカメラ１０１で撮影した
時間的に隣り合う撮影画像から前記ナイキスト成分抽出
法に基づいて移動体たる降雨雪成分を時系列的に抽出す
る画像処理手段、３は抽出した時系列な降雨雪成分から
各降雨雪成分についての移動ベクトルを算出する画像解
析手段、４は算出された移動ベクトルからその時の降雨
または降雪の量、強さ、方向などを評価して出力する降
雨雪評価部である。

【００５６】前記画像処理手段２は、フレーム画像単位
でスイッチを左右に切り換えるマルチプレクサ２０１
と、撮影されたフレーム画像を交互に格納する２つのフ
レーム画像メモリ２０２ａ，２０２ｂと、フレーム画像
メモリ２０２ａ，２０２ｂに格納された時間的に隣合う
２つのフレーム画像の差分演算を行なう差分処理部２０
３と、シーケンシャル差分処理によって抽出された正負
の移動成分中からナイキスト成分のみを抽出するための
周波数フィルタ処理部２０６と、該ナイキスト成分から
なるシーケンシャル画像に対して面積しきい値処理を施
して面積の大きな車両や歩行者成分を除外し、面積の小
さな雪片や雨滴成分のみを抽出する面積しきい値処理部
２０４とから構成されている。

【００５７】なお、前記画像解析手段３は、絶対値画像
算出処理部３０１と、ラベリング処理部３０２と、ラベ
ル領域分離処理部３０３と、移動ベクトル演算処理部３
０４とから構成されている。

【００５８】次に、図２１の降雨雪状況の評価装置の処
理動作について、図２３のフローチャートおよび図２４
〜図２８の処理説明図を参照して説明する。なお、前述
した第１の実施形態のフローチャート（図３）と同一の
処理部分には同一の符号を付して示した。

【００５９】ＴＶカメラ１０１で撮影された降雨雪検出
対象領域の映像信号はローパスフィルタ１０２で高域成
分をカットされた後、ＡＤ変換器１０３においてデジタ
ル信号に変換される（ステップＳ１１）、次に、デジタ
ル信号に変換された画像データはマルチプレクサ２０１
によって１フレーム（１／３０秒）毎に２つのフレーム
画像メモリ２０２ａと２０２ｂに交互に格納される（ス
テップＳ１２ａ）。

【００６０】差分処理部２０３は、フレーム画像メモリ
２０２ａと２０２ｂに格納された時間的に隣り合う２つ
のフレーム画像ｆ（Ｔ）とｆ（Ｔ＋ｔ）とを用いて図２
４（Ａ）〜（Ｃ）に示すようなシーケンシャル差分演算
を行ない、ナイキスト成分を含んだ正負の極性からなる
シーケンシャル差分画像を得て、周波数フィルタ処理部
２０６に送る。

【００６１】周波数フィルタ処理部２０６は、図２４
（Ｃ）に示すようなシーケンシャル差分画像に対して、
フーリエ変換および逆フーリエ変換処理などを利用した
周波数フィルタ処理を施してナイキスト成分付近を抽出
し、図２５（Ａ）に示すようなナイキスト成分画像を得
る（ステップＳ１３ｃ）。

【００６２】前記のようにして得られた図２５（Ａ）に
示すようなナイキスト成分画像Ｓ（ｘ，ｙ）は絶対値画
像算出処理部３０１において、図２５（Ｂ）に示すよう
な絶対値画像Ｍ（ｘ，ｙ）＝｜Ｓ（ｘ，ｙ）｜に変換さ
れる。

【００６３】この絶対値画像Ｍ（ｘ，ｙ）はラベリング
処理部３０２に送られ、図２６に示すように、個々の降
雨雪成分を識別するためのラベル付けを行なう。次い
で、ラベル領域分離処理部３０３は、前述の画像処理手
段２で得られた降雨雪成分の正負の符号（図２４（Ｃ）
参照）を基に、図２７に示すように前記ラベル付けされ
た降雨雪成分の絶対値画像を＋領域と−領域に分離して
お互いの関連付けを行なう。

【００６４】上記のようにして関連付けされたラベル付
け画像は移動ベクトル演算処理部３０４に送られ、図２
８に示すようにラベル付け画像の＋領域と−領域のそれ
ぞれについてその重心Ｇp とＧm を算出する。なお、こ
の重心Ｇp ，Ｇm は、＋，−それぞれの領域内における
各画素の座標平均である。

【００６５】そして、移動ベクトル演算処理部３０４
は、図２８中に矢印で示したような＋領域と−領域の重
心Ｇp とＧm の間を結ぶベクトルを算出し（ステップＳ
１５）、このベクトルを当該降雨雪成分についての移動
ベクトルとして出力する。このようにして得られた各降
雨雪成分の移動ベクトルは、降雨雪評価部４に送られ
る。

【００６６】降雨雪評価部４は、この送られてくる各降
雨雪成分の移動ベクトルを基に、前述した第１の実施の
形態と同様に、図９〜図１１に示すごときその時の降雨
または降雪の量、強度、方向を評価し、各々適切な表現
形式をもって出力する（ステップＳ１６）。

【００６７】なお、第３の実施の形態の場合には、フレ
ーム画像同士の差分を用いたが、フィールド画像同士の
差分によっても前記の移動ベクトルの算出が可能であ
る。ただし、異なったフィールド同士の差分を行う場合
には、何れかのフィールド画像を１ライン分シフトして
実施することは言うまでもない。

【００６８】

【発明の効果】以上説明したように、本発明の降雨雪状
況の評価方法によるときは、降雨雪検出対象領域を撮影
した画像から降雨雪成分を時系列的に抽出し、該抽出し
た時系列な降雨雪成分を用いてそれぞれの降雨雪成分に
ついての移動ベクトルを算出し、該算出した移動ベクト
ルの数、長さ、方向を基に降雨雪の量、強度、方向のい
ずれかの評価を行なうようにしたので、その時点におけ
る降雨雪の状況を相対的に把握し、降雨または降雪の状
態を迅速に評価することができる。

【００６９】また、降雨雪検出対象領域を撮影する撮影
手段と、撮影した時系列な画像データの差分から降雨雪
成分を抽出する画像処理手段と、個々の降雨雪成分を識
別して降雨雪の移動ベクトルを算出する画像解析手段
と、算出した上記移動ベクトルの数、長さ、方向を基に
降雨雪の量、強度、方向の何れかの評価を行う降雨雪評
価部とから構成したので、簡単な構成の装置で降雨また
は降雪の状態を迅速に評価することができるという効果
を有するものである。

【図面の簡単な説明】

【図１】第１の実施の形態を示すブロック図である。

【図２】（Ａ）〜（Ｄ）は第１の実施形態で採用したシ
ーケンシャル差分法の原理説明図である。

【図３】第１の実施の形態の処理動作のフローチャート
である。

【図４】（Ａ）〜（Ｃ）はシーケンシャル差分法による
画像例を示す図である。

【図５】（Ａ）（Ｂ）はシーケンシャル差分画像の絶対
値画像へ変換例を示す図である。

【図６】ラベリング処理の例を示す図である。

【図７】ラベル領域分離の例を示す図である。

【図８】移動ベクトルの算出処理の例を示す図である。

【図９】降雨雪の量の算出例を示す図である。

【図１０】（Ａ）は降雨雪の方向（風向き）の説明図、
（Ｂ）〜（Ｄ）は降雨雪の方向（風向き）の算出例を示
す図である。

【図１１】（Ａ）〜（Ｃ）は降雨雪の強度の算出例を示
す図である。

【図１２】２台のＴＶカメラで撮影した画像面を示す線
図である。

【図１３】降雨雪の方向（風向き）の説明図である。

【図１４】風向きに変換するためのテーブルを示す表で
ある。

【図１５】第２の実施の形態を示すブロック図である。

【図１６】第２の実施形態で採用したダイナミック差分
法の原理説明図である。

【図１７】第２の実施の形態の処理動作のフローチャー
トである。

【図１８】（Ａ）（Ｂ）はダイナミック差分法により抽
出された移動体の画像例を示す図である。

【図１９】（Ａ）（Ｂ）はラベリング処理の例を示す図
である。

【図２０】（Ａ）（Ｂ）はラベル領域関連付けの例を示
す図である。

【図２１】第３の実施の形態を示すブロック図である。

【図２２】（Ａ）〜（Ｅ）は第３の実施形態で採用した
ナイキスト成分抽出法の原理説明図である。

【図２３】第３の実施の形態の処理動作のフローチャー
トである。

【図２４】（Ａ）〜（Ｃ）はシーケンシャル差分法によ
る画像例を示す図である。

【図２５】（Ａ）（Ｂ）はナイキスト成分画像から絶対
値画像への変換例を示す図である。

【図２６】ラベリング処理の例を示す図である。

【図２７】ラベル領域関連付けの例を示す図である。

【図２８】移動ベクトルの算出処理の例を示す図であ
る。

【符号の説明】

１０１ＴＶカメラ１０２ローパスフィルタ（ＬＰＦ）１０３ＡＤ変換器２画像処理手段３画像解析手段４降雨雪強度評価部２０１マルチプレクサ２０２ａ，ｂフレーム画像メモリ２０３差分処理部２０４面積しきい値処理部２０５ａ撮影画像メモリ２０５ｂ背景画像メモリ２０６周波数フィルタ処理部３０１絶対値画像算出処理部３０２ラベリング処理部３０３ラベル領域関連付け処理部３０４移動ベクトル演算処理部３０５ラベル領域分離処理部

───────────────────────────────────────────────────── フロントページの続き (72)発明者堀場勇夫愛知県刈谷市東境町新林50−２

Claims

【特許請求の範囲】

【請求項１】降雨雪検出対象領域を撮影した画像から
降雨雪成分を時系列的に抽出し、該抽出した時系列な降
雨雪成分を用いてそれぞれの降雨雪成分についての移動
ベクトルを算出し、該算出した移動ベクトルの数、長
さ、方向を基に降雨雪の量、強度、方向の何れかの評価
を行なうことを特徴とする降雨雪状況の評価方法。
【請求項２】降雨雪検出対象領域を撮影する撮影手段
と、撮影した時系列な画像データの差分から降雨雪成分を抽
出する画像処理手段と、個々の降雨雪成分を識別して降雨雪の移動ベクトルを算
出する画像解析手段と、算出した上記移動ベクトルの数、長さ、方向を基に降雨
雪の量、強度、方向の何れかの評価を行う降雨雪評価部
と、から構成したことを特徴とする降雨雪状況の評価装置。