JP4505509B2 - 気象情報検出方法、気象情報検出装置及び気象情報検出プログラム - Google Patents

Description

本発明は、カメラで撮影した画像から気象情報を検出する技術に関する。

気象情報を検出する方法として、天候については、温度センサ、気圧センサなどが用いられるが、すべての気象物理量に関するセンサは未だに開発されていない。そのため、気象変化を目視で観測するのに、ＩＰカメラなどデータ通信機能を内蔵したネットワークカメラを用いて観測することは重要な手段となっている。

気象情報のうち雪の程度をセンシングすることは、冬季において最も重要である（例えば、非特許文献１参照）。
菊池勝弘、外２名、「降雪現象と積雪現象」、古今書院、１９９５年、p.32-41 田村秀行監修、「コンピュータ画像処理入門」、総研出版、２００２年、p.200-201

しかしながら、降雪に関してネットワークカメラによる自動的なセンシングについては行われていない。ネットワークカメラを利用する場合、データ容量や伝送帯域の制限などから、サンプリング時間が数秒から数分おきとなることが多いのが現状である。また、モーションブラーと呼ばれる現象により、円形の雪粒が細長く撮影される問題も知られている。

画像処理を施して一定の形状のものを検出する方法には、さまざまなフィルタに基づいたパターンマッチングが知られている（非特許文献２参照）。そのほとんどは、画像中の物体の角部を検出したり、小さい形状を検索したりすることが目的であることが多く、３×３〜５×５の正方形のフィルタが多用されている。

ところが、降雪の場合は、カメラとの奥行き距離に応じて大きさが変化したり、モーションブラー現象により細長く撮影されたりするため、さまざまな形状が存在するために、別の工夫が必要となる。

本発明は、上記に鑑みてなされたものであり、その課題とするところは、１枚の画像から降雪などの気象情報を検出することにある。

第１の本発明に係る気象情報検出方法は、入力手段により画像データを入力するステップと、入力した画像データを蓄積手段に蓄積するステップと、マッチング手段により蓄積手段から画像データを読み出し、予め用意した複数の非等方的な画像パターンのそれぞれについて画像データの全領域に対してマッチングをとるステップと、解析手段によりマッチング手段がマッチングした画像パターンの種類やマッチングした回数に基づいて降雪や降雨などの大気水象の方向や密度を解析して気象情報を得るステップと、を有することを特徴とする。

本発明にあっては、複数の非等方的な画像パターンを用いてマッチングを行うことにより、降雪や降雨の方向や密度などの気象情報について、細長く、いろいろな方向に傾いて撮影された場合でも、降雪や降雨の方向や密度などの気象情報を検出することができる。なお、降雪、降雨の方向は、傾いた画像パターンを用意し、傾いた画像パターンにマッチングする箇所が多いときには、その画像パターンの傾いている方向が降雪、降雨の傾いている方向であると解析できる。降雪、降雨の密度は、画像パターンがマッチングした回数と入力した画像データの画素数に基づいて解析することができる。

上記気象情報検出方法において、マッチングするステップは、画像パターンと画像データの濃淡値との画素毎の積の和を計算し、計算結果が予め設定した閾値以上の場合にはその画像パターンにマッチングすると判断することを特徴とする。

本発明にあっては、画像パターンと画像データとの画素毎の積の和を計算してマッチングすることにより、マッチングが単純に処理できるので、カメラ付携帯端末などの機器を用いた気象情報検出が可能となる。

上記気象情報検出方法において、画像パターンは、２値化されたものであることを特徴とする。

第２の本発明に係る気象情報検出装置は、画像データを入力する入力手段と、入力した画像データを蓄積する蓄積手段と、蓄積手段から画像データを読み出し、予め用意した複数の非等方的な画像パターンのそれぞれについて画像データの全領域に対してマッチングをとるマッチング手段と、マッチング手段がマッチングした画像パターンの種類やマッチングした回数に基づいて降雪や降雨などの大気水象の方向や密度を解析して気象情報を得る解析手段と、を有することを特徴とする。

上記気象情報検出装置において、マッチング手段は、画像パターンと画像データの濃淡値との画素毎の積の和を計算し、計算結果が予め設定した閾値以上の場合にはその画像パターンにマッチングすると判断することを特徴とする。

上記気象情報検出装置において、画像パターンは、２値化されたものであることを特徴とする。

第３の本発明に係る気象情報検出プログラムは、上記気象情報検出方法における各ステップをコンピュータに実行させることを特徴とする。

本発明によれば、１枚の画像から降雪などの気象情報を検出することができる。

以下、本発明の実施の形態について図面を用いて説明する。図１は、本実施の形態における降雪情報検出装置の構成を示すブロック図である。同図に示す降雪情報検出装置１は、入力部１１、蓄積部１２、形状マッチング部１３、解析部１４および表示部１５を有する。降雪情報検出装置を、演算処理装置、記憶装置、メモリ等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは降雪情報検出装置が備える記憶装置に記憶されており、ＣＤ−ＲＯＭ、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。以下、各部の詳細について説明する。

入力部１１は、図示しないカメラを通じて降雪情報を検出する対象の画像データを入力し、蓄積部１２に蓄積する。図２は、カメラで撮影した降雪シーンの例である。カメラに近いほど撮影された雪粒は大きくなり、遠くほど小さくなる。雪粒は円形に近いものが多いが、撮影された画像データでは、カメラのシャッタが開いている間に、雪粒が連続的に移動するために、細長く写っている。

形状マッチング部１３は、形状マッチング部１３が備えた記憶手段に予め記憶させた複数の特殊な形状の小さい画像パターンを用いて、蓄積部１２から読み出した画像データの全領域に対して画像パターンを適用する位置をずらしながら順にマッチングをとる。マッチングに用いる画像パターンについては後述する。

解析部１４は、マッチングがあった画像パターンの種類やマッチングした回数から降雪の方向や密度を解析する。例えば、降雪の密度は、マッチングした回数と入力した画像データの画素数（面積）に基づいて解析することができる。さらに、画像パターンのサイズを考慮にいれても良い。また、傾いている画像パターンにマッチングする箇所が多いときには、傾いている方向から風が吹いていると判断することができる。

表示部１５は、解析部１４の結果を定量的に提示する。

次に、形状マッチング部１３が用いる画像パターンについて説明する。図３は、形状マッチング部１３で用いる複数の画像パターン３０の一例であり、横軸は降雪の方向、縦軸は形状の長さに対応させて画像パターン３０を並べて視覚的に表現したものである。同図に示す画像パターン３０は、０と１で２値化したものである。このように、形状マッチング部１３は傾きや形状の異なるさまざまな非等方的な画像パターン３０を用いてマッチングを行う。

降雪シーンを撮影したとき、カメラ視線の手前では、降雪は大きく、かつ長く写り、遠くになるほど小さくかつ短くなる。また、降雪は重力方向だけでなく、風に吹かれてさまざまな方向に落下する。これらのことを考慮した複数の小さい画像パターン３０を用意する。

マッチングは、画像パターン３０を１つづつ順番に選択し、選択した画像パターン３０を用いて、蓄積部１２に記憶させた画像データの左上から右下にかけて走査する。画像データを走査するときに、画像データの濃淡値（輝度）と画像パターン３０との画素同士の積の和を求める。計算結果が閾値以上のとき、その位置に選択した画像パターン３０に対応する降雪があると判断する。用いる閾値は、画像パターン毎に決めておく。画像データをすべて走査した後、次の画像パターン３０を選択し、再び画像データの全領域を走査する。このとき、一度検出された降雪は除いて走査される。

次に、画像パターンのマッチングについて具体的に説明する。図４（ａ）は、ある別の画像パターンの内部の係数の例を示し、図４（ｂ）は、その画像パターンを適用する画像データ内の画素の濃淡値を示している。図４（ａ）に示す画像パターンは、横方向に３画素、縦方向にＮ画素であり、画像データ中の縦の直線を検出するものである。図４（ｂ）に示す画像データに図４（ａ）に示す画像パターンを適用した画素毎の積の和は次式で表される。

ここで、ｂ_１＞ａ_１，ｂ_１＞ｃ_１，・・・，ｂ_Ｎ＞ａ_Ｎ，ｂ_Ｎ＞ｃ_Ｎの条件を満たすときは、Ｌを出力し、それ以外の出力は０とする。そして、出力された値が予め設定された閾値以上の場合は、適用した画像パターンに該当する降雪があると判断する。このように、従来の正方形のフィルタではなく、細長い非等方的な画像パターンを用いることにより、画像データに細長く写った降雪を検出することができる。

なお、降雪の方向が下方向ではなく傾いている場合は、各行を少しづつずらして平行四辺形となる画像パターンを用意するとよい。画像データの特性に応じて画像パターンの係数や条件を変えてもよい。

次に、降雪情報検出装置１により、時系列で入力した画像データから天候が変化する様子を解析した結果について説明する。図５は、時系列画像データであり、図６は、図５の画像データから解析した降雪量の変化を示す図であり、図７は、図５の画像データから解析した風の強さの変化を示す図である。降雪情報検出装置１により、時系列で入力した画像データのそれぞれから画像パターンにマッチングした回数を算出することで、降雪の密度を解析し、変化する降雪量を推定することができた。また、時系列で入力した画像データのそれぞれからマッチングした画像パターンの傾きを算出することで、降雪の方向を解析し、変化する風の強さを推定することができた。

したがって、本実施の形態によれば、入力部１１が入力した１枚の画像データの全領域に対して、複数の非等方的な画像パターンを１つづつ選んでマッチングすることで、画像データに細長く、傾いて写った降雪を検出することができる。さらに、マッチングした画像パターンの種類、回数などに基づいて降雪の方向、密度を解析することができる。また、画像パターンと画像データとの画素毎の積の和を計算してマッチングすることにより、マッチングが単純に処理できるので、降雪情報検出装置１としてカメラ付携帯端末などを用いることができる。

なお、検出する気象情報は、降雪に限らず、降雨にも適用が可能である。

一実施の形態における降雪情報検出装置の構成を示すブロック図である。 上記降雪情報検出装置に入力する降雪シーンを示す図である。 上記降雪情報検出装置が用いる画像パターンの一覧を示す説明図である。 図４（ａ）は画像パターンの内部の係数を示し、図４（ｂ）は画像データの濃淡値を示す。 時系列で入力した画像データを示す図である。 図５の時系列画像データを解析して得た降雪量の変化を示すグラフである。 図５の時系列画像データを解析して得た風の強さの変化を示すグラフである。

符号の説明

１…降雪情報検出装置
１１…入力部
１２…蓄積部
１３…形状マッチング部
１４…解析部
１５…表示部

Claims (7)

1. 入力手段により画像データを入力するステップと、
   入力した前記画像データを蓄積手段に蓄積するステップと、
   マッチング手段により前記蓄積手段から前記画像データを読み出し、予め用意した複数の非等方的な画像パターンのそれぞれについて前記画像データの全領域に対してマッチングをとるステップと、
   解析手段により前記マッチング手段がマッチングした前記画像パターンの種類やマッチングした回数に基づいて降雪や降雨などの大気水象の方向や密度を解析して気象情報を得るステップと、
   を有することを特徴とする気象情報検出方法。
   
2. 前記マッチングするステップは、前記画像パターンと前記画像データの濃淡値との画素毎の積の和を計算し、計算結果が予め設定した閾値以上の場合にはその画像パターンにマッチングすると判断することを特徴とする請求項１記載の気象情報検出方法。
3. 前記画像パターンは、２値化されたものであることを特徴とする請求項１又は２に記載の気象情報検出方法。
4. 画像データを入力する入力手段と、
   入力した前記画像データを蓄積する蓄積手段と、
   前記蓄積手段から前記画像データを読み出し、予め用意した複数の非等方的な画像パターンのそれぞれについて前記画像データの全領域に対してマッチングをとるマッチング手段と、
   前記マッチング手段がマッチングした前記画像パターンの種類やマッチングした回数に基づいて降雪や降雨などの大気水象の方向や密度を解析して気象情報を得る解析手段と、
   を有することを特徴とする気象情報検出装置。
   
5. 前記マッチング手段は、前記画像パターンと前記画像データの濃淡値との画素毎の積の和を計算し、計算結果が予め設定した閾値以上の場合にはその画像パターンにマッチングすると判断することを特徴とする請求項４記載の気象情報検出装置。
6. 前記画像パターンは、２値化されたものであることを特徴とする請求項４又は５に記載の気象情報検出装置。
7. 請求項１乃至３のいずれかに記載の気象情報検出方法における各ステップをコンピュータに実行させることを特徴とする気象情報検出プログラム。

Images