JP4722178B2 - 天候変化検出装置、天候変化検出方法及び天候変化検出プログラム - Google Patents

天候変化検出装置、天候変化検出方法及び天候変化検出プログラム Download PDF

Info

Publication number
JP4722178B2
JP4722178B2 JP2008301522A JP2008301522A JP4722178B2 JP 4722178 B2 JP4722178 B2 JP 4722178B2 JP 2008301522 A JP2008301522 A JP 2008301522A JP 2008301522 A JP2008301522 A JP 2008301522A JP 4722178 B2 JP4722178 B2 JP 4722178B2
Authority
JP
Japan
Prior art keywords
weather
pixel
observation target
detected
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008301522A
Other languages
English (en)
Other versions
JP2010128711A (ja
Inventor
英朋 境野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2008301522A priority Critical patent/JP4722178B2/ja
Publication of JP2010128711A publication Critical patent/JP2010128711A/ja
Application granted granted Critical
Publication of JP4722178B2 publication Critical patent/JP4722178B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、天候の変化を検出する天候変化検出装置、天候変化検出方法及び天候変化検出プログラムの技術に関する。
現在、将来の天候を予測したり現在の天候状況を検出する方法としては、気象レーダ観測を用いる技術が一般的である。このような気象レーダ観測は、雨雲等の天候状態を日本全土や世界的規模の広範囲で把握できるため、気象庁等で用いられている(非特許文献1参照)。
"天気予報のできるまで"、[online]、[平成20年11月18日検索]、インターネット<URL : http://contest.thinkquest.jp/tqj2001/40457/weather/weather_yohou_other.html> J.L. Barron、他2名、「Performance of Optical Flow Techniques」、IJCV、1994、vol.12、no.1、p.43-77 中川 徹、外1名、「最小二乗法による実験データ解析」、東京大学出版会、1995、p.168-169
しかしながら、気象衛星や気象観測船等の多地点で採取された膨大な観測データを特定の集中装置に伝送し、この観測データを均一にコンピュータで計算して現在の天候状態を検出したり将来の天候を予測するため、気象データを観測してから配信するまでに時間を要するという問題がある。
また、気象レーダ観測における空間分解能は約2.5kmであるため、それよりも小さい対流セルからなる雷雲等を把握できないという問題もある。
本発明は、上記を鑑みてなされたものであり、数秒単位かつ数百メートル単位で観測できる映像の利点を活かして、天候観測カメラで撮影された映像を用いて簡易かつ正確に天候の変化を検出する天候変化検出装置、天候変化検出方法及び天候変化検出プログラムを提供することを課題とする。
第1の請求項に係る発明は、天候観測カメラで撮影された現在映像を入力する入力手段と、前記現在映像を時系列な複数の画像フレームとして記憶する記憶手段と、前記記憶手段から前記画像フレームを読み出して、当該画像フレームにおける各画素のRGBカラー情報をHSVカラーモデルに変換し、当該HSVカラーモデルを構成している色相成分、彩度成分、明度成分を複合的に用いて天候が悪化するに従って次第に高くなるような色彩値を検出する色彩値検出手段と、前記記憶手段から時間的に連続する2枚の前記画像フレームを読み出して、観測対象の領域に位置している各画素の時間的な輝度変動量を計算し、当該各画素の近傍に位置する複数の画素の前記輝度変動量を用いて高速フーリエ変換した後にガウス関数との畳み込み積分を行って逆フーリエ変換を施して各画素における低空間周波数成分での時間変動成分を求め、当該時間変動成分を適用した輝度変動条件と前記観測対象における速度の滑らかさ条件とを拘束条件として、オプティカルフロー法を用いて計算された速度ベクトルを前記観測対象の動きとして検出する動き検出手段と、検出された前記速度ベクトルを用いて、少なくとも発散度及び渦度に関する前記観測対象のテクスチャを検出するテクスチャ検出手段と、前記複数の画像フレームを用いて検出された前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとを時系列に表示する表示手段と、前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとを用いて天候が悪化するに従って次第に高くなるような統合値Tを以下の式ただし、I(i,j)は画素(i,j)での輝度値であり、u i,j とv i,j とは画素(i,j)での観測対象の動きであり、C i,j は画素(i,j)での色彩値であり、div d(i,j)は画素(i,j)での発散度に関する観測対象のテクスチャであり、curl d(i,j)は画素(i,j)での渦度に関する観測対象のテクスチャである)より計算し、当該統合値Tが所定の閾値以上の場合に悪天候であると判定する判定手段と、を有することを要旨とする。
の請求項に係る発明は、前記天候観測カメラで過去に撮影された複数の過去映像を蓄積しておく蓄積手段と、前記蓄積手段から前記複数の過去映像を読み出して、前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとに関する特徴量を各過去映像についてそれぞれ検出し、前記現在映像から検出された前記特徴量との類似度が所定の閾値以上である場合には、当該閾値以上の前記過去映像を用いて検出される前記特徴量を将来の天候とし、当該所定の閾値以上でない場合には、前記現在映像から検出された前記特徴量に対して自己回帰モデルを適用して繰り返し計算された特徴量を将来の天候として予測する予測手段と、を更に有することを要旨とする。
の請求項に係る発明は、コンピュータにより、天候観測カメラで撮影された現在映像を入力するステップと、前記現在映像を時系列な複数の画像フレームとして記憶手段に記憶するステップと、前記記憶手段から前記画像フレームを読み出して、当該画像フレームにおける各画素のRGBカラー情報をHSVカラーモデルに変換し、当該HSVカラーモデルを構成している色相成分、彩度成分、明度成分を複合的に用いて天候が悪化するに従って次第に高くなるような色彩値を検出するステップと、前記記憶手段から時間的に連続する2枚の前記画像フレームを読み出して、観測対象の領域に位置している各画素の時間的な輝度変動量を計算し、当該各画素の近傍に位置する複数の画素の前記輝度変動量を用いて高速フーリエ変換した後にガウス関数との畳み込み積分を行って逆フーリエ変換を施して各画素における低空間周波数成分での時間変動成分を求め、当該時間変動成分を適用した輝度変動条件と前記観測対象における速度の滑らかさ条件とを拘束条件として、オプティカルフロー法を用いて計算された速度ベクトルを前記観測対象の動きとして検出するステップと、検出された前記速度ベクトルを用いて、少なくとも発散度及び渦度に関する前記観測対象のテクスチャを検出するステップと、前記複数の画像フレームを用いて検出された前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとを時系列に表示するステップと、前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとを用いて天候が悪化するに従って次第に高くなるような統合値Tを以下の式ただし、I(i,j)は画素(i,j)での輝度値であり、u i,j とv i,j とは画素(i,j)での観測対象の動きであり、C i,j は画素(i,j)での色彩値であり、div d(i,j)は画素(i,j)での発散度に関する観測対象のテクスチャであり、curl d(i,j)は画素(i,j)での渦度に関する観測対象のテクスチャである)より計算し、当該統合値Tが所定の閾値以上の場合に悪天候であると判定するステップと、を有することを要旨とする。
の請求項に係る発明は、前記天候観測カメラで過去に撮影された複数の過去映像を蓄積手段に蓄積しておくステップと、前記蓄積手段から前記複数の過去映像を読み出して、前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとに関する特徴量を各過去映像についてそれぞれ検出し、前記現在映像から検出された前記特徴量との類似度が所定の閾値以上である場合には、当該閾値以上の前記過去映像を用いて検出される前記特徴量を将来の天候とし、当該所定の閾値以上でない場合には、前記現在映像から検出された前記特徴量に対して自己回帰モデルを適用して繰り返し計算された特徴量を将来の天候として予測するステップと、を更に有することを要旨とする。
の請求項に係る発明は、請求項3又は4に記載の天候変化検出方法における各ステップをコンピュータによって実行させることを要旨とする。
本発明によれば、天候観測カメラで撮影された映像を用いて簡易かつ正確に天候の変化を検出する天候変化検出装置、天候変化検出方法及び天候変化検出プログラムを提供することができる。
図1は、本実施の形態に係る天候変化検出装置の機能構成を示す機能構成図である。この天候変化検出装置100は、入力部11と、色彩値検出部12と、動き検出部13と、テクスチャ検出部14と、判定部15と、予測部16と、表示部17と、記憶部31と、蓄積部32とを備えた構成である。
入力部11は、天候観測カメラ200で現在撮影された現在映像や、過去に撮影された複数の過去映像の入力を受け付ける機能を備えている。例えば、図2に示すような晴天から悪天候へ変化する映像が入力される。図2(a)の左側に示す画像には青空に白い雲が漂っている様子が撮影されているが、1時間経過後の右側の画像では、天候が急変して厚い雲により青空が見えなくなっている。また、図2(b)や(c)にあっては、悪天候の変化として景観が次第に暗くなり、雲のテクスチャも複雑に変化している。景観が暗くなり雲が灰色に変化するのは、地上を照らしていた太陽光が発達した雲により遮断もしくは乱反射されるためである。本実施の形態では、このような画像上の視覚的な変化、すなわち、輝度変動(濃淡変動)を用いて悪天候を検知することを目的としている。
記憶部31は、入力部11で受け付けた後に入力された現在映像を時系列な複数の画像フレームとして記憶する機能を備えている。記憶される現在映像とは、現在継続的に撮影されている映像である。一方、蓄積部32は、入力部11で受け付けた後に入力された複数の過去映像を蓄積しておく機能を備えている。蓄積される複数の過去映像とは、春夏秋冬や梅雨等の季節単位、年・日・時間単位、午前・午後単位等のさまざまな単位を基準に撮影された映像である。なお、このような記憶部31、蓄積部32としては、例えばメモリ、ハードディスク等の記憶装置を用いることが一般的であり、天候変化検出装置100の内部のみならず、インターネットや電話回線等の通信ネットワークを介して電気的に接続可能な外部の記憶装置を用いることも可能である。
色彩値検出部12は、記憶部31から画像フレームを読み出して、この画像フレームにおける各画素のRGBカラー情報をHSVカラーモデルに変換し、変換後のHSVカラーモデルを構成している色相成分(H:Hue)、彩度成分(S:Saturation・Chroma)、明度成分(V:Brightness・Lightness・Value)を複合的に用いて天候が悪化するに従って次第に高く又は低くなるような色彩値を検出する機能を備えている。以下、色彩値に関する具体的な計算方法について説明する。
R、G、Bが0を最小値、255を最大値とする0〜255の範囲(256階調の範囲)にあり、(R,G,B)で定義された色が与えられたとすると、この(R,G,B)に対応する(H,S,V)カラーは式(1)〜式(3)に基づいて決定することができる。なお、MAXを(R,G,B)値の最大値と等しく、MINを(R,G,B)値の最小値とする。
この計算結果から、図3に示すように、Hについては、赤色が0°(360°)、黄色が60°、緑色が120°、水色が180°、青色が240°、紫色が300°といった0°〜360°まで変化する色相角度(Hue angle)で表現されることになる。また、Sについては、薄(無彩色)い側が0、濃い(有色色)い側が1といった0〜1の実数値で表現され、Vについては、弱い側が0、強い側が1といった0〜1の実数値で表現されることになる。
そして、天候が悪化する場合には画像フレームに撮影されている景観が次第に暗くなっていくので、SとHは1付近から0付近に近づいていく。そこで、式(1)〜式(3)により決定されたH、S、Vの値を複合的に用いて、悪天候になるに従って次第に値が大きくなるように導出させる式(4)を用いて色彩値Ci、jを検出する。なお、式(4)のHについては、240°を基準として相対的な変化を検出するようにしている。また、expは指数関数である。πは、HSVを用いて計算された値を全体的に調整する調整係数であって、例えば1.0を用いることができる。
記憶部31に記憶されている全ての画像フレームについて色彩値をそれぞれ計算し、全ての計算結果を表示部17で時系列に表示することにより、時間軸に沿って色彩値が次第に低くなる場合には天候が回復傾向にあり、一方、色彩値が次第に高くなる場合には天候が悪化している傾向にあるとの検出結果を得ることが可能となる。また、色彩値Ci、jが特定のノイズ値よりも小さい場合には利用しないとすることで、細かいノイズからの影響を緩和することが可能となる。
従来、RGBカラー情報をHSVカラーモデルに変換した場合、H、S、Vをそれぞれ独立に用いて画像処理を行う技術が殆どであり、例えばHのみを用いた場合には、悪天候であっても一部晴れ間が雲の間に生じたときには青色成分のみの影響を受けてしまい正確な天候を検出することができなかった。しかしながら、本実施の形態によれば、式(4)に示すようにHSVを複合的に用いているので、より高い精度で色彩情報を得ることが可能となる。
なお、色相成分、彩度成分、明度成分を用いて色彩値を計算する方法について説明したが、RGBカラー情報を用い、式(4)と同様な計算結果が得られる式を用いて色彩値を計算した場合であっても同じ効果を得ることが可能である。以下では、R、G、Bの計算方法について付言しておく。式(1)〜式(3)に基づいて決定された(H,S,V)カラーを用いて(R,G,B)カラーを計算する。H÷60の整数部をi、小数部をfとし、得られたH、S、Vを式(5)に代入してp1〜p3を計算する。
そして、式(6)を用いてR、G、Bを計算することができる。iの値に応じて異なる変数を用いてRGBを検出することが可能となる。
動き検出部13は、記憶部31から時間的に連続する2枚の画像フレームを読み出して、雲や樹木等の観測対象の領域に位置している各画素の時間的な輝度変動量を計算し、各画素の近傍に位置する複数の画素の輝度変動量を用いて高速フーリエ変換した後に逆フーリエ変換を施して各画素における低空間周波数成分での時間変動成分を求め、求めた時間変動成分を適用した輝度変動条件と前記観測対象における速度の滑らかさ条件とを拘束条件として、オプティカルフロー法を用いて計算された速度ベクトルを観測対象の動きとして検出する機能を備えている。以下、観測対象の動きに関する具体的な計算方法について説明する。
オプティカルフローとは撮影された観測対象の見かけの速度ベクトルのことを意味している(非特許文献2参照)。図4に示すように、時刻tにおいて座標(x,y)にある輝度(濃淡)Iが、δt時間経過した後に座標(x+δx,y+δy)に移動したとき、後者について(x,y,t)のまわりでテイラー展開すると式(7)を得ることができる。
そして、式(7)に示す右辺の第2項〜第4項をδtで割った値が2枚の画像フレーム間の輝度変動量に相当するため、この輝度変動量をαIとして式(8)を導出する。なお、従来におけるオプティカルフローを用いる技術は、この輝度変動量αIを0(ゼロ)とする技術が殆どであったが、本実施の形態によれば、輝度変動量を所定値(例えばα=0.1)を与えているため、雲や雷が突発的に出現した場合であっても適切に観測対象の動きを把握することが可能となる。
ここで、δtの極限としてδt→0とすると式(9)を得ることができる。
式(9)がオプティカルフローを計算する基本式であり、式(10)に示すようにdx/dtとdy/dtとを計算することにより、速度ベクトルdを求めることができる。
ここで、この基本式を計算するには拘束条件を与える必要があるが、本実施の形態では、輝度変動条件と観測対象の動きの滑らかさ条件とを拘束条件としている。
最初に、輝度変動条件について説明する。式(9)に示す(∂x/∂t)をI、(∂y/∂t)をI、(∂I/∂t)をIとし、式(9)を用いて誤差errを式(11)のように定義する。
差分法に基づいて(i、j)格子上で式(11)の各変数を離散化すると、画素(i、j)における誤差erri,jは式(12)で表現することができる。なお、nは時間方向の分割数である。
ここで、式(12)で示す(Ii,j −Ii,j n−1)に対して、換言すれば、時刻t(nに対応)と時刻t−1(n−1に対応)との2枚の画像フレーム間における画素(i,j)の輝度変動量に対して、その画素の近傍に位置する領域Ωの輝度変動量を用いて高速フーリエ変換FFTを施して空間周波数を求め、更に逆フーリエ変換を施して、画素(i,j)における低空間周波数成分での時間変動成分Fi,jを計算する。具体的には、式(13)に示すように、ガウス関数と時間差分との畳み込み積分を行って、低空間周波数成分での時間変動成分Fi,jを求める。
そして、式(12)について観測対象の領域をΩとした式(14)と式(13)とが輝度変動条件となる。
次に、観測対象の動きの滑らかさ条件について説明する。この滑らかさ条件については、観測対象である雲等の動きは微小であり、その速度成分の空間的な変化が滑らかであると仮定して、式(15)に示すように速度ベクトルの変数u,vの1次微分を用いる。
最終的には、式(14)に示す輝度変動条件と式(15)に示す観測対象の動きの滑らか条件とから得られた拘束条件(式(16))を用いて、3つの未知数(u,v,α)を最小二乗法を用いて推定する。なお、λは滑らかさ条件に対する調整量である。
この最小二乗法の解法については、それら3つの未知数で式(16)をそれぞれ偏微分した3つの線形連立方程式を計算することで求めることが可能となる。なお、最小二乗法に関する具体的な計算方法については非特許文献3に記載された方法を用いることが可能であることを付言しておく。
本実施の形態によれば、オプティカルフロー法を用いて観測対象の動きを計算するに際し、輝度変動や低空間周波数成分での時間変動成分を考慮しているため、緩やかに変化する雲であっても確実に検出することが可能となる。
テクスチャ検出部14は、動き検出部13で検出された速度ベクトルを用いて、少なくとも発散度及び渦度に関する観測対象のテクスチャを検出する機能を備えている。発散度divや渦度curlについては式(17)や式(18)を用いて計算することができる。
なお、これら2つの式に基づいて計算機上で実際に計算処理させる場合には、式(19)や式(20)に示すように、有限差分法に従って離散化近似させて計算することにより発散度及び渦度の計算が可能となる。
判定部15は、色彩値検出部12と動き検出部13とテクスチャ検出部14とでそれぞれ検出された色彩値と観測対象の動きと観測対象のテクスチャとを用いて天候が悪化するに従って次第に高くなるような統合値を計算し、この統合値が所定の閾値以上の場合に悪天候であると判定する機能を備えている。具体的には、現在映像から上記3種類の値が検出されるが、天候状況をより容易に把握するために、式(21)に示すように各値を複合的に用いて統合値Tを算出する。この式(21)は、悪天候になるに従って次第に値が高くなるようになっている。
そして、悪天候である基準をthとしておき、統合値Tが基準th以上の場合には悪天候と判断する。
予測部16は、蓄積部32から複数の過去映像を読み出して、色彩値と観測対象の動きと観測対象のテクスチャとに関する特徴量を各過去映像についてそれぞれ検出し、現在映像から検出されている特徴量(色彩値と観測対象の動きと観測対象のテクスチャ)との類似度が所定の閾値以上である場合には、この閾値以上に該当する過去映像を用いて別途計算される特徴量を将来の天候とし、この所定の閾値以上でない場合には、現在映像から検出された特徴量に対して自己回帰(AR)モデルを適用して繰り返し計算された特徴量を将来の天候として予測する機能を備えている。
具体的には、まず、前述した色彩値検出部12と動き検出部13とテクスチャ検出部14での処理と同様に、各過去映像に対する特徴量をそれぞれ計算する。そして、現在映像の特徴量を用いて各過去映像に対する類似性をそれぞれ比較し、事前に規定されている閾値以上の場合には該当する過去映像に近い天候状態になると仮定し、現在以降の時刻における天候については、その過去映像を用いて予測する。
一方、その閾値以上でない場合には、過去のいずれの天候状態も参考にならないため、現在撮影された現在映像から検出された特徴量や、式(21)で計算された統合値に対してARモデルを適用し、前述の最小二乗法を用いて3つの未知数を推定することを繰り返して、現在以降の時刻における天候を予測する。
表示部17は、図5に示すように、記憶部31に記憶された複数の画像フレームを用いて検出された色彩値と観測対象の動きと観測対象のテクスチャと、判定部15で計算された統合値及び判定結果と、予測部16で予測された予測結果とを時系列に表示する機能を備えている。
続いて、本実施の形態に係る天候変化検出装置の処理フローについて説明する。図6は、本実施の形態に係る天候変化検出装置の処理フローを示すフロー図である。なお、蓄積部32には予め過去映像が蓄積されているものとする。最初に、入力部11が、天候観測カメラ200で現在撮影された現在映像の入力を受け付ける(ステップS101)。
次に、記憶部31が、受け付けて入力された現在映像を時系列な複数の画像フレームとして記憶する(ステップS102)。
その後、色彩値検出部12が、画像フレームにおける各画素のRGBカラー情報から変換された色相成分、彩度成分、明度成分を複合的に用いて、天候が悪化するに従って次第に高くなるような色彩値を検出する(ステップS103)。
続いて、動き検出部13が、時間的に連続する2枚の画像フレームを用いて、観測対象の領域に位置している各画素の時間的な輝度変動量を計算し、各画素の近傍に位置する複数の画素の輝度変動量を用いて高速フーリエ変換した後に逆フーリエ変換を施して各画素における低空間周波数成分での時間変動成分を求め、求めた時間変動成分を適用した輝度変動条件と前記観測対象における速度の滑らかさ条件とを拘束条件として、オプティカルフロー法を用いて計算された速度ベクトルを観測対象の動きとして検出する(ステップS104)。
そして、テクスチャ検出部14が、動き検出部13で検出された速度ベクトルを用いて、発散度及び渦度に関する観測対象のテクスチャを検出する(ステップS105)。
その後、判定部15が、検出された色彩値と観測対象の動きと観測対象のテクスチャとを用いて天候が悪化するに従って次第に高くなるような統合値を計算し、この統合値が所定の閾値以上の場合に悪天候であると判定する(ステップS106)。
そして、予測部16が、色彩値と観測対象の動きと観測対象のテクスチャとに関する特徴量を各過去映像についてそれぞれ検出し、現在映像から検出されている特徴量との類似度が所定の閾値以上である場合には、この閾値以上に該当する過去映像を用いて検出される特徴量を将来の天候とし、この所定の閾値以上でない場合には、現在映像から検出された特徴量に対して自己回帰モデルを適用して繰り返し計算された特徴量を将来の天候として予測する(ステップS107)。
最後に、表示部17が、検出された色彩値と観測対象の動きと観測対象のテクスチャと、統合値及び判定結果と、予測結果とを時系列に表示する(ステップS108)。
本実施の形態によれば、映像から得られた色相成分、彩度成分、明度成分を複合的に用いて色彩を検出しているので、悪天候の状況変化を適切に把握することが可能となる。また、低空間周波数成分の時間変化成分を用いて動きを検出しているので、雲のようにテクスチャが不明瞭な低空間周波数成分に富んだ対象を含む画像からでも安定してその動きを検出することができる。さらに、色彩値と観測対象の動きと観測対象のテクスチャといった複数の検出結果を統合した統合値を用いているので、誤検出を最小化することができる。
最後に、各実施の形態で説明した天候変化検出装置は、コンピュータで構成され、各機能ブロックの各処理はプログラムで実行されるようになっている。また、各実施の形態で説明した天候変化検出装置の各処理動作をプログラムとして例えばコンパクトディスクやフロッピー(登録商標)ディスク等の記録媒体に記録して、この記録媒体をコンピュータに組み込んだり、若しくは記録媒体に記録されたプログラムを、任意の通信回線を介してコンピュータにダウンロードしたり、又は記録媒体からインストールし、該プログラムでコンピュータを動作させることにより、上述した各処理動作を天候変化検出装置として機能させることができるのは勿論である。
なお、本実施の形態で説明した天候変化検出装置は、天候変化を知るための画像処理分野、気象分野、河川分野、これら分野について監視業務を主とする分野、映像配信に関わる通信分野において応用可能であることを付言しておく。
本実施の形態に係る天候変化検出装置の機能構成を示す機能構成図である。 天候カメラで撮影された現在映像の一例を示す図である。 HSV色彩空間を示す図である。 微少時間の明るさの移動を示す図である。 表示結果を示す図である。 本実施の形態に係る天候変化検出装置の処理フローを示すフロー図である。
符号の説明
11…入力部
12…色彩値検出部
13…動き検出部
14…テクスチャ検出部
15…判定部
16…予測部
17…表示部
31…記憶部
32…蓄積部
100…天候変化検出装置
200…天候観測カメラ
S101〜S108…ステップ

Claims (5)

  1. 天候観測カメラで撮影された現在映像を入力する入力手段と、
    前記現在映像を時系列な複数の画像フレームとして記憶する記憶手段と、
    前記記憶手段から前記画像フレームを読み出して、当該画像フレームにおける各画素のRGBカラー情報をHSVカラーモデルに変換し、当該HSVカラーモデルを構成している色相成分、彩度成分、明度成分を複合的に用いて天候が悪化するに従って次第に高くなるような色彩値を検出する色彩値検出手段と、
    前記記憶手段から時間的に連続する2枚の前記画像フレームを読み出して、観測対象の領域に位置している各画素の時間的な輝度変動量を計算し、当該各画素の近傍に位置する複数の画素の前記輝度変動量を用いて高速フーリエ変換した後にガウス関数との畳み込み積分を行って逆フーリエ変換を施して各画素における低空間周波数成分での時間変動成分を求め、当該時間変動成分を適用した輝度変動条件と前記観測対象における速度の滑らかさ条件とを拘束条件として、オプティカルフロー法を用いて計算された速度ベクトルを前記観測対象の動きとして検出する動き検出手段と、
    検出された前記速度ベクトルを用いて、少なくとも発散度及び渦度に関する前記観測対象のテクスチャを検出するテクスチャ検出手段と、
    前記複数の画像フレームを用いて検出された前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとを時系列に表示する表示手段と、
    前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとを用いて天候が悪化するに従って次第に高くなるような統合値Tを以下の式ただし、I(i,j)は画素(i,j)での輝度値であり、u i,j とv i,j とは画素(i,j)での観測対象の動きであり、C i,j は画素(i,j)での色彩値であり、div d(i,j)は画素(i,j)での発散度に関する観測対象のテクスチャであり、curl d(i,j)は画素(i,j)での渦度に関する観測対象のテクスチャである)より計算し、当該統合値Tが所定の閾値以上の場合に悪天候であると判定する判定手段と、
    を有することを特徴とする天候変化検出装置。
  2. 前記天候観測カメラで過去に撮影された複数の過去映像を蓄積しておく蓄積手段と、
    前記蓄積手段から前記複数の過去映像を読み出して、前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとに関する特徴量を各過去映像についてそれぞれ検出し、前記現在映像から検出された前記特徴量との類似度が所定の閾値以上である場合には、当該閾値以上の前記過去映像を用いて検出される前記特徴量を将来の天候とし、当該所定の閾値以上でない場合には、前記現在映像から検出された前記特徴量に対して自己回帰モデルを適用して繰り返し計算された特徴量を将来の天候として予測する予測手段と、
    を更に有することを特徴とする請求項に記載の天候変化検出装置。
  3. コンピュータにより、
    天候観測カメラで撮影された現在映像を入力するステップと、
    前記現在映像を時系列な複数の画像フレームとして記憶手段に記憶するステップと、
    前記記憶手段から前記画像フレームを読み出して、当該画像フレームにおける各画素のRGBカラー情報をHSVカラーモデルに変換し、当該HSVカラーモデルを構成している色相成分、彩度成分、明度成分を複合的に用いて天候が悪化するに従って次第に高くなるような色彩値を検出するステップと、
    前記記憶手段から時間的に連続する2枚の前記画像フレームを読み出して、観測対象の領域に位置している各画素の時間的な輝度変動量を計算し、当該各画素の近傍に位置する複数の画素の前記輝度変動量を用いて高速フーリエ変換した後にガウス関数との畳み込み積分を行って逆フーリエ変換を施して各画素における低空間周波数成分での時間変動成分を求め、当該時間変動成分を適用した輝度変動条件と前記観測対象における速度の滑らかさ条件とを拘束条件として、オプティカルフロー法を用いて計算された速度ベクトルを前記観測対象の動きとして検出するステップと、
    検出された前記速度ベクトルを用いて、少なくとも発散度及び渦度に関する前記観測対象のテクスチャを検出するステップと、
    前記複数の画像フレームを用いて検出された前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとを時系列に表示するステップと、
    前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとを用いて天候が悪化するに従って次第に高くなるような統合値Tを以下の式ただし、I(i,j)は画素(i,j)での輝度値であり、u i,j とv i,j とは画素(i,j)での観測対象の動きであり、C i,j は画素(i,j)での色彩値であり、div d(i,j)は画素(i,j)での発散度に関する観測対象のテクスチャであり、curl d(i,j)は画素(i,j)での渦度に関する観測対象のテクスチャである)より計算し、当該統合値Tが所定の閾値以上の場合に悪天候であると判定するステップと、
    を有することを特徴とする天候変化検出方法。
  4. 前記天候観測カメラで過去に撮影された複数の過去映像を蓄積手段に蓄積しておくステップと、
    前記蓄積手段から前記複数の過去映像を読み出して、前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとに関する特徴量を各過去映像についてそれぞれ検出し、前記現在映像から検出された前記特徴量との類似度が所定の閾値以上である場合には、当該閾値以上の前記過去映像を用いて検出される前記特徴量を将来の天候とし、当該所定の閾値以上でない場合には、前記現在映像から検出された前記特徴量に対して自己回帰モデルを適用して繰り返し計算された特徴量を将来の天候として予測するステップと、
    を更に有することを特徴とする請求項に記載の天候変化検出方法。
  5. 請求項3又は4に記載の天候変化検出方法における各ステップをコンピュータによって実行させることを特徴とする天候変化検出プログラム。
JP2008301522A 2008-11-26 2008-11-26 天候変化検出装置、天候変化検出方法及び天候変化検出プログラム Expired - Fee Related JP4722178B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008301522A JP4722178B2 (ja) 2008-11-26 2008-11-26 天候変化検出装置、天候変化検出方法及び天候変化検出プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008301522A JP4722178B2 (ja) 2008-11-26 2008-11-26 天候変化検出装置、天候変化検出方法及び天候変化検出プログラム

Publications (2)

Publication Number Publication Date
JP2010128711A JP2010128711A (ja) 2010-06-10
JP4722178B2 true JP4722178B2 (ja) 2011-07-13

Family

ID=42329068

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008301522A Expired - Fee Related JP4722178B2 (ja) 2008-11-26 2008-11-26 天候変化検出装置、天候変化検出方法及び天候変化検出プログラム

Country Status (1)

Country Link
JP (1) JP4722178B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5567411B2 (ja) * 2010-06-28 2014-08-06 日本電信電話株式会社 空模様判定システム及び空模様判定方法
RU2525625C2 (ru) * 2012-07-16 2014-08-20 Федеральное государственное бюджетное учреждение науки Институт мониторинга климатических и экологических систем Сибирского отделения Российской академии наук (ИМКЭС СО РАН) Способ определения балла облачности
US20140372038A1 (en) * 2013-04-04 2014-12-18 Sky Motion Research, Ulc Method for generating and displaying a nowcast in selectable time increments
JP2015021882A (ja) * 2013-07-22 2015-02-02 株式会社ソーキ 天空ステータス観測装置
KR101861342B1 (ko) * 2017-03-30 2018-05-28 인천대학교 산학협력단 기상 정보에 따라 기상 캐스터의 의상 컬러를 실시간으로 변화시키기 위한 장치 및 방법
KR102593285B1 (ko) * 2018-02-06 2023-10-24 한국전자통신연구원 표본 조사 데이터를 전수 조사 데이터로 확장하는 방법 및 장치
JP2021124468A (ja) * 2020-02-07 2021-08-30 国立研究開発法人宇宙航空研究開発機構 情報処理装置、表示装置、情報処理方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11160454A (ja) * 1997-11-25 1999-06-18 Nippon Telegr & Teleph Corp <Ntt> 1次元量予測装置
JP2000339329A (ja) * 1999-05-27 2000-12-08 Nippon Telegr & Teleph Corp <Ntt> 画像監視警報方法及び装置及び画像監視警報プログラムを格納した記憶媒体
JP2004170202A (ja) * 2002-11-19 2004-06-17 Casio Comput Co Ltd 気象予測サーバ、携帯電子機器及びプログラム
JP2007286690A (ja) * 2006-04-12 2007-11-01 Nippon Telegr & Teleph Corp <Ntt> 移動ベクトル検出装置、移動ベクトル検出方法および移動ベクトル検出プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11160454A (ja) * 1997-11-25 1999-06-18 Nippon Telegr & Teleph Corp <Ntt> 1次元量予測装置
JP2000339329A (ja) * 1999-05-27 2000-12-08 Nippon Telegr & Teleph Corp <Ntt> 画像監視警報方法及び装置及び画像監視警報プログラムを格納した記憶媒体
JP2004170202A (ja) * 2002-11-19 2004-06-17 Casio Comput Co Ltd 気象予測サーバ、携帯電子機器及びプログラム
JP2007286690A (ja) * 2006-04-12 2007-11-01 Nippon Telegr & Teleph Corp <Ntt> 移動ベクトル検出装置、移動ベクトル検出方法および移動ベクトル検出プログラム

Also Published As

Publication number Publication date
JP2010128711A (ja) 2010-06-10

Similar Documents

Publication Publication Date Title
JP4722178B2 (ja) 天候変化検出装置、天候変化検出方法及び天候変化検出プログラム
CN114365153B (zh) 预测天气雷达图像
Chen et al. Improving estimates of fractional vegetation cover based on UAV in alpine grassland on the Qinghai–Tibetan Plateau
Kopsiaftis et al. Vehicle detection and traffic density monitoring from very high resolution satellite video data
KR101879332B1 (ko) 전천사진으로부터 운량을 계산하는 방법, 그 계산한 운량을 이용하여 태양광 발전량을 예측하는 방법 및 그 방법을 이용하는 구름 관측 장치
Syariz et al. Retrieval of sea surface temperature over Poteran Island water of Indonesia with Landsat 8 TIRS image: A preliminary algorithm
CN105488101B (zh) 一种获取空间地理环境信息的系统
CN106017695B (zh) 基于运动状态估计的自适应红外非均匀性校正方法
KR20160096332A (ko) 환경 오염 예측 시스템 및 방법
CN109446978B (zh) 基于凝视卫星复杂场景的飞机动目标跟踪方法
CN111932519A (zh) 天气预测方法、装置、计算机设备和存储介质
CN109255351A (zh) 基于三维卷积神经网络的边界框回归方法、系统、设备及介质
CN104660976A (zh) 缓慢变化检测系统
CN108519631B (zh) 降水强度预测方法
CN102479330A (zh) 调整摄影机的视频对象检测的运算功能的参数方法及其装置
CN114564487B (zh) 预报预测相结合的气象栅格数据更新方法
Shakya et al. Characterising and predicting the movement of clouds using fractional‐order optical flow
CN113935956A (zh) 一种二向混合建模矿区土壤含水量数据缺失修复方法
CN105408828B (zh) 对曲线上用于检测发动机异常的相关点进行估算的方法以及用于实施该方法的数据处理系统
CN111316135B (zh) 根据正在发生大气降水的环境的数字图像实时计算大气降水速率的系统
CN114781148A (zh) 一种热红外遥感云覆盖像元的地表温度反演方法及系统
KR102580312B1 (ko) 관측자료 품질검사 장치 및 이를 이용한 관측자료 품질검사 방법
JP3953350B2 (ja) 映像シーン予測方法、装置、プログラム、および記録媒体
Chen et al. Predicting interpretability loss in thermal IR imagery due to compression
GB2506649A (en) Hyperspectral image processing using estimated global covariance and mean

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110104

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110329

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110405

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140415

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees