JP4807626B2 - 画像解析システム及びコンピュータプログラム - Google Patents

Description

本発明は、所定の撮像時間間隔で撮像された時系列の濃淡画像を比較して、測定対象内における所定の濃淡画像の挙動を解析する画像解析システム及び該画像解析システムに用いられるコンピュータプログラムに関する。

粒子画像流速測定法（以下、「ＰＩＶ」という）を用いて、発電施設などの煙突から排出される煙、水蒸気、火山灰、黄砂などを遠方から観測するシステムとして、本出願人は、特許文献１に開示された技術を提案している。これは、測定対象である流体の乱流構造を抽出することにより、長距離離れた位置からの測定を可能としたものである。乱流構造を、疑似粒子画像と見なすことにより、ＰＩＶ手法を適用して、流体の速度データを求めている。乱流構造を抽出する際には、ストローハル数と測定対象の流体の乱流構造を発生させる物体の代表長さと利用して空間周波数を求め、この空間周波数でハイパスフィルタ処理を施して抽出している。
ＷＯ２００５／０９５９９３Ａ１公報

特許文献１では、あくまで、乱流構造を疑似粒子画像と見なして捉えることにより、ＰＩＶ手法、特に、画像相関法によるＰＩＶ解析を長距離離れた測定対象に対して適用可能にしたものである。一般に、画像相関法によるＰＩＶ解析は、粒子画像（特許文献１では乱流構造）を用いて流れ場を解析するのに最適化された手法であり、測定対象の画像に粒子画像（特許文献１では乱流構造）が含まれていない場合、例えば、測定対象の濃淡画像のような場合には、相関係数のピークが不明確、あるいはピークが複数出現するといった弊害が生じ、画像相関法を用いた解析に適さない。

本発明は、上記に鑑みなされたものであり、粒子画像を用いることなく、測定対象の濃淡画像を用いて画像相関法によるＰＩＶ解析を可能とし、測定対象として、流体のみならず、非流体にも適用可能とする画像解析システム及び該画像解析システムに用いられるコンピュータプログラムを提供することを課題とする。

上記課題を解決するため、本発明の画像解析システムは、撮像手段により所定の撮像時間間隔で撮像された測定対象の時系列の濃淡画像を比較して、前記測定対象内における所定の濃淡画像の挙動を解析する画像処理手段を備えた画像解析システムであって、前記画像処理手段は、連続する二時刻の各濃淡画像の空間周波成分をフィルタリングして、少なくとも所定長以上の波長の空間周波数成分をカットするフィルタリング手段と、前記フィルタリング手段によりフィルタリングされた前記二時刻の濃淡画像間の速度データを画像相関法により求めるＰＩＶ解析手段とを備え、前記フィルタリング手段が、さらに、前記撮像手段により得られた二時刻の濃淡画像に対し、前記ＰＩＶ解析手段により得られた前記二時刻の濃淡画像間の実測最大移動距離Ｓ’よりも短い波長の空間周波数成分をカットする再フィルタリングを行う手段を備え、この再フィルタリング後、前記ＰＩＶ解析手段が、再度前記二時刻の濃淡画像間の速度データを求める構成であることを特徴とする。

前記フィルタリング手段における所定以上の波長の空間周波数成分をカットする手段が、参照領域の長さＬの２倍より長い波長の空間周波数成分をカットするハイパスフィルタであることが好ましく、さらには、参照領域の長さＬよりも長い波長の空間周波数成分をカットするハイパスフィルタであることがより好ましい。

前記フィルタリング手段は、さらに、前記二時刻の濃淡画像間の仮の最大移動距離Ｓよりも短い波長の空間周波数成分をカットするローパスフィルタを備えてなることが好ましい。

前記フィルタリング手段は、参照領域の長さＬの２倍より長い波長の空間周波数成分をカットすると共に、前記二時刻の濃淡画像間の仮の最大移動距離Ｓよりも短い波長の空間周波数成分をカットするバンドパスフィルタを備えた構成とすることもできる。また、前記フィルタリング手段は、参照領域の長さより長い波長の空間周波数成分をカットすると共に、前記二時刻の濃淡画像間の仮の最大移動距離Ｓよりも短い波長の空間周波数成分をカットするバンドパスフィルタを備えた構成とすることもできる。

前記フィルタリング手段は、前記仮の最大移動距離Ｓよりも短い波長の空間周波数成分をカットする際に、探索領域のみをフィルタリングする構成とすることが好ましい。

前記フィルタリング手段は、前記実測最大移動距離Ｓ’よりも短い波長の空間周波数成分をカットする際に、探索領域のみをフィルタリングすることがより好ましい。

前記撮像手段が長焦点光学系を備え、長距離離間した前記測定対象を撮像可能な長距離型に本発明は好適に使用できる。

また、本発明のコンピュータプログラムは、撮像手段により所定の撮像時間間隔で撮像された測定対象の時系列の濃淡画像を比較して、前記測定対象内における所定の濃淡画像の挙動の解析をコンピュータに実行させるためのコンピュータプログラムであって、前記撮像手段により撮像された、連続する二時刻の各濃淡画像の空間周波数成分をフィルタリングして、少なくとも所定長以上の波長の空間周波数成分をカットするフィルタリング工程と、前記フィルタリング工程によりフィルタリングされた前記二時刻の濃淡画像間の速度データを画像相関法により求めるＰＩＶ解析工程とをコンピュータに実行させると共に、前記フィルタリング工程において、さらに、前記撮像手段により得られた二時刻の濃淡画像に対し、前記ＰＩＶ解析工程の実行により得られた前記二時刻の濃淡画像間の実測最大移動距離Ｓ’よりも短い波長の空間周波数成分をカットする再フィルタリング工程を実行させ、再フィルタリング後、前記ＰＩＶ解析工程を再度実行させて、前記二時刻の濃淡画像間の速度データを求める工程をコンピュータに実行させることを特徴とする。

前記フィルタリング工程は、さらに、前記二時刻の濃淡画像間の仮の最大移動距離Ｓよりも短い波長の空間周波数成分をカットする工程を備えていることが好ましい。

本発明によれば、画像処理手段が、連続する二時刻の各濃淡画像の空間周波数成分をフィルタリングして、少なくとも所定長以上、好ましくは参照領域の長さＬの２倍より長い波長、より好ましくは参照領域の長さＬよりも長い波長の空間周波数成分をカットするフィルタリング手段を備えている。これにより相関係数のピークが明確になり、この相関係数のピーク位置から二時刻の濃淡画像間の最大移動距離を得ることができ、その結果、画像相関法を適用して速度データを得ることが可能になる。また、所定長以上の空間周波数成分をカットして得られた速度データから求めた最大移動距離を仮の最大移動距離Ｓとし、それよりも短い波長の空間周波数成分をカットするフィルタリング手段を追加することにより、相関係数のピークが複数出現している場合に、余分なピーク位置をカットでき、真のピーク位置を有する空間周波数成分を顕在化できる。これにより、画像相関法による解析結果の精度がより向上する。

以下、本発明の実施形態を図面に基づいて更に詳しく説明する。図１は、本発明の一の実施形態に係る画像解析システム１を示し、撮像手段としての、長焦点光学系３を備えたＣＣＤカメラ２、コンピュータ４等を備えて構成される。

ＣＣＤカメラ２に、長焦点光学系３が装着されるが、長焦点光学系３としては、単焦点系のレンズ（以下、「単レンズ」という）を用いることが好ましい。この場合、ターレットを設け、複数種類の単レンズを選択可能な構成とすることがより好ましい。ターレットを用いることにより、単レンズの自動選択も可能となる。ズーム機能を有するレンズの場合、一般に像面湾曲が大きい点が欠点であるが、高屈折率のガラスで安定した像が得られるものであれば使用できる。なお、本実施形態では、撮像手段として、ＣＣＤ撮像素子を備えたカメラ（ＣＣＤカメラ）を使用しているが、これに代え、ＣＭＯＳ撮像素子を備えたカメラを用いることもできる。

コンピュータ４は、図１及び図２に示したように、ＣＣＤカメラ２に接続され、ＣＣＤカメラ２の駆動を制御する制御手段４１と、ＣＣＤカメラ２により撮影された画像信号を受信して所定の処理を行う画像取り込み手段４２及び画像処理手段４３とを備えてなる。ＣＣＤカメラ２は、測定対象の濃淡画像を微小時間間隔で連続的に撮像する。測定対象の濃淡画像を解析するシステムであるため、測定対象は、煙、雲、火山灰、黄砂等の流体に限らず、建物、鉄塔、煙突といった構造物などの非流体も含まれ、これら流体、非流体の挙動を解析するのに用いられる。また、濃淡画像を撮像するため、流体などの測定対象中にトレーサー粒子の噴霧等を行う必要や非流体の測定対象中に特別なマーキングなどを施す必要がない。制御手段４１は、ＣＣＤカメラ２の焦点距離の調整等を行う。画像取り込み手段４２は、ＣＣＤカメラ２からの濃淡画像の信号をデジタル化するフレームグラバボードを備えてなる。画像処理手段４３は、コンピュータプログラムからなり、フレームグラバボードから出力されるデジタル画像信号を画像相関法により解析処理する。なお、画像処理手段４３の前段に、像の歪み収差などを補正する回路を設けることもできる。

画像処理手段４３では、ＣＣＤカメラ２により微小時間間隔をおいて撮像されるれた二時刻の濃淡画像を画像相関法により比較解析し、測定対象の挙動による速度データを求める。具体的には、取得した２つの連続する画像（第１時刻、第２時刻の画像）間において、第１時刻における参照領域に対し、第２時刻における探索領域を所定画素ずつシフトさせて、両者における濃淡分布情報の類似度を比較して探索領域の位置を特定する。濃淡分布情報は、空間周波数成分として表され、参照領域と探索領域における各空間周波数成分の相関係数が最大となる探索領域の位置を特定する。特定した探索領域と参照領域との位置関係から、移動ベクトルを求め、挙動を解析する。

このようにして濃淡画像の空間周波数成分から測定対象の移動量、移動方向を求めようとした場合、各空間周波数成分の全てについて解析すると、相関係数のピーク値が判然としない空間周波数成分、あるいは、ピーク値が複数ある空間周波数成分が存在し、真のピーク値を特定し難い。そこで、画像処理手段４３には、図３に示したように、ＰＩＶ解析手段４３２の前処理手段（前処理工程）として、必要な空間周波数成分のみを残すためのフィルタリング手段４３１を設定している。本実施形態のフィルタリング手段４３１は、ハイパスフィルタ４３１ａのみでなく、ローパスフィルタ４３１ｂも備えている。

ハイパスフィルタ４３１ａは、所定長以上の波長の空間周波数成分をカットする。好ましくは、参照領域の長さＬの２倍より長い波長の空間周波数成分をカットするように設定されている。図４に示したように、参照領域の長さＬ＝３２ピクセルの場合について、波長３２ピクセル、６４ピクセル、１２８ピクセル、２５６ピクセル、５１２ピクセルの単一の各空間周波数成分が２０ピクセル移動したと仮定してシミュレーションすると、波長が２Ｌよりも長い場合、すなわち、６４ピクセルよりも長い空間周波数成分は、相関係数が１近傍でなだらかになってしまい、ピーク位置を判別するのが困難である。一方、波長３２ピクセル、６４ピクセルの各空間周波数成分は、ピーク位置が顕在化されており、当該ピーク位置に対応する横軸の移動量を読むと、２０ピクセルであることが読み取れる。このことから、上記のように、参照領域の長さＬの２倍より長い波長の空間周波数成分をカットするように設定することが好ましいが、波長３２ピクセルと６４ピクセルとを比較した場合には、波長３２ピクセルの方が、より鋭敏なカーブを描くため、参照領域の長さＬよりも長い波長の空間周波数成分をカットするように設定するとより好ましい。

図５は、ハイパスフィルタ４３１ａにより、低周波成分をカットしてシミュレーションした相関係数分布である。波長２４ピクセル以下の空間周波数成分の相関係数を示しているが、この図から明からなように、相関係数１のピーク値が、２０ピクセルの位置だけに限らずに出現するものがある。例えば、波長１８ピクセルの空間周波数成分は約２ピクセルの位置にもピーク値が出現し、波長１６ピクセルの空間周波数成分は約５ピクセルの位置にもピーク値が出現している。これでは、第１時刻と第２時刻における移動量が一つに定まらない。そこで、所定長よりも短い波長の空間周波数成分をカットするローパスフィルタ４３１ｂを設けることが好ましい。

ローパスフィルタ４３１ｂによってフィルタリングする基準であるが、例えば、図４及び図５のシミュレーションでは、波長６４以下の空間周波数成分が、いずれも２０ピクセルの位置でピークが出現していることは共通する。そこで、ハイパスフィルタ４３１ａを適用して求めた相関係数分布の中で、より多くの空間周波数成分のピークが集中する２０ピクセルを、２つの画像間の真の最大移動距離とするのではなく、一旦、仮の最大移動距離Ｓとして、それよりも短い波長の空間周波数成分をカットするようにローパスフィルタ４３１ｂに設定する。この場合、仮の最大移動距離Ｓ＝２０ピクセルよりも短い波長の空間周波数成分をカットする。実際に、仮の最大移動距離Ｓを求める場合は、ハイパスフィルタ４３１ａを施したデータについて、画像相関法により相関係数を求め、その中で、より多くの空間周波数成分のピークが集中する移動量を特定して決定する。また、画像相関法では、２画像間の最大移動距離が大きくなると速度精度が低下する。このため、従来行われているＰＩＶ解析では、５ピクセル程度を最大移動距離とするのが通常であるが、本発明のように、長距離離れた測定対象の挙動解析を目的とする場合には、そこまでの精度は必要ではない。従って、通常の場合の３〜５倍程度、すなわち、１５〜２５ピクセル程度の範囲、好ましくは２０ピクセル程度を最大移動距離（ここでは、仮の最大移動距離Ｓ）として設定することが好ましい。また、測定対象の速度（煙や雲の速度）が概ね判っている場合には、その値を用いて、次式：
Ｓ＝Ｖmax × Δｔ
（但し、「Ｖmax」は測定対象の仮の最大速度，「Δｔ」は二つの時刻の撮像時間間隔である。）
により仮の最大移動距離Ｓを求めることもできる。

次に、図６に基づき、本実施形態の作用を説明する。まず、ＣＣＤカメラ２により、測定対象である流体を時間間隔Δｔで撮像し、時系列の濃淡画像をＮ枚取得する（Ｓ１０１）。取得された濃淡画像は、画像取り込み手段４２を経て画像処理手段４３にデジタル画像信号として入力される。入力されたデジタル画像信号は、フィルタリング手段４３１において、Ｎ枚の画像の全てについて、まず、ハイパスフィルタ４３１ａにより、参照領域の長さＬの２倍より長い波長、又は、参照領域の長さＬより長い波長の空間周波数成分がカットされる（Ｓ１０２）。

次に、ハイパスフィルタ４３１ａを施した画像について、画像相関法により相関係数を求め、その中で、相関係数１により多く集中する移動量、例えば２０ピクセルを仮の最大移動距離Ｓとして求める。

続いて、ローパスフィルタ４３１ｂにより、仮の最大移動距離Ｓよりも短い波長の空間周波数成分をカットする（Ｓ１０３）。なお、仮の最大移動距離Ｓが、ハイパスフィルタ４３１ａのフィルタリング基準波長である参照領域の長さＬの２倍又は１倍よりも大きい場合には、ローパスフィルタ４３１ｂはかける必要はない。

この後、ＰＩＶ解析手段４３２により、画像相関法を用いてＰＩＶ解析する（Ｓ１０４）。画像相関法には、直接相互相関法、ＦＦＴ相互相関法、自己相関法、レーザスペックル法、輝度差累積法等がある。本発明はこれらのいずれでも適用可能であるが、特に、直接相互相関法、ＦＦＴ相互相関法に適用すると効果的である。なお、ハイパスフィルタ４３１ａによる処理、及びローパスフィルタ４３１ｂによる処理は、Ｎ枚の画像を取得した後、全ての画像について行ってもよいが、比較対象となる連続する２枚の画像毎に行ってもよい。また、ハイパスフィルタ４３１ａによる処理、及びローパスフィルタ４３１ｂによる処理を、同時に行ってバンドパスフィルタとして構成することもできる。

図７は、上記実施形態の画像処理手段４３の好ましい態様を示す処理フロー図である。Ｎ枚の時系列画像を取得後（Ｓ１０１）、ハイパスフィルタ４３１ａによる処理（Ｓ１０２）、さらに、ローパスフィルタ４３１ｂによる処理（Ｓ１０３）し、あるいは、これらを同時に行うことによってバンドパスフィルタとして処理し、その後、画像相関法による第１回目のＰＩＶ解析を行い、得られた全ての（時間・空間）速度データから、時間間隔Δｔの画像間の最大移動距離（以下、「実測最大移動距離Ｓ’」）を算出する工程（Ｓ１０４）までは上記態様と同じである。本態様では、実測最大移動距離Ｓ’を算出した後、得られた実測最大移動距離Ｓ’より短い波長の空間周波数成分をカットする第２回目のローパスフィルタ処理を行うという再フィルタリング機能（工程）を備える（Ｓ１０５）。その後、第２回目のＰＩＶ解析を行う（Ｓ１０６）。これにより、分析に不要な空間周波数成分をより精度高く除去できるため、第２回目のＰＩＶ解析により得られる速度データは、より精度が高くなる。

なお、いずれの態様においても、ローパスフィルタ４３１ｂによるフィルタリング処理では、各画像の画像全体をフィルタリングするのではなく、探索領域のみをフィルタリングすることが好ましい。探索領域毎に速度が異なっており、カットすべき空間周波数が異なるため、画像全体を一度にフィルタリングしてしまうと、各探索領域でカットしたい周波数がカットできないからである。

以上のことから、本発明では、濃淡画像から、測定対象である流体又は非流体の挙動を解析することが可能となった。従って、トレーサー粒子等を噴霧する必要がないことや構造物への特別なマーキングなどが不要なため、長焦点光学系を用いて撮像することにより、接近困難な遠方の流体の流れ場や非流体の動き（建物の振動等）を解析することができる。従って、例えば、煙突の煙の流れ場を解析することによる発電所の運転管理、原子力発電所や地熱発電所のクーリングタワーからの蒸気の流れ場を解析することによる運転管理、火山灰や黄砂の流れ場を解析することによる環境への影響評価などに利用することができる。また、大規模火災現場から発生した煙の流れ場を解析して、その対策や避難誘導等に資することができる。また、雲（雲底部）の流れ場を解析することにより、地域的な天気予報に利用することもできるし、送電線や送電鉄塔周りの風の解析や花粉の流れの測定や鉄塔などの構造物の振動解析に利用することもできる。また、火山の噴火や大規模火災などにおいては、本発明の画像解析システムを車両に搭載し、移動しながら測定対象の挙動を解析していくこともでき、災害の発生状況のリアルタイムでの把握や有効な災害対策にも役立つ。なお、長焦点光学系から測定対象の流体までの距離は、長焦点光学系や使用する撮像素子の精度によっても異なり、特に限定されるものではないが、入手可能な長焦点光学系等の性能を考慮すると、１０ｍ以上２０ｋｍ以下で用いることが実用的には好ましい。

図１は、本発明の一の実施形態に係る画像解析システムの概要を示す図である。 図２は、上記実施形態に係る画像解析システムのコンピュータの概略構成を示すブロック図である。 図３は、上記実施形態にコンピュータに設定した画像処理手段の構成を示すブロック図である。 図４は、ハイパスフィルタによるフィルタリングする際の基準となる波長を決定する方法を説明するための図である。 図５は、ローパスフィルタによるフィルタリングする際の基準となる波長を決定する方法を説明するための図である。 図６は、上記実施形態に係る画像解析システムにより流体の流れ場を解析する一態様の工程を説明するための図である。 図７は、上記実施形態に係る画像解析システムにより流体の流れ場を解析する他の態様の工程を説明するための図である。

符号の説明

１ 画像解析システム
２ ＣＣＤカメラ
３ 長焦点光学系
４ コンピュータ
４１ 制御手段
４２ 画像取り込み手段
４３ 画像処理手段
４３１ フィルタリング手段
４３１ａ ハイパスフィルタ
４３１ｂ ローパスフィルタ
４３２ ＰＩＶ解析手段

Claims (11)

1. 撮像手段により所定の撮像時間間隔で撮像された測定対象の時系列の濃淡画像を比較して、前記測定対象内における所定の濃淡画像の挙動を解析する画像処理手段を備えた画像解析システムであって、
   前記画像処理手段は、連続する二時刻の各濃淡画像の空間周波成分をフィルタリングして、少なくとも所定長以上の波長の空間周波数成分をカットするフィルタリング手段と、
   前記フィルタリング手段によりフィルタリングされた前記二時刻の濃淡画像間の速度データを画像相関法により求めるＰＩＶ解析手段と
   を備え、
   前記フィルタリング手段が、さらに、前記撮像手段により得られた二時刻の濃淡画像に対し、前記ＰＩＶ解析手段により得られた前記二時刻の濃淡画像間の実測最大移動距離Ｓ’よりも短い波長の空間周波数成分をカットする再フィルタリングを行う手段を備え、この再フィルタリング後、前記ＰＩＶ解析手段が、再度前記二時刻の濃淡画像間の速度データを求める構成であることを特徴とする画像解析システム。
2. 前記フィルタリング手段における所定以上の波長の空間周波数成分をカットする手段が、参照領域の長さＬの２倍より長い波長の空間周波数成分をカットするハイパスフィルタである請求項１記載の画像解析システム。
3. 前記フィルタリング手段における所定以上の波長の空間周波数成分をカットする手段が、参照領域の長さＬよりも長い波長の空間周波数成分をカットするハイパスフィルタである請求項１記載の画像解析システム。
4. 前記フィルタリング手段は、さらに、前記二時刻の濃淡画像間の仮の最大移動距離Ｓよりも短い波長の空間周波数成分をカットするローパスフィルタを備えてなる請求項１〜３のいずれかに記載の画像解析システム。
5. 前記フィルタリング手段は、参照領域の長さＬの２倍より長い波長の空間周波数成分をカットすると共に、前記二時刻の濃淡画像間の仮の最大移動距離Ｓよりも短い波長の空間周波数成分をカットするバンドパスフィルタである請求項１記載の画像解析システム。
6. 前記フィルタリング手段は、参照領域の長さより長い波長の空間周波数成分をカットすると共に、前記二時刻の濃淡画像間の仮の最大移動距離Ｓよりも短い波長の空間周波数成分をカットするバンドパスフィルタである請求項１記載の画像解析システム。
7. 前記フィルタリング手段は、前記仮の最大移動距離Ｓよりも短い波長の空間周波数成分をカットする際に、探索領域のみをフィルタリングすることを特徴とする請求項４〜６のいずれか１に記載の画像解析システム。
8. 前記フィルタリング手段は、前記実測最大移動距離Ｓ’よりも短い波長の空間周波数成分をカットする際に、探索領域のみをフィルタリングすることを特徴とする請求項１記載の画像解析システム。
9. 前記撮像手段が長焦点光学系を備え、長距離離間した前記測定対象を撮像可能な長距離型であることを特徴とする請求項１〜８のいずれか１に記載の画像解析システム。
10. 撮像手段により所定の撮像時間間隔で撮像された測定対象の時系列の濃淡画像を比較して、前記測定対象内における所定の濃淡画像の挙動の解析をコンピュータに実行させるためのコンピュータプログラムであって、
    前記撮像手段により撮像された、連続する二時刻の各濃淡画像の空間周波数成分をフィルタリングして、少なくとも所定長以上の波長の空間周波数成分をカットするフィルタリング工程と、
    前記フィルタリング工程によりフィルタリングされた前記二時刻の濃淡画像間の速度データを画像相関法により求めるＰＩＶ解析工程と
    をコンピュータに実行させると共に、
    前記フィルタリング工程において、さらに、前記撮像手段により得られた二時刻の濃淡画像に対し、前記ＰＩＶ解析工程の実行により得られた前記二時刻の濃淡画像間の実測最大移動距離Ｓ’よりも短い波長の空間周波数成分をカットする再フィルタリング工程を実行させ、再フィルタリング後、前記ＰＩＶ解析工程を再度実行させて、前記二時刻の濃淡画像間の速度データを求める工程をコンピュータに実行させるコンピュータプログラム。
11. 前記フィルタリング工程は、さらに、前記二時刻の濃淡画像間の仮の最大移動距離Ｓよりも短い波長の空間周波数成分をカットする工程を実行させる請求項１０記載のコンピュータプログラム。

Images