JP7205005B1 - 画像処理装置 - Google Patents

Abstract

本開示技術に係る画像処理装置は、コヒーレンスマップを算出するコヒーレンス算出処理部（２）と、変化領域の抽出に用いられる閾値を設定する閾値算出処理部（１１０）と、閾値を用いて閾値処理をする閾値処理部（２００）と、少なくとも３枚の画像についてのコヒーレンスマップに基づいて、閾値処理により注目画素に変化が生じたと判断された場合に、その変化の種類を識別する変化識別処理部（３）と、を備える。

Description

本開示技術は画像処理装置に関する。

一般に、レーダ画像に関する画像処理技術が知られている。より詳細には、定期観測を行う合成開口レーダの観測により得られる地表面のレーダ画像を処理する画像処理装置が知られている。

例えば、特許文献１には、複数枚のレーダ画像から複数枚の複素相関分布（コヒーレンスマップ）を計算し、地表の物理的な変化を抽出する画像処理装置が開示されている。

特開２００９－２８９１１１号公報

特許文献１に例示される従来の画像処理装置は、レーダ画像を時系列にならべたとき、隣接する２枚のレーダ画像のコヒーレンスしか見ていなかったため、得られる情報にかぎりがあった。そこで、本開示技術は、より多くの情報を得ることを目的として、３枚のレーダ画像のコヒーレンスから得られる情報を活用する。本開示技術は、特許文献１に例示される従来の画像処理装置を改良し、レーダ画像に写っている地表面に生じた物理的な変化を従来よりも高い精度で抽出することを実現することを目的とする。

本開示技術に係る画像処理装置は、全数から２枚を抽出するすべての組合せの画像同士についてのコヒーレンスマップを算出するコヒーレンス算出処理部と、変化領域の抽出に用いられる閾値を設定する閾値算出処理部と、閾値を用いてコヒーレンスマップに閾値処理をする閾値処理部と、コヒーレンス算出処理部が算出したコヒーレンスマップのうち、少なくとも３枚の画像から２枚を抽出した２つの組合せの画像同士についてのコヒーレンスマップに基づいて、コヒーレンスが変化する少なくとも９通りの態様のいずれに当てはまるかを判断し、閾値処理により注目画素に変化が生じたと判断された場合に、その変化の種類を識別する変化識別処理部と、を備え、コヒーレンス算出処理部は、コヒーレンスの算出に際し、レーダ画像における位置（ｙ，ｘ）におけるデータ値（Ｚ _ｎ （ｙ，ｘ））に代えて、位置（ｙ，ｘ）を中心としたＬ個の画素を空間的にフーリエ変換して得られる値を用いる、というものである。

本開示技術に係る画像処理装置は上記構成を備えるため、３枚のレーダ画像のコヒーレンスから得られる情報を活用し、レーダ画像に写っている地表面に生じた物理的な変化を従来よりも高い精度で抽出することができる。

図１は、実施の形態１に係る画像処理装置の機能構成を示すブロック図である。 図２は、実施の形態１に係る画像処理装置を構成する閾値算出処理部１１０ａの機能構成を示すブロック図である。 図３は、実施の形態２に係る画像処理装置の機能構成を示すブロック図である。 図４は、実施の形態２に係る画像処理装置を構成する閾値算出処理部１１０ｂの機能構成を示すブロック図である。 図５は、実施の形態３に係る画像処理装置の機能構成を示すブロック図である。 図６は、実施の形態４に係る画像処理装置の機能構成を示すブロック図である。 図７は、実施の形態４に係る画像処理装置を構成する閾値算出処理部１１０ｄの機能構成を示すブロック図である。

実施の形態１．
図１は、実施の形態１に係る画像処理装置の機能構成を示すブロック図である。図１に示されるとおり実施の形態１に係る画像処理装置は、データ格納部１と、コヒーレンス算出処理部２と、閾値算出処理部１１０ａと、閾値処理部２００ａと、変化識別処理部３ａと、出力データ格納部４と、を含む。
閾値算出処理部１１０ａ、閾値処理部２００ａ、及び変化識別処理部３ａ、のように符号の後ろに「ａ」が付された構成要素は、実施の形態１における態様を示したものであり、後述の実施の形態において変形例が示される。符号の後ろにアルファベットが付かない構成要素は、どの実施の形態のものかを問わず、本開示技術において共通に使われるものである。

《データ格納部１》
データ格納部１は、画像処理装置が扱う画像を格納する構成要素である。データ格納部１は、具体的には、Ｎ回の観測により得られた、異なる時刻に雑像された、Ｎ枚の画像に係るデータ（以降、「画像データ」と称する）を格納する。本開示技術に係る画像処理装置が扱う画像は、例えば、レーダ画像が想定される。
データ格納部１に格納された画像データは、画像処理装置の他の機能ブロック、例えばコヒーレンス算出処理部２から、読み込むことができる。

《コヒーレンス算出処理部２》
コヒーレンス算出処理部２は、画像間のコヒーレンス分布を算出する構成要素である。
コヒーレンス算出処理部２は、第１ステップとして、読み込んだＮ枚のレーダ画像に対し、それぞれの複素レーダ画像を算出する。コヒーレンス算出処理部２は、第２ステップとして、算出したＮ枚の複素レーダ画像から２枚を抽出する全ての組合せ（_NＣ_２通り）について、複素レーダ画像間のコヒーレンス分布（以降、「コヒーレンスマップ」と称する）を生成する。コヒーレンスマップは、複素相関分布と称されることもある。コヒーレンス算出処理部２が行うコヒーレンスマップの生成は、複素レーダ画像の各画素情報に基づいて、実施される。

《閾値算出処理部１１０》
閾値算出処理部１１０は、後述の「変化領域」の抽出に用いられる閾値を設定する構成要素である。閾値算出処理部１１０の詳細は、後述の図２についての説明により明らかとなる。

《閾値処理部２００》
閾値処理部２００は、閾値算出処理部１１０が設定する閾値を用いて、閾値処理をする構成要素である。閾値処理部２００が行う閾値処理の目的は、注目画素に変化が生じたか否かを判断することにある。

《変化識別処理部３》
変化識別処理部３は、注目画素に変化が生じたと判断された場合に、その変化の種類を識別する構成要素である。変化識別処理部３において識別された変化の種類は、出力データ格納部４へと送られる。変化識別処理部３において識別された変化の種類は、図示しない画像処理装置の表示部に表示されるようプログラムされてもよい。

《出力データ格納部４》
出力データ格納部４は、変化識別処理部３において識別された変化の種類を格納する構成要素である。

《画像処理装置の処理内容について》
画像処理装置を構成するコヒーレンス算出処理部２は、前述のとおり、読み込んだＮ枚のレーダ画像に対し、それぞれの複素レーダ画像を算出する。コヒーレンス算出処理部２は、その後、算出したＮ枚の複素レーダ画像から２枚を抽出する全ての組合せ（_NＣ_２通り）について、複素レーダ画像間のコヒーレンスマップを生成する。
本明細書において、ｎ及びｍは、画像に関するサンプリング番号を表すものとする。すなわちｎもｍも、１からＮまでの自然数をとるものである。画像に関するサンプリング番号（ｎ、及びｍ）は、画像に関するフレーム番号と言い換えてもよい。ただし、本開示技術が想定するレーダ画像は、取得時期の異なる同一領域を観測した複数枚のレーダ画像である。すなわち、本開示技術は、複数回の定期観測を行う飛翔体（人工衛星、又は航空機）に搭載された合成開口レーダに係るレーダ画像を想定している。このように考えると、サンプリング周期は、１週間単位、又は月単位、といったオーダのものである。したがって、画像に関するサンプリング番号（ｎ、及びｍ）を画像に関するフレーム番号と考えることもできるが、当該画像を連ねて作られた動画は、実時間よりもかなり早回しで再生されることになる。

画像処理装置が扱うレーダ画像のサンプリング周期は、例えば、日単位、又は時間単位、といったように短い場合もある。このような場合に、サンプリング番号が隣接する２つの画像、例えば、ｎ番目のレーダ画像とｎ＋１番目のレーダ画像とを見比べても、変化はあまりない。この場合、従来の画像処理を施し、ｎ番目のレーダ画像から見たｎ＋１番目のレーダ画像のコヒーレンスを計算したところで、どの画素についても一様に１に近いコヒーレンスが算出されるのみである。
本開示技術は、このようにサンプリング周期が短い場合に対して、有効である。本開示技術に係る画像処理装置は、サンプリング番号が隣接する２枚の画像のみならず、サンプリング番号が離れた２枚の画像に対しても、コヒーレンス（Ｃ_ｎ）を算出する。

ｎ番目のサンプリングにおけるレーダ画像（以降、単に「ｎ番目レーダ画像」と称する）からみて、ｍ番目のサンプリングにおけるレーダ画像（以降、単に、「ｍ番目レーダ画像」と称する）との間のコヒーレンス（Ｃ_ｎ）は、以下の式で与えられる。

ここで、式（１）におけるＺ_ｎ（ｙ，ｘ）は、ｎ番目レーダ画像における位置（ｙ，ｘ）におけるデータの値（「データ値」と称する）を示す。同様に、式（１）におけるＺ_ｍ（ｙ，ｘ）は、ｍ番目レーダ画像における位置（ｙ，ｘ）におけるデータ値である。式（１）に登場するＬは、（ｙ、ｘ）に位置する注目画素のコヒーレンスを算出するために用いられる画素の個数を表す。また、式（１）に登場する上付添え字のアスタリスク（＊）は、複素共役を示す。式（１）においてｍは、ｎよりも大きい自然数である。なお、ｍ＝ｎ＋１とおけば、式（１）は、特許文献１に例示される従来技術に係るコヒーレンスの式と同じものになる。
式（１）により与えられるコヒーレンス（Ｃ_ｎ）は、ｎ番目レーダ画像とｍ番目レーダ画像とが同一の衛星軌道において取得されたものである、という前提に基づく。コヒーレンス（Ｃ_ｎ）は、地表面における変化が少ないほど「１」に近い値をとり、逆に、地表面における変化が多いほど小さな値をとる、という性質を有する。

式（１）で与えられるコヒーレンス（Ｃ_ｎ）の式には、分母分子に、Ｌ個の画素について総和を求める演算が使用されている。本開示技術は、このＬ個の画素の総和に代えて、Ｌ個の画素に対して空間フィルタリング（Ｓｐａｔｉａｌ Ｆｉｌｔｅｒｉｎｇ）を施した結果を用いてもよい。
また、本開示技術は、コヒーレンス（Ｃ_ｎ）の算出に際し、ｎ番目レーダ画像における位置（ｙ，ｘ）におけるデータ値（Ｚ_ｎ（ｙ，ｘ））を、『位置（ｙ，ｘ）を中心としたＬ個の画素を、空間的に（例えばｙ方向又はｘ方向に）フーリエ変換した結果』と定義してもよい。この場合、式（１）における総和の演算は行わない。このように考えれば、Ｚ_ｎ（ｙ，ｘ）が複素数であることをより理解できる。また、コヒーレンス（Ｃ_ｎ）が、複素平面上における単位円周上の複素数であることを理解できる。コヒーレンス（Ｃ_ｎ）の算出方法の詳細は、実施の形態６の説明により明らかとなる。

前述のとおり、画像処理装置が扱うレーダ画像のサンプリング周期が短い場合に、サンプリング番号が隣接する２つの画像、例えば、ｎ番目のレーダ画像とｎ＋１番目のレーダ画像とを見比べても、変化はあまりない。変化を抽出するのに効果的な方法は、時系列にならべた画像において、最初と最後とを比較することである。したがって、式（１）に基づいて算出されるコヒーレンス（Ｃ_ｎ）において重要なのは、最初のフレームから見た最後のフレームについてのコヒーレンス（Ｃ_１（Ｎ，ｙ，ｘ））である。また、最初のフレームに係る画像を基準画像として、残りのＮ－１枚の画像についてのコヒーレンス（Ｃ_１）を追っていく、という手法も効果的である。この方法は、変化が生じたフレームを、すなわち変化が生じた時期を、特定する上で効果的である。

画像処理装置を構成する閾値算出処理部１１０は、前述のとおり、「変化領域」の抽出に用いられる閾値を設定する。閾値算出処理部１１０が設定する閾値は、本明細書では、Ｐ_ｔｈｄ及びＰ_ｔｈｕと表すものとする。Ｐ_ｔｈｄ及びＰ_ｔｈｕに用いられる下付き添え字は、閾値を意味するＴｈｒｅｓｈｏｌｄのｔｈ、下を意味するｄｏｗｎのｄ、上を意味するｕｐのｕ、を由来とする。
閾値算出処理部１１０は、コヒーレンス算出処理部２により算出された注目画素（位置（ｙ，ｘ））に関するコヒーレンスのうち、隣接するＮ－１個のコヒーレンス、すなわちｍ＝ｎ＋１としたときのコヒーレンスに基づいて、Ｐ_ｔｈｄ及びＰ_ｔｈｕを設定してよい。

画像処理装置を構成する閾値処理部２００は、前述のとおり、閾値（Ｐ_ｔｈｄ、及びＰ_ｔｈｕ）を用いて、閾値処理をする。閾値処理部２００が実施する閾値処理は、具体的には、以下に示される条件式に基づく。

ここで、表１に記載されている「注目画素」の用語は、ｎ番目レーダ画像とｍ番目レーダ画像との組によるコヒーレンスマップの（ｙ，ｘ）に位置する注目画素を意味するものである。
前述のとおり、本来、コヒーレンス（Ｃ_ｎ）は複素数であるが、特許文献１に例示される従来技術に見られるよう、複素数の実部のみに着目して議論されることがある。本開示技術においても、表１に示した条件式は、コヒーレンスについて複素数の実部に着目し、実数である閾値と比較することを意味する。
閾値処理部２００は、表１に示した閾値処理を、全ての組合せ（_NＣ_２通り）のコヒーレンスマップについて実施する。

前述のとおり、コヒーレンス（Ｃ_ｎ）は、複素平面上における単位円周上の複素数である。またコヒーレンス（Ｃ_ｎ）は、地表面における変化が少ないほど「１」に近い値となる。別の言い方をすれば、コヒーレンス（Ｃ_ｎ）は、地表面における変化が少ないほど、実部が１に近づく。
表１上段に示される条件式において、コヒーレンス（Ｃ_ｎ）の実部が下側閾値（Ｐ_ｔｈｄ）以下であるときに、「注目画素が、変化領域である」と判断されることに、違和感はない。
表１下段に示される条件式は、森林、及び水域といった領域を考慮したものである。森林、及び水域といった領域は、風により枝葉が揺れる、風により波が生じる、といった理由より、通常からコヒーレンス（Ｃ_ｎ）が低い。森林については、伐採などにより消失した場合、コヒーレンスが低い状態から高い状態へと遷移する。水域については、温暖化などにより陸化した場合、コヒーレンスが低い状態から高い状態へと遷移する。森林、及び水域といった低コヒーレンス領域に関しては、コヒーレンス（Ｃ_ｎ）が低い状態から高い状態に遷移したときに、すなわち消失があったときに、「変化領域である」と結論づける。表１下段に示される条件式は、一見すると違和感があるが、森林、及び水域といった低コヒーレンス領域を考慮すれば、違和感はない。表１下段に示される条件式に登場する上側閾値（Ｐ_ｔｈｕ）も、森林、及び水域といった低コヒーレンス領域を考慮して設定されるものである。

図２は、実施の形態１に係る画像処理装置を構成する閾値算出処理部１１０ａの機能構成を示すブロック図である。図２に示されるとおり閾値算出処理部１１０ａは、注目画素設定部１２０ａと、平均算出処理部１３０ａと、閾値格納部１４０ａと、閾値設定部１５０ａと、を含む。

閾値算出処理部１１０ａにおける注目画素設定部１２０ａは、閾値の設定に用いる画素を選択する処理を実施する。注目画素設定部１２０ａは、式（１）で与えられるコヒーレンス（Ｃ_ｎ）を、時系列順に取得する。
閾値算出処理部１１０ａにおける平均算出処理部１３０ａは、注目画素設定部１２０ａで設定される画素について、それぞれのコヒーレンスを算出し、さらに平均値を算出する処理を実施する。
閾値算出処理部１１０ａにおける閾値格納部１４０ａには、あらかじめ、閾値の算出に用いられるパラメータが保存されている。閾値の算出に用いられるパラメータは、例えば、オフセット値（β_ｄ及びβ_ｕ）である。
閾値算出処理部１１０ａにおける閾値設定部１５０ａは、平均算出処理部１３０ａにおいて計算された平均値と、閾値格納部１４０ａに格納されたパラメータと、に基づいて、検出に用いる閾値（Ｐ_ｔｈｄ、Ｐ_ｔｈｕ）を決定する。

平均算出処理部１３０ａが算出する平均値（Ｍ_ｃ）は、以下の式で与えられる。

式（２）は、具体的には、注目画素（位置（ｙ，ｘ））に関するコヒーレンスのうち、隣接するＮ－１個のコヒーレンスの平均値、すなわちｍ＝ｎ＋１としたときのコヒーレンスの平均値、を与えるものである。

閾値設定部１５０ａが決定する閾値（Ｐ_ｔｈｄ、Ｐ_ｔｈｕ）は、例えば、以下の式で与えられるものである。

式（２）及び式（３）に示されるとおり、実施の形態１に係る画像処理装置は、実測した隣接するＮ－１個のコヒーレンスの平均値を中心として、あらかじめ設定されるオフセット値（β_ｄ及びβ_ｕ）の幅を有する領域を、「変化領域ではない領域」として設定する。
閾値の設定に際し、平均値が用いられる趣旨は、例えば、特許文献１に示されている。特許文献１に開示されているように、森林、及び水域といった領域は、コヒーレンスがそもそも低い。コヒーレンスがそもそも低い領域について、変化を抽出するために、画像処理装置は、コヒーレンスの平均値に基づいて閾値を設定している。
さらに、森林については、伐採などにより消失した場合、コヒーレンスが低い領域から高い領域へと変化すると考えられる。このため、低い側の閾値（Ｐ_ｔｈｄ）のみならず、高い側の閾値（Ｐ_ｔｈｕ）が設定される。

前述のとおり、変化識別処理部３は、注目画素に変化が生じたと判断された場合に、その変化の種類を識別する。変化識別処理部３が実施するこの処理は、本明細書では、「変化の識別」と呼ぶものとする。変化識別処理部３が実施する変化の識別は、任意の３枚の画像によって算出されるコヒーレンス、すなわちコヒーレンスの変化率に基づいて、実施されてもよい。

サンプリング時刻をｎ、ｍ_１、ｍ_２、としたときに、ｎ番目画像からみたｍ_１番目画像のコヒーレンス（Ｃ_ｎ（ｍ_１））、及びｍ_１番目画像からみたｍ_２番目画像のコヒーレンス（Ｃ_ｍ１（ｍ_２））から、コヒーレンスが変化する態様は、以下の表による９通りのケースが考えられる。

ただし、表２において、コヒーレンスを表す関数（Ｃ_ｎ、Ｃ_ｍ１）の引数において、ｙ及びｘは省略されている。表２に登場するｍ_１及びｍ_２は、式（１）に登場するｍと同様、画像に関するサンプリング番号を表すものとする。ｎ、ｍ_１及びｍ_２の大小関係は、１≦ｎ＜ｍ_１＜ｍ_２≦Ｎとする。

表２に示されるケース１の場合、実施の形態１に係る変化識別処理部３ａは、ｎ番目画像からみたｍ_２番目画像のコヒーレンス（Ｃ_ｎ（ｍ_２））を、閾値と比較する。

表２に示されるケース１は、ｎ番目からｍ_１番目も、ｍ_１番目からｍ_２番目も、変化がない、という状況である。このときにｎ番目からいっきにｍ_２番目までの変化を見たものが、表３である。
表３の最上行は、ｎ番目からいっきにｍ_２番目までの変化を見ると、変化があったことを示している。したがってこの場合の判断結果は、「期間を通して徐々に変化」である。
表３の真ん中行は、ｎ番目からいっきにｍ_２番目までの変化を見ても、変化がなかったことを示している。したがってこの場合の判断結果は、「変化なし」である。
表３の最下行は、ｎ番目からいっきにｍ_２番目までをみたときのコヒーレンスが、他の組合せよりも高いことを示している。すなわち、このケースは、ｎ番目の画像とｍ_２番目の画像との間に、変化がほとんどないというケースである。この現象は、ｍ_１番目で若干の変化が発生したときに生じ得るものである。さらに言えば、この現象は、ｍ_１番目で生じた若干の変化が、ｍ_２番目までには復元した、という状況である。したがってこの場合の判断結果は、「ｍ_１番目に若干の変化」である。

変化識別処理部３ａは、表２及び表３に示された、合計１１種類の状況（ケース１Ａ、ケース１Ｂ、ケース１Ｃ、ケース２、ケース３、ケース４、ケース５、ケース６、ケース７、ケース８、及びケース９）に、注目画素について、変化の識別を実施する。

以上のように、本開示技術に係る画像処理装置は、Ｃ_ｎ（ｍ_１）及びＣ_ｍ１（ｍ_２）が共に変化領域である場合においても、変化を抽出できる。

変化識別処理部３は、注目画素のそれぞれに対し変化の識別を実施する。変化識別処理部３が実施した処理の結果は、出力データ格納部４に格納される。出力データ格納部４に格納されるデータは、構造体であってよい。出力データ格納部４に格納される構造体は、注目画素を特定できるためのフィールドと、変化識別処理部３の処理により得られた変化の識別を示すフィールドと、を含むようにしてよい。注目画素を特定できるためのフィールドは、具体的には、注目画素の位置（ｙ，ｘ）であってよい。変化識別処理部３ａの処理により得られた変化の識別を示すフィールドは、１１種類の状況（ケース１Ａ、ケース１Ｂ、ケース１Ｃ、ケース２、ケース３、ケース４、ケース５、ケース６、ケース７、ケース８、及びケース９）のどれかを識別できるものであればよい。

以上のとおり実施の形態１に係る画像処理装置は上記構成を備えるため、３枚から１０数枚程度のレーダ画像しか入手できない場合であっても、レーダ画像に写っている地表面に生じた物理的な変化を従来よりも高い精度で抽出することができる。

実施の形態２．
実施の形態２に係る画像処理装置は、本開示技術に係る画像処理装置の変形例である。特に明記する場合を除き、実施の形態２では、実施の形態１で用いられた符号と同じものが用いられる。実施の形態２では、実施の形態１と重複する説明が、適宜、省略される。

図３は、実施の形態２に係る画像処理装置の機能構成を示すブロック図である。図３に示されるとおり、実施の形態２に係る画像処理装置は、データ格納部１と、コヒーレンス算出処理部２と、閾値算出処理部１１０ｂと、閾値処理部２００ａと、変化識別処理部３ａと、出力データ格納部４と、を含む。このように、実施の形態２に係る画像処理装置の構成は、実施の形態１で示したものと基本的に同じである。閾値算出処理部１１０ｂのように符号の後ろに「ｂ」が付された構成要素は、実施の形態２における態様を示したものである。

図４は、実施の形態２に係る画像処理装置を構成する閾値算出処理部１１０ｂの機能構成を示すブロック図である。図４に示されるとおり閾値算出処理部１１０ｂは、注目画素設定部１２０ｂと、平均算出処理部１３０ｂと、閾値格納部１４０ｂと、閾値設定部１５０ｂと、を含む。

《実施の形態２に係る平均算出処理部１３０ｂ》
実施の形態１に係る平均算出処理部１３０ａは、式（２）で与えられる値を、すなわち、隣接する画像のみを使用した平均値を求めるものであったが、本開示技術はこれに限定されない。
本開示技術に係る画像処理装置は、平均算出処理部１３０ｂにおいて、以下の式で与えられる値を用いてもよい。

ここで、式（４）右辺の分母の_ＮＣ_２は、Ｎ枚から２枚を抽出する組合せ（Ｃｏｍｂｉｎａｔｉｏｎ）の数である。すなわち、実施の形態２に係る平均算出処理部１３０ｂは、コヒーレンスの平均値を、すべての組合せについて算出する。

《実施の形態２に係る閾値設定部１５０ｂ》
閾値設定部１５０ｂが決定する閾値（Ｐ_{ｔｈｄ＿２}、Ｐ_{ｔｈｕ＿２}）は、例えば、以下の式で与えられるものである。

式（４）及び式（５）に示されるとおり、実施の形態２に係る画像処理装置は、すべての組合せで計算したコヒーレンスの平均値を中心として、あらかじめ設定されるオフセット値（β_ｄ及びβ_ｕ）の幅を有する領域を、「変化領域ではない領域」として設定する。

以上のとおり実施の形態２に係る画像処理装置は上記構成を備えるため、実施の形態１に係る画像処理装置と同様の効果を奏する。

実施の形態３．
実施の形態３に係る画像処理装置は、本開示技術に係る画像処理装置の変形例である。特に明記する場合を除き、実施の形態３では、既出の実施の形態で用いられた符号と同じものが用いられる。実施の形態３では、既出の実施の形態と重複する説明が、適宜、省略される。

図５は、実施の形態３に係る画像処理装置の機能構成を示すブロック図である。図５に示されるとおり、実施の形態３に係る画像処理装置は、データ格納部１と、コヒーレンス算出処理部２と、閾値算出処理部１１０ａと、閾値処理部２００ａと、変化識別処理部３ｃと、出力データ格納部４と、を含む。このように、実施の形態３に係る画像処理装置の構成は、実施の形態１で示したものと基本的に同じである。変化識別処理部３ｃのように符号の後ろに「ｃ」が付された構成要素は、実施の形態３における態様を示したものである。

《実施の形態３に係る変化識別処理部３ｃ》
実施の形態１に係る変化識別処理部３ａは、まず、ｎ番目画像からみたｍ_１番目画像のコヒーレンス（Ｃ_ｎ（ｍ_１））、及びｍ_１番目画像からみたｍ_２番目画像のコヒーレンス（Ｃ_ｍ１（ｍ_２））から、表２に示す９通りのケース（ケース１、ケース２、ケース３、ケース４、ケース５、ケース６、ケース７、ケース８、及びケース９）を定義した。そして、実施の形態１に係る変化識別処理部３ａは、ｎ番目画像からみたｍ_２番目画像のコヒーレンス（Ｃ_ｎ（ｍ_２））から、ケース１をさらに３通り（ケース１Ａ、ケース１Ｂ、及びケース１Ｃ）に定義した。
実施の形態３に係る変化識別処理部３ｃは、表２に示す９通りのケース（ケース１、ケース２、ケース３、ケース４、ケース５、ケース６、ケース７、ケース８、及びケース９）のすべてに対し、ｎ番目画像からみたｍ_２番目画像のコヒーレンス（Ｃ_ｎ（ｍ_２））を閾値と比較し、それぞれをさらに３通り、すなわち合計で９×３＝２７通りに定義する。

前述のとおり、変化識別処理部３は、注目画素のそれぞれに対し変化の識別を実施する。変化識別処理部３が実施した処理の結果は、出力データ格納部４に格納される。出力データ格納部４に格納されるデータは、構造体であってよい。出力データ格納部４に格納される構造体は、注目画素を特定できるためのフィールドと、変化識別処理部３の処理により得られた変化の識別を示すフィールドと、を含むようにしてよい。注目画素を特定できるためのフィールドは、具体的には、注目画素の位置（ｙ，ｘ）であってよい。
変化識別処理部３ｃの処理により得られた変化の識別を示すフィールドは、２７種類の状況のどれかを識別できるものであればよい。

以上のとおり実施の形態３に係る画像処理装置は上記構成を備えるため、既出の実施の形態に係る画像処理装置と同様の効果を奏する。

実施の形態４．
実施の形態４に係る画像処理装置は、本開示技術に係る画像処理装置の変形例である。特に明記する場合を除き、実施の形態４では、既出の実施の形態で用いられた符号と同じものが用いられる。実施の形態４では、既出の実施の形態と重複する説明が、適宜、省略される。

図６は、実施の形態４に係る画像処理装置の機能構成を示すブロック図である。図６に示されるとおり、実施の形態４に係る画像処理装置は、データ格納部１と、コヒーレンス算出処理部２と、閾値算出処理部１１０ｄと、閾値処理部２００ｄと、変化識別処理部３ｄと、出力データ格納部４と、を含む。このように、実施の形態３に係る画像処理装置の構成は、実施の形態１で示したものと基本的に同じである。変化識別処理部３ｄのように符号の後ろに「ｄ」が付された構成要素は、実施の形態４における態様を示したものである。

図７は、実施の形態４に係る画像処理装置を構成する閾値算出処理部１１０ｄの機能構成を示すブロック図である。図７に示されるとおり閾値算出処理部１１０ｄは、注目画素設定部１２０ｄと、平均算出処理部１３０ｄと、閾値格納部１４０ｄと、閾値設定部１５０ｄと、を含む。

本開示技術に係る画像処理装置は、実施の形態２で示した態様と、実施の形態３で示した態様とを、同時に備えてもよい。実施の形態４に係る画像処理装置は、平均算出処理部１３０ｄが、式（４）により与えられた処理を実施し、コヒーレンスの平均値をすべての組合せについて算出する。また実施の形態４に係る画像処理装置は、変化識別処理部３ｄが、表２に示す９通りのケース（ケース１、ケース２、ケース３、ケース４、ケース５、ケース６、ケース７、ケース８、及びケース９）のすべてに対し、ｎ番目画像からみたｍ_２番目画像のコヒーレンス（Ｃ_ｎ（ｍ_２））を閾値と比較し、それぞれをさらに３通り、すなわち合計で９×３＝２７通りに定義する。

このように本開示技術に係る画像処理装置は、各実施の形態に例示した態様に限定されず、各実施の形態を組み合わせし、実施の形態のそれぞれの任意の構成要素を変形し、又は実施の形態のそれぞれにおいて任意の構成要素を省略することができる。

以上のとおり実施の形態４に係る画像処理装置は上記構成を備えるため、既出の実施の形態に係る画像処理装置と同様の効果を奏する。

実施の形態５．
実施の形態５に係る画像処理装置は、本開示技術に係る画像処理装置の変形例である。特に明記する場合を除き、実施の形態５では、既出の実施の形態で用いられた符号と同じものが用いられる。実施の形態５では、既出の実施の形態と重複する説明が、適宜、省略される。

実施の形態１から実施の形態４までに示された画像処理装置は、いずれも、平均算出処理部１３０においてコヒーレンスの平均値を算出し、閾値設定部１５０において算出した平均値を中心として、あらかじめ設定されるオフセット値（β_ｄ及びβ_ｕ）の幅を有する領域を「変化領域ではない領域」として設定するものであった。
本開示技術に係る画像処理装置は、あらかじめ設定されるオフセット値（β_ｄ及びβ_ｕ）を利用するものに限定されない。
実施の形態５に係る画像処理装置は、「変化領域ではない領域」の設定に際し、あらかじめ設定されるオフセット値（β_ｄ及びβ_ｕ）に代えて、理論分散値、又は誤警報確率を参照してもよい。

以上のとおり実施の形態５に係る画像処理装置は上記構成を備えるため、既出の実施の形態に係る画像処理装置と同様の効果に加え、「変化領域ではない領域」の設定に関する自由度を上げることができる、という効果を奏する。

実施の形態６．
実施の形態６に係る画像処理装置は、本開示技術に係る画像処理装置の変形例である。特に明記する場合を除き、実施の形態６では、既出の実施の形態で用いられた符号と同じものが用いられる。実施の形態６では、既出の実施の形態と重複する説明が、適宜、省略される。

本開示技術に係る画像処理装置は、処理対象のレーダ画像が、あらかじめ加工されていても未加工であってもよい。実施の形態６に係る画像処理装置は、レーダ画像に対し処理前加工を行う態様のものである。

前述のとおり、本開示技術は、コヒーレンス（Ｃ_ｎ）の算出に際し、ｎ番目レーダ画像における位置（ｙ，ｘ）におけるデータ値（Ｚ_ｎ（ｙ，ｘ））を、『位置（ｙ，ｘ）を中心としたＬ個の画素を、空間的に（例えばｙ方向又はｘ方向に）フーリエ変換した結果』と定義してもよい。Ｚ_ｎ（ｙ，ｘ）は、例えば、以下の式で与えられる値であってもよい。

ここで、式（６）に登場するＬ_２は、式（１）に登場するＬに対応したものである。式（６）は、位置（ｙ，ｘ）を中心としたＬ_２＋１個の画素を、ｙ方向に、フーリエ変換した結果、正確には記述関数による変換をした結果、である。式（６）におけるｂ（ｙ、ｘ）は、位置（ｙ、ｘ）の画素の輝度を表したものである。式（６）におけるｊは、虚数を表す。なお、式（６）にはｙ方向へのフーリエ変換が示されているが、ｘ方向へのフーリエ変換であってもよい。
或る１枚のレーダ画像を見ると、森林等の特定の領域は、空間的に見て、画素の濃淡が周期的に現れることがある。例えば、レーダ画像における森林の領域は、画素の輝度が５個の画素の間隔で明るいとする。このような場合、レーダ画像に対して式（６）の変換を、Ｌ＝４で行えば、輝度が５個の画素の間隔で明るくなっている領域は、Ｚ_ｎ（ｙ，ｘ）の絶対値（複素平面における原点からの距離）が大きい。このようにして、本開示技術は、関心のある領域（以降、「関心領域」と称する）を抽出してもよい。
式（６）は、レーダ画像についての処理前加工の一例である。式（６）においてＬ_２＝０とおけば、Ｚ_ｎ（ｙ，ｘ）はｂ（ｙ、ｘ）にπ／２をかけたものと等しくなり、処理前加工をしていないことと同じ意味になる。

Ｚ_ｎ（ｙ，ｘ）が式（６）で与えられる場合、コヒーレンス（Ｃ_ｎ）は、以下のように与えられる。

式（６）及び式（７）から、全く変化がない画像同士のコヒーレンス（Ｃ_ｎ）を導くことができる。全く変化がない画像同士のコヒーレンス（Ｃ_ｎ）は、ｎ番目レーダ画像からみたｎ番目レーダ画像のコヒーレンス（Ｃ_ｎ）として、以下のように算出できる。

ｎ番目レーダ画像からみたｍ_１番目レーダ画像のコヒーレンス（Ｃ_ｎ）と、ｍ_１番目レーダ画像からみたｍ_２番目レーダ画像のコヒーレンス（Ｃ_ｎ）と、が与えられている場合、ｎ番目レーダ画像からみたｍ_２番目レーダ画像のコヒーレンス（Ｃ_ｎ）は、以下のように与えられる。

処理前加工の一例として、空間的なフーリエ変換に係る式（６）が示されたが、本開示技術はこれに限定されない。本開示技術に係る画像処理装置は、式（６）にかえて、時間的なフーリエ変換を実施してもよい。より具体的に言えば、本開示技術に係る画像処理装置は、例えば、観測する季節ごとにレーダ画像を分け、季節ごとのレーダ画像について時間的なフーリエ変換を実施し、季節間での比較を行ってもよい。

本開示技術に係る画像処理装置は、ディープラーニングのアルゴリズムであるセマンティックセグメンテーションを施した加工画像に適用してもよい。本開示技術に係る画像処理は、セマンティックセグメンテーションと併せて利用することもできる。
セマンティックセグメンテーションに限らず、本開示技術に係る画像処理装置は、ニューラルネットワーク等の人工知能に係る学習モデルの中間生成物、例えば特徴量マップに適用してもよい。本開示技術に係る画像処理は、人工知能と併せて利用することもできる。

以上のとおり実施の形態６に係る画像処理装置は上記構成を備えるため、既出の実施の形態に係る画像処理装置と同様の効果を奏する。

本開示技術は、例えば、定期観測を行う合成開口レーダの観測により得られる地表面のレーダ画像を処理する画像処理装置に応用でき、産業上の利用可能性を有する。

１ データ格納部、２ コヒーレンス算出処理部、３ 変化識別処理部、４ 出力データ格納部、１１０ 閾値算出処理部、１２０ 注目画素設定部、１３０ 平均算出処理部、１４０ 閾値格納部、１５０ 閾値設定部、２００ 閾値処理部。

Claims (3)

1. 全数から２枚を抽出するすべての組合せの画像同士についてのコヒーレンスマップを算出するコヒーレンス算出処理部と、
   変化領域の抽出に用いられる閾値を設定する閾値算出処理部と、
   前記閾値を用いて前記コヒーレンスマップに閾値処理をする閾値処理部と、
   前記コヒーレンス算出処理部が算出した前記コヒーレンスマップのうち、少なくとも３枚の画像から２枚を抽出した２つの組合せの画像同士についての前記コヒーレンスマップに基づいて、コヒーレンスが変化する少なくとも９通りの態様のいずれに当てはまるかを判断し、前記閾値処理により注目画素に変化が生じたと判断された場合に、その変化の種類を識別する変化識別処理部と、を備え、
   前記コヒーレンス算出処理部は、コヒーレンスの算出に際し、レーダ画像における位置（ｙ，ｘ）におけるデータ値（Ｚ _ｎ （ｙ，ｘ））に代えて、前記位置（ｙ，ｘ）を中心としたＬ個の画素を空間的にフーリエ変換して得られる値を用いる、
   画像処理装置。
2. 前記閾値算出処理部は、
   前記注目画素を設定する注目画素設定部と、
   前記注目画素について、それぞれのコヒーレンスを算出し、平均値を算出する平均算出処理部と、
   前記平均算出処理部で算出された前記平均値に基づいて、前記閾値を設定する閾値設定部と、を含む、
   請求項１に記載の画像処理装置。
3. 前記平均算出処理部が算出する前記平均値は、全数から２枚を抽出するすべての組合せの画像同士のコヒーレンスについての平均の値である、
   請求項２に記載の画像処理装置。

Images