JPWO2017221860A1 - 領域識別装置と領域識別方法および領域識別プログラム - Google Patents

Abstract

本発明は、画像がカラーやモノクロであることによらずに、高い精度での領域識別をリアルタイムに可能とする領域識別装置を提供することを目的とする。本発明の領域識別装置は、入力された画像を局所領域に分割し、前記局所領域ごとに前記画像の画素情報に基づいて導出することのできる特徴量の内の１つ以上を導出する特徴量導出手段と、導出した前記特徴量と所定の辞書で設定された観測対象領域を判定する基準とを比較して、前記局所領域ごとに観測対象か否かを判定する観測対象領域判定手段と、を有する。

Description

本発明は、地上や上空や宇宙等で撮影された画像の観測対象領域を識別する技術に関する。

人工衛星から取得した画像の雲領域のエッジ情報を基に雲領域を識別する装置（特許文献１）や、画像の明度および彩度から雲などの観測対象領域を識別する画像処理装置（特許文献２）が開示されている。これらの装置では、利用者が観測対象領域を識別するための特徴量をグラフ上で見ながら、観測対象領域の設定を行う。また、ｋ−ｍｅａｎｓ法に代表される領域分割手法とＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）に代表される機械学習とを組み合わせて画像が属するカテゴリを識別し、雲などの観測対象領域を抽出する画像識別装置（特許文献３）が開示されている。

特開平５−３３３１６０号公報 特開２０１５−６４７５３号公報 国際公開第２０１２／１１１２３６号 国際公開第２０１２／０９５９３８号

しかしながら、特許文献１に開示された装置では、地表上の雲領域と似通ったエッジ情報を持つ物体を雲領域と誤判定してしまう。また、雲は種類によって多様なエッジの特徴を持っているため、雲領域を取りこぼしてしまう。特許文献２に開示された装置では、カラー画像を前提としており、赤外画像のようなモノクロ画像では識別ができない。また、これらの装置では、利用者が観測対象領域を識別するための特徴量をグラフ上で見ながら、観測対象領域の設定を行う。そのため、特徴量が２つ程度に制限され、詳細な境界条件を設定することが難しい。

以上の結果、これらの装置では、観測対象領域の識別精度を上げられないという課題がある。また、特許文献１と特許文献２は、入力される静止画像を処理する場合については言及しているものの、動画等のリアルタイム処理については言及していない。

一方、特許文献３に開示された装置では、観測対象領域の識別精度を上げることができる。しかしながら、この装置では、ｋ−ｍｅａｎｓ法に代表される領域分割手法とＳＶＭに代表される機械学習とを組み合わせているため、計算量が膨大となり、動画等のリアルタイム処理には向かないという課題がある。

本発明は、上記の課題に鑑みてなされたものであり、その目的は、画像がカラーやモノクロであることによらずに、高い精度での領域識別をリアルタイムに可能とする領域識別装置を提供することにある。

本発明の領域識別装置は、入力された画像を局所領域に分割し、前記局所領域ごとに前記画像の画素情報に基づいて導出することのできる特徴量の内の１つ以上を導出する特徴量導出手段と、導出した前記特徴量と所定の辞書で設定された観測対象領域を判定する基準とを比較して、前記局所領域ごとに観測対象か否かを判定する観測対象領域判定手段と、を有する。

本発明の領域識別方法は、入力された画像を局所領域に分割し、前記局所領域ごとに前記画像の画素情報に基づいて導出することのできる特徴量の内の１つ以上を導出し、導出した前記特徴量と所定の辞書で設定された観測対象領域を判定する基準とを比較して、前記局所領域ごとに観測対象か否かを判定する。

本発明の領域識別プログラムは、入力された画像を局所領域に分割する処理と、前記局所領域ごとに前記画像の画素情報に基づいて導出することのできる特徴量の内の１つ以上を導出する処理と、導出した前記特徴量と所定の辞書で設定された観測対象領域を判定する基準とを比較して、前記局所領域ごとに観測対象か否かを判定する処理と、をコンピュータに実行させる。

本発明によれば、画像がカラーやモノクロであることによらずに、高い精度での領域識別をリアルタイムに可能とする領域識別装置を提供することができる。

本発明の第１の実施形態の領域識別装置の構成を示すブロック図である。 本発明の第２の実施形態の領域識別装置の構成を示すブロック図である。 本発明の第２の実施形態の領域識別装置の観測対象領域の判定基準を設定する動作を示すフローチャートである。 本発明の第２の実施形態の領域識別装置の観測対象領域の判定基準を設定する学習用の画像の例を示す図である。 本発明の第２の実施形態の領域識別装置の観測対象領域の判定基準を設定する学習用の画像をブロックに分割した例を示す図である。 本発明の第２の実施形態の領域識別装置の観測対象領域の判定基準を設定する学習用の画像の観測対象正解領域情報の例を示す図である。 本発明の第２の実施形態の領域識別装置が機械学習により特徴量と観測対象正解領域とを対応付けた例を示す図である。 本発明の第２の実施形態の領域識別装置が特徴量と観測対象正解領域の関係を特徴量の座標系に表し観測対象判定基準の境界を設定した例を示す図である。 本発明の第２の実施形態の領域識別装置で設定される観測対象の判定基準の境界の例を示す図である。 本発明の第２の実施形態の領域識別装置の観測対象領域を識別する動作を示すフローチャートである。 本発明の第２の実施形態の領域識別装置の観測対象領域を識別する画像をブロックに分割した例を示す図である。 本発明の第２の実施形態の領域識別装置の３種類以上の領域を識別する動作を示すフローチャートである。 本発明の第２の実施形態の領域識別装置で設定される３種類以上の領域を識別する判定基準の境界の例を示す図である。 本発明の第３の実施形態の領域識別装置の構成を示すブロック図である。 本発明の第４の実施形態の領域識別装置の構成を示すブロック図である。

以下、図を参照しながら、本発明の実施形態を詳細に説明する。但し、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。
（第１の実施形態）
図１は、本発明の第１の実施形態の領域識別装置の構成を示すブロック図である。本実施形態の領域識別装置１は、入力された画像を局所領域に分割し、前記局所領域ごとに前記画像の画素情報に基づいて導出することのできる特徴量の内の１つ以上を導出する特徴量導出手段１１を有する。さらに、導出した前記特徴量と所定の辞書で設定された観測対象領域を判定する基準とを比較して、前記局所領域ごとに観測対象か否かを判定する観測対象領域判定手段１２を有する。

本実施形態の領域識別装置１によれば、利用者が特徴量をグラフ上で見ながら対象領域の設定を行う必要が無く、多種多様な特徴量により詳細な境界条件を設定することができる。その結果、カラー画像やモノクロ画像を問わずに対象領域の識別精度を上げることができる。さらに、画像の特徴量を所定の辞書データと比較するだけで対象領域を識別できるので、識別時の計算量が少なくて済むことから動画等のリアルタイムでの識別が可能である。

以上のように、本実施形態によれば、画像がカラーやモノクロであることによらずに、高い精度での領域識別をリアルタイムに可能とする領域識別装置を提供することができる。
（第２の実施形態）
図２は、本発明の第２の実施形態の領域識別装置２の構成を示すブロック図である。領域識別装置２は、画像入力部２１、特徴量導出部２２、辞書保存部２３、観測対象領域判定部２４、観測対象領域情報出力部２５、学習部２６を備えている。

画像入力部２１は、例えば、雲等の観測対象領域の識別を行う画像の画像データを入力する。

特徴量導出部２２は、画像入力部２１で入力された画像を局所領域に分割し、局所領域ごとに画像の画素情報に基づく特徴量を算出する。

辞書保存部２３は、観測対象領域の判定基準を設定している辞書データを保存し、前記辞書データを観測対象領域判定部２４に入力する。

観測対象領域判定部２４は、特徴量導出部２２で算出された特徴量と辞書保存部２３から入力された辞書データで設定されている観測対象領域を判定する基準とを比較して、観測対象か否かを判定する。

観測対象領域情報出力部２５は、観測対象領域判定部２４の判定結果を、雲等の観測対象領域を識別した画像に表現するなどして出力する。

学習部２６は、観測対象領域の判定基準を設定した辞書データを生成する。

領域識別装置２は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やサーバなどの情報処理機器（コンピュータ）とすることができる。情報処理機器は構成要素として、演算資源であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、記憶資源であるメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、通信資源である通信ボードや入力インターフェイス、入力資源であるキーボードやマウスやタッチパネル、表示資源であるディスプレイやプリンタ、などを備えている。ＣＰＵでプログラムを動作させ、これらの構成要素を用いることにより、領域識別装置１を構成する各部を実現することができる。

すなわち、画像入力部２１は、衛星や航空機から送信された画像データを受信する通信ユニットや、外部から画像データを入力する入力インターフェイスなどにより実現される。特徴量導出部２２や観測対象領域判定部２４や学習部２６はＣＰＵでプログラムを動作させることにより実現される。辞書保存部２３は、メモリやＨＤＤなどにより実現される。観測対象領域情報出力部２５はディスプレイやプリンタなどにより実現される。

図３は、本実施形態の領域識別装置が実行する、観測対象領域の判定基準を設定する動作を示すフローチャートである。本フローチャートは、観測対象領域の判定基準を設定する動作を実行するプログラムを起動することで開始となる。

まず、ステップＳ０１で、学習部２６に、観測対象が映っている学習用の画像を外部から入力する。図４は、観測対象を雲としたときの学習用の画像の例を示す図である。学習用の画像は、例えば、観測対象が雲であれば、様々な雲を撮影した画像を複数枚、例えば数枚から数十枚を入力する。

学習用の画像は、実際に観測対象領域の識別を行う画像と、撮影するカメラや撮影条件、気象条件、時刻、季節などが同じ条件であることが好ましいが、これには限定されない。これらの条件を満たす画像の取得が困難な場合は、これらの条件の幾つかを異にする画像や模擬画像を使用することができる。

また、学習用の画像は、以降で算出される特徴量の分解能を高めるためには、画像処理のされていない未加工画像（ＲＡＷ画像とも呼ぶ）とすることが好ましい。これは、未加工画像が例えば１４ビット（２^１４）の分解能であっても、画像処理により例えば８ビット（２^８）の分解能まで低下させてしまうことで、特徴量の分解能を低下させてしまうことになるためである。

次に、ステップＳ０２で、学習部２６は、入力された学習用の画像の局所領域ごとの特徴量を、画像データの有する画素情報から算出する。特徴量の種類としては、実際に観測対象領域の識別を行う画像で使用する特徴量と同じ種類とし、ひとつ以上の特徴量とすることができる。例えば、画像が可視画像である場合、特徴量−１として平均輝度、特徴量−２として輝度の分散の２つを特徴量とすることができるが、これらには限定されない。特徴量の種類は、予め定めておくことができる。

図５は、学習用の画像の局所領域の特徴量を算出するために、学習部２６が、画像をブロックに分割した例を示す。学習部２６は、各ブロックの特徴量を局所領域の特徴量として算出する。

次に、ステップＳ０３で、学習部２６に、入力された画像中の観測対象の観測対象正解領域情報を入力する。図６は、観測対象正解領域情報である、雲の部分とその他の部分とで２値化した２値化画像を示す。この２値化画像の雲の領域、すなわち図６での白い領域が、観測対象正解領域である。この２値化画像は、利用者が学習用の画像から雲の部分を指定する、あるいは、２値化画像の画像処理をするなどして、予め作成しておくことができる。

次に、ステップＳ０４で、学習部２６は、学習用画像の局所領域の特徴量と観測対象正解領域情報とから機械学習の処理を行う。機械学習としては、例えば、特許文献４に開示されているＧＬＶＱ（Ｇｅｎｅｒａｌｉｚｅｄ Ｌｅａｒｎｉｎｇ Ｖｅｃｔｏｒ Ｑｕａｎｔｉｚａｔｉｏｎ、一般化学習ベクトル量子化）のような、識別時の計算量が少ない方法が望ましい。ＧＬＶＱによれば、ステップＳ０２で算出した各ブロックの特徴量と、ステップＳ０３で入力した観測対象正解領域情報の観測対象正解領域とを対応付け、観測対象正解領域となるための特徴量を設定することができる。

なお、機械学習の方法は、各ブロックの特徴量と観測対象正解領域情報の観測対象正解領域とを対応付けて、観測対象正解領域となるための特徴量を設定することができる方法であれば、ＧＬＶＱには限定されない。

図７は、学習部２６が、機械学習により特徴量と観測対象正解領域（例えば、雲領域と雲以外の領域）とを対応付けた例を示す。図７では、２枚の学習用の画像を入力し、１画像あたり１０００個の局所領域とし、各々の局所領域について２種類の特徴量を算出した場合を示しているが、これには限定されない。

画像−１の各局所領域の特徴量−１と特徴量−２との組は、（ａ_１，ｂ_１）、（ａ_２，ｂ_２）、・・・、（ａ_１０００，ｂ_１０００）となり、各々の組が、観測対象正解クラスの１（雲領域）に属するか、または０（雲以外の領域）に属するか、判定されている。また、画像−２の各局所領域の特徴量−１と特徴量−２との組は、（ａ_１００１，ｂ_１００１）、・・・、（ａ_２０００，ｂ_２０００）となり、各々の組が、観測対象正解クラスの１に属するか、または０に属するか、判定されている。なお、ａ_１〜ａ_２０００やｂ_１〜ｂ_２０００には、各々、計算などにより導出された特徴量の数値が入る。

次に、ステップＳ０５で、学習部２６は、以上の機械学習の処理により得た観測対象領域と特徴量との対応から、特徴量で観測対象領域を識別する基準を設定した辞書データを生成する。

図８は、学習部２６が、図７の各局所領域の特徴量と観測対象正解領域の関係を特徴量−１と特徴量−２の座標系に表し、観測対象判定基準の境界を設定した例を示す。画像−１と画像−２の特徴量の各々は、特徴量−１と特徴量−２の座標系に一同に表される。境界は、例えばＧＬＶＱを用いた機械学習により、設けられた境界によるクラス１とクラス０のクラス分けと、図７のクラス分けとの食い違いが最小となるように設定される。そのため、ＧＬＶＱで設けられた境界によるクラス１とクラス０のクラス分けと、図７のクラス分けとの食い違いが生じる場合もあり得る。

ＧＬＶＱによれば、所定のクラスらしさを表す指標として誤分類尺度を用いる。誤分類尺度は−１〜１の間の値を取り、クラス１に対する誤分類尺度の場合、誤分類尺度が−１に近いほどクラス１である確度が高い。逆に、誤分類尺度が１に近いほどクラス１でない、すなわちクラス０である確度が高い。クラス１とクラス０の境界は、通常、誤分類尺度０に設定され、曖昧さを含み易い領域である。また、例えば、空の部分を雲だと多少誤ったとしても雲の部分を確実に雲と判定したい場合は、雲に対する誤分類尺度が０より大きい正の値を閾値として識別する、などの調整が可能である。

図９は、学習部２６で設定される観測対象判定基準の境界の例を示す。学習部２６は、図９に示すような特徴量−１と特徴量−２との座標系において、観測対象とそれ以外との境界を設定し、この境界を判定基準として特徴量により観測対象であるか否かを判定することのできる辞書データを生成する。生成された辞書データは、辞書保存部２３に保存され、終了する。

図９において、観測対象であると判定するための境界を、より現実の観測対象に近づけるためには、前記のクラス間の分離性の高い、すなわち、図８の境界付近の特徴量が少ない特徴量を選択することが有効である。このためには、予め何種類かの特徴量で境界を決める上記の動作を実行し、できるだけ曖昧さを含まずに境界を決めることができる特徴量を選択する、などが可能である。

図１０は、本実施形態の領域識別装置が実行する、観測対象領域を識別する動作を示すフローチャートである。本フローチャートは、観測対象領域を識別する動作を実行するプログラムを起動することで開始となる。

まず、ステップＳ１１で、画像入力部２１に、観測対象領域を識別する画像を外部から入力する。画像の入力は、カメラで撮像された画像を直接入力することが可能であるが、これには限定されない。画像の入力は、記憶媒体に保存されている画像を入力してもよい。

観測対象領域を識別する画像は、以降で算出される特徴量の分解能を高めるためには、画像処理のされていない未加工画像とすることが好ましい。これは、未加工画像が例えば１４ビットの分解能であっても、画像処理により例えば８ビットの分解能まで低下させてしまうことで、特徴量の分解能を低下させてしまうことになるためである。

次に、ステップＳ１２で、特徴量導出部２２は、画像をブロックに分割し、各ブロックを局所領域とし、局所領域ごとの特徴量を算出する。図１１は、観測対象領域を識別する画像をブロックに分割した例を示す図である。図１１に示すように、例えば、縦８画素と横８画素を１つのブロックとすることができるが、これには限定されない。特徴量導出部２２は、例えば、個々の画素の有する特徴量の平均値をブロックの特徴量とすることができる。また、個々の画素の有する特徴量の分散をブロックの特徴量とすることができるが、これらには限定されない。

また、局所領域ごとの特徴量を算出する方法は、図１１のようにブロックに分割する方法には限定されない。例えば、縦８画素と横８画素を１つの局所領域とし、この領域を１画素ずつずらして走査しながら連続的に特徴量を算出する方法でもよい。また、特徴量としては、ひとつ以上の特徴量とすることができる。例えば、画像が可視画像である場合、特徴量を彩度や明度の２つや、輝度や輝度分散の２つ、あるいはこれら全ての４つ、などとすることができるがこれらには限定されない。特徴量の種類は、予め定めておくことができる。

次に、ステップＳ１３で、辞書保存部２３は、学習部２６で生成された辞書データを観測対象領域判定部２４に入力する。観測対象領域判定部２４は、特徴量導出部２２で得られた局所領域ごとの特徴量と辞書データで設定されている観測対象領域の判定基準とを比較することで、分割した領域ごとに観測対象か否かを判定する。

次に、ステップＳ１４で、観測対象領域情報出力部２５は、ステップＳ１３での判定結果を、例えば、観測対象を１、観測対象以外を０とした２値画像等にして出力し、終了する。

図１２は、本実施形態の領域識別装置２が実行する、３つの領域を判定する動作を示すフローチャートである。ここでは、観測対象領域として、雲と海と、これら以外の領域を識別する場合を説明する。

学習部２６は、予め、図３に示す観測対象領域の判定基準を設定する動作により、学習用画像と、学習用画像中の海と雲のそれぞれに対する観測対象正解領域情報とから、図１３に示すような観測対象領域の判定基準を設定した辞書データを生成する。

図１３は、３つの領域を識別する判定基準の境界の例を示す図である。学習部２６は、図１３のような特徴量−１と特徴量−２との座標系において、観測対象−１（雲）と観測対象−２（海）と観測対象外との境界を設定し、この境界を判定基準として特徴量により観測対象を識別することのできる辞書データを生成する。学習部２６は、生成した辞書データを、辞書保存部２３に保存する。

図１２のフローチャートは、観測対象領域を識別する動作を実行するプログラムを起動することで開始となる。まず、ステップＳ２１で、画像入力部２１に観測対象領域を識別する画像を入力する。次に、ステップＳ２２で、特徴量導出部２２は、画像をブロックに分割し、各ブロックを局所領域とし、局所領域ごとの特徴量を算出する。

次に、ステップＳ２３で、辞書保存部２３は、学習部２６で生成された辞書データを観測対象領域判定部２４に入力する。観測対象領域判定部２４は、特徴量導出部２２で得られた局所領域ごとの特徴量と辞書データで設定されている観測対象領域の判定基準とを比較することで、分割した領域ごとに雲か海かこれら以外かを判定する。

次に、ステップＳ２４で、観測対象領域情報出力部２５は、ステップＳ２３での判定結果を、例えば、雲領域を１、海領域を２、これら以外を０とした３値画像等にして外部に出力し、終了する。

以上の方法により、例えば、観測対象領域を識別する画像中に移動体が存在した場合、移動体が存在する場所が海である場合、移動体を船舶と推定することができる。また、移動体が存在する場所が雲である場合、移動体を飛行体と推定することができる。

なお、観測対象領域は以上のような１つの領域や２つの領域には限定されない。観測対象領域の数は任意の正数とすることができ、予め、観測対象領域に対応した観測対象を識別することのできる辞書データを生成しておけばよい。

なお、観測対象領域は、例えば、雲、海、空、陸、氷、雪、山、草原、森、砂漠、珊瑚礁、建物や道路などの構造物など、空中や地上や水中から取得される画像中の領域とすることができる。また、観測対象領域はこれらには限定されず、室内や生体から取得される画像中の領域や、顕微鏡で拡大された画像中の領域とすることもできる。

なお、特徴量は、可視画像であれば彩度や明度や輝度や輝度分散など、赤外画像であれば輝度や輝度分散などとすることができる。また、ブロックなどの局所領域中の画素ごとの強度のヒストグラムや分布の様子（模様）、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）やＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）により記述される特徴量とすることができる。特徴量は、画像の画素の有する前記の彩度や明度や輝度などの情報からの値の抽出や、抽出された値を用いた計算などによって、導出される。

本実施形態の領域識別装置２によれば、利用者が特徴量をグラフ上で見ながら対象領域の設定を行う必要が無く、多種多様な特徴量により詳細な境界条件を設定することができる。その結果、カラー画像やモノクロ画像を問わずに対象領域の識別精度を上げることができる。さらに、画像の特徴量を所定の辞書データと比較するだけで対象領域を識別できるので、識別時の計算量が少なくて済むことから動画等のリアルタイムでの識別が可能である。

以上のように、本実施形態によれば、画像がカラーやモノクロであることによらずに、高い精度での領域識別をリアルタイムに可能とする領域識別装置を提供することができる。
（第３の実施形態）
図１４は、本発明の第３の実施形態の領域識別装置３の構成を示すブロック図である。領域識別装置３は、第１の画像入力部３１−１、第２の画像入力部３１−２、特徴量導出部３２、辞書保存部３３、観測対象領域判定部３４、観測対象領域情報出力部３５、学習部３６を備えている。本実施形態の領域識別装置３では、同時期に同じ観測対象を含む場面を撮影した２種類以上の画像を入力して領域識別するために、複数の画像入力部を備えている点が、第２の実施形態と異なる。

図１４は、２種類の画像を入力して領域識別する場合を示している。まず、同時期に同じ場面を撮影した２種類の画像、例えば、可視画像を第１の画像入力部３１−１に、赤外画像を第２の画像入力部３１−２に入力する。特徴量導出部３２は、それぞれの画像をブロックに分割して局所領域ごとの特徴量を算出する。

２種類の画像の特徴量としては、例えば、可視画像の彩度および明度、赤外画像の平均輝度および輝度の分散の４種類とすることができる。学習部３６は、予め、前記４種類の特徴量を機械学習し、４次元の特徴量空間に境界を設定する辞書データを生成しておく。辞書保存部３３は、学習部３６で生成された辞書データを保存し、観測対象領域判定部３４に入力する。

観測対象領域判定部３４は、特徴量導出部３２で得られた局所領域の特徴量と、辞書データで設定されている観測対象領域の判定基準とを比較することで、分割した領域ごとに観測対象か否かを判定する。

観測対象領域情報出力部３５は、観測対象領域判定部３４での判定結果を、例えば、観測対象を１、観測対象以外を０とした２値画像等にして出力する。

以上のように、可視画像と赤外画像といった異なる複数の画像により観測領域を識別することで、例えば、雲と氷や雪といった可視画像だけでは識別が困難な領域についても、赤外画像と組み合わせることで、正確な識別が可能となる。

なお、画像入力部は２つには限定されない。画像入力部の数は任意の正数とすることができる。また、ひとつの画像入力部から複数の画像を入力してもよい。

本実施形態の領域識別装置３によれば、利用者が特徴量をグラフ上で見ながら対象領域の設定を行う必要が無く、多種多様な特徴量により詳細な境界条件を設定することができる。その結果、カラー画像やモノクロ画像を問わずに対象領域の識別精度を上げることができる。さらに、画像の特徴量を所定の辞書データと比較するだけで対象領域を識別できるので、識別時の計算量が少なくて済むことから動画等のリアルタイムでの識別が可能である。

以上のように、本実施形態によれば、画像がカラーやモノクロであることによらずに、高い精度での領域識別をリアルタイムに可能とする領域識別装置を提供することができる。
（第４の実施形態）
図１５は、本発明の第４の実施形態の領域識別装置４の構成を示すブロック図である。領域識別装置４は、第１の画像入力部４１−１、第２の画像入力部４１−２、特徴量導出部４２、辞書保存部４３、観測対象領域判定部４４、観測対象領域情報出力部４５、学習部４６、辞書選択部４７を備えている。本実施形態の領域識別装置４では、画像の撮影条件によって複数の辞書を使い分けるために辞書選択部４７を備えている点が、第３の実施形態と異なる。

ここでは、航空機より水平線方向を２波長の赤外線カメラで撮影している場面において、画像中の雲領域をリアルタイムに識別する場合について説明する。

まず、第１の画像入力部４１−１にａ波長赤外画像１を、第２の画像入力部４１−２にｂ波長赤外画像２を入力する。ここで、２種類の画像はほぼ同時に撮影されたものであり、１台のカメラでフィルタを切り替えて２波長を交互に撮影したものでもよいし、２台のカメラを使用するものでもよい。それぞれの画像は、観測対象である雲領域の物性や温度に対応する輝度を得るために、未加工画像を用いる。

特徴量導出部４２は、それぞれの画像をブロックに分割して局所領域ごとの特徴量を算出する。２種類の画像の特徴量としては、例えば、２波長の赤外画像の各々の平均輝度および輝度の分散の、４次元の特徴量とすることができる。

なお、ここで、例えば、ａ波長赤外画像１を波長が３から４μｍの赤外画像、ｂ波長赤外画像２を波長が４から５μｍの赤外画像とする。赤外画像は、波長が３から４μｍのときに太陽光の影響を大きく受ける。そこで、３から４μｍの赤外画像と４から５μｍの赤外画像との差を取ることで、太陽光の影響を抽出することができる。これにより、太陽光の影響を削除して、観測対象領域を識別することができる。なお、赤外画像の赤外線の波長は、上記の組み合わせには限定されない。

学習部４６は、予め、４種類の特徴量を学習し、４次元の特徴量空間に境界を設定する辞書データを生成する。ここで学習用画像としては、撮影条件別の画像の組みを複数用意し、撮影条件別に辞書データを作成する。撮影条件としては、例えば、気象条件や昼夜などの時刻や季節などが挙げられる。辞書保存部４３は、学習部４６で生成された辞書データを保存する。辞書選択部４７は、実際の撮影時の条件に最も撮影条件が近い辞書を選択して、観測対象領域判定部４４に入力する。

観測対象領域判定部４４は、特徴量導出部４２で得られた局所領域の特徴量と、辞書データで設定された観測対象領域の判定基準とを比較することで、分割した領域ごとに観測対象を識別する。

観測対象領域情報出力部４５は、観測対象領域判定部４４での判定結果を、例えば、観測対象を１、観測対象以外を０とした２値画像等にして出力する。

以上のように、観測対象領域を識別したい画像の撮影時の条件に最も撮影条件が近い辞書を選択して観測対象を識別することで、撮影条件が変化することで生じる誤識別を抑制することができる。

本実施形態の領域識別装置４によれば、利用者が特徴量をグラフ上で見ながら対象領域の設定を行う必要が無く、多種多様な特徴量により詳細な境界条件を設定することができる。その結果、カラー画像やモノクロ画像を問わずに対象領域の識別精度を上げることができる。さらに、画像の特徴量を所定の辞書データと比較するだけで対象領域を識別できるので、識別時の計算量が少なくて済むことから動画等のリアルタイムでの識別が可能である。

以上のように、本実施形態によれば、画像がカラーやモノクロであることによらずに、高い精度での領域識別をリアルタイムに可能とする領域識別装置を提供することができる。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

また、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
入力された画像を局所領域に分割し、前記局所領域ごとに前記画像の画素情報に基づいて導出することのできる特徴量の内の１つ以上を導出する特徴量導出手段と、
導出した前記特徴量と所定の辞書で設定された観測対象領域を判定する基準とを比較して、前記局所領域ごとに観測対象か否かを判定する観測対象領域判定手段と、を有する領域識別装置。
（付記２）
前記観測対象を有する学習画像の前記特徴量と、前記学習画像の前記観測対象の正解領域情報とに基づいて、前記特徴量の前記観測対象領域を設定する前記辞書を作成する学習手段を有する、付記１記載の領域識別装置。
（付記３）
前記学習手段は、機械学習して前記観測対象領域を設定する、付記２記載の領域識別装置。
（付記４）
前記画像の撮影条件に基づいて前記辞書を選択する辞書選択手段を有する、付記１から３の内の１項記載の領域識別装置。
（付記５）
前記画像を入力する画像入力手段を有する、付記１から４の内の１項記載の領域識別装置。
（付記６）
前記画像入力手段は複数である、付記５記載の領域識別装置。
（付記７）
入力された画像を局所領域に分割し、
前記局所領域ごとに前記画像の画素情報に基づいて導出することのできる特徴量の内の１つ以上を導出し、
導出した前記特徴量と所定の辞書で設定された観測対象領域を判定する基準とを比較して、前記局所領域ごとに観測対象か否かを判定する、領域識別方法。
（付記８）
前記観測対象を有する学習画像の前記特徴量と、前記学習画像の前記観測対象の正解領域情報とに基づいて、前記特徴量の前記観測対象領域を設定する前記辞書を作成する、付記７記載の領域識別方法。
（付記９）
機械学習して前記観測対象領域を設定する、付記７または８記載の領域識別方法。
（付記１０）
前記画像の撮影条件に基づいて前記辞書を選択する、付記７から９の内の１項記載の領域識別方法。
（付記１１）
入力された画像を局所領域に分割する処理と、
前記局所領域ごとに前記画像の画素情報に基づいて導出することのできる特徴量の内の１つ以上を導出する処理と、
導出した前記特徴量と所定の辞書で設定された観測対象領域を判定する基準とを比較して、前記局所領域ごとに観測対象か否かを判定する処理と、をコンピュータに実行させる領域識別プログラム。
（付記１２）
前記観測対象を有する学習画像の前記特徴量と、前記学習画像の前記観測対象の正解領域情報とに基づいて、前記特徴量の前記観測対象領域を設定する前記辞書を作成する処理をコンピュータに実行させる、付記１１記載の領域識別プログラム。
（付記１３）
機械学習して前記観測対象領域を設定する処理をコンピュータに実行させる、付記１１または１２記載の領域識別プログラム。
（付記１４）
前記画像の撮影条件に基づいて前記辞書を選択する処理をコンピュータに実行させる、付記１１から１３の内の１項記載の領域識別プログラム。

この出願は、２０１６年６月２１日に出願された日本出願特願２０１６−１２２５１０を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１、２、３、４ 領域識別装置
１１ 特徴量導出手段
１２ 観測対象領域判定手段
２１ 画像入力部
３１−１、４１−１ 第１の画像入力部
３１−２、４１−２ 第２の画像入力部
２２、３２、４２ 特徴量導出部
２３、３３、４３ 辞書保存部
２４、３４、４４ 観測対象領域判定部
２５、３５、４５ 観測対象領域情報出力部
２６、３６、４６ 学習部
４７ 辞書選択部

Claims (14)

1. 入力された画像を局所領域に分割し、前記局所領域ごとに前記画像の画素情報に基づいて導出することのできる特徴量の内の１つ以上を導出する特徴量導出手段と、
   導出した前記特徴量と所定の辞書で設定された観測対象領域を判定する基準とを比較して、前記局所領域ごとに観測対象か否かを判定する観測対象領域判定手段と、を有する領域識別装置。
2. 前記観測対象を有する学習画像の前記特徴量と、前記学習画像の前記観測対象の正解領域情報とに基づいて、前記特徴量の前記観測対象領域を設定する前記辞書を作成する学習手段を有する、請求項１記載の領域識別装置。
3. 前記学習手段は、機械学習して前記観測対象領域を設定する、請求項２記載の領域識別装置。
4. 前記画像の撮影条件に基づいて前記辞書を選択する辞書選択手段を有する、請求項１から３の内の１項記載の領域識別装置。
5. 前記画像を入力する画像入力手段を有する、請求項１から４の内の１項記載の領域識別装置。
6. 前記画像入力手段は複数である、請求項５記載の領域識別装置。
7. 入力された画像を局所領域に分割し、
   前記局所領域ごとに前記画像の画素情報に基づいて導出することのできる特徴量の内の１つ以上を導出し、
   導出した前記特徴量と所定の辞書で設定された観測対象領域を判定する基準とを比較して、前記局所領域ごとに観測対象か否かを判定する、領域識別方法。
8. 前記観測対象を有する学習画像の前記特徴量と、前記学習画像の前記観測対象の正解領域情報とに基づいて、前記特徴量の前記観測対象領域を設定する前記辞書を作成する、請求項７記載の領域識別方法。
9. 機械学習して前記観測対象領域を設定する、請求項７または８記載の領域識別方法。
10. 前記画像の撮影条件に基づいて前記辞書を選択する、請求項７から９の内の１項記載の領域識別方法。
11. 入力された画像を局所領域に分割する処理と、
    前記局所領域ごとに前記画像の画素情報に基づいて導出することのできる特徴量の内の１つ以上を導出する処理と、
    導出した前記特徴量と所定の辞書で設定された観測対象領域を判定する基準とを比較して、前記局所領域ごとに観測対象か否かを判定する処理と、をコンピュータに実行させる領域識別プログラムを記録する記録媒体。
12. 前記観測対象を有する学習画像の前記特徴量と、前記学習画像の前記観測対象の正解領域情報とに基づいて、前記特徴量の前記観測対象領域を設定する前記辞書を作成する処理をコンピュータに実行させる、請求項１１記載の領域識別プログラムを記録する記録媒体。
13. 機械学習して前記観測対象領域を設定する処理をコンピュータに実行させる、請求項１１または１２記載の領域識別プログラムを記録する記録媒体。
14. 前記画像の撮影条件に基づいて前記辞書を選択する処理をコンピュータに実行させる、請求項１１から１３の内の１項記載の領域識別プログラムを記録する記録媒体。

Images