JP7048705B1 - 対象物認識装置、対象物認識方法、およびプログラム - Google Patents

Abstract

【課題】 対象物を認識するに際して計算上の負荷を低減すること。【解決手段】 実施形態の対象物認識装置は、ＳＡＲ（Synthetic Aperture Rader）を用いて上空から陸地及び海洋を含む範囲を撮像して得られるＳＡＲ画像を入力し、前記ＳＡＲ画像中の少なくとも陸地部分と海洋部分とを認識してそれらを区分することで海岸線近傍の海域に存在する船の部分を特定してその部分の画像を抽出する区分抽出処理手段と、前記区分抽出処理手段により抽出された画像から船の類識別を行い、当該類識別の結果を出力する類識別処理手段と、を具備する。【選択図】図６

Description

本発明の実施形態は、対象物認識装置、対象物認識方法、およびプログラムに関する。

一般に、ＳＡＲ（Synthetic Aperture Rader）画像は、数キロ四方の広大な範囲を比較的長時間をかけてＳＡＲと呼ばれる合成開口レーダを用いて撮像することで高精細な１枚の画像として構築される。その主な用途は、一定の時間が経過する前と後との地形等の比較、変化の把握などである。例えば、地震前後の地形や構造物などの変化の把握が挙げられる。

特開２０１２－１２８５５８号公報

広大な範囲を撮像したＳＡＲ画像から、その画像に映りこんでいる比較的小さな対象物が何なのかを正確に認識しようとする場合、その処理にかかる計算機の計算量や計算時間は膨大なものとなる。

発明が解決しようとする課題は、対象物を認識するに際して計算上の負荷を低減することを可能にする、対象物認識装置、対象物認識方法、およびプログラムを提供することにある。

実施形態の対象物認識装置は、ＳＡＲ（Synthetic Aperture Rader）を用いて上空から陸地及び海洋を含む範囲を撮像して得られるＳＡＲ画像を入力し、前記ＳＡＲ画像中の少なくとも陸地部分と海洋部分とを認識してそれらを区分することで海岸線近傍の海域に存在する船の部分を特定してその部分の画像を抽出する区分抽出処理手段と、前記区分抽出処理手段により抽出された画像から船の類識別を行い、当該類識別の結果を出力する類識別処理手段と、を具備する。

実施形態に係る対象物認識装置を実現するコンピュータを含むシステムの構成の一例を示す図。 ＳＡＲを用いて飛行機により広大な範囲を撮像することで１枚の高精細なＳＡＲ画像を生成することを説明する図。 対象物認識用のプログラムにより実現される各種機能の構成の例を示すブロック図。 図３中に示される区分抽出処理部１２および類識別処理部１３により行われる主な処理内容を示す図。 方法Ａによる処理手順を示すフロー図。 方法Ａによる各処理で得られる画像を簡略的に示す図。 方法Ｂによる処理手順を示すフロー図。 方法Ｂによる各処理で得られる画像を簡略的に示す図。 学習環境における方法Ａと方法Ｂとの違いを示す図。 実行環境における方法Ａと方法Ｂとの違いを示す図。

以下、図面を参照して、実施の形態について説明する。

＜構成＞
図１は、実施形態に係る対象物認識装置を実現するコンピュータを含むシステムの構成の一例を示す図である。

本システムは、ＳＡＲ画像撮像装置１、コンピュータ（ＰＣ）２、コンピュータ（ＰＣ）３を含む。

ＳＡＲ画像撮像装置１およびコンピュータ２は、飛行機などの飛行体に搭載される。一方、コンピュータ３は、例えば地上に配置される。

ＳＡＲ画像撮像装置１は、上空から陸地及び海洋を含む範囲をＳＡＲにより撮像することで高精細なＳＡＲ画像を生成する機能を有する。このＳＡＲ画像撮像装置１は、マイクロ波を地表面に照射し、地表面からの散乱波を受信する能動型センサを備える。マイクロ波は、雲を透過することができ、観測に太陽光を必要としないため、全天候で観測でき、夜間の観測も可能である。

コンピュータ２は、本実施形態に係る対象物認識装置を実現する計算機であり、入力部４、プロセッサ５、メモリ６、および出力部７を備える。

入力部４は、ＳＡＲ画像撮像装置１から伝送されるＳＡＲ画像をコンピュータ２内に入力するものである。

プロセッサ５は、コンピュータ２全体の制御を司るものであり、入力部４を通じて入力されるＳＡＲ画像に基づいて対象物認識用のプログラムを実行することにより、ＳＡＲ画像に映る１つまたは複数の認識対象となる対象物の画像を抽出しその類識別を行う。この場合の対象物とは、本実施形態においては一定以上の規模を有する船舶などの船であるものとする。

メモリ６は、プロセッサ５の作業領域として使用されたりＳＡＲ画像などの情報の記憶のために使用されたりする。

出力部７は、プロセッサ５により行われた対象物の類識別の結果を無線でコンピュータ２へ伝送する。

コンピュータ３は、コンピュータ２から伝送されてくる対象物の類識別の結果を受信し、その記憶や表示などの処理を行う。

ＳＡＲ画像撮像装置１は、例えば図２に示すように飛行体Ａに搭載された状態で、対象物Ｔが出現し得る海上や地上から例えば１００ｋｍ以上離れたところからＳＡＲを用いて広大な範囲を撮像することで１枚の高精細なＳＡＲ画像を生成する。

図３は、対象物認識用のプログラムにより実現される各種機能の構成の例を示すブロック図である。また、図４は、図３中に示される区分抽出処理部１２および類識別処理部１３により行われる主な処理内容を示す図である。

図３に示されるように、対象物認識用のプログラムは、ＳＡＲ画像取得部１１、区分抽出処理部１２、類識別処理部１３、および類識別結果出力部１４などの機能を実現する。

ＳＡＲ画像取得部１１は、ＳＡＲ画像撮像装置１が生成するＳＡＲ画像を取得する機能である。

区分抽出処理部１２は、図４中の処理１２ａに示すようにＳＡＲ画像から認識対象の物体が映り込んでいる領域を特定して画像を抽出する機能であり、例えばＳＡＲ画像取得部１１により取得されたＳＡＲ画像を入力し、当該ＳＡＲ画像中の少なくとも陸地部分と海洋部分とを認識してそれらを区分することで海岸線近傍の海域に存在する対象物である船の部分を特定してその部分の画像を抽出する。

ＳＡＲ画像中の陸地部分や海洋部分を認識してそれらを区分する処理（場合によっては、さらに海岸線近傍の海域をも認識して区分する処理や、さらに船の部分をも認識して区分する処理）には、ディープラーニングのセマンティックセグメンテーション処理（以下、ＤＬ領域分割と呼ぶ。）が適用されてもよい。また、対象物の部分を特定してその部分の画像を抽出する処理には、例えばあらかじめＳＡＲ画像中の対象物が占める領域を教示する大量のデータをもとに学習を行ってその画像特徴を記録しておき、入力したＳＡＲ画像中でそれと類似する画像特徴を有する領域があればそれを対象物の候補として抽出するといった方法を採用してもよい。

類識別処理部１３は、図４中の処理１３ａに示すように対象の物体が何なのかを認識する機能であり、具体的には、区分抽出処理部１２により抽出された画像から船の類識別（船の種類を識別する処理）を行い、当該類識別の結果（船の型、タイプ、クラスなどの種類を示す情報）を生成する。

類識別結果出力部１４は、類識別処理部１３により生成された類識別の結果を出力する機能である。

＜処理方法＞
上記ＳＡＲ画像取得部１１、区分抽出処理部１２、類識別処理部１３、および類識別結果出力部１４の各機能を実現するプロセッサ５により、ＳＡＲ画像から対象物の類識別結果を得るための具体的な方法としては、以下に説明する方法Ａと方法Ｂとが挙げられる。

（方法Ａ）
図５及び図６を参照して、方法Ａについて説明する。

図５は、方法Ａによる処理手順を示すフロー図である。図６は、方法Ａによる各処理で得られる画像を簡略的に示す図である。

方法Ａでは、例えば上述したＤＬ領域分割の手法を用いて、ＳＡＲ画像を、陸地部分、海洋部分、海岸線近傍の海域（船が存在し得る部分）に分け、探索の範囲を海岸線近傍の海域に絞り込んだ上で、対象物の部分の画像を抽出してその類識別処理を行う。

図５に示されるように、最初に、ＳＡＲ画像取得部１１がＳＡＲ画像を取得する（ステップＳ１１）。このときのＳＡＲ画像は、図６中の画像Ｔ１１のように黒い海洋部分と黒くない陸地部分とがある。海洋部分はレーダ反射が殆どないため、水面が黒く映る。なお、実際のＳＡＲ画像は、図６に図示される画像Ｔ１１よりもはるかに高精細な画像であるが、このではＳＡＲ画像を簡略化して表している。

次に、区分抽出処理部１２が、ステップＳ１１で得られたＳＡＲ画像から海洋部分を認識する（ステップＳ１２）。このとき、区分抽出処理部１２は、図６中の画像Ｔ１１に基づき、図６中の画像Ｔ１２のように陸地部分と海洋部分とを区分した画像を生成する。

次に、区分抽出処理部１２が、ステップＳ１２で得られた画像中の海岸線近傍の海域を認識してその切り出しを行う（ステップＳ１３）。このとき、区分抽出処理部１２は、図６中の画像Ｔ１２に基づき、図６中の画像Ｔ１３のように陸地部分と海洋部分と海岸線近傍の海域とを区分した画像を生成する。海岸線近傍の海域は、陸地部分と海洋部分との境界線から沖へ所定距離だけ離れたところまで（数十メートル程度）の帯状の部分である。この海岸線近傍の海域には、対象物である船が停泊している可能性がある。

次に、区分抽出処理部１２が、ステップＳ１３で得られた画像中の海岸線近傍の海域から対象物を認識してその画像を抽出する（ステップＳ１４）。このとき、区分抽出処理部１２は、図６中の画像Ｔ１３に基づき、当該画像中の海岸線近傍の海域から図６中の画像Ｔ１４のように対象物の画像を抽出する。

次に、類識別処理部１３が、ステップＳ１４で得られた対象物である船の画像を用いて当該船の類識別を行う（ステップＳ１５）。

類識別の結果は、類識別結果出力部１４を通じて外部へ出力される。

（方法Ｂ）
図７及び図８を参照して、方法Ｂについて説明する。

図７は、方法Ｂによる処理手順を示すフロー図である。図８は、方法Ｂによる各処理で得られる画像を簡略的に示す図である。

方法Ｂでは、例えば上述したＤＬ領域分割の手法を用いて、ＳＡＲ画像を、陸地部分、海洋部分、海岸線近傍の海域部分、対象物の部分に分け、その上で対象物に対する類識別処理を行う。

図７に示されるように、最初に、ＳＡＲ画像取得部１１がＳＡＲ画像を取得する（ステップＳ２１）。このときのＳＡＲ画像は、図８中の画像Ｔ２１のように黒い海洋部分と黒くない陸地部分とがある。前述したように、海洋部分はレーダ反射が殆どないため、水面が黒く映る。

次に、区分抽出処理部１２が、ステップＳ２１で得られたＳＡＲ画像から陸地部分と海洋部分（とその境界）と対象物（を含むその周辺）とを区分する（ステップＳ２２）。このとき、区分抽出処理部１２は、図８中の画像Ｔ２１に基づき、図８中の画像Ｔ２２のように陸地部分と海洋部分と海岸線近傍の海域と対象物部分とを区分した画像を生成する。

次に、区分抽出処理部１２が、ステップＳ２２で得られた画像中の対象物部分の画像を抽出する（ステップＳ２３）。このとき、区分抽出処理部１２は、図８中の画像Ｔ２２から図８中の画像Ｔ２３のように対象物の画像を抽出する。

次に、類識別処理部１３が、ステップＳ２３で得られた対象物である船の画像を用いて当該船の類識別を行う（ステップＳ２４）。

類識別の結果は、類識別結果出力部１４を通じて外部へ出力される。

このように、認識対象領域を、従来のようにＳＡＲ画像全体とするのではなく、方法Ａや方法ＢのようにＳＡＲ画像の一部分に絞り込んだ上で、対象物の認識や類識別を行うことにより、計算処理の負荷を低減することができる。

図６で例示したＳＡＲ画像を対象に、本実施形態で説明した方法Ａで対象物の認識及び類識別を行うに際して計算機にかかる処理負荷の軽減効果を試算してみた。

計算機にかかる処理負荷の軽減効果を、「ＳＡＲ画像中に映る海岸線近傍の海域の実際の面積」／「ＳＡＲ画像中に映る全領域の実際の面積」（但し、「ＳＡＲ画像中に映る海岸線近傍の海域の実際の面積」＝「海岸線の実際の長さ」×「海岸線から沖合までの実際の距離（＝５００ｍ）」）として試算したところ、従来方法（認識対象領域をＳＡＲ画像全体とした場合）の約３分の１となることが確認された。

＜学習環境における方法Ａと方法Ｂとの違い＞
次に、図９を参照して、学習環境における方法Ａと方法Ｂとの違いについて説明する。

ここでは、「入力データの教示内容（個々のＳＡＲ画像中にある情報）」、「学習に要するデータ量（ニューラルネットワー上でディープラーニング等を行う処理プログラムが必要とするデータ量）」、「得られる抽出処理（領域の抽出処理）」の３つに分けて説明する。

方法Ａにおいては、「入力データの教示内容」は、海洋部分である。「学習に要するデータ量」は、比較的少ない。海洋部分だけを学習するため、条件が少なく、必要なＳＡＲ画像の枚数も方法Ｂよりも少ない。「得られる抽出処理」は、海岸線近傍の海域の領域を抽出する処理である。

方法Ｂにおいては、「入力データの教示内容」は、陸地部分、海洋部分、海岸線、船の各部分である。「学習に要するデータ量」は、比較的多い。海岸線近傍の海域に船が映り込んでいる多くのＳＡＲ画像が必要である。「得られる抽出処理」は、船を含む領域のみを抽出する処理である。

＜実行環境における方法Ａと方法Ｂとの違い＞
次に、図１０を参照して、実行環境における方法Ａと方法Ｂとの違いについて説明する。

ここでは、「入力データ（個々のＳＡＲ画像）」が取得された後の、「得られる領域（ニューラルネットワー上でディープラーニング等を行う処理プログラムを通じて抽出される領域）」、「類識別処理規模（処理対象）」の２つに分けて説明する（「入力データ（個々のＳＡＲ画像）」に関しては特段記載をしない）。

方法Ａにおいては、「得られる領域」は、海岸線近傍の海域の領域である。「類識別処理」については、抽出された領域に対し、ピクセル単位でずらしながら領域を切り出し逐次処理で類識別を実施する。

方法Ｂにおいては、「得られる領域」は、船の領域のみである。「類識別処理」については、抽出された領域に１回ずつ類識別処理を実施する。

＜方法Ａと方法Ｂとの効果上の違い＞
方法Ａは、方法Ｂに比べ、学習規模が小さくて済むという利点がある。

方法Ｂは、方法Ａに比べ、実行時に直接、船の領域を抽出するので処理が短時間で済むという利点がある。また、洋上の船の検出も可能であるという利点もある。

以上詳述したように、実施形態によれば、対象物を認識するに際して計算上の負荷を低減することが可能になる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…ＳＡＲ画像撮像装置、２，３…コンピュータ（ＰＣ）、４…入力部、５…プロセッサ、６…メモリ、７…出力部、１１…ＳＡＲ画像取得部、１２…区分抽出処理部、１３…類識別処理部、１４…類識別結果出力部。

Claims (6)

1. ＳＡＲ（Synthetic Aperture Rader）を用いて上空から陸地及び海洋を含む範囲を撮像して得られるＳＡＲ画像を入力し、前記ＳＡＲ画像中の少なくとも陸地部分と海洋部分とを認識してそれらを区分することで海岸線近傍の海域に存在する船の部分を特定してその部分の画像を抽出する区分抽出処理手段と、
   前記区分抽出処理手段により抽出された画像から船の類識別を行い、当該類識別の結果を出力する類識別処理手段と、
   を具備する、対象物認識装置。
2. 前記区分抽出処理手段は、前記ＳＡＲ画像から前記海洋部分を認識し、認識した海洋部分から海岸線近傍の海域を特定して切り出し、切り出した海岸線近傍の海域から前記船の部分を特定してその画像を抽出する、
   請求項１に記載の対象物認識装置。
3. 前記区分抽出処理手段は、前記ＳＡＲ画像を、陸地部分と海洋部分と海岸線近傍の海域と船の部分とに区分する処理を行うことにより、前記船の部分を特定してその画像を抽出する、
   請求項１に記載の対象物認識装置。
4. 前記区分抽出処理手段は、前記ＳＡＲ画像中の複数の部分を区分する処理にディープラーニングのセマンティックセグメンテーションを適用する、
   請求項１乃至３のいずれか１項に記載の対象物認識装置。
5. コンピュータに、
   ＳＡＲ（Synthetic Aperture Rader）を用いて上空から陸地及び海洋を含む範囲を撮像して得られるＳＡＲ画像を入力し、当該ＳＡＲ画像中の少なくとも陸地部分と海洋部分とを認識してそれらを区分することで海岸線近傍の海域に存在する船の部分を特定してその部分の画像を抽出する区分抽出処理機能と、
   前記区分抽出処理機能により抽出された画像から船の類識別を行い、当該類識別の結果を出力する類識別処理機能と、
   を実現させるためのプログラム。
6. 対象物認識装置のプロセッサにより、
   ＳＡＲ（Synthetic Aperture Rader）を用いて上空から陸地及び海洋を含む範囲を撮像して得られるＳＡＲ画像を入力し、当該ＳＡＲ画像中の少なくとも陸地部分と海洋部分とを認識してそれらを区分することで海岸線近傍の海域に存在する船の部分を特定してその部分の画像を抽出することと、
   前記抽出された画像から船の類識別を行い、当該類識別の結果を出力することと、
   を含む、対象物認識方法。

Images