JP2024067780A - 画像認識システム - Google Patents
画像認識システム Download PDFInfo
- Publication number
- JP2024067780A JP2024067780A JP2022178106A JP2022178106A JP2024067780A JP 2024067780 A JP2024067780 A JP 2024067780A JP 2022178106 A JP2022178106 A JP 2022178106A JP 2022178106 A JP2022178106 A JP 2022178106A JP 2024067780 A JP2024067780 A JP 2024067780A
- Authority
- JP
- Japan
- Prior art keywords
- image
- recognition system
- encoder
- layer
- decoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims abstract description 81
- 238000013135 deep learning Methods 0.000 claims abstract description 17
- 238000013527 convolutional neural network Methods 0.000 claims description 23
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 238000004519 manufacturing process Methods 0.000 claims description 5
- 241000251468 Actinopterygii Species 0.000 claims description 4
- 241001465754 Metazoa Species 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 description 31
- 238000010586 diagram Methods 0.000 description 30
- 238000004891 communication Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 14
- 238000000034 method Methods 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 11
- 238000013480 data collection Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 230000005855 radiation Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 238000009529 body temperature measurement Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 241000271566 Aves Species 0.000 description 2
- 238000006424 Flood reaction Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 206010016531 fetishism Diseases 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- CMIAIUZBKPLIOP-YZLZLFLDSA-N methyl (1r,4ar,4br,10ar)-7-(2-hydroperoxypropan-2-yl)-4a-methyl-2,3,4,4b,5,6,10,10a-octahydro-1h-phenanthrene-1-carboxylate Chemical compound C1=C(C(C)(C)OO)CC[C@@H]2[C@]3(C)CCC[C@@H](C(=O)OC)[C@H]3CC=C21 CMIAIUZBKPLIOP-YZLZLFLDSA-N 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】画像シーケンス内の移動物体を認識するディープラーニングを用いて、雲やターゲットの形や軌道を高精度で認識可能な完全自動のリアルタイムシステムが実現可能な画像認識システムを提供する。【解決手段】画像認識システム３は、画像シーケンス内の移動物体を認識するディープラーニングを用いた画像認識システムであって、入力画像１から複数チャンネルの低解像度表現画像を作成する画像処理部３１１を有するエンコーダ３１と、エンコーダ３１の画像処理部３１１により作成された複数チャンネルの低解像度表現画像と、入力画像１の生画像をスキップ接続させるスキップ接続画像と、入力画像１の生画像と直前の画像２との差分から得られた残差画像３５との、３種類の画像のサイズを調整し、同時に入力させるデコーダ３３とを備える。【選択図】図３
Description
本発明は、画像認識システムに関し、画像シーケンス内の移動物体を認識するディープラーニングを用いて雲認識の高精度化に好適な画像認識システムに関するものである。
雲量情報は、今までは主に天気予報で利用されていている。現在は、光衛星通信技術での関心が高まっていることに伴い、衛星と地上間の光リンクへの雲の影響を軽減するため、サイトダイバーシティ技術とリンク計画自動システムへの雲量情報の反映が検討されている。雲量と太陽を含む全天情報は、天気予報や衛星光通信のサイトダイバーシティには必要である。
＜雲量測定について＞
気象庁の気象データシステムは、雲量と雲の厚さをレーザシーロメータ（雲高計）を使って地上から測定している。また、可視もしくは赤外センサによる全天カメライメージ（ＷＳＩ）も使われている。場合によっては、Sun photometerも含まれている場合がある。気象データ用衛星で地上の雲量測定もできる。
気象庁の気象データシステムは、雲量と雲の厚さをレーザシーロメータ（雲高計）を使って地上から測定している。また、可視もしくは赤外センサによる全天カメライメージ（ＷＳＩ）も使われている。場合によっては、Sun photometerも含まれている場合がある。気象データ用衛星で地上の雲量測定もできる。
本発明者らが開発したＯＢＳＯＣ（Observation system of the patch of Blue Sky
for Optical Communication）システムは、天上の温度測定で雲の測定ができる。人工知能を使用していないシステムは、自動化が難しく、また、解像度が良くないと考えられる。（図１９のとおり、全天イメージは５ピクセルで表す。）
for Optical Communication）システムは、天上の温度測定で雲の測定ができる。人工知能を使用していないシステムは、自動化が難しく、また、解像度が良くないと考えられる。（図１９のとおり、全天イメージは５ピクセルで表す。）
＜ディープラーニングを利用した雲認識システムについて＞
全天カメライメージ画像をディープラーニングモデルに入力し、雲認識を行う。画像認識には、基本的に畳み込みニューラルネットワーク（ＣＮＮ）がよく使われている。図１６に、一例としてＵ－ＮＥＴアーキテクチャを示す。画像はＣＮＮエンコーダ７０に入力され、その出力をデコーダ７１に入力する。デコーダ７１のアウトプットは認識された移動物体（オブジェクト）を含む処理済みの画像になる。ＣＮＮアーキテクチャでは、レイヤーのサイズ、枚数、利用可能なスキップ接続（Skip-connection）によって精度と複雑さが決定される。
全天カメライメージ画像をディープラーニングモデルに入力し、雲認識を行う。画像認識には、基本的に畳み込みニューラルネットワーク（ＣＮＮ）がよく使われている。図１６に、一例としてＵ－ＮＥＴアーキテクチャを示す。画像はＣＮＮエンコーダ７０に入力され、その出力をデコーダ７１に入力する。デコーダ７１のアウトプットは認識された移動物体（オブジェクト）を含む処理済みの画像になる。ＣＮＮアーキテクチャでは、レイヤーのサイズ、枚数、利用可能なスキップ接続（Skip-connection）によって精度と複雑さが決定される。
従来、ディープラーニングを利用したシンプルな雲認識は、ＣＮＮのエンコーダとデコーダで行っている（例えば、CloudSegNet,非特許文献２）。図１７に非特許文献２の最新のＣＮＮを利用した雲認識の例を示す。この場合、エンコーダ８０には３００×３００×３の画像をインプットして、３８×３８×３８×８の出力画像（Coarse-grain）粗視化表現画像（Representation）になる。この粗視化表現画像をデコーダ８１に入力して、画像の出力になる。
W. Xie, D. Liu, M. Yang, S. Chen, B. Wang, Z. Wang, Y. Xia, Y. Liu, Y. Wang, and C. Zhang, "SegCloud: a novel cloud image segmentation model using a deep convolutional neural network for ground-based all- sky-view camera observation," Atmospheric Measurement Techniques, vol. 13, no. 4, pp. 1953-1961, 2020.
S. Dev, A. Nautiyal, Y. H. Lee and S. Winkler, "CloudSegNet: A Deep Network for Nychthemeron Cloud Image Segmentation," in IEEE Geoscience and Remote Sensing Letters, vol. 16, no. 12, pp. 1814-1818, Dec. 2019,doi: 10.1109/LGRS.2019.2912140.
J. Kim, J. K. Lee, and K. M. Lee, "Accurate image super-resolution using very deep convolutional networks," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2016, pp. 1646-1654.
C. N. Long, J. M. Sabburg, J. Calbo, and D. Pages, "Retrieving cloud characteristics from ground-based daytime color all-sky images," Journal of Atmospheric and Oceanic Technology, vol. 23, no. 5, pp. 633-652, 2006.
I. Tolstikhin, N. Houlsby, A. Kolesnikov, L. Beyer, X. Zhai, T. Unterthiner, J. Yung, A. Steiner, D. Keysers, J. Uszkoreit, M. Lucic, A. Dosovitskiy, "MLP-Mixer: An all-MLP Architecture for Vision",https://doi.org/10.48550/arXiv.2105.01601
＜気象庁と衛星光通信のための雲量測定について＞
気象庁と衛星光通信のための雲量測定は、レーザシーロメータ（雲高計）／ＬＩＤＡＲを用いて行われるが、レーザシーロメータ（雲高計）／ＬＩＤＡＲのシステムは複雑で、低解像度である。また、レーザを地上から発射するので目（例えば、航空機の搭乗員）には悪い影響を及ぼす恐れがある。
気象庁と衛星光通信のための雲量測定は、レーザシーロメータ（雲高計）／ＬＩＤＡＲを用いて行われるが、レーザシーロメータ（雲高計）／ＬＩＤＡＲのシステムは複雑で、低解像度である。また、レーザを地上から発射するので目（例えば、航空機の搭乗員）には悪い影響を及ぼす恐れがある。
日射計（Sun photometer）は、太陽の放射輝度と空の放射輝度を測定するセンサである。日射計は、太陽高度計ともいう。本来１つの光検出器で全天の輝度を測定している。すなわち、全天カメラ画像を１ピクセルとして表している。そのため、曇っているかどうかという基本的な情報は取得できるが、高解像度の画像情報は得ることができない。例えば、ＯＢＳＯＣシステムの日射計で測定した昼間の日射データ（日射量）を図１８（ａ）（ｂ）に示す。図１８（ａ）（ｂ）の例では、縦軸は日射量Ｗ／ｍ2（平方メートル）を示し、横軸は時間（分）を示している。また、図１８（ａ）（ｂ）中、実線は日射（太陽放射）を表し、点線は晴れの場合を予測したレベルのフィッティング曲線（図１８（ａ））、又は参照曲線（図１８（ｂ））を表している。このＯＢＳＯＣシステムのデータは、図１８（ａ）（ｂ）に示すように、全天、特に太陽の前に雲があると、日射計で測定できるレベルが低くなる（図１８（ａ）中、窪んでいる部分など）。また、日射計では、雲がどこにあるか、どのぐらいの雲量かは不明確で、測定することはできない。
天上温度で雲量測定する場合は、イメージセンサに比べて高精度の情報が取得できないという問題がある。例えば、ＯＢＳＯＣシステムの赤外線気温計で測定したデータを図１９，２０に示す。図２０の例は、全天カメラ画像を示し、図１９の例は、天上温度測定のデータを示している。天上温度測定は、５つの赤外線気温計を使っているので、全天は５ピクセル画像で表せている。このピクセルだけでは全天をカバーすることが出来ない。また、各ピクセル画像が重なり合うので、精度も解像度も低くなる。また、赤外線気温計が使われているため、高湿度で高温の天候では測定が難しい。例えば、図１９，２０の沖縄測定データを見ると、画像では晴れであるが、天上温度によって、太陽のところに４０％以上の雲量があると測定されている。
これらのほとんどのシステムは全天カメラと一緒に使われているので、全天カメライメージのみで雲量測定ができれば、非常にシンプルなシステムになる。
これらのほとんどのシステムは全天カメラと一緒に使われているので、全天カメライメージのみで雲量測定ができれば、非常にシンプルなシステムになる。
＜ディープラーニングを使用している雲認識システムについて背景＞
ディープラーニングは人工知能の一つの分野であり、人間の脳を模倣したニューラルネットワークを使って、コンピュータで複雑な問題を学習し解決できる技術である。ディープラーニングシステムでは、ニューラルネットワークの構造と入力データにより、出力結果が変わる。したがって、最高のパフォーマンスを達成するためには、ディープラーニングの構造化デザインと入力データを準備するための革新的な方法を探し出すことが最も重要なポイントとなる。上記の非特許文献１－３では、図１６に近いＣＮＮを使ったアーキテクチャベースで、画像１枚で雲認識を行っている。
ディープラーニングは人工知能の一つの分野であり、人間の脳を模倣したニューラルネットワークを使って、コンピュータで複雑な問題を学習し解決できる技術である。ディープラーニングシステムでは、ニューラルネットワークの構造と入力データにより、出力結果が変わる。したがって、最高のパフォーマンスを達成するためには、ディープラーニングの構造化デザインと入力データを準備するための革新的な方法を探し出すことが最も重要なポイントとなる。上記の非特許文献１－３では、図１６に近いＣＮＮを使ったアーキテクチャベースで、画像１枚で雲認識を行っている。
今までの技術では、動作の伴わない個別のイメージでの雲認識システムを考えている。そのため、高精度な雲の動きの補正や雲量予想ができない。また、基本的に雲パッチ（Patch）の画像で使われているので、太陽を考慮してないシステムになり、実際の全天カメラ画像と変わり、さらなるシステム制限を引き起こしていると考えられる。移動物体であるターゲットの雲画像の例を図２１（ａ）（ｂ）に示す。今までの技術では、図２１（ａ）の雲パッチ（Patch）画像で認識を行う（CloudSegNet 非特許文献２の図４）。全天カメラ画像は図２１（ｂ）に示すように、太陽の認識も必要になり、また、雲に対して太陽が影響する場合もある。
今までのニューラルネットワーク構造は複雑で、雲の形の認識や動いているターゲット認識においては効果的でなかった。従来技術を高精度化する方法は、ニューラルネットワークのレイヤーを増やすしかないが、そこには２つの問題点がある。すなわち、システムがもっと複雑になり、リアルタイム化できない、オーバーフィッティング（Overfitting）という過学習の問題が起きる可能性が高く、その場合はシステムを使えなくなるという問題がある。
従来技術を用いた全天カメラ画像での雲認識結果を図２２（ａ）（ｂ）に示す。非特許文献２でのCloudSegNetを使用した。Defaultは、非特許文献２でのパラメータで実施した結果である。隠れ層の次元は、「１６，８，８，８，８，１６」を用い、その他のパラメータはディフォルト値（レイヤ数やフィルタサイズなど）を設定して行った。その結果、正しく雲が認識されたピクセル精度（ＰＡ）が４３％であったので、ＣＮＮを複雑にするためレイヤーのサイズを大きくしたlargeの検討も行った。隠れ層の次元は、「２５６，２５６，２５６，２５６，２５６，２５６」を用い、Defaultと同様に、その他のパラメータはディフォルト値（レイヤ数やフィルタサイズなど）を設定して行った。その結果、計算時間（Complexity）が２倍で、ピクセル精度（ＰＡ）が４７％まで認識することができた。
以上の結果から、従来技術を用いて高精度化するには限界があるため、新しい入力データ、アーキテクチャなどが必要と考えられる。
そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、画像シーケンス内の移動物体を認識するディープラーニングを用いて、雲やターゲットの形や軌道を高精度で認識可能な完全自動のリアルタイムシステムが実現可能な画像認識システムを提供することにある。
上述した課題を解決するために、第１発明に係る画像認識システムは、画像シーケンス内の移動物体を認識するディープラーニングを用いた画像認識システムであって、入力画像から複数チャンネルの低解像度表現画像を作成する画像処理部を有するエンコーダと、前記エンコーダの画像処理部により作成された複数チャンネルの低解像度表現画像と、入力画像の生画像をスキップ接続させるスキップ接続画像と、入力画像の生画像と直前の画像との差分から得られた残差画像との、３種類の画像のサイズを調整し、同時に入力させるデコーダと、を備えたことを特徴とする。
第２発明に係る画像認識システムは、第１発明において、上記残差画像は、入力画像の生画像と前の一連の画像から残差画像を計算する残差画像抽出器により得られることを特徴とする。
第３発明に係る画像認識システムは、第１発明又は第２発明において、上記残差画像抽出器は、画素単位の減算を実行することにより、残差画像を抽出することを特徴とする。
第４発明に係る画像認識システムは、第１発明において、上記移動物体は、雲、天体、災害（森林火災、マグマ、津波・洪水）、車両、バス、電車、空挺体、海上体、生産ベルト上の荷物、鳥、魚、動物、人間のいずれかであることを特徴とする。
第５発明に係る画像認識システムは、第１発明において、上記エンコーダは、ニューラルネットワークのうち、畳み込みニューラルネットワーク（ＣＮＮ）、又は多層パーセプトロンニューラルネットワーク（ＭＬＰ－Ｍｉｘｅｒ）であることを特徴とする。
第６発明に係る画像認識システムは、第１発明又は第２の発明において、上記デコーダは、上記エンコーダの出力のアップサンプリングを行う第１の畳み込み層と、アップサンプリングされた複数チャンネルの低解像度表現画像とスキップ接続画像と残差画像とを連結する連結層と、連結された画像の画素単位の処理を行う第２の畳み込み層と、処理された第２の畳み込み層を全結合させる全結合層とを備えたことを特徴とする。
上述した構成からなる本発明によれば、画像シーケンス内の移動物体を認識するディープラーニングを用いて、雲やターゲットの形や軌道を高精度で認識可能な完全自動のリアルタイムシステムが実現可能な画像認識システムを実現することができる。
以下、本発明を適用した画像認識システムについて、図面を参照しながら詳細に説明をする。
＜第１実施形態＞
本第１実施形態は、第１図に示すように、移動物体として空を移動する雲を全天カメラ４０でリアルタイムに撮像し、撮像した入力画像シーケンスａ１、ａ２、ａ３、・・・ａｉ・・・ａｎ（ｎは正数）をストレージサーバ４１に蓄積しておき、その蓄積した入力画像シーケンスを画像認識システム搭載のコンピュータ４２により、画像シーケンス内の雲を認識するディープラーニングを用いたシステムである。以下では、本発明の画像認識システムをTransMiSSと略して用いることを併用する。
本第１実施形態は、第１図に示すように、移動物体として空を移動する雲を全天カメラ４０でリアルタイムに撮像し、撮像した入力画像シーケンスａ１、ａ２、ａ３、・・・ａｉ・・・ａｎ（ｎは正数）をストレージサーバ４１に蓄積しておき、その蓄積した入力画像シーケンスを画像認識システム搭載のコンピュータ４２により、画像シーケンス内の雲を認識するディープラーニングを用いたシステムである。以下では、本発明の画像認識システムをTransMiSSと略して用いることを併用する。
なお、本画像認識システムは汎用のコンピュータにソフトウェアで実現しても良いし、またエンコーダやデコーダを専用のハードウェアで実現しても良い。図２に本発明を適用した画像認識システムの概略構成例を示す。この画像認識システムは、画像取得用の画像センサ５０と、本発明の画像認識処理を行うＣＰＵやＧＰＵなどのプロセッサ５１と、画像認識システムソフトウェアを記憶している記憶装置５２と、画像認識結果を出力するディスプレイやプリンタなどの出力装置５３と、を備えている。図２の例では、雲以外の各種移動物体の画像認識に適用できる一般的な構成を示している。例えば、画像センサ５０は、通信衛星に搭載されたカメラ、車両、バス、電車などを撮像する外部カメラ、車外や車窓から見える風景を撮像するカメラ、生産ベルト状の荷物の移動を監視するカメラ、屋外や自然環境の中に設置したカメラなど、各種画像取得に適した状態で移動体の画像が取得される。また、画像認識される画像は、既に取得された移動体のターゲット画像を記憶装置５２に蓄積されたものを利用しても良い。
以下では、移動物体は、雲を例にして説明するが、雲に限定されない。例えば、移動物体は、天体、災害（森林火災、マグマ、津波・洪水）、車両、バス、電車、空挺体、海上体、生産ベルト上の荷物、鳥、魚、動物、人間のいずれも同様に本発明を適用できる。
＜第１実施形態の構成＞
図３は、本発明の第１実施形態を示す画像認識システムの構成ブロック図であり、図４は、本発明の第１実施形態の画像認識システムにおけるデコーダの画素処理部のブロック図である。
図３は、本発明の第１実施形態を示す画像認識システムの構成ブロック図であり、図４は、本発明の第１実施形態の画像認識システムにおけるデコーダの画素処理部のブロック図である。
本第１実施形態の画像認識システム３は、図３、図４に示すように、エンコーダ３１と、複数チャンネルの低解像度画像（粗視化表現）３２と、デコーダ３３と、残差画像抽出器３４と、残差画像３５と、を有する。また、エンコーダ３１は画像処理部３１１を有し、デコーダ３３は、本発明の特徴的な画素処理部３３１を有する。
さらに、画素処理部３３１は、図４に示すように、第１畳み込み層３３２と、処理結果３３３と、連結層３３４と、処理結果３３５と、第２畳み込み層３３６と、処理結果３３７と、全連結層３３８と、を有する。
さらに、画素処理部３３１は、図４に示すように、第１畳み込み層３３２と、処理結果３３３と、連結層３３４と、処理結果３３５と、第２畳み込み層３３６と、処理結果３３７と、全連結層３３８と、を有する。
＜第１実施形態の構成の説明＞
本第１実施形態の画像認識システム３は、入力画像１から複数チャンネルの低解像度表現画像３２を作成する画像処理部３１１を有するエンコーダ３１と、エンコーダ３１の画像処理部３１１により作成された複数チャンネルの低解像度表現画像３２と、入力画像１の生画像をスキップ接続させるスキップ接続画像と、入力画像１の生画像と直前の画像２との差分から得られた残差画像３５との、３種類の画像のサイズを調整し、同時に入力させるデコーダ３３と、を有する。ここで、使用するエンコーダ３１やデコーダ３３はディープニューラルネットワーク技術を利用している。エンコーダ３１には、例えば、畳み込みニューラルネットワーク（ＣＮＮ）や多層パーセプトロンニューラルネットワーク（例えば、ＭＬＰ－ＭＩｘｅｒ）などを利用することができる。
本第１実施形態の画像認識システム３は、入力画像１から複数チャンネルの低解像度表現画像３２を作成する画像処理部３１１を有するエンコーダ３１と、エンコーダ３１の画像処理部３１１により作成された複数チャンネルの低解像度表現画像３２と、入力画像１の生画像をスキップ接続させるスキップ接続画像と、入力画像１の生画像と直前の画像２との差分から得られた残差画像３５との、３種類の画像のサイズを調整し、同時に入力させるデコーダ３３と、を有する。ここで、使用するエンコーダ３１やデコーダ３３はディープニューラルネットワーク技術を利用している。エンコーダ３１には、例えば、畳み込みニューラルネットワーク（ＣＮＮ）や多層パーセプトロンニューラルネットワーク（例えば、ＭＬＰ－ＭＩｘｅｒ）などを利用することができる。
エンコーダ３１は、画像処理部３１１を有し、画像処理部３１１により、例えば、図３に示すように、小さいサイズのチャンネル画像（またはパッチ画像）に切り出し、複数チャンネルの低解像度表現画像（またはパッチ画像）３２を作成する。
複数チャンネルの低解像度表現画像３２は、画像処理部３１１の結果である。
デコーダ３３は、畳み込みニューラルネットワーク（ＣＮＮ）を用いている。デコーダ３３は、本発明の特徴的な構成であり、図４に示すように、３種類の入力データを使用している。すなわち、３つの入力（単一画像１、残差画像６、粗視化表現５）からの結合情報を処理することにより、予測画像の高解像度表現（細粒度表現）を再作成する。これらの画素（ピクセル）単位の処理を画素処理部３３１により行う。
デコーダ３３の画素処理部３３１は、図４に示すように、エンコーダ３１の出力のアップサンプリングを行う第１の畳み込み層３３２と、アップサンプリングされた複数チャンネルの低解像度表現画像とスキップ接続画像と残差画像とを連結する連結層３３４と、連結された画像の画素単位の処理を行う第２の畳み込み層３３６と、処理された第２の畳み込み層３３６を全結合させる全結合層３３８とを備えている。ここで、畳み込み層（convolution layer）は、機械学習の標準的な処理層である。
画像の生画像データ（スキップ接続の接続画像）と残差画像データは同じ解像度であるが、エンコーダ３１の出力は低解像度なので、３種類のデータ解像度を合わせるために、最初に第１畳み込み層３３２の中でアップサンプリング（Up-sampling）の処理にも特徴がある。３種類のデータを合わせるので、図４に示すように、最初にエンコーダ３１の出力をアップサンプリング（Up-sampling）してから、３つの入力データを連結層３３４で合わせてから、第２畳み込み層３３６と全連結層３３８で処理を行い、出力画像４を得る。
残差画像抽出器（Residual extractor）３４は、図５に示すように、入力画像の生画像と前の一連の画像（時間ｔの瞬時画像より過去の画像ｔ－１～ｔ－５）から残差画像を計算する。この残差画像抽出器３４は、画素単位（ピクセル単位）の減算を実行することにより、残差画像を抽出する。抽出された残差画像は、図３、図４に示すデコーダ３３に入力し、動いているターゲット（雲）の認識精度を上げ、また、ターゲット（雲）の移動軌道を予測できるようにする。雲は動いているため、残差画像は雲の形状と位置を決定するのに役立つ。移動物体（オブジェクト）の形状／動きの検出に残差画像抽出器を使用した点も新しいと考える。
＜従来のディープラーニングと本発明の相違点について＞
従来のディープラーニングでは、スキップ接続（Skip-connection）は普通に使われているが、基本的に、図１６のエンコーダ７０でのダウンスケール処理（downscale process）の前の出力を直接デコーダ７１にコピーする使用方法である（例えば、Ｕ－ＮＥＴの図１６に示す）。スキップ接続（Skip-connection）で画像の生データを使用している非特許文献は、非特許文献１～４のうち１件の繋いでいるのみになるが、その使用方法としては、非特許文献３に記載のように、ＣＮＮデコーダの出力と画像の生データを足して、処理画像を出力する最終段のところで利用している。これに対し、本発明では、画像の生データをデコーダに入れて、処理を行う方法である点で従来とは異なる。また、本発明では、３種類の画像データをデコーダに入力し、処理を行う。従来の処理では、非特許文献３の記載のように、エンコーダの出力をデコーダに通すが、画像の生データはデコーダの最終段に加算し、処理画像を出力する。連続した複数の画像から残差画像を作成し、雲・ターゲットの形状と位置を決定するのに利用する。
従来のディープラーニングでは、スキップ接続（Skip-connection）は普通に使われているが、基本的に、図１６のエンコーダ７０でのダウンスケール処理（downscale process）の前の出力を直接デコーダ７１にコピーする使用方法である（例えば、Ｕ－ＮＥＴの図１６に示す）。スキップ接続（Skip-connection）で画像の生データを使用している非特許文献は、非特許文献１～４のうち１件の繋いでいるのみになるが、その使用方法としては、非特許文献３に記載のように、ＣＮＮデコーダの出力と画像の生データを足して、処理画像を出力する最終段のところで利用している。これに対し、本発明では、画像の生データをデコーダに入れて、処理を行う方法である点で従来とは異なる。また、本発明では、３種類の画像データをデコーダに入力し、処理を行う。従来の処理では、非特許文献３の記載のように、エンコーダの出力をデコーダに通すが、画像の生データはデコーダの最終段に加算し、処理画像を出力する。連続した複数の画像から残差画像を作成し、雲・ターゲットの形状と位置を決定するのに利用する。
特許文献１では、１枚の画像のみをＣＮＮで処理する。また、動き検出画像のみを別ＣＮＮで処理する。最後に結果を足して、最大プーリング（Ｍａｘレベル）を使って、アウトプットしている。本発明では、１枚画像はエンコーダで通し、エンコーダのアウトプットの粗視化表現を他の画像と同じ解像度にした後、３種類のデータをＣＮＮデコーダに入れて同時に処理を行う。
従来技術の通り、エンコーダは、図１６のＣＮＮエンコーダ７０ベースでもできるが、非特許文献５記載のように、最近開発されたＭＬＰ－ＭｉｘｅｒはＣＮＮよりも優れた性能を持つ画像分類の手法である。本発明では実験結果の比較のために多層パーセプトロンニューラルネットワークとして、ＭＬＰ－Ｍｉｘｅｒを使用した。本来、ＭＬＰ－Ｍｉｘｅｒは、画像分類のため使用するが、本発明では画像セグメンテーションに使用するため、図６に示すように、エンコーダ３１では、ＭＬＰ Ｍｉｘｅｒの一部だけが画像処理部３１１として使われている。この画像処理部３１１は、図６に示すように、チャンネル単位全結合層３１２と、平坦化層３１３と、Ｎｘ（混合層）３１４と、を有する。ここで、入力画像１を小さな低解像度表現のチャンネル画像に切り出す。切り出されたチャンネル画像は、チャンネル単位全結合層３１２によりチャンネル単位で合わせて出力した３次元マトリクスを平坦化層３１３に入れ、一次元に平坦化し、チャンネル画像Ｎｘごとに混合層３１４により混合される。エンコーダ３１は、図６に示すように、画像処理部３１１と、層正規化層３１５と、再形成層３１６と、を有する。画像処理部３１１から出力されたチャンネル画像を層正規化層３１５にレイヤーノーマライズし、再形成層３１６で低解像度表現のチャンネル画像に形を変える。このチャンネル画像は、パッチ画像ともいう。
＜第１実施形態の変形例＞
図７に本第１実施形態の画像認識システムにおける変形例を示す。図７の例では、残差画像入力先を変更した。
図７に本第１実施形態の画像認識システムにおける変形例を示す。図７の例では、残差画像入力先を変更した。
本デコーダ６０は、画素処理部６０１を有し、画素処理部６０１は、図７に示すように、第１畳み込み層６０２と、処理結果６０３と、連結層６０４と、処理結果６０５と、第２畳み込み層６０６と、処理結果６０７と、連結層６０８と、処理結果６０９と、第３畳み込み層６１０と、処理結果６１１と、全連結層６１２と、を有する。ここで、本デコーダ６０の画素処理部６０１は、第１実施形態の画素処理部３３１に対して、連結層６０８と第３畳み込み層６１０を追加し、残差画像の入力と、第２畳み込み層６０６の出力を連結層６０８に入力させて合わせている点が異なる。
図２３に本第１実施形態の画像認識システムにおけるその他の変形例を示す。図２３の例では、スキップ接続先と残差画像入力先を変更した。
本デコーダ６０ａは、画素処理部６０１ａを有し、画素処理部６０１ａは、図２３に示すように、第１畳み込み層６０２と、処理結果６０３と、連結層６０４と、処理結果６０５と、第２畳み込み層６０６と、処理結果６０７と、連結層６０８と、処理結果６０９と、第３畳み込み層６１０と、処理結果６１１と、全連結層６１２と、を有する。ここで、本デコーダ６０ａの画素処理部６０１ａは、第１実施形態の画素処理部３３１に対して、連結層６０８と第３畳み込み層６１０を追加し、スキップ接続先の入力と、第２畳み込み層６０６の出力を連結層６０８に入力させて合わせている点が異なる。
これにより、畳み込み層を１層増やし、画素処理部６０１ａの処理を分散させているので、処理時間の短縮につながる。画像認識の精度と処理スピードの両立が図れる。
このように、本第１実施形態及び第１実施形態の変形例によれば、全天カメラから取得した連続的なイメージ全てを入力データとして使用し、アーキテクチャとして新しいニューラルネットワーク構造を使用しているので、雲やターゲットの形や軌道を高精度で認識可能な完全自動のリアルタイムシステムを実現することができる。
＜第２実施形態＞
本第２実施形態の画像認識システムは、図１の画像認識システムの残差画像抽出器３４と残差画像３５を除いて、デコーダ入力にスキップ接続のスキップ接続画像を入力する点だけが異なるので、以下では簡単に説明する。
本第２実施形態の画像認識システムは、図１の画像認識システムの残差画像抽出器３４と残差画像３５を除いて、デコーダ入力にスキップ接続のスキップ接続画像を入力する点だけが異なるので、以下では簡単に説明する。
＜第２実施形態の構成＞
図８は、本発明の第２実施形態を示す画像認識システムの構成ブロック図であり、図９は、本発明の第２実施形態の画像認識システムにおけるデコーダの画素処理部のブロック図である。
図８は、本発明の第２実施形態を示す画像認識システムの構成ブロック図であり、図９は、本発明の第２実施形態の画像認識システムにおけるデコーダの画素処理部のブロック図である。
本第２実施形態の画像認識システム３ａは、図８、図９に示すように、エンコーダ３１と、複数チャンネルの低解像度画像（粗視化表現）３２と、デコーダ３３ａと、を有する。また、エンコーダ３１は画像処理部３１１を有し、デコーダ３３ａは、本発明の特徴的な画素処理部３３１ａを有する。
＜第２実施形態の構成の説明＞
第１実施形態においては、デコーダ入力を３入力にしていたが、スキップ接続のスキップ接続画像と複数チャンネルの低解像度表現画像の２入力をデコーダ３３ａに入力させる構成とし、残差画像の入力をなしとした。これ以外は、第１実施形態と同様なので、説明を省略する。
＜第２実施形態の変形例＞
図２４に本発明の第２実施形態の画像認識システムにおける変形例を示す。図２５に本発明の第２実施形態の画像認識システムにおけるデコーダの画素処理部の変形例を示す。
図２４に本発明の第２実施形態の画像認識システムにおける変形例を示す。図２５に本発明の第２実施形態の画像認識システムにおけるデコーダの画素処理部の変形例を示す。
本第２実施形態の画像認識システム３ｃは、図２４、図２５に示すように、エンコーダ３１と、複数チャンネルの低解像度画像（粗視化表現）３２と、デコーダ３３ｃと、残差画像抽出器３４と、残差画像３５と、を有する。また、エンコーダ３１は画像処理部３１１を有し、デコーダ３３ｃは、本発明の特徴的な画素処理部３３１ｃを有する。
＜第２実施形態の変形例の説明＞
第２実施形態においては、デコーダ入力を２入力にしていたが、第２実施形態の変形例では、複数チャンネルの低解像度表現画像と残差画像の２入力をデコーダ３３ｃに入力させる構成とし、スキップ接続のスキップ接続画像入力をなしとした。これ以外は、第２実施形態と同様なので、説明を省略する。
第２実施形態においては、デコーダ入力を２入力にしていたが、第２実施形態の変形例では、複数チャンネルの低解像度表現画像と残差画像の２入力をデコーダ３３ｃに入力させる構成とし、スキップ接続のスキップ接続画像入力をなしとした。これ以外は、第２実施形態と同様なので、説明を省略する。
＜第３実施形態＞
第３実施形態は、残差画像の代わりに、動く検出画像（例えば、オプティカルフロー画像）を利用した点が、図１の第１実施形態と異なるものである。３入力をデコーダに入力せる点は同じであるが、動き検出画像は画像の前後関係の影響もあるので、若干画像処理が複雑になるが、高精度の画像認識に効果を奏する。
第３実施形態は、残差画像の代わりに、動く検出画像（例えば、オプティカルフロー画像）を利用した点が、図１の第１実施形態と異なるものである。３入力をデコーダに入力せる点は同じであるが、動き検出画像は画像の前後関係の影響もあるので、若干画像処理が複雑になるが、高精度の画像認識に効果を奏する。
＜第３実施形態の構成＞
図１０は、本発明の第３実施形態を示す画像認識システムの構成ブロック図であり、図１１は、本発明の第３実施形態の画像認識システムにおけるデコーダの画素処理部のブロック図である。
図１０は、本発明の第３実施形態を示す画像認識システムの構成ブロック図であり、図１１は、本発明の第３実施形態の画像認識システムにおけるデコーダの画素処理部のブロック図である。
本第３実施形態の画像認識システム３ｂは、図１０に示すように、エンコーダ３１と、複数チャンネルの低解像度画像（粗視化表現）３２と、デコーダ３３ｂと、動き検出画像抽出器４４と、動き検出画像４５と、を有する。また、エンコーダ３１は画像処理部３１１を有し、デコーダ３３ｂは、本発明の特徴的な画素処理部３３１ｂを有する。
さらに、画素処理部３３１ｂは、図１１に示すように、第１畳み込み層３３２と、処理結果３３３と、連結層３３４と、処理結果３３５と、第２畳み込み層３３６と、処理結果３３７と、全連結層３３８と、を有する。
さらに、画素処理部３３１ｂは、図１１に示すように、第１畳み込み層３３２と、処理結果３３３と、連結層３３４と、処理結果３３５と、第２畳み込み層３３６と、処理結果３３７と、全連結層３３８と、を有する。
＜第３実施形態の構成の説明＞
本第３実施形態の画像認識システム３ｂは、残差画像に代えて、動き検出画像をデコーダ３３ｂに入力させる以外は、第１実施形態の画像認識システムと同様であるので、説明を省略する。
本第３実施形態の画像認識システム３ｂは、残差画像に代えて、動き検出画像をデコーダ３３ｂに入力させる以外は、第１実施形態の画像認識システムと同様であるので、説明を省略する。
このように、本第２実施形態、本第３実施形態によれば、本第１実施形態に加えて、全天カメラから取得した連続的なイメージ全てを入力データとして使用し、アーキテクチャとして新しいニューラルネットワーク構造を使用しているので、雲やターゲットの形や軌道を高精度で認識可能な完全自動のリアルタイムシステムを実現することができる。
なお、雲以外の移動体画像に対しても、例えば、天体、災害（森林火災、マグマ、津波・洪水）、車両、バス、電車、空挺体、海上体、生産ベルト上の荷物、鳥、魚、動物、人間のいずれの移動体画像（ターゲット）にも、上述した実施形態の画像認識処理を同様に適用して、画像認識の高精度化や自動リアルタイム処理の装置の実現をすることができる。
本発明の作用・効果
＜効果の評価パラメータ＞
Pixel accuracy（ＰＡ）ピクセル精度：画像の中に何％正しく認識されたピクセルを表す結果比較のため、Complexityは、同じシステムの計算時間で合わせている。
本発明者らのＯＢＳＯＣデータを使って、雲認識の比較を行った。認識方法のパラメータを図１２と図１３に示す。CloudSegNet_defaultは、非特許文献２のようなスペックで、従来技術の雲認識方法である。CloudSegNet_largeは、従来技術の方法を複雑化（レイヤーを増やしている）して行った評価である。TransMiss_woRは、図８と図９のように、エンコーダ→デコーダの低解像度対策のため、スキップ接続（Skip-connection）の１枚画像の生データのみを追加した場合である。TransMiss_smallとTransMiss_baseは、本発明の二つの構成である。TransMiss_smallのほうは簡単な構成になる。それぞれの具体的なパラメータを図１２に示す。
＜効果の評価パラメータ＞
Pixel accuracy（ＰＡ）ピクセル精度：画像の中に何％正しく認識されたピクセルを表す結果比較のため、Complexityは、同じシステムの計算時間で合わせている。
本発明者らのＯＢＳＯＣデータを使って、雲認識の比較を行った。認識方法のパラメータを図１２と図１３に示す。CloudSegNet_defaultは、非特許文献２のようなスペックで、従来技術の雲認識方法である。CloudSegNet_largeは、従来技術の方法を複雑化（レイヤーを増やしている）して行った評価である。TransMiss_woRは、図８と図９のように、エンコーダ→デコーダの低解像度対策のため、スキップ接続（Skip-connection）の１枚画像の生データのみを追加した場合である。TransMiss_smallとTransMiss_baseは、本発明の二つの構成である。TransMiss_smallのほうは簡単な構成になる。それぞれの具体的なパラメータを図１２に示す。
＜本発明と従来技術の比較結果について＞
＜従来技術の結果＞
図１３に従来技術と本発明の各処理の比較結果を示す。従来方式のCloudSegNet_defaultは６ｍｓ以下で、雲のピクセル精度（ＰＡ）は４３％以上である。また、従来方式を複雑化した方法のCloudSegNet_largeの場合、１０ｍｓ以上で、ＰＡは４７．６％であり、ほぼ効果がないと思われる。
＜従来技術の結果＞
図１３に従来技術と本発明の各処理の比較結果を示す。従来方式のCloudSegNet_defaultは６ｍｓ以下で、雲のピクセル精度（ＰＡ）は４３％以上である。また、従来方式を複雑化した方法のCloudSegNet_largeの場合、１０ｍｓ以上で、ＰＡは４７．６％であり、ほぼ効果がないと思われる。
＜本発明の結果＞
画像の生データのスキップ接続（Skip-connection）を追加したTransMiss_woRIでは、雲のピクセル精度ＰＡは８４．７％になるが、計算時間（Complexity）は６０ｍｓ以上になる。TransMiss_smallは、６ｍｓ以下で、CloudSegNet_defaultに近い複雑さの構成だと思われるが、ピクセル精度ＰＡは８７．２％になるので、同じ複雑さのCloudSegNet_defaultと比べると約４０％以上高い効果が出ている。さらに、TransMiss_baseの場合だと、TransMiss_woRIと同じぐらいの６２ｍｓとなるが、ピクセル精度ＰＡは他処理よりも高い９４．１％以上になる。雲（ターゲット）認識に対して、本発明は非常に効果がある。また、軌道予測には１枚画像ではなく、連続した複数の画像から作成する残差画像情報も大事だと考えられる。
画像の生データのスキップ接続（Skip-connection）を追加したTransMiss_woRIでは、雲のピクセル精度ＰＡは８４．７％になるが、計算時間（Complexity）は６０ｍｓ以上になる。TransMiss_smallは、６ｍｓ以下で、CloudSegNet_defaultに近い複雑さの構成だと思われるが、ピクセル精度ＰＡは８７．２％になるので、同じ複雑さのCloudSegNet_defaultと比べると約４０％以上高い効果が出ている。さらに、TransMiss_baseの場合だと、TransMiss_woRIと同じぐらいの６２ｍｓとなるが、ピクセル精度ＰＡは他処理よりも高い９４．１％以上になる。雲（ターゲット）認識に対して、本発明は非常に効果がある。また、軌道予測には１枚画像ではなく、連続した複数の画像から作成する残差画像情報も大事だと考えられる。
＜本発明の効果が最も発揮される利用例＞
本発明者らが開発したＯＢＳＯＣシステム（環境データ情報収集システム）を図１４に示し、環境データ情報収集システムの環境データ情報収集部の回路ブロック図を図１５に示す。詳細は、鈴木健治、他、「衛星－地上間光通信のための環境データによるサイトダイバーシティ効果解析」、第６１回宇宙科学技術連合講演会講演集、２０１７年を参照することとし、本発明の効果が発揮される利用例として、ＯＢＳＯＣシステム（環境データ情報収集システム）について簡単に説明する。
本発明者らが開発したＯＢＳＯＣシステム（環境データ情報収集システム）を図１４に示し、環境データ情報収集システムの環境データ情報収集部の回路ブロック図を図１５に示す。詳細は、鈴木健治、他、「衛星－地上間光通信のための環境データによるサイトダイバーシティ効果解析」、第６１回宇宙科学技術連合講演会講演集、２０１７年を参照することとし、本発明の効果が発揮される利用例として、ＯＢＳＯＣシステム（環境データ情報収集システム）について簡単に説明する。
環境データ情報収集システム１６０は、図１４に示すように、観測局：環境データ情報収集装置１６１と、環境データ衛星通信設備１６２と、センター局１６３と、インターネット１６４と、電話網１６５と、衛星追尾アンテナ搭載地上局１６７と、通信衛星１６８と、Ｗｅｂ公開１６９と、ＩＥＥＥ１８８８フェチ公開１７０と、から構成されている。さらに、観測局：環境データ情報収集装置１６１は、環境データ情報収集部１６１１と、全天カメラ１６１２と、雲量・雲高計１６１３と、全天日射計１６１４と、風向・風速計１６１５と、外気温度・湿度計１６１６と、雨量計１６１７と、気圧計１６１８と、電源部１６１９と、商用電源１６２０と、から構成されている。また、センター局１６３は、環境データ情報収集解析表示サーバ１６３１を有しており、ＷＥＢ公開１６９などの表示・閲覧制御を行っている。
以下では、環境データ情報収集システム（OBSOC：Observation system of the patch of Blue Sky for Optical Communication）の主要な構成について説明する。
環境データ情報収集システム１６０は、日本列島の緯度経度の離れた１０地点の観測局において環境データ情報を収集する環境データ情報収集装置１６１の１０局とＮＩＣＴ小金井のセンター局１６３から構成される。収集された環境データ情報は地上のネットワークを介してセンター局１６３の表示サーバ１６３１に伝送される．リアルタイム環境データ情報表示例は、ＵＲＬリンクのhttps://sstg.nict.go.jp/OBSOC/にアクセスすることにより、閲覧できる。日本地図上で北は北海道大樹町から南は沖縄の環境データ情報として，仰角５度以上の全天カメラ画像データ，赤外放射計を用いた雲量・雲高データ及び，各種気象データを１分値で取得している。表示サーバ１６３１は環境データ情報をデータベースに登録すると共に全雲量，晴天率（晴天域判定），光通信可能判定，日平均等の統計データ情報処理を行う。また，過去データの表示機能や周回衛星のＴＬＥ軌道要素を入力して可視範囲にある観測局の中から光通信可能な観測局を推定できる。
環境データ情報収集システム１６０は、日本列島の緯度経度の離れた１０地点の観測局において環境データ情報を収集する環境データ情報収集装置１６１の１０局とＮＩＣＴ小金井のセンター局１６３から構成される。収集された環境データ情報は地上のネットワークを介してセンター局１６３の表示サーバ１６３１に伝送される．リアルタイム環境データ情報表示例は、ＵＲＬリンクのhttps://sstg.nict.go.jp/OBSOC/にアクセスすることにより、閲覧できる。日本地図上で北は北海道大樹町から南は沖縄の環境データ情報として，仰角５度以上の全天カメラ画像データ，赤外放射計を用いた雲量・雲高データ及び，各種気象データを１分値で取得している。表示サーバ１６３１は環境データ情報をデータベースに登録すると共に全雲量，晴天率（晴天域判定），光通信可能判定，日平均等の統計データ情報処理を行う。また，過去データの表示機能や周回衛星のＴＬＥ軌道要素を入力して可視範囲にある観測局の中から光通信可能な観測局を推定できる。
環境データ情報収集装置１６１の各種観測センサの諸元を以下に示す。晴天域を識別するための全天カメラ画像（１画像あたり２００ＫＢ程度）、雲量・雲高計と各種気象測器のデータを収集する（１データ２６３バイト）。気象測器の内湿度計以外は信頼性を確保するため気象庁検定可能品を使用している。全天カメラ１６２の仕様は、カラーＣＣＤ魚眼レンズによる全天モニタＶＧＡ画像，仰角５度以上である。雲量・雲高計１６１３の仕様は、天頂及び東西南北に仰角５５度方向の赤外放射温度計（それぞれ視野角約６０度）：雲量精度±６％，雲高範囲０ｍ～８０００ｍ，雲高精度±２００ｍである。外気温度・湿度計１６１６の温度計の仕様は、－６０℃～６０℃，精度２０℃において０．２℃以内である。外気温度・湿度計１６１６の湿度計の仕様は、０％～１００％ＲＨ，精度±１．８％ＲＨ（＠２３℃），自然通風シェルターを使用している。気圧計１６１８の仕様は、５００～１１００hPa，分解能０．０１hPa，精度±０．１５hPa以内である。全天日射計１６１４の仕様は、０～２０００Ｗ／ｍ2（平方メートル）である。風向・風速計１６１５の仕様は、計測範囲５０ｍ/sec Max，耐風速１００ｍ/secである。雨量計１６１７の仕様は、転倒ます式ヒータ付雨量計、精度：雨量２０ｍｍ以下±０．５ｍｍ以内、２０ｍｍを超える時±３％である。環境データ情報収集システムを利用してリアルタイムの環境データを取得することにより、災害の被害低減に本発明を利用することができる。
図１４、図１５に示したＯＢＳＯＣシステムにおいて、２０１４年から日本国内１０カ所で雲画像と気象データを取得している。ＯＢＳＯＣシステムはＣＣＳＤＳ標準化のGreenBookで気象データシステムとして、紹介されている。GreenBookではサイトダイバーシティに必要となる測定器と測定方法を紹介している。現在、光地上局ネットワークはBridgecom（米国）、ESA（欧州）で開発されている。また、オーストラリア・ニュージーランドで光地上局ネットワーク開発を検討している。リアルタイム自動システムや衛星リンク計画において、雲量情報はクリティカルパラメータとなっている。ディープラーニングを使用した雲認識システムが開発できれば、サイトダイバーシティの自動システムができる。
衛星光通信分野以外では、同じ技術を気象予報における高精度な自動システムに応用できる。スコープを広げると、本発明は動いているターゲットを認識できるシステムなので、雲認識だけではなく、ドローン・車・飛行機の認識などにも応用できる。
もう一つの応用例としては、船のナビゲーションシステム開発である。現在のナビゲーションシステムは、衛星のＧＰＳ信号を使用しているが、ＧＰＳ信号へのジャミングの危険性が増えている。そのため、太陽や星を使った六分儀システムの信頼性が高いと思われている。本発明の技術を使うと、全天カメライメージで六分儀システムと同等のナビゲーションが可能になる。
ａ１、ａ２、ａ３・・・ａｉ・・・ａｎ 入力画像シーケンス
１ 入力画像
２ 前画像（直前の画像）
３、３ａ、３ｂ、３ｃ 画像認識システム
４ 出力画像
５ 粗視化表現（複数チャンネルの低解像度画像）
６ 残差画像
３１ エンコーダ
３２ 複数チャンネルの低解像度画像（特徴マップ）
３３ デコーダ
３４ 残差画像抽出器
３５ 残差画像
４０ 全天カメラ
４１ ストレージサーバ
４２ コンピュータ
５０ 画像センサ
５１ プロセッサ
５２ 記憶装置
５３ 出力装置
６０、６０ａ デコーダ
７０ エンコーダ
７１ デコーダ
８０ エンコーダ
８１ デコーダ
１６０ 環境データ情報収集システム
１６１ 観測局：環境データ情報収集装置
１６２ 環境データ衛星通信設備
１６３ センター局
１６４ インターネット
１６５ 電話網
１６７ 衛星追尾アンテナ搭載地上局
１６８ 通信衛星
１６９ Ｗｅｂ公開
１７０ ＩＥＥＥ１８８８フェチ公開
３１１ 画像処理部
３１２ チャンネル単位全結合層
３１３ 平坦化層
３１４ Ｎｘ（混合層）
３１５ 層正規化層
３１６ 再形成層
３３１、３３１ａ、３３１ｂ、３３１ｃ 画素処理部
３３２ 第１畳み込み層
３３３ 処理結果
３３４ 連結層
３３５ 処理結果
３３６ 第２畳み込み層
３３７ 処理結果
３３８ 全連結層
６０１、６０１ａ 画素処理部
６０２ 第１畳み込み層
６０３ 処理結果
６０４ 連結層
６０５ 処理結果
６０６ 第２畳み込み層
６０７ 処理結果
６０８ 連結層
６０９ 処理結果
６１０ 第３畳み込み層
６１１ 処理結果
６１２ 全連結層
１６１１ 環境データ情報収集部
１６１２ 全天カメラ
１６１３ 雲量・雲高計
１６１４ 全天日射計
１６１５ 風向・風速計
１６１６ 外気温度・湿度計
１６１７ 雨量計
１６１８ 気圧計
１６１９ 電源部
１６２０ 商用電源
１６３１ 環境データ情報収集解析表示サーバ
１ 入力画像
２ 前画像（直前の画像）
３、３ａ、３ｂ、３ｃ 画像認識システム
４ 出力画像
５ 粗視化表現（複数チャンネルの低解像度画像）
６ 残差画像
３１ エンコーダ
３２ 複数チャンネルの低解像度画像（特徴マップ）
３３ デコーダ
３４ 残差画像抽出器
３５ 残差画像
４０ 全天カメラ
４１ ストレージサーバ
４２ コンピュータ
５０ 画像センサ
５１ プロセッサ
５２ 記憶装置
５３ 出力装置
６０、６０ａ デコーダ
７０ エンコーダ
７１ デコーダ
８０ エンコーダ
８１ デコーダ
１６０ 環境データ情報収集システム
１６１ 観測局：環境データ情報収集装置
１６２ 環境データ衛星通信設備
１６３ センター局
１６４ インターネット
１６５ 電話網
１６７ 衛星追尾アンテナ搭載地上局
１６８ 通信衛星
１６９ Ｗｅｂ公開
１７０ ＩＥＥＥ１８８８フェチ公開
３１１ 画像処理部
３１２ チャンネル単位全結合層
３１３ 平坦化層
３１４ Ｎｘ（混合層）
３１５ 層正規化層
３１６ 再形成層
３３１、３３１ａ、３３１ｂ、３３１ｃ 画素処理部
３３２ 第１畳み込み層
３３３ 処理結果
３３４ 連結層
３３５ 処理結果
３３６ 第２畳み込み層
３３７ 処理結果
３３８ 全連結層
６０１、６０１ａ 画素処理部
６０２ 第１畳み込み層
６０３ 処理結果
６０４ 連結層
６０５ 処理結果
６０６ 第２畳み込み層
６０７ 処理結果
６０８ 連結層
６０９ 処理結果
６１０ 第３畳み込み層
６１１ 処理結果
６１２ 全連結層
１６１１ 環境データ情報収集部
１６１２ 全天カメラ
１６１３ 雲量・雲高計
１６１４ 全天日射計
１６１５ 風向・風速計
１６１６ 外気温度・湿度計
１６１７ 雨量計
１６１８ 気圧計
１６１９ 電源部
１６２０ 商用電源
１６３１ 環境データ情報収集解析表示サーバ
Claims (6)
- 画像シーケンス内の移動物体を認識するディープラーニングを用いた画像認識システムであって、
入力画像から複数チャンネルの低解像度表現画像を作成する画像処理部を有するエンコーダと、
前記エンコーダの画像処理部により作成された複数チャンネルの低解像度表現画像と、入力画像の生画像をスキップ接続させるスキップ接続画像と、入力画像の生画像と直前の画像との差分から得られた残差画像との、３種類の画像のサイズを調整し、同時に入力させるデコーダと、
備えたことを特徴とする画像認識システム。 - 上記残差画像は、入力画像の生画像と前の一連の画像から残差画像を計算する残差画像抽出器により得られることを特徴とする請求項１記載の画像認識システム。
- 上記残差画像抽出器は、画素単位の減算を実行することにより、残差画像を抽出することを特徴とする請求項１又は２記載の画像認識システム。
- 上記移動物体は、雲、天体、災害（森林火災、マグマ、津波・洪水）、車両、バス、電車、空挺体、海上体、生産ベルト上の荷物、鳥、魚、動物、人間のいずれかであることを特徴とする請求項１記載の画像認識システム。
- 上記エンコーダは、ニューラルネットワークのうち、畳み込みニューラルネットワーク（ＣＮＮ）、又は多層パーセプトロンニューラルネットワーク（ＭＬＰ－Ｍｉｘｅｒ）であることを特徴とする請求項１記載の画像認識システム。
- 上記デコーダは、上記エンコーダの出力のアップサンプリングを行う第１の畳み込み層と、アップサンプリングされた複数チャンネルの低解像度表現画像とスキップ接続画像と残差画像とを連結する連結層と、連結された画像の画素単位の処理を行う第２の畳み込み層と、処理された第２の畳み込み層を全結合させる全結合層とを備えたことを特徴とする請求項１又は２記載の画像認識システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022178106A JP2024067780A (ja) | 2022-11-07 | 2022-11-07 | 画像認識システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022178106A JP2024067780A (ja) | 2022-11-07 | 2022-11-07 | 画像認識システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2024067780A true JP2024067780A (ja) | 2024-05-17 |
Family
ID=91067904
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022178106A Pending JP2024067780A (ja) | 2022-11-07 | 2022-11-07 | 画像認識システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2024067780A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118269967A (zh) * | 2024-05-30 | 2024-07-02 | 广汽埃安新能源汽车股份有限公司 | 一种车辆防撞控制方法、装置、存储介质及设备 |
-
2022
- 2022-11-07 JP JP2022178106A patent/JP2024067780A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118269967A (zh) * | 2024-05-30 | 2024-07-02 | 广汽埃安新能源汽车股份有限公司 | 一种车辆防撞控制方法、装置、存储介质及设备 |
| CN118269967B (zh) * | 2024-05-30 | 2024-08-09 | 广汽埃安新能源汽车股份有限公司 | 一种车辆防撞控制方法、装置、存储介质及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10356317B2 (en) | Wide-scale terrestrial light-field imaging of the sky | |
| Goodman et al. | The GOES-R geostationary lightning mapper (GLM) | |
| US9952310B2 (en) | Aircraft weather radar coverage supplementing system | |
| US20020041328A1 (en) | Direct broadcast imaging satellite system apparatus and method for providing real-time, continuous monitoring of earth from geostationary earth orbit and related services | |
| Dev et al. | Estimation of solar irradiance using ground-based whole sky imagers | |
| CN113454677A (zh) | 一种遥感卫星系统 | |
| EP1023673A1 (en) | Apparatus and method for monitoring and reporting weather conditions | |
| Blakeslee et al. | Lightning Imaging Sensor (LIS) for the International Space Station (ISS): mission description and science goals | |
| Paletta et al. | Advances in solar forecasting: Computer vision with deep learning | |
| CN111829964A (zh) | 一种分布式遥感卫星系统 | |
| JP2024067780A (ja) | 画像認識システム | |
| Bar et al. | Target detection and verification via airborne hyperspectral and high-resolution imagery processing and fusion | |
| Meyer et al. | Satellite-based high-resolution mapping of rainfall over southern Africa | |
| WO2023150888A1 (en) | System and method for firefighting and locating hotspots of a wildfire | |
| CA2377700A1 (en) | Direct broadcast imaging satellite system apparatus and method for providing real time continuous monitoring of earth from geostationary earth orbit and related services | |
| CN117574317A (zh) | 一种基于星空地多模态数据融合的山火监测方法和装置 | |
| WO2022107620A1 (ja) | データ解析装置および方法、並びに、プログラム | |
| CN111815525A (zh) | 一种基于场景的辐射定标方法和系统 | |
| US20220003895A1 (en) | Wind vector prediction method using artificial intelligence network and analysis apparatus | |
| JP7520649B2 (ja) | 気象情報処理装置、気象情報処理システム、気象情報処理方法及び気象情報処理プログラム | |
| Wang et al. | Framework to create cloud-free remote sensing data using passenger aircraft as the platform | |
| Seiz | Ground-and satellite-based multi-view photogrammetric determination of 3D cloud geometry | |
| Dovis et al. | Stratospheric platforms: a novel technological support for Earth observation and remote sensing applications | |
| Raja | Cloud-Based Remote Sensing: Developments and Challenges—Research Point of View | |
| Amrich et al. | Design and construction of hardware and software for autonomous observations of Transient Luminous Events |