JP7475745B1 - バイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法 - Google Patents

バイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法 Download PDF

Info

Publication number
JP7475745B1
JP7475745B1 JP2023131096A JP2023131096A JP7475745B1 JP 7475745 B1 JP7475745 B1 JP 7475745B1 JP 2023131096 A JP2023131096 A JP 2023131096A JP 2023131096 A JP2023131096 A JP 2023131096A JP 7475745 B1 JP7475745 B1 JP 7475745B1
Authority
JP
Japan
Prior art keywords
smoke
flame
detection
target
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023131096A
Other languages
English (en)
Inventor
暉 張
博文 馬
海涛 趙
洪波 朱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Application granted granted Critical
Publication of JP7475745B1 publication Critical patent/JP7475745B1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Fire Alarms (AREA)

Abstract

【課題】バイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法及び機器を提供する。【解決手段】方法は、取得したターゲット領域の画像に対して、煙タブ及び火炎タブをそれぞれ付し、煙トレーニングセット及び火炎トレーニングセットを構築するステップ１と、ステップ１における煙トレーニングセット及び火炎トレーニングセットを利用して、バイナリ検出ネットワークの構築及びトレーニングを行い、改善されたＦＣＯＳネットワークを基準とする煙検出分岐及び火炎検出分岐を含むステップ２と、トレーニングされたバイナリ検出ネットワークを用いて、リアルタイムで空撮して取得されたターゲット領域の動画の現フレームを検出し、煙検出分岐及び火炎検出分岐の検出結果を融合してから出力するステップ３と、ターゲット領域の動画が終了するまで、ステップ３を繰り返し、ターゲット領域の動画の次フレームを検出するステップ４と、を含む。【選択図】図１

Description

本発明は、バイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法に関し、ターゲット識別及びコンピュータビジョン分野に属す。
森林は変化の激しい環境であり、火災の原因も多様であるため、森林火災の予防及び検出作業は極めて困難である。従来の森林火災の検出は主に人手によって行われており、多くの人手、物資及び資金を投入する必要があるとともに、検出効率及び安全性にも問題があり、ターゲット検出技術の発展及び無人航空機製品の低価格化に伴い、無人航空機を利用した森林火災の巡回監視が主要な手段となっている。しかし、森林火災における煙検出及び火炎検出は、空撮された動画シーケンス画像において異なる動的特性およびスペース特性を有し、２つのターゲットは相互に絡み合ったり遮蔽したりするため、従来のターゲット検出モデルは、煙及び火炎を効果的に検出し、追跡することができない。
以上から、如何に従来技術に基づいて空撮された森林画像における煙及び火炎を正確且つ効果的に検出するかが、当業者にとって緊急な課題となっている。
本発明が解決しようとする課題は、従来技術の無人航空機の巡回監視プロセスにおいて、ターゲットスケールの差異が比較的に大きく且つ煙及び火炎ターゲットが相互に遮蔽することにより、無人航空機の巡回監視画像におけるターゲットの識別の正確率が低いという問題を解決するバイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法を提供することである。
本発明は、上記課題を解決するために、次の技術案を採用する。
バイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法であって、
無人航空機によってターゲット領域の画像を空撮して取得し、且つ取得したターゲット領域の画像に対して、煙タブ及び火炎タブをそれぞれ付し、煙トレーニングセット及び火炎トレーニングセットを構築するステップ１と、
ステップ１における煙トレーニングセット及び火炎トレーニングセットを利用して、ターゲット領域の画像における煙及び火炎という２つのターゲットの特徴に対して、バイナリ検出ネットワークの構築及びトレーニングを行い、ここで、前記バイナリ検出ネットワークは、それぞれ改善されたＦＣＯＳネットワークを基準とする煙検出分岐及び火炎検出分岐を含むステップ２と、
トレーニングされたバイナリ検出ネットワークを用いて、無人航空機によってリアルタイムで空撮して取得されたターゲット領域の動画の現フレームを検出し、煙検出分岐及び火炎検出分岐の検出結果を融合して出力するステップ３と、
ターゲット領域の動画が終了するまで、ステップ３を繰り返し、ターゲット領域の動画の次フレームを検出するステップ４と、を含む。
さらに、前記ステップ２において改善されたＦＣＯＳネットワークを基準とし、ここで、改善されたＦＣＯＳネットワークの構築プロセスは、基幹ネットワークＲｅｓＮｅｔのＣ３とＣ４との間、及びＣ４とＣ５との間に、それぞれ１つのＣＢＡＭのアテンションモジュールを追加し、回帰分岐において、変形可能なコンボリューションで、元のコンボリューションカーネルを置き換えることである。
さらに、前記改善されたＦＣＯＳネットワークは、トレーニングを行う時に、ＦＰＮレイヤの回帰のアダプティブトレーニング決定方法を採用しており、具体的なプロセスは、
ＦＰＮレイヤの回帰ベクトルセットΨ＝［Ψ１，Ψ２，…Ψｉ，…ΨＮ］を構築し、Ｎは、タブカテゴリの総数であり、Ψｉは、１つの７タプルであり、前の５つの位置はＦＰＮレイヤのデフォルト回帰範囲であり、６番目の位置はタブカテゴリであり、７番目の位置は範囲修正フラグビットであるステップ２．１と、
現フレームにおける１つの画素サイズがｋ×ｋである所定ターゲットに対して、デフォルト回帰スケールの範囲に基づいて、そのデフォルトレイヤＰｌ’を決定するステップ２．２と、
異なるＦＰＮレイヤの損失値に対して、最小値の判断を行い、判断の式は次の通りであり、
Figure 0007475745000002
 ここで、
Figure 0007475745000003
 は、レイヤ間の損失度の最小値であり、ｌは、ＦＰＮの３から７レイヤまでのインデックスパラメータを示しＬall（ｌ-２）、Ｌall（ｌ-1）、Ｌall（ｌ）、Ｌall（ｌ+1）、Ｌall（ｌ+２）は、それぞれレイヤＰｌ-2、Ｐｌ-1、Ｐｌ、Ｐｌ+1、Ｐｌ+2、
Figure 0007475745000004
 がＦＰＮレイヤである損失関数を示すステップ２．３と、
Figure 0007475745000005
 がレイヤＰｌ’の損失値と一致する場合、所定ターゲットのカテゴリに対応するレイヤ回帰ベクトルの７番目の位置を１に設定し、その後、この所定ターゲットの異なる入力スケールに関して、デフォルト回帰スケール範囲に従って勾配反転学習を直接に行うステップ２．４と、
Figure 0007475745000006
 がレイヤＰｌ’-1又はＰｌ’+1の損失値に一致する場合、所定ターゲットのカテゴリに対応するレイヤ回帰ベクトルの７番目の位置を０に設定し、且つデフォルト回帰スケールの範囲に対して次に修正を行った後、ステップ２．２に戻り、
Figure 0007475745000007
 がレイヤＰｌ’-1の損失値に一致する場合、レイヤＰｌ’-1に対応するデフォルト回帰スケールの範囲を拡大し、即ち、（２８（ｌ’-3），ｋ）をレイヤＰｌ’に対応するデフォルト回帰スケールの範囲から分離して、レイヤＰｌ’-1に対応するデフォルト回帰スケールの範囲に組み込み、
Figure 0007475745000008
 がレイヤＰｌ’+1の損失値に一致する場合、レイヤＰｌ’+1に対応するデフォルト回帰スケールの範囲を拡大し、即ち、（ｋ，２８（ｌ’-2））をレイヤＰｌ’に対応するデフォルト回帰スケールの範囲から分離して、レイヤＰｌ’+1に対応するデフォルト回帰スケールの範囲に組み込むステップ２．５と、
Figure 0007475745000009
 がレイヤＰｌ’-2又はレイヤＰｌ’-2の損失値に一致する場合、所定ターゲットカテゴリに対応するレイヤ回帰ベクトルの７番目の位置を－１に設定し、且つこのようなターゲットに対して、ＦＰＮの各レイヤの損失度を利用してレイヤを自動的に選択し勾配反転学習を直接に行うステップ２．６とを含む。
さらに、前記ステップ３における融合は、具体的に、煙検出分岐及び火炎検出分岐の検出結果における位置枠情報及び識別されたターゲット確率は、いずれも現フレームの対応する位置にタブ付けされる。
さらに、前記ステップ４においてターゲット領域の動画の次フレームを検出する前に、現フレームの検出結果を先行知識として、協調最適化フィードバック及び協調強化フィードバックという２つのフィードバックメカニズムの選択を行い、選択の根拠は、次の通りであり、
現フレームの検出結果において煙検出分岐及び火炎検出分岐にいずれもターゲットが検出されていない場合、無煙無火の状況であり、協調強化フィードバックを選択し、
現フレームの検出結果において煙検出分岐にターゲットが検出されており、一方、火炎検出分岐にターゲットが検出されていない場合、有煙無火の状況であり、協調最適化フィードバックを選択し、
煙検出分岐にターゲットが検出されておらず、一方、火炎検出分岐にターゲットが検出されている場合、有火無煙の状況であり、協調強化フィードバックを選択し、
煙検出分岐及び火炎検出分岐にいずれもターゲットが検出されている場合、煙検出分岐に検出された最小ターゲット煙面積を
Figure 0007475745000010
 とし、火炎検出分岐に検出された最小ターゲット火炎面積を
Figure 0007475745000011
 とし、
Figure 0007475745000012
 と設定した閾値ηｍｉｎの大小関係に基づいて選択し、
Figure 0007475745000013
 即ち煙が大きく火炎が小さい場合、協調最適化フィードバック及び協調強化フィードバックを同時に選択し、
Figure 0007475745000014
 即ち煙及び火炎がほぼ同じである場合、協調最適化フィードバックを選択し、
Figure 0007475745000015
 即ち煙が小さく火炎が大きい場合、協調強化フィードバックを選択する。
さらに、前記協調最適化フィードバックの具体的なプロセスは次の通りであり、
１）現フレームＩt-１（ｘ，ｙ）の検出結果における煙及び火炎の検出情報に基づいて、カルマンフィルタ方法を用いて、次フレームＩt（ｘ，ｙ）における煙及び火炎のターゲット領域を予測し、それぞれ煙ターゲット領域セット
Figure 0007475745000016
 及び火炎ターゲット領域セット
Figure 0007475745000017
 とし、ここで、
Figure 0007475745000018
 は、それぞれＩt-１（ｘ，ｙ）の検出結果における煙及び火炎のターゲット領域の数であり、
２）第１の画素の判別関数を構築し、Ａｓｍ及びＡｆｉｒにおける煙及び火炎のターゲット領域内の第１の画素の判別関数値が０である画素ドットを除去し、新しい煙ターゲット領域セット
Figure 0007475745000019
 及び火炎ターゲット領域セット
Figure 0007475745000020
 を取得し、ここで、第１の画素の判別関数は次の通りであり、
Figure 0007475745000021
 ここで、
Figure 0007475745000022
 は、それぞれ火炎及び煙の画素の判別関数であり、（ｘ，ｙ）は、画素座標を示し、ｆＨ（ｘ，ｙ）、ｆＳ（ｘ，ｙ）及びｆＩ（ｘ，ｙ）は、それぞれ画素（ｘ，ｙ）のＨＳＩスペースチャンネルにおける値を示し、
３）フレーム間差分法を用いて、Ｉt（ｘ，ｙ）におけるＡ’ｓｍ及びＡ’ｆｉｒ以外の煙及び火炎のターゲットを位置決め、具体的に次の通りであり、
Ｓ３１：Ｉt（ｘ，ｙ）及びＩt-１（ｘ，ｙ）においてＡ’ｓｍが含まれない画像
Figure 0007475745000023
 及びＡ’ｆｉｒが含まれない画像
Figure 0007475745000024
 をそれぞれ取得し、
Ｓ３２：フレーム差領域Ｄｓｍ（ｘ，ｙ）及びＤfir（ｘ，ｙ）を取得し、
Figure 0007475745000025
 Ｓ３３：取得したＤｓｍ（ｘ，ｙ）及びＤｆｉｒ（ｘ，ｙ）に対して、第２の画素の判別関数を構築し、Ｄｓｍ（ｘ，ｙ）及びＤｆｉｒ（ｘ，ｙ）において第２の画素の判別関数値が０である画素ドットを除去し、Ａ’ｓｍ又はＡ’ｆｉｒ領域からずれる煙及び火炎領域Ｕｓｍ及びＵｆｉｒを取得し、ここで、第２の画素の判別関数の計算プロセスは、次の通りであり、
Figure 0007475745000026
 ここで、Ｔは、運動領域の判断閾値であり、Ｕｓｍ及びＵｆｉｒは、それぞれＡ’ｓｍ及びＡ’ｆｉｒからずれる煙及び火炎領域であり、
Ｓ３４：Ｉt（ｘ，ｙ）において
Figure 0007475745000027
Figure 0007475745000028
 及び火炎消去マスキング画像
Figure 0007475745000029
 を取得し、
４）Ｉt-1（ｘ，ｙ）は有煙無火の状況である場合、Ｉt（ｘ，ｙ）検出を行う時に、
Figure 0007475745000030
 をバイナリ検出ネットワークにおける火炎検出分岐の入力とし、Ｉt（ｘ，ｙ）を煙検出分岐の入力とし、Ｉt-1（ｘ，ｙ）は煙が大きく火炎が小さい場合、Ｉt（ｘ，ｙ）検出を行う時に、
Figure 0007475745000031
 をバイナリ検出ネットワークにおける煙検出分岐の入力とし、
Figure 0007475745000032
 を火炎検出分岐の入力とし、Ｉt-1（ｘ，ｙ）は煙及び火炎がほぼ同じである場合、Ｉt（ｘ，ｙ）検出を行う時に、
Figure 0007475745000033
 をバイナリ検出ネットワークにおける煙検出分岐の入力とし、
Figure 0007475745000034
 を火炎検出分岐の入力とする。
さらに、現フレームＩt-1（ｘ，ｙ）の検出結果における煙及び火炎の検出情報に基づいて、速度に基づいて修正されたカルマンフィルタ方法に基づいて、次フレームＩt（ｘ，ｙ）における煙及び火炎のターゲット領域を予測し、ここで、カルマンフィルタの速度の修正の計算プロセスは次の通りであり、
Figure 0007475745000035
 ここで、Ｖｕａｖは、無人航空機の速度を示し、ｗ’及びｈ’は、ターゲット領域の画像の幅及び高さを示し、Ｌは、無人航空機の空撮レンズの受容野の直径を示し、∂は、スケーリングパラメータを示し、Δｈは、無人航空機の上昇又は下降プロセスにおける高さの差を示し、Δｔｈは、無人航空機の上昇及び下降プロセスにおいてかかった時間を示し、ｗt-1及びｈｔ－１は、Ｉｔ－１（ｘ，ｙ）におけるターゲットの検出枠の幅及び高さであり、Δｔは、フレーム数の間隔であり、ｖｔｘ、ｖｔｙ、ｖｔｗ、ｖｔｈは、第ｔ時刻のターゲットの検出枠の中心座標及び検出枠の幅、高さの速度値をそれぞれ示す。
さらに、前記協調強化フィードバックの具体的なプロセスは次の通りであり、
（１）Ｉｔ－１（ｘ，ｙ）は無煙無火の状況である場合、Ｉｔ（ｘ，ｙ）検出を行う時に、バイナリ検出ネットワークにおける煙検出分岐及び火炎検出分岐におけるＦＰＮの各レイヤ特徴重みωｌに対して、アダプティブ調整を行い、調整された重みは、
Figure 0007475745000036
 ここで、
Figure 0007475745000037
 は、レイヤ重み調節因子であり、
Figure 0007475745000038
 は、現在の無人航空機の空撮の高さを示し、
Figure 0007475745000039
 は、バイナリ検出ネットワークトレーニング時に、対応する無人航空機の平均の空撮の高さを示し、ｌは、現在のＦＰＮのレイヤを示し、
Figure 0007475745000040
 は、特徴図の融合を行う必要のあるＦＰＮレイヤ総数であり、
（２）Ｉt-1（ｘ，ｙ）は有火無煙の状況である場合、Ｉt（ｘ，ｙ）検出を行う時に、バイナリ検出ネットワークにおける火炎検出分岐のＦＰＮのレイヤ特徴重みωｌに対して、アダプティブ調整を行い、具体的なステップは次の通りであり、
先ず、Ｉｔ－１（ｘ，ｙ）に検出された複数の火炎ターゲットの識別確率に対してソーティングを行い、識別確率が最も小さい火炎ターゲットをＳｆｉｒとし、対応する識別確率をＰｆｉｒとし、
次に、現在の煙ターゲットのスケール回帰範囲に基づいて、Ｓｆｉｒに対してＦＰＮレイヤスケール位置決めを行い、ＦＰＮレイヤに位置決められたものを
Figure 0007475745000041
 とし、
その後、識別確率Ｐｆｉｒ及び設定したターゲットの所望確率ＰＥを利用して、バイナリ検出ネットワークにおける火炎検出分岐のＦＰＮの各レイヤの特徴重みに対して修正を行い、修正後の重みは次の通りであり、
Figure 0007475745000042
 （３）Ｉt-1（ｘ，ｙ）は煙が大きく火炎が小さい場合、Ｉt（ｘ，ｙ）検出を行う時に、バイナリ検出ネットワークにおける煙検出分岐及び火炎検出分岐のＦＰＮの各レイヤの特徴融合重みωｌ及びガウシアン重み付け関数Ｇx,y,ｌの標準差に対して、それぞれ調整を行い、具体的な調整ステップは次の通りであり、煙検出分岐におけるＧx,y,ｌの修正の面でみれば、協調フィードバック強化によって得られた
Figure 0007475745000043
 の領域の標準差で元の標準差を置き換えることにより、Ｇx,y,ｌの修正を実現し、
煙検出分岐におけるωｌの修正の面でみれば、先ず、識別確率が最も小さい煙ターゲットＳｓｍ、対応する確率Ｐｓｍを取得し、対応するＦＰＮレイヤ
Figure 0007475745000044
 の位置決めを行い、Ｐｓｍ≧ＰＥである場合、重み調整を行う必要がなく、Ｐｓｍ＜ＰＥである場合、次の式を利用して重み調整を行い、
Figure 0007475745000045
 最後に、修正後のＧx,y,ｌ 及び調整後のＦＰＮレイヤの各レイヤの融合重みω’ｌ を利用して、煙検出分岐に対して調整を行い、
煙検出分岐と同じな調整ステップに基づき、火炎検出分岐におけるＧx,y,ｌ及びω’ｌを調整し、
（４）Ｉｔ-1（ｘ，ｙ）は煙が小さく火炎が大きい場合、Ｉt（ｘ，ｙ）検出を行う時に、バイナリ検出ネットワークにおける煙検出分岐のレイヤ融合重みωｌに対して、有火無煙の状況である場合に火炎検出分岐におけるωｌに対する修正方式によって調整を行い、一方、火炎検出分岐におけるωｌに対して、煙が大きく火炎が小さい場合に火炎検出分岐におけるωｌ に対する修正方式によって調整を行う。
本発明は、１つ又は複数のプログラムが記憶されるコンピュータ可読記憶媒体を提供し、前記１つ又は複数のプログラムはコマンドを含み、前記コマンドがコンピューティング機器により実行される時、前記コンピューティング機器に以上に記載の方法を実行させる。
本発明は、バイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出機器を更に含み、１つ又は複数のプロセッサ、１つ又は複数のメモリ、及び１つ又は複数のプログラムを含み、ここで、１つ又は複数のプログラムは、前記１つ又は複数のメモリに記憶されており、前記１つ又は複数のプロセッサによって実行されるように配置され、前記１つ又は複数のプログラムは、以上に記載の方法を実行するためのコマンドを含む。
本発明に記載されるバイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法は以上の技術案を採用しており、従来技術に比べて、次のような技術的効果を有する。
１、本発明による改善されたＦＣＯＳモデルは、煙ターゲット及び火炎ターゲットに対して、より優れた識別効果を有する。
２、本発明は、改善されたＦＣＯＳモデルを基準として構築されたバイナリ検出ネットワークは、煙検出及び火炎検出を２つの独立したものとしてそれぞれ検出し、煙及び火炎が相互に絡み合ったり遮蔽したりすることによるターゲットの検出漏れ及び位置決め精度が低い問題を避ける。
３、本発明は、提案した２つの協調フィードバックメカニズムによって、バイナリ検出ネットワークの異なるクルーズ高さ、異なる森林火災の巡回監視のシーンにおけるロバスト性を向上させる。
バイナリ協調ネットワークによる森林火災検出の方法のフローチャートである。 変形可能なコンボリューションに基づく回帰分岐の改善である。 改善されたＦＣＯＳネットワークである。
以下、図面及び実施例を結び付けて本発明の技術案をさらに説明する。
本発明に記載されるバイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法の構造全体は図１に示されており、具体的なステップは次の通りであり、
ステップ１：ＦＣＯＳネットワークが煙ターゲット及び火炎ターゲットを検出する効果は良くないため、本発明は、煙及び火炎のターゲット特徴に基づいて、ＦＣＯＳモデルの基幹ネットワーク、回帰分岐及びトレーニングポリシーを改善する。
ＦＯＣＳアルゴリズムは画素ごとに回帰するポリシーを採用する。ＦＰＮ特徴図におけるある点（ｘ，ｙ）に対して、ステップサイズｓに基づいて入力画像にマッピングされる対応する座標は
Figure 0007475745000046
 である。点（ｘ，ｙ）のマッピング点が入力画像によってタブ付けされる任意の１つの実枠内に位置する場合、この点（ｘ，ｙ）はポジティブサンプルとして判定される。そうでなければ、ネガティブサンプルとしてタブ付けされる。サンプル点（ｘ，ｙ）は入力画像にマッピングする点（ｘ’，ｙ’）が実枠内に位置する場合、この点からの実枠
Figure 0007475745000047
 の上下左右の４つの辺の距離は、ターゲット回帰のオフセット量（ｌ＊，ｔ＊，ｒ＊，ｂ＊）とし、計算は次に示される。
Figure 0007475745000048
 （ｘ’，ｙ’）が複数の実枠内に同時に位置する場合、この点はボケサンプルとしてタブ付けされ、このような現象を避けるために、ＦＣＯＳは各スケールの特徴レイヤにいずれも枠回帰範囲制限を加えることにより、検出枠の重畳を緩和し、具体的に次の通りである。
（１）現在のレイヤにおける回帰ターゲットｌ＊、ｔ＊、ｒ＊、ｂ＊を計算する。
（２）ｍａｘ（ｌ＊、ｔ＊、ｒ＊、ｂ＊）＞ｌ又はｍａｘ（ｌ＊、ｔ＊、ｒ＊、ｂ＊）＜ｍＦ－１を満たすか否かを判断する。
（３）満たす場合、この境界枠に対して回帰の予測を行わない。
ここで、ｍＦは、現在の特徴レイヤの最大の回帰範囲であり、順に（－１，６４）、（６４，１２８）、（１２８，２５６）、（２５６，５１２）、（５１２，∞）であり、このような制限によって様々なサイズの物体の間は異なる特徴レイヤが与えられて回帰の学習を行い、それによって、多すぎるボケサンプルが発生することを避ける。
改善されたＦＣＯＳネットワークの全体構成図は図３に示されており、ＦＣＯＳネットワークの改善は具体的に次の通りである。
基幹ネットワークＲｅｓＮｅｔのＣ３とＣ４との間、及びＣ４とＣ５との間に、それぞれ１つのＣＢＡＭのアテンションモジュールを追加し、スケールが比較的に小さい煙ターゲット又は火炎ターゲットに対する特徴抽出能力を向上させるために用いられ、次に、回帰分岐において、変形可能なコンボリューションで、従来のコンボリューションカーネルを置き換えて、一部の火炎ターゲットの位置決めの不正確の問題を解決し、それによって、ターゲットの検出効果を向上させ、具体的な構成は図２に示される。
トレーニングポリシーについて、ＦＰＮレイヤ回帰アダプティブトレーニング決定方法を提案し、関連ステップは次の通りである。
ステップ１．１：レイヤ回帰ベクトルΨ＝［Ψ１，Ψ２，…Ψi，ΨN］を構築し、Ｎは、タブカテゴリの総数であり、Ψiは、１つの７タプルであり、前の５つの位置はＦＰＮレイヤのデフォルト回帰範囲であり、６番目の位置はタブカテゴリであり、７番目の位置は、範囲修正フラグビットであり、デフォルトはＮＵＬＬである。
ステップ１．２：現フレームにおける１つの画素サイズがｋ×ｋである所定ターゲットに対して、デフォルト回帰のスケール範囲に基づいて、そのデフォルトレイヤＰｌ’を決定する。
ステップ１．３：異なるＦＰＮレイヤの損失値に対して、最小値の判断を行い、判断の式は次の通りである。
Figure 0007475745000049
 ここで、
Figure 0007475745000050
 は、レイヤ間の損失度の最小値であり、ｌは、ＦＰＮの３から７レイヤまでのインデックスパラメータを示し、Ｌall（ｌ-２）、Ｌall（ｌ-1）、Ｌall（ｌ）、Ｌall（ｌ+1）、Ｌall（ｌ+２）は、それぞれレイヤＰｌ-2、Ｐｌ-1、Ｐｌ、Ｐｌ+1、Ｐｌ+2、
Figure 0007475745000051
 がＦＰＮレイヤである損失関数を示す。
ここで、レイヤＰｌ の損失度の計算は次の通りである。
Figure 0007475745000052
 ここで、
Figure 0007475745000053
 は、それぞれレイヤＰｌ における位置（ｘ，ｙ）に予測された分類スコア、予測枠位置及び予測された中心度を示し、Ｎposは、ポジティブサンプルの数であり、
Figure 0007475745000054
 は、分類ターゲットであり、
Figure 0007475745000055
 は、タブ付けされる枠の座標であり、
Figure 0007475745000056
 は、実枠の中心度である。

Figure 0007475745000057
 は、サンプルの判別関数であり、ポジティブサンプルの場合に１であり、ネガティブサンプルの場合に０である。Ｌall（ｌ）は、所定ターゲット画素ドット（ｘ，ｙ）のレイヤＰｌにおける総損失値であり、Ｌｃｌｓ（ｌ）は、分類損失であり、Ｆｏｃａｌｌｏｓｓを利用してポジティブとネガティブサンプルのアンバランスの問題を解決し、Ｌｃｎｔ（ｌ）は、ｃｅｎｔｅｒ－ｎｅｓｓ損失であり、二分類クロスエントロピを用い、Ｌｒｅｇ（ｌ）は、回帰損失であり、ＩＯＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）損失を用いて示される。
ステップ１．４：
Figure 0007475745000058
 がレイヤＰｌ’の損失値に一致する場合、このターゲットの様々なＦＰＮレイヤにおけるセマンティック特徴抽出パフォーマンスは、ＦＰＮの様々なレイヤのスケール回帰の範囲に強く関連していると考えられ、入力ターゲットのカテゴリに対応するレイヤの回帰ベクトルΨiの７番目の位置を１に設定し、その後、このターゲットに関する様々な入力スケールについて、ＦＰＮ回帰レイヤの範囲に従って、勾配反転学習を直接に行う。
ステップ１．５：
Figure 0007475745000059
 がレイヤＰｌ’の損失値に一致しない場合、ケースバイケースで判断する必要がある。
Figure 0007475745000060
がレイヤＰｌ’-1又はＰｌ’+1の損失値に一致する場合、このターゲットがＦＰＮの様々なレイヤのスケール回帰に弱く関連すると考えられ、対応するターゲットのカテゴリのレイヤの回帰ベクトルΨiの７番目の位置を０に設定し、且つスケール制限の範囲を修正し、修正は次の通りである。
Figure 0007475745000061
 がＰｌ’-1の損失値に一致する場合、Ｐｌ’-1に対応する回帰の範囲を拡大し、即ち（２８（ｌ-3），ｋ）をＰｌ’回帰範囲から分離してＰｌ’-1に組み込み、
Figure 0007475745000062
 がＰｌ’+1の損失値に一致する場合、Ｐｌ’+1に対応する回帰範囲を拡大し、即ち（ｋ，２８（ｌ-2））をＰｌ’回帰範囲から分離してＰｌ’+1に組み込む。
ステップ１．６：
Figure 0007475745000063
 がレイヤＰｌ’-2又はＰｌ’-2の損失値に一致する場合、即ち最も小さい損失度が位置する特徴レイヤと現在の特徴レイヤとの間隔が１よりも大きい場合、ＦＰＮのレイヤのスケール回帰ポリシーがこのタイプのターゲットに適切ではないと考えられ、そのため、ターゲットカテゴリに対応するレイヤ回帰ベクトルΨiの７番目の位置を－１に設定し、このタイプのターゲットに対して、ＦＰＮの各レイヤの損失度を利用して自動的にレイヤを選択して勾配反転学習を直接に行う。
ステップ１．７：弱く関連すると判定されるターゲット（ステップ１．５）について、ステップ１．２、ステップ１．３及びステップ１．５に従って、スケール範囲を繰り返し修正し、ステップ１．４及びステップ１．６の状況が出た後、繰り返しを終了する。
ステップ２：改善されたＦＣＯＳネットワークを基準とし、バイナリ検出ネットワークの構築及びトレーニングを行い、バイナリ検出ネットワークの煙検出分岐及び火炎検出分岐は、それぞれステップ１に記載された改善されたＦＣＯＳネットワークであり、トレーニングについて、煙検出分岐は、煙トレーニングセットのみに対してトレーニングを行い、即ちトレーニングを完了した後に煙検出のみを行い、同様に、火炎検出分岐は、火炎トレーニングセットのみに対してトレーニングを行い、即ちトレーニングを完了した後に火炎検出のみを行う。
ステップ３：トレーニングされたバイナリ検出ネットワークを用いて、現フレームを検出し、２つの検出分岐に得られたターゲット枠情報及びカテゴリ確率をステップ４及びステップ５にそれぞれ入力して、その後の処理を行う。
ステップ４：ステップ３において得られた煙ターゲット及び火炎ターゲットの関係状況に基づいて、協調最適化フィードバック及び協調強化フィードバックという２つのフィードバックメカニズムの選択を行う。ここで、協調フィードバック最適化は、主にステップ３において得られた複数の煙枠又は火炎枠の位置情報を先行知識として、速度に基づいて修正されたカルマンフィルタ及びフレーム間差分法両方を結び付けて、次フレームの画像における煙及び火炎の概略位置を予測し、バイナリ協調ネットワークの検出分岐が異なることに対して、次フレームにおいて予測された概略な煙ターゲット又は火炎ターゲットの位置に対して事前にマスキングを行い、それによって、バイナリ検出ネットワークの煙又は火炎に対する検出精度を向上させる。一方、協調フィードバック強化は、後処理操作として、主にバイナリネットワークの検出分岐における特徴図の重みを調整することにより、ステップ３を利用して結果を伝達して、次フレームの同じタイプのターゲットに対する検出精度を向上させることを実現する。
２つのフィードバックメカニズムの選択について、バイナリ検出ネットワークにおいて煙検出分岐及び火炎検出分岐にいずれもターゲットが検出されていない場合、即ち無煙無火の状況であり、協調強化フィードバックを選択し、煙検出分岐にターゲットが検出されており、一方、火炎検出分岐にターゲットが検出されていない場合、即ち有煙無火の状況であり、協調最適化フィードバックを選択し、煙検出分岐にターゲットが検出されておらず、一方、火炎検出分岐検出にターゲットが検出されている場合、即ち有火無煙の状況であり、協調強化フィードバックを選択し、煙検出分岐及び火炎検出分岐にいずれもターゲットが検出されている場合、煙検出分岐に検出された最小ターゲット煙面積を
Figure 0007475745000064
 とし、同様に、火炎検出分岐に検出された最小ターゲット火炎面積を
Figure 0007475745000065
 とし、
Figure 0007475745000066
 と設定した閾値ηｍｉｎの大小関係に基づいて次の判断を行う。
Figure 0007475745000067
 即ち煙が大きく火炎が小さい場合、２つのフィードバックメカニズム両方を選択し、
Figure 0007475745000068
 即ち煙及び火炎がほぼ同じである場合、協調最適化フィードバックを選択し、
Figure 0007475745000069
 即ち煙が小さく火炎が大きい場合、協調強化フィードバックを選択する。
協調最適化フィードバックは、主に現フレームに検出される複数の煙枠又は火炎枠の位置情報を先行知識として、速度に基づいて修正されたカルマンフィルタ及びフレーム間差分法両方を結び付けて、次フレームの画像における煙及び火炎の概略位置を予測し、バイナリ協調ネットワークの検出分岐が異なることに対して、次フレームにおいて予測された概略な煙又は火炎ターゲット位置に対して事前にマスキングを行い、それによって、バイナリ検出ネットワークの煙又は火炎の検出精度を向上させることである。具体的なステップは次の通りである。
ステップ一：速度に基づいて修正されたカルマンフィルタモデルを構築して、次フレームの煙ターゲット又は火炎ターゲットが現れる可能性のある位置を予測する。
カルマンフィルタは、ターゲット運動を等速運動にモデル化して、ターゲットの運動状態は（ｐｔ，ｖｔ）として示され、ここで、ｐｔは、第ｔ時刻のターゲット位置を示し、ｖｔは、ｐｔの各パラメータの速度を示し、ターゲット状態は、即ち次のベクトル形式として示されることができる。
γt = （ｘｔｃ, ｙｔｃ, ｗｔ, ｈｔ, ｖｔｘ, ｖｔｙ, ｖｔｗ, ｖｔｈ）Ｔ
式では、ｘｔｃ、ｙｔｃは、第ｔ時刻のターゲットの検出枠の中心座標を示し、ｗｔは、検出枠の幅を示し、ｈｔは、検出枠の高さを示し、ｖｔｘ、ｖｔｙ、ｖｔｗ、ｖｔｈは、それぞれの速度の変化値を示す。
しかし、実際の森林火災の巡回監視プロセスでは、無人航空機は時々急速に加速したり減速したりする場合があるため、等速モデルを用いると、ターゲットの予測枠に比較的に大きいずれが生じるため、本明細書では、現在の無人航空機の空撮速度及び高さの変化率を利用して、ｖｔにおける各速度パラメータを修正し、関連する計算は次の通りである。
Figure 0007475745000070
 式では、ｖｕａｖは、無人航空機の速度を示し、ｗ’及びｈ’は、空撮図の幅及び高さを示し、Ｌは、無人航空機の空撮レンズの受容野の直径を示し、∂は、スケーリングパラメータを示し、Δｈは、無人航空機の上昇又は下降プロセスにおける高さの差を示し、Δｔｈは、無人航空機の上昇又は下降プロセスにおいてかかった時間を示し、ｗｔ-1及びｈｔ-1は、前の１つのフレームのターゲットの検出枠の幅及び高さであり、Δｔは、フレーム数間隔である。
速度を修正した後、カルマンフィルタを利用して、ターゲットの状態及びターゲットの状態の共分散の予測方程は次の通りである。
Figure 0007475745000071
 式では、
Figure 0007475745000072
 は、ｔ時刻のターゲットの予測状態を示し、
Figure 0007475745000073
 は、ｔ－１時刻の最適の推定値を示し、ＦＳは、状態遷移行列を示し、即ちターゲットの運動パラメータ行列であり、Ｗｔ-1|ｔ-1は、ｔ－１時刻の運動雑音を示し、一般的に、平均値のサイズがゼロである白色ガウス雑音を採用する。Ｐｔ|ｔ-1、Ｐｔ-1|ｔ-1、ＱＷは、それぞれ、
Figure 0007475745000074
 の共分散である。
カルマンフィルタの軌跡状態の更新プロセスでは、現在の時刻の検出に基づいて、関連する軌跡状態を校正し、より正確な状態推定値を得て、状態更新の方程は次の通りである。
Figure 0007475745000075
 式では、
Figure 0007475745000076
 は、ｔ時刻のターゲットの最適推定を示し、Ｚｔ＝（ｘＺ，ｙＺ，ｗＺ，ｈＺ）は、ｔ時刻の検出平均値のベクトルであり、Ｈγは、観測遷移行列を示し、Ｋｔは、カルマンゲインであり、具体的な計算は次の通りである。
Figure 0007475745000077
 式では、Ｒγは、検出器の雑音行列を示し、４×４の対角行列であり、対角線における値は、それぞれ中心点座標及び幅、高さの雑音である。カルマンフィルタの上記式は、現在のターゲットの運動推定の最適状態を推定し、
Figure 0007475745000078
 の共分散行列Ｐｔ|ｔを更新し、このように繰り返して、現在の時刻のターゲットの検出情報に基づいて、次の時刻のターゲットの位置推定を完了することを実現する。
本発明は、現フレームの画像をＩt-1（ｘ，ｙ）とし、次フレームの画像をＩt（ｘ，ｙ）とし、速度に基づいてカルマンフィルタを修正した後に、Ｉt（ｘ，ｙ）において予測される煙ターゲット及び火炎ターゲット領域セットをそれぞれ
Figure 0007475745000079
 とし、ここで
Figure 0007475745000080
 は、それぞれＩt-1（ｘ，ｙ）において検出された煙ターゲット及び火炎ターゲットの数である。しかし、樹木などの剛体ターゲットと異なって、煙及び火炎は非剛体ターゲットとして、短時間内で大きく変形する可能性があり、即ち一部の煙ターゲット又は火炎ターゲットが非剛体変形によってカルマンフィルタが予測される軌跡からずれる可能性が高いため、上述した予測される領域を細分化及び補正する必要があり、具体的な詳細は、ステップ二及びステップ三に示される。
ステップ二：煙及び火炎の色スペース特徴について、第１の画素の判別関数を構築し、カルマンフィルタによって得られた予測位置を細分化し、具体的なステップは次の通りである。
２．１）第１の画素の判別関数の数を定義して、具体的には次の通りである。
森林のシーンにおいて、煙及び火炎の色特徴は比較的に際立って、煙は一般的に白色、灰色及び黒色で現れ、一方、火炎は一般的に赤茶色、オレンジ色で現れる。従って、本発明は、煙及び火炎の色スペース特徴に基づいて、火炎及び煙ターゲットに対する第１の画素の判別関数を提出し、具体的な計算は次の通りである。
Figure 0007475745000081
 式では、
Figure 0007475745000082
 は、それぞれ火炎ターゲット及び煙ターゲットの判別関数であり、（ｘ，ｙ）は、画素座標を示し、ｆＨ（ｘ，ｙ）、ｆＳ（ｘ，ｙ）及びｆＩ（ｘ，ｙ）は、それぞれ当該画素ドットのＨＳＩスペースチャンネルにおける値を示す。
２．２）領域セット
Figure 0007475745000083
 に亘って、ステップ２．１における第１の画素の判別関数を利用して、各領域内の画素ドットを判断し、Ａｓｍ及びＡｆｉｒにおける煙ターゲット及び火炎ターゲット領域内第１の画素の判別関数値が０である画素ドットを除去し、それによって新しい煙及び火炎ターゲット領域
Figure 0007475745000084
 を取得する。
ステップ三：フレーム間差分法を用いて、Ａ’ｓｍ又はＡ’ｆｉｒ
領域からずれる一部の煙又は火炎ターゲットを位置決め、具体的は次の通りである。
３．１）ステップ二から得られたＡ’ｓｍ及びＡ’ｆｉｒに基づいて、Ｉt（ｘ，ｙ）及びＩt-１（ｘ，ｙ）におけるＡ’ｓｍ領域が含まれる画像
Figure 0007475745000085
 及びＡ’ｆｉｒ領域が含まれない画像
Figure 0007475745000086
 を取得する
３．２）フレーム差領域Ｄｓｍ（ｘ，ｙ）及びＤｆｉｒ（ｘ，ｙ）を取得し、関連計算は次の通りである。
Figure 0007475745000087
３．３）得られたＤｓｍ（ｘ，ｙ）及びＤｆｉｒ（ｘ，ｙ）に基づいて、閾値判断及びステップ２．１において提出された画素の判定ルールによって、第２の画素の判別関数を構築し、Ｄｓｍ（ｘ，ｙ）及びＤｆｉｒ（ｘ，ｙ）における第２の画素判別の関数値が０である画素ドットを除去し、Ａ’ｓｍ又はＡ’ｆｉｒ領域からずれる煙及び火炎領域Ｕｓｍ及びＵｆｉｒを取得し、ここで、第２の画素の判別関数の計算プロセスは次の通りである。
Figure 0007475745000088
 式では、Ｔは、運動領域の判断閾値であり、Ｕｓｍ及びＵｆｉｒは、それぞれＡ’ｓｍ及びＡ’ｆｉｒからずれる煙及び火炎領域である。
ステップ四：Ｉt（ｘ，ｙ）において
Figure 0007475745000089
 に対してマスキングを行い、それによって、Ｉt（ｘ，ｙ）に対応する煙消去の画像
Figure 0007475745000090
 又は火炎消去の画像
Figure 0007475745000091
 を取得する。
以上に説明された協調最適化フィードバックプロセスは、有煙無火の場合、煙が大きく火炎が小さい場合、及び煙と火炎がほぼ同じである場合における具体的な使用は次の通りである。
（１）有煙無火の場合について、このような状況は、Ｉt-１（ｘ，ｙ）には煙ターゲットのみを検出したが火炎ターゲットを検出しなかったことを示し、このような状況は実際のシーンにおいて確かに存在する可能性があるが、煙に干渉されて火炎ターゲットの検出漏れが生じる可能性もある。上記のような状況を避けるために、Ｉt（ｘ，ｙ）画像の検出を行う時に、
Figure 0007475745000092
 をバイナリネットワークにおける火炎検出分岐の入力として、一方、煙検出分岐は、依然としてＩt（ｘ，ｙ）画像入力を維持する。
（２）煙が大きく火炎が小さい場合について、このような状況は、Ｉt-１（ｘ，ｙ）には煙ターゲット及び火炎ターゲットが同時に検出されており、且つ煙ターゲットが占める領域の面積は、火炎ターゲットの面積よりも大きい場合を示し、実際のシーンにおける煙及び火炎関係に一致し、この後の検出の安定性を確保するために、Ｉt（ｘ，ｙ）の画像の検出を行う時に、
Figure 0007475745000093
 をバイナリネットワークにおける煙検出分岐の入力とし、
Figure 0007475745000094
 を火炎検出分岐の入力とする。
（３）煙及び火炎がほぼ同じである場合について、このような状況は、Ｉt-１（ｘ，ｙ）には煙ターゲット及び火炎ターゲットが同時に検出されるが、煙ターゲットが占める領域面積と火炎ターゲット面積に殆ど差異がない場合を示し、このような状況は、実際のシーンに確かに存在するが、煙ターゲットの位置決めが正確ではないことが発生する可能性があり、煙ターゲットに対する識別の正確性を向上させるとともに、火炎ターゲットのこの後の検出の安定性を確保するために、Ｉt（ｘ，ｙ）の画像の検出を行う時に、煙が大きく火炎が小さい場合と同じように処理すればよい。
協調強化フィードバックは、後処理操作として、主にバイナリネットワークの検出分岐における特徴図の重みを調整することにより、現フレームの結果の伝達を利用して次フレームの同じタイプのターゲットに対して存在する可能性のあるミス結果を修正することを実現する。ターゲットの検出プロセスにおいて、ＦＣＯＳネットワークは、複数のＦＰＮ特徴図に対して重み付け融合を行い、ガウシアンの重み付けに基づく特徴融合方法を採用する。具体的な融合プロセスは次の通りである。
Figure 0007475745000095
 式では、
Figure 0007475745000096
 は、融合される特徴図であり、
Figure 0007475745000097
 は、融合されたＦＰＮのレイヤ総数であり、
Figure 0007475745000098
 は、Ｆｌレイヤの（ｘ，ｙ）箇所における特徴ベクトルであり、ωｌは、１つのトレーニング可能な重みであり、トレーニングポリシーを通じた後に確定的に発生し、各特徴図の重要性を制御するために用いられ、Ｇｘ,ｙ,ｌは、１つのガウシアンの重み付け関数であり、各特徴図に対して重み付けを行うために用いられ、ガウシアンの重み付け関数の形式は次の通りである。
Figure 0007475745000099
 式では、ｘｌ及びｙｌは、Ｐｌレイヤの特徴図のスペース次元における中心位置であり、σＧは、ガウス分布の標準差である。この関数は、位置（ｘ，ｙ）から遠い特徴図に対して比較的に小さい重みを付与し、一方、位置（ｘ，ｙ）から近い特徴図に対して比較的に大きい重みを付与することを示す。
無煙無火の場合、有火無煙の場合、煙が大きく火炎が小さい場合、煙が小さく火炎が大きい場合という４つの場合における協調フィードバック強化の具体的な使用は次の通りである。
（１）Ｉt-１（ｘ，ｙ）が無煙無火の状況であると判断される場合、Ｉt（ｘ，ｙ）画像の検出を行う時に、バイナリ検出ネットワークにおける煙検出分岐及び火炎検出分岐におけるネットワークトレーニングによって発生されるＦＰＮの各レイヤの特徴重みωｌに対して、無人航空機の巡回監視の高さの状況に応じてアダプティブ調整を行う必要があり、具体的な調整は次の通りである。
先ず、高さに基づいて変化するレイヤの重みの調節因子
Figure 0007475745000100
 を定義し、具体的な計算プロセスは次の通りである。
Figure 0007475745000101
 ここで、ｈｕａｖは、現在の無人航空機の空撮の高さを示し、
Figure 0007475745000102
 は、バイナリ協調ネットワークは無人航空機が平均の高さを採集するようにトレーニングすることを示し、ｌは、現在のＦＰＮのレイヤ数を示す。
そして、取得された
Figure 0007475745000103
 に基づいて、バイナリ検出ネットワークの煙検出分岐及び火炎検出分岐におけるレイヤ特徴の融合重みωｌに対して新たに重みを付け、具体的な計算は次の通りである。
Figure 0007475745000104
 ここで、
Figure 0007475745000105
 は、特徴図の融合を行う必要があるＦＰＮのレイヤ総数である。
最後、重みが調整された後のバイナリ検出ネットワークは、この後のフレームの煙ターゲット又は火炎ターゲットを検出するために用いられ、この後のフレームには、有火無煙の状況、煙が大きく火炎が小さい状況、煙が小さく火炎が大きい状況が現れるまで、重みを再び調整する。
（２）Ｉt-１（ｘ，ｙ）が有火無煙の状況であると判断される場合、実際のシーンにおける煙及び火炎の関係に一致しないため、Ｉt（ｘ，ｙ）の画像の検出を行う時に、現在の火炎ターゲットの検出結果に基づいて、バイナリ検出ネットワークにおける火炎分岐に対してフィードバック強化を行う必要があり、関連ステップは次の通りである。
先ず、検出された複数の火炎ターゲットの識別確率に対してソーティングを行い、識別確率が最も小さい火炎ターゲットをＳｆｉｒとし、対応する識別確率をＰｆｉｒとし、
次に、煙ターゲットのスケール回帰範囲に基づいて、Ｓｆｉｒに対してＦＰＮレイヤのスケール位置決めを行い、ＦＰＮレイヤに位置決められたものを
Figure 0007475745000106
 とし、
その後、識別確率Ｐｆｉｒ及びターゲットの所望確率ＰＥを利用して、重みを修正し、関連計算は次の通りである。
Figure 0007475745000107
最後に、修正後のＦＰＮレイヤの融合重みω’ｌで、元の火炎検出分岐における重みを置き換えて、それによって、火炎検出分岐の次フレームの火炎ターゲットに対する検出能力を向上させる。
（３）Ｉt-１（ｘ，ｙ）が煙が大きく火炎が小さい状況であると判断される場合、Ｉt（ｘ，ｙ）の画像の検出を行う時に、バイナリ検出ネットワークにおける煙検出分岐及び火炎検出分岐におけるＦＰＮの各レイヤの特徴融合重みωｌ及びガウシアンの重み付け関数Ｇｘ，ｙ,ｌの標準差に対して、それぞれ調整を行う必要があり、具体的な調整は次の通りである。
煙検出分岐Ｇｘ，ｙ，ｌの修正について、まず、協調フィードバック強化モジュールによって、Ｉt（ｘ，ｙ）フレームにおける煙が現れる可能性のある領域
Figure 0007475745000108
 が得られ、そして、
Figure 0007475745000109
 領域に基づいて領域標準差σＳＭを計算し、最後に、σＳＭで元の標準差σＧ、を置き換えて、Ｇｘ,ｙ,ｌの修正を実現する。
煙検出分岐のωｌの修正について、先ず、有火無煙の状況と同様に、識別確率が最も小さい煙ターゲットＳｓｍ、対応する確率Ｐｓｍを取得し、対応するＦＰＮレイヤ
Figure 0007475745000110
 の位置決めを行い、しかし、所望確率ＰＥ及び識別確率Ｐｓｍに基づいて重みωｌを修正する場合に相違があり、Ｐｓｍ≧ＰＥである場合、煙識別が最も悪い状況であっても所望確率以上に達成することを代表し、即ちこの時のＦＰＮレイヤの各レイヤの融合重みは比較的に適切であり、別途に調整する必要がなく、Ｐｓｍ＜ＰＥである場合、現在の特徴レイヤ
Figure 0007475745000111
 を主体とする特徴図の融合効果は、依然として向上させる必要があるため、次の式を利用して調整を行う。
Figure 0007475745000112
最後に、修正後のＧｘ,ｙ,ｌ及びＦＰＮレイヤの各レイヤの融合重みω’ｌを利用して、煙検出分岐を調整する。
同様に、上述した煙検出分岐の修正方式に従って、火炎検出分岐におけるＧｘ，ｙ，ｌ及びω’ｌを修正する。
（４）Ｉt-1（ｘ，ｙ）が煙が小さく火炎が大きい状況であると判断される場合、このような状況は、煙の位置決めが正確ではなく、即ち、検出が不完全であるため発生された状況であり、Ｉt（ｘ，ｙ）の画像の検出を行う時に、バイナリ検出ネットワークにおける煙検出分岐のレイヤ融合重みωｌに対して、有火無煙の場合に火炎検出分岐におけるωｌに対する修正方式に従って調整する必要があり、一方、火炎検出分岐におけるωｌに対して、煙が大きく火炎が小さい場合に火炎検出分岐におけるωｌに対する修正方式に従って調整を行う。
ステップ５：ステップ３によって得られた２つの検出分岐における検出結果に対して融合を行い、現フレームの検出カテゴリ及び対応する確率を出力し、そして、動画が終了するまで、この後のフレームについてステップ３～ステップ５の操作を循環する。
同じ技術案に基づいて、本発明は、１つ又は複数のプログラムが記憶されるコンピュータ可読記憶媒体をさらに開示し、前記１つ又は複数のプログラムはコマンドを含み、前記コマンドは、コンピューティング機器によって実行される時に、前記コンピューティング機器に以上に記載のバイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法を実行させる。
本発明は、バイナリ協調フィードバックに基づく無人航空機のスマートクルーズの検出機器をさらに提供し、１つ又は複数のプロセッサ、１つ又は複数のメモリ、及び１つ又は複数のプログラムを含み、ここで、１つ又は複数のプログラムは、前記１つ又は複数のメモリに記憶されており、且つ前記１つ又は複数のプロセッサによって実行されるように配置され、前記１つ又は複数のプログラムは、以上に記載のバイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法を実行するためのコマンドを含む。
以上、図面を結び付けて本発明の実施の形態を詳しく説明したが、本発明は上述した実施の形態に限定されず、当業者が備える知識範囲内では、本発明の趣旨を逸脱しない前提で様々な変更を行うこともできる。

Claims (9)

  1. バイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法であって、
    無人航空機によってターゲット領域の画像を空撮して取得し、且つ取得したターゲット領域の画像に対して、煙タブ及び火炎タブをそれぞれ付し、煙トレーニングセット及び火炎トレーニングセットを構築するステップ１と、
    ステップ１における煙トレーニングセット及び火炎トレーニングセットを利用して、ターゲット領域の画像における煙及び火炎という２のターゲットの特徴に対して、バイナリ検出ネットワークの構築及びトレーニングを行い、ここで、前記バイナリ検出ネットワークは、それぞれ改善されたＦＣＯＳネットワークを基準とする煙検出分岐及び火炎検出分岐を含むステップ２と、
    トレーニングされたバイナリ検出ネットワークを用いて、無人航空機によってリアルタイムで空撮して取得されたターゲット領域の動画の現フレームを検出し、煙検出分岐及び火炎検出分岐の検出結果を融合してから出力するステップ３と、
    ターゲット領域の動画が終了するまで、ステップ３を繰り返し、ターゲット領域の動画の次フレームを検出するステップ４とを含み、
    前記ステップ２において改善されたＦＣＯＳネットワークを基準とし、ここで、改善されたＦＣＯＳネットワークの構築プロセスは、基幹ネットワークＲｅｓＮｅｔのＣ３とＣ４との間、及びＣ４とＣ５との間に、それぞれ１つのＣＢＡＭのアテンションモジュールを追加し、回帰分岐において、変形可能なコンボリューションで、元のコンボリューションカーネルを置き換えることである、ことを特徴とするバイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法。
  2. 前記改善されたＦＣＯＳネットワークは、トレーニングを行う時に、ＦＰＮレイヤの回帰のアダプティブトレーニング決定方法を採用しており、具体的なプロセスは、
    ＦＰＮレイヤの回帰ベクトルセットΨ＝［Ψ１，Ψ２，…Ψｉ，…，ΨＮ］を構築し、Ｎは、タブカテゴリの総数であり、Ψｉは、１つの７タプルであり、前の５つの位置はＦＰＮレイヤのデフォルト回帰範囲であり、６番目の位置はタブカテゴリであり、７番目の位置は範囲修正フラグビットであるステップ２．１と、
    現フレームにおける１つの画素サイズがｋ×ｋである所定ターゲットに対して、デフォルト回帰スケールの範囲に基づいて、そのデフォルトレイヤＰｌ’を決定するステップ２．２と、
    異なるＦＰＮレイヤの損失値に対して、最小値の判断を行い、判断の式は次の通りであり、
    Figure 0007475745000113
     ここで、
    Figure 0007475745000114
     は、レイヤ間の損失度の最小値であり、ｌは、ＦＰＮの３から７レイヤまでのインデックスパラメータを示し、Ｌall（ｌ-２）、Ｌall（ｌ-1）、Ｌall（ｌ）、Ｌall（ｌ+1）、Ｌall（ｌ+２）は、それぞれレイヤＰｌ-2、Ｐｌ-1、Ｐｌ、Ｐｌ+1、Ｐｌ+2、
    Figure 0007475745000115
     がＦＰＮレイヤである損失関数を示すステップ２．３と、
    Figure 0007475745000116
     がレイヤＰｌ’の損失値と一致する場合、所定ターゲットのカテゴリに対応するレイヤ回帰ベクトルの７番目の位置を１に設定し、その後、この所定ターゲットの異なる入力スケールに関して、デフォルト回帰スケール範囲に従って勾配反転学習を直接に行うステップ
    ２．４と、
    Figure 0007475745000117
     がレイヤＰｌ’-1又はＰｌ’+1の損失値に一致する場合、所定ターゲットのカテゴリに対応するレイヤ回帰ベクトルの７番目の位置を０に設定し、且つデフォルト回帰スケールの範囲に対して次の修正を行った後、ステップ２．２に戻り、
    Figure 0007475745000118
     がレイヤＰｌ’-1の損失値に一致する場合、レイヤＰｌ’-1に対応するデフォルト回帰スケールの範囲を拡大し、即ち、（２８（ｌ’-3），ｋ）をレイヤＰｌ’に対応するデフォルト回帰スケールの範囲から分離して、レイヤＰｌ’-1に対応するデフォルト回帰スケールの範囲に組み込み、
    Figure 0007475745000119
     がレイヤＰｌ’+1の損失値に一致する場合、レイヤＰｌ’+1に対応するデフォルト回帰スケールの範囲を拡大し、即ち、（ｋ，２８（ｌ’-2））をレイヤＰｌ’に対応するデフォルト回帰スケールの範囲から分離して、レイヤＰｌ’+1に対応するデフォルト回帰スケールの範囲に組み込むステップ２．５と、
    Figure 0007475745000120
     がレイヤＰｌ’-2又はレイヤＰｌ’-2の損失値に一致する場合、所定ターゲットのカテゴリに対応するレイヤ回帰ベクトルの７番目の位置を－１に設定し、且つこのようなターゲットに対して、ＦＰＮの各レイヤの損失度を利用してレイヤを自動的に選択し勾配反転学習を直接に行うステップ２．６と、を含むことを特徴とする請求項１に記載のバイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法。
  3. 前記ステップ３における融合は、具体的に、煙検出分岐及び火炎検出分岐の検出結果における位置枠情報及び識別されたターゲット確率は、いずれも現フレームの対応する位置にタブ付けされる、ことを特徴とする請求項１に記載のバイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法。
  4. 前記ステップ４においてターゲット領域の動画の次フレームを検出する前に、現フレームの検出結果を先行知識として、協調最適化フィードバック及び協調強化フィードバックという２つのフィードバックメカニズムの選択を行い、選択の根拠は次の通りであり、
    現フレームの検出結果において煙検出分岐及び火炎検出分岐にいずれもターゲットが検出されていない場合、無煙無火の状況であり、協調強化フィードバックを選択し、
    現フレームの検出結果において煙検出分岐にターゲットが検出されており、一方、火炎検出分岐にターゲットが検出されていない場合、有煙無火の状況であり、協調最適化フィードバックを選択し、
    煙検出分岐にターゲットが検出されておらず、一方、火炎検出分岐にターゲットが検出されている場合、有火無煙の状況であり、協調強化フィードバックを選択し、
    煙検出分岐及び火炎検出分岐にいずれもターゲットが検出されている場合、煙検出分岐に検出された最小ターゲット煙面積を
    Figure 0007475745000121
     とし、火炎検出分岐に検出された最小ターゲット火炎面積を
    Figure 0007475745000122
     とし、
    Figure 0007475745000123
     と設定した閾値ηｍｉｎの大小関係に基づいて選択し、
    Figure 0007475745000124
     即ち煙が大きく火炎が小さい場合、協調最適化フィードバック及び協調強化フィードバックを同時に選択し、
    Figure 0007475745000125
     即ち煙及び火炎がほぼ同じである場合、協調最適化フィードバックを選択し、
    Figure 0007475745000126
     即ち煙が小さく火炎が大きい場合、協調強化フィードバックを選択する、ことを特徴とする請求項１に記載のバイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法。
  5. 前記協調最適化フィードバックの具体的なプロセスは次の通りであり、
    １）現フレームＩt-1（ｘ，ｙ）の検出結果における煙及び火炎の検出情報に基づいて、カルマンフィルタ方法を用いて、次フレームＩt（ｘ，ｙ）における煙及び火炎のターゲット領域を予測し、それぞれ煙ターゲット領域セット
    Figure 0007475745000127
     及び火炎ターゲット領域セット
    Figure 0007475745000128
     とし、ここで、
    Figure 0007475745000129
     は、それぞれＩt-1（ｘ，ｙ）の検出結果における煙及び火炎のターゲット領域の数であり、
    ２）第１の画素の判別関数を構築し、Ａｓｍ及びＡｆｉｒにおける煙及び火炎のターゲット領域内の第１の画素の判別関数値が０である画素ドットを除去し、新しい煙ターゲット領域セット
    Figure 0007475745000130
     及び火炎ターゲット領域セット
    Figure 0007475745000131
     を取得し、ここで、第１の画素の判別関数は次の通りであり、
    Figure 0007475745000132
     ここで、
    Figure 0007475745000133
     は、それぞれ火炎及び煙の画素の判別関数であり、（ｘ，ｙ）は、画素座標を示し、ｆＨ（ｘ，ｙ）、ｆＳ（ｘ，ｙ）及びｆＩ（ｘ，ｙ）は、それぞれ画素（ｘ，ｙ）のＨＳＩスペースチャンネルにおける値を示し、
    ３）フレーム間差分法を用いて、Ｉt（ｘ，ｙ）におけるＡ’ｓｍ及びＡ’ｆｉｒ以外の煙及び火炎のターゲットを位置決め、具体的に次の通りであり、
    Ｓ３１：Ｉt（ｘ，ｙ）及びＩt-1（ｘ，ｙ）においてＡ’ｓｍが含まれない画像
    Figure 0007475745000134
     及びＡ’ｆｉｒが含まれない画像
    Figure 0007475745000135
     をそれぞれ取得し、
    Ｓ３２：フレーム差領域Ｄｓｍ（ｘ，ｙ）及びＤｆｉｒ（ｘ，ｙ）を取得し、
    Figure 0007475745000136
     Ｓ３３：取得したＤｓｍ（ｘ，ｙ）及びＤｆｉｒ（ｘ，ｙ）に対して、第２の画素の判別関数を構築し、Ｄｓｍ（ｘ，ｙ）及びＤｆｉｒ（ｘ，ｙ）において第２の画素の判別関数値が０である画素ドットを除去し、Ａ’ｓｍ又はＡ’ｆｉｒ領域からずれる煙及び火炎領域Ｕｓｍ及びＵｆｉｒを取得し、ここで、第２の画素の判別関数の計算プロセスは、次の通りであり、
    Figure 0007475745000137
     ここで、Ｔは、運動領域の判断閾値であり、Ｕｓｍ及びＵｆｉｒは、それぞれＡ’ｓｍ及びＡ’ｆｉｒからずれる煙及び火炎領域であり、
    Ｓ３４：Ｉt（ｘ，ｙ）において
    Figure 0007475745000138
     に対して、それぞれマスキングを行い、それによってＩt（ｘ，ｙ）に対応する煙消去マスキング画像
    Figure 0007475745000139
     及び火炎消去マスキング画像
    Figure 0007475745000140
     を取得し、
    ４）Ｉt-１（ｘ，ｙ）は有煙無火の状況である場合、Ｉt（ｘ，ｙ）検出を行う時に、
    Figure 0007475745000141
     をバイナリ検出ネットワークにおける火炎検出分岐の入力とし、Ｉt（ｘ，ｙ）を煙検出分岐の入力とし、
    Ｉt-１（ｘ，ｙ）は煙が大きく火炎が小さい場合、Ｉt（ｘ，ｙ）検出を行う時に、
    Figure 0007475745000142
     をバイナリ検出ネットワークにおける煙検出分岐の入力とし、
    Figure 0007475745000143
     を火炎検出分岐の入力とし、
    Ｉt-１（ｘ，ｙ）は煙及び火炎がほぼ同じである場合、Ｉt（ｘ，ｙ）検出を行う時に、
    Figure 0007475745000144
     をバイナリ検出ネットワークにおける煙検出分岐の入力とし、
    Figure 0007475745000145
     を火炎検出分岐の入力とする、ことを特徴とする請求項４に記載のバイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法。
  6. 前記協調強化フィードバックの具体的なプロセスは次の通りであり、
    （１）Ｉt-１（ｘ，ｙ）は無煙無火の状況である場合、Ｉt（ｘ，ｙ）検出を行う時に、バイナリ検出ネットワークにおける煙検出分岐及び火炎検出分岐におけるＦＰＮの各レイヤ特徴重みωｌに対して、アダプティブ調整を行い、調整された重みは、
    Figure 0007475745000146
     であり、
    ここで、
    Figure 0007475745000147
     は、レイヤ重み調節因子であり、
    Figure 0007475745000148
     ｈｕａｖは、現在の無人航空機の空撮の高さを示し、
    Figure 0007475745000149
     は、バイナリ検出ネットワークトレーニング時に、対応する無人航空機の平均の空撮の高さを示し、ｌは、現在のＦＰＮのレイヤ数を示し、
    Figure 0007475745000150
     は、特徴図の融合を行う必要のあるＦＰＮレイヤ総数であり、
    （２）Ｉt-１（ｘ，ｙ）は有火無煙の状況である場合、Ｉt（ｘ，ｙ）検出を行う時に、バイナリ検出ネットワークにおける火炎検出分岐のＦＰＮの各レイヤ特徴重みωｌに対して、アダプティブ調整を行い、具体的なステップは次の通りであり、
    先ず、Ｉt-１（ｘ，ｙ）に検出された複数の火炎ターゲットの識別確率に対してソーティングを行い、識別確率が最も小さい火炎ターゲットをＳｆｉｒとし、対応する識別確率をＰｆｉｒとし、
    次に、現在の煙ターゲットのスケール回帰範囲に基づいて、Ｓｆｉｒに対してＦＰＮレイヤスケール位置決めを行い、ＦＰＮレイヤに位置決められたものを
    Figure 0007475745000151
     とし、
    その後、識別確率Ｐｆｉｒ及び設定したターゲットの所望確率ＰＥを利用して、バイナリ検出ネットワークにおける火炎検出分岐のＦＰＮの各レイヤ特徴重みに対して修正を行い、修正後の重みは次の通りであり、
    Figure 0007475745000152
     （３）Ｉt-１（ｘ，ｙ）は煙が大きく火炎が小さい場合、Ｉt（ｘ，ｙ）検出を行う時に、バイナリ検出ネットワークにおける煙検出分岐及び火炎検出分岐のＦＰＮの各レイヤの特徴融合重みωｌ及びガウシアン重み付け関数Ｇx,y,ｌの標準差に対して、それぞれ調整を行い、具体的な調整ステップは次の通りであり、
    煙検出分岐におけるＧx,y,ｌの修正の面でみれば、協調フィードバック強化によって得られた
    Figure 0007475745000153
     の領域の標準差で元の標準差を置き換えることにより、Ｇｘ, ｙ,ｌの修正を実現し、
    煙検出分岐におけるωｌの修正の面でみれば、先ず、識別確率が最も小さい煙ターゲットＳｓｍ、対応する確率Ｐｓｍを取得し、対応するＦＰＮレイヤ
    Figure 0007475745000154
     の位置決めを行い、Ｐｓｍ≧ＰＥである場合、重み調整を行う必要がなく、Ｐｓｍ＜ＰＥである場合、次の式を利用して重み調整を行い、
    Figure 0007475745000155
     煙検出分岐と同じな調整ステップに基づき、火炎検出分岐におけるＧx,y,ｌ及びω’ｌを調整し、
    （４）Ｉt-１（ｘ，ｙ）は煙が小さく火炎が大きい場合、Ｉt（ｘ，ｙ）検出を行う時に、バイナリ検出ネットワークにおける煙検出分岐のレイヤ融合重みωｌに対して、無火有煙の状況である場合に火炎検出分岐におけるωｌに対する修正方式によって調整を行い、一方、火炎検出分岐におけるωｌに対して、煙が大きく火炎が小さい場合に火炎検出分岐におけるωｌに対する修正方式によって調整を行う、ことを特徴とする請求項４に記載のバイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法。
  7. 現フレームＩt-1（ｘ，ｙ）の検出結果における煙及び火炎の検出情報に基づいて、速度に基づいて修正されたカルマンフィルタ方法に基づいて、次フレームＩt（ｘ，ｙ）における煙及び火炎のターゲット領域を予測し、ここで、カルマンフィルタの速度の修正の計算プロセスは次の通りであり、
    Figure 0007475745000156
     ここで、ｖｕａｖは、無人航空機の速度を示し、ｗ’及びｈ’は、ターゲット領域の画像の幅及び高さを示し、Ｌは、無人航空機の空撮レンズの受容野の直径を示し、∂は、スケーリングパラメータを示し、Δｈは、無人航空機の上昇又は下降プロセスにおける高さの差を示し、Δｔｈは、無人航空機の上昇及び下降プロセスにおいてかかった時間を示し、ｗｔ-1及びｈｔ-1は、Ｉt-1（ｘ，ｙ）におけるターゲットの検出枠の幅及び高さであり、Δｔは、フレーム数の間隔であり、ｖｔｘ、ｖｔｙ、ｖｔｗ、ｖｔｈは、第ｔ時刻のターゲットの検出枠の中心座標及び検出枠の幅、高さの速度値をそれぞれ示す、ことを特徴とする請求項５に記載のバイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法。
  8. １つ又は複数のプログラムが記憶されるコンピュータ可読記憶媒体であって、
    前記１つ又は複数のプログラムはコマンドを含み、前記コマンドがコンピューティング機器により実行される時、前記コンピューティング機器に請求項１から７のいずれか１項に記載の方法を実行させる、ことを特徴とするコンピュータ可読記憶媒体。
  9. １つ又は複数のプロセッサ、１つ又は複数のメモリ、及び１つ又は複数のプログラムを含み、ここで、１つ又は複数のプログラムは、前記１つ又は複数のメモリに記憶されており、前記１つ又は複数のプロセッサによって実行されるように配置され、前記１つ又は複数のプログラムは、請求項１から７のいずれか１項に記載の方法を実行するためのコマンドを含む、ことを特徴とするバイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出機器。
JP2023131096A 2023-04-27 2023-08-10 バイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法 Active JP7475745B1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202310483913.2 2023-04-27
CN202310483913.2A CN116503763A (zh) 2023-04-27 2023-04-27 基于二元协同反馈的无人机巡航森林火灾检测方法

Publications (1)

Publication Number Publication Date
JP7475745B1 true JP7475745B1 (ja) 2024-04-30

Family

ID=87326196

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023131096A Active JP7475745B1 (ja) 2023-04-27 2023-08-10 バイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法

Country Status (2)

Country Link
JP (1) JP7475745B1 (ja)
CN (1) CN116503763A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117671602B (zh) * 2024-01-31 2024-04-05 吉林省中农阳光数据有限公司 基于图像识别的农田森林烟雾防火检测方法和设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11295131B1 (en) 2021-06-15 2022-04-05 Knoetik Solutions, Inc. Smoke and fire recognition, fire forecasting, and monitoring
CN114677629A (zh) 2022-03-30 2022-06-28 山东中科先进技术有限公司 一种基于yolov5网络的烟火检测预警方法及系统
CN114842185A (zh) 2022-03-21 2022-08-02 昭通亮风台信息科技有限公司 用于火灾的目标识别方法、装置、设备及介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11295131B1 (en) 2021-06-15 2022-04-05 Knoetik Solutions, Inc. Smoke and fire recognition, fire forecasting, and monitoring
CN114842185A (zh) 2022-03-21 2022-08-02 昭通亮风台信息科技有限公司 用于火灾的目标识别方法、装置、设备及介质
CN114677629A (zh) 2022-03-30 2022-06-28 山东中科先进技术有限公司 一种基于yolov5网络的烟火检测预警方法及系统

Also Published As

Publication number Publication date
CN116503763A (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
Liu et al. Human memory update strategy: a multi-layer template update mechanism for remote visual monitoring
CN112949508B (zh) 模型训练方法、行人检测方法、电子设备及可读存储介质
CN107529650B (zh) 闭环检测方法、装置及计算机设备
CN107145867A (zh) 基于多任务深度学习的人脸及人脸遮挡物检测方法
Li et al. All-day object tracking for unmanned aerial vehicle
Foedisch et al. Adaptive real-time road detection using neural networks
JP7475745B1 (ja) バイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法
CN111783551A (zh) 基于贝叶斯卷积神经网络的对抗样本防御方法
CN114821374B (zh) 一种知识与数据协同驱动的无人机航拍目标检测方法
CN113312973B (zh) 一种手势识别关键点特征提取方法及系统
CN113689464B (zh) 一种基于孪生网络的自适应多层响应融合的目标跟踪方法
CN112818783B (zh) 一种基于交通标志目标检测器改进的对抗样本生成方法
CN113191204B (zh) 一种多尺度遮挡行人检测方法及系统
CN113743426A (zh) 一种训练方法、装置、设备以及计算机可读存储介质
CN115797736A (zh) 目标检测模型的训练和目标检测方法、装置、设备和介质
CN115147745A (zh) 一种基于城市无人机图像的小目标检测方法
CN112990102B (zh) 一种改进的Centernet复杂环境目标检测方法
CN115565130A (zh) 一种无人值守系统及其基于光流的监控方法
CN114168940A (zh) 针对车辆目标检测模型的对抗补丁攻击方法
CN106447691A (zh) 基于加权多示例学习的加权极限学习机视频目标跟踪方法
CN115481215A (zh) 一种基于时态合作者知识图谱的合作者预测方法和预测系统
Duan [Retracted] Deep Learning‐Based Multitarget Motion Shadow Rejection and Accurate Tracking for Sports Video
CN106650814B (zh) 一种基于车载单目视觉室外道路自适应分类器生成方法
JP2019023801A (ja) 画像認識装置、画像認識方法、及び画像認識プログラム
CN115630361A (zh) 一种基于注意力蒸馏的联邦学习后门防御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230810

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230810

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20231012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240410

R150 Certificate of patent or registration of utility model

Ref document number: 7475745

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150