JP7357176B1 - 周波数領域における自己注意機構に基づく夜間オブジェクト検出、訓練方法及び装置 - Google Patents
周波数領域における自己注意機構に基づく夜間オブジェクト検出、訓練方法及び装置 Download PDFInfo
- Publication number
- JP7357176B1 JP7357176B1 JP2023071865A JP2023071865A JP7357176B1 JP 7357176 B1 JP7357176 B1 JP 7357176B1 JP 2023071865 A JP2023071865 A JP 2023071865A JP 2023071865 A JP2023071865 A JP 2023071865A JP 7357176 B1 JP7357176 B1 JP 7357176B1
- Authority
- JP
- Japan
- Prior art keywords
- frequency domain
- self
- attention
- indicates
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 82
- 238000012549 training Methods 0.000 title claims abstract description 66
- 230000007246 mechanism Effects 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 30
- 239000013598 vector Substances 0.000 claims description 44
- 238000003860 storage Methods 0.000 claims description 18
- 238000007781 pre-processing Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 3
- 238000005429 filling process Methods 0.000 claims description 3
- 238000010008 shearing Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 abstract description 5
- 238000012545 processing Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
Abstract
【課題】本発明は周波数領域における自己注意機構に基づく夜間オブジェクト検出訓練方法及び装置を提供する。【解決手段】方法は、検出ネットワークを訓練し、入力画像を前処理してＲＧＢからＹＵＶチャネルに変換させ、３つのチャネルの画像を複数のブロックにそれぞれ分割し、３つのチャネルの各ブロックそれぞれに対して離散コサイン変換（ＤＣＴ）を行い、各ブロックにおける同一周波数領域に属する情報をその元の空間関係に応じて同一チャネルに書き込み、異なる周波数領域を示す複数のチャネルを生成し、すべての周波数領域チャネルを自己注意ネットワークモジュールに入力し、該モジュールが各チャネル間におけるスケール化内積自己注意を計算することにより、チャネル毎に動的に重み付けした後の数値を出力し、更にそれぞれ同じ多層パーセプトロン（ＭＬＰ）に入力し、出力結果を検出ネットワークに入力し、最終的に画像の検出結果を取得する。【選択図】図１
Description
本発明はコンピュータ視覚識別の技術分野に関し、特に周波数領域における自己注意機構に基づく夜間オブジェクト検出、訓練方法及び装置に関する。
オブジェクト検出は多くの他の代表的な視覚問題の基礎であって、高い実用価値及び利用可能性を有する。ＲＧＢビデオカメラが撮影した夜間シーンのピクチャにおける物体を検出することは、非常に重要であるが、十分に重く見ていない問題であり、現在最新の視覚検出アルゴリズムは夜間シーンにおいて所期の性能を実現できない場合が多い。
夜間オブジェクト検出は多くのシステム（例えば、安全で確実な自動運転車）の肝心の構成部分である。歩行者検出を例とし、正式なアルゴリズムのＣａｌｔｅｃｈ（有名な歩行者検出データセット）における誤り率（小さければ小さいほど良くなる）は７．３６％に達することができるが、夜間歩行者データセットにおいて６３．９９％に達するだけである。
夜間オブジェクト検出の性能が低い理由は、主に現在の深層学習ネットワークが照明情報及び低周波情報に比較的敏感であるためである。周知のように、夜間で撮影した画像は、騒音が大きく、輪郭が明瞭でなく、模様がぼけているという問題がある。これも汎用の特徴抽出ネットワークが十分な特徴情報を抽出して学習及び識別することができないことを直接にもたらしてしまう。
研究によって明らかになることは、人の目の色度への敏感度が輝度への敏感度よりも低い。従って、ＹＵＶ画像（Ｙチャネルが画像の輝度情報を示す）は人の目に一層適合する視覚特性を示す。また、研究者はニューラルネットワークの画像の異なる周波数領域への敏感度が異なることを発見した。昼間画像に基づいて訓練するモデルにおいて、低周波情報がより効果的なものであることが証明されるが、高周波情報が常に無視される。ところが、夜間画像は昼間画像の分布と大いに異なり、夜間画像自体が有する低周波情報が非常に限られる。従って、周波数領域の範囲において画像を動的に重み付けし、モデルが性能の向上に最も有利な周波数領域特徴を選択できるようにし、夜間シーンへの利用可能性が高い。
従来技術の欠点を解決して、夜間画像の検出精度を向上させる目的を実現するために、本発明は以下の技術案を用いる。
周波数領域における自己注意機構に基づく夜間オブジェクト検出訓練方法であって、
訓練セット画像に対してデータ前処理を行い、訓練セット画像をＹＵＶの３つのチャネルに変換して、３つのチャネルの画像に対してブロック分割をそれぞれ行い、Ｙが明度を示し、ＵとＶが色度を示すステップＳ１と、
３つのチャネルにおける各ブロックの高低周波情報を抽出し、同一チャネルにおける各ブロックの相対位置が同じ情報は同一周波数領域の情報を示すステップＳ２と、
各ブロックにおける同一周波数領域に属する情報を各ブロック間の空間関係に応じて同一周波数領域チャネルに書き込んで、複数の異なる周波数領域のチャネルを取得するステップＳ３と、
すべての周波数領域チャネルを周波数領域における自己注意ネットワークに入力し、各チャネル間におけるスケール化内積自己注意を計算することにより、周波数領域チャネルごとに自己注意重み付けした後の周波数領域特徴を出力するステップＳ４と、
予測された対象枠位置及び予測カテゴリを出力し、特徴マップにおける各特徴点に対応する真のカテゴリ及び真理値の対象枠位置に基づいて損失関数に応じて夜間オブジェクト監督訓練を行うステップＳ５と、を含む。
訓練セット画像に対してデータ前処理を行い、訓練セット画像をＹＵＶの３つのチャネルに変換して、３つのチャネルの画像に対してブロック分割をそれぞれ行い、Ｙが明度を示し、ＵとＶが色度を示すステップＳ１と、
３つのチャネルにおける各ブロックの高低周波情報を抽出し、同一チャネルにおける各ブロックの相対位置が同じ情報は同一周波数領域の情報を示すステップＳ２と、
各ブロックにおける同一周波数領域に属する情報を各ブロック間の空間関係に応じて同一周波数領域チャネルに書き込んで、複数の異なる周波数領域のチャネルを取得するステップＳ３と、
すべての周波数領域チャネルを周波数領域における自己注意ネットワークに入力し、各チャネル間におけるスケール化内積自己注意を計算することにより、周波数領域チャネルごとに自己注意重み付けした後の周波数領域特徴を出力するステップＳ４と、
予測された対象枠位置及び予測カテゴリを出力し、特徴マップにおける各特徴点に対応する真のカテゴリ及び真理値の対象枠位置に基づいて損失関数に応じて夜間オブジェクト監督訓練を行うステップＳ５と、を含む。
更に、前記ステップＳ１におけるデータ前処理は、
訓練セット画像に対してランダム水平反転、ランダムせん断、画像充填、画像スケール化を順次行い、画像充填過程において、画像の幅・長さを０でｓの整数倍に充填し、画像スケール化過程において、画像を幅ｓ×ｎ・長さｓ×ｎにスケール化して、前処理後の画像次元（ｓ×ｎ）×（ｓ×ｎ）×３を取得し、ここで、３がＲＧＢチャネルであるステップＳ１．１と、
訓練セット画像をＲＧＢからＹＵＶチャネルに変換し、３つのチャネルの画像を画素の幅・長さがｓ×ｓのｎ×ｎ個のブロックにそれぞれ分割するステップＳ１．２と、を含む。
訓練セット画像に対してランダム水平反転、ランダムせん断、画像充填、画像スケール化を順次行い、画像充填過程において、画像の幅・長さを０でｓの整数倍に充填し、画像スケール化過程において、画像を幅ｓ×ｎ・長さｓ×ｎにスケール化して、前処理後の画像次元（ｓ×ｎ）×（ｓ×ｎ）×３を取得し、ここで、３がＲＧＢチャネルであるステップＳ１．１と、
訓練セット画像をＲＧＢからＹＵＶチャネルに変換し、３つのチャネルの画像を画素の幅・長さがｓ×ｓのｎ×ｎ個のブロックにそれぞれ分割するステップＳ１．２と、を含む。
更に、前記ステップＳ２において、３つのチャネルの各ブロックのそれぞれに対して離散コサイン変換（ＤＣＴ）を行い、更に各ブロックの高低周波情報を抽出する。
更に、前記ステップＳ４は、
各周波数領域チャネルを二次元ベクトルから一次元ベクトルに再構築し、各ベクトルを行列Ｋに直列接続するステップＳ４．１と、
行列に対してスケール化内積自己注意計算を行って、複数の周波数領域間における動的に重み付けしたベクトルを取得するステップＳ４．２であって、
前記ステップＳ４．２における自己注意計算公式は、以下の式１に示され、
ここで、各ベクトルを行列Ｋに直列接続して自己注意計算におけるキー値（ｋｅｙ）とし、Ｖ＝Ｑ＝Ｋであり、Ｑがクエリ（ｑｕｅｒｙ）を示し、Ｖが値エントリ（ｖａｌｕｅ）を示し、ＱＫＴが内積操作を示し、すべてのベクトル間の類似度を取得するためのものであり、
がスケール比率を示し、Ｎが一次元ベクトルの長さを示し、該公式は複数の周波数領域間における動的重み付けを実現して、その周波数領域が最大重みを占めるように確保することができるステップＳ４．２と、
動的に重み付けしたベクトルを同じ多層パーセプトロン（ＭＬＰ）層に入力し、該ＭＬＰ層は２つの完全接続層で構成され、第１層が
個のニューロンで構成され、第２層がＮ個のニューロンで構成され、従って、出力ベクトル及び入力ベクトルの次元が変化しないように維持するステップＳ４．３と、
多層パーセプトロン（ＭＬＰ）層の出力ベクトルを直列接続して、次元を再構築して、自己注意重み付けした後の周波数領域特徴を取得するステップＳ４．４と、を含む。
各周波数領域チャネルを二次元ベクトルから一次元ベクトルに再構築し、各ベクトルを行列Ｋに直列接続するステップＳ４．１と、
行列に対してスケール化内積自己注意計算を行って、複数の周波数領域間における動的に重み付けしたベクトルを取得するステップＳ４．２であって、
前記ステップＳ４．２における自己注意計算公式は、以下の式１に示され、
動的に重み付けしたベクトルを同じ多層パーセプトロン（ＭＬＰ）層に入力し、該ＭＬＰ層は２つの完全接続層で構成され、第１層が
多層パーセプトロン（ＭＬＰ）層の出力ベクトルを直列接続して、次元を再構築して、自己注意重み付けした後の周波数領域特徴を取得するステップＳ４．４と、を含む。
更に、前記ステップＳ５は、
前記周波数領域特徴を検出ネットワークに入力し、特徴マップにおける各特徴点に対応する予測カテゴリを出力し、対象枠を予測し、検出ネットワークは深層残差ネットワーク（ＲｅｓＮｅｔ）を基幹ネットワークとし、微調整後のＲｅｔｉｎａＮｅｔ検出ネットワークを用い、具体的にその基幹ネットワークＲｅｓＮｅｔにおける畳み込み層ｃｏｎｖ１及び畳み込み層ｃｏｎｖ２における最大プーリング層を削除し、残りの層が変化しないように維持するステップＳ５．１と、
予測カテゴリ及び真のカテゴリに基づいて分類損失により監督訓練を行うとともに、予測対象枠及び真理値の対象枠に基づいて回帰損失により監督訓練を共同で行うステップＳ５．２と、を含む。
前記周波数領域特徴を検出ネットワークに入力し、特徴マップにおける各特徴点に対応する予測カテゴリを出力し、対象枠を予測し、検出ネットワークは深層残差ネットワーク（ＲｅｓＮｅｔ）を基幹ネットワークとし、微調整後のＲｅｔｉｎａＮｅｔ検出ネットワークを用い、具体的にその基幹ネットワークＲｅｓＮｅｔにおける畳み込み層ｃｏｎｖ１及び畳み込み層ｃｏｎｖ２における最大プーリング層を削除し、残りの層が変化しないように維持するステップＳ５．１と、
予測カテゴリ及び真のカテゴリに基づいて分類損失により監督訓練を行うとともに、予測対象枠及び真理値の対象枠に基づいて回帰損失により監督訓練を共同で行うステップＳ５．２と、を含む。
更に、前記ステップＳ５．２における分類損失はＦｏｃａｌ Ｌｏｓｓ分類損失を用い、計算公式は、以下の式２に示され、
ここで、ｘが特徴マップにおけるｘ行目を示し、ｙがｙ列目の位置を示し、ｐｘ，ｙがｘ，ｙ座標において予測カテゴリにより取得された分類信頼度を示し、ｐ＊
ｘ，ｙがｘ，ｙ座標においてオブジェクトが属する真のカテゴリの分類信頼度を示し、１が正サンプルを示し、０が負サンプルを示し、γが０よりも大きな値であり、αが［０，１］間の小数であり、γとαがいずれも固定値であって、訓練に参加しない。
更に、前記ステップＳ５．２における回帰損失はＩＯＵ交差オーバーユニオン損失を用い、計算公式は、以下の式３に示され、
ここで、ｘが特徴マップにおけるｘ行目を示し、ｙがｙ列目の位置を示し、ｂｘ，ｙがｘ，ｙ座標に対応する予測対象枠の座標を示し、ｂ＊
ｘ，ｙがｘ，ｙ座標に対応する真理値の対象枠の座標を示し、Ａｒｅａが該対象枠の面積を示す。
周波数領域における自己注意機構に基づく夜間オブジェクト検出訓練装置であって、事前訓練モジュール、高低周波情報抽出モジュール、同一周波数領域情報記憶モジュール、自己注意ネットワークモジュール及び検出ネットワークモデルを備え、
前記事前訓練モジュールは、訓練セット画像に対してデータ前処理を行い、訓練セット画像をＹＵＶの３つのチャネルに変換して、３つのチャネルの画像に対してブロック分割をそれぞれ行い、Ｙが明度を示し、ＵとＶが色度を示し、
前記高低周波情報抽出モジュールは、３つのチャネルにおける各ブロックの高低周波情報を抽出し、同一チャネルにおける各ブロックの相対位置が同じ情報は同一周波数領域の情報を示し、
前記同一周波数領域情報記憶モジュールは、各ブロックにおける同一周波数領域に属する情報を各ブロック間の空間関係に応じて同一周波数領域チャネルに書き込んで、複数の異なる周波数領域のチャネルを取得し、
前記自己注意ネットワークモジュールは、すべての周波数領域チャネルを周波数領域における自己注意ネットワークに入力し、各チャネル間におけるスケール化内積自己注意を計算することにより、周波数領域チャネルごとに自己注意重み付けした後の周波数領域特徴を出力し、
前記検出ネットワークモデルは、周波数領域特徴を検出ネットワークに入力し、予測された対象枠位置及び予測カテゴリを出力し、特徴マップにおける各特徴点に対応する真のカテゴリ及び真理値の対象枠位置に基づいて損失関数に応じて夜間オブジェクト監督訓練を行う。
前記事前訓練モジュールは、訓練セット画像に対してデータ前処理を行い、訓練セット画像をＹＵＶの３つのチャネルに変換して、３つのチャネルの画像に対してブロック分割をそれぞれ行い、Ｙが明度を示し、ＵとＶが色度を示し、
前記高低周波情報抽出モジュールは、３つのチャネルにおける各ブロックの高低周波情報を抽出し、同一チャネルにおける各ブロックの相対位置が同じ情報は同一周波数領域の情報を示し、
前記同一周波数領域情報記憶モジュールは、各ブロックにおける同一周波数領域に属する情報を各ブロック間の空間関係に応じて同一周波数領域チャネルに書き込んで、複数の異なる周波数領域のチャネルを取得し、
前記自己注意ネットワークモジュールは、すべての周波数領域チャネルを周波数領域における自己注意ネットワークに入力し、各チャネル間におけるスケール化内積自己注意を計算することにより、周波数領域チャネルごとに自己注意重み付けした後の周波数領域特徴を出力し、
前記検出ネットワークモデルは、周波数領域特徴を検出ネットワークに入力し、予測された対象枠位置及び予測カテゴリを出力し、特徴マップにおける各特徴点に対応する真のカテゴリ及び真理値の対象枠位置に基づいて損失関数に応じて夜間オブジェクト監督訓練を行う。
周波数領域における自己注意機構に基づく夜間オブジェクト検出方法であって、入力画像に対して前記した周波数領域における自己注意機構に基づく夜間オブジェクト検出方法によって前処理、高低周波情報の抽出及び同一周波数領域チャネルへの書き込みを行った後、訓練済みの自己注意ネットワーク及び検出ネットワークに入力して、検出結果を取得する。
周波数領域における自己注意機構に基づく夜間オブジェクト検出装置であって、入力画像を前記した周波数領域における自己注意機構に基づく夜間オブジェクト検出訓練装置に入力し、事前訓練モジュール、高低周波情報抽出モジュール、同一周波数領域情報記憶モジュールを経た後、訓練済みの自己注意ネットワークモジュール及び検出ネットワークモデルに順次入力して、検出結果を取得する。
本発明の優位性及び有益な効果は、
第１として、入力画像をＲＧＢからＹＵＶチャネルに変換し、人の目の視覚特性に一層適合し、輝度Ｙチャネルを分離することにより輝度チャネルにおける異なる周波数領域の視覚情報を捕らえることができ、それにより夜間オブジェクト検出性能を向上させ、
第２として、周波数領域における自己注意ネットワークモジュールにおけるスケール化自己注意計算によって有用な周波数領域の重みを動的に向上させ、冗長周波数領域の重みを低下させ、それにより周波数領域情報の利用率を向上させ、
第３として、該方法は深層残差ネットワーク（ＲｅｓＮｅｔ）を基幹ネットワークとするいかなる検出ネットワーク（ＲｅｔｉｎａＮｅｔに限らない）にプラグ・アンド・プレイすることができ、且つＲｅｔｉｎａＮｅｔ－ＲｅｓＮｅｔ５０及びＲｅｔｉｎａＮｅｔ－ＲｅｓＮｅｔ１０１の２つのｂａｓｅｌｉｎｅよりもそれぞれＭＡＰが３．７０％及び２．８８％の精度向上する、ことにある。
第１として、入力画像をＲＧＢからＹＵＶチャネルに変換し、人の目の視覚特性に一層適合し、輝度Ｙチャネルを分離することにより輝度チャネルにおける異なる周波数領域の視覚情報を捕らえることができ、それにより夜間オブジェクト検出性能を向上させ、
第２として、周波数領域における自己注意ネットワークモジュールにおけるスケール化自己注意計算によって有用な周波数領域の重みを動的に向上させ、冗長周波数領域の重みを低下させ、それにより周波数領域情報の利用率を向上させ、
第３として、該方法は深層残差ネットワーク（ＲｅｓＮｅｔ）を基幹ネットワークとするいかなる検出ネットワーク（ＲｅｔｉｎａＮｅｔに限らない）にプラグ・アンド・プレイすることができ、且つＲｅｔｉｎａＮｅｔ－ＲｅｓＮｅｔ５０及びＲｅｔｉｎａＮｅｔ－ＲｅｓＮｅｔ１０１の２つのｂａｓｅｌｉｎｅよりもそれぞれＭＡＰが３．７０％及び２．８８％の精度向上する、ことにある。
以下、図面を参照しながら本発明の具体的な実施形態を詳しく説明する。理解されるように、ここに説明される具体的な実施形態は単に本発明を説明及び解釈するためのものであり、本発明を制限するためのものではない。
図１、図２に示すように、周波数領域における自己注意機構に基づく夜間オブジェクト検出訓練方法は以下のステップを含む。
ステップＳ１では、訓練セット画像に対してデータ前処理を行い、訓練セット画像をＹＵＶの３つのチャネルに変換して、３つのチャネルの画像に対してブロック分割をそれぞれ行い、Ｙが明度を示し、ＵとＶが色度を示し、
データ前処理の前に、データセットの構築を行うことができすることであって、オープンソース夜間オブジェクト検出データセットＥｘｃｌｕｓｉｖｅｌｙ Ｄａｒｋ（ＥｘＤａｒｋ）をダウンロードし、該データセットは１２個のカテゴリ、即ち自転車、船、瓶、コップ、バス、乗用車、猫、椅子、狗、オートバイ、人及び机を含み、４：１：１の比率で訓練セット、検証セット及びテストセットを作成し、
上記訓練セット画像に対してデータ前処理を行うことは具体的に下記ステップＳ１．１～ステップＳ１．２を含み、
ステップＳ１．１において、訓練セット画像に対してランダム水平反転、ランダムせん断、画像充填、画像スケール化を順次行い、画像充填過程において、画像の幅・長さを０でｓの整数倍に充填し、画像スケール化過程において、画像を幅ｓ×ｎ・長さｓ×ｎにスケール化して、前処理後の画像次元（ｓ×ｎ）×（ｓ×ｎ）×３を取得し、ここで、３がＲＧＢチャネルであり、
図１が簡略化された図であり、画像のサイズが４×４であり、ｓ＝ｎ＝２であり、同一数字が同一周波数領域を示すが、本発明の実施例において、ｓ＝８、ｎ＝６４であり、従って、前処理後の画像次元が５１２×５１２×３であり、ここで、３がＲＧＢチャネルであり、
ステップＳ１．２において、訓練セット画像をＲＧＢからＹＵＶチャネルに変換し、３つのチャネルの画像を画素の幅・長さがｓ×ｓのｎ×ｎ個のブロックにそれぞれ分割し、
本発明の実施例では、幅・長さが８×８のブロックが結像され、従って、３つのチャネルがそれぞれ６４×６４＝４０９６個のブロックに分割され、Ｙが明度（このチャネルだけを取ることで、グレースケールマップを取得することができる）を示し、ＵとＶが色度を示し、画像の彩度を説明し、画素の色を指定するためのものである。
データ前処理の前に、データセットの構築を行うことができすることであって、オープンソース夜間オブジェクト検出データセットＥｘｃｌｕｓｉｖｅｌｙ Ｄａｒｋ（ＥｘＤａｒｋ）をダウンロードし、該データセットは１２個のカテゴリ、即ち自転車、船、瓶、コップ、バス、乗用車、猫、椅子、狗、オートバイ、人及び机を含み、４：１：１の比率で訓練セット、検証セット及びテストセットを作成し、
上記訓練セット画像に対してデータ前処理を行うことは具体的に下記ステップＳ１．１～ステップＳ１．２を含み、
ステップＳ１．１において、訓練セット画像に対してランダム水平反転、ランダムせん断、画像充填、画像スケール化を順次行い、画像充填過程において、画像の幅・長さを０でｓの整数倍に充填し、画像スケール化過程において、画像を幅ｓ×ｎ・長さｓ×ｎにスケール化して、前処理後の画像次元（ｓ×ｎ）×（ｓ×ｎ）×３を取得し、ここで、３がＲＧＢチャネルであり、
図１が簡略化された図であり、画像のサイズが４×４であり、ｓ＝ｎ＝２であり、同一数字が同一周波数領域を示すが、本発明の実施例において、ｓ＝８、ｎ＝６４であり、従って、前処理後の画像次元が５１２×５１２×３であり、ここで、３がＲＧＢチャネルであり、
ステップＳ１．２において、訓練セット画像をＲＧＢからＹＵＶチャネルに変換し、３つのチャネルの画像を画素の幅・長さがｓ×ｓのｎ×ｎ個のブロックにそれぞれ分割し、
本発明の実施例では、幅・長さが８×８のブロックが結像され、従って、３つのチャネルがそれぞれ６４×６４＝４０９６個のブロックに分割され、Ｙが明度（このチャネルだけを取ることで、グレースケールマップを取得することができる）を示し、ＵとＶが色度を示し、画像の彩度を説明し、画素の色を指定するためのものである。
ステップＳ２では、３つのチャネルにおける各ブロックの高低周波情報を抽出し、同一チャネルにおける各ブロックの相対位置が同じ情報は同一周波数領域の情報を示し、
３つのチャネルの各ブロックのそれぞれに対して離散コサイン変換（ＤＣＴ）を行い、更に各ブロックの高低周波情報を抽出する。
３つのチャネルの各ブロックのそれぞれに対して離散コサイン変換（ＤＣＴ）を行い、更に各ブロックの高低周波情報を抽出する。
本発明の実施例では、各ブロックの高低周波情報を抽出し、このとき、画像次元が依然として５１２×５１２×３であるが、示す情報が各ブロックの周波数領域情報となり、ここで、同一チャネルにおける各ブロックの相対位置が同じ情報は同一周波数領域の情報を示す。
ステップＳ３では、各ブロックにおける同一周波数領域に属する情報を各ブロック間の空間関係に応じて同一周波数領域チャネルに書き込んで、複数の異なる周波数領域のチャネルを取得すれば、合計して異なる周波数領域を示すｓ×ｓ×３個のチャネルが生成され、各チャネルのサイズがｎ×ｎであり、
本例では、各元のチャネルは６４×６４個のブロックがあり、従って、元の５１２×５１２×３の画像が６４×６４×１９２の周波数領域チャネルに分解され、画像の１９２種類の周波数領域が示され、
ステップＳ４では、すべての周波数領域チャネルを周波数領域における自己注意ネットワークに入力し、各チャネル間におけるスケール化内積自己注意を計算することにより、周波数領域チャネルごとに自己注意重み付けした後の周波数領域特徴を出力し、図３に示すように、下記ステップＳ４．１～ステップＳ４．４を含み、
ステップＳ４．１において、各周波数領域チャネルを二次元ベクトルから一次元ベクトルに再構築すれば、合計してｓ×ｓ×３（Ｓと記される）個の長さｎ×ｎ（Ｎと記される）の１次元ベクトルが生成され、各ベクトルを直列接続して行列Ｋをなし、Ｋ＝Ｓ×Ｎであり、
本発明の実施例では、合計してＳが１９２個であって長さＮが４０９６である一次元ベクトルが生成され、各ベクトルを直列接続してなる行列がＫと記され、Ｋ＝１９２×４０９６であり、
ステップＳ４．２において、行列に対してスケール化内積自己注意計算を行って、複数の周波数領域間における動的に重み付けしたベクトルを取得し、その計算公式は、以下の式１に示され、
ここで、各ベクトルを行列Ｋに直列接続して自己注意計算におけるキー値ｋｅｙとし、Ｖ＝Ｑ＝Ｋであり、Ｑがクエリｑｕｅｒｙを示し、Ｖが値エントリｖａｌｕｅを示し、ＱＫＴが内積操作を示し、すべてのベクトル間の類似度を取得するためのものであり、
がスケール比率を示し、Ｎが一次元ベクトルの長さを示し、該公式は複数の周波数領域間における動的重み付けを実現して、その周波数領域が最大重みを占めるように確保することができ、
本発明の実施例では、Ｎ＝４０９６であり、次元１９２×４０９６のベクトルを出力し、Ｑがクエリ（ｑｕｅｒｙ）を示し、Ｋがキー値（ｋｅｙ）を示し、Ｖが値エントリ（ｖａｌｕｅ）を示す。
本例では、各元のチャネルは６４×６４個のブロックがあり、従って、元の５１２×５１２×３の画像が６４×６４×１９２の周波数領域チャネルに分解され、画像の１９２種類の周波数領域が示され、
ステップＳ４では、すべての周波数領域チャネルを周波数領域における自己注意ネットワークに入力し、各チャネル間におけるスケール化内積自己注意を計算することにより、周波数領域チャネルごとに自己注意重み付けした後の周波数領域特徴を出力し、図３に示すように、下記ステップＳ４．１～ステップＳ４．４を含み、
ステップＳ４．１において、各周波数領域チャネルを二次元ベクトルから一次元ベクトルに再構築すれば、合計してｓ×ｓ×３（Ｓと記される）個の長さｎ×ｎ（Ｎと記される）の１次元ベクトルが生成され、各ベクトルを直列接続して行列Ｋをなし、Ｋ＝Ｓ×Ｎであり、
本発明の実施例では、合計してＳが１９２個であって長さＮが４０９６である一次元ベクトルが生成され、各ベクトルを直列接続してなる行列がＫと記され、Ｋ＝１９２×４０９６であり、
ステップＳ４．２において、行列に対してスケール化内積自己注意計算を行って、複数の周波数領域間における動的に重み付けしたベクトルを取得し、その計算公式は、以下の式１に示され、
本発明の実施例では、Ｎ＝４０９６であり、次元１９２×４０９６のベクトルを出力し、Ｑがクエリ（ｑｕｅｒｙ）を示し、Ｋがキー値（ｋｅｙ）を示し、Ｖが値エントリ（ｖａｌｕｅ）を示す。
ステップＳ４．３において、動的に重み付けしたベクトルを同じ多層パーセプトロン（ＭＬＰ）層に入力し、該ＭＬＰ層は２つの完全接続層で構成され、第１層が
個のニューロンで構成され、第２層がＮ個のニューロンで構成され、
本発明の実施例では、ステップＳ４．２で計算して出力されたベクトルが１９２個の次元１×４０９６のベクトルに基づいて、それぞれ同じＭＬＰ（Ｍｕｌｔｉｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ、多層パーセプトロン）層に入力され、該ＭＬＰ層は２つの完全接続層で構成され、第１層が
個のニューロンで構成され、第２層が４０９６個のニューロンで構成される。従って、出力ベクトル及び入力ベクトルの次元が変化しないように維持され、
ステップＳ４．４において、多層パーセプトロン（ＭＬＰ）層の出力ベクトルを直列接続して、次元を再構築して、自己注意重み付けした後の周波数領域特徴を取得し、具体的に、上記Ｓ個の出力ベクトルを直列接続して、Ｎ×Ｓのベクトルを取得し、且つ次元ｎ×ｎ×Ｓのベクトルに再構築（ｒｅｓｈａｐｅ）して、該ベクトルが自己注意重み付けした後の周波数領域特徴であり、
本発明の実施例では、上記１９２個の出力ベクトルを直列接続して、４０９６×１９２のベクトルを取得し、且つ次元６４×６４×１９２のベクトルに再構築（ｒｅｓｈａｐｅ）し、該ベクトルが自己注意重み付けした後の周波数領域特徴であり、
ステップＳ５では、周波数領域特徴を検出ネットワークに入力し、予測値及び真理値に基づいて損失関数に応じて夜間オブジェクト監督訓練を行い、それは下記ステップＳ５．１～ステップＳ５．３を含み、
ステップＳ５．１において、前記周波数領域特徴を検出ネットワークに入力し、具体的に、周波数領域特徴を、深層残差ネットワーク（ＲｅｓＮｅｔ）を基幹ネットワークとする検出ネットワークに入力し、該検出ネットワークが微調整後のＲｅｔｉｎａＮｅｔ検出ネットワークを用い、具体的にその基幹ネットワーク（ＲｅｓＮｅｔ）におけるｃｏｎｖ１層及びｃｏｎｖ２層における最大プーリング層を削除し、残りの層が変化しないように維持し、
ステップＳ５．２において、分類損失及び回帰損失により監督訓練を共同で行い、具体的に、ステップＳ４．４における出力された周波数領域特徴を上記検出ネットワークに入力して訓練し、分類損失がＦｏｃａｌ Ｌｏｓｓを用い、回帰損失がＩＯＵ交差オーバーユニオン損失を用い、
分類損失はＦｏｃａｌ Ｌｏｓｓ分類損失を用い、計算公式は、以下の式２に示され、
ここで、ｘが特徴マップにおけるｘ行目を示し、ｙがｙ列目の位置を示し、ｐｘ，ｙがｘ，ｙ座標において予測カテゴリにより取得された分類信頼度を示し、ｐ＊
ｘ，ｙがｘ，ｙ座標においてオブジェクトが属する真のカテゴリの分類信頼度を示し、１が正サンプルを示し、０が負サンプルを示し、γが０よりも大きな値であり、αが［０，１］間の小数であり、γとαがいずれも固定値であって、訓練に参加しない。
本発明の実施例では、ステップＳ４．２で計算して出力されたベクトルが１９２個の次元１×４０９６のベクトルに基づいて、それぞれ同じＭＬＰ（Ｍｕｌｔｉｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ、多層パーセプトロン）層に入力され、該ＭＬＰ層は２つの完全接続層で構成され、第１層が
ステップＳ４．４において、多層パーセプトロン（ＭＬＰ）層の出力ベクトルを直列接続して、次元を再構築して、自己注意重み付けした後の周波数領域特徴を取得し、具体的に、上記Ｓ個の出力ベクトルを直列接続して、Ｎ×Ｓのベクトルを取得し、且つ次元ｎ×ｎ×Ｓのベクトルに再構築（ｒｅｓｈａｐｅ）して、該ベクトルが自己注意重み付けした後の周波数領域特徴であり、
本発明の実施例では、上記１９２個の出力ベクトルを直列接続して、４０９６×１９２のベクトルを取得し、且つ次元６４×６４×１９２のベクトルに再構築（ｒｅｓｈａｐｅ）し、該ベクトルが自己注意重み付けした後の周波数領域特徴であり、
ステップＳ５では、周波数領域特徴を検出ネットワークに入力し、予測値及び真理値に基づいて損失関数に応じて夜間オブジェクト監督訓練を行い、それは下記ステップＳ５．１～ステップＳ５．３を含み、
ステップＳ５．１において、前記周波数領域特徴を検出ネットワークに入力し、具体的に、周波数領域特徴を、深層残差ネットワーク（ＲｅｓＮｅｔ）を基幹ネットワークとする検出ネットワークに入力し、該検出ネットワークが微調整後のＲｅｔｉｎａＮｅｔ検出ネットワークを用い、具体的にその基幹ネットワーク（ＲｅｓＮｅｔ）におけるｃｏｎｖ１層及びｃｏｎｖ２層における最大プーリング層を削除し、残りの層が変化しないように維持し、
ステップＳ５．２において、分類損失及び回帰損失により監督訓練を共同で行い、具体的に、ステップＳ４．４における出力された周波数領域特徴を上記検出ネットワークに入力して訓練し、分類損失がＦｏｃａｌ Ｌｏｓｓを用い、回帰損失がＩＯＵ交差オーバーユニオン損失を用い、
分類損失はＦｏｃａｌ Ｌｏｓｓ分類損失を用い、計算公式は、以下の式２に示され、
回帰損失はＩＯＵ交差オーバーユニオン損失を用い、計算公式は、以下の式３に示され、
ここで、ｘが特徴マップにおけるｘ行目を示し、ｙがｙ列目の位置を示し、ｂｘ，ｙがｘ，ｙ座標に対応する予測対象枠の座標を示し、ｂ＊
ｘ，ｙがｘ，ｙ座標に対応する真理値の対象枠の座標を示し、Ａｒｅａが該対象枠の面積を示す。
ステップＳ５．３において、同期ＳＧＤ（ｓｔｏｃｈａｓｔｉｃ ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ、確率的勾配降下）を最適化装置として用い、８つのＧＰＵにおいて訓練を行い、ｂａｔｃｈ ｓｉｚｅが１６であり、訓練ステップ数が９０ｋであり、初期学習率が０．０１であり、その後で６０ｋステップ及び８０ｋステップの時に１０倍縮小し、
周波数領域における自己注意機構に基づく夜間オブジェクト検出訓練装置であって、事前訓練モジュール、高低周波情報抽出モジュール、同一周波数領域情報記憶モジュール、自己注意ネットワークモジュール及び検出ネットワークモデルを備え、
前記事前訓練モジュールは、訓練セット画像に対してデータ前処理を行い、訓練セット画像をＹＵＶの３つのチャネルに変換して、３つのチャネルの画像に対してブロック分割をそれぞれ行い、Ｙが明度を示し、ＵとＶが色度を示し、
前記高低周波情報抽出モジュールは、３つのチャネルにおける各ブロックの高低周波情報を抽出し、同一チャネルにおける各ブロックの相対位置が同じ情報は同一周波数領域の情報を示し、
前記同一周波数領域情報記憶モジュールは、各ブロックにおける同一周波数領域に属する情報を各ブロック間の空間関係に応じて同一周波数領域チャネルに書き込んで、複数の異なる周波数領域のチャネルを取得し、
前記自己注意ネットワークモジュールは、すべての周波数領域チャネルを周波数領域における自己注意ネットワークに入力し、各チャネル間におけるスケール化内積自己注意を計算することにより、周波数領域チャネルごとに自己注意重み付けした後の周波数領域特徴を出力し、
前記検出ネットワークモデルは、周波数領域特徴を検出ネットワークに入力し、予測された対象枠位置及び予測カテゴリを出力し、特徴マップにおける各特徴点に対応する真のカテゴリ及び真理値の対象枠位置に基づいて損失関数に応じて夜間オブジェクト監督訓練を行う。
周波数領域における自己注意機構に基づく夜間オブジェクト検出訓練装置であって、事前訓練モジュール、高低周波情報抽出モジュール、同一周波数領域情報記憶モジュール、自己注意ネットワークモジュール及び検出ネットワークモデルを備え、
前記事前訓練モジュールは、訓練セット画像に対してデータ前処理を行い、訓練セット画像をＹＵＶの３つのチャネルに変換して、３つのチャネルの画像に対してブロック分割をそれぞれ行い、Ｙが明度を示し、ＵとＶが色度を示し、
前記高低周波情報抽出モジュールは、３つのチャネルにおける各ブロックの高低周波情報を抽出し、同一チャネルにおける各ブロックの相対位置が同じ情報は同一周波数領域の情報を示し、
前記同一周波数領域情報記憶モジュールは、各ブロックにおける同一周波数領域に属する情報を各ブロック間の空間関係に応じて同一周波数領域チャネルに書き込んで、複数の異なる周波数領域のチャネルを取得し、
前記自己注意ネットワークモジュールは、すべての周波数領域チャネルを周波数領域における自己注意ネットワークに入力し、各チャネル間におけるスケール化内積自己注意を計算することにより、周波数領域チャネルごとに自己注意重み付けした後の周波数領域特徴を出力し、
前記検出ネットワークモデルは、周波数領域特徴を検出ネットワークに入力し、予測された対象枠位置及び予測カテゴリを出力し、特徴マップにおける各特徴点に対応する真のカテゴリ及び真理値の対象枠位置に基づいて損失関数に応じて夜間オブジェクト監督訓練を行う。
周波数領域における自己注意機構に基づく夜間オブジェクト検出方法であって、入力画像に対して周波数領域における自己注意機構に基づく夜間オブジェクト検出方法によって前処理、高低周波情報の抽出及び同一周波数領域チャネルへの書き込みを行った後、訓練済みの自己注意ネットワーク及び検出ネットワークに入力して、検出結果を取得する。
本発明の実施例では、推理するとき、入力画像をステップＳ１における前処理を経てステップＳ３に達した後で訓練済みの自己注意ネットワークモジュール及び検出ネットワークに順次入力して、画像におけるオブジェクトカテゴリ及び位置を取得する。
周波数領域における自己注意機構に基づく夜間オブジェクト検出装置であって、入力画像を前記した周波数領域における自己注意機構に基づく夜間オブジェクト検出訓練装置に入力し、事前訓練モジュール、高低周波情報抽出モジュール、同一周波数領域情報記憶モジュールを経た後、訓練済みの自己注意ネットワークモジュール及び検出ネットワークモデルに順次入力して、検出結果を取得する。
上記した周波数領域における自己注意機構に基づく夜間オブジェクト検出方法の実施例に対応して、本発明は周波数領域における自己注意機構に基づく夜間オブジェクト検出装置の実施例を更に提供する。
図４を参照し、本発明の実施例に係る周波数領域における自己注意機構に基づく夜間オブジェクト検出装置はメモリと、１つ又は複数のプロセッサとを備え、メモリに実行可能コードが記憶され、前記１つ又は複数のプロセッサは前記実行可能コードを実行するとき、上記実施例における周波数領域における自己注意機構に基づく夜間オブジェクト検出方法を実現するためのものである。
本発明に係る周波数領域における自己注意機構に基づく夜間オブジェクト検出装置の実施例はデータ処理能力を有するいかなる機器に応用されてもよく、該データ処理能力を有するいかなる機器はコンピュータなどの機器又は装置であってもよい。装置実施例はソフトウェアにより実現されてもよく、ハードウェア又はソフトウェアとハードウェアとを組み合わせる方式で実現されてもよい。ソフトウェアによる実現を例とし、１つの論理意味上の装置として、それはその位置するデータ処理能力を有するいかなる機器のプロセッサにより不揮発性メモリにおける対応するコンピュータプログラム命令を内部メモリに読み取って実行して形成したものである。ハードウェアの面から言えば、図４は本発明に係る周波数領域における自己注意機構に基づく夜間オブジェクト検出装置の位置するデータ処理能力を有するいかなる機器のハードウェア構造図であり、図４に示されるプロセッサ、内部メモリ、ネットワークインターフェース及び不揮発性メモリ以外に、実施例における装置の位置するデータ処理能力を有するいかなる機器は一般的に該データ処理能力を有するいかなる機器の実際の機能によって他のハードウェアを更に備えてもよく、その詳細な説明は省略する。
上記装置における各ユニットの機能及び作用の実現過程は具体的に上記方法における対応ステップの実現過程を参照し、ここで詳細な説明は省略する。
装置実施例は、基本的に方法実施例に対応するため、関連箇所が方法実施例の説明の一部を参照すればよい。以上に説明された装置実施例は単に模式的なものであり、分離部材として説明される前記ユニットは物理的に分離してもよく、物理的に分離しなくてもよく、ユニットとして表示される部材は物理ユニットであってもよく、物理ユニットでなくてもよく、即ち、一箇所に位置してもよく、複数のネットワークユニットに配置されてもよい。実際の必要に応じて、その一部又は全部のモジュールを選択して本発明案の目的を実現してもよい。当業者は創造的な労力を要することなく、理解し実施することができる。
本発明の実施例はコンピュータ読み取り可能な記憶媒体を更に提供し、プログラムが記憶され、該プログラムがプロセッサにより実行されるとき、上記実施例における周波数領域における自己注意機構に基づく夜間オブジェクト検出方法を実現する。
前記コンピュータ読み取り可能な記憶媒体は上記いずれか１つの実施例に記載のデータ処理能力を有するいかなる機器の内部記憶ユニット、例えばハードディスク又は内部メモリであってもよい。前記コンピュータ読み取り可能な記憶媒体はデータ処理能力を有するいかなる機器の外部記憶装置、例えば前記機器に配置されるプラグインハードディスク、スマートメディアカード（ＳＭＣ、Ｓｍａｒｔ Ｍｅｄｉａ Ｃａｒｄ）、ＳＤカード、フラッシュカード（Ｆｌａｓｈ Ｃａｒｄ）などであってもよい。更に、前記コンピュータ読み取り可能な記憶媒体はデータ処理能力を有するいかなる機器の内部記憶ユニットのほか、外部記憶装置を更に備えるものであってもよい。前記コンピュータ読み取り可能な記憶媒体は前記コンピュータプログラム、並びに前記データ処理能力を有するいかなる機器に必要な他のプログラム及びデータを記憶するためのものであり、更に既に出力した又は出力しようとするデータを一時的に記憶するためのものであってもよい。
以上の実施例は単に本発明の技術案を説明するためのものであり、それを制限するものではなく、上記実施例を参照して本発明を詳しく説明したが、当業者であれば理解されるように、それは依然として上記実施例に記載された技術案を修正し、又はその一部又は全部の技術的特徴を等価置換することができるが、これらの修正又は置換は対応する技術案の本質を本発明の実施例の技術案の範囲から逸脱させるものではない。
Claims (10)
- 周波数領域における自己注意機構に基づく夜間オブジェクト検出訓練方法であって、以下のステップＳ１～ステップＳ５を含み、
前記ステップＳ１では、訓練セット画像に対してデータ前処理を行い、訓練セット画像をＹＵＶの３つのチャネルに変換して、３つのチャネルの画像に対してブロック分割をそれぞれ行い、Ｙが明度を示し、ＵとＶが色度を示し、
前記ステップＳ２では、３つのチャネルにおける各ブロックの高低周波情報を抽出し、同一チャネルにおける各ブロックの相対位置が同じ情報は同一周波数領域の情報を示し、
前記ステップＳ３では、各ブロックにおける同一周波数領域に属する情報を各ブロック間の空間関係に応じて同一周波数領域チャネルに書き込んで、複数の異なる周波数領域のチャネルを取得し、
前記ステップＳ４では、すべての周波数領域チャネルを周波数領域における自己注意ネットワークに入力し、各チャネル間におけるスケール化内積自己注意を計算することにより、周波数領域チャネルごとに自己注意重み付けした後の周波数領域特徴を出力し、
前記ステップＳ５では、周波数領域特徴を検出ネットワークに入力し、予測された対象枠位置及び予測カテゴリを出力し、特徴マップにおける各特徴点に対応する真のカテゴリ及び真理値の対象枠位置に基づいて損失関数に応じて夜間オブジェクト監督訓練を行う
ことを特徴とする周波数領域における自己注意機構に基づく夜間オブジェクト検出訓練方法。 - 前記ステップＳ１におけるデータ前処理は、以下のステップＳ１．１～ステップＳ１．２を含み、
前記ステップＳ１．１では、訓練セット画像に対してランダム水平反転、ランダムせん断、画像充填、画像スケール化を順次行い、画像充填過程において、画像の幅・長さを０でｓの整数倍に充填し、画像スケール化過程において、画像を幅ｓ×ｎ・長さｓ×ｎにスケール化して、前処理後の画像次元（ｓ×ｎ）×（ｓ×ｎ）×３を取得し、ここで、３がＲＧＢチャネルであり、
前記ステップＳ１．２では、訓練セット画像をＲＧＢからＹＵＶチャネルに変換し、３つのチャネルの画像を画素の幅・長さがｓ×ｓのｎ×ｎ個のブロックにそれぞれ分割する
ことを特徴とする請求項１に記載の周波数領域における自己注意機構に基づく夜間オブジェクト検出訓練方法。 - 前記ステップＳ２において、３つのチャネルの各ブロックのそれぞれに対して離散コサイン変換ＤＣＴを行い、更に各ブロックの高低周波情報を抽出する
ことを特徴とする請求項１に記載の周波数領域における自己注意機構に基づく夜間オブジェクト検出訓練方法。 - 前記ステップＳ４は、以下のステップＳ４．１～ステップＳ４．４を含み、
前記ステップＳ４．１では、各周波数領域チャネルを二次元ベクトルから一次元ベクトルに再構築し、各ベクトルを行列Ｋに直列接続し、
前記ステップＳ４．２では、行列に対してスケール化内積自己注意計算を行って、複数の周波数領域間における動的に重み付けしたベクトルを取得し、
前記ステップＳ４．２における自己注意計算公式は、以下の式１に示され、
がスケール比率を示し、Ｎが一次元ベクトルの長さを示し、
前記ステップＳ４．３では、動的に重み付けしたベクトルを同じ多層パーセプトロンＭＬＰ層に入力し、
前記ステップＳ４．４では、多層パーセプトロンＭＬＰ層の出力ベクトルを直列接続して、次元を再構築して、自己注意重み付けした後の周波数領域特徴を取得する
ことを特徴とする請求項１に記載の周波数領域における自己注意機構に基づく夜間オブジェクト検出訓練方法。 - 前記ステップＳ５は、以下のステップＳ５．１～ステップＳ５．２を含み、
前記ステップＳ５．１では、前記周波数領域特徴を検出ネットワークに入力し、特徴マップにおける各特徴点に対応する予測カテゴリを出力し、対象枠を予測し、
前記ステップＳ５．２では、予測カテゴリ及び真のカテゴリに基づいて分類損失により監督訓練を行うとともに、予測対象枠及び真理値の対象枠に基づいて回帰損失により監督訓練を共同で行う
ことを特徴とする請求項１に記載の周波数領域における自己注意機構に基づく夜間オブジェクト検出訓練方法。 - 前記ステップＳ５．２における分類損失はＦｏｃａｌ Ｌｏｓｓ分類損失を用い、計算公式は、以下の式２に示され、
ことを特徴とする請求項５に記載の周波数領域における自己注意機構に基づく夜間オブジェクト検出訓練方法。 - 前記ステップＳ５．２における回帰損失はＩＯＵ交差オーバーユニオン損失を用い、計算公式は、以下の式３に示され、
ことを特徴とする請求項５に記載の周波数領域における自己注意機構に基づく夜間オブジェクト検出訓練方法。 - 事前訓練モジュール、高低周波情報抽出モジュール、同一周波数領域情報記憶モジュール、自己注意ネットワークモジュール及び検出ネットワークモデルを備える周波数領域における自己注意機構に基づく夜間オブジェクト検出訓練装置であって、
前記事前訓練モジュールは、訓練セット画像に対してデータ前処理を行い、訓練セット画像をＹＵＶの３つのチャネルに変換して、３つのチャネルの画像に対してブロック分割をそれぞれ行い、Ｙが明度を示し、ＵとＶが色度を示し、
前記高低周波情報抽出モジュールは、３つのチャネルにおける各ブロックの高低周波情報を抽出し、同一チャネルにおける各ブロックの相対位置が同じ情報は同一周波数領域の情報を示し、
前記同一周波数領域情報記憶モジュールは、各ブロックにおける同一周波数領域に属する情報を各ブロック間の空間関係に応じて同一周波数領域チャネルに書き込んで、複数の異なる周波数領域のチャネルを取得し、
前記自己注意ネットワークモジュールは、すべての周波数領域チャネルを周波数領域における自己注意ネットワークに入力し、各チャネル間におけるスケール化内積自己注意を計算することにより、周波数領域チャネルごとに自己注意重み付けした後の周波数領域特徴を出力し、
前記検出ネットワークモデルは、周波数領域特徴を検出ネットワークに入力し、予測された対象枠位置及び予測カテゴリを出力し、特徴マップにおける各特徴点に対応する真のカテゴリ及び真理値の対象枠位置に基づいて損失関数に応じて夜間オブジェクト監督訓練を行う
ことを特徴とする周波数領域における自己注意機構に基づく夜間オブジェクト検出訓練装置。 - 周波数領域における自己注意機構に基づく夜間オブジェクト検出方法であって、
入力画像に対して請求項１に記載の周波数領域における自己注意機構に基づく夜間オブジェクト検出方法によって前処理、高低周波情報の抽出及び同一周波数領域チャネルへの書き込みを行った後、訓練済みの自己注意ネットワーク及び検出ネットワークに入力して、検出結果を取得する
ことを特徴とする周波数領域における自己注意機構に基づく夜間オブジェクト検出方法。 - 周波数領域における自己注意機構に基づく夜間オブジェクト検出装置であって、
入力画像を請求項８に記載の周波数領域における自己注意機構に基づく夜間オブジェクト検出訓練装置に入力し、事前訓練モジュール、高低周波情報抽出モジュール、同一周波数領域情報記憶モジュールを経た後、訓練済みの自己注意ネットワークモジュール及び検出ネットワークモデルに順次入力して、検出結果を取得する
ことを特徴とする周波数領域における自己注意機構に基づく夜間オブジェクト検出装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210902801.1 | 2022-07-29 | ||
| CN202210902801.1A CN114972976B (zh) | 2022-07-29 | 2022-07-29 | 基于频域自注意力机制的夜间目标检测、训练方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP7357176B1 true JP7357176B1 (ja) | 2023-10-05 |
| JP2024018938A JP2024018938A (ja) | 2024-02-08 |
Family
ID=82969750
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023071865A Active JP7357176B1 (ja) | 2022-07-29 | 2023-04-25 | 周波数領域における自己注意機構に基づく夜間オブジェクト検出、訓練方法及び装置 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7357176B1 (ja) |
| CN (1) | CN114972976B (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117422939A (zh) * | 2023-12-15 | 2024-01-19 | 武汉纺织大学 | 一种基于超声特征提取的乳腺肿瘤分类方法及系统 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115496993B (zh) * | 2022-09-09 | 2023-07-14 | 锋睿领创(珠海)科技有限公司 | 基于频域融合的目标检测方法、装置、设备及存储介质 |
| CN115294483A (zh) * | 2022-09-28 | 2022-11-04 | 山东大学 | 输电线路复杂场景的小目标识别方法及系统 |
| CN117636341B (zh) * | 2024-01-26 | 2024-04-26 | 中国海洋大学 | 一种多帧海藻显微图像增强识别方法及其模型搭建方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112465737A (zh) | 2020-12-07 | 2021-03-09 | 中国工商银行股份有限公司 | 图像处理模型训练方法、图像处理方法及图像处理装置 |
| US11222217B1 (en) | 2020-08-14 | 2022-01-11 | Tsinghua University | Detection method using fusion network based on attention mechanism, and terminal device |
| US20220215646A1 (en) | 2019-04-23 | 2022-07-07 | The Johns Hopkins University | Abdominal multi-organ segmentation with organ-attention networks |
| CN115294483A (zh) | 2022-09-28 | 2022-11-04 | 山东大学 | 输电线路复杂场景的小目标识别方法及系统 |
| CN115496993A (zh) | 2022-09-09 | 2022-12-20 | 锋睿领创(珠海)科技有限公司 | 基于频域融合的目标检测方法、装置、设备及存储介质 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8873884B2 (en) * | 2010-10-06 | 2014-10-28 | International Business Machines Corporation | Method and system for resizing an image |
| US9401001B2 (en) * | 2014-01-02 | 2016-07-26 | Digimarc Corporation | Full-color visibility model using CSF which varies spatially with local luminance |
| US8847771B2 (en) * | 2013-01-25 | 2014-09-30 | Toyota Motor Engineering & Manufacturing North America, Inc. | Method and apparatus for early detection of dynamic attentive states for providing an inattentive warning |
| US9565335B2 (en) * | 2014-01-02 | 2017-02-07 | Digimarc Corporation | Full color visibility model using CSF which varies spatially with local luminance |
| US11361225B2 (en) * | 2018-12-18 | 2022-06-14 | Microsoft Technology Licensing, Llc | Neural network architecture for attention based efficient model adaptation |
| CN111460931B (zh) * | 2020-03-17 | 2023-01-31 | 华南理工大学 | 基于颜色通道差值图特征的人脸欺骗检测方法及系统 |
| CN111738112B (zh) * | 2020-06-10 | 2023-07-07 | 杭州电子科技大学 | 基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法 |
| CN111967498A (zh) * | 2020-07-20 | 2020-11-20 | 重庆大学 | 基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法 |
| CN112434723B (zh) * | 2020-07-23 | 2021-06-01 | 之江实验室 | 一种基于注意力网络的日/夜间图像分类及物体检测方法 |
| CN112200161B (zh) * | 2020-12-03 | 2021-03-02 | 北京电信易通信息技术股份有限公司 | 一种基于混合注意力机制的人脸识别检测方法 |
| CN112927202B (zh) * | 2021-02-25 | 2022-06-03 | 华南理工大学 | 多时域多特征结合的Deepfake视频检测方法及系统 |
| CN112861883B (zh) * | 2021-03-18 | 2022-11-01 | 上海壁仞智能科技有限公司 | 一种图像显著性区域检测方法及装置 |
| CN113657225B (zh) * | 2021-08-05 | 2023-09-26 | 武汉工程大学 | 一种目标检测方法 |
| CN114241511B (zh) * | 2021-10-21 | 2024-05-03 | 西安科技大学 | 一种弱监督行人检测方法、系统、介质、设备及处理终端 |
| CN113902926B (zh) * | 2021-12-06 | 2022-05-31 | 之江实验室 | 一种基于自注意力机制的通用图像目标检测方法和装置 |
| CN114266884A (zh) * | 2021-12-13 | 2022-04-01 | 浙江工业大学 | 旋转框定位多形态瓶状物品分拣目标检测方法 |
| CN114581536B (zh) * | 2022-02-25 | 2024-09-20 | 华南理工大学 | 基于特征感知和多通道学习的图像色差检测方法 |
| CN114594461A (zh) * | 2022-03-14 | 2022-06-07 | 杭州电子科技大学 | 基于注意力感知与缩放因子剪枝的声呐目标检测方法 |
| CN114691986A (zh) * | 2022-03-21 | 2022-07-01 | 合肥工业大学 | 基于子空间适应性间距的跨模态检索方法及存储介质 |
| CN114757832B (zh) * | 2022-06-14 | 2022-09-30 | 之江实验室 | 基于交叉卷积注意力对抗学习的人脸超分辨方法和装置 |
-
2022
- 2022-07-29 CN CN202210902801.1A patent/CN114972976B/zh active Active
-
2023
- 2023-04-25 JP JP2023071865A patent/JP7357176B1/ja active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220215646A1 (en) | 2019-04-23 | 2022-07-07 | The Johns Hopkins University | Abdominal multi-organ segmentation with organ-attention networks |
| US11222217B1 (en) | 2020-08-14 | 2022-01-11 | Tsinghua University | Detection method using fusion network based on attention mechanism, and terminal device |
| CN112465737A (zh) | 2020-12-07 | 2021-03-09 | 中国工商银行股份有限公司 | 图像处理模型训练方法、图像处理方法及图像处理装置 |
| CN115496993A (zh) | 2022-09-09 | 2022-12-20 | 锋睿领创(珠海)科技有限公司 | 基于频域融合的目标检测方法、装置、设备及存储介质 |
| CN115294483A (zh) | 2022-09-28 | 2022-11-04 | 山东大学 | 输电线路复杂场景的小目标识别方法及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117422939A (zh) * | 2023-12-15 | 2024-01-19 | 武汉纺织大学 | 一种基于超声特征提取的乳腺肿瘤分类方法及系统 |
| CN117422939B (zh) * | 2023-12-15 | 2024-03-08 | 武汉纺织大学 | 一种基于超声特征提取的乳腺肿瘤分类方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114972976B (zh) | 2022-12-20 |
| CN114972976A (zh) | 2022-08-30 |
| JP2024018938A (ja) | 2024-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7357176B1 (ja) | 周波数領域における自己注意機構に基づく夜間オブジェクト検出、訓練方法及び装置 | |
| WO2020177651A1 (zh) | 图像分割方法和图像处理装置 | |
| CN112446270B (zh) | 行人再识别网络的训练方法、行人再识别方法和装置 | |
| CN113284054B (zh) | 图像增强方法以及图像增强装置 | |
| CN112446834B (zh) | 图像增强方法和装置 | |
| CN110717851B (zh) | 图像处理方法及装置、神经网络的训练方法、存储介质 | |
| US10614574B2 (en) | Generating image segmentation data using a multi-branch neural network | |
| US12062158B2 (en) | Image denoising method and apparatus | |
| US20230214976A1 (en) | Image fusion method and apparatus and training method and apparatus for image fusion model | |
| CN111402130B (zh) | 数据处理方法和数据处理装置 | |
| WO2021018163A1 (zh) | 神经网络的搜索方法及装置 | |
| CN113011562B (zh) | 一种模型训练方法及装置 | |
| CN111914997B (zh) | 训练神经网络的方法、图像处理方法及装置 | |
| CN110246084B (zh) | 一种超分辨率图像重构方法及其系统、装置、存储介质 | |
| CN110532871A (zh) | 图像处理的方法和装置 | |
| WO2021018106A1 (zh) | 行人检测方法、装置、计算机可读存储介质和芯片 | |
| CN113065645B (zh) | 孪生注意力网络、图像处理方法和装置 | |
| CN112529904B (zh) | 图像语义分割方法、装置、计算机可读存储介质和芯片 | |
| CN111860398A (zh) | 遥感图像目标检测方法、系统及终端设备 | |
| CN117037215B (zh) | 人体姿态估计模型训练方法、估计方法、装置及电子设备 | |
| CN111079764A (zh) | 一种基于深度学习的低照度车牌图像识别方法及装置 | |
| WO2022179606A1 (zh) | 一种图像处理方法及相关装置 | |
| CN109815931A (zh) | 一种视频物体识别的方法、装置、设备以及存储介质 | |
| CN114764856A (zh) | 图像语义分割方法和图像语义分割装置 | |
| CN113066018A (zh) | 一种图像增强方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230425 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230621 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230816 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230906 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230925 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7357176 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |