JP6830707B1 - Person re-identification method that combines random batch mask and multi-scale expression learning - Google Patents

Person re-identification method that combines random batch mask and multi-scale expression learning Download PDF

Info

Publication number
JP6830707B1
JP6830707B1 JP2020138754A JP2020138754A JP6830707B1 JP 6830707 B1 JP6830707 B1 JP 6830707B1 JP 2020138754 A JP2020138754 A JP 2020138754A JP 2020138754 A JP2020138754 A JP 2020138754A JP 6830707 B1 JP6830707 B1 JP 6830707B1
Authority
JP
Japan
Prior art keywords
person
learning
network
training
branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020138754A
Other languages
Japanese (ja)
Other versions
JP2021117969A (en
Inventor
徳双 黄
徳双 黄
永 伍
永 伍
Original Assignee
同▲済▼大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 同▲済▼大学 filed Critical 同▲済▼大学
Application granted granted Critical
Publication of JP6830707B1 publication Critical patent/JP6830707B1/en
Publication of JP2021117969A publication Critical patent/JP2021117969A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

【課題】ランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法を提供する。【解決手段】人物再同定方法は、人物再同定訓練ネットワークを構築するステップと、予め設定された訓練パラメータでネットワークハイパーパラメータ調整を行い、学習ネットワークを得るステップと、マルチスケール表現学習及びランダムバッチマスクブランチをブロックし、テストネットワークを得て、テストセットをテストネットワークに入力して、対応するテスト同定結果を得るステップと、テスト同定結果の正確率が所定値以上であるか否かを判断し、ＹＥＳと判断すると実際のデータセットを学習ネットワークに入力し、さもないとネットワークを再訓練するステップと、マルチスケール表現学習及びランダムバッチマスクブランチをブロックし、応用ネットワークを得て、照会画像を応用ネットワークに入力して、対応する同定結果を得るステップと、を備える。【選択図】図１PROBLEM TO BE SOLVED: To provide a person reidentification method in which a random batch mask and multi-scale expression learning are fused. SOLUTION: The person re-identification method includes a step of constructing a person re-identification training network, a step of adjusting network hyperparameters with preset training parameters to obtain a learning network, and multi-scale expression learning and a random batch mask. The steps to block the branch, get the test network, enter the test set into the test network to get the corresponding test identification result, and determine if the accuracy rate of the test identification result is greater than or equal to a given value. If YES, the actual data set is input to the training network, otherwise the steps to retrain the network, block multiscale representation learning and random batch mask branches, obtain the application network, and apply the query image to the application network. To provide a step of inputting to and obtaining the corresponding identification result. [Selection diagram] Fig. 1

Description

本発明はコンピュータのパターン同定及び画像処理の技術分野に関し、特にランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法に関する。 The present invention relates to the technical fields of computer pattern identification and image processing, and particularly to a person reidentification method that combines random batch mask and multi-scale expression learning.

人物再同定（Ｐｅｒｓｏｎ Ｒｅ−ｉｄｅｎｔｉｆｉｃａｔｉｏｎ、ＰＲｅＩＤ）は、コンピュータビジョン技術を使用して画像又はビデオシーケンスに特定の人物が存在するか否かを判断する技術であり、画像検索のサブ課題の一つとして広く考えられており、１つの監視人物画像を与えると、機器間を跨いで該人物画像を自動で検索することができる。現在、都市では、公共治安分野で使用されるカメラは多数配置されており、ほぼ数十メートル〜数百メートルあたり１個程度になり、それにもかかわらず、異なるカメラの間にカバレッジできない領域が存在する。人物再同定の目的は、１つのカメラで撮影された対象が、カメラの視野を離れた後、どこへ行ったかを決定することであり、ややビデオ検索と似ており、つまり、ほかのカメラで収集されたビデオから対象を見つかることであり、人物再同定のタスクは、重複視野領域のない異なるカメラで収集された人物画像又はビデオサンプル同士の接続関係を構築する処理プロセスであり、すなわち、異なる位置のカメラで異なる時刻に撮影された人物が同一人物であるか否かを同定する。 Person re-identification (PReID) is a technique for determining whether or not a specific person is present in an image or video sequence using computer vision technology, and is one of the sub-tasks of image search. It is widely considered that when one monitored person image is given, the person image can be automatically searched across the devices. Currently, in cities, many cameras used in the field of public security are deployed, about one per tens to hundreds of meters, and nevertheless, there is an area that cannot be covered between different cameras. To do. The purpose of person reidentification is to determine where an object shot by one camera went after leaving the field of view of the camera, somewhat similar to video search, that is, with another camera. Finding an object in the collected video, the task of person reidentification is the process of building connections between person images or video samples collected by different cameras without overlapping visual fields, i.e. different. Identifies whether the people taken at different times by the camera at the position are the same person.

従来の人物再同定研究はデータセットに基づいて行われ、つまり、複数のカメラを設置し、人物画像を収集し、その後、手動マーク又は自動マークを行う。これらの画像の一部は訓練及び学習用、一部は同定用である。同定精度を向上させるために、同定アルゴリズムは主に２つの部分に分けられ、一方は、より良好な画像特徴を抽出するためのものであり、他方は異なる特徴間の距離を効果的に計算比較するためのものである。 Traditional person reidentification studies are based on datasets, that is, multiple cameras are installed, person images are collected, and then manual or automatic marking is performed. Some of these images are for training and learning, and some are for identification. In order to improve the identification accuracy, the identification algorithm is mainly divided into two parts, one for extracting better image features and the other for effectively calculating and comparing the distances between different features. It is for doing.

画像特徴を抽出する際に、従来の方式は、深層学習モデルを使用し、畳み込みニューラルネットワークに基づいて特徴を自動で学習し、且つアテンションメカニズムを使用して特徴を抽出することが多いが、このような方式は通常、画像中の顔特徴又はほかの突出した特徴のみを重点的に抽出し、手又は足等の抑制されたローカル特徴を抽出しない結果、これらの抑制された重要なローカル詳細特徴を効果的に抽出できないため、後続同定の正確率を確保できない。 When extracting image features, the conventional method often uses a deep learning model, automatically learns the features based on a convolutional neural network, and extracts the features using an attention mechanism. Such methods usually focus on extracting only facial features or other prominent features in the image and not the suppressed local features such as hands or feet, resulting in these suppressed important local detail features. Cannot be effectively extracted, so the accuracy rate of subsequent identification cannot be ensured.

中国特許出願公開第１０８６４７５８８号明細書Chinese Patent Application Publication No. 1086475888

本発明は物品カテゴリ同定方法、装置、コンピュータ機器及び記憶媒体に関する。方法は、被同定物品画像を取得し、前記被同定物品画像のエッジマスク情報を抽出するステップと、前記エッジマスク情報に応じて、前記被同定物品画像をカット処理し、前記カット処理された被同定物品画像及び予め設定された物品カテゴリ同定モデルに応じて、前記被同定物品画像のカテゴリを同定し、同定結果を出力するステップと、を含み、前記予め設定された物品カテゴリ同定モデルは、訓練サンプル画像を訓練及び転移学習して得られたモデルであり、事前訓練及び転移学習して得られた物品カテゴリ同定モデルによって、物品の正確度の制御要件を向上させ、物品カテゴリ同定モデルを使用して被同定物品画像を同定することで、物品同定結果を正確に取得することができる。 The present invention relates to article category identification methods, devices, computer devices and storage media. The method is a step of acquiring an image of an article to be identified and extracting edge mask information of the image of the article to be identified, and cutting the image of the article to be identified according to the edge mask information, and the cut-processed subject. The preset article category identification model includes training to identify the category of the identified article image according to the identified article image and the preset article category identification model and output the identification result. A model obtained by training and transfer learning of sample images. The article category identification model obtained by pre-training and transfer learning improves the control requirements for article accuracy, and uses the article category identification model. By identifying the image of the article to be identified, the article identification result can be accurately obtained.

本発明は、上記従来技術の欠陥を克服するためにランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法を提供することを目的とする。 An object of the present invention is to provide a person reidentification method in which a random batch mask and multi-scale expression learning are fused in order to overcome the above-mentioned defects of the prior art.

本発明の目的は、以下の技術案によって実現できる。ランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法であって、
基準データセットを取得し、基準データセットに対してデータ拡張を行うステップＳ１と、
データ拡張後の基準データセットを訓練セット及びテストセットに分けるステップＳ２と、
ＲｅｓＮｅｔ５０畳み込みニューラルネットワークに基づいて、順次接続されたアテンション学習モジュール、特徴抽出モジュール及び同定出力モジュールを含む人物再同定訓練ネットワークを構築し、特徴抽出モジュールは特徴処理ブランチ、マルチスケール表現学習ブランチ及びランダムバッチマスクブランチを含み、前記特徴処理ブランチはグローバル平均プーリング及びバッチ正規化処理を含むステップＳ３と、
訓練セットを人物再同定訓練ネットワークに入力し、予め設定された訓練パラメータでネットワークハイパーパラメータ調整を行い、人物再同定学習ネットワークを得るステップＳ４と、
人物再同定学習ネットワーク中の特徴抽出モジュールのマルチスケール表現学習ブランチ及びランダムバッチマスクブランチをブロックし、人物再同定テストネットワークを得て、テストセットを人物再同定テストネットワークに入力し、対応するテスト同定結果を出力するステップＳ５と、
テスト同定結果の正確率を計算し、同定結果の正確率が所定値以上であるか否かを判断し、ＹＥＳと判断すると、ステップＳ７を実行し、さもないと、ステップＳ４に戻るステップＳ６と、
実際のデータセットを取得し、実際のデータセットを人物再同定学習ネットワークに入力し、実際のデータセットに対応する画像特徴を学習するステップＳ７と、
人物再同定学習ネットワーク中の特徴抽出モジュールのマルチスケール表現学習ブランチ及びランダムバッチマスクブランチをブロックし、人物再同定応用ネットワークを得て、照会画像を人物再同定応用ネットワークに入力し、該照会対象に対応する同定結果を出力するステップＳ８と、を含む。 The object of the present invention can be realized by the following technical proposals. A person reidentification method that combines random batch mask and multi-scale expression learning.
Step S1 to acquire the reference data set and expand the data to the reference data set,
Step S2, which divides the reference data set after data expansion into a training set and a test set,
Based on the ResNet50 convolutional neural network, a person reidentification training network including a sequentially connected attention learning module, feature extraction module and identification output module is constructed, and the feature extraction module is a feature processing branch, a multi-scale expression learning branch and a random batch. The feature processing branch includes the mask branch, and the feature processing branch includes step S3 including global average pooling and batch normalization processing.
Step S4, in which the training set is input to the person reidentification training network, network hyperparameters are adjusted with preset training parameters, and the person reidentification learning network is obtained.
Block the multi-scale feature learning branch and random batch mask branch of the feature extraction module in the person reidentification learning network to obtain the person reidentification test network, enter the test set into the person reidentification test network, and enter the corresponding test identification. Step S5 to output the result and
The accuracy rate of the test identification result is calculated, it is determined whether or not the accuracy rate of the identification result is equal to or higher than a predetermined value, and if YES, step S7 is executed, otherwise step S6 returns to step S4. ,
Step S7, in which the actual data set is acquired, the actual data set is input to the person reidentification learning network, and the image features corresponding to the actual data set are learned.
Block the multi-scale expression learning branch and random batch mask branch of the feature extraction module in the person reidentification learning network, obtain the person reidentification application network, input the query image into the person reidentification application network, and use it as the query target. Includes step S8, which outputs the corresponding identification result.

さらに、前記ステップＳ１では、データ拡張は具体的には、
基準データセットから複数の画像をランダムに抽出して水平反転処理を行うステップＳ１１と、
基準データセットから複数の画像をランダムに抽出してガウス、ごま塩ノイズ処理を行うステップＳ１２と、を含む。 Further, in step S1, the data expansion is specifically carried out.
Step S11, in which a plurality of images are randomly extracted from the reference data set and horizontal inversion processing is performed,
It includes step S12, in which a plurality of images are randomly extracted from the reference data set and Gaussian and salt and pepper noise processing is performed.

さらに、前記ステップＳ３では、アテンション学習モジュールは対象の特徴表現を強化するように、３段階に分けられ、
前記特徴処理ブランチはラベル損失・ランク付けリスト損失合同訓練を採用し、画像のグローバル情報を取得し、
前記マルチスケール表現学習ブランチは２組のラベル損失訓練を採用し、画像中のローカル詳細特徴及び空間情報の相関性を取得し、
前記ランダムバッチマスクブランチはラベル損失訓練を採用し、画像中の抑制されるローカル特徴を捕捉する。 Further, in step S3, the attention learning module is divided into three stages so as to strengthen the feature expression of the object.
The feature processing branch employs label loss / ranking list loss joint training to acquire global information on images.
The multi-scale feature learning branch employs two sets of label loss training to acquire the correlation of local detailed features and spatial information in an image.
The random batch mask branch employs label loss training to capture suppressed local features in the image.

さらに、前記ランダムバッチマスクブランチは具体的には、サイズがランダムで且つ位置領域がランダムな遮蔽ブロックを設定し、該遮蔽ブロックで画像の一部を遮蔽することによって、遮蔽されていないローカル情報を捕捉する。 Further, the random batch mask branch specifically sets an occluded block having a random size and a random position area, and occludes a part of the image with the occluded block to obtain unshielded local information. Capture.

さらに、前記アテンション学習モジュールはチャネルアテンションモジュール及び空間アテンションモジュールを含み、前記チャネルアテンションモジュールは１層の平均プーリング演算、１層の多層パーセプトロン、１層の線形層及び１層のバッチ正規化層からなり、有効チャネルの重みを大きくし、無効チャネルの重みを小さくすることに用いられ、
前記空間アテンションモジュールは２個の１＊１畳み込み層及び２個の３＊３畳み込み層を含み、前記１＊１畳み込み層は畳み込み特徴マップの次元を減少させることに用いられ、前記３＊３畳み込み層は特徴を効果的に抽出することに用いられる。 Further, the attention learning module includes a channel attention module and a spatial attention module, and the channel attention module consists of one layer of average pooling calculation, one layer of multi-layer perceptron, one layer of linear layer and one layer of batch normalization layer. , Used to increase the weight of valid channels and decrease the weight of invalid channels,
The spatial attention module includes two 1 * 1 convolution layers and two 3 * 3 convolution layers, the 1 * 1 convolution layer being used to reduce the dimensions of the convolution feature map, the 3 * 3 convolution. Layers are used to effectively extract features.

さらに、前記アテンション学習モジュールは具体的には、
Furthermore, the attention learning module is specifically described as

さらに、前記マルチスケール表現学習ブランチでは、２組のラベル損失訓練はそれぞれ小スケール特徴訓練及び大スケール特徴訓練である。 Furthermore, in the multi-scale feature learning branch, the two sets of label loss training are small-scale feature training and large-scale feature training, respectively.

さらに、前記ラベル損失訓練は交差エントロピー損失関数
In addition, the label loss training is a cross entropy loss function.

さらに、前記ランク付けリスト損失訓練はランク付けリスト損失トリプレット関数
In addition, the ranking list loss training is a ranking list loss triplet function.

さらに、前記特徴抽出モジュールの融合損失関数は具体的には、
Furthermore, the fusion loss function of the feature extraction module is specifically

従来技術に比べて、本発明は以下の利点を有する。 The present invention has the following advantages over the prior art.

１、本発明はランダムバッチマスク方式を採用し、画像中の抑制されるローカル詳細特徴を学習することができ、マルチスケール表現学習方式を採用し、多スケール特徴ベクトル中の小スケール特徴及び大スケール特徴を分離訓練し、空間情報の相関性を効果的に強化でき、さらに特徴抽出の包括性及び信頼性を確保させ、後続同定の正確度の向上に寄与する。 1. The present invention adopts a random batch mask method, can learn suppressed local detailed features in an image, adopts a multi-scale expression learning method, and employs a multi-scale feature vector for small-scale features and large-scale features. Features can be separated and trained, the correlation of spatial information can be effectively strengthened, the comprehensiveness and reliability of feature extraction can be ensured, and the accuracy of subsequent identification can be improved.

２、本発明は特徴抽出モジュールに識別損失及びランク付けリストトリプレット損失の２種の損失関数を組み合わせて、特徴間の距離を計測し、画像の訓練又は学習中、クラス間距離を大きくするとともにクラス内距離を小さくすることができ、それにより画像特徴の有効性を向上させる。 2. The present invention combines a feature extraction module with two types of loss functions, identification loss and ranking list triplet loss, to measure the distance between features, increase the distance between classes during image training or learning, and increase the class. The internal distance can be reduced, thereby improving the effectiveness of the image features.

３、本発明は、訓練又は学習では、特徴処理、ランダムバッチマスク及びマルチスケール表現学習の３ブランチの方式を採用して、画像特徴を効果的かつ全面的に抽出し、テスト又は実際の応用では、ブロックランダムバッチマスク及びマルチスケール表現学習ブランチの方式を採用して、同定正確率を確保するうえにネットワークオーバーヘッドを節約し、同定速度を向上させることができる。 3. The present invention employs a three-branch method of feature processing, random batch mask and multi-scale expression learning in training or learning to effectively and completely extract image features, and in test or practical application. , Block random batch mask and multi-scale expression learning branch method can be adopted to ensure identification accuracy rate, save network overhead and improve identification speed.

本発明の方法の概略フローチャートである。It is a schematic flowchart of the method of this invention. 本発明のネットワークの全体ブロック図である。It is a block diagram of the whole network of this invention. 人物再同定ネットワークの訓練又は学習の概略フローチャートである。It is a schematic flowchart of training or learning of a person reidentification network. ランダムバッチマスクの設計アルゴリズムの概略図である。It is the schematic of the design algorithm of a random batch mask. 人物再同定ネットワークのテスト又は応用の概略フローチャートである。It is a schematic flowchart of the test or application of the person reidentification network.

以下、図面及び具体的な実施例を参照しながら本発明を詳細説明する。 Hereinafter, the present invention will be described in detail with reference to the drawings and specific examples.

実施例
図１に示すように、ランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法は、
基準データセットを取得し、基準データセットに対してデータ拡張を行うステップＳ１と、
データ拡張後の基準データセットを訓練セット及びテストセットに分けるステップＳ２と、
ＲｅｓＮｅｔ５０畳み込みニューラルネットワークに基づいて、順次接続されたアテンション学習モジュール、特徴抽出モジュール及び同定出力モジュールを含む人物再同定訓練ネットワークを構築し、特徴抽出モジュールは特徴処理ブランチ、マルチスケール表現学習ブランチ及びランダムバッチマスクブランチを含み、前記特徴処理ブランチはグローバル平均プーリング及びバッチ正規化処理を含むステップＳ３と、
訓練セットを人物再同定訓練ネットワークに入力し、予め設定された訓練パラメータでネットワークハイパーパラメータ調整を行い、人物再同定学習ネットワークを得るステップＳ４と、
人物再同定学習ネットワーク中の特徴抽出モジュールのマルチスケール表現学習ブランチ及びランダムバッチマスクブランチをブロックし、人物再同定テストネットワークを得て、テストセットを人物再同定テストネットワークに入力し、対応するテスト同定結果を出力するステップＳ５と、
テスト同定結果の正確率を計算し、同定結果の正確率が所定値以上であるか否かを判断し、ＹＥＳと判断すると、ステップＳ７を実行し、さもないと、ステップＳ４に戻るステップＳ６と、
実際のデータセットを取得し、実際のデータセットを人物再同定学習ネットワークに入力し、実際のデータセットに対応する画像特徴を学習するステップＳ７と、
人物再同定学習ネットワーク中の特徴抽出モジュールのマルチスケール表現学習ブランチ及びランダムバッチマスクブランチをブロックし、人物再同定応用ネットワークを得て、照会画像を人物再同定応用ネットワークに入力し、該照会対象に対応する同定結果を出力するステップＳ８と、を含む。 Example As shown in FIG. 1, a person reidentification method in which a random batch mask and multi-scale expression learning are fused is used.
Step S1 to acquire the reference data set and expand the data to the reference data set,
Step S2, which divides the reference data set after data expansion into a training set and a test set,
Based on the ResNet50 convolutional neural network, a person reidentification training network including a sequentially connected attention learning module, feature extraction module and identification output module is constructed, and the feature extraction module is a feature processing branch, a multi-scale expression learning branch and a random batch. The feature processing branch includes the mask branch, and the feature processing branch includes step S3 including global average pooling and batch normalization processing.
Step S4, in which the training set is input to the person reidentification training network, network hyperparameters are adjusted with preset training parameters, and the person reidentification learning network is obtained.
Block the multi-scale feature learning branch and random batch mask branch of the feature extraction module in the person reidentification learning network to obtain the person reidentification test network, enter the test set into the person reidentification test network, and enter the corresponding test identification. Step S5 to output the result and
The accuracy rate of the test identification result is calculated, it is determined whether or not the accuracy rate of the identification result is equal to or higher than a predetermined value, and if YES, step S7 is executed, otherwise step S6 returns to step S4. ,
Step S7, in which the actual data set is acquired, the actual data set is input to the person reidentification learning network, and the image features corresponding to the actual data set are learned.
Block the multi-scale expression learning branch and random batch mask branch of the feature extraction module in the person reidentification learning network, obtain the person reidentification application network, input the query image into the person reidentification application network, and use it as the query target. Includes step S8, which outputs the corresponding identification result.

本発明はランダムバッチマスク（Ｒａｎｄｏｍ Ｂａｔｃｈ Ｆｅａｔｕｒｅ Ｍａｓｋ、ＲＢＦＭ）訓練戦略及びマルチスケール表現学習（Ｍｕｌｔｉ−ｓｃａｌｅ Ｆｅａｔｕｒｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ Ｌｅａｒｎｉｎｇ）方法を採用して人物画像中の、人物の空間相関性を含むより顕著で詳細な特徴情報を抽出し、ランダムバッチマスク学習ブランチ及びマルチスケール表現学習方法ブランチはネットワークの訓練及び学習段階のみで使用され、ネットワークのテスト及び実用段階ではブロックして使用せず、図２に示すように、本発明はＲｅｓＮｅｔ−５０を特徴抽出ネットワークとして採用し、ＲｅｓＮｅｔ５０の特徴抽出プロセスの段階１（Ｓｔａｇｅ １）、段階２（Ｓｔａｇｅ ２）、段階３（Ｓｔａｇｅ ３）では、まず、アテンション学習モジュール（Ａｔｔｅｎｔｉｏｎ Ｌｅａｒｎｉｎｇ Ｍｏｄｕｌｅ）を導入して対象の特徴表現を強化し、その後、ＲｅｓＮｅｔ５０の段階４（Ｓｔａｇｅ ４）の特徴ベクトルを特徴処理ブランチ、ランダムバッチマスク訓練学習ブランチ及びマルチスケール表現学習方法ブランチを経過させ、特徴処理ブランチは識別損失（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｌｏｓｓ）・ランク付けリスト損失（Ｒａｎｋｅｄ Ｌｉｓｔ Ｌｏｓｓ）合同訓練を採用して人物のグローバル情報を取得し、主にＧＡＰ（グローバル平均プーリング）及びＢＮ（バッチ正規化処理）を含み、ランダムバッチマスク学習ブランチはラベル損失訓練を採用して、抑制されるローカル特徴を捕捉し、それによって特徴抽出能力を向上させ、マルチスケール表現学習はラベル損失訓練を採用して人物画像中のローカル詳細特徴及び空間情報の相関性を取得し、このような革新的な学習戦略は、特徴抽出能力及び同定性能をさらに向上させることができ、３本のブランチは合計で４個の識別損失及び１個のランク付けリスト損失を採用して特徴間の距離を計測する。 The present invention employs a random batch mask (Random Batch Feature Mask, RBFM) training strategy and a multi-scale Feature Learning Representations Learning method to make the person more prominent and detailed, including spatial correlation of the person in the person image. Random batch mask learning branch and multi-scale expression learning method branch are used only in the training and learning stage of the network, and are not blocked and used in the test and practical stage of the network, as shown in Fig. 2. In addition, the present invention employs ResNet-50 as a feature extraction network, and in step 1 (Stage 1), step 2 (Stage 2), and step 3 (Stage 3) of the feature extraction process of ResNet 50, first, the attention learning module (Stage 3) Attention Learning Model) was introduced to strengthen the feature expression of the target, and then the feature vector of stage 4 (Stage 4) of ResNet50 was passed through the feature processing branch, the random batch mask training learning branch, and the multi-scale expression learning method branch. The feature processing branch employs joint training of Identification Loss and Ranking List Loss to acquire global information of a person, mainly GAP (Global Average Pooling) and BN (Batch Normalization Processing). ), The random batch mask learning branch employs label loss training to capture suppressed local features, thereby improving feature extraction capabilities, and multi-scale feature learning employs label loss training to capture portraits. Acquiring the correlation of local detailed features and spatial information in, such an innovative learning strategy can further improve feature extraction ability and identification performance, and 3 branches total 4 identifications. The distance between features is measured by adopting the loss and one ranking list loss.

具体的な応用では、まず、基準データセットを使用してネットワーク訓練及びテストを順次行い、ネットワーク訓練によって学習ネットワークを得て、学習ネットワーク中のランダムバッチマスクブランチ及びマルチスケール表現学習ブランチをブロックし、テストネットワークを得て、テストネットワークが同定正確度の所定値に達した後、実際のデータセットを学習ネットワークに入力して特徴学習を行い、その後、学習ネットワーク中のランダムバッチマスクブランチ及びマルチスケール表現学習ブランチをブロックし、応用ネットワークを得て、最後に、応用ネットワークによって被照会画像に対して人物再同定を行う。人物再同定ネットワークの訓練プロセスは図３に示され、基準データセットについて、以下のデータ前処理方式によってデータ拡張を行う必要がある。 In a concrete application, first, network training and testing are sequentially performed using the reference data set, the learning network is obtained by network training, and the random batch mask branch and the multi-scale expression learning branch in the learning network are blocked. After obtaining the test network and the test network reaches a predetermined value of identification accuracy, the actual data set is input to the training network for feature learning, and then the random batch mask branch and multi-scale representation in the training network. The learning branch is blocked, the application network is obtained, and finally, the person reidentification is performed on the referenced image by the application network. The training process of the person re-identification network is shown in FIG. 3, and it is necessary to expand the data of the reference data set by the following data preprocessing method.

１）データセットから複数の画像をランダムに抽出して水平反転処理を行う。
２）データセットから複数の画像をランダムに抽出してガウス、ごま塩ノイズ処理を行う。 1) A plurality of images are randomly extracted from the data set and horizontally inverted.
2) A plurality of images are randomly extracted from the data set and Gaussian and salt and pepper noise processing is performed.

基準データセットに対して、対応する組織及び上記データ処理を行った後、画像を畳み込みニューラルネットワーク中（ＲｅｓＮｅｔ５０）に入力して特徴抽出を行う。 After performing the corresponding tissue and the above data processing on the reference data set, the image is input into the convolutional neural network (ResNet50) to perform feature extraction.

ネットワーク訓練の全過程について、特徴抽出部分では、ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｌｏｓｓ（識別損失）とｒａｎｋｅｄ ｌｉｓｔ ｌｏｓｓ（ランク付けリスト損失）を融合する方式を使用して合同訓練を行い、３つのブランチの特徴学習構造を含み、各ブランチ特徴によって画像の特徴マップを抽出し、その後、合同した損失関数によってネットワーク訓練、重み更新を行う。 For the entire process of network training, the feature extraction part includes joint training using a method that fuses image loss (identification loss) and ranked list loss (ranking list loss), and includes the feature learning structure of three branches. , The feature map of the image is extracted by each branch feature, and then the network training and weight update are performed by the combined loss function.

アテンション学習モジュール（Ａｔｔｅｎｔｉｏｎ Ｌｅａｒｎｉｎｇ Ｍｏｄｕｌｅ）について、チャネルアテンションモジュール及び空間アテンションモジュールを含み、チャネルアテンションの主なアイデアは有効チャネルの重みを大きくし、無効チャネルの重みを小さくすることであり、チャネルアテンションモジュールは１層の平均プーリング演算、１層の多層パーセプトロン、１層の線形層及び１層のバッチ正規化層からなり、平均プーリング演算は以下の式に示される。 Regarding the Attention Learning Module, which includes a channel attention module and a spatial attention module, the main idea of channel attention is to increase the weight of the effective channel and decrease the weight of the invalid channel, and the channel attention module is It consists of one layer of average pooling calculation, one layer of multi-layer perceptron, one layer of linear layer and one layer of batch normalization layer, and the average pooling calculation is expressed by the following equation.

採用される平均プーリング層、多層パーセプトロン及び線形層は各チャネルアテンション及び調整チャネルアテンションの寸法を評価するためのものであり、チャネルアテンションの式は以下のように示される。 The average pooling layer, multi-layer perceptron and linear layer adopted are for evaluating the dimensions of each channel attention and adjustment channel attention, and the formula of the channel attention is shown as follows.

一方、空間アテンションモジュールは画像中の位置情報に着目し、ネットワークに、特徴マップ中のどの部分が空間的により高い応答を有する可能性があるかを理解させ、空間アテンションモジュールは４個の畳み込み層を含み、そのうち、２個の畳み込み層は１＊１畳み込みで畳み込み特徴マップの次元を削減し、２個の３＊３畳み込みは次元削減後、特徴を効果的に抽出することに用いられ、空間アテンションは以下のように示される。
Spatial attention modules, on the other hand, focus on location information in the image, letting the network understand which parts of the feature map may have a higher spatial response, and spatial attention modules have four convolution layers. Of these, two convolution layers reduce the dimension of the convolution feature map with 1 * 1 convolution, and two 3 * 3 convolutions are used to effectively extract features after dimension reduction, space. Attention is shown as follows.

最終的なアテンション学習モジュールはチャネルアテンションと空間アテンションを組み合わせて、
The final attention learning module combines channel attention and spatial attention,

ランダムバッチマスクブランチは主に、抑制されるローカル詳細特徴を学習し、モデルの特徴抽出能力を向上させ、ランダムバッチマスク訓練戦略は主に特徴ベクトルの訓練中、サイズがランダムで、位置領域がランダムな遮蔽ブロックを設定してローカル詳細情報を捕捉することであり、その設計アルゴリズムは図４に示される。 The random batch mask branch mainly learns the local detailed features to be suppressed and improves the feature extraction ability of the model, and the random batch mask training strategy is mainly during the training of the feature vector, the size is random and the position area is random. It is to set a random shielding block to capture local detailed information, and its design algorithm is shown in FIG.

ネットワーク訓練及びネットワーク学習段階では、まず、ネットワークにおいて第４段階で出力されるＮ個の次元サイズがＣ×Ｈ×Ｗ（Ｃは特徴マップのチャネル数、Ｈ、Ｗはそれぞれ特徴マップの高さ及び幅である）の特徴マップに応じて、高さマスク比率値Ｒｈ及び幅マスク比率値Ｒｗをランダムに生成し、
その後、高さマスク比率値Ｒｈと入力特徴マップの高さＨを乗算してマスク高さＨｍを得て、幅マスク比率値Ｒｗと入力特徴マップの幅Ｗを乗算してマスク幅Ｗｎを得て、
さらに０〜（Ｈ−Ｈｍ）数値の間にある整数Ｘａ、及び０〜（Ｗ−Ｗｎ）数値の間にある整数Ｙｂをランダムに生成し、
Ｈ行Ｗ列の数値がすべて１のマトリックスＰを生成し、マトリックスＰ中のＸａ〜Ｘａ＋Ｈｍ及びＹｂ〜Ｙｂ＋Ｗｎの領域にすべて０を付値し、マスクマトリックスＰ’を得て、
最後に、得られたマスクマトリックスＰ’を入力されたＮ個の特徴マップと対応付けて乗算し、すなわち、入力されたＮ個の特徴マップに対応付けてマスク処理を行う。 In the network training and network learning stages, first, the N dimension sizes output in the fourth stage of the network are C × H × W (C is the number of channels of the feature map, and H and W are the height of the feature map and W, respectively. The height mask ratio value R h and the width mask ratio value R w are randomly generated according to the feature map of (width).
After that, the height mask ratio value R h is multiplied by the height H of the input feature map to obtain the mask height H m , and the width mask ratio value R w is multiplied by the width W of the input feature map to obtain the mask width W. Get n ,
Furthermore, an integer X a between 0 (H-H m ) numbers and an integer Y b between 0- (W-W n ) numbers are randomly generated.
A matrix P in which the numerical values in rows and columns of H and W are all 1 is generated, and 0 is assigned to all the regions of X a to X a + H m and Y b to Y b + W n in the matrix P, and the mask matrix P'is set. Get,
Finally, the obtained mask matrix P'is associated with the input N feature maps and multiplied, that is, the mask processing is performed in association with the input N feature maps.

ネットワークテスト及び実用段階では、ランダムバッチマスク学習ブランチをブロックする。 In the network test and practical stages, block the random batch mask learning branch.

マルチスケール表現学習ブランチは、マルチスケールグループ畳み込み戦略を採用し、ＲｅｓＮｅｔ５０中のＳｔａｇｅ−４中の特徴ベクトルを分割し、複数のグループの畳み込みカーネルのサイズ３＊３でグループ特徴に対して特徴抽出を行い、マルチスケール特徴ベクトル中の小スケール特徴及び大スケール特徴を分離訓練し、それにより人物画像中のより顕著で詳細な特徴を抽出し、空間情報の相関性を強化することができる。 The multi-scale expression learning branch adopts a multi-scale group convolution strategy, divides the feature vector in Stage-4 in ResNet50, and extracts features for group features with a size 3 * 3 of the convolution kernel of multiple groups. It is possible to separate and train small-scale features and large-scale features in a multi-scale feature vector, thereby extracting more prominent and detailed features in a portrait image and enhancing the correlation of spatial information.

ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｌｏｓｓ（識別損失）は、一般な識別タスクで使用される損失関数と同じであり、一般には交差エントロピー損失関数を使用し、具体的な式は以下のように示される。 The identity loss (discrimination loss) is the same as the loss function used in general discriminating tasks, generally using the cross entropy loss function, and the specific formula is shown as follows.

人物データセット中の訓練セットとテストセットが共通部分を有さないため、人物再同定はｏｎｅ−ｓｈｏｔ学習タスクとして考えられ、その結果、モデル訓練の過剰適合現象を引き起こしてしまう。一方、Ｌａｂｅｌ ｓｍｏｏｔｈｉｎｇは識別タスクで過剰適合を回避する一般的な方法である。
ｒａｎｋｅｄ ｌｉｓｔ ｌｏｓｓ（ランク付けリスト損失）について、陽性サンプルと陰性サンプルを区別するために、陰性サンプル間の距離をある閾値αよりも大きく設定し、且つ陽性サンプル間の距離をα−ｄよりも小さく設定し、すなわち、陽性サンプルと陰性サンプルの間に少なくとも間隔ｄを有する。 Since the training set and the test set in the person dataset have no intersection, person re-identification can be considered as a one-shot learning task, resulting in overfitting of model training. Label smoothing, on the other hand, is a common method of avoiding overfitting in identification tasks.
For ranked list loss, the distance between negative samples is set to be greater than a certain threshold α and the distance between positive samples is smaller than α-d in order to distinguish between positive and negative samples. Set, i.e. have at least an interval d between the positive and negative samples.

トリプレット損失、交差エントロピー損失を使用してネットワークの特徴抽出エネルギーを合同訓練し、融合された損失関数は以下のように表現される。 The loss function fused by jointly training the feature extraction energy of the network using triplet loss and cross entropy loss is expressed as follows.

本実施例では、ネットワーク訓練プロセスの訓練パラメータは、訓練エポック（ｅｐｏｃｈ）を１２０、重み減衰パラメータ（ｗｅｉｇｈｔ ｄｅｃａｙ）を０．０００５、バッチサイズ（ｂａｔｃｈ ｓｉｚｅ）を３２に設定し、学習率更新方式は以下の通りである。
In this embodiment, the training parameters of the network training process are set to 120 for the training epoch (epoch), 0.0005 for the weight decay parameter (weight decay), and 32 for the batch size (batch size), and the learning rate update method is It is as follows.

ネットワーク訓練を経て学習ネットワークを得て、学習ネットワーク中のランダムバッチマスクブランチ及びマルチスケール表現学習ブランチをブロックし、テストネットワークを得て、具体的なテストプロセスは５に示され、特徴抽出時、特徴処理ブランチのみを使用して特徴抽出を行う。本発明に係る方法を採用し、本実施例はＣＵＨＫ０３−Ｌａｂｅｌｅｄデータセットにおいてほかの同定方法と比較し、対応する同定結果は表１に示される。 Obtaining a learning network through network training, blocking the random batch mask branch and multi-scale expression learning branch in the learning network, obtaining a test network, the specific test process is shown in 5, and during feature extraction, features Feature extraction is performed using only the processing branch. Adopting the method according to the present invention, this example is compared with other identification methods in the CUHK03-Labeled dataset, and the corresponding identification results are shown in Table 1.

表１のデータからわかるように、本発明に係る人物再同定方法は、従来のほかの同定方法よりもＲａｎｋ−１正確率値及びｍＡＰ値がいずれも優れ、本発明は画像特徴、特に画像中の抑制される重要なローカル詳細特徴を全面的かつ効果的に抽出することで、後続同定の正確度を向上させることができる。 As can be seen from the data in Table 1, the person re-identification method according to the present invention is superior to other conventional identification methods in both Rank-1 accuracy rate value and mAP value, and the present invention has image features, particularly in an image. The accuracy of subsequent identification can be improved by comprehensively and effectively extracting the important local detail features that are suppressed.

Claims (10)

ランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法であって、
基準データセットを取得し、基準データセットに対してデータ拡張を行うステップＳ１と、
データ拡張後の基準データセットを訓練セット及びテストセットに分けるステップＳ２と、
ＲｅｓＮｅｔ５０畳み込みニューラルネットワークに基づいて、順次接続されたアテンション学習モジュール、特徴抽出モジュール及び同定出力モジュールを含む人物再同定訓練ネットワークを構築し、特徴抽出モジュールは特徴処理ブランチ、マルチスケール表現学習ブランチ及びランダムバッチマスクブランチを含み、前記特徴処理ブランチはグローバル平均プーリング及びバッチ正規化処理を含むステップＳ３と、
訓練セットを人物再同定訓練ネットワークに入力し、予め設定された訓練パラメータでネットワークハイパーパラメータ調整を行い、人物再同定学習ネットワークを得るステップＳ４と、
人物再同定学習ネットワーク中の特徴抽出モジュールのマルチスケール表現学習ブランチ及びランダムバッチマスクブランチをブロックし、人物再同定テストネットワークを得て、テストセットを人物再同定テストネットワークに入力し、対応するテスト同定結果を出力するステップＳ５と、
テスト同定結果の正確率を計算し、同定結果の正確率が所定値以上であるか否かを判断し、ＹＥＳと判断すると、ステップＳ７を実行し、さもないと、ステップＳ４に戻るステップＳ６と、
実際のデータセットを取得し、実際のデータセットを人物再同定学習ネットワークに入力し、実際のデータセットに対応する画像特徴を学習するステップＳ７と、
人物再同定学習ネットワーク中の特徴抽出モジュールのマルチスケール表現学習ブランチ及びランダムバッチマスクブランチをブロックし、人物再同定応用ネットワークを得て、照会画像を人物再同定応用ネットワークに入力し、該照会対象に対応する同定結果を出力するステップＳ８と、を含むことを特徴とするランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法。 A person reidentification method that combines random batch mask and multi-scale expression learning.
Step S1 to acquire the reference data set and expand the data to the reference data set,
Step S2, which divides the reference data set after data expansion into a training set and a test set,
Based on the ResNet50 convolutional neural network, a person reidentification training network including a sequentially connected attention learning module, feature extraction module and identification output module is constructed, and the feature extraction module is a feature processing branch, a multi-scale expression learning branch and a random batch. The feature processing branch includes the mask branch, and the feature processing branch includes step S3 including global average pooling and batch normalization processing.
Step S4, in which the training set is input to the person reidentification training network, network hyperparameters are adjusted with preset training parameters, and the person reidentification learning network is obtained.
Block the multi-scale feature learning branch and random batch mask branch of the feature extraction module in the person reidentification learning network to obtain the person reidentification test network, enter the test set into the person reidentification test network, and enter the corresponding test identification. Step S5 to output the result and
The accuracy rate of the test identification result is calculated, it is determined whether or not the accuracy rate of the identification result is equal to or higher than a predetermined value, and if YES, step S7 is executed, otherwise step S6 returns to step S4. ,
Step S7, in which the actual data set is acquired, the actual data set is input to the person reidentification learning network, and the image features corresponding to the actual data set are learned.
Block the multi-scale expression learning branch and random batch mask branch of the feature extraction module in the person reidentification learning network, obtain the person reidentification application network, input the query image into the person reidentification application network, and use it as the query target. A method for reidentifying a person by fusing a random batch mask and multi-scale expression learning, which comprises step S8 for outputting the corresponding identification result. 前記ステップＳ１では、データ拡張は具体的には、
基準データセットから複数の画像をランダムに抽出して水平反転処理を行うステップＳ１１と、
基準データセットから複数の画像をランダムに抽出してガウス、ごま塩ノイズ処理を行うステップＳ１２と、を含むことを特徴とする請求項１に記載のランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法。 Specifically, in step S1, the data expansion is performed.
Step S11, in which a plurality of images are randomly extracted from the reference data set and horizontal inversion processing is performed,
The person reproduction that combines the random batch mask and multi-scale expression learning according to claim 1, further comprising step S12 in which a plurality of images are randomly extracted from a reference data set to perform gauss and sesame salt noise processing. Identification method. 前記ステップＳ３では、アテンション学習モジュールは対象の特徴表現を強化するように、３段階に分けられ、
前記特徴処理ブランチはラベル損失・ランク付けリスト損失合同訓練を採用し、画像のグローバル情報を取得し、
前記マルチスケール表現学習ブランチは２組のラベル損失訓練を採用し、画像中のローカル詳細特徴及び空間情報の相関性を取得し、
前記ランダムバッチマスクブランチはラベル損失訓練を採用し、画像中の抑制されるローカル特徴を捕捉することを特徴とする請求項１に記載のランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法。 In step S3, the attention learning module is divided into three stages so as to strengthen the feature expression of the object.
The feature processing branch employs label loss / ranking list loss joint training to acquire global information on images.
The multi-scale feature learning branch employs two sets of label loss training to acquire the correlation of local detailed features and spatial information in an image.
The method for reidentifying a person by fusing the random batch mask and multi-scale expression learning according to claim 1, wherein the random batch mask branch employs label loss training and captures suppressed local features in an image. .. 前記ランダムバッチマスクブランチは具体的には、サイズがランダムで且つ位置領域がランダムな遮蔽ブロックを設定し、該遮蔽ブロックで画像の一部を遮蔽することによって、遮蔽されていないローカル情報を捕捉することを特徴とする請求項３に記載のランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法。 Specifically, the random batch mask branch captures unobstructed local information by setting an occluded block having a random size and a random position region, and occluding a part of the image with the occluded block. The method for reidentifying a person by fusing the random batch mask according to claim 3 and multi-scale expression learning. 前記アテンション学習モジュールはチャネルアテンションモジュール及び空間アテンションモジュールを含み、前記チャネルアテンションモジュールは１層の平均プーリング演算、１層の多層パーセプトロン、１層の線形層及び１層のバッチ正規化層からなり、有効チャネルの重みを大きくし、無効チャネルの重みを小さくすることに用いられ、
前記空間アテンションモジュールは２個の１＊１畳み込み層及び２個の３＊３畳み込み層を含み、前記１＊１畳み込み層は畳み込み特徴マップの次元を減少させることに用いられ、前記３＊３畳み込み層は特徴を効果的に抽出することに用いられることを特徴とする請求項３に記載のランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法。 The attention learning module includes a channel attention module and a spatial attention module, and the channel attention module consists of one layer of average pooling calculation, one layer of multi-layer perceptron, one layer of linear layer and one layer of batch normalization layer, and is effective. Used to increase the weight of channels and decrease the weight of invalid channels,
The spatial attention module includes two 1 * 1 convolution layers and two 3 * 3 convolution layers, the 1 * 1 convolution layer being used to reduce the dimensions of the convolution feature map, the 3 * 3 convolution. The method for reidentifying a person by fusing the random batch mask and multi-scale expression learning according to claim 3, wherein the layer is used for effectively extracting features. 前記アテンション学習モジュールは具体的には、
であることを特徴とする請求項５に記載のランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法。 Specifically, the attention learning module
The method for reidentifying a person by fusing the random batch mask according to claim 5 and multi-scale expression learning. 前記マルチスケール表現学習ブランチでは、２組のラベル損失訓練はそれぞれ小スケール特徴訓練及び大スケール特徴訓練であることを特徴とする請求項３に記載のランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法。 In the multi-scale expression learning branch, the person who fused the random batch mask according to claim 3 and the multi-scale expression learning according to claim 3, wherein the two sets of label loss training are the small scale feature training and the large scale feature training, respectively. Reidentification method. 前記ラベル損失訓練は交差エントロピー損失関数

を採用することを特徴とする請求項７に記載のランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法。 The label loss training is a cross entropy loss function.

The method for reidentifying a person by fusing the random batch mask and multi-scale expression learning according to claim 7, wherein the method is used. 前記ランク付けリスト損失訓練は、ランク付けリストトリプレット損失関数
を採用することを特徴とする請求項８に記載のランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法。 The ranking list loss training is a ranking list triplet loss function.
The person reidentification method in which the random batch mask according to claim 8 and multi-scale expression learning are fused. 前記特徴抽出モジュールの融合損失関数は具体的には、
であることを特徴とする請求項９に記載のランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法。 Specifically, the fusion loss function of the feature extraction module is
The method for reidentifying a person by fusing the random batch mask according to claim 9 and multi-scale expression learning.
JP2020138754A 2020-01-23 2020-08-19 Person re-identification method that combines random batch mask and multi-scale expression learning Active JP6830707B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010076639.3 2020-01-23
CN202010076639.3A CN111259850B (en) 2020-01-23 2020-01-23 Pedestrian re-identification method integrating random batch mask and multi-scale representation learning

Publications (2)

Publication Number Publication Date
JP6830707B1 true JP6830707B1 (en) 2021-02-17
JP2021117969A JP2021117969A (en) 2021-08-10

Family

ID=70949122

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020138754A Active JP6830707B1 (en) 2020-01-23 2020-08-19 Person re-identification method that combines random batch mask and multi-scale expression learning

Country Status (2)

Country Link
JP (1) JP6830707B1 (en)
CN (1) CN111259850B (en)

Cited By (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990007A (en) * 2021-03-13 2021-06-18 山东大学 Facial expression recognition method and system based on regional grouping and internal association fusion
CN113050042A (en) * 2021-04-15 2021-06-29 中国人民解放军空军航空大学 Radar signal modulation type identification method based on improved UNet3+ network
CN113158905A (en) * 2021-04-23 2021-07-23 佛山市南海区广工大数控装备协同创新研究院 Pedestrian re-identification method based on attention mechanism
CN113156376A (en) * 2021-04-15 2021-07-23 中国人民解放军空军航空大学 Radar radiation source signal identification method based on SACNN
CN113177579A (en) * 2021-04-08 2021-07-27 北京科技大学 Feature fusion method based on attention mechanism
CN113191386A (en) * 2021-03-26 2021-07-30 中国矿业大学 Chromosome classification model based on grid reconstruction learning
CN113204977A (en) * 2021-04-29 2021-08-03 北京有竹居网络技术有限公司 Information translation method, device, equipment and storage medium
CN113221854A (en) * 2021-06-11 2021-08-06 公安部物证鉴定中心 Barefoot footprint image body recognition method based on multi-scale depth features
CN113255495A (en) * 2021-05-17 2021-08-13 开放智能机器（上海）有限公司 Pig farm live pig counting method and system
CN113283320A (en) * 2021-05-13 2021-08-20 桂林安维科技有限公司 Pedestrian re-identification method based on channel feature aggregation
CN113297624A (en) * 2021-06-23 2021-08-24 支付宝(杭州)信息技术有限公司 Image preprocessing method and device
CN113313173A (en) * 2021-06-01 2021-08-27 中山大学 Human body analysis method based on graph representation and improved Transformer
CN113378791A (en) * 2021-07-09 2021-09-10 合肥工业大学 Cervical cell classification method based on double-attention mechanism and multi-scale feature fusion
CN113537111A (en) * 2021-07-26 2021-10-22 南京信息工程大学 Iris segmentation method based on double-branch deep convolutional network
CN113569990A (en) * 2021-08-25 2021-10-29 浙江工业大学 Performance equipment fault diagnosis model construction method oriented to strong noise interference environment
CN113591545A (en) * 2021-06-11 2021-11-02 北京师范大学珠海校区 Deep learning-based multistage feature extraction network pedestrian re-identification method
CN113627266A (en) * 2021-07-15 2021-11-09 武汉大学 Video pedestrian re-identification method based on Transformer space-time modeling
CN113627259A (en) * 2021-07-12 2021-11-09 西安理工大学 Fine motion recognition method based on graph convolution network
CN113625227A (en) * 2021-07-05 2021-11-09 西安电子科技大学 Radar high-resolution range profile target identification method based on attention transformation network
CN113627093A (en) * 2021-07-01 2021-11-09 武汉大学 Underwater mechanism cross-scale flow field characteristic prediction method based on improved Unet network
CN113673303A (en) * 2021-06-28 2021-11-19 中国科学院大学 Human face action unit intensity regression method, device and medium
CN113689356A (en) * 2021-09-14 2021-11-23 三星电子（中国）研发中心 Image restoration method and device
CN113689517A (en) * 2021-09-08 2021-11-23 云南大学 Image texture synthesis method and system of multi-scale channel attention network
CN113706406A (en) * 2021-08-11 2021-11-26 武汉大学 Infrared and visible light image fusion method based on feature space multi-classification countermeasure mechanism
CN113705476A (en) * 2021-08-30 2021-11-26 国网四川省电力公司营销服务中心 Neural network-based field operation violation behavior analysis method and system
CN113723447A (en) * 2021-07-15 2021-11-30 西北工业大学 End-to-end template matching method for multi-modal images
CN113763373A (en) * 2021-09-17 2021-12-07 上海交通大学 Domain generalization scale alignment reproduction picture detection system
CN113780241A (en) * 2021-09-29 2021-12-10 北京航空航天大学 Acceleration method and device for detecting salient object
CN113792744A (en) * 2021-09-14 2021-12-14 东北农业大学 Crop growth data transmission system and method in low-power-consumption wide area network
CN113837080A (en) * 2021-09-24 2021-12-24 江西理工大学 Small target detection method based on information enhancement and receptive field enhancement
CN113869418A (en) * 2021-09-29 2021-12-31 哈尔滨工程大学 Small sample ship target identification method based on global attention relationship network
CN113869105A (en) * 2021-08-09 2021-12-31 华北电力大学（保定） Human behavior recognition method
CN113888501A (en) * 2021-09-29 2022-01-04 西安理工大学 Non-reference image quality evaluation method based on attention positioning network
CN113920472A (en) * 2021-10-15 2022-01-11 中国海洋大学 Unsupervised target re-identification method and system based on attention mechanism
CN113947204A (en) * 2021-10-13 2022-01-18 北京百度网讯科技有限公司 Image recognition method, image recognition apparatus, storage medium, and computer program product
CN113947782A (en) * 2021-10-14 2022-01-18 哈尔滨工程大学 Pedestrian target alignment method based on attention mechanism
CN114005096A (en) * 2021-11-09 2022-02-01 河北工业大学 Vehicle weight recognition method based on feature enhancement
CN114022930A (en) * 2021-10-28 2022-02-08 天津大学 Automatic generation method of portrait certificate photo
CN114021458A (en) * 2021-11-05 2022-02-08 西安晟昕科技发展有限公司 Small sample radar radiation source signal identification method based on parallel prototype network
CN114187275A (en) * 2021-12-13 2022-03-15 贵州大学 Multi-stage and multi-scale attention fusion network and image rain removing method
CN114201993A (en) * 2021-12-13 2022-03-18 厦门大学 Three-branch attention feature fusion method and system for detecting ultrasonic defects
CN114332701A (en) * 2021-12-27 2022-04-12 北京航空航天大学 Target tracking method based on task distinguishing detection re-identification combined network
CN114332007A (en) * 2021-12-28 2022-04-12 福州大学 Transformer-based industrial defect detection and identification method
CN114387580A (en) * 2022-01-06 2022-04-22 厦门大学 Model training method and device based on federal learning
CN114419671A (en) * 2022-01-18 2022-04-29 北京工业大学 Hypergraph neural network-based occluded pedestrian re-identification method
CN114519796A (en) * 2022-01-27 2022-05-20 厦门大学 Robot material identification method and system based on deep neural network
CN114548132A (en) * 2022-02-22 2022-05-27 广东奥普特科技股份有限公司 Bar code detection model training method and device and bar code detection method and device
CN114581560A (en) * 2022-03-01 2022-06-03 西安交通大学 Attention mechanism-based multi-scale neural network infrared image colorizing method
CN114596218A (en) * 2022-01-25 2022-06-07 西北大学 Ancient painting image restoration method, model and device based on convolutional neural network
CN114638256A (en) * 2022-02-22 2022-06-17 合肥华威自动化有限公司 Transformer fault detection method and system based on sound wave signals and attention network
CN114693693A (en) * 2022-03-31 2022-07-01 四川大学华西医院 Fetal corpus callosum ultrasonic image segmentation method based on convolutional neural network
CN114742800A (en) * 2022-04-18 2022-07-12 合肥工业大学 Reinforced learning fused magnesia furnace working condition identification method based on improved Transformer
CN114821699A (en) * 2022-03-02 2022-07-29 西北工业大学 Facial expression recognition method based on ambiguity suppression self-training
CN114882590A (en) * 2022-05-06 2022-08-09 中国科学技术大学 Lip reading method based on multi-granularity space-time feature perception of event camera
CN114926877A (en) * 2022-05-10 2022-08-19 西北工业大学 Cross-domain facial expression recognition method based on contrast domain difference
CN114973317A (en) * 2022-05-13 2022-08-30 杭州像素元科技有限公司 Pedestrian re-identification method based on multi-scale adjacent interaction features
CN115035170A (en) * 2022-05-17 2022-09-09 合肥工业大学 Image restoration method based on global texture and structure
CN115050048A (en) * 2022-05-25 2022-09-13 杭州像素元科技有限公司 Cross-modal pedestrian re-identification method based on local detail features
CN115082966A (en) * 2022-07-22 2022-09-20 中国科学院自动化研究所 Pedestrian re-recognition model training method, pedestrian re-recognition method, device and equipment
CN115115648A (en) * 2022-06-20 2022-09-27 北京理工大学 Brain tissue segmentation method combining UNet and volume rendering prior knowledge
CN115546223A (en) * 2022-12-05 2022-12-30 南京天创电子技术有限公司 Method and system for detecting loss of fastening bolt of equipment under train
CN115862120A (en) * 2023-02-21 2023-03-28 天度(厦门)科技股份有限公司 Separable variation self-encoder decoupled face action unit identification method and equipment
CN115950888A (en) * 2023-01-09 2023-04-11 湖南艾科瑞生物工程有限公司 quality detection method of qPCR pore plate and related equipment
CN116188436A (en) * 2023-03-03 2023-05-30 合肥工业大学 Cystoscope image classification method based on fusion of local features and global features
CN116311387A (en) * 2023-05-25 2023-06-23 浙江工业大学 Cross-modal pedestrian re-identification method based on feature intersection
CN116311483A (en) * 2023-05-24 2023-06-23 山东科技大学 Micro-expression recognition method based on local facial area reconstruction and memory contrast learning
CN116342363A (en) * 2023-05-31 2023-06-27 齐鲁工业大学(山东省科学院) Visible watermark removing method based on two-stage deep neural network
CN116432870A (en) * 2023-06-13 2023-07-14 齐鲁工业大学(山东省科学院) Urban flow prediction method
CN116563615A (en) * 2023-04-21 2023-08-08 南京讯思雅信息科技有限公司 Bad picture classification method based on improved multi-scale attention mechanism
CN116612122A (en) * 2023-07-20 2023-08-18 湖南快乐阳光互动娱乐传媒有限公司 Image significance region detection method and device, storage medium and electronic equipment
CN116630639A (en) * 2023-07-20 2023-08-22 深圳须弥云图空间科技有限公司 Object image identification method and device
CN116758631A (en) * 2023-06-13 2023-09-15 孟冠宇 Big data driven behavior intelligent analysis method and system
CN116958148A (en) * 2023-09-21 2023-10-27 曲阜师范大学 Method, device, equipment and medium for detecting defects of key parts of power transmission line
CN117252892A (en) * 2023-11-14 2023-12-19 江西师范大学 Automatic double-branch portrait matting model based on light visual self-attention network
CN117636057A (en) * 2023-12-13 2024-03-01 石家庄铁道大学 Train bearing damage classification and identification method based on multi-branch cross-space attention model
CN114821704B (en) * 2022-03-16 2024-05-24 桂林理工大学 Mask face recognition method based on key point attention mechanism

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814854B (en) * 2020-06-28 2023-07-28 北京交通大学 Target re-identification method without supervision domain adaptation
CN111814705B (en) * 2020-07-14 2022-08-02 广西师范大学 Pedestrian re-identification method based on batch blocking shielding network
CN112084338B (en) * 2020-09-18 2024-02-06 达而观数据(成都)有限公司 Automatic document classification method, system, computer equipment and storage medium
CN112183295A (en) * 2020-09-23 2021-01-05 上海眼控科技股份有限公司 Pedestrian re-identification method and device, computer equipment and storage medium
CN112200111B (en) * 2020-10-19 2022-05-17 厦门大学 Global and local feature fused occlusion robust pedestrian re-identification method
CN112464775A (en) * 2020-11-21 2021-03-09 西北工业大学 Video target re-identification method based on multi-branch network
CN112434599B (en) * 2020-11-23 2022-11-18 同济大学 Pedestrian re-identification method based on random occlusion recovery of noise channel
CN112434796B (en) * 2020-12-09 2022-10-25 同济大学 Cross-modal pedestrian re-identification method based on local information learning
CN112396036B (en) * 2020-12-09 2023-08-08 中山大学 Method for re-identifying blocked pedestrians by combining space transformation network and multi-scale feature extraction
CN112749667B (en) * 2021-01-15 2023-04-07 中国科学院宁波材料技术与工程研究所 Deep learning-based nematode classification and identification method
CN112785479B (en) * 2021-01-21 2023-05-23 南京信息工程大学 Image invisible watermark universal detection method based on few sample learning
CN112801008B (en) * 2021-02-05 2024-05-31 电子科技大学中山学院 Pedestrian re-recognition method and device, electronic equipment and readable storage medium
CN112883880B (en) * 2021-02-25 2022-08-19 电子科技大学 Pedestrian attribute identification method based on human body structure multi-scale segmentation, storage medium and terminal
CN113158815B (en) * 2021-03-27 2023-05-12 复旦大学 Unsupervised pedestrian re-identification method, system and computer readable medium
CN113312961A (en) * 2021-04-03 2021-08-27 国家计算机网络与信息安全管理中心 Logo recognition acceleration method
CN113239776B (en) * 2021-05-10 2023-06-06 北方工业大学 Pedestrian re-identification method based on energy model
CN113128466B (en) * 2021-05-11 2023-12-05 深圳大学 Pedestrian re-recognition method, system, electronic device and storage medium
CN113239784B (en) * 2021-05-11 2022-09-30 广西科学院 Pedestrian re-identification system and method based on space sequence feature learning
CN113656628B (en) * 2021-05-24 2023-03-28 江苏省特种设备安全监督检验研究院 Crane image retrieval method based on attention mechanism and feature fusion
CN113537032B (en) * 2021-07-12 2023-11-28 南京邮电大学 Diversity multi-branch pedestrian re-identification method based on picture block discarding
CN113868449B (en) * 2021-09-22 2024-05-28 西安理工大学 Image retrieval method based on fusion of multi-scale features and spatial attention mechanism
CN113780243B (en) * 2021-09-29 2023-10-17 平安科技（深圳）有限公司 Training method, device, equipment and storage medium for pedestrian image recognition model
CN113947144B (en) * 2021-10-15 2022-05-17 北京百度网讯科技有限公司 Method, apparatus, device, medium and program product for object detection
CN113963150B (en) * 2021-11-16 2022-04-08 北京中电兴发科技有限公司 Pedestrian re-identification method based on multi-scale twin cascade network
CN114743128A (en) * 2022-03-09 2022-07-12 华侨大学 Multimode northeast tiger re-identification method and device based on heterogeneous neural network
CN115050044B (en) * 2022-04-02 2023-06-23 广西科学院 Cross-modal pedestrian re-identification method based on MLP-Mixer
CN114937199B (en) * 2022-07-22 2022-10-25 山东省凯麟环保设备股份有限公司 Garbage classification method and system based on discriminant feature enhancement
CN116721351B (en) * 2023-07-06 2024-06-18 内蒙古电力(集团)有限责任公司内蒙古超高压供电分公司 Remote sensing intelligent extraction method for road environment characteristics in overhead line channel

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9436895B1 (en) * 2015-04-03 2016-09-06 Mitsubishi Electric Research Laboratories, Inc. Method for determining similarity of objects represented in images
KR102302725B1 (en) * 2017-03-17 2021-09-14 매직 립, 인코포레이티드 Room Layout Estimation Methods and Techniques
JP2018160200A (en) * 2017-03-24 2018-10-11 富士通株式会社 Method for learning neural network, neural network learning program, and neural network learning program
JP6822929B2 (en) * 2017-09-19 2021-01-27 株式会社東芝 Information processing equipment, image recognition method and image recognition program
US10515295B2 (en) * 2017-10-27 2019-12-24 Adobe Inc. Font recognition using triplet loss neural network training
CN108427927B (en) * 2018-03-16 2020-11-27 深圳市商汤科技有限公司 Object re-recognition method and apparatus, electronic device, program, and storage medium
JP7124404B2 (en) * 2018-04-12 2022-08-24 富士通株式会社 Machine learning program, machine learning method and machine learning apparatus
JP6935868B2 (en) * 2018-05-11 2021-09-15 日本電信電話株式会社 Image recognition device, image recognition method, and program
US11651206B2 (en) * 2018-06-27 2023-05-16 International Business Machines Corporation Multiscale feature representations for object recognition and detection
JP7372017B2 (en) * 2018-07-03 2023-10-31 株式会社神戸製鋼所 Steel component learning device, steel component estimation device, steel type determination device, steel component learning method, steel component estimation method, steel type determination method, and program
CN110188611A (en) * 2019-04-26 2019-08-30 华中科技大学 A kind of pedestrian recognition methods and system again introducing visual attention mechanism
CN110070073A (en) * 2019-05-07 2019-07-30 国家广播电视总局广播电视科学研究院 Pedestrian's recognition methods again of global characteristics and local feature based on attention mechanism
CN110533024B (en) * 2019-07-10 2021-11-23 杭州电子科技大学 Double-quadratic pooling fine-grained image classification method based on multi-scale ROI (region of interest) features
CN110647794B (en) * 2019-07-12 2023-01-03 五邑大学 Attention mechanism-based multi-scale SAR image recognition method and device
CN110598654B (en) * 2019-09-18 2022-02-11 合肥工业大学 Multi-granularity cross modal feature fusion pedestrian re-identification method and re-identification system

Cited By (127)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990007A (en) * 2021-03-13 2021-06-18 山东大学 Facial expression recognition method and system based on regional grouping and internal association fusion
CN112990007B (en) * 2021-03-13 2022-08-09 山东大学 Facial expression recognition method and system based on regional grouping and internal association fusion
CN113191386A (en) * 2021-03-26 2021-07-30 中国矿业大学 Chromosome classification model based on grid reconstruction learning
CN113191386B (en) * 2021-03-26 2023-11-03 中国矿业大学 Chromosome classification model based on grid reconstruction learning
CN113177579A (en) * 2021-04-08 2021-07-27 北京科技大学 Feature fusion method based on attention mechanism
CN113050042A (en) * 2021-04-15 2021-06-29 中国人民解放军空军航空大学 Radar signal modulation type identification method based on improved UNet3+ network
CN113156376A (en) * 2021-04-15 2021-07-23 中国人民解放军空军航空大学 Radar radiation source signal identification method based on SACNN
CN113156376B (en) * 2021-04-15 2023-08-11 中国人民解放军空军航空大学 SACNN-based radar radiation source signal identification method
CN113050042B (en) * 2021-04-15 2023-08-15 中国人民解放军空军航空大学 Radar signal modulation type identification method based on improved UNet3+ network
CN113158905A (en) * 2021-04-23 2021-07-23 佛山市南海区广工大数控装备协同创新研究院 Pedestrian re-identification method based on attention mechanism
CN113204977A (en) * 2021-04-29 2021-08-03 北京有竹居网络技术有限公司 Information translation method, device, equipment and storage medium
CN113204977B (en) * 2021-04-29 2023-09-26 北京有竹居网络技术有限公司 Information translation method, device, equipment and storage medium
CN113283320A (en) * 2021-05-13 2021-08-20 桂林安维科技有限公司 Pedestrian re-identification method based on channel feature aggregation
CN113255495A (en) * 2021-05-17 2021-08-13 开放智能机器（上海）有限公司 Pig farm live pig counting method and system
CN113313173B (en) * 2021-06-01 2023-05-30 中山大学 Human body analysis method based on graph representation and improved transducer
CN113313173A (en) * 2021-06-01 2021-08-27 中山大学 Human body analysis method based on graph representation and improved Transformer
CN113591545B (en) * 2021-06-11 2024-05-24 北京师范大学珠海校区 Deep learning-based multi-level feature extraction network pedestrian re-identification method
CN113221854A (en) * 2021-06-11 2021-08-06 公安部物证鉴定中心 Barefoot footprint image body recognition method based on multi-scale depth features
CN113591545A (en) * 2021-06-11 2021-11-02 北京师范大学珠海校区 Deep learning-based multistage feature extraction network pedestrian re-identification method
CN113297624B (en) * 2021-06-23 2023-04-18 支付宝(杭州)信息技术有限公司 Image preprocessing method and device
CN113297624A (en) * 2021-06-23 2021-08-24 支付宝(杭州)信息技术有限公司 Image preprocessing method and device
CN113673303B (en) * 2021-06-28 2024-02-02 中国科学院大学 Intensity regression method, device and medium for face action unit
CN113673303A (en) * 2021-06-28 2021-11-19 中国科学院大学 Human face action unit intensity regression method, device and medium
CN113627093B (en) * 2021-07-01 2023-11-21 武汉大学 Underwater mechanism trans-scale flow field characteristic prediction method based on improved Unet network
CN113627093A (en) * 2021-07-01 2021-11-09 武汉大学 Underwater mechanism cross-scale flow field characteristic prediction method based on improved Unet network
CN113625227B (en) * 2021-07-05 2023-07-04 西安电子科技大学 Attention transformation network-based radar high-resolution range profile target recognition method
CN113625227A (en) * 2021-07-05 2021-11-09 西安电子科技大学 Radar high-resolution range profile target identification method based on attention transformation network
CN113378791A (en) * 2021-07-09 2021-09-10 合肥工业大学 Cervical cell classification method based on double-attention mechanism and multi-scale feature fusion
CN113378791B (en) * 2021-07-09 2022-08-05 合肥工业大学 Cervical cell classification method based on double-attention mechanism and multi-scale feature fusion
CN113627259A (en) * 2021-07-12 2021-11-09 西安理工大学 Fine motion recognition method based on graph convolution network
CN113627266B (en) * 2021-07-15 2023-08-18 武汉大学 Video pedestrian re-recognition method based on transform space-time modeling
CN113723447B (en) * 2021-07-15 2024-03-08 西北工业大学 End-to-end template matching method for multi-mode image
CN113627266A (en) * 2021-07-15 2021-11-09 武汉大学 Video pedestrian re-identification method based on Transformer space-time modeling
CN113723447A (en) * 2021-07-15 2021-11-30 西北工业大学 End-to-end template matching method for multi-modal images
CN113537111A (en) * 2021-07-26 2021-10-22 南京信息工程大学 Iris segmentation method based on double-branch deep convolutional network
CN113869105A (en) * 2021-08-09 2021-12-31 华北电力大学（保定） Human behavior recognition method
CN113706406A (en) * 2021-08-11 2021-11-26 武汉大学 Infrared and visible light image fusion method based on feature space multi-classification countermeasure mechanism
CN113706406B (en) * 2021-08-11 2023-08-04 武汉大学 Infrared visible light image fusion method based on feature space multi-classification countermeasure mechanism
CN113569990A (en) * 2021-08-25 2021-10-29 浙江工业大学 Performance equipment fault diagnosis model construction method oriented to strong noise interference environment
CN113569990B (en) * 2021-08-25 2024-03-05 浙江工业大学 Strong noise interference environment-oriented performance equipment fault diagnosis model construction method
CN113705476A (en) * 2021-08-30 2021-11-26 国网四川省电力公司营销服务中心 Neural network-based field operation violation behavior analysis method and system
CN113689517B (en) * 2021-09-08 2024-05-21 云南大学 Image texture synthesis method and system for multi-scale channel attention network
CN113689517A (en) * 2021-09-08 2021-11-23 云南大学 Image texture synthesis method and system of multi-scale channel attention network
CN113689356A (en) * 2021-09-14 2021-11-23 三星电子（中国）研发中心 Image restoration method and device
CN113689356B (en) * 2021-09-14 2023-11-24 三星电子（中国）研发中心 Image restoration method and device
CN113792744B (en) * 2021-09-14 2023-09-05 东北农业大学 Crop growth data transmission system and method in low-power-consumption wide area network
CN113792744A (en) * 2021-09-14 2021-12-14 东北农业大学 Crop growth data transmission system and method in low-power-consumption wide area network
CN113763373A (en) * 2021-09-17 2021-12-07 上海交通大学 Domain generalization scale alignment reproduction picture detection system
CN113763373B (en) * 2021-09-17 2023-10-13 上海交通大学 Domain-generalized scale alignment flip picture detection system
CN113837080B (en) * 2021-09-24 2023-07-25 江西理工大学 Small target detection method based on information enhancement and receptive field enhancement
CN113837080A (en) * 2021-09-24 2021-12-24 江西理工大学 Small target detection method based on information enhancement and receptive field enhancement
CN113888501B (en) * 2021-09-29 2024-02-06 西安理工大学 Attention positioning network-based reference-free image quality evaluation method
CN113869418A (en) * 2021-09-29 2021-12-31 哈尔滨工程大学 Small sample ship target identification method based on global attention relationship network
CN113888501A (en) * 2021-09-29 2022-01-04 西安理工大学 Non-reference image quality evaluation method based on attention positioning network
CN113780241A (en) * 2021-09-29 2021-12-10 北京航空航天大学 Acceleration method and device for detecting salient object
CN113780241B (en) * 2021-09-29 2024-02-06 北京航空航天大学 Acceleration method and device for detecting remarkable object
CN113947204A (en) * 2021-10-13 2022-01-18 北京百度网讯科技有限公司 Image recognition method, image recognition apparatus, storage medium, and computer program product
CN113947782A (en) * 2021-10-14 2022-01-18 哈尔滨工程大学 Pedestrian target alignment method based on attention mechanism
CN113947782B (en) * 2021-10-14 2024-06-07 哈尔滨工程大学 Pedestrian target alignment method based on attention mechanism
CN113920472A (en) * 2021-10-15 2022-01-11 中国海洋大学 Unsupervised target re-identification method and system based on attention mechanism
CN113920472B (en) * 2021-10-15 2024-05-24 中国海洋大学 Attention mechanism-based unsupervised target re-identification method and system
CN114022930B (en) * 2021-10-28 2024-04-16 天津大学 Automatic generation method of portrait credentials
CN114022930A (en) * 2021-10-28 2022-02-08 天津大学 Automatic generation method of portrait certificate photo
CN114021458A (en) * 2021-11-05 2022-02-08 西安晟昕科技发展有限公司 Small sample radar radiation source signal identification method based on parallel prototype network
CN114005096A (en) * 2021-11-09 2022-02-01 河北工业大学 Vehicle weight recognition method based on feature enhancement
CN114005096B (en) * 2021-11-09 2024-05-10 河北工业大学 Feature enhancement-based vehicle re-identification method
CN114187275A (en) * 2021-12-13 2022-03-15 贵州大学 Multi-stage and multi-scale attention fusion network and image rain removing method
CN114201993A (en) * 2021-12-13 2022-03-18 厦门大学 Three-branch attention feature fusion method and system for detecting ultrasonic defects
CN114332701B (en) * 2021-12-27 2024-05-28 北京航空航天大学 Target tracking method based on task distinguishing detection and re-identification combined network
CN114332701A (en) * 2021-12-27 2022-04-12 北京航空航天大学 Target tracking method based on task distinguishing detection re-identification combined network
CN114332007A (en) * 2021-12-28 2022-04-12 福州大学 Transformer-based industrial defect detection and identification method
CN114387580A (en) * 2022-01-06 2022-04-22 厦门大学 Model training method and device based on federal learning
CN114419671B (en) * 2022-01-18 2024-03-26 北京工业大学 Super-graph neural network-based pedestrian shielding re-identification method
CN114419671A (en) * 2022-01-18 2022-04-29 北京工业大学 Hypergraph neural network-based occluded pedestrian re-identification method
CN114596218A (en) * 2022-01-25 2022-06-07 西北大学 Ancient painting image restoration method, model and device based on convolutional neural network
CN114596218B (en) * 2022-01-25 2023-11-07 西北大学 Ancient painting image restoration method, model and device based on convolutional neural network
CN114519796A (en) * 2022-01-27 2022-05-20 厦门大学 Robot material identification method and system based on deep neural network
CN114638256A (en) * 2022-02-22 2022-06-17 合肥华威自动化有限公司 Transformer fault detection method and system based on sound wave signals and attention network
CN114638256B (en) * 2022-02-22 2024-05-31 合肥华威自动化有限公司 Transformer fault detection method and system based on acoustic wave signals and attention network
CN114548132A (en) * 2022-02-22 2022-05-27 广东奥普特科技股份有限公司 Bar code detection model training method and device and bar code detection method and device
CN114581560A (en) * 2022-03-01 2022-06-03 西安交通大学 Attention mechanism-based multi-scale neural network infrared image colorizing method
CN114581560B (en) * 2022-03-01 2024-04-16 西安交通大学 Multi-scale neural network infrared image colorization method based on attention mechanism
CN114821699B (en) * 2022-03-02 2024-03-08 西北工业大学 Facial expression recognition method based on suppression ambiguity self-training
CN114821699A (en) * 2022-03-02 2022-07-29 西北工业大学 Facial expression recognition method based on ambiguity suppression self-training
CN114821704B (en) * 2022-03-16 2024-05-24 桂林理工大学 Mask face recognition method based on key point attention mechanism
CN114693693A (en) * 2022-03-31 2022-07-01 四川大学华西医院 Fetal corpus callosum ultrasonic image segmentation method based on convolutional neural network
CN114742800A (en) * 2022-04-18 2022-07-12 合肥工业大学 Reinforced learning fused magnesia furnace working condition identification method based on improved Transformer
CN114742800B (en) * 2022-04-18 2024-02-20 合肥工业大学 Reinforced learning electric smelting magnesium furnace working condition identification method based on improved converter
CN114882590A (en) * 2022-05-06 2022-08-09 中国科学技术大学 Lip reading method based on multi-granularity space-time feature perception of event camera
CN114882590B (en) * 2022-05-06 2024-04-02 中国科学技术大学 Lip reading method based on event camera multi-granularity space-time feature perception
CN114926877B (en) * 2022-05-10 2024-02-20 西北工业大学 Cross-domain facial expression recognition method based on contrast domain difference
CN114926877A (en) * 2022-05-10 2022-08-19 西北工业大学 Cross-domain facial expression recognition method based on contrast domain difference
CN114973317A (en) * 2022-05-13 2022-08-30 杭州像素元科技有限公司 Pedestrian re-identification method based on multi-scale adjacent interaction features
CN115035170B (en) * 2022-05-17 2024-03-05 合肥工业大学 Image restoration method based on global texture and structure
CN115035170A (en) * 2022-05-17 2022-09-09 合肥工业大学 Image restoration method based on global texture and structure
CN115050048A (en) * 2022-05-25 2022-09-13 杭州像素元科技有限公司 Cross-modal pedestrian re-identification method based on local detail features
CN115115648A (en) * 2022-06-20 2022-09-27 北京理工大学 Brain tissue segmentation method combining UNet and volume rendering prior knowledge
CN115082966B (en) * 2022-07-22 2022-12-06 中国科学院自动化研究所 Pedestrian re-recognition model training method, pedestrian re-recognition method, device and equipment
CN115082966A (en) * 2022-07-22 2022-09-20 中国科学院自动化研究所 Pedestrian re-recognition model training method, pedestrian re-recognition method, device and equipment
CN115546223A (en) * 2022-12-05 2022-12-30 南京天创电子技术有限公司 Method and system for detecting loss of fastening bolt of equipment under train
CN115950888A (en) * 2023-01-09 2023-04-11 湖南艾科瑞生物工程有限公司 quality detection method of qPCR pore plate and related equipment
CN115950888B (en) * 2023-01-09 2024-04-09 湖南艾科瑞生物工程有限公司 quality detection method of qPCR pore plate and related equipment
CN115862120B (en) * 2023-02-21 2023-11-10 天度(厦门)科技股份有限公司 Face action unit identification method and equipment capable of decoupling separable variation from encoder
CN115862120A (en) * 2023-02-21 2023-03-28 天度(厦门)科技股份有限公司 Separable variation self-encoder decoupled face action unit identification method and equipment
CN116188436B (en) * 2023-03-03 2023-11-10 合肥工业大学 Cystoscope image classification method based on fusion of local features and global features
CN116188436A (en) * 2023-03-03 2023-05-30 合肥工业大学 Cystoscope image classification method based on fusion of local features and global features
CN116563615B (en) * 2023-04-21 2023-11-07 南京讯思雅信息科技有限公司 Bad picture classification method based on improved multi-scale attention mechanism
CN116563615A (en) * 2023-04-21 2023-08-08 南京讯思雅信息科技有限公司 Bad picture classification method based on improved multi-scale attention mechanism
CN116311483A (en) * 2023-05-24 2023-06-23 山东科技大学 Micro-expression recognition method based on local facial area reconstruction and memory contrast learning
CN116311387B (en) * 2023-05-25 2023-09-01 浙江工业大学 Cross-modal pedestrian re-identification method based on feature intersection
CN116311387A (en) * 2023-05-25 2023-06-23 浙江工业大学 Cross-modal pedestrian re-identification method based on feature intersection
CN116342363A (en) * 2023-05-31 2023-06-27 齐鲁工业大学(山东省科学院) Visible watermark removing method based on two-stage deep neural network
CN116342363B (en) * 2023-05-31 2023-07-28 齐鲁工业大学(山东省科学院) Visible watermark removing method based on two-stage deep neural network
CN116432870A (en) * 2023-06-13 2023-07-14 齐鲁工业大学(山东省科学院) Urban flow prediction method
CN116758631A (en) * 2023-06-13 2023-09-15 孟冠宇 Big data driven behavior intelligent analysis method and system
CN116758631B (en) * 2023-06-13 2023-12-22 杭州追形视频科技有限公司 Big data driven behavior intelligent analysis method and system
CN116432870B (en) * 2023-06-13 2023-10-10 齐鲁工业大学(山东省科学院) Urban flow prediction method
CN116630639A (en) * 2023-07-20 2023-08-22 深圳须弥云图空间科技有限公司 Object image identification method and device
CN116612122A (en) * 2023-07-20 2023-08-18 湖南快乐阳光互动娱乐传媒有限公司 Image significance region detection method and device, storage medium and electronic equipment
CN116612122B (en) * 2023-07-20 2023-10-10 湖南快乐阳光互动娱乐传媒有限公司 Image significance region detection method and device, storage medium and electronic equipment
CN116630639B (en) * 2023-07-20 2023-12-12 深圳须弥云图空间科技有限公司 Object image identification method and device
CN116958148B (en) * 2023-09-21 2023-12-12 曲阜师范大学 Method, device, equipment and medium for detecting defects of key parts of power transmission line
CN116958148A (en) * 2023-09-21 2023-10-27 曲阜师范大学 Method, device, equipment and medium for detecting defects of key parts of power transmission line
CN117252892B (en) * 2023-11-14 2024-03-08 江西师范大学 Automatic double-branch portrait matting device based on light visual self-attention network
CN117252892A (en) * 2023-11-14 2023-12-19 江西师范大学 Automatic double-branch portrait matting model based on light visual self-attention network
CN117636057A (en) * 2023-12-13 2024-03-01 石家庄铁道大学 Train bearing damage classification and identification method based on multi-branch cross-space attention model
CN117636057B (en) * 2023-12-13 2024-06-11 石家庄铁道大学 Train bearing damage classification and identification method based on multi-branch cross-space attention model

Also Published As

Publication number Publication date
CN111259850B (en) 2022-12-16
JP2021117969A (en) 2021-08-10
CN111259850A (en) 2020-06-09

Similar Documents

Publication Publication Date Title
JP6830707B1 (en) Person re-identification method that combines random batch mask and multi-scale expression learning
CN110084292B (en) Target detection method based on DenseNet and multi-scale feature fusion
CN106503687B (en) Merge the monitor video system for identifying figures and its method of face multi-angle feature
CN108764085B (en) Crowd counting method based on generation of confrontation network
CN108830188A (en) Vehicle checking method based on deep learning
CN110378259A (en) A kind of multiple target Activity recognition method and system towards monitor video
CN109559320A (en) Realize that vision SLAM semanteme builds the method and system of figure function based on empty convolution deep neural network
CN110135314A (en) A kind of multi-object tracking method based on depth Trajectory prediction
CN105389562B (en) A kind of double optimization method of the monitor video pedestrian weight recognition result of space-time restriction
CN110348319A (en) A kind of face method for anti-counterfeit merged based on face depth information and edge image
CN107563999A (en) A kind of chip defect recognition methods based on convolutional neural networks
CN106529499A (en) Fourier descriptor and gait energy image fusion feature-based gait identification method
CN108154159B (en) A kind of method for tracking target with automatic recovery ability based on Multistage Detector
CN108447080A (en) Method for tracking target, system and storage medium based on individual-layer data association and convolutional neural networks
CN109948415A (en) Remote sensing image object detection method based on filtering background and scale prediction
CN111915644B (en) Real-time target tracking method of twin guide anchor frame RPN network
CN110647802A (en) Remote sensing image ship target detection method based on deep learning
CN110263731B (en) Single step human face detection system
CN109271848A (en) A kind of method for detecting human face and human face detection device, storage medium
CN108520203A (en) Multiple target feature extracting method based on fusion adaptive more external surrounding frames and cross pond feature
CN108460336A (en) A kind of pedestrian detection method based on deep learning
CN114220143B (en) Face recognition method for wearing mask
CN111950525A (en) Fine-grained image classification method based on destructive reconstruction learning and GoogLeNet
CN108154113A (en) Tumble event detecting method based on full convolutional network temperature figure
CN111191531A (en) Rapid pedestrian detection method and system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200819

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200819

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201210

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20201216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210113

R150 Certificate of patent or registration of utility model

Ref document number: 6830707

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150