JP7182021B2 - キーポイント検出方法、キーポイント検出装置、電子機器及び記憶媒体 - Google Patents
キーポイント検出方法、キーポイント検出装置、電子機器及び記憶媒体 Download PDFInfo
- Publication number
- JP7182021B2 JP7182021B2 JP2021565761A JP2021565761A JP7182021B2 JP 7182021 B2 JP7182021 B2 JP 7182021B2 JP 2021565761 A JP2021565761 A JP 2021565761A JP 2021565761 A JP2021565761 A JP 2021565761A JP 7182021 B2 JP7182021 B2 JP 7182021B2
- Authority
- JP
- Japan
- Prior art keywords
- keypoint
- keypoints
- graphic model
- information
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Description
本開示は、出願番号が202010622135.7、出願日が2020年6月30日の中国特許出願に基づいて提案され、且つこの中国特許出願の優先権を主張し、この中国特許出願の全てが参照によって本願に組み込まれる。
例えば、本願は以下の項目を提供する。
(項目1)
検出すべき画像を取得するステップと、
前記検出すべき画像に基づいて画像特徴マップと複数のキーポイントヒートマップを生成するステップであって、前記画像特徴マップは前記検出すべき画像中の各目標対象間の相対的位置関係を表すためのものであり、各前記キーポイントヒートマップは前記検出すべき画像の1種のカテゴリのキーポイントを含み、異なるカテゴリのキーポイントが前記目標対象の異なる部位に対応する、ステップと、
前記画像特徴マップと複数の前記キーポイントヒートマップに基づいて初期キーポイントグラフィックモデルを生成するステップであって、前記初期キーポイントグラフィックモデルは前記検出すべき画像における異なるカテゴリのキーポイントの情報及び接続辺の情報を含み、各接続辺は2つの異なるカテゴリのキーポイントの間の辺である、ステップと、
処理後のキーポイントグラフィックモデル中の複数のキーポイントが複数のクラスタにクラスタリングされるまで、前記初期キーポイントグラフィックモデルに対して前記接続辺の枝刈り処理を複数回行って、それぞれ各目標対象に属するキーポイント情報を得るステップと、を含む、キーポイント検出方法。
(項目2)
前記キーポイントの情報は位置情報、カテゴリ情報及び画素特徴情報を含み、
前記キーポイントヒートマップに基づいて各キーポイントの位置情報を決定するステップと、
各前記キーポイントの位置情報に基づいて前記画像特徴マップから前記キーポイントの画素特徴情報を抽出し、且つ前記キーポイントの所属するキーポイントヒートマップのカテゴリラベルに基づいて前記キーポイントに対応するカテゴリ情報を決定するステップと、により、前記初期キーポイントグラフィックモデル中の各キーポイントの情報を決定する
項目1に記載のキーポイント検出方法。
(項目3)
前記初期キーポイントグラフィックモデル中の各前記キーポイントに対して、前記キーポイントの情報、及び前記キーポイントグラフィックモデルにおける前記キーポイントの間に接続辺が存在する他のキーポイントの情報に基づいて、前記キーポイントの融合特徴を決定するステップを更に含み、
前記初期キーポイントグラフィックモデルに対して前記接続辺の枝刈り処理を複数回行うステップは、
前記初期キーポイントグラフィックモデルに含まれる各前記キーポイントの融合特徴に基づいて、前記初期キーポイントグラフィックモデルに対して前記接続辺の枝刈り処理を複数回行うステップを含む
項目1に記載のキーポイント検出方法。
(項目4)
前記処理後のキーポイントグラフィックモデル中の複数のキーポイントが複数のクラスタにクラスタリングされるまで、前記初期キーポイントグラフィックモデルに対して前記接続辺の枝刈り処理を複数回行うステップは、
現在キーポイントグラフィックモデルに対して第1処理プロセスを実行するステップであって、
前記現在キーポイントグラフィックモデル中の各接続辺に対応する2つのキーポイントの融合特徴に基づいて、前記現在キーポイントグラフィックモデルに含まれる複数のキーポイントのうちの隣接キーポイントに対して同一目標対象のキーポイントクラスタリングを行って、クラスタリングされた複数の隣接キーポイントを含む少なくとも1つのマクロノードを得、各前記マクロノードに含まれるキーポイントの融合特徴に基づいて前記マクロノードの融合特徴を決定するステップと、
得られた少なくとも1つの前記マクロノードと前記現在キーポイントグラフィックモデルに基づいて、前記現在キーポイントグラフィックモデルに対して今回の前記接続辺の枝刈り処理を行って、今回の枝刈り処理後のキーポイントグラフィックモデルを得るステップと、を含む、第1処理プロセスを実行するステップと、
今回の前記第1処理プロセスを実行した後、今回の枝刈り処理後のキーポイントグラフィックモデルを現在キーポイントグラフィックモデルとし、今回決定された前記マクロノード及び前記マクロノードの融合特徴を前記現在キーポイントグラフィックモデル中のキーポイント及びキーポイントの融合特徴とし、処理後のキーポイントグラフィックモデル中の複数のキーポイントが複数のクラスタにクラスタリングされるまで、前記第1処理プロセスを再度実行するステップと、を含む
項目1~3のいずれか一項に記載のキーポイント検出方法。
(項目5)
前記現在キーポイントグラフィックモデル中の各接続辺に対応する2つのキーポイントの融合特徴に基づいて、前記現在キーポイントグラフィックモデルに含まれる複数のキーポイントのうちの隣接キーポイントに対して同一目標対象のキーポイントクラスタリングを行って、少なくとも1つのマクロノードを得るステップは、
前記接続辺に対応する2つのキーポイントの融合特徴に基づいて前記接続辺の重みを決定するステップであって、前記重みは前記接続辺に対応する2つのキーポイントが同一目標対象に属する確率を表す、ステップと、
前記現在キーポイントグラフィックモデルに含まれる各接続辺の重みに基づいて、前記現在キーポイントグラフィックモデルに含まれる複数のキーポイントのうちの隣接キーポイントに対して同一目標対象のキーポイントクラスタリングを行って、少なくとも1つのマクロノードを得るステップと、を含む
項目4に記載のキーポイント検出方法。
(項目6)
前記得られた少なくとも1つの前記マクロノードと前記現在キーポイントグラフィックモデルに基づいて、前記現在キーポイントグラフィックモデルに対して今回の前記接続辺の枝刈り処理を行って、今回の枝刈り処理後のキーポイントグラフィックモデルを得るステップは、
前記得られた少なくとも1つの前記マクロノードと前記現在キーポイントグラフィックモデルに基づいて削除すべき接続辺を決定し、且つ前記現在キーポイントグラフィックモデルから前記削除すべき接続辺を削除するステップと、
前記少なくとも1つの前記マクロノード、及び前記現在キーポイントグラフィックモデルにおける前記マクロノードに含まれるキーポイント以外の他のキーポイントを枝刈り処理後のキーポイントとし、削除後に残された接続辺を枝刈り処理後の接続辺として、今回の枝刈り処理後のキーポイントグラフィックモデルを得るステップと、を含む
項目4に記載のキーポイント検出方法。
(項目7)
前記得られた少なくとも1つのマクロノードと前記現在キーポイントグラフィックモデルに基づいて削除すべき接続辺を決定するステップは、
前記少なくとも1つのマクロノードに含まれる各キーポイントのカテゴリ情報、及び前記現在キーポイントグラフィックモデルにおける少なくとも1つのマクロノードに含まれるキーポイント以外の他のキーポイントのカテゴリ情報に基づいて、前記削除すべき接続辺を決定するステップを含む
項目6に記載のキーポイント検出方法。
(項目8)
前記少なくとも1つのマクロノードに含まれる各キーポイントのカテゴリ情報、及び前記現在キーポイントグラフィックモデルにおける少なくとも1つのマクロノードに含まれるキーポイント以外の他のキーポイントのカテゴリ情報に基づいて、前記削除すべき接続辺を決定するステップは、
前記現在キーポイントグラフィックモデルにおけるいずれかの接続辺に対して、このいずれかの接続辺に対応する2つのキーポイントが異なるマクロノード中のキーポイントであり、且つこのいずれかの接続辺に対応する2つのマクロノードにカテゴリ情報が同じなキーポイントが存在する場合に、このいずれかの接続辺を前記削除すべき接続辺に決定するステップと、
このいずれかの接続辺に対応する2つのキーポイントが同一マクロノード中のキーポイントである場合に、このいずれかの接続辺を前記削除すべき接続辺に決定するステップと、
このいずれかの接続辺に対応する2つのキーポイントの一方がマクロノード中のキーポイントであり、他方がマクロノード中のキーポイントでなく、且つこのいずれかの接続辺に対応する前記マクロノードに他方のキーポイントのカテゴリ情報と同じなキーポイントが存在する場合に、このいずれかの接続辺を前記削除すべき接続辺に決定するステップと、を含む
項目7に記載のキーポイント検出方法。
(項目9)
前記各目標対象のキーポイント情報は事前トレーニング済み目標ニューラルネットワークによって生成され、前記目標ニューラルネットワークはマクロノード弁別器を備えるトレーニング待ちニューラルネットワークをトレーニングして得られたものであり、前記マクロノード弁別器は各マクロノードに含まれる複数のキーポイントが同一目標対象に属するかを判別するためのものである
項目1~8のいずれか一項に記載のキーポイント検出方法。
(項目10)
サンプル画像を取得するステップと、
前記サンプル画像に基づいて前記マクロノード弁別器を備えるトレーニング待ちニューラルネットワークをトレーニングして、事前トレーニング済み目標ニューラルネットワークを得るステップと、によって、前記トレーニング待ちニューラルネットワークをトレーニングして、事前トレーニング済み目標ニューラルネットワークを得る
項目9に記載のキーポイント検出方法。
(項目11)
前記サンプル画像に基づいて前記マクロノード弁別器を備えるトレーニング待ちニューラルネットワークをトレーニングして、事前トレーニング済み目標ニューラルネットワークを得るステップは、
前記サンプル画像に基づいて前記トレーニング待ちニューラルネットワークをトレーニングして、予測結果を得るステップであって、前記予測結果は前記マクロノード弁別器の検出結果、各キーポイントの予測カテゴリ及び各キーポイントの予測位置情報を含む、ステップと、
前記マクロノード弁別器の検出結果に基づいて第1損失値を決定し、また、前記各キーポイントの予測カテゴリ、前記各キーポイントの予測位置情報及び前記サンプル画像に含まれるラベリング結果に基づいて第2損失値を決定するステップであって、前記ラベリング結果は対応する目標対象に属する各キーポイントのラベリングカテゴリ及び各キーポイントのラベリング位置情報を含む、ステップと、
前記第1損失値と前記第2損失値に基づいて前記トレーニング待ちニューラルネットワークをトレーニングして、事前トレーニング済み目標ニューラルネットワークを得るステップと、を含む
項目10に記載のキーポイント検出方法。
(項目12)
前記検出すべき画像中の各目標対象のキーポイント情報を得た後、
各目標対象に対応する前記キーポイント情報に基づいてこの目標対象の行動種類を決定するステップを更に含む
項目1~11のいずれか一項に記載のキーポイント検出方法。
(項目13)
前記検出すべき画像中の各目標対象のキーポイント情報を得た後、
各目標対象に対応する前記キーポイント情報に基づいてこの目標対象の少なくとも1つの目標部位の位置情報を決定し、且つ前記少なくとも1つの目標部位の位置情報により前記少なくとも1つの目標部位に対する特殊効果情報を生成するステップを更に含む
項目1~11のいずれか一項に記載のキーポイント検出方法。
(項目14)
検出すべき画像を取得するように構成される取得モジュールと、
前記検出すべき画像に基づいて画像特徴マップと複数のキーポイントヒートマップを生成するように構成される第1生成モジュールであって、前記画像特徴マップは前記検出すべき画像中の各目標対象のキーポイント間の相対的位置関係を表すためのものであり、各前記キーポイントヒートマップは前記検出すべき画像の1種のカテゴリのキーポイントを含み、異なるカテゴリのキーポイントが前記目標対象の異なる部位に対応する、第1生成モジュールと、
前記画像特徴マップと複数の前記キーポイントヒートマップに基づいて初期キーポイントグラフィックモデルを生成するように構成される第2生成モジュールであって、前記初期キーポイントグラフィックモデルは前記検出すべき画像における異なるカテゴリのキーポイントの情報及び接続辺の情報を含み、各接続辺は2つの異なるカテゴリのキーポイントの間の辺である、第2生成モジュールと、
処理後のキーポイントグラフィックモデル中の複数のキーポイントが複数のクラスタにクラスタリングされるまで、前記初期キーポイントグラフィックモデルに対して前記接続辺の枝刈り処理を複数回行って、それぞれ各目標対象に属するキーポイント情報を得るように構成される処理モジュールと、を備える、キーポイント検出装置。
(項目15)
前記キーポイントの情報は位置情報、カテゴリ情報及び画素特徴情報を含み、前記第2生成モジュールは、
前記キーポイントヒートマップに基づいて各キーポイントの位置情報を決定するステップと、
各前記キーポイントの位置情報に基づいて前記画像特徴マップから前記キーポイントの画素特徴情報を抽出し、且つ前記キーポイントの所属するキーポイントヒートマップのカテゴリラベルに基づいて前記キーポイントに対応するカテゴリ情報を決定するステップと、により、前記初期キーポイントグラフィックモデル中の各キーポイントの情報を決定するように構成される
項目14に記載のキーポイント検出装置。
(項目16)
前記初期キーポイントグラフィックモデル中の各前記キーポイントに対して、前記キーポイントの情報、及び前記キーポイントグラフィックモデルにおける前記キーポイントの間に接続辺が存在する他のキーポイントの情報に基づいて、前記キーポイントの融合特徴を決定するように構成される決定モジュールを更に備え、
前記処理モジュールは、前記初期キーポイントグラフィックモデルに対して前記接続辺の枝刈り処理を複数回行う場合に、
前記初期キーポイントグラフィックモデルに含まれる各前記キーポイントの融合特徴に基づいて、前記初期キーポイントグラフィックモデルに対して前記接続辺の枝刈り処理を複数回行うように構成される
項目14に記載のキーポイント検出装置。
(項目17)
前記処理モジュールは、処理後のキーポイントグラフィックモデル中の複数のキーポイントが複数のクラスタにクラスタリングされるまで、前記初期キーポイントグラフィックモデルに対して前記接続辺の枝刈り処理を複数回行う場合に、
現在キーポイントグラフィックモデルに対して第1処理プロセスを実行するステップであって、
前記現在キーポイントグラフィックモデル中の各接続辺に対応する2つのキーポイントの融合特徴に基づいて、前記現在キーポイントグラフィックモデルに含まれる複数のキーポイントのうちの隣接キーポイントに対して同一目標対象のキーポイントクラスタリングを行って、クラスタリングされた複数の隣接キーポイントを含む少なくとも1つのマクロノードを得、各前記マクロノードに含まれるキーポイントの融合特徴に基づいて前記マクロノードの融合特徴を決定するステップと、
得られた少なくとも1つの前記マクロノードと前記現在キーポイントグラフィックモデルに基づいて、前記現在キーポイントグラフィックモデルに対して今回の前記接続辺の枝刈り処理を行って、今回の枝刈り処理後のキーポイントグラフィックモデルを得るステップと、を含む、第1処理プロセスを実行するステップと、
今回の前記第1処理プロセスを実行した後、今回の枝刈り処理後のキーポイントグラフィックモデルを現在キーポイントグラフィックモデルとし、今回決定された前記マクロノード及び前記マクロノードの融合特徴を前記現在キーポイントグラフィックモデル中のキーポイント及びキーポイントの融合特徴とし、処理後のキーポイントグラフィックモデル中の複数のキーポイントが複数のクラスタにクラスタリングされるまで、前記第1処理プロセスを再度実行するステップと、を実行するように構成される
項目14~16のいずれか一項に記載のキーポイント検出装置。
(項目18)
前記処理モジュールは、前記現在キーポイントグラフィックモデル中の各接続辺に対応する2つのキーポイントの融合特徴に基づいて、前記現在キーポイントグラフィックモデルに含まれる複数のキーポイントのうちの隣接キーポイントに対して同一目標対象のキーポイントクラスタリングを行って、少なくとも1つのマクロノードを得る場合に、
前記接続辺に対応する2つのキーポイントの融合特徴に基づいて前記接続辺の重みを決定するステップであって、前記重みは前記接続辺に対応する2つのキーポイントが同一目標対象に属する確率を表す、ステップと、
前記現在キーポイントグラフィックモデルに含まれる各接続辺の重みに基づいて、前記現在キーポイントグラフィックモデルに含まれる複数のキーポイントのうちの隣接キーポイントに対して同一目標対象のキーポイントクラスタリングを行って、少なくとも1つのマクロノードを得るステップと、を実行するように構成される
項目17に記載のキーポイント検出装置。
(項目19)
前記処理モジュールは、得られた少なくとも1つの前記マクロノードと前記現在キーポイントグラフィックモデルに基づいて、前記現在キーポイントグラフィックモデルに対して今回の前記接続辺の枝刈り処理を行って、今回の枝刈り処理後のキーポイントグラフィックモデルを得る場合に、
前記得られた少なくとも1つの前記マクロノードと前記現在キーポイントグラフィックモデルに基づいて削除すべき接続辺を決定し、且つ前記現在キーポイントグラフィックモデルから前記削除すべき接続辺を削除するステップと、
少なくとも1つの前記マクロノード、及び前記現在キーポイントグラフィックモデルにおける前記マクロノードに含まれるキーポイント以外の他のキーポイントを枝刈り処理後のキーポイントとし、削除後に残された接続辺を枝刈り処理後の接続辺として、今回の枝刈り処理後のキーポイントグラフィックモデルを得るステップと、を実行するように構成される
項目17に記載のキーポイント検出装置。
(項目20)
前記処理モジュールは、得られた少なくとも1つのマクロノードと前記現在キーポイントグラフィックモデルに基づいて削除すべき接続辺を決定する場合に、
前記少なくとも1つのマクロノードに含まれる各キーポイントのカテゴリ情報、及び前記現在キーポイントグラフィックモデルにおける少なくとも1つのマクロノードに含まれるキーポイント以外の他のキーポイントのカテゴリ情報に基づいて、前記削除すべき接続辺を決定するように構成される
項目19に記載のキーポイント検出装置。
(項目21)
前記処理モジュールは、前記少なくとも1つのマクロノードに含まれる各キーポイントのカテゴリ情報、及び前記現在キーポイントグラフィックモデルにおける少なくとも1つのマクロノードに含まれるキーポイント以外の他のキーポイントのカテゴリ情報に基づいて、前記削除すべき接続辺を決定する場合に、
前記現在キーポイントグラフィックモデルにおけるいずれかの接続辺に対して、このいずれかの接続辺に対応する2つのキーポイントが異なるマクロノード中のキーポイントであり、且つこのいずれかの接続辺に対応する2つのマクロノードにカテゴリ情報が同じなキーポイントが存在する場合に、このいずれかの接続辺を前記削除すべき接続辺に決定するステップと、
このいずれかの接続辺に対応する2つのキーポイントが同一マクロノード中のキーポイントである場合に、このいずれかの接続辺を前記削除すべき接続辺に決定するステップと、
このいずれかの接続辺に対応する2つのキーポイントの一方がマクロノード中のキーポイントであり、他方がマクロノード中のキーポイントでなく、且つこのいずれかの接続辺に対応する前記マクロノードに他方のキーポイントのカテゴリ情報と同じなキーポイントが存在する場合に、このいずれかの接続辺を前記削除すべき接続辺に決定するステップと、を実行するように構成される
項目20に記載のキーポイント検出装置。
(項目22)
前記各目標対象のキーポイント情報は事前トレーニング済み目標ニューラルネットワークによって生成され、前記目標ニューラルネットワークはマクロノード弁別器を備えるトレーニング待ちニューラルネットワークをトレーニングして得られたものであり、前記マクロノード弁別器は各マクロノードに含まれる複数のキーポイントが同一目標対象に属するかを判別するためのものである
項目14~21のいずれか一項に記載のキーポイント検出装置。
(項目23)
サンプル画像を取得するステップと、
前記サンプル画像に基づいて前記マクロノード弁別器を備えるトレーニング待ちニューラルネットワークをトレーニングして、事前トレーニング済み目標ニューラルネットワークを得るステップと、によって、前記トレーニング待ちニューラルネットワークをトレーニングして、事前トレーニング済み目標ニューラルネットワークを得るように構成されるトレーニングモジュールを更に備える
項目22に記載のキーポイント検出装置。
(項目24)
前記トレーニングモジュールは、前記サンプル画像に基づいて前記マクロノード弁別器を備えるトレーニング待ちニューラルネットワークをトレーニングして、事前トレーニング済み目標ニューラルネットワークを得る場合に、
前記サンプル画像に基づいて前記トレーニング待ちニューラルネットワークをトレーニングして、予測結果を得るステップであって、前記予測結果は前記マクロノード弁別器の検出結果、各キーポイントの予測カテゴリ及び各キーポイントの予測位置情報を含む、ステップと、
前記マクロノード弁別器の検出結果に基づいて第1損失値を決定し、また、前記各キーポイントの予測カテゴリ、前記各キーポイントの予測位置情報及び前記サンプル画像に含まれるラベリング結果に基づいて第2損失値を決定するステップであって、前記ラベリング結果は対応する目標対象に属する各キーポイントのラベリングカテゴリ及び各キーポイントのラベリング位置情報を含む、ステップと、
前記第1損失値と前記第2損失値に基づいて前記トレーニング待ちニューラルネットワークをトレーニングして、事前トレーニング済み目標ニューラルネットワークを得るステップと、を実行するように構成される
項目23に記載のキーポイント検出装置。
(項目25)
前記検出すべき画像中の各目標対象のキーポイント情報を得た後、
各目標対象に対応する前記キーポイント情報に基づいてこの目標対象の行動種類を決定するように構成される行動種類決定モジュールを更に備える
項目14~24のいずれか一項に記載のキーポイント検出装置。
(項目26)
前記検出すべき画像中の各目標対象のキーポイント情報を得た後、
各目標対象に対応する前記キーポイント情報に基づいてこの目標対象の少なくとも1つの目標部位の位置情報を決定し、且つ前記少なくとも1つの目標部位の位置情報により前記少なくとも1つの目標部位に対する特殊効果情報を生成するように構成される特殊効果生成モジュールを更に備える
項目14~24のいずれか一項に記載のキーポイント検出装置。
(項目27)
電子機器であって、
プロセッサと、前記プロセッサによって実行可能な機器可読命令を記憶するメモリと、バスと、を備え、電子機器が実行する時に、前記プロセッサと前記メモリが前記バスによって通信し、前記プロセッサは、前記機器可読命令を実行して、項目1~13のいずれか一項に記載のキーポイント検出方法のステップを実行する、電子機器。
(項目28)
プロセッサにより実行する時に、前記プロセッサに項目1~13のいずれか一項に記載のキーポイント検出方法のステップを実行させるためのコンピュータプログラムを記憶した、コンピュータ可読記憶媒体。
(項目29)
電子機器で実行する時に、前記電子機器中のプロセッサに項目1~13のいずれか一項に記載のキーポイント検出方法のステップを実行させるためのコンピュータ可読コードを含む、コンピュータプログラム製品。
現在キーポイントグラフィックモデルに対して第1処理プロセスを実行するステップであって、現在キーポイントグラフィックモデル中の各接続辺に対応する2つのキーポイントの融合特徴に基づいて、現在キーポイントグラフィックモデルに含まれる複数のキーポイントのうちの隣接キーポイントに対して同一目標対象のキーポイントクラスタリングを行って、クラスタリングされた複数の隣接キーポイントを含む少なくとも1つのマクロノードを得、各マクロノードに含まれるキーポイントの融合特徴に基づいてマクロノードの融合特徴を決定するステップ1と、得られた少なくとも1つのマクロノードと現在キーポイントグラフィックモデルに基づいて、現在キーポイントグラフィックモデルに対して今回の接続辺の枝刈り処理を行って、今回の枝刈り処理後のキーポイントグラフィックモデルを得るステップ2と、を含む、第1処理プロセスを実行するステップと、今回の第1処理プロセスを実行した後、今回の枝刈り処理後のキーポイントグラフィックモデルを現在キーポイントグラフィックモデルとし、今回決定されたマクロノード及びマクロノードの融合特徴を現在キーポイントグラフィックモデル中のキーポイント及びキーポイントの融合特徴とし、処理後のキーポイントグラフィックモデル中の複数のキーポイントが複数のクラスタにクラスタリングされるまで、第1処理プロセスを再度実行するステップ3と、を含む。ここで、初期キーポイントグラフィックモデルを現在キーポイントグラフィックモデルとして1回目の第1処理プロセスを実行して、枝刈り処理後のキーポイントグラフィックモデルを得、また、1回目の枝刈り処理後のキーポイントグラフィックモデルを現在キーポイントグラフィックモデルとし、1回目の枝刈り処理後に得られた各マクロノードと各マクロノードに対応する融合特徴を現在キーポイントグラフィックモデル中のキーポイント及びキーポイントの融合特徴として、処理後のキーポイントグラフィックモデル中の複数のキーポイントが複数のクラスタにクラスタリングされるまで、2回目の第1処理プロセスを実行することができ、クラスタリングして得られたクラスタの数量は検出すべき画像に含まれる目標対象の数量と同じであり、各クラスタにそれぞれ1つの目標対象に対応する全てのキーポイントを含み、即ち、検出すべき画像中の各目標対象の各キーポイントが得られた。
検出すべき画像中のキーポイント情報を抽出するステップS1と、多目標対象のキーポイントヒートマップを構築するステップS2と、GNNの相関性に基づいて特徴学習を行うステップS3と、前記キーポイントグラフィックモデルにおいて枝刈り待ちの辺がなくなるまで、複数回反復するステップS4と、を含む。
検出すべき画像を取得するステップと、前記検出すべき画像に基づいて画像特徴マップと複数のキーポイントヒートマップを生成するステップであって、前記画像特徴マップは前記検出すべき画像中の各目標対象間の相対的位置関係を表すためのものであり、各前記キーポイントヒートマップは前記検出すべき画像の1種のカテゴリのキーポイントを含み、異なるカテゴリのキーポイントが前記目標対象の異なる部位に対応する、ステップと、前記画像特徴マップと複数の前記キーポイントヒートマップに基づいて初期キーポイントグラフィックモデルを生成するステップであって、前記初期キーポイントグラフィックモデルは前記検出すべき画像における異なるカテゴリのキーポイントの情報及び接続辺の情報を含み、各接続辺は2つの異なるカテゴリのキーポイントの間の辺である、ステップと、処理後のキーポイントグラフィックモデル中の複数のキーポイントが複数のクラスタにクラスタリングされるまで、前記初期キーポイントグラフィックモデルに対して前記接続辺の枝刈り処理を複数回行って、それぞれ各目標対象に属するキーポイント情報を得るステップと、を実施する命令を実行する。また、本開示の実施例は、プロセッサによって実行する時に、プロセッサに上記の方法実施例に記載のキーポイント検出方法のステップを実行させるコンピュータプログラムを記憶したコンピュータ可読記憶媒体を更に提供する。
Claims (15)
- 検出すべき画像を取得するステップと、
前記検出すべき画像に基づいて画像特徴マップと複数のキーポイントヒートマップを生成するステップであって、前記画像特徴マップは前記検出すべき画像中の各目標対象間の相対的位置関係を表すためのものであり、各前記キーポイントヒートマップは前記検出すべき画像の1種のカテゴリのキーポイントを含み、異なるカテゴリのキーポイントが前記目標対象の異なる部位に対応する、ステップと、
前記画像特徴マップと複数の前記キーポイントヒートマップに基づいて初期キーポイントグラフィックモデルを生成するステップであって、前記初期キーポイントグラフィックモデルは前記検出すべき画像における異なるカテゴリのキーポイントの情報及び接続辺の情報を含み、各接続辺は2つの異なるカテゴリのキーポイントの間の辺である、ステップと、
処理後のキーポイントグラフィックモデル中の複数のキーポイントが複数のクラスタにクラスタリングされるまで、前記初期キーポイントグラフィックモデルに対して前記接続辺の枝刈り処理を複数回行って、それぞれ各目標対象に属するキーポイント情報を得るステップと、を含む、キーポイント検出方法。 - 前記キーポイントの情報は位置情報、カテゴリ情報及び画素特徴情報を含み、
前記キーポイントヒートマップに基づいて各キーポイントの位置情報を決定するステップと、
各前記キーポイントの位置情報に基づいて前記画像特徴マップから前記キーポイントの画素特徴情報を抽出し、且つ前記キーポイントの所属するキーポイントヒートマップのカテゴリラベルに基づいて前記キーポイントに対応するカテゴリ情報を決定するステップと、により、前記初期キーポイントグラフィックモデル中の各キーポイントの情報を決定する
請求項1に記載のキーポイント検出方法。 - 前記初期キーポイントグラフィックモデル中の各前記キーポイントに対して、前記キーポイントの情報、及び前記キーポイントグラフィックモデルにおける前記キーポイントの間に接続辺が存在する他のキーポイントの情報に基づいて、前記キーポイントの融合特徴を決定するステップを更に含み、
前記初期キーポイントグラフィックモデルに対して前記接続辺の枝刈り処理を複数回行うステップは、
前記初期キーポイントグラフィックモデルに含まれる各前記キーポイントの融合特徴に基づいて、前記初期キーポイントグラフィックモデルに対して前記接続辺の枝刈り処理を複数回行うステップを含む
請求項1に記載のキーポイント検出方法。 - 前記処理後のキーポイントグラフィックモデル中の複数のキーポイントが複数のクラスタにクラスタリングされるまで、前記初期キーポイントグラフィックモデルに対して前記接続辺の枝刈り処理を複数回行うステップは、
現在キーポイントグラフィックモデルに対して第1処理プロセスを実行するステップであって、
前記現在キーポイントグラフィックモデル中の各接続辺に対応する2つのキーポイントの融合特徴に基づいて、前記現在キーポイントグラフィックモデルに含まれる複数のキーポイントのうちの隣接キーポイントに対して同一目標対象のキーポイントクラスタリングを行って、クラスタリングされた複数の隣接キーポイントを含む少なくとも1つのマクロノードを得、各前記マクロノードに含まれるキーポイントの融合特徴に基づいて前記マクロノードの融合特徴を決定するステップと、
得られた少なくとも1つの前記マクロノードと前記現在キーポイントグラフィックモデルに基づいて、前記現在キーポイントグラフィックモデルに対して今回の前記接続辺の枝刈り処理を行って、今回の枝刈り処理後のキーポイントグラフィックモデルを得るステップと、を含む、第1処理プロセスを実行するステップと、
今回の前記第1処理プロセスを実行した後、今回の枝刈り処理後のキーポイントグラフィックモデルを現在キーポイントグラフィックモデルとし、今回決定された前記マクロノード及び前記マクロノードの融合特徴を前記現在キーポイントグラフィックモデル中のキーポイント及びキーポイントの融合特徴とし、処理後のキーポイントグラフィックモデル中の複数のキーポイントが複数のクラスタにクラスタリングされるまで、前記第1処理プロセスを再度実行するステップと、を含む
請求項1~3のいずれか一項に記載のキーポイント検出方法。 - 前記現在キーポイントグラフィックモデル中の各接続辺に対応する2つのキーポイントの融合特徴に基づいて、前記現在キーポイントグラフィックモデルに含まれる複数のキーポイントのうちの隣接キーポイントに対して同一目標対象のキーポイントクラスタリングを行って、少なくとも1つのマクロノードを得るステップは、
前記接続辺に対応する2つのキーポイントの融合特徴に基づいて前記接続辺の重みを決定するステップであって、前記重みは前記接続辺に対応する2つのキーポイントが同一目標対象に属する確率を表す、ステップと、
前記現在キーポイントグラフィックモデルに含まれる各接続辺の重みに基づいて、前記現在キーポイントグラフィックモデルに含まれる複数のキーポイントのうちの隣接キーポイントに対して同一目標対象のキーポイントクラスタリングを行って、少なくとも1つのマクロノードを得るステップと、を含む
請求項4に記載のキーポイント検出方法。 - 前記得られた少なくとも1つの前記マクロノードと前記現在キーポイントグラフィックモデルに基づいて、前記現在キーポイントグラフィックモデルに対して今回の前記接続辺の枝刈り処理を行って、今回の枝刈り処理後のキーポイントグラフィックモデルを得るステップは、
前記得られた少なくとも1つの前記マクロノードと前記現在キーポイントグラフィックモデルに基づいて削除すべき接続辺を決定し、且つ前記現在キーポイントグラフィックモデルから前記削除すべき接続辺を削除するステップと、
前記少なくとも1つの前記マクロノード、及び前記現在キーポイントグラフィックモデルにおける前記マクロノードに含まれるキーポイント以外の他のキーポイントを枝刈り処理後のキーポイントとし、削除後に残された接続辺を枝刈り処理後の接続辺として、今回の枝刈り処理後のキーポイントグラフィックモデルを得るステップと、を含む
請求項4に記載のキーポイント検出方法。 - 前記得られた少なくとも1つのマクロノードと前記現在キーポイントグラフィックモデルに基づいて削除すべき接続辺を決定するステップは、
前記少なくとも1つのマクロノードに含まれる各キーポイントのカテゴリ情報、及び前記現在キーポイントグラフィックモデルにおける少なくとも1つのマクロノードに含まれるキーポイント以外の他のキーポイントのカテゴリ情報に基づいて、前記削除すべき接続辺を決定するステップを含む
請求項6に記載のキーポイント検出方法。 - 前記少なくとも1つのマクロノードに含まれる各キーポイントのカテゴリ情報、及び前記現在キーポイントグラフィックモデルにおける少なくとも1つのマクロノードに含まれるキーポイント以外の他のキーポイントのカテゴリ情報に基づいて、前記削除すべき接続辺を決定するステップは、
前記現在キーポイントグラフィックモデルにおけるいずれかの接続辺に対して、このいずれかの接続辺に対応する2つのキーポイントが異なるマクロノード中のキーポイントであり、且つこのいずれかの接続辺に対応する2つのマクロノードにカテゴリ情報が同じなキーポイントが存在する場合に、このいずれかの接続辺を前記削除すべき接続辺に決定するステップと、
このいずれかの接続辺に対応する2つのキーポイントが同一マクロノード中のキーポイントである場合に、このいずれかの接続辺を前記削除すべき接続辺に決定するステップと、
このいずれかの接続辺に対応する2つのキーポイントの一方がマクロノード中のキーポイントであり、他方がマクロノード中のキーポイントでなく、且つこのいずれかの接続辺に対応する前記マクロノードに他方のキーポイントのカテゴリ情報と同じなキーポイントが存在する場合に、このいずれかの接続辺を前記削除すべき接続辺に決定するステップと、を含む
請求項7に記載のキーポイント検出方法。 - 前記各目標対象のキーポイント情報は事前トレーニング済み目標ニューラルネットワークによって生成され、前記目標ニューラルネットワークはマクロノード弁別器を備えるトレーニング待ちニューラルネットワークをトレーニングして得られたものであり、前記マクロノード弁別器は各マクロノードに含まれる複数のキーポイントが同一目標対象に属するかを判別するためのものであり、
サンプル画像を取得するステップと、
前記サンプル画像に基づいて前記マクロノード弁別器を備えるトレーニング待ちニューラルネットワークをトレーニングして、事前トレーニング済み目標ニューラルネットワークを得るステップと、によって、前記トレーニング待ちニューラルネットワークをトレーニングして、事前トレーニング済み目標ニューラルネットワークを得る
請求項1~8のいずれか一項に記載のキーポイント検出方法。 - 前記サンプル画像に基づいて前記マクロノード弁別器を備えるトレーニング待ちニューラルネットワークをトレーニングして、事前トレーニング済み目標ニューラルネットワークを得るステップは、
前記サンプル画像に基づいて前記トレーニング待ちニューラルネットワークをトレーニングして、予測結果を得るステップであって、前記予測結果は前記マクロノード弁別器の検出結果、各キーポイントの予測カテゴリ及び各キーポイントの予測位置情報を含む、ステップと、
前記マクロノード弁別器の検出結果に基づいて第1損失値を決定し、また、前記各キーポイントの予測カテゴリ、前記各キーポイントの予測位置情報及び前記サンプル画像に含まれるラベリング結果に基づいて第2損失値を決定するステップであって、前記ラベリング結果は対応する目標対象に属する各キーポイントのラベリングカテゴリ及び各キーポイントのラベリング位置情報を含む、ステップと、
前記第1損失値と前記第2損失値に基づいて前記トレーニング待ちニューラルネットワークをトレーニングして、事前トレーニング済み目標ニューラルネットワークを得るステップと、を含む
請求項9に記載のキーポイント検出方法。 - 前記検出すべき画像中の各目標対象のキーポイント情報を得た後、
各目標対象に対応する前記キーポイント情報に基づいてこの目標対象の行動種類を決定するステップ、及び/又は
各目標対象に対応する前記キーポイント情報に基づいてこの目標対象の少なくとも1つの目標部位の位置情報を決定し、且つ前記少なくとも1つの目標部位の位置情報により前記少なくとも1つの目標部位に対する特殊効果情報を生成するステップを更に含む
請求項1~10のいずれか一項に記載のキーポイント検出方法。 - 検出すべき画像を取得するように構成される取得モジュールと、
前記検出すべき画像に基づいて画像特徴マップと複数のキーポイントヒートマップを生成するように構成される第1生成モジュールであって、前記画像特徴マップは前記検出すべき画像中の各目標対象のキーポイント間の相対的位置関係を表すためのものであり、各前記キーポイントヒートマップは前記検出すべき画像の1種のカテゴリのキーポイントを含み、異なるカテゴリのキーポイントが前記目標対象の異なる部位に対応する、第1生成モジュールと、
前記画像特徴マップと複数の前記キーポイントヒートマップに基づいて初期キーポイントグラフィックモデルを生成するように構成される第2生成モジュールであって、前記初期キーポイントグラフィックモデルは前記検出すべき画像における異なるカテゴリのキーポイントの情報及び接続辺の情報を含み、各接続辺は2つの異なるカテゴリのキーポイントの間の辺である、第2生成モジュールと、
処理後のキーポイントグラフィックモデル中の複数のキーポイントが複数のクラスタにクラスタリングされるまで、前記初期キーポイントグラフィックモデルに対して前記接続辺の枝刈り処理を複数回行って、それぞれ各目標対象に属するキーポイント情報を得るように構成される処理モジュールと、を備える、キーポイント検出装置。 - 電子機器であって、
プロセッサと、前記プロセッサによって実行可能な機器可読命令を記憶するメモリと、バスと、を備え、電子機器が実行する時に、前記プロセッサと前記メモリが前記バスによって通信し、前記プロセッサは、前記機器可読命令を実行して、請求項1~11のいずれか一項に記載のキーポイント検出方法を実行する、電子機器。 - コンピュータに請求項1~11のいずれか一項に記載のキーポイント検出方法を実行させるためのコンピュータプログラムを記憶した、コンピュータ可読記憶媒体。
- コンピュータに請求項1~11のいずれか一項に記載のキーポイント検出方法を実行させる、コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010622135.7A CN111898642B (zh) | 2020-06-30 | 2020-06-30 | 关键点检测方法、装置、电子设备及存储介质 |
CN202010622135.7 | 2020-06-30 | ||
PCT/CN2021/076467 WO2022001123A1 (zh) | 2020-06-30 | 2021-02-10 | 关键点检测方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022543954A JP2022543954A (ja) | 2022-10-17 |
JP7182021B2 true JP7182021B2 (ja) | 2022-12-01 |
Family
ID=73191965
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021565761A Active JP7182021B2 (ja) | 2020-06-30 | 2021-02-10 | キーポイント検出方法、キーポイント検出装置、電子機器及び記憶媒体 |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP7182021B2 (ja) |
CN (1) | CN111898642B (ja) |
TW (1) | TWI766618B (ja) |
WO (1) | WO2022001123A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111898642B (zh) * | 2020-06-30 | 2021-08-13 | 北京市商汤科技开发有限公司 | 关键点检测方法、装置、电子设备及存储介质 |
CN111783882B (zh) * | 2020-06-30 | 2022-09-09 | 北京市商汤科技开发有限公司 | 关键点检测方法、装置、电子设备及存储介质 |
CN112465006B (zh) * | 2020-11-24 | 2022-08-05 | 中国人民解放军海军航空大学 | 一种图神经网络目标跟踪方法及装置 |
CN112561054B (zh) * | 2020-12-03 | 2023-03-31 | 中国科学院光电技术研究所 | 一种基于批量特征热图的神经网络滤波器剪枝方法 |
CN112580652B (zh) * | 2020-12-24 | 2024-04-09 | 咪咕文化科技有限公司 | 虚拟装饰方法、装置、电子设备及存储介质 |
CN112598070B (zh) * | 2020-12-25 | 2023-07-28 | 创新奇智(广州)科技有限公司 | 目标检测方法、装置、电子设备及存储介质 |
CN113408568B (zh) * | 2021-04-16 | 2024-04-16 | 科大讯飞股份有限公司 | 对象关键点的检测模型训练的相关方法、装置、设备 |
CN113850245A (zh) * | 2021-11-30 | 2021-12-28 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN114372477B (zh) * | 2022-03-21 | 2022-06-10 | 北京百度网讯科技有限公司 | 文本识别模型的训练方法、文本识别方法及装置 |
CN115019136B (zh) * | 2022-08-05 | 2022-11-25 | 山东圣点世纪科技有限公司 | 抗边界点漂移的目标关键点检测模型训练方法及检测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110532873A (zh) | 2019-07-24 | 2019-12-03 | 西安交通大学 | 一种联合人体检测与姿态估计的深度网络学习方法 |
EP3605394A1 (en) | 2018-08-03 | 2020-02-05 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for recognizing body movement |
US20200065612A1 (en) | 2018-08-27 | 2020-02-27 | TalkMeUp | Interactive artificial intelligence analytical system |
US10643085B1 (en) | 2019-01-30 | 2020-05-05 | StradVision, Inc. | Method and device for estimating height and weight of passengers using body part length and face information based on human's status recognition |
CN111341438A (zh) | 2020-02-25 | 2020-06-26 | 中国科学技术大学 | 图像处理、装置、电子设备及介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW200919210A (en) * | 2007-07-18 | 2009-05-01 | Steven Kays | Adaptive electronic design |
CN105893920B (zh) * | 2015-01-26 | 2019-12-27 | 阿里巴巴集团控股有限公司 | 一种人脸活体检测方法和装置 |
US11238612B2 (en) * | 2018-08-28 | 2022-02-01 | Beijing Jingdong Shangke Information Technology Co., Ltd. | Device and method of tracking poses of multiple objects based on single-object pose estimator |
CN110020633B (zh) * | 2019-04-12 | 2022-11-04 | 腾讯科技(深圳)有限公司 | 姿态识别模型的训练方法、图像识别方法及装置 |
CN111160085A (zh) * | 2019-11-19 | 2020-05-15 | 天津中科智能识别产业技术研究院有限公司 | 一种人体图像关键点姿态估计方法 |
CN111339903B (zh) * | 2020-02-21 | 2022-02-08 | 河北工业大学 | 一种多人人体姿态估计方法 |
CN111783882B (zh) * | 2020-06-30 | 2022-09-09 | 北京市商汤科技开发有限公司 | 关键点检测方法、装置、电子设备及存储介质 |
CN111898642B (zh) * | 2020-06-30 | 2021-08-13 | 北京市商汤科技开发有限公司 | 关键点检测方法、装置、电子设备及存储介质 |
-
2020
- 2020-06-30 CN CN202010622135.7A patent/CN111898642B/zh active Active
-
2021
- 2021-02-10 WO PCT/CN2021/076467 patent/WO2022001123A1/zh active Application Filing
- 2021-02-10 JP JP2021565761A patent/JP7182021B2/ja active Active
- 2021-03-16 TW TW110109419A patent/TWI766618B/zh active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3605394A1 (en) | 2018-08-03 | 2020-02-05 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for recognizing body movement |
US20200065612A1 (en) | 2018-08-27 | 2020-02-27 | TalkMeUp | Interactive artificial intelligence analytical system |
US10643085B1 (en) | 2019-01-30 | 2020-05-05 | StradVision, Inc. | Method and device for estimating height and weight of passengers using body part length and face information based on human's status recognition |
CN110532873A (zh) | 2019-07-24 | 2019-12-03 | 西安交通大学 | 一种联合人体检测与姿态估计的深度网络学习方法 |
CN111341438A (zh) | 2020-02-25 | 2020-06-26 | 中国科学技术大学 | 图像处理、装置、电子设备及介质 |
Non-Patent Citations (3)
Title |
---|
Alejandro Newell et al.,Associative Embedding: End-to-End Learning for Joint Detection and Grouping,[オンライン],2016年11月16日,[検索日 2022.11.02], インターネット: <URL:https://arxiv.org/pdf/1611.05424.pdf> |
Sheng Jin et al.,Differentiable Hierarchical Graph Grouping for Multi-Person Pose Estimation, [オンライン],2020年07月23日,[検索日 2022.11.02], インターネット: <URL:https://arxiv.org/pdf/2007.11864.pdf> |
Yue Wang et al.,Dynamic Graph CNN for Learning on Point Clouds, [オンライン],2018年01月24日,[検索日 2022.11.02], インターネット: <URL:https://arxiv.org/pdf/1801.07829.pdf> |
Also Published As
Publication number | Publication date |
---|---|
CN111898642A (zh) | 2020-11-06 |
CN111898642B (zh) | 2021-08-13 |
WO2022001123A1 (zh) | 2022-01-06 |
TW202203212A (zh) | 2022-01-16 |
TWI766618B (zh) | 2022-06-01 |
JP2022543954A (ja) | 2022-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7182021B2 (ja) | キーポイント検出方法、キーポイント検出装置、電子機器及び記憶媒体 | |
CN110175527B (zh) | 行人再识别方法及装置、计算机设备及可读介质 | |
Yang et al. | Uncertainty-guided transformer reasoning for camouflaged object detection | |
Xie et al. | Point clouds learning with attention-based graph convolution networks | |
CN111950596A (zh) | 一种用于神经网络的训练方法以及相关设备 | |
CN112200266B (zh) | 基于图结构数据的网络训练方法、装置以及节点分类方法 | |
Xu et al. | Vision transformers for computational histopathology | |
KR20220004009A (ko) | 키 포인트 검출 방법, 장치, 전자 기기 및 저장 매체 | |
CN113569627B (zh) | 人体姿态预测模型训练方法、人体姿态预测方法及装置 | |
Biswas et al. | Hybrid expert system using case based reasoning and neural network for classification | |
CN111738269A (zh) | 模型训练方法、图像处理方法及装置、设备、存储介质 | |
CN107480627A (zh) | 行为识别方法、装置、存储介质和处理器 | |
Zhu et al. | Graph-based reasoning attention pooling with curriculum design for content-based image retrieval | |
CN110414562A (zh) | X光片的分类方法、装置、终端及存储介质 | |
Bi et al. | HGR-Net: Hierarchical graph reasoning network for arbitrary shape scene text detection | |
CN106547890A (zh) | 海量图像特征向量中的快速聚类预处理方法 | |
CN114239083A (zh) | 一种基于图神经网络的高效状态寄存器识别方法 | |
Huang et al. | Exploiting Memory-based Cross-Image Contexts for Salient Object Detection in Optical Remote Sensing Images | |
CN116959572A (zh) | 基于图卷积神经网络的乳腺癌亚型分类方法和系统 | |
Zhou et al. | Attention-augmented memory network for image multi-label classification | |
CN116563597A (zh) | 图像识别模型训练方法、识别方法、设备、介质及产品 | |
CN114936327B (zh) | 元素识别模型的获取方法、装置、计算机设备和存储介质 | |
EP4002297A1 (en) | Systems and methods for automated detection of building footprints | |
CN117011569A (zh) | 一种图像处理方法和相关装置 | |
Fei et al. | A GNN Architecture With Local and Global-Attention Feature for Image Classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211104 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211104 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7182021 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |