JP7089045B2 - メディア処理方法、その関連装置及びコンピュータプログラム - Google Patents
メディア処理方法、その関連装置及びコンピュータプログラム Download PDFInfo
- Publication number
- JP7089045B2 JP7089045B2 JP2020545244A JP2020545244A JP7089045B2 JP 7089045 B2 JP7089045 B2 JP 7089045B2 JP 2020545244 A JP2020545244 A JP 2020545244A JP 2020545244 A JP2020545244 A JP 2020545244A JP 7089045 B2 JP7089045 B2 JP 7089045B2
- Authority
- JP
- Japan
- Prior art keywords
- walking
- gait
- energy map
- feature vector
- energy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Image Analysis (AREA)
Description
メディア処理装置に適用されるメディア処理方法であって、
処理対象ビデオを取得するステップであって、前記処理対象ビデオが、アイデンティティが認識されるべきオブジェクトを含むステップと、
前記処理対象ビデオに基づき第1の歩行エネルギーマップを生成するステップと、
第2の歩行エネルギーマップを取得するステップであって、前記第2の歩行エネルギーマップが、アイデンティティが既知のオブジェクトを含むビデオに基づき生成されるステップと、
ディープニューラルネットワークに基づき、前記第1の歩行エネルギーマップ及び第2の歩行エネルギーマップに対して第1の歩行認識を行うステップと、
を含み、
前記第1の歩行認識は、
前記第1の歩行エネルギーマップ及び第2の歩行エネルギーマップのそれぞれに対応するアイデンティティ情報を抽出し、前記第1の歩行エネルギーマップ及び第2の歩行エネルギーマップの歩行特徴ベクトルによって融合歩行特徴ベクトルを決定するステップであって、前記第1の歩行エネルギーマップのアイデンティティ情報が前記第1の歩行エネルギーマップの歩行特徴ベクトルを含み、前記第2の歩行エネルギーマップのアイデンティティ情報が前記第2の歩行エネルギーマップの歩行特徴ベクトルを含むステップと、
少なくとも前記融合歩行特徴ベクトルに基づき、前記第1の歩行エネルギーマップと第2の歩行エネルギーマップの類似度を計算するステップと、
を含む方法。
歩行認識は1つの検索問題として理解でき、照会対象の人物(アイデンティティが認識されるべきオブジェクト)のメディア(例えば、メディアがビデオである場合に、第1のビデオ又は処理対象ビデオと呼ばれ、第1のビデオにおけるビデオフレームにはアイデンティティが認識されるべきオブジェクトが含まれる)を与え、データベース内のどの既知のアイデンティティ情報を持つ人物(アイデンティティが既知のオブジェクト)のビデオ(第2のビデオとも呼ばれる)が、それに類似又は最も類似するかを照会する。
歩行認識ユニット12は、ディープニューラルネットワークを含み、当該ディープニューラルネットワークは、第1の取得ユニット11によって提供される第1の歩行エネルギーマップ及び第2の歩行エネルギーマップに対して第1の歩行認識を行うために使用されることができる。
300部分:処理対象ビデオを取得し、当該処理対象ビデオに基づき第1の歩行エネルギーマップを生成し、第2の歩行エネルギーマップを取得する。
ただし、処理対象ビデオ(第1のビデオ)におけるビデオフレームは、アイデンティティが認識されるべきオブジェクトを含み、第2の歩行エネルギーマップは、アイデンティティが既知のオブジェクトのビデオ(第2のビデオ)に基づき生成されたものである。
図1aに示す適用シナリオを例として、カメラ101は、処理対象ビデオを撮影した後、処理対象ビデオをビデオ処理デバイス102に提供し、ビデオ処理デバイス102は処理対象ビデオから第1の歩行エネルギーマップを抽出し、データベース103から第2のビデオを取得し、それから第2の歩行エネルギーマップを抽出して取得する(又は、データベース103から第2の歩行エネルギーマップを取得する)。
301部分:ディープニューラルネットワークに基づき、第1の歩行エネルギーマップと第2の歩行エネルギーマップに対して第1の歩行認識を行う。
一例では、301部分の入力は、ビデオ処理装置の第1の取得ユニット11によって実行されるか、又はプロセッサ1によって実行されることができる。
302A部分:第1及び第2の歩行エネルギーマップのそれぞれのアイデンティティ情報、及び、第1及び第2の歩行エネルギーマップの融合歩行特徴ベクトルを抽出する。
ここで、任意の歩行エネルギーマップのアイデンティティ情報は、当該歩行エネルギーマップの歩行特徴ベクトルを含んでもよい。さらに、当該歩行エネルギーマップの識別子を含んでもよい。
融合歩行特徴ベクトルは、第1及び第2の歩行エネルギーマップのそれぞれの歩行特徴ベクトルによって共同で決定される。本明細書では、融合歩行特徴ベクトルを取得する方法について後述する。
より具体的に、上記のディープニューラルネットワークは、アイデンティティ情報抽出レイヤーと、融合歩行特徴ベクトル抽出レイヤーとを含み得る。
ここで、上記のアイデンティティ情報抽出レイヤーは、少なくとも第1の抽出レイヤーと、第2の抽出レイヤーとを含み得る。
上記の融合歩行特徴ベクトル抽出レイヤーは、2つの歩行エネルギーマップの第2のレベルの歩行特徴ベクトルを融合することで、第2のレベルの融合歩行特徴ベクトルを取得してもよい。
さらに、本実施例のディープニューラルネットワークがトレーニングプロセス中にパラメータを調整するときに、異なる歩行エネルギーマップの融合歩行特徴ベクトルだけではなく、歩行エネルギーマップに暗黙的に含まれているアイデンティティ情報も考慮される。このようにトレーニングされたディープニューラルネットワークは、より識別性を持つ歩行特徴ベクトルをより効果的に抽出できる。そして、融合歩行特徴ベクトルは2つの歩行エネルギーマップの歩行特徴ベクトルによって共同で決定されるため、融合歩行特徴ベクトルはそれに応じて識別性がより高くなり、より正確な類似度を得ることができる。
類似度は、具体的にパーセンテージにすることができる。両者(アイデンティティが認識されるべきオブジェクトとアイデンティティが既知のオブジェクト)が同じオブジェクトに対応する確率のパーセンテージを表す。例えば、類似度が60%である場合、両者が同じ人物である可能性は60%である。
例えば、融合歩行特徴ベクトルに基づき計算した第1の類似度が80%であり、アイデンティティ情報に基づき計算した第2の類似度が60%であると仮定すると、最終的な類似度は、(80%+60%)/2=70%になる。
類似度を計算する方法は多数あるので、ここでは繰り返さない。
303部分:ディープニューラルネットワークは認識結果を出力する。この認識結果は、類似度、又は、アイデンティティが認識されるべきオブジェクトとアイデンティティが既知のオブジェクトが同じオブジェクトに属するかどうかに関する情報を含む。
一例では、認識結果は上記の類似度を含み得る。
なお、認識結果は、入力された2つの歩行エネルギーマップが同じオブジェクトに属するかどうかを示す情報を含み得る。例えば、値「1」は、両者が同じオブジェクトに属することを表し、値「0」は、両者が異なるオブジェクトに属することを表す。
より具体的に、ディープニューラルネットワークは、1組の(2つの)歩行エネルギーマップに対して第1の歩行認識を実行する度に、認識結果を1回出力することができる。
又は、ディープニューラルネットワークは、第1の歩行認識のバッチが完了した後に、認識結果を1回出力することができる。
類似度が認識条件を満たす場合、第1の歩行エネルギーマップと第2の歩行エネルギーマップが同じオブジェクトに対応すると判定し、即ち、第2の歩行エネルギーマップに対応する一意の識別子は、当該アイデンティティが認識されるべきオブジェクトのアイデンティティを識別することができる。さもなければ、異なるオブジェクトに対応すると判定する。
上記の認識条件は、類似度が類似度閾値以上であるか、又は類似度が類似度閾値よりも大きいことを含む。
例えば、類似度閾値が80%であると仮定すると、2つの歩行エネルギーマップの類似度が70%である場合に、両者が同じ人物ではないと考えられ、2つの歩行エネルギーマップの類似度が80%よりも大きい(又は等しい)場合に、両者が同じ人物であると考えられる。したがって、第2の歩行エネルギーマップに対応する一意の識別子は、アイデンティティが認識されるべきブジェクトのアイデンティティを識別することができる。
なお、ディープニューラルネットワークには複数のフィルタがあり、トレーニングの主な目的はフィルタパラメータを調整することである。したがって、ニューラルネットワークのトレーニング又は最適化のプロセスは、フィルタパラメータを調整して損失関数の損失値を最小化するプロセスとしても理解できる(損失値が小さいほど、対応する予測/出力結果は実際の結果に近くなる)。
同時に、本出願の実施例はさらに、トレーニングによって上記のトレーニング目標を達成するために、新しい損失関数を提供する。
上記の新しい損失関数は、アイデンティティ情報損失関数と、融合歩行特徴ベクトル損失関数とを含む。
ステップS600は、トレーニングサンプルを取得する。
さらに、各トレーニングサンプルは、n個のトレーニングサブサンプルを含むことができ、任意のトレーニングサブサンプルは、2つの(1対の)アイデンティティが既知のオブジェクトの歩行エネルギーマップを含むことができる。上記nは、正の整数であってもよい。
具体的に、ステップS600は、前述の取得ユニット11、又はトレーニングユニット13、又はプロセッサ1によって実行され得る。
ステップS601は、ディープニューラルネットワークが、トレーニングサンプルにおける各トレーニングサブサンプルに対して、第2の歩行認識を実行する。
ステップS601は、前述の歩行認識ユニット12、又はトレーニングユニット13、又はプロセッサ1によって実行され得る。
ステップS602は、歩行認識で抽出されたアイデンティティ情報に従って、アイデンティティ情報損失関数を使用して、トレーニングサンプルのアイデンティティ損失値を計算する。
さらに、アイデンティティ損失値が小さいほど、同じオブジェクトの異なる歩行エネルギーマップから抽出された歩行特徴ベクトルがより類似し、異なるオブジェクトの歩行エネルギーマップから抽出された歩行特徴ベクトルがより乖離することを示す。
ステップS603は、トレーニングサンプルの融合損失値を計算する。
ステップS602とステップS603の実行順序は、入れ替えてもよく、並列に実行してもよい。
ステップS604は、融合損失値とアイデンティティ損失値の加重和を求めて、トレーニングサンプルの最終的な損失値を取得する。
例えば、aが融合損失値を表し、bがアイデンティティ損失値を表し、cが最終的な損失値を表すと、3つの関係は次のようになる。
c=a+ηu・b、又はc=ηc・a+b、又はc=ηc・a+ηu・b。
ステップS605は、少なくとも1つのトレーニングサンプルの最終的な損失値に基づき、ディープニューラルネットワークのフィルタパラメータを調整する。
実際に、時間を節約して効率を向上させるために、一般的は、複数のトレーニングサンプル(例えば、64個のサンプル)をトレーニングした後、フィルタパラメータを1回調整する。即ち、各トレーニングサンプルの最終的な損失値を個別に計算した後、各最終的な損失値に基づきフィルタパラメータを調整することができる。
ステップS602から605は、前述のトレーニングユニット13又はプロセッサ1によって実行され得る。
1つのトレーニングサンプルには3個のサブサンプルが含まれる場合について、図8にトレーニングフレームワークを示している。図9は、上記の新しい損失関数に基づく例示的なトレーニングプロセスを示す。このプロセスは、少なくとも次のステップを含み得る。
ステップS900は、トレーニングサンプルを取得する。
第1の組み合わせ方式は、第1のトレーニングサブサンプルにおける2つの歩行エネルギーマップが同じオブジェクトに対応し、第2のトレーニングサブサンプルにおける2つの歩行エネルギーマップが異なるオブジェクトに対応し、第3のトレーニングサブサンプルにおける2つの歩行エネルギーマップが異なるオブジェクトに対応することである。
第2の組み合わせ方式は、第1のトレーニングサブサンプルにおける2つの歩行エネルギーマップが同じオブジェクトに対応し、第2のトレーニングサブサンプルの2つの歩行エネルギーマップが同一オブジェクトに対応し、第3のトレーニングサブサンプルにおける2つの歩行エネルギーマップが異なるオブジェクトに対応することである。
具体的に、ステップS900は、前述の第1の取得ユニット11、又はトレーニングユニット13、又はプロセッサ1によって実行され得る。
ステップS901:ディープニューラルネットワークは、トレーニングサンプルにおける各トレーニングサブサンプルに対して、第2の歩行認識を実行する。
第2の歩行認識を実行する方法については、前述の302Aと302B部分に関する説明を参照されたい。ここでは繰り返さない。
ステップS901は、前述の歩行認識ユニット12、又はトレーニングユニット13、又はプロセッサ1によって実行され得る。
ステップS902は、トレーニングサンプルにおける第1から第3のトレーニングサブサンプルの組み合わせ方式が上記の第1の組み合わせ方式である場合に、第1のアイデンティティ損失関数を使用して、当該トレーニングサンプルのアイデンティティ損失値を計算する。
ただし、Luはアイデンティティ損失値を表し、ηは係数を表し(値の範囲が0から1である)、
はユークリッド距離を表し、
p、g、p′、g′、p″及びg″は歩行エネルギーマップの識別子を表し、XpとXgは、第1のトレーニングサブサンプルにおける1対の歩行エネルギーマップを表し(Xpは第1の歩行エネルギーマップとも呼ばれ、Xgは第2の歩行エネルギーマップとも呼ばれる)、Xp′とXg′は第2のトレーニングサブサンプルにおける1対の歩行エネルギーマップを表し(Xp′は第3の歩行エネルギーマップとも呼ばれ、Xg′は第4の歩行エネルギーマップとも呼ばれる)、Xp″とXg″は第3のトレーニングサブサンプルにおける1対の歩行エネルギーマップを表し(Xp″は第5の歩行エネルギーマップとも呼ばれ、Xg″は第6の歩行エネルギーマップとも呼ばれる)、そして、XpとXp′は同じオブジェクトに対応し、XpとXp″は異なるオブジェクトに対応し、
U(Xp)からU(Xg″)は各歩行エネルギーマップの歩行特徴ベクトルを表す。
は、第1のトレーニングサブサンプルにおける2つの歩行特徴ベクトルのユークリッド距離を表す。XpとXgは同じオブジェクトに対応しているので、同じオブジェクトの異なる歩行エネルギーマップから抽出された歩行特徴ベクトルを近づけるためは、
ができるだけ小さくなる(0に近い)ように、フィルタパラメータを調整する。
Xp′とXg′は異なるオブジェクトに対応しているので、異なるオブジェクトの歩行エネルギーマップから抽出された歩行特徴ベクトルを乖離させるために、
ができるだけ大きくなる(1に近い)ように、フィルタパラメータを調整する。
さらに、
ができるだけ小さく、
ができるだけ大きくなる場合、第1のアイデンティティ損失関数における
も、できるだけ小さくなる。
同様に、
ができるだけ小さく、
ができるだけ大きい場合、第1のアイデンティティ損失関数における
も、できるだけ小さくなる。
以上のように、上記の第1のアイデンティティ損失関数は、同じオブジェクトの異なる歩行エネルギーマップから抽出された歩行特徴ベクトルが類似しており、異なるオブジェクトの歩行エネルギーマップから抽出された歩行特徴ベクトルが乖離しているというトレーニング目標を反映している。
第2のアイデンティティ損失関数は、次のようになる。
ただし、XpとXp′は同じオブジェクトに対応し、XpとXp″は異なるオブジェクトに対応する。
第2の組み合わせでは、XpとXgは同じオブジェクトに対応し、Xp′とXg′は同じオブジェクトに対応し、XpとXp″は異なるオブジェクトに対応するため、
はできるだけ大きく、被減数として使用されることが望ましい。
第2のアイデンティティ損失関数は同様に、同じオブジェクトの異なる歩行エネルギーマップから抽出された歩行特徴ベクトルが類似しており、異なるオブジェクトの歩行エネルギーマップから抽出された歩行特徴ベクトルが乖離しているというトレーニング目標を反映している。
一例では、各トレーニングサブサンプルに対応する融合損失サブ値を計算し、次に、各トレーニングサブサンプルの融合損失サブ値を累積して、融合損失値を得ることができる。
融合歩行特徴ベクトル損失関数は、様々な表現形態を有する。
融合損失値としてクロスエントロピーが計算される場合、一例では、あるトレーニングサブサンプルの融合損失サブ値(クロスエントロピー)を計算する融合歩行特徴ベクトル損失関数は、次のようになる。
Lc=-P(xab)logQ(xab)。
ただし、a、bは、任意のトレーニングサブサンプルにおける1対の歩行エネルギーマップの識別子を表し、xabは当該トレーニングサブサンプルにおける1対の歩行エネルギーマップペアを表し、P(xab)は当該1対の歩行エネルギーマップに対応するラベルの分布状況(実際結果/実際ラベル分布)を表し、Q(xab)はトレーニングされるディープニューラルネットワークの予測結果(予測された認識結果)を表す。
予測認識結果を「0.7,0.3」とすると、「1,0」と「0.7,0.3」のクロスエントロピーを求めることができる。
2つの歩行エネルギーマップa及びbが異なるオブジェクトに対応する場合、ラベルの実際分布は「0,1」であり、その中の「0」は、2つの歩行エネルギーマップが同じオブジェクトからのものである確率が0%であることを表し、「1」は、2つの歩行エネルギーマップが異なるオブジェクトからのものである確率が100%であることを表す。
予測認識結果を「0.7,0.3」とすると、「0,1」と「0.7,0.3」のクロスエントロピーを求めることができる。
別の例では、融合歩行特徴ベクトル損失関数は、前述の異なる組み合わせによって、第1の融合歩行特徴ベクトル損失関数と第2の融合歩行特徴ベクトル損失関数を含み得る。
ただし、Lcは融合損失値を表し、μとηcは重み付け係数を表し、その値は0から1の間であり、δは緩和係数を表し、その値の範囲は0から1であり、||*|| +は、値を0と比較して、両方の大きい方を取ること、即ち、max(*,0)を表し、
xpgは歩行エネルギーマップp、gで構成される歩行エネルギーマップペアを表し、これによって類推して、xpgからxgp′は歩行エネルギーマップペアを表し、C(*)は2つの歩行エネルギーマップペアの間のラベル分布が同じである確率を計算するための確率計算関数である。
C(xpg,xp″g″)を例にとると、歩行エネルギーマップペアxpgと歩行エネルギーマップペアxp″g″のラベル分布が同じである確率を計算し、C(xpg,xpg″)を例にとると、歩行エネルギーマップペアxpgと歩行エネルギーマップペアxpg″のラベル分布が同じである確率を計算する。
歩行エネルギーマップペアxpgを例にとると、歩行エネルギーマップp、gが同じオブジェクトに対応する場合、xpgのラベル実際分布は「1,0」であり、歩行エネルギーマップp、gが異なるオブジェクトに対応する場合、xpgのラベル分布は「0,1」である。同様に、他の歩行エネルギーマップペアの実際ラベル分布を推測できる。
D[*]は、ユークリッド距離を表し、D[C(xpg,xp″g″),C(xpg,xpg″)]を例にとると、確率aと確率bの距離を計算し、ここで、確率aはxpgとxp″g″のラベル分布が同じである確率を表し、確率bはxpgとxpg″のラベル分布が同じである確率を表す。
理論的には、xpgとxp″g″のラベル分布が同じであり(例えば、いずれも「1,0」又は「0,1」である)、かつ、xpgとxpg″のラベル分布が同じである場合、D[C(x pg,x p″g″),C(x pg,x pg″)]は0である。
又は、xpgとxp″g″のラベル分布が異なり、かつ、xpgとxp″g″のラベル分布も異なる場合、D[C(xpg,xp″g″),C(xpg,xpg″)]は0である。
実際には、上記の第1の組み合わせでは、p、g、p′は同じオブジェクトに対応し、「p、g′、p″、g″」、「g、g′、p″、g″」又は「g′、p″、g″」は異なるオブジェクトに対応する。p、g、p′から任意の2つの歩行エネルギーマップを選択して組み合わせて、ラベル分布が「1,0」である歩行エネルギーマップペアが得られる。同様に、「p、g′、p″、g″」、「g、g′、p″、g″」又は「g′、p″、g″」から任意の2つの歩行エネルギーマップを選択して組み合わせて、ラベル分布が「0,1」である歩行エネルギーマップペアが得られる。歩行エネルギーマップペアの間のラベルの同じ又は異なる関係によって、それらをC関数における異なる位置に入力して、別の第1の融合歩行特徴ベクトル損失関数を取得することができる。
以上のように、C関数における2つの歩行エネルギーマップペアを1つの計算サンプルと見なすと、D[*]は2つの計算サンプルの間のラベル分布が同じである確率の距離を計算する。
2つの計算サンプルについて、第1の計算サンプルにおける2つの歩行エネルギーマップペアのラベル実際分布が同じであって、第2の計算サンプルにおける2つの歩行エネルギーマップペアのラベル実際分布が異なる場合、第1の計算サンプルに対応する第1の確率と第2の計算サンプルに対応する第2の確率は乖離し、さもなければ、第1の確率と第2の確率は近づく。ここで、第1の確率は、第1の計算サンプルにおける2つの歩行エネルギーマップペアの間のラベル分布が同じである確率であり、第2の確率は、第2の計算サンプルにおける2つの歩行エネルギーマップペアの間のラベル分布が同じである確率である。
第2の組み合わせでは、p、g、p′、g′は同じオブジェクトからのものであり、「p、p″、g″」又は「g、p″、g″」は異なるオブジェクトに対応する。p、g、p′、g′から任意の2つの歩行エネルギーマップを選択して組み合わせて、ラベルが「1,0」である歩行エネルギーマップペアが得られる。同様に、「p、p″、g″」又は「g、p″、g″」から任意の2つの歩行エネルギーマップを選択して組み合わせて、ラベルが「0,1」である歩行エネルギーマップペアが得られる。歩行エネルギーペアの間のラベルの同じ又は異なる関係によって、それらをC関数における異なる位置に入力して、別の第2の融合歩行特徴ベクトル損失関数を取得する。
ステップS905は、融合損失値とアイデンティティ損失値の加重和を求めて、トレーニングサンプルの最終的な損失値を得る。
ステップS905は、前述のS604と同様であるので、ここでは繰り返さない。
ステップS906は、少なくとも1つのトレーニングサンプルの最終的な損失値に基づき、ディープニューラルネットワークにおけるフィルタパラメータを調整する。
ステップS906は、前述のステップS605と同様であるので、ここでは繰り返さない。
ステップS902-905は、前述のトレーニングユニット13又はプロセッサ1によって実行され得る。
アイデンティティが認識されるべきオブジェクトの第1の姿勢エネルギーマップ(又は、第1の姿勢マップ)を取得するステップと、
アイデンティティが既知のオブジェクトの第2の姿勢エネルギーマップ(又は、第2の姿勢マップ)を取得するステップと、
第1の姿勢エネルギーマップ及び第2の姿勢エネルギーマップをディープニューラルネットワークに入力して、第1の姿勢認識を行うステップと、を含み、
さらに、第1の姿勢認識は、
第1及び第2の姿勢エネルギーマップに対応するアイデンティティ情報を抽出し、前記第1の姿勢エネルギーマップ及び第2の姿勢エネルギーマップの姿勢特徴によって融合姿勢特徴ベクトルを決定するステップであって、前記第1の姿勢エネルギーマップのアイデンティティ情報が前記第1の姿勢エネルギーマップの姿勢特徴を含み、前記第2の姿勢エネルギーマップのアイデンティティ情報が前記第2の姿勢エネルギーマップの姿勢特徴を含むステップと、
少なくとも融合姿勢特徴ベクトルに基づき、第1の姿勢エネルギーマップと第2の姿勢エネルギーマップの類似度を計算するステップと、を含む。
なお、アイデンティティが認識されるべきオブジェクトは人間であってもよく、動物であってもよく、さらに、生命のない移動又は静止しているものであってもよい。
上記のイメージ処理装置は、ソフトウェア又はハードウェアの形でイメージ処理デバイスに適用されてもよい。具体的に、イメージ処理デバイスは、歩行認識サービスを提供するサーバー又はパーソナルコンピュータ(PC)であってもよく、例えば、デジタルカメラ、モバイル端末(例えば、スマートフォン)、ipadなどの端末であってもよい。
ハードウェアの形でイメージ処理デバイスに適用される場合、上記のイメージ処理装置は、例示的に、端末又はサーバーのコントローラ/プロセッサであってもよい。
ただし、第2の取得ユニット111は、アイデンティティが認識されるべきオブジェクトの第1の姿勢エネルギーマップを取得し、アイデンティティが既知のオブジェクトの第2の姿勢エネルギーマップを取得するために使用され、
姿勢認識ユニット112は、ディープニューラルネットワークを含み、当該ディープニューラルネットワークは、第2の取得ユニット111によって提供された第1の姿勢エネルギーマップ及び第2の姿勢エネルギーマップに対して、第1の姿勢認識を行う。
本発明の他の実施例では、図11bを参照し、上記のイメージ処理装置は、トレーニングプロセスを実行するためのトレーニングユニット113をさらに含んでもよい。
トレーニングプロセスには、第2の姿勢認識が含まれ、第2の姿勢認識は、第1の姿勢認識と同様であるので、ここでは繰り返さない。
イメージ処理デバイスの別の可能な構造の概略図について、図2cを参照することができ、ここでは繰り返さない。
本発明の実施例は、また、イメージ処理デバイスを保護請求する。当該イメージ処理デバイスは、少なくとも、プロセッサと、メモリとを含む。このプロセッサは、メモリに格納されたプログラムを実行し、他の装置を呼び出すことによって、上記のイメージ処理方法を実行する。
Claims (16)
- メディア処理装置に適用されるメディア処理方法であって、
処理対象ビデオを取得するステップであって、前記処理対象ビデオが、アイデンティティが認識されるべきオブジェクトを含むステップと、
前記処理対象ビデオに基づき第1の歩行エネルギーマップを生成するステップと、
第2の歩行エネルギーマップを取得するステップであって、前記第2の歩行エネルギーマップが、アイデンティティが既知のオブジェクトを含むビデオに基づき生成されるステップと、
ディープニューラルネットワークに基づき、前記第1の歩行エネルギーマップ及び第2の歩行エネルギーマップに対して第1の歩行認識を実行するステップと、を含み、
前記第1の歩行認識は、
前記第1の歩行エネルギーマップ及び第2の歩行エネルギーマップのそれぞれに対応するアイデンティティ情報を抽出し、前記第1の歩行エネルギーマップ及び第2の歩行エネルギーマップの歩行特徴ベクトルによって融合歩行特徴ベクトルを決定するステップであって、前記第1の歩行エネルギーマップのアイデンティティ情報が前記第1の歩行エネルギーマップの歩行特徴ベクトルを含み、前記第2の歩行エネルギーマップのアイデンティティ情報が前記第2の歩行エネルギーマップの歩行特徴ベクトルを含むステップと、
少なくとも前記融合歩行特徴ベクトルに基づき、前記第1の歩行エネルギーマップと第2の歩行エネルギーマップの類似度を計算するステップと、
を含むことを特徴とする方法。 - 少なくとも前記融合歩行特徴ベクトルに基づき、前記第1の歩行エネルギーマップと第2の歩行エネルギーマップの類似度を計算するステップは、
前記融合歩行特徴ベクトルに基づき、前記第1の歩行エネルギーマップと第2の歩行エネルギーマップの第1の類似度を計算するステップと、
前記第1の歩行エネルギーマップと第2の歩行エネルギーマップのそれぞれに対応するアイデンティティ情報に基づき、前記第1の歩行エネルギーマップと第2の歩行エネルギーマップの第2の類似度を計算するステップと、
前記第1の類似度と第2の類似度に基づき、前記第1の歩行エネルギーマップと第2の歩行エネルギーマップの類似度を計算するステップと、を含むことを特徴とする請求項1に記載の方法。 - 前記ディープニューラルネットワークは、アイデンティティ情報抽出レイヤー及び融合歩行特徴ベクトル抽出レイヤーを含み、前記アイデンティティ情報抽出レイヤーは少なくとも第1の抽出レイヤー及び第2の抽出レイヤーを含み、
前記第1の歩行エネルギーマップ及び第2の歩行エネルギーマップのそれぞれに対応するアイデンティティ情報を抽出し、前記第1の歩行エネルギーマップ及び第2の歩行エネルギーマップの歩行特徴ベクトルによって融合歩行特徴ベクトルを決定するステップは、
前記第1の抽出レイヤーによって、前記第1の歩行エネルギーマップと第2の歩行エネルギーマップのそれぞれに対応する第1のレベルの歩行特徴ベクトルを抽出するステップと、
前記第1の歩行エネルギーマップと第2の歩行エネルギーマップのそれぞれに対応する第1のレベルの歩行特徴ベクトルに基づき、前記第2の抽出レイヤーによって、前記第1の歩行エネルギーマップと第2の歩行エネルギーマップのそれぞれに対応する第2のレベルの歩行特徴ベクトルを抽出するステップと、
前記融合歩行特徴ベクトル抽出レイヤーによって、前記第1の歩行エネルギーマップと第2の歩行エネルギーマップのそれぞれに対応する第2のレベルの歩行特徴ベクトルを融合することで、第2のレベルの融合歩行特徴ベクトルを取得し、前記第2のレベルの融合歩行特徴ベクトルを前記融合歩行特徴ベクトルとするステップ、又は、
前記融合歩行特徴ベクトル抽出レイヤーによって、前記第1の歩行エネルギーマップと第2の歩行エネルギーマップのそれぞれに対応する第1のレベルの歩行特徴ベクトルを融合することで第1のレベルの融合歩行特徴ベクトルを取得し、前記第1のレベルの融合歩行特徴ベクトルに基づき、第2のレベルの融合歩行特徴ベクトルを抽出して取得し、前記第2のレベルの融合歩行特徴ベクトルを前記融合歩行特徴ベクトルとするステップと、
を含むことを特徴とする請求項1に記載の方法。 - 認識結果を取得するステップをさらに含み、
前記認識結果は、前記類似度、又は、前記アイデンティティが認識されるべきオブジェクトと前記アイデンティティが既知のオブジェクトが同じオブジェクトに属するかどうかを示す情報を含む、ことを特徴とする請求項1に記載の方法。 - 前記ディープニューラルネットワークがトレーニングプロセスにおいて、アイデンティティ情報と融合歩行特徴ベクトルに基づきフィルタパラメータを調整するステップ、をさらに含み、
前記トレーニングプロセスのトレーニング目標は、
同じオブジェクトの異なる歩行エネルギーマップから抽出された歩行特徴ベクトルが類似することと、異なるオブジェクトの歩行エネルギーマップから抽出された歩行特徴ベクトルが乖離すること、を含む、ことを特徴とする請求項1に記載の方法。 - 前記トレーニングプロセスで使用される各トレーニングサンプルにn個のトレーニングサブサンプルが含まれ、何れの前記トレーニングサブサンプルにも、2つのアイデンティティが既知のオブジェクトの歩行エネルギーマップが含まれ、前記nは正の整数であり、
前記トレーニングプロセスは、
前記ディープニューラルネットワークを使用して、前記トレーニングサンプルにおける各トレーニングサブサンプルに対して第2の歩行認識を実行するステップであって、前記第2の歩行認識が、前記トレーニングサブサンプルにおける2つの歩行エネルギーマップのそれぞれのアイデンティティ情報及び前記2つの歩行エネルギーマップの融合歩行特徴ベクトルを抽出し、少なくとも抽出された融合歩行特徴ベクトルに基づき、前記2つの歩行エネルギーマップの類似度を計算することを含むステップと、
前記第2の歩行認識にて抽出されたアイデンティティ情報に基づき、アイデンティティ情報損失関数を使用して、前記トレーニングサンプルのアイデンティティ損失値を計算するステップであって、前記アイデンティティ損失値が小さいほど、同じオブジェクトの異なる歩行エネルギーマップから抽出された歩行特徴ベクトルがより類似し、異なるオブジェクトの歩行エネルギーマップから抽出された歩行特徴ベクトルがより乖離することを示すステップと、
融合歩行特徴ベクトル損失関数を使用して、前記トレーニングサンプルの融合損失値を計算するステップと、
前記融合損失値とアイデンティティ損失値の加重和を求めて、前記トレーニングサンプルの最終的な損失値を得るステップと、
少なくとも1つのトレーニングサンプルの最終的な損失値に基づき、前記ディープニューラルネットワークのフィルタパラメータを調整するステップと、
を含むことを特徴とする請求項5に記載の方法。 - 前記n=3であり、前記トレーニングサンプルは、第1から第3のトレーニングサブサンプルを含み、前記第1から第3のトレーニングサブサンプルの組み合わせ方式は、第1の組み合わせ方式又は第2の組み合わせ方式を含み、
前記第1の組み合わせ方式は、前記第1のトレーニングサブサンプルにおける2つの歩行エネルギーマップが同じオブジェクトに対応し、前記第2のトレーニングサブサンプルにおける2つの歩行エネルギーマップが異なるオブジェクトに対応し、前記第3のトレーニングサブサンプルにおける2つの歩行エネルギーマップが異なるオブジェクトに対応することであり、
前記第2の組み合わせ方式は、前記第1のトレーニングサブサンプルにおける2つの歩行エネルギーマップが同じオブジェクトに対応し、前記第2のトレーニングサブサンプルにおける2つの歩行エネルギーマップが前記同じオブジェクトに対応し、前記第3のトレーニングサブサンプルにおける2つの歩行エネルギーマップが異なるオブジェクトに対応することである、ことを特徴とする請求項6に記載の方法。 - 前記第1から第3のトレーニングサブサンプルが前記第1の組み合わせ方式である場合に、前記アイデンティティ情報損失関数は、次の式を含み、
ただし、Luはアイデンティティ損失値を表し、ηは係数を表し、
はユークリッド距離を表し、
p、g、p′、g′、p″及びg″は歩行エネルギーマップの識別子を表し、XpとXgは第1のトレーニングサブサンプルにおける1対の歩行エネルギーマップを表し、Xp′とXg′は第2のトレーニングサブサンプルにおける1対の歩行エネルギーマップを表し、Xp″とXg″は第3のトレーニングサブサンプルにおける1対の歩行エネルギーマップを表し、また、XpとXp′は同じオブジェクトに対応し、XpとXp″は異なるオブジェクトに対応し、
U(Xp)からU(Xg″)は各歩行エネルギーマップの歩行特徴ベクトルを表す、ことを特徴とする請求項7に記載の方法。 - 前記第1から第3のトレーニングサブサンプルが前記第2の組み合わせ方式である場合に、前記アイデンティティ情報損失関数は、次の式を含み、
ただし、Luはアイデンティティ損失値を表し、ηは係数を表し、
はユークリッド距離を表し、
p、g、p′、g′、p″及びg″は歩行エネルギーマップの識別子を表し、XpとXgは第1のトレーニングサブサンプルにおける1対の歩行エネルギーマップを表し、Xp′とXg′は第2のトレーニングサブサンプルにおける1対の歩行エネルギーマップを表し、Xp″とXg″は第3のトレーニングサブサンプルにおける1対の歩行エネルギーマップを表し、また、XpとXp′は同じオブジェクトに対応し、XpとXp″は異なるオブジェクトに対応し、
U(Xp)からU(Xg″)は各歩行エネルギーマップの歩行特徴ベクトルを表す、ことを特徴とする請求項7に記載の方法。 - 前記トレーニング目標は、
第1の計算サンプルにおける2つの歩行エネルギーマップペアの実際ラベル分布が同じであって、第2の計算サンプルにおける2つの歩行エネルギーマップペアの実際ラベル分布が異なる場合に、前記第1の計算サンプルに対応する第1の確率を第2の計算サンプルに対応する第2の確率から乖離させ、さもなければ、前記第1の確率を前記第2の確率に近づけることをさらに含み、
前記第1の計算サンプルと第2の計算サンプルはそれぞれ、2つの歩行エネルギーマップペアを含み、
前記第1の確率は、前記第1の計算サンプルにおける2つの歩行エネルギーマップペアの間のラベル分布が同じである予測確率であり、前記第2の確率は、前記第2の計算サンプルにおける2つの歩行エネルギーマップペアの間のラベル分布が同じである予測確率である、ことを特徴とする請求項8又は9に記載の方法。 - 前記第1から第3のトレーニングサブサンプルが前記第1の組み合わせ方式である場合に、前記融合歩行特徴ベクトル損失関数は、次の式を含み、
ただし、Lcは融合損失値を表し、μとηcは重み付け係数を表し、δは緩和係数を表し、xpgからxgp′は各歩行エネルギーマップペアを表し、P(*)は1つの歩行エネルギーマップペアに対応する実際ラベル分布を表し、Q(*)は前記ディープニューラルネットワークによる前記歩行エネルギーマップペアの予測結果を表し、P(*)log Q(*)は実際ラベル分布と予測結果に対してクロスエントロピーを求めることを表し、||*|| +は値を0と比較し、両方の大きい方を取ることを表し、C(*)は第1の計算サンプル又は第2の計算サンプルにおける2つの歩行エネルギーマップペアの間のラベル分布が同じである予測確率を計算するための確率計算関数であり、D[*]関数は第1の計算サンプルと第2の計算サンプルのユークリッド距離を計算するために使用される、ことを特徴とする請求項10に記載方法。 - 前記第1から第3のトレーニングサブサンプルが前記第2の組み合わせ方式である場合に、前記融合歩行特徴ベクトル損失関数は、次の式を含み、
ただし、Lcは融合損失値を表し、μ及びηcは重み付け係数を表し、δは緩和係数を表し、xpgからxgp′は各歩行エネルギーマップペアを表し、P(*)は1つの歩行エネルギーマップペアに対応する実際ラベル分布を表し、Q(*)は前記ディープニューラルネットワークによる前記歩行エネルギーマップペアの予測結果を表し、P(*)log Q(*)は実際ラベル分布と予測結果に対してクロスエントロピーを求めることを表し、||*|| +は、値を0と比較し、両方の大きい方を取ることを表し、C(*)は第1の計算サンプル又は第2の計算サンプルにおける2つの歩行エネルギーマップペアの間のラベル分布が同じである予測確率を計算するための確率計算関数であり、D[*]関数は第1の計算サンプルと第2の計算サンプルのユークリッド距離を計算するために使用される、ことを特徴とする請求項10に記載の方法。 - アイデンティティが認識されるべきオブジェクトの第1の姿勢エネルギーマップを取得するステップと、
アイデンティティが既知のオブジェクトの第2の姿勢エネルギーマップを取得するステップと、
ディープニューラルネットワークに基づき、前記第1の姿勢エネルギーマップ及び第2の姿勢エネルギーマップに対して第1の姿勢認識を行うステップと、
をさらに含み、
前記第1の姿勢認識は、
前記第1の姿勢エネルギーマップ及び第2の姿勢エネルギーマップに対応するアイデンティティ情報を抽出し、前記第1の姿勢エネルギーマップ及び第2の姿勢エネルギーマップの姿勢特徴によって融合姿勢特徴ベクトルを決定するステップであって、前記第1の姿勢エネルギーマップのアイデンティティ情報が前記第1の姿勢エネルギーマップの姿勢特徴を含み、前記第2の姿勢エネルギーマップのアイデンティティ情報が前記第2の姿勢エネルギーマップの姿勢特徴を含むステップと、
少なくとも前記融合姿勢特徴ベクトルに基づき、前記第1の姿勢エネルギーマップと第2の姿勢エネルギーマップの類似度を計算するステップと、
を含むことを特徴とする請求項1に記載の方法。 - メディア処理装置であって、
少なくともプロセッサとメモリを含み、
前記メモリは、請求項1乃至13のいずれか1項に記載のメディア処理方法を前記プロセッサに実行させるコンピュータプログラムを記憶していることを特徴とする装置。 - 複数の命令が記憶される記憶媒体であって、
前記命令は、請求項1乃至13のいずれか1項に記載のメディア処理方法を前記メディア処理装置のプロセッサに実行させることを特徴とする記憶媒体。 - コンピュータに、請求項1乃至13のうちのいずれか1項に記載のメディア処理方法を実行させるためのコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810327638.4 | 2018-04-12 | ||
CN201810327638.4A CN110378170B (zh) | 2018-04-12 | 2018-04-12 | 视频处理方法及相关装置,图像处理方法及相关装置 |
PCT/CN2019/079156 WO2019196626A1 (zh) | 2018-04-12 | 2019-03-22 | 媒体处理方法及相关装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021515321A JP2021515321A (ja) | 2021-06-17 |
JP7089045B2 true JP7089045B2 (ja) | 2022-06-21 |
Family
ID=68163919
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020545244A Active JP7089045B2 (ja) | 2018-04-12 | 2019-03-22 | メディア処理方法、その関連装置及びコンピュータプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11335127B2 (ja) |
EP (1) | EP3779775B1 (ja) |
JP (1) | JP7089045B2 (ja) |
CN (3) | CN110443232B (ja) |
WO (1) | WO2019196626A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110443232B (zh) * | 2018-04-12 | 2022-03-25 | 腾讯科技(深圳)有限公司 | 视频处理方法及相关装置,图像处理方法及相关装置 |
CN111310587B (zh) * | 2020-01-19 | 2023-04-28 | 中国计量大学 | 一种基于渐弱运动轨迹图的步态特征表示和特征提取方法 |
CN111340090B (zh) * | 2020-02-21 | 2023-08-01 | 每日互动股份有限公司 | 图像特征比对方法及装置、设备、计算机可读存储介质 |
CN113657169B (zh) * | 2021-07-19 | 2023-06-20 | 浙江大华技术股份有限公司 | 一种步态识别方法、装置、系统和计算机可读存储介质 |
CN114140873A (zh) * | 2021-11-09 | 2022-03-04 | 武汉众智数字技术有限公司 | 一种基于卷积神经网络多层次特征的步态识别方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101571924A (zh) | 2009-05-31 | 2009-11-04 | 北京航空航天大学 | 一种多区域特征融合的步态识别方法及系统 |
CN101630364A (zh) | 2009-08-20 | 2010-01-20 | 天津大学 | 基于融合特征的步态信息处理与身份识别方法 |
CN101807245A (zh) | 2010-03-02 | 2010-08-18 | 天津大学 | 基于人工神经网络的多源步态特征提取与身份识别方法 |
CN105574510A (zh) | 2015-12-18 | 2016-05-11 | 北京邮电大学 | 一种步态识别方法及装置 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201113143D0 (en) * | 2011-07-29 | 2011-09-14 | Univ Ulster | Gait recognition methods and systems |
WO2013177060A2 (en) * | 2012-05-20 | 2013-11-28 | Trustees Of Boston University | Methods and systems for monitoring, diagnosing, and treating chronic obstructive polmonary disease |
CN103514432B (zh) * | 2012-06-25 | 2017-09-01 | 诺基亚技术有限公司 | 人脸特征提取方法、设备和计算机程序产品 |
CN103942577B (zh) * | 2014-04-29 | 2018-08-28 | 上海复控华龙微系统技术有限公司 | 视频监控中基于自建立样本库及混合特征的身份识别方法 |
CN104299012B (zh) * | 2014-10-28 | 2017-06-30 | 银河水滴科技(北京)有限公司 | 一种基于深度学习的步态识别方法 |
WO2016065534A1 (zh) * | 2014-10-28 | 2016-05-06 | 中国科学院自动化研究所 | 一种基于深度学习的歩态识别方法 |
CN104794449B (zh) * | 2015-04-27 | 2017-11-28 | 青岛科技大学 | 基于人体hog特征的步态能量图获取及身份识别方法 |
US10014967B2 (en) * | 2015-11-23 | 2018-07-03 | Huami Inc. | System and method for authenticating a broadcast device using facial recognition |
CN106951753B (zh) * | 2016-01-06 | 2020-08-21 | 北京三星通信技术研究有限公司 | 一种心电信号的认证方法和认证装置 |
CN106503687B (zh) * | 2016-11-09 | 2019-04-05 | 合肥工业大学 | 融合人脸多角度特征的监控视频人物身份识别系统及其方法 |
CN106529499A (zh) * | 2016-11-24 | 2017-03-22 | 武汉理工大学 | 基于傅里叶描述子和步态能量图融合特征的步态识别方法 |
CN106919921B (zh) * | 2017-03-06 | 2020-11-06 | 重庆邮电大学 | 结合子空间学习与张量神经网络的步态识别方法及系统 |
CN107122711A (zh) * | 2017-03-20 | 2017-09-01 | 东华大学 | 一种基于角度径向变换和质心的夜视视频步态识别方法 |
CN107085716B (zh) * | 2017-05-24 | 2021-06-04 | 复旦大学 | 基于多任务生成对抗网络的跨视角步态识别方法 |
CN107590452A (zh) * | 2017-09-04 | 2018-01-16 | 武汉神目信息技术有限公司 | 一种基于步态与人脸融合的身份识别方法及装置 |
CN107423730B (zh) * | 2017-09-20 | 2024-02-13 | 湖南师范大学 | 一种基于语义折叠的人体步态行为主动检测识别系统和方法 |
CN110443232B (zh) * | 2018-04-12 | 2022-03-25 | 腾讯科技(深圳)有限公司 | 视频处理方法及相关装置,图像处理方法及相关装置 |
-
2018
- 2018-04-12 CN CN201910848288.0A patent/CN110443232B/zh active Active
- 2018-04-12 CN CN201810327638.4A patent/CN110378170B/zh active Active
- 2018-04-12 CN CN201910848859.0A patent/CN110472622B/zh active Active
-
2019
- 2019-03-22 JP JP2020545244A patent/JP7089045B2/ja active Active
- 2019-03-22 WO PCT/CN2019/079156 patent/WO2019196626A1/zh active Application Filing
- 2019-03-22 EP EP19784939.1A patent/EP3779775B1/en active Active
-
2020
- 2020-06-17 US US16/903,929 patent/US11335127B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101571924A (zh) | 2009-05-31 | 2009-11-04 | 北京航空航天大学 | 一种多区域特征融合的步态识别方法及系统 |
CN101630364A (zh) | 2009-08-20 | 2010-01-20 | 天津大学 | 基于融合特征的步态信息处理与身份识别方法 |
CN101807245A (zh) | 2010-03-02 | 2010-08-18 | 天津大学 | 基于人工神经网络的多源步态特征提取与身份识别方法 |
CN105574510A (zh) | 2015-12-18 | 2016-05-11 | 北京邮电大学 | 一种步态识别方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110472622A (zh) | 2019-11-19 |
CN110443232A (zh) | 2019-11-12 |
EP3779775A4 (en) | 2021-12-29 |
EP3779775B1 (en) | 2024-02-28 |
EP3779775A1 (en) | 2021-02-17 |
CN110378170B (zh) | 2022-11-08 |
CN110443232B (zh) | 2022-03-25 |
JP2021515321A (ja) | 2021-06-17 |
US20200320284A1 (en) | 2020-10-08 |
WO2019196626A1 (zh) | 2019-10-17 |
CN110378170A (zh) | 2019-10-25 |
CN110472622B (zh) | 2022-04-22 |
US11335127B2 (en) | 2022-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7089045B2 (ja) | メディア処理方法、その関連装置及びコンピュータプログラム | |
WO2020221278A1 (zh) | 视频分类方法及其模型的训练方法、装置和电子设备 | |
CN109255352B (zh) | 目标检测方法、装置及系统 | |
US11232288B2 (en) | Image clustering method and apparatus, electronic device, and storage medium | |
CN109543714B (zh) | 数据特征的获取方法、装置、电子设备及存储介质 | |
CN108304435B (zh) | 信息推荐方法、装置、计算机设备及存储介质 | |
US10402627B2 (en) | Method and apparatus for determining identity identifier of face in face image, and terminal | |
CN110362677B (zh) | 文本数据类别的识别方法及装置、存储介质、计算机设备 | |
CN109145766B (zh) | 模型训练方法、装置、识别方法、电子设备及存储介质 | |
CN109635686B (zh) | 结合人脸与外观的两阶段行人搜索方法 | |
CN108491794B (zh) | 面部识别的方法和装置 | |
CN108269254B (zh) | 图像质量评估方法和装置 | |
CN111626371B (zh) | 一种图像分类方法、装置、设备及可读存储介质 | |
CN110717411A (zh) | 一种基于深层特征融合的行人重识别方法 | |
CN111739539B (zh) | 确定说话人数量的方法、装置及存储介质 | |
Chokkadi et al. | A Study on various state of the art of the Art Face Recognition System using Deep Learning Techniques | |
WO2023123923A1 (zh) | 人体重识别方法、人体重识别装置、计算机设备及介质 | |
WO2019128564A1 (zh) | 对焦方法、装置、存储介质及电子设备 | |
CN111126159A (zh) | 用于实时跟踪行人的方法、装置、电子设备和介质 | |
CN116824641B (zh) | 姿态分类方法、装置、设备和计算机存储介质 | |
Hasan et al. | Tiny head pose classification by bodily cues | |
KR20220058915A (ko) | 이미지 검출 및 관련 모델 트레이닝 방법, 장치, 기기, 매체 및 프로그램 | |
WO2022252519A1 (zh) | 图像处理方法、装置、终端、介质和程序 | |
Abayomi-Alli et al. | Facial image quality assessment using an ensemble of pre-trained deep learning models (EFQnet) | |
CN115578749A (zh) | 步态特征提取及其训练方法、步态识别方法及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200924 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200828 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220415 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220524 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220609 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7089045 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |