JP7311640B2 - 行動予測方法及び装置、歩容認識方法及び装置、電子機器並びにコンピュータ可読記憶媒体 - Google Patents
行動予測方法及び装置、歩容認識方法及び装置、電子機器並びにコンピュータ可読記憶媒体 Download PDFInfo
- Publication number
- JP7311640B2 JP7311640B2 JP2021573491A JP2021573491A JP7311640B2 JP 7311640 B2 JP7311640 B2 JP 7311640B2 JP 2021573491 A JP2021573491 A JP 2021573491A JP 2021573491 A JP2021573491 A JP 2021573491A JP 7311640 B2 JP7311640 B2 JP 7311640B2
- Authority
- JP
- Japan
- Prior art keywords
- target object
- target
- information
- keypoint information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
Description
前記複数の標準3次元キーポイント情報に基づいて、前記第1サンプルビデオセグメントの各フレームの画像における前記第1サンプルオブジェクトの複数のサンプル2次元キーポイント情報を特定することと、特定された前記複数のサンプル2次元キーポイント情報をトレーニングすべき第1初期ニューラルネットワークに入力し、入力された複数のサンプル2次元キーポイント情報に対して前記第1初期ニューラルネットワークを介して処理し、前記第1サンプル画像における前記第1サンプルオブジェクトの複数の予測3次元キーポイント情報を特定することと、前記複数の予測3次元キーポイント情報と前記複数の標準3次元キーポイント情報との間の誤差情報に基づいて、前記第1初期ニューラルネットワークのネットワークパラメータを調整することと、前記第1初期ニューラルネットワークのトレーニングが完了された後、前記第1ニューラルネットワークを取得することと、を含む。
Claims (15)
- それぞれが目標画像と前記目標画像よりも前のN(Nは正整数)フレームの画像とを含む複数の目標ビデオセグメントを取得するステップと、
各目標ビデオセグメントにおける目標オブジェクトの複数の2次元キーポイント情報に基づいて、前記目標画像における前記目標オブジェクトの歩容データ及び目標重心座標を特定するステップと、
前記歩容データ及び前記目標重心座標に基づいて、前記目標オブジェクトの所定時間帯における行動特徴情報を予測するステップと、を含むことを特徴とする行動予測方法。 - 前記各目標ビデオセグメントにおける目標オブジェクトの複数の2次元キーポイント情報に基づいて、前記目標画像における前記目標オブジェクトの歩容データ及び目標重心座標を特定することは、
各目標ビデオセグメントの各フレームの画像における前記目標オブジェクトの複数の2次元キーポイント情報に基づいて、前記目標画像における前記目標オブジェクトの複数の3次元キーポイント情報及び前記目標オブジェクトの第1重心座標を特定することと、
前記複数の3次元キーポイント情報に基づいて、前記目標オブジェクトの前進方向を特定することと、
前記複数の3次元キーポイント情報及び前記前進方向に基づいて、前記目標画像における前記目標オブジェクトの歩容データを認識することと、
前記目標画像における前記目標オブジェクトの複数の2次元キーポイント情報と前記複数の3次元キーポイント情報とに基づいて、前記目標オブジェクトの第2重心座標を特定することと、
前記第1重心座標及び前記第2重心座標に基づいて、前記目標画像における前記目標オブジェクトの目標重心座標を特定することと、を含むことを特徴とする請求項1に記載の行動予測方法。 - 前記目標画像における前記目標オブジェクトの複数の3次元キーポイント情報を特定することは、
各目標ビデオセグメントにおける各フレームの画像について、当該フレームの画像における前記目標オブジェクトの複数の2次元キーポイント情報に基づいて、当該フレームの画像における前記目標オブジェクトの検出枠を特定することと、
前記検出枠のサイズ情報と前記検出枠の中心点の座標とに基づいて、当該フレームの画像における各2次元キーポイント情報に対応する座標情報に対して正規化処理を行い、当該フレームの画像における目標オブジェクトの複数の目標2次元キーポイント情報を取得することと、
前記各フレームの画像における前記目標オブジェクトの複数の目標2次元キーポイント情報に基づいて、前記目標画像における前記目標オブジェクトの複数の3次元キーポイント情報を特定することと、を含むことを特徴とする請求項2に記載の行動予測方法。 - 前記各フレームの画像における前記目標オブジェクトの複数の目標2次元キーポイント情報に基づいて、前記目標画像における前記目標オブジェクトの複数の3次元キーポイント情報を特定することは、
前記各フレームの画像における前記目標オブジェクトの複数の目標2次元キーポイント情報をトレーニングされた第1ニューラルネットワークに入力し、入力された複数の目標2次元キーポイント情報に対して前記第1ニューラルネットワークを介して処理し、前記目標画像における前記目標オブジェクトの複数の3次元キーポイント情報を特定することを含むことを特徴とする請求項3に記載の行動予測方法。 - 前記第1ニューラルネットワークをトレーニングするステップを更に含み、
前記第1ニューラルネットワークをトレーニングするステップは、
第1サンプル画像を含むとともに前記第1サンプル画像よりも前のNフレームの画像も含む第1サンプルビデオセグメントと、前記第1サンプル画像における第1サンプルオブジェクトの複数の標準3次元キーポイント情報とを取得することと、
前記第1サンプルオブジェクトの物理サイズ情報に基づいて、各標準3次元キーポイント情報の、ネットワーク尺度空間に対応する目標標準3次元キーポイント情報を特定することと、
前記複数の標準3次元キーポイント情報に基づいて、前記第1サンプルビデオセグメントの各フレームの画像における前記第1サンプルオブジェクトの複数のサンプル2次元キーポイント情報を特定することと、
特定された前記複数のサンプル2次元キーポイント情報をトレーニングすべき第1ニューラルネットワークに入力し、入力された複数のサンプル2次元キーポイント情報に対して前記第1ニューラルネットワークを介して処理し、前記第1サンプル画像における前記第1サンプルオブジェクトの複数の予測3次元キーポイント情報を特定することと、
前記複数の予測3次元キーポイント情報と前記複数の目標標準3次元キーポイント情報との間の誤差情報に基づいて、前記第1ニューラルネットワークのネットワークパラメータを調整することと、を含むことを特徴とする請求項4に記載の行動予測方法。 - 前記複数の3次元キーポイント情報に基づいて、前記目標オブジェクトの前進方向を特定することは、
前記複数の3次元キーポイント情報に基づいて、前記目標オブジェクトの左股部と右股部の間の第1接続線、及び前記目標オブジェクトの左肩部と右肩部の間の第2接続線を特定することと、前記第1接続線と前記第2接続線との間の最小誤差平面を特定することと、前記最小誤差平面と水平面との交線に基づいて、前記目標オブジェクトの前進方向を特定することと、を含み、又は、
前記複数の3次元キーポイント情報に基づいて、前記目標オブジェクトの左股部と右股部の間の第3接続線であって前記第1接続線である第3接続線、前記目標オブジェクトの左肩部と右肩部の間の第4接続線であって前記第2接続線である第4接続線、及び前記目標オブジェクトの骨盤点と頸椎点の間の第5接続線を特定することと、前記第3接続線及び前記第4接続線に基づいて、水平面に対する前記目標オブジェクトの第1胴体方向を特定することと、前記第5接続線に基づいて、鉛直面に対する前記目標オブジェクトの第2胴体方向を特定することと、前記第1胴体方向及び前記第2胴体方向に基づいて、前記目標オブジェクトの前進方向を特定することと、を含むことを特徴とする請求項2に記載の行動予測方法。 - 前記複数の3次元キーポイント情報及び前記前進方向に基づいて、前記目標画像における前記目標オブジェクトの歩容データを認識することは、前記複数の3次元キーポイント情報に基づいて、前記前進方向における前記目標オブジェクトの両足の間の接続線の第1投影の長さ情報を特定し、前記目標オブジェクトの歩幅情報とすることとを含み、
及び/又は、
前記複数の3次元キーポイント情報に基づいて、前記前進方向に垂直な方向における前記目標オブジェクトの両足の間の接続線の第2投影の長さ情報を特定し、前記目標オブジェクトの歩隔情報とすることと、を含むことを特徴とする請求項2又は6に記載の行動予測方法。 - 前記各目標ビデオセグメントの各フレームの画像における前記目標オブジェクトの複数の2次元キーポイント情報に基づいて、前記目標オブジェクトの第1重心座標を特定することは、
各目標ビデオセグメントの各フレームの画像における前記目標オブジェクトの複数の2次元キーポイント情報をトレーニングされた第2ニューラルネットワークに入力し、入力された複数の2次元キーポイント情報に対して前記第2ニューラルネットワークを介して処理し、前記目標オブジェクトの第1重心座標を特定することを含むことを特徴とする請求項2に記載の行動予測方法。 - 前記第2ニューラルネットワークをトレーニングするステップを更に含み、
前記第2ニューラルネットワークをトレーニングするステップは、
第2サンプル画像を含むとともに前記第2サンプル画像よりも前のNフレームの画像も含む第2サンプルビデオセグメントと、前記第2サンプル画像における第2サンプルオブジェクトの複数の標準3次元キーポイント情報とを取得することと、
前記複数の標準3次元キーポイント情報に基づいて、前記第2サンプルビデオセグメントの各フレームの画像における前記第2サンプルオブジェクトの複数のサンプル2次元キーポイント情報を特定することと、
前記複数の標準3次元キーポイント情報に基づいて、前記第2サンプルオブジェクトの標準重心座標を特定することと、
特定された前記複数のサンプル2次元キーポイント情報をトレーニングすべき第2ニューラルネットワークに入力し、入力された複数のサンプル2次元キーポイント情報に対して前記第2ニューラルネットワークを介して処理し、前記第2サンプル画像における前記第2サンプルオブジェクトの予測重心座標を出力することと、
前記予測重心座標と前記標準重心座標との間の誤差情報に基づいて、前記第2ニューラルネットワークのネットワークパラメータを調整することと、を含むことを特徴とする請求項8に記載の行動予測方法。 - それぞれが目標画像と前記目標画像よりも前のN(Nは正整数)フレームの画像とを含む複数の目標ビデオセグメントを取得するステップと、
各目標ビデオセグメントにおける目標オブジェクトの複数の2次元キーポイント情報に基づいて、前記目標画像における前記目標オブジェクトの複数の3次元キーポイント情報を特定するステップと、
前記複数の3次元キーポイント情報に基づいて、前記目標オブジェクトの前進方向を特定するステップと、
前記複数の3次元キーポイント情報及び前記前進方向に基づいて、前記目標画像における前記目標オブジェクトの歩容データを認識するステップと、を含み、
前記複数の3次元キーポイント情報に基づいて、前記目標オブジェクトの前進方向を特定するステップは、
前記複数の3次元キーポイント情報に基づいて、前記目標オブジェクトの左股部と右股部の間の第1接続線、及び前記目標オブジェクトの左肩部と右肩部の間の第2接続線を特定することと、前記第1接続線と前記第2接続線との間の最小誤差平面を特定することと、前記最小誤差平面と水平面との交線に基づいて、前記目標オブジェクトの前進方向を特定することと、を含み、又は、
前記複数の3次元キーポイント情報に基づいて、前記目標オブジェクトの左股部と右股部の間の第3接続線、前記目標オブジェクトの左肩部と右肩部の間の第4接続線、及び前記目標オブジェクトの骨盤点と頸椎点の間の第5接続線を特定することと、前記第3接続線及び前記第4接続線に基づいて、水平面に対する前記目標オブジェクトの第1胴体方向を特定することと、前記第5接続線に基づいて、鉛直面に対する前記目標オブジェクトの第2胴体方向を特定することと、前記第1胴体方向及び前記第2胴体方向に基づいて、前記目標オブジェクトの前進方向を特定することと、を含む、
ことを特徴とする歩容認識方法。 - 前記歩容データは、
前記複数の3次元キーポイント情報及び前記前進方向に基づいて、前記目標画像における前記目標オブジェクトの歩容データを認識するステップは、前記複数の3次元キーポイント情報に基づいて、前記前進方向における前記目標オブジェクトの両足の間の接続線の第1投影の長さ情報を特定し、前記目標オブジェクトの歩幅情報とすることと、を含み、
及び/又は、
前記複数の3次元キーポイント情報に基づいて、前記前進方向に垂直な方向における前記目標オブジェクトの両足の間の接続線の第2投影の長さ情報を特定し、前記目標オブジェクトの歩隔情報とすることと、を含むことを特徴とする請求項10に記載の歩容認識方法。 - それぞれが目標画像と前記目標画像よりも前のN(Nは正整数)フレームの画像とを含む複数の目標ビデオセグメントを取得するためのビデオ取得モジュールと、
各目標ビデオセグメントにおける目標オブジェクトの複数の2次元キーポイント情報に基づいて、前記目標画像における前記目標オブジェクトの複数の3次元キーポイント情報を特定するためのキーポイント処理モジュールと、
前記複数の3次元キーポイント情報に基づいて、前記目標オブジェクトの前進方向を特定するための前進方向特定モジュールと、
前記複数の3次元キーポイント情報及び前記前進方向に基づいて、前記目標画像における前記目標オブジェクトの歩容データを認識するための歩容認識モジュールと、を備え、
前進方向特定モジュールは、前記複数の3次元キーポイント情報に基づいて、前記目標オブジェクトの左股部と右股部の間の第1接続線、及び前記目標オブジェクトの左肩部と右肩部の間の第2接続線を特定し、前記第1接続線と前記第2接続線との間の最小誤差平面を特定し、前記最小誤差平面と水平面との交線に基づいて、前記目標オブジェクトの前進方向を特定し、又は、
前記複数の3次元キーポイント情報に基づいて、前記目標オブジェクトの左股部と右股部の間の第3接続線、前記目標オブジェクトの左肩部と右肩部の間の第4接続線、及び前記目標オブジェクトの骨盤点と頸椎点の間の第5接続線を特定し、前記第3接続線及び前記第4接続線に基づいて、水平面に対する前記目標オブジェクトの第1胴体方向を特定し、前記第5接続線に基づいて、鉛直面に対する前記目標オブジェクトの第2胴体方向を特定し、前記第1胴体方向及び前記第2胴体方向に基づいて、前記目標オブジェクトの前進方向を特定する、
ことを特徴とする歩容認識装置。 - それぞれが目標画像と前記目標画像よりも前のN(Nは正整数)フレームの画像とを含む複数の目標ビデオセグメントを取得するための画像取得モジュールと、
各目標ビデオセグメントにおける目標オブジェクトの複数の2次元キーポイント情報に基づいて、前記目標画像における前記目標オブジェクトの歩容データ及び目標重心座標を特定するための画像処理モジュールと、
前記歩容データ及び前記目標重心座標に基づいて、前記目標オブジェクトの所定時間帯における行動特徴情報を予測するための予測モジュールと、を備えることを特徴とする行動予測装置。 - 電子機器であって、
プロセッサと、メモリと、バスとを備え、
前記メモリには、前記プロセッサで実行され得る機器読み取り可能な指令が記憶され、前記電子機器が動作しているとき、前記プロセッサと前記メモリとは、前記バスを介して互いに通信され、前記プロセッサは、前記機器読み取り可能な指令を実行することにより、請求項1から9の何れか一項に記載の行動予測方法、あるいは、請求項10又は11に記載の歩容認識方法を実施することを特徴とする電子機器。 - コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、
前記コンピュータプログラムがプロセッサによって運転されたときに、前記プロセッサは、請求項1から9の何れか一項に記載の行動予測方法、あるいは、請求項10又は11に記載の歩容認識方法を実施することを特徴とするコンピュータ可読記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010129936.XA CN111291718B (zh) | 2020-02-28 | 2020-02-28 | 行为预测方法及装置、步态识别方法及装置 |
CN202010129936.X | 2020-02-28 | ||
PCT/CN2021/077297 WO2021169924A1 (zh) | 2020-02-28 | 2021-02-22 | 行为预测方法及装置、步态识别方法及装置、电子设备和计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022536354A JP2022536354A (ja) | 2022-08-15 |
JP7311640B2 true JP7311640B2 (ja) | 2023-07-19 |
Family
ID=71022337
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021573491A Active JP7311640B2 (ja) | 2020-02-28 | 2021-02-22 | 行動予測方法及び装置、歩容認識方法及び装置、電子機器並びにコンピュータ可読記憶媒体 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20220114839A1 (ja) |
EP (1) | EP3979122A4 (ja) |
JP (1) | JP7311640B2 (ja) |
KR (1) | KR20220008843A (ja) |
CN (1) | CN111291718B (ja) |
TW (1) | TW202133036A (ja) |
WO (1) | WO2021169924A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111291718B (zh) * | 2020-02-28 | 2022-06-03 | 上海商汤智能科技有限公司 | 行为预测方法及装置、步态识别方法及装置 |
CN112597903B (zh) * | 2020-12-24 | 2021-08-13 | 珠高电气检测有限公司 | 基于步幅测量的电力人员安全状态智能识别方法及介质 |
US11475628B2 (en) * | 2021-01-12 | 2022-10-18 | Toyota Research Institute, Inc. | Monocular 3D vehicle modeling and auto-labeling using semantic keypoints |
CN112907892A (zh) * | 2021-01-28 | 2021-06-04 | 上海电机学院 | 基于多视图的人体跌倒报警方法 |
CN113015022A (zh) * | 2021-02-05 | 2021-06-22 | 深圳市优必选科技股份有限公司 | 行为识别方法、装置、终端设备及计算机可读存储介质 |
US20230230465A1 (en) * | 2022-01-20 | 2023-07-20 | Johnson Controls Tyco IP Holdings LLP | Computer vision system and methods for anomalous event detection |
CN114821805B (zh) * | 2022-05-18 | 2023-07-18 | 湖北大学 | 一种危险行为预警方法、装置和设备 |
KR102476777B1 (ko) * | 2022-05-25 | 2022-12-12 | 주식회사 유투에스알 | 인공지능 기반 경로 예측시스템 |
CN114818989B (zh) * | 2022-06-21 | 2022-11-08 | 中山大学深圳研究院 | 基于步态的行为识别方法、装置、终端设备及存储介质 |
CN116999852A (zh) * | 2022-07-11 | 2023-11-07 | 腾讯科技(深圳)有限公司 | 用于控制虚拟角色的ai模型的训练方法、装置及介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015042241A (ja) | 2013-01-18 | 2015-03-05 | 株式会社東芝 | 動作情報処理装置及び方法 |
CN107392097A (zh) | 2017-06-15 | 2017-11-24 | 中山大学 | 一种单目彩色视频的三维人体关节点定位方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3834629B2 (ja) * | 2002-09-26 | 2006-10-18 | 独立行政法人産業技術総合研究所 | 歩行ロボットの歩行歩容生成装置 |
CN101558996B (zh) * | 2009-05-15 | 2010-11-10 | 天津大学 | 基于人体运动结构正投影三维重建的步态识别方法 |
CN102697508B (zh) * | 2012-04-23 | 2013-10-16 | 中国人民解放军国防科学技术大学 | 采用单目视觉的三维重建来进行步态识别的方法 |
US10096125B1 (en) * | 2017-04-07 | 2018-10-09 | Adobe Systems Incorporated | Forecasting multiple poses based on a graphical image |
CN108229355B (zh) * | 2017-12-22 | 2021-03-23 | 北京市商汤科技开发有限公司 | 行为识别方法和装置、电子设备、计算机存储介质 |
WO2019216593A1 (en) * | 2018-05-11 | 2019-11-14 | Samsung Electronics Co., Ltd. | Method and apparatus for pose processing |
CN109214282B (zh) * | 2018-08-01 | 2019-04-26 | 中南民族大学 | 一种基于神经网络的三维手势关键点检测方法和系统 |
CN109840500B (zh) * | 2019-01-31 | 2021-07-02 | 深圳市商汤科技有限公司 | 一种三维人体姿态信息检测方法及装置 |
CN111291718B (zh) * | 2020-02-28 | 2022-06-03 | 上海商汤智能科技有限公司 | 行为预测方法及装置、步态识别方法及装置 |
-
2020
- 2020-02-28 CN CN202010129936.XA patent/CN111291718B/zh active Active
-
2021
- 2021-02-22 JP JP2021573491A patent/JP7311640B2/ja active Active
- 2021-02-22 EP EP21760041.0A patent/EP3979122A4/en not_active Withdrawn
- 2021-02-22 WO PCT/CN2021/077297 patent/WO2021169924A1/zh unknown
- 2021-02-22 KR KR1020217039317A patent/KR20220008843A/ko not_active Application Discontinuation
- 2021-02-24 TW TW110106421A patent/TW202133036A/zh unknown
- 2021-12-22 US US17/559,119 patent/US20220114839A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015042241A (ja) | 2013-01-18 | 2015-03-05 | 株式会社東芝 | 動作情報処理装置及び方法 |
CN107392097A (zh) | 2017-06-15 | 2017-11-24 | 中山大学 | 一种单目彩色视频的三维人体关节点定位方法 |
Non-Patent Citations (1)
Title |
---|
X. Gu,外4名,Markerless Gait Analysis Based on a Single RGB Camera,2018 IEEE 15th International Conference on Wearable and Implantable Body Sensor Networks (BSN),2018年03月04日,pp. 42-45 |
Also Published As
Publication number | Publication date |
---|---|
EP3979122A1 (en) | 2022-04-06 |
US20220114839A1 (en) | 2022-04-14 |
KR20220008843A (ko) | 2022-01-21 |
TW202133036A (zh) | 2021-09-01 |
EP3979122A4 (en) | 2022-10-12 |
JP2022536354A (ja) | 2022-08-15 |
WO2021169924A1 (zh) | 2021-09-02 |
CN111291718B (zh) | 2022-06-03 |
CN111291718A (zh) | 2020-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7311640B2 (ja) | 行動予測方法及び装置、歩容認識方法及び装置、電子機器並びにコンピュータ可読記憶媒体 | |
US10417775B2 (en) | Method for implementing human skeleton tracking system based on depth data | |
JP6942488B2 (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
Kamal et al. | A hybrid feature extraction approach for human detection, tracking and activity recognition using depth sensors | |
CN105531995B (zh) | 用于使用多个摄像机进行对象和事件识别的系统和方法 | |
Radwan et al. | Monocular image 3D human pose estimation under self-occlusion | |
US20110091073A1 (en) | Moving object detection apparatus and moving object detection method | |
US20060269145A1 (en) | Method and system for determining object pose from images | |
CN108875586B (zh) | 一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法 | |
WO2008057107A2 (en) | Method and system for object surveillance and real time activity recognition | |
CN115427982A (zh) | 用于使用卷积神经网络标识数字视频中的人体行为的方法、系统和介质 | |
JP5598751B2 (ja) | 動作認識装置 | |
KR20160121379A (ko) | 골프 동작 분석 장치 및 방법 | |
Krzeszowski et al. | Gait recognition based on marker-less 3D motion capture | |
Burgermeister et al. | PedRecNet: Multi-task deep neural network for full 3D human pose and orientation estimation | |
CN115471863A (zh) | 三维姿态的获取方法、模型训练方法和相关设备 | |
Sunney et al. | A real-time machine learning framework for smart home-based Yoga Teaching System | |
CN114548224B (zh) | 一种用于强交互人体运动的2d人体位姿生成方法及装置 | |
Nie et al. | A child caring robot for the dangerous behavior detection based on the object recognition and human action recognition | |
CN113610969B (zh) | 一种三维人体模型生成方法、装置、电子设备及存储介质 | |
CN115631155A (zh) | 一种基于时空自注意力的骨骼疾病筛查方法 | |
Liu et al. | Adaptive recognition method for VR image of Wushu decomposition based on feature extraction | |
CN111274854B (zh) | 一种人体动作识别方法和视觉增强处理系统 | |
US20240087353A1 (en) | Image processing apparatus, image processing method, and non-transitory computer readable medium storing image processing program | |
Jian et al. | Realistic face animation generation from videos |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211210 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230407 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230606 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230706 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7311640 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |