JP7273880B2 - 仮想オブジェクト駆動方法、装置、電子機器及び可読記憶媒体 - Google Patents
仮想オブジェクト駆動方法、装置、電子機器及び可読記憶媒体 Download PDFInfo
- Publication number
- JP7273880B2 JP7273880B2 JP2021050134A JP2021050134A JP7273880B2 JP 7273880 B2 JP7273880 B2 JP 7273880B2 JP 2021050134 A JP2021050134 A JP 2021050134A JP 2021050134 A JP2021050134 A JP 2021050134A JP 7273880 B2 JP7273880 B2 JP 7273880B2
- Authority
- JP
- Japan
- Prior art keywords
- coordinates
- keypoint
- real object
- keypoints
- limb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/004—Annotating, labelling
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Data Mining & Analysis (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
カメラによって採集された実在のオブジェクトが肢体動作をする時の目標画像を取得することと、前記目標画像を座標取得モデルに入力して、前記目標画像における実在のオブジェクトの肢体上の複数のキーポイントの座標を得ることと、各前記キーポイントの座標に基づいて、前記実在のオブジェクトの肢体の姿勢を確定することと、前記実在のオブジェクトの姿勢に基づいて、画面に表示される仮想オブジェクトを駆動して前記実在のオブジェクトの肢体動作を表現させることと、を含む。
カメラによって採集された実在のオブジェクトが肢体動作をする時の目標画像を取得するための取得モジュールと、前記目標画像を座標取得モデルに入力して、前記目標画像における実在のオブジェクトの肢体上の複数のキーポイントの座標を得るための処理モジュールと、
各前記キーポイントの座標に基づいて、前記実在のオブジェクトの肢体の姿勢を確定するための確定モジュールと、
前記実在のオブジェクトの姿勢に基づいて、画面に表示される仮想オブジェクトを駆動して前記実在のオブジェクトの肢体動作を表現させるための駆動モジュールと、を含む。
少なくとも1つのプロセッサ、及び前記少なくとも1つのプロセッサと通信接続されるメモリを含み、そのうち、前記メモリには、前記少なくとも1つのプロセッサによって実行可能な命令が記憶され、前記命令が前記少なくとも1つのプロセッサによって実行されることにより、前記少なくとも1つのプロセッサが、上記の第1の態様に記載の方法を実行することができる。
A=(xB-xA,yB-yA,zB-zA) (1)
B=(xC-xB,yC-yB,zC-zB) (2)
カメラによって採集された実在のオブジェクトが肢体動作をする時の目標画像を取得するための取得モジュール701と、
前記目標画像を座標取得モデルに入力して、前記実在のオブジェクトの肢体上の複数のキーポイントの座標を得るための座標処理モジュール702と、
各前記キーポイントの座標に基づいて、前記実在のオブジェクトの肢体の姿勢を確定するための確定モジュール703と、
前記実在のオブジェクトの姿勢に基づいて、画面に表示される仮想オブジェクトを駆動して前記実在のオブジェクトの肢体動作を表現させるための駆動モジュール704と、を含む。
第1キーポイントの座標、第2キーポイントの座標、第3キーポイントの座標に基づいて、第1部位と第2部位の間の角度情報を確定し、そのうち、前記第1部位が、第1キーポイントと前記第1キーポイントに隣接する第2キーポイントによって特徴付けられ、前記第2部位が、前記第2キーポイントと前記第2キーポイントに隣接する第3キーポイントによって特徴付けられ、前記第2キーポイントが、前記第1部位と前記第2部位の接続点であり、前記角度情報に基づいて、前記第1部位と前記第2部位で特徴づけられる肢体の姿勢を確定するために使用される。
前記目標画像を座標取得モデルに入力して、前記座標取得モデルから出力される前記キーポイントの前記目標画像でのピクセル座標及び前記キーポイントのカメラ座標系での深度値を得、前記キーポイントの前記目標画像でのピクセル座標及び前記キーポイントのカメラ座標系での深度値に基づいて座標変換を行い、前記キーポイントのカメラ座標系での座標を得るために使用される。
前記第1キーポイントの三次元座標及び前記第2キーポイントの三次元座標に基づいて、前記第1部位の三次元ベクトルを確定し、前記第2キーポイントの三次元座標及び前記第3キーポイントの三次元座標に基づいて、前記第2部位の三次元ベクトルを確定し、前記第1部位の三次元ベクトルと前記第2部位の三次元ベクトルに基づいて、前記第1部位と前記第2部位の間の角度情報を確定するために使用される。
前記目標画像を前記座標取得モデルに入力し、前記座標取得モデルから出力される前記キーポイントの前記目標画像でのピクセル座標を得るために使用される。
前記実在のオブジェクトの姿勢、及び前記実在のオブジェクトのキーポイントの座標に基づいて、画面に表示される仮想オブジェクトを駆動して前記実在のオブジェクトの肢体動作を表現させるために使用される。
予め設定されたトレーニング画像及び前記トレーニング画像の標記データを使用して前記座標取得モデルをトレーニングするために使用される。
Claims (10)
- 仮想オブジェクト駆動方法であって、
カメラによって採集された実在のオブジェクトが肢体動作をする時の目標画像を取得することと、
前記目標画像を座標取得モデルに入力して、前記目標画像における実在のオブジェクトの肢体上の複数のキーポイントの座標を得ることと、
各前記キーポイントの座標に基づいて、前記実在のオブジェクトの肢体の姿勢を確定することと、
前記実在のオブジェクトの肢体の姿勢に基づいて、画面に表示される仮想オブジェクトを駆動して前記実在のオブジェクトの肢体動作を表現させることと、
を含み、
前記各前記キーポイントの座標に基づいて、前記実在のオブジェクトの肢体の姿勢を確定することは、
第1キーポイントの座標、第2キーポイントの座標、第3キーポイントの座標に基づいて、第1部位と第2部位の間の角度情報を確定し、そのうち、前記角度情報は、クォータニオンを含み、前記第1部位が、第1キーポイントと前記第1キーポイントに隣接する第2キーポイントによって特徴付けられ、前記第2部位が、前記第2キーポイントと前記第2キーポイントに隣接する第3キーポイントによって特徴付けられ、前記第2キーポイントが、前記第1部位と前記第2部位の接続点であり、前記座標が、三次元座標であることと、
前記角度情報に基づいて、前記第1部位と前記第2部位で特徴づけられる肢体の姿勢を確定することと、を含み、
前記第1キーポイントの座標はA(x A ,y A ,z A )であり、前記第2キーポイントの座標はB(x B ,y B ,z B )であり、前記第3キーポイントの座標はC(x C ,y C ,z C )であり、前記第1キーポイントの座標、第2キーポイントの座標、第3キーポイントの座標に基づいて、第1部位と第2部位の間の角度情報を確定することは、
次の式(1)と式(2)を使用して前記第1部位と前記第2部位の空間ベクトルを計算することと、
A=(x B -x A ,y B -y A ,z B -z A ) (1)
B=(x C -x B ,y C -y B ,z C -z B ) (2)
次の式(3)と式(4)を使用して単位回転軸と回転角を計算することと、
- 前記三次元座標は、前記キーポイントの前記目標画像でのピクセル座標及び前記キーポイントのカメラ座標系での深度値を含み、又は、
前記三次元座標は、前記キーポイントのカメラ座標系での座標である、請求項1に記載の方法。 - 前記三次元座標が前記キーポイントのカメラ座標系での座標である場合、前記目標画像を座標取得モデルに入力して、前記目標画像における実在のオブジェクトの肢体上の複数のキーポイントの座標を得ることは、
前記目標画像を座標取得モデルに入力して、前記座標取得モデルから出力される前記キーポイントの前記目標画像でのピクセル座標及び前記キーポイントのカメラ座標系での深度値を得ることと、
前記キーポイントの前記目標画像でのピクセル座標及び前記キーポイントのカメラ座標系での深度値に基づいて座標変換を行い、前記キーポイントのカメラ座標系での座標を得ることと、を含む請求項2に記載の方法。 - 前記実在のオブジェクトの肢体の姿勢に基づいて、画面に表示される仮想オブジェクトを駆動して前記実在のオブジェクトの肢体動作を表現させることは、
前記実在のオブジェクトの肢体の姿勢、及び前記実在のオブジェクトのキーポイントの座標に基づいて、画面に表示される仮想オブジェクトを駆動して前記実在のオブジェクトの肢体動作を表現させることを含む、請求項1~請求項3のいずれか1項に記載の方法。 - 前記方法はさらに、
予め設定されたトレーニング画像及び前記トレーニング画像の標記データを使用して前記座標取得モデルをトレーニングすることを含み、
そのうち、前記トレーニング画像の標記データは、前記トレーニング画像における各キーポイントの座標を含み、前記標記データは、前記トレーニング画像におけるキーポイントのカメラ座標系での三次元座標を変換して得られる、請求項1~請求項4のいずれか1項に記載の方法。 - 前記実在のオブジェクトの肢体上の複数のキーポイントは、肢体上の複数の関節を含む、請求項1~請求項5のいずれか1項に記載の方法。
- 仮想オブジェクト駆動装置であって、
カメラによって採集された実在のオブジェクトが肢体動作をする時の目標画像を取得するための取得モジュールと、
前記目標画像を座標取得モデルに入力して、前記目標画像における実在のオブジェクトの肢体上の複数のキーポイントの座標を得るための座標処理モジュールと、
各前記キーポイントの座標に基づいて、前記実在のオブジェクトの肢体の姿勢を確定するための確定モジュールと、
前記実在のオブジェクトの肢体の姿勢に基づいて、画面に表示される仮想オブジェクトを駆動して前記実在のオブジェクトの肢体動作を表現させるための駆動モジュールと、を含み、
前記確定モジュールは具体的に第1キーポイントの座標、第2キーポイントの座標、第3キーポイントの座標に基づいて、第1部位と第2部位の間の角度情報を確定し、前記角度情報に基づいて、前記第1部位と前記第2部位で特徴づけられる肢体の姿勢を確定するために用いられ、前記角度情報は、クォータニオンを含み、前記第1部位が、第1キーポイントと前記第1キーポイントに隣接する第2キーポイントによって特徴付けられ、前記第2部位が、前記第2キーポイントと前記第2キーポイントに隣接する第3キーポイントによって特徴付けられ、前記第2キーポイントが、前記第1部位と前記第2部位の接続点であり、前記座標が、三次元座標であり、
前記第1キーポイントの座標はA(x A ,y A ,z A )であり、前記第2キーポイントの座標はB(x B ,y B ,z B )であり、前記第3キーポイントの座標はC(x C ,y C ,z C )であり、前記第1キーポイントの座標、第2キーポイントの座標、第3キーポイントの座標に基づいて、第1部位と第2部位の間の角度情報を確定することは、
次の式(1)と式(2)を使用して前記第1部位と前記第2部位の空間ベクトルを計算することと、
A=(x B -x A ,y B -y A ,z B -z A ) (1)
B=(x C -x B ,y C -y B ,z C -z B ) (2)
次の式(3)と式(4)を使用して単位回転軸と回転角を計算することと、
- 電子機器であって、
少なくとも1つのプロセッサ、及び
前記少なくとも1つのプロセッサと通信接続されるメモリを含み、そのうち、
前記メモリには前記少なくとも1つのプロセッサによって実行可能な命令が記憶され、前記命令が前記少なくとも1つのプロセッサによって実行されることにより、前記少なくとも1つのプロセッサが請求項1~請求項6のいずれか1項に記載の方法を実行することができる、電子機器。 - コンピュータ命令を記憶する非一時的なコンピュータ可読記憶媒体であって、前記コンピュータ命令が、コンピュータに請求項1~請求項6のいずれか1項に記載の方法を実行させるために使用される、コンピュータ可読記憶媒体。
- コンピュータプログラムであって、前記コンピュータプログラムがプロセッサで実行されると、請求項1~請求項6のいずれか1項に記載の方法が実現される、コンピュータプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010513294.3 | 2020-06-08 | ||
CN202010513294.3A CN111694429B (zh) | 2020-06-08 | 2020-06-08 | 虚拟对象驱动方法、装置、电子设备及可读存储 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021103564A JP2021103564A (ja) | 2021-07-15 |
JP7273880B2 true JP7273880B2 (ja) | 2023-05-15 |
Family
ID=72479805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021050134A Active JP7273880B2 (ja) | 2020-06-08 | 2021-03-24 | 仮想オブジェクト駆動方法、装置、電子機器及び可読記憶媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11532127B2 (ja) |
EP (1) | EP3825962A3 (ja) |
JP (1) | JP7273880B2 (ja) |
KR (1) | KR102590841B1 (ja) |
CN (1) | CN111694429B (ja) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10984575B2 (en) | 2019-02-06 | 2021-04-20 | Snap Inc. | Body pose estimation |
US11660022B2 (en) | 2020-10-27 | 2023-05-30 | Snap Inc. | Adaptive skeletal joint smoothing |
US11615592B2 (en) * | 2020-10-27 | 2023-03-28 | Snap Inc. | Side-by-side character animation from realtime 3D body motion capture |
US11450051B2 (en) | 2020-11-18 | 2022-09-20 | Snap Inc. | Personalized avatar real-time motion capture |
US11748931B2 (en) | 2020-11-18 | 2023-09-05 | Snap Inc. | Body animation sharing and remixing |
US11734894B2 (en) | 2020-11-18 | 2023-08-22 | Snap Inc. | Real-time motion transfer for prosthetic limbs |
CN112528831B (zh) * | 2020-12-07 | 2023-11-24 | 深圳市优必选科技股份有限公司 | 多目标姿态估计方法、多目标姿态估计装置及终端设备 |
CN112714337A (zh) * | 2020-12-22 | 2021-04-27 | 北京百度网讯科技有限公司 | 视频处理方法、装置、电子设备和存储介质 |
CN112716509B (zh) * | 2020-12-24 | 2023-05-02 | 上海联影医疗科技股份有限公司 | 一种医学设备的运动控制方法及系统 |
CN112562068B (zh) * | 2020-12-24 | 2023-07-14 | 北京百度网讯科技有限公司 | 人体姿态生成方法、装置、电子设备及存储介质 |
CN112991552B (zh) * | 2021-03-10 | 2024-03-22 | 中国商用飞机有限责任公司北京民用飞机技术研究中心 | 人体虚实匹配方法、装置、设备及存储介质 |
CN113325950B (zh) * | 2021-05-27 | 2023-08-25 | 百度在线网络技术(北京)有限公司 | 功能控制方法、装置、设备以及存储介质 |
CN113422977B (zh) * | 2021-07-07 | 2023-03-14 | 上海商汤智能科技有限公司 | 直播方法、装置、计算机设备以及存储介质 |
CN113660503B (zh) * | 2021-08-17 | 2024-04-26 | 广州博冠信息科技有限公司 | 同屏互动控制方法及装置、电子设备、存储介质 |
KR102584076B1 (ko) * | 2021-09-08 | 2023-10-05 | 주식회사 애이비씨랩 | 예술과 기술의 융합 교육을 위한 가상 스테이지에서의 아바타 제공 장치 및 방법 |
CN113900516A (zh) * | 2021-09-27 | 2022-01-07 | 阿里巴巴达摩院(杭州)科技有限公司 | 数据处理方法、装置、电子设备和存储介质 |
CN115908665A (zh) * | 2021-09-30 | 2023-04-04 | 北京字节跳动网络技术有限公司 | 一种视频处理方法、装置、设备、介质及产品 |
CN113706699B (zh) * | 2021-10-27 | 2022-02-08 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置、电子设备及计算机可读存储介质 |
CN114115530A (zh) * | 2021-11-08 | 2022-03-01 | 深圳市雷鸟网络传媒有限公司 | 虚拟对象控制方法、装置、电子设备及存储介质 |
CN114120448B (zh) * | 2021-11-29 | 2023-04-07 | 北京百度网讯科技有限公司 | 图像处理方法和装置 |
CN114119935B (zh) * | 2021-11-29 | 2023-10-03 | 北京百度网讯科技有限公司 | 图像处理方法和装置 |
KR20230090852A (ko) * | 2021-12-15 | 2023-06-22 | 삼성전자주식회사 | 복수의 카메라를 이용하여 촬영된 손의 3차원 골격 데이터를 획득하는 전자 장치 및 방법 |
US11880947B2 (en) | 2021-12-21 | 2024-01-23 | Snap Inc. | Real-time upper-body garment exchange |
CN114797096A (zh) * | 2022-04-28 | 2022-07-29 | 北京字跳网络技术有限公司 | 虚拟对象的控制方法、装置、设备及存储介质 |
KR102608117B1 (ko) * | 2022-06-16 | 2023-11-30 | 주식회사 엘지유플러스 | 이미지 보정 방법 및 이미지 보정 시스템 |
CN115937964B (zh) * | 2022-06-27 | 2023-12-15 | 北京字跳网络技术有限公司 | 姿态估计的方法、装置、设备和存储介质 |
CN115331309A (zh) * | 2022-08-19 | 2022-11-11 | 北京字跳网络技术有限公司 | 用于识别人体动作的方法、装置、设备和介质 |
CN115714888B (zh) * | 2022-10-09 | 2023-08-29 | 名之梦(上海)科技有限公司 | 视频生成方法、装置、设备与计算机可读存储介质 |
CN115345981B (zh) * | 2022-10-19 | 2023-03-24 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备和存储介质 |
CN118052964A (zh) * | 2022-11-11 | 2024-05-17 | 腾讯科技(深圳)有限公司 | 基于虚拟对象穿戴的数据处理方法及装置、设备、介质 |
CN115866354A (zh) * | 2022-11-25 | 2023-03-28 | 广州美术学院 | 基于交互虚拟现实的非物质遗产具象化演绎方法及装置 |
CN115937373B (zh) * | 2022-12-23 | 2023-10-03 | 北京百度网讯科技有限公司 | 虚拟形象驱动方法、装置、设备以及存储介质 |
CN116310213B (zh) * | 2023-02-23 | 2023-10-24 | 北京百度网讯科技有限公司 | 三维物体模型的处理方法、装置、电子设备与可读存储介质 |
CN117456611B (zh) * | 2023-12-22 | 2024-03-29 | 拓世科技集团有限公司 | 一种基于人工智能的虚拟人物训练方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007066094A (ja) | 2005-08-31 | 2007-03-15 | Matsushita Electric Ind Co Ltd | 姿勢推定装置および姿勢推定方法 |
JP2015116308A (ja) | 2013-12-18 | 2015-06-25 | 三菱電機株式会社 | ジェスチャ登録装置 |
JP6585866B1 (ja) | 2019-02-20 | 2019-10-02 | 株式会社ドワンゴ | 位置データ処理装置およびプログラム |
WO2020000096A1 (en) | 2018-06-29 | 2020-01-02 | Wrnch Inc. | Human pose analysis system and method |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6115052A (en) | 1998-02-12 | 2000-09-05 | Mitsubishi Electric Information Technology Center America, Inc. (Ita) | System for reconstructing the 3-dimensional motions of a human figure from a monocularly-viewed image sequence |
US8253801B2 (en) * | 2008-12-17 | 2012-08-28 | Sony Computer Entertainment Inc. | Correcting angle error in a tracking system |
US20100306701A1 (en) * | 2009-05-29 | 2010-12-02 | Sean Glen | Creation, Previsualization, Communication, and Documentation of Choreographed Movement |
JP5747752B2 (ja) * | 2011-09-06 | 2015-07-15 | トヨタ自動車株式会社 | 姿勢推定装置、姿勢推定方法、姿勢推定プログラム |
KR20130030117A (ko) * | 2011-09-16 | 2013-03-26 | 한국전자통신연구원 | 실시간 캐릭터 애니메이션에서의 발 미끄러짐 제거를 위한 캐릭터 영상 처리 장치 및 방법 |
CN103845065B (zh) * | 2012-12-05 | 2018-02-06 | 深圳迈瑞生物医疗电子股份有限公司 | 肌肉松弛程度测量方法、处理装置和肌松测量仪 |
US10310595B2 (en) * | 2014-06-30 | 2019-06-04 | Sony Corporation | Information processing apparatus, information processing method, computer program, and image processing system |
WO2016132371A1 (en) | 2015-02-22 | 2016-08-25 | Technion Research & Development Foundation Limited | Gesture recognition using multi-sensory data |
WO2017007166A1 (ko) * | 2015-07-08 | 2017-01-12 | 고려대학교 산학협력단 | 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법 |
US20170177087A1 (en) * | 2015-12-18 | 2017-06-22 | Intel Corporation | Hand skeleton comparison and selection for hand and gesture recognition with a computing interface |
US20180225858A1 (en) * | 2017-02-03 | 2018-08-09 | Sony Corporation | Apparatus and method to generate realistic rigged three dimensional (3d) model animation for view-point transform |
WO2020033380A1 (en) * | 2018-08-07 | 2020-02-13 | Butterfly Network, Inc. | Methods and apparatuses for determining and displaying locations on images of body portions based on ultrasound data |
CN109191593A (zh) * | 2018-08-27 | 2019-01-11 | 百度在线网络技术(北京)有限公司 | 虚拟三维模型的运动控制方法、装置及设备 |
CN109191548A (zh) * | 2018-08-28 | 2019-01-11 | 百度在线网络技术(北京)有限公司 | 动画制作方法、装置、设备及存储介质 |
KR102118519B1 (ko) | 2018-11-22 | 2020-06-15 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
CN109785445B (zh) * | 2019-01-22 | 2024-03-08 | 京东方科技集团股份有限公司 | 交互方法、装置、系统及计算机可读存储介质 |
CN110139115B (zh) * | 2019-04-30 | 2020-06-09 | 广州虎牙信息科技有限公司 | 基于关键点的虚拟形象姿态控制方法、装置及电子设备 |
TWI710972B (zh) * | 2019-11-01 | 2020-11-21 | 緯創資通股份有限公司 | 基於原子姿勢的動作辨識方法及其系統與電腦可讀取記錄媒體 |
CN110827383B (zh) * | 2019-11-25 | 2020-11-10 | 腾讯科技(深圳)有限公司 | 三维模型的姿态模拟方法、装置、存储介质和电子设备 |
CN110889382A (zh) * | 2019-11-29 | 2020-03-17 | 深圳市商汤科技有限公司 | 虚拟形象渲染方法及装置、电子设备和存储介质 |
-
2020
- 2020-06-08 CN CN202010513294.3A patent/CN111694429B/zh active Active
-
2021
- 2021-03-09 US US17/196,664 patent/US11532127B2/en active Active
- 2021-03-12 EP EP21162229.5A patent/EP3825962A3/en not_active Withdrawn
- 2021-03-16 KR KR1020210034282A patent/KR102590841B1/ko active IP Right Grant
- 2021-03-24 JP JP2021050134A patent/JP7273880B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007066094A (ja) | 2005-08-31 | 2007-03-15 | Matsushita Electric Ind Co Ltd | 姿勢推定装置および姿勢推定方法 |
JP2015116308A (ja) | 2013-12-18 | 2015-06-25 | 三菱電機株式会社 | ジェスチャ登録装置 |
WO2020000096A1 (en) | 2018-06-29 | 2020-01-02 | Wrnch Inc. | Human pose analysis system and method |
JP6585866B1 (ja) | 2019-02-20 | 2019-10-02 | 株式会社ドワンゴ | 位置データ処理装置およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2021103564A (ja) | 2021-07-15 |
CN111694429B (zh) | 2023-06-02 |
EP3825962A2 (en) | 2021-05-26 |
KR102590841B1 (ko) | 2023-10-19 |
US20210383607A1 (en) | 2021-12-09 |
KR20210036879A (ko) | 2021-04-05 |
US11532127B2 (en) | 2022-12-20 |
CN111694429A (zh) | 2020-09-22 |
EP3825962A3 (en) | 2021-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7273880B2 (ja) | 仮想オブジェクト駆動方法、装置、電子機器及び可読記憶媒体 | |
KR101865655B1 (ko) | 증강현실 상호 작용 서비스 제공 장치 및 방법 | |
KR101687017B1 (ko) | 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템 | |
Memo et al. | Head-mounted gesture controlled interface for human-computer interaction | |
CN112652016B (zh) | 点云预测模型的生成方法、位姿估计方法及其装置 | |
US8487871B2 (en) | Virtual desktop coordinate transformation | |
Lu et al. | Immersive manipulation of virtual objects through glove-based hand gesture interaction | |
CN111208783B (zh) | 一种动作模仿方法、装置、终端及计算机存储介质 | |
CN110457414A (zh) | 离线地图处理、虚拟对象显示方法、装置、介质和设备 | |
CN113034652A (zh) | 虚拟形象驱动方法、装置、设备及存储介质 | |
CN111949112A (zh) | 对象交互方法及装置、系统、计算机可读介质和电子设备 | |
KR20200115729A (ko) | 골프 동작 분석 방법 및 장치 | |
Silva et al. | Sensor data fusion for full arm tracking using myo armband and leap motion | |
Lin et al. | The implementation of augmented reality in a robotic teleoperation system | |
CN111915642A (zh) | 图像样本的生成方法、装置、设备和可读存储介质 | |
Usabiaga et al. | Global hand pose estimation by multiple camera ellipse tracking | |
CN113496168B (zh) | 手语数据采集方法、设备、存储介质 | |
KR20200057572A (ko) | 딥러닝 기반 손 인식 증강현실 상호 작용 장치 및 방법 | |
KR20150044243A (ko) | 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치 및 방법 | |
Egorova et al. | Determination of workspace for motion capture using Kinect | |
US20240135581A1 (en) | Three dimensional hand pose estimator | |
Bhakar et al. | Development of marker-based augmented reality system for object detection in an optimum latency time | |
CN112991552B (zh) | 人体虚实匹配方法、装置、设备及存储介质 | |
US11508121B2 (en) | Method for annotating points on a hand image to create training dataset for machine learning | |
Andersen | Effective User Guidance Through Augmented Reality Interfaces: Advances and Applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210324 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220322 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220620 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221018 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230425 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230428 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7273880 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |