JP7103998B2 - 骨格抽出方法、装置およびプログラム - Google Patents
骨格抽出方法、装置およびプログラム Download PDFInfo
- Publication number
- JP7103998B2 JP7103998B2 JP2019105055A JP2019105055A JP7103998B2 JP 7103998 B2 JP7103998 B2 JP 7103998B2 JP 2019105055 A JP2019105055 A JP 2019105055A JP 2019105055 A JP2019105055 A JP 2019105055A JP 7103998 B2 JP7103998 B2 JP 7103998B2
- Authority
- JP
- Japan
- Prior art keywords
- skeleton
- small
- region
- information
- ratio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
Claims (9)
- カメラ映像の人物領域から抽出した各骨格の連結に基づいて骨格情報を抽出する手段と、
抽出した骨格情報に基づいて、小骨格を含む小骨格領域を推定する手段と、
前記骨格情報に基づいて小骨格領域内に小骨格の基準点を定義する手段と、
小骨格ごとに画像特徴と基準点との関係を学習させて基準点が定義された小骨格の画像から小骨格情報を抽出する予測モデルと、
前記小骨格領域の画像特徴及び基準点を前記予測モデルに適用して小骨格情報を抽出する手段とを具備し、
前記骨格情報を抽出する手段は、肩関節、肘関節および手首関節を抽出し、
前記小骨格領域を推定する手段は、前記抽出した各関節の位置に基づいて、肘関節から手首関節までの前腕長に対する手首関節から手のひらの基準点までの距離の比率である第一の比率、前腕長または上腕長に対する手領域の大きさの比率である第二の比率、及び前腕長に対する上腕長の比率である第三の比率を算出し、当該3つの比率に基づいて手の小骨格領域を推定することを特徴とする骨格抽出装置。 - カメラ映像から人物領域を推定する手段を更に具備し、
前記骨格情報を抽出する手段は、前記人物領域から骨格情報を抽出することを特徴とする請求項1に記載の骨格抽出装置。 - 前記小骨格領域を推定する手段は、抽出した骨格情報に基づいて当該小骨格領域の大きさを推定することを特徴とする請求項1または2に記載の骨格抽出装置。
- 前記小骨格領域を推定する手段は、抽出した骨格情報に基づいて基準点を定義し、前記小骨格領域の位置を前記基準点との相対的な位置関係に基づいて推定することを特徴とする請求項1ないし3のいずれかに記載の骨格抽出装置。
- 前記小骨格領域を推定する手段は、手指を含む手領域を推定し、
前記小骨格情報を抽出する手段は、前記手領域から手指の骨格情報を抽出することを特徴とする請求項1ないし4のいずれかに記載の骨格抽出装置。 - 前記小骨格領域を推定する手段は、足指を含む足領域を推定し、
前記小骨格情報を抽出する手段は、前記足領域から足指の骨格情報を抽出することを特徴とする請求項1ないし4のいずれかに記載の骨格抽出装置。 - 前記骨格情報と小骨格情報とを統合する手段を更に具備したことを特徴とする請求項1ないし6のいずれかに記載の骨格抽出装置。
- カメラ映像からコンピュータが骨格情報を抽出する方法において、
カメラ映像の人物領域から抽出した各骨格の連結に基づいて骨格情報を抽出する手順と、
抽出した骨格情報に基づいて、小骨格を含む小骨格領域を推定する手順と、
前記骨格情報に基づいて前記小骨格領域内に小骨格の基準点を定義する手順と、
小骨格ごとに画像特徴と基準点との関係を学習させて基準点が定義された小骨格の画像から小骨格情報を抽出する予測モデルに、前記小骨格領域の画像特徴及び基準点を適用して小骨格情報を抽出する手順とを含み、
前記骨格情報を抽出する手順では、肩関節、肘関節および手首関節を抽出し、
前記小骨格領域を推定する手順では、前記抽出した各関節の位置に基づいて、肘関節から手首関節までの前腕長に対する手首関節から手のひらの基準点までの距離の比率である第一の比率、前腕長または上腕長に対する手領域の大きさの比率である第二の比率、及び前腕長に対する上腕長の比率である第三の比率を算出し、当該3つの比率に基づいて手の小骨格領域を推定することを特徴とする骨格抽出方法。 - カメラ映像から骨格情報を抽出するプログラムにおいて、
カメラ映像の人物領域から抽出した各骨格の連結に基づいて骨格情報を抽出する手順と、
抽出した骨格情報に基づいて、小骨格を含む小骨格領域を推定する手順と、
前記骨格情報に基づいて前記小骨格領域内に小骨格の基準点を定義する手順と、
小骨格ごとに画像特徴と基準点との関係を学習させて基準点が定義された小骨格の画像から小骨格情報を抽出する予測モデルに、前記小骨格領域の画像特徴及び基準点を適用して小骨格情報を抽出する手順とをコンピュータに実行させ、
前記骨格情報を抽出する手順では、肩関節、肘関節および手首関節を抽出し、
前記小骨格領域を推定する手順では、前記抽出した各関節の位置に基づいて、肘関節から手首関節までの前腕長に対する手首関節から手のひらの基準点までの距離の比率である第一の比率、前腕長または上腕長に対する手領域の大きさの比率である第二の比率、及び前腕長に対する上腕長の比率である第三の比率を算出し、当該3つの比率に基づいて手の小骨格領域を推定することを特徴とする骨格抽出プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019105055A JP7103998B2 (ja) | 2019-06-05 | 2019-06-05 | 骨格抽出方法、装置およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019105055A JP7103998B2 (ja) | 2019-06-05 | 2019-06-05 | 骨格抽出方法、装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020198019A JP2020198019A (ja) | 2020-12-10 |
JP7103998B2 true JP7103998B2 (ja) | 2022-07-20 |
Family
ID=73649197
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019105055A Active JP7103998B2 (ja) | 2019-06-05 | 2019-06-05 | 骨格抽出方法、装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7103998B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230170485A (ko) * | 2022-06-10 | 2023-12-19 | 삼성전자주식회사 | 손 동작에 관한 이미지 데이터를 획득하는 전자 장치 및 그 동작 방법 |
JP7485454B2 (ja) | 2022-08-05 | 2024-05-16 | Necソリューションイノベータ株式会社 | 手話翻訳処理装置、手話翻訳処理システム、手話翻訳処理方法、プログラム、及び記録媒体 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015106281A (ja) | 2013-11-29 | 2015-06-08 | 富士通株式会社 | 動作判定方法、動作判定装置および動作判定プログラム |
JP2018119833A (ja) | 2017-01-24 | 2018-08-02 | キヤノン株式会社 | 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体 |
US10296102B1 (en) | 2018-01-31 | 2019-05-21 | Piccolo Labs Inc. | Gesture and motion recognition using skeleton tracking |
-
2019
- 2019-06-05 JP JP2019105055A patent/JP7103998B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015106281A (ja) | 2013-11-29 | 2015-06-08 | 富士通株式会社 | 動作判定方法、動作判定装置および動作判定プログラム |
JP2018119833A (ja) | 2017-01-24 | 2018-08-02 | キヤノン株式会社 | 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体 |
US10296102B1 (en) | 2018-01-31 | 2019-05-21 | Piccolo Labs Inc. | Gesture and motion recognition using skeleton tracking |
Non-Patent Citations (3)
Title |
---|
Tomas Simon et al.,"Hand Keypoint Detection in Single Images Using Multiview Bootstrapping",2017 IEEE Conference on Computer Vision andPattern Recognition (CVPR),米国,IEEE,2017年07月21日,pp.4645-4653 |
Zhe Cao et al.,"OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields",arXiv,米国,Cornell University,2019年05月30日,pp.1-14,https://arxiv.org/abs/1812.08008v2 |
鳴海 克弥、外5名,"手話認識のためのOpenPoseを用いた手の領域分割",電子情報通信学会技術研究報告,日本,一般社団法人電子情報通信学会,2019年02月25日,Vol.118, No.468,pp.165-168 |
Also Published As
Publication number | Publication date |
---|---|
JP2020198019A (ja) | 2020-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11182599B2 (en) | Motion state evaluation system, motion state evaluation device, motion state evaluation server, motion state evaluation method, and motion state evaluation program | |
WO2020054442A1 (ja) | 関節位置の取得方法及び装置、動作の取得方法及び装置 | |
US9330470B2 (en) | Method and system for modeling subjects from a depth map | |
US9842405B2 (en) | Visual target tracking | |
US8565476B2 (en) | Visual target tracking | |
US8577084B2 (en) | Visual target tracking | |
US8682028B2 (en) | Visual target tracking | |
US8577085B2 (en) | Visual target tracking | |
US8565477B2 (en) | Visual target tracking | |
Ohashi et al. | Synergetic reconstruction from 2D pose and 3D motion for wide-space multi-person video motion capture in the wild | |
JP2016101229A (ja) | 歩行解析システムおよび歩行解析プログラム | |
JP7103998B2 (ja) | 骨格抽出方法、装置およびプログラム | |
Park et al. | Accurate and efficient 3d human pose estimation algorithm using single depth images for pose analysis in golf | |
KR20200081629A (ko) | 관절각 비교를 통한 단체 댄스 평가 장치 및 그 방법 | |
CN109407826B (zh) | 球类运动模拟方法、装置、存储介质及电子设备 | |
US11837255B2 (en) | Display method, computer-readable recording medium recording display program, and information processing apparatus | |
US20170154441A1 (en) | Orientation estimation method, and orientation estimation device | |
JP7074727B2 (ja) | スポーツ行動認識装置、方法およびプログラム | |
JP7024876B2 (ja) | 検出装置、処理装置、検出方法、及び処理プログラム | |
CN111353347B (zh) | 动作识别纠错方法、电子设备、存储介质 | |
Chalangari et al. | 3D human knee flexion angle estimation using deep convolutional neural networks | |
JPWO2018207388A1 (ja) | モーションキャプチャに関するプログラム、装置および方法 | |
JP2020188914A (ja) | データ処理装置、画像配信システム、画像解析方法及び画像解析プログラム | |
Barzyk et al. | AI‐smartphone markerless motion capturing of hip, knee, and ankle joint kinematics during countermovement jumps | |
JP2019197278A (ja) | 画像処理装置、画像処理装置の制御方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220412 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220511 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220606 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220606 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220614 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220706 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220707 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7103998 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |