JP7198356B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP7198356B2 JP7198356B2 JP2021529586A JP2021529586A JP7198356B2 JP 7198356 B2 JP7198356 B2 JP 7198356B2 JP 2021529586 A JP2021529586 A JP 2021529586A JP 2021529586 A JP2021529586 A JP 2021529586A JP 7198356 B2 JP7198356 B2 JP 7198356B2
- Authority
- JP
- Japan
- Prior art keywords
- hand
- sensors
- joint
- user
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Description
(1)人差指から小指までの遠位指節間関節(DIP;4箇所)、
(2)人差指から小指までの近位指節間関節(PIP;4箇所)、
(3)親指の指節間関節(IP;1箇所)、
(4)親指から小指までの中手指節関節(MP;5箇所)、
(5)手根中手関節(CM;5箇所)、
(6)手関節(橈骨手根関節;1箇所)
の合計20箇所、
あるいは、
(1)親指から小指までの末端指骨先端(指の先端;5箇所)
(2)人差指から小指までの遠位指節間関節(DIP;4箇所)、
(3)人差指から小指までの近位指節間関節(PIP;4箇所)、
(4)親指の指節間関節(IP;1箇所)、
(5)親指から小指までの中手指節関節(MP;5箇所)、
(6)親指の手根中手関節(CM;1箇所)
の合計20箇所などとすればよい。これらの箇所(医学上の関節に相当しない箇所を含んでもよい、位置推測のポイント)を、以下、説明のため「関節」と称する。
Xi=Qi+ri・vi
ここで、X,Q,vはいずれも座標値を表す三次元の量である。
本発明の実施の形態の情報処理システム1は以上の構成を基本的に備えており、次のように動作する。
Xi=Qi+ri・vi
として得る。
Claims (5)
- ユーザが手で操作する機器であって、当該機器の表面に、ユーザの手の表面との空間的位置関係に係る情報を出力する複数のセンサが配列された機器に接続され、
前記機器が備える前記センサの各々からの出力を受け入れる手段と、
前記機器の表面のうち、少なくともセンサが配されている部分を平面展開した写像空間上で、前記センサの各々の配置された位置に対応する位置に、各センサの出力が表す値に基づいて定めた画素値で描画した画像要素を配した画像を生成する手段と、
当該生成した画像を入力し、前記機器を操作するユーザの手の各関節の位置に係る情報を推定して、当該機器とともに移動する点を原点とした三次元空間の座標情報として出力する推定手段と、
を有し、
前記推定手段は、前記入力した画像と同じ、前記機器の表面のうち、少なくともセンサが配されている部分を平面展開した写像空間上で、前記機器を操作するユーザの手の各関節に最も近い前記機器の表面上の点、及びその点から当該関節までの距離を推定する機械学習結果を利用し、機械学習結果を利用した当該推定の結果を用いて、当該機器とともに移動する点を原点とした三次元空間の座標情報に変換して出力する情報処理装置。 - ユーザが手で操作する機器であって、当該機器の表面に、ユーザの手の表面との空間的位置関係に係る情報を出力する複数のセンサが配列された機器に接続され、
前記機器が備える前記センサの各々からの出力を受け入れる手段と、
前記機器の表面のうち、少なくともセンサが配されている部分を平面展開した写像空間上で、前記センサの各々の配置された位置に対応する位置に、各センサの出力が表す値に基づいて定めた画素値で描画した画像要素を配した画像を生成する画像生成手段と、
当該生成した画像を入力し、前記機器を操作するユーザの手の各関節の位置に係る情報を推定して、当該機器とともに移動する点を原点とした三次元空間の座標情報として出力する推定手段と、
を有し、
前記推定手段は、複数の手のポーズをとったときに前記画像生成手段により生成される画像と、当該手のポーズでの各関節の位置の情報との関係を機械学習した機械学習結果を用い、前記入力された画像を当該機械学習結果に入力し、前記機器を操作するユーザの手の各関節の位置に係る情報を推定し、当該機器とともに移動する点を原点とした三次元空間の座標情報として出力する情報処理装置。 - 請求項1または2に記載の情報処理装置であって、
前記機器に配されたセンサは静電容量センサであり、前記受け入れたセンサの出力は、静電容量センサの検出結果である情報処理装置。 - ユーザが手で操作する機器であって、当該機器の表面に、ユーザの手の表面との空間的位置関係に係る情報を出力する複数のセンサが配列された機器に接続された情報処理装置を、
前記機器が備える前記センサの各々からの出力を受け入れ、
前記機器の表面のうち、少なくともセンサが配されている部分を平面展開した写像空間上で、前記センサの各々の配置された位置に対応する位置に、各センサの出力が表す値に基づいて定めた画素値で描画した画像要素を配した画像を生成し、
当該生成した画像を入力し、前記機器を操作するユーザの手の各関節の位置に係る情報を推定して、当該機器とともに移動する点を原点とした三次元空間の座標情報として出力するよう制御し、
関節の位置に係る情報を推定する際には、前記入力した画像と同じ、前記機器の表面のうち、少なくともセンサが配されている部分を平面展開した写像空間上で、前記機器を操作するユーザの手の各関節に最も近い前記機器の表面上の点、及びその点から当該関節までの距離を推定する機械学習結果を利用し、機械学習結果を利用した当該推定の結果を用いて、当該機器とともに移動する点を原点とした三次元空間の座標情報に変換して出力する情報処理装置の制御方法。 - ユーザが手で操作する機器であって、当該機器の表面に、ユーザの手の表面との空間的位置関係に係る情報を出力する複数のセンサが配列された機器に接続されたコンピュータを、
前記機器が備える前記センサの各々からの出力を受け入れる手段と、
前記機器の表面のうち、少なくともセンサが配されている部分を平面展開した写像空間上で、前記センサの各々の配置された位置に対応する位置に、各センサの出力が表す値に基づいて定めた画素値で描画した画像要素を配した画像を生成する手段と、
当該生成した画像を入力し、前記機器を操作するユーザの手の各関節の位置に係る情報を推定して、当該機器とともに移動する点を原点とした三次元空間の座標情報として出力
する推定手段と、
として機能させ、
前記推定手段として機能させる際には、コンピュータに、前記入力した画像と同じ、前記機器の表面のうち、少なくともセンサが配されている部分を平面展開した写像空間上で、前記機器を操作するユーザの手の各関節に最も近い前記機器の表面上の点、及びその点から当該関節までの距離を推定する機械学習結果を利用し、機械学習結果を利用した当該推定の結果を用いて、当該機器とともに移動する点を原点とした三次元空間の座標情報に変換して出力させるプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/026183 WO2021001911A1 (ja) | 2019-07-01 | 2019-07-01 | 情報処理装置、情報処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021001911A1 JPWO2021001911A1 (ja) | 2021-11-25 |
JP7198356B2 true JP7198356B2 (ja) | 2022-12-28 |
Family
ID=74100974
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021529586A Active JP7198356B2 (ja) | 2019-07-01 | 2019-07-01 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11943519B2 (ja) |
JP (1) | JP7198356B2 (ja) |
WO (1) | WO2021001911A1 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170031503A1 (en) | 2014-09-26 | 2017-02-02 | Sensel Inc. | Systems and methods for manipulating a virtual environment |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB9613315D0 (en) | 1996-06-25 | 1996-08-28 | Philips Electronics Nv | Virtual environment interaction and navigation device |
JP3570163B2 (ja) | 1996-07-03 | 2004-09-29 | 株式会社日立製作所 | 動作及び行動の認識方法及び装置及びシステム |
US9480582B2 (en) * | 2005-03-23 | 2016-11-01 | Ossur Hf | System and method for conscious sensory feedback |
JP2011258160A (ja) * | 2010-06-11 | 2011-12-22 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
KR102133702B1 (ko) * | 2012-02-24 | 2020-07-14 | 토마스 제이. 모스카릴로 | 제스처 인식 디바이스들 및 방법들 |
JP5886139B2 (ja) * | 2012-05-30 | 2016-03-16 | シャープ株式会社 | タッチセンサシステム |
US10126820B1 (en) * | 2012-11-29 | 2018-11-13 | Amazon Technologies, Inc. | Open and closed hand detection |
US10705606B1 (en) * | 2017-10-23 | 2020-07-07 | Facebook Technologies, Llc | Tracking sensor integration system and method for recursive estimation of pose of user's body part |
CN111263956B (zh) * | 2017-11-01 | 2024-08-02 | 索尼公司 | 信息处理设备、信息处理方法和计算机可读存储介质 |
GB201816785D0 (en) * | 2018-10-15 | 2018-11-28 | Tangi0 Ltd | Sensor device and method |
US10775946B2 (en) * | 2018-12-21 | 2020-09-15 | Finch Technologies Ltd. | Universal handheld controller of a computer system |
KR102269414B1 (ko) * | 2019-03-07 | 2021-06-24 | 재단법인 실감교류인체감응솔루션연구단 | 핸드 모션 캡쳐 장치를 기반으로 가상/증강 현실에서의 객체 조작 방법 및 장치 |
-
2019
- 2019-07-01 WO PCT/JP2019/026183 patent/WO2021001911A1/ja active Application Filing
- 2019-07-01 JP JP2021529586A patent/JP7198356B2/ja active Active
- 2019-07-01 US US17/617,728 patent/US11943519B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170031503A1 (en) | 2014-09-26 | 2017-02-02 | Sensel Inc. | Systems and methods for manipulating a virtual environment |
Also Published As
Publication number | Publication date |
---|---|
JPWO2021001911A1 (ja) | 2021-11-25 |
WO2021001911A1 (ja) | 2021-01-07 |
US11943519B2 (en) | 2024-03-26 |
US20220294935A1 (en) | 2022-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110476168B (zh) | 用于手部跟踪的方法和系统 | |
EP3035164B1 (en) | Wearable sensor for tracking articulated body-parts | |
US11481029B2 (en) | Method for tracking hand pose and electronic device thereof | |
US11016569B2 (en) | Wearable device and method for providing feedback of wearable device | |
Kim et al. | Digits: freehand 3D interactions anywhere using a wrist-worn gloveless sensor | |
JP5657216B2 (ja) | モーションキャプチャー装置及びモーションキャプチャー方法 | |
US10976863B1 (en) | Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user | |
NO339941B1 (no) | System og fremgangsmåte for et gestbasert styringssystem | |
JP2000132305A (ja) | 操作入力装置 | |
JP2018119833A (ja) | 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体 | |
US11054923B2 (en) | Automatic switching between different modes of tracking user motions to control computer applications | |
CN114503057A (zh) | 基于图像和惯性测量单元两者的取向确定 | |
CN110456902A (zh) | 跟踪用户移动以控制计算机系统中的骨架模型 | |
Kao et al. | Novel digital glove design for virtual reality applications | |
RU2670649C9 (ru) | Способ изготовления перчатки виртуальной реальности (варианты) | |
JP7198356B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP6932267B2 (ja) | コントローラ装置 | |
EP3971683A1 (en) | Human body portion tracking method and human body portion tracking system | |
CN205608660U (zh) | 一种用于虚拟现实系统的动作捕捉手套及虚拟现实系统 | |
JP2022163836A (ja) | ロボット画像の表示方法、コンピュータープログラム、及び、ロボット画像の表示システム | |
US11783492B2 (en) | Human body portion tracking method and human body portion tracking system | |
TWM580450U (zh) | Hand motion sensing device for virtual reality and glove assembly thereof | |
JP7462610B2 (ja) | 身体の少なくとも二つの部分のトポグラフィを推定する方法およびシステム | |
Sato et al. | 3D freeform design: interactive shape deformations by the use of CyberGlove | |
WO2024147195A1 (ja) | 操作装置、情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210706 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220607 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220804 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221216 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7198356 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |