JP7481783B1 - 位置検出装置及び情報処理システム - Google Patents

位置検出装置及び情報処理システム Download PDF

Info

Publication number
JP7481783B1
JP7481783B1 JP2024519766A JP2024519766A JP7481783B1 JP 7481783 B1 JP7481783 B1 JP 7481783B1 JP 2024519766 A JP2024519766 A JP 2024519766A JP 2024519766 A JP2024519766 A JP 2024519766A JP 7481783 B1 JP7481783 B1 JP 7481783B1
Authority
JP
Japan
Prior art keywords
thumb
joint
signal
distance
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2024519766A
Other languages
English (en)
Inventor
大翔 迫田
啓 浅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Diver X
Original Assignee
Diver X
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Diver X filed Critical Diver X
Priority to JP2024068290A priority Critical patent/JP2024097322A/ja
Application granted granted Critical
Publication of JP7481783B1 publication Critical patent/JP7481783B1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

位置検出装置は、人間の手における親指のDIP関節の曲げを検出する親指DIP関節センサと、親指のMP関節の曲げを検出する親指MP関節センサと、人間の手において親指のCM関節の曲げにより移動する第1部位と、人間の手において第1部位と異なる第2部位との距離を検出する第1距離センサと、親指DIP関節センサの検出結果、親指MP関節センサの検出結果及び第1距離センサの検出結果を用いて親指の位置を算出する位置算出部と、を備える。

Description

本発明は、位置検出装置及び情報処理システムに関する。
デバイスへの入力に、人間の手の動きを検出した検出結果が利用されることがある。例えば、ゲームやコミュニケーション、教育、医療、観光など様々な分野において、人の手の動きを入力に用いて、仮想現実などにより各種体験が提供されている。
人間の手の動きを検出する技術として、例えば、下記特許文献1の特開2008-109999号公報に開示された技術がある。人間の手の親指は、他の指に比べて可動域が広くその位置を検出することが難しく、親指の位置検出の精度向上が望まれることがある。
特開2008-109999号公報
本発明の第1の態様に従えば、人間の手における親指のDIP関節の曲げを検出する親指DIP関節センサと、親指のMP関節の曲げを検出する親指MP関節センサと、人間の手において親指のCM関節の曲げにより移動する第1部位と、人間の手において第1部位と異なる第2部位との距離を検出する第1距離センサと、親指DIP関節センサの検出結果、親指MP関節センサの検出結果及び第1距離センサの検出結果を用いて親指の位置を算出する位置算出部と、を備える位置検出装置が提供される。
本発明の第2の態様に従えば、本発明の第1の態様の位置検出装置と、位置算出部が算出した親指の位置を用いて情報を処理する情報処理装置と、を備える情報処理システムが提供される。
本発明によれば、親指の位置検出の精度を向上できる。本発明は、例えば、手の動きの検出結果を入力に用いる各種アプリケーションへ応用でき、このアプリケーションは、例えばVRによって各種体験を提供できる。このような本発明は、例えば、国連が主導する持続可能な開発目標(SDGs)の目標4「すべての人に包摂的かつ公正な質の高い教育を確保し、生涯学習の機会を促進する」ことの達成に貢献する。
実施形態に係る情報処理システムを示す図である。 実施形態に係る位置検出装置を示す図である。 実施形態に係る関節センサを示す図である。 実施形態に係る距離センサを示す図である。 実施形態に係る距離センサの動作を示す図である。 実施形態に係る位置算出部が実行する算出方法を示す図である。
実施形態について説明する。図1は、実施形態に係る情報処理システムを示す図である。この情報処理システムSYSは、例えば、仮想現実(VR)によってユーザに体験を提供する体験システムとして利用される。情報処理システムSYSは、位置検出装置1と、情報処理装置2とを備える。情報処理システムSYSは、ユーザの手3における指の動きを位置検出装置1によって検出し、位置検出装置1の検出結果を情報処理装置2によって処理して、表示デバイス4に画像5(例、VRのコンテンツの画像)を表示させる。
位置検出装置1は、ボディ6と、複数の曲げセンサ7と、距離センサ8と、コントローラ9とを備える。ボディ6は、手3の少なくとも一部を覆う形状(例、グローブ形状)である。位置検出装置1は、ボディ6がユーザの手3に装着された状態で、使用される。曲げセンサ7、距離センサ8、及びコントローラ9は、例えばボディ6に取り付けられる。
複数の曲げセンサ7の少なくとも一部は、人間の手における親指に設けられ、親指の曲げを検出する。距離センサ8は、親指の所定の部位と、人間の手の親指以外の所定の部位との距離を検出する。コントローラ9は、曲げセンサ7の検出結果と、距離センサ8の検出結果とを用いて、人間の手における親指の相対位置を算出する。
曲げセンサ7は、指の関節の曲げを検出する。曲げセンサ7は、ボディが手3に装着された状態において指の関節の位置に配置されるように、ボディ6に位置決めされている。距離センサ8は、親指における所定の第1部位(例、親指の指先)と、手において親指以外の所定の第2部位(例、人差指の指先)との距離を検出する。距離センサ8は、ボディ6が手に装着された状態において第1部位と第2部位と配置されるように、ボディ6に位置決めれている。
コントローラ9は、曲げセンサ7の検出結果及び距離センサ8の検出結果を取得する。コントローラ9は、曲げセンサ7の検出結果及び距離センサ8の検出結果を用いて、手3の指の各部位の位置を算出する。親指以外の指は、指先を手のひらに近づけたり遠ざけたりする方向(適宜、前後方向という)の可動域が広い。また、親指以外の指は、指先を隣の指へ近づけたり遠ざけたりする方向(適宜、横方向という)の可動域が、前後方向の可動域よりも狭い。したがって、親指以外の指における各部位の位置は、関節の曲げの検出結果から、簡易に精度よく算出される。
親指は、関節の曲げの他、指先が弧を描くように回転させることができ、親指以外の指に比べて可動域が広い。親指は、その各部位の位置を、関節の曲げの検出結果から簡易に精度よく算出することが難しい。実施形態に係る位置検出装置1は、親指の所定の部位と親指以外の所定の部位との距離を検出し、この検出結果と、親指の関節の曲げの検出結果とを用いて、親指の各部位の位置を算出する。したがって、位置検出装置1は、親指の各部位の位置を精度よく検出できる。
本実施形態において、曲げセンサ7及び距離センサ8は、繰り返し(例、周期的に)検出を実行する。コントローラ9は、曲げセンサ7及び距離センサ8が検出を1回実行するたびに、又は検出を複数回実行するたびに、検出結果を用いて、指の位置を算出する。コントローラ9は、算出した指の位置を表す位置情報を出力する。
情報処理装置2は、位置検出装置1が検出した親指の位置の情報を用いて情報を処理する。情報処理装置2は、例えば、1又は2以上のコンピュータを含むコンピュータシステムである。情報処理装置2は、位置検出装置1と通信可能に接続される。情報処理装置2は、位置検出装置1が出力した指の位置情報を取得する。情報処理装置2には、アプリケーションソフトウェアがインストールされている。情報処理装置2は、位置検出装置1が出力した指の位置情報を適宜処理し、アプリケーションソフトウェアへの入力として用いる。
例えば、アプリケーションソフトウェア上のコマンドの少なくとも1つは、指のパターン(例、指の姿勢、ジェスチャー)と予め対応付けられている。情報処理装置2は、指の位置情報から指のパターンを判別(例、特定、推定)し、判別された指のパターンに対応するコマンドによってアプリケーションソフトウェアに処理を実行させる。コマンドは、サイバー空間上のオブジェクトに変化を与える処理を実行させるものでもよいし、コンテンツを切り替える処理を実行させるものでもよく、その他の処理を実行させるものでもよい。実施形態に係る情報処理システムSYSは、位置検出装置1が親指の位置を精度よく検出できるので、位置検出装置1の検出結果を利用する処理を適切に実行できる。
アプリケーションソフトウェアは、例えば、VRのコンテンツを提供するVRアプリを含む。VRアプリは、例えば、実空間上の手3の動きに応じて、サイバー空間上の手の動きを表す画像5Aを生成する。VRアプリは、例えば、実空間上に存在しないサイバー空間上のオブジェクト表す画像5Bを生成する。VRアプリは、サイバー空間上の手の画像5Aとオブジェクトの画像5Bとを含む画像5のデータを出力する。
表示デバイス4は、例えばヘッドマウントディスプレイであり、実空間上のユーザに画像を提示する。表示デバイス4は、情報処理システムSYSの一部でもよいし、情報処理システムSYSの外部の装置でもよい。表示デバイス4は、情報処理装置2と通信可能に接続される。表示デバイス4は、情報処理装置2から出力された画像のデータを取得する。表示デバイス4は、取得した画像のデータを用いて、手の画像5Aとオブジェクトの画像5Bとを含む画像5を表示する。例えば、ユーザは、表示デバイス4が表示する画像5を視認することによって、実空間と異なる体験が得られる。
ユーザは、例えば、ゲームの画像を表示デバイス4によって視聴しながら、位置検出装置1によってゲーム内のアバターを操作できる。ユーザは、例えば、物の加工や医療行為などの手を用いる各種作業を情報処理システムSYSによってシミュレーションし、各種作業のスキルを向上できる。ユーザは、例えば、住居をVR上に再現したコンテンツを情報処理システムSYSによって再生し、住居内の設備に手を触れる疑似体験を通じて居住性を確認できる。ユーザは、例えば、情報処理システムSYSによって遠隔地の他のユーザとコミュニケーションを取ることができ、例えば他のユーザと握手したりスポーツをしたりすることを体験できる。
次に、位置検出装置1の各部について説明する。図2は、実施形態に係る位置検出装置を示す図である。位置検出装置1は、親指DIP関節センサ11と、親指MP関節センサ12と、位置算出部13とを備える。図2に示す各種関節センサは、図1の曲げセンサ7に相当する。親指DIP関節センサ11及び親指MP関節センサ12は、例えば、ボディ6(図1参照)において親指を覆う部分(適宜、親指部分6Aという)に設けられる。
図3は、実施形態に係る関節センサを示す図である。図3上段の符号Q1は、人間の手の骨格図に相当する。骨格図Q1において、符号J1は親指のDIP関節を示し、符号J2は親指のMP関節を示し、符号J3は親指のCM関節を示す。親指のDIP関節J1及びMP関節J2は、いずれもヒンジのような構造であり、1軸周りの回転を許容し、この軸に直交する軸周りの回転を制限する。親指のCM関節J3は、ボールジョイントのような構造であり、2軸周りの回転を許容する。
図3下段の符号Q2は、各種関節センサの配置図に相当する。関節センサは、例えばひずみゲージを含む。関節センサは、関節の曲げに伴ってひずみゲージが伸張し、ひずみゲージの抵抗値が変化する。親指DIP関節センサ11は、人間の手3における親指のDIP関節J1の曲げを検出する。親指DIP関節センサ11は、親指のDIP関節J1をまたぐように配置される。親指MP関節センサ12は、親指のMP関節J2の曲げを検出する。親指MP関節センサ12は、親指のMP関節J2をまたぐように配置される。
図2の説明に戻り、本実施形態の位置検出装置1は、人差指DIP関節センサ14と、人差指PIP関節センサ15と、人差指MP関節センサ16とを備える。人差指DIP関節センサ14、人差指PIP関節センサ15、及び人差指MP関節センサ16は、例えば、ボディ6(図1参照)において人差指を覆う部分(適宜、人差指部分6Bという)に設けられる。
本実施形態の位置検出装置1は、中指DIP関節センサ17と、中指PIP関節センサ18と、中指MP関節センサ19とを備える。中指DIP関節センサ17、中指PIP関節センサ18、及び中指MP関節センサ19は、例えば、ボディ6(図1参照)において中指を覆う部分(適宜、中指部分6Cという)に設けられる。
図3の骨格図Q1において、符号J4は人差指のDIP関節を示し、符号J5は人差指のPIP関節を示し、符号J6は人差指のMP関節を示す。人差指のDIP関節J4、PIP関節J5及びMP関節J6は、いずれもヒンジのような構造であり、1軸周りの回転を許容し、この軸に直交する軸周りの回転を制限する。
人差指DIP関節センサ14は、人間の手における人差指のDIP関節J4の曲げを検出する。人差指DIP関節センサ14は、図3の配置図Q2に示すように、人差指のDIP関節J4をまたぐように配置される。人差指PIP関節センサ15は、人間の手3における人差指のPIP関節J5の曲げを検出する。人差指DIP関節センサ14は、配置図Q2に示すように、人差指のPIP関節J5をまたぐように配置される。人差指MP関節センサ16は、人間の手3における人差指のMP関節J6の曲げを検出する。人差指MP関節センサ16は、図3の配置図Q2に示すように、人差指のMP関節J6をまたぐように配置される。
図3の骨格図Q1において、符号J7は中指のDIP関節を示し、符号J8は中指のPIP関節を示し、符号J9は中指のMP関節を示す。中指のDIP関節J7、PIP関節J8及びMP関節J9は、いずれもヒンジのような構造であり、1軸周りの回転を許容し、この軸に直交する軸周りの回転を制限する。
中指DIP関節センサ17は、人間の手3における中指のDIP関節J7の曲げを検出する。中指DIP関節センサ17は、図3の配置図Q2に示すように、中指のDIP関節J7をまたぐように配置される。中指PIP関節センサ18は、人間の手3における中指のPIP関節J8の曲げを検出する。中指DIP関節センサ17は、図3の配置図Q2に示すように、中指のPIP関節J8をまたぐように配置される。中指MP関節センサ19は、人間の手3における中指のMP関節J9の曲げを検出する。中指MP関節センサ19は、図3の配置図Q2に示すように、中指のMP関節J9をまたぐように配置される。
図2の説明に戻り、位置検出装置1は、第1距離センサ21を備える。第1距離センサ21は、人間の手において親指のCM関節の曲げにより移動する第1部位と、人間の手において第1部位と異なる第2部位との距離を検出する。第1部位は、例えば、親指のMP関節よりも親指の指先側の部位である。第1部位は、親指のMP関節とCM関節との間の部分でもよい。第2部位は、例えば、人間の手において親指と異なる指のMP関節よりも指先側の部位である。第2部位は、例えば、人差指のMP関節よりも指先側の所定の部位である。第2部位は、手のひらの部位でもよいし、手の甲の部位でもよい。
第1距離センサ21は、第1信号発生部22と、信号検出部23と、距離算出部24とを含む。第1信号発生部22は、第1部位と第2部位とのうち一方の部位に装着される。信号検出部23は、第1部位と第2部位とのうち一方の部位と異なる他方の部位に装着される。例えば、第1信号発生部22は第2部位(例、人差指の部位)に装着され、信号検出部23は、例えば、第1部位(例、親指の部位)に装着される。第1信号発生部22は、例えば、ボディ6(図1参照)の人差指部分6Bに設けられる。信号検出部23は、例えば、ボディ6(図1参照)の親指部分6Aに設けられる。距離算出部24は、例えば、コントローラ9に設けられる。
本実施形態において、位置検出装置1は第2距離センサ25を備える。第2距離センサ25は、人間の手において第2部位と異なる第3部位と、第1部位との距離を検出する。本実施形態において、第2距離センサ25は、第2信号発生部26と、信号検出部23と、距離算出部24とを含む。本実施形態において、信号検出部23及び距離算出部24は、第1距離センサ21と第2距離センサ25とで共用である。第2信号発生部26は、第3部位に装着され、信号を発する。第3部位は、例えば、中指のMP関節よりも指先側の所定の部位である。
図4は、実施形態に係る距離センサを示す図である。図4上段の符号Q3は、距離センサの配置図に相当する。第1信号発生部22は、例えば、人差指のDIP関節よりも指先側の部位に配置される。第2信号発生部26は、例えば、中指のDIP関節よりも指先側の部位に配置される。信号検出部23は、例えば、親指のDIP関節よりも指先側の部位に配置される。
図4下段の符号Q4は、親指の位置を検出する方法の説明図に相当する。第1信号発生部22は、信号を発生する。信号検出部23は、第1信号発生部22から発せられた信号を検出する。距離算出部24は、信号検出部23が検出した信号の強度を用いて、第1部位と第2部位との距離を算出する。第1信号発生部22は、例えば、光(例、赤外線)によって情報を伝える光信号を発する。第1信号発生部22は、例えば、所定波長の光を発する発光部を含む。信号検出部23は、第1信号発生部22が発した光を検出する受光部を含む。
信号検出部23が検出する光の強度は、第1信号発生部22と信号検出部23との距離が長いほど弱い。信号の強度と距離との関係は、実験などにより予め導出されている。図2の距離算出部24は、第1部位と第2部位との距離の強度と距離との関係を示す関数と、信号検出部23が検出した光信号の強度とを用いて、第1信号発生部22と信号検出部23との距離を算出する。距離算出部24は、例えば、第1部位と第2部位との距離の近似値として、第1信号発生部22と信号検出部23との距離を算出する。
人差指の各部位の位置(例、第1信号発生部22の位置)は、例えば、人差指の関節センサの検出結果により、簡易に精度よく推定される。親指の各部位の位置(例、信号検出部23の位置)は、例えば、親指の関節センサの検出結果により、簡易に、第1レベルの精度で推定される。関節センサの検出結果から推定された第1信号発生部22の位置及び信号検出部23の位置から、第1信号発生部22と信号検出部23との距離が算出される。関節センサの検出結果から算出される第1信号発生部22と信号検出部23との距離と、第1距離センサが検出した距離とを比較することで、例えば、関節センサの検出結果から推定される親指の各部位の位置の誤差レベルが把握される。親指の各部位の位置は、関節センサの検出結果から推定される親指の各部位の位置を誤差レベルに応じて補正することにより、簡易に、第1レベルよりも高い精度で推定される。
図5は、実施形態に係る距離センサの動作を示す図である。本実施形態において、第1信号発生部22と第2信号発生部26とは互いに異なるタイミングで信号を発する。例えば、第1信号発生部22及び第2信号発生部26は、それぞれ、コントローラ9(図2参照)から供給される電気信号によって駆動される。第1信号発生部22が信号を発するタイミングは、例えば、コントローラ9から第1信号発生部22に供給される電気信号によって定められる。第2信号発生部26が信号を発するタイミングは、例えば、コントローラ9から第2信号発生部26に供給される電気信号によって定められる。第1信号発生部22及び第2信号発生部26は、例えば、信号として、同じ周期かつ位相が異なるパルス光を発する。
図5の「信号発生部 検出結果」において、第1信号発生部から発せられた信号の信号強度は、白抜きの棒で表され、第2信号発生部から発せられた信号の信号強度は、黒塗りの棒で表される。このように、第1信号発生部22が信号を発するタイミングと、第2信号発生部26が信号を発するタイミングとが既知であれば、信号検出部23の検出結果から、第1信号発生部22に対応する検出結果と、第2信号発生部26に対応する検出結果とを抽出できる。
図2の説明に戻り、距離算出部24は、信号検出部23が信号を検出したタイミングを用いて、第1信号発生部22と第2信号発生部26とのうち信号検出部23が検出した信号の発生源を特定し、発生源と信号検出部23との距離を算出する。距離算出部24は、例えば、信号検出部23が信号を検出したタイミングとして、コントローラ9から第1信号発生部22に供給される電気信号によって定められるタイミングを用いる。
例えば、距離算出部24は、例えば、コントローラ9から第1信号発生部22に供給される電気信号によって定められるタイミングと、信号検出部23の検出結果の時間履歴とを比較して、第1信号発生部22に対応する信号検出部23の検出結果を特定し、第1信号発生部22と信号検出部23との距離を算出する。
距離算出部24は、例えば、コントローラ9から第2信号発生部26に供給される電気信号によって定められるタイミングと、信号検出部23の検出結果の時間履歴とを比較して、第2信号発生部26に対応する信号検出部23の検出結果を特定し、第2信号発生部26と信号検出部23との距離を算出する。
位置算出部13は、親指DIP関節センサの検出結果、親指MP関節センサの検出結果及び第1距離センサの検出結果を用いて親指の位置を算出する。本実施形態において、位置算出部13は、第2距離センサ25の検出結果を用いて親指の位置を算出する。
図6は、実施形態に係る位置算出部が実行する位置の算出方法を示す図である。親指のCM関節J3は、例えばボールジョイントのような構造で近似される。親指のCM関節J3に対するMP関節J2の位置は、CM関節J3の位置を原点とする極座標で表される。図6において、rはCM関節J3とMP関節J2との距離である。rの値は、例えば、位置検出装置1における設定値(例、固定値、可変値)で与えられる。
z方向は、例えば、親指を伸ばした状態において、親指のCM関節J3と指先とを結ぶ方向である。θは、親指のCM関節J3とMP関節J2とを結ぶ方向と、z方向とがなす角度である。x方向は、z方向に垂直かつ親指のCM関節J3を通る平面上の方向である。φは、親指のCM関節J3とMP関節J2とを結ぶ方向の、x方向を基準とするz方向周りの回転角である。φは、x方向に平行な方向と、MP関節J2からz方向におろした垂線との角度で表される。
MP関節J2の位置は、rを固定値すると、θ及びφを変数とする関数で表される。θ及びφの値は、親指の第1部位と親指以外の第2部位との距離、及び親指の第1部位と親指以外の第3部位との距離と関係性がある。したがって、親指のMP関節J2の位置は、第1部位と第2部位との距離及び第1部位と第3部位との距離を変数とする関数で表される。位置算出部13は、例えば、親指の第1部位と親指以外の第2部位との距離、及び親指の第1部位と親指以外の第3部位との距離を用いて、親指のMP関節J2の位置を算出する。位置算出部13は、例えば、算出したMP関節J2の位置と、親指DIP関節センサ11の検出結果から算出される親指のDIP関節J1の曲がり角度とを用いて、親指の各部の位置を算出する。
第2部位の位置は、例えば、第2部位が親指以外の指に設定される場合、この指の関節センサーの検出結果から算出されて既知となる。第2部位の位置は、例えば、第2部位が手のひらに設定される場合、位置検出装置1における設定値(例、固定値、可変値)で与えられて既知である。第3部位の位置は、第2部位の位置と同様に既知である。第1部位とMP関節J2との相対位置は、例えば、第1部位が親指のMP関節J2よりも指先側の部位に設定される場合、親指の関節センサの検出結果から算出されて既知となる。第1部位とMP関節J2との相対位置は、例えば、第1部位が親指のMP関節J2とCM関節J3との間の部位に設定される場合、例えば位置検出装置1における設定値(例、固定値、可変値)で与えられて既知である。
上述のような実施形態に係る位置検出装置1は、親指の関節の曲げの検出結果、及び親指の所定の部位と親指以外の所定の部位との距離の検出結果を用いて、親指の各部の位置を算出するので、例えば、親指の姿勢を簡易に精度よく検出できる。位置算出部13は、例えば、第1距離センサの検出結果及び第2距離センサの検出結果を用いて、親指の位置を算出する。この場合、位置検出装置1は、親指の位置をより精度よく検出できる。第1距離センサ及び第2距離センサは、例えば、信号検出部が共用である。この場合、位置検出装置1は、第1距離センサ及び第2距離センサとで信号検出部が別々に設けられる場合に比べて、構成がシンプルになる。また、第1部位に対して、第2部位との距離及び第3部位との距離を検出するので、独立した2つの距離を検出する場合に比べて、例えば、誤差を低減すること、親指の位置を算出する処理の負荷を低減すること等ができる。
なお、位置算出部13は、親指DIP関節センサ11の検出結果及び親指MP関節センサ12の検出結果を用いて算出される第1部位の位置を、第2部位の位置の情報及び距離算出部24が算出した距離を用いて補正してもよい。この場合、位置算出部13は、第1部位と第3部位との距離を用いないで、親指の位置を算出してもよく、位置検出装置1は第2距離センサ25を備えなくてもよい。
なお、位置検出装置1は、第1部位と第2部位との距離、及び第2距離センサ25と異なるセンサの検出結果を用いて、親指の位置を算出してもよく、この場合、位置検出装置1は第2距離センサ25を備えなくてもよい。第2距離センサ25と異なるセンサとしては、例えば、親指の加速度を検出する加速度センサなどが挙げられる。
なお、位置算出部13は、第1部位と第2部位との距離、及び親指の動きの推定結果を用いて、親指の位置を検出してもよい。例えば、図4下段において、親指は、人差し指と物を挟むように動くと推定される。この場合、親指の動きは、人差指の動きと関係性があり、親指の位置の算出に用いられる変数の数が少なくてもよい。この場合、この場合、位置算出部13は、第1部位と第3部位との距離を用いないで、親指の位置を算出してもよく、位置検出装置1は第2距離センサ25を備えなくてもよい。
なお、位置検出装置1は、位置検出装置1における関節間の距離の設定値を、ユーザの手の関節間の距離との差が減少するように、キャリブレーション処理を実行してもよい。例えば、キャリブレーション処理において、ユーザは、指の姿勢を所定の姿勢(例、各指を伸ばして隣の指につけた姿勢、手を握った姿勢)にし、位置検出装置1は、ユーザの各指の位置を検出する。位置検出装置1は、キャリブレーション処理において、例えば検出した各指の位置から推定される手の姿勢が所定の姿勢に近づくように、各指の位置を算出する際のパラメータを調整する。キャリブレーション処理は、例えば、ユーザが位置検出装置1を使用する際の前処理として実行される。表示デバイス4は、キャリブレーション処理において、ユーザに対するガイダンスの情報(例、所定の姿勢)を表示してもよい。位置検出装置1は、表示デバイス4がガイダンスの情報を表示するタイミングに対して所定のタイミングで、ユーザの手における指の位置を検出してもよい。
なお、位置検出装置1は、上述のキャリブレーション処理を実行しなくてもよい。例えば、位置検出装置1として、ボディ6のサイズが異なる複数の製品が提供される。ユーザが自身の手のサイズに合う製品を選択する。関節間の距離は、例えばユーザの手の大きさと関係性があり、ユーザが自身の手のサイズに合う製品を選択すると、位置検出装置1において関節間の距離として想定される値と、ユーザの手における関節間の距離との誤差が許容範囲になる。親指の位置に算出に使用されるパラメータは、位置検出装置1と異なる装置がユーザの手を検出した結果におり設定されてもよい。
なお、本発明の技術範囲は、上述の実施形態等で説明した態様に限定されない。上述の実施形態等で説明した要件の1つ以上は、省略されることがある。また、上述の実施形態等で説明した要件は、適宜組み合わせることができる。また、法令で許容される限りにおいて、上述の実施形態等で引用した全ての文献の開示を援用して本文の記載の一部とする。
なお、第2信号発生部26は、例えば中指部分6Cに設けられるが、中指部分6Cと異なる位置に設けられてもよく、人差指部分において第1信号発生部22と異なる位置に設けられてもよい。信号発生部は、例えば親指部分6Aと異なる位置に設けられ、信号検出部が親指部分6Aに設けられるが、親指部分6Aに設けられ、信号検出部が親指部分6Aと異なる位置に設けられてもよい。
なお、図2において、複数の信号発生部(第1信号発生部22、第2信号発生部26)に対して、1つの信号検出部23が設けられるが、1つの信号発生部に対して1つの信号検出部が設けられてもよい。例えば、位置検出装置1は、第1信号発生部22と、第1信号発生部22が発した信号を検出する第1信号検出部と、第2信号発生部26と、第2信号発生部26が発した信号を検出し、第1信号発生部と異なる第2信号検出部とを備えてもよい。
なお、位置検出装置1は、1つの信号発生部が発した信号を検出する複数の信号検出部を備えてもよい。例えば、親指に信号発生部が設けられ、親指以外の部位に複数の信号検出部が設けられてもよい。親指以外の部位に信号発生部が設けられ、親指に複数の信号検出部が設けられてもよい。
なお、距離センサは、信号として光信号(例、赤外線)を利用するものでもよいし、電波によって情報を伝える電波信号を利用するものでもよく、磁気によって情報を伝える磁気信号を利用するものでもよい。距離センサは、光以外の物理現象を利用するものでもよく、例えば、第1部位と第2部位との間の静電容量によって、第1部位と第2部位との間の距離を検出するものでもよい。信号が人間の手を透過する特性を有する場合、信号発生部と信号検出部とは、人間の手が介在する位置に配置されてもよい。
なお、図2には親指、人差指、及び中指の関節センサを示したが、薬指と小指との一方又は双方の関節センサが設けられてもよい。親指以外の指の少なくとも1つについては、指の各部の位置を検出してもよいし、指の各部の位置を検出しなくてもよい。親指以外の指の少なくとも1つについては、関節センサのみを用いて検出してもよいし、関節センサと他のセンサを組み合わせて用いて検出してもよく、関節センサの他のセンサのみを用いて検出してもよい。
1 位置検出装置
2 情報処理装置
3 手
11 親指DIP関節センサ
12 親指MP関節センサ
13 位置算出部
21 第1距離センサ
22 第1信号発生部
23 信号検出部
24 距離算出部
25 第2距離センサ
26 第2信号発生部

Claims (8)

  1. 人間の手における親指のDIP関節の曲げを検出する親指DIP関節センサと、
    前記親指のMP関節の曲げを検出する親指MP関節センサと、
    前記人間の手において前記親指のCM関節の曲げにより移動する第1部位と、前記人間の手において前記第1部位と異なる第2部位との距離を検出する第1距離センサと、
    前記親指DIP関節センサの検出結果、前記親指MP関節センサの検出結果及び前記第1距離センサの検出結果を用いて前記親指の位置を算出する位置算出部と、を備える
    位置検出装置。
  2. 前記第1距離センサは、
    前記第1部位と前記第2部位とのうち一方の部位に装着され、信号を発する第1信号発生部と、
    前記第1部位と前記第2部位とのうち前記一方の部位と異なる他方の部位に装着され、前記第1信号発生部から発せられた信号を検出する信号検出部と、
    前記信号検出部が検出した信号の強度を用いて、前記第1部位と前記第2部位との距離を算出する距離算出部と、を含む
    請求項1に記載の位置検出装置。
  3. 前記人間の手において前記第2部位と異なる第3部位と前記第1部位との距離を検出する第2距離センサを備え、
    前記位置算出部は、前記第2距離センサの検出結果を用いて前記親指の位置を算出する、
    請求項2に記載の位置検出装置。
  4. 前記第2距離センサは、
    前記第3部位に装着され、信号を発する第2信号発生部と、
    前記第1部位に装着される前記信号検出部と、
    前記距離算出部と、を含む、
    請求項3に記載の位置検出装置。
  5. 前記第1信号発生部と前記第2信号発生部とは互いに異なるタイミングで信号を発し、
    前記距離算出部は、前記信号検出部が信号を検出したタイミングを用いて、前記第1信号発生部と前記第2信号発生部とのうち前記信号検出部が検出した信号の発生源を特定し、前記発生源と前記信号検出部との距離を算出する、
    請求項4に記載の位置検出装置。
  6. 前記第1部位は、前記親指のMP関節よりも前記親指の指先側の部位である、
    請求項5に記載の位置検出装置。
  7. 前記第2部位は、前記人間の手において前記親指と異なる指のMP関節よりも指先側の部位であり、
    前記位置算出部は、前記親指DIP関節センサの検出結果及び前記親指MP関節センサの検出結果を用いて算出される前記第1部位の位置を、前記第2部位の位置の情報及び前記距離算出部が算出した距離を用いて補正する、
    請求項6に記載の位置検出装置。
  8. 請求項1から請求項7のいずれか1項に記載の位置検出装置と、
    前記位置算出部が算出した前記親指の位置を用いて情報を処理する情報処理装置と、
    を備える情報処理システム。
JP2024519766A 2023-01-05 2023-01-05 位置検出装置及び情報処理システム Active JP7481783B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024068290A JP2024097322A (ja) 2023-01-05 2024-04-19 位置検出装置及び情報処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/000075 WO2024147180A1 (ja) 2023-01-05 2023-01-05 位置検出装置及び情報処理システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024068290A Division JP2024097322A (ja) 2023-01-05 2024-04-19 位置検出装置及び情報処理システム

Publications (1)

Publication Number Publication Date
JP7481783B1 true JP7481783B1 (ja) 2024-05-13

Family

ID=91030954

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2024519766A Active JP7481783B1 (ja) 2023-01-05 2023-01-05 位置検出装置及び情報処理システム
JP2024068290A Pending JP2024097322A (ja) 2023-01-05 2024-04-19 位置検出装置及び情報処理システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024068290A Pending JP2024097322A (ja) 2023-01-05 2024-04-19 位置検出装置及び情報処理システム

Country Status (2)

Country Link
JP (2) JP7481783B1 (ja)
WO (1) WO2024147180A1 (ja)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5482056A (en) 1994-04-04 1996-01-09 Kramer; James F. Determination of thumb position using measurements of abduction and rotation
JP2000132305A (ja) 1998-10-23 2000-05-12 Olympus Optical Co Ltd 操作入力装置
JP2010089248A (ja) 2008-10-09 2010-04-22 National Chiao Tung Univ ハンドパペットマニピュレーションシステム
JP2010207292A (ja) 2009-03-06 2010-09-24 Terumo Corp 手袋及び手技記録再生装置
JP5189484B2 (ja) 2005-04-07 2013-04-24 ヘティッヒ‐ハインゼ ゲーエムベーハー ウント ツェーオー. カーゲー 接続挿入体
WO2016038953A1 (ja) 2014-09-10 2016-03-17 ソニー株式会社 検出装置、検出方法、制御装置、および制御方法
JP2017530452A (ja) 2014-08-22 2017-10-12 株式会社ソニー・インタラクティブエンタテインメント 手袋インタフェースオブジェクト
WO2020039507A1 (ja) 2018-08-21 2020-02-27 株式会社ソニー・インタラクティブエンタテインメント コントローラ装置
US20200093202A1 (en) 2018-01-19 2020-03-26 Feel The Same, Inc. Soft sensor and manufacturing method therefor, and hand-wearable device having soft sensor and manufacturing method therefor
WO2021145068A1 (ja) 2020-01-17 2021-07-22 ソニーグループ株式会社 情報処理装置及び情報処理方法、コンピュータプログラム、並びに拡張現実感システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3311025B2 (ja) * 1991-07-12 2002-08-05 株式会社東芝 情報検索装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5482056A (en) 1994-04-04 1996-01-09 Kramer; James F. Determination of thumb position using measurements of abduction and rotation
JP2000132305A (ja) 1998-10-23 2000-05-12 Olympus Optical Co Ltd 操作入力装置
JP5189484B2 (ja) 2005-04-07 2013-04-24 ヘティッヒ‐ハインゼ ゲーエムベーハー ウント ツェーオー. カーゲー 接続挿入体
JP2010089248A (ja) 2008-10-09 2010-04-22 National Chiao Tung Univ ハンドパペットマニピュレーションシステム
JP2010207292A (ja) 2009-03-06 2010-09-24 Terumo Corp 手袋及び手技記録再生装置
JP2017530452A (ja) 2014-08-22 2017-10-12 株式会社ソニー・インタラクティブエンタテインメント 手袋インタフェースオブジェクト
WO2016038953A1 (ja) 2014-09-10 2016-03-17 ソニー株式会社 検出装置、検出方法、制御装置、および制御方法
US20200093202A1 (en) 2018-01-19 2020-03-26 Feel The Same, Inc. Soft sensor and manufacturing method therefor, and hand-wearable device having soft sensor and manufacturing method therefor
WO2020039507A1 (ja) 2018-08-21 2020-02-27 株式会社ソニー・インタラクティブエンタテインメント コントローラ装置
WO2021145068A1 (ja) 2020-01-17 2021-07-22 ソニーグループ株式会社 情報処理装置及び情報処理方法、コンピュータプログラム、並びに拡張現実感システム

Also Published As

Publication number Publication date
WO2024147180A1 (ja) 2024-07-11
JP2024097322A (ja) 2024-07-18

Similar Documents

Publication Publication Date Title
US10416755B1 (en) Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system
US10579151B2 (en) Controller for finger gesture recognition and method for recognizing finger gesture
US10317997B2 (en) Selection of optimally positioned sensors in a glove interface object
JP2022535315A (ja) 自己触覚型仮想キーボードを有する人工現実システム
US10191544B2 (en) Hand gesture recognition system for controlling electronically controlled devices
Benda et al. Determining detection thresholds for fixed positional offsets for virtual hand remapping in virtual reality
US10976863B1 (en) Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user
KR101338043B1 (ko) 실감 인터랙션을 이용한 인지재활 시스템 및 방법
Lee et al. Enlarging just noticeable differences of visual-proprioceptive conflict in VR using haptic feedback
KR100934391B1 (ko) 6자유도 햅틱 장치를 이용한 핸드 기반 잡기 인터랙션시스템
KR102170638B1 (ko) 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 vr 시스템
Buń et al. Possibilities and determinants of using low-cost devices in virtual education applications
JP2022534639A (ja) 指マッピング自己触覚型入力方法を有する人工現実システム
Cameron et al. Hand tracking and visualization in a virtual reality simulation
US10890964B2 (en) Intent based inputs and forced feedback system for a virtual reality system
WO2017021902A1 (en) System and method for gesture based measurement of virtual reality space
Otaran et al. Haptic ankle platform for interactive walking in virtual reality
WO2020009715A2 (en) Tracking user movements to control a skeleton model in a computer system
US20240036648A1 (en) Multiple-magnet hand-mounted position-tracking device
RU2670649C9 (ru) Способ изготовления перчатки виртуальной реальности (варианты)
JP7481783B1 (ja) 位置検出装置及び情報処理システム
Butnariu et al. DEVELOPMENT OF A NATURAL USER INTERFACE FOR INTUITIVE PRESENTATIONS IN EDUCATIONAL PROCESS.
Nakamura et al. Evaluation of spatial directional guidance using cheek haptic stimulation in a virtual environment
Matthews et al. Adaptive reset techniques for haptic retargeted interaction
Bayousuf et al. Haptics-based systems characteristics, classification, and applications

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240329

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20240329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240419

R150 Certificate of patent or registration of utility model

Ref document number: 7481783

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150