JP6716028B2 - 制御装置、情報処理システム、制御方法、及びプログラム - Google Patents
制御装置、情報処理システム、制御方法、及びプログラム Download PDFInfo
- Publication number
- JP6716028B2 JP6716028B2 JP2019514986A JP2019514986A JP6716028B2 JP 6716028 B2 JP6716028 B2 JP 6716028B2 JP 2019514986 A JP2019514986 A JP 2019514986A JP 2019514986 A JP2019514986 A JP 2019514986A JP 6716028 B2 JP6716028 B2 JP 6716028B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- information
- hand
- pose
- finger
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Description
当該手について、
親指:曲げ
人差し指:伸び
中指:伸び
薬指:伸び
小指:曲げ
という情報を、第1ポーズ情報として生成する。なお、後に述べるように、第2ポーズ情報において、指を伸ばした状態を「1.0」、限界まで曲げた状態を「0.0」として、関節が曲げられた度合い(指の開度)を数値として表現している場合、第1ポーズ情報生成部52は、第1ポーズ情報を、これに合わせて数値として表してもよい。もっとも、操作デバイス10のセンサ17が、指が曲げられているか伸びているかといった2段階でのみ判断できる場合は、指を伸ばした状態である「1.0」と、限界まで曲げた状態である「0.0」とのいずれかの値のみが出力される。例えば上記の例であれば、第1ポーズ情報生成部52は、第1ポーズ情報として
親指:0.0
人差し指:1.0
中指:1.0
薬指:1.0
小指:0.0
という情報を生成する。
親指:0.2
人差し指:1.0
中指:1.0
薬指:0.2
小指:0.1
などという情報(各指の開度の情報)を、第2ポーズ情報として生成する。なお、ここでは伸びている状態を「1」、限界まで曲げられた状態を「0」として、曲げられた割合を数値として表現している。
本発明の実施の形態に係る情報処理システム1は、例えば以上の構成を備えており、次のように動作する。なお、以下の例では、制御装置30が、アプリケーションプログラムとして、仮想的な三次元空間(仮想空間)内に、ユーザの指示に従って画像を描画するペイントプログラムを実行しているものとする。このペイントプログラムに従う制御装置30は、ユーザの左手の指が少なくとも一つ曲げられている間、ユーザの右手の指先の移動軌跡(実空間での右手の指先の移動軌跡に対応する、仮想空間内の対応する移動軌跡)に沿って、指定された色の球を次々に配して行くものとする。また右手の指のうち伸ばされている指が多くなるほど、球の半径を大きくするものとする。さらに、このペイントプログラムに従う制御装置30は、ユーザの左手のすべての指が伸ばされた状態となったと判断すると、色を選択するメニューを表示して、ユーザに色を選択させるものとする。この色を選択させている間は、ユーザの右手の指先の移動軌跡に沿って、指定された色の球を配する処理を行わない。
なお、ここまでの説明では、表示デバイス20のカメラ21にて撮像された画像データに、ユーザの各指が撮像されているか否かの条件に基づき、表示デバイス20のカメラ21にて撮像された画像データに基づいて生成された第2ポーズ情報と、ユーザの手に装着されたデバイスが検出した情報に基づいて生成された第1のポーズ情報とのそれぞれから選択的に各指の情報を取得することとしていたが、本実施の形態はこれに限られない。
F=(1−α)・Fp+α・Fr
というように、重みづけ平均により決定してもよい。
以上の説明では、表示デバイス20のカメラ21にて撮像された画像データに、ユーザの各指が撮像されているか否かの条件により、第1ポーズ情報と第2ポーズ情報とを組み合わせることとしていたが、本実施の形態において用いられる条件はこの条件に限られない。
また、手のポーズを表す情報としては、ここまでに述べたような、指の開度(関節がどれだけ曲げられているか/伸ばされているか)を表す情報に限られない。手のポーズを表す情報はこのほか、手の向き(手の平の法線の方向)や、親指の向きの情報等が含まれてもよい。
また、ここまでの説明において、第2ポーズ情報のもととなる画像データを撮影するカメラ21は表示デバイス20のユーザ前面側に配されるものとしたが、本実施の形態はこれに限られず、表示デバイス20の頭頂部や側頭部などに配されてもよい。さらに、このカメラは表示デバイス20とともに移動する必要は必ずしもなく、ユーザが所在する部屋に配置されたカメラであってもよい。またカメラは一つだけでなく、複数あってもよい。
また操作デバイス10は、ユーザが指を開いても落下することなく、ユーザの指の開度を測定できるものであれば、ここまでに例示したものでなくてもよい。例えば、ユーザが手に装着し、各指の開度(関節の曲げ角度)を歪みゲージ等で計測するグローブであってもよい。
本実施の形態では、さらに、制御装置30がユーザの手のポーズ情報に基づいて、生成して表示デバイス20に出力する画像データに含める仮想的なキャラクタの手の形状を変更するだけでなく、その画像データにおけるオブジェクトの表示態様を異ならせてもよい。例えば、制御装置30は、各指の開度の情報を、第1ポーズ情報と第2ポーズ情報とのいずれかから選択している場合、第1ポーズ情報から選択した情報に基づいて仮想空間内の位置を決定して描画している指と、第2ポーズ情報から選択した情報に基づいて仮想空間内の位置を決定して描画している指とで、異なる態様で指の描画を行ってもよい。具体的には、制御装置30は、第1ポーズ情報から選択した情報に基づいて仮想空間内の位置を決定して描画している指については、背景に半透明合成(アルファブレンディング)し、第2ポーズ情報から選択した情報に基づいて仮想空間内の位置を決定して描画している指については背景を透過させないで描画するようにしてもよい。また半透明合成するか否かではなく、輪郭線の色を異ならせるなど、他の方法で表示態様を異ならせてもよい。
また本実施の形態の制御装置30は、各指の開度の情報を、第1ポーズ情報と第2ポーズ情報とのいずれかから選択している場合、第1ポーズ情報から選択した情報に基づいて仮想空間内の位置を決定して描画している指と、第2ポーズ情報から選択した情報に基づいて仮想空間内の位置を決定して描画している指と、仮想空間内のオブジェクトとの接触判定(いわゆるコリジョン判定)の方法を異ならせてもよい。
なお、本実施の形態の例では、第1ポーズ情報によってその仮想空間内での位置が判断されていた指が、カメラ21の視野範囲に移動することで、第2ポーズ情報によってその仮想空間内での位置が判断されるように切り替わることが考えられる。このとき、推定結果の差によって指が不自然に移動することを防止するため、制御装置30は、指や手の位置等の情報について、前回の位置の情報との差が予め定めたしきい値を超える場合は、急速な変化を防止するために、前回の位置と今回演算された位置との間で時間に応じて変化する重みにより重みづけ付け平均し、徐々に今回演算された位置に移動するように調整してもよい。このような調整処理方法は広く知られた方法を採用できる。
また、制御装置30は、操作デバイス10が検出する情報と、表示デバイス20のカメラ21が撮像した画像データとの双方を用いて、ユーザの手の位置の情報を生成して出力してもよい。具体的に、操作デバイス10が重力方向に対するユーザの手の平の角度の情報を出力する場合、制御装置30は、この情報と、表示デバイス20のカメラ21が撮像した画像データから検出された手の位置の情報とに基づいて、ユーザの実空間内での手の位置の情報(実空間内に設定された所定座標系での手の重心位置の情報など)を生成して出力する。また制御装置30は、この手の重心位置の情報に対応する仮想空間内での位置の情報を生成して出力する。
また、本実施の形態では、制御装置30は、表示デバイス20のカメラ21にて撮像された画像データから、ユーザの指が検出できたか否かをユーザに通知してもよい。この通知は、表示デバイス20に対して表示することにより行ってもよいし、音声等で鳴動されてもよい。またユーザが触力覚提示デバイスを装着しているときには、制御装置30は、当該デバイスを用いて力覚を提示するなどして通知を行ってもよい。
Claims (10)
- ユーザの手に装着され、ユーザの指の動きに係る情報を取得する第1の検出装置、及び、前記第1の検出装置とは異なる場所に配され、所定の視野内にあるユーザの手の形状を検出する第2の検出装置に接続され、
前記第1の検出装置からユーザの指の動きに係る情報を受け入れるとともに、前記第2の検出装置からユーザの手の形状に係る情報を受け入れる受入手段と、
前記第1の検出装置により検出され、当該第1の検出装置から受け入れたユーザの指の動きに係る情報に基づいてユーザの手のポーズを表す第1のポーズ情報を生成する第1ポーズ情報生成手段と、
前記第2の検出装置により検出され、当該第2の検出装置から受け入れた、ユーザの手の形状に係る情報に基づいてユーザの手のポーズを表す第2のポーズ情報を生成する第2ポーズ情報生成手段と、
前記生成した第1のポーズ情報と、第2のポーズ情報とを、予め定めた条件に基づく基準に従って組み合わせて、ユーザの手のポーズを表す情報を生成して出力するポーズ情報出力手段と、を含み、
前記ポーズ情報出力手段は、前記予め定めた条件に基づく基準に従って、前記ユーザの指の動きに基づく第1のポーズ情報と、前記第2の検出装置により検出されたユーザの手の形状に基づく第2のポーズ情報と、のいずれかを選択して、ユーザの手のポーズを表す情報を生成して出力する制御装置。 - 請求項1に記載の制御装置であって、
前記予め定めた条件は、前記第2の検出装置の視野範囲に、前記ユーザの指が含まれるか否かに基づく条件を含む条件である制御装置。 - 請求項1または2に記載の制御装置であって、
前記予め定めた条件は、前記ユーザの指の動きに係る情報と、前記ユーザの手の形状に係る情報との時間的変化に係る条件を含む条件である制御装置。 - 請求項1から3のいずれか一項に記載の制御装置であって、
前記ユーザの手のポーズを表す情報は、
ユーザの手の向きと、
各指の開度と、
親指の向きと、
の少なくとも一つを含む情報である制御装置。 - 請求項1から4のいずれか一項に記載の制御装置であって、
さらに、ユーザに提示する画像情報を生成する手段を含み、
前記生成したユーザの手のポーズを表す情報に基づいて、当該生成する画像情報に含まれる画像の表示態様を異ならせる制御装置。 - 請求項1から5のいずれか一項に記載の制御装置であって、
当該制御装置に接続される前記第2の検出装置は、ユーザの頭部に装着されるヘッドマウントディスプレイに配され、ユーザの前方の所定範囲の視野内のユーザの手の形状を検出する装置である制御装置。 - ユーザの手に装着され、ユーザの指の動きに係る情報を取得する第1の検出装置と、
前記第1の検出装置とは異なる場所に配され、所定の視野内にあるユーザの手の形状を検出する第2の検出装置と、
前記第1の検出装置、及び第2の検出装置に接続される制御装置と、を含み、
前記制御装置が、
前記第1の検出装置からユーザの指の動きに係る情報を受け入れるとともに、前記第2の検出装置からユーザの手の形状に係る情報を受け入れる受入手段と、
前記第1の検出装置により検出され、当該第1の検出装置から受け入れたユーザの指の動きに係る情報に基づいてユーザの手のポーズを表す第1のポーズ情報を生成する第1ポーズ情報生成手段と、
前記第2の検出装置により検出され、当該第2の検出装置から受け入れた、ユーザの手の形状に係る情報に基づいてユーザの手のポーズを表す第2のポーズ情報を生成する第2ポーズ情報生成手段と、
前記生成した第1のポーズ情報と、第2のポーズ情報とを、予め定めた条件に基づく基準に従って組み合わせて、ユーザの手のポーズを表す情報を生成して出力するポーズ情報出力手段と、を含み、
前記ポーズ情報出力手段は、前記予め定めた条件に基づく基準に従って、前記ユーザの指の動きに基づく第1のポーズ情報と、前記第2の検出装置により検出されたユーザの手の形状に基づく第2のポーズ情報と、のいずれかを選択して、ユーザの手のポーズを表す情報を生成して出力する情報処理システム。 - 請求項7に記載の情報処理システムであって、
さらに、前記第1の検出装置は、重力方向に対するユーザの手の角度の情報を検出しており、
前記制御装置は、前記第1の検出装置が検出した情報と、前記第2の検出装置が検出した情報とに基づいて、ユーザの手の位置の情報を生成して出力する情報処理システム。 - ユーザの手に装着され、ユーザの指の動きに係る情報を取得する第1の検出装置、及び、前記第1の検出装置とは異なる場所に配され、所定の視野内にあるユーザの手の形状を検出する第2の検出装置に接続されるコンピュータを用い、
受入手段が、前記第1の検出装置からユーザの指の動きに係る情報を受け入れるとともに、前記第2の検出装置からユーザの手の形状に係る情報を受け入れる工程と、
第1ポーズ情報生成手段が、前記第1の検出装置により検出され、当該第1の検出装置から受け入れたユーザの指の動きに係る情報に基づいてユーザの手のポーズを表す第1のポーズ情報を生成する工程と、
第2ポーズ情報生成手段が、前記第2の検出装置により検出され、当該第2の検出装置から受け入れた、ユーザの手の形状に係る情報に基づいてユーザの手のポーズを表す第2のポーズ情報を生成する工程と、
ポーズ情報出力手段が、前記生成した第1のポーズ情報と、第2のポーズ情報とを、予め定めた条件に基づく基準に従って組み合わせて、ユーザの手のポーズを表す情報を生成して出力するポーズ情報出力工程と、を含み、
前記ポーズ情報出力工程では、前記ポーズ情報出力手段が、前記予め定めた条件に基づく基準に従って、前記ユーザの指の動きに基づく第1のポーズ情報と、前記第2の検出装置により検出されたユーザの手の形状に基づく第2のポーズ情報と、のいずれかを選択して、ユーザの手のポーズを表す情報を生成して出力する制御装置の制御方法。 - ユーザの手に装着され、ユーザの指の動きに係る情報を取得する第1の検出装置、及び、前記第1の検出装置とは異なる場所に配され、所定の視野内にあるユーザの手の形状を検出する第2の検出装置に接続されるコンピュータを、
前記第1の検出装置からユーザの指の動きに係る情報を受け入れるとともに、前記第2の検出装置からユーザの手の形状に係る情報を受け入れる受入手段と、
前記第1の検出装置により検出され、当該第1の検出装置から受け入れたユーザの指の動きに係る情報に基づいてユーザの手のポーズを表す第1のポーズ情報を生成する第1ポーズ情報生成手段と、
前記第2の検出装置により検出され、当該第2の検出装置から受け入れた、ユーザの手の形状に係る情報に基づいてユーザの手のポーズを表す第2のポーズ情報を生成する第2ポーズ情報生成手段と、
前記生成した第1のポーズ情報と、第2のポーズ情報とを、予め定めた条件に基づく基準に従って組み合わせて、ユーザの手のポーズを表す情報を生成して出力するポーズ情報出力手段と、
として機能させ、
前記ポーズ情報出力手段として機能させる際には、前記予め定めた条件に基づく基準に従って、前記ユーザの指の動きに基づく第1のポーズ情報と、前記第2の検出装置により検出されたユーザの手の形状に基づく第2のポーズ情報と、のいずれかを選択して、ユーザの手のポーズを表す情報を生成して出力させるプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/016770 WO2018198272A1 (ja) | 2017-04-27 | 2017-04-27 | 制御装置、情報処理システム、制御方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018198272A1 JPWO2018198272A1 (ja) | 2019-11-07 |
JP6716028B2 true JP6716028B2 (ja) | 2020-07-01 |
Family
ID=63918861
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019514986A Active JP6716028B2 (ja) | 2017-04-27 | 2017-04-27 | 制御装置、情報処理システム、制御方法、及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11501552B2 (ja) |
EP (1) | EP3617845A4 (ja) |
JP (1) | JP6716028B2 (ja) |
CN (1) | CN110520822B (ja) |
WO (1) | WO2018198272A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210069491A (ko) * | 2019-12-03 | 2021-06-11 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
CN111649739B (zh) * | 2020-06-02 | 2023-09-01 | 阿波罗智能技术(北京)有限公司 | 定位方法和装置、自动驾驶车辆、电子设备和存储介质 |
JPWO2022014445A1 (ja) * | 2020-07-14 | 2022-01-20 | ||
US20230206622A1 (en) * | 2020-09-25 | 2023-06-29 | Sony Group Corporation | Information processing device, information processing method, and program |
JPWO2022064881A1 (ja) * | 2020-09-28 | 2022-03-31 |
Family Cites Families (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11195140A (ja) | 1997-12-27 | 1999-07-21 | Canon Inc | データ処理方法及び装置並びに記憶媒体 |
US6704694B1 (en) | 1998-10-16 | 2004-03-09 | Massachusetts Institute Of Technology | Ray based interaction system |
JP2000132305A (ja) * | 1998-10-23 | 2000-05-12 | Olympus Optical Co Ltd | 操作入力装置 |
US6906697B2 (en) | 2000-08-11 | 2005-06-14 | Immersion Corporation | Haptic sensations for tactile feedback interface devices |
AU2003205391A1 (en) | 2002-03-12 | 2003-09-29 | Senseboard, Inc. | Data input device |
JP2003337963A (ja) | 2002-05-17 | 2003-11-28 | Seiko Epson Corp | 画像処理装置および画像処理方法、ならびに、画像処理プログラムおよびその記録媒体 |
US7161579B2 (en) | 2002-07-18 | 2007-01-09 | Sony Computer Entertainment Inc. | Hand-held computer interactive device |
KR100634494B1 (ko) | 2002-08-19 | 2006-10-16 | 삼성전기주식회사 | 착용가능한 정보 입력 장치, 정보 처리 장치 및 정보 입력방법 |
US8323106B2 (en) | 2008-05-30 | 2012-12-04 | Sony Computer Entertainment America Llc | Determination of controller three-dimensional location using image analysis and ultrasonic communication |
JP2005292883A (ja) | 2004-03-31 | 2005-10-20 | Pioneer Electronic Corp | 情報入力装置 |
US7728316B2 (en) | 2005-09-30 | 2010-06-01 | Apple Inc. | Integrated proximity sensor and light sensor |
JP2009042796A (ja) * | 2005-11-25 | 2009-02-26 | Panasonic Corp | ジェスチャー入力装置および方法 |
US9477310B2 (en) | 2006-07-16 | 2016-10-25 | Ibrahim Farid Cherradi El Fadili | Free fingers typing technology |
JP2010064155A (ja) * | 2008-09-08 | 2010-03-25 | Toyota Motor Corp | 把持装置 |
US8754746B2 (en) | 2009-11-16 | 2014-06-17 | Broadcom Corporation | Hand-held gaming device that identifies user based upon input from touch sensitive panel |
JP5364035B2 (ja) | 2010-05-11 | 2013-12-11 | 日本放送協会 | 仮想力覚提示装置及び仮想力覚提示プログラム |
US9245177B2 (en) | 2010-06-02 | 2016-01-26 | Microsoft Technology Licensing, Llc | Limiting avatar gesture display |
US10055017B2 (en) | 2010-10-22 | 2018-08-21 | Joshua Michael Young | Methods devices and systems for creating control signals |
JP5641970B2 (ja) | 2011-02-18 | 2014-12-17 | シャープ株式会社 | 操作装置、再生装置及びテレビ受信装置 |
KR101800182B1 (ko) * | 2011-03-16 | 2017-11-23 | 삼성전자주식회사 | 가상 객체 제어 장치 및 방법 |
US20120249417A1 (en) | 2011-03-29 | 2012-10-04 | Korea University Research And Business Foundation | Input apparatus |
US8719098B2 (en) * | 2011-05-13 | 2014-05-06 | Toshiba Global Commerce Solutions Holdings Corporation | Real-time product delivery during customer-driven point of sale retail transactions |
US8929612B2 (en) | 2011-06-06 | 2015-01-06 | Microsoft Corporation | System for recognizing an open or closed hand |
US8897491B2 (en) | 2011-06-06 | 2014-11-25 | Microsoft Corporation | System for finger recognition and tracking |
EP2613223A1 (en) | 2012-01-09 | 2013-07-10 | Softkinetic Software | System and method for enhanced gesture-based interaction |
JP5174978B1 (ja) * | 2012-04-26 | 2013-04-03 | 株式会社三菱東京Ufj銀行 | 情報処理装置、電子機器およびプログラム |
GB2523043B (en) | 2012-11-07 | 2019-11-06 | Callaghan Innovation | Arm exercise device and system |
EP2796965B1 (en) | 2013-04-22 | 2019-12-18 | Immersion Corporation | Gaming device having a haptic enabled trigger |
JP6121534B2 (ja) * | 2013-08-02 | 2017-04-26 | 三菱電機株式会社 | ジェスチャー判定装置及び方法、並びにジェスチャー操作装置、並びにプログラム及び記録媒体 |
US20150042580A1 (en) * | 2013-08-08 | 2015-02-12 | Lg Electronics Inc. | Mobile terminal and a method of controlling the mobile terminal |
US9649558B2 (en) | 2014-03-14 | 2017-05-16 | Sony Interactive Entertainment Inc. | Gaming device with rotatably placed cameras |
JP6303825B2 (ja) | 2014-05-30 | 2018-04-04 | 富士通株式会社 | 入力装置 |
JP6418820B2 (ja) | 2014-07-07 | 2018-11-07 | キヤノン株式会社 | 情報処理装置、表示制御方法、及びコンピュータプログラム |
US10019059B2 (en) | 2014-08-22 | 2018-07-10 | Sony Interactive Entertainment Inc. | Glove interface object |
EP3193238A4 (en) * | 2014-09-10 | 2018-07-18 | Sony Corporation | Detection device, detection method, control device, and control method |
US10274992B2 (en) | 2014-11-12 | 2019-04-30 | Kyocera Corporation | Wearable device with muscle activity detector |
JP6737996B2 (ja) | 2015-01-19 | 2020-08-12 | カーブ・ラブズ・リミテッド | コンピュータ用のハンドヘルドコントローラ、コンピュータ用のコントロールシステムおよびコンピューターシステム |
EP3265895B1 (en) | 2015-03-01 | 2020-04-08 | Tactical Haptics | Embedded grasp sensing devices, systems, and methods |
JP2017075465A (ja) | 2015-10-14 | 2017-04-20 | オムロンオートモーティブエレクトロニクス株式会社 | 携帯型電子機器 |
US10509469B2 (en) | 2016-04-21 | 2019-12-17 | Finch Technologies Ltd. | Devices for controlling computers based on motions and positions of hands |
US10391400B1 (en) | 2016-10-11 | 2019-08-27 | Valve Corporation | Electronic controller with hand retainer and finger motion sensing |
US20180161670A1 (en) | 2016-12-12 | 2018-06-14 | Evgeny Boev | Single-Handed Input Controller and Method |
DE112018001457T5 (de) | 2017-03-20 | 2020-01-23 | Tactual Labs Co. | Sensor-steuerung |
-
2017
- 2017-04-27 EP EP17906974.5A patent/EP3617845A4/en active Pending
- 2017-04-27 JP JP2019514986A patent/JP6716028B2/ja active Active
- 2017-04-27 CN CN201780089798.3A patent/CN110520822B/zh active Active
- 2017-04-27 WO PCT/JP2017/016770 patent/WO2018198272A1/ja unknown
- 2017-04-27 US US16/603,115 patent/US11501552B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2018198272A1 (ja) | 2018-11-01 |
CN110520822A (zh) | 2019-11-29 |
EP3617845A1 (en) | 2020-03-04 |
US11501552B2 (en) | 2022-11-15 |
CN110520822B (zh) | 2023-06-27 |
US20210117663A1 (en) | 2021-04-22 |
JPWO2018198272A1 (ja) | 2019-11-07 |
EP3617845A4 (en) | 2020-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6716028B2 (ja) | 制御装置、情報処理システム、制御方法、及びプログラム | |
US10636212B2 (en) | Method for generating image to be displayed on head tracking type virtual reality head mounted display and image generation device | |
JP6598617B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
US9884248B2 (en) | Display control method for head-mounted display (HMD) and image generation device | |
US20160246384A1 (en) | Visual gestures for a head mounted device | |
JP2022535315A (ja) | 自己触覚型仮想キーボードを有する人工現実システム | |
WO2018030453A1 (ja) | 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム、及びコンピュータ | |
JP2022534639A (ja) | 指マッピング自己触覚型入力方法を有する人工現実システム | |
EP3163407B1 (en) | Method and apparatus for alerting to head mounted display user | |
EP3979234A1 (en) | Information processing device, information processing method, and program | |
JP6710285B2 (ja) | 情報処理装置、制御方法、プログラム、及び記憶媒体 | |
CN108369451B (zh) | 信息处理装置、信息处理方法及计算机可读存储介质 | |
JP6220937B1 (ja) | 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ | |
JP6157703B1 (ja) | 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ | |
US10747308B2 (en) | Line-of-sight operation apparatus, method, and medical device | |
CN117784926A (zh) | 控制装置、控制方法和计算机可读存储介质 | |
JP6687749B2 (ja) | 情報処理装置、制御方法、プログラム、及び記録媒体 | |
JP6661783B2 (ja) | 情報処理システム、情報処理装置、制御方法、及びプログラム | |
JP2018110871A (ja) | 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ | |
JP6209252B1 (ja) | 仮想空間内のキャラクタを動作させる方法、当該方法をコンピュータに実行させるためのプログラム及びコンピュータ装置 | |
KR102325684B1 (ko) | 두부 착용형 시선 추적 입력 장치 및 이를 이용하는 입력 방법 | |
JP6290493B2 (ja) | 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ | |
JP2018029969A (ja) | 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム | |
WO2023181549A1 (ja) | 制御装置、制御方法、プログラム | |
JP7413122B2 (ja) | 画像生成システム、画像生成装置及び画像生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190521 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200423 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200526 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200609 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6716028 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |