JP6524661B2 - 入力支援方法、入力支援プログラムおよび入力支援装置 - Google Patents
入力支援方法、入力支援プログラムおよび入力支援装置 Download PDFInfo
- Publication number
- JP6524661B2 JP6524661B2 JP2014258102A JP2014258102A JP6524661B2 JP 6524661 B2 JP6524661 B2 JP 6524661B2 JP 2014258102 A JP2014258102 A JP 2014258102A JP 2014258102 A JP2014258102 A JP 2014258102A JP 6524661 B2 JP6524661 B2 JP 6524661B2
- Authority
- JP
- Japan
- Prior art keywords
- finger
- input
- unit
- detected
- axis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/018—Input/output arrangements for oriental characters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Description
最初に、実施例1に係る入力支援装置を用いて入力を行う入力システムの一例を説明する。図1は、入力システムのシステム構成の一例を説明する図である。図1に示すように、入力システム10は、ウェアブルデバイス11と、ヘッドマウントディスプレイ12と、入力支援装置13と有する。ウェアブルデバイス11とヘッドマウントディスプレイ12と入力支援装置13は、ネットワークを介して通信可能に接続され、各種の情報を交換することが可能とされている。かかるネットワークの一態様としては、有線または無線を問わず、携帯電話などの移動体通信、インターネット(Internet)、LAN(Local Area Network)やVPN(Virtual Private Network)などの任意の種類の通信網を採用できる。本実施例では、ウェアブルデバイス11とヘッドマウントディスプレイ12と入力支援装置13が無線通信により通信を行う場合を例に説明する。
次に、ウェアブルデバイス11、ヘッドマウントディスプレイ12および入力支援装置13の各装置の装置構成について説明する。図4は、装置構成の一例を示す図である。
次に、入力支援装置13により入力を行う流れについて説明する。最初に、メニュー画面によりモードの選択を受け付けるメニュー処理の流れについて説明する。図17は、メニュー処理の手順の一例を示すフローチャートである。このメニュー処理は、所定のタイミング、例えば、入力検出部60によりダブルクリックが検出されたタイミングで実行される。
上述してきたように、本実施例に係る入力支援装置13は、ウェアブルデバイス11を装着した指の動作を検出する。入力支援装置13は、検出した指の動作に基づいて、当該指の姿勢を示す軸を検出する。入力支援装置13は、検出した軸に連動する仮想的なレーザポインタと当該軸の軌跡とをヘッドマウントディスプレイ12に表示する。これにより、入力支援装置13は、指による入力を支援できる。
また、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することもできる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータシステムの一例を説明する。図25は、入力支援プログラムを実行するコンピュータを示す図である。
11 ウェアブルデバイス
12 ヘッドマウントディスプレイ
13 入力支援装置
20 スイッチ
21 姿勢センサ
23 制御部
30 表示部
31 カメラ
33 制御部
41 記憶部
42 制御部
50 認識辞書データ
51 メモ情報
52 画像情報
60 入力検出部
61 表示制御部
62 キャリブレーション部
63 軸検出部
64 軌跡記録部
65 判定部
66 認識部
67 格納部
68 操作コマンド出力部
Claims (5)
- コンピュータが、
ウェアブルデバイスを装着した指を屈伸させた際の指の動作を検出し、
検出した、指を屈伸させた際の指の動作に基づいて、指の動作の基準方向をキャリブレーションし、
前記指の動作を検出し、
検出した指の動作に基づいて、前記キャリブレーションされた基準方向を基準として、当該指の姿勢を示す軸を検出し、
検出した軸に連動する仮想的なレーザポインタと当該軸の軌跡とをヘッドマウントディスプレイに表示する
処理を実行することを特徴とする入力支援方法。 - コンピュータが、
前記軸の軌跡から文字を認識し、
認識した文字を前記軌跡と対応させて格納する
処理をさらに実行することを特徴とする請求項1に記載の入力支援方法。 - コンピュータが、
前記軸の軌跡から文字または記号を認識し、
認識した文字または記号に基づいて、他の機器へ操作コマンドを出力する
処理をさらに実行することを特徴とする請求項1または2に記載の入力支援方法。 - コンピュータに、
ウェアブルデバイスを装着した指を屈伸させた際の指の動作を検出し、
検出した、指を屈伸させた際の指の動作に基づいて、指の動作の基準方向をキャリブレーションし、
前記指の動作を検出し、
検出した指の動作に基づいて、前記キャリブレーションされた基準方向を基準として、当該指の姿勢を示す軸を検出し、
検出した軸に連動する仮想的なレーザポインタと当該軸の軌跡とをヘッドマウントディスプレイに表示する
処理を実行させることを特徴とする入力支援プログラム。 - ウェアブルデバイスを装着した指を屈伸させた際の指の動作を含む指の動作を検出する第1検出部と、
第1検出部により検出した、指を屈伸させた際の指の動作に基づいて、指の動作の基準方向をキャリブレーションするキャリブレーション部と、
前記第1検出部により検出した指の動作に基づいて、前記キャリブレーション部によりキャリブレーションされた基準方向を基準として、当該指の姿勢を示す軸を検出する第2検出部と、
前記第2検出部により検出した軸に連動する仮想的なレーザポインタと当該軸の軌跡とをヘッドマウントディスプレイに表示する制御を行う表示制御部と、
を有することを特徴とする入力支援装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014258102A JP6524661B2 (ja) | 2014-12-19 | 2014-12-19 | 入力支援方法、入力支援プログラムおよび入力支援装置 |
US14/971,245 US20160179210A1 (en) | 2014-12-19 | 2015-12-16 | Input supporting method and input supporting device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014258102A JP6524661B2 (ja) | 2014-12-19 | 2014-12-19 | 入力支援方法、入力支援プログラムおよび入力支援装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016118929A JP2016118929A (ja) | 2016-06-30 |
JP6524661B2 true JP6524661B2 (ja) | 2019-06-05 |
Family
ID=56129323
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014258102A Active JP6524661B2 (ja) | 2014-12-19 | 2014-12-19 | 入力支援方法、入力支援プログラムおよび入力支援装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20160179210A1 (ja) |
JP (1) | JP6524661B2 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160005899A (ko) * | 2014-07-08 | 2016-01-18 | 엘지전자 주식회사 | 디지털 이미지 처리 장치, 시스템 및 제어 방법 |
JP6699461B2 (ja) * | 2016-08-30 | 2020-05-27 | 富士通株式会社 | ウェアラブル端末装置 |
US10496808B2 (en) | 2016-10-25 | 2019-12-03 | Apple Inc. | User interface for managing access to credentials for use in an operation |
US10222878B2 (en) * | 2017-04-26 | 2019-03-05 | Dell Products L.P. | Information handling system virtual laser pointer |
CN109690455B (zh) | 2017-06-29 | 2022-03-11 | 苹果公司 | 具有传感器和触觉部件的指戴式装置 |
US11762429B1 (en) | 2017-09-14 | 2023-09-19 | Apple Inc. | Hinged wearable electronic devices |
US11720222B2 (en) * | 2017-11-17 | 2023-08-08 | International Business Machines Corporation | 3D interaction input for text in augmented reality |
US20190187812A1 (en) * | 2017-12-19 | 2019-06-20 | North Inc. | Wearable electronic devices having a multi-use single switch and methods of use thereof |
US10795438B2 (en) | 2018-04-05 | 2020-10-06 | Apple Inc. | Electronic finger devices with charging and storage systems |
US10579099B2 (en) * | 2018-04-30 | 2020-03-03 | Apple Inc. | Expandable ring device |
CN112154401A (zh) | 2018-05-09 | 2020-12-29 | 苹果公司 | 具有织物的手指安装设备 |
US11580849B2 (en) * | 2018-10-11 | 2023-02-14 | Google Llc | Wearable electronic systems having variable interactions based on device orientation |
US10845894B2 (en) | 2018-11-29 | 2020-11-24 | Apple Inc. | Computer systems with finger devices for sampling object attributes |
US10698701B1 (en) | 2019-06-01 | 2020-06-30 | Apple Inc. | User interface for accessing an account |
JP7304948B2 (ja) * | 2019-07-09 | 2023-07-07 | マクセル株式会社 | ヘッドマウントディスプレイシステム及びそれに用いるヘッドマウントディスプレイ及びその操作方法 |
US11755107B1 (en) | 2019-09-23 | 2023-09-12 | Apple Inc. | Finger devices with proximity sensors |
US20210265054A1 (en) * | 2020-02-21 | 2021-08-26 | Circular | Wearable health apparatus for the collection of wellness data and providing feedback therefrom to the wearer |
US11709554B1 (en) | 2020-09-14 | 2023-07-25 | Apple Inc. | Finger devices with adjustable housing structures |
US11287886B1 (en) | 2020-09-15 | 2022-03-29 | Apple Inc. | Systems for calibrating finger devices |
US20220269333A1 (en) * | 2021-02-19 | 2022-08-25 | Apple Inc. | User interfaces and device settings based on user identification |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6672513B2 (en) * | 1994-08-29 | 2004-01-06 | Symbol Technologies, Inc. | Flexible battery and band for user supported module |
JPH1131047A (ja) * | 1997-07-10 | 1999-02-02 | Rikagaku Kenkyusho | 記号信号生成装置 |
US7355583B2 (en) * | 2004-08-10 | 2008-04-08 | Mitsubishi Electric Research Laboretories, Inc. | Motion-based text input |
JP2009301531A (ja) * | 2007-10-22 | 2009-12-24 | Sony Corp | 空間操作型入力装置、制御装置、制御システム、制御方法、空間操作型入力装置の製造方法及びハンドヘルド装置 |
WO2010016065A1 (en) * | 2008-08-08 | 2010-02-11 | Moonsun Io Ltd. | Method and device of stroke based user input |
JP5652647B2 (ja) * | 2010-09-22 | 2015-01-14 | カシオ計算機株式会社 | 小型電子機器、処理方法及びプログラム |
JP5930618B2 (ja) * | 2011-06-20 | 2016-06-08 | コニカミノルタ株式会社 | 空間手書きシステム及び電子ペン |
JP5762892B2 (ja) * | 2011-09-06 | 2015-08-12 | ビッグローブ株式会社 | 情報表示システム、情報表示方法、及び情報表示用プログラム |
US20150169212A1 (en) * | 2011-12-14 | 2015-06-18 | Google Inc. | Character Recognition Using a Hybrid Text Display |
US9508195B2 (en) * | 2014-09-03 | 2016-11-29 | Microsoft Technology Licensing, Llc | Management of content in a 3D holographic environment |
US9582076B2 (en) * | 2014-09-17 | 2017-02-28 | Microsoft Technology Licensing, Llc | Smart ring |
-
2014
- 2014-12-19 JP JP2014258102A patent/JP6524661B2/ja active Active
-
2015
- 2015-12-16 US US14/971,245 patent/US20160179210A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20160179210A1 (en) | 2016-06-23 |
JP2016118929A (ja) | 2016-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6524661B2 (ja) | 入力支援方法、入力支援プログラムおよび入力支援装置 | |
JP5802667B2 (ja) | ジェスチャ入力装置およびジェスチャ入力方法 | |
US9697648B1 (en) | Text functions in augmented reality | |
US10444908B2 (en) | Virtual touchpads for wearable and portable devices | |
EP3090331B1 (en) | Systems with techniques for user interface control | |
WO2017215375A1 (zh) | 信息输入装置与方法 | |
US10437346B2 (en) | Wearable device and method of operating the same | |
US20150241984A1 (en) | Methods and Devices for Natural Human Interfaces and for Man Machine and Machine to Machine Activities | |
JP6595597B2 (ja) | ウェアラブル装置、制御方法及び制御プログラム | |
JP2013137613A (ja) | 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 | |
JP6504058B2 (ja) | 情報処理システム、情報処理方法およびプログラム | |
US20230244379A1 (en) | Key function execution method and apparatus, device, and storage medium | |
CN108369451B (zh) | 信息处理装置、信息处理方法及计算机可读存储介质 | |
JP5075975B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JPWO2017134732A1 (ja) | 入力装置、入力支援方法および入力支援プログラム | |
WO2021004413A1 (zh) | 一种手持输入设备及其指示图标的消隐控制方法和装置 | |
CN117075727A (zh) | 虚拟空间实现键盘输入的方法和设备 | |
JP6418585B2 (ja) | ウェアラブルデバイス、及びウェアラブルデバイスの動作方法 | |
JP6481360B2 (ja) | 入力方法、入力プログラムおよび入力装置 | |
JP2014071672A (ja) | 情報入力装置および情報入力方法 | |
JP6008904B2 (ja) | 表示制御装置、表示制御方法、及び、プログラム | |
WO2017013805A1 (ja) | 入力装置、入力支援方法および入力支援プログラム | |
JP2012234574A (ja) | 情報処理装置、情報処理方法及びプログラム | |
KR101629737B1 (ko) | 문자 입력 장치, 문자 입력 방법, 문자 입력을 위한 컴퓨터 판독가능 기록매체 및 컴퓨터 프로그램 | |
US20150268734A1 (en) | Gesture recognition method for motion sensing detector |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180703 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180903 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190315 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190409 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190422 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6524661 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |