WO2010113578A1 - Input assistance device, program for input assistance device, and input assistance system - Google Patents
Input assistance device, program for input assistance device, and input assistance system Download PDFInfo
- Publication number
- WO2010113578A1 WO2010113578A1 PCT/JP2010/053205 JP2010053205W WO2010113578A1 WO 2010113578 A1 WO2010113578 A1 WO 2010113578A1 JP 2010053205 W JP2010053205 W JP 2010053205W WO 2010113578 A1 WO2010113578 A1 WO 2010113578A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- input
- finger
- image
- display state
- input auxiliary
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
Abstract
Provided is an input assistance device wherein an input assistance image can be viewed under an appropriate display condition at the time of input operation. The input assistance device assists an input operation with respect to an input device wherein an input code corresponding to a spatial movement of a finger is determined, and the input assistance device comprises a detection means which is attached to an attachment portion on a finger or a hand of a user, for detecting the movement of the finger, and generating a detection signal; an input code determination means for determining an input code corresponding to the detection signal from the detection means; and a control means for determining a display condition of an input assistance image on the basis of the detection signal from the detection means, the input assistance image for assisting the finger movement being displayed on a display screen where the result of the input code determination is displayed.
Description
本発明は、入力補助装置の技術分野に属する。より詳細には、指の空間的な動作に対応する入力コードを決定する入力装置に対して、入力動作を補助する入力補助装置の技術分野に属する。
The present invention belongs to the technical field of input assist devices. More specifically, the present invention belongs to the technical field of an input assist device that assists an input operation with respect to an input device that determines an input code corresponding to a spatial motion of a finger.
入力装置として、仮想キーボード装置が提案されている。仮想キーボード装置はキーボードの配置のためのスペースが不要である。下記特許文献１に記載される従来技術では、仮想キーボード装置において、表示装置の表示画面に仮想キーボードの画像を表示する。仮想キーボードの画像には、操作者の指先位置情報が表示される。
A virtual keyboard device has been proposed as an input device. Virtual keyboard devices do not require space for keyboard placement. In the prior art described in Patent Document 1 below, an image of a virtual keyboard is displayed on a display screen of a display device in a virtual keyboard device. The fingertip position information of the operator is displayed on the virtual keyboard image.
特許文献１に示されるように、表示装置の表示画面に仮想キーボードの画像を表示する場合には、当該表示画面において、入力された文字を表示するための本来の表示領域が小さくなるという問題がある。
As shown in Patent Document 1, when an image of a virtual keyboard is displayed on a display screen of a display device, there is a problem that an original display area for displaying input characters is reduced on the display screen. is there.
本発明は、上記の問題点等に鑑みて為されたものであり、その目的の一例は、入力操作の際に入力補助画像を適切な表示状態で見ることができる入力補助装置を提供することにある。
The present invention has been made in view of the above-described problems and the like, and an example of the object is to provide an input assist device that can display an input assist image in an appropriate display state during an input operation. It is in.
上記の課題を解決するために、本発明は、指の空間的な動作に対応する入力コードを決定する入力装置に対する入力動作を補助する入力補助装置において、利用者の指又は手の装着部に装着され、前記指の前記動作を検出して検出信号を生成する検出手段と、前記検出手段からの検出信号に対応する入力コードを決定する入力コード決定手段と、前記検出手段からの検出信号に基づき、前記入力コードの決定結果が表示される表示画面に表示され且つ前記指の動作を補助するための入力補助画像の表示状態を決定する制御手段と、を含むことを特徴とする入力補助装置である。
In order to solve the above-described problems, the present invention provides an input assist device that assists an input operation for an input device that determines an input code corresponding to a spatial motion of a finger. A detection unit that detects the movement of the finger and generates a detection signal; an input code determination unit that determines an input code corresponding to the detection signal from the detection unit; and a detection signal from the detection unit. And a control means for determining a display state of an input auxiliary image for assisting the operation of the finger and displayed on a display screen on which the determination result of the input code is displayed. It is.
本発明は、前記入力補助画像は、前記指の動作の対象となる入力インターフェースの画像であることを特徴とする入力補助装置である。
The present invention is the input assist device, wherein the input assist image is an image of an input interface that is an object of the finger movement.
本発明は、上記入力補助装置において、前記制御手段は、前記検出手段からの検出信号に基づき、指の動作がある場合には、入力補助画像を非表示状態にし、指の動作がない場合には、入力補助画像を表示状態にすることを特徴とする入力補助装置である。
According to the present invention, in the input assist device, the control unit is configured to display the input assist image in a non-display state when there is a finger motion based on a detection signal from the detection unit, and when there is no finger motion. Is an input assist device characterized in that the input assist image is displayed.
本発明は、上記入力補助装置において、前記制御手段は、前記検出手段からの検出信号に基づき、指の動作がない場合の入力補助画像の表示状態を、指の動作がある場合の入力補助画像の表示状態よりも拡大した、または濃い表示状態の少なくともいずれか一方とすることを特徴とする入力補助装置である。
According to the present invention, in the input assist device, the control unit displays a display state of the input assist image when there is no finger motion based on a detection signal from the detection unit, and an input assist image when there is a finger motion. This is an input auxiliary device characterized in that the display state is at least one of a display state enlarged or darker than the display state.
本発明は、上記入力補助装置において、前記制御手段は、前記検出手段からの検出信号に基づき、指の動作の速度が所定速度未満である場合の入力補助画像の表示状態を、指の動作の速度が所定速度以上である場合の入力補助画像の表示状態よりも拡大した、または濃い表示状態の少なくともいずれか一方とすることを特徴とする入力補助装置である。
According to the present invention, in the input assist device, the control means determines the display state of the input assist image when the finger motion speed is less than a predetermined speed based on the detection signal from the detection means. The input assist device is characterized in that at least one of a display state enlarged or darker than a display state of the input assist image when the speed is equal to or higher than a predetermined speed.
本発明は、上記入力補助装置において、前記制御手段は、前記検出手段からの検出信号に基づき、文字の削除を行うためのキーについての指の動作の頻度が所定頻度以上である場合の入力補助画像の表示状態を、前記キーについての指の動作の頻度が前記所定頻度未満である場合の入力補助画像の表示状態よりも拡大した、または濃い表示状態の少なくともいずれか一方とすることを特徴とする入力補助装置である。
According to the present invention, in the input assist device, the control means is configured to assist the input when the frequency of finger movements on a key for deleting characters is equal to or higher than a predetermined frequency based on a detection signal from the detection means. The display state of the image is at least one of a display state enlarged or darker than the display state of the input auxiliary image when the frequency of the finger movement with respect to the key is less than the predetermined frequency, This is an input assist device.
本発明は、指の空間的な動作に対応する入力コードを決定する入力装置に対して、入力動作を補助する入力補助装置であって、利用者の指又は手の装着部に装着され、前記指の前記動作を検出して検出信号を生成する検出手段を備えた入力補助装置のコンピュータを、前記検出手段からの検出信号に対応する入力コードを決定する入力コード決定手段と、前記検出手段からの検出信号に基づき、前記入力コードの決定結果が表示される表示画面に表示され且つ前記指の動作を補助するための入力補助画像の表示状態を決定する制御手段と、して機能させることを特徴とする入力補助装置用プログラムである。
The present invention is an input assisting device for assisting an input operation with respect to an input device that determines an input code corresponding to a spatial motion of a finger, and is mounted on a user's finger or hand mounting portion, From the input code determining means for determining the input code corresponding to the detection signal from the detection means, the input auxiliary device computer comprising detection means for detecting the movement of the finger and generating a detection signal; And a control means for determining a display state of an input auxiliary image that is displayed on a display screen on which the determination result of the input code is displayed and assists the operation of the finger. It is the program for input auxiliary devices characterized.
本発明は、上記入力補助装置と、前記入力補助装置に接続され、表示画面を有する表示装置と、を含み、前記入力補助装置の制御手段からの制御信号に基づき、前記表示装置の表示画面に表示される入力補助画像の表示状態が決定される入力補助システムである。
The present invention includes the input auxiliary device and a display device connected to the input auxiliary device and having a display screen, and the display screen of the display device is based on a control signal from a control means of the input auxiliary device. It is an input auxiliary system in which the display state of the displayed input auxiliary image is determined.
本発明によれば、検出手段からの検出信号に基づき表示画面に表示されるべき入力補助画像の表示状態が決定されるので、入力操作者は、入力補助画像を適切な表示状態で見ることができる。
According to the present invention, since the display state of the input auxiliary image to be displayed on the display screen is determined based on the detection signal from the detection unit, the input operator can view the input auxiliary image in an appropriate display state. it can.
本発明によれば、上記効果に加えて、入力操作者は、入力補助画像としての入力インターフェースの画像を適切な表示状態で見ることができる。入力補助画像として、例えば、キーボード画像、テンキー画像、任意の入力装置画像などの入力インターフェースの画像が挙げられる。
According to the present invention, in addition to the above effects, the input operator can view the image of the input interface as the input auxiliary image in an appropriate display state. Examples of the input auxiliary image include an input interface image such as a keyboard image, a numeric keypad image, and an arbitrary input device image.
本発明によれば、上記効果に加えて、指の動作がある場合には、入力補助画像が非表示状態であるので、表示画面上において入力補助画像が入力操作者の入力操作の支障になることがなく、一方、指の動作がない場合には、入力補助画像が表示されるので、入力操作者が入力操作に戸惑っている場合に入力操作者は入力補助画像を容易に見ることができる。
According to the present invention, in addition to the above effects, when the finger moves, the input auxiliary image is in a non-display state, and therefore the input auxiliary image interferes with the input operation of the input operator on the display screen. On the other hand, when there is no finger movement, the input auxiliary image is displayed, so that the input operator can easily see the input auxiliary image when the input operator is confused by the input operation. .
本発明によれば、上記効果に加えて、指の動作がない場合の入力補助画像の表示状態を、指の動作がある場合の入力補助画像の表示状態よりも拡大した、または濃い表示状態の少なくともいずれか一方とするので、入力操作者が入力操作に戸惑っている場合に入力操作者は入力補助画像を容易に見ることができる。
According to the present invention, in addition to the above-described effects, the display state of the input auxiliary image when there is no finger movement is enlarged or darker than the display state of the input auxiliary image when there is a finger movement. Since it is at least one of them, the input operator can easily view the input auxiliary image when the input operator is confused by the input operation.
本発明によれば、上記効果に加えて、指の動作の速度が所定速度未満である場合の入力補助画像の表示状態を、指の動作の速度が所定速度以上である場合の入力補助画像の表示状態よりも拡大した、または濃い表示状態の少なくともいずれか一方とするので、入力操作者が入力操作に戸惑っている場合に入力操作者は入力補助画像を容易に見ることができる。
According to the present invention, in addition to the above-described effects, the display state of the input auxiliary image when the speed of the finger movement is less than the predetermined speed is set to the display state of the input auxiliary image when the speed of the finger movement is equal to or higher than the predetermined speed. Since at least one of the display state enlarged or darker than the display state, the input operator can easily see the input auxiliary image when the input operator is confused by the input operation.
本発明によれば、上記効果に加えて、文字の削除を行うためのキーについての指の動作の頻度が所定頻度以上である場合の入力補助画像の表示状態を、前記キーについての指の動作の頻度が前記所定頻度未満である場合の入力補助画像の表示状態よりも拡大した、または濃い表示状態の少なくともいずれか一方とするので、入力操作者が入力操作に戸惑っている場合に入力操作者は入力補助画像を容易に見ることができる。
According to the present invention, in addition to the above-described effects, the display state of the input auxiliary image when the frequency of the finger operation on the key for deleting characters is equal to or higher than the predetermined frequency is the finger operation on the key. When the input operator is confused about the input operation, the input operator is confused with the input operation. Can easily view the input auxiliary image.
本発明によれば、入力補助装置用プログラムにより、入力補助装置のコンピュータを入力補助装置の入力コード決定手段、および制御手段として機能させることができる。
According to the present invention, the computer of the input auxiliary device can function as the input code determining means and the control means of the input auxiliary device by the program for the input auxiliary device.
本発明によれば、上記効果に加えて、入力補助装置の制御手段からの制御信号に基づき表示装置の表示画面に表示される入力補助画像の表示状態が決定されるので、入力操作者は、表示装置の表示画面上において入力補助画像を適切な表示状態で見ることができる。
According to the present invention, in addition to the above effects, the display state of the input auxiliary image displayed on the display screen of the display device is determined based on the control signal from the control unit of the input auxiliary device, so that the input operator The input auxiliary image can be viewed in an appropriate display state on the display screen of the display device.
（Ｉ）仮想キーボード装置の概略
図１において、利用者である入力操作者の左手１０Ｌ及び右手１０Ｒの装着部としての指１４－１乃至１４－５及び１４－６乃至１４－１０には、それぞれ、指センサ１６－１乃至１６－５及び１６－６乃至１６－１０が装着されている。 (I) Schematic diagram of virtual keyboard device In FIG. 1, the fingers 14-1 to 14-5 and 14-6 to 14-10 as the mounting portions of theleft hand 10L and the right hand 10R of the input operator as a user are respectively Finger sensors 16-1 to 16-5 and 16-6 to 16-10 are attached.
図１において、利用者である入力操作者の左手１０Ｌ及び右手１０Ｒの装着部としての指１４－１乃至１４－５及び１４－６乃至１４－１０には、それぞれ、指センサ１６－１乃至１６－５及び１６－６乃至１６－１０が装着されている。 (I) Schematic diagram of virtual keyboard device In FIG. 1, the fingers 14-1 to 14-5 and 14-6 to 14-10 as the mounting portions of the
指センサ１６は、指の空間的な動作に伴って変化する動作信号を検出するセンサである。指センサ１６は、例えば、加速度センサ又はジャイロセンサから構成されている。
The finger sensor 16 is a sensor that detects an operation signal that changes with the spatial motion of the finger. The finger sensor 16 is composed of, for example, an acceleration sensor or a gyro sensor.
左手１０Ｌ及び右手１０Ｒの例えば手の甲には、それぞれ、データ収集部１８、２０が装着されている。データ収集部１８、２０には、指センサ１６－１乃至１６－５及び１６－６乃至１６－１０からの動作信号がハーネス２２－１乃至２２－５及び２２－６乃至２２－１０を介して供給される。
The data collection units 18 and 20 are mounted on the backs of the left hand 10L and the right hand 10R, for example. The data collection units 18 and 20 receive operation signals from the finger sensors 16-1 to 16-5 and 16-6 to 16-10 via the harnesses 22-1 to 22-5 and 22-6 to 22-10. Supplied.
データ収集部１８、２０は、それぞれ、無線部２４、２６を有しており、当該無線部２４、２６からの動作信号は、入力コード出力部２８の無線部３０に受信される。データ収集部１８、２０に収集された動作信号はハーネスなどの有線を介して、入力コード出力部２８に受信されてもよい。
The data collection units 18 and 20 have radio units 24 and 26, respectively, and operation signals from the radio units 24 and 26 are received by the radio unit 30 of the input code output unit 28. The operation signals collected by the data collection units 18 and 20 may be received by the input code output unit 28 via a wire such as a harness.
入力コード出力部２８は、無線部３０に加え、動作パターン辞書部３２、及び動作パターン判断部３４を備えている。
The input code output unit 28 includes an operation pattern dictionary unit 32 and an operation pattern determination unit 34 in addition to the radio unit 30.
動作パターン辞書部３２は、指の動作信号のパターンを示すパターン情報を記憶する記憶部である。
The motion pattern dictionary unit 32 is a storage unit that stores pattern information indicating patterns of finger motion signals.
一方、動作パターン判断部３４は、動作パターン辞書部３２に記憶されているパターン情報に対応する動作信号と、無線部３０から供給された動作信号とを比較する。動作パターン判断部３４は、検出された動作信号に対応する入力コードを出力する。
On the other hand, the operation pattern determination unit 34 compares the operation signal corresponding to the pattern information stored in the operation pattern dictionary unit 32 with the operation signal supplied from the wireless unit 30. The operation pattern determination unit 34 outputs an input code corresponding to the detected operation signal.
動作パターン判断部３４から出力された入力コードは、入力コード出力部２８に設けられた無線部３６から文字表示器３８の無線部４０に送信される。文字表示器３８は、表示部４２を有している。表示部４２には、指の動作により入力された入力コードとして例えば文字コード４４が表示される。この場合も、入力コード出力部２８と文字表示器３８は有線で接続され、通信されてもよい。
The input code output from the operation pattern determination unit 34 is transmitted from the wireless unit 36 provided in the input code output unit 28 to the wireless unit 40 of the character display 38. The character display 38 has a display unit 42. For example, a character code 44 is displayed on the display unit 42 as an input code input by the operation of the finger. Also in this case, the input code output unit 28 and the character display 38 may be connected by wire and communicated.
仮想キーボード装置の構成として、図２の構成では、データ収集部が設けられていない。指センサ１６－１乃至１６－５及び１６－６乃至１６－１０からの動作信号は、ハーネス２２－１乃至２２－５及び２２－６乃至２２－１０を介して、入力コード出力部２８の動作パターン判断部３４に供給される。
As the configuration of the virtual keyboard device, no data collection unit is provided in the configuration of FIG. The operation signals from the finger sensors 16-1 to 16-5 and 16-6 to 16-10 are transmitted to the operation of the input code output unit 28 via the harnesses 22-1 to 22-5 and 22-6 to 22-10. It is supplied to the pattern judgment unit 34.
図３において、指センサ１６は、三軸加速度センサであり、Ｘ軸、Ｙ軸、及びＺ軸のそれぞれについて指の動作による加速度を検出する。なお、Ｚ軸は、重力加速度の方向５４を示す。
In FIG. 3, a finger sensor 16 is a three-axis acceleration sensor, and detects acceleration due to finger movement for each of the X-axis, Y-axis, and Z-axis. The Z axis indicates the direction 54 of gravitational acceleration.
図４において、Ｚ軸方向の出力電圧は、Ｘ軸方向及びＹ軸方向の出力電圧と比較して、符号４６で示すような重力加速度分だけ異なる。
In FIG. 4, the output voltage in the Z-axis direction differs from the output voltage in the X-axis direction and the Y-axis direction by the gravitational acceleration as indicated by reference numeral 46.
実施形態に係る仮想キーボードにおいて文字Ｑのキーを押下げるように左手１０Ｌの指を動作させた場合、各指センサ１６の出力電圧は例えば図５に示すものとなる。本発明の仮想キーボードのキー配列は、いわゆるＪＩＳ（Japanese Industrial Standard）配列を採用している。また、小指１４－５、薬指１４－４、及び親指１４－１に装着された指センサ１６のＸ軸方向、Ｙ軸方向、及びＺ軸方向の出力電圧は、例えば図５の上段、中段及び下段のグラフにそれぞれ示すものとなる。他の指に装着された加速度センサのＸ軸方向、Ｙ軸方向、及びＺ軸方向の出力電圧については、図示を省略する。
When the finger of the left hand 10L is operated so as to press the key of the letter Q on the virtual keyboard according to the embodiment, the output voltage of each finger sensor 16 is as shown in FIG. The key layout of the virtual keyboard of the present invention employs a so-called JIS (Japanese Industrial Standard) layout. Further, the output voltages in the X-axis direction, the Y-axis direction, and the Z-axis direction of the finger sensor 16 attached to the little finger 14-5, the ring finger 14-4, and the thumb 14-1 are, for example, the upper, middle, and These are shown in the lower graph. Illustrations of output voltages in the X-axis direction, the Y-axis direction, and the Z-axis direction of the acceleration sensors mounted on other fingers are omitted.
図５において、符合４８で示したような文字Ｑのキーを押し下げている時間には、小指１４－５の動作が大きい。すなわち、図５の上段に示されるように、小指１４－５に装着された指センサ１６のＸ軸方向、Ｙ軸方向、及びＺ軸方向の出力電圧の変化は、他の指に装着された指センサ１６のＸ軸方向、Ｙ軸方向、及びＺ軸方向の出力電圧の変化と比較して、大きい。
In FIG. 5, the little finger 14-5 moves greatly during the time when the key of the letter Q as indicated by the reference numeral 48 is pressed. That is, as shown in the upper part of FIG. 5, the change in the output voltage of the finger sensor 16 attached to the little finger 14-5 in the X-axis direction, the Y-axis direction, and the Z-axis direction was attached to another finger. This is larger than the change in the output voltage of the finger sensor 16 in the X-axis direction, the Y-axis direction, and the Z-axis direction.
図６において、例えば左手１０Ｌについて、上述したように指１４のそれぞれに指センサ１６が装着される。一つの指センサ１６は、Ｘ軸、Ｙ軸及びＺ軸の三軸の動作信号５０を出力する。従って、動作パターン判断部３４には、５×３＝１５個の動作信号５０が供給される。
In FIG. 6, for example, for the left hand 10L, the finger sensor 16 is attached to each of the fingers 14 as described above. One finger sensor 16 outputs three-axis operation signals 50 of the X axis, the Y axis, and the Z axis. Therefore, 5 × 3 = 15 operation signals 50 are supplied to the operation pattern determination unit 34.
実施形態の仮想キーボード装置では、１５個の動作信号５０のデータを、ニューラルネットワークを用いて各文字５２にマッピングする学習によって、動作パターン辞書部３２における辞書パターンを作成又は更新する。
In the virtual keyboard device of the embodiment, the dictionary pattern in the motion pattern dictionary unit 32 is created or updated by learning to map the data of 15 motion signals 50 to each character 52 using a neural network.
図７において、ステップＳ１０で、入力操作者によって仮想キーボード装置の電源がオンとされると、動作パターン判断部３４はステップＳ１２に進む。ステップＳ１２で、入力操作者の判断により学習モードであると、動作パターン判断部３４はステップＳ１４に進む。ステップＳ１４で、入力操作者などにより、キーボードが入力コード出力部２８に接続されることになる。
In FIG. 7, when the power of the virtual keyboard device is turned on by the input operator in step S10, the operation pattern determination unit 34 proceeds to step S12. In step S12, if the learning mode is determined by the input operator, the operation pattern determination unit 34 proceeds to step S14. In step S14, the keyboard is connected to the input code output unit 28 by an input operator or the like.
ステップＳ１６で、キーボードによって入力操作者などから打鍵入力を受け付ける。ステップＳ１８で、動作パターン判断部３４は、打鍵時の指センサ１６の加速度データの読み込みを行い、ステップＳ２０で、動作パターン判断部３４は、加速度データの必要個所のデータ加工を行う。データ加工は、例えば加速度データの変化時点から±５００ｍｓにおいて行われる。
In step S16, a keystroke input is received from an input operator or the like by a keyboard. In step S18, the motion pattern determination unit 34 reads the acceleration data of the finger sensor 16 at the time of keystroke, and in step S20, the motion pattern determination unit 34 performs data processing on necessary portions of the acceleration data. Data processing is performed, for example, at ± 500 ms from the time of change of acceleration data.
ステップＳ２２で、動作パターン判断部３４は、キーボードで打鍵されたキーとデータ加工されたデータとからニューラルネットワークで学習をおこなう。ステップＳ２４で、動作パターン判断部３４は、動作パターン辞書部３２に新しい辞書パターンを構築する。ステップＳ２６で、入力操作者の判断により学習終了が指示されないと、動作パターン判断部３４は、ステップＳ１６に戻って処理を繰り返す。一方、ステップＳ２６で入力操作者の判断により学習終了が指示されると、動作パターン判断部３４はステップＳ２８に進む。ステップＳ１２で入力操作者の判断により学習モードでないと、動作パターン判断部３４はステップＳ２８に進む。
In step S22, the operation pattern determination unit 34 learns by using a neural network from the key pressed by the keyboard and the data processed data. In step S <b> 24, the operation pattern determination unit 34 constructs a new dictionary pattern in the operation pattern dictionary unit 32. If the end of learning is not instructed by the determination of the input operator in step S26, the operation pattern determination unit 34 returns to step S16 and repeats the process. On the other hand, when the end of learning is instructed by the input operator's determination in step S26, the operation pattern determination unit 34 proceeds to step S28. If it is determined in step S12 that the input operator is not in the learning mode, the operation pattern determination unit 34 proceeds to step S28.
ステップＳ２８で、動作パターン判断部３４は、指センサ１６の加速度データの読み込みを行う。ステップＳ３０で、加速度データをデータテーブル値と比較し、手、指が動いたか否かが判断される。
In step S28, the operation pattern determination unit 34 reads acceleration data of the finger sensor 16. In step S30, the acceleration data is compared with the data table value to determine whether or not the hand or finger has moved.
ステップＳ３０でＮｏの場合には、動作パターン判断部３４はステップＳ２８に戻り処理を繰り返す。ステップＳ３０でＹｅｓの場合には、ステップＳ３２に進み、動作パターン判断部３４は、符号４８で示したような、加速度データの必要個所のデータ加工を行う。
If NO in step S30, the operation pattern determination unit 34 returns to step S28 and repeats the process. In the case of Yes in step S30, the process proceeds to step S32, and the operation pattern determination unit 34 performs data processing on the necessary portion of the acceleration data as indicated by reference numeral 48.
ステップＳ３４で、動作パターン判断部３４によって、加速度データに基づく指の動作パターンが、データベースとして保有されている辞書パターンと比較される。ステップＳ３６で、動作パターン判断部３４によって、最も近い入力コードに対応した入力コードが出力される。ステップＳ３８で、入力コード出力部２８の無線部３６によって、入力コードがパーソナルコンピュータ等の文字出力機器に送信され、ステップＳ４０に進む。
In step S34, the motion pattern determination unit 34 compares the finger motion pattern based on the acceleration data with a dictionary pattern held as a database. In step S36, the operation pattern determination unit 34 outputs an input code corresponding to the closest input code. In step S38, the input code is transmitted to the character output device such as a personal computer by the wireless unit 36 of the input code output unit 28, and the process proceeds to step S40.
ステップＳ４０で入力操作者の判断により入力を継続しない場合には、ステップＳ４２で電源がオフにされる。ステップＳ４０で入力操作者の判断により入力を継続する場合には、動作パターン判断部３４はステップＳ４４に進む。ステップＳ４４で、入力操作者が表示画面６０を見ることにより入力操作者の判断により正確な文字入力がされている場合には、動作パターン判断部３４はステップＳ２８に進む。ステップＳ４４で、入力操作者が表示画面６０を見ることにより入力操作者の判断により正確な文字入力がされていない場合には、動作パターン判断部３４はステップＳ１２に進む。なおこれら表示画面６０は図８に記載されている。
If the input is not continued at the judgment of the input operator at step S40, the power is turned off at step S42. When the input is continued by the input operator's determination in step S40, the operation pattern determination unit 34 proceeds to step S44. In step S44, when the input operator views the display screen 60 and correct character input is performed based on the determination of the input operator, the operation pattern determination unit 34 proceeds to step S28. In step S44, when the input operator views the display screen 60 and the input operator does not input an accurate character, the operation pattern determination unit 34 proceeds to step S12. These display screens 60 are shown in FIG.
図７のフローチャートにおいて、ステップＳ１２、Ｓ２６、Ｓ４０、及びＳ４４における入力操作者の判断では、データ収集部１８、若しくは２０に操作ボタンを設ける。入力操作者は、その判断に応じた操作をその操作ボタンに対して行い、その操作ボタンの動作信号、無線部２４若しくは２６を介して無線部３０に送信する。これにより仮想キーボード装置は、その操作ボタンに対して行われた操作に応じて判断を行う。
In the flowchart of FIG. 7, an operation button is provided in the data collection unit 18 or 20 in the determination of the input operator in steps S12, S26, S40, and S44. The input operator performs an operation corresponding to the determination on the operation button, and transmits an operation signal of the operation button to the wireless unit 30 via the wireless unit 24 or 26. Accordingly, the virtual keyboard device makes a determination according to the operation performed on the operation button.
（II）本願の実施の形態による仮想キーボード装置を含む入力補助装置
図８において、各指に装着される指センサ１６からの動作信号５０は、動作パターン判断部３４に供給される。動作パターン判断部３４は、指センサ１６からの動作信号５０に基づく動作と、動作パターン辞書部３２に記憶されているパターン情報に対応する動作とを比較し、動作信号５０に基づく動作に対応する入力コードをパーソナルコンピュータ５６に供給する。 (II) Input Auxiliary Device Including Virtual Keyboard Device According to Embodiment of Present Application In FIG. 8, theoperation signal 50 from the finger sensor 16 attached to each finger is supplied to the operation pattern determination unit 34. The motion pattern determination unit 34 compares the motion based on the motion signal 50 from the finger sensor 16 with the motion corresponding to the pattern information stored in the motion pattern dictionary unit 32 and corresponds to the motion based on the motion signal 50. The input code is supplied to the personal computer 56.
図８において、各指に装着される指センサ１６からの動作信号５０は、動作パターン判断部３４に供給される。動作パターン判断部３４は、指センサ１６からの動作信号５０に基づく動作と、動作パターン辞書部３２に記憶されているパターン情報に対応する動作とを比較し、動作信号５０に基づく動作に対応する入力コードをパーソナルコンピュータ５６に供給する。 (II) Input Auxiliary Device Including Virtual Keyboard Device According to Embodiment of Present Application In FIG. 8, the
パーソナルコンピュータ５６は、入力コードを表示装置５８に出力する。表示装置５８は、入力コードにより示される文字の列、例えば文字Ａ、Ｂ、Ｃ、・・・の列６２を表示画面６０に表示する。
The personal computer 56 outputs the input code to the display device 58. The display device 58 displays on the display screen 60 a string of characters indicated by the input code, for example, a string 62 of characters A, B, C,.
パーソナルコンピュータ５６は、入力操作時に指の動作を補助するための入力補助画像としてキーボード画像６４を表示装置５８の表示画面６０に表示する。パーソナルコンピュータ５６は、加速度センサ１６からＡ／Ｄ変換部５４及び動作パターン判断部３４を介して供給される入力コードに基づき、指の動作の態様を検出する。パーソナルコンピュータ５６は、指の動作の態様に基づき、表示画面６０におけるキーボード画像６４の表示状態を決定する。
The personal computer 56 displays a keyboard image 64 on the display screen 60 of the display device 58 as an auxiliary input image for assisting the operation of a finger during an input operation. The personal computer 56 detects the manner of finger movement based on the input code supplied from the acceleration sensor 16 via the A / D conversion unit 54 and the motion pattern determination unit 34. The personal computer 56 determines the display state of the keyboard image 64 on the display screen 60 based on the manner of finger movement.
図１３において、パーソナルコンピュータ５６はステップＳ５０でスタートし、ステップＳ５２でパーソナルコンピュータ５６内のタイマーがスタートし、ステップＳ５４に進む。パーソナルコンピュータ５６はステップＳ５４でキー入力があると、すなわち指の動きがあると、ステップＳ５６に進み、図１０に例示するようにキーボード画像を非表示の状態とする。図１０では、キーボード画像６４が表示画面６０に表示されておらず、入力操作に慣れている入力操作者にとって、キーボード画像が入力操作の支障になることがない。なお、パーソナルコンピュータ５６は、ステップＳ５６からはステップＳ５２に戻る。
In FIG. 13, the personal computer 56 starts in step S50, the timer in the personal computer 56 starts in step S52, and the process proceeds to step S54. If there is a key input in step S54, that is, if there is a finger movement, the personal computer 56 proceeds to step S56 and hides the keyboard image as illustrated in FIG. In FIG. 10, the keyboard image 64 is not displayed on the display screen 60, and the keyboard image does not hinder the input operation for an input operator accustomed to the input operation. The personal computer 56 returns from step S56 to step S52.
ステップＳ５４でキー入力がないと、すなわち指の動きがないと、パーソナルコンピュータ５６はステップＳ５８に進む。パーソナルコンピュータ５６はステップＳ５８でタイムアップしていないとステップＳ５４に戻る。一方、ステップＳ５８でタイムアップすると、パーソナルコンピュータ５６はステップＳ６０に進み、図９に例示するようにキーボード画像６４を表示する。図９では、キーボード画像６４が表示画面６０の下の領域において充分な大きさで表示されている。これにより、入力操作に慣れていない入力操作者は、表示画面６０上においてキーボード画像６４を容易に見ることができる。
If there is no key input in step S54, that is, if there is no finger movement, the personal computer 56 proceeds to step S58. If the time is not up in step S58, the personal computer 56 returns to step S54. On the other hand, when the time is up in step S58, the personal computer 56 proceeds to step S60 and displays a keyboard image 64 as illustrated in FIG. In FIG. 9, the keyboard image 64 is displayed in a sufficient size in the lower area of the display screen 60. Thereby, an input operator who is not familiar with the input operation can easily see the keyboard image 64 on the display screen 60.
図１４のフローチャートでは、指の動作の有無に基づきキーボード画像６４の表示が薄くされ又は小さくされ、あるいは、濃くされ又は大きくされる。図１４において、ステップＳ７０、Ｓ７２、Ｓ７４、及びＳ７８は、図１３のステップＳ５０、Ｓ５２、Ｓ５４、及びＳ５８と同様であるので、説明を省略する。パーソナルコンピュータ５６は、ステップＳ７４でキー入力があると、すなわち指の動きがあると、ステップＳ７６に進み、図１１又は図１２に例示するように、キーボード画像の表示を一段階薄く又は小さくする。
In the flowchart of FIG. 14, the display of the keyboard image 64 is thinned or reduced, or darkened or enlarged based on the presence or absence of finger movement. In FIG. 14, steps S70, S72, S74, and S78 are the same as steps S50, S52, S54, and S58 in FIG. If there is a key input in step S74, that is, if there is a finger movement in step S74, the personal computer 56 proceeds to step S76, and as shown in FIG. 11 or FIG.
なお、一段階薄く又は小さくの変化の度合いの基準としては、例えば、入力が一文字あるごとに、画像の透過性を１０ずつ上げる。また、入力が一文字あるごとに、補助画像の縦・横のサイズを８０％にする。あるいは、ある既定のサイズになったら、補助画像を表示しない等である。なおこの場合の既定のサイズとは、例えば最大画像サイズの１０％程度である。
In addition, as a standard of the degree of change that is one step thinner or smaller, for example, the transparency of the image is increased by 10 for each input character. In addition, every time there is an input, the vertical and horizontal sizes of the auxiliary image are set to 80%. Alternatively, the auxiliary image is not displayed when a predetermined size is reached. Note that the default size in this case is, for example, about 10% of the maximum image size.
図１１では、図９と比較して、キーボード画像６４が薄く表示されており、図１２では、図９と比較して、キーボード画像６４が縮小されて表示画面６０の左下の領域に表示されている。入力操作に慣れている入力操作者にとって、キーボード画像６４が入力操作の支障になることがない。なおパーソナルコンピュータ５６は、ステップＳ７６からはステップＳ７２に戻る。
In FIG. 11, the keyboard image 64 is displayed lighter than in FIG. 9. In FIG. 12, the keyboard image 64 is reduced and displayed in the lower left area of the display screen 60 compared with FIG. 9. Yes. For the input operator who is used to the input operation, the keyboard image 64 does not hinder the input operation. The personal computer 56 returns from step S76 to step S72.
パーソナルコンピュータ５６は、ステップＳ７４でキー入力がないと、すなわち指の動きがないと、ステップＳ７８に進む。パーソナルコンピュータ５６は、ステップＳ７８でタイムアップすると、ステップＳ８０に進み、図９に例示するようにキーボード画像６４の表示を一段階濃く又は大きくする。
If there is no key input in step S74, that is, if there is no finger movement, the personal computer 56 proceeds to step S78. When the time is up in step S78, the personal computer 56 proceeds to step S80 to increase or increase the display of the keyboard image 64 by one step as illustrated in FIG.
一段階濃く又は大きくの変化の度合いの基準としては、例えば、入力が１０秒間ないごとに、画像の透過性を１０％ずつ下げる。また、入力が１０秒間ないごとに、補助画像の縦・横のサイズを１２０％にする。あるいは、最大画像サイズになったら、それ以上は大きくしない等である。なおこの場合の最大画像サイズとは、例えば表示領域の１／８程度である。
As a standard of the degree of change that is one step deeper or larger, for example, every time there is no input for 10 seconds, the transparency of the image is decreased by 10%. Also, every time there is no input for 10 seconds, the vertical and horizontal sizes of the auxiliary image are set to 120%. Or, when the maximum image size is reached, it is not increased any more. In this case, the maximum image size is, for example, about 1/8 of the display area.
図９では、キーボード画像６４が表示画面６０の下の領域において充分な大きさ及び濃さで表示されている。これにより、入力操作に慣れていない入力操作者は、表示画面６０上においてキーボード画像６４を容易に見ることができる。
In FIG. 9, the keyboard image 64 is displayed in a sufficient size and darkness in the lower area of the display screen 60. Thereby, an input operator who is not familiar with the input operation can easily see the keyboard image 64 on the display screen 60.
図１５のフローチャートでは、指の動作の速度に基づきキーボード画像６４の表示状態が決定される。図１５においてパーソナルコンピュータ５６は、ステップＳ９０でスタートし、ステップＳ９２でキー入力間隔の初期値を設定する。ステップＳ９４でパーソナルコンピュータ５６内のタイマーがスタートし、ステップＳ９６に進む。ステップＳ９６でパーソナルコンピュータ５６は、キー入力があると、すなわち指の動きがあると、ステップＳ９８に進む。パーソナルコンピュータ５６は、キー入力間隔を取得すると、ステップＳ１００に進む。ステップＳ１００でキー入力の速度が低下していないと、パーソナルコンピュータ５６は、入力操作が慣れていると判断する。ステップＳ１０２で、パーソナルコンピュータ５６は、図１１又は図１２に例示するようにキーボード画像６４の表示を一段階薄く又は小さくする。
15, the display state of the keyboard image 64 is determined based on the speed of finger movement. In FIG. 15, the personal computer 56 starts in step S90, and sets an initial value of the key input interval in step S92. In step S94, the timer in the personal computer 56 starts, and the process proceeds to step S96. In step S96, if there is a key input, that is, if there is a finger movement, the personal computer 56 proceeds to step S98. When the personal computer 56 obtains the key input interval, the process proceeds to step S100. If the key input speed has not decreased in step S100, the personal computer 56 determines that the input operation is familiar. In step S102, the personal computer 56 makes the display of the keyboard image 64 one level thinner or smaller as illustrated in FIG. 11 or FIG.
キー入力の速度の低下の基準としては、例えば、平均入力速度から１０％遅くなるごとに、表示を小さく・薄くする。又は、一文字前の入力速度より、５０％遅くなるごとに、表示を小さく・薄くする等である。
基準 As a standard for the decrease in the speed of key input, for example, the display is made smaller and thinner every time 10% slower than the average input speed. Alternatively, the display is made smaller and thinner every 50% slower than the input speed one character before.
パーソナルコンピュータ５６は、ステップＳ１０２からはステップＳ９４に戻る。また、ステップＳ１００でキー入力の速度が低下していると、パーソナルコンピュータ５６は入力操作が慣れていないと判断する。ステップＳ１０４でパーソナルコンピュータ５６は、図９に例示するようにキーボード画像６４の表示を一段階濃く又は大きくする。なお、パーソナルコンピュータ５６は、ステップＳ１０４からはステップＳ９４に戻る。
The personal computer 56 returns from step S102 to step S94. If the key input speed has decreased in step S100, the personal computer 56 determines that the input operation is not familiar. In step S104, the personal computer 56 darkens or enlarges the display of the keyboard image 64 by one step as illustrated in FIG. The personal computer 56 returns from step S104 to step S94.
ステップＳ９６でキー入力がないと、すなわち指の動きがないと、パーソナルコンピュータ５６はステップＳ１０６に進む。ステップＳ１０６でタイムアップしていないと、パーソナルコンピュータ５６はステップＳ９６に戻る。ステップＳ１０６でタイムアップすると、パーソナルコンピュータ５６はステップＳ１０４に進む。パーソナルコンピュータ５６は、入力操作が慣れていないと判断すると、図９に例示するようにキーボード画像６４の表示を一段階濃く又は大きくする。なお、パーソナルコンピュータ５６は、ステップＳ１０４からはステップＳ９４に戻る。
If there is no key input in step S96, that is, if there is no finger movement, the personal computer 56 proceeds to step S106. If the time is not up in step S106, the personal computer 56 returns to step S96. When the time is up in step S106, the personal computer 56 proceeds to step S104. When the personal computer 56 determines that the input operation is not familiar, the keyboard image 64 is displayed one step deeper or larger as illustrated in FIG. The personal computer 56 returns from step S104 to step S94.
図１６において、パーソナルコンピュータ５６はステップＳ１１０でスタートし、ステップＳ１１２で削除キーの入力間隔の初期値を設定する。ステップＳ１１４でパーソナルコンピュータ５６内のタイマーがスタートされ、ステップＳ１１６に進む。パーソナルコンピュータ５６は、ステップＳ１１６で削除キーの入力がないと、ステップＳ１１４に戻る。パーソナルコンピュータ５６は、ステップＳ１１６で削除キーの入力があると、ステップＳ１１８に進む。パーソナルコンピュータ５６は、ステップＳ１１８で削除キーの入力間隔を取得し、ステップＳ１２０に進む。ステップＳ１２０で削除キーの入力の頻度が上昇していないと、パーソナルコンピュータ５６は入力操作が慣れていると判断し、ステップＳ１２２に進む。これにより、図１１又は図１２に例示するようにキーボード画像６４の表示が一段階薄くされ又は小さくされる。
In FIG. 16, the personal computer 56 starts in step S110, and in step S112, sets an initial value of the delete key input interval. In step S114, the timer in the personal computer 56 is started, and the process proceeds to step S116. If there is no delete key input in step S116, the personal computer 56 returns to step S114. If there is an input of the delete key in step S116, the personal computer 56 proceeds to step S118. The personal computer 56 acquires the deletion key input interval in step S118, and proceeds to step S120. If the frequency of input of the delete key has not increased in step S120, the personal computer 56 determines that the input operation is familiar, and proceeds to step S122. Thereby, as illustrated in FIG. 11 or FIG. 12, the display of the keyboard image 64 is reduced or reduced by one step.
なお、削除キーの入力の頻度の基準としては、例えば、前回の間隔と比べて、５０％以上短くなった、あるいは、一分間に５回以上削除キーが押された等である。
In addition, as a standard of the frequency of input of the delete key, for example, it is 50% or more shorter than the previous interval, or the delete key is pressed five times or more per minute.
なおパーソナルコンピュータ５６は、ステップＳ１２２からはステップＳ１１４に戻る。
Note that the personal computer 56 returns from step S122 to step S114. *
一方、ステップＳ１２０で削除キーの入力の頻度が上昇していると、パーソナルコンピュータ５６は入力操作が慣れていないと判断し、ステップＳ１２４に進み、図９に例示するようにキーボード画像６４の表示を一段階濃く又は大きくする。なおパーソナルコンピュータ５６は、ステップＳ１２４からはステップＳ１１４に戻る。以上のステップＳ１１２、ステップＳ１１６、ステップＳ１１８及びステップＳ１２０の動作においては、削除キーをバックスペースに置き換えても良い。
On the other hand, if the frequency of input of the delete key has increased in step S120, the personal computer 56 determines that the input operation is not familiar, and proceeds to step S124 to display the keyboard image 64 as illustrated in FIG. Make it one step darker or larger. The personal computer 56 returns from step S124 to step S114. In the operations of step S112, step S116, step S118, and step S120 described above, the delete key may be replaced with a backspace.
以上説明したように、本願の実施の形態による仮想キーボード装置を含む入力補助装置によれば、指センサ１６からの動作信号５０に基づき、表示画面６０に表示されるべき入力補助画像としてのキーボード画像６４の表示状態が決定される。したがって、入力操作者は、キーボードの画像６４を適切な表示状態で見ることができる。
As described above, according to the input auxiliary device including the virtual keyboard device according to the embodiment of the present application, the keyboard image as the input auxiliary image to be displayed on the display screen 60 based on the operation signal 50 from the finger sensor 16. 64 display states are determined. Therefore, the input operator can view the keyboard image 64 in an appropriate display state.
また、指の動作がある場合にはキーボード画像６４が非表示状態であるので、表示画面６０上においてキーボード画像６４が入力操作者の入力操作の支障になることがない。指の動作がない場合にはキーボード画像６４が表示されるので、入力操作者が入力操作に戸惑っている場合に入力操作者はキーボード画像６４を容易に見ることができる。
In addition, since the keyboard image 64 is not displayed when there is a finger movement, the keyboard image 64 does not hinder the input operation of the input operator on the display screen 60. Since the keyboard image 64 is displayed when there is no finger movement, the input operator can easily see the keyboard image 64 when the input operator is confused by the input operation.
また、指の動作がある場合と比較して、指の動作がない場合には、キーボード画像６４が拡大して表示されあるいは濃く表示されるので、入力操作者が入力操作に戸惑っている場合に入力操作者はキーボード画像６４を容易に見ることができる。
In addition, when there is no finger movement, the keyboard image 64 is displayed enlarged or dark when there is no finger movement, so that the input operator is confused about the input operation. The input operator can easily see the keyboard image 64.
更に、指の動作の速度が所定速度以上である場合と比較して、指の動作の速度が所定速度未満である場合には、キーボード画像６４が拡大して表示されあるいは濃く表示されるので、入力操作者が入力操作に戸惑っている場合に入力操作者はキーボード画像６４を容易に見ることができる。
Furthermore, when the finger movement speed is less than the predetermined speed compared to the case where the finger movement speed is equal to or higher than the predetermined speed, the keyboard image 64 is enlarged or displayed darkly. When the input operator is confused by the input operation, the input operator can easily see the keyboard image 64.
更に、文字の削除を行うためのキーについての指の動作の頻度が所定頻度未満である場合と比較して、文字の削除を行うためのキーについての指の動作の頻度が所定頻度以上である場合には、キーボード画像６４が拡大して表示されあるいは濃く表示されるので、入力操作者が入力操作に戸惑っている場合に入力操作者はキーボード画像６４を容易に見ることができる。
Furthermore, compared with the case where the frequency of finger movement for the key for deleting characters is less than the predetermined frequency, the frequency of finger movement for the key for deleting characters is equal to or higher than the predetermined frequency. In this case, since the keyboard image 64 is enlarged or displayed darkly, the input operator can easily see the keyboard image 64 when the input operator is confused by the input operation.
なお、本願の実施の形態による入力装置においては、指センサ１６の装着部として手の指が設定されているが、指センサ１６を手の甲に装着してもよい。あるいは、指センサ１６を全ての指に装着せず、全ての指の空間的な動きを検出できるような特定の指にだけ指センサ１６を装着してもよい。
In the input device according to the embodiment of the present application, the finger of the hand is set as the mounting portion of the finger sensor 16, but the finger sensor 16 may be mounted on the back of the hand. Alternatively, the finger sensor 16 may be attached only to a specific finger that can detect the spatial movement of all the fingers without attaching the finger sensor 16 to all the fingers.
以上説明したように、本発明は入力補助装置の分野に利用することが可能であり、特に仮想キーボードを用いた入力補助装置の分野に適用すれば特に顕著な効果が得られる。
As described above, the present invention can be used in the field of input assist devices, and particularly when applied to the field of input assist devices using a virtual keyboard, a particularly remarkable effect can be obtained.
１０、１０Ｌ、１０Ｒ：手
１４、１４－１～１４－１０：指
１６、１６－１～１６－１０：指センサ
２８：入力コード出力部
３２：動作パターン辞書部
３４：動作パターン判断部
５６：パーソナルコンピュータ
５８：表示装置
６０：表示画面
６４：キーボード画像 10, 10L, 10R: hand 14, 14-1 to 14-10:finger 16, 16-1 to 16-10: finger sensor 28: input code output unit 32: operation pattern dictionary unit 34: operation pattern determination unit 56: Personal computer 58: Display device 60: Display screen 64: Keyboard image
１４、１４－１～１４－１０：指
１６、１６－１～１６－１０：指センサ
２８：入力コード出力部
３２：動作パターン辞書部
３４：動作パターン判断部
５６：パーソナルコンピュータ
５８：表示装置
６０：表示画面
６４：キーボード画像 10, 10L, 10R: hand 14, 14-1 to 14-10:
Claims (8)
- 指の空間的な動作に対応する入力コードを決定する入力装置に対して、入力動作を補助する入力補助装置において、
利用者の指又は手の装着部に装着され、前記指の前記動作を検出して検出信号を生成する検出手段と、
前記検出手段からの検出信号に対応する入力コードを決定する入力コード決定手段と、
前記検出手段からの検出信号に基づき、前記入力コードの決定結果が表示される表示画面に表示され且つ前記指の動作を補助するための入力補助画像の表示状態を決定する制御手段と、を含むことを特徴とする入力補助装置。 In an input assisting device that assists an input operation with respect to an input device that determines an input code corresponding to a spatial motion of a finger,
A detecting unit that is mounted on a user's finger or hand mounting unit and detects the movement of the finger to generate a detection signal;
Input code determination means for determining an input code corresponding to a detection signal from the detection means;
Control means for determining a display state of an input auxiliary image displayed on a display screen on which the determination result of the input code is displayed based on a detection signal from the detection means and assisting the operation of the finger. An input auxiliary device characterized by that. - 請求項１に記載の入力補助装置において、
前記入力補助画像は、前記指の動作の対象となる入力ユーザインターフェースの画像であることを特徴とする入力補助装置。 The input auxiliary device according to claim 1,
The input assist device, wherein the input assist image is an image of an input user interface that is a target of the finger motion. - 請求項１に記載の入力補助装置において、
前記制御手段は、前記検出手段からの検出信号に基づき、指の動作がある場合には、入力補助画像を非表示状態にし、指の動作がない場合には、入力補助画像を表示状態にすることを特徴とする入力補助装置。 The input auxiliary device according to claim 1,
Based on the detection signal from the detection means, the control means puts the input auxiliary image into a non-display state when there is a finger movement, and puts the input auxiliary image into a display state when there is no finger movement. An input auxiliary device characterized by that. - 請求項１に記載の入力補助装置において、
前記制御手段は、前記検出手段からの検出信号に基づき、指の動作がない場合の入力補助画像の表示状態を、指の動作がある場合の入力補助画像の表示状態よりも拡大した、または濃い表示状態の少なくともいずれか一方とすることを特徴とする入力補助装置。 The input auxiliary device according to claim 1,
The control means expands or darkens the display state of the input auxiliary image when there is no finger movement based on the detection signal from the detection means than the display state of the input auxiliary image when there is a finger movement. An input auxiliary device characterized by being in at least one of display states. - 請求項１に記載の入力補助装置において、
前記制御手段は、前記検出手段からの検出信号に基づき、指の動作の速度が所定速度未満である場合の入力補助画像の表示状態を、指の動作の速度が所定速度以上である場合の入力補助画像の表示状態よりも拡大した、または濃い表示状態の少なくともいずれか一方とすることを特徴とする入力補助装置。 The input auxiliary device according to claim 1,
The control means displays the input auxiliary image display state when the finger movement speed is less than a predetermined speed based on the detection signal from the detection means, and the input when the finger movement speed is equal to or higher than the predetermined speed. An input auxiliary device characterized in that at least one of a display state enlarged or darker than a display state of the auxiliary image is set. - 請求項１に記載の入力補助装置において、
前記制御手段は、前記検出手段からの検出信号に基づき、文字の削除を行うためのキーについての指の動作の頻度が所定頻度以上である場合の入力補助画像の表示状態を、前記キーについての指の動作の頻度が前記所定頻度未満である場合の入力補助画像の表示状態よりも拡大した、または濃い表示状態の少なくともいずれか一方とすることを特徴とする入力補助装置。 The input auxiliary device according to claim 1,
The control means, based on the detection signal from the detection means, the display state of the input auxiliary image when the frequency of finger movement for the key for deleting characters is equal to or higher than a predetermined frequency, An input assist device characterized in that at least one of a display state expanded or darker than a display state of an input assist image when the frequency of finger movement is less than the predetermined frequency. - 指の空間的な動作に対応する入力コードを決定する入力装置に対して、入力動作を補助する入力補助プログラムであって、
利用者の指又は手の装着部に装着され、前記指の前記動作を検出して検出信号を生成する検出手段を備えた入力補助装置のコンピュータを、
前記検出手段からの検出信号に対応する入力コードを決定する入力コード決定手段と、
前記検出手段からの検出信号に基づき、前記入力コードの決定結果が表示される表示画面に表示され且つ前記指の動作を補助するための入力補助画像の表示状態を決定する制御手段と、
して機能させることを特徴とする入力補助装置用プログラム。 An input assistance program for assisting an input operation for an input device that determines an input code corresponding to a spatial movement of a finger,
A computer of an input assisting device that is mounted on a user's finger or hand mounting portion and includes a detection unit that detects the movement of the finger and generates a detection signal.
Input code determination means for determining an input code corresponding to a detection signal from the detection means;
Control means for determining a display state of an input auxiliary image displayed on a display screen on which the determination result of the input code is displayed based on a detection signal from the detection means and assisting the operation of the finger;
A program for an input auxiliary device characterized in that it is made to function. - 請求項１乃至６のうちいずれか一項に記載の入力補助装置と、
前記入力補助装置に接続され、表示画面を有する表示装置と、を含み、
前記入力補助装置の制御手段からの制御信号に基づき、前記表示装置の表示画面に表示される入力補助画像の表示状態が決定される入力補助システム。 The input auxiliary device according to any one of claims 1 to 6,
A display device connected to the input auxiliary device and having a display screen,
An input auxiliary system in which a display state of an input auxiliary image displayed on a display screen of the display device is determined based on a control signal from a control unit of the input auxiliary device.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009-088477 | 2009-03-31 | ||
| JP2009088477A JP2010238211A (en) | 2009-03-31 | 2009-03-31 | Input assistance device, program for the same, and input assistance system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2010113578A1 true WO2010113578A1 (en) | 2010-10-07 |
Family
ID=42827879
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2010/053205 WO2010113578A1 (en) | 2009-03-31 | 2010-03-01 | Input assistance device, program for input assistance device, and input assistance system |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2010238211A (en) |
| WO (1) | WO2010113578A1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10161793A (en) * | 1996-12-02 | 1998-06-19 | Canon Inc | Device and method for processing information |
| JP2004054589A (en) * | 2002-07-19 | 2004-02-19 | Sony Corp | Information display input device and method, and information processor |
| JP2005043954A (en) * | 2003-07-22 | 2005-02-17 | Sharp Corp | Virtual keyboard system |
-
2009
- 2009-03-31 JP JP2009088477A patent/JP2010238211A/en not_active Withdrawn
-
2010
- 2010-03-01 WO PCT/JP2010/053205 patent/WO2010113578A1/en active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10161793A (en) * | 1996-12-02 | 1998-06-19 | Canon Inc | Device and method for processing information |
| JP2004054589A (en) * | 2002-07-19 | 2004-02-19 | Sony Corp | Information display input device and method, and information processor |
| JP2005043954A (en) * | 2003-07-22 | 2005-02-17 | Sharp Corp | Virtual keyboard system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010238211A (en) | 2010-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4683126B2 (en) | Input device | |
| JP4630644B2 (en) | Image processing apparatus with touch panel | |
| TW434482B (en) | Coordinate input device | |
| US9900450B2 (en) | Image forming apparatus, method of controlling the same, and recording medium | |
| KR100689849B1 (en) | Remote controller, display device, display system comprising the same, and control method thereof | |
| US8085242B2 (en) | Input control device and image forming apparatus | |
| US20110291970A1 (en) | Electronic device and operation method thereof | |
| EP0457990A2 (en) | Interactive data processing apparatus using a pen | |
| WO2012053099A1 (en) | Display device and on-screen display operation method | |
| US20120086652A1 (en) | Printing option display method and printing option display apparatus | |
| CN110413172B (en) | Key indication method and electronic equipment | |
| JP2008160619A (en) | Image forming apparatus, and display panel control program | |
| EP2343632A1 (en) | Touch panel device operating as if in the equivalent mode even when detected region is smaller than display region of display device | |
| US20050270277A1 (en) | Portable computer having display mode changed according to attachment/detachment of pen and control method thereof | |
| JP3484316B2 (en) | calculator | |
| JP2007172303A (en) | Information input system | |
| JP6127679B2 (en) | Operating device | |
| US20070057917A1 (en) | Portable digital apparatus for conveniently inputting various characters and method of controlling the apparatus | |
| JP5418973B2 (en) | Numerical data input device, image forming apparatus, and program | |
| JP4696612B2 (en) | Display control apparatus and display screen reduction method | |
| JP5246802B2 (en) | Portable terminal device, screen display method used therefor, and program thereof | |
| JP6149684B2 (en) | Portable terminal, image processing apparatus, and program | |
| JP2010277469A (en) | Input device | |
| JP6051183B2 (en) | Display control apparatus and electronic device | |
| WO2010113578A1 (en) | Input assistance device, program for input assistance device, and input assistance system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 10758354 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 10758354 Country of ref document: EP Kind code of ref document: A1 |