WO2016121034A1 - ウェアラブル装置、入力方法及びプログラム - Google Patents

ウェアラブル装置、入力方法及びプログラム Download PDF

Info

Publication number
WO2016121034A1
WO2016121034A1 PCT/JP2015/052374 JP2015052374W WO2016121034A1 WO 2016121034 A1 WO2016121034 A1 WO 2016121034A1 JP 2015052374 W JP2015052374 W JP 2015052374W WO 2016121034 A1 WO2016121034 A1 WO 2016121034A1
Authority
WO
WIPO (PCT)
Prior art keywords
predetermined
finger
wearable device
unit
sensor
Prior art date
Application number
PCT/JP2015/052374
Other languages
English (en)
French (fr)
Inventor
智之 久田
Original Assignee
株式会社ウェアラブルデバイス総合研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ウェアラブルデバイス総合研究所 filed Critical 株式会社ウェアラブルデバイス総合研究所
Priority to PCT/JP2015/052374 priority Critical patent/WO2016121034A1/ja
Publication of WO2016121034A1 publication Critical patent/WO2016121034A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present invention relates to a wearable device, an input method, and a program.
  • a device that recognizes the movement of a finger by attaching a pressure sensor to the finger is known.
  • an information input device that puts a pressure detection element on a finger and inputs information by a keystroke operation (see, for example, Patent Document 1).
  • the conventional apparatus is not convenient because a pressure detecting element is attached to each finger when carrying out daily life while being worn. Further, since the conventional apparatus can detect only vibration, the detection pattern is limited.
  • an object of the present invention is to provide a wearable device, an input method, and a program that can enhance convenience while detecting variations in finger movements when finger movements are detected. To do.
  • the wearable device is provided on the palm side, and an optical sensor that detects the operation of each finger, and a predetermined operation for each finger based on a detection result of the optical sensor is specified and specified.
  • a control unit that converts the signal into a predetermined signal based on a predetermined operation; and a communication unit that transmits the predetermined signal to an external device.
  • the wearable device when a finger movement is detected in the wearable device, it is possible to improve convenience while giving variations to the detected finger movement.
  • FIG. 6 is a diagram illustrating an example of an image A of a detection result by a sensor unit in Embodiment 1.
  • FIG. 6 is a diagram illustrating an example of an image B as a detection result by a sensor unit in Embodiment 1.
  • FIG. 6 is a diagram illustrating an example of an image B as a detection result by a sensor unit in Embodiment 1.
  • FIG. 2 It is a figure which shows the example which looked at the wearable apparatus in Example 2 from the back side of the right hand. It is a figure which shows the example which looked at the wearable apparatus in Example 2 from the palm side. It is a figure which shows an example of the distance image A of the detection result by the sensor part in Example 2. FIG. It is a figure which shows an example of the distance image B of the detection result by the sensor part in Example 2. FIG. It is a flowchart which shows an example of the input process of the wearable apparatus in embodiment.
  • FIG. 1 is a diagram illustrating an example of a configuration of an input / output system 1 and a wearable device 10 according to the embodiment.
  • a plurality of wearable devices 10 and an information processing device 20 are connected via a network N.
  • one wearable device 10 may be connected to the network N.
  • the information processing apparatus 10 may be any apparatus as long as it is controlled by a signal acquired via a network N such as a PC (Personal Computer), a portable terminal, a television, or a lighting.
  • PC Personal Computer
  • the wearable device 10 shown in FIG. 1 includes at least a control unit 102, a communication unit 104, a sensor unit 106, an output unit 108, a power supply unit 110, a storage unit 112, and a mounting unit 114.
  • the control unit 102 is, for example, a CPU (Central Processing Unit), and executes a program expanded on a memory to cause the wearable device 10 to realize various functions.
  • the control unit 102 performs various calculations based on the signal sensed by the sensor unit 106. For example, the control unit 102 specifies a predetermined motion of each finger based on the detection result of the optical sensor, and converts it into a predetermined signal based on the specified predetermined motion. Details of the control unit 102 will be described with reference to FIG.
  • the communication unit 104 transmits and receives data via the communication network N, for example.
  • the communication unit 104 transmits a predetermined signal converted by the control unit 102 to an external device.
  • the communication unit 104 receives signals from other wearable devices and external devices.
  • the communication network N is configured by a wireless network or a wired network.
  • Examples of communication networks include mobile phone networks, PHS (Personal Handy-phone System) networks, wireless LAN (Local Area Network), 3G (3rd Generation), LTE (Long Term Evolution), 4G (4th Generation), WiMax. (Registered Trademark), infrared communication, Bluetooth (Registered Trademark), wired LAN, telephone line, power line network, IEEE 1394, and other networks.
  • the sensor unit 106 includes an optical sensor.
  • the optical sensor is provided on the palm side and detects the movement of each finger.
  • the sensor unit 106 is an infrared LED and an infrared sensor, and detects the operation of each finger by receiving reflection of light emitted from the infrared LED with the infrared sensor.
  • the sensor unit 106 may be provided with two infrared sensors to measure the depth. The infrared light source is less affected by the environment, and thus is suitable for the wearable device 10 in the embodiment.
  • the optical sensor may be an optical depth sensor (or a three-dimensional distance image sensor), and can generate a depth image that can identify the depth direction.
  • the control unit 102 may specify a predetermined motion of each finger in the depth direction from the depth image generated by the optical depth sensor. Thereby, since the movement of the depth direction can also be detected by using an optical depth sensor, the detection accuracy of a finger can be improved.
  • Optical depth sensors include stereo cameras, sensors that use TOF (Time-of-Flight), sensors that use a random number projection pattern, sensors that use Inverse-Square or Infrared-Depth, etc. What is necessary is only to be selected and used as appropriate based on the cost.
  • TOF Time-of-Flight
  • sensors that use a random number projection pattern sensors that use Inverse-Square or Infrared-Depth, etc. What is necessary is only to be selected and used as appropriate based on the cost.
  • the sensor unit 106 may further include an acceleration sensor and an angular velocity sensor. These sensors may be 6-axis sensors on which a 3-axis acceleration sensor and a 3-axis angular velocity sensor are mounted.
  • the control unit 102 determines the pressing of the virtual key based on the moving distance and moving direction of the hand detected from the sensing results of the acceleration sensor and the angular velocity sensor, and the moving operation of each finger toward the palm side. It converts into the predetermined signal corresponding to this virtual key.
  • the virtual key is, for example, a keyboard key or a piano keyboard.
  • control unit 102 may machine learn the input pattern of the wearer by causing the wearer to operate the pressing of the virtual key using a predetermined pattern with respect to the movement direction, the movement distance, and the movement operation of the hand. .
  • the control unit 102 may determine whether or not the virtual key is pressed based on the machine-learned learning data. Thereby, the input shift by the difference in a wearer can be prevented.
  • the output unit 108 performs output based on a predetermined signal received from another wearable device or the information processing device 20.
  • the output unit 108 may include, for example, a vibration element and may output a vibration pattern based on a predetermined signal, or may include a speaker and output a sound based on the predetermined signal.
  • a vibration element may output a vibration pattern based on a predetermined signal
  • a speaker may include a speaker and output a sound based on the predetermined signal.
  • the output unit 108 is not necessarily required as long as the wearable device 10 is handled as an input device.
  • the power supply unit 110 is a battery, for example, and supplies power to each unit other than the mounting unit 114.
  • the storage unit 112 stores, for example, programs and various data.
  • Various data includes conversion information for converting the specified predetermined operation into a predetermined signal.
  • the mounting unit 114 is a member for wearing the control unit 102, the communication unit 104, the sensor unit 106, the output unit 108, the power supply unit 110, and the storage unit 112 around the hand.
  • the mounting unit 114 may be, for example, a band type that is worn on a predetermined finger, a wristband type, or a watch type.
  • FIG. 2 is a diagram illustrating an example of functions of the control unit 102 of the wearable device 10 according to the embodiment.
  • the control unit 102 illustrated in FIG. 2 includes at least an acquisition unit 1021, a detection unit 1023, a specifying unit 1025, a conversion unit 1027, and an output control unit 1029.
  • the acquisition unit 1021 acquires the sensed detection result from the sensor unit 106.
  • the detection result is an image obtained by capturing an area including the fingertip of the hand from the palm side, and may be a depth image (three-dimensional distance image). Since the movement in the depth direction occurs when each fingertip is bent, the motion of the fingertip can be accurately recognized by using the depth image.
  • the acquisition unit 1021 may acquire these sensing signals.
  • the detecting unit 1023 detects the moving distance and the moving direction of the hand based on the sensing signals from the acceleration sensor and the angular velocity sensor. The detected moving distance and moving direction are output to the conversion unit 1027. Note that the detection unit 1023 may not be provided when the sensor unit 106 does not include an acceleration sensor and an angular velocity sensor. The detection unit 1023 may detect that there is no hand movement using an acceleration sensor and an angular velocity sensor. When the detection unit 1023 detects that there is no hand movement, the detection unit 1023 instructs the specifying unit 1025 to specify a predetermined action. When there is no movement of the hand, it is determined that there is no movement of the hand when the moving distance is within a predetermined value and the moving direction is within a predetermined value.
  • the specifying unit 1025 acquires a sensing signal from the optical sensor, for example, an image, and specifies a predetermined operation corresponding to the predetermined pattern if the acquired image feature matches a predetermined pattern. In addition to the pattern matching, the specifying unit 1025 may use a machine learning to specify a predetermined action depending on whether or not an image feature is classified into a predetermined pattern. Further, when the detection unit 1023 is notified that there is no movement of the hand, the specifying unit 1025 performs a specific operation specifying process at that timing. Thereby, there is little blur of a captured image and a predetermined operation can be specified with high accuracy.
  • the specifying unit 1025 specifies a predetermined action of each fingertip using the depth direction.
  • the identification result of the identification unit 1025 is output to the conversion unit 1027.
  • the conversion unit 1027 When the conversion unit 1027 acquires the specified predetermined operation, the conversion unit 1027 converts it into a predetermined signal corresponding to the predetermined operation.
  • the conversion unit 1027 performs conversion processing using conversion information in which a predetermined operation and a predetermined signal are associated with each other.
  • the output control unit 1029 controls the output of the output unit 108 based on a predetermined signal acquired by the acquisition unit 1021 from another device or the like. For example, there is correspondence information in which a predetermined signal is associated with an output method, and the output control unit 1029 outputs an output control signal to the output unit 108 with reference to the correspondence information. Examples of output include output by vibration, output by sound, and output by display. Next, two examples of the wearable device 10 in the embodiment will be described below.
  • Example 1 An example of the wearable device 10 according to the first embodiment will be described with reference to FIGS.
  • an infrared sensor is taken as an example of the optical sensor, and an acceleration sensor and an angular velocity sensor are not provided.
  • FIG. 3 is a diagram illustrating an example of the wearable device 10 according to the first embodiment when viewed from the back side of the left hand.
  • a housing 200 and an output unit 108 are provided on the back side of the left hand. It is assumed that the thumb direction of the left hand is X1, the little finger direction is X2, the fingertip direction is Y1, and the wrist direction is Y2.
  • the housing 200 includes, for example, a control unit 102, a communication unit 104, a power supply unit 110, and a storage unit 112.
  • the output unit 108 includes, for example, a vibration element.
  • the wearable device 10 is mounted by being fitted in a ring shape on the middle finger by the mounting portion 114 and fixed so that the palm and the back of the hand are sandwiched between the index finger and the thumb.
  • the wearable apparatus 10 in Example 1 is mounted
  • the mounting unit 114 is fixed while fitting to the hand so that the sensor unit 106 is not displaced as much as possible.
  • FIG. 4 is a diagram illustrating an example of the wearable device 10 according to the first embodiment as viewed from the palm side.
  • a switch SW, an optical sensor, and an infrared LED are provided on the palm side in the X1 to X2 directions.
  • Light emitted from an infrared LED provided around the base of the ring finger is received by an infrared sensor provided around the base of the index finger.
  • the switch SW is a power button, a sleep mode change, a battery remaining amount check, etc., and the wearable device 10 may be provided with a display device such as a small touch panel. A plurality of switches SW may be provided.
  • FIG. 5 is a diagram illustrating an example of the predetermined operation. As shown in FIG. 5, the palm side direction is Z1, and the back side direction is Z2. For example, the predetermined operation shown in FIG. 5 is an operation in which the thumb and other fingers are brought into contact with each other.
  • FIG. 6 is a diagram illustrating an example of an image A that is a detection result of the sensor unit 106 according to the first embodiment.
  • An image A shown in FIG. 6 is an image obtained by capturing the state shown in FIG.
  • the sensor unit 106 only needs to adjust the angle of view so that, for example, the contact between the thumb and each fingertip can be imaged. From the image A shown in FIG. 6, it can be detected that the thumb F1 and the middle finger F3 are in contact with each other.
  • FIG. 7 is a diagram illustrating an example of an image B obtained as a result of detection by the sensor unit 106 according to the first embodiment. From the image B shown in FIG. 7, it is possible to detect that the thumb F1, the index finger F2, and the middle finger F3 are in contact with each other. Wearable device 10 can be worn not only on the left hand but also on the right hand.
  • the operation in which the thumb and other fingers do not come in contact is detected as no contact with the thumb unless, for example, the contact operation is detected for a predetermined time. Further, it is also possible to define a complex action such as the middle finger touching the thumb twice while the thumb and the little finger are in contact.
  • Complex operations can be realized by storing sequential operations in the storage unit 112 as patterns.
  • the wearable device 10 can detect the movement of the hollow finger by optically sensing, and therefore can convert those movements into an input signal. For example, an operation such as moving the thumb from side to side in front of the optical sensor can be detected.
  • the external device is a television connected to the network N.
  • the wearable device 10 can be used to control the television.
  • the output unit 108 can basically represent the output control signal acquired from the control unit 102 by vibrating the touching finger using the vibration element, similarly to the input pattern.
  • the vibration element may be applied to each finger.
  • each finger is associated as follows.
  • the little finger of both hands is assigned to a function key or the like. In the case of a personal computer keyboard, it functions like a function key or shift key.
  • the movement of the thumb and the little finger in contact may be arbitrarily defined such as representing a blank.
  • the conversion unit 1027 can convert into a number representing Braille depending on which finger is in contact with the thumb.
  • the wearable device 10 when the wearable device 10 performs finger braille input / output, it can select one hand or both hands by setting. In the case of one hand, it is necessary to input twice to represent one character. It is possible to set whether to input from the right or from the left.
  • vibration elements may be provided on the index finger and ring finger as an option.
  • Example 2 An example of the wearable device 10 according to the second embodiment will be described with reference to FIGS.
  • an optical depth sensor is taken as an example of the optical sensor, and an acceleration sensor and an angular velocity sensor are provided.
  • a wristband type is used as the mounting portion 114. Further, the wearable device 10 according to the second embodiment is not provided with the output unit 108.
  • the wearer taps a virtual key arranged on a plane such as a desk, and the virtual key corresponding to the tapped position becomes a predetermined signal.
  • FIG. 8 is a diagram illustrating an example of the wearable device 10 according to the second embodiment as viewed from the back side of the right hand.
  • a housing 200 is provided in the wristband mounting portion 114 on the back side of the right hand. Note that the little finger direction of the right hand is X1, the thumb direction is X2, the fingertip direction is Y1, and the wrist direction is Y2.
  • the housing 200 includes, for example, a control unit 102, a communication unit 104, a power supply unit 110, and a storage unit 112.
  • FIG. 9 is a diagram illustrating an example of the wearable device 10 according to the second embodiment as viewed from the palm side.
  • a sensor unit 106 is provided on the palm side at a position where a finger movement can be detected, and a six-axis sensor in which a triaxial acceleration sensor and a triaxial angular velocity sensor are mounted on the mounting unit 114. 300 is provided. Note that the position of the six-axis sensor 300 is not particularly limited as long as it is provided in the mounting portion 114.
  • the sensor unit 106 generates a palm-side depth image by imaging a palm-side region.
  • FIG. 10 is a diagram illustrating an example of a distance image A as a result of detection by the sensor unit 106 according to the second embodiment.
  • the distance image A shown in FIG. 10 is expressed in a lighter color as it goes toward the front, and in a darker color as it goes toward the back.
  • the distance image A shown in FIG. 10 has a sensor portion 106 at a position around the wrist, so that the palm portion is a light color and the fingertip is a dark color.
  • FIG. 11 is a diagram illustrating an example of a distance image B as a result of detection by the sensor unit 106 according to the second embodiment.
  • a distance image B shown in FIG. 11 indicates that the right index finger is detected to be pressed or tapped.
  • the control unit 102 detects a fingertip from the contour and color. Then, when the fingertip is lowered in the Y2 direction and the color of the fingertip approximates the surrounding color, it is specified that the fingertip is a finger that has been pressed. Approximation means that each color difference falls within a predetermined range.
  • the fingertip touches a flat surface, so that the color direction becomes the same by the depth direction being the same position, but the fingertip located in the hollow is as viewed from the sensor unit 106. Since it exists in front of the position of the peripheral plane, it is used that the fingertip is expressed in a lighter color than the peripheral position.
  • the 6-axis sensor 300 detects the moving distance and moving direction of the hand. Therefore, the control unit 102 can detect pressing of the virtual keys arranged on the plane by using the moving direction and moving distance of the hand and the presence / absence of keystroke.
  • control unit 102 pre-machines and calibrates the position of the virtual key and the movement of the hand according to a predetermined pattern of the virtual key, thereby calibrating the virtual key according to the movement of the wearer's hand. Can be set. For example, the control unit 102 may know in advance how much the hand moves to hit the adjacent virtual key.
  • control unit 102 may perform keystroke detection after setting the home position after machine learning. At this time, if the wearer has pressed the key for a predetermined time, the detection position of the 6-axis sensor and the position of the virtual key may be misaligned. Good.
  • the detection in the depth direction may be performed using a distance image.
  • the X direction at the predetermined position Yd from the bottom in the Y direction is used as the lowermost array key
  • the X direction at the predetermined position Ym from the position Yd in the upward direction (Y1 direction) is the middle stage.
  • the X direction at a predetermined position Yu upward from the position Ym may be used as the upper arrangement key.
  • the wearable device 10 in the second embodiment may be provided with a switch SW as in the first embodiment.
  • this switch SW it is possible to instruct the control unit 102 to perform calibration, set a home position, and the like.
  • virtual keys can be used as piano keys or keyboard keys, and keystrokes of these keys can be detected.
  • the output from the pressed key may be converted into sound or text by an external device. If the wearable device 10 is provided with a speaker or a display unit, sound is output from the wearable device 10 or characters are displayed. Can be.
  • FIG. 12 is a flowchart illustrating an example of input processing of the wearable device 10 according to the embodiment.
  • the process shown in FIG. 12 shows an example in which an acceleration sensor and an angular velocity sensor are provided and a virtual key is tapped.
  • step S102 the control unit 102 determines whether or not the switch SW is turned on. If the switch is turned on (step S102—YES), the process proceeds to step S104. If the switch is not turned on (step S102—NO), the process returns to step S102.
  • step S104 the control unit 102 controls calibration.
  • the wearer inputs a predetermined pattern and performs machine learning of the movement of the wearer's hand.
  • the calibration does not need to be performed every time the switch SW is turned on, but may be performed at the time of initial setting, firmware update, or the like.
  • step S106 the control unit 102 sets the initial position when the calibration is completed. This allows the wearer to maintain the hand position at the initial position, and the control unit 102 assigns a virtual key at the home position to each finger of the hand at the initial position.
  • step S108 the control unit 102 detects the relative movement distance and movement direction of the fingers using an acceleration sensor and an angular velocity sensor.
  • step S110 the control unit 102 detects the movement of the finger tapping using the optical sensor.
  • step S112 the control unit 102 identifies the keyed virtual key based on the movement distance and movement direction of the hand and the tapped finger, and converts it into a predetermined signal indicating the identified virtual key.
  • the predetermined signal may be transmitted to the external device by the communication unit 104 or may be stored in the storage unit 112 without being transmitted.
  • step S114 the control unit 102 determines whether or not the switch SW is turned off. If the switch is turned off (step S114—YES), this process ends. If the switch is not turned off (step S114—NO), the process returns to step S108.
  • the wearer when the keystroke operation is performed, the wearer operates to reduce the positional deviation of the sensor unit 106, and when the wearer taps the finger, the wearer stops for a predetermined time until the captured image becomes stable.
  • the detection accuracy is increased.
  • the control unit 102 determines that the movement of the hand other than the finger has stopped based on the sensing signal from the sensor unit 106, and performs tap detection at the timing when it is determined that the movement of the hand other than the finger has stopped. Like that. Thereby, the accuracy of tap detection can be raised.
  • each processing step included in the processing flow described with reference to FIG. 12 can be executed in any order or in parallel within a range in which there is no contradiction in processing contents, and between the processing steps. Other steps may be added. Further, a step described as one step for convenience can be executed by being divided into a plurality of steps, while a step described as being divided into a plurality of steps for convenience can be grasped as one step.
  • the virtual key is a piano keyboard
  • the wearer performs a virtual performance on the assumption that the piano keyboard exists on a plane (for example, a desk).
  • the wearer performs a virtual performance of a predetermined score n times.
  • the wearer performs a tapping operation while actually imagining the keyboard, and machine learns the movement of the fingers.
  • the difference of the size which imagines the virtual key (virtual keyboard) by a wearer can be absorbed.
  • the wearer's hand position at the home position is maintained for a predetermined time, and the keyboard position of “Do, Les, Mi, Fa, Seo” is placed at the position of each finger from the right thumb to the little finger.
  • the keyboard position of “Do, Les, Mi, Fa, Seo” is placed at the position of each finger from the right thumb to the little finger.
  • the keyboard “So” is identified, and the identified “So” is converted into a signal indicating “So”.
  • the thumb position is changed from “L” to “SO”. It is detected that it has moved to.
  • the keyboard “La” is specified, and the specified “La” is converted into a signal indicating “La”. The above process is repeated until the switch SW is turned off.
  • the virtual key is a key of a QWERTY keyboard
  • the wearer performs a virtual operation on the assumption that the QWERTY keyboard is present on a plane (for example, a desk).
  • the wearer virtually operates a predetermined character string, for example, “The quick brown fox jumps over a lazy dog” n times.
  • a predetermined character string for example, “The quick brown fox jumps over a lazy dog” n times.
  • the wearer performs the keystroke operation while actually imagining the keyboard, and machine learns the movement of the fingers.
  • the difference of the size which imagines the virtual key (virtual keyboard) by a wearer can be absorbed.
  • the wearer's hand position at the home position is maintained for a predetermined time, and the right index finger is set to “J” on the QWERTY keyboard.
  • the left index finger is set to “F”.
  • control unit 102 can reset the position to “J” and “F” when the index finger of both hands is pressed and held. .
  • the key “7” is specified, and the specified “7” is converted into a signal indicating “7”.
  • the acceleration sensor and the angular velocity sensor if it is detected that the right hand moves 2 units downward and 1 unit moves rightward according to the moving distance and moving direction of the right hand, the position of the right hand index finger is changed from “7”. The movement to the home position “J” is detected.
  • the key “L” is specified, and the specified “L” is converted into a signal indicating “L”.
  • the wearable device 10 can improve convenience while providing variations in the detected finger movement when the finger movement is detected in the wearable device.
  • the input / output system 1 can convert the contact points of fingers as described in the first embodiment into alphabets or kana so as to be a so-called keyboard.
  • signals such as the left 0110 and the right 1100 may be converted into Braille or operation signals using an application such as a high-performance portable information terminal (smartphone) or a PC that has received information on the contact points of fingers.
  • the optical sensor described above can use a sensor that is used in a normal camera
  • the camera provided in the wearable device 10 can have a function of taking a photograph or a moving image.
  • the wearable device 10 described above can be used while walking to the extent that a captured image can be recognized. Further, if an infrared sensor is used, the wearable device 10 can be operated even if a hand is in the pocket. .
  • a ring-sized wearable device having the same function as described above can be realized by using an ultra-compact computing device (control unit 102), a battery (power supply unit 110), and the like.
  • the output unit 108 performs output based on a predetermined signal converted in its own device, so that the communication unit 104 is not necessarily required.
  • the program of the present invention can be installed or loaded on a computer through various recording media such as an optical disk such as a CD-ROM, a magnetic disk, and a semiconductor memory, or via a communication network. .
  • unit does not simply mean a physical configuration, but also includes a case where the functions of the configuration are realized by software.
  • functions of one configuration may be realized by two or more physical configurations, or functions of two or more configurations may be realized by one physical configuration.
  • the “system” includes a system configured to provide a specific function to the user, which is configured by an information processing apparatus or the like. For example, it is configured by a server device, a cloud computing type, an ASP (Application Service Provider), a client server model, and the like, but is not limited thereto.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

ウェアラブル装置は、手のひら側に設けられ、各指の動作を検出する光学式センサと、光学式センサの検出結果に基づいて各指に対する所定動作を特定し、特定された所定動作に基づき所定信号に変換する制御部と、所定信号を外部装置に送信する通信部と、を備える。

Description

ウェアラブル装置、入力方法及びプログラム
　本発明は、ウェアラブル装置、入力方法及びプログラムに関する。
　従来、手指に圧力型センサを装着し、手指の動きを認識する装置が知られている。例えば、圧力検出素子を指に装着し、打鍵操作によって情報を入力する情報入力装置がある（例えば特許文献１参照）。
特開２００２－９１６６８号公報
　しかしながら、従来の装置では、装着されたまま日常生活を送る際、各指に圧力検出素子が装着されるため、利便性が悪かった。また、従来の装置では、振動しか検出できないため、検出パターンが限られていた。
　そこで、本発明は、指の動きが検出される際、検出される指の動きにバリエーションを持たせつつ、利便性を高めることができるウェアラブル装置、入力方法、及びプログラムを提供することを目的とする。
　本発明の一態様におけるウェアラブル装置は、手のひら側に設けられ、各指の動作を検出する光学式センサと、前記光学式センサの検出結果に基づいて各指に対する所定動作を特定し、特定された所定動作に基づき所定信号に変換する制御部と、前記所定信号を外部装置に送信する通信部と、を備える。
　本発明によれば、装着型の装置において指の動きが検出される際、検出される指の動きにバリエーションを持たせつつ、利便性を高めることができる。
実施形態における入出力システム及びウェアラブル装置の構成の一例を示す図である。 実施形態におけるウェアラブル装置の制御部の機能の一例を示す図である。 実施例１におけるウェアラブル装置を左手の甲側から見た例を示す図である。 実施例１におけるウェアラブル装置を手のひら側から見た例を示す図である。 所定動作の一例を示す図である。 実施例１におけるセンサ部よる検出結果の画像Ａの一例を示す図である。 実施例１におけるセンサ部による検出結果の画像Ｂの一例を示す図である。 実施例２におけるウェアラブル装置を右手の甲側から見た例を示す図である。 実施例２におけるウェアラブル装置を手のひら側から見た例を示す図である。 実施例２におけるセンサ部による検出結果の距離画像Ａの一例を示す図である。 実施例２におけるセンサ部による検出結果の距離画像Ｂの一例を示す図である。 実施形態におけるウェアラブル装置の入力処理の一例を示すフローチャートである。
　以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一または類似の部分には同一または類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。
　［第１実施形態］
　以下、本発明の実施形態におけるウェアラブル装置、入力方法及びプログラムを、図面を用いて説明する。
　＜入出力システム及びウェアラウル装置の概要＞
　図１は、実施形態における入出力システム１及びウェアラブル装置１０の構成の一例を示す図である。図１に示す例では、入出力システム１は、複数のウェアラブル装置１０、情報処理装置２０がネットワークＮを介して接続されている。なお、ネットワークＮに接続されるウェアラブル装置１０は、１つであってもよい。情報処理装置１０は、例えば、ＰＣ（Personal Computer）、携帯端末、テレビ、照明などのネットワークＮを介して取得した信号により制御される装置ならいずれの装置でもよい。
　図１に示すウェアラブル装置１０は、制御部１０２と、通信部１０４と、センサ部１０６と、出力部１０８と、電源部１１０と、記憶部１１２と、装着部１１４とを少なくとも備える。
　制御部１０２は、例えばＣＰＵ（Central Processing Unit）であり、メモリ上に展開されたプログラムを実行し、ウェアラブル装置１０に各種の機能を実現させる。また、制御部１０２は、センサ部１０６によりセンシングされた信号に基づき各種演算を行う。例えば、制御部１０２は、光学式センサの検出結果に基づいて各指の所定動作を特定し、特定された所定動作に基づき所定信号に変換する。制御部１０２の詳細は図２を用いて説明する。
　通信部１０４は、例えば通信ネットワークＮを介してデータの送受信を行う。例えば、通信部１０４は、制御部１０２により変換された所定信号を外部装置に送信する。また、通信部１０４は、他のウェアラブル装置や外部装置からの信号を受信する。
　通信ネットワークＮは、無線ネットワークや有線ネットワークにより構成される。通信ネットワークの一例としては、携帯電話網や、ＰＨＳ（Personal Handy-phone System）網、無線ＬＡＮ（Local Area Network）、３Ｇ（3rd Generation）、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）、ＷｉＭａｘ（登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、有線ＬＡＮ、電話線、電灯線ネットワーク、ＩＥＥＥ１３９４等に準拠したネットワークがある。
　センサ部１０６は、光学式センサを含む。光学式センサは、手のひら側に設けられ、各指の動作を検出する。例えば、センサ部１０６は、赤外線ＬＥＤと赤外線センサであり、赤外線ＬＥＤより発光された光の反射を赤外線センサで受光することで、各指の動作を検出する。なお、センサ部１０６は、赤外線センサを２つ設けて、深度を測定するようにしてもよい。赤外線光源は、環境に影響をうけにくいため、実施形態におけるウェアラブル装置１０に好適である。
　また、光学式センサは、光学式深度センサ（又は３次元距離画像センサ）でもよく、奥行き方向を識別可能な深度画像を生成可能である。この場合、制御部１０２は、光学式深度センサにより生成された深度画像から、奥行き方向の各指の所定動作を特定してもよい。これにより、光学式深度センサを用いることで、奥行き方向の動きも検出できるので、手指の検出精度を高めることができる。
　光学式深度センサとしては、ステレオカメラ、ＴＯＦ（Time of Flight）を用いるセンサ、乱数投影パターンを用いるセンサ、Inverse Square又はInfrared Depthを用いるセンサなどの種類のセンサがあり、小型化や消費電力、製造コストの関係から適宜必要なものが選択されて用いられればよい。
　センサ部１０６は、さらに、加速度センサ及び角速度センサを含んでもよい。これらのセンサは、３軸加速度センサ及び３軸角速度センサが搭載された６軸センサであってもよい。この場合、制御部１０２は、加速度センサ及び角速度センサのセンシング結果により検出された手の移動距離及び移動方向と、各指の手のひら側への移動動作とに基づき、仮想キーの押下を判定し、この仮想キーに対応する所定信号に変換する。仮想キーは、例えばキーボードのキーやピアノの鍵盤などである。
　また、制御部１０２は、手の移動方向、移動距離、及び移動動作について、所定パターンを用いて仮想キーの押下を装着者に動作させることで、装着者の入力パターンを機械学習してもよい。制御部１０２は、機械学習された学習データに基づいて、仮想キーの押下を判定してもよい。これにより、装着者の違いによる入力ズレを防止することができる。
　出力部１０８は、他のウェアラブル装置や情報処理装置２０から受信された所定信号に基づく出力を行う。出力部１０８は、例えば振動素子を有し、所定信号に基づく振動パターンを出力してもよいし、又はスピーカを有し、所定信号に基づく音を出力してもよい。なお、出力部１０８による出力の仕方は、装着者に応じて適宜適切な方法で出力すればよい。また、出力部１０８は、ウェアラブル装置１０を入力デバイスとして扱うのであれば、必ずしも必要な構成ではない。
　電源部１１０は、例えばバッテリーであり、装着部１１４以外の各部に電源を供給する。
　記憶部１１２は、例えばプログラムや各種データを格納する。各種データには、特定された所定動作を所定信号に変換するための変換情報などが含まれる。
　装着部１１４は、制御部１０２、通信部１０４、センサ部１０６、出力部１０８、電源部１１０、及び記憶部１１２を手周辺に身に着けるための部材である。装着部１１４は、例えば、所定の指に装着するバンドタイプのものでよいし、リストバンドタイプのものでもよいし、時計タイプのものでもよい。
　＜機能構成＞
　図２は、実施形態におけるウェアラブル装置１０の制御部１０２の機能の一例を示す図である。図２に示す制御部１０２は、取得部１０２１と、検出部１０２３と、特定部１０２５と、変換部１０２７と、出力制御部１０２９とを少なくとも有する。
　取得部１０２１は、センサ部１０６から、センシングされた検出結果を取得する。例えば、検出結果は、手のひら側から手の指先を含む領域が撮像された画像であり、深度画像（３次元距離画像）であってもよい。各指先を曲げると奥行き方向の動きが発生することから、深度画像を用いることで、精度よく指先の動作を認識することができる。
　また、取得部１０２１は、センサ部１０６に加速度センサや角速度センサが含まれる場合、これらのセンシング信号を取得してもよい。
　検出部１０２３は、加速度センサ及び角速度センサからのセンシング信号に基づき、手の移動距離や手の移動方向を検出する。検出された移動距離及び移動方向は変換部１０２７に出力される。なお、検出部１０２３は、センサ部１０６が加速度センサ及び角速度センサを含まない場合は設けられなくてもよい。また、検出部１０２３は、加速度センサ及び角速度センサを用いて手の動きがないことを検出してもよい。検出部１０２３は、手の動きがないことを検出した場合、特定部１０２５に所定動作の特定を行うよう指示する。手の動きがないとは、移動距離が所定値以内、及び移動方向が所定値以内のときに、手の動きがないと判断される。
　特定部１０２５は、光学式センサからのセンシング信号、例えば画像を取得し、取得した画像の特徴が所定のパターンと照合すれば、その所定のパターンに対応する所定動作を特定する。なお、特定部１０２５は、パターンマッチング以外にも、機械学習を用いて、画像の特徴が所定のパターンに分類されるか否かにより、所定動作を特定してもよい。また、特定部１０２５は、検出部１０２３により手の動きがないことを通知されると、そのタイミングで所定動作の特定処理を行う。これにより、撮像画像のブレが少なく、精度良く所定動作を特定することができる。
　また、特定部１０２５は、深度画像の場合、奥行き方向を用いて各指先の所定動作を特定する。特定部１０２５の特定結果は、変換部１０２７に出力される。
　変換部１０２７は、特定された所定動作を取得すると、所定動作に対応する所定信号に変換する。変換部１０２７は、所定動作と所定信号とが関連づけられた変換情報を用いて変換処理を行う。
　出力制御部１０２９は、取得部１０２１が他の装置等から取得した所定信号に基づいて、出力部１０８の出力を制御する。例えば、所定信号と出力方法とを対応付けた対応情報があり、出力制御部１０２９は、その対応情報を参照して出力部１０８に出力制御信号を出力する。出力とは、例えば振動による出力、音による出力、表示による出力などがある。次に、実施形態におけるウェアラブル装置１０の２つの実施例について、以下に説明する。
　［実施例１］
　図３～７を用いて、実施例１におけるウェアラブル装置１０の例について説明する。実施例１では、光学式センサとして赤外線センサを例にし、加速度センサ及び角速度センサは設けられていない。
　図３は、実施例１におけるウェアラブル装置１０を左手の甲側から見た例を示す図である。図３に示すように、左手の甲側には、筐体２００と、出力部１０８が設けられる。なお、左手の親指方向がＸ１であり、小指方向がＸ２、指先方向がＹ１、手首方向がＹ２とする。筐体２００には、例えば制御部１０２と、通信部１０４と、電源部１１０と、記憶部１１２とが含まれる。
　出力部１０８は、例えば振動素子を含む。また、装着部１１４により中指にリング状に嵌められ、人差し指と親指との間から、手のひらと手の甲とを挟み込むように固定して、ウェアラブル装置１０は装着される。これにより、実施例１におけるウェアラブル装置１０は、左手の中指にリング状の部材を引っかける形式でウェアラブルに装着される。また、センサ部１０６がなるべく位置ずれしないように、装着部１１４は、手にフィットしつつ固定されるものがよい。
　図４は、実施例１におけるウェアラブル装置１０を手のひら側から見た例を示す図である。図４に示すように、手のひら側には、Ｘ１からＸ２方向に、スイッチＳＷ、光学式センサ、赤外線ＬＥＤが設けられる。薬指の付け根周辺に設けられた赤外線ＬＥＤから発射された光が、人差し指の付け根周辺に設けられた赤外線センサで受光される。
　スイッチＳＷは、電源ボタン、スリープモード変更、バッテリー残量チェックなどであり、ウェアラブル装置１０は、小型のタッチパネルなどの表示装置を設けてもよい。また、スイッチＳＷは、複数設けられてもよい。
　図５は、所定動作の一例を示す図である。図５に示すように、手のひら側方向がＺ１であり、手の甲側方向がＺ２である。例えば、図５に示す所定動作は、親指と、その他の各指とを接触させる動作とする。
　図６は、実施例１におけるセンサ部１０６による検出結果の画像Ａの一例を示す図である。図６に示す画像Ａは、図５に示す状態を撮像した画像である。センサ部１０６は、例えば親指と各指先との接触が撮像できる程度に画角が調整されればよい。図６に示す画像Ａからは、親指Ｆ１と、中指Ｆ３とが接触されていることを検出可能である。
　図７は、実施例１におけるセンサ部１０６による検出結果の画像Ｂの一例を示す図である。図７に示す画像Ｂからは、親指Ｆ１と、人差し指Ｆ２及び中指Ｆ３とが接触されていることを検出可能である。なお、ウェアラブル装置１０は、左手だけではなく、右手にも同様に装着することができる。
　＜入力例及び出力例＞
　実施例１におけるウェアラブル装置１０を用いた入力例及び出力例を説明する。例えば、検出する所定動作として、親指と、その他４本の指とが接触する動作を検出する。
　（入力例１）２進数の４ビットに変換する例
人差し指：１桁目
中指　　：２桁目
薬指　　：３桁目
小指　　：４桁目
上記の定義が行われた場合、各動作に対応する４ビットの例を以下に示す。
親指と、人差し指とが接触する動作　　　：０００１
親指と、人差し指・中指が接触する動作　：００１１
親指と、中指・小指が接触する動作　　　：０１０１
親指と、他の指が接触しない動作　　　　：００００
　なお、親指と、他の指が接触しない動作とは、例えば、所定時間接触動作が検出されなければ、親指との接触がなかったと検出される。また、親指と小指とが接触している状態で、中指を２回親指と接触するなどの、複合的な動作も定義することができる。
　複合的な動作は、シーケンシャルな動作をパターンとして記憶部１１２に記憶させておけば実現させることができる。
　なお、ウェアラブル装置１０は、光学的にセンシングすることで、中空の指の動きも検出することができるため、それらの動作を入力信号に変換することができる。例えば、親指を、光学式センサ前で左右に動かすなどの動作を検出することができる。
　次に、上述した４ビットを所定信号として外部装置に送信し、外部装置が所定信号で制御される例について説明する。例えば、外部装置は、ネットワークＮに接続されたテレビとする。
　（入力例１の適用例）
１０００：テレビのチャンネルを次へ
０１００：テレビのチャンネルを前へ
００１０：テレビのボリュームをアップ
０００１：テレビのボリュームをダウン
１０１０：テレビの電源のオン・オフ
　このように、ウェアラブル装置１０とテレビをネットワークＮで接続していれば、ウェアラブル装置１０を用いてテレビを制御することができる。
　（出力例１）
　出力部１０８は、基本的には、入力パターンと同様に、接触している指を、振動素子を用いて振動させることで、制御部１０２から取得した出力制御信号を表現することができる。振動素子は、それぞれの指に付与されてもよい。
　（入力例２）
　次に、実施例１におけるウェアラブル装置１０を用いて指点字に関する入力について説明する。例えば、ウェアラブル装置１０を用いて五十音あるいはアルファベットなどの文字を入出力する場合は、指点字という方法を用いることができる。
点字は６点で構成されている。それぞれの点は、次のとおり対応付けられる。
左上点　：１
左中央点：２
左下点　：３
右上点　：４
右中央点：５
右下点　：６
　この例では、ウェアラブル装置１０は、両手に装着しているとする。このとき、各指は次のとおり対応付けられる。
左手人差し指：１
左手中指　　：２
左手薬指　　：３
右手人差し指：４
右手中指　　：５
右手薬指　　：６
　なお、両手小指は、機能キーなどに割り当てられる。パソコンのキーボードでいうとファンクションキーや、シフトキーのような役割を果たす。また、小指について、親指と小指とが接触する動作は、空白を表す等、任意に定義することができるようにしてもよい。
　上記例によれば、変換部１０２７は、親指とどの指が接触した動作なのかによって、点字を表す数字に変換することができる。
　また、点字に関して、親指とどの指が接触するかによって、以下の設定も可能である。
右手の人差し指と小指　　　　　　　　　　　：一文字戻る
右手の薬指と小指　　　　　　　　　　　　　：一文字進む
左手の人差し指と小指　　　　　　　　　　　：一文字削除しながら戻る
左手の薬指と小指　　　　　　　　　　　　　：次の文字を削除
右手の小指を接しながら、人差し指を２回接触：二文字戻る
　なお、ウェアラブル装置１０が、指点字入出力を行う際は、片手か両手かを設定により選ぶことができる。片手の場合は、１文字を表すのに２回の入力が必要となる。右から入力するか、左から入力するかはそれぞれ設定が可能とする。
　（ホ（２３４６）を片手で表す場合）
左側にある点２及び３、右側にある点４及び６が、分けて入力される。順方向は左側から右側、逆方向は右側から左側とする。
左手（順方向）：一回目２３、二回目１３（４６）
左手（逆方向）：一回目１３（４６）、二回目２３
右手（順方向）：一回目５６（２３）、二回目４６
右手（逆方向）：一回目４６、二回目５６（２３）
　（ヌ又はＭ（１３４）の場合）
左手（順方向）：一回目１３、二回目１（４）
左手（逆方向）：一回目１（４）、二回目１３
右手（順方向）：一回目４６（１３）、二回目４
右手（逆方向）：一回目４、二回目４６（１３）
　また、上述したような指点字を、装着者に感じ取らせたい場合は、オプションとして、人差し指や薬指にも、振動素子が設けられてもよい。
　［実施例２］
　図８～１１を用いて、実施例２におけるウェアラブル装置１０の例について説明する。実施例２では、光学式センサとして光学式深度センサを例にし、加速度センサ及び角速度センサは設けられているとする。また、実施例２では、装着部１１４として、リストバンドタイプが用いられる。また、実施例２におけるウェアラブル装置１０は、出力部１０８が設けられていない。
　なお、実施例２では、装着者が、机などの平面に配列された仮想キーをタップし、タップされた位置に対応する仮想キーが、所定信号となることを想定する。
　図８は、実施例２におけるウェアラブル装置１０を右手の甲側から見た例を示す図である。図８に示すように、右手の甲側には、リストバンドの装着部１１４内に筐体２００が設けられる。なお、右手の小指方向がＸ１であり、親指方向がＸ２、指先方向がＹ１、手首方向がＹ２とする。筐体２００には、例えば制御部１０２と、通信部１０４と、電源部１１０と、記憶部１１２とが含まれる。 
　図９は、実施例２におけるウェアラブル装置１０を手のひら側から見た例を示す図である。図９に示すように、手のひら側には、指の動きを検出できる位置に、センサ部１０６が設けられ、さらに、装着部１１４に、３軸加速度センサ及び３軸角速度センサを搭載する６軸センサ３００が設けられる。なお、６軸センサ３００の位置は、装着部１１４に設けられていればよいので、特に問わない。センサ部１０６は、手のひら側の領域を撮像することで、手のひら側の深度画像を生成する。
　図１０は、実施例２におけるセンサ部１０６による検出結果の距離画像Ａの一例を示す図である。図１０に示す距離画像Ａは、手前に行くほど薄い色で表され、奥に行くほど暗い色で表される。図１０に示す距離画像Ａは、手首周辺の位置のセンサ部１０６があるため、手のひら部分が薄い色になり、指先が暗い色になる。
　図１１は、実施例２におけるセンサ部１０６による検出結果の距離画像Ｂの一例を示す図である。図１１に示す距離画像Ｂは、右手人差し指が打鍵又はタップされていることを検知することを示す。まず、制御部１０２は、輪郭や色味から指先を検出する。そして指先がＹ２方向に下がり、さらに、指先の色味が周辺の色味と近似した場合、その指先は打鍵された指であると特定する。近似したとは、それぞれの色味の差分が所定範囲になることをいう。
　この特定方法は、打鍵された場合は、指先が平面に接触するため奥行き方向が同じ位置になることで色味が同じになるが、中空に位置する指先は、センサ部１０６から見たときの周辺の平面の位置よりも手前に存在するため、指先の方が周辺の位置よりも薄い色で表されることを用いる。
　また、６軸センサ３００により、手の移動距離及び移動方向が検出される。よって、制御部１０２は、手の移動方向及び移動距離と、打鍵の有無とを用いることで、平面上に配列された仮想キーの押下を検出することができる。
　なお、制御部１０２は、事前に仮想キーの位置と、仮想キーの所定パターンによる手の動きとを機械学習してキャリブレーションをしておくことで、装着者の手の動きに合わせた仮想キーの位置を設定することができる。例えば、制御部１０２は、隣の仮想キーを打鍵するのに、どれくらい手が移動するかなどを事前に把握しておくとよい。
　また、制御部１０２は、機械学習後に、ホームポジションの設定を行わせてから打鍵検出を行うようにしてもよい。このとき、装着者が所定時間打鍵を行っていると、６軸センサの検出位置と、仮想キーの位置とがずれてくる可能性が有るので、ホームポジションの再設定を適当なタイミングで入れるとよい。
　また、奥行き方向の検出は、距離画像を用いて行われてもよい。例えば、距離画像の色味を用いて、Ｙ方向の下から所定位置ＹｄにあるＸ方向を最下段の配列キーとし、位置Ｙｄから上方向（Ｙ１方向）の所定位置ＹｍにあるＸ方向を中段の配列キーとし、位置Ｙｍから上方向の所定位置ＹｕにあるＸ方向を上段の配列キーとすればよい。
　各配列キーの色味と、指先の色味とが近似された場合、その配列キーが打鍵されたと検出される。また、その配列キーのうち、どの仮想キーが打鍵されたかは、移動方向及び打鍵された指がどの指かによって特定されればよい。
　また、実施例２におけるウェアラブル装置１０は、実施例１同様スイッチＳＷを設けてもよい。このスイッチＳＷにより、キャリブレーションを行うこと、ホームポジションを設定することなどを制御部１０２に指示することができる。
　また、実施例２によれば、仮想キーをピアノの鍵盤や、キーボードのキーとし、これらのキーの打鍵を検出することができるようになる。なお、押されたキーによる出力は、外部装置により音や文字に変換されてもよく、ウェアラブル装置１０にスピーカや表示部を設ければ、ウェアラブル装置１０から音を出力したり、文字を表示したりすることができる。
　＜動作＞
　次に、実施形態におけるウェアラブル装置１０の動作について説明する。図１２は、実施形態におけるウェアラブル装置１０の入力処理の一例を示すフローチャートである。図１２に示す処理は、加速度センサ及び角速度センサが設けられて、仮想キーがタップされる例を示す。
　ステップＳ１０２で、制御部１０２は、スイッチＳＷがオンされた否かを判定する。スイッチがオンされれば（ステップＳ１０２－ＹＥＳ）、ステップＳ１０４に処理は進み、スイッチがオンされていなければ（ステップＳ１０２－ＮＯ）ステップＳ１０２に処理が戻る。
　ステップＳ１０４で、制御部１０２は、キャリブレーションを制御する。例えば、装着者に所定パターンを入力してもらい、装着者の手の動きを機械学習する。なお、キャリブレーションは、スイッチＳＷがオンされる度に行われる必要はなく、初期設定時やファームウェアの更新時などに行われればよい。
　ステップＳ１０６で、制御部１０２は、キャリブレーションが終わると、初期位置を設定させる。これは、装着者に、初期位置の手の状態を維持してもらい、制御部１０２は、初期位置の手の各指に、ホームポジション時の仮想キーを割り当てる。
　ステップＳ１０８で、制御部１０２は、加速度センサ及び角速度センサを用いて、手指の相対的な移動距離及び移動方向を検出する。
　ステップＳ１１０で、制御部１０２は、光学式センサを用いて、手指がタップする動きを検出する。
　ステップＳ１１２で、制御部１０２は、手の移動距離及び移動方向と、タップされた手指とに基づいて、打鍵された仮想キーを特定し、特定された仮想キーを示す所定信号に変換する。ここで、所定信号は、通信部１０４により外部装置に送信されてもよいし、送信されずに記憶部１１２に記憶されてもよい。
　ステップＳ１１４で、制御部１０２は、スイッチＳＷがオフされた否かを判定する。スイッチがオフされれば（ステップＳ１１４－ＹＥＳ）、この処理は終了し、スイッチがオフされていなければ（ステップＳ１１４－ＮＯ）ステップＳ１０８に処理が戻る。
　なお、打鍵動作の際、センサ部１０６の位置ずれを少なくするように装着者に動作してもらい、装着者が指をタップするときは、撮像画像が安定するまで、所定時間停止してもらうことで、検出精度が高くなる。例えば、制御部１０２は、センサ部１０６によるセンシング信号に基づいて、指以外の手の動きが停止したことを判定し、指以外の手の動きが停止したと判定したタイミングで、タップ検出を行うようにする。これにより、タップ検出の精度を上げることができる。
　なお、図１２で説明した処理のフローに含まれる各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して又は並列に実行することができるとともに、各処理ステップ間に他のステップを追加してもよい。また、便宜上１ステップとして記載されているステップは、複数ステップに分けて実行することができる一方、便宜上複数ステップに分けて記載されているものは、１ステップとして把握することができる。
　＜具体例Ａ＞
　図１２に示す処理を用いた具体例Ａについて説明する。具体例Ａでは、仮想キーは、ピアノの鍵盤とし、装着者が、平面（例えば机）にピアノの鍵盤が存在するという想定でバーチャル演奏を行う。
　キャリブレーションでは、装着者は、所定の楽譜をｎ回バーチャル演奏する。これにより、装着者は、実際に鍵盤をイメージしながら叩く動作を行い、手指の動きを機械学習する。これにより、装着者による仮想キー（バーチャル鍵盤）をイメージするサイズの違いを吸収することができる。
　初期設定では、例えば装着者のホームポジション時の手の状態を所定時間維持してもらい、右の親指から小指までの各指の位置に、「ド、レ、ミ、ファ、ソ」の鍵盤位置となるように設定する。
　次に、加速度センサ及び角速度センサを用いて、手の移動距離及び移動方向から、右方向に鍵盤サイズで３単位動いたことが検出されると、親指の位置が、「ド」から「ファ」に移動したことが検出される。
　次に、光学式センサを用いて、人差し指のタップが検出されると、鍵盤「ソ」が特定され、特定された「ソ」は、「ソ」を示す信号に変換される。
　次に、加速度センサ及び角速度センサを用いて、手の移動距離及び移動方向から、右方向に鍵盤サイズで２単位動いたことが検出されると、親指の位置が、「ファ」から「ラ」に移動したことが検出される。
　次に、光学式センサを用いて、薬指のタップが検出されると、１オクターブ高い鍵盤「レ」が特定され、特定された１オクターブ高い「レ」は、この「レ」を示す信号に変換される。
　次に、加速度センサ及び角速度センサを用いて、手の移動距離及び移動方向から、左方向に鍵盤サイズで１単位動いたことが検出されると、親指の位置が、「ラ」から「ソ」に移動したことが検出される。
　次に、光学式センサを用いて、人差し指のタップが検出されると、鍵盤「ラ」が特定され、特定された「ラ」は、「ラ」を示す信号に変換される。以上の処理が、スイッチＳＷがオフされるまで繰り返される。
　＜具体例Ｂ＞
　図１２に示す処理を用いた具体例Ｂについて説明する。具体例Ｂでは、仮想キーは、ＱＷＥＲＴＹ配列キーボードのキーとし、装着者が、平面（例えば机）にＱＷＥＲＴＹ配列キーボードが存在するという想定でバーチャル操作を行う。
　キャリブレーションでは、装着者は、所定の文字列、例えば「The quick brown fox jumps over a lazy dog」をｎ回バーチャル操作する。これにより、装着者は、実際にキーボードをイメージしながら打鍵する動作を行い、手指の動きを機械学習する。これにより、装着者による仮想キー（バーチャルキーボード）をイメージするサイズの違いを吸収することができる。
　初期設定では、例えば装着者のホームポジション時の手の状態を所定時間維持してもらい、右手の人差し指が、ＱＷＥＲＴＹ配列キーボードの「Ｊ」となるように設定する。また、両手にウェアラブル装置１０を装着する場合は、左手の人差し指が「Ｆ」となるように設定される。
　なお、入力操作中に装着者が入力ずれを感じ場合は、両手の人差し指を長押しした場合は、制御部１０２は、その位置を「Ｊ」と「Ｆ」に再設定することも可能である。
　次に、ホームポジションから、加速度センサ及び角速度センサを用いて、右手の移動距離及び移動方向により上方向にキーサイズで２単位、左方向の１単位動いたことが検出されると、右手人差し指の位置が、「Ｊ」から「７」に移動したことが検出される。
　次に、光学式センサを用いて、右手人差し指のタップが検出されると、キー「７」が特定され、特定された「７」は、「７」を示す信号に変換される。
　次に、加速度センサ及び角速度センサを用いて、右手の移動距離及び移動方向により下方向に２単位、右方向に１単位動いたことが検出されると、右手人差し指の位置が、「７」から「Ｊ」のホームポジションに移動したことが検出される。
　次に、光学式センサを用いて、右手薬指のタップが検出されると、キー「Ｌ」が特定され、特定された「Ｌ」は、「Ｌ」を示す信号に変換される。
　次に、加速度センサ及び角速度センサを用いて、右手の移動距離及び移動方向により下方向に１単位、右方向に０．５単位動いたことが検出されると、右手人差し指の位置が、「Ｊ」から「Ｎ」に移動したことが検出される。
　次に、光学式センサを用いて、右手人差し指のタップが検出されると、キー「Ｎ」が特定され、特定された「Ｎ」は、「Ｎ」を示す信号に変換される。以上の処理が、スイッチＳＷがオフされるまで繰り返される。
　以上、実施形態におけるウェアラブル装置１０は、装着型の装置において指の動きが検出される際、検出される指の動きにバリエーションを持たせつつ、利便性を高めることができる。
　［変形例］
　以上、本願の開示する技術の複数の実施形態について説明したが、本願の開示する技術は、上記に限定されるものではない。
　例えば、入出力システム１は、実施例１で説明したような手指の接点を、アルファベットあるいはカナに変換し、いわゆるキーボードにしてしまうことも可能である。この場合、手指の接点の情報を受信した高機能携帯情報端末（スマートフォン）又はＰＣなどのアプリケーションを用いて、左０１１０及び右１１００等の信号を、点字や操作信号に変換すればよい。
　また、上述した光学式センサは、通常のカメラに用いられているセンサを用いることができるため、ウェアラブル装置１０に設けられたカメラにより、写真や動画を撮影できるという機能を持つことができる。
　また、上述したウェアラブル装置１０は、撮像画像が認識できる程度に歩きながら使用することができ、さらに、赤外線センサを用いれば、ポケットの中に手をいれていても、操作することが可能となる。
　なお、超小型の演算装置（制御部１０２）および電池（電源部１１０）等を用いれば、上述した機能と同様の機能を有する、指輪サイズのウェアラブル装置を実現することができる。また、出力部１０８は、自装置内で変換された所定信号に基づいて出力を行うことにより、通信部１０４は必ずしも必要な構成ではない。
　また、本発明のプログラムは、ＣＤ－ＲＯＭ等の光学ディスク、磁気ディスク、半導体メモリなどの各種の記録媒体を通じて、又は通信ネットワークなどを介してダウンロードすることにより、コンピュータにインストール又はロードすることができる。
　また、本明細書等において、「部」とは、単に物理的構成を意味するものではなく、その構成が有する機能をソフトウェアによって実現する場合も含む。また、１つの構成が有する機能が２つ以上の物理的構成により実現されても、２つ以上の構成の機能が１つの物理的構成により実現されてもよい。また、「システム」とは、情報処理装置等から構成される、特定の機能をユーザに提供するためのシステムを含む。例えば、サーバ装置、クラウドコンピューティング形態のもの、ＡＳＰ（Application Service Provider）、クライアントサーバモデルのもの、などにより構成されるが、これに限られるものではない。
１　入出力システム
１０　ウェアラブル装置
２０　情報処理装置
１０２　制御部
１０４　通信部
１０６　センサ部
１０８　出力部
１１０　電源部
１１２　記憶部
１１４　装着部
１０２１　取得部
１０２３　検出部
１０２５　特定部
１０２７　変換部
１０２９　出力制御部
 

Claims (10)

  1. 　手のひら側に設けられ、各指の動作を検出する光学式センサと、
    　前記光学式センサの検出結果に基づいて各指に対する所定動作を特定し、特定された所定動作に基づき所定信号に変換する制御部と、
    　前記所定信号を外部装置に送信する通信部と、
    　を備えるウェアラブル装置。
  2. 　前記光学式センサは、光学式深度センサであり、
    　前記制御部は、
    　前記光学式深度センサにより生成された深度画像から、奥行き方向の各指の所定動作を特定する、請求項１に記載のウェアラブル装置。
  3. 　加速度センサ及び角速度センサをさらに含み、
    　前記制御部は、
    　前記加速度センサ及び前記角速度センサのセンシング結果により検出された手の移動距離及び移動方向と、前記各指の手のひら側への移動動作とに基づき、仮想キーの押下を特定し、該仮想キーに対応する所定信号に変換する、請求項１又は２に記載のウェアラブル装置。
  4. 　前記制御部は、
    　前記移動方向、前記移動距離、及び前記移動動作について、所定パターンを用いて前記仮想キーの押下を装着者にさせることで学習した学習データに基づいて、押下された仮想キーを特定する、請求項３に記載のウェアラブル装置。
  5. 　前記制御部は、
    　前記センシング結果に基づき指示されるタイミングで、前記所定動作の特定処理を行う、請求項３又は４に記載のウェアラブル装置。
  6. 　他のウェアラブル装置から受信された所定信号に基づく出力を行う出力部をさらに備える、請求項１乃至５いずれか一項に記載のウェアラブル装置。
  7. 　前記光学式センサ、前記制御部、前記通信部、及び前記出力部を手周辺に身に着けるための装着部をさらに備える、請求項６に記載のウェアラブル装置。
  8. 　前記所定動作は点字に関する動作であり、前記所定信号は、点字に関する信号であり、前記出力は、点字に関する出力である、請求項７に記載のウェアラブル装置。
  9. 　ウェアラブル装置における入力方法であって、
    　手のひら側に設けられた光学式センサにより、各指の動作を検出すること、
    　制御部により、前記光学式センサの検出結果に基づいて各指の所定動作を特定すること、
    　特定された所定動作に基づき所定信号に変換すること、
    　通信部により、前記所定信号を外部装置に送信すること、
    　を含む入力方法。
  10. 　コンピュータに、
    　手のひら側に設けられた光学式センサにより検出された、各指の動作の検出結果を取得すること、
    　前記検出結果に基づいて各指の所定動作を特定すること、
    　特定された所定動作に基づき所定信号に変換すること、
    　前記所定信号を外部装置に送信すること、
    　を実行させるプログラム。
     
PCT/JP2015/052374 2015-01-28 2015-01-28 ウェアラブル装置、入力方法及びプログラム WO2016121034A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/052374 WO2016121034A1 (ja) 2015-01-28 2015-01-28 ウェアラブル装置、入力方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/052374 WO2016121034A1 (ja) 2015-01-28 2015-01-28 ウェアラブル装置、入力方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2016121034A1 true WO2016121034A1 (ja) 2016-08-04

Family

ID=56542688

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/052374 WO2016121034A1 (ja) 2015-01-28 2015-01-28 ウェアラブル装置、入力方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2016121034A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020537770A (ja) * 2017-10-12 2020-12-24 デイヴィッド ウェクスラーＤａｖｉｄ Ｗｅｘｌｅｒ 電子ボディパーカッション
CN112416130A (zh) * 2020-11-24 2021-02-26 谢昊 一种智能运动检测装置及方法
RU2765237C2 (ru) * 2018-03-16 2022-01-27 Дмитрий Леонидович Раков Способ ввода информации и устройство для его осуществления

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002091668A (ja) * 2000-09-12 2002-03-29 Nippon Hoso Kyokai <Nhk> 情報入力装置
JP2004297598A (ja) * 2003-03-27 2004-10-21 Ntt Docomo Inc 通信端末装置、動作情報交換システム、及び動作情報交換方法
JP2012073830A (ja) * 2010-09-29 2012-04-12 Pioneer Electronic Corp インターフェース装置
JP2014235634A (ja) * 2013-06-04 2014-12-15 国立大学法人 筑波大学 手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002091668A (ja) * 2000-09-12 2002-03-29 Nippon Hoso Kyokai <Nhk> 情報入力装置
JP2004297598A (ja) * 2003-03-27 2004-10-21 Ntt Docomo Inc 通信端末装置、動作情報交換システム、及び動作情報交換方法
JP2012073830A (ja) * 2010-09-29 2012-04-12 Pioneer Electronic Corp インターフェース装置
JP2014235634A (ja) * 2013-06-04 2014-12-15 国立大学法人 筑波大学 手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020537770A (ja) * 2017-10-12 2020-12-24 デイヴィッド ウェクスラーＤａｖｉｄ Ｗｅｘｌｅｒ 電子ボディパーカッション
JP7296393B2 (ja) 2017-10-12 2023-06-22 ウェクスラー デイヴィッド 電子ボディパーカッション
RU2765237C2 (ru) * 2018-03-16 2022-01-27 Дмитрий Леонидович Раков Способ ввода информации и устройство для его осуществления
CN112416130A (zh) * 2020-11-24 2021-02-26 谢昊 一种智能运动检测装置及方法

Similar Documents

Publication Publication Date Title
US9978261B2 (en) Remote controller and information processing method and system
US10802598B2 (en) User interface control of responsive devices
EP2946261B1 (en) Reconfigurable clip-on modules for mobile computing devices
CN107209560A (zh) 检测手指移动
KR102250599B1 (ko) 엄지손가락을 이용한 터치 실행 장치
TW201044226A (en) Integrated wired/wireless virtual unit control apparatus and method
JP2015121979A (ja) 装着型情報入力装置、情報入力システム、及び情報入力方法
CN109634438B (zh) 一种输入法的控制方法及终端设备
EP3139246A1 (en) Control method and apparatus, electronic device, and computer storage medium
WO2016121034A1 (ja) ウェアラブル装置、入力方法及びプログラム
CN105278699A (zh) 易穿戴式手势识别装置
KR101497829B1 (ko) 모션 입력을 이용하는 손목시계형 장치
JP2014209336A (ja) 情報処理装置および入力支援方法
KR20160039589A (ko) 손가락 센싱 방식을 이용한 무선 공간 제어 장치
JP6270557B2 (ja) 情報入出力装置及び情報入出力方法
US12013987B2 (en) Non-standard keyboard input system
KR101491039B1 (ko) 스마트폰용 점자 입력 장치
JP2015118697A (ja) 情報処理装置、情報処理方法およびプログラム
JP3211484U (ja) 触感型コントローラー
KR20160149403A (ko) 웨어러블 데이터 입력장치 및 이를 이용한 데이터 입력방법
CN115562502B (zh) 在输入设备上集成滑动和触摸的方法和装置
US20200166990A1 (en) Device and methodology for the interaction through gestures and movements of human limbs and fingers
CN203482247U (zh) 一种指上的智能电话或计算机装置
US20160116981A1 (en) Enhanced function interaction device
JP2009020718A (ja) 無線入力装置および機器操作システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15879931

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205N DATED 02.01.2018).

NENP Non-entry into the national phase

Ref country code: JP