WO2020170581A1 - 入力制御システム - Google Patents

入力制御システム Download PDF

Info

Publication number
WO2020170581A1
WO2020170581A1 PCT/JP2019/049241 JP2019049241W WO2020170581A1 WO 2020170581 A1 WO2020170581 A1 WO 2020170581A1 JP 2019049241 W JP2019049241 W JP 2019049241W WO 2020170581 A1 WO2020170581 A1 WO 2020170581A1
Authority
WO
WIPO (PCT)
Prior art keywords
thumb
input
unit
area
user
Prior art date
Application number
PCT/JP2019/049241
Other languages
English (en)
French (fr)
Inventor
林　宏樹
和斗 大森
Original Assignee
株式会社Ｎｔｔドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｎｔｔドコモ filed Critical 株式会社Ｎｔｔドコモ
Publication of WO2020170581A1 publication Critical patent/WO2020170581A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Definitions

  • One aspect of the present invention relates to an input control system.
  • a device for inputting characters of a smartwatch a device including a plurality of electrodes (touch sensors) attached to each finger (index finger, middle finger, ring finger, little finger) other than the thumb of one hand of a user is known (for example, Non-Patent Document 1).
  • Each electrode attached to each finger other than the thumb is provided so that it can be touched by the thumb of one hand of the user (that is, the hand on which the electrode is attached).
  • the device acquires an input content corresponding to the touched electrode by detecting that the thumb touches the electrode.
  • the above device it is possible to perform input operation to the smart watch with one hand.
  • the electrodes have to be attached and detached each time the smart watch is used, which is troublesome.
  • An input control system includes a setting unit configured to set a virtual input region associated with an inner region of a finger other than a thumb in one hand of a user, and an image including a fingertip of the user's thumb.
  • An image acquisition unit to be acquired a detection unit that detects a touch motion of the thumb on the inner area based on the image acquired by the image acquisition unit, and a positional relationship between the input region and the touch motion detected by the detection unit.
  • a determination unit that determines the input content by the user based on the determination result.
  • a virtual input area associated with the inside area of the finger of one hand of the user other than the thumb is set. Further, the detection unit detects a touch operation by the thumb with respect to the inner area based on the image acquired by the image acquisition unit. Then, the determining unit determines the input content by the user based on the positional relationship between the input area and the touch motion set as described above. Therefore, according to the input control system, the input by the thumb is performed without attaching a device (for example, a touch sensor or the like) for detecting a touch operation by the thumb to each finger other than the thumb in one hand of the user. Operation becomes possible. As described above, it becomes possible to more easily perform the input operation with only one hand of the user.
  • a device for example, a touch sensor or the like
  • an input control system capable of more easily performing an input operation with one hand.
  • FIG. 1 is a diagram showing a functional configuration of an input control system 1 according to an embodiment.
  • the input control system 1 includes a sensor device 2 and a terminal 3.
  • the input control system 1 is a system that enables a simple input operation with one hand on the terminal 3 by using the information acquired by the sensor device 2.
  • the sensor device 2 is a single device that is attached to one hand of the user (right hand in this embodiment).
  • the terminal 3 is an arbitrary information terminal.
  • a terminal that cannot perform an input operation using a keyboard, a mouse, a touch panel, etc. (or is not suitable for an input operation using a keyboard, a mouse, a touch panel, etc.) is mainly assumed.
  • Specific examples of such terminals include, for example, smart watches, VR goggles, VR headsets, smart glasses (AR glasses), and the like.
  • the terminal 3 is not limited to the above example, and may be a terminal (for example, a personal computer, a smartphone, a tablet, or the like) that can be input using a keyboard, a mouse, a touch panel, or the like.
  • the terminal 3 is a smartwatch that is worn on the arm of the other hand of the user (that is, the hand opposite to the hand on which the sensor device 2 is worn; the left hand in the present embodiment). , And has a display (corresponding to the output device 1006 in FIG. 5) for presenting information to the user.
  • the sensor device 2 is a small device that is attached to the right thumb of the user (for example, the base of the thumb).
  • the sensor device 2 includes a camera 21 (image acquisition unit), a current sensor 22 (electrical signal acquisition unit), and a communication unit 23.
  • the sensor device 2 includes a main body portion that stores the camera 21, the current sensor 22, and the communication unit 23, and a fixing portion (for example, the thumb is not attached) for fixing the main body portion to the base of the thumb of the user's right hand. A ring-shaped portion to be inserted) and the like.
  • the camera 21 continuously acquires images including the fingertip of the thumb of the user's right hand (one hand).
  • Time information indicating an acquisition time point is associated with the acquired image.
  • the camera 21 is a small camera in which the position and orientation of the lens are adjusted so that the fingertip of the thumb is included in the imaging area.
  • the camera 21 is an infrared camera. In this case, the camera 21 can acquire an image in which the position of the fingertip of the thumb can be grasped even when the right hand of the user is not illuminated.
  • the current sensor 22 is a device that acquires an electric signal flowing in the right hand of the user. Time information indicating an acquisition time point (measurement time point) is associated with the acquired electric signal.
  • the current sensor 22 has a sensor surface that comes into contact with the base of the thumb of the user's right hand, and continuously measures the electrical signal (biocurrent) flowing in the portion of the user's right hand that comes into contact with the sensor surface. Is configured to.
  • the communication unit 23 performs data communication with the terminal 3.
  • the function of the communication unit 23 can be realized by the communication device 1004 (see FIG. 5) included in the sensor device 2.
  • the communication unit 23 continuously communicates with the communication unit 31 of the terminal 3 by, for example, wireless communication, so that the image acquired by the camera 21 and the electric signal (measurement value) acquired by the current sensor 22 are transmitted to the terminal 3. And send in real time.
  • the terminal 3 includes a communication unit 31, a setting unit 32, a contact determination unit 33, a detection unit 34, and a determination unit 35.
  • the communication unit 31 performs mutual data communication with the sensor device 2.
  • the function of the communication unit 31 can be realized by the communication device 1004 (see FIG. 5) included in the terminal 3.
  • the communication unit 31 continuously communicates with the communication unit 23 of the sensor device 2 by wireless communication, for example, to receive the image captured by the camera 21 and the electric signal (measurement value) acquired by the current sensor 22 in real time. To do.
  • the setting unit 32 sets a virtual input area.
  • the virtual input area is associated with the inner area of each finger of the user's right hand other than the thumb.
  • the inner region A includes a third joint from the fingertip of each finger (index finger F2, middle finger F3, ring finger F4, and little finger F5) other than the thumb F1. This is a combined area of up to.
  • the setting unit 32 stores in advance a set of input areas for each state of the terminal 3 (for example, the type of screen displayed on the display included in the terminal 3), and depending on the state of the terminal 3. Set the input area.
  • the input area B1 is composed of a plurality (here, 12 as an example) of virtual keys K1 for inputting characters using hiragana.
  • the execution content corresponding to each virtual key K1 is associated.
  • one of the hiragana characters of “sa” (“sa”, “shi”, “su”, “se”, “so”)
  • Setting an input area B2 (see (B) of FIG. 2) for determining as an input character is associated as execution content. That is, when the virtual key K1 displayed as “SA” in FIG. 2A is selected as an execution target, the execution content associated with the virtual key K1 is executed. As a result, the setting unit 32 newly sets the input area B2.
  • the input area B1 can be set by the setting unit 32 when the terminal 3 is in a state of receiving a character input from the user.
  • the region from the fingertip of each finger to the first joint, the region from the first joint to the second joint, and the region from the second joint to the third joint are unit regions, and each unit region Is associated with one virtual key K1.
  • a virtual key K1 for inputting the hiragana character of “A” line is associated with the unit area from the fingertip of the index finger F2 to the first joint in the inner area A, and the first key of the index finger F2 is associated with the virtual key K1.
  • a virtual key K1 for inputting the hiragana character of the “ka” line is associated with the unit area from the joint to the second joint, and “sa” is displayed in the unit area from the second joint to the third joint of the index finger F2.
  • a virtual key K1 for inputting the hiragana characters of the line is associated.
  • the virtual key K1 is associated with each unit area on the middle finger F3, the ring finger F4, and the little finger F5.
  • the input area B2 shown in () is newly set.
  • the input area B2 includes a plurality of virtual keys K2 for determining a finally input character.
  • the virtual key K2 associated with the execution content of the process of confirming the hiragana “sa” as the input character is associated with the unit area from the fingertip of the index finger F2 to the first joint. ..
  • each virtual key K2 associated with the execution contents of the process of determining the hiragana “shi”, “su”, “se”, and “so” as the input characters is the first joint to the second joint of the index finger F2.
  • the process of selecting a virtual key as an execution target is executed by the determining unit 35 described later. Details of the process will be described later.
  • FIG. 3(A) shows another example of the input area (input area B3).
  • the input area B3 can be set by the setting unit 32, for example, when the display of the terminal 3 is in a state in which the home screen is displayed (that is, in a state in which the user receives the designation of the application to be executed by the terminal 3).
  • the input area B3 is composed of a plurality of (here, eight as an example) virtual keys K3 and one virtual key 4.
  • an application corresponding thereto for example, any application displayed on the home screen of the terminal 3
  • Scrolling the home screen in response to a touch operation here, a swipe operation
  • Each virtual key K3 is associated with a unit area on the index finger F2, the middle finger F3, and the ring finger F4.
  • the virtual key K4 is associated with a region from the fingertip of the little finger F5 to the third joint (that is, a region for three unit regions).
  • one virtual key may be associated with an area including a plurality of unit areas.
  • the input area B4 can be set by the setting unit 32, for example, when the display of the terminal 3 is in a state of displaying a vertically or horizontally scrollable screen (for example, a web page displayed by a browser).
  • the input area B4 includes a virtual key K5, a virtual key K6, and a virtual key K7.
  • the virtual key K5 is associated with execution content that the screen displayed on the display of the terminal 3 is vertically scrolled in response to a touch operation (here, a swipe operation).
  • the virtual key K6 is associated with the execution content to scroll the screen in the horizontal direction in response to a touch operation (here, a swipe operation).
  • the virtual key K7 is associated with the execution content that the pointer (for example, an arrow-shaped cursor or the like) displayed on the screen is two-dimensionally moved according to a touch operation (here, a swipe operation). ..
  • the virtual key K5 is associated with a region from the second joint to the third joint of each of the index finger F2, the middle finger F3, and the ring finger F4 (that is, a region corresponding to three unit regions). Similar to the virtual key K4 described above, the virtual key K6 is associated with the region from the fingertip of the little finger F5 to the third joint.
  • the virtual key K7 is associated with a region from the fingertip of each of the index finger F2, the middle finger F3, and the ring finger F4 to the second joint (that is, a region for six unit regions). Like the virtual key K6 and the virtual key K7, one virtual key may be associated with a region straddling a plurality of fingers.
  • the input areas B1 to B4 as shown in FIG. 2 or FIG. 3 are shown for convenience of explanation, and are not actually displayed in the real space. That is, the input areas B1 to B4 are merely virtual areas and are not visually recognized by the user. Therefore, for example, the content of the input area set by the setting unit 32 according to the state of the terminal 3 (that is, the content of the virtual key associated with each area of the inner area A) is stored in advance by the user. .. That is, the rule indicating what kind of input area is associated with the inner area A according to the state of the terminal 3 is grasped in advance by the user. That is, the user can perform the input operation as intended by the user by performing the touch operation on the inner area A with the thumb F1 based on the rule known in advance.
  • the input areas B1 to B4 may be presented to the user.
  • the terminal 3 when the terminal 3 is a smart glass that provides the user with an AR experience, the terminal 3 may provide input areas B1 to B4 with respect to an inner area A visually recognized by the user through the lens portion of the smart glass.
  • the input areas B1 to B4 may be presented to the user by superimposing and displaying the virtual image shown (for example, the virtual keys K1 to K7 as shown in FIG. 2 or FIG. 3). In this case, the user can perform the touch operation with the thumb F1 while visually recognizing the input area (that is, each virtual key) arranged on the inner area A through the lens of the smart glass.
  • the contact determination unit 33 determines whether or not the thumb F1 of the user is in contact with the inner area A based on the electric signal obtained by the current sensor 22.
  • the contact determination unit 33 acquires the measurement value of the electric signal obtained by the current sensor 22 in real time via the communication unit 31. By such a process, the contact determination unit 33 can obtain the waveform data indicating the change with time of the measured value of the electric signal obtained by the current sensor 22.
  • the contact determination unit 33 can determine whether or not the thumb F1 is in contact with the inner area A by the following method, for example.
  • the contact determination unit 33 stores in advance the electric signal pattern (hereinafter, “contact state pattern”) when the loop-shaped path is formed. Then, the contact determination unit 33 performs pattern matching (determination whether the patterns are the same or similar to each other) between the pattern of the electric signal obtained by the current sensor 22 and the contact state pattern. Such pattern matching can be realized by a known algorithm, for example. The contact determination unit 33 determines that the thumb F1 is in the contact state when it is determined in the pattern matching that the pattern of the electric signal obtained by the current sensor 22 is the same as or similar to the contact state pattern. can do.
  • the determination method by the contact determination unit 33 is not limited to the above.
  • the contact determination unit 33 may store such a unique pattern in advance. Then, the contact determination unit 33 determines whether the thumb F1 is in the contact state or the non-contact state in response to the detection of the unique pattern in the electric signal obtained by the current sensor 22. Good.
  • the detection unit 34 detects a touch operation by the thumb F1 on the inner area A based on the image acquired by the camera 21 (hereinafter, “camera image”).
  • the touch operation includes a sporadic operation such as a tap operation with the fingertip of the thumb F1 and a time such as a swipe operation for continuously changing the touch position of the fingertip of the thumb F1 with respect to the inner area A. Including operations having general continuity.
  • a processing example first processing example, second processing example
  • the detection unit 34 detects a touch operation by the thumb F1 on the inner area A as described below, for example.
  • the fingertip of the thumb F1 and a part of the inner area A specifically, the vicinity of the fingertip of the thumb F1 (predetermined from the fingertip) The area included within the range) is shown. Therefore, for example, the detection unit 34 stores an image of the inside area A of the user's right hand (hereinafter, “inside area image”) in advance.
  • the detection unit 34 performs pattern matching between a part of the inner area A captured in the camera image and the inner area image, so that a part of the inner area A captured in the camera image with respect to the entire inner area A. Identify the location.
  • pattern matching can be realized by a known algorithm, for example.
  • the detection unit 34 identifies the position of the fingertip of the thumb F1 shown in the camera image. Through such processing, the detection unit 34 detects the position (touch position) in the inner area A where the fingertip of the thumb F1 is in contact.
  • the detection unit 34 performs not only a sporadic operation such as a tap operation of the thumb F1 with respect to a specific place in the inner area A, but also a touch such as a swipe operation. It is possible to detect a series of touch movements whose position changes with time.
  • the detection unit 34 previously acquires, for each unit area, a pattern image obtained by capturing a state in which each unit area of the inner area A is touched by the fingertip of the thumb F1. A plurality of such pattern images may be acquired for one unit area. Then, the detection unit 34 extracts the pattern image having the maximum similarity to the camera image by comparing the camera image with the plurality of pattern images acquired in advance as described above. By such processing, the detection unit 34 can detect the touch operation of the thumb F1 on the unit area corresponding to the extracted pattern image.
  • the detection unit 34 detects the touch operation based on only the camera image. However, it may not be possible to accurately determine whether or not the fingertip of the thumb F1 is in contact with the inner area A only from the camera image. Therefore, the detection unit 34 may detect the touch operation based on the determination result of the contact determination unit 33. For example, the detection unit 34 may detect the touch operation based on the camera image when the contact determination unit 33 determines that the thumb F1 is in the contact state. In this case, the detection unit 34 can accurately determine whether the thumb F1 is in contact with the inner area A by using the determination result of the contact determination unit 33.
  • the detection unit 34 performs the above-described processing only on the camera image associated with the time information corresponding to the timing (time information associated with the electric signal) at which the determination result that the thumb F1 is in the contact state is obtained.
  • the detection unit 34 performs the above-described processing only on the camera image associated with the time information corresponding to the timing (time information associated with the electric signal) at which the determination result that the thumb F1 is in the contact state is obtained.
  • the determination unit 35 determines the input content by the user based on the positional relationship between the input area associated with the inner area A and the touch motion detected by the detection unit 34. For example, it is assumed that the setting area 32 sets the input area B1 shown in FIG. In addition, it is assumed that the detection unit 34 detects a touch operation (here, a tap operation) of the thumb F1 on the unit area between the second joint and the third joint of the index finger F2. In this case, the determining unit 35, in the input area B1, the virtual key K1 associated with the position where the touch operation is detected (here, the unit area between the second joint and the third joint of the index finger F2). The execution content corresponding to is determined as the input content.
  • a touch operation here, a tap operation
  • the virtual key K1 (the virtual key displayed as “sa” in FIG. 2A) associated with the unit area between the second joint and the third joint of the index finger F2 includes Setting the input area B2 shown in (B) of 2 is associated as the execution content. Therefore, in the above case, the determination unit 35 determines to set the input area B2 as the input content. As a result, the setting area 32 sets the input area B2.
  • the detection unit 34 detects a touch operation (here, a tap operation) with respect to the unit area associated with one of the virtual keys K2.
  • the determination unit 35 determines, as the input content, the character input corresponding to the virtual key K2 associated with the unit area in which the touch operation is detected. As a result, the character designated by the user is input to the terminal 3.
  • the setting unit 32 sets the input area B3 shown in FIG.
  • the detection unit 34 detects a touch operation (here, a tap operation) on the unit area associated with any of the virtual keys K3.
  • the determining unit 35 determines, as the input content, activating the application corresponding to the virtual key K3 associated with the unit area in which the touch operation is detected. As a result, the application is executed on the terminal 3.
  • the detection unit 34 detects a touch operation (here, a swipe operation) on the unit area associated with the virtual key K4.
  • the determination unit 35 determines the home screen scrolling operation corresponding to the touch operation as the input content. For example, when the swipe motion from the fingertip side of the little finger F5 to the third joint side is detected, the determination unit 35 determines the scroll motion of scrolling the home screen to the right as the input content. On the other hand, when the swipe motion of the little finger F5 from the third joint side to the fingertip side is detected, the determination unit 35 determines the scroll motion of scrolling the home screen to the left as the input content. As a result, the home screen scrolling operation (here, scrolling in the left-right direction) is executed in the terminal 3.
  • a touch operation here, a swipe operation
  • the setting unit 32 sets the input area B4 shown in FIG. 3B.
  • the detection unit 34 detects a touch operation (here, a swipe operation) on the unit area associated with the virtual key K5.
  • the determination unit 35 determines the scroll operation of the screen (for example, the web page displayed by the browser) according to the touch operation as the input content. For example, when the swipe operation from the index finger F2 side to the ring finger F4 side is detected, the determination unit 35 determines the scroll operation for scrolling the home screen downward as the input content.
  • the determination unit 35 determines the scroll operation for scrolling the home screen upward as the input content. As a result, in the terminal 3, a screen scroll operation (here, vertical scrolling) is executed.
  • the detection unit 34 detects a touch operation (here, a swipe operation) on the unit area associated with the virtual key K6.
  • the determination unit 35 determines a screen scroll operation (a horizontal scroll operation) corresponding to the touch operation as the input content.
  • the detection unit 34 detects a touch operation (here, a swipe operation) on the unit area associated with the virtual key K7.
  • the determination unit 35 determines as the input content that the pointer (for example, an arrow-shaped cursor or the like) displayed on the screen is two-dimensionally moved according to the touch operation. As a result, the pointer displayed on the screen moves in synchronization with the swipe operation of the thumb F1.
  • the user performs a touch operation (tap operation, swipe operation, etc.) on the inner area A with the thumb F1 to input the area for input (that is, An input operation of information corresponding to the virtual key (that is, information for instructing the terminal 3 to execute a certain process) can be performed.
  • the inner area A may include areas (unit areas) that are not associated with virtual keys, such as the input areas B2 and B3 described above.
  • the contact determination unit 33 determines that the thumb F1 is in a contact state, when the thumb F1 is touching an area that is not associated with a virtual key, there is no input content corresponding to the touch position. .. In such a case, the determination unit 35 may determine that the corresponding input content does not exist and do not particularly perform the process.
  • step S1 the setting unit 32 sets a virtual input area (for example, the above-described input areas B1 to B4) in the inner area A of each finger of the user's one hand (here, the right hand) other than the thumb F1.
  • the input area to be set is determined according to the state of the terminal 3, for example.
  • step S2 the camera 21 included in the sensor device 2 attached to the thumb F1 (in this embodiment, the base of the thumb F1) continuously acquires camera images including the fingertips of the thumb F1.
  • the camera image is transmitted to the terminal 3 in real time via the communication unit 23.
  • step S3 an electric signal flowing through the user's right hand is continuously acquired by the current sensor 22 provided in the sensor device 2.
  • the electric signal (measurement value) acquired by the current sensor 22 is transmitted to the terminal 3 in real time via the communication unit 23.
  • steps S2 and S3 described above can be executed concurrently in parallel.
  • step S4 the contact determination unit 33 determines whether or not the thumb F1 is in a contact state based on the electric signal obtained by the current sensor 22.
  • step S5: NO the processes of steps S2 to S4 described above are subsequently executed.
  • step S5: YES the process of step S6 is executed.
  • the detection unit 34 detects the touch operation of the thumb F1 on the inner area A based on the camera image.
  • the detection unit 34 detects the touch operation of the thumb F1 on the inner area A based on both the determination result by the contact determination unit 33 and the camera image.
  • the detection unit 34 detects the touch operation (touch position) of the thumb F1 with respect to the inner area A based on only the camera image corresponding to the time point when the thumb F1 is determined to be in the contact state in step S5. To do.
  • step S7 the determination unit 35 determines the input content by the user based on the positional relationship between the input area associated with the inner area A and the touch motion detected by the detection unit 34.
  • a virtual input area (for example, in FIG. 2 or FIG. 3) associated with the inner area A of the finger of the user's one hand (the right hand in this embodiment) other than the thumb F1.
  • the illustrated input areas B1 to B4) are set.
  • the detection unit 34 detects a touch operation by the thumb F1 on the inner area A (that is, a touch position of the thumb F1 on the inner area A) based on the camera image acquired by the camera 21.
  • the determining unit 35 determines the input content by the user based on the positional relationship between the input area and the touch operation set as described above.
  • the thumb F1 is not attached to each finger of the user's one hand other than the thumb F1 without attaching a device (for example, a touch sensor) for detecting a touch operation by the thumb F1.
  • the input operation can be performed by.
  • a device for example, a touch sensor
  • the camera 21 is a camera mounted on the thumb F1 (in the present embodiment, the base of the thumb F1). According to the above configuration, the movement of the camera 21 can be linked to the movement of the thumb F1. As a result, the image pickup area of the camera 21 can be made to follow the movement of the thumb F1, and an image including the fingertips of the thumb F1 can be stably acquired even during the movement of the thumb F1.
  • the camera 21 is an infrared camera. According to the above configuration, it is possible to acquire a camera image capable of detecting the touch operation of the thumb F1 on the inner area A even in the dark. Therefore, the user does not need to bother to move his/her right hand to the place where the illumination light or the like hits in order to perform the input operation by the input control system 1 described above. As a result, according to the above configuration, user convenience can be improved.
  • the input control system 1 also includes a current sensor 22 and a contact determination unit 33. Then, the detection unit 34 detects the touch operation also based on the determination result by the contact determination unit 33. According to the above configuration, by performing contact determination using the electrical signal by the contact determination unit 33, it is possible to detect the touch operation with higher accuracy than in the case where the touch operation is detected using only the camera image. .. Specifically, after the contact determination unit 33 accurately determines that the thumb F1 is actually in contact with the inner area A, the touch operation can be detected based on the camera image. Therefore, when the thumb F1 is not actually in contact with the inner area A, it is possible to prevent the touch operation from being erroneously detected (erroneous detection) based on the camera image.
  • the thumb F1 is actually in contact with the inner area A, it is not determined in the analysis result of the camera image by the detection unit 34 that the thumb F1 is in contact with the inner area A, and the touch operation is performed. It is also possible to suppress the occurrence of non-detection (detection omission).
  • the camera 21 and the current sensor 22 are housed in the single sensor device 2 attached to the thumb F1. According to the above configuration, the camera 21 and the current sensor 22 can be combined into a single device and then attached to the thumb F1. Therefore, the device mounted on the user's hand (thumb F1) can be made compact as compared with the case where the camera 21 and the current sensor 22 are mounted on the user's hand separately as separate devices. As a result, user convenience can be improved.
  • the sensor device 2 may be configured by a plurality of devices (for example, a first small device equipped with the camera 21 and a second small device equipped with the current sensor 22).
  • the communication unit (a part of the function of the communication unit 23) for transmitting the camera image to the terminal 3 and the communication unit (the communication unit 23 for transmitting the electric signal acquired by the current sensor 22). (A part of the function) may be provided separately and independently.
  • the functions of the terminal 3 may be executed by the sensor device 2. That is, some or all of the functions of the terminal 3 described above may be installed in the sensor device 2 instead of the terminal 3.
  • the contact determination unit 33 may be omitted. That is, the detection unit 34 may detect the touch operation based on only the camera image. In this case, S3 to S5 in the flow of FIG. 4 are omitted.
  • each functional block may be realized by using one device physically or logically coupled, or directly or indirectly (for example, two or more devices physically or logically separated). , Wired, wireless, etc.) and may be implemented using these multiple devices.
  • the functional block may be implemented by combining the one device or the plurality of devices with software.
  • Functions include judgment, decision, judgment, calculation, calculation, processing, derivation, investigation, search, confirmation, reception, transmission, output, access, resolution, selection, selection, establishment, comparison, assumption, expectation, observation, Broadcasting, notifying, communicating, forwarding, configuring, reconfiguring, allocating, mapping, assigning, etc., but not limited to these. I can't.
  • the sensor device 2 and the terminal 3 included in the input control system 1 may function as a computer that performs the information processing method of the present disclosure.
  • FIG. 5 is a diagram illustrating an example of a hardware configuration of the sensor device 2 or the terminal 3 according to the embodiment of the present disclosure.
  • the sensor device 2 or the terminal 3 described above may be physically configured as a computer device including a processor 1001, a memory 1002, a storage 1003, a communication device 1004, an input device 1005, an output device 1006, a bus 1007, and the like.
  • the word “device” can be read as a circuit, device, unit, or the like.
  • the hardware configuration of the sensor device 2 or the terminal 3 may be configured to include one or a plurality of each device illustrated in FIG. 5, or may be configured not to include some devices.
  • Each function in the sensor device 2 or the terminal 3 causes a predetermined software (program) to be loaded onto hardware such as the processor 1001 and the memory 1002, so that the processor 1001 performs an operation and controls communication by the communication device 1004. It is realized by controlling at least one of reading and writing of data in the memory 1002 and the storage 1003.
  • the processor 1001 operates an operating system to control the entire computer, for example.
  • the processor 1001 may be configured by a central processing unit (CPU) including an interface with peripheral devices, a control device, an arithmetic device, a register, and the like.
  • CPU central processing unit
  • the processor 1001 reads a program (program code), a software module, data, and the like from at least one of the storage 1003 and the communication device 1004 into the memory 1002, and executes various processes according to these.
  • a program program code
  • the detection unit 34 may be implemented by a control program stored in the memory 1002 and operating in the processor 1001, and may be implemented similarly for other functional blocks.
  • the various processes described above are executed by one processor 1001, they may be executed simultaneously or sequentially by two or more processors 1001.
  • the processor 1001 may be implemented by one or more chips.
  • the program may be transmitted from the network via an electric communication line.
  • the memory 1002 is a computer-readable recording medium, and is configured by at least one of, for example, ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), RAM (Random Access Memory), and the like. May be done.
  • the memory 1002 may be called a register, a cache, a main memory (main storage device), or the like.
  • the memory 1002 can store a program (program code) that can be executed to implement the information processing method according to the embodiment of the present disclosure, a software module, and the like.
  • the storage 1003 is a computer-readable recording medium, for example, an optical disc such as a CD-ROM (Compact Disc ROM), a hard disc drive, a flexible disc, a magneto-optical disc (for example, a compact disc, a digital versatile disc, a Blu-ray disc). (Registered trademark) disk, smart card, flash memory (for example, card, stick, key drive), floppy (registered trademark) disk, magnetic strip, and the like.
  • the storage 1003 may be called an auxiliary storage device.
  • the above-mentioned storage medium may be, for example, a database including at least one of the memory 1002 and the storage 1003, a server, or another appropriate medium.
  • the communication device 1004 is hardware (transmission/reception device) for performing communication between computers via at least one of a wired network and a wireless network, and is also called, for example, a network device, a network controller, a network card, a communication module, or the like.
  • the input device 1005 is an input device (for example, a keyboard, a mouse, a microphone, a switch, a button, a sensor, etc.) that receives an input from the outside.
  • the output device 1006 is an output device (for example, a display, a speaker, an LED lamp, etc.) that performs output to the outside.
  • the input device 1005 and the output device 1006 may be integrated (for example, a touch panel).
  • Each device such as the processor 1001 and the memory 1002 is connected by a bus 1007 for communicating information.
  • the bus 1007 may be configured using a single bus, or may be configured using different buses for each device.
  • the senor device 2 or the terminal 3 includes hardware such as a microprocessor, a digital signal processor (DSP), an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), and an FPGA (Field Programmable Gate Array). May be included, and a part or all of each functional block may be realized by the hardware.
  • the processor 1001 may be implemented using at least one of these hardware.
  • Information that has been input and output may be stored in a specific location (for example, memory), or may be managed using a management table. Information that is input/output may be overwritten, updated, or added. The output information and the like may be deleted. The input information and the like may be transmitted to another device.
  • the determination may be performed based on a value represented by 1 bit (0 or 1), may be performed based on a Boolean value (Boolean: true or false), or may be compared by numerical values (for example, a predetermined Value comparison).
  • the notification of the predetermined information (for example, the notification of “being X”) is not limited to the explicit notification, and is performed implicitly (for example, the notification of the predetermined information is not performed). Good.
  • software, instructions, information, etc. may be transmitted and received via a transmission medium.
  • the software uses a wired technology (coaxial cable, optical fiber cable, twisted pair, digital subscriber line (DSL: Digital Subscriber Line), etc.) and/or wireless technology (infrared, microwave, etc.) websites, When sent from a server, or other remote source, at least one of these wired and wireless technologies is included within the definition of transmission medium.
  • wired technology coaxial cable, optical fiber cable, twisted pair, digital subscriber line (DSL: Digital Subscriber Line), etc.
  • wireless technology infrared, microwave, etc.
  • data, instructions, commands, information, signals, bits, symbols, chips, etc. that may be referred to throughout the above description include voltage, current, electromagnetic waves, magnetic fields or magnetic particles, optical fields or photons, or any of these. May be represented by a combination of
  • information, parameters, etc. described in the present disclosure may be represented by using an absolute value, may be represented by using a relative value from a predetermined value, or by using other corresponding information. May be represented.
  • determining and “determining” as used in this disclosure may encompass a wide variety of actions.
  • “Judgment” and “decision” are, for example, judgment, calculating, computing, processing, deriving, investigating, and looking up, search, inquiry. (Eg, searching in a table, database, or another data structure), considering ascertaining as “judging” or “deciding”, and the like.
  • “decision” and “decision” include receiving (eg, receiving information), transmitting (eg, transmitting information), input (input), output (output), access (accessing) (for example, accessing data in a memory) may be regarded as “judging” or “deciding”.
  • judgment and “decision” are considered to be “judgment” and “decision” when things such as resolving, selecting, choosing, selecting, establishing, and comparing are done. May be included. That is, the “judgment” and “decision” may include considering some action as “judgment” and “decision”. In addition, “determination (decision)” may be read as “assuming”, “expecting”, “considering”, and the like.
  • the phrase “based on” does not mean “based only on,” unless expressly specified otherwise. In other words, the phrase “based on” means both "based only on” and “based at least on.”
  • references to elements using designations such as “first”, “second”, etc. used in this disclosure does not generally limit the amount or order of those elements. These designations may be used in this disclosure as a convenient way to distinguish between two or more elements. Thus, references to the first and second elements do not mean that only two elements may be employed, or that the first element must precede the second element in any way.
  • the term “A and B are different” may mean “A and B are different from each other”.
  • the term may mean that “A and B are different from C”.
  • the terms “remove”, “coupled” and the like may be construed similarly as “different”.
  • SYMBOLS 1 Input control system, 2... Sensor device (single device), 21... Camera (image acquisition part), 22... Current sensor (electrical signal acquisition part), 32... Setting part, 33... Contact determination part, 34... Detection unit, 35... Determination unit, A... Inner area, B1, B2, B3, B4... Input area, F1... Thumb, F2... Index finger, F3... Middle finger, F4... Ring finger, F5... Little finger.

Abstract

入力制御システム１は、ユーザの一方の手における親指Ｆ１以外の指の内側領域Ａに関連付けられる仮想的な入力用領域を設定する設定部３２と、ユーザの親指Ｆ１の指先を含む画像を取得するカメラ２１と、カメラ２１により取得された画像に基づいて、内側領域Ａに対する親指Ｆ１によるタッチ動作を検出する検出部３４と、入力用領域と検出されたタッチ動作との位置関係に基づいて、ユーザによる入力内容を決定する決定部３５と、を備える。

Description

入力制御システム
　本発明の一側面は、入力制御システムに関する。
　スマートウォッチの文字入力用のデバイスとして、ユーザの一方の手の親指以外の各指（人差し指、中指、薬指、小指）に装着される複数の電極（タッチセンサ）を含む装置が知られている（例えば、非特許文献１）。親指以外の各指に装着された各電極は、ユーザの一方の手（すなわち、電極が装着された手）の親指によってタッチ可能に設けられている。上記デバイスは、親指が電極にタッチしたことを検出することにより、タッチされた電極に応じた入力内容を取得する。
Pui Chung Wong, Kening Zhu, Hongbo Fu, "FingerT9: Leveraging Thumb-to-finger Interaction for Same-side-hand Text Entry on Smartwatches", CHI '18 Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems Paper No. 178, Montreal QC, Canada, April 21-26, 2018.
　上記デバイスによれば、スマートウォッチに対する入力操作を片手によって行うことが可能となる。しかしながら、上記デバイスを用いる場合、ユーザの親指以外の各指に複数の電極を装着する必要があるため、ユーザの日常生活に支障が生じる。また、スマートウォッチを利用する度に電極を装着したり取り外したりしなければならず、手間がかかる。
　そこで、本発明の一側面は、片手による入力操作をより簡便に行うことが可能な入力制御システムを提供することを目的とする。
　本発明の一側面に係る入力制御システムは、ユーザの一方の手における親指以外の指の内側領域に関連付けられる仮想的な入力用領域を設定する設定部と、ユーザの親指の指先を含む画像を取得する画像取得部と、画像取得部により取得された画像に基づいて、内側領域に対する親指によるタッチ動作を検出する検出部と、入力用領域と検出部により検出されたタッチ動作との位置関係に基づいて、ユーザによる入力内容を決定する決定部と、を備える。
　上記入力制御システムにおいては、ユーザの一方の手における親指以外の指の内側領域に関連付けられる仮想的な入力用領域が設定される。また、検出部が、画像取得部によって取得された画像に基づいて、内側領域に対する親指によるタッチ動作を検出する。そして、決定部が、上記のように設定された入力用領域とタッチ動作との位置関係に基づいて、ユーザによる入力内容を決定する。従って、上記入力制御システムによれば、ユーザの一方の手における親指以外の各指に、親指によるタッチ操作を検知するための装置（例えば、タッチセンサ等）を装着させることなく、当該親指による入力操作が可能となる。以上により、ユーザの片手のみによる入力操作をより簡便に行うことが可能となる。
　本発明の一側面によれば、片手による入力操作をより簡便に行うことが可能な入力制御システムを提供することができる。
実施形態に係る入力制御システムの機能構成を示す図である。 仮想的な入力用領域の例を示す図である。 仮想的な入力用領域の例を示す図である。 入力制御システムの動作の一例を示すフローチャートである。 入力制御システム（センサ装置、本体装置）のハードウェア構成の一例を示す図である。
　以下、添付図面を参照して、本発明の一実施形態について詳細に説明する。なお、図面の説明において同一又は相当要素には同一符号を付し、重複する説明を省略する。
　図１は、一実施形態に係る入力制御システム１の機能構成を示す図である。入力制御システム１は、センサ装置２と端末３とを備える。入力制御システム１は、センサ装置２により取得される情報を用いることにより、端末３に対する片手による簡便な入力操作を可能とするシステムである。
　センサ装置２は、ユーザの一方の手（本実施形態では右手）に装着される単一の装置である。端末３は、任意の情報端末である。端末３としては、主に、キーボード、マウス、タッチパネル等を用いた入力操作を行うことができない（或いはキーボード、マウス、タッチパネル等を用いた入力操作に適さない）端末が想定される。このような端末の具体例としては、例えば、スマートウォッチ、ＶＲゴーグル、ＶＲヘッドセット、スマートグラス（ＡＲグラス）等が挙げられる。ただし、端末３は、上記の例に限られず、キーボード、マウス、タッチパネル等を用いた入力が可能な端末（例えば、パーソナルコンピュータ、スマートフォン、タブレット等）であってもよい。本実施形態では一例として、端末３は、ユーザの他方の手（すなわち、センサ装置２が装着された手とは反対側の手。本実施形態では左手）の腕に装着されるスマートウォッチであり、ユーザに情報を提示するためのディスプレイ（図５における出力装置１００６に相当）を有する。
　センサ装置２は、ユーザの右手の親指（例えば、親指の付け根の部分）に装着される小型デバイスである。センサ装置２は、カメラ２１（画像取得部）と、電流センサ２２（電気信号取得部）と、通信部２３と、を有する。例えば、センサ装置２は、カメラ２１、電流センサ２２、及び通信部２３を格納する本体部分と、当該本体部分をユーザの右手の親指の付け根の部分に固定するための固定部分（例えば、親指が挿通されるリング状の部分等）と、を有するデバイスである。
　カメラ２１は、ユーザの右手（一方の手）の親指の指先を含む画像を継続的に取得する。取得される画像には、取得時点（撮像時点）を示す時刻情報が関連付けられる。例えば、カメラ２１は、親指の指先が撮像領域に含まれるようにレンズの位置及び向き等が調整された小型カメラである。本実施形態では一例として、カメラ２１は、赤外線カメラである。この場合、カメラ２１は、ユーザの右手に光が当たらない状況であっても、親指の指先の位置を把握可能な画像を取得できる。
　電流センサ２２は、ユーザの右手を流れる電気信号を取得する装置である。取得される電気信号には、取得時点（測定時点）を示す時刻情報が関連付けられる。例えば、電流センサ２２は、ユーザの右手の親指の付け根の部分と接触するセンサ面を有し、ユーザの右手のうち当該センサ面と接触する部分に流れる電気信号（生体電流）を継続的に測定するように構成されている。
　通信部２３は、端末３と相互にデータ通信を行う。通信部２３の機能は、センサ装置２が備える通信装置１００４（図５参照）によって実現され得る。通信部２３は、例えば無線通信によって端末３の通信部３１と継続的に通信することにより、カメラ２１により取得された画像及び電流センサ２２により取得された電気信号（測定値）を端末３に対してリアルタイムに送信する。
　端末３は、通信部３１と、設定部３２と、接触判定部３３と、検出部３４と、決定部３５と、を備える。
　通信部３１は、センサ装置２と相互にデータ通信を行う。通信部３１の機能は、端末３が備える通信装置１００４（図５参照）によって実現され得る。通信部３１は、例えば無線通信によってセンサ装置２の通信部２３と継続的に通信することにより、カメラ２１により撮像された画像及び電流センサ２２により取得された電気信号（測定値）をリアルタイムに受信する。
　設定部３２は、仮想的な入力用領域を設定する。仮想的な入力用領域は、ユーザの右手における親指以外の各指の内側領域に関連付けられる。図２の（Ａ）に示されるように、本実施形態では一例として、内側領域Ａは、親指Ｆ１以外の各指（人差し指Ｆ２、中指Ｆ３、薬指Ｆ４、及び小指Ｆ５）の指先から第３関節までの領域を併せた領域である。例えば、設定部３２は、端末３の状態（例えば、端末３が備えるディスプレイに表示されている画面の種類等）毎の入力用領域のセットを予め記憶しており、端末３の状態に応じて入力用領域を設定する。
　図２の（Ａ）は、入力用領域の一例（入力用領域Ｂ１）を示している。入力用領域Ｂ１は、平仮名を用いた文字入力を行うための複数（ここでは一例として１２個）の仮想キーＫ１によって構成されている。各仮想キーＫ１には、それぞれに対応する実行内容が関連付けられている。例えば、図２の（Ａ）において「さ」と表示された仮想キーＫ１には、さ行の平仮名（「さ」、「し」、「す」、「せ」、「そ」）のいずれかを入力文字として決定するための入力用領域Ｂ２（図２の（Ｂ）参照）を設定することが、実行内容として関連付けられている。すなわち、図２の（Ａ）において「さ」と表示された仮想キーＫ１が実行対象として選択されると、当該仮想キーＫ１に関連付けられた実行内容が実行される。その結果、設定部３２によって、入力用領域Ｂ２が新たに設定される。
　入力用領域Ｂ１は、端末３がユーザからの文字入力を受け付ける状態である場合に、設定部３２によって設定され得る。ここでは一例として、各指の指先から第１関節までの領域、第１関節から第２関節までの領域、及び第２関節から第３関節までの領域が単位領域とされており、単位領域毎に１つの仮想キーＫ１が関連付けられている。具体的には、内側領域Ａのうち人差し指Ｆ２の指先から第１関節までの単位領域に「あ」行の平仮名の文字入力を行うための仮想キーＫ１が関連付けられており、人差し指Ｆ２の第１関節から第２関節までの単位領域に「か」行の平仮名の文字入力を行うための仮想キーＫ１が関連付けられており、人差し指Ｆ２の第２関節から第３関節までの単位領域に「さ」行の平仮名の文字入力を行うための仮想キーＫ１が関連付けられている。同様に、中指Ｆ３、薬指Ｆ４、及び小指Ｆ５上の各単位領域に対して仮想キーＫ１が関連付けられている。
　入力用領域Ｂ１に含まれる１つの仮想キーＫ１（ここでは一例として、図２の（Ａ）において「さ」と表示された仮想キーＫ１）が実行対象として選択されると、図２の（Ｂ）に示される入力用領域Ｂ２が新たに設定される。入力用領域Ｂ２は、最終的に入力される文字を決定するための複数の仮想キーＫ２を含んでいる。図２の（Ｂ）の例では、平仮名「さ」を入力文字として確定する処理が実行内容として関連付けられた仮想キーＫ２が、人差し指Ｆ２の指先から第１関節までの単位領域に関連付けられている。同様に、平仮名「し」、「す」、「せ」、及び「そ」を入力文字として確定する処理が実行内容として関連付けられた各仮想キーＫ２が、人差し指Ｆ２の第１関節から第２関節までの単位領域、人差し指Ｆ２の第２関節から第３関節までの単位領域、中指Ｆ３の指先から第１関節までの単位領域、及び中指Ｆ３の第１関節から第２関節までの単位領域に関連付けられている。なお、仮想キーを実行対象として選択する処理は、後述する決定部３５により実行される。当該処理の詳細については後述する。
　図３の（Ａ）は、入力用領域の他の例（入力用領域Ｂ３）を示している。入力用領域Ｂ３は、例えば端末３のディスプレイがホーム画面を表示した状態（すなわち、端末３に実行させるアプリケーションの指定をユーザから受け付ける状態）である場合に、設定部３２によって設定され得る。ここでは一例として、入力用領域Ｂ３は、複数（ここでは一例として８つ）の仮想キーＫ３と、１つの仮想キー４と、によって構成されている。各仮想キーＫ３には、それぞれに対応するアプリケーション（例えば、端末３のホーム画面上に表示されたいずれかのアプリケーション）を起動することが、実行内容として関連付けられている。仮想キーＫ４には、タッチ動作（ここではスワイプ動作）に応じてホーム画面をスクロールさせることが、実行内容として関連付けられている。各仮想キーＫ３は、人差し指Ｆ２、中指Ｆ３、及び薬指Ｆ４上の単位領域に関連付けられている。仮想キーＫ４は、小指Ｆ５の指先から第３関節までの領域（すなわち、単位領域３つ分の領域）に関連付けられている。仮想キーＫ４のように、１つの仮想キーは、複数の単位領域を含む領域に関連付けられてもよい。
　図３の（Ｂ）は、入力用領域の他の例（入力用領域Ｂ４）を示している。入力用領域Ｂ４は、例えば端末３のディスプレイが縦又は横にスクロール可能な画面（例えばブラウザによって表示されたウェブページ等）を表示した状態である場合に、設定部３２によって設定され得る。ここでは一例として、入力用領域Ｂ４は、仮想キーＫ５と、仮想キーＫ６と、仮想キーＫ７と、によって構成されている。仮想キーＫ５には、端末３のディスプレイに表示された画面をタッチ動作（ここではスワイプ動作）に応じて縦方向にスクロールさせることが、実行内容として関連付けられている。仮想キーＫ６には、タッチ動作（ここではスワイプ動作）に応じて当該画面を横方向にスクロールさせることが、実行内容として関連付けられている。仮想キーＫ７には、当該画面上に表示されたポインタ（例えば矢印状のカーソル等）をタッチ動作（ここではスワイプ動作）に応じて二次元的に移動させることが、実行内容として関連付けられている。仮想キーＫ５は、人差し指Ｆ２、中指Ｆ３、及び薬指Ｆ４の各々の第２関節から第３関節までの領域（すなわち、単位領域３つ分の領域）に関連付けられている。仮想キーＫ６は、上述した仮想キーＫ４と同様に、小指Ｆ５の指先から第３関節までの領域に関連付けられている。仮想キーＫ７は、人差し指Ｆ２、中指Ｆ３、及び薬指Ｆ４の各々の指先から第２関節までの領域（すなわち、単位領域６つ分の領域）に関連付けられている。仮想キーＫ６及び仮想キーＫ７のように、１つの仮想キーは複数の指に跨がる領域に関連付けられてもよい。
　なお、図２又は図３に示したような入力用領域Ｂ１～Ｂ４は、説明の便宜上図示されたものであり、現実空間において実際には表示されない。すなわち、入力用領域Ｂ１～Ｂ４は、あくまでも仮想的な領域であり、ユーザによって視認されない。このため、例えば、端末３の状態に応じて設定部３２によって設定される入力用領域の内容（すなわち、内側領域Ａの各領域に関連付けられた仮想キーの内容）は、予めユーザによって記憶される。つまり、端末３の状態に応じてどのような入力用領域が内側領域Ａに関連付けられるかを示すルールは、予めユーザによって把握されている。つまり、ユーザは、予め把握しているルールに基づいて、内側領域Ａに対する親指Ｆ１によるタッチ操作を行うことにより、ユーザが意図する通りの入力操作を実行することができる。
　ただし、入力用領域Ｂ１～Ｂ４をユーザに提示可能な場合には、入力用領域Ｂ１～Ｂ４は、ユーザに対して提示されてもよい。例えば端末３がユーザにＡＲ体験を提供するスマートグラスである場合には、端末３は、スマートグラスのレンズ部分を介してユーザによって視認される内側領域Ａに対して、入力用領域Ｂ１～Ｂ４を示す仮想画像（例えば、図２又は図３に図示したような仮想キーＫ１～Ｋ７）を重畳させて表示することにより、入力用領域Ｂ１～Ｂ４をユーザに提示してもよい。この場合、ユーザは、スマートグラスのレンズを介して、内側領域Ａ上に配置される入力用領域（すなわち、各仮想キー）を視認しながら、親指Ｆ１によるタッチ操作を行うことができる。
　接触判定部３３は、電流センサ２２により得られた電気信号に基づいて、ユーザの親指Ｆ１が内側領域Ａに接触しているか否かを判定する。接触判定部３３は、通信部３１を介して、電流センサ２２により得られた電気信号の測定値をリアルタイムに取得する。このような処理により、接触判定部３３は、電流センサ２２により得られた電気信号の測定値の経時的な変化を示す波形データを得ることができる。
　ここで、親指Ｆ１が内側領域Ａに接触しているときには、親指Ｆ１と他の指と手のひらとによってループ状の経路が形成される。一方、親指Ｆ１が内側領域Ａに接触していないときには、上記ループ状の経路は形成されない。そして、上記ループ状の経路が形成されている場合に電流センサ２２により得られる電気信号のパターン（例えば、波形、大きさ等）は、上記ループ上の経路が形成されていない場合に電流センサ２２により得られる電気信号のパターンとは異なると考えられる。そこで、接触判定部３３は、例えば以下のような方法により、親指Ｆ１が内側領域Ａに接触している接触状態であるか否かを判定することができる。
　例えば、接触判定部３３は、上記ループ状の経路が形成されている場合の電気信号のパターン（以下「接触状態パターン」）を予め記憶しておく。そして、接触判定部３３は、電流センサ２２により得られた電気信号のパターンと接触状態パターンとの間でパターンマッチング（互いに同一又は類似するパターンであるか否かの判定）を行う。このようなパターンマッチングは、例えば公知のアルゴリズムにより実現され得る。接触判定部３３は、当該パターンマッチングにおいて、電流センサ２２により得られた電気信号のパターンが接触状態パターンと同一又は類似するパターンであると判定された場合に、親指Ｆ１が接触状態であると判定することができる。
　ただし、接触判定部３３による判定手法は上記に限られない。例えば、親指Ｆ１が内側領域Ａに接触していない状態（非接触状態）から接触状態へと変化する際（或いは、接触状態から非接触状態へと変化する際）に、電流センサ２２により得られる電気信号において固有のパターンが観察される場合には、接触判定部３３は、予めこのような固有のパターンを記憶しておいてもよい。そして、接触判定部３３は、電流センサ２２により得られた電気信号において、当該固有のパターンが検出されたことに応じて、親指Ｆ１が接触状態であるか非接触状態であるかを判定してもよい。
　検出部３４は、カメラ２１により取得された画像（以下「カメラ画像」）に基づいて、内側領域Ａに対する親指Ｆ１によるタッチ動作を検出する。ここで、タッチ動作は、親指Ｆ１の指先によるタップ操作等のような単発的な動作を含むと共に、内側領域Ａに対する親指Ｆ１の指先のタッチ位置を連続的に変化させるスワイプ操作等のような時間的な連続性を有する動作を含む。以下、検出部３４による処理例（第１の処理例、第２の処理例）について説明する。
（第１の処理例）
　検出部３４は、例えば以下のようにして、内側領域Ａに対する親指Ｆ１によるタッチ動作を検出する。親指Ｆ１の指先が内側領域Ａに接触しているときを撮像したカメラ画像には、親指Ｆ１の指先と共に、内側領域Ａの一部（具体的には、親指Ｆ１の指先の近傍（指先から所定距離以内の範囲）に含まれる部分）が写っている。そこで、例えば、検出部３４は、予めユーザの右手の内側領域Ａを撮像した画像（以下「内側領域画像」）を記憶しておく。そして、検出部３４は、カメラ画像に写った内側領域Ａの一部と内側領域画像との間でパターンマッチングを行うことにより、カメラ画像に写った内側領域Ａの一部の内側領域Ａ全体に対する位置を特定する。このようなパターンマッチングは、例えば公知のアルゴリズムにより実現され得る。同様にして、検出部３４は、カメラ画像に写った親指Ｆ１の指先の位置を特定する。このような処理により、検出部３４は、内側領域Ａのうち親指Ｆ１の指先が接触している位置（タッチ位置）を検出する。また、検出部３４は、このような検出処理を連続的に行うことにより、内側領域Ａの特定の場所に対する親指Ｆ１のタップ動作等の単発的な動作だけでなく、スワイプ操作等のようにタッチ位置が時間的に変化する一連のタッチ動作を検出することができる。
（第２の処理例）
　検出部３４は、親指Ｆ１の指先で内側領域Ａの各単位領域をタッチした状態を撮像したパターン画像を単位領域毎に予め取得しておく。このようなパターン画像は、１つの単位領域に対して複数取得されてもよい。そして、検出部３４は、カメラ画像と上記のように予め取得された複数のパターン画像とを比較することにより、カメラ画像との類似度が最大のパターン画像を抽出する。このような処理により、検出部３４は、抽出されたパターン画像に対応する単位領域に対する親指Ｆ１のタッチ動作を検出することができる。
　上述した処理例においては、検出部３４は、カメラ画像のみに基づいてタッチ動作を検出する。しかし、カメラ画像だけでは親指Ｆ１の指先が内側領域Ａに接触しているか否かを正確に判定できない可能性がある。そこで、検出部３４は、接触判定部３３による判定結果にも基づいてタッチ動作を検出してもよい。例えば、検出部３４は、接触判定部３３によって親指Ｆ１が接触状態であると判定された場合に、カメラ画像に基づいてタッチ動作を検出してもよい。この場合、検出部３４は、接触判定部３３の判定結果を用いることにより、親指Ｆ１が内側領域Ａに接触しているか否かを精度良く把握することができる。そして、検出部３４は、親指Ｆ１が接触状態であるとの判定結果が得られたタイミング（電気信号に関連付けられた時刻情報）に対応する時刻情報が関連付けられたカメラ画像のみについて、上述した処理例を実行することにより、内側領域Ａに対する親指Ｆ１のタッチ動作を精度良く検出することができる。すなわち、接触判定部３３による電気信号を用いた接触判定の結果を利用することにより、カメラ画像のみを用いてタッチ動作を検出する場合と比較して、親指Ｆ１によるタッチ動作を精度良く検出することができる。
　決定部３５は、内側領域Ａに関連付けられた入力用領域と検出部３４により検出されたタッチ動作との位置関係に基づいて、ユーザによる入力内容を決定する。例えば、設定部３２によって、図２の（Ａ）に示される入力用領域Ｂ１が設定されているとする。また、検出部３４によって、人差し指Ｆ２の第２関節から第３関節までの間の単位領域に対する親指Ｆ１のタッチ動作（ここではタップ動作）が検出されたとする。この場合、決定部３５は、入力用領域Ｂ１のうち、タッチ動作が検出された位置（ここでは、人差し指Ｆ２の第２関節から第３関節までの間の単位領域）に関連付けられた仮想キーＫ１に対応する実行内容を、入力内容として決定する。上述したように、人差し指Ｆ２の第２関節から第３関節までの間の単位領域に関連付けられた仮想キーＫ１（図２の（Ａ）において「さ」と表示された仮想キー）には、図２の（Ｂ）に示される入力用領域Ｂ２を設定することが、実行内容として関連付けられている。このため、上記の場合には、決定部３５は、入力用領域Ｂ２を設定することを入力内容として決定する。その結果、設定部３２によって、入力用領域Ｂ２が設定されることになる。
　入力用領域Ｂ２が設定された後に、検出部３４によって、いずれかの仮想キーＫ２が関連付けられた単位領域に対するタッチ動作（ここではタップ動作）が検出されたとする。この場合、決定部３５は、タッチ動作が検出された単位領域に関連付けられた仮想キーＫ２に対応する文字入力を、入力内容として決定する。その結果、端末３において、ユーザにより指定された文字が入力されることになる。
　他の例として、設定部３２によって、図３の（Ａ）に示される入力用領域Ｂ３が設定されているとする。また、検出部３４によって、いずれかの仮想キーＫ３が関連付けられた単位領域に対するタッチ動作（ここではタップ動作）が検出されたとする。この場合、決定部３５は、タッチ動作が検出された単位領域に関連付けられた仮想キーＫ３に対応するアプリケーションを起動することを、入力内容として決定する。その結果、端末３において、上記アプリケーションが実行されることになる。
　また、検出部３４によって、仮想キーＫ４が関連付けられた単位領域に対するタッチ動作（ここではスワイプ動作）が検出されたとする。この場合、決定部３５は、タッチ動作に応じたホーム画面のスクロール動作を、入力内容として決定する。例えば、小指Ｆ５の指先側から第３関節側へのスワイプ動作が検出された場合には、決定部３５は、ホーム画面を右側へとスクロールさせるスクロール動作を、入力内容として決定する。一方、小指Ｆ５の第３関節側から指先側へのスワイプ動作が検出された場合には、決定部３５は、ホーム画面を左側へとスクロールさせるスクロール動作を、入力内容として決定する。その結果、端末３において、ホーム画面のスクロール動作（ここでは左右方向におけるスクロール）が実行されることになる。
　さらに他の例として、設定部３２によって、図３の（Ｂ）に示される入力用領域Ｂ４が設定されているとする。また、検出部３４によって、仮想キーＫ５が関連付けられた単位領域に対するタッチ動作（ここではスワイプ動作）が検出されたとする。この場合、決定部３５は、タッチ動作に応じた画面（例えばブラウザによって表示されたウェブページ等）のスクロール動作を、入力内容として決定する。例えば、人差し指Ｆ２側から薬指Ｆ４側へのスワイプ動作が検出された場合には、決定部３５は、ホーム画面を下方へとスクロールさせるスクロール動作を、入力内容として決定する。一方、薬指Ｆ４側から人差し指Ｆ２側へのスワイプ動作が検出された場合には、決定部３５は、ホーム画面を上方へとスクロールさせるスクロール動作を、入力内容として決定する。その結果、端末３において、画面のスクロール動作（ここでは上下方向におけるスクロール）が実行されることになる。
　また、検出部３４によって、仮想キーＫ６が関連付けられた単位領域に対するタッチ動作（ここではスワイプ動作）が検出されたとする。この場合、決定部３５は、上述した仮想キーＫ４と同様に、タッチ動作に応じた画面のスクロール動作（左右方向のスクロール動作）を、入力内容として決定する。
　また、検出部３４によって、仮想キーＫ７が関連付けられた単位領域に対するタッチ動作（ここではスワイプ動作）が検出されたとする。この場合、決定部３５は、画面上に表示されたポインタ（例えば矢印状のカーソル等）をタッチ動作に応じて二次元的に移動させることを、入力内容として決定する。その結果、画面上に表示されたポインタが、親指Ｆ１のスワイプ動作に連動して移動することになる。
　以上述べたように、入力制御システム１においては、ユーザは、親指Ｆ１で内側領域Ａに対するタッチ動作（タップ動作、スワイプ動作等）を行うことにより、内側領域Ａに関連付けられる入力用領域（すなわち、仮想キー）に応じた情報（すなわち、端末３に対してある処理の実行を指示する情報）の入力操作を実行することができる。なお、上述した入力用領域Ｂ２及び入力用領域Ｂ３のように、内側領域Ａにおいて、仮想キーが関連付けられていない領域（単位領域）が含まれる場合もあり得る。この場合、接触判定部３３により親指Ｆ１が接触状態であると判定されたとしても、仮想キーが関連付けられていない領域を親指Ｆ１がタッチしているときには、タッチ位置に対応する入力内容が存在しない。このような場合には、決定部３５は、対応する入力内容は存在しないと判断し、特に処理を行わなくてもよい。
　次に、図４を参照して、入力制御システム１の動作の一例（本実施形態に係る入力制御方法）について説明する。
　ステップＳ１において、設定部３２は、ユーザの一方の手（ここでは右手）における親指Ｆ１以外の各指の内側領域Ａに仮想的な入力用領域（例えば、上述した入力用領域Ｂ１～Ｂ４等）を設定する。設定される入力用領域は、例えば端末３の状態に応じて決定される。
　ステップＳ２において、親指Ｆ１（本実施形態では親指Ｆ１の付け根の部分）に装着されたセンサ装置２が備えるカメラ２１により、親指Ｆ１の指先を含むカメラ画像が継続的に取得される。カメラ画像は、通信部２３を介して、端末３にリアルタイムに送信される。
　ステップＳ３において、センサ装置２が備える電流センサ２２により、ユーザの右手を流れる電気信号が継続的に取得される。電流センサ２２により取得された電気信号（測定値）は、通信部２３を介して、端末３にリアルタイムに送信される。
　上述したステップＳ２及びステップＳ３の処理は、それぞれ同時並行的に実行され得る。
　ステップＳ４において、接触判定部３３は、電流センサ２２により得られた電気信号に基づいて、親指Ｆ１が接触状態であるか否かを判定する。親指Ｆ１が接触状態でないと判定された場合（ステップＳ５：ＮＯ）、引き続き、上述したステップＳ２～Ｓ４の処理が実行される。一方、親指Ｆ１が接触状態であると判定された場合（ステップＳ５：ＹＥＳ）、ステップＳ６の処理が実行される。
　ステップＳ６において、検出部３４は、カメラ画像に基づいて、内側領域Ａに対する親指Ｆ１のタッチ動作を検出する。このように、本実施形態では一例として、検出部３４は、接触判定部３３による判定結果及びカメラ画像の両方に基づいて、内側領域Ａに対する親指Ｆ１のタッチ動作を検出する。具体的には、検出部３４は、ステップＳ５において親指Ｆ１が接触状態であると判定された時点に対応するカメラ画像のみに基づいて、内側領域Ａに対する親指Ｆ１のタッチ動作（タッチ位置）を検出する。
　ステップＳ７において、決定部３５は、内側領域Ａに関連付けられた入力用領域と検出部３４により検出されたタッチ動作との位置関係に基づいて、ユーザによる入力内容を決定する。
　以上述べた入力制御システム１においては、ユーザの一方の手（本実施形態では右手）における親指Ｆ１以外の指の内側領域Ａに関連付けられる仮想的な入力用領域（例えば、図２又は図３において例示された入力用領域Ｂ１～Ｂ４）が設定される。また、検出部３４が、カメラ２１によって取得されたカメラ画像に基づいて、内側領域Ａに対する親指Ｆ１によるタッチ動作（すなわち、内側領域Ａにおける親指Ｆ１のタッチ位置）を検出する。そして、決定部３５が、上記のように設定された入力用領域とタッチ動作との位置関係に基づいて、ユーザによる入力内容を決定する。従って、入力制御システム１によれば、ユーザの一方の手における親指Ｆ１以外の各指に、親指Ｆ１によるタッチ操作を検知するための装置（例えば、タッチセンサ等）を装着させることなく、親指Ｆ１による入力操作が可能となる。以上により、入力制御システム１によれば、ユーザの片手のみによる入力操作をより簡便に行うことが可能となる。
　また、カメラ２１は、親指Ｆ１（本実施形態では、親指Ｆ１の付け根の部分）に装着されるカメラである。上記構成によれば、カメラ２１の動きを親指Ｆ１の動きに連動させることが可能となる。その結果、カメラ２１の撮像領域を親指Ｆ１の動作に追随させることが可能となり、親指Ｆ１の動作中においても、親指Ｆ１の指先を含む画像を安定して取得することができる。
　また、カメラ２１は、赤外線カメラである。上記構成によれば、暗闇の中でも内側領域Ａに対する親指Ｆ１のタッチ動作を検出可能なカメラ画像を取得することができる。このため、ユーザは、上述した入力制御システム１による入力操作を実行するために、照明光等が当たる場所に自身の右手をわざわざ移動させる必要がない。その結果、上記構成によれば、ユーザの利便性を向上させることができる。
　また、入力制御システム１は、電流センサ２２と、接触判定部３３と、を備えている。そして、検出部３４は、接触判定部３３による判定結果にも基づいてタッチ動作を検出する。上記構成によれば、接触判定部３３による電気信号を用いた接触判定を行うことにより、カメラ画像のみを用いてタッチ動作を検出する場合と比較して、タッチ動作を精度良く検出することができる。具体的には、実際に親指Ｆ１が内側領域Ａに接触していることを接触判定部３３によって精度良く判定した上で、カメラ画像に基づいてタッチ動作を検出することができる。このため、実際には親指Ｆ１が内側領域Ａに接触していない場合に、カメラ画像に基づいて誤ってタッチ動作が検出されてしまうこと（誤検出）の発生を抑制することができる。また、実際には親指Ｆ１が内側領域Ａに接触しているにもかかわらず、検出部３４によるカメラ画像の解析結果において親指Ｆ１が内側領域Ａに接触されていると判定されず、タッチ動作が検出されないこと（検出漏れ）の発生を抑制することもできる。
　また、カメラ２１及び電流センサ２２は、親指Ｆ１に装着される単一のセンサ装置２に収容されている。上記構成によれば、カメラ２１と電流センサ２２とを、単一のデバイスにまとめた上で親指Ｆ１に装着することができる。このため、カメラ２１と電流センサ２２とが別々のデバイスとしてユーザの手に別々に装着される場合と比較して、ユーザの手（親指Ｆ１）に装着されるデバイスをコンパクト化することができる。その結果、ユーザの利便性を向上させることができる。
　以上、一実施形態に係る入力制御システム１について説明されたが、入力制御システム１の構成は上記実施形態に限定されない。例えば、センサ装置２は、複数の装置（例えば、カメラ２１を搭載した第１小型デバイス及び電流センサ２２を搭載した第２小型デバイス）によって構成されてもよい。この場合、カメラ画像を端末３に送信するための通信部（通信部２３の機能の一部）と電流センサ２２により取得された電気信号を端末３に送信するための通信部（通信部２３の機能の一部）とは、別個独立に設けられてもよい。
　また、端末３の機能（設定部３２、接触判定部３３、検出部３４、及び決定部３５）の一部又は全部は、センサ装置２により実行されてもよい。つまり、上述した端末３の機能の一部又は全部は、端末３の代わりにセンサ装置２に搭載されてもよい。
　また、例えばカメラ画像のみに基づくタッチ判定（親指Ｆ１が内側領域Ａに接触しているか否かの判定）の判定精度が十分である場合等には、接触判定部３３は省略されてもよい。つまり、検出部３４はカメラ画像のみに基づいてタッチ動作を検出してもよい。この場合、図４のフローにおけるＳ３～Ｓ５は省略される。
　なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
　機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。
　例えば、本開示の一実施の形態における入力制御システム１に含まれるセンサ装置２及び端末３は、本開示の情報処理方法を行うコンピュータとして機能してもよい。図５は、本開示の一実施の形態に係るセンサ装置２又は端末３のハードウェア構成の一例を示す図である。上述のセンサ装置２又は端末３は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。
　なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。センサ装置２又は端末３のハードウェア構成は、図５に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
　センサ装置２又は端末３における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。
　プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central　Processing　Unit）によって構成されてもよい。
　また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、検出部３４は、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
　メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read　Only　Memory）、ＥＰＲＯＭ（Erasable　Programmable　ＲＯＭ）、ＥＥＰＲＯＭ（Electrically　Erasable　Programmable　ＲＯＭ）、ＲＡＭ（Random　Access　Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る情報処理方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。
　ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact　Disc　ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及びストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。
　通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
　入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。
　また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。
　また、センサ装置２又は端末３は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital　Signal　Processor）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＰＬＤ（Programmable　Logic　Device）、ＦＰＧＡ（Field　Programmable　Gate　Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。
　以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。
　本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
　入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
　判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
　本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
　ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
　また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital　Subscriber　Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
　本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
　また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。
　上述したパラメータに使用する名称はいかなる点においても限定的な名称ではない。さらに、これらのパラメータを使用する数式等は、本開示で明示的に開示したものと異なる場合もある。様々な情報要素は、あらゆる好適な名称によって識別できるので、これらの様々な情報要素に割り当てている様々な名称は、いかなる点においても限定的な名称ではない。
　本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking　up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。
　本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
　本開示において使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみが採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。
　本開示において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。
　本開示において、例えば、英語でのa,　an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
　本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。
　１…入力制御システム、２…センサ装置（単一の装置）、２１…カメラ（画像取得部）、２２…電流センサ（電気信号取得部）、３２…設定部、３３…接触判定部、３４…検出部、３５…決定部、Ａ…内側領域、Ｂ１，Ｂ２，Ｂ３，Ｂ４…入力用領域、Ｆ１…親指、Ｆ２…人差し指、Ｆ３…中指、Ｆ４…薬指、Ｆ５…小指。

Claims (5)

  1. 　ユーザの一方の手における親指以外の指の内側領域に関連付けられる仮想的な入力用領域を設定する設定部と、
    　前記ユーザの前記親指の指先を含む画像を取得する画像取得部と、
    　前記画像取得部により取得された画像に基づいて、前記内側領域に対する前記親指によるタッチ動作を検出する検出部と、
    　前記入力用領域と前記検出部により検出された前記タッチ動作との位置関係に基づいて、前記ユーザによる入力内容を決定する決定部と、
    を備える入力制御システム。
  2. 　前記画像取得部は、前記親指に装着されるカメラである、請求項１に記載の入力制御システム。
  3. 　前記画像取得部は、赤外線カメラである、請求項１又は２に記載の入力制御システム。
  4. 　前記ユーザの一方の手を流れる電気信号を取得する電気信号取得部と、
    　前記電気信号取得部により得られた電気信号に基づいて、前記親指が前記内側領域に接触しているか否かを判定する接触判定部と、を更に備え、
    　前記検出部は、前記接触判定部による判定結果にも基づいて前記タッチ動作を検出する、請求項１～３のいずれか一項に記載の入力制御システム。
  5. 　前記画像取得部及び前記電気信号取得部は、前記親指に装着される単一の装置に収容されている、請求項４に記載の入力制御システム。
PCT/JP2019/049241 2019-02-18 2019-12-16 入力制御システム WO2020170581A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019026612A JP2022074167A (ja) 2019-02-18 2019-02-18 入力制御システム
JP2019-026612 2019-11-29

Publications (1)

Publication Number Publication Date
WO2020170581A1 true WO2020170581A1 (ja) 2020-08-27

Family

ID=72144007

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/049241 WO2020170581A1 (ja) 2019-02-18 2019-12-16 入力制御システム

Country Status (2)

Country Link
JP (1) JP2022074167A (ja)
WO (1) WO2020170581A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113918027A (zh) * 2021-12-13 2022-01-11 深圳市心流科技有限公司 手势指套控制方法、手势指套、系统、设备及存储介质
WO2023236052A1 (zh) * 2022-06-07 2023-12-14 北京小米移动软件有限公司 输入信息确定方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010204724A (ja) * 2009-02-27 2010-09-16 Denso Corp 入力システム及び電気機器
JP2014067388A (ja) * 2012-09-06 2014-04-17 Toshiba Alpine Automotive Technology Corp アイコン操作装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010204724A (ja) * 2009-02-27 2010-09-16 Denso Corp 入力システム及び電気機器
JP2014067388A (ja) * 2012-09-06 2014-04-17 Toshiba Alpine Automotive Technology Corp アイコン操作装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113918027A (zh) * 2021-12-13 2022-01-11 深圳市心流科技有限公司 手势指套控制方法、手势指套、系统、设备及存储介质
WO2023236052A1 (zh) * 2022-06-07 2023-12-14 北京小米移动软件有限公司 输入信息确定方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP2022074167A (ja) 2022-05-18

Similar Documents

Publication Publication Date Title
CN101859214B (zh) 输入设备和使用输入设备的输入处理方法
US8266529B2 (en) Information processing device and display information editing method of information processing device
US8432301B2 (en) Gesture-enabled keyboard and associated apparatus and computer-readable storage medium
US8816964B2 (en) Sensor-augmented, gesture-enabled keyboard and associated apparatus and computer-readable storage medium
KR101695174B1 (ko) 전자장치에 수신문자입력을 위한 인체공학적 움직임 감지
US20130241837A1 (en) Input apparatus and a control method of an input apparatus
US20090066659A1 (en) Computer system with touch screen and separate display screen
US20130300696A1 (en) Method for identifying palm input to a digitizer
TWI463355B (zh) 多點觸控介面之訊號處理裝置、訊號處理方法及使用者介面圖像選取方法
EP2722733B1 (en) Information processing device, information processing method, and program
JP2019109748A (ja) タッチパネル、タッチパネルを備える空調システム、及びタッチパネルの制御方法
JP2013228948A (ja) 入力装置、入力支援方法及びプログラム
JP2011134069A (ja) タッチパネル装置
TWI659353B (zh) 電子設備以及電子設備的工作方法
JP2012038164A (ja) 情報処理装置
WO2020170581A1 (ja) 入力制御システム
CN103164067A (zh) 判断触摸输入的方法及电子设备
CN103226399A (zh) 计算机输入装置
US10564844B2 (en) Touch-control devices and methods for determining keys of a virtual keyboard
JPWO2009031213A1 (ja) 携帯端末装置及び表示制御方法
WO2017028491A1 (zh) 触控显示设备及触控显示方法
TW201520882A (zh) 輸入設備及輸入管理系統
WO2018112803A1 (zh) 触摸屏手势识别的方法及装置
JPWO2012111227A1 (ja) タッチ式入力装置、電子機器および入力方法
CN104133578A (zh) 触摸屏面板显示器和触摸键输入系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19916038

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19916038

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP