WO2023026567A1 - 情報処理装置、情報処理方法及びコンピュータプログラム - Google Patents

情報処理装置、情報処理方法及びコンピュータプログラム Download PDF

Info

Publication number
WO2023026567A1
WO2023026567A1 PCT/JP2022/015775 JP2022015775W WO2023026567A1 WO 2023026567 A1 WO2023026567 A1 WO 2023026567A1 JP 2022015775 W JP2022015775 W JP 2022015775W WO 2023026567 A1 WO2023026567 A1 WO 2023026567A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
finger
control unit
user
area
Prior art date
Application number
PCT/JP2022/015775
Other languages
English (en)
French (fr)
Inventor
賢吾 内田
宏樹 徳永
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023026567A1 publication Critical patent/WO2023026567A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a computer program.
  • the present disclosure has been made in view of the above-described problems, and enables a user to instruct execution of a desired function with a simple operation.
  • An information processing apparatus includes an acquisition unit that acquires first biological information by sensing a first part of a user and acquires second biological information by sensing a second part of the user; and a specifying unit that specifies an operation performed by the user based on the motion of the second part, and a function that executes the specified operation based on the first biometric information and the second biometric information. and a control unit that determines
  • An information processing method of the present disclosure acquires first biological information by sensing a first part of a user, acquires second biological information by sensing a second part of the user, A computer identifies an operation performed by the user based on the motion of the two parts, and determines a function to be executed in response to the operation based on the first biological information and the second biological information. Execute.
  • a computer program comprises the steps of: sensing a first part of a user to obtain first biological information; sensing a second part of the user to obtain second biological information; and identifying an operation performed by the user based on the motion of the second part; and determining a function to be executed in response to the operation based on the first biological information and the second biological information. causes a computer to perform the steps;
  • FIG. 1 is a block diagram of an information processing apparatus according to a first embodiment
  • FIG. 1 is a diagram showing an example of an external plan view configuration of an information processing apparatus according to a first embodiment
  • 4 is a flow chart showing an example of the overall processing flow of the information processing apparatus according to the first embodiment
  • 4 is a diagram for explaining an example of registration processing of the information processing apparatus according to the first embodiment
  • a diagram showing an example of a registration table The figure which shows the example which captures a screenshot by operation of a right thumb and a right index finger.
  • FIG. 11 is a diagram showing an example of prediction of a region touched by a second finger;
  • a diagram showing an example of acquiring information such as the size and shape of a user's hand A diagram showing another example of acquiring information such as the size and shape of a user's hand 9 is a flowchart showing an example of the flow of processing of an information processing apparatus according to the second embodiment of the present disclosure;
  • FIG. 5 is a diagram showing an example of displaying area information and navigation information on a touch panel;
  • 10 is a flow chart showing an example of the flow of processing of an information processing apparatus according to the third embodiment;
  • FIG. 4 is an explanatory diagram of Modification 1;
  • FIG. 9 is an explanatory diagram of another example of modification 1;
  • FIG. 2 is a diagram showing an example of a hardware configuration of a computer that executes a series of processes of the information processing apparatus of the present disclosure by means of a program;
  • FIG. 1 is a block diagram of an information processing device 100 according to an embodiment of the present disclosure.
  • An information processing apparatus 100 (hereinafter referred to as the apparatus 100 ) according to the present embodiment includes an acquisition unit 110 , a display unit 120 , a storage unit 130 and a control unit 140 .
  • the display unit 120 has a touch panel for presenting information to the user and inputting information by touch.
  • Acquisition unit 110 acquires biometric information (for example, fingerprint information if the part is a finger) by sensing an arbitrary part of the user.
  • the storage unit 130 stores various data or information necessary for the operation of the control unit 140 .
  • the control unit 140 controls the device 100 and executes software.
  • the control unit 140 includes an identification unit 141 that detects actions of a plurality of user parts (for example, a plurality of fingers) and identifies a user operation (for example, pinch out) performed by the user based on the detected actions. Control unit 140 determines a function to be executed for the specified operation based on the biometric information of the plurality of parts.
  • a plurality of user parts for example, a plurality of fingers
  • a user operation for example, pinch out
  • Acquisition unit 110 includes an imaging sensor such as an imaging device arranged in the touch panel. Acquisition unit 110 acquires biometric information of a first region (first biometric information) and biometric information of a second region (second biometric information) of a user who operates a touch panel using an imaging sensor.
  • first biometric information the first region
  • second biometric information the biometric information of a second region
  • the first part is the first finger (eg thumb)
  • the second part is the second finger (eg index finger).
  • the biometric information is, for example, fingerprint information.
  • the control unit 140 authenticates the biometric information of the first finger and the biometric information of the second finger by determining which biometric information registered in advance matches. This identifies the first finger and the second finger.
  • the control unit 140 generates identification information (first identification information) for identifying the first finger and identification information (second identification information) for identifying the second finger. Further, the control unit 140 identifies the operation performed by the user with the first finger and the second finger by detecting the motion of the first finger and the motion of the second finger. Specifically, the function associated with the combination of the identification information and the identified operation of each of the first parent and the second finger is specified, and the specified function is executed.
  • identification information of multiple fingers and operations that can be performed by the user with multiple fingers are combined and registered in association with functions. Then, when an operation performed by a plurality of fingers registered in advance is detected, a function associated with a pair of the plurality of fingers and the operation is executed. As a result, for example, even with the same pinch-out operation, it is possible to execute (call) different functions by changing the combination of fingers used, and it is possible to implement efficient function execution in terms of time or procedure.
  • FIG. 2 is an external plan view of the device 100.
  • FIG. This device 100 is a tablet terminal having a touch panel.
  • a display unit 120 including a display area corresponding to the screen of the touch panel and an acquisition unit 110 provided on the back side of the screen are shown.
  • Acquisition unit 110 includes a plurality of imaging sensors 110a.
  • the imaging sensor 110a is, for example, an optical sensor, and is a sensor capable of detecting biological information such as a fingerprint as an image by sensing.
  • the detection ranges of the plurality of imaging sensors 110a correspond to the plurality of partial areas in the display section 120, respectively.
  • the plurality of imaging sensors 110a acquire biometric information (fingerprint information in this example) of fingers touching respective corresponding detection ranges as images.
  • the detection ranges of adjacent imaging sensors 110a may partially overlap.
  • the control unit 140 can individually control activation and deactivation of the imaging sensor 110a.
  • the imaging sensor 110a may be put on standby so that it can be activated at high speed.
  • the acquisition unit 110 includes an imaging sensor in the example of FIG. 2, it may include other types of sensors as long as the biometric information can be detected.
  • the acquisition unit 110 may acquire biometric information from a finger held within a certain distance from the surface area of the touch panel in the normal direction, instead of from the finger that touches the display area. In this case, the user may be able to operate without touching the finger.
  • Acquisition unit 110 may also include a pressure sensor that detects pressure on the display area by the user's finger.
  • the imaging sensor 110a is arranged so that detection can be performed from almost the entire display area, but the imaging sensor 110a is arranged so as to detect from a part of the display area. may have been
  • FIG. 3 shows another example of an external plan view of the device 100.
  • the imaging sensor 110a is arranged only in the lower part of the display area.
  • FIG. 4 is a flowchart showing an example of the overall processing flow of the information processing device 100 according to the embodiment of the present disclosure.
  • the first finger is the thumb and the second finger is the index finger.
  • the processing of steps S1001 and S1002 in FIG. 4 may be performed at least once, and the processing of steps S1001 and S1002 need not be performed each time the authentication of step S1003 is performed.
  • step S1001 of FIG. 4 biometric information of a finger (thumb, forefinger, etc.) is acquired from the user, and registration processing of registering the acquired biometric information in the apparatus 100 is performed.
  • FIG. 5 is a diagram for explaining an example of registration processing.
  • the acquisition unit 110 captures the fingerprint of the thumb 210 and acquires the fingerprint information (fingerprint image) of the thumb 210 .
  • the acquisition unit 110 captures an image of the fingerprint of the index finger 220 and acquires the fingerprint information (fingerprint image) of the index finger 220 .
  • fingerprint information may be acquired for other fingers (middle finger, ring finger, little finger) of right hand 200 and each finger on the left.
  • the fingerprint information of each finger acquired by the acquisition unit 110 is stored in the storage unit 130 as biometric information.
  • the acquisition unit 110 may recognize that the user has touched the display unit 120 with a finger through the touch detection function of the touch panel.
  • the control unit 140 calculates characteristic information of each finger from the obtained fingerprint image of each finger. Labels corresponding to identification information for identifying fingers (for example, "right thumb”, “right index finger”, etc.) are added to the calculated feature information or fingerprint image, and stored in a biometric feature table. A label can be a symbol or a value.
  • a biometric feature table is stored in the storage unit 130 .
  • the feature information includes, for example, image minutiae features (coordinates of various feature points), local feature amounts of the image, or both of them. At this time, the feature information may be calculated from the entire fingerprint or may be calculated from a part of the fingerprint.
  • the acquired feature information or biometric information can also be used to determine the direction in which the finger points.
  • FIG. 6 shows an example of a biometric feature table.
  • Feature information FI_1 of the right thumb, feature information FI_2 of the right index finger, feature information FI_3 of the right middle finger, and the like are stored.
  • the feature information is schematically indicated by symbols, but in reality the feature information includes one or more values in a format corresponding to its type.
  • Biometric information fingerprint information
  • the biometric feature table may store feature information of one user, or may store feature information of a plurality of users.
  • the user When acquiring fingerprint information for registration from the user, the user may be asked to place the finger in a predetermined direction. At this time, information indicating the direction in which the finger is placed may be displayed on the display unit 120 .
  • the The direction of placement can be calculated. For example, the direction in which the finger points can be calculated by calculating the amount of rotation of the image from the coordinates of the feature points. At this time, the accuracy of calculation may be improved by calculating the degree of distortion of the imaging target.
  • the fingerprint information may be acquired for each direction by having the user place the finger in a plurality of directions.
  • the biometric feature table may store pairs of feature information (or fingerprint information) and labels for each direction.
  • the control unit 140 combines a plurality of fingers of the user and an operation (pinch-out, pinch-in, etc.) to form a set, and assigns a function to the set (corresponds to the function).
  • the control unit 140 stores, in a registration table, correspondence data (pattern data) that associates sets of identification information and operations of a plurality of fingers with functions that can be executed by software (applications, operating systems, etc.).
  • the registration table is stored in storage unit 130 .
  • the control unit 140 may display an interface screen for the user to register pattern data on the display unit 120 so that the user can register the pattern data from the interface screen. For example, a user inputs information specifying a plurality of fingers, operations, and functions in a selection format or directly by inputting information through a touch panel.
  • FIG. 7 shows an example of a registration table stored in the storage unit 130.
  • FIG. Corresponding data is stored in each row.
  • the first line means that when pinching out with the right thumb and right index finger, the function of capturing a screenshot of the range specified by the pinching out is executed.
  • the second line means that, when pinching out with the right index finger and the right middle finger, the function of copying the text in the range specified by the pinching out is executed.
  • the third line means that the function of enlarging the screen is executed when tapping is performed with the right index finger and the right middle finger.
  • the fourth line means that when the right thumb and left thumb are pinched out, the text within the range specified by the pinch out is translated.
  • step S1003 of FIG. 4 when the user operates the touch panel, the control unit 140 detects a set of a plurality of fingers and an operation using the plurality of fingers that match the patterns registered in the registration table. The control unit 140 performs a process of executing a function associated (assigned) to the detected pattern.
  • control unit 140 starts operating when the user presses and holds the first finger on the touch panel.
  • Control unit 140 senses the long-pressed first finger and acquires biometric information (fingerprint information in this example) of the first finger via acquisition unit 110 .
  • a long press corresponds to, for example, a case where the first finger is pressed for a time equal to or longer than a certain threshold (first time). If the action is started according to the timing at which the touch of the first finger is detected, the action may be started at a timing other than the long press.
  • the control unit 140 determines whether or not the acquired biometric information matches pre-registered biometric information (authenticates whether or not it is a pre-registered user's finger).
  • feature information of the finger is calculated based on the acquired biometric information, and it is confirmed whether or not feature information matching or approximating the calculated feature information is stored in the biometric feature table (see FIG. 6). For example, if the degree of similarity between feature information is equal to or greater than a threshold, it is determined that the acquired biometric information matches pre-registered biometric information, and which finger the first finger corresponds to (finger type). If biometric information that matches the acquired biometric information is registered, it is determined that the authentication is successful, and if it is not registered, it is determined that the authentication is unsuccessful.
  • control unit 140 senses the second finger according to the timing when the second finger touches the display unit 120 (touch panel), and obtains biometric information (fingerprint information in this example) of the second finger. to get In the same manner as in the case of the first finger, it is determined whether or not the acquired biometric information matches the pre-registered biometric information (authenticates whether or not the finger is a pre-registered user's finger), and authentication is performed. is successful, identify which finger (finger type) the second finger corresponds to.
  • the control unit 140 determines the operation performed by the user based on the motion of each finger. to detect That is, the identifying unit 141 of the control unit 140 detects the motion (movement) of the successfully authenticated finger from the touch panel, and identifies the operation performed by the user from the motion of each finger.
  • the motion of the finger includes, for example, the position of the touched finger, the trajectory of the finger afterward, and the like. A touched finger may not move from the touched position.
  • the methods for detecting finger touch and touched finger motion on the touch panel include resistive film method, capacitance method, surface capacitance method, projective capacitance method, and surface acoustic wave (SAW) method.
  • the identifying unit 141 detects the motion of each finger and determines the operation performed by the user from the motion of each finger.
  • the motions of the first finger and the second finger may be acquired using the acquisition unit 110 instead of the function of the touch panel.
  • the acquiring unit 110 acquires the biometric information (images) of each finger in time series even after the authentication (identification) of the first finger and the second finger, and selects the first finger from the images acquired in time series. and a second finger motion.
  • control unit 140 determines whether the set of the identification information of the first finger and the second finger and the specified operation is registered in the registration table. If registered, control unit 140 identifies the function associated with the set and executes the identified function.
  • Fig. 8 shows an example of capturing a screenshot of the selected range by pinching out with the right thumb and right index finger.
  • An authentication process (identification process) 210A for the right thumb 210 and then an authentication process (identification process) 220A for the right index finger 220 are performed. Both thumb 210 and index finger 220 are successfully authenticated, and thumb 210 and index finger 220 are identified as the thumb and index finger, respectively.
  • a pinch-out operation with the thumb 210 and index finger 220 is specified.
  • the screenshot function associated with the thumb 210 and index finger 220 and pinch out pair is invoked. An image of the area selected by pinching out is captured.
  • Fig. 9 shows an example of copying a selected range of text by pinching out with the right index finger and right middle finger.
  • An authentication process 220A for the index finger 220 and an authentication process 230A for the middle finger 230 are performed.
  • the user performs pinch-out by performing an action of releasing the middle finger 230 from the index finger 220 .
  • the control unit 140 selects the range specified by pinching out and copies the text included in the selected range.
  • the range to be copied may be determined when the pinch-out operation is stopped for a certain period of time.
  • separate operations may be assigned to the selection of the range to be copied and the execution of the copy. For example, a range may be selected by pinching out, and the selected range may be copied by releasing both fingers from the screen.
  • pairs of identification information of a plurality of fingers and operations that can be performed by the user with the plurality of fingers are registered in association with functions to be executed. Identifying the plurality of fingers used at the time of user's operation, identifying the operation performed by the plurality of used fingers, and matching the set of the identified plurality of fingers and the identified operation function. Thereby, the user can easily implement a desired function by a desired operation. For example, even with the same pinch-out operation, different functions can be invoked by changing the combination of fingers used. As a result, frequently used functions can be efficiently called temporally or procedurally without requiring complicated operations.
  • the second finger when the user uses the first finger and the second finger in this order, the second finger is placed when authentication (identification) of the first finger is completed ( (to be touched) area.
  • the imaging sensor 110a corresponding to the detection range including at least a part of the predicted area is activated, and the imaging sensor 110a corresponding to the other detection range is stopped or set to standby (the imaging sensor that detected the biological information of the first finger 110a may also be deactivated or put on standby after detection of the first finger biometric). Accordingly, after the authentication of the first finger, only the imaging sensor 110a included in the area required for the authentication of the second finger needs to be activated, so the imaging sensors of the entire touch panel are always activated. Power consumption can be reduced compared to the case.
  • the control unit 140 predicts the area touched by the second finger based on the type of the first finger and the type of the second finger.
  • Control unit 140 identifies a pattern including the authenticated first finger from the registration table, and identifies the second finger included in the identified pattern as a finger that may be used (second finger candidate). to judge. If there are a plurality of patterns including the authenticated first finger, the second fingers included in the plurality of patterns are determined as candidates for the second finger. For example, if there are two patterns including the first finger, the second fingers included in these two patterns are the first and second candidates for the second finger.
  • the control unit 140 predicts a region to be touched by the second finger for each second finger candidate.
  • the area touched by the second finger is predicted based on the position touched by the thumb.
  • the predicted area is a range within a predetermined distance from the position touched by the thumb.
  • the predetermined distance may be variable according to at least one of the type of the first finger and the type of the second finger. For example, the predetermined distance when the first finger is the index finger and the second finger is the middle finger may be shorter than when the first finger is the thumb and the second finger is the middle finger.
  • the total sum of predicted regions for each candidate may be used as the predicted region.
  • the hand including the second finger may differ from the hand including the first finger.
  • the first finger may be a right thumb and the second finger may be a left thumb.
  • the control unit 140 may predict the area touched by the second finger based on whether the hand including the second finger is the same as the hand including the first finger.
  • the control unit 140 may detect the direction in which the first finger faces based on the biometric information of the first finger, and predict the area where the user touches the second finger based on the detected direction.
  • the shape and size of the hand and the direction in which the first thumb is placed are such that the position and direction of the first thumb are generally maintained.
  • a predetermined shape and size may be used as the shape and size of the hand, or the shape and size of the user's hand may be measured as described later.
  • FIG. 10 shows a prediction example of the area touched by the second finger.
  • the thumb 210 of the right hand 200 corresponding to the first finger is first placed on the touch panel (display unit 120), and the thumb 210 faces the direction D1.
  • Two patterns including the right thumb 210 are registered in the registration table.
  • the index finger of the right hand is registered as the second finger (first candidate) in the first pattern
  • the middle finger of the right hand is registered as the second finger (second candidate) in the second pattern.
  • the direction of the next touch is determined by shifting the direction D1 by a predetermined angle with respect to the index finger and the middle finger, and the distance between the fingers (for example, the thumb and index finger, thumb and middle finger).
  • the area touched by the index finger and the area touched by the middle finger are predicted. For example, an area within a predetermined range centered on a position separated from the thumb by the distance between the thumb and index finger in the above direction is predicted as an area touched by the index finger.
  • the area of the middle finger is similarly predicted. The total sum of these predicted areas is assumed to be a predicted area 300 .
  • a direction D2 shifted by a predetermined angle corresponding to the direction D1 of the thumb with respect to the pair of the index finger and the middle finger and the distance between the middle point between the thumb and the index finger and the middle finger are specified.
  • An area of a predetermined range centered at a distance from the thumb to the middle point in the direction D2 may be predicted as an area (prediction area 300) to be touched by the pair of the index and middle fingers.
  • the control unit 140 operates the imaging sensor 110a corresponding to the detection range at least partially included in the prediction region 300, and stops or puts the other imaging sensors 110a on standby.
  • Information such as the size and shape of the user's hand may be used to improve the accuracy of predicting the area touched by the second finger.
  • FIG. 11 shows an example in which the device 100 acquires information such as the size and shape of the user's hand.
  • a user places a palm on the display unit 120 of the device 100 and captures an image of the hand with the acquisition unit 110 (imaging sensor 110a).
  • the control unit 140 acquires information (size, shape, etc.) of the user's hand by analyzing the captured image. For example, the distance F1 from the thumb to the index finger and the distance F2 between the index finger and the middle finger are calculated. Distances between other fingers, such as thumb to middle finger and thumb to ring finger, can also be calculated.
  • the control unit 140 uses the acquired hand information to predict the area touched by the second finger. This makes it possible to improve the region prediction accuracy. Simultaneously with acquisition of hand information, biometric information of each finger may be acquired and biometric information may be registered in the biometric feature table.
  • FIG. 12 shows another example in which the device 100 acquires information such as the size and shape of the user's hand. This example is effective when the display surface size of the device 100 is smaller than the user's hand.
  • a user 350 (the person himself/herself or another user) uses the camera 111 of the device 100 to capture an image of the right hand 200 of the user at a position away from the device 100 .
  • the control unit 140 acquires information on the user's hand based on the captured image and the distance from the device 100 to the user. For example, the distance F1 from the thumb to the index finger and the distance F2 between the index finger and the middle finger are calculated. Similarly, distances between other fingers such as the thumb to the middle finger and the thumb to the ring finger can be calculated.
  • the camera 111 may include a distance sensor (depth sensor) and use the distance sensor to obtain the distance to the user.
  • the distance F1, the distance F2, and the like may be calculated from the finger length information and the acquired image.
  • distance information to the user may be input to the device 100 .
  • a plurality of states of the distance that changes according to finger movement for example, a state where the distance F1 is the minimum length (lower limit F1_min) and a state where the distance F1 is the maximum length (upper limit F1_max) may be acquired.
  • the device 100 may acquire biometric information of each finger at the same time as acquiring hand information.
  • FIG. 13 is a flowchart showing an example of the processing flow of the information processing apparatus 100 according to the second embodiment. Assume that all the imaging sensors 110a are initially activated. However, the imaging sensor 110a corresponding to the long-pressed area may be activated when the long-press of the finger is first detected. Acquisition unit 110 acquires the biometric information (fingerprint information) of the touched finger according to the timing of touching the touch panel (S1101).
  • the control unit 140 calculates feature information based on the fingerprint information acquired by the acquisition unit 110.
  • the control unit 140 identifies a finger having feature information that matches the calculated feature information as the first finger based on the biometric feature table of the storage unit 130 . (S1102).
  • the control unit 140 identifies the direction in which the first finger faces based on the calculated characteristic information (or fingerprint information) (S1103).
  • the control unit 140 identifies candidates for the second finger to be used in combination with the first finger. Specifically, control unit 140 identifies all the second fingers that are combined with the first finger in the registration table as candidates. The control unit 140 predicts the area touched by the second finger based on the length information from the first finger to the second finger and the direction from the first finger to the second finger. For example, the position (coordinates) separated by the length information in the direction from the first finger to the second finger is calculated, and the second finger touches an area within a certain range from the calculated coordinates. area (S1104).
  • the control unit 140 operates (activates or maintains activation) the imaging sensor 110a corresponding to the predicted area, and stops or puts at least some or all of the other imaging sensors 110a into standby (S1105).
  • the predicted area functions as an area where authentication processing (identification processing) is possible.
  • the control unit 140 waits until biometric information (fingerprint information) of the second finger is acquired from the acquisition unit 110 in the predicted area (NO in S1106). Note that if the detectable range of the imaging sensor is wider than the boundary of the predicted area, the biometric information of the second finger may be acquired outside the predicted area. If the biometric information of the second finger is not acquired even after waiting for a certain period of time or more, the control unit 140 may end the processing of this flowchart.
  • the control unit 140 selects the first finger.
  • a user's operation performed with the first finger and the second finger is identified from the motions of the finger and the second finger.
  • the control unit 140 identifies the function associated with the combination of the first finger, the second finger, and the identified operation from the registration table (S1107).
  • Control unit 140 executes the specified function (S1108).
  • the region touched by the second finger is predicted, the imaging sensors corresponding to the predicted region are operated, and at least some or all of the other imaging sensors are stopped or stopped.
  • information indicating an area predicted to be touched by the second finger is displayed on the display unit 120, and navigation information for guiding possible operations by the user is displayed near the area.
  • the navigation information represents a second finger that can be combined with the first finger, an operation that the user can perform with the first finger and the second finger, and a function that can be performed by the operation. It is the information When there are multiple candidates for the second finger to be touched, for each candidate, an executable operation and a function to be executed by the operation are displayed as navigation information.
  • FIG. 14 shows an example of displaying area information 400 indicating the area where the touch of the second finger is predicted, and navigation information 410.
  • the navigation information 410 includes operations that can be performed with the first finger and the second finger, and functions that can be performed by the operations.
  • the area indicated by the area information 400 is predicted in the same manner as in the third embodiment.
  • the index finger 220 and the middle finger 230 are selected as candidates (first candidate and second candidate) as the second finger to be touched after the first finger.
  • the control unit 140 calculates area information 400 indicating the total sum of areas predicted to be touched.
  • the control unit 140 also provides information indicating an operation (pinch-out) and a function (copy) that can be performed when the index finger 220 is touched, and an operation (rotation) and a function (volume adjustment) that can be performed when the middle finger 230 is touched. ) is calculated as navigation information 410 and displayed on the display. For example, the navigation information 410 is displayed near the area information 400 on the touch panel so that the user can easily recognize it.
  • the volume adjustment by rotating the middle finger 230 is to increase or decrease the volume by rotating the middle finger 230 clockwise or counterclockwise like a compass around the thumb 210, for example.
  • FIG. 15 is a flowchart showing an example of the processing flow of the information processing apparatus 100 according to the third embodiment.
  • Step S1110 is added between steps S1104 and S1105 in the flowchart of FIG. 13 used in the description of the second embodiment. Since the steps other than step S1110 are the same as those in FIG. 13, description thereof is omitted.
  • step S1110 the control unit 140 generates area information indicating the predicted area.
  • the control unit 140 determines operations that can be performed by the first finger and the second finger, and functions that can be performed by the operations, for each candidate for the second finger that is likely to be touched after the first finger. and generate navigation information.
  • the control unit 140 displays the area information and the navigation information on the display unit 120. FIG.
  • the area information 400 indicating the area predicted to be touched by the second finger is displayed, and the operations that can be performed by the first and second fingers and the operations that can be performed are displayed.
  • Display navigation information including possible functions. This makes it possible for the user to easily determine in real time which finger is used as the second finger to perform which operation to invoke which function. Therefore, a highly convenient interface can be realized.
  • Modification 1 If there are multiple candidates for the second finger to be touched next to the first finger, information indicating the predicted area for each candidate is sequentially obtained until the biometric information of the second finger is acquired. may be displayed in
  • FIG. 16 is an explanatory diagram of Modification 1.
  • FIG. 16 Assume that the middle finger 230 of the right hand and the thumb 260 of the left hand are specified as candidates for the second finger.
  • a region 420 predicted for the middle finger 230 of the right hand is first displayed.
  • the imaging sensor 110a corresponding to the area 420 is operated, and the operation of the other imaging sensors 110a is stopped or put on standby. If the authentication of the right middle finger 230 is not completed for a certain period of time (third time) or more (when the biometric information of the right middle finger 230 is not acquired), as shown in the lower diagram of FIG. display the marked area 430 .
  • the display of area 420 may be erased. If the authentication of the right middle finger 230 is not completed for a certain period of time (the second time, which may be the same as or different from the third time) or more (when the biometric information of the right middle finger 230 is not acquired), the area 430 corresponds to The imaging sensor 110a is operated, and the operation of the other imaging sensors 110a is stopped or set to standby. In this example, priority is given to displaying the region 420 for the middle finger 230 of the right hand, but priority may be given to the region 430 for the thumb 260 of the left hand. In this case, a priority is set for each pattern data in the registration table, and which finger has priority may be determined by comparing the priorities.
  • the candidates for the second finger to be touched after the first finger are different hands, but they may be the same hand. An example of this case will be described with reference to FIG.
  • FIG. 17 is an explanatory diagram of another example of modification 1.
  • FIG. Assume that the right ring finger 240 and the right index finger 220 are identified as second finger candidates.
  • an area 440 predicted for the right ring finger 240 is displayed.
  • the imaging sensor 110a corresponding to the area 440 is operated, and the operation of the other imaging sensors 110a is stopped or put on standby. If the authentication of the right ring finger 240 is not completed for a certain period of time (third time) or more (when the biometric information of the right ring finger 240 is not acquired), as shown in the lower diagram of FIG. display the marked area 450 .
  • the area 450 The corresponding imaging sensor 110a is operated, and the operation of the other imaging sensors 110a is stopped or set to standby.
  • priority is given to displaying the region 440 predicted for the ring finger 240 on the clockwise side with the middle finger 230 of the right hand as the starting point. good.
  • Priority may be set in advance for each pattern data in the registration table to determine which finger is prioritized by comparing the priorities.
  • Modification 2 In Modification 1 described above, among the plurality of candidates for the second finger, the prediction regions for the candidates with low priority are displayed after a certain period of time has passed since the prediction regions for candidates with high priority are displayed.
  • the control unit 140 detects a touch or a pressure equal to or greater than a certain value in another area while a predicted area for a candidate with a high priority is displayed, the area is set as an authentication area. That is, the imaging sensor 110a corresponding to the area where the press or touch is detected is operated. For example, while the area 420 is being displayed in the example of FIG.
  • the control unit 140 will correspond to the detection range including the pressed area.
  • the imaging sensor 110a is activated.
  • the control unit 140 acquires biometric information of the thumb 260 of the left hand 200_2 from the activated imaging sensor 110a.
  • the operation of the imaging sensor 110a corresponding to the area where the press or touch is detected may be stopped or put on standby. More generally, while the second finger authentication is being accepted in the predicted area (while the imaging sensor 110a is being operated), when a press is detected in another area, the detected other The imaging sensor 110a belonging to the area is operated to acquire biometric information of the touched finger from the area.
  • biometric information (such as an image) acquired by the imaging sensor 110a may be used instead of the touch detection mechanism of the touch panel.
  • the control unit 140 acquires the biometric information of the first finger and the second finger from the imaging sensor 110a in time series, and calculates the first biometric information from the acquired biometric information. Detect finger and second finger motions. The control unit 140 identifies the operation performed by the first finger and the second finger from the detected motion of each finger.
  • Modification 4 In the first embodiment described above, it is described that patterns are registered by the user selecting an operation from a plurality of operations.
  • the user actually performs an operation on the touch panel with the first finger and the second finger, and the control unit 140 detects the operation, thereby registering the detected operation.
  • the control unit 140 may acquire biometric information of each of the first finger and the second finger simultaneously with detection of the operation, and register the acquired biometric information in the biometric feature table. Thereby, pattern registration and biometric information registration can be performed in parallel.
  • one function to be executed is determined and executed by one operation using two parts (two fingers).
  • three parts (three fingers) are used to perform multiple operations at the same time, and multiple functions are determined and executed at the same time. For example, pinch out with the thumb and forefinger to select and copy the range (for example, copy the text "ABCD"), and at the same time select and copy the range (for example, copy the text "EFGH”) by pinching out with the index finger and the middle finger. .
  • Each copied text is stored as a separate stack.
  • the control unit 140 may operate so that each text can be pasted as separate texts.
  • the plurality of parts of the user are fingers, but one or more of the plurality of parts may be other than fingers.
  • one of the multiple parts may be the finger and another one may be the eye (left eye or right eye).
  • Eye actions include closing the eyes and blinking once or more. For example, by touching with the index finger of the right hand and moving the touching finger with the left eye closed, a function may be defined that copies the text included in the range of movement of the touching finger.
  • FIG. 18 is an example of the hardware configuration of a computer that executes a series of processes of the information processing apparatus 100 of the present disclosure by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input/output interface 1005 is also connected to the bus 1004 .
  • An input unit 1006 , an output unit 1007 , a storage unit 1008 , a communication unit 1009 and a drive 1010 are connected to the input/output interface 1005 .
  • the input unit 1006 is composed of, for example, a keyboard, mouse, microphone, touch panel, input terminal, and the like.
  • the output unit 1007 includes, for example, a display, a speaker, an output terminal, and the like.
  • the storage unit 1008 is composed of, for example, a hard disk, a RAM disk, a non-volatile memory, or the like.
  • the communication unit 1009 is composed of, for example, a network interface. Drives drive removable media such as magnetic disks, optical disks, magneto-optical disks, or semiconductor memories.
  • the CPU 1001 loads, for example, a program stored in the storage unit 1008 into the RAM 1003 via the input/output interface 1005 and the bus 1004, and executes the above-described series of programs. is processed.
  • the RAM 1003 also appropriately stores data necessary for the CPU 1001 to execute various processes.
  • Programs executed by computers can be applied by being recorded on removable media such as package media.
  • the program can be installed in the storage unit 1008 via the input/output interface 1005 by loading the removable medium into the drive 1010 .
  • This program can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting.
  • the program can be received by the communication unit 1009 and installed in the storage unit 1008 .
  • This embodiment is not limited to software processing using a CPU, and may be realized by processing using a GPU (Graphical Processing Unit) and a DSP (Digital Signal Processor). It is also possible to realize this device with a chip that executes the processing of this embodiment.
  • GPU Graphic Processing Unit
  • DSP Digital Signal Processor
  • this disclosure can also take the following configurations.
  • an acquisition unit that acquires first biometric information by sensing a first part of a user and acquires second biometric information by sensing a second part of the user; a specifying unit that specifies an operation performed by the user based on the motions of the first part and the second part;
  • An information processing apparatus comprising: a control unit that determines a function to be executed for the identified operation based on the first biological information and the second biological information.
  • the control unit identifies the first region based on the first biometric information, generates first identification information for identifying the first region, and identifies the second region based on the second biometric information.
  • the information processing apparatus determines the function based on the first identification information and the second identification information.
  • the control unit determines the function based on the first identification information and the second identification information.
  • the control unit determines a function to be executed in response to the specified operation based on the correspondence data.
  • the acquisition unit senses the first portion and the second portion according to the timing at which the first portion and the second portion are touched in a display area capable of detecting a touch by the user.
  • Items 1 to 3 The information processing device according to any one of .
  • [Item 5] including a plurality of sensors for sensing parts of the user touched in a plurality of detection ranges in the display area;
  • the control unit activates a first sensor corresponding to the detection range where the first part is touched,
  • the acquisition unit acquires the first biological information based on sensing by the first sensor, and the control unit determines a region of the display region where the second part is touched, based on the first biological information. predict,
  • the control unit activates a second sensor corresponding to the detection range including at least part of the predicted area.
  • the information processing device according to item 4.
  • [Item 6] Item 6.
  • the information processing apparatus activates the first sensor when it is detected that the first part has been touched for a first time or longer.
  • the control unit stops or puts the first sensor on standby after the first biological information is acquired.
  • the first part and the second part are different fingers of the user; Information according to any one of items 5 to 7, wherein the control unit predicts the area where the second part is touched based on the type of the first part and the type of the second part. processing equipment.
  • Item 9 Item 8.
  • the control unit detects a direction in which the first part faces based on the first biometric information, and predicts the area where the second part is touched based on the detected direction. information processing equipment.
  • the control unit predicts an area where the second part is touched for each of the first candidate and the second candidate of the second part, The control unit activates a third sensor corresponding to the detection range including at least part of the region predicted for the first candidate, If the second biometric information is not acquired for a second period of time after activation of the third sensor, the control unit controls the activating a fourth sensor corresponding to the detection range;
  • the information processing device according to any one of items 5 to 9.
  • the control unit activates a fifth sensor corresponding to the detection range including the area where the press or touch is detected when the press or touch by the user is detected after the first biometric information is acquired.
  • the information processing apparatus according to any one of Items 5 to 10, wherein the acquisition unit acquires the second biological information based on sensing by the fifth sensor.
  • the control unit predicts an area where the second part is touched in the display area based on the first biological information, 5.
  • the information processing apparatus according to Item 4 wherein the control unit displays area information indicating the predicted area in the display area.
  • the control unit predicts an area where the second part is touched for each of the first candidate and the second candidate of the second part, The control unit displays, in the display area, first area information indicating an area predicted for the first candidate, and after the first area information is displayed, the second biometric information is displayed as a third biometric information. 13.
  • the information processing apparatus according to item 12, wherein second region information indicating a predicted region for the second candidate is displayed in the display region if not acquired for a period of time.
  • the control unit controls the operation that the user can perform based on the second part, the first part and the second part, and the operation that the user can perform based on the first part and the second part. 14.
  • the information processing apparatus according to item 13, wherein navigation information representing a function to be executed when an operation is performed is displayed in the display area.
  • [Item 15] 15 The information processing apparatus according to item 14, wherein, when there are a plurality of candidates for the second part, the control unit displays the navigation information in the display area for each of the candidates.
  • the first biological information is information based on a first image obtained by imaging the first part
  • the information processing apparatus according to any one of items 1 to 15, wherein the second biological information is information based on a second image obtained by imaging the second part.
  • the control unit calculates first feature information based on the first biometric information, calculates second feature information based on the second biometric information, 17.
  • the information processing apparatus determines a function to be executed in response to the specified operation based on the first feature information and the second feature information.
  • the control unit determines a function to be executed in response to the specified operation based on the first feature information and the second feature information.
  • the control unit executes the determined function for the specified function.
  • [Item 20] a step of sensing a first part of the user to acquire first biometric information; a step of sensing a second part of the user to obtain second biological information; identifying an operation performed by the user based on the motions of the first part and the second part; A computer program for causing a computer to execute a step of determining a function to be executed for the specified operation based on the first biological information and the second biological information.
  • Information processing device 110 Acquisition unit 111 Camera 120 Display unit 130 Storage unit 140 Control unit 141 Identification unit 200 Right hand 200_1 Right hand 200_2 Left hand 210 Thumb 220 Index finger 230 Middle finger 240 Ring finger 350 User 1001 CPU 1002 ROMs 1003 RAM 1004 bus 1005 input/output interface 1006 input unit 1007 output unit 1008 storage unit 1009 communication unit 1010 drive 1100 image

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Collating Specific Patterns (AREA)

Abstract

［課題］ユーザが所望の機能の実行を簡単な操作で指示できるようにする。 ［解決手段］本開示の情報処理装置は、ユーザの第１部位をセンシングして第１生体情報を取得し、前記ユーザの第２部位をセンシングして第２生体情報を取得する取得部と、前記第１部位及び前記第２部位の動作に基づき、前記ユーザによって行われた操作を特定する特定部と、前記第１生体情報と、前記第２生体情報とに基づき、特定した前記操作に対して実行する機能を決定する制御部とを備える。

Description

情報処理装置、情報処理方法及びコンピュータプログラム
　本開示は、情報処理装置、情報処理方法及びコンピュータプログラムに関する。
　タッチパネルを介してユーザが所望の機能の実行を所望の操作により容易に指示することができると便利である。例えば、ピンチイン（２本の指の間隔を狭める操作）又はピンチアウト（２本の指の間隔を広げる操作）で開始点と終了点の２点により範囲を指定することで、スクリーンショットのキャプチャや、テキストのコピーを行うことができれば便利である。
　しかしながら、このような操作は、一般に画面の縮小又は拡大等に割り当てられており、タッチパネル上でスクリーンショットのキャプチャやテキストのコピーを指示するためには、追加の操作が必要となる。そのため、スクリーンショットのキャプチャやテキストのコピーといった機能は頻繁に使用されるにも拘わらず、PC（Personal Computer）のキーボードを用いたショートカット操作等と比較して、タッチパネルでの操作は、時間的にまたは手順的に非効率的になる。機能ごとに異なる操作を割り当てる方法もあるが、当該機能に割り当てる操作を登録するための登録情報が煩雑化する。
再表２０１８／０７９００１号公報
　本開示は、上述したような問題点に鑑みてなされたものであり、ユーザが所望の機能の実行を容易な操作で指示できるようにする。
　本開示の情報処理装置は、ユーザの第１部位をセンシングして第１生体情報を取得し、前記ユーザの第２部位をセンシングして第２生体情報を取得する取得部と、前記第１部位及び前記第２部位の動作に基づき、前記ユーザによって行われた操作を特定する特定部と、前記第１生体情報と、前記第２生体情報とに基づき、特定した前記操作に対して実行する機能を決定する制御部とを備える。
　本開示の情報処理方法は、ユーザの第１部位をセンシングして第１生体情報を取得し、前記ユーザの第２部位をセンシングして第２生体情報を取得し、前記第１部位及び前記第２部位の動作に基づき、前記ユーザによって行われた操作を特定し、前記第１生体情報と、前記第２生体情報とに基づき、前記操作に対して実行する機能を決定することを、コンピュータにより実行する。
　本開示のコンピュータプログラムは、ユーザの第１部位をセンシングして第１生体情報を取得するステップと、前記ユーザの第２部位をセンシングして第２生体情報を取得するステップと、前記第１部位及び前記第２部位の動作に基づき、前記ユーザによって行われた操作を特定するステップと、前記第１生体情報と、前記第２生体情報とに基づき、前記操作に対して実行する機能を決定するステップとをコンピュータに実行させる。
第１の実施形態に係る情報処理装置のブロック図。 第１の実施形態に係る情報処理装置の外観平面図構成の一例を示す図。 本装置の外観平面図の他の例を示す図。 第１の実施形態に係る情報処理装置の全体の処理の流れの一例を示すフローチャート。 第１の実施形態に係る情報処理装置の登録処理の一例を説明するための図。 生体特徴テーブルの例を示す図。 登録テーブルの例を示す図 右手親指と右手人差し指の操作によりスクリーンショットをキャプチャする例を示す図。 右手人差し指と右手中指の操作によりテキストをコピーする例を示す図。 第２の指がタッチする領域の予測例を示す図。 ユーザの手の大きさ・形状等の情報を取得する例を示す図 ユーザの手の大きさ・形状等の情報を取得する他の例を示す図 本開示の第２の実施形態に係る情報処理装置の処理の流れの一例を示すフローチャート。 タッチパネルに領域情報とナビゲーション情報とを表示する例を示す図。 第３の実施形態に係る情報処理装置の処理の流れの一例を示すフローチャート。 変形例１の説明図。 変形例１の他の例の説明図。 本開示の情報処理装置の一連の処理をプログラムにより実行するコンピュータのハードウエアの構成の一例を示す図。
　以下、図面を参照して、本開示の実施形態について説明する。本開示において示される１以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなす。
　（第１の実施形態）
　図１は、本開示の実施形態に係る情報処理装置１００のブロック図である。本実施形態に係る情報処理装置１００（以下、本装置１００）は、取得部１１０と、表示部１２０と、記憶部１３０と、制御部１４０とを含む。表示部１２０は、ユーザへ情報を提示するとともに、タッチにより情報を入力するタッチパネルを有する。取得部１１０は、ユーザの任意の部位をセンシングすることにより、当該部位の生体情報（例えば部位が指であれば、指紋情報）を取得する。記憶部１３０は、制御部１４０の動作に必要な各種データ又は情報を記憶する。制御部１４０は、本装置１００の制御及びソフトウェアの実行等を行う。制御部１４０は、ユーザの複数の部位（例えば複数の指）の動作を検出し、検出した動作に基づき、ユーザにより行われたユーザの操作（例えばピンチアウト）を特定する特定部１４１を含む。制御部１４０は、当該複数の部位の生体情報に基づき、特定された操作に対して実行する機能を決定する。
　本実施形態の概要を説明する。一例として、ユーザがタッチパネルで複数の指を動かして所望の操作を行うことにより、所望の機能の実行を指示する（ソフトウェアで実行可能な所望の機能を呼び出す）ケースを想定する。取得部１１０は、タッチパネル内に配置された撮像装置等の撮像センサを含む。取得部１１０は、撮像センサを用いて、タッチパネルを操作するユーザの第１部位の生体情報（第１生体情報）と第２部位の生体情報（第２生体情報）とを取得する。一例として、第１の部位は第１の指（例えば親指）、第２部位は第２の指（例えば人差し指）である。この場合、生体情報は、例えば指紋情報である。制御部１４０は、事前に登録されたいずれの生体情報に合致するかを判定することで、第１の指親の生体情報と第２の指の生体情報を認証する。これにより、第１の指と第２の指とを識別する。制御部１４０は第１の指を識別する識別情報（第１識別情報）、第２の指を識別する識別情報（第２識別情報）を生成する。また、制御部１４０は、第１の指の動作と第２の指の動作とを検出することにより、第１の指と第２の指とによってユーザにより行われた操作を特定する。具体的には、第１の親及び第２の指のそれぞれ識別情報と当該特定した操作との組に対応づけられた機能を特定し、特定した機能を実行する。
　このように、複数の指の識別情報と複数の指によりユーザが行うことが可能な操作とを組み合わせて、機能に対応づけて登録しておく。そして、事前に登録した複数の指により行われる操作を検出した場合は、当該複数の指と操作との組に対応づけられた機能を実行する。これにより、例えば同じピンチアウトの操作でも、使用する指の組み合わせを変えることで異なる機能を実行する（呼び出す）ことが可能になり、時間的または手順的に効率的な機能の実行を実現できる。
　図２は、本装置１００の外観平面図である。本装置１００は、タッチパネルを有するタブレット型端末である。タッチパネルのスクリーンに相当する表示領域を含む表示部１２０と、スクリーンの裏面側に設けられた取得部１１０とが示される。取得部１１０は、複数の撮像センサ１１０ａを含む。撮像センサ１１０ａは、例えば、光学センサであり、センシングにより指紋等の生体情報を画像として検出可能なセンサである。複数の撮像センサ１１０ａは、表示部１２０における複数の部分領域にそれぞれ検出範囲が対応している。複数の撮像センサ１１０ａは、それぞれ対応する検出範囲にタッチされた指の生体情報（本例では指紋情報）を画像として取得する。隣接する撮像センサ１１０ａの検出範囲が一部重なっていてもよい。制御部１４０は、撮像センサ１１０ａの起動及び停止を個別に制御可能である。撮像センサ１１０ａをスタンバイにし、高速に起動可能にしてもよい。図２の例では取得部１１０は撮像センサを含んでいるが、生体情報を検出可能な限り、他の種類のセンサを含んでいてもよい。また取得部１１０は、表示領域にタッチされた指からでなく、タッチパネルの表面領域から法線方向で一定距離内にかざされた指から生体情報を取得してもよい。この場合、ユーザは指をタッチすることなく操作を行うことが可能であってもよい。また取得部１１０は、ユーザの指による表示領域への押圧を検出する押圧センサを含んでいてもよい。
　図２の例では表示領域のほぼ全面の領域から検出を行うことが可能なように撮像センサ１１０ａが配置されていたが、表示領域の一部の領域から検出を行うように撮像センサ１１０ａが配置されていてもよい。
　図３は、本装置１００の外観平面図の他の例を示す。撮像センサ１１０ａが、表示領域の下部にのみ配置されている。
　図４は、本開示の実施形態に係る情報処理装置１００の全体の処理の流れの一例を示すフローチャートである。以下では、例えば第１の指が親指、第２の指が人差し指の場合を想定する。なお図４のステップＳ１００１、Ｓ１００２の処理は少なくとも一度行えばよく、ステップＳ１００３の認証を行うたびに、ステップＳ１００１、Ｓ１００２の処理を行う必要はない。
　（登録処理）
　図４のステップＳ１００１では、ユーザから指（親指や人差し指等）の生体情報を取得して、取得した生体情報を本装置１００に登録する登録処理を行う。
　図５は、登録処理の一例を説明するための図である。
　本装置１００のユーザが右手２００の親指２１０を表示部１２０にタッチさせることで、取得部１１０は、親指２１０の指紋を撮像し、親指２１０の指紋情報（指紋画像）を取得する。またユーザは人差し指２２０を表示部１２０にタッチすることで、取得部１１０により人差し指２２０の指紋を撮像し、人差し指２２０の指紋情報（指紋画像）を取得する。同様にして、右手２００の他の指（中指、薬指、小指）、及び、左の各指についても指紋情報を取得してもよい。取得部１１０により取得された各指の指紋情報は、生体情報として記憶部１３０に保存する。取得部１１０は、ユーザが表示部１２０に指をタッチしたことをタッチパネルのタッチ検出機能を介して把握してもよい。
　制御部１４０は、取得した各指の指紋画像から各指の特徴情報を算出する。算出した特徴情報又は指紋画像に、指を識別する識別情報に相当するラベル（例えば“右手親指”、“右手人差指”など）を付与して、生体特徴テーブルに格納する。ラベルは記号でも、値でもよい。生体特徴テーブルは、記憶部１３０に記憶されている。特徴情報は、例えば画像のマニューシャ特徴（各種特徴点の座標）、画像の局所特徴量又はこれらの両方を含む。このとき、特徴情報は、指紋全体から算出してもよいし、指紋の一部から算出してもよい。取得した特徴情報又は生体情報（指紋情報）は、指の向く方向を判別するために利用することもできる。
　図６は、生体特徴テーブルの例を示す。右手親指の特徴情報ＦＩ＿１、右手人差し指の特徴情報ＦＩ＿２、右手中指の特徴情報ＦＩ＿３等が格納されている。図６では特徴情報が記号により模式的に示されているが、実際には特徴情報は、その種類に応じた形式で１つ又は複数の値を含む。生体情報（指紋情報）を直接、ラベル（指の識別情報）に対応づけて記憶部１３０に記憶してもよい。生体特徴テーブルには１人のユーザの特徴情報が格納されてもよいし、複数のユーザの特徴情報が格納されてもよい。
　ユーザから登録用の指紋情報を取得する際、ユーザに所定の向きに指を置かせてもよい。この際、指を置く向きを示す情報を表示部１２０に表示させてもよい。所定の向きに置いた指から取得された指紋情報（又は特徴情報）を、ユーザが任意の方向に置いた指から取得される指紋情報（又は特徴情報）と比較することで、ユーザが指を置いた方向を算出できる。例えば特徴点の座標から画像としての回転量を計算することで、指の向く方向を算出できる。この際、撮影対象の歪み度合いを計算することで算出の精度を高めてもよい。なお、ユーザに複数の方向で指を置かせ、方向ごとに指紋情報を取得してもよい。この場合、生体特徴テーブルには、方向ごとに特徴情報（又は指紋情報）とラベルとの組を格納してもよい。
　（機能割り当て処理）
　図４のステップＳ１００２では、制御部１４０が、ユーザの複数の指と、操作（ピンチアウト、ピンチインなど）とを組み合わせて１組とし、組に機能を割り当てる（機能を対応づける）処理を行う。制御部１４０は、複数の指の識別情報と操作との組を、ソフトウェア（アプリケーション又はオペレーティングシステム等）により実行可能な機能に対応づけた対応データ（パターンデータ）を、登録テーブルに格納する。登録テーブルは記憶部１３０に記憶されている。制御部１４０は、ユーザがパターンデータを登録するためのインタフェース画面を表示部１２０に表示し、インタフェース画面からユーザがパターンデータを登録できるようにしてもよい。例えば、ユーザがタッチパネルによる情報入力により、複数の指と、操作と、機能とを指定する情報を、それぞれ選択形式で入力又は直接入力する。
　図７は、記憶部１３０に記憶された登録テーブルの一例を示す。各行に対応データ（パターンデータ）が格納されている。１行目は、右手親指と右手人差し指でピンチアウトを行った場合は、ピンチアウトで指定された範囲のスクリーンショットをキャプチャする機能を実行することを意味する。２行目は、右手人差し指と右手中指でピンチアウトを行った場合は、ピンチアウトで指定された範囲のテキストをコピーする機能を実行することを意味する。３行目は、右手人差し指と右手中指とでタップを行った場合は、画面を拡大する機能を実行することを意味する。４行目は、右手親指と左手親指とでピンチアウトを行った場合は、ピンチアウトで指定された範囲に含まれるテキストの翻訳を行う機能を実行することを意味する。
　（実行処理）
　図４のステップＳ１００３では、制御部１４０が、ユーザによるタッチパネルの操作時に、登録テーブルに登録されたパターンに合致する、複数の指と当該複数の指による操作との組を検出する。制御部１４０は、検出したパターンに対応づけられた（割り当てられた）機能を実行する処理を行う。
　制御部１４０は、例えば、タッチパネルに対するユーザによる第１の指の長押しにより動作を開始する。制御部１４０は、長押しされた第１の指をセンシングして、第１の指の生体情報（本例では指紋情報）を、取得部１１０を介して、取得する。長押しは、例えば、第１の指が一定の閾値以上の時間（第１の時間）以上押された場合に相当する。第１の指のタッチが検出されたタイミングに応じて、動作を開始するのであれば、長押し以外のタイミングで動作を開始してもよい。制御部１４０は、取得した生体情報が、事前に登録された生体情報と合致するかを判定（事前に登録されたユーザの指であるか否かを認証）する。具体的には、取得した生体情報に基づき指の特徴情報を算出し、算出した特徴情報に一致又は近似する特徴情報が生体特徴テーブル（図６参照）に保持されているかを確認する。例えば特徴情報同士の類似度が閾値以上であれば、取得された生体情報は事前に登録された生体情報に合致することを決定し、当該第１の指がどの指に対応するか（指の種別）を識別する。取得された生体情報に合致する生体情報が登録されている場合は認証成功、登録されていない場合は認証失敗と判断する。
　続いて、制御部１４０は、第２の指が表示部１２０（タッチパネル）にタッチされたタイミングに応じて、第２の指をセンシングして第２の指の生体情報（本例では指紋情報）を取得する。第１の指の場合と同様にして、取得した生体情報が、事前に登録された生体情報と合致するかを判定（事前に登録されたユーザの指であるか否かを認証）し、認証が成功した場合に、第２の指がどの指に対応するか（指の種別）を識別する。
　制御部１４０は、第１の指及び第２の指の認証が成功した後（第１の指及び第２の指が識別された後）、各指の動作に基づき、ユーザによって行われた操作を検出する。すなわち、制御部１４０の特定部１４１が、認証が成功した指の動作（動き）をタッチパネルから検出し、各指の動作からユーザによって行われた操作を特定する。指の動作は、例えばタッチされた指の位置、その後の指の軌跡等を含む。タッチされた指がタッチされた位置から動かない場合もあり得る。なお、タッチパネルにおける指のタッチ及びタッチされた指の動作を検出する方式は、抵抗膜方式、静電容量方式、表面型静電容量方式、投影型静電容量方式、超音波表面弾性波（SAW）方式、光学方式（赤外線光学イメージング方式）、電磁誘導方式、その他の方式など、どのような方式でもよい。このように、特定部１４１が、各指の動作を検出し、各指の動作から、ユーザにより行われた操作を決定する。なお、後述する変形例に記載するように、第１の指及び第２の指の動作はタッチパネルの機能ではなく、取得部１１０を用いて取得してもよい。この場合、取得部１１０は、第１の指及び第２の指の認証後（識別後）も各指の生体情報（画像）を時系列に取得し、時系列に取得された画像から第１の指及び第２の指の動作を検出する。
　制御部１４０は、第１の指及び第２の指の識別情報と、特定された操作との組が、登録テーブルに登録されているかを判断する。登録されている場合は、制御部１４０は、当該組に対応付いた機能を特定し、特定した機能を実行する。
　図８は、右手親指と右手人差し指でピンチアウトを行って、選択された範囲のスクリーンショットをキャプチャする例を示す。右手の親指２１０の認証処理（識別処理）２１０Ａと、その後に、右手の人差し指２２０の認証処理（識別処理）２２０Ａとが行われる。親指２１０、人差し指２２０の双方とも認証が成功し、親指２１０及び人差し指２２０がそれぞれ親指及び人差し指であると識別される。親指２１０及び人差し指２２０によるピンチアウトの操作が特定される。親指２１０及び人差し指２２０とピンチアウトとの組に対応づけられたスクリーンショット機能が呼び出される。ピンチアウトで選択された範囲の画像がキャプチャされる。
　図９は、右手人差し指と右手中指でピンチアウトを行って、選択された範囲のテキストをコピーする例を示す。人差し指２２０の認証処理２２０Ａと、中指２３０の認証処理２３０Ａとが行われる。人差し指２２０を起点に、中指２３０を離す動作を行うことで、ユーザはピンチアウトを行う。制御部１４０は、ピンチアウトで指定された範囲を選択するとともに、選択された範囲に含まれるテキストをコピーする。なお、コピーする範囲は、ピンチアウトの操作が一定時間停止したことをもって確定してもよい。コピーする範囲の選択とコピーの実行とを１つのピンチアウトで行っているが、コピーする範囲の選択とコピーの実行とに別々の操作を割り当ててもよい。例えば、ピンチアウトで範囲の選択を行い、両指を画面から離す操作を行うことで、選択された範囲のコピーを行ってもよい。
　以上、本実施形態によれば、複数の指の識別情報と当該複数の指によりユーザにより行うことが可能な操作との組を、実行する機能に対応づけて登録しておく。ユーザの操作時に、使用された複数の指を識別するとともに、当該使用された複数の指により行われた操作を特定し、識別された複数の指と特定された操作との組に対応づけられた機能を実行する。これにより、ユーザは所望の操作により所望の機能を実行することを容易に実現することができる。例えば同じピンチアウトの操作でも、使用する指の組み合わせを変えることで異なる機能を呼び出すことができる。これにより、頻繁に使用される機能を、煩雑な操作を必要とせずに、時間的または手順的に効率的に呼び出すことができる。
　（第２の実施形態）
　第２の実施形態は、ユーザが第１の指及び第２の指をこの順番で使用する場合において、第１の指の認証（識別）が完了した際に、第２の指が置かれる（タッチされる）領域を予測する。予測した領域の少なくとも一部を含む検出範囲に対応する撮像センサ１１０ａを起動し、その他の検出範囲に対応する撮像センサ１１０ａを停止又はスタンバイにする（第１の指の生体情報を検出した撮像センサ１１０ａも、第１の指の生体情報の検出後、停止又はスタンバイにされてもよい）。これにより、第１の指の認証後は、第２の指の認証に必要な領域に含まれる撮像センサ１１０ａのみを起動しておけばよいため、常にタッチパネルの全体の撮像センサを起動しておく場合に比べて、電力消費を削減することができる。
　制御部１４０は、第１の指の種別と、第２の指の種別とに基づいて、第２の指をタッチする領域を予測する。制御部１４０は、認証された第１の指を含むパターンを登録テーブルから特定し、特定したパターンに含まれる第２の指を、使用される可能性がある指（第２の指の候補）である判断する。認証された第１の指を含むパターンが複数存在する場合は、当該複数のパターンに含まれる第２の指を、それぞれ第２の指の候補として決定する。例えば第１の指を含むパターンが２つある場合は、これら２つのパターンに含まれる第２の指が、第２の指の第１候補及び第２候補となる。制御部１４０は、第２の指の候補ごとに、第２の指がタッチされる領域を予測する。第１の指が親指であれば、親指がタッチした位置を基準として、第２の指がタッチされる領域を予測する。一例として、親指がタッチした位置から所定距離の範囲を予測領域とする。所定距離は、第１の指の種別及び第２の指の種別の少なくとも一方に応じて可変でもよい。例えば第１の指が人差し指で、第２の指が中指の場合の所定距離は、第１の指が親指で第２の指が中指の場合より短くてもよい。
　第２の指の候補が複数存在する場合、候補ごとに予測した領域の総和を、予測領域としてもよい。
　なお、第２の指を含む手が、第１の指の手と異なる場合もあり得る。例えば第１の指が右手の親指で、第２の指が左手の親指の場合があり得る。制御部１４０は、第２の指を含む手が第１の指を含む手と同じか否かに基づいて、第２の指がタッチする領域を予測してもよい。
　制御部１４０は、第１の指の生体情報に基づき第１の指の向いている方向を検出し、検出した方向に基づいて、ユーザが第２の指をタッチする領域を予測してもよい。例えば第１の指が親指、第２の指が人差し指の場合に、手の形状・大きさと第１の親指が置かれた向きから、第１の親指が当該位置及び向きを概ね維持した状態で、第２の指をタッチ可能な領域を特定する。手の形状・大きさは、予め決められた形状・大きさを用いてもよいし、後述するようにユーザの手の形状・大きさを測定してもよい。
　図１０は、第２の指がタッチされる領域の予測例を示す。第１の指に相当する右手２００の親指２１０が最初にタッチパネル（表示部１２０）に置かれ、親指２１０は方向Ｄ１を向いている。右手の親指２１０を含むパターンが登録テーブルに２つ登録されている。１つ目のパターンには第２の指（第１候補）として右手の人差し指、２つ目のパターンには第２の指（第２候補）として右手の中指が登録されている。親指２１０が方向Ｄ１を向いている場合に、人差し指及び中指に対して、次のタッチの方向を方向Ｄ１に対して予め決められた角度だけずらした方向に決定し、指間の距離（例えば親指と人差し指間の距離、親指と中指間の距離）を特定する。そして、人差し指がタッチされる領域と、中指がタッチされる領域とを予測する。例えば親指から上記方向に親指と人差し指間の距離だけ離れた位置を中心とする所定範囲の領域を、人差し指がタッチされる領域として予測する。中指についても同様にして領域を予測する。これらの予測した領域の総和を予測領域３００とする。
　あるいは、人差し指及び中指の組に対して親指の方向Ｄ１に対応して予め定めた角度だけずらした方向Ｄ２と、親指と人差し指と中指の間の中間点との距離とを特定する。親指から方向Ｄ２に、親指から中間点までの距離だけ離れた位置を中心とする所定範囲の領域を、人差し指及び中指の組がタッチされる領域（予測領域３００）として予測してもよい。
　制御部１４０は、予測領域３００に少なくとも一部が含まれる検出範囲に対応する撮像センサ１１０ａを動作させ、その他の撮像センサ１１０ａを停止又はスタンバイにする。　
　第２の指がタッチされる領域の予測精度を向上させるため、ユーザの手の大きさ・形状等の情報を用いてもよい。
　図１１は、本装置１００がユーザの手の大きさ・形状等の情報を取得する例を示す。ユーザが本装置１００の表示部１２０に手の平を載せ、取得部１１０（撮像センサ１１０ａ）により手を撮像する。制御部１４０は、撮像した画像を解析することで、ユーザの手の情報（大きさ・形状等）を取得する。例えば親指から人差し指までの距離Ｆ１、人差し指と中指の距離Ｆ２を算出する。親指から中指、親指から薬指など他の指間の距離も算出できる。制御部１４０は取得した手の情報を用いて、第２の指がタッチされる領域を予測する。これにより領域の予測精度を向上させることができる。手の情報の取得と同時に、各指の生体情報を取得して、生体特徴テーブルに生体情報を登録してもよい。
　図１２は、本装置１００がユーザの手の大きさ・形状等の情報を取得する他の例を示す。本例は、本装置１００の表示面サイズがユーザの手より小さい場合に有効である。ユーザ３５０（本人もしくは他のユーザ）が本装置１００のカメラ１１１を用いて、本装置１００から離れた位置にいるユーザの右手２００の平を撮像する。制御部１４０は、撮像した画像と、本装置１００からユーザまでの距離に基づき、ユーザの手の情報を取得する。例えば親指から人差し指までの距離Ｆ１、人差し指と中指の距離Ｆ２を算出する。同様にして、親指から中指、親指から薬指など他の指間の距離も算出できる。カメラ１１１が距離センサ（デプスセンサ）を含んでおり、距離センサを用いてユーザまでの距離を取得してもよい。あるいは、事前に指の長さの情報が取得されている場合は、当該指の長さの情報と、取得した画像から、距離Ｆ１及び距離Ｆ２等を算出してもよい。あるいは、ユーザまでの距離情報を本装置１００に入力してもよい。あるいは、指の動きにより変化する距離の複数の状態、例えば、距離Ｆ１が最小の長さ（下限F1_min）となる状態および最大の長さ（上限F1_max）となる状態を取得してもよい。本装置１００は、手の情報の取得と同時に、各指の生体情報を取得してもよい。
　図１３は、第２の実施形態に係る情報処理装置１００の処理の流れの一例を示すフローチャートである。最初、すべての撮像センサ１１０ａは起動している場合を想定する。ただし、最初に指の長押しが検知された場合に、長押しされた領域に対応する撮像センサ１１０ａを起動するようにしてもよい。取得部１１０は、タッチパネルにタッチされたタイミングに応じて、タッチされた指の生体情報（指紋情報）を取得する（Ｓ１１０１）。
　制御部１４０は、取得部１１０で取得した指紋情報に基づき特徴情報を算出する。制御部１４０は、記憶部１３０の生体特徴テーブルに基づき、算出した特徴情報に合致する特徴情報を有する指を第１の指として識別する。（Ｓ１１０２）。
　制御部１４０は、算出した特徴情報（又は指紋情報）に基づき、第１の指の向く方向を特定する（Ｓ１１０３）。
　制御部１４０は、第１の指と組み合わせて用いられる第２の指の候補を特定する。具体的には、制御部１４０は、登録テーブルにおいて第１の指と組み合わされている第２の指を全て候補として特定する。制御部１４０は、第１の指から第２の指までの長さ情報と、第１の指から第２の指への方向とに基づき、第２の指がタッチされる領域を予測する。例えば、第１の指から第２の指への方向へ上記の長さ情報だけ離れた位置（座標）を算出し、算出した座標から一定範囲内の領域を、第２の指がタッチされる領域とする（Ｓ１１０４）。
　制御部１４０は、予測した領域に対応する撮像センサ１１０ａを動作（起動又は起動を維持）させ、その他の撮像センサ１１０ａの少なくとも一部又は全部を停止又はスタンバイにする（Ｓ１１０５）。予測された領域は、認証処理（識別処理）が可能な領域として機能する。
　制御部１４０は、予測した領域において取得部１１０から第２の指の生体情報（指紋情報）が取得されることを待機する（Ｓ１１０６のＮＯ）。なお、撮像センサの検出可能範囲が、予測した領域の境界より広い場合、予測した領域外から第２の指の生体情報が取得される場合もあり得る。制御部１４０は、一定時間以上待機しても第２の指の生体情報が取得されない場合、本フローチャートの処理を終了してもよい。
　制御部１４０は、第２の指の生体情報が取得され、第２の指の認証（識別）が成功した場合（生体特徴テーブルに第２の指が登録されている場合）は、第１の指と第２の指との動作から、第１の指と第２の指とにより行われたユーザの操作を特定する。制御部１４０は、第１の指及び第２の指と、当該特定した操作との組に対応づけられた機能を登録テーブルから特定する（Ｓ１１０７）。制御部１４０は、特定した機能を実行する（Ｓ１１０８）。
　以上、本実施形態によれば、第２の指がタッチされる領域を予測し、予測した領域に対応する撮像センサを動作させ、それ以外の撮像センサのうちの少なくとも一部又は全部を停止又はスタンバイにすることにより、ＣＰＵ負荷の軽減による処理の高速化、または、消費電力の削減を達成することができる。
　（第３の実施形態）
　第３の実施形態では、第２の指がタッチされると予測した領域を示す情報を表示部１２０に表示するとともに、当該領域の近傍に、ユーザにより可能な操作を案内するナビゲーション情報を表示する。ナビゲーション情報は、第１の指と組み合わせることが可能な第２の指と、これらの第１の指と第２の指とによりユーザが可能な操作と、当該操作により実行可能な機能とを表した情報である。タッチされる第２の指の候補が複数存在するときは、候補ごとに、実行可能な操作と、当該操作により実行される機能とをナビゲーション情報として表示する。
　図１４は、第２の指のタッチが予測された領域を示す領域情報４００と、ナビゲーション情報４１０とを表示した例を示す。ナビゲーション情報４１０は、第１の指と第２の指とにより可能な操作と、当該操作により実行可能な機能とを含む。領域情報４００が示す領域は、第３の実施形態と同様にして予測される。この例では第１の指の次にタッチされる第２の指として、人差し指２２０と中指２３０が候補（第１候補及び第２候補）として選択される。制御部１４０は、それぞれタッチされると予測した領域の総和を示す領域情報４００を算出する。
　また制御部１４０は、人差し指２２０がタッチされる場合に可能な操作（ピンチアウト）及び機能（コピー）を示す情報と、中指２３０がタッチされる場合に可能な操作（回転）及び機能（音量調整）を示す情報とをナビゲーション情報４１０として算出し、ディスプレイ上に表示する。例えば、ナビゲーション情報４１０はタッチパネル上の領域情報４００の近傍に表示され、ユーザが容易に認識できるようになっている。
　なお、図１４の例で、中指２３０の回転による音量調整は、例えば親指２１０を軸にして中指２３０をコンパスのように時計回り又は反時計回りに回転させることで音量を上下することである。
　これにより、ユーザが第２の指としてどの指を使ってどの操作を行うと、どの機能を実行できるかの判断を容易に行うことができる。よって、直感的に複数の指による操作に割り当てられた機能を理解できる、利便性の高いインタフェースを実現することができる。　
　図１５は、第３の実施形態に係る情報処理装置１００の処理の流れの一例を示すフローチャートである。第２の実施形態の説明で用いた図１３のフローチャートにおけるステップＳ１１０４とステップＳ１１０５との間にステップＳ１１１０が追加されている。ステップＳ１１１０以外のステップは図１３と同様であるため、説明を省略する。
　ステップＳ１１１０において、制御部１４０は、予測した領域を示す領域情報を生成する。制御部１４０は、第１の指の次にタッチされる可能性がある第２の指の候補ごとに、第１の指と第２の指により可能な操作と、当該操作により実行可能な機能とを決定し、ナビゲーション情報を生成する。制御部１４０は、領域情報とナビゲーション情報とを表示部１２０に表示する。
　以上、本実施形態によれば、第２の指がタッチされると予測された領域を示す領域情報４００を表示するとともに、第１の指と第２の指により可能な操作と当該操作により実行可能な機能とを含むナビゲーション情報を表示する。これにより、ユーザが第２の指としてどの指を使ってどの操作を行うとどの機能を呼び出せるかをリアルタイムに容易に判断することができる。よって、利便性の高いインタフェースを実現することができる。
　（変形例１）
　第１の指の次にタッチされる第２の指の候補が複数存在する場合、各候補に対して予測された領域を示す情報を、第２の指の生体情報が取得されるまで、順番に表示してもよい。
　図１６は、変形例１の説明図である。第２の指の候補として右手中指２３０と左手親指２６０が特定された場合を想定する。図１６の上図において、第１の指である右手２００＿１の親指２１０の認証完了後、まず右手中指２３０に対して予測された領域４２０を表示する。領域４２０に対応する撮像センサ１１０ａを動作させ、それ以外の撮像センサ１１０ａの動作を停止又はスタンバイにする。一定時間（第３の時間）以上、右手中指２３０に対する認証が完了しない場合（右手中指２３０の生体情報が取得されない場合）、図１６の下図に示すように、左手２００＿２の親指２６０に対して予測された領域４３０を表示する。領域４２０の表示は消去してもよい。一定時間（第２の時間。第３の時間と同じでも異なっていてもよい）以上、右手中指２３０に対する認証が完了しない場合（右手中指２３０の生体情報が取得されない場合）、領域４３０に対応する撮像センサ１１０ａ動作させ、それ以外の撮像センサ１１０ａの動作を停止又はスタンバイにする。本例では右手中指２３０に対する領域４２０の表示を優先したが、左手親指２６０に対する領域４３０を優先してもよい。この場合、登録テーブルにおける各パターンデータに優先度を設定しておき、いずれの指が優先するかは優先度の比較によって決定すればよい。
　図１６の例では、第１の指に続いてタッチされる第２の指の候補がそれぞれ別の手であったが、同じ手であってもよい。この場合の例を、図１７を用いて説明する。
　図１７は、変形例１の他の例の説明図である。第２の指の候補として右手薬指２４０と右手人差し指２２０が特定された場合を想定する。図１７の上図において、第１の指である右手２００の中指２３０の認証完了後、まず右手薬指２４０に対して予測された領域４４０を表示する。領域４４０に対応する撮像センサ１１０ａを動作させ、それ以外の撮像センサ１１０ａの動作を停止又はスタンバイにする。一定時間（第３の時間）以上、右手薬指２４０に対する認証が完了しない場合（右手薬指２４０の生体情報が取得されない場合）、図１７の下図に示すように、右手２００の人差し指２２０に対して予測された領域４５０を表示する。また、一定時間（第２の時間。第３の時間と同じでも異なっていてもよい）以上、右手薬指２４０に対する認証が完了しない場合（右手薬指２４０の生体情報が取得されない場合）、領域４５０に対応する撮像センサ１１０ａを動作させ、それ以外の撮像センサ１１０ａの動作を停止又はスタンバイにする。本例では右手中指２３０を起点として時計周り側である薬指２４０に対して予測された領域４４０の表示を優先したが、反時計回り側にある人差し指２２０に対する領域４５０を優先して表示してもよい。いずれの指が優先するかは事前に登録テーブルにおける各パターンデータに優先度を設定しておき、優先度の比較によって決定してもよい。
　（変形例２）
　上述の変形例１では、第２の指の複数の候補のうち、優先度の高い候補に対する予測領域を表示してから一定時間後に、優先度の低い候補に対する予測領域を表示した。変形例２では、優先度の高い候補に対する予測領域が表示されている間に、制御部１４０が他の領域においてタッチ又は一定値以上の押圧を検知した場合、当該領域を認証領域とする。すなわち、押圧又はタッチが検知された領域に対応する撮像センサ１１０ａを動作させる。例えば、図１６の例において領域４２０が表示されている間、左手２００＿２の親指２６０により一定値以上の力で押圧がなされた場合、制御部１４０は、押圧された領域を含む検出範囲に対応する撮像センサ１１０ａを起動する。制御部１４０は起動した撮像センサ１１０ａから、左手２００＿２の親指２６０の生体情報を取得する。押圧又はタッチが検知された領域に対応する撮像センサ１１０ａの動作は、停止又はスタンバイにしてもよい。より一般的に、予測された領域で第２の指の認証を受け付けている間（撮像センサ１１０ａを動作させている間）に、他の領域で押圧を検知した場合は、当該検知した他の領域に属する撮像センサ１１０ａを動作させ、当該領域からタッチされた指の生体情報を取得する。
　（変形例３）
　第１の指及び第２の指の動作を検出する方法として、タッチパネルのタッチ検出機構ではなく、撮像センサ１１０ａで取得される生体情報（画像等）を用いてもよい。制御部１４０は、第１の指及び第２の指の認証後も、撮像センサ１１０ａから第１の指及び第２の指の生体情報を時系列に取得し、取得した生体情報から第１の指及び第２の指の動作を検出する。制御部１４０は、検出した各指の動作から第１の指及び第２の指により行われる操作を特定する。
　（変形例４）
　上述した第１の実施形態では、ユーザが複数の操作の中から操作を選択することで、パターンの登録を行うことを記載した。本変形例では、ユーザが実際にタッチパネルで第１の指及び第２の指による操作を実際に行い、制御部１４０が、当該操作を検出することで、検出した操作を登録する。この際、制御部１４０は、操作の検出と同時に、第１の指及び第２の指のそれぞれの生体情報を取得し、取得した生体情報を生体特徴テーブルへ登録してもよい。これにより、パターンの登録と生体情報の登録とを同時並行的に行うことができる。
　（変形例５）
　上述した各実施形態では２つの部位（２つの指）を用いた１つの操作により、実行する１つの機能を決定及び実行した。本変形例では、３つの部位（３つの指）を用いて同時に複数の操作を行い、複数の機能を同時に決定及び実行する。例えば親指と人差し指とによるピンチアウトで範囲選択及びコピー（例えばテキスト“ＡＢＣＤ”をコピー）を行うと同時に、当該人差し指と中指とによるピンチアウトで範囲選択及びコピー（例えばテキスト“ＥＦＧＨ”をコピー）行う。それぞれコピーしたテキストは別々のスタックとして記憶される。ペースト時にはそれぞれ別々のテキストとしてペースト可能として制御部１４０が動作してもよい。
　（変形例６）
　上述した各実施形態ではユーザの複数の部位は指であったが、複数の部位のうちの１つ又は複数が指以外でもよい。例えば複数の部位のうちの１つが指、別の１つが目（左目又は右目）でもよい。目の動作として目を閉じる、瞬きを１回又は複数回行うことなどがある。例えば、右手の人差し指でタッチし、左目を閉じた状態でタッチした指を動かす操作を行うことで、タッチした指が動いた範囲に含まれるテキストをコピーする機能を定義してもよい。
［応用例］
　以下に、情報処理装置１００の応用例について説明する。なお、上述の情報処理装置１００は、以下の情報処理装置１００の任意のシステム、装置及び方法等に対しても応用可能である。
　図１８は、本開示の情報処理装置１００の一連の処理をプログラムにより実行するコンピュータのハードウエアの構成の一例である。CPU（Central Processing Unit）１００１、ROM（Read Only Memory）１００２、RAM（Random Access Memory）１００３は、バス１００４を介して相互に接続されている。
　バス１００４には、入出力インタフェース１００５も接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、およびドライブ１０１０が接続されている。
　入力部１００６は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部１００７は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部１００８は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部１００９は、例えば、ネットワークインタフェースよりなる。ドライブは、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディアを駆動する。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５およびバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディアに記録して適用することができる。その場合、プログラムは、リムーバブルメディアをドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部１００９で受信し、記憶部１００８にインストールすることができる。
　本実施形態はCPUを用いたソフトウェアの処理に限定されず、GPU（Graphical Processing Unit）及びDSP（Digital Signal Processor）による処理より実現されてもよい。本実施形態の処理を実行するチップにより本装置を実現することも可能である。
　本明細書で開示した処理のステップは、必ずしもフローチャートに記載された順序で実行されなくてもよい。例えば、フローチャートに記載した順序と異なる順序でステップが実行されても、フローチャートに記載したステップの一部が並列的に実行されてもよい。　
　なお、上述の実施形態は本開示を具現化するための一例を示したものであり、その他の様々な形態で本開示を実施することが可能である。例えば、本開示の要旨を逸脱しない範囲で、種々の変形、置換、省略又はこれらの組み合わせが可能である。そのような変形、置換、省略等を行った形態も、本開示の範囲に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
　また、本明細書に記載された本開示の効果は例示に過ぎず、その他の効果があってもよい。
　なお、本開示は以下のような構成を取ることもできる。
［項目１］
　ユーザの第１部位をセンシングして第１生体情報を取得し、前記ユーザの第２部位をセンシングして第２生体情報を取得する取得部と、
　前記第１部位及び前記第２部位の動作に基づき、前記ユーザによって行われた操作を特定する特定部と、
　前記第１生体情報と、前記第２生体情報とに基づき、特定された前記操作に対して実行する機能を決定する制御部と
　を備えた情報処理装置。
［項目２］
　前記制御部は、前記第１生体情報に基づき前記第１部位を識別して、前記第１部位を識別する第１識別情報を生成し、前記第２生体情報に基づき前記第２部位を識別して、前記第２部位を識別する第２識別情報を生成し、
　前記制御部は、前記第１識別情報と、前記第２識別情報とに基づき、前記機能を決定する
　項目１に記載の情報処理装置。
［項目３］
　前記ユーザの複数の部位の識別情報と、前記複数の部位に基づき前記ユーザにより行うことが可能な操作と、実行する機能とを対応づけた対応データを備え、
　前記制御部は、前記対応データに基づき、特定された前記操作に対して実行する機能を決定する
　項目２に記載の情報処理装置。
［項目４］
　前記取得部は、前記ユーザによるタッチを検知可能な表示領域に前記第１部位及び前記第２部位がタッチされたタイミングに応じて、前記第１部位及び前記第２部位をセンシングする
　項目１～３のいずれか一項に記載の情報処理装置。
［項目５］
　前記表示領域における複数の検出範囲にタッチされた前記ユーザの部位をセンシングする複数のセンサを含み、
　前記制御部は、前記第１部位がタッチされた前記検出範囲に対応する第１センサを起動し、
　前記取得部は、前記第１センサによるセンシングに基づき前記第１生体情報を取得し、　前記制御部は、前記第１生体情報に基づき、前記表示領域のうち前記第２部位がタッチされる領域を予測し、
　前記制御部は、予測した前記領域の少なくとも一部を含む前記検出範囲に対応する第２センサを起動させる、
　項目４に記載の情報処理装置。
［項目６］
　前記制御部は、前記第１部位が、第１の時間以上タッチされたことが検知された場合に、前記第１センサを起動する
　項目５に記載の情報処理装置。
［項目７］
　前記制御部は、前記第１生体情報が取得された後、前記第１センサを停止又はスタンバイにする
　項目５又は６に記載の情報処理装置。
［項目８］
　前記第１部位及び前記第２部位は、前記ユーザの互いに異なる指であり、
　前記制御部は、前記第１部位の種別と、前記第２部位の種別とに基づいて、前記第２部位がタッチされる前記領域を予測する
　項目５～７のいずれか一項に記載の情報処理装置。
［項目９］
　前記制御部は、前記第１生体情報に基づき前記第１部位が向いている方向を検出し、検出した前記方向に基づいて、前記第２部位がタッチされる前記領域を予測する
　項目８に記載の情報処理装置。
［項目１０］
　前記制御部は、前記第２部位の第１候補及び第２候補のそれぞれについて前記第２部位がタッチされる領域を予測し、
　前記制御部は、前記第１候補に対して予測された前記領域の少なくとも一部を含む前記検出範囲に対応する第３センサを起動し、
　前記制御部は、前記第３センサの起動後、第２の時間の間、前記第２生体情報が取得されない場合は、前記第２候補に対して予測された前記領域の少なくとも一部を含む前記検出範囲に対応する第４センサを起動する、
　項目５～９のいずれか一項に記載の情報処理装置。
［項目１１］
　前記制御部は、前記第１生体情報が取得された後、前記ユーザによる押圧又はタッチを検知した場合、前記押圧又はタッチが検知された領域を含む前記検出範囲に対応する第５センサを起動し、
　前記取得部は、前記第５センサによるセンシングに基づき前記第２生体情報を取得する　項目５～１０のいずれか一項に記載の情報処理装置。
［項目１２］
　前記制御部は、前記第１生体情報に基づき、前記表示領域において前記第２部位がタッチされる領域を予測し、
　前記制御部は、予測した前記領域を示す領域情報を、前記表示領域に表示する
　項目４に記載の情報処理装置。
［項目１３］
　前記制御部は、前記第２部位の第１候補及び第２候補のそれぞれについて前記第２部位がタッチされる領域を予測し、
　前記制御部は、前記第１候補に対して予測された領域を示す第１領域情報を前記表示領域に表示し、前記第１領域情報が表示された後、前記第２生体情報が第３の時間の間取得されない場合、前記第２候補に対して予測された領域を示す第２領域情報を前記表示領域に表示する
　項目１２に記載の情報処理装置。
［項目１４］
　前記制御部は、前記第２部位と、前記第１部位と前記第２部位とに基づき前記ユーザが行うことが可能な操作と、前記ユーザが前記第１部位と前記第２部位とに基づき前記操作を行った場合に実行される機能とを表したナビゲーション情報を、前記表示領域に表示する
　項目１３に記載の情報処理装置。
［項目１５］
　前記制御部は、前記第２部位の複数の候補が存在する場合に、前記候補ごとに前記ナビゲーション情報を前記表示領域に表示する
　項目１４に記載の情報処理装置。
［項目１６］
　前記第１生体情報は、前記第１部位を撮像した第１画像に基づく情報であり、
　前記第２生体情報は、前記第２部位を撮像した第２画像に基づく情報である
　項目１～１５のいずれか一項に記載の情報処理装置。
［項目１７］
　前記制御部は、前記第１生体情報に基づき第１特徴情報を算出し、前記第２生体情報に基づき第２特徴情報を算出し、
　前記制御部は、前記第１特徴情報と前記第２特徴情報とに基づき、特定された前記操作に対して実行する機能を決定する
　項目１～１６のいずれか一項に記載の情報処理装置。
［項目１８］
　前記制御部は、特定された前記機能に対して決定した前記機能を実行する
　項目１～１７のいずれか一項に記載の情報処理装置。
［項目１９］
　ユーザの第１部位をセンシングして第１生体情報を取得し、
　前記ユーザの第２部位をセンシングして第２生体情報を取得し、
　前記第１部位及び前記第２部位の動作に基づき、前記ユーザにより行われた操作を特定し、
　前記第１生体情報と、前記第２生体情報とに基づき、特定した前記操作に対して実行する機能を決定する
　コンピュータにより実行される情報処理方法。
［項目２０］
　ユーザの第１部位をセンシングして第１生体情報を取得するステップと、
　前記ユーザの第２部位をセンシングして第２生体情報を取得するステップと、
　前記第１部位及び前記第２部位の動作に基づき、前記ユーザによって行われた操作を特定するステップと、
　前記第１生体情報と、前記第２生体情報とに基づき、特定した前記操作に対して実行する機能を決定するステップと
　をコンピュータに実行させるためのコンピュータプログラム。
１００　情報処理装置
１１０　取得部
１１１　カメラ
１２０　表示部
１３０　記憶部
１４０　制御部
１４１　特定部
２００　右手
２００＿１　右手
２００＿２左手
２１０　親指
２２０　人差し指
２３０　中指
２４０　薬指
３５０　ユーザ
１００１　CPU
１００２　ROM
１００３　RAM
１００４　バス
１００５　入出力インタフェース
１００６　入力部
１００７　出力部
１００８　記憶部
１００９　通信部
１０１０　ドライブ
１１００　画像

Claims (20)

  1. 　ユーザの第１部位をセンシングして第１生体情報を取得し、前記ユーザの第２部位をセンシングして第２生体情報を取得する取得部と、
    　前記第１部位及び前記第２部位の動作に基づき、前記ユーザによって行われた操作を特定する特定部と、
    　前記第１生体情報と、前記第２生体情報とに基づき、特定された前記操作に対して実行する機能を決定する制御部と
    　を備えた情報処理装置。
  2. 　前記制御部は、前記第１生体情報に基づき前記第１部位を識別して、前記第１部位を識別する第１識別情報を生成し、前記第２生体情報に基づき前記第２部位を識別して、前記第２部位を識別する第２識別情報を生成し、
    　前記制御部は、前記第１識別情報と、前記第２識別情報とに基づき、前記機能を決定する
    　請求項１に記載の情報処理装置。
  3. 　前記ユーザの複数の部位の識別情報と、前記複数の部位に基づき前記ユーザにより行うことが可能な操作と、実行する機能とを対応づけた対応データを備え、
    　前記制御部は、前記対応データに基づき、特定された前記操作に対して実行する機能を決定する
    　請求項２に記載の情報処理装置。
  4. 　前記取得部は、前記ユーザによるタッチを検知可能な表示領域に前記第１部位及び前記第２部位がタッチされたタイミングに応じて、前記第１部位及び前記第２部位をセンシングする
    　請求項１に記載の情報処理装置。
  5. 　前記表示領域における複数の検出範囲にタッチされた前記ユーザの部位をセンシングする複数のセンサを含み、
    　前記制御部は、前記第１部位がタッチされた前記検出範囲に対応する第１センサを起動し、
    　前記取得部は、前記第１センサによるセンシングに基づき前記第１生体情報を取得し、　前記制御部は、前記第１生体情報に基づき、前記表示領域のうち前記第２部位がタッチされる領域を予測し、
    　前記制御部は、予測した前記領域の少なくとも一部を含む前記検出範囲に対応する第２センサを起動させる、
    　請求項４に記載の情報処理装置。
  6. 　前記制御部は、前記第１部位が、第１の時間以上タッチされたことが検知された場合に、前記第１センサを起動する
    　請求項５に記載の情報処理装置。
  7. 　前記制御部は、前記第１生体情報が取得された後、前記第１センサを停止又はスタンバイにする
    　請求項５に記載の情報処理装置。
  8. 　前記第１部位及び前記第２部位は、前記ユーザの互いに異なる指であり、
    　前記制御部は、前記第１部位の種別と、前記第２部位の種別とに基づいて、前記第２部位がタッチされる前記領域を予測する
    　請求項５に記載の情報処理装置。
  9. 　前記制御部は、前記第１生体情報に基づき前記第１部位が向いている方向を検出し、検出した前記方向に基づいて、前記第２部位がタッチされる前記領域を予測する
    　請求項８に記載の情報処理装置。
  10. 　前記制御部は、前記第２部位の第１候補及び第２候補のそれぞれについて前記第２部位がタッチされる領域を予測し、
    　前記制御部は、前記第１候補に対して予測された前記領域の少なくとも一部を含む前記検出範囲に対応する第３センサを起動し、
    　前記制御部は、前記第３センサの起動後、第２の時間の間、前記第２生体情報が取得されない場合は、前記第２候補に対して予測された前記領域の少なくとも一部を含む前記検出範囲に対応する第４センサを起動する、
    　請求項５に記載の情報処理装置。
  11. 　前記制御部は、前記第１生体情報が取得された後、前記ユーザによる押圧又はタッチを検知した場合、前記押圧又はタッチが検知された領域を含む前記検出範囲に対応する第５センサを起動し、
    　前記取得部は、前記第５センサによるセンシングに基づき前記第２生体情報を取得する　請求項５に記載の情報処理装置。
  12. 　前記制御部は、前記第１生体情報に基づき、前記表示領域において前記第２部位がタッチされる領域を予測し、
    　前記制御部は、予測した前記領域を示す領域情報を、前記表示領域に表示する
    　請求項４に記載の情報処理装置。
  13. 　前記制御部は、前記第２部位の第１候補及び第２候補のそれぞれについて前記第２部位がタッチされる領域を予測し、
    　前記制御部は、前記第１候補に対して予測された領域を示す第１領域情報を前記表示領域に表示し、前記第１領域情報が表示された後、前記第２生体情報が第３の時間の間取得されない場合、前記第２候補に対して予測された領域を示す第２領域情報を前記表示領域に表示する
    　請求項１２に記載の情報処理装置。
  14. 　前記制御部は、前記第２部位と、前記第１部位と前記第２部位とに基づき前記ユーザが行うことが可能な操作と、前記ユーザが前記第１部位と前記第２部位とに基づき前記操作を行った場合に実行される機能とを表したナビゲーション情報を、前記表示領域に表示する
    　請求項１３に記載の情報処理装置。
  15. 　前記制御部は、前記第２部位の複数の候補が存在する場合に、前記候補ごとに前記ナビゲーション情報を前記表示領域に表示する
    　請求項１４に記載の情報処理装置。
  16. 　前記第１生体情報は、前記第１部位を撮像した第１画像に基づく情報であり、
    　前記第２生体情報は、前記第２部位を撮像した第２画像に基づく情報である
    　請求項１に記載の情報処理装置。
  17. 　前記制御部は、前記第１生体情報に基づき第１特徴情報を算出し、前記第２生体情報に基づき第２特徴情報を算出し、
    　前記制御部は、前記第１特徴情報と前記第２特徴情報とに基づき、特定された前記操作に対して実行する機能を決定する
    　請求項１に記載の情報処理装置。
  18. 　前記制御部は、特定された前記機能に対して決定した前記機能を実行する
    　請求項１に記載の情報処理装置。
  19. 　ユーザの第１部位をセンシングして第１生体情報を取得し、
    　前記ユーザの第２部位をセンシングして第２生体情報を取得し、
    　前記第１部位及び前記第２部位の動作に基づき、前記ユーザにより行われた操作を特定し、
    　前記第１生体情報と、前記第２生体情報とに基づき、特定した前記操作に対して実行する機能を決定する
    　コンピュータにより実行される情報処理方法。
  20. 　ユーザの第１部位をセンシングして第１生体情報を取得するステップと、
    　前記ユーザの第２部位をセンシングして第２生体情報を取得するステップと、
    　前記第１部位及び前記第２部位の動作に基づき、前記ユーザによって行われた操作を特定するステップと、
    　前記第１生体情報と、前記第２生体情報とに基づき、特定した前記操作に対して実行する機能を決定するステップと
    　をコンピュータに実行させるためのコンピュータプログラム。
PCT/JP2022/015775 2021-08-26 2022-03-30 情報処理装置、情報処理方法及びコンピュータプログラム WO2023026567A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-138214 2021-08-26
JP2021138214 2021-08-26

Publications (1)

Publication Number Publication Date
WO2023026567A1 true WO2023026567A1 (ja) 2023-03-02

Family

ID=85322631

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/015775 WO2023026567A1 (ja) 2021-08-26 2022-03-30 情報処理装置、情報処理方法及びコンピュータプログラム

Country Status (1)

Country Link
WO (1) WO2023026567A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013515295A (ja) * 2009-12-20 2013-05-02 キーレス システムズ リミテッド データ入力システムおよびその方法
JP2015132906A (ja) * 2014-01-10 2015-07-23 アルパイン株式会社 入力装置、マルチタッチ操作の入力検出方法及び入力検出プログラム
WO2017047180A1 (ja) * 2015-09-18 2017-03-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013515295A (ja) * 2009-12-20 2013-05-02 キーレス システムズ リミテッド データ入力システムおよびその方法
JP2015132906A (ja) * 2014-01-10 2015-07-23 アルパイン株式会社 入力装置、マルチタッチ操作の入力検出方法及び入力検出プログラム
WO2017047180A1 (ja) * 2015-09-18 2017-03-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Similar Documents

Publication Publication Date Title
US11481109B2 (en) Multitouch data fusion
JP6997734B2 (ja) 画面用の手書きキーボード
JP4899806B2 (ja) 情報入力装置
JP6009454B2 (ja) コンピューティング装置の動きを利用するコンピューティング装置と相互作用するときに発生する入力イベントの解釈の強化
JP5456529B2 (ja) グラフィカル・ユーザ・インターフェース・オブジェクトを操作する方法及びコンピュータシステム
JP5702296B2 (ja) ソフトウェアキーボード制御方法
US9678659B2 (en) Text entry for a touch screen
US20140306897A1 (en) Virtual keyboard swipe gestures for cursor movement
CN109766160B (zh) 基于情境提供信息的方法和系统
US10182141B2 (en) Apparatus and method for providing transitions between screens
JP7076000B2 (ja) スクロール及び選択の高速化
WO2014105276A1 (en) Device, method, and graphical user interface for transitioning between touch input to display output relationships
JP2005044026A (ja) 命令実行方法、命令実行プログラムおよび命令実行装置
WO2022055755A2 (en) User input interfaces
EP2677413B1 (en) Method for improving touch recognition and electronic device thereof
TWI564780B (zh) 觸控螢幕姿態技術
US9626742B2 (en) Apparatus and method for providing transitions between screens
WO2023026567A1 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
CN117581188A (zh) 与笔记用户界面交互
CN115867878A (zh) 用于获得用户输入的方法和设备
JP7197007B2 (ja) タッチパネル型情報端末装置およびその情報入力処理方法
JP6166250B2 (ja) 情報処理装置及びその制御方法、プログラム
JP6525022B2 (ja) 携帯情報端末及びプログラム
JPWO2018167865A1 (ja) タッチジェスチャ判定装置、タッチジェスチャ判定方法、タッチジェスチャ判定プログラム、及びタッチパネル入力装置
JP2016018453A (ja) 情報表示装置およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22860865

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE