WO2014027666A1 - 入力装置、入力方法、及び記憶媒体 - Google Patents

入力装置、入力方法、及び記憶媒体 Download PDF

Info

Publication number
WO2014027666A1
WO2014027666A1 PCT/JP2013/071893 JP2013071893W WO2014027666A1 WO 2014027666 A1 WO2014027666 A1 WO 2014027666A1 JP 2013071893 W JP2013071893 W JP 2013071893W WO 2014027666 A1 WO2014027666 A1 WO 2014027666A1
Authority
WO
WIPO (PCT)
Prior art keywords
hand
movement
shape
user
input
Prior art date
Application number
PCT/JP2013/071893
Other languages
English (en)
French (fr)
Inventor
賢治 秋吉
Original Assignee
Ｎｅｃシステムテクノロジー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｎｅｃシステムテクノロジー株式会社 filed Critical Ｎｅｃシステムテクノロジー株式会社
Priority to CN201380043996.8A priority Critical patent/CN104584080B/zh
Priority to EP13879402.9A priority patent/EP2887318A4/en
Priority to US14/422,124 priority patent/US9753545B2/en
Priority to KR1020157003798A priority patent/KR101624215B1/ko
Priority to CA2882004A priority patent/CA2882004A1/en
Publication of WO2014027666A1 publication Critical patent/WO2014027666A1/ja
Priority to IL237225A priority patent/IL237225A0/en
Priority to HK15107654.5A priority patent/HK1207192A1/xx

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Definitions

  • the present invention relates to an input device, an input method, and a storage medium.
  • Patent Document 1 discloses an image recognition device that determines a user operation based on the movement of a user's hand operating a virtual operation surface formed by a three-dimensional display.
  • Patent Document 2 discloses a display control apparatus that determines a method for arranging images displayed on a display based on a photographed user's gesture.
  • Patent Document 3 discloses an information processing apparatus that determines whether a user's touch operation is a pressing operation (tap operation) or a gesture operation based on a movement amount of the touch operation of the touch panel.
  • a captured image is associated with an operation screen in which a selectable region (for example, a button or icon display region) that is a target of a selection operation is defined, and the user in the captured image
  • a selectable region for example, a button or icon display region
  • An apparatus for recognizing an operation for selecting a selectable region by a user based on a hand movement (for example, stop of a hand for a certain period of time at a position corresponding to the selectable region). is there.
  • selection operation for selecting a selectable region by a user based on a hand movement (for example, stop of a hand for a certain period of time at a position corresponding to the selectable region).
  • the input device can easily determine whether the touch operation is a selection operation (tap operation or the like) or a gesture operation based only on the movement amount information of the user's hand captured by the touch panel. Can be distinguished.
  • the movement of the user's hand moving to the selectable area is captured by the camera. That is, it is not possible to determine the hand movement and the gesture operation prior to the selection operation based on the presence or absence of detection. For this reason, the method disclosed in the cited document 3 cannot discriminate between the selection operation to the selectable region and the gesture operation, and there is a problem that the variation of the operation that can be discriminated by the input device cannot be increased.
  • the present invention has been made in view of such a problem, and an object thereof is to provide an input device, an input method, and a storage medium that can discriminate a gesture operation in addition to a selection operation.
  • An input device includes: An input device that discriminates a user's input based on a user's hand movement in a captured image associated with an operation screen in which a selectable area is defined, Input determination for determining whether a user input is a selection operation of the selectable region or a gesture operation different from the selection operation based on a change in the shape of the hand in the plurality of captured images caused by the movement of the hand Means are provided.
  • the input method is: An input method for determining a user's input based on a user's hand movement in a captured image associated with an operation screen on which a selectable area to be selected is displayed, Determining whether a user input is a selection operation of the selectable area or a gesture operation different from the selection operation based on a change in the shape of the hand in the plurality of captured images caused by the movement of the hand.
  • a storage medium is: A computer-readable non-transitory storage medium for storing a program, wherein the program is based on a user's hand movement in a captured image associated with an operation screen on which a selectable area is displayed.
  • an input device an input method, and a storage medium that determine a gesture operation in addition to a selection operation.
  • FIG. 4 is a diagram for explaining a gesture operation.
  • FIG. 4 is a diagram for explaining a gesture operation.
  • FIG. 4 is a diagram for explaining a selection operation. It is a block diagram which shows the internal structure of the input device shown in FIG. It is a functional block diagram for demonstrating the function of the control part shown in FIG.
  • FIG. 1 It is a figure for demonstrating a hand area
  • FIG. 1 It is a figure for demonstrating a hand area
  • FIG. 4 is a diagram showing a change in the shape of a user's hand during a gesture operation.
  • FIG. 6 is a diagram for explaining an effect of the input device according to the first embodiment.
  • FIG. 5 is a diagram for explaining a FIFO queue prepared in the storage unit illustrated in FIG. 4.
  • 10 is a flowchart of input processing according to the second embodiment. It is a figure which shows a mode that the change of a user's hand moving direction is specified in specifying the moving direction and shape change of a user's hand. It is a figure which shows a mode that the change of a user's hand shape is specified in specifying the moving direction and shape change of a user's hand.
  • FIG. 10 is a diagram for explaining a modified example of the input device, and is a diagram for explaining a direction comparison map created based on the direction of the selectable region and the position of the user's hand at the start of movement.
  • FIG. 4 is a diagram illustrating a state in which a direction difference degree is specified based on a direction comparison map. It is a figure which shows a mode that the movement locus
  • the input device 100 is a selectable area in which an input to a user device (for example, an operation command, a command, an icon, etc. for the user device is displayed based on the movement of the user's hand imaged by the camera. Etc.) are provided.
  • the input device 100 is a personal computer having an appearance as shown in FIG. First, an overview of processing performed by the input device 100 will be described with reference to FIGS. 2 and 3.
  • the input device 100 displays a display unit 120 that displays an operation screen as shown in FIG. 2A in which images (icons and buttons) to be selected are displayed in the selectable area, and an image as shown in FIG. 2B, for example. And an imaging unit 130 for imaging.
  • the captured image (hereinafter referred to as “captured image”) is associated with the operation screen as shown in FIG. 2C.
  • the input device 100 associates each coordinate point on the captured image with a coordinate point on the operation screen by coordinate transformation such as affine transformation. And if a user's fingertip is reflected in a certain part on a picked-up image, it will accept as operation which points to the part corresponding on an operation picture.
  • the selectable area is set on the operation screen according to the state of the application that is the target of the input operation.
  • an image of a button that can be pressed, an image of an icon to be selected, or the like may be displayed at the same time.
  • the input device 100 communicates with an application, for example, acquires the coordinates of the selectable area, and stores them in the RAM.
  • the input device 100 determines whether the user input is a selection operation or a gesture operation different from the selection operation based on the movement of the user's hand in the captured image.
  • the “gesture operation” means a predetermined operation such as gesture gestures that are predetermined for device operation, for example, a hand-circulating operation as shown in FIG. 3A, or a finger as shown in FIG. 3B, for example.
  • the “selection operation” (also referred to as “pointing operation”) refers to an operation in which the user attempts to select a selectable area displayed on the screen.
  • the “selection operation” includes the movement of the user's hand moving to the point area.
  • the user's hand moves in a direction where there is a selectable area.
  • the user since the user often moves the hand in parallel while looking at the operation screen, for example, as shown in FIG.
  • the user in the case of a gesture operation, the user often moves his / her hand so as to wave his / her hand with the wrist as a fulcrum.
  • the input device 100 determines whether the user input is a selection operation or a gesture operation based on a change in the shape of the user's hand caused by the movement.
  • the input device 100 includes an operation unit 110, a display unit 120, an imaging unit 130, an image storage unit 140, a control unit 150, and a storage unit 160.
  • the operation unit 110 includes an input device such as a keyboard.
  • the operation unit 110 receives a process start command or the like from the user, and transmits it to the control unit 150 described later.
  • the display unit 120 includes a display device such as a liquid crystal display.
  • the display unit 120 displays various images according to the control of the control unit 150.
  • the imaging unit 130 includes an imaging device such as a CCD (Charge Coupled Device Image Sensor) camera or a CMOS (Complementary Metal Oxide Semiconductor) camera.
  • the imaging unit 130 is installed in the upper center of the display unit 120, for example.
  • the imaging unit 130 sequentially captures images (including video) of the user's hand, adds a shooting time to each frame, and sequentially transmits the frames to the image storage unit 140.
  • the image storage unit 140 includes a video memory such as a RAM (Random Access Memory).
  • the image storage unit 140 stores the image data transmitted from the imaging unit 130.
  • the control unit 150 includes, for example, an arithmetic device such as a processor, a RAM that can be used as a work area by the arithmetic device, and a ROM (Read Only Memory) that stores data such as programs and initial values.
  • the control unit 150 operates according to a program loaded from the ROM to the RAM, and executes various operations including “input processing” described later.
  • the control unit 150 operates according to “input processing”, and as illustrated in FIG. 5, the image acquisition unit 151, the movement detection unit 152, the direction comparison unit 153, the shape comparison unit 154, the input determination unit 155, and the transmission unit 156. Function as. Note that these functions will be described later in the description of “input processing”.
  • the storage unit 160 includes a storage device capable of reading and writing data such as a DRAM (Dynamic Random Access Memory), an SRAM (Static Random Access Memory), a flash memory, and a hard disk.
  • the storage unit 160 stores various data such as a “gesture discrimination table” and a “command table”.
  • the “gesture discrimination table” is information for discriminating which of the plurality of movement patterns stored in advance is the user's gesture, that is, the user's hand trajectory.
  • “movement pattern information” is composed of information in which “identification information” and “feature data” are associated with each other.
  • Identification information is a movement pattern of the user's hand, and is information (identifier) for uniquely identifying each of a plurality of movement patterns stored in advance.
  • identifier information for uniquely identifying each of a plurality of movement patterns stored in advance.
  • FIG. 6 as the movement of the user's hand, as shown in FIG. 7A, “round (clockwise)” with respect to the clockwise rotation as shown in FIG. 7A, and with respect to the counterclockwise rotation as shown in FIG. “Circulation (counterclockwise)”, “linear movement (left direction)” with respect to the flicking operation in the left direction as shown in FIG. 7C, and “linear movement (to the left direction)” with respect to the flicking operation in the right direction as shown in FIG. Right direction) ”, unique identification information is assigned to different hand movements.
  • the format of the identification information is not limited to a specific format. For example, numerical values such as 1, 2, 3,..., And symbols such as A, B, C.
  • Feature data is information for specifying the movement pattern of the user's hand.
  • the feature data includes feature amount data obtained by extracting and storing features of a movement locus drawn by a user's hand in advance.
  • the feature data is stored in advance in a storage device such as a ROM, and is used for determining a gesture operation by pattern recognition using a movement vector.
  • the control unit 150 determines which movement pattern the user's hand movement locus corresponds to by comparing the user's hand locus with the feature data.
  • the “command table” is information for determining which of a plurality of operation commands the user's gesture operation corresponds to. As shown in FIG. 6, the command table includes information in which “identification information” and “control command” are associated with each other.
  • Control command is control information for controlling the device.
  • the “control command” is control information such as playback, stop, fast forward, skip, decision, cancel, volume change, etc., which are input to application software such as music playback software, operating system, or the like.
  • the control unit 150 commands the imaging unit 130 to start imaging.
  • the imaging unit 130 sequentially transmits the captured images to the image storage unit 140.
  • the control unit 150 executes application software and starts “input processing” for inputting various control information to the application software.
  • the “input processing” will be described below with reference to the flowchart of FIG.
  • the image acquisition unit 151 of the control unit 150 receives from the image storage unit 140 a captured image for the latest predetermined period in which a human hand is captured (for example, as shown in FIG. 9, the shooting time is 1:23:40). (Multiple frames of image data for 20 seconds from 50 to 1:24:00 to 50) are acquired (step S101). That is, the control unit 150 acquires a plurality of captured images with different shooting timings from the image acquisition unit 151.
  • the movement detection unit 152 of the control unit 150 extracts a region (hereinafter, referred to as “hand region”) in which the hand of the person with the index finger raised is shown for each of the plurality of frames of captured images.
  • the hand region to be extracted may be the shape of the hand itself (for example, a portion PA surrounded by a broken line in FIG. 10), or the smallest rectangular region that includes the hand (for example, surrounded by a broken line in FIG. 10).
  • Portion PB portion of the hand itself (for example, a portion PA surrounded by a broken line in FIG. 10), or the smallest rectangular region that includes the hand (for example, surrounded by a broken line in FIG. 10).
  • the movement detection unit 152 determines whether or not the movement start is detected based on the change in the position of the hand region in the captured image of each frame (step S103). As a specific example, the movement detection unit 152 compares the positions of the hand areas of the plurality of captured images acquired in step S101, and compares the position of the hand area (the amount of movement of the hand) and the difference in shooting timing (time difference) in each frame. ) To determine the hand movement speed. Then, based on the obtained speed, the user's hand moves from the stopped state (the moving speed of the hand is equal to or lower than the fixed speed) to the moving state (the moving speed of the hand is constant) within the predetermined period in which the image is acquired in step S101.
  • step S103 It is determined whether or not there is a time point when the state has shifted to a state above the speed. If there is no transition time point, the movement detection unit 152 determines that the user's hand has not shifted to the movement state (step S103: No), returns the process to step S101, and detects the transition point. Steps S101 to S103 are repeated until. On the other hand, if the movement state has been entered (step S103: Yes), the shooting time (hereinafter referred to as the movement start time T1) at the time of the change to the movement state is stored in a RAM or the like, and the process proceeds to step S104.
  • the shooting time T1 hereinafter referred to as the movement start time T1
  • the movement detection unit 152 Based on the change in the position of the hand area of each frame after the start of movement, the movement detection unit 152 includes a time point at which the user's hand has shifted from the moving state to the stopped state in the captured image after the movement start time T1. (Step S104).
  • the movement detecting unit 152 changes the moving state from the moving state to the stopped state, contrary to step S103, based on the moving speed of the hand determined based on the difference in the position of the hand region (the amount of movement of the hand) and the difference in the photographing timing (time difference). Determine if there is a transition point in time.
  • step S104 when the user's hand has not shifted to the stop state (step S104: No), the process returns to step S101, and steps S101 to S104 are repeated.
  • the shooting time at the time of shifting to the movement stop state (hereinafter referred to as movement stop time T2) is stored in the RAM or the like, and the process proceeds to step S105.
  • the movement detection unit 152 acquires the captured image at the movement start time T1 and the captured image at the movement stop time T2 from the image storage unit 140, and stores them in the RAM (step S105). For example, if 1: 23: 45: 67 is detected as the movement start time T1 in step S103 and 1: 23: 46: 67 is detected as the movement stop time T2 in step S104, the two frames (1:23) are detected. The captured image of a frame of 45 minutes 67 minutes and a frame of 1:23 minutes 46 seconds 67) is stored in the RAM.
  • the direction comparison unit 153 of the control unit 150 identifies the direction of the selectable region with respect to the position of the user's hand at the movement start time T1 based on the captured image at the movement start time T1 of the user's hand (step S106).
  • This direction can be obtained based on, for example, the coordinates of the center of gravity of the selectable area recorded in the predetermined area of the RAM and the center of gravity of the hand area extracted in step S102.
  • the direction is specified for each selectable area. For example, as shown in FIG.
  • the direction comparison unit 153 connects the center-of-gravity position G1 of the hand area at the movement start time T1 and the centers (C1 to C4) of the selectable areas. (For example, a clockwise angle from a predetermined reference direction such as the upward direction in the figure, and the same applies to the respective drawings for explaining the angles on the operation screen hereinafter) as the direction of the selectable area. Good.
  • the direction comparison unit 153 compares the direction of the selectable area acquired in step S106 with the moving direction of the user's hand. Then, the comparison result is acquired as a “direction difference degree” indicating the degree of direction difference. Note that the movement direction of the user's hand can be obtained based on the position of the hand region in the frame at the movement start time T1 and the movement stop time T2 stored in step S105, for example. When there are a plurality of selectable areas, the direction difference is obtained for each selectable area (step S107).
  • the direction comparison unit 153 may determine the angle of a line connecting the gravity center position G1 of the user's hand at the movement start time T1 and the gravity center position G2 of the user's hand at the movement stop time T2 (for example, as illustrated in FIG. The angle when the middle-up direction is 0 ° is specified. Then, as shown in FIG. 12B, the difference between the specified angle and the direction angle of the selectable area is calculated, and the difference having the smallest value among the calculated differences (17 ° in the example of FIG. 12B) is set as the direction. Get as the degree of difference.
  • the user moves to any of the selectable areas from the movement start point (in this example, movement start point T1) to the movement stop point (in this example, movement stop point T2). Move your hand toward.
  • the movement direction is independent of the direction from the movement start point toward the selectable area. For this reason, the direction difference indicating whether or not the user's hand is moving toward one of the selectable areas set on the operation screen is whether or not the movement of the hand is part of the selection operation. This is a coefficient indicating the certainty.
  • the degree of direction difference is smaller. That is, the smaller the direction difference, the higher the probability that the user's hand movement is part of the selection operation. Conversely, the greater the degree of direction difference, the higher the probability that the user's hand movement is for a gesture operation rather than a selection operation.
  • the shape comparison unit 154 of the control unit 150 compares the shape of the user's hand when the movement is started with the shape of the user's hand when the movement is stopped. Then, the comparison result is acquired as “shape difference” indicating the degree of change in shape (step S108). For example, the shape comparison unit 154 compares the positional relationship between the gravity center position G1 of the hand region at the movement start time T1 and the fingertip F1 and the positional relationship between the gravity center position G2 of the hand region at the movement stop time T2 and the fingertip F2. To calculate the shape difference.
  • the shape comparison unit 154 determines the angle of the line connecting the centroid position G1 of the hand region at the movement start time T1 and the fingertip F1, the centroid position G2 of the hand region at the movement stop time T2, and the fingertip F2.
  • the difference between the angles of the lines connecting the lines is calculated as the shape difference degree.
  • the shape difference calculated in this way is an indicator of the probability that the user's hand is moving as part of a predetermined gesture operation, unlike the movement to any of the selectable areas. This is because, in general, when a hand is moved as part of the selection operation, the user moves the hand without deforming it.
  • the gesture operation as shown in FIG.
  • the hand is deformed more than in the case of the selection operation. That is, the greater the degree of shape difference, the greater the probability that the user's hand is moving as part of the gesture operation.
  • the input determination unit 155 of the control unit 150 adds the direction difference degree and the shape difference degree with a predetermined weight (step S109). For example, if the direction difference degree acquired in step S107 is D and the shape difference degree acquired in step S108 is S, the weighting coefficients of the direction difference degree D and the shape difference degree S are respectively set as w1 and w2, and the following ( The addition value ADD is obtained by equation (1). Note that the value of each weight is a value obtained in advance by experiments and stored in the ROM as a set value. Or it is good also as a user being able to set according to the habit of own operation. Here, the values of w1 and w2 are both positive.
  • the input determining unit 155 determines whether the added value (for example, the added value ADD) is equal to or less than a predetermined threshold (step S110). If it is less than or equal to the predetermined threshold (step S110: Yes), it is determined that the user's hand movement is a selection operation, and the process proceeds to step S111. Otherwise (step S110: No), it is determined that the user's hand movement is a gesture operation, and the input determination unit 155 advances the process to step S112.
  • This added value ADD is obtained based on a direction difference degree D indicating the degree to which the user's hand is directed to one of the selectable areas and a shape difference degree S indicating the magnitude of the change in the user's shape.
  • a coefficient indicating whether the movement of the user's hand is for a gesture operation or part of a selection operation When w1 and w2 are positive values, the probability of being a gesture operation is higher as ADD is larger. Therefore, it is possible to determine input according to the user's intention by obtaining ADD and determining that it is a gesture operation when the size exceeds a threshold value.
  • step S110: Yes When the selection operation is determined (step S110: Yes), the input determination unit 155, the direction of the selectable area acquired in step S106, the gravity center position G1 of the user's hand at the movement start time T1, and the movement stop time T2 It is determined which selectable area has been selected based on the center of gravity position G2 of the user's hand. Then, the transmission unit 156 notifies the application software of a command indicating that the selectable area has been selected together with the information determined by the input determination unit 155 (step S111).
  • step S110 when it is determined that the operation is a gesture operation (step S110: No), the input determining unit 155 displays the movement trajectory drawn by the center of gravity of the hand from the start of movement to the stop of movement in the gesture determination table shown in FIG. The user's gesture is determined by collating with the feature data. Then, the transmission unit 156 acquires a control command assigned to the determined gesture (that is, identification information) from the command table, and transmits the acquired control command to the application software (step S112). That is, the transmission unit 156 transmits the determined input result to the application to be operated. If there is no corresponding feature data in the gesture determination table, the transmission unit 156 ends the step S112 as it is without inputting a control command.
  • a control command assigned to the determined gesture that is, identification information
  • control unit 150 returns to step S101 and repeats the processing from step S101 to step S111.
  • the input device 100 determines whether the movement of the user's hand is a selection operation. It is possible to accurately determine whether it is a gesture operation. For example, as shown in FIGS. 13A and 13B, even if the user's hand moves in the direction of the selectable area in the same manner, by using the information on the change in the shape of the user's hand, for example, The case can be determined as a “selection operation”, and the case of FIG. 13B can be determined as a “gesture operation”. Therefore, the input device 100 can simultaneously recognize a gesture operation in addition to a selectable operation. As a result, the input device 100 can realize various valuation input operations, and the convenience of input is high for the user. .
  • the input device 100 can further determine whether the movement of the user's hand is a selection operation or a gesture operation. Can be distinguished well. For example, as shown in FIG. 14, even if the shape of the hand does not change much due to the movement, the movement of the user's hand that has not moved toward the selectable area is changed to “gesture” instead of “selection operation”. “Operation”.
  • the input device 100 determines whether the user's input is a selection operation or a gesture operation based on a change in hand shape between the movement start time and the movement stop time. Instead, it is also effective to discriminate the user input based on a stepwise or continuous change in the shape of the hand from the start of movement to the stop of movement.
  • an input device is disclosed that discriminates a user's input based on a stepwise or continuous change in time series of hand shapes.
  • the input device 100 includes an operation unit 110, a display unit 120, an imaging unit 130, an image storage unit 140, and a control unit 150, as illustrated in FIG. And a storage unit 160.
  • a storage area (hereinafter referred to as FIFO (First In In First Out) format) (hereinafter referred to as a FIFO (First In In First Out) format) capable of storing image data for a plurality of frames (for example, three frames), as shown in FIG. , Referred to as “FIFO queue”).
  • FIFO queue a storage area capable of storing image data for a plurality of frames (for example, three frames), as shown in FIG. , Referred to as “FIFO queue”).
  • FIFO queue a storage area capable of storing image data for a plurality of frames (for example, three frames), as shown in FIG. , Referred to as “FIFO queue”).
  • a photographed image obtained by photographing the current (latest) hand a photographed image n-2 before the time T, a photographed image n-3 before the time 2T, are stored.
  • the control unit 150 acquires the latest one frame of image data from the image storage unit 140 at the time interval T, and enqueues the
  • the captured images stored in the FIFO queue are referred to as image data A, image data B, and image data C in order from the newest.
  • the time interval T at which the control unit 150 acquires images from the image storage unit 140 is not limited to a specific interval and can be set arbitrarily. For example, the interval may be 1 second or 1 frame based on the factory default setting or the setting operation by the user.
  • the control unit 150 commands the imaging unit 130 to start imaging.
  • the imaging unit 130 sequentially transmits the captured images to the image storage unit 140.
  • the control unit 150 executes application software and starts “input processing” for inputting various control information to the application software.
  • the “input processing” will be described below with reference to the flowchart of FIG.
  • the movement detection unit 152 determines whether the user's hand has shifted from the stopped state to the moving state using, for example, the same method as in step S103 of the first embodiment (step S201). When not having shifted to the moving state (step S201: No), step S201 is repeated until the moving state is shifted. When it has shifted to the moving state (step S201: Yes), the process proceeds to step S202.
  • the image acquisition unit 151 determines whether the contents of the FIFO queue have been updated by the control unit 150, that is, whether the time T has elapsed since the last FIFO queue update (step S202). When the FIFO queue has not been updated, or when step S202 is executed for the first time after the user's hand moves to the moving state (step S202: No), step S202 is repeated until the FIFO queue is updated. If the FIFO queue has been updated (step S202: Yes), the process proceeds to step S203.
  • the direction comparison unit 153 identifies a change in the movement direction of the user's hand for each time interval T. More specifically, the direction comparison unit 153 refers to the movement direction of the user's hand from time 2T before time T specified by the images A and B (hereinafter referred to as “movement direction at the previous time point”). The movement direction of the user's hand from before the time T specified by the images B and C to the current time (hereinafter referred to as “current movement direction”) is compared. Then, the comparison result is acquired as a “direction difference degree” indicating the degree of difference in the moving direction between the previous time point and the current time point (step S203). For example, direction comparing unit 153, as shown in FIG.
  • the angle (figure line connecting the center of gravity position G B of the user's hand at the time of the gravity center position G A and the image B of the user's hand at the time of image A In this example, 88 °) is specified as the moving direction at the previous time point. Furthermore, it identifies the angle of a line connecting the user's hand at the time of the gravity center position G B and the image C of a user's hand at the time of the image B and the center of gravity position G C (96 ° in the illustrated example) as the moving direction of the current To do. Then, the difference between the two specified angles is acquired as the direction difference degree D.
  • the direction difference degree D is numbered in the order of acquisition D0, D1, D2,... After movement detection as shown in FIG.
  • the probability that the movement of the hand is a part of the selection operation is higher as the degree of direction difference D in each period and the accumulated addition value are smaller.
  • the larger the cumulative addition value the higher the probability that the movement of the hand is for a gesture operation different from the selection operation.
  • the shape comparison unit 154 identifies a change in the shape of the user's hand for each fixed time interval T. More specifically, the shape comparison unit 154 includes the shape of the user's hand at the time of the image B (hereinafter referred to as “the shape at the previous time point”) and the shape of the user's hand at the time of the image C (hereinafter referred to as “the shape of the user”). Compare the current shape. Then, the comparison result is acquired as a “shape difference” indicating the degree of change in shape (step S204). For example, as shown in FIG.
  • shape comparison unit 154 calculates the angle of the line connecting the center of gravity position G B and the fingertip F B of the hand region at the time of image B (351 ° in the illustrated example) (in the example of FIG. 53 °) angle of a line connecting the center of gravity position G C and the fingertip F C of the hand region at the time of the image C to calculate the difference between the shape dissimilarity S.
  • shape difference degree S is numbered as S0, S1, S2,... In the order of acquisition after movement detection as shown in FIG.
  • Si: i 0, 1, 2, 3,...
  • the user when a hand is moved as part of the selection operation, the user does not change the shape of the hand from the movement start point (in this example, movement start point T1) to the movement stop point (in this example, movement stop point T2). Move your hand. Therefore, the probability that the movement of the hand is a part of the selection operation is higher as the shape difference degree S in each period and the accumulated addition value are smaller. On the other hand, the greater the cumulative addition value of the shape difference degree S, the higher the probability that the movement of the hand is for a gesture operation different from the selection operation.
  • the input determination unit 155 cumulatively adds all the addition values ADD acquired after the movement start is detected (step S206). For example, the input determination unit 155 determines the accumulated value ACC by the following (Equation 3) using the most recently calculated addition value as ADDn.
  • the input determining unit 155 determines whether the accumulated value ACC is equal to or greater than a predetermined threshold (step S207). When the accumulated value ACC is equal to or greater than the predetermined threshold (step S207: Yes), the input determination unit 155 determines that the user input is a gesture operation, and proceeds to step S208. Otherwise (step S207: No), the process proceeds to step S210.
  • This accumulated value ACC is calculated based on the degree of change of the hand movement direction and the degree of change of the hand shape (angle) by the user from the movement start time T1 to the movement stop time T2. A coefficient indicating whether the hand movement is for a gesture operation or part of a selection action.
  • step S207: Yes the movement detection unit 152 uses the same method as that in step S104 of the first embodiment, for example, to move the user's hand from the moving state to the stopped state. It is determined whether or not it is being performed (step S208). When not having shifted to the stop state (step S208: No), step S208 is repeated until the stop state is shifted. When it has shifted to the stop state (step S208: Yes), the process proceeds to step S209.
  • the input determination unit 155 compares the movement locus drawn by the center of gravity of the hand from the start of movement to the stop of movement with the feature data of the gesture determination table shown in FIG. 6 to determine the user's gesture. Then, the control command assigned to the gesture determined by the transmission unit 156 is acquired from the command table and input to the application software (step S209).
  • step S207 when the accumulated value ACC is less than the predetermined threshold (step S207: No), the movement detection unit 152 uses, for example, the same method as that in step S104 in the first embodiment, Is determined to have shifted from the moving state to the stopped state (step S210).
  • step S210: No the control unit 150 returns to step S202 and repeats steps S202 to S210.
  • step S210: Yes the process proceeds to step S211.
  • the input determination unit 155 determines which selectable region has been selected using the same method as in step S111 of the first embodiment. Then, the transmission unit 156 notifies the application software of information (control signal) indicating that the selectable area has been selected (step S211).
  • the shape of the hand at the start of movement or the stop of movement is used to determine the user's input. ing.
  • the user moves the hand from the movement start time to the movement stop time without changing the movement direction so much. Also, move the hand without changing the shape of the hand.
  • the gesture operation the movement direction and the shape of the hand are changed as shown in FIG. 3B (flick operation) and FIG. 19 (rolling operation).
  • the shape of the hand at the movement start time T1 and the shape of the hand at the movement stop time T2 are the same shape, and the movement direction is the direction of the selectable region. In some cases.
  • the input device 100 according to the above-described embodiment can determine whether the selection operation or the gesture operation is preferable even in such a case, and thus the determination accuracy is high.
  • the input device 100 discriminates the user's input based on information on the movement direction of the hand and the change in the shape of the hand, but the change in shape without using the information on the movement direction.
  • the user input may be determined based only on the information.
  • the input determination unit 155 determines that the movement of the user's hand is a selection operation when the shape difference S acquired in step S108 is equal to or less than a predetermined threshold, and so Otherwise, it may be determined that the user's hand movement is a gesture operation.
  • the input determining unit 155 determines the user input based on the accumulated values from the shape difference degrees S0 to Sn, not the accumulated added values from the added values ADD0 to ADDn. May be. Further, an average value of the shape difference degrees S0 to Sn may be used instead of the cumulative addition value.
  • step S107 and step S203 a “direction difference” indicating the degree of difference in the moving direction is obtained.
  • the direction comparison unit 153 indicates the degree of coincidence between the direction of the selectable area and the movement direction of the user's hand, or indicates the degree of coincidence between the current movement direction and the previous movement direction. May be acquired.
  • the direction comparison unit 153 may calculate the direction coincidence by adding the movement distance to the movement direction of the user's hand.
  • the direction comparison unit 153 creates a direction comparison map in which regions are set in stages based on the direction of the selectable region acquired in step S106 and the position of the user's hand at the start of movement (for example, As shown in FIG. 20A, rectangular areas A to E having diagonal lines on the line connecting the center of gravity of each selectable area with the center of gravity G1 of the user's hand at the movement start time T1 are set stepwise. Then, the direction comparison unit 153 assigns a value to each region such that the region farther from the center of gravity of the user's hand has a larger value.
  • the direction comparison unit 153 acquires the value assigned to the region where the center of gravity G2 of the user's hand at the movement stop time T2 is located (region C in the example of FIG. 20B) as the degree of direction coincidence. That is, the weight value is set so that the closer the direction is to the selectable area, the easier it is to discriminate the selection operation. According to such a configuration, input discrimination with high accuracy is possible.
  • a “shape difference” indicating the degree of change in the shape of the hand is acquired.
  • the shape comparison unit 154 stops the movement and the shape of the hand at the movement start time T1.
  • the “shape coincidence degree” indicating the degree of coincidence with the hand shape at the time point T2 or the degree of coincidence between the hand shape at the previous time point and the current hand shape may be acquired.
  • the weight value is set so that the higher the shape matching degree, the easier it is to determine that the movement of the hand is part of the selection operation.
  • step S109 and step S205 the direction difference degree (direction difference degree D or Di) and the shape difference degree (shape difference degree S or Si) are added with a predetermined weight to obtain an addition value.
  • it is configured to determine whether the movement of the user's hand is a selection operation or a gesture operation.
  • the input determination unit 155 may determine whether the user's hand movement is a selection operation or a gesture operation based on a value obtained by adding the direction matching degree and the shape matching degree with a predetermined weight.
  • a configuration in which the input device 100 displays a guide indicating the ideal gesture operation hand activation on the operation screen is also effective.
  • a belt-like semi-transparent guidance display for guiding the ideal hand movement to the user is output.
  • the control unit 150 may include a feedback unit having a function of outputting a movement locus drawn by the user's hand so as to be visible along the guidance display. For example, when the user's hand moves along the band near the guidance display band, the feedback unit moves along the band in accordance with the position of the user's hand as shown in FIG. 21A. The light trace of is displayed.
  • the feedback unit may change the display mode of the guide depending on the movement of the hand by a gesture operation.
  • the transmittance of the guidance display is changed as needed based on the change in the cumulative value ACC calculated in step S206.
  • the feedback unit lowers the transmittance of the guidance display as the cumulative value ACC increases, as indicated by RC in FIG. 21B. According to such a configuration, it is possible to make the user recognize that the gesture operation is determined.
  • a change in the shape of the hand is obtained based on a change in the angle of the line connecting the center of gravity of the hand and the fingertip.
  • the shape comparison unit 154 may capture a change in the shape of the hand based on the distance between the center of gravity position of the hand and the fingertip.
  • the shape comparison unit 154 includes a distance L1 between the center of gravity position of the hand and the fingertip at the movement start time T1 or the previous time point, and a distance L2 between the center of gravity position of the hand and the fingertip at the movement stop time T2 or the current time. May be calculated as the degree of shape difference.
  • information on the change in the angle of the line connecting the center of gravity of the hand and the fingertip may be used. According to such a configuration, a change in the shape of the hand can be accurately captured.
  • the shape comparison unit 154 may correct the shape dissimilarity or the shape coincidence calculated based on the movement distance of the hand. For example, the shape comparison unit 154 calculates the distance from the center of gravity position of the hand at the previous time point to the current hand center of gravity position as the movement distance of the hand, Alternatively, the calculated shape dissimilarity or shape coincidence is corrected so that the shape coincidence increases as the movement distance increases.
  • the shape difference degree may be divided by the movement distance to obtain a new shape difference degree.
  • a new shape matching degree may be obtained by multiplying the shape matching degree by the movement distance. For example, as shown in FIG.
  • an input discrimination system can be improved by a discrimination process based on a comprehensive evaluation value of a moving speed and a change in hand shape.
  • the transmission unit 156 is configured to transmit the determined control command to the application software.
  • software that is a target for transmitting a control command based on an input determination result is not limited to application software.
  • the input determination unit 155 may input the determined control command to, for example, an operating system.
  • the determined control command may be configured to be input to a device other than the input device 100 via a communication line or wireless.
  • the input device may be different from the device for executing the operation and the operation system.
  • an output device for transmitting the input result to another device that executes the application via a parallel port or a USB (Universal Serial Bus) terminal as a transmission unit is provided. Just do it.
  • a personal computer is shown as an example of the input device 100.
  • the input device 100 is not limited to a personal computer, and may be another type of electric device having a function of determining input from a user. May be.
  • the input device 100 may be a television, a recorder, a game machine, a fixed phone, a mobile phone, a smartphone, a tablet terminal, a PDA (Personal Digital Assistant), or the like.
  • the input device 100 may be realized by a dedicated system or an ordinary computer system.
  • the input device 100 may be configured by storing and distributing a program for performing the above-described operation in a computer-readable recording medium, installing the program in a computer, and executing the above-described processing. Good.
  • it may be stored in a disk device provided in a server device on a network such as the Internet so that it can be downloaded to a computer, for example.
  • the above-described functions may be realized by joint operation of the OS and application software. In this case, only the part other than the OS may be stored and distributed in a medium, or may be downloaded to a computer.
  • Recording media for recording the above programs include USB memory, flexible disk, CD (Compact Disc), DVD (Digital Versatile Disc), Blu-ray Disc (registered trademark), MO (Magneto-Optical disk), SD memory card ( Computer-readable non-transitory recording media such as Secure Digital Memory card, Memory Stick (registered trademark), and other magnetic disks, optical disks, magneto-optical disks, semiconductor memories, magnetic tapes, and the like can be used. It is also possible to superimpose a computer program on a carrier wave and distribute the computer program via a communication network. For example, the computer program is posted on a bulletin board (BBS: Bulletin Board System) on a communication network, and the computer program is distributed via the network. And you may comprise so that each function of the input device 1 may be implement
  • BBS Bulletin Board System
  • An input device that discriminates a user's input based on a user's hand movement in a captured image associated with an operation screen in which a selectable area is defined, Input determination for determining whether a user input is a selection operation of the selectable region or a gesture operation different from the selection operation based on a change in the shape of the hand in the plurality of captured images caused by the movement of the hand Comprising means, An input device characterized by that.
  • the input determination means determines whether the user input is a selection operation of the selectable region or a gesture operation based on a direction in which the hand moves in the plurality of captured images and a change in the shape of the hand caused by the movement. To determine, The input device according to Supplementary Note 1, wherein:
  • the input determining means includes a change in the shape of the hand specified by comparing the shape of the hand at the start of movement and the shape of the hand at the stop of movement, and the position of the hand at the start of movement. And the direction of movement of the hand specified based on the position of the hand at the time of the movement stop, and determining whether the user input is a selection operation or a gesture operation of the selectable region,
  • the input device according to Supplementary Note 2, wherein
  • a movement detecting means for detecting a movement start time and a movement stop time of the hand;
  • the input determining means includes a change in the shape of the hand at predetermined time intervals from the movement start time to the movement stop time, and the hand at each predetermined time interval from the movement start time to the movement stop time. Determining whether the user input is a selection operation of the selectable area or a gesture operation based on a change in the movement direction;
  • the input device according to Supplementary Note 2, wherein
  • Shape comparison means for comparing the shape of the hand at the start of movement and the shape of the hand at the stop of movement to calculate a shape dissimilarity indicating the degree of shape difference or a shape coincidence indicating the degree of coincidence
  • the movement direction of the hand is specified based on the position of the hand at the start of movement and the position of the hand at the stop of movement, and the selectable area based on the position of the hand at the start of movement
  • a direction in which a direction is specified, and the direction in which the hand is moved is compared with the direction in which the selectable area is specified to calculate a direction difference indicating the degree of direction difference or a direction coincidence indicating the degree of match.
  • Shape comparison means Direction comparison means for comparing the current movement direction and the previous movement direction at each predetermined time interval and calculating a direction difference indicating a degree of direction difference or a direction coincidence indicating a degree of match; Further comprising
  • the input determining means includes Adding the shape dissimilarity or the shape coincidence and the direction dissimilarity or the direction coincidence with a predetermined weight; With the movement start time as the accumulation start time, the added value is cumulatively added at each predetermined time interval, When the cumulative added value exceeds a predetermined threshold value, the user's input is determined as a gesture operation, and the cumulative added value is set to the predetermined value before the movement is stopped or within a predetermined time after the cumulative start. When the threshold value is not exceeded, the user input is determined as the selection operation of the selectable area,
  • the input device includes Adding the shape dissimilarity or the shape coincidence and the direction dissimilarity or the direction coincidence with a predetermined weight;
  • the hand is a user's hand with a finger raised;
  • the shape comparison means compares the current positional relationship between the center of gravity position of the hand and the fingertip and the positional relationship between the center of gravity position of the hand and the fingertip before the predetermined time, Calculating the shape matching degree,
  • the input device according to Supplementary Note 6, wherein:
  • To the computer that controls the input device to determine the input of Input determination for determining whether a user input is a selection operation of the selectable region or a gesture operation different from the selection operation based on a change in the shape of the hand in the plurality of captured images caused by the movement of the hand A storage medium characterized by realizing a function.
  • the present invention can be used for an input device that determines user input based on an image of a user's hand.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)

Abstract

　入力装置は、選択領域が表示された操作画面に対応付けられる撮像画像の中のユーザの手の動きに基づいて、ユーザの入力を判別する装置である。入力装置は、ユーザの手が移動したことにより生じる撮像画像中のユーザの手の形状の変化に基づいて、ユーザの入力が選択領域の選択操作かジェスチャ操作かを判別する入力判別部（１５５）を備えている。判別された入力は、伝達部（１５６）により操作対象となるアプリケーションに伝達される。

Description

入力装置、入力方法、及び記憶媒体
　本発明は、入力装置、入力方法、及び記憶媒体に関する。
　ユーザの手の動きに基づいてユーザの操作指令を判別する入力装置が知られている。例えば、特許文献１には、三次元ディスプレイによって形成された仮想操作面を操作するユーザの手の動きに基づいて、ユーザの操作を判別する画像認識装置が開示されている。また、特許文献２には、撮影されたユーザのジェスチャに基づいて、ディスプレイに表示される画像の配列方法を決定する表示制御装置が開示されている。また、特許文献３には、タッチパネルのタッチ動作の移動量に基づいて、ユーザのタッチ動作が押下操作（タップ操作）かジェスチャ操作かを判別する情報処理装置が開示されている。
特開２０１１－１７５６２３号公報 特開２０１１－２４８６０６号公報 特開２００９－１５１６９１号公報
　特許文献１に記載の技術に関連して、選択操作の対象となる選択可能領域（例えば、ボタンやアイコンの表示領域）が定義された操作画面に撮像画像を対応付け、撮像画像中のユーザの手の動き（例えば、選択可能領域に相当する位置での手の一定時間の停止）に基づいて、ユーザの選択可能領域を選択する操作（以下、「選択操作」という。）を認識する装置がある。このような入力装置において、選択操作に加えて、選択操作とは異なるジェスチャ操作を判別できれば、操作のバリュエーションが増加し、ユーザにとって利便性が高くなる。
　タッチパネルの場合、アイコン等が表示された選択可能領域をタップ操作等により選択する場合、ユーザの指が触れるのは選択可能領域のみであり、選択可能領域まで移動するときには手指はタッチパネルから離間している。そのため、選択可能領域へ移動中のユーザの手の動きはタッチパネルには検出されない。そのため、例えば引用文献３に示されているように、入力装置は、タッチパネルで捉えたユーザの手の移動量の情報のみで、タッチ動作が選択操作（タップ操作等）かジェスチャ操作かを容易に区別できる。
　しかしながら、タッチパネルではなくカメラを使ってユーザの手の動きを撮影してユーザの入力を判別する場合、選択可能領域へ移動中のユーザの手の動きがカメラに撮像される。即ち、検出の有無によって選択操作に先立つ手の移動とジェスチャ操作とを判別することができない。そのため、引用文献３が開示する方法では選択可能領域への選択操作とジェスチャ動作とを判別することができないので、入力装置が判別できる操作のバリエーションを増やすことができないという問題があった。
　本発明は、このような問題に鑑みてなされたものであり、選択操作に加えてジェスチャ操作を判別できる入力装置、入力方法、及び記憶媒体を提供することを目的とする。
　本発明の第１の観点に係る入力装置は、
　選択可能領域が定義された操作画面に対応付けられる撮像画像の中のユーザの手の動きに基づいて、ユーザの入力を判別する入力装置であって、
　前記手が移動したことにより生じる複数の前記撮像画像における前記手の形状の変化に基づいて、ユーザの入力が前記選択可能領域の選択操作か該選択操作とは異なるジェスチャ操作かを判別する入力判別手段
　を備える、ことを特徴とする。
　本発明の第２の観点に係る入力方法は、
　選択操作の対象となる選択可能領域が表示された操作画面に対応付けられる撮像画像の中のユーザの手の動きに基づいて、ユーザの入力を判別する入力方法であって、
　前記手が移動したことにより生じる複数の前記撮像画像における前記手の形状の変化に基づいて、ユーザの入力が前記選択可能領域の選択操作か該選択操作とは異なるジェスチャ操作かを判別する
　ことを特徴とする。
　本発明の第３の観点に係る記憶媒体は、
　プログラムを記憶するコンピュータ読み取り可能な非一時的な記憶媒体であって、当該プログラムが、選択可能領域が表示された操作画面に対応付けられる撮像画像の中のユーザの手の動きに基づいて、ユーザの入力を判別する入力装置を制御するコンピュータに、
　前記手が移動したことにより生じる複数の前記撮像画像における前記手の形状の変化に基づいて、ユーザの入力が前記選択可能領域の選択操作か該選択操作とは異なるジェスチャ操作かを判別する入力判別機能、を実現させる
　ことを特徴とする。
　本発明によれば、選択操作に加えてジェスチャ操作を判別する入力装置、入力方法、及び記憶媒体を提供できる。
本発明の実施の形態に係る入力装置の入力状態を示す図である。 入力装置の表示部に表示される操作画面を示す図である。 入力装置の撮像部で撮像される撮像画像を示す図である。 入力装置の操作画面に撮像画像を対応付けた様子を示す図である。 はジェスチャ操作を説明するための図である。 はジェスチャ操作を説明するための図である。 は選択操作を説明するための図である。 図１に示す入力装置の内部構成を示すブロック図である。 図４に示す制御部の機能を説明するための機能ブロック図である。 図４に示す記憶部に格納されたジェスチャ判別テーブルとコマンドテーブルを説明するための図である。 ユーザの手の移動パターンのうち、右回りの円を描く移動パターンを説明するための図である。 ユーザの手の移動パターンのうち、左回りの円を描く移動パターンを説明するための図である。 ユーザの手の移動パターンのうち、左方向の直線移動の移動パターンを説明するための図である。 ユーザの手の移動パターンのうち、右方向の直線移動の移動パターンを説明するための図である。 実施の形態１の入力処理のフローチャートである。 入力処理で使用される撮像画像を説明するための図である。 手領域を説明するための図である。 選択可能領域の方向を特定した様子を示す図である。 選択可能領域の方向とユーザの手の移動方向とを比較にあたって、ユーザの手の移動方向を特定した様子を示す図である。 選択可能領域の方向とユーザの手の移動方向とを比較にあたって、選択可能領域の方向とユーザの手の移動方向から方向相違度を算出する様子を示す図である。 選択操作時のユーザの手の形状の変化を示す図である。 はジェスチャ操作時のユーザの手の形状の変化を示す図である。 実施の形態１の入力装置の効果を説明するための図である。 図４に示す記憶部に用意されるＦＩＦＯキューを説明するための図である。 実施の形態２の入力処理のフローチャートである。 ユーザの手の移動方向と形状の変化を特定するにあたって、ユーザの手の移動方向の変化を特定する様子を示す図である。 ユーザの手の移動方向と形状の変化を特定するにあたって、ユーザの手の形状の変化を特定する様子を示す図である。 方向相違度、形状相違度、加算値が一定時間間隔で算出される様子を示す図である。 実施の形態２の入力装置の効果を説明するための図である。 入力装置の変形例を説明するための図であり、は選択可能領域の方向と移動開始時点のユーザの手の位置を基準として作成された方向比較マップを説明するための図である。 は方向比較マップに基づいて方向相違度が特定される様子を示す図である。 フィードバック部の動作を説明するため、ユーザの手の移動軌跡が光跡として表示される様子を示す図である。 サークル状の案内表示の透過率が累積値に基づいて変化した様子を示す図である。 入力装置の変形例を説明するための図である。 入力装置の変形例を説明するため、ユーザの手の移動速度が速い場合の処理を示す図である。 ユーザの手の移動速度が遅い場合の処理を示す図である。
　以下、本発明の実施の形態に係る入力装置について図面を参照しながら説明する。
　（実施の形態１）
　本実施の形態の入力装置１００は、カメラで撮像されたユーザの手の動きに基づいて、ユーザの機器に対する入力（例えば、ユーザの機器に対する操作指令、コマンド、アイコン等が表示された選択可能領域の選択等）を判別する機能を備える。入力装置１００は、例えば図１に示すような外観を持つパーソナルコンピュータである。最初に、図２と図３を参照して、入力装置１００が行う処理の概要を説明する。
　入力装置１００は、選択可能領域に選択対象となる画像（アイコンやボタン）が表示された、例えば図２Ａに示すような操作画面を表示する表示部１２０と、例えば図２Ｂに示すような画像を撮像する撮像部１３０とを備えている。撮像された画像（以下、「撮像画像」という。）は、図２Ｃに示すように、操作画面に対応付けられる。例えば、入力装置１００は、撮影画像上の各座標点を、アフィン変換等の座標変換によって操作画面上の座標点と対応付ける。そして、撮影画像上のある部分にユーザの指先が映ると、操作画像上の対応付けられた部分を指し示す操作として受け付ける。そのため、マウスやタッチパネル等のポインティングデバイスを使用せず操作画面上の位置を指定する操作の入力が可能となる。選択可能領域は、入力操作の対象となるアプリケーションの状態に応じて、操作画面上に設定される。選択可能領域には、例えば押下が可能かのようなボタンの画像や、選択対象となるアイコンの画像等が同時に表示されてもよい。あるいは、画面の上端や下端といったユーザが認識可能な部分であれば、選択可能領域に特別な画像を表示しない設定も可能である。入力装置１００は、例えばアプリケーションと通信して選択可能領域の座標を取得し、ＲＡＭに記憶する。以下、選択可能領域の座標は随時ＲＡＭの所定領域を参照して取得可能とする。具体的な操作入力の種別として、入力装置１００は、撮像画像の中のユーザの手の動きに基づいて、ユーザの入力が選択操作か選択操作とは異なるジェスチャ操作かを判別する。ここで、「ジェスチャ操作」とは、機器操作のために予め定められた身振り手振り等の所定の動作、例えば図３Ａに示すような手の周回動作や、例えば図３Ｂに示すような指を立てて手首や肘を支点に手を振る動作（以下、「フリック動作」ともいう。）や、手を回転させる動作（以下、「ローリング動作」ともいう。）等のことをいう。また、「選択操作」（「ポインティング操作」ともいう。）とは、ユーザが画面に表示された選択可能領域を選択しようとする動作のことをいう。なお、「選択操作」には、ポイント領域に移動中のユーザの手の動きも含まれる。
　ユーザが選択操作を行うと、ユーザの手は選択可能領域がある方向に移動する。この場合、ユーザは操作画面を見ながら手を平行移動させることが多いことから、例えば図３Ｃに示すように、撮像される手の形状はあまり変化しない。一方でジェスチャ操作の場合、ユーザは手首を支点に手を振るように手を移動させることが多いことから、例えば図３ＡやＢに示すように、撮像される手の形状は大きく変化する。入力装置１００は、移動によって生じるユーザの手の形状の変化に基づいて、ユーザの入力が選択操作かジェスチャ操作かを判別する。
　以下、入力装置１００の構成について詳細に説明する。
　入力装置１００は、図４に示すように、操作部１１０と、表示部１２０と、撮像部１３０と、画像記憶部１４０と、制御部１５０と、記憶部１６０とから構成される。
　操作部１１０は、キーボード等の入力デバイスから構成される。操作部１１０は、ユーザからの処理開始命令等を受け取って後述の制御部１５０に送信する。
　表示部１２０は、液晶ディスプレイ等の表示装置から構成される。表示部１２０は、制御部１５０の制御に従って各種画像を表示する。
　撮像部１３０は、ＣＣＤ（Charge Coupled Device Image Sensor）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等の撮像装置から構成される。撮像部１３０は、例えば、表示部１２０の上部中央に設置されている。撮像部１３０は、ユーザの手の画像（映像を含む。）を順次撮像するとともに、各フレームに撮影時刻を付加し、逐次、画像記憶部１４０に送信する。
　画像記憶部１４０は、ＲＡＭ（Random Access Memory）等のビデオメモリから構成される。画像記憶部１４０は、撮像部１３０から送信された画像データを記憶する。
　制御部１５０は、例えば、プロセッサ等の演算装置と、この演算装置が作業領域として使用可能なＲＡＭと、プログラムや初期値等のデータを記憶するＲＯＭ（Read Only Memory）と、から構成される。制御部１５０はＲＯＭからＲＡＭにロードされたプログラムに従って動作し、後述の「入力処理」を含む種々の動作を実行する。制御部１５０は、「入力処理」に従って動作することで、図５に示すように、画像取得部１５１、移動検出部１５２、方向比較部１５３、形状比較部１５４、入力判別部１５５、伝達部１５６として機能する。なお、これらの機能については、後述の「入力処理」の説明の箇所で述べる。
　記憶部１６０は、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）、フラッシュメモリ、ハードディスク等のデータ読み書き可能な記憶装置から構成される。記憶部１６０には、「ジェスチャ判別テーブル」、「コマンドテーブル」等の各種データが格納されている。
　「ジェスチャ判別テーブル」は、ユーザのジェスチャ、即ちユーザの手の軌跡が予め記憶された複数の移動パターンのいずれに該当するかを判別するための情報である。「移動パターン情報」は、図６に示すように、「識別情報」と「特徴データ」とを関連付けた情報から構成される。
　「識別情報」は、ユーザの手の移動パターンであって、予め記憶された複数の移動パターンのそれぞれを一意に識別するための情報（識別子）である。例えば、図６の例では、ユーザの手の動きとして、図７Ａに示すように右回りの周回動作に対して「周回（右回り）」、図７Ｂに示すような左回りの周回動作に対して「周回（左回り）」、図７Ｃに示すような左方向のフリック動作に対して「直線移動（左方向）」、図７Ｄに示すような右方向のフリック動作に対して「直線移動（右方向）」といったように、互いに異なる手の動きに対して一意な識別情報が割り当てられている。なお、識別情報の書式は特定の書式に限定されない。例えば、１、２、３・・・といった数値であってもよいし、Ａ、Ｂ、Ｃ・・・といった記号であってもよい。
　「特徴データ」は、ユーザの手の移動パターンを特定するための情報である。特徴データは、例えば、予めユーザの手が描く移動軌跡の特徴を抽出して格納した特徴量データから構成される。特徴量データは、予めＲＯＭ等の記憶装置に記憶され、移動ベクトルを用いたパターン認識によるジェスチャ操作の判別等に用いられる。制御部１５０は、ユーザの手の軌跡を特徴データに照合することによって、ユーザの手の移動軌跡がいずれの移動パターンに該当するか判別する。
　「コマンドテーブル」は、ユーザのジェスチャ操作が、複数ある操作コマンドのいずれに該当するかを判別するための情報である。コマンドテーブルは、図６に示すように、「識別情報」と「制御コマンド」を関連付けた情報から構成される。
　「制御コマンド」は、機器を制御するための制御情報である。「制御コマンド」は、例えば、音楽再生ソフト等のアプリケーションソフトやオペレーティングシステム等に入力される、再生、停止、早送り、スキップ、決定、キャンセル、ボリューム変更等の制御情報である。
　次に、このような構成を有する入力装置１００の動作について説明する。
　制御部１５０は、操作部１１０より処理開始命令を受信すると、撮像部１３０に対して撮像の開始を命令する。撮像部１３０は撮像開始を命令されると、逐次、撮像した画像を画像記憶部１４０に送信する。また、制御部１５０は、操作部１１０より処理開始命令を受信すると、アプリケーションソフトを実行するとともに、そのアプリケーションソフトに各種制御情報を入力するための「入力処理」を開始する。以下、図８のフローチャートを参照して「入力処理」について説明する。
　制御部１５０の画像取得部１５１は、画像記憶部１４０から、人の手が撮像された最新の所定期間分の撮像画像（例えば、図９に示すように、撮影時刻が１時２３分４０秒５０～１時２４分００秒５０までの２０秒分の複数フレームの画像データ）を取得する（ステップＳ１０１）。即ち、制御部１５０は、画像取得部１５１から、撮影タイミングが異なる複数の撮像画像を取得する。
　図８のフローに戻り、制御部１５０の移動検出部１５２は、複数フレームの撮像画像それぞれについて人差し指を立てた状態の人の手が映っている領域（以下、「手領域」という。）を抽出する（ステップＳ１０２）。なお、抽出する手領域は、手の形状そのもの（例えば、図１０の破線で囲まれた部分ＰＡ）であってもよいし、手を包含する最小の矩形領域（例えば、図１０の破線で囲まれた部分ＰＢ）であってもよい。
　図８のフローに戻り、移動検出部１５２は、各フレームの撮像画像における手領域の位置の変化に基づいて、移動開始を検出したか否かを判別する（ステップＳ１０３）。具体例として、移動検出部１５２は、ステップＳ１０１で取得した複数の撮像画像の手領域の位置を比較し、各フレームにおける手領域の位置の差（手の移動量）と撮影タイミングの差異（時間差）に基づいて手の移動速度を求める。そして、求めた速度に基づいて、ステップＳ１０１で画像を取得した所定期間のうちに、ユーザの手が停止状態（手の移動速度が一定速度以下の状態）から移動状態（手の移動速度が一定速度より上の状態）に移行している時点があるか否か判別する。移行している時点がない場合には、移動検出部１５２はユーザの手が移動状態に移行していないと判別して（ステップＳ１０３：Ｎｏ）、処理をステップＳ１０１に戻し、移行時点を検出するまでステップＳ１０１～ステップＳ１０３を繰り返す。一方、移動状態に移行している場合（ステップＳ１０３：Ｙｅｓ）、移動状態に移行した時点の撮影時刻（以下、移動開始時点Ｔ１という。）をＲＡＭ等に保存し、ステップＳ１０４に進む。
　移動検出部１５２は、移動開始後の各フレームの手領域の位置の変化に基づいて、移動開始時点Ｔ１以後の撮像画像中にユーザの手が移動状態から停止状態に移行している時点があるか判別する（ステップＳ１０４）。移動検出部１５２は、手領域の位置の差（手の移動量）と撮影タイミングの差異（時間差）に基づいて求められた手の移動速度により、ステップＳ１０３とは逆に移動状態から停止状態に移行している時点があるか判別する。その結果、ユーザの手が停止状態に移行していない場合（ステップＳ１０４：Ｎｏ）、ステップＳ１０１に戻り、ステップＳ１０１～ステップＳ１０４を繰り返す。停止状態に移行している場合（ステップＳ１０４：Ｙｅｓ）、移動停止状態に移行した時点の撮影時刻（以下、移動停止時点Ｔ２という。）をＲＡＭ等に保存し、ステップＳ１０５に進む。
　移動検出部１５２は、移動開始時点Ｔ１の撮像画像と移動停止時点Ｔ２の撮像画像を画像記憶部１４０から取得し、ＲＡＭに保存する（ステップＳ１０５）。例えば、ステップＳ１０３で移動開始時点Ｔ１として１時２３分４５秒６７を検出し、ステップＳ１０４で移動停止時点Ｔ２として１時２３分４６秒６７を検出したのであれば、その２フレーム（１時２３分４５秒６７のフレームと１時２３分４６秒６７のフレーム）の撮像画像をＲＡＭに保存する。
　制御部１５０の方向比較部１５３は、ユーザの手の移動開始時点Ｔ１の撮像画像を基に、移動開始時点Ｔ１におけるユーザの手の位置に対する選択可能領域の方向を特定する（ステップＳ１０６）。この方向は、例えばＲＡＭの所定領域に記録されている選択可能領域の重心の座標と、ステップＳ１０２で抽出した手領域の重心と、に基づいて求めることができる。選択可能領域が複数ある場合、選択可能領域それぞれについて方向を特定する。例えば、図１１に示すように選択可能領域が４つある場合、方向比較部１５３は、移動開始時点Ｔ１における手領域の重心位置Ｇ１と各選択可能領域の中心（Ｃ１～４）とを結ぶ線の角度（例えば、図中上方向のような所定の基準方向からの時計回りの角度。以下、操作画面上の角度を説明する各図において同じ。）を選択可能領域の方向として特定してもよい。
　図８のフローに戻り、方向比較部１５３は、ステップＳ１０６で取得した選択可能領域の方向と、ユーザの手の移動方向とを比較する。そして、その比較結果を、方向の相違の程度を示す「方向相違度」として取得する。なお、ユーザの手の移動方向は、例えばステップＳ１０５で保存した移動開始時点Ｔ１と移動停止時点Ｔ２のフレームとにおける手領域の位置に基づいて求めることができる。選択可能領域が複数ある場合、選択可能領域それぞれについて方向相違度を取得する（ステップＳ１０７）。例えば、方向比較部１５３は、移動開始時点Ｔ１におけるユーザの手の重心位置Ｇ１と移動停止時点Ｔ２におけるユーザの手の重心位置Ｇ２とを結ぶ線の角度（例えば、図１２Ａに示すように、図中上方向を０°とした場合の角度）を特定する。そして、図１２Ｂに示すように、特定した角度と選択可能領域の方向の角度の差分を算出し、算出した差分の中で最も値が小さい差分（図１２Ｂの例であれば１７°）を方向相違度として取得する。一般に、選択操作の一環として手を動かす場合には、ユーザは移動開始時点（この例では移動開始時点Ｔ１）から移動停止時点（この例では移動停止時点Ｔ２）まで、選択可能領域のいずれかに向かって手を移動させる。一方、ジェスチャ動作の場合は、図３Ｂ（フリック動作）や図１９（ローリング動作）のように、移動方向は移動開始時点からの選択可能領域に向かう方向とは無関係である。このため、ユーザの手が、操作画面上に設定した選択可能領域のいずれかに向かって移動しているか否かを示す方向相違度は、手の移動が選択操作の一環であるか否かの確からしさを示す係数となる。方向相違度が小さいほど、ユーザの手は選択可能領域のいずれかに向かって移動していると考えられる。つまり、方向相違度が小さいほど、ユーザの手の移動が選択操作の一環である確度が高い。逆に、方向相違度が大きいほど、ユーザの手の移動は選択操作でなくジェスチャ操作のためである確度が高い。
　図８のフローに戻り、制御部１５０の形状比較部１５４は、移動を開始した時点のユーザの手の形状と移動を停止した時点のユーザの手の形状とを比較する。そしてその比較結果を、形状の変化の程度を示す「形状相違度」として取得する（ステップＳ１０８）。例えば、形状比較部１５４は、移動開始時点Ｔ１の手領域の重心位置Ｇ１と指先Ｆ１との位置関係と、移動停止時点Ｔ２の手領域の重心位置Ｇ２と指先Ｆ２との位置関係とを比較して形状相違度を算出する。より具体的には、形状比較部１５４は、移動開始時点Ｔ１の手領域の重心位置Ｇ１と指先Ｆ１とを結んだ線の角度と、移動停止時点Ｔ２の手領域の重心位置Ｇ２と指先Ｆ２とを結んだ線の角度との差（例えば、右回りの角度と左回りの角度の小さいほう）を形状相違度として算出する。このように算出される形状相違度は、選択可能領域のいずれかへの移動とは異なり、ユーザの手が所定のジェスチャ操作の一環として移動していることの確からしさの指標となる。一般に、選択操作の一環として手を動かす場合には、ユーザは手を変形させずに移動させるからである。一方、ジェスチャ動作の場合は、図３Ｂ（フリック動作）や図１９（ローリング動作）のように、手は選択操作の場合よりも大きく変形する。つまり、形状相違度が大きいほど、ユーザの手がジェスチャ操作の一環として移動している確からしさが大きい。図１３Ａに例示されるように、ユーザの手の動きが選択操作と考えられる場合、形状相違度は小さな値（図１３Ａの例では、３４５°と３４７°の差＝２°）となる。図１３に例示されるように、ユーザの手の動きが選択操作とは異なるジェスチャ操作と考えられる場合、形状相違度は選択操作と考えられる場合よりも大きな値（図１３Ａの例では、３２８°と８３°の差＝１１５°）となる。
　図８のフローに戻り、制御部１５０の入力判別部１５５は、方向相違度と形状相違度を所定の重みで加算する（ステップＳ１０９）。例えば、ステップＳ１０７で取得した方向相違度をＤ、ステップＳ１０８で取得した形状相違度をＳとすれば、方向相違度Ｄと形状相違度Ｓの重み係数をそれぞれ、ｗ１、ｗ２として、以下の（式１）により加算値ＡＤＤを求める。なお、各重みの値は、予め実験により求められ設定値としてＲＯＭに記憶した値とする。あるいは、ユーザが自らの操作のクセに合わせて設定可能としてもよい。ここでは、ｗ１とｗ２の値は共に正とする。
　　　ＡＤＤ＝ｗ１×Ｄ＋ｗ２×Ｓ　　・・・　（式１）
　入力判別部１５５は、加算した値（例えば、加算値ＡＤＤ）が所定の閾値以下かそうでないか判別する（ステップＳ１１０）。所定の閾値以下の場合（ステップＳ１１０：Ｙｅｓ）、ユーザの手の動きは選択操作であると判別し、処理をステップＳ１１１に進める。そうでない場合（ステップＳ１１０：Ｎｏ）、ユーザの手の動きはジェスチャ操作であると判別し、入力判別部１５５は処理をステップＳ１１２に進める。この加算値ＡＤＤは、ユーザの手が選択可能領域のいずれかに向かっている程度を示す方向相違度Ｄと、ユーザの形状の変化の大きさを示す形状相違度Ｓと、に基づき求められた、ユーザの手の動きがジェスチャ操作のためのものであるか、選択動作の一環であるか、を示す係数である。ｗ１とｗ２が正の値である場合には、ＡＤＤが大きいほど、ジェスチャ動作である蓋然性が高い。そのため、ＡＤＤを求めて、その大きさが閾値を越えた場合にはジェスチャ動作と判別することで、ユーザの意図に沿った入力判別が可能となる。
　選択操作と判別された場合（ステップＳ１１０：Ｙｅｓ）、入力判別部１５５は、ステップＳ１０６で取得した選択可能領域の方向と、移動開始時点Ｔ１のユーザの手の重心位置Ｇ１と、移動停止時点Ｔ２のユーザの手の重心位置Ｇ２とを基に、どの選択可能領域が選択されたか判別する。そして、伝達部１５６が入力判別部１５５が判別した情報とともに選択可能領域が選択されたことを示すコマンドをアプリケーションソフトに通知する（ステップＳ１１１）。
　ステップＳ１１０に戻り、ジェスチャ操作であると判別された場合（ステップＳ１１０：Ｎｏ）、入力判別部１５５は、移動開始から移動停止までの手の重心が描く移動軌跡を図６に示すジェスチャ判別テーブルの特徴データに照合し、ユーザのジェスチャを判別する。そして、伝達部１５６が、判別されたジェスチャ（即ち、識別情報）に割り当てられている制御コマンドをコマンドテーブルから取得し、取得した制御コマンドをアプリケーションソフトに伝達する（ステップＳ１１２）。即ち、伝達部１５６は判別した入力結果を操作対象となるアプリケーションに伝達する。なお、ジェスチャ判別テーブルに該当の特徴データがない場合、伝達部１５６は制御コマンドを入力せずにそのままステップＳ１１２を終了する。
　入力が完了したら、制御部１５０は、ステップＳ１０１に戻り、ステップＳ１０１～ステップＳ１１１の処理を繰り返す。
　以上説明したように、ユーザの手の形状の変化の情報を使用してユーザの手の動きを判別しているので、本実施の形態の入力装置１００は、ユーザの手の動きが選択操作かジェスチャ操作かを精度よく判別できる。例えば、図１３Ａと図１３Ｂに示すように、ユーザの手が同じように選択可能領域の方向へ移動したとしても、ユーザの手の形状の変化の情報を使用することよって、例えば、図１３Ａのケースは「選択操作」、図１３Ｂのケースは「ジェスチャ操作」と判別できる。そのため、入力装置１００は、選択可能操作に加えてジェスチャ操作も同時に認識することが可能になり、その結果、入力装置１００はさまざまなバリュエーションの入力操作を実現でき、ユーザにとって入力の利便性が高い。
　また、手の形状の変化に加えて手の移動方向の情報も使用してユーザの動作を判別しているので、入力装置１００は、ユーザの手の動きが選択操作かジェスチャ操作かを更に精度よく判別できる。例えば、図１４に示すように、移動によって手の形状があまり変化していない場合であっても、選択可能領域に向かって移動していないユーザの手の動きを「選択操作」ではなく「ジェスチャ操作」と判別できる。
　（実施の形態２）
　実施の形態１の入力装置１００は、移動開始時点と移動停止時点の手の形状の変化に基づいてユーザの入力が選択操作かジェスチャ操作か判別した。その代わりに、移動開始から移動停止までの手の形状の時系列にそった段階的な、あるいは連続的な変化に基づいてユーザの入力を判別する構成も効果的である。本実施形態では、手の形状の時系列にそった段階的なあるいは連続的な変化に基づいて、ユーザの入力を判別する入力装置が開示される。
　実施の形態２の入力装置１００は、実施の形態１と同様に、図４に示すように、操作部１１０と、表示部１２０と、撮像部１３０と、画像記憶部１４０と、制御部１５０と、記憶部１６０とから構成される。
　本実施形態の入力装置１００においては、記憶部１６０に、図１５に示すように、複数フレーム分（例えば３フレーム）の画像データが保存可能なＦＩＦＯ（First In First Out）形式の記憶領域（以下、「ＦＩＦＯキュー」という。）が確保されている。各フレーム分の記憶領域には、現時点（最新）の手を撮影した撮影画像、時間Ｔだけ前の撮影画像ｎ－２、時間２Ｔだけ前の撮影画像ｎ－３・・・が、記憶される。制御部１５０は、時間間隔Ｔで画像記憶部１４０から最新１フレーム分の画像データを取得し、取得した画像データをＦＩＦＯキューにエンキューする。その結果、時間Ｔ毎に、ＦＩＦＯキューに新たな撮像画像が記憶され、現在記憶されている中で最初にエンキューされた撮像画像（図１５では撮像画像ｎ－４）がデキューされる。なお、以下の説明では、ＦＩＦＯキューに保存される撮像画像を、新しい順に画像データＡ、画像データＢ、画像データＣとよぶ。なお、制御部１５０が、画像記憶部１４０から画像を取得する時間間隔Ｔは特定の間隔に限定されず、任意に設定が可能である。例えば、工場出荷時の設定やユーザによる設定操作に基づいて、１秒間隔であってもよいし、１フレーム間隔であってもよい。
　入力装置１００のその他の部分は、実施の形態１の同名の各部と同様の機能を発揮する。
　次に、実施の形態２の入力装置１００の動作について説明する。
　制御部１５０は、操作部１１０より処理開始命令を受信すると、撮像部１３０に対して撮像の開始を命令する。撮像部１３０は撮像開始を命令されると、逐次、撮像した画像を画像記憶部１４０に送信する。また、制御部１５０は、操作部１１０より処理開始命令を受信すると、アプリケーションソフトを実行するとともに、そのアプリケーションソフトに各種制御情報を入力するための「入力処理」を開始する。以下、図１６のフローチャートを参照して「入力処理」について説明する。
　移動検出部１５２は、例えば実施の形態１のステップＳ１０３と同様の手法を使って、ユーザの手が停止状態から移動状態に移行しているか判別する（ステップＳ２０１）。移動状態に移行していない場合（ステップＳ２０１：Ｎｏ）、移動状態に移行するまでステップＳ２０１を繰り返す。移動状態に移行している場合（ステップＳ２０１：Ｙｅｓ）、ステップＳ２０２に進む。
　画像取得部１５１は、制御部１５０によってＦＩＦＯキューの内容が更新されているか、即ち、前回のＦＩＦＯキュー更新時より時間Ｔ経過しているか判別する（ステップＳ２０２）。ＦＩＦＯキューが更新されていない場合、あるいは、ユーザの手が移動状態に移行後、ステップＳ２０２を始めて実行する場合（ステップＳ２０２：Ｎｏ）、ＦＩＦＯキューが更新されるまでステップＳ２０２を繰り返す。ＦＩＦＯキューが更新されている場合（ステップＳ２０２：Ｙｅｓ）、ステップＳ２０３に進む。
　方向比較部１５３は、時間間隔Ｔ毎のユーザの手の移動方向の変化を特定する。より具体的には、方向比較部１５３は、画像Ａと画像Ｂにより特定される時間２Ｔ前から時間Ｔ前までのユーザの手の移動方向（以下、「前時点の移動方向」という。）と、画像Ｂと画像Ｃにより特定される時間Ｔ前から現時点までのユーザの手の移動方向（以下、「現時点の移動方向」という。）と、を比較する。そして、その比較結果を、前時点と現時点とにおける移動方向の相違の程度を示す「方向相違度」として取得する（ステップＳ２０３）。例えば、方向比較部１５３は、図１７Ａに示すように、画像Ａの時点におけるユーザの手の重心位置ＧＡと画像Ｂの時点におけるユーザの手の重心位置ＧＢとを結ぶ線の角度（図の例では８８°）を前時点の移動方向として特定する。更に、画像Ｂの時点におけるユーザの手の重心位置ＧＢと画像Ｃの時点におけるユーザの手の重心位置ＧＣとを結ぶ線の角度（図の例では９６°）を現時点の移動方向として特定する。そして、特定した２つの角度の差を方向相違度Ｄとして取得する。なお、以下の説明では、理解を容易にするため、方向相違度Ｄには、図１８に示すように、移動検出後、取得順にＤ０、Ｄ１、Ｄ２、・・・・、と番号を付す（以下、Ｄｉ：ｉ＝０，１，２，３，・・・と表現する）。一般に、選択操作の一環として手を動かす場合には、ユーザは移動開始時点から移動停止時点まで、方向を変えずに手を移動させる。そのため、各期間の方向相違度Ｄや、その累積加算値が小さいほど、その手の移動が選択操作の一環である蓋然性が高い。一方、累積加算値が大きいほど、その手の移動が選択操作とは異なるジェスチャ操作のためのものである蓋然性が高い。
　図１６のフローに戻り、形状比較部１５４は、一定時間間隔Ｔ毎のユーザの手の形状の変化を特定する。より具体的には、形状比較部１５４は、画像Ｂの時点のユーザの手の形状（以下、「前時点の形状」という。）と、画像Ｃの時点のユーザの手の形状（以下、「現時点の形状」という。）と、を比較する。そしてその比較結果を、形状の変化の程度を示す「形状相違度」として取得する（ステップＳ２０４）。例えば、図１７（Ｂ）に示すように、形状比較部１５４は、画像Ｂの時点の手領域の重心位置ＧＢと指先ＦＢとを結んだ線の角度（図の例では３５１°）と、画像Ｃの時点の手領域の重心位置ＧＣと指先ＦＣとを結んだ線の角度（図の例では５３°）との差を形状相違度Ｓとして算出する。なお、以下の説明では、理解を容易にするため、形状相違度Ｓには、図１８に示すように、移動検出後、取得順にＳ０、Ｓ１、Ｓ２、・・・・、と番号を付す（以下、Ｓｉ：ｉ＝０，１，２，３，・・・と表現する）。一般に、選択操作の一環として手を動かす場合には、ユーザは移動開始時点（この例では移動開始時点Ｔ１）から移動停止時点（この例では移動停止時点Ｔ２）まで、手の形を変えずに手を移動させる。そのため、各期間の形状相違度Ｓや、その累積加算値が小さいほど、その手の移動が選択操作の一環である蓋然性が高い。一方、形状相違度Ｓの累積加算値が大きいほど、その手の移動が選択操作とは異なるジェスチャ操作のためのものである蓋然性が高い。
　図１６のフローに戻り、入力判別部１５５は、方向相違度Ｄｉと形状相違度Ｓｉを所定の重みで加算する（ステップＳ２０５）。例えば、方向相違度Ｄｉと形状相違度Ｓｉの重み係数をそれぞれ、ｗ１、ｗ２として、以下の（式２）により加算値ＡＤＤｉ（ｉ＝０，１，２，３，・・・）を求める。なお、各重みの値は、予め実験により求められ設定値としてＲＯＭに記憶した値とする。あるいは、ユーザが自らの操作のクセに合わせて設定可能としてもよい。ここでは、ｗ１とｗ２の値は共に正とする。
　　　ＡＤＤｉ＝ｗ１×Ｄｉ＋ｗ２×Ｓｉ　　・・・　（式２）
　入力判別部１５５は、移動開始検出後に取得した加算値ＡＤＤを全て、累積加算する（ステップＳ２０６）。例えば、入力判別部１５５は、直近に算出した加算値をＡＤＤｎとして、以下の（式３）により累積値ＡＣＣを求める。
　　　ＡＣＣ＝ＡＤＤ０＋ＡＤＤ１＋・・・＋ＡＤＤｎ　　・・・　（式３）
　入力判別部１５５は、累積値ＡＣＣが所定の閾値以上か判別する（ステップＳ２０７）。累積値ＡＣＣが所定の閾値以上の場合（ステップＳ２０７：Ｙｅｓ）、入力判別部１５５は、ユーザの入力はジェスチャ操作と判別し、ステップＳ２０８に進む。そうでない場合（ステップＳ２０７：Ｎｏ）、ステップＳ２１０に進む。この累積値ＡＣＣは、移動開始時点Ｔ１から移動停止時点Ｔ２までに、ユーザが手の移動方向を変更した程度と、手の形状（角度）を変更した程度と、に基づき求められた、ユーザの手の動きがジェスチャ操作のためのものであるか、選択動作の一環であるか、を示す係数である。ｗ１とｗ２が正の値である場合には、ＡＣＣが大きいほど、ジェスチャ動作である蓋然性が高い。そのため、ＡＣＣを求めて、その大きさが閾値を越えた場合にはジェスチャ動作と判別することで、ユーザの意図に沿った入力判別が可能となる。
　累積値ＡＣＣが所定の閾値以上の場合（ステップＳ２０７：Ｙｅｓ）、移動検出部１５２は、例えば実施の形態１のステップＳ１０４と同様の手法を使って、ユーザの手が移動状態から停止状態に移行しているか判別する（ステップＳ２０８）。停止状態に移行していない場合（ステップＳ２０８：Ｎｏ）、停止状態に移行するまでステップＳ２０８を繰り返す。停止状態に移行している場合（ステップＳ２０８：Ｙｅｓ）、ステップＳ２０９に進む。
　入力判別部１５５は、移動開始から移動停止までの手の重心が描く移動軌跡を図６に示すジェスチャ判別テーブルの特徴データに照合し、ユーザのジェスチャを判別する。そして、伝達部１５６が判別したジェスチャに割り当てられている制御コマンドをコマンドテーブルから取得してアプリケーションソフトに入力する（ステップＳ２０９）。
　図１６のステップＳ２０７に戻り、累積値ＡＣＣが所定の閾値未満の場合（ステップＳ２０７：Ｎｏ）、移動検出部１５２は、例えば実施の形態１のステップＳ１０４と同様の手法を使って、ユーザの手が移動状態から停止状態に移行しているか判別する（ステップＳ２１０）。停止状態に移行していない場合（ステップＳ２１０：Ｎｏ）、制御部１５０はステップＳ２０２に戻り、ステップＳ２０２～ステップＳ２１０を繰り返す。停止状態に移行している場合（ステップＳ２１０：Ｙｅｓ）、ステップＳ２１１に進む。
　入力判別部１５５は、実施の形態１のステップＳ１１１と同様の手法を使って、どの選択可能領域が選択されたか判別する。そして、伝達部１５６が選択可能領域が選択されたことを示す情報（制御信号）を、アプリケーションソフトに通知する（ステップＳ２１１）。
　以上説明したように、本実施の形態によれば、移動開始時点や移動停止時点の手の形状のみならず、移動中の手の形状や方向の変化の情報を使ってユーザの入力を判別している。一般に、選択操作の一環として手を動かす場合には、ユーザは移動開始時点から移動停止時点まで、移動方向をあまり変えずに手を移動させる。また、手の形を変えずに手を移動させる。一方、ジェスチャ動作の場合は、図３Ｂ（フリック動作）や図１９（ローリング動作）のように移動方向や手の形を変えて移動させる。ところで、ジェスチャ動作であっても、例えば図１９に示すように、移動開始時点Ｔ１の手の形状と移動停止時点Ｔ２の手の形状が同じ形状であり、移動方向が選択可能領域の方向である場合もある。上記実施の形態の入力装置１００は、このような場合でも好適に選択操作かジェスチャ操作かを判別できるため、判別精度が高い。
　なお、上述の各実施の形態は一例であり、種々の変更及び応用が可能である。
　例えば、上述の各実施の形態では、入力装置１００は、手の移動方向と手の形状の変化の情報に基づいてユーザの入力を判別しているが、移動方向の情報を使わず形状の変化の情報のみに基づいてユーザの入力を判別してもよい。例えば、実施の形態１の例であれば、入力判別部１５５は、ステップＳ１０８で取得した形状相違度Ｓが所定の閾値以下の場合、ユーザの手の動きは選択操作であると判別し、そうでない場合、ユーザの手の動きはジェスチャ操作であると判別してもよい。また、実施の形態２の例であれば、入力判別部１５５は、加算値ＡＤＤ０～ＡＤＤｎまでの累積加算値ではなく、形状相違度Ｓ０～Ｓｎまでの累積値に基づいてユーザの入力を判別してもよい。また、累積加算値の代わりに、形状相違度Ｓ０～Ｓｎの平均値を用いてもよい。
　また、ステップＳ１０７やステップＳ２０３では、移動方向の相違の度合いを示す「方向相違度」を取得するよう構成されている。代わりに、方向比較部１５３は、選択可能領域の方向とユーザの手の移動方向の一致の程度を示す、もしくは、現時点の移動方向と前時点の移動方向の一致の程度を示す「方向一致度」を取得してもよい。
　このとき、方向比較部１５３は、ユーザの手の移動方向に移動距離を加味して方向一致度を算出してもよい。例えば、方向比較部１５３は、ステップＳ１０６で取得した選択可能領域の方向と、移動開始時点のユーザの手の位置を基準として、段階的に領域が設定された方向比較マップを作成する（例えば、図２０Ａに示すように、移動開始時点Ｔ１のユーザの手の重心位置Ｇ１と各選択可能領域の中心を結ぶ線上に対角線を有する矩形の領域Ａ～Ｅを段階的に設定する）。そして、方向比較部１５３は、ユーザの手の重心位置から離れた領域ほど大きな値となるよう、各領域に値を割り当てる。方向比較部１５３は、移動停止時点Ｔ２のユーザの手の重心Ｇ２が位置する領域（図２０Ｂの例であれば領域Ｃ）に割り当てられた値を、方向一致度として取得する。即ち、選択可能領域に近い位置で方向が一致しているほど、選択操作と判別されやすくなるように、重みの値を設定する。このような構成によれば、精度の高い入力判別が可能となる。
　また、ステップＳ１０８やステップＳ２０４では、手の形状の変化の程度を示す「形状相違度」を取得するよう構成されているが、形状比較部１５４は、移動開始時点Ｔ１の手の形状と移動停止時点Ｔ２の手の形状との一致の程度を示す、もしくは、前時点の手の形状と現時点の手の形状の一致の程度を示す「形状一致度」を取得するよう構成されていてもよい。この場合には、形状一致度が高いほど、その手の移動が選択操作の一環であると判別されやすくなるように、重みの値が設定される。
　また、ステップＳ１０９やステップＳ２０５では、方向相違度（方向相違度ＤまたはＤｉ）と形状相違度（形状相違度ＳまたはＳｉ）を所定の重みで加算して加算値を求め、その加算値を基にユーザの手の動きが選択操作かジェスチャ操作かを判別するよう構成されている。その代わりに、入力判別部１５５は、方向一致度と形状一致度を所定の重みで加算した値を基に、ユーザの手の動きが選択操作かジェスチャ操作かを判別してもよい。
　また、ジェスチャ操作を支援する構成として、入力装置１００は、操作画面に理想的なジェスチャ操作の手の起動を示すガイドを表示する構成も有効である。例えば図２１ＡのＲＡやＲＢのように、ユーザに理想的な手の動きを案内する帯状の半透明の案内表示を出力する。このとき、制御部１５０は、ユーザの手が描いた移動軌跡を案内表示に沿って視認可能に出力する機能を備えたフィードバック部を有していてもよい。例えば、フィードバック部は、ユーザの手が案内表示の帯の近くで帯に沿って移動したときに、図２１Ａに示すように、ユーザの手の位置に対応して帯に沿って移動する星印の光跡を表示する。また、さらなる入力支援として、フィードバック部は、手の移動がジェスチャ操作である程度に応じてガイドの表示態様を変更してもよい。この場合には、例えば、ステップＳ２０６で算出する累積値ＡＣＣの値の変化に基づいて案内表示の透過率を随時変化させる。具体的には、フィードバック部は、図２１ＢのＲＣのように、累積値ＡＣＣの値が大きくなるほど案内表示の透過率を低くする。このような構成によれば、ユーザに対しジェスチャ操作と判別されていることを認識させることができる。
　また、上記実施の形態では、ステップＳ１０９やステップＳ２０５では、手の重心位置と指先とを結んだ線の角度の変化に基づいて手の形状の変化（形状相違度）を求めている。代わりに、形状比較部１５４は、手の重心位置と指先との距離に基づいて手の形状の変化を捉えてもよい。形状比較部１５４は、図２２に示すように、移動開始時点Ｔ１もしくは前時点における手の重心位置と指先との距離Ｌ１と、移動停止時点Ｔ２もしくは現時点における手の重心位置と指先との距離Ｌ２と、の差分を形状相違度として算出してもよい。形状相違度の算出には、更に、手の重心位置と指先とを結んだ線の角度の変化の情報も使用してもよい。このような構成によれば、精度よく手の形状の変化を捉えることができる。
　また、形状比較部１５４は、手の移動距離に基づいて算出した形状相違度または形状一致度を補正してもよい。例えば、形状比較部１５４は、前時点の手の重心位置から現時点の手の重心位置までの距離を手の移動距離として算出し、算出した移動距離が大きくなるほど形状相違度が小さくなるように、または移動距離が大きくなるほど形状一致度が大きくなるように、算出した形状相違度または形状一致度を補正する。例えば、形状相違度を移動距離で割って新たな形状相違度としてもよい。あるいは、形状一致度を移動距離で乗じて新たな形状一致度としてもよい。例えば、図２３Ａに示すように、移動距離が大きい場合（即ち、手の移動速度が速い場合）は多少の角度変化があっても、手の形状の変化は小さいものとして捉えることができる。一方、図２３Ｂに示すように、移動距離が小さい場合（即ち、手の移動速度が遅い場合）は小さな角度変化であっても手の形状の変化は大きいものとして捉えることができる。このような構成によれば、移動速度と手の形状の変化との総合的な評価値に基づいた判別処理により、入力の判別の制度を向上させることが出来る。
　また、上述の各実施の形態では、伝達部１５６は判別した制御コマンドをアプリケーションソフトに伝達するよう構成する。しかし、入力の判別結果に基づく制御コマンドを伝達する対象となるソフトウェアはアプリケーションソフトに限られない。入力判別部１５５は、判別した制御コマンドを、例えば、オペレーティングシステムに入力してもよい。また、判別した制御コマンドを通信線や無線を介して入力装置１００以外の他の装置に入力するよう構成されていてもよい。即ち、入力装置と操作対処となるアプリケーションやオペレーションシステムを実行する装置とが別であってもよい。この場合、同じ装置のアプリケーションに判別した入力を伝達する代わりに、伝達部としてパラレルポートやＵＳＢ（Universal Serial Bus）端子を介して入力結果をアプリケーションを実行する他の装置に伝達する出力装置を設ければよい。
　また、上述の実施の形態では、入力装置１００の一例としてパーソナルコンピュータを示したが、入力装置１００はパーソナルコンピュータに限られず、ユーザから入力を判別する機能を備えた他の種類の電気機器であってもよい。例えば、入力装置１００は、テレビ、レコーダ、ゲーム機、固定電話機、携帯電話機、スマートフォン、タブレット端末、ＰＤＡ（Personal Digital Assistant）等であってもよい。
　本実施の形態の入力装置１００は、専用のシステムにより実現してもよいし、通常のコンピュータシステムにより実現してもよい。例えば、上述の動作を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に格納して配布し、該プログラムをコンピュータにインストールして、上述の処理を実行することによって入力装置１００を構成してもよい。また、インターネット等のネットワーク上のサーバ装置が備えるディスク装置に格納しておき、例えばコンピュータにダウンロード等できるようにしてもよい。また、上述の機能を、ＯＳとアプリケーションソフトとの共同により実現してもよい。この場合には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、コンピュータにダウンロード等してもよい。
　上記プログラムを記録する記録媒体としては、ＵＳＢメモリ、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、Ｂｌｕ－ｒａｙ　Ｄｉｓｃ（登録商標）、ＭＯ（Magneto-Optical disk）、ＳＤメモリーカード（Secure Digital memory card）、メモリースティック（登録商標）、その他、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ、磁気テープ等のコンピュータ読取可能な非一時的な記録媒体を使用することができる。また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して、当該コンピュータプログラムを配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS：Bulletin Board System)に当該コンピュータプログラムを掲示し、ネットワークを介して当該コンピュータプログラムを配信する。そして、当該コンピュータプログラムを実行することで、入力装置１の各機能を実現するように構成してもよい。
　本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態や変形が可能である。また、上述した実施の形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。
　上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
　選択可能領域が定義された操作画面に対応付けられる撮像画像の中のユーザの手の動きに基づいて、ユーザの入力を判別する入力装置であって、
　前記手が移動したことにより生じる複数の前記撮像画像における前記手の形状の変化に基づいて、ユーザの入力が前記選択可能領域の選択操作か該選択操作とは異なるジェスチャ操作かを判別する入力判別手段
　を備える、
　ことを特徴とする入力装置。
（付記２）
　前記入力判別手段は、前記複数の撮像画像において前記手が移動した方向と該移動により生じる前記手の形状の変化とに基づいて、ユーザの入力が前記選択可能領域の選択動作かジェスチャ動作かを判別する、
　ことを特徴とする付記１に記載の入力装置。
（付記３）
　前記手の移動開始時点及び移動停止時点を検出する移動検出手段、を更に備え、
　前記入力判別手段は、前記移動開始時点の前記手の形状と前記移動停止時点の前記手の形状とを比較して特定される前記手の形状の変化と、前記移動開始時点の前記手の位置と前記移動停止時点の前記手の位置とに基づいて特定される前記手の移動方向と、に基づいてユーザの入力が前記選択可能領域の選択操作かジェスチャ操作かを判別する、
　ことを特徴とする付記２に記載の入力装置。
（付記４）
　前記手の移動開始時点及び移動停止時点を検出する移動検出手段、を更に備え、
　前記入力判別手段は、前記移動開始時点から前記移動停止時点までの所定時間間隔毎の前記手の形状の変化と、前記移動開始時点から前記移動停止時点までの前記所定時間間隔毎の前記手の移動方向の変化と、に基づいてユーザの入力が前記選択可能領域の選択操作かジェスチャ操作かを判別する、
　ことを特徴とする付記２に記載の入力装置。
（付記５）
　前記移動開始時点の前記手の形状と前記移動停止時点の前記手の形状とを比較して、形状の相違の度合いを示す形状相違度または一致の度合いを示す形状一致度を算出する形状比較手段と、
　前記移動開始時点の前記手の位置と前記移動停止時点の前記手の位置とに基づいて前記手の移動方向を特定し、前記移動開始時点の前記手の位置を基準とした前記選択可能領域の方向を特定し、特定した前記手の移動方向と特定した前記選択可能領域の方向とを比較して、方向の相違の度合いを示す方向相違度または一致の度合いを示す方向一致度を算出する方向比較手段と、を更に備え、
　前記入力判別手段は、前記形状相違度または前記形状一致度と、前記方向相違度または前記方向一致度と、を所定の重みで加算し、該加算値に基づいてユーザの入力が前記選択可能領域の選択操作かジェスチャ操作かを判別する、
　ことを特徴とする付記３に記載の入力装置。
（付記６）
　前記所定時間間隔毎に、現時点の前記手の形状と前記所定時間前の前記手の形状とを比較して、形状の相違の度合いを示す形状相違度または一致の度合いを示す形状一致度を算出する形状比較手段と、
　前記所定時間間隔毎に、現時点の移動方向と前時点の移動方向とを比較して、方向の相違の度合いを示す方向相違度または一致の度合いを示す方向一致度を算出する方向比較手段と、を更に備え、
　前記入力判別手段は、
　前記形状相違度または前記形状一致度と、前記方向相違度または前記方向一致度と、を所定の重みで加算し、
　前記移動開始時点を累積開始時点として、前記加算した値を前記所定時間間隔毎に累積加算し、
　前記累積加算値が所定の閾値を超えた場合、ユーザの入力はジェスチャ操作と判別し、前記移動停止時点までにもしくは前記累積開始後予め定められた時間内に、前記累積加算値が前記所定の閾値を超えなかった場合、ユーザの入力は前記選択可能領域の選択操作と判別する、
　ことを特徴とする付記４に記載の入力装置。
（付記７）
　前記手は指を立てた状態のユーザの手であり、
　前記形状比較手段は、前記現時点の前記手の重心位置と指先との位置関係と、前記所定時間前の前記手の重心位置と指先との位置関係と、を比較して、前記形状相違度または前記形状一致度を算出する、
　ことを特徴とする付記６に記載の入力装置。
（付記８）
　前記操作画面には、ユーザに理想的な前記手の移動軌跡を案内する帯状の半透明の案内表示が表示されており、
　前記手が描いた移動軌跡を前記案内表示に沿って視認可能に出力するとともに、前記累積加算値に基づいて案内表示の透過率を随時変更するフィードバック手段、を更に備える、
　ことを特徴とする付記６または７に記載の入力装置。
（付記９）
　選択操作の対象となる選択可能領域が表示された操作画面に対応付けられる撮像画像の中のユーザの手の動きに基づいて、ユーザの入力を判別する入力方法であって、
　前記手が移動したことにより生じる複数の前記撮像画像における前記手の形状の変化に基づいて、ユーザの入力が前記選択可能領域の選択操作か該選択操作とは異なるジェスチャ操作かを判別する、
　ことを特徴とする入力方法。
（付記１０）
　プログラムを記憶するコンピュータ読み取り可能な非一時的な記憶媒体であって、当該プログラムが、選択可能領域が表示された操作画面に対応付けられる撮像画像の中のユーザの手の動きに基づいて、ユーザの入力を判別する入力装置を制御するコンピュータに、
　前記手が移動したことにより生じる複数の前記撮像画像における前記手の形状の変化に基づいて、ユーザの入力が前記選択可能領域の選択操作か該選択操作とは異なるジェスチャ操作かを判別する入力判別機能、を実現させる
　ことを特徴とする記憶媒体。
　本発明は、２０１２年８月１７日に出願された日本国特許出願２０１２－１８１２２３号に基づく。本明細書中に日本国特許出願２０１２－１８１２２３号の明細書、特許請求の範囲、図面全体を参照として取り込むものとする。
　本発明は、ユーザの手を撮像した画像に基づきユーザの入力を判別する入力装置に利用できる。
　　１００　　入力装置
　　１１０　　操作部
　　１２０　　表示部
　　１３０　　撮像部
　　１４０　　画像記憶部
　　１５０　　制御部
　　１５１　　画像取得部
　　１５２　　移動検出部
　　１５３　　方向比較部
　　１５４　　形状比較部
　　１５５　　入力判別部
　　１５６　　伝達部
　　１６０　　記憶部

Claims (10)

  1. 　選択可能領域が定義された操作画面に対応付けられる撮像画像の中のユーザの手の動きに基づいて、ユーザの入力を判別する入力装置であって、
    　前記手が移動したことにより生じる複数の前記撮像画像における前記手の形状の変化に基づいて、ユーザの入力が前記選択可能領域の選択操作か該選択操作とは異なるジェスチャ操作かを判別する入力判別手段
    　を備える、
    　ことを特徴とする入力装置。
  2. 　前記入力判別手段は、前記複数の撮像画像において前記手が移動した方向と該移動により生じる前記手の形状の変化とに基づいて、ユーザの入力が前記選択可能領域の選択動作かジェスチャ動作かを判別する、
    　ことを特徴とする請求項１に記載の入力装置。
  3. 　前記手の移動開始時点及び移動停止時点を検出する移動検出手段、を更に備え、
    　前記入力判別手段は、前記移動開始時点の前記手の形状と前記移動停止時点の前記手の形状とを比較して特定される前記手の形状の変化と、前記移動開始時点の前記手の位置と前記移動停止時点の前記手の位置とに基づいて特定される前記手の移動方向と、に基づいてユーザの入力が前記選択可能領域の選択操作かジェスチャ操作かを判別する、
    　ことを特徴とする請求項２に記載の入力装置。
  4. 　前記手の移動開始時点及び移動停止時点を検出する移動検出手段、を更に備え、
    　前記入力判別手段は、前記移動開始時点から前記移動停止時点までの所定時間間隔毎の前記手の形状の変化と、前記移動開始時点から前記移動停止時点までの前記所定時間間隔毎の前記手の移動方向の変化と、に基づいてユーザの入力が前記選択可能領域の選択操作かジェスチャ操作かを判別する、
    　ことを特徴とする請求項２に記載の入力装置。
  5. 　前記移動開始時点の前記手の形状と前記移動停止時点の前記手の形状とを比較して、形状の相違の度合いを示す形状相違度または一致の度合いを示す形状一致度を算出する形状比較手段と、
    　前記移動開始時点の前記手の位置と前記移動停止時点の前記手の位置とに基づいて前記手の移動方向を特定し、前記移動開始時点の前記手の位置を基準とした前記選択可能領域の方向を特定し、特定した前記手の移動方向と特定した前記選択可能領域の方向とを比較して、方向の相違の度合いを示す方向相違度または一致の度合いを示す方向一致度を算出する方向比較手段と、を更に備え、
    　前記入力判別手段は、前記形状相違度または前記形状一致度と、前記方向相違度または前記方向一致度と、を所定の重みで加算し、該加算値に基づいてユーザの入力が前記選択可能領域の選択操作かジェスチャ操作かを判別する、
    　ことを特徴とする請求項３に記載の入力装置。
  6. 　前記所定時間間隔毎に、現時点の前記手の形状と前記所定時間前の前記手の形状とを比較して、形状の相違の度合いを示す形状相違度または一致の度合いを示す形状一致度を算出する形状比較手段と、
    　前記所定時間間隔毎に、現時点の移動方向と前時点の移動方向とを比較して、方向の相違の度合いを示す方向相違度または一致の度合いを示す方向一致度を算出する方向比較手段と、を更に備え、
    　前記入力判別手段は、
    　前記形状相違度または前記形状一致度と、前記方向相違度または前記方向一致度と、を所定の重みで加算し、
    　前記移動開始時点を累積開始時点として、前記加算した値を前記所定時間間隔毎に累積加算し、
    　前記累積加算値が所定の閾値を超えた場合、ユーザの入力はジェスチャ操作と判別し、前記移動停止時点までにもしくは前記累積開始後予め定められた時間内に、前記累積加算値が前記所定の閾値を超えなかった場合、ユーザの入力は前記選択可能領域の選択操作と判別する、
    　ことを特徴とする請求項４に記載の入力装置。
  7. 　前記手は指を立てた状態のユーザの手であり、
    　前記形状比較手段は、前記現時点の前記手の重心位置と指先との位置関係と、前記所定時間前の前記手の重心位置と指先との位置関係と、を比較して、前記形状相違度または前記形状一致度を算出する、
    　ことを特徴とする請求項６に記載の入力装置。
  8. 　前記操作画面には、ユーザに理想的な前記手の移動軌跡を案内する帯状の半透明の案内表示が表示されており、
    　前記手が描いた移動軌跡を前記案内表示に沿って視認可能に出力するとともに、前記累積加算値に基づいて案内表示の透過率を随時変更するフィードバック手段、を更に備える、
    　ことを特徴とする請求項６または７に記載の入力装置。
  9. 　選択操作の対象となる選択可能領域が表示された操作画面に対応付けられる撮像画像の中のユーザの手の動きに基づいて、ユーザの入力を判別する入力方法であって、
    　前記手が移動したことにより生じる複数の前記撮像画像における前記手の形状の変化に基づいて、ユーザの入力が前記選択可能領域の選択操作か該選択操作とは異なるジェスチャ操作かを判別する
    　ことを特徴とする入力方法。
  10. 　プログラムを記憶するコンピュータ読み取り可能な非一時的な記憶媒体であって、当該プログラムが、選択可能領域が表示された操作画面に対応付けられる撮像画像の中のユーザの手の動きに基づいて、ユーザの入力を判別する入力装置を制御するコンピュータに、
    　前記手が移動したことにより生じる複数の前記撮像画像における前記手の形状の変化に基づいて、ユーザの入力が前記選択可能領域の選択操作か該選択操作とは異なるジェスチャ操作かを判別する入力判別機能、を実現させる
    　ことを特徴とする記憶媒体。
PCT/JP2013/071893 2012-08-17 2013-08-13 入力装置、入力方法、及び記憶媒体 WO2014027666A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201380043996.8A CN104584080B (zh) 2012-08-17 2013-08-13 输入设备和输入方法
EP13879402.9A EP2887318A4 (en) 2012-08-17 2013-08-13 INPUT DEVICE, INPUT METHOD AND STORAGE MEDIUM
US14/422,124 US9753545B2 (en) 2012-08-17 2013-08-13 Input device, input method, and storage medium
KR1020157003798A KR101624215B1 (ko) 2012-08-17 2013-08-13 입력 장치, 입력 방법, 및 기억 매체
CA2882004A CA2882004A1 (en) 2012-08-17 2013-08-13 Input device, input method, and storage medium
IL237225A IL237225A0 (en) 2012-08-17 2015-02-15 Input device, input method and storage medium
HK15107654.5A HK1207192A1 (en) 2012-08-17 2015-08-08 Input device, input method, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012181223A JP5665140B2 (ja) 2012-08-17 2012-08-17 入力装置、入力方法、及びプログラム
JP2012-181223 2012-08-17

Publications (1)

Publication Number Publication Date
WO2014027666A1 true WO2014027666A1 (ja) 2014-02-20

Family

ID=50286613

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/071893 WO2014027666A1 (ja) 2012-08-17 2013-08-13 入力装置、入力方法、及び記憶媒体

Country Status (10)

Country Link
US (1) US9753545B2 (ja)
EP (1) EP2887318A4 (ja)
JP (1) JP5665140B2 (ja)
KR (1) KR101624215B1 (ja)
CN (1) CN104584080B (ja)
CA (1) CA2882004A1 (ja)
HK (1) HK1207192A1 (ja)
IL (1) IL237225A0 (ja)
TW (1) TWI543018B (ja)
WO (1) WO2014027666A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019061334A (ja) * 2017-09-25 2019-04-18 Kddi株式会社 機器制御装置、機器制御方法及び機器制御システム
WO2019168190A1 (ja) * 2018-03-02 2019-09-06 Ｎｅｃソリューションイノベータ株式会社 操作推定装置、操作推定方法、及びコンピュータ読み取り可能な記録媒体
CN111062312A (zh) * 2019-12-13 2020-04-24 RealMe重庆移动通信有限公司 手势识别方法、手势控制方法、装置、介质与终端设备

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
JP6178741B2 (ja) * 2013-09-24 2017-08-09 京セラドキュメントソリューションズ株式会社 電子機器
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US10168786B2 (en) * 2014-02-18 2019-01-01 Mitsubishi Electric Corporation Gesture guidance device for moving platform, gesture guidance system for moving platform, and gesture guidance method for moving platform
US9785247B1 (en) 2014-05-14 2017-10-10 Leap Motion, Inc. Systems and methods of tracking moving hands and recognizing gestural interactions
JP6579866B2 (ja) * 2015-08-31 2019-09-25 キヤノン株式会社 情報処理装置とその制御方法、プログラム、記憶媒体
JP6650595B2 (ja) * 2015-09-24 2020-02-19 パナソニックＩｐマネジメント株式会社 機器制御装置、機器制御方法、機器制御プログラムおよび記録媒体
EP3182250B1 (en) 2015-12-18 2019-10-30 Aptiv Technologies Limited System and method for monitoring 3d space in front of an output unit for the control of the output unit
EP3377962A1 (en) * 2016-04-27 2018-09-26 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
US10025376B2 (en) 2016-04-27 2018-07-17 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
JP2018005815A (ja) * 2016-07-08 2018-01-11 大日本印刷株式会社 入力システム及びその入力装置
US10162422B2 (en) * 2016-10-10 2018-12-25 Deere & Company Control of machines through detection of gestures by optical and muscle sensors
WO2021246089A1 (ja) * 2020-06-01 2021-12-09 国立研究開発法人産業技術総合研究所 ジェスチャ認識装置、システム及びそのプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009151691A (ja) 2007-12-21 2009-07-09 Sony Corp 情報処理装置及びタッチ動作認識方法
JP2011175623A (ja) 2010-01-29 2011-09-08 Shimane Prefecture 画像認識装置および操作判定方法並びにプログラム
JP2011204019A (ja) * 2010-03-25 2011-10-13 Sony Corp ジェスチャ入力装置、ジェスチャ入力方法およびプログラム
WO2011142317A1 (ja) * 2010-05-11 2011-11-17 日本システムウエア株式会社 ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体
JP2011248606A (ja) 2010-05-26 2011-12-08 Canon Inc 表示制御装置および表示制御方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8555207B2 (en) 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US8428368B2 (en) * 2009-07-31 2013-04-23 Echostar Technologies L.L.C. Systems and methods for hand gesture control of an electronic device
IL204436A (en) * 2010-03-11 2016-03-31 Deutsche Telekom Ag A system and method for remote control of online TV by waving hands
US20110289455A1 (en) 2010-05-18 2011-11-24 Microsoft Corporation Gestures And Gesture Recognition For Manipulating A User-Interface
US9262015B2 (en) * 2010-06-28 2016-02-16 Intel Corporation System for portable tangible interaction
CN102236414A (zh) * 2011-05-24 2011-11-09 北京新岸线网络技术有限公司 三维显示空间中的图片操作方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009151691A (ja) 2007-12-21 2009-07-09 Sony Corp 情報処理装置及びタッチ動作認識方法
JP2011175623A (ja) 2010-01-29 2011-09-08 Shimane Prefecture 画像認識装置および操作判定方法並びにプログラム
JP2011204019A (ja) * 2010-03-25 2011-10-13 Sony Corp ジェスチャ入力装置、ジェスチャ入力方法およびプログラム
WO2011142317A1 (ja) * 2010-05-11 2011-11-17 日本システムウエア株式会社 ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体
JP2011248606A (ja) 2010-05-26 2011-12-08 Canon Inc 表示制御装置および表示制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2887318A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019061334A (ja) * 2017-09-25 2019-04-18 Kddi株式会社 機器制御装置、機器制御方法及び機器制御システム
WO2019168190A1 (ja) * 2018-03-02 2019-09-06 Ｎｅｃソリューションイノベータ株式会社 操作推定装置、操作推定方法、及びコンピュータ読み取り可能な記録媒体
CN111062312A (zh) * 2019-12-13 2020-04-24 RealMe重庆移动通信有限公司 手势识别方法、手势控制方法、装置、介质与终端设备
CN111062312B (zh) * 2019-12-13 2023-10-27 RealMe重庆移动通信有限公司 手势识别方法、手势控制方法、装置、介质与终端设备

Also Published As

Publication number Publication date
JP5665140B2 (ja) 2015-02-04
TWI543018B (zh) 2016-07-21
JP2014038527A (ja) 2014-02-27
CN104584080B (zh) 2017-03-01
EP2887318A4 (en) 2016-04-27
KR20150034258A (ko) 2015-04-02
CN104584080A (zh) 2015-04-29
CA2882004A1 (en) 2014-02-20
US9753545B2 (en) 2017-09-05
US20150234469A1 (en) 2015-08-20
HK1207192A1 (en) 2016-01-22
KR101624215B1 (ko) 2016-06-07
IL237225A0 (en) 2015-04-30
EP2887318A1 (en) 2015-06-24
TW201423482A (zh) 2014-06-16

Similar Documents

Publication Publication Date Title
WO2014027666A1 (ja) 入力装置、入力方法、及び記憶媒体
JP5802667B2 (ja) ジェスチャ入力装置およびジェスチャ入力方法
KR102194272B1 (ko) 제스처들을 이용한 터치 입력들의 향상
US10732742B2 (en) Information processing program and method for causing a computer to transform a displayed object based on input area and force of a touch input
KR101302910B1 (ko) 제스처 인식 장치, 제스처 인식 방법, 제어 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체
US9547391B2 (en) Method for processing input and electronic device thereof
EP2864932B1 (en) Fingertip location for gesture input
KR102479052B1 (ko) 복수의 컨트롤러를 이용한 전자 장치의 디스플레이 제어 방법 및 그 장치
US8922351B2 (en) Display apparatus, information processing system, recording medium and television receiver
US20220382377A1 (en) Systems and methods for controlling virtual widgets in a gesture-controlled device
JP2024520943A (ja) キー機能実行方法、キー機能実行システム、キー機能実行装置、電子機器、及びコンピュータプログラム
US11886643B2 (en) Information processing apparatus and information processing method
EP2899623A2 (en) Information processing apparatus, information processing method, and program
CN114360047A (zh) 举手手势识别方法、装置、电子设备及存储介质
CN104714736A (zh) 一种退出全屏锁定状态的控制方法及终端
JP6033061B2 (ja) 入力装置およびプログラム
CN104951211B (zh) 一种信息处理方法和电子设备
JP5565886B2 (ja) 入力装置、入力方法、及びプログラム
CN112051746B (zh) 获取服务的方法以及装置
KR102194778B1 (ko) 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
EP3568745B1 (en) Hover interaction using orientation sensing
CN116246335A (zh) 追踪扩展现实的输入手势的方法和使用其的系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13879402

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20157003798

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2882004

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 237225

Country of ref document: IL

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14422124

Country of ref document: US

Ref document number: 2013879402

Country of ref document: EP