WO2007061057A1 - ジェスチャー入力装置、及び方法 - Google Patents

ジェスチャー入力装置、及び方法 Download PDF

Info

Publication number
WO2007061057A1
WO2007061057A1 PCT/JP2006/323456 JP2006323456W WO2007061057A1 WO 2007061057 A1 WO2007061057 A1 WO 2007061057A1 JP 2006323456 W JP2006323456 W JP 2006323456W WO 2007061057 A1 WO2007061057 A1 WO 2007061057A1
Authority
WO
WIPO (PCT)
Prior art keywords
gesture
control command
operator
contact
timing
Prior art date
Application number
PCT/JP2006/323456
Other languages
English (en)
French (fr)
Inventor
Tomohiro Terada
Atsushi Yamashita
Takuya Hirai
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Publication of WO2007061057A1 publication Critical patent/WO2007061057A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Definitions

  • the present invention relates to an apparatus operation interface, and more particularly to an apparatus and method for operating an apparatus by gesture input.
  • FIG. 32 shows a configuration of a layout apparatus provided with the conventional gesture input means described in Patent Document 1.
  • the conventional layout device includes an operation recognition unit 6 that recognizes the node gesture imaged by the imaging camera 5, and based on the gesture recognition, the control unit 7 controls the operation of the device. For example, the layout of a figure or the like is changed. At that time, the touch pad 4 is used only when selecting an object for changing the layout on the display means 1 and ending the layout changing process.
  • Patent Document 1 JP-A-11 338120
  • a first aspect of the present invention is directed to a gesture input device.
  • the present invention relates to storing contact detection means for detecting contact with the operation surface of the operator, gesture recognition means for recognizing the gesture of the operator, and control commands and contact information on the operation surface of the operator in association with each other.
  • Contact information storage means for storing the control command and the operator's gesture in association with each other, contact information timing for storing the timing for executing the control command and the contact information on the operation surface of the operator in association with each other
  • the gesture timing storage means for storing the timing of executing the control command and the operator's gesture in association with each other, the contact information detected by the contact detection means, and the gesture recognized by the Z or gesture recognition means
  • Control command for determining the control command with reference to the contact information storage means and the Z or gesture storage means.
  • the control command is executed with reference to the contact information timing storage means and the Z or gesture timing storage means.
  • Instruction execution timing determining means for determining the timing to execute.
  • operation position determination means for determining the contact information detected by the contact detection means and the gesture force operation position recognized by Z or gesture recognition means.
  • control parameter determination means for determining the contact information detected by the contact detection means and the parameter of the gesture force control command recognized by the Z or gesture recognition means.
  • control command selection means further includes a gesture feature quantity extraction means for extracting the gesture power gesture feature quantity of the operator, and a gesture one feature quantity database in which the gesture feature quantity and the control command are associated with each other. It is preferable to select a control command by referring to the gesture feature database based on the gesture feature. [ooio] It is preferable that the gesture feature amount extraction means also extracts the gesture feature amount from the gesture shape of the operator and the Z or gesture movement force.
  • the gesture feature amount extraction unit calculates a center of gravity position based on the gesture shape key of the operator, and also extracts a single feature amount of the center of gravity position and the gesture shape, and Z or gesture motion force.
  • control command selection means selects the control command depending on the number of fingers to be operated and the Z or which finger is to be operated!
  • control command selection means selects a control command for displaying two screens when a gesture for cutting the screen by hand is performed
  • the control parameter determining means preferably determines the boundary of the two-screen display from the contact position of the operation surface detected by the contact detecting means.
  • the information display means for presenting information to the operator is further provided, and the control command selection means outputs the control command based on the contact information of the position corresponding to each function selection button displayed on the information display means. It is preferable to determine.
  • control parameter determining means determines the parameter of the control command based on the gesture power of the operator only when contact is detected by the contact detecting means.
  • the information display means for presenting information to the operator is further provided, and the instruction execution timing determination means is controlled based on the contact information of the position corresponding to the function selection button displayed on the information display means. It is preferable to decide when to execute the instruction.
  • the information display means further includes information display means for presenting information to the operator, and the information display means is a gesture corresponding to the function selection button displayed on the information display means when the gesture input is acceptable. It is preferable to display the animation.
  • a second aspect of the present invention is directed to a gesture input method.
  • the present invention relates to a contact detection step for detecting an operator's contact with the operation surface, a gesture recognition step for recognizing an operator's gesture, contact information detected in the contact detection step, and / or a gesture recognition step.
  • the control command selection step for determining the control command with reference to the contact information storage unit, and Z or the gesture storage unit, and the contact information and / or gesture detected at the contact detection step based on the gesture Recognition step
  • a command execution timing determining step for determining a timing for executing the control command with reference to the contact information timing storage unit and / or the gesture timing storage unit based on the gesture recognized in the step.
  • the gesture input device of the present invention it is possible to provide a user with an intuitive and easy-to-use interface and a device capable of complicated input operations.
  • FIG. 1 is a block diagram showing a configuration of a gesture input device that works on an embodiment of the present invention.
  • FIG. 2 is a configuration diagram of devices in the embodiment of the present invention.
  • FIG. 3 is an operation diagram for setting a destination with one finger.
  • FIG. 4 is a diagram showing an example of a display for indicating a location indicated by a finger.
  • FIG. 5 is an operation diagram when setting a waypoint with two fingers.
  • FIG. 6 is an operation diagram when the screen display is divided into two screens.
  • FIG. 7 is an operation diagram when changing continuous parameters.
  • FIG. 8 is a side view of the operation of FIG.
  • FIG. 9 is an operation diagram for rotating the screen display.
  • FIG. 10 is a view of FIG. 9 viewed from the side.
  • FIG. 11 is an operation diagram when scrolling the screen with two fingers.
  • FIG. 12 is a side view of FIG.
  • FIG. 13 is a diagram showing a gesture for moving a display object displayed on the screen.
  • FIG. 14 is a side view of FIG.
  • FIG. 15 is a diagram showing an example of an operation for returning the 2-screen display to the 1-screen.
  • FIG. 16 is a flowchart showing an outline of processing of the gesture input device of FIG.
  • FIG. 17 is a detailed flowchart of the control instruction selection process of FIG.
  • FIG. 18 is a diagram showing a hand-shaped model prepared in advance on the device side.
  • FIG. 19 is a detailed flowchart of the hand shape recognition process of FIG.
  • FIG. 20 is a diagram for explaining a method of determining the coordinate position of the fingertip in the hand shape recognition process of FIG.
  • FIG. 21 is a detailed flowchart of the hand movement recognition process of FIG.
  • FIG. 22 is a diagram showing a change in the position of one characteristic amount of a gesture when changing from a state where the hand is spread out to a state where two fingers are raised.
  • FIG. 23 is a detailed flowchart of the gesture recognition process of FIG.
  • FIG. 24 is a diagram showing a state of a gesture input for transmitting a timing for executing a control command.
  • FIG. 25 is a diagram in which the lateral force is seen when the control command as seen from the side of FIG. 24 is not transmitted.
  • FIG. 26 is a diagram showing a state in which the control command as seen from the side of FIG. 24 is transmitted.
  • FIG. 27 is a diagram for explaining the transmission timing of a control command for setting the application meter by rotating the thumb around the contacted finger.
  • FIG. 28 is a side view of FIG. 27.
  • FIG. 29 is a diagram showing an example in which a button is used to detect the timing for executing an instruction.
  • FIG. 30 is a flowchart showing a process of adding help information to a button when the button is used to detect the timing for executing an instruction.
  • FIG. 31 is a diagram showing a state of a help function for adding help information to a button when the button is used to detect the timing for executing an instruction.
  • FIG. 32 is a diagram showing a configuration of a layout apparatus provided with conventional gesture input means.
  • a gesture input device according to an embodiment of the present invention will be described with reference to the drawings.
  • elements not particularly important for carrying out the present invention are omitted in view of visibility.
  • the operator's hand shape and hand movement are described as typical examples of gestures, but the present invention is not limited thereto. Gieschers generally use body shapes, but you may use dedicated operating means made of special shapes, colors, materials, etc.
  • the configuration in the present embodiment is acquired by the imaging means 101 for photographing the gesture shape and motion, the contact detection means 102 for detecting the contact of the operation surface, and the imaging means 101.
  • the image recognition also recognizes a gesture shape.
  • Gesture recognition unit 103 including gesture shape recognition unit 103 and gesture motion recognition unit 104, control command selection unit 106 for selecting a control command from the recognized gesture, and control command Instruction execution timing determining means 107 for determining the timing for executing the control instruction, control parameter determining means for determining the parameter of the control instruction, and operation for determining the operation position when the operation position is required when executing the control instruction
  • Control comprising position determining means 112 Unit 108, information presenting means 109 for presenting information to the operator, and gesture feature quantity database 110 holding information for associating the gesture with the control command.
  • FIG. 2 shows a specific installation state of the present embodiment.
  • the camera 201 as the imaging means 101 that captures the shape and movement of the hand as a video image can accurately acquire the shape and movement of a force hand with the upper part of the tactinod 202 as the contact detection means 102 being the typical installation position. It shall be installed in position.
  • a thermosensor or an infrared camera that acquires the shape and movement of the hand may be used in addition to a general camera that acquires visible light. In the case of using a thermosensor, a method of acquiring the temperature region as a hand region on the assumption that the temperature of a human hand is 35 to 36 degrees Celsius is conceivable.
  • the gesture feature amount database 110 is preferably stored in a storage medium built in the control unit 108 or an external storage medium.
  • FIG. 2 shows a state where an external storage medium is connected to the control unit 108.
  • the contact detection unit 102 is an operation unit that is directly operated by an operator, and a touch pad 202 is generally used.
  • the touch pad 202 includes a pressure sensitive type and a static voltage type, but any type may be used.
  • the position on the operation surface of the contact detection means 102 and the display screen position of the information presentation means 109 described later are associated with each other. By specifying the position on the operation surface of the contact detection means 102, the information presentation means The menu displayed in 109 can be selected.
  • the gesture recognizing unit 105 recognizes the gesture shape as well as the image power acquired by the imaging means 101. Details will be described later.
  • the control command selection means 106 selects a control command by using either or both of the gesture recognized by the gesture recognition unit 105 and the contact information acquired by the contact detection means 102.
  • the instruction execution timing determination means 107 is a timing for executing a control instruction using either or both of the gesture recognized by the gesture recognition unit 105 and the contact information acquired by the contact detection means 102. Make a decision.
  • the control parameter determination unit 111 is configured to recognize a gesture recognized by the gesture recognition unit 105.
  • the operation position is determined when an operation position is required when executing a control command using either or both of the steering information and the contact information acquired by the contact detection means 102.
  • the operation position determining unit 112 executes a control command using either or both of the gesture recognized by the gesture recognition unit 105 and the contact information acquired by the contact detection unit 102. When the operation position is required, determine the operation position.
  • the control unit 108 includes a control command selection unit 106, a command execution timing determination unit 107, a control meter determination unit 111, and an operation position determination unit 112, and includes, for example, a CPU, ROM, and RAM. .
  • the information presenting means 109 teaches the operator information such as the result after executing the control command.
  • a display using liquid crystal, EL (electral mouth luminescence) or the like is preferable.
  • the information presenting means 109 presents the result after executing the control command.
  • the control command can be anything that operates the device, for example, the size of the audio volume or the air conditioner. You can adjust the temperature.
  • FIGS. 3, 4, and 5 show examples in which different functions are executed using a combination of the number of fingers recognized by the gesture recognition unit 105 and the input to the contact detection means 102. is there .
  • FIG. 3 is a diagram showing that the destination is set when the touch detection means 102 is touched with one finger. This will be specifically described in detail. It is assumed that the operator operates the cursor 304 while the map image 302 is displayed on the information presenting means 109. When the operator moves the finger without touching the contact detection means 102 with one finger, the cursor 304 displayed on the screen moves in accordance with the movement of the operator's finger. When the finger is touched by the contact detection means 102, the position pressed by the finger is set as the destination.
  • the coordinates of the finger and the like recognized by the gesture recognition unit 105 and the coordinates of the information presentation means 109 are calibrated at the first stage of starting the gesture recognition process.
  • the cursor 304 is displayed on the information display means 109 As shown in FIG. 4, only the characteristic part such as the contour part may be displayed on the screen as it is or by converting the hand shape photographed by the imaging means 101 into CG.
  • FIG. 5 shows an example in which a waypoint is set by an operator operating with two fingers. This is made possible by pre-assigning a control command to be executed by the control command selection unit 106 according to the number of fingers recognized by the gesture recognition unit 105. In other words, if the number of fingers to be operated is one, a control command for setting a destination is assigned, and if the number of fingers to be operated is two, a control command for setting a waypoint may be assigned.
  • the other parts are the same as those described with reference to FIGS. In addition to the destination setting and waypoints, other control commands such as point registration may be assigned.
  • the gesture recognition unit 105 may recognize a finger by performing hand shape recognition, and a control command to be executed may be selected by the finger.
  • the hand shape recognition process and the control command selection process will be described later in detail.
  • FIG. 6 shows a gesture operation performed when the map screen displayed on the information presentation means 109 is divided into two.
  • the operation method is to divide the screen into two when the hand is shaped like a sword and brought into contact with the contact detection means 102.
  • the control command is selected according to the hand shape, and the screen position to be cut is determined and the timing at which the control command is transmitted is determined by touching the contact detection means 102.
  • the hand shape may be displayed as it is on the information presentation means 109!
  • FIGS. 7 and 8 an example in which a control command is selected from contact with the operation surface by the contact detection unit 102 and parameters of the control command are determined by gesture operation will be described with reference to FIGS. 7 and 8.
  • the temperature setting of the air conditioner is operated by turning the thumb.
  • a list of functional targets that can be operated is presented in the information presenting means 109, and the operator selects the target by touching the contact detection means 102 with a fingertip.
  • the contact information on the operation surface is input to the control unit 108, and a control command is selected by the control command selection means 106.
  • the force indicating the position of the fingertip may be indicated by the cursor 304, or the hand shape may be displayed as it is.
  • the operator raises the fingertip as shown in FIG. 8 and rotates the hand to perform a gesture to move the thumb as if it were a needle.
  • the movement of the thumb is acquired by the gesture motion recognition means 104, and the parameters of the control command, for example, the set temperature and the temperature change amount are determined by the control meter determining means. In this way, the operator operates the device by changing the control parameter (up and down of the temperature of the air conditioner) by the movement of the thumb.
  • FIG. 9 shows the operating state in which the screen is grabbed and the screen display is rotated.
  • a control command for rotating the screen is selected from the gesture shape.
  • the timing of the control command is determined.
  • parameters such as an angle for rotating the screen display are determined.
  • FIG. 10 it is desirable that the operator's hand is in contact with the contact detection means 102 in order to convey that the control command is being executed during the gesture operation.
  • FIG. 11 shows an example of an operation for scrolling the map display displayed on the information presenting means 109 in the direction of the arrow shown in FIG.
  • the operator raises his / her finger on the contact detection means 102 and performs the operation of moving the two fingers back and forth alternately.
  • Fig. 12 is a side view of the operator's hand performing a gesture.
  • the scroll amount which is a parameter of the control command, is determined by the movement of the finger.
  • the control command is selected from a stopped gesture before the operation of moving the finger back and forth, and the execution timing of the control command is determined by touching the finger.
  • an operation state in which the operation target 1302 displayed on the information presentation unit 109 is moved to the destination point 1303 will be described.
  • the operator performs an operation of picking the operation target 1302 displayed on the information presenting means 109 as indicated by the hand 1305 before moving.
  • a control command is selected from this gesture, and further, by touching the contact detection means 102, the position is determined and the control command is executed at the same time.
  • an arrow-shaped icon 1307 is displayed in order to inform the operator that the operation target 1302 has been selected.
  • the bill photographed by the imaging means 101 may be displayed in the form as shown in FIG.
  • the movement of the operation target 1302 to the position 1303 in this state is performed based on the movement when the hand is once released from the contact detection unit 102 and the hand again contacts the position 1306.
  • the control command is selected by the movement of the hand shape in the picked state, and the control command is executed at the same time as the position is determined by touching the contact detection means 102.
  • the contact detection means 102 may be used to determine control parameters such as the position and movement amount of the operation target 1302.
  • the operator opens the fingertip and places the hand on the contact detection unit 102 in a state where the finger is placed on each of the two screens.
  • the display screen 1501 may display the location where the arrow icon 1503 is pressed with the fingertip, and the hand taken by the imaging means 101 is displayed on the display screen 1501 as shown in FIG. It doesn't matter.
  • the operator returns the display screen to one screen by performing an operation of closing the finger.
  • the operation target is selected by touching the contact detection means 102, and the selection of the control command and the execution timing of the control command are determined by the operation of closing the finger.
  • the control command may be selected with the hand shape with the fingertip open, and the execution timing of the control command may be determined with the hand shape with the fingertip closed.
  • the processing start timing is determined when the operator moves his / her hand over the contact detection means 102 (S1601). At this time, the operator's hand does not need to touch the contact detection means 102, and the image power acquired by the imaging means 101 is also extracted and the process starts when a certain area on the screen becomes flesh-colored. You may make it.
  • the gesture input process may be started by touching the contact detection unit 102. It should be noted that when the hand shape and motion photographed by the imaging means 101 are displayed on the information presenting means 109, or when the operation position is specified by the gesture shape or action, the center of gravity position of the hand shape, etc. The coordinate system is calibrated with respect to.
  • control command selection means 106 performs control command selection processing to be transmitted to the device from gestures such as hand shape and hand movement information (S 1602). Details of the control command selection process by gesture will be described later.
  • step S1603 it is determined whether a control command has been selected. If it is determined that the control command is not selected, the process returns to step S1601 (S1603).
  • step S1603 If it is determined in step S1603 that the control command has been selected, the contact position input to the contact detection means 102 is acquired (S 1604).
  • the information transmitted from the contact detection means 102 includes two pieces of information, that is, pressing information on whether or not the force is touched and a contact position.
  • step S1604 the control command selected in the control command selection process in step S1602 is not transmitted to the device side, and waits until the operator touches the contact detection means 102. If the contact position is not acquired for a certain time or more, it is considered that the operator does not intend to perform the operation, and the process of returning to step S1601 may be performed.
  • control commands include destination setting, scrolling, and two-screen display.
  • control command selection processing is As described above, the operation position acquisition and control command execution timing determination are performed by touching the contact detection means 102, but control command selection, operation position determination, and control command execution timing determination are Either gesture recognition or contact detection may be performed, and combinations of these may also be possible. Further, the parameter of the control command to be described later may be similarly determined.
  • a control command is selected by a gesture shape or action by an operator's hand.
  • An image such as a hand shape or a hand movement is acquired by the imaging means 101 (S1701).
  • a color image is desirable as the image acquired by the imaging unit 101, but the image acquired from the imaging unit 101 may be a near-infrared image using an infrared camera or a temperature region using a thermosensor.
  • a color image having RGB ternary values is used, and the subsequent processing describes processing for a color image.
  • Gesture feature values are extracted from the recognized hand shape and stored.
  • the gesture feature amount is information for specifying a gesture, and is stored in the gesture feature amount database in association with the control command. For example, the area of the hand shape, the number of fingers being operated, and the position information of the fingertips.
  • the finger operated here refers to the state of the index finger when it is in the shape of a finger as shown in FIG. Details of the hand shape recognition process will be described later.
  • step S1703 it is determined whether or not the hand shape has been recognized (S1703). Judgment is preferably made by confirming whether or not the force is recognized using reliability or the like.
  • reliability a hand-shaped model as shown in FIG. 18 is prepared in advance on the device side, and the fingertip coordinates 1801 and the hand barycentric coordinates 1802 are stored.
  • the distance between the fingertip coordinates 1801 and the centroid coordinates 1802 is obtained, and the distance between the fingertip coordinates and the center of gravity coordinates 1803 is used as an index.
  • step S 1703 after the hand shape is recognized, the distance of each finger is obtained, and if there is a difference greater than a certain threshold compared to the previously acquired index, the hand shape is recognized.
  • step S1703 When it is determined in step S1703 that the hand shape has been recognized, hand motion recognition processing is performed (S 1704). In this case as well, gesture feature values based on hand movements are stored in the same way as the hand shape recognition process.
  • the manual action recognition process is a process for determining what action the hand has performed, and details will be described later.
  • the gesture shape feature value of the hand shape or hand motion recognized in step S1702 or S1704 is compared with the gesture feature amount database 110 to determine which gesture is the recognized hand shape or hand motion. Is determined (S1705). For each gesture, a control command is selected by storing the gesture feature value and the control command in advance (S 1706). Details will be described later.
  • the skin color area is acquired from the image data acquired by the imaging means 101 (S1901).
  • a well-known method can be used as the skin color region extraction method.
  • the position of the fingertip is also acquired for the skin color area force acquired in step S1901 (S 1902).
  • an edge 2001 of the skin color region is calculated, and the edge and the circular region 2002 are matched, and a location where the matching rate is equal to or greater than a threshold is determined as a finger position candidate.
  • the centroid position of the palm is acquired from the skin color area image (S1903), the distance between the centroid position 2003 and the finger position is calculated, and a point within a certain threshold is set as the fingertip.
  • the position of the fingertip and the position of the center of gravity of the palm are stored as gesture feature values, and the hand shape recognition process ends.
  • step S2101 one frame is extracted from the video acquired by the imaging means 101. Then, the gesture feature quantity of the extracted frame is acquired in the same manner as the hand shape recognition process (S2102). Here, if there is no significant change in the gesture feature value in each frame, the process of calculating the gesture feature value may be performed once every several frames. Next, the position is changed from the obtained gesture feature value of each frame. An amount vector is calculated (S2103). The method for calculating the position change amount vector in step S2103 will be described in more detail with reference to FIG.
  • FIG. 22 is a diagram showing a change in the position of the gesture feature amount when the hand is changed from the state where the hand is spread out to the state where the two fingers are raised.
  • the fingertip position 2201 indicates the position before the hand shape is changed (the hand is spread out).
  • the fingertip position 2202 indicates the position after the hand shape is changed (two fingers are raised).
  • the arrow indicated by the thin V ⁇ broken line is the position change vector 2203.
  • This position change amount vector 2203 is stored as an example of a gesture feature amount by hand movement (S2104).
  • S2104 the change amount of the finger position is obtained by subtracting the change amount of the center of gravity position in consideration of the shift of the center position.
  • the amount of change may be used as a gesture feature value by hand movement.
  • step S1705 the gesture recognition processing in step S1705 will be described in detail with reference to FIG.
  • step S2301 the gesture feature amount calculated by the previous hand shape recognition process or the hand motion recognition process is acquired.
  • a control command corresponding to the previous gesture feature value is retrieved from the gesture feature value database 110 in which the gesture feature value is associated with the control command (S2302).
  • the gesture feature value database 110 may be stored in an external storage device such as an HDD! If there is no matching database as a result of the search, the process ends and the process returns to S16 01 in FIG. If there is matching data as a result of this search, the control command for the device associated with the gesture is selected and stored as data. Thereafter, returning to the processing shown in FIG. 16, when the contact position is acquired in S1604, each control command is transmitted to the device.
  • Figures 24, 25, and 26 show how control commands are executed with one finger.
  • the flow of processing until the control command is transmitted recognizes the state where only one finger is standing and is stored as a gesture feature amount.
  • the control command is not transmitted while the fingertip is in a floating state.
  • the execution timing of the control command may be determined by the contact detection unit 102 detecting the contact, or the execution timing may be determined by the gesture operation.
  • a gesture start button 2901 is displayed on the information display means 109. It is desirable that the gesture start button 2901 has a button with a diagram showing the function. For example, as a gesture start button 2901 indicating an operation for dividing the screen, a figure of ⁇ is drawn. By pressing this button, a process for dividing the screen into two screens is started.
  • the control command may be selected simultaneously with the pressing of the button, or the button may be pressed only at the start of the gesture input process, and the control command may be selected by a subsequent gesture. If a control command is selected at the same time the button is pressed, the gesture is an operation to specify the division position.
  • the subsequent processing is the same as in the above-described embodiment.
  • FIG. 30 shows the flow of processing
  • FIG. 31 shows the actual operation.
  • the gesture animation button 3101 is an animation in which how to perform a gesture is displayed on the button when transitioning to the gesture input mode. The operator can know the gesture method by looking at the animation displayed on the button. It should be noted that the gesture animation may be supplementarily displayed in the above-described embodiment, for example, when a control command parameter is input.
  • the device control device can provide an intuitive and easy-to-operate device interface, it is possible to construct an intuitive and easy-to-use gesture input operation device. Useful.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

　接触入力手段とジェスチャー認識とを複合的に用いて、利用者に直感的で分かりやすいインターフェイスを提供するとともに、複雑な入力操作が可能な装置を提供する。操作者の操作面への接触を検知する接触検知手段（１０２）と、操作者のジェスチャーを認識するジェスチャー認識手段（１０５）と、接触情報記憶手段と、ジェスチャー記憶手段と、接触情報タイミング記憶手段と、ジェスチャータイミング記憶手段と、接触情報、及び／又はジェスチャーに基づいて、制御命令を決定する制御命令選択手段（１０６）と、接触情報、及び／又はジェスチャーに基づいて、制御命令を実行するタイミングを決定する命令実行タイミング決定手段（１０７）とを備える。

Description

明 細 書
ジェスチャー入力装置、及び方法
技術分野
[0001] 本発明は、機器操作のインターフェイスに関し、より特定的には、ジェスチャー入力 により機器を操作する装置、及び方法に関する。
背景技術
[0002] 従来、多機能化した機器を利用するためのインターフェイスとして、操作者が直感 的に使用できるジェスチャー入力手段を備えるものがある。例えば、撮像手段により 撮像されたハンドジェスチャーの認識結果に基づいて、画像の移動、回転、拡大、縮 小等の機器の操作を行うものがある (例えば、特許文献 1参照)。図 32に、前記特許 文献 1に記載の従来のジェスチャー入力手段を備えたレイアウト装置の構成を示す。
[0003] 図 32において、従来のレイアウト装置は、撮像カメラ 5により撮像されたノヽンドジエス チヤ一を認識する動作認識部 6を備え、そのジェスチャー認識に基づき、制御部 7〖こ より、機器の操作、例えば図形等のレイアウト変更を行う。その際、タツチパッド 4は、 表示手段 1上のレイアウトを変更するオブジェクトの選択、及びレイアウト変更処理を 終了するときにのみ使用される。
特許文献 1 :特開平 11 338120号公報
発明の開示
発明が解決しょうとする課題
[0004] し力しながら、前記従来の構成では、タツチディスプレイへの接触に基づいて、どの 画像 (画面）に対して操作を行うかが選択され、撮像手段により撮影された映像に基 づくジェスチャー認識に基づいて、機器の操作が行われるだけである。すなわち、ジ エスチヤ一認識のみで操作できる機能に限られるため、タツチディスプレイを複合的 に用いることによって可能となる複雑な機能の操作をすることは難しい。例えば、ジェ スチヤーに基づいて、どの画像 (画面）に対して操作を行うかを選択しつつ、タツチデ イスプレイへの接触に基づ 、て、機器の操作を行う等の多種多様な入力操作をする ことが困難であった。 [0005] 本発明は、前記従来の課題を解決するもので、接触入力手段とジェスチャー認識と を複合的に用いて、利用者に直感的で分力りやすいインターフェイスを提供するとと もに、複雑な入力操作が可能な装置を提供することを目的とする。
課題を解決するための手段
[0006] 本発明の第 1の局面は、ジェスチャー入力装置に向けられている。本発明は、操作 者の操作面への接触を検知する接触検知手段と、操作者のジェスチャーを認識する ジェスチャー認識手段と、制御命令と操作者の操作面への接触情報とを関連付けて 記憶する接触情報記憶手段と、制御命令と操作者のジェスチャーとを関連付けて記 憶するジェスチャー記憶手段と、制御命令を実行するタイミングと操作者の操作面へ の接触情報とを関連付けて記憶する接触情報タイミング記憶手段と、制御命令を実 行するタイミングと操作者のジェスチャーとを関連付けて記憶するジェスチャータイミ ング記憶手段と、接触検知手段で検知した接触情報、及び Z又はジェスチャー認識 手段で認識したジェスチャーに基づいて、接触情報記憶手段、及び Z又はジエスチ ヤー記憶手段を参照して、制御命令を決定する制御命令選択手段と、接触検知手 段で検知した接触情報、及び/又はジェスチャー認識手段で認識したジェスチャー に基づいて、接触情報タイミング記憶手段、及び Z又はジェスチャータイミング記憶 手段を参照して、制御命令を実行するタイミングを決定する命令実行タイミング決定 手段とを備える。
[0007] また、接触検知手段で検知した接触情報、及び Z又はジェスチャー認識手段で認 識したジェスチャー力 操作位置を決定する操作位置決定手段を更に備えることが 好ましい。
[0008] また、接触検知手段で検知した接触情報、及び Z又はジェスチャー認識手段で認 識したジェスチャー力 制御命令のパラメータを決定する制御パラメータ決定手段を 更に備えることが好ましい。
[0009] また、制御命令選択手段は、操作者のジェスチャー力 ジェスチャー特徴量を抽出 するジェスチャー特徴量抽出手段と、ジェスチャー特徴量と制御命令を対応させたジ エスチヤ一特徴量データベースとを更に含み、ジェスチャー特徴量に基づいて、ジェ スチヤー特徴量データベースを参照して、制御命令を選択することが好まし 、。 [ooio] また、ジェスチャー特徴量抽出手段は、操作者のジェスチャー形状、及び Z又はジ エスチヤ一動作力もジェスチャー特徴量を抽出することが好ましい。
[0011] また、ジェスチャー特徴量抽出手段は、操作者のジェスチャー形状カゝら重心位置を 算出し、重心位置とジェスチャー形状、及び Z又はジェスチャー動作カもジエスチヤ 一特徴量を抽出することが好ましい。
[0012] また、制御命令選択手段は、操作して!/、る指の本数、及び Z又はどの指で操作し て!、るかにより、制御命令を選択することが好まし 、。
[0013] また、操作者に画面を介して情報を提示する情報表示手段を更に備え、制御命令 選択手段は、手で画面を切るジェスチャーのときに 2画面表示をする制御命令を選 択し、制御パラメータ決定手段は、接触検知手段により検知された操作面の接触位 置から 2画面表示の境目を決定することが好ま 、。
[0014] また、操作者に情報を提示する情報表示手段を更に備え、制御命令選択手段は、 情報表示手段に表示された各機能選択ボタンに対応した位置の接触情報に基づい て、制御命令を決定することが好ましい。
[0015] また、制御パラメータ決定手段は、接触検知手段に接触が検知されているときのみ 操作者のジェスチャー力も制御命令のパラメータを決定することが好ましい。
[0016] また、操作者に情報を提示する情報表示手段を更に備え、命令実行タイミング決定 手段は、情報表示手段に表示された機能選択ボタンに対応した位置の接触情報に 基づ 、て、制御命令を実行するタイミングを決定することが好ま 、。
[0017] また、操作者に情報を提示する情報表示手段を更に備え、情報表示手段は、ジェ スチヤー入力受付可能な状態の時に、当該情報表示手段に表示された機能選択ボ タンに対応するジェスチャーのアニメーションを表示することが好ましい。
[0018] 本発明の第 2の局面は、ジェスチャー入力方法に向けられている。本発明は、操作 者の操作面への接触を検知する接触検知ステップと、操作者のジェスチャーを認識 するジェスチャー認識ステップと、接触検知ステップで検知した接触情報、及び/又 はジェスチャー認識ステップで認識したジェスチャーに基づ 、て、接触情報記憶部、 及び Z又はジェスチャー記憶部を参照して、制御命令を決定する制御命令選択ステ ップと、接触検知ステップで検知した接触情報、及び/又はジェスチャー認識ステツ プで認識したジェスチャーに基づいて、接触情報タイミング記憶部、及び/又はジェ スチヤータイミング記憶部を参照して、制御命令を実行するタイミングを決定する命令 実行タイミング決定ステップとを備える。
発明の効果
[0019] 本発明のジェスチャー入力装置によれば、利用者に直感的で分力りやすいインタ 一フェイスを提供するとともに、複雑な入力操作が可能な装置を提供することができ る。
図面の簡単な説明
[0020] [図 1]図 1は、本発明の実施の形態に力かるジェスチャー入力装置の構成を示すプロ ック図である。
[図 2]図 2は、本発明の実施の形態における機器の構成図である。
[図 3]図 3は、 1本の指で目的地を設定するときの操作図である。
[図 4]図 4は、指が指示している箇所を示すための表示の一例を示す図である。
[図 5]図 5は、 2本指で経由地を設定するときの操作図である。
[図 6]図 6は、画面表示を 2画面に分割するときの操作図である。
[図 7]図 7は、連続的なパラメータを変化させるときの操作図である。
[図 8]図 8は、図 7の操作の様子を横から見た図である。
[図 9]図 9は、画面表示を回転させるための操作図である。
[図 10]図 10は、図 9を横から見た図である。
[図 11]図 11は、指二本で画面をスクロールさせるときの操作図である。
[図 12]図 12は、図 11を横から見た図である。
[図 13]図 13は、画面上に表示されている表示物を移動させるためのジェスチャーを 示す図である。
[図 14]図 14は、図 13を横から見た図である。
[図 15]図 15は、 2画面表示を 1画面に戻すときの操作の一例を示す図である。
[図 16]図 16は、図 1のジェスチャー入力装置の処理概要を表すフローチャートである
[図 17]図 17は、図 16の制御命令選択処理の詳細フローチャートである。 [図 18]図 18は、予め機器側で用意しておく手形状のモデルを示す図である。
[図 19]図 19は、図 17の手形状認識処理の詳細フローチャートである。
[図 20]図 20は、図 17の手形状認識処理の指先の座標位置を決定する方法を説明 する図である。
[図 21]図 21は、図 17の手動作認識処理の詳細フローチャートである。
[図 22]図 22は、手を広げた状態から、 2本指を立てた状態へ変化する時のジエスチヤ 一特徴量の位置変化を示した図である。
[図 23]図 23は、図 17のジェスチャー認識処理の詳細フローチャートである。
[図 24]図 24は、制御命令を実行するタイミングを送信するジェスチャー入力の様子を 示した図である。
[図 25]図 25は、図 24を横から見た制御命令を送信しないときの様子を横力も見た図 である。
[図 26]図 26は、図 24を横から見た制御命令を送信するときの様子を示した図である
[図 27]図 27は、接触した指を軸に親指を回転させて、アプリケーションのノ メータを 設定するような制御命令の送信タイミングを説明する図である。
[図 28]図 28は、図 27を横から見た図である。
[図 29]図 29は、命令を実行するタイミングの検出にボタンを用いた一例を示す図であ る。
[図 30]図 30は、命令を実行するタイミングの検出にボタンを用いた場合にヘルプア- メーシヨンをボタンに付加する処理を示すフローチャートである。
[図 31]図 31は、命令を実行するタイミングの検出にボタンを用いた場合にヘルプア- メーシヨンをボタンに付加するヘルプ機能の様子を示す図である。
[図 32]図 32は、従来のジェスチャー入力手段を備えたレイアウト装置の構成を示す 図である。
符号の説明
1 表示手段
2 タツチパネルコントローラ 3 ラ 2、イスプレイコントローラ
4 タツチノくッド
5 撮像カメラ
6 動作認識部
7 制御部
101 撮像手段
102 接触検知手段
103 ジェスチャー形状認識手段
104 ジェスチャー動作認識手段
105 ジェスチャー認識部
106 制御命令選択手段
107 命令実行タイミング決定手段
108 制御部
109 情報提示手段
110 ジェスチャー特徴量データベース
112 操作位置決定手段
201 カメラ
202 タツチノヽッド
204 ディスプレイ
302 地図画像
304 カーソル
603 破線
1302 操作対象
1303 移動先の地点
1305 移動前の手
1306 移動後の手
1307 矢印型のアイコン
1501 表示画面 1503 矢印のアイコン
1504 動作後の状態
1801 指先座標
1802 重心座標
1803 指先座標と重心座標の距離
2001 肌色領域のエッジ
2002 円領域
2003 重心位置
2201、 2202 指先位置
2203 位置変化量ベクトル
2901 ジェスチャー開始ボタン
3101 ジェスチャーアニメーションボタン
発明を実施するための最良の形態
[0022] 以下、図面を参照して、本発明の実施の形態にかかるジェスチャー入力装置につ いて説明する。なお、各図面においては視認性を考慮して、本発明の実施に特に重 要でない要素は割愛されている。また、本実施の形態では、ジェスチャーとして操作 者の手形状、及び手動作を代表的な例として説明するが、これに限らない。ジエスチ ヤーは、身体形状を利用するものが一般的だが、特別な形状、色、材質等で製作さ れた専用の操作手段を用いても構わな 、。
[0023] (実施の形態）
図 1に示すように、本実施の形態における構成は、ジェスチャー形状、及び動作を 撮影するための撮像手段 101と、操作面の接触を検知する接触検知手段 102と、撮 像手段 101によって取得した映像力もジェスチャー形状を認識するジェスチャー形状 認識手段 103、及びジェスチャー動作認識手段 104からなるジェスチャー認識部 10 5と、認識されたジ スチヤ一から制御命令を選択する制御命令選択手段 106と、制 御命令を実行するタイミングを決定する命令実行タイミング決定手段 107と、制御命 令のパラメータを決定する制御パラメータ決定手段と、制御命令を実行するときに操 作位置が必要な場合に操作位置を決定する操作位置決定手段 112とからなる制御 部 108と、操作者に情報を提示する情報提示手段 109と、ジェスチャーと制御命令を 対応付ける情報を保持して 、るジェスチャー特徴量データベース 110からなる。
[0024] 図 2に本実施の形態の具体的な設置の様子を示す。手の形状と動作とを映像で取 得する撮像手段 101としてのカメラ 201は、接触検知手段 102としてのタツチノッド 2 02の上部が代表的な設置位置である力 手の形状と動きが正確に取得できる位置 に取り付けられているものとする。なお、撮像手段 101としては、可視光を取得する一 般的なカメラ以外に、手の形状と動作を取得するサーモセンサーや赤外線カメラ等を 用いても構わない。なお、サーモセンサを用いる場合には、人の手の温度が摂氏 35 〜36度と仮定して、その温度領域を手領域として取得する方法等が考えられる。ま た、赤外線カメラを用いる場合には、ある一定の閾値より高い値を示している箇所を 手領域として抽出する方法等がある。ジェスチャー特徴量データベース 110は、好ま しくは制御部 108に内蔵された記憶媒体、又は外部記憶媒体に格納されている。図 2では、外部記憶媒体が制御部 108に接続されている様子を示している。
[0025] 次に、個々の構成について説明する。接触検知手段 102は、操作者が直接操作す る操作部で一般的にはタツチパッド 202が用いられる。タツチパッド 202には、感圧式 、及び静電圧式等の方式があるが、どの方式でもよい。また、接触検知手段 102の操 作面上の位置と後述する情報提示手段 109の表示画面位置は対応付けられており 、接触検知手段 102の操作面上の位置を指定することで、情報提示手段 109に表示 されたメニュー等を選択することが可能となって 、る。
[0026] ジェスチャー認識部 105は、撮像手段 101によって取得した映像力もジェスチャー 形状を認識するものである力 詳細は後述する。
[0027] 制御命令選択手段 106は、ジェスチャー認識部 105によって認識されたジエスチヤ 一と接触検知手段 102により取得された接触情報とのどちらか、若しくは両方の情報 を用いて制御命令を選択する。
[0028] 命令実行タイミング決定手段 107は、ジェスチャー認識部 105によって認識された ジェスチャーと接触検知手段 102により取得された接触情報とのどちらか、若しくは 両方の情報を用いて制御命令を実行するタイミングの決定をする。
[0029] 制御パラメータ決定手段 111は、ジェスチャー認識部 105によって認識されたジェ スチヤー情報と接触検知手段 102により取得された接触情報とのどちらか、若しくは 両方の情報を用いて制御命令を実行するときに操作位置が必要な場合に操作位置 を決定をする。
[0030] 操作位置決定手段 112は、ジェスチャー認識部 105によって認識されたジエスチヤ 一と接触検知手段 102により取得された接触情報とのどちらか、若しくは両方の情報 を用いて制御命令を実行するときに操作位置が必要な場合に操作位置を決定をす る。
[0031] 制御部 108は、制御命令選択手段 106と命令実行タイミング決定手段 107と制御 ノ メータ決定手段 111と操作位置決定手段 112とから構成され、例えば、 CPU, R OM、 RAMで構成される。
[0032] 情報提示手段 109は、制御命令を実行した後の結果等の情報を操作者に教示す る。好ましくは、液晶や EL (エレクト口ルミネッセンス）等を用いたディスプレイである。 ここでは、情報提示手段 109を制御命令を実行した後の結果を提示することを主に 説明するが、制御命令は機器を操作するものであれば何でもよぐ例えば音声ボリュ ームの大小やエアコンの温度調整等でもよ 、。
[0033] 次に、具体的に操作するアプリケーションとして、地図アプリケーションを表示する 装置における操作状態の一例について説明する。
[0034] 図 3、図 4、図 5は、ジェスチャー認識部 105により認識された指の本数と接触検知 手段 102への入力を複合的に用いて、異なる機能を実行する例を示したものである 。図 3は、指 1本で接触検知手段 102をタツチすると、目的地が設定されることを示し た図である。具体的にさらに詳しく説明する。情報提示手段 109に地図画像 302を 表示した状態で、操作者がカーソル 304を操作することを想定する。操作者が指 1本 で接触検知手段 102に接触しない状態で動かすと、画面に表示されているカーソル 304は操作者の指の動きに合わせて動く。そして、指が接触検知手段 102にタツチさ れると、指で押下された位置が目的地として設定される。
[0035] ここで、目的地を設定する箇所を指定しやすくするため、ジェスチャー認識部 105 により認識された指等の座標と情報提示手段 109の座標とをジェスチャー認識処理 を始める最初の段階で校正しておき、カーソル 304を情報表示手段 109に表示して いる力 図 4に示すように、撮像手段 101で撮影した手形状をそのまま、若しくは CG に変換する等して輪郭部分等の特徴部分のみを画面に表示してもよい。ただし、手 形状を表示する際は、情報提示手段 109と接触検知手段 102とのスケールをあわせ て、手形状を表示することが望ましい。なお、後に述べる具体例では、すべてカーソ ル表示をする例を示している力 手形状をディスプレイに映すことは、すべての例で 可能である。
[0036] 図 5は、操作者が 2本の指で操作することにより経由地点が設定される例を示して いる。これは、制御命令選択手段 106がジェスチャー認識手段 105により認識された 指の本数により実行する制御命令が予め割り当てられることにより可能となる。つまり 、操作する指の本数が 1本の場合、目的地を設定する制御命令が割り当てられ、操 作する指の本数が 2本の場合、経由地点を設定する制御命令が割り当てられればよ い。その他の部分は、図 3、 4を用いて説明した例と同じである。なお、割り当てられる 制御命令は、目的地設定、及び経由地以外にも、地点登録等他のものでもよい。
[0037] また、ジェスチャー認識部 105によって、手形状認識を行うことで、どの指で操作し たかを認識し、指によって、実行する制御命令が選択されてもよい。手形状認識処理 、及び制御命令選択処理については、後に詳細に説明する。
[0038] 図 6は情報提示手段 109に表示している地図画面を 2つに分割するときに行うジェ スチヤー操作を示したものである。操作方法としては、手の形状を手刀状にし、接触 検知手段 102に接触させたときに、画面を 2分割するものである。制御命令は、手形 状により選択され、接触検知手段 102への接触により、切断する画面位置が決定さ れると共に制御命令が送信されるタイミングが決定される。この時、手が接触検知手 段 102に接触するまでは、現在の操作者の手の位置では、どこで画面が分割される かが破線 603等で予め表示されることが望ましい。この場合、撮像手段 101で撮像さ れた画像力 指先の位置等が検出され、検出された指先の位置から破線 603の表 示位置が決定されればよい。また、図 4で示したように、手形状が情報提示手段 109 にそのまま表示されてもよ!、。
[0039] 次に、図 7と図 8を用いて、接触検知手段 102による操作面への接触から制御命令 が選択され、ジェスチャー動作で制御命令のパラメータが決定される例を説明する。 図 7で示した例は、エアコンの温度設定が、親指を回転させることで操作される例で ある。まず、情報提示手段 109には、操作できる機能対象の一覧が提示されており、 操作者はその対象を指先で接触検知手段 102をタツチすることにより選択する。この 操作面への接触情報が制御部 108に入力され、制御命令選択手段 106により制御 命令が選択される。この時、指先がどの位置を指示している力が、カーソル 304で示 されてもよいし、手形状がそのまま表示されても構わない。そして、操作者は、図 8で 示すように指先を立て、手を回転させることで、親指を針に見立てて動かすジエスチ ヤーを行う。ジェスチャー動作認識手段 104により、この親指の動きが取得され、制御 ノ メータ決定手段により制御命令のパラメータ、ここでは例えば、設定温度や温度 変化量が決定される。このように、操作者は、親指の動きにより制御パラメータ (エアコ ンの温度の上下)を変化させることで、機器の操作を行う。
[0040] 次に、図 9を用いて、ジェスチャー形状で制御命令が選択され、接触検知手段 102 による操作面への接触力 制御命令の実行タイミングが決定され、ジェスチャー動作 で制御命令のパラメータが決定される例を説明する。図 9は、画面をつかんで、画面 の表示を回転させる操作状態を示したものである。操作者が、撮像手段 101により撮 影可能な範囲で情報提示手段 109をつかむような姿勢をすると、このジェスチャー形 状から画面を回転させる制御命令が選択される。そして、接触検知手段 102の操作 面上に手が接触することにより制御命令のタイミングが決定される。そして、手を回転 させるジェスチャー動作を行うことで、画面表示を回転させる角度等のパラメータが決 定される。なお、図 10で示すように、ジェスチャー動作中、制御命令を実行しているこ とを伝えるため、操作者の手は、接触検知手段 102に接している状態が望ましい。
[0041] 図 11は、情報提示手段 109に表示されている地図表示を図 11に示す矢印の方向 にスクロールさせる操作の一例である。操作者は、ジェスチャー動作として、接触検 知手段 102上で指を立てて、 2本指を交互に前後させる動作を行う。なお、図 12は 操作者の手がジェスチャーを行っているところを側面から見た図である。このように、 指の動きにより制御命令のパラメータであるスクロール量が決定されることも考えられ る。なお、制御命令の選択は、指を前後させる動作を行う前の止まった状態のジエス チヤ一から行われ、制御命令の実行タイミングの決定は指の接触により行われる。ま た、操作者の手は、接触検知手段 102にどちらかの指が接触していることが望ましく 、指が前後する動作を行う方向に合わせて地図表示のスクロール方向が決定されて ちょい。
[0042] 次に、画面上に表示されている、例えば自車位置、目的地、経由地、登録地点等 の表示物を移動させる操作の一例を図 13を用いて説明する。ここでは、情報提示手 段 109に表示されて 、る操作対象 1302を移動先の地点 1303に移動させる動作状 態を説明する。操作者は、移動前の手 1305で示すように、情報提示手段 109に表 示されている操作対象 1302を摘む動作を行う。このジェスチャーより制御命令が選 択され、さらに、接触検知手段 102へ接触することにより、位置が決定されると同時に 制御命令が実行される。このとき、操作対象 1302に選択されたことを操作者に教示 するために、矢印型のアイコン 1307が表示されることが好ましい。また、撮像手段 10 1で撮影した手形が図 4で示すような形で表示されても構わない。次に、その状態で 操作対象 1302の位置 1303への移動は、一旦、接触検知手段 102から手が離され 、再度手が位置 1306へ接触したときの移動に基づいて行われる。この場合、摘んだ 状態の手形状のまま移動させる動作により制御命令の選択が行われ、接触検知手 段 102への接触により位置が決定されると同時に制御命令が実行される。なお、操 作対象 1302の位置や移動量等の制御パラメータを決定するのに接触検知手段 10 2が用いられても構わない。
[0043] 次に、 2画面の表示を 1画面に戻すときの操作の一例を図 15を用いて示す。接触 検知手段 102上で図に示すように、操作者は、指先を開いて、 2つの画面それぞれ に指をおくような状態で手を接触検知手段 102上に置く。このとき、表示画面 1501 に、矢印のアイコン 1503で指先で押下している箇所が表示されてもよいし、また、図 4で示すように表示画面 1501に撮像手段 101で撮影した手が表示されても構わな い。次に、動作後の状態 1504に示すように、操作者は、指を閉じる動作を行うことで 、表示画面を一画面に戻す。この場合、操作対象の選択は、接触検知手段 102への 接触により行われ、制御命令の選択、及び制御命令の実行タイミングは、指を閉じる 動作により決定される。なお、指先を開いた手形状で制御命令の選択が行われ、指 先を閉じた手形状により制御命令の実行タイミングが決定されてもよい。 [0044] 次に、図 16のフローチャートを用いて、ジェスチャー入力装置の代表的な処理の流 れについて説明する。まず、操作者が接触検知手段 102上に手を移動させたときを 処理の開始タイミングとする（S1601)。このとき、操作者の手は、接触検知手段 102 に触れていなくてもよぐ撮像手段 101で取得した映像力も肌色領域を抽出して画面 内の一定の領域が肌色になったら、処理を開始するようにしても構わない。また、後 述する変形例のように、接触検知手段 102に接触することによりジェスチャー入力処 理が開始されるようにしてもよい。なお、撮像手段 101で撮影した手形状、動作を情 報提示手段 109に表示するようにする場合や、ジェスチャー形状又は動作により、操 作位置を指定するようにする場合、手形状の重心位置等を基準にして、座標系が校 正される。
[0045] 次に、制御命令選択手段 106は、手形状、及び手動作情報等のジェスチャーから 、機器に送信する制御命令選択処理を行う（S 1602)。なお、ジェスチャーによる制 御命令の選択処理の詳細は後述する。
[0046] 次に、制御命令が選択されたかどうかが判定される。ここで制御命令が選択されて いないと判定された場合には、ステップ S 1601にもどる（S 1603)。
[0047] ステップ S1603において、制御命令が選択されたと判定されたら、接触検知手段 1 02に入力される接触位置を取得する（S 1604)。ここで、接触検知手段 102から送信 される情報は、接触された力どうかの押下情報と接触位置との 2つの情報があること が望ましい。
[0048] 次に、接触位置が取得できた力どうかが判定される。ここで接触位置情報が取得さ れていなかったら、ステップ S1604に戻る（S1605)。その後、ステップ S1602の制 御命令選択処理で選択された制御命令は機器側に送信されず、操作者が接触検知 手段 102に接触するまで待機する。なお、一定時間以上、接触位置が取得されなか つた場合には、操作者が操作を実行する意思がないものとみなし、ステップ S1601 に戻る処理が行われてもよ 、。
[0049] 次に、ステップ S 1605で接触位置が取得されたと判定された場合、制御命令が機 器側に送信される（S1606)。前述したように、制御命令として、目的地設定、スクロ ール、 2画面表示等が挙げられる。以上の処理は、制御命令選択処理がジエスチヤ 一で行われ、操作位置の取得、及び制御命令実行タイミングの決定が接触検知手 段 102への接触により行われる流れで説明したが、制御命令選択、操作位置決定、 及び制御命令実行タイミング決定は、ジェスチャー認識と接触検知のどちらで行われ てもよく、それぞれの組合せも可能である。また、後述する制御命令のパラメータの決 定に関しても同様にどちらで決定されてもよい。
[0050] 次に、図 17を用いて、ジェスチャー認識による制御命令選択処理の流れについて 、詳細に説明する。
[0051] ここでは一例として、操作者の手によるジェスチャー形状又は動作により制御命令 が選択される場合を説明する。撮像手段 101により手形状や手動作等の映像を取得 する（S1701)。この時、撮像手段 101で取得する映像としては、カラー映像が望まし いが、撮像手段 101から取得する映像は、赤外線カメラを用いた近赤外線映像ゃサ ーモセンサを用いた温度領域でも構わない。本実施の形態では、 RGBの 3値を持つ カラー映像を用いることとし、後の処理は、カラー映像に対する処理を記載する。
[0052] 次に、撮像手段 101により撮影した映像から手形状の認識をする処理が行われる (
S1702)。認識された手形状からジェスチャー特徴量が抽出され、保存される。ジェ スチヤー特徴量とは、ジェスチャーを特定するための情報であり、ジェスチャー特徴 量データベースに制御命令と関連付けられて記憶されている。例えば、手形状の領 域や操作している指の本数、及び指先の位置情報等である。ここで操作している指と は、図 3で示すような指の形であるときの人差し指の状態のことを指す。手形状認識 処理につ \、ての詳細は後述する。
[0053] 次に、手形状が認識されたかどうかが判定される（S1703)。判定は、信頼度等を 用いて、認識された力どうかを確認することによって行われることが望ましい。信頼度 の一例として、図 18で示すような手形状のモデルが予め機器側で用意され、それぞ れの指先座標 1801と手の重心座標 1802が保存される。次に、指先座標 1801と重 心座標 1802の距離が求められ、指先座標と重心座標の距離 1803とが指標として用 いられる。ステップ S 1703において、手形状が認識された後に、それぞれの指の距 離を求められ、先に取得しておいた指標と比較して、ある閾値以上の差がある場合 は手形状が認識されたと判定されることなぐ処理が終了する。 [0054] 次に、ステップ S1703において手形状が認識されたと判定されたときは、手動作認 識処理が行われる（S 1704)。ここでも、手形状認識処理と同じように手動作に基づく ジェスチャー特徴量が保存される。手動作認識処理とは、手がどのような動作を行つ たかを判定する処理で、詳細については、後述する。
[0055] 次に、ステップ S1702又は S1704によって認識された手形状又は手動作のジエス チヤ一特徴量と、ジェスチャー特徴量データベース 110とが比較され、認識した手形 状又は手動作がどのジェスチャーであるかが判定される（S1705)。各ジェスチャー に対して、ジェスチャー特徴量と制御命令を予め対応させて記憶しておくことで、制 御命令が選択される（S 1706)。詳細については、後述する。
[0056] 次に図 17のフローチャートのステップ S1702の手形状認識処理について、図 19の フローチャート、及び図 20を用いて説明する。撮像手段 101で取得した画像データ から、肌色領域が取得される（S1901)。肌色領域の抽出法は、周知の方法を用いる ことができる。一例として、撮像手段 101で取得した RGB形式のデータを色相 '色彩' 明度に変換し、色相がある一定範囲にある画素を肌色として認識する等の方法等が ある。
[0057] 次に、ステップ S1901において取得した肌色領域力も指先の位置が取得される (S 1902)。図 20に示すように、肌色領域のエッジ 2001が算出され、そのエッジと円領 域 2002とのマッチングを取り、マッチング率がある閾値以上の箇所が指の位置候補 とされる。次に、肌色領域画像から手のひらの重心位置が取得され (S1903)、重心 位置 2003と指の位置との距離が算出され、ある閾値以内にある点が指先とされる。 ステップ S1904において、指先の位置と手のひら重心位置とがジェスチャー特徴量 として保存され、手形状認識処理は終了する。
[0058] 手動作認識処理について、図 21のフローチャート、及び図 22を用いて説明する。
ステップ S2101において、撮像手段 101により取得した映像から 1フレーム抽出され る。そして、手形状認識処理と同じように抽出したフレームのジェスチャー特徴量が取 得される（S2102)。ここで、各フレームでのジェスチャー特徴量の変化にそれほど大 きな変化がない場合には、何フレームかに一度ジェスチャー特徴量を算出する処理 が行われても構わない。次に、取得した各フレームのジェスチャー特徴量から位置変 化量ベクトルが算出される（S2103)。ステップ S2103の位置変化量ベクトルの算出 方法について、図 22を用いてさらに詳しく説明する。図 22は手を広げた状態から、 2 本指を立てた状態へ変化する時のジェスチャー特徴量の位置変化を示した図である 。指先位置 2201は、手形状を変える前 (手を広げた状態)の位置を示している。指先 位置 2202は、手形状を変えた後（2本指を立てた）の位置を示している。図 22に薄 Vヽ破線で示す矢印が位置変化量ベクトル 2203となる。この位置変化量ベクトル 220 3が手動作によるジェスチャー特徴量の一例として保存される（S2104)。ここで、重 心位置のずれを考慮して、重心位置の変化量を差し引くことで、指位置の変化量の みが取得される。その変化量が手動作によるジェスチャー特徴量として用いられても 構わない。
[0059] 次に、ステップ S1705のジェスチャー認識処理について、図 23を用いて詳細に説 明する。
[0060] ステップ S2301において、先の手形状認識処理又は手動作認識処理により算出し たジェスチャー特徴量が取得される。次に、ジェスチャー特徴量と制御命令が対応付 けられているジェスチャー特徴量データベース 110から、先のジェスチャー特徴量に 相当する制御命令が検索される（S2302)。このとき、ジェスチャー特徴量データべ ース 110は HDD等の外付けのストレージデバイスに保存されて!、ても構わな!/、。検 索の結果、一致するデータベースが存在しない場合は、処理が終了し、図 16の S16 01〖こ戻る。この検索の結果、一致するデータが存在したら、そのジェスチャーに対応 付けられている機器の制御命令が選択され、データとして保持される。この後、図 16 に示す処理に戻り、 S1604において、接触位置が取得できたら、それぞれの制御命 令が機器に送信される。
[0061] 次に、ステップ S 1606の制御命令を実行するタイミングを決定する命令実行タイミ ング決定手段 107について説明する。図 24、図 25、図 26は、一本の指で制御命令 が実行される様子を示している。この場合、制御命令が送信されるまでの処理の流れ は、指が一本だけ立っている状態が認識され、ジェスチャー特徴量として保存される 。この後、ジェスチャー認識処理によって、制御命令が選択されたら、図 25で示すよ うに、指先が浮いた状態であるうちは、制御命令は送信されない。そして図 26のよう にタツチパッドに接した時点で、制御命令は送信される。このように、接触検知手段 1 02が接触を検知することにより制御命令の実行タイミングが決定されてもよいし、ジェ スチヤー動作により実行タイミングが決定されてもよい。
[0062] 次に、図 27で示すような接触した指を軸に親指を回転させて、アプリケーションの 連続的なパラメータ等を設定する制御命令の送信タイミングを説明する。このようなジ エスチヤ一を用いるアプリケーションの場合は、図 6で示すように、好ましくは、どの部 分を押下するとどの機器のパラメータが設定されるかわ力るように予め画面に表示さ れるてもよい。そして、図 27に示すように、撮像手段 101により取得した映像から、ジ エスチヤ一認識処理によって、親指の指先の位置が初期値として登録される。つぎに 、操作者が連続的なパラメータを変化させるために親指を回転させた時、その回転 量がジェスチャー認識で常時認識され、タツチパッドで触れて 、るアプリケーションに ノ メータが送信される。このとき、接触した指先は図 28で示すように常にタツチパッ ドに触れており、随時ジェスチャー認識で認識された制御命令が送信されるようにな つている。
<変形例>
[0063] 図 29を用いて、情報表示手段 109に表示されたボタンを押下することにより処理が 開始される変形例について説明する。一例として、画面を 2画面に分ける操作を説明 する。情報表示手段 109にジェスチャー開始ボタン 2901が表示されている。なお、 ジェスチャー開始ボタン 2901は、機能を表した図等をボタンに描かれていることが望 ましい。例えば、画面を分ける操作を示すジェスチャー開始ボタン 2901として、鋏の 図がかかれており、このボタンを押下することで、画面を 2画面に分割する処理が開 始される。なお、ボタンの押下と同時に制御命令が選択されてもよいし、ボタンの押 下はジェスチャー入力処理の開始のみとし、その後のジェスチャーにより制御命令が 選択されるようにしてもよい。ボタンの押下と同時に制御命令が選択された場合、ジェ スチヤ一は分割位置を指定する操作となる。ジェスチャーにより制御命令が選択され る場合、その後の処理は、上述の実施の形態と同じとなる。
[0064] 次に、ボタンの押下によりジェスチャー入力処理を開始する場合を例に、ジエスチヤ 一開始ボタン 2901にどのようにジェスチャーを行ったらよいかのアニメーションが表 示される例について説明する。図 30は、処理の流れを示し、図 31は実際の操作の 様子を示している。まず、図 30のフローチャートにおいて、ボタンが押下されたかどう かが判定される（S3001)。ジェスチャー開始ボタンが押下されたことを接触検知手 段 102により検知すると、ジェスチャー入力処理が有効になる、ジェスチャー入力モ ードに移行する（S3002)。そして、図 31に示すように、ジェスチャーアニメーションボ タン 3101の表示が開始される（S3003)。ジェスチャーアニメーションボタン 3101は 、ジェスチャー入力モードに遷移している時、どのようにジェスチャーを行ったらよい かのアニメーションがボタン上に表示されているものである。操作者は、ボタンに表示 されたアニメーションを見て、ジェスチャーの方法を知ることができる。なお、ジエスチ ヤーアニメーションは、上述の実施の形態においても、制御命令のパラメータ入力時 等に補助的に表示されてもよい。
[0065] このようにボタンによりジェスチャー入力処理を開始することにより、操作者が機器 の操作をする目的ではなぐ接触検知手段 102上に手を移動させたとき等、操作者 の意図しな 、ジェスチャー入力モードの移行や、誤動作を防止することができる。
[0066] 上記実施の形態で説明した構成は、単に具体例を示すものであり、本願発明の技 術的範囲を制限するものではない。本願の効果を奏する範囲において、任意の構成 を採用することが可能である。
産業上の利用可能性
[0067] 本発明にカゝかる機器制御装置は、直感的で操作しやす ヽ機器のインターフェイス を提供することが可能になるので、直感的でわ力りやすいジェスチャー入力操作装置 を構成するのに有用である。

Claims

請求の範囲
[1] 操作者の操作面への接触を検知する接触検知手段と、
操作者のジェスチャーを認識するジェスチャー認識手段と、
制御命令と操作者の操作面への接触情報とを関連付けて記憶する接触情報記憶 手段と、
前記制御命令と操作者のジェスチャーとを関連付けて記憶するジェスチャー記憶 手段と、
前記制御命令を実行するタイミングと操作者の操作面への接触情報とを関連付け て記憶する接触情報タイミング記憶手段と、
前記制御命令を実行するタイミングと操作者のジェスチャーとを関連付けて記憶す るジェスチャータイミング記憶手段と、
前記接触検知手段で検知した接触情報、及び Z又は前記ジェスチャー認識手段 で認識したジェスチャーに基づいて、前記接触情報記憶手段、及び Z又は前記ジェ スチヤー記憶手段を参照して、前記制御命令を決定する制御命令選択手段と、 前記接触検知手段で検知した接触情報、及び Z又は前記ジェスチャー認識手段 で認識したジェスチャーに基づいて、前記接触情報タイミング記憶手段、及び Z又は 前記ジェスチャータイミング記憶手段を参照して、前記制御命令を実行するタイミング を決定する命令実行タイミング決定手段とを備える、ジェスチャー入力装置。
[2] 前記接触検知手段で検知した接触情報、及び Z又は前記ジェスチャー認識手段 で認識したジェスチャーカゝら操作位置を決定する操作位置決定手段を更に備えるこ とを特徴とする、請求項 1に記載のジェスチャー入力装置。
[3] 前記接触検知手段で検知した接触情報、及び Z又は前記ジェスチャー認識手段 で認識したジェスチャー力 前記制御命令のパラメータを決定する制御パラメータ決 定手段を更に備えることを特徴とする、請求項 1に記載のジェスチャー入力装置。
[4] 前記制御命令選択手段は、操作者のジェスチャー力 ジェスチャー特徴量を抽出 するジェスチャー特徴量抽出手段と、前記ジェスチャー特徴量と制御命令を対応さ せたジェスチャー特徴量データベースとを更に含み、前記ジェスチャー特徴量に基 づいて、前記ジェスチャー特徴量データベースを参照して、前記制御命令を選択す ることを特徴とする、請求項 1に記載のジェスチャー入力装置。
[5] 前記ジェスチャー特徴量抽出手段は、操作者のジェスチャー形状、及び Z又はジ エスチヤ一動作力もジェスチャー特徴量を抽出することを特徴とする、請求項 4に記 載のジェスチャー入力装置。
[6] 前記ジェスチャー特徴量抽出手段は、操作者のジェスチャー形状カゝら重心位置を 算出し、前記重心位置とジェスチャー形状、及び Z又はジェスチャー動作からジエス チヤ一特徴量を抽出することを特徴とする、請求項 5に記載のジェスチャー入力装置
[7] 前記制御命令選択手段は、操作して!/、る指の本数、及び Z又はどの指で操作して いるかにより、前記制御命令を選択することを特徴とする、請求項 1に記載のジエスチ ヤー入力装置。
[8] 操作者に画面を介して情報を提示する情報表示手段を更に備え、前記制御命令 選択手段は、手で画面を切るジェスチャーのときに 2画面表示をする制御命令を選 択し、前記制御パラメータ決定手段は、前記接触検知手段により検知された操作面 の接触位置から 2画面表示の境目を決定することを特徴とする、請求項 1に記載のジ エスチヤ一入力装置。
[9] 操作者に情報を提示する情報表示手段を更に備え、前記制御命令選択手段は、 前記情報表示手段に表示された各機能選択ボタンに対応した位置の前記接触情報 に基づいて、前記制御命令を決定することを特徴とする、請求項 1に記載のジエスチ ヤー入力装置。
[10] 前記制御パラメータ決定手段は、前記接触検知手段に接触が検知されているとき のみ操作者のジェスチャーから制御命令のパラメータを決定することを特徴とする、 請求項 3に記載のジェスチャー入力装置。
[11] 操作者に情報を提示する情報表示手段を更に備え、前記命令実行タイミング決定 手段は、前記情報表示手段に表示された機能選択ボタンに対応した位置の前記接 触情報に基づ ヽて、前記制御命令を実行するタイミングを決定することを特徴とする 、請求項 1に記載のジェスチャー入力装置。
[12] 操作者に情報を提示する情報表示手段を更に備え、前記情報表示手段は、ジエス チヤ一入力受付可能な状態の時に、当該情報表示手段に表示された機能選択ボタ ンに対応するジェスチャーのアニメーションを表示することを特徴とする請求項 1又は 請求項 2に記載のジェスチャー入力装置。
操作者の操作面への接触を検知する接触検知ステップと、
操作者のジェスチャーを認識するジェスチャー認識ステップと、
前記接触検知ステップで検知した接触情報、及び Z又は前記ジェスチャー認識ス テツプで認識したジェスチャーに基づいて、接触情報記憶部、及び/又はジエスチヤ 一記憶部を参照して、前記制御命令を決定する制御命令選択ステップと、
前記接触検知ステップで検知した接触情報、及び Z又は前記ジェスチャー認識ス テツプで認識したジェスチャーに基づいて、接触情報タイミング記憶部、及び/又は ジェスチャータイミング記憶部を参照して、前記制御命令を実行するタイミングを決定 する命令実行タイミング決定ステップとを備える、ジェスチャー入力方法。
PCT/JP2006/323456 2005-11-25 2006-11-24 ジェスチャー入力装置、及び方法 WO2007061057A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-339957 2005-11-25
JP2005339957A JP2009042796A (ja) 2005-11-25 2005-11-25 ジェスチャー入力装置および方法

Publications (1)

Publication Number Publication Date
WO2007061057A1 true WO2007061057A1 (ja) 2007-05-31

Family

ID=38067281

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/323456 WO2007061057A1 (ja) 2005-11-25 2006-11-24 ジェスチャー入力装置、及び方法

Country Status (2)

Country Link
JP (1) JP2009042796A (ja)
WO (1) WO2007061057A1 (ja)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010102381A (ja) * 2008-10-21 2010-05-06 Casio Hitachi Mobile Communications Co Ltd 携帯端末及びプログラム
WO2010098050A1 (ja) * 2009-02-25 2010-09-02 日本電気株式会社 電子機器のインターフェース、電子機器、並びに電子機器の操作方法、操作プログラム及び操作システム
JP2011525665A (ja) * 2008-06-24 2011-09-22 マイクロソフト コーポレーション ユーザーインターフェイス表示上での教示動画の表示
JP2011203944A (ja) * 2010-03-25 2011-10-13 Denso Wave Inc 光学的情報読取装置及び情報処理端末
JP2011530135A (ja) * 2008-08-04 2011-12-15 マイクロソフト コーポレーション 表面コンピューティングのためのユーザ定義のジェスチャセット
JP2012022670A (ja) * 2010-07-16 2012-02-02 Compal Communication Inc 人−マシンインタラクションシステム
JP2012048698A (ja) * 2010-08-30 2012-03-08 Samsung Electro-Mechanics Co Ltd タッチパネルの駆動制御方法
JP2012508427A (ja) * 2008-11-12 2012-04-05 アップル インコーポレイテッド 表面に載せた手に合わせたジェスチャーの発生
CN102591517A (zh) * 2010-12-17 2012-07-18 Lg电子株式会社 移动终端和控制移动终端的方法
JP2012526328A (ja) * 2009-05-04 2012-10-25 オブロング・インダストリーズ・インコーポレーテッド 三空間入力の検出、表現、および解釈：自由空間、近接、および表面接触モードを組み込むジェスチャ連続体
JP2013154767A (ja) * 2012-01-30 2013-08-15 Mitsubishi Electric Corp 車載メータ編集装置
JP2013175216A (ja) * 2013-04-17 2013-09-05 Casio Comput Co Ltd 電子機器およびプログラム
JP2013541110A (ja) * 2011-09-27 2013-11-07 イーロ・タッチ・ソリューションズ・インコーポレイテッド ジェスチャベースの入力のスケーリング
KR20140001981A (ko) * 2011-01-07 2014-01-07 마이크로소프트 코포레이션 스프레드시트 액션을 위한 자연 입력
CN103608760A (zh) * 2011-06-03 2014-02-26 谷歌公司 用于选择文本的手势
JP2016153250A (ja) * 2015-02-20 2016-08-25 クラリオン株式会社 情報処理装置
US9448714B2 (en) 2011-09-27 2016-09-20 Elo Touch Solutions, Inc. Touch and non touch based interaction of a user with a device
US9514116B2 (en) 2011-11-04 2016-12-06 Microsoft Technology Licensing, Llc Interaction between web gadgets and spreadsheets
US9898117B2 (en) 2012-12-10 2018-02-20 Invisage Technologies, Inc. Sensors and systems for the capture of scenes and events in space and time
US10061505B2 (en) 2013-05-23 2018-08-28 Alpine Electronics, Inc. Electronic device and operation input method
WO2020095876A1 (ja) * 2018-11-05 2020-05-14 京セラドキュメントソリューションズ株式会社 画像形成装置、数値カウント方法
US10664652B2 (en) 2013-06-15 2020-05-26 Microsoft Technology Licensing, Llc Seamless grid and canvas integration in a spreadsheet application
US11294470B2 (en) 2014-01-07 2022-04-05 Sony Depthsensing Solutions Sa/Nv Human-to-computer natural three-dimensional hand gesture based navigation method
US11513601B2 (en) 2012-07-13 2022-11-29 Sony Depthsensing Solutions Sa/Nv Method and system for human-to-computer gesture based simultaneous interactions using singular points of interest on a hand

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4840620B2 (ja) 2009-04-30 2011-12-21 株式会社デンソー 車載用電子機器操作装置
US10705692B2 (en) * 2009-05-21 2020-07-07 Sony Interactive Entertainment Inc. Continuous and dynamic scene decomposition for user interface
DE102009024656A1 (de) * 2009-06-12 2011-03-24 Volkswagen Ag Verfahren zum Steuern einer grafischen Benutzerschnittstelle und Bedienvorrichtung für eine grafische Benutzerschnittstelle
WO2011093317A1 (ja) * 2010-01-29 2011-08-04 新世代株式会社 画像処理装置、画像処理方法、コンピュータプログラム、記録媒体、画像処理モジュール、及び、電子機器
WO2011142317A1 (ja) * 2010-05-11 2011-11-17 日本システムウエア株式会社 ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体
JP5812582B2 (ja) * 2010-07-20 2015-11-17 キヤノン株式会社 情報処理装置および情報処理方法
JP5658500B2 (ja) * 2010-07-26 2015-01-28 キヤノン株式会社 情報処理装置及びその制御方法
JP5655515B2 (ja) 2010-11-11 2015-01-21 ソニー株式会社 情報処理装置、テーブル、表示制御方法、プログラム、携帯端末、及び情報処理システム
JP5720231B2 (ja) * 2010-12-17 2015-05-20 オムロン株式会社 画像処理装置および方法、並びにプログラム
JP5561145B2 (ja) * 2010-12-17 2014-07-30 オムロン株式会社 画像処理装置および方法、並びにプログラム
JP5429198B2 (ja) * 2011-01-12 2014-02-26 コニカミノルタ株式会社 画像処理装置、画像形成システム、および制御プログラム
JP5709228B2 (ja) * 2011-04-28 2015-04-30 Ｎｅｃソリューションイノベータ株式会社 情報処理装置、情報処理方法及びプログラム
JP5311080B2 (ja) * 2011-05-23 2013-10-09 株式会社デンソー 車載用電子機器操作装置
CN102841733B (zh) * 2011-06-24 2015-02-18 株式会社理光 虚拟触摸屏系统以及自动切换交互模式的方法
WO2013055777A1 (en) * 2011-10-10 2013-04-18 Edward Hartley Sargent Capture of events in space and time
JP5801177B2 (ja) * 2011-12-19 2015-10-28 シャープ株式会社 情報処理装置の入力方法、及び情報処理装置
JP5174978B1 (ja) * 2012-04-26 2013-04-03 株式会社三菱東京Ｕｆｊ銀行 情報処理装置、電子機器およびプログラム
DE112012006892T5 (de) * 2012-09-12 2015-06-11 Toyota Jidosha Kabushiki Kaisha Mobiles Endgerät, Fahrzeugvorrichtung und Fahrzeugsystem
JP6004868B2 (ja) * 2012-09-27 2016-10-12 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US9170676B2 (en) * 2013-03-15 2015-10-27 Qualcomm Incorporated Enhancing touch inputs with gestures
JP6155786B2 (ja) * 2013-04-15 2017-07-05 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識方法、電子機器、制御プログラムおよび記録媒体
US9069415B2 (en) * 2013-04-22 2015-06-30 Fuji Xerox Co., Ltd. Systems and methods for finger pose estimation on touchscreen devices
JP6287382B2 (ja) * 2014-03-12 2018-03-07 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
JP6349800B2 (ja) * 2014-03-12 2018-07-04 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
US9692968B2 (en) 2014-07-31 2017-06-27 Invisage Technologies, Inc. Multi-mode power-efficient light and gesture sensing in image sensors
JP6643825B2 (ja) * 2014-08-25 2020-02-12 キヤノン株式会社 装置及び方法
US10310675B2 (en) 2014-08-25 2019-06-04 Canon Kabushiki Kaisha User interface apparatus and control method
WO2016038953A1 (ja) 2014-09-10 2016-03-17 ソニー株式会社 検出装置、検出方法、制御装置、および制御方法
CN104408743A (zh) * 2014-11-05 2015-03-11 百度在线网络技术（北京）有限公司 图像分割方法和装置
JP6391486B2 (ja) * 2015-01-30 2018-09-19 アルパイン株式会社 情報処理装置、操作制御システムおよび操作制御方法
US9823750B2 (en) * 2015-03-23 2017-11-21 Visteon Global Technologies, Inc. Capturing gesture-based inputs
JP6478796B2 (ja) * 2015-05-14 2019-03-06 三菱電機株式会社 セルフプリント端末
JP6579866B2 (ja) * 2015-08-31 2019-09-25 キヤノン株式会社 情報処理装置とその制御方法、プログラム、記憶媒体
JP6538961B2 (ja) 2016-03-04 2019-07-03 株式会社ソニー・インタラクティブエンタテインメント 制御装置
US10901496B2 (en) 2016-05-25 2021-01-26 Sony Interactive Entertainment Inc. Image processing apparatus, image processing method, and program
EP3617845A4 (en) * 2017-04-27 2020-11-25 Sony Interactive Entertainment Inc. CONTROL DEVICE, DATA PROCESSING SYSTEM, CONTROL PROCESS AND PROGRAM
JP2019000589A (ja) * 2017-06-20 2019-01-10 キヤノンメディカルシステムズ株式会社 Ｘ線診断装置
WO2019077652A1 (ja) 2017-10-16 2019-04-25 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、コントローラデバイス、及び情報処理装置
JP6439953B1 (ja) * 2018-03-11 2018-12-19 求 藤川 判定装置、判定装置の制御方法
CN109000340B (zh) * 2018-08-14 2020-03-06 珠海格力电器股份有限公司 电器的控制器及其控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07182101A (ja) * 1993-10-26 1995-07-21 Itu Res Inc グラフィック入力装置および方法、グラフィックオブジェクト操作方法、グラフィック入力信号供給方法
JP2004046311A (ja) * 2002-07-09 2004-02-12 Nippon Telegr & Teleph Corp <Ntt> ３次元仮想空間におけるジェスチャ入力方法およびその装置
JP2004287886A (ja) * 2003-03-24 2004-10-14 Seiko Instruments Inc 表示選択装置とこれを用いた携帯電話機及び電子機器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07182101A (ja) * 1993-10-26 1995-07-21 Itu Res Inc グラフィック入力装置および方法、グラフィックオブジェクト操作方法、グラフィック入力信号供給方法
JP2004046311A (ja) * 2002-07-09 2004-02-12 Nippon Telegr & Teleph Corp <Ntt> ３次元仮想空間におけるジェスチャ入力方法およびその装置
JP2004287886A (ja) * 2003-03-24 2004-10-14 Seiko Instruments Inc 表示選択装置とこれを用いた携帯電話機及び電子機器

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011525665A (ja) * 2008-06-24 2011-09-22 マイクロソフト コーポレーション ユーザーインターフェイス表示上での教示動画の表示
KR101548524B1 (ko) 2008-06-24 2015-09-01 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 사용자 인터페이스 디스플레이 상의 교육 애니메이션들의 렌더링
JP2011530135A (ja) * 2008-08-04 2011-12-15 マイクロソフト コーポレーション 表面コンピューティングのためのユーザ定義のジェスチャセット
JP2010102381A (ja) * 2008-10-21 2010-05-06 Casio Hitachi Mobile Communications Co Ltd 携帯端末及びプログラム
US8502785B2 (en) 2008-11-12 2013-08-06 Apple Inc. Generating gestures tailored to a hand resting on a surface
JP2012508427A (ja) * 2008-11-12 2012-04-05 アップル インコーポレイテッド 表面に載せた手に合わせたジェスチャーの発生
WO2010098050A1 (ja) * 2009-02-25 2010-09-02 日本電気株式会社 電子機器のインターフェース、電子機器、並びに電子機器の操作方法、操作プログラム及び操作システム
JP2012526328A (ja) * 2009-05-04 2012-10-25 オブロング・インダストリーズ・インコーポレーテッド 三空間入力の検出、表現、および解釈：自由空間、近接、および表面接触モードを組み込むジェスチャ連続体
JP2011203944A (ja) * 2010-03-25 2011-10-13 Denso Wave Inc 光学的情報読取装置及び情報処理端末
JP2012022670A (ja) * 2010-07-16 2012-02-02 Compal Communication Inc 人−マシンインタラクションシステム
JP2012048698A (ja) * 2010-08-30 2012-03-08 Samsung Electro-Mechanics Co Ltd タッチパネルの駆動制御方法
CN102591517A (zh) * 2010-12-17 2012-07-18 Lg电子株式会社 移动终端和控制移动终端的方法
EP2466441A3 (en) * 2010-12-17 2013-07-03 LG Electronics Inc. Mobile terminal and method for controlling the same
US8884893B2 (en) 2010-12-17 2014-11-11 Lg Electronics Inc. Mobile terminal and method for controlling the same
JP2014501996A (ja) * 2011-01-07 2014-01-23 マイクロソフト コーポレーション スプレッドシート・アクションのための自然な入力
KR101955433B1 (ko) * 2011-01-07 2019-03-08 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 스프레드시트 액션을 위한 자연 입력 기법
US9747270B2 (en) 2011-01-07 2017-08-29 Microsoft Technology Licensing, Llc Natural input for spreadsheet actions
US10732825B2 (en) 2011-01-07 2020-08-04 Microsoft Technology Licensing, Llc Natural input for spreadsheet actions
KR20140001981A (ko) * 2011-01-07 2014-01-07 마이크로소프트 코포레이션 스프레드시트 액션을 위한 자연 입력
CN103608760A (zh) * 2011-06-03 2014-02-26 谷歌公司 用于选择文本的手势
US10642458B2 (en) 2011-06-03 2020-05-05 Google Llc Gestures for selecting text
JP2013541110A (ja) * 2011-09-27 2013-11-07 イーロ・タッチ・ソリューションズ・インコーポレイテッド ジェスチャベースの入力のスケーリング
US9448714B2 (en) 2011-09-27 2016-09-20 Elo Touch Solutions, Inc. Touch and non touch based interaction of a user with a device
US9514116B2 (en) 2011-11-04 2016-12-06 Microsoft Technology Licensing, Llc Interaction between web gadgets and spreadsheets
JP2013154767A (ja) * 2012-01-30 2013-08-15 Mitsubishi Electric Corp 車載メータ編集装置
US11513601B2 (en) 2012-07-13 2022-11-29 Sony Depthsensing Solutions Sa/Nv Method and system for human-to-computer gesture based simultaneous interactions using singular points of interest on a hand
US9898117B2 (en) 2012-12-10 2018-02-20 Invisage Technologies, Inc. Sensors and systems for the capture of scenes and events in space and time
JP2013175216A (ja) * 2013-04-17 2013-09-05 Casio Comput Co Ltd 電子機器およびプログラム
US10061505B2 (en) 2013-05-23 2018-08-28 Alpine Electronics, Inc. Electronic device and operation input method
US10664652B2 (en) 2013-06-15 2020-05-26 Microsoft Technology Licensing, Llc Seamless grid and canvas integration in a spreadsheet application
US11294470B2 (en) 2014-01-07 2022-04-05 Sony Depthsensing Solutions Sa/Nv Human-to-computer natural three-dimensional hand gesture based navigation method
JP2016153250A (ja) * 2015-02-20 2016-08-25 クラリオン株式会社 情報処理装置
WO2020095876A1 (ja) * 2018-11-05 2020-05-14 京セラドキュメントソリューションズ株式会社 画像形成装置、数値カウント方法
JPWO2020095876A1 (ja) * 2018-11-05 2021-09-24 京セラドキュメントソリューションズ株式会社 画像形成装置、数値カウント方法
JP7215488B2 (ja) 2018-11-05 2023-01-31 京セラドキュメントソリューションズ株式会社 画像形成装置、数値カウント方法

Also Published As

Publication number Publication date
JP2009042796A (ja) 2009-02-26

Similar Documents

Publication Publication Date Title
WO2007061057A1 (ja) ジェスチャー入力装置、及び方法
US11048333B2 (en) System and method for close-range movement tracking
US8666115B2 (en) Computer vision gesture based control of a device
EP2620849B1 (en) Operation input apparatus, operation input method, and program
US9367202B2 (en) Information processing method and electronic device
US9910498B2 (en) System and method for close-range movement tracking
KR101227610B1 (ko) 화상인식장치 및 조작판정방법과 이를 위한 프로그램을 기록한 컴퓨터 판독가능한 기록매체
US9164578B2 (en) Input device for operating graphical user interface
KR101947034B1 (ko) 휴대 기기의 입력 장치 및 방법
US20150062006A1 (en) Feature tracking for device input
US9354780B2 (en) Gesture-based selection and movement of objects
WO2007088939A1 (ja) 情報処理装置
US20120306740A1 (en) Information input device using virtual item, control method therefor, and storage medium storing control program therefor
WO2006104132A1 (ja) ユーザインタフェイスシステム
KR20130105725A (ko) 콘텐츠의 양 손 제어에 기반한 컴퓨터 비전
CN104267907B (zh) 多操作系统间应用程序的启动或切换方法、系统和终端
KR20150022003A (ko) 단말 및 인터페이스 조작 관리 방법
US20140053115A1 (en) Computer vision gesture based control of a device
JP2004078977A (ja) インターフェイス装置
JP2012027515A (ja) 入力方法及び入力装置
CN105589636A (zh) 用于在触摸屏上实现虚拟指针控制的方法和移动终端
CN103677442B (zh) 键盘装置及电子装置
JP5158152B2 (ja) 操作入力装置
JP5062898B2 (ja) ユーザインタフェイス装置
KR101381366B1 (ko) 동작 인식 리모트 컨트롤러 장치 및 그 구동 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 06833260

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP