WO2017017938A1 - ジェスチャ操作システム、方法およびプログラム - Google Patents

ジェスチャ操作システム、方法およびプログラム Download PDF

Info

Publication number
WO2017017938A1
WO2017017938A1 PCT/JP2016/003418 JP2016003418W WO2017017938A1 WO 2017017938 A1 WO2017017938 A1 WO 2017017938A1 JP 2016003418 W JP2016003418 W JP 2016003418W WO 2017017938 A1 WO2017017938 A1 WO 2017017938A1
Authority
WO
WIPO (PCT)
Prior art keywords
instruction
gesture
gesture input
operator
hand
Prior art date
Application number
PCT/JP2016/003418
Other languages
English (en)
French (fr)
Inventor
藤原　直樹
祐司 篠村
泉　賢二
Original Assignee
島根県
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 島根県 filed Critical 島根県
Publication of WO2017017938A1 publication Critical patent/WO2017017938A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present invention relates to a gesture operation system, a gesture operation method, and a gesture operation program for performing a predetermined operation on an operation target according to a gesture input by an operator.
  • a touch panel, a remote control device, a steering switch, a voice input device, and the like are used to operate a vehicle-related device such as a vehicle-mounted audio device or a navigation device while the vehicle is running. Yes.
  • a touch panel or using a remote control device the screen must be watched, and there is danger during operation.
  • a steering switch is used, operations corresponding to multiple functions are complicated, and the number and arrangement of switches therefor are limited, and if the number of switches is increased, there is a risk that the switches must be searched visually.
  • Patent Documents 1, 2, 3, 4, and 5 it has been proposed to perform a gesture input, that is, a predetermined input by movement of a part of a human body such as a hand.
  • the gesture input in the present invention is not limited to hand input.
  • the operator gives an instruction about the operation of the equipment related to the vehicle by the gesture input on the display screen on which the sensor for detecting the gesture input is arranged.
  • the sensor senses the operation instruction, and performs a predetermined operation corresponding to the operation instruction on the device according to the gesture input.
  • an object of the present invention is to overcome the drawbacks of the conventional gesture input described above, and to provide a system, method, and program for gesture operation with high operability, safety, and recognition rate of operation instructions. It is to provide.
  • an object of the present invention is to provide a system, method, and program for gesture operation that enables accurate operation instructions by gesture input while maintaining safe maneuverability for a moving body such as a car.
  • a gesture operation system includes a steering device for a moving body, an imaging unit for imaging a hand of an operator who operates the steering device, a steering device and an operation imaged by the imaging unit.
  • a gesture input instruction for a predetermined operation on a predetermined operation target related to the moving body by the operator's hand in relation to the steering device based on imaging data of the user's hand An instruction area that generates a possible instruction area, arranges the generated instruction area in accordance with the relationship between the steering device and the operator's hand, and assigns the instruction area to at least one predetermined sub instruction area Open the reception window for accepting the gesture input by the setting unit and the operator's hand, and accept the gesture input.
  • the reception window is generated by closing the reception window and prohibiting the subsequent reception of gesture input, and the reception window is opened and the reception of the gesture input is permitted.
  • a recognition unit that receives imaging data from the imaging unit and recognizes a gesture input by the hand in the sub instruction area, and a predetermined operation on the gesture input and a predetermined operation target.
  • a table storing correspondences with instruction contents; and an operation instruction unit that identifies the instruction contents corresponding to the recognized gesture input by collating the table, and according to the instruction contents of the accepted gesture input, A predetermined operation is performed on a predetermined operation target.
  • a gesture operation method includes a steering device for a moving body, an imaging unit that images an operator's hand operating the steering device, and permission to accept a gesture input by the operator's hand.
  • a gesture operation system comprising a switch for generating and a table storing correspondences between the gesture input and a predetermined operation for a predetermined operation target, a gesture performed by the operator's hand
  • a gesture performed by the operator's hand In response to an input, instructing to perform a predetermined operation on a predetermined operation target, in performing an operation by a gesture, based on the steering device imaged by the imaging unit and the imaging data of the operator's hand, Predetermining a predetermined operation target related to the moving body by the operator's hand in relation to the steering device
  • An instruction area capable of accepting an instruction of gesture input regarding the operation is generated, the generated instruction area is arranged according to the relationship between the steering device and the operator's hand, and the instruction area is determined in advance.
  • the imaging data from the imaging unit is received and the gesture input by the hand in the sub instruction area is recognized.
  • an operation instruction step for identifying the instruction content corresponding to the gesture input recognized in the recognition step by comparing the table, and the predetermined gesture input instruction content is determined in advance. A predetermined operation is performed on the operation target.
  • the gesture operation program includes a steering device for a moving body, an imaging unit that images an operator's hand that operates the steering device, and permission to accept a gesture input by the operator's hand.
  • a gesture operation system including a switch for generating and a table storing correspondence between the gesture input and a predetermined operation content for a predetermined operation target.
  • the steering device When instructing to perform a predetermined operation with respect to a predetermined operation object in response to a gesture input by the control unit, based on the steering device imaged by the imaging unit and the imaging data of the operator's hand, the steering device In relation to a predetermined operation on a predetermined operation object related to the moving body by the operator's hand, An instruction area capable of receiving an instruction for gesture input is generated, the generated instruction area is arranged in accordance with the relationship between the steering device and the operator's hand, and at least one of the instruction areas is predetermined.
  • the instruction area setting step to be assigned to the sub instruction area is opened, and the reception window for allowing the gesture input by the operator's hand is opened to accept the gesture input.
  • a step of generating a reception window that closes the reception window and prohibits subsequent reception of gesture input according to the determined operation pattern; and a state in which the reception window is opened and reception of the gesture input is permitted A recognition step for receiving imaging data from the imaging unit and recognizing gesture input by the hand in the sub instruction area. And an operation instruction step for identifying the instruction content corresponding to the gesture input recognized in the recognition step by comparing the table, and the predetermined operation according to the instruction content of the accepted gesture input. Perform a predetermined operation on the object.
  • a recognition determination unit for determining whether or not the gesture input instruction content recognized by the recognition unit is an instruction of an intended operation.
  • the reception window generator has a switch that can be activated and deactivated by an operator, opens the reception window by energizing the switch, and closes the reception window by deactivation of the switch. be able to.
  • the reception window generator has a switch that can be activated and deactivated by an operator, opens the reception window in response to the activation of the switch and the deactivation following the activation, and the switch The reception window can be closed when a predetermined time has elapsed since the deactivation following the energization.
  • the reception window generator has a switch that can be activated and deactivated by an operator, opens the reception window in response to the activation of the switch and the deactivation following the activation, and the switch When re-energized and de-energized following the energization, the reception window can be closed.
  • the instruction area can be divided into a plurality of sub instruction areas.
  • the number of the sub instruction areas may be determined in correspondence with the predetermined operation target.
  • the instruction area can be determined according to the relationship between the operator's hand and the steering device.
  • the instruction area may be determined following the relationship between the operator's hand and the steering device. it can.
  • An output unit may be further provided that outputs a determination result when the recognition determination unit determines whether or not the instruction input instruction is an intended operation instruction.
  • the present invention it is possible to give an operation instruction without releasing a hand from a steering body of a moving body such as a car, and the operation instruction only needs to be performed according to a simple rule. Gesture input acceptance start and end can be reliably performed by a switch input or the like, so that the gesture input is less likely to be erroneously recognized. Therefore, according to the present invention, it is possible to give an accurate operation instruction by a gesture input while maintaining a safe maneuverability with respect to the moving body.
  • FIG. 1 It is a block diagram which shows an example of a structure of the gesture operation system which concerns on embodiment of this invention. It is explanatory drawing which shows an example which mounted the gesture operation system shown in FIG. 1 in the motor vehicle as an example of a mobile body. It is explanatory drawing which shows an example of switch operation. It is explanatory drawing which shows an example of switch operation. It is explanatory drawing which shows on the time-axis the form of the reception window of gesture input defined based on the operation pattern of switch operation. It is explanatory drawing which shows on the time-axis the form of the reception window of gesture input defined based on the operation pattern of switch operation. It is explanatory drawing which shows on the time-axis the form of the reception window of gesture input defined based on the operation pattern of switch operation. It is explanatory drawing which shows on the time-axis the form of the reception window of gesture input defined based on the operation pattern of switch operation.
  • FIG. 10 is a diagram for describing an example of gesture input performed to fast-forward a song being played in the operation pattern 1; It is a figure for demonstrating the example of the gesture input performed in order to switch the music in reproduction
  • FIG. It is a figure for demonstrating the example of the gesture input performed in order to switch the music in reproduction
  • FIG. It is a figure for demonstrating the example of the gesture input performed in order to reduce a map in the operation pattern 1.
  • FIG. It is a figure for demonstrating the example in case an instruction
  • FIG. 6 is a diagram for explaining an operation example of a column switch when the column switch is used as a switch 32.
  • FIG. 6 is a diagram for explaining an operation example of a column switch when the column switch is used as a switch 32.
  • FIG. 6 is a diagram for explaining an operation example of a column switch when the column switch is used as a switch 32.
  • FIG. 6 is a diagram for explaining an operation example of a column switch when the column switch is used as a switch 32.
  • FIG. 6 is a diagram for explaining an operation example of a column switch when the column switch is used as a switch 32.
  • FIG. It is a figure for demonstrating the example of arrangement
  • the gesture operation system 1 gives an operation instruction to a specific device related to the moving body in response to a gesture input by a driver, that is, an operator of the gesture operation system 1.
  • a driver that is, an operator of the gesture operation system 1.
  • an instruction operation is performed on the car navigation device 4 mounted on a car.
  • FIG. 1 is a block diagram illustrating a configuration example of a gesture operation system 1 according to an embodiment of the present invention.
  • FIG. 2 is an explanatory diagram showing a part related to gesture operation of an automobile equipped with the gesture operation system of FIG.
  • 4 is a navigation device
  • 5 is a steering wheel
  • 6 is an instrument panel (instrument panel)
  • 7 is a head-up display (HUD) disposed on the windshield 8 so that the driver can see it.
  • 31 is arranged on the instrument panel 6 and senses a gesture input
  • 32 is arranged on the steering wheel 5
  • 34 is for a navigation device and a gesture
  • a speaker for indicating by voice whether or not the input is correctly recognized
  • 42 is a display of the car navigation device 4.
  • a gesture operation system 1 includes a central processing unit (CPU: Central Processing Unit) 11, a read-only memory (ROM: Read Only Memory) 12, and a random access memory (RAM: Random Access Memory) 13.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • a sensor 31 that senses a gesture input
  • an on / off switch 32 that directs a reception window for the gesture input
  • a display unit 33 that includes the instrument panel 6, the HUD 7, and the display 42 of the car navigation device 4, and navigation processing.
  • the unit 41 and the speaker 34 are included.
  • a car navigation device is illustrated as a target device for instructing operation by gesture input, but the present invention is not limited to this example, and for example, music, television, radio, telephone,
  • lamps such as indoor lights, headlights, etc.
  • any vehicle related devices such as the engine of the vehicle itself, door lock device, wiper, seat adjustment device, air conditioning device, power window, trunk opening / closing device Is also applicable, and the operation of these devices can be performed by gesture input.
  • the navigation processing unit 41 may be a single navigation device, but may be integrated into the CPU 11, ROM 12, and RAM 13.
  • the CPU 11 is connected to each component 11, 12, 13, 31, 32, 33, 34, 41 through the bus 1000, and performs control signal and data transfer processing, and responds to gesture input from the sensor 31 and the switch 32. Then, various programs for executing the operation of the entire gesture operation system 1 are executed, arithmetic processing, and the like are performed.
  • the ROM 12 stores programs and data necessary for the operation of the entire gesture operation system 1. These programs are stored in a recording medium such as a DVD-ROM, HDD, or SDD, and are read into the RAM 13 to be executed by the CPU 11 to perform processing of the gesture control system 1 of the present embodiment. Of course, it is possible to use a cloud service to load necessary programs and data in place of such ROM.
  • the RAM 13 temporarily stores a program created in accordance with software for performing a gesture input process, which will be described later, and data by the input gesture input.
  • the sensor 31 is an imaging device that detects a gesture made by the driver.
  • the sensor output is processed by the CPU 11 to create a gesture input.
  • the driver who operates the steering wheel 5 performs a gesture by hand. If the gesture can be detected, the sensor 31 can be configured as any portable device.
  • the sensor may be a sensor and is not limited to the imaging device exemplified here.
  • the sensor 31 may be, for example, an RGB color sensor or a 3D distance image sensor that can image the hand, or an ultrasonic sensor that can detect the movement of the hand.
  • the switch 32 is configured to transmit a signal indicating the pressed state to the CPU 11 when pressed (pressed) by the driver.
  • a window for receiving a gesture input hereinafter referred to as “accepting window” in response to pressing (pressing) or / and releasing (releasing) the switch 32 is shown in FIG. 3A and FIG. It is determined according to any one of the three modes described later with reference to FIG. 3B.
  • the display unit 33 in the arrangement of FIG. 2, an example in which the instrument panel 6, the HUD 7 and the display 42 of the car navigation device 4 are individually arranged is shown, but the present invention is not limited to this example. And the display 42 can be integrally configured.
  • the image information of the map data obtained by the navigation processing unit 41 connected to the display 42 and the speaker 34 is output to the display 42.
  • audio information for transmitting confirmation that the gesture input has been correctly recognized is output from the speaker 34 under the control of the CPU 11.
  • FIG. 3A shows the release (off) state of the switch 32
  • FIG. 3B shows the press (on) state of the switch 32.
  • the CPU 11 receives a signal indicating the pressed state from the switch 32.
  • the switch 32 is in the release state as shown in FIG. 3A
  • the CPU 11 receives a signal indicating the release state from the switch 32.
  • the reception window is specified according to one predetermined operation pattern from among the three operation patterns 1, 2, and 3 shown in FIGS. 4A, 4B, and 4C. Details of these three operation patterns will be described below.
  • the period from the instant “press P” when the switch 32 is depressed (energization) to the moment “release R” when the switch 32 is released (deactivation), that is, the ON signal of the switch 32 is generated.
  • the standing time width W is determined as a reception window W that can accept gesture input.
  • CPU11 judges that it can accept, by receiving this acceptance window signal.
  • an ON signal is generated from the instant “press P” when the switch 32 is depressed (energized) to the moment “release R” when the switch 32 is subsequently released (deactivated).
  • CPU11 confirms that it is doing.
  • the CPU 11 sets a predetermined time width W in the gesture input reception window W from the time when the ON signal disappears. Note that the time width W is set to a time slightly longer than a time sufficient to complete the gesture input.
  • an ON signal is generated for the time from the instant “press P” when the switch 32 is first depressed (energized) to the moment “release R” when the switch 32 is released (deactivated). is doing.
  • the CPU 11 confirms when the ON signal disappears and starts the reception window W.
  • the ON signal is generated again for the time from the instant “press P” when the switch 32 is pressed down again (second time) to the moment “release P” when the switch 32 is released next (deactivation). is doing.
  • the CPU 11 confirms when the ON signal disappears and ends the reception window W.
  • FIG. 5A and FIG. 5B show an example in which three instruction areas for instructing gesture input are provided in the gesture operation system 1.
  • FIG. 5A shows a state seen from the operator side
  • FIG. 5B shows a state seen from the sensor 32 side.
  • the instruction area 50 set for recognizing the gesture is divided into, for example, three sub instruction areas 51, 52, and 53.
  • each sub instruction area is not limited to three, and it is of course possible to determine one, two, four, five, etc. as appropriate.
  • the shape of each sub instruction area is not limited to the illustrated example.
  • the operator performs a gesture with the left hand LH holding the steering wheel 5.
  • the gesture is imaged by the sensor 31, and the obtained imaging data is transmitted to the CPU 11.
  • the CPU 11 recognizes the gesture input in each of the sub instruction areas 51 to 53 based on the imaging data. For example, as shown in FIGS. 5A and 5B, when the operator places the thumb TM in the sub instruction area 53, the CPU 11 recognizes the gesture as a gesture input to the sub instruction area 53.
  • the CPU 11 recognizes the operation according to the recognition result, and outputs the content of the recognized operation from the display unit 33 and / or the speaker 34.
  • the operator receives the output, and if the output recognition is correct, it is determined as the intended gesture input. That is, the process proceeds to a desired operation according to the operation instruction.
  • a gesture mode in which the finger TM as an operator gesture is raised in each of the sub instruction areas 51, 52, and 53 is referred to as a “gesture pattern”.
  • Various gesture patterns are determined in advance according to the gesture mode (for example, the number of fingers) of all fingers in each of the sub instruction areas 51 to 53.
  • FIG. 6 is a flowchart illustrating an example of software incorporated in the ROM 12 in order to perform processing in the gesture operation system 1.
  • step S100 when the switch 32 is depressed during driving of the vehicle, that is, when the switch 32 is pressed, the CPU 11 determines whether or not the reception window W has been opened according to a predetermined operation pattern (FIGS. 4A to 4C). Judgment is made (step S100). When the CPU 11 determines that the reception window W has been opened, the process proceeds to the next step S200.
  • the instruction area 50 is generated, arranged at a predetermined position in relation to the steering wheel 5, and then divided into sub instruction areas 51 to 53. .
  • step S200 the operator's left hand LH and the steering wheel 5 performed on the steering wheel 5 are imaged by the sensor 31, and the image data is transmitted to the CPU 11.
  • the CPU 11 estimates the size and shape of the imaged subject, that is, the left hand LH of the operator and the steering wheel 5 based on the received imaging data, and determines the position and size of the left hand LH and the steering wheel 5 of the operator. calculate. Based on the calculation result, as shown in FIG. 31A, an indication area 50 defined by points A, B, C, and D is generated around the left hand LH.
  • step S300 one or a plurality of sub instruction areas are generated from the instruction area 50.
  • the number of sub instruction areas can be set to a predetermined number. Alternatively, the number may be changed in relation to the operation target.
  • an example of a procedure for generating the three sub instruction areas 51 to 53 by dividing the instruction area 50 into three will be described with reference to FIG.
  • the indication area 50 is divided into two based on the center of gravity position of the left hand LH, the predetermined feature amount, the gravity center position of the steering wheel 5 and the like from the imaging data.
  • a feature point for example, a feature point G shown in FIG. 31B is extracted.
  • the instruction area 50 is divided into two. That is, as shown in FIG. 31C, the indication area 50 is divided into two by the line segment EF passing through the feature point G with respect to the line segment AB and the line segment CD.
  • step S303 feature points for dividing the indication area 50 into four, for example, feature points H shown in FIG. 31D are extracted.
  • This feature point H is also extracted from the imaging data based on the position of the center of gravity of the left hand LH, a predetermined feature amount, the position of the center of gravity of the steering wheel 5, and the like.
  • the previously identified feature point G can also be used as the feature point H.
  • step S304 the instruction area 50 is divided into four. That is, as shown in FIG. 31E, in addition to the line segment EF, the designated area 50 is divided into four using the line segment AH and the line segment BH.
  • step S305 as shown in FIG. 31F, the line segment EH is deleted, and the designated area 50 is changed to the sub designated area 53, points B, D, and F defined by the points A, C, F, and H. , H is divided into a sub-instruction area 51 defined by H and a sub-instruction area 52 defined by points A, B, and H.
  • step S300 is terminated, and the process proceeds to next step S401 shown in FIG.
  • step S401 the CPU 11 proceeds to step S401, and recognizes the gesture input performed by the operator's hand in the state where the reception window W is open. That is, in this step S 401, the gesture of the operator's left hand LH performed on the steering wheel 5 and the steering wheel 5 are imaged by the sensor 31, and the imaging data is transmitted to the CPU 11.
  • the CPU 11 specifies a gesture pattern in each of the sub instruction areas 51 to 53 based on the received imaging data, thereby making a gesture by the operator in the sub instruction areas 51 to 53 (see FIGS. 5A and 5B). Recognize input.
  • step S402 the collation table 10 is collated, and the instruction content corresponding to the gesture input recognized in step S401 is output.
  • step S403 it is determined whether or not the collation is obtained when the collation table 10 is referred to. When the collation cannot be obtained, the process returns to step S401 to recognize the gesture input again. On the other hand, when collation is obtained in step S403, the process proceeds to the next step S404.
  • step S404 the collated gesture input is output.
  • step S404 the fact that the collation has been obtained is output to the display unit 33 and / or the speaker 34, so that the operator may understand that the gesture input has been made.
  • next step S500 it is determined whether or not the gesture input reception window W is closed according to any of the operation patterns shown in FIGS. 4A to 4C. If it is determined that the gesture input reception window W is closed, recognition of the gesture input is prohibited thereafter.
  • step S403 the process proceeds to step S700 through step S500, where the CPU 11 performs necessary processing to perform a desired operation corresponding to the gesture input on the operation target.
  • the fact that the information has been correctly input may be output by the display unit 33 (for example, the instrument panel 6, the HUD 7 or the display 42) and / or the speaker 34, or according to the input instruction.
  • the result of the operation may be output only from the display unit 33 and / or the speaker 34.
  • step S403 when the gesture input is not correctly recognized in step S403, the CPU 11 returns to step S401 again and waits for the operator to perform the gesture input for the desired operation again.
  • step S405 error information (for example, “warning display for prompting gesture input again” or “warning sound for warning of input error”) is displayed on display unit 33 and Alternatively, the error can be output to the speaker 34 to warn the operator of the error. That is, by outputting the error information, the operator can recognize that the gesture input is requested again.
  • error information for example, “warning display for prompting gesture input again” or “warning sound for warning of input error
  • the generation and arrangement of the instruction area and the generation of the sub instruction area in steps S200 and S300 may be performed before the process of step S100 is performed. Alternatively, it can be preset prior to processing a series of these gesture inputs.
  • step S403 it is omitted to determine whether or not the gesture input is correctly collated. Instead, the operator views or listens to the output from the display unit 33 or the speaker 34, or performs any operation. It is also possible to determine whether or not the instructed operation is being performed by the operator grasping that the operation has not been performed.
  • FIG. 7 is an explanatory diagram showing an example of a correspondence relationship between a gesture input and an operation instructed thereby.
  • reference numeral 1011 denotes an operation instruction management data table in which the correspondence relationship between the gesture input d11 and the instructed operation d12 is stored in advance.
  • the gesture input x1 is a gesture mode of the thumb TM shown in FIGS. 5A and 5B, for example, and is associated in advance with an operation corresponding to an instruction “switch music”.
  • the operation instruction management data 1011 is stored in the ROM 12 in advance, and the operation instruction d12 corresponding to the gesture input d11 is specified when the gesture control system 1 operates.
  • step S402 the CPU 11 refers to the operation instruction management data 1011 shown in FIG. 7 and identifies and executes the operation instruction d12 associated with the gesture input d11 based on the recognized gesture input. That is, the CPU 11 finds a gesture pattern d11 that matches the gesture input recognized in step S401, and instructs an operation corresponding to the gesture input.
  • the instruction area 50 includes three sub instruction areas 51 to 53. Therefore, the CPU 11 instructs the operation according to the recognition result in each of the sub instruction areas 51 to 53. Therefore, for example, when the gesture input in the two sub instruction areas 51 and 52 is associated with the operation instruction, it is determined that the gesture input in each of the sub instruction areas 51 and 52 is appropriate, The instructed operation is performed.
  • FIG. 8 is a block diagram showing an example of the overall configuration in which the software shown in FIG. 6 is incorporated into the hardware of the gesture operation system 1 shown in FIG.
  • the gesture control system 1 includes a storage unit 100, an imaging unit 31, an instruction area setting unit 200, a switch 32 that gives an operation start instruction, and an acceptance window that generates an acceptance window in response to the activation of the switch 32.
  • a window generation 300, a gesture input recognition unit 400, and an operation instruction unit 500 are provided.
  • Reference numeral 600 denotes a specific device related to the moving object, that is, an operation target.
  • the storage unit 100 includes the ROM 12 and the RAM 13 in FIG.
  • the storage unit 100 includes the selection operation management data 1011 (FIG. 7) described above, that is, the table 10 (FIG. 1) that stores the gesture input and the contents of the operation corresponding to the gesture input.
  • the imaging unit (sensor) 31 includes, for example, the sensor 31 shown in FIG. 1 and images the steering wheel (steering device) 5 and the operator's hand that steers the steering wheel 5.
  • an instruction area 50 (FIGS. 5A and 5B) that can accept a gesture input instruction is generated, and the generated instruction area 50 is arranged according to the relationship between the steering device 5 and the operator's hand,
  • the designated area is assigned to at least one predetermined, for example, three sub designated areas 51, 52, and 53 (FIGS. 5A and 5B).
  • the operator urges the switch 32 with its hand to open a reception window for allowing the gesture input to be accepted and allow the gesture input to be accepted, as shown in FIGS. 4A to 4C.
  • the reception window is closed to generate a reception window that prohibits subsequent reception of gesture input.
  • the reception window is opened in the reception window generation unit 300, and the imaging data from the imaging unit 31 is received in a state where the reception of the gesture input is permitted, and the sub instruction areas 51, 52, 53 Recognize hand gesture input.
  • the operation instruction unit 500 specifies the instruction content corresponding to the recognized gesture input with reference to the table 10 storing the correspondence between the gesture input and the instruction content regarding the predetermined operation with respect to the predetermined operation target. To do. By passing the operation instruction output from the operation instruction unit 500 to the operation target 600, a predetermined operation based on the received gesture input instruction content is performed on the operation target.
  • FIGS. 9, 10, and 11 are flowcharts specifically showing the processing procedure shown in FIG. 6 corresponding to the operation patterns 1, 2, and 3 shown in FIGS. 4A, 4B, and 4C, respectively. .
  • step S101 corresponds to step S100, and it is determined whether or not the switch 32 is depressed. Once the switch 32 is depressed, the switch 32 is kept depressed (ON state) throughout the processing of steps S401 to S404. When the processing of steps S401 to S404 is completed, the switch 32 is released from the depressed state, and step S500 is performed. In step S501 corresponding to, the OFF state of the switch 32 is determined. If it is determined that the switch 32 is off, the process proceeds to the next step S700.
  • steps S101 and S102 correspond to step S100, and it is determined whether or not the switch 32 has been depressed (turned on) and subsequently released from the depression (off). Thus, if the switch 32 is released, it is not necessary to keep the switch 32 in the depressed state during the processing of steps S401 to S404. That is, in this operation pattern, when the switch 32 is released, the time measurement of the predetermined time width W of the reception window is started. When the processing of steps S401 to S404 is completed, it is determined whether or not the predetermined time width W of the reception window W has been reached in step S503 corresponding to step S500. If the time width W is reached, the process proceeds to the next step S700.
  • steps S101 and S102 correspond to step S100, and it is determined whether or not the switch 32 is depressed and subsequently released from the depression. That is, the reception window W is started when the switch 32 is turned on and off. As described above, if the switch 32 is released (turned off), it is not necessary to keep it pressed (ON) during the processing of steps S401 to S404.
  • steps S501 and S502 corresponding to step S500 whether the switch 32 is depressed and subsequently released from the depression. That is, when the switch 32 is turned on and off again, the reception window W is terminated and the process proceeds to the next step S700.
  • FIG. 12 is a diagram for explaining an example of a music switching operation according to the operation pattern 1 shown in FIG. 4A.
  • FIG. 13 is a diagram for explaining an example of a fast-forward operation of music according to the operation pattern 1.
  • FIG. 14 is a diagram for explaining an example of the music switching operation according to the operation pattern 2 shown in FIG. 4B.
  • FIG. 15 is a diagram for explaining an example of a music switching operation according to the operation pattern 3 shown in FIG. 4C.
  • FIG. 16 is a diagram for explaining an example of a map enlargement operation according to the operation pattern 1.
  • FIG. 17 is a diagram for explaining an example of a map reduction operation according to the operation pattern 1.
  • the switch 32 of the steering wheel 5 is pushed down with the right hand (FIG. 12 (b)).
  • the acceptance window W according to the operation pattern 1 is specified by the CPU 11 by the pressing operation of the switch 32, and the CPU 11 determines that the gesture input can be accepted. That is, the gesture input reception window W is opened. Thereafter, the switch 32 is kept pressed down.
  • the operator performs a gesture of, for example, raising the thumb TM of the left hand (FIG. 12 (c)), and then releases the switch 32 (FIG. 12 (d)). With the release of the switch 32, the gesture input reception window W is closed (see FIG. 4A).
  • the operator's gesture input is recognized based on the imaging data from the sensor 31 (step S401 in FIG. 9), and the operation instruction corresponding to the corresponding gesture input. Is identified by the CPU 11 (step S402 in FIG. 9).
  • the music A is switched to the music B that is the next music.
  • FIG. 13 illustrates an operation mode when the music piece A is fast-forwarded in the operation pattern 1.
  • step S700 of FIG. 9 is processed between steps S404 and S501.
  • the song A is fast-forwarded (FIG. 13D).
  • the switch 32 is released.
  • FIGS. 13 (a) to (c) and (e) correspond to FIGS. 12 (a) to (d), respectively.
  • FIG. 14 illustrates an operation mode when switching from the music A to the music B using the operation pattern 2 (FIG. 4B) instead of the operation pattern 1 shown in FIG. That is, in FIG. 14, after the operator performs the press and release operations of the switch 32 (FIGS. 14B and 14C), the timing of the predetermined reception window W is started, and the reception window It is necessary to perform a gesture with a finger within a time period W (for example, 5 seconds) (FIG. 14D).
  • FIGS. 14 (a), (b), (d) and (e) correspond to FIGS. 12 (a), (b), (c) and (e), respectively.
  • FIG. 15 illustrates an operation mode when switching from the music A to the music B using the operation pattern 3 (FIG. 4C) instead of the operation pattern 1 shown in FIG. 12. That is, also in FIG. 15, the operator needs to perform a gesture with a finger after performing the press and release operations (FIGS. 15B and 15C) of the switch 32 (FIG. 15D).
  • FIG. 16 illustrates an operation mode in the case of enlarging the map displayed on the display 42 of the car navigation device 4 instead of switching the music piece A shown in FIG. That is, in FIG. 16, the map is enlarged as an operation instruction (FIG. 16 (d)).
  • FIGS. 16 (a) to (c) and (e) correspond to FIGS. 12 (a) to (c) and (d), respectively.
  • FIG. 17 illustrates an operation mode when the map is reduced instead of the enlargement of the map shown in FIG.
  • the operator performs a gesture of raising the index finger FF in the sub instruction area 51 shown in FIGS. FIGS. 17 (a), (b) and (e) correspond to FIGS. 16 (a), (b) and (e), respectively.
  • an operator who operates the steering wheel 5 in the gesture input receiving window W does not release his hand from the steering wheel 5, and the gesture by hand.
  • An operation is instructed by inputting.
  • the reception window W is started by depressing the switch 32 (press P)
  • the operator can make a gesture while being aware of the operation instruction. Accordingly, it is possible to realize an accurate operation instruction by gesture input.
  • the gesture input by the operator can be performed without the operator releasing his / her hand from the steering wheel 5, it is possible to maintain the safe maneuverability of the vehicle even when the gesture is input.
  • FIG. 18 illustrates a mode in which the instruction area 50 is moved in response to the operator moving the left hand along the steering wheel 5.
  • the operator performs processing by the CPU 11 so that the left hand moves along the steering wheel 5 with the thumb TM upright, and the instruction area 50 also moves along the steering wheel 5 accordingly.
  • security of vehicle travel is further ensured.
  • FIG. 19A is a gesture pattern by the thumb TM in the sub instruction area 53
  • FIG. 19B is a gesture pattern by the thumb TM in the sub instruction area 52
  • FIG. 19C is an index finger in the sub instruction area 52
  • 19D is a gesture pattern by the index finger FF in the sub instruction area 51
  • FIG. 19E is a gesture pattern by the thumb TM in the sub instruction area 51
  • FIG. 19F is four patterns in the sub instruction area 51.
  • a gesture pattern comprising a combination of a finger, that is, a forefinger FF, middle finger MF, ring finger TF, little finger LF gesture and thumb TM gesture in the sub instruction area 53 is shown.
  • the gesture may be performed with either the right hand or the left hand, depending on the location where the switch 32 is disposed.
  • 20A (a) and (b) illustrate a mode in which an operation with the right hand is performed by disposing the switch 32 on the right side of the steering wheel 5.
  • FIG. 20A and 20B illustrate a mode in which an operation with the left hand is performed by disposing the switch 32 on the left side of the steering wheel 5.
  • the indication area 50 described above may be changed in size according to the size of the hand.
  • FIG. 21B sets an instruction area 50A (including three sub instruction areas 51A, 52A and 53A) larger than the instruction area 50 (including three sub instruction areas 51 to 53) shown in FIG. 21A.
  • An example is shown.
  • the CPU 11 measures the size of the operator's hand and determines the size of the instruction area 50 based on the result. Thereby, it is possible to recognize the gesture input by setting the instruction area 50 having an appropriate size suitable for the operator.
  • the number of divisions of the instruction area 50 described above can be increased or decreased in consideration of the fact that operation instructions may vary depending on the operation target.
  • the number of divisions may be changed when the car navigation device 4 as the operation target is switched to another operation target (for example, an in-vehicle air conditioning system).
  • FIG. 22 shows an example in which the number of divisions of the designated area is changed from 3 to 4.
  • the instruction area 50 including the sub instruction areas 51 to 53 divided into three is set.
  • the instruction area including the sub instruction areas 61 to 64 divided into four is set. Is set.
  • FIG. 23A to 23C are diagrams showing an example of changing the division example of the instruction area.
  • FIG. 23A shows a mode in which the division number is zero, that is, only one instruction area 50
  • FIG. 23B shows two sub-instruction areas 51.
  • FIG. 23C shows an embodiment of four sub-indicating areas 61 to 64.
  • FIG. 24A and 24B are diagrams showing another example of the arrangement of the switches 32.
  • FIG. 24A shows an arrangement example when there are two switches 32
  • FIG. 24B shows one switch 32 on the left side of the steering wheel 5.
  • An example of arrangement is shown below.
  • the switch 32 described above is not limited to the example shown in FIG. 2 as long as the press or release can be detected.
  • a retrofit type hardware switch or a capacitance type switch may be used.
  • FIG. 25 shows an example in which such a switch 32 ⁇ / b> A is attached to the steering wheel 5.
  • the column switch 51 can be made to function as the switch 32 as shown in FIGS. 26A to 26D in place of the switch 32 described above.
  • the column switch 51 is rotated so that the “on” state is the “press” state of the switch 32 and the “off” state is the “release” state of the switch 31.
  • the “on” state when the column switch 51 is pushed in the direction of the arrow 51a is the “press” state of the switch 32
  • the “off” state when the column switch 51 is pulled in the direction of the arrow 51b is the “release” of the switch 32. State.
  • the contact state when the column switch 51 is touched is the “press” state of the switch 32, and the non-contact state when the column switch 51 is released is the “release” state of the switch 32.
  • the state when the column switch 51 is pressed is the “press” state of the switch 32, and the state when it is released from the column switch 51 is the “release” state of the switch 32.
  • FIGS. 27A to 27E show various mounting examples of the sensor 31.
  • the sensor 31 is disposed on the instrument panel 6 (FIG. 27A), is disposed on the column cover 9 (FIG. 27B), is disposed on the dashboard 10 (FIG. 27C), A mode (FIG. 27D) arranged on the ceiling 50 and a mode (FIG. 27E) arranged on the map lamp 51 are shown.
  • FIG. 28 shows a list 70 in which a map scale or the like is cited as the operation target 71, and instruction items 72 for instructing operations such as wide area / details of the map are shown correspondingly.
  • FIG. 29 is a list 80 in which an engine or the like is cited as the operation target 81, and instruction items 82 for instructing an operation such as turning on / off the engine are shown correspondingly.
  • FIG. 30 shows a list 90 in which an operation item 91 includes a camera image and the like, and an instruction item 92 for instructing an operation such as switching between the back camera image and the panoramic image.
  • Mode 12 Although the case where the gesture operation system 1 is mounted on a vehicle such as an automobile has been described above, the gesture control system 1 is mounted on a moving body such as a ship, for example. The selection operation may be performed by a gesture, and the type of the moving body is not limited to the vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)

Abstract

撮像センサによって撮像されたステアリングホイールおよび操作者の手の撮像データに基づいて、操舵装置に関連して操作者の手による、操作対象に対する予め定めた操作についてのジェスチャ入力の指示を受け付けることのできる指示領域を生成し、その指示領域をステアリングホイールおよび前記操作者の手との関係に応じて配置し、およびこの指示領域を予め例えば３つのサブ指示領域に割り当てる。操作者がスイッチを付勢してジェスチャ入力の受付を許可するための受付窓を開いてジェスチャ入力の受付を許可し、予め定めた操作パターンに応じて、該受付窓を閉じてジェスチャ入力のそれ以降の受付を禁止する受付窓を生成する。受付窓が開かれ、ジェスチャ入力の受付が許可されている状態において、撮像データを受付けて、サブ指示領域における、手によるジェスチャ入力を認識する。ジェスチャ入力と予め定められた操作対象に対する予め定められた操作についての指示内容との対応を格納したテーブルを照合して、認識されたジェスチャ入力に対応する指示内容を特定することにより、当該操作対象に対する予め定められた操作を行う。

Description

ジェスチャ操作システム、方法およびプログラム
　本発明は、操作者によるジェスチャ入力に応じて、予め定めた操作を操作対象に対して行うためのジェスチャ操作システム、ジェスチャ操作方法およびジェスチャ操作プログラムに関する。
　従来、車載機器、たとえば、車載オーディオ機器、ナビゲーション装置などの車に関連する機器を、車の走行中に操作するにあたって、タッチパネル、リモートコントロール装置、ステアリングスイッチ、さらには音声入力装置などが用いられている。タッチパネルを用いる場合およびリモートコントロール装置を用いる場合には、どうしてもスクリーンを注視しなければならず、運転時には危険が伴う。ステアリングスイッチを用いる場合には、多機能に対応する操作が複雑化し、そのためのスイッチ数や配置にも制約があり、しかもスイッチ数を多くすると、スイッチを目視で探さざるを得ない危険もある。音声入力装置の場合にはこれらの問題点は解消されるものの、雑音環境下においては、音声の誤認識が誤操作に繋がりやすく、しかも使用者が考えながら発生して入力するので、運転がおろそかになりやすい欠点もある。
　他方、ジェスチャ入力、すなわち、手など人体の一部の動きにより予め定めた入力を行うことが提案されている（特許文献１，２，３，４，５）。
　ここで、人体の一部としては、手のほかに、首振りの動き、目の瞬きなどの動き、なども考えられる。以下では手の動きを代表に取り上げて、本発明を説明するが、本発明におけるジェスチャ入力は手による入力に限定されない。
　これら従来のジェスチャ入力の場合、ジェスチャ入力を感知するセンサを配置したディスプレイの画面に対して、操作者がジェスチャ入力により、車に関連する機器の操作についての指示を行う。その操作指示をセンサが感知し、当該ジェスチャ入力に応じて、当該機器に対して、操作指示に対応した、予め定めた操作を行う。
特開２０１０－１８４６００号公報 特開２００６－２８５３７０号公報 特開２００９－１０４２９７号公報 特開２００１－２１６０６９号公報 特開２００５－５０１７７号公報
　しかし、このような従来の装置では、センサの視野内において人の移動や荷物などの出し入れなどの種々の動きが感知されるので、意図されたジェスチャ入力であるのか否かについて判断しにくく、これがジェスチャ入力の誤認識を惹起する。さらに、ジェスチャ入力のために、手の形状、動きなど操作者が予め学習する事項が多すぎ、指示のためのルールが複雑化する問題点もある。しかも、操作者がステアリングから少なくとも片手を離して操作する必要があることから、その操作に危険を伴う。
　以上に鑑み、本発明の目的は、以上に述べた従来のジェスチャ入力の欠点を克服し、操作性、安全性、および操作指示の認識率の高いジェスチャ操作のためのシステム、方法、およびプログラムを提供することにある。
　より詳しくは、本発明の目的は、車などの移動体に対する安全な操縦性を保持しつつ、ジェスチャ入力による正確な操作指示を可能にするジェスチャ操作のためのシステム、方法、およびプログラムを提供することにある。　
　上記目的を達成するために、本発明によるジェスチャ操作システムは、移動体の操舵装置および該操舵装置を操作する操作者の手を撮像する撮像部と、前記撮像部によって撮像された操舵装置および操作者の手の撮像データに基づいて、前記操舵装置に関連して前記操作者の手による、前記移動体に関連する予め定めた操作対象に対する予め定めた操作についてのジェスチャ入力の指示を受け付けることのできる指示領域を生成し、当該生成された指示領域を前記操舵装置および前記操作者の手との関係に応じて配置し、および前記指示領域を予め定めた少なくともひとつのサブ指示領域に割り当てる指示領域設定部と、前記操作者の手によるジェスチャ入力の受付を許可するための受付窓を開いてジェスチャ入力の受付を許可し、予め定めた操作パターンに応じて、該受付窓を閉じてジェスチャ入力のそれ以降の受付を禁止する受付窓を生成する受付窓生成部と、前記受付窓が開かれ、前記ジェスチャ入力の受付が許可されている状態において、前記撮像部からの撮像データを受付けて、前記サブ指示領域における前記手によるジェスチャ入力を認識する認識部と、前記ジェスチャ入力と予め定められた操作対象に対する予め定められた操作についての指示内容との対応を格納したテーブルと、前記テーブルを照合して前記認識されたジェスチャ入力に対応する指示内容を特定する操作指示部と、を備え、受け付けられたジェスチャ入力の指示内容により、前記予め定められた操作対象に対する予め定められた操作を行うようにする。
　本発明によるジェスチャ操作方法は、移動体の操舵装置および該操舵装置を操作する操作者の手を撮像する撮像部と、前記操作者の手によるジェスチャ入力の受付の許可を開始して受付窓を生成するためのスイッチと、前記ジェスチャ入力と予め定められた所定の操作対象に対する所定の操作についての指示内容との対応を格納したテーブルとを備えたジェスチャ操作システムにおいて、前記操作者の手によるジェスチャ入力に応じて、予め定めた操作対象に対する予め定めた操作を行うように指示する、ジェスチャによる操作を行うにあたり、前記撮像部によって撮像された操舵装置および操作者の手の撮像データに基づいて、前記操舵装置に関連して前記操作者の手による、前記移動体に関連する予め定めた操作対象に対する予め定めた操作についてのジェスチャ入力の指示を受け付けることのできる指示領域を生成し、当該生成された指示領域を前記操舵装置および前記操作者の手との関係に応じて配置し、および前記指示領域を予め定めた少なくともひとつのサブ指示領域に割り当てる指示領域設定ステップと、前記スイッチの動作に応答して、前記操作者の手によるジェスチャ入力の受付を許可するための受付窓を開いてジェスチャ入力の受付を許可し、予め定めた操作パターンに応じて、該受付窓を閉じてジェスチャ入力のそれ以降の受付を禁止する受付窓を生成するステップと、前記受付窓が開かれ、前記ジェスチャ入力の受付が許可されている状態において、前記撮像部からの撮像データを受付けて、前記サブ指示領域における前記手によるジェスチャ入力を認識する認識ステップと、前記テーブルを照合して前記認識ステップにおいて認識されたジェスチャ入力に対応する指示内容を特定する操作指示ステップと、を備え、受け付けられたジェスチャ入力の指示内容により、前記予め定められた操作対象に対する予め定められた操作を行う。
　本発明によるジェスチャ操作プログラムは、移動体の操舵装置および該操舵装置を操作する操作者の手を撮像する撮像部と、前記操作者の手によるジェスチャ入力の受付の許可を開始して受付窓を生成するためのスイッチと、前記ジェスチャ入力と予め定められた所定の操作対象に対する所定の操作についての指示内容との対応を格納したテーブルとを備えたジェスチャ操作システムにおいて用いられ、前記操作者の手によるジェスチャ入力に応じて、予め定めた操作対象に対する予め定めた操作を行うように指示するにあたり、前記撮像部によって撮像された操舵装置および操作者の手の撮像データに基づいて、前記操舵装置に関連して前記操作者の手による、前記移動体に関連する予め定めた操作対象に対する予め定めた操作についてのジェスチャ入力の指示を受け付けることのできる指示領域を生成し、当該生成された指示領域を前記操舵装置および前記操作者の手との関係に応じて配置し、および前記指示領域を予め定めた少なくともひとつのサブ指示領域に割り当てる指示領域設定ステップと、前記スイッチの動作に応答して、前記操作者の手によるジェスチャ入力の受付を許可するための受付窓を開いてジェスチャ入力の受付を許可し、予め定めた操作パターンに応じて、該受付窓を閉じてジェスチャ入力のそれ以降の受付を禁止する受付窓を生成するステップと、前記受付窓が開かれ、前記ジェスチャ入力の受付が許可されている状態において、前記撮像部からの撮像データを受付けて、前記サブ指示領域における前記手によるジェスチャ入力を認識する認識ステップと、前記テーブルを照合して前記認識ステップにおいて認識されたジェスチャ入力に対応する指示内容を特定する操作指示ステップと、を備え、受け付けられたジェスチャ入力の指示内容により、前記予め定められた操作対象に対する予め定められた操作を行う。
　ここで、前記認識部により認識されたジェスチャ入力の指示内容が意図された操作の指示であったか否かを判断する認識判断部をさらに備えることができる。
　前記受付窓生成部は操作者が付勢および消勢することのできるスイッチを有し、該スイッチの付勢により前記受付窓を開き、および前記スイッチの消勢により前記受付窓を閉じるようにすることができる。
　前記受付窓生成部は操作者が付勢および消勢することのできるスイッチを有し、該スイッチの付勢およびその付勢に引き続く消勢に応答して前記受付窓を開き、および前記スイッチが前記付勢に引き続く消勢から予め定めた時間が経過した時に、前記受付窓を閉じることができる。
　前記受付窓生成部は操作者が付勢および消勢することのできるスイッチを有し、該スイッチの付勢およびその付勢に引き続く消勢に応答して前記受付窓を開き、および前記スイッチが再び付勢され、およびその付勢に引き続く消勢がなされた時に、前記受付窓を閉じることができる。
　前記指示領域を複数のサブ指示領域に分割することができる。
　前記サブ指示領域の個数を、前記予め定めた操作対象に対応して定めてもよい。
　前記指示領域を、前記操作者の手と前記操舵装置との関係に応じて定めることができる。
　前記受付窓が開かれている状態において、前記操作者が前記操舵装置を操作している際に、前記指示領域を、前記操作者の手と前記操舵装置との関係に追随して定めることができる。
　前記認識判断部によりジェスチャ入力の指示内容が意図された操作の指示であったか否かが判断されたときに、その判断結果を出力する出力部をさらに備えてもよい。
　本発明によれば、車などの移動体のステアリングから手を離すことなく操作の指示を行うことができ、しかもその操作指示は単純なルールに従って行うのみでよいので操作性が向上し、しかも、ジェスチャ入力の受付開始と終了とをスイッチ入力などにより確実に行うことができるので、ジェスチャ入力が誤って認識されることが少なくなる。したがって、本発明によれば、移動体に対する安全な操縦性を保持しつつ、ジェスチャ入力による正確な操作指示を行うことができる。
本発明の実施形態に係るジェスチャ操作システムの構成の一例を示すブロック図である。 図１に示したジェスチャ操作システムを移動体の一例としての自動車に搭載した一例を示す説明図である。 スイッチ操作の一例を示す説明図である。 スイッチ操作の一例を示す説明図である。 スイッチ操作の操作パターンに基づいて定められるジェスチャ入力の受付窓の形態を時間軸上で示す説明図である。 スイッチ操作の操作パターンに基づいて定められるジェスチャ入力の受付窓の形態を時間軸上で示す説明図である。 スイッチ操作の操作パターンに基づいて定められるジェスチャ入力の受付窓の形態を時間軸上で示す説明図である。 ３分割されたサブ判定領域の一例を示す説明図である。 ３分割されたサブ判定領域の一例を示す説明図である。 ジェスチャ操作システムにおけるジェスチャ入力による操作を行うソフトウエアの一例を示すフローチャートである。 ジェスチャ入力と指示された操作との照合テーブルの一例を示す図である。 図１に示したジェスチャ操作システムに図６に示したソフトウエアを組み込んだ全体構成を示すブロック図である。 ジェスチャ操作システムにおける処理のソフトウエアの一例として図４Ａに対応する例を示すフローチャートである。 ジェスチャ操作システムにおける処理のソフトウエアの一例として図４Ｂに対応する例を示すフローチャートである。 ジェスチャ操作システムにおける処理のソフトウエアの一例として図４Ｃに対応する例を示すフローチャートである。 操作パターン１において、再生中の曲を切替えるために行われるジェスチャ入力の例を説明するための図である。 操作パターン１において、再生中の曲を早送りするために行われるジェスチャ入力の例を説明するための図である。 操作パターン２において、再生中の曲を切替えるために行われるジェスチャ入力の例を説明するための図である。 操作パターン３において、再生中の曲を切替えるために行われるジェスチャ入力の例を説明するための図である。 操作パターン１において、地図を拡大するために行われるジェスチャ入力の例を説明するための図である。 操作パターン１において、地図を縮小するために行われるジェスチャ入力の例を説明するための図である。 指示領域が操作者の手の位置に応じて移動する場合の例を説明するための図である。 ジェスチャパターンの一例を説明するための図である。 ジェスチャパターンの一例を説明するための図である。 ジェスチャパターンの一例を説明するための図である。 ジェスチャパターンの一例を説明するための図である。 ジェスチャパターンの一例を説明するための図である。 ジェスチャパターンの一例を説明するための図である。 右手による操作者の操作態様を説明するための図である。 左手による操作者の操作態様を説明するための図である。 指示領域のサイズが最適化される場合の例を説明するための図である。 指示領域のサイズが最適化される場合の例を説明するための図である。 指示領域の分割数が変化する場合の例を説明するための図である。 指示領域の１分割例を説明するための図である。 指示領域の２分割例を説明するための図である。 指示領域の４分割例を説明するための図である。 スイッチの配置例を説明するための図である。 スイッチの配置例を説明するための図である。 スイッチの変形例を示す図である。 コラムスイッチがスイッチ３２として用いられた場合のコラムスイッチの操作例を説明するための図である。 コラムスイッチがスイッチ３２として用いられた場合のコラムスイッチの操作例を説明するための図である。 コラムスイッチがスイッチ３２として用いられた場合のコラムスイッチの操作例を説明するための図である。 コラムスイッチがスイッチ３２として用いられた場合のコラムスイッチの操作例を説明するための図である。 センサの配置例を説明するための図である。 センサの配置例を説明するための図である。 センサの配置例を説明するための図である。 センサの配置例を説明するための図である。 センサの配置例を説明するための図である。 種々の操作対象の適用例１を示すリスト図である。 種々の操作対象の適用例２を示すリスト図である。 種々の操作対象の適用例３を示すリスト図である。 指示領域から３つのサブ指示領域を生成する手順の一例の説明図である。 指示領域から３つのサブ指示領域を生成する手順の一例の説明図である。 指示領域から３つのサブ指示領域を生成する手順の一例の説明図である。 指示領域から３つのサブ指示領域を生成する手順の一例の説明図である。 指示領域から３つのサブ指示領域を生成する手順の一例の説明図である。 指示領域から３つのサブ指示領域を生成する手順の一例の説明図である。 指示領域から３つのサブ指示領域を生成する手順の一例を示すフローチャートである。
　以下、本発明の実施形態であるジェスチャ操作システムの一例について、図１および図２を参照して説明する。このジェスチャ操作システム１は、運転者、すなわち、このジェスチャ操作システム１の操作者のジェスチャ入力に応じて、移動体に関連する特定の機器に対する操作の指示を与える。ここでは、その一例として、自動車に搭載されたカーナビゲーション装置４に対する指示の操作を行う場合について説明する。
　[ジェスチャ操作システム１の構成]
　図１は、本発明の一実施形態に係るジェスチャ操作システム１の構成例を示すブロック図である。図２は図１のジェスチャ操作システムが搭載された自動車のジェスチャ操作に係わる部分を示す説明図である。
　図２において、４はナビゲーション装置、５はステアリングホイール、６はインスツルメンタルパネル（計器盤パネル）、７は運転者が視認可能なように、フロントガラス８に配置されたヘッドアップディスプレイ（HUD）、３１はインスツルメンタルパネル６に配置され、ジェスチャ入力を感知するセンサ、３２はステアリングホイール５に配置され、ジェスチャ入力の受付窓を指示するためのオン・オフスイッチ、３４はナビゲーション装置用およびジェスチャ入力が正しく認識されたか否かを音声で示すためのスピーカ、および４２はカーナビゲーション装置４のディスプレイである。
　図１に示すように、ジェスチャ操作システム１は、中央処理装置（ＣＰＵ：Central Processing Unit）１１と、読み取り専用メモリ（ＲＯＭ：Read Only Memory）１２と、ランダムアクセスメモリ（ＲＡＭ：Random Access Memory）１３と、ジェスチャ入力を感知するセンサ３１と、ジェスチャ入力の受付窓を指示するオン・オフスイッチ３２と、インスツルメンタルパネル６、HUD７およびカーナビゲーション装置４のディスプレイ４２を含む表示部３３と、ナビゲーション処理部４１と、スピーカ３４とを有する。
　なお、ここでは、ジェスチャ入力により操作の指示を行う対象機器として、カーナビゲーション装置の場合を例示しているが、本発明はこの例に限定されず、例えば、音楽、テレビジョン、ラジオ、電話、カメラなどに関連する機器、室内ライト、ヘッドライトなどのランプ類、さらには車両自体のエンジン、ドアロック装置、ワイパー、座席調整機器、空調機器、パワーウインドウ、トランク開閉装置などいかなる車両関連の装置にも適用可能であり、それら機器の操作をジェスチャ入力によって行うことができる。
　ナビゲーション処理部４１は単独のナビゲーション装置であってもよいが、CPU11,ROM12およびRAM13に一体的に組み込んでもよい。
　ＣＰＵ１１は、各構成要素１１，１２，１３，３１，３２，３３，３４，４１とバス１０００で接続されて、制御信号やデータの転送処理を行うとともに、センサ３１及びスイッチ３２によるジェスチャ入力に応答して、ジェスチャ操作システム１全体の動作を実現するための各種のプログラムの実行、演算処理等を行う。
　ＲＯＭ１２には、ジェスチャ操作システム１全体の動作に必要なプログラムおよびデータを格納する。これらプログラムはDVD-ROM、HDD、SDD等の記録媒体に格納されており、ＲＡＭ１３に読み出されてＣＰＵ１１による実行が開始され、本実施形態のジェスチャ制御システム１の処理を行う。なお、このようなROMに変えて、クラウドサービスを用いて必要なプログラムおよびデータを取り込むことももちろん可能である。
　ＲＡＭ１３には、後述するジェスチャ入力処理を行うためのソフトウエアに従って作成されたプログラム、および入力されたジェスチャ入力によるデータを一時的に保持する。
　センサ３１は、運転者によって行われるジェスチャを検出する撮像装置である。そのセンサ出力をＣＰＵ１１によって処理して、ジェスチャ入力を作成する。後述するように、この実施形態のジェスチャ操作システム１では、ステアリングホイール５を操作する運転者は、手によるジェスチャを行うが、このジェスチャの検出が可能であれば、センサ３１の構成としていかなる携帯のセンサであってもよく、ここに例示した撮像装置に限定されない。センサ３１は、例えば、手を撮像可能なＲＧＢカラーセンサないしは３Ｄ距離画像センサ、または手の動きを検知可能な超音波センサであってもよい。
　スイッチ３２は、運転者によって行われるプレス（押下）時に、プレス状態を示す信号をＣＰＵ１１へ伝送するように構成されている。この実施形態のジェスチャ制御システム１では、スイッチ３２のプレス（押下）または／およびリリース（釈放）に応答して、ジェスチャ入力を受け付ける窓（以下、「受付窓」と称す。）を、図３Ａおよび図３Ｂを参照して後述する３態様のいずれかの態様に従って定める。
　表示部３３について、図２の配置においては、インスツルメンタルパネル６、HUD７およびカーナビゲーション装置４のディスプレイ４２を個別に配置した例を示したがこの例に限られず、例えば、インスツルメンタルパネル６とディスプレイ４２とを一体的に構成することもできる。
　ディスプレイ４２およびスピーカ３４と接続されたナビゲーション処理部４１によって得られた地図データの画像情報を、ディスプレイ４２へ出力する。ナビゲーション処理部４１による慣例のナビゲーション用の音声情報をスピーカ３４から出力させるのに加えて、ＣＰＵ１１による制御の下、ジェスチャ入力が正しく認識されたことの確認を伝えるための音声情報をスピーカ３４から出力させる。
　スイッチ３２の操作例について、図３Ａおよび図３Ｂを参照して説明する。図３Ａおよび図３Ｂにおいて、同図Ａはスイッチ３２のリリース（オフ）状態を示し、同図Ｂはスイッチ３２のプレス（オン）状態を示している。スイッチ３２が、図３Ｂに示すようにプレス状態の場合に、ＣＰＵ１１は、そのプレス状態を示す信号を、スイッチ３２から受信する。スイッチ３２が、図３Ａに示すようにリリース状態の場合に、ＣＰＵ１１は、そのリリース状態を示す信号を、スイッチ３２から受信する。これら信号の組み合わせに応じて、図４Ａ、図４Ｂおよび図４Ｃに示す３つの操作パターン１，２および３のうちから予め定めたひとつの操作パターンに従って、受付窓を特定する。これら３操作パターンの詳細を以下に説明する。
　図４Ａに示す操作パターン１では、スイッチ３２を押し下げた（付勢）瞬時「プレスＰ」からスイッチ３２を釈放した（消勢）瞬時「リリースＲ」までの期間、すなわち、スイッチ３２のオン信号が立ち上がっている時間幅Wを、ジェスチャ入力の受付が可能な受付窓Wとして定める。ＣＰＵ１１は、この受付窓信号を受信することにより、受付可能である旨を判断する。
　図４Ｂに示す操作パターン２では、スイッチ３２を押し下げた（付勢）瞬時「プレスP」から、それに引き続いてスイッチ３２を釈放した（消勢）瞬時「リリースR」までの時間、オン信号が生起していることをCPU１１が確認する。ＣＰＵ１１はそのオン信号が消滅した時点から予め定めた時間幅Wを、ジェスチャ入力の受付窓Wに設定する。なお、この時間幅Wは、ジェスチャ入力を完了するのに十分な時間よりも多少長い時間に定めておく。
　図４Ｃに示す操作パターン３では、スイッチ３２を最初に押し下げた（付勢）瞬時「プレスP」から次にスイッチ３２を釈放した（消勢）瞬時「リリースR」までの時間、オン信号が生起している。このオン信号が消滅した時点をCPU１１により確認して受付窓Wを開始する。さらに、引き続き、スイッチ３２を再び（第２回目）押し下げた（付勢）瞬時「プレスP」から次にスイッチ３２を釈放した（消勢）瞬時「リリースR」までの時間、オン信号が再び生起している。このオン信号が消滅した時点をCPU１１により確認して、受付窓Wを終了する。
　図５Ａおよび図５Ｂは、ジェスチャ操作システム１において、ジェスチャ入力を指示するための指示領域を３つ設ける例を示す。ここで、図５Ａは操作者側から見た状態を示し、図５Ｂはセンサ３２側から見た状態を示す。
　図５Ａおよび図５Ｂに示すように、ジェスチャを認識するために設定された指示領域５０を、例えば３つのサブ指示領域５１，５２，５３に分割する。この指示領域５０は、センサ３１か得られた、操作者の手およびステアリングホイール５などの撮像データに基づいて、CPU１１によって得られた、手の重心や特徴点、ステアリングホイール５の形状等のデータから、ステアリングホイール５における手の周辺に設定し、さらに、CPU１１によってサブ指示領域５１，５２，５３を設定する。
　なお、サブ指示領域の個数は３つに限られるものではなく、１つ、２つ、４つ、５つなど適宜に定めことができることはもちろんである。各サブ指示領域の形状も図示の例に限定されるものではない。
　図５Ａおよび図５Ｂの例では、操作者が、ステアリングホイール５を握る左手LHでジェスチャを行う。センサ３１により、そのジェスチャを撮像し、得られた撮像データをＣＰＵ１１に伝送する。ＣＰＵ１１は、その撮像データに基づいて、各サブ指示領域５１～５３におけるジェスチャ入力を認識する。例えば図５Ａおよび図５Ｂに示すように、操作者が、サブ指示領域５３内で親指TMを立てた場合、ＣＰＵ１１は、そのジェスチャを、サブ指示領域５３に対するジェスチャ入力として認識する。ＣＰＵ１１は、その認識結果に従って、操作を認識し、その認識された操作の内容を表示部３３および/またはスピーカ３４より出力する。その出力を操作者が受け取り、出力された認識が正しければ、意図したジェスチャ入力として確定する。つまり、その操作指示に従った所望の操作に進む。
　以下の説明では、各サブ指示領域５１，５２，５３に、操作者のジェスチャとしての指TMを立てた状態のジェスチャ態様を、「ジェスチャパターン」と称する。種々のジェスチャパターンは、各サブ指示領域５１～５３でのすべての指のジェスチャ態様（例えば、指の本数など）によって、予め定めておく。
　[ジェスチャ操作システム１のソフトウエア構成]
　図６は、ジェスチャ操作システム１における処理を行うために、ROM１２に組み込むソフトウエアの一例を示すフローチャートである。
　図６において、車の運転中に、スイッチ３２が押し下げられると、すなわち、プレスされると、予め定められた操作パターン（図４Ａ～図４Ｃ）に従って、CPU11は受付窓Wが開いたか否かを判断する（ステップＳ１００）。受付窓Wが開かれたことをＣＰＵ１１が判断すると、次のステップS２００に進む。
　ステップS２００およびS３００において、図５Ａおよび図５Ｂに示したように、指示領域５０を生成し、ステアリングホイール５との関係で予め定めた位置に配置し、次いで、サブ指示領域５１～５３に分割する。
　さらに詳しく述べると、ステップＳ２００において、ステアリングホイール５において行われる操作者の左手LHおよびステアリングホイール５をセンサ３１により撮像して、その撮像データをＣＰＵ１１に伝送する。ＣＰＵ１１は、その受信した撮像データに基づいて、撮像された被写体、すなわち、操作者の左手LHおよびステアリングホイール５のサイズと形状を推定し、操作者の左手LHおよびステアリングホイール５の位置およびサイズを算出する。この算出結果に基づいて、図３１Ａに示すように、左手LHの周囲に、点A、B、C、Dによって画成された指示領域５０を生成する。
　次に、ステップＳ３００において、指示領域５０から、ひとつ又は複数個のサブ指示領域を生成する。ここで、サブ指示領域の個数は、予め定めた個数に設定することができる。あるいはまた、操作対象に関連して、その個数を変更するようにしてもよい。以下では、指示領域５０を３分割して、３つのサブ指示領域５１～５３を生成する手順の例を、図３２を参照して説明する。
　図３２のステップS３０１に示すように、指示領域５０において、撮像データから左手LHの重心位置、予め定めた特徴量、ステアリングホイール５の重心位置などに基づいて、指示領域５０を２分割するための特徴点、例えば、図３１Ｂに示す特徴点Gを抽出する。ステップS３０２において、指示領域５０を２分割する。すなわち、図３１Ｃに示すように、線分ABと線分CDに対して、特徴点Gを通過する線分EFによって指示領域５０を２分割する。
　次に、ステップS３０３において、指示領域５０を４分割するための特徴点、例えば、図３１Ｄに示す特徴点Hを抽出する。この特徴点Hについても、撮像データから左手LHの重心位置、予め定めた特徴量、ステアリングホイール５の重心位置などに基づいて抽出する。ここで、先に特定した特徴点Gを特徴点Hとして用いることもできる。ステップS３０４において、指示領域５０を４分割する。すなわち、図３１Ｅに示すように、線分EFに加えて、線分AHと線分BHを用いて、指示領域５０を４分割する。
　次のステップS３０５において、図３１Ｆに示すように、線分EHを削除して、指示領域５０を、点A、C、F、Hにより画成されたサブ指示領域５３、点B、D、F、Hにより画成されたサブ指示領域５１、および点A、B、Hにより画成されたサブ指示領域５２に３分割する。以上により、ステップS３００を終了し、図６に示した次のステップS４０１に進む。
　次に、ＣＰＵ１１は、ステップＳ４０１に進み、受付窓Wが開いている状態において、操作者の手によって行われたジェスチャ入力を認識する。すなわち、このステップＳ４０１において、ステアリングホイール５において行われる操作者の左手LHによるジェスチャおよびステアリングホイール５をセンサ３１により撮像して、その撮像データをＣＰＵ１１に伝送する。ＣＰＵ１１は、その受信した撮像データに基づいて、各サブ指示領域５１～５３におけるジェスチャパターンを特定することによって、サブ指示領域５１～５３（図５Ａおよび図５Ｂを参照）内での操作者によるジェスチャ入力を認識する。
　ROM１２には、図７において後述するジェスチャ入力ｄ１１とあらかじめ定められた所定の操作対象に対する所定の操作についての指示内容ｄ１２との対応、すなわち、操作指示管理データ１０１１を予め格納した照合テーブル１０（図１を参照）を設けておく。
　ステップS４０２において、この照合テーブル１０を照合して、ステップS４０１において認識されたジェスチャ入力に対応する指示内容を出力する。次のステップS４０３において、照合テーブル１０を参照したときに照合が取れたか否かを判定する。照合が取れなかったときには、ステップS４０１に戻り、再度、ジェスチャ入力を認識する。他方、ステップS４０３において、照合がとれたときには、次のステップS４０４に進む。このステップS４０４において、照合されたジェスチャ入力を出力する。なお、このステップS４０４において、照合が取れたことを表示部３３および/またはスピーカ３４に出力することで、操作者が、ジェスチャ入力がなされたことを理解するようにしてもよい。
　次のステップS５００では、図４Ａ～図４Ｃに示した操作パターンのいずれかの態様に応じて、ジェスチャ入力の受付窓Wが閉じられたか否かを判断する。ここで、ジェスチャ入力の受付窓Wが閉じられていると判断されると、それ以降は、ジェスチャ入力の認識を禁止する。
　ステップＳ４０３において、ジェスチャ入力が照合されたときには、ステップS５００を経て、次のステップS７００に進み、ここで、操作対象に対して、ジェスチャ入力に応じた所望の操作を行うべく、CPU１１は必要な処理を行う。ここで、例えば、正しく入力された旨を表示部３３（例えば、インスツルメンタルパネル６、HUD７またはディスプレイ４２）および／またはスピーカ３４によって出力してもよいし、あるいはまた、入力された指示に従った操作による結果を表示部３３および／またはスピーカ３４から出力するのみでもよい。
　他方、ステップＳ４０３において、ジェスチャ入力が正しく認識されなかったときには、ＣＰＵ１１は、再度、ステップS４０１に戻り、操作者が、所望する操作に対するジェスチャ入力を再度行うのを待機する。なお、ステップS４０３からステップS４０１に戻る際に、ステップS４０５において、エラー情報（例えば、「再度、ジェスチャ入力を促す旨の警告表示」または「入力エラーを警告する警告音」など）を表示部３３および／またはスピーカ３４により出力して、当該エラーを操作者に警告することもできる。すなわち、エラー情報を出力することにより、操作者は再度のジェスチャ入力が要求されていることを認識することができる。
　図６において、ステップS２００およびS３００による指示領域の生成と配置、およびサブ指示領域の生成は、ステップS１００の処理を行う前に行ってもよい。あるいはまた、これら一連のジェスチャ入力の処理に先立って、プリセットしておくこともできる。
　ステップS４０３により、ジェスチャ入力が正しく照合されたか否かを判断することを省略し、その代わりに、表示部３３又はスピーカ３４からの出力を操作者が見たり、聞いたりし、あるいは何の操作もされなかったことを操作者が把握することによって、指示された操作がなされているのか否かを、判断することもできる。
　図７は、ジェスチャ入力とそれにより指示された操作との対応関係の一例を示す説明図である。
　図７において、１０１１は、ジェスチャ入力ｄ１１と、指示された操作ｄ１２との対応関係を予め格納した操作指示管理データのテーブルを示す。例えば、ジェスチャ入力ｘ１は、例えば図５Ａおよび図５Ｂに示した親指TMのジェスチャ態様であり、「曲の切替え」という指示に応じた操作と予め対応付けられている。操作指示管理データ１０１１はＲＯＭ１２に予め格納しておき、ジェスチャ制御システム１の動作時には、ジェスチャ入力ｄ１１に対応する操作指示ｄ１２が特定される。
　ステップS４０２において、ＣＰＵ１１は、図７に示した操作指示管理データ１０１１を参照し、認識されたジェスチャ入力に基づいてジェスチャ入力ｄ１１に対応付けられた操作指示ｄ１２を特定して実施する。すなわち、ＣＰＵ１１は、ステップＳ４０１で認識されたジェスチャ入力と一致するジェスチャパターンｄ１１を見つけ出し、そのジェスチャ入力に応じた操作を指示する。例えば図５Ａおよび図５Ｂにおいて、指示領域５０は３つのサブ指示領域５１～５３を含むので、ＣＰＵ１１は、各サブ指示領域５１～５３における認識結果に応じて操作に指示を行う。したがって、例えば、２つのサブ指示領域５１，５２でのジェスチャ入力と操作の指示とが対応付けられている場合には、各サブ指示領域５１，５２でのジェスチャ入力が適切なものと判断され、当該指示された操作が実施されることになる。
　[ジェスチャ操作システム１のハードウエアに図６に示したソフトウエアを組み込んだ全体構成]
　図８は、図１に示したジェスチャ操作システム１のハードウエアに図６に示したソフトウエアを組み込んだ全体構成の一例を示すブロック図である。
　図８において、このジェスチャ制御システム１は、記憶部１００、撮像部３１、指示領域設定部２００、操作開始の指示を行うスイッチ３２、そのスイッチ３２の付勢に応答して受付窓を生成する受付窓生成３００、ジェスチャ入力認識部４００、および操作指示部５００を備える。６００は移動体に関連する特定の機器、すなわち操作対象である。
　記億部１００は、図１におけるＲＯＭ１２およびＲＡＭ１３により構成される。記憶部１００は、前述した選択操作管理データ１０１１（図７）、すなわち、ジェスチャ入力とそれに対応した操作の内容を格納したテーブル１０（図１）を有する。
　撮像部（センサ）３１は、例えば、図１に示したセンサ３１で構成され、ステアリングホイール（操舵装置）５およびステアリングホイール５を操舵する操作者の手を撮像する。
　指示領域設定部２００では、撮像部３１によって撮像されたステアリングホイール５および操作者の手の撮像データに基づいて、ステアリングホイール５に関連して操作者の手による、操作対象６００に対する予め定めた操作についてのジェスチャ入力の指示を受け付けることのできる指示領域５０（図５Ａおよび図５Ｂ）を生成し、その生成された指示領域５０を操舵装置５および操作者の手との関係に応じて配置し、およびその指示領域を予め定めた少なくともひとつ、例えば、３つのサブ指示領域５１，５２，５３（図５Ａおよび図５Ｂ）に割り当てる。
　受付窓生成部３００では、操作者がその手によりスイッチ３２を付勢することによって、ジェスチャ入力の受付を許可するための受付窓を開いてジェスチャ入力の受付を許可し、図４Ａ～図４Ｃに示したような、予め定めた操作パターンのいずれかに応じて、その受付窓を閉じてジェスチャ入力のそれ以降の受付を禁止する受付窓を生成する。
　ジェスチャ入力認識部４００では、受付窓生成部３００において受付窓が開かれ、ジェスチャ入力の受付が許可されている状態において、撮像部３１からの撮像データを受付けて、サブ指示領域５１，５２，５３における手によるジェスチャ入力を認識する。
　操作指示部５００では、ジェスチャ入力と予め定められた操作対象に対する予め定められた操作についての指示内容との対応を格納したテーブル１０を参照して、認識されたジェスチャ入力に対応する指示内容を特定する。この操作指示部５００からの操作指示出力を操作対象６００に渡すことにより、当該操作対象に対して、受け付けられたジェスチャ入力の指示内容による予め定められた操作を行う。
　図９，１０，１１は、図６に示した処理の手順を、図４Ａ，図４Ｂおよび図４Ｃに示した操作パターン１，２および３に対応して、それぞれ、具体的に示すフローチャートである。ここで、図６と同様のステップには同一のステップ符号を付すことにする。
　図９において、ステップS１０１はステップS１００に対応し、スイッチ３２が押し下げされたか否かを判断する。スイッチ３２は、いったん、押し下げされたらば、ステップS４０１～S４０４の処理の間、ずっと押し下げ状態（オン状態）を保ち、ステップS４０１～S４０４の処理が終了したならば、押し下げ状態から釈放し、ステップS５００に対応するステップS５０１においてスイッチ３２のオフ状態を判断する。ここで、スイッチ３２がオフであると判断されると、次のステップS７００に進む。
　図１０においては、ステップS１０１およびS１０２はステップS１００に対応し、スイッチ３２が押し下げ（オン）され、引き続いて押し下げから釈放（オフ）されたか否かを判断する。このようにスイッチ３２は、釈放されたならば、ステップS４０１～S４０４の処理の間、押し下げ状態にしておく必要はない。つまり、この操作パターンでは、スイッチ３２が釈放されたならば、受付窓の予め定めた時間幅Wの計時を開始する。ステップS４０１～S４０４の処理が終了したならば、ステップS５００に対応するステップS５０３において受付窓Wの予め定めた時間幅Wに到達したか否かを判断する。その時間幅Wに到達したならば、次のステップS７００に進む。
　図１１においては、ステップS１０１およびS１０２はステップS１００に対応し、スイッチ３２が押し下げされ、引き続いて押し下げから釈放されたか否かを判断する。すなわち、スイッチ３２がオン、オフされたときに、受付窓Wを開始する。このようにスイッチ３２は、釈放（オフ）されたならば、ステップS４０１～S４０４の処理の間、押し下げ（オン）状態にしておく必要はない。ステップS４０１～S４０４の処理が終了したならば、ステップS５００に対応するステップS５０１およびS５０２において、スイッチ３２が押し下げされ、引き続いて押し下げから釈放されたか否かを判断する。すなわち、スイッチ３２が再びオン、オフされたときに、受付窓Wを終了し、次のステップS７００に進む。
　図１２～図１７は、図６に示した手順における処理の具体例を示す。
　図１２は、図４Ａに示した操作パターン１に応じた曲の切替え操作の例を説明するための図である。図１３は、操作パターン１に応じた曲の早送り操作の例を説明するための図である。図１４は、図４Ｂに示した操作パターン２に応じた曲の切替え操作の例を説明するための図である。図１５は、図４Ｃに示した操作パターン３に応じた曲の切替え操作の例を説明するための図である。図１６は、操作パターン１に応じた地図の拡大操作の例を説明するための図である。図１７は、操作パターン１に応じた地図の縮小操作の例を説明するための図である。
　図１２において、操作者が曲Ａを聴きながら運転しているときに（図１２（ａ））、右手でステアリングホイール５のスイッチ３２を押し下げる（図１２（ｂ））。図９の流れに従って、スイッチ３２のプレス動作により、操作パターン１による受付窓WがＣＰＵ１１によって特定され、ジェスチャ入力の受付が可能になった旨がＣＰＵ１１によって判断される。すなわち、ジェスチャ入力の受付窓Wが開く。その後はスイッチ３２を押し下げしたままの状態に保つ。
　次に、操作者が左手の例えば親指TMを立てるジェスチャを行い（図１２（ｃ））、その後、スイッチ３２をリリースする（図１２（ｄ））。このスイッチ３２のリリースによって、ジェスチャ入力の受付窓Wは閉じることになる（図４Ａ参照）。
　図１２（ｃ）に示した親指TMのジェスチャによって、センサ３１からの撮像データに基づいて操作者のジェスチャ入力が認識され（図９のステップＳ４０１）、さらに、対応するジェスチャ入力に対応する操作指示がＣＰＵ１１により特定される（図９のステップＳ４０２）。この結果、図１２（ｅ）に示すように、曲Ａがその次曲である曲Ｂに切り替えられる。
　図１３は、操作パターン１において曲Ａが早送りされるときの操作態様を例示している。図１３では、図９のステップS７００をステップS４０４とS５０１との間で処理する。図１３（ｃ）に示したジェスチャを行うことで、曲Ａが早送りされることになる（図１３（ｄ））。その後に、スイッチ３２を釈放する。図１３（ａ）～（ｃ）および（ｅ）は、それぞれ、図１２（ａ）～（ｄ）に対応する。
　図１４は、図１２に示した操作パターン１の代わりに、操作パターン２（図４Ｂ）を用いて、曲Ａから曲Ｂに切り替えるときの操作態様を例示している。すなわち、図１４では、操作者は、スイッチ３２のプレスおよびリリースの操作（図１４（ｂ）および（ｃ））を行ってから、予め定められた受付窓Wの計時が開始され、その受付窓Wの時間（例えば５秒など）内に、指によるジェスチャを行う必要がある（図１４（ｄ））。図１４（ａ）、（ｂ）、（ｄ）および（ｅ）は、それぞれ、図１２（ａ）、（ｂ）、（ｃ）および（e）に対応する。
　図１５は、図１２に示した操作パターン１の代わりに、操作パターン３（図４Ｃ）を用いて曲Ａから曲Ｂに切り替えるときの操作態様を例示している。すなわち、図１５でも、操作者は、スイッチ３２のプレスおよびリリースの操作（図１５（ｂ）および（ｃ））を行ってから、指によるジェスチャを行う必要がある（図１５（ｄ））。
　なお、図１５の例では、図１５（ｃ）に示したリリース操作の後に、引き続きプレスおよびリリースの操作（図１５（ｅ）および（ｆ））を行うことによって、ジェスチャ入力の受付窓Wが終了する。
　図１６は、図１２に示した曲Ａの切替えの代わりに、カーナビゲーション装置４のディスプレイ４２に表示されている地図を拡大する場合の操作態様を例示している。すなわち、図１６では、操作指示として、地図が拡大されることになる（図１６（ｄ））。図１６（ａ）～（ｃ）および（ｅ）は、それぞれ、図１２（ａ）～（ｃ）および（ｄ）に対応する。
　図１７は、図１６に示した地図の拡大の代わりに、地図を縮小するときの操作態様を例示している。この場合、例えば、操作者は、図１７（ｃ）および（ｄ）に示したサブ指示領域５１において人差し指FFを立てるジェスチャを行う。図１７（ａ）、（ｂ）および（ｅ）は、それぞれ、図１６（ａ）、（ｂ）および（ｅ）に対応する。
　以上説明したように、本実施形態のジェスチャ制御システム１によれば、ジェスチャ入力の受付窓W内に、ステアリングホイール５を操作する操作者が、ステアリングホイール５から手を離すことなく、手によるジェスチャ入力を行うことにより操作を指示する。ここで、受付窓Wは、スイッチ３２の押し下げ（プレスP）によって開始されるので、操作者が操作の指示を意識してジェスチャを行うことができる。したがって、ジェスチャ入力による正確な操作の指示を実現することができる。
　また、操作者によるジェスチャ入力は、操作者がステアリングホイール５から手を離さないようにして行うことができるので、ジェスチャ入力時においても車両の安全な操縦性を保持することができる。
　次に、本実施形態のジェスチャ制御システム１の変形例について説明する。
　（変形例１）
　以上では、指示領域５０を移動させる態様について言及しなかったが、手の位置に応じて、指示領域５０の位置を移動させるようにしてもよい。
　例えば図１８は、操作者が左手をステアリングホイール５に沿って移動させるのに応じて、指示領域５０を移動させる態様を例示している。図１８では、操作者は、左手の親指TMを立てた状態で左手をステアリングホイール５に沿って動かし、それに応じて指示領域５０もステアリングホイール５に沿って移動するように、ＣＰＵ１１によって処理する。これにより、車両走行の安全性が一層確保される。
　（変形例２）
　上述したジェスチャ入力のパターンは、ジェスチャ入力を互いに認識できるものであればよく、他の種々の代替のパターンによっても実施することができる。図１９Ａ～図１９Ｆは、種々のジェスチャパターンを例示している。図１９Ａ～図１９Ｆにおいて、図１９Ａはサブ指示領域５３内での親指TMによるジェスチャパターン、図１９Ｂはサブ指示領域５２内での親指TMによるジェスチャパターン、図１９Ｃはサブ指示領域５２内での人差し指FFによるジェスチャパターン、図１９Ｄはサブ指示領域５１内での人差し指FFによるジェスチャパターン、図１９Ｅはサブ指示領域５１内での親指TMによるジェスチャパターン、図１９Ｆはサブ指示領域５１内での４本の指、すなわち、人差し指FF、中指MF、薬指TF、小指LFによるジェスチャとサブ指示領域５３内での親指TMによるジェスチャとの組み合わせからなるジェスチャパターンを示している。種々のジェスチャパターンを組み合わせ用いることによって、操作者によるジェスチャ操作の利便性を向上させることができる。
　（変形例３）
　上述したスイッチ３２を配置する箇所に応じて、ジェスチャを右手または左手のいずれで行うようにしてもよい。図２０Ａの（a）および（ｂ）において、スイッチ３２をステアリングホイール５の右側に配置することにより、右手による操作を行う態様を例示している。図２０Ｂの（ａ）および（ｂ）において、スイッチ３２をステアリングホイール５の左側に配置することにより、左手による操作を行う態様を例示している。
　（変形例４）
　上述した指示領域５０は、手の大きさに応じて、その領域の大きさを変更するようにしてもよい。例えば、図２１Ｂは、図２１Ａに示した指示領域５０（３つのサブ指示領域５１～５３を含む。）よりも大きい指示領域５０Ａ（３つのサブ指示領域５１Ａ，５２Ａおよび５３Ａを含む。）を設定した例を示している。この例において、ＣＰＵ１１は、操作者の手の大きさを測定し、その結果に基づいて指示領域５０の大きさを定める。これにより、操作者に合った適切なサイズを持つ指示領域５０を設定してジェスチャ入力を認識することができる。
　（変形例５）
　上述した指示領域５０の分割数は、操作対象によって操作の指示が多岐に亘る場合もあることを考慮して、増減することもできる。例えば、操作対象としてのカーナビゲーション装置４を別の操作対象（例えば、車内空調システムなど）に切り替えたときに、分割数を変更可能にしてもよい。例えば、図２２は、指示領域の分割数を３から４に変化させる例を示す。図２２（ａ）では、３分割されたサブ指示領域５１～５３を含む指示領域５０が設定されているが、図２２（ｂ）では、４分割されたサブ指示領域６１～６４を含む指示領域が設定されている。
　（変形例６）
　上述した指示領域の分割数は、操作対象に応じて、自在に変更することができ、図示した例のみに限定されないことはもちろんである。図２３Ａ～図２３Ｃは、指示領域の分割例を変更する例を示す図であって、図２３Ａは分割数が零、すなわち１つの指示領域５０のみの態様、図２３Ｂは２つのサブ指示領域５１と５２の態様、図２３Ｃは４つのサブ指示領域６１～６４の態様を示す。
　（変形例７）
　上述したスイッチ３２の個数および配置は図２の例にのみ限定されるものではなく、変更することができる。図２４Ａおよび図２４Ｂは、スイッチ３２の配置の他の例を示す図であって、図２４Ａはスイッチ３２が２つの場合の配置例を示し、図２４Ｂは１つのスイッチ３２をステアリングホイール５の左側に配置した例を示す。
　（変形例８）
　上述したスイッチ３２は、プレスまたはリリースが検出可能であればよく、図２に示した例に限られない。例えば後付けタイプのハードウェアスイッチ、または静電容量式スイッチなどでもよい。図２５は、このようなスイッチ３２Ａをステアリングホイール５に取り付けた例を示す。
　（変形例９）
　あるいはまた、上述したスイッチ３２に代えて、図２６Ａ～図２６Ｄに示すように、コラムスイッチ５１をスイッチ３２として機能させることもできる。図２６Ａでは、コラムスイッチ５１を回転して、「オン」状態をスイッチ３２の「プレス」状態とし、「オフ」状態をスイッチ３１の「リリース」状態とする。図２６Ｂでは、コラムスイッチ５１を矢印５１ａの方向にプッシュしたときの「オン」状態をスイッチ３２の「プレス」状態とし、矢印５１ｂの方向にプルしたときの「オフ」状態をスイッチ３２の「リリース」状態とする。
　図２６Ｃでは、コラムスイッチ５１にタッチしたときの接触状態をスイッチ３２の「プレス」状態とするとともに、コラムスイッチ５１からリリースしたときの非接触状態をスイッチ３２の「リリース」状態とする。図２６Ｄでは、コラムスイッチ５１をプレスしたときの状態をスイッチ３２の「プレス」状態とし、コラムスイッチ５１からリリースしたときの状態をスイッチ３２の「リリース」状態とする。
　（変形例１０）
　上述したセンサ３１は、操作者の手およびステアリングホイール５を少なくとも撮像可能であればよいので、車内の適宜な位置に配置することができる。例えば、図２７Ａ～図２７Ｅは、センサ３１の種々の取付け例を示す。図２７Ａ～図２７Ｅでは、センサ３１をインスツルメンタルパネル６に配置した態様（図２７Ａ）、コラムカバー９に配置した態様（図２７Ｂ）、ダッシュボード１０に配置した態様（図２７Ｃ）、車の天井５０に配置した態様（図２７Ｄ）、およびマップランプ５１に配置した態様（図２７Ｅ）を示す。
　（変形例１１）
　以上では、ジェスチャによる操作の指示として、曲の切替えや早送り、地図の縮小・拡大を例にとって説明したが、他の種々の操作対象の操作を指示する場合にも適用することができる。例えば、図２８は、操作対象７１として地図スケールなどが挙げられ、その地図の広域／詳細などの操作の指示のための指示項目７２を対応して示したリスト７０である。
図２９は、操作対象８１としてエンジンなどが挙げられ、そのエンジンのオン／オフなどの操作の指示のための指示項目８２を対応して示したリスト８０である。
図３０は、操作対象９１としてカメラ映像などが挙げられ、そのバックカメラ映像／パノラマ映像の切替えなどの操作の指示のための指示項目９２を対応して示したリスト９０である。
　（変形例１２）
　以上では、ジェスチャ操作システム１が自動車などの車両に搭載されている場合について説明してきたが、例えば船舶などの移動体にジェスチャ制御システム１を搭載して、移動体の車載装置や操縦に関連する選択操作をジェスチャによって行うようにしてもよく、移動体の種類は車両のみに限定されない。
　加えて、上記各変形例は、上記実施形態のジェスチャ制御システム１と組み合わせて実施することができる。
　１　　ジェスチャ操作システム
　４　　ナビゲーション装置（操作対象の一例）
　５　　ステアリングホイール
　６　　インスツルメンタルパネル（計器盤パネル）
　７　　ヘッドアップディスプレイ（HUD）
　８　　フロントガラス
　１０　照合テーブル
　１１　ＣＰＵ
　１２　ROM
　１３　RAM
　３１　センサ
　３２　スイッチ
　３３　表示部
　３４　スピーカ
　４１　ナビゲーション処理部
　５０　指示領域
　５１～５３　サブ指示領域
　１００　記億部
　２００　指示領域設定部
　３００　受付窓生成部
　４００　ジェスチャ入力認識部
　５００　操作指示部
　６００　操作対象

Claims (12)

  1. 　移動体の操舵装置および該操舵装置を操作する操作者の手を撮像する撮像部と、
    　前記撮像部によって撮像された操舵装置および操作者の手の撮像データに基づいて、前記操舵装置に関連して前記操作者の手による、前記移動体に関連する予め定めた操作対象に対する予め定めた操作についてのジェスチャ入力の指示を受け付けることのできる指示領域を生成し、当該生成された指示領域を前記操舵装置および前記操作者の手との関係に応じて配置し、および前記指示領域を予め定めた少なくともひとつのサブ指示領域に割り当てる指示領域設定部と、
    　前記操作者の手によるジェスチャ入力の受付を許可するための受付窓を開いてジェスチャ入力の受付を許可し、予め定めた操作パターンに応じて、該受付窓を閉じてジェスチャ入力のそれ以降の受付を禁止する受付窓を生成する受付窓生成部と、
    　前記受付窓が開かれ、前記ジェスチャ入力の受付が許可されている状態において、前記撮像部からの撮像データを受付けて、前記サブ指示領域における前記手によるジェスチャ入力を認識する認識部と、
    　前記ジェスチャ入力と予め定められた操作対象に対する予め定められた操作についての指示内容との対応を格納したテーブルと、
    　前記テーブルを照合して前記認識されたジェスチャ入力に対応する指示内容を特定する操作指示部と、
    を備え、受け付けられたジェスチャ入力の指示内容により、前記予め定められた操作対象に対する予め定められた操作を行うようにすることを特徴とするジェスチャ操作システム。
  2. 　前記認識部により認識されたジェスチャ入力の指示内容が意図された操作の指示であったか否かを判断する認識判断部をさらに備えたことを特徴とする請求項１に記載のジェスチャ操作システム。
  3. 　前記受付窓生成部は操作者が付勢および消勢することのできるスイッチを有し、該スイッチの付勢により前記受付窓を開き、および前記スイッチの消勢により前記受付窓を閉じることを特徴とする請求項１または２に記載のジェスチャ操作システム。
  4. 　前記受付窓生成部は操作者が付勢および消勢することのできるスイッチを有し、該スイッチの付勢およびその付勢に引き続く消勢に応答して前記受付窓を開き、および前記スイッチが前記付勢に引き続く消勢から予め定めた時間が経過した時に、前記受付窓を閉じることを特徴とする請求項１または２に記載のジェスチャ操作システム。
  5. 　前記受付窓生成部は操作者が付勢および消勢することのできるスイッチを有し、該スイッチの付勢およびその付勢に引き続く消勢に応答して前記受付窓を開き、および前記スイッチが再び付勢され、およびその付勢に引き続く消勢がなされた時に、前記受付窓を閉じることを特徴とする請求項１または２に記載のジェスチャ操作システム。
  6. 　前記指示領域を複数のサブ指示領域に分割したことを特徴とする請求項１ないし５のいずれかに記載のジェスチャ操作システム。
  7. 　前記サブ指示領域の個数を、前記予め定めた操作対象に対応して定めたことを特徴とする請求項１ないし６のいずれかに記載のジェスチャ操作システム。
  8. 　前記指示領域を、前記操作者の手と前記操舵装置との関係に応じて定めることを特徴とする請求項１ないし７のいずれかに記載のジェスチャ操作システム。
  9. 　前記受付窓が開かれている状態において、前記操作者が前記操舵装置を操作している際に、前記指示領域を、前記操作者の手と前記操舵装置との関係に追随して定めることを特徴とする請求項８に記載のジェスチャ操作システム。
  10. 　前記認識判断部によりジェスチャ入力の指示内容が意図された操作の指示であったか否かが判断されたときに、その判断結果を出力する出力部をさらに備えたことを特徴とする請求項２ないし９のいずれかに記載のジェスチャ操作システム。
  11. 　移動体の操舵装置および該操舵装置を操作する操作者の手を撮像する撮像部と、
    　前記操作者の手によるジェスチャ入力の受付の許可を開始して受付窓を生成するためのスイッチと、
    　前記ジェスチャ入力と予め定められた所定の操作対象に対する所定の操作についての指示内容との対応を格納したテーブルとを備えたジェスチャ操作システムにおいて、前記操作者の手によるジェスチャ入力に応じて、予め定めた操作対象に対する予め定めた操作を行うように指示する、ジェスチャによる操作を行うにあたり、
    　前記撮像部によって撮像された操舵装置および操作者の手の撮像データに基づいて、前記操舵装置に関連して前記操作者の手による、前記移動体に関連する予め定めた操作対象に対する予め定めた操作についてのジェスチャ入力の指示を受け付けることのできる指示領域を生成し、当該生成された指示領域を前記操舵装置および前記操作者の手との関係に応じて配置し、および前記指示領域を予め定めた少なくともひとつのサブ指示領域に割り当てる指示領域設定ステップと、
    　前記スイッチの動作に応答して、前記操作者の手によるジェスチャ入力の受付を許可するための受付窓を開いてジェスチャ入力の受付を許可し、予め定めた操作パターンに応じて、該受付窓を閉じてジェスチャ入力のそれ以降の受付を禁止する受付窓を生成するステップと、
    　前記受付窓が開かれ、前記ジェスチャ入力の受付が許可されている状態において、前記撮像部からの撮像データを受付けて、前記サブ指示領域における前記手によるジェスチャ入力を認識する認識ステップと、
    　前記テーブルを照合して前記認識ステップにおいて認識されたジェスチャ入力に対応する指示内容を特定する操作指示ステップと、
    を備え、受け付けられたジェスチャ入力の指示内容により、前記予め定められた操作対象に対する予め定められた操作を行うことを特徴とするジェスチャ操作方法。
  12. 　移動体の操舵装置および該操舵装置を操作する操作者の手を撮像する撮像部と、
    　前記操作者の手によるジェスチャ入力の受付の許可を開始して受付窓を生成するためのスイッチと、
    　前記ジェスチャ入力と予め定められた所定の操作対象に対する所定の操作についての指示内容との対応を格納したテーブルとを備えたジェスチャ操作システムにおいて用いられ、前記操作者の手によるジェスチャ入力に応じて、予め定めた操作対象に対する予め定めた操作を行うように指示するための、ジェスチャ操作プログラムにおいて、
    　前記撮像部によって撮像された操舵装置および操作者の手の撮像データに基づいて、前記操舵装置に関連して前記操作者の手による、前記移動体に関連する予め定めた操作対象に対する予め定めた操作についてのジェスチャ入力の指示を受け付けることのできる指示領域を生成し、当該生成された指示領域を前記操舵装置および前記操作者の手との関係に応じて配置し、および前記指示領域を予め定めた少なくともひとつのサブ指示領域に割り当てる指示領域設定ステップと、
    　前記スイッチの動作に応答して、前記操作者の手によるジェスチャ入力の受付を許可するための受付窓を開いてジェスチャ入力の受付を許可し、予め定めた操作パターンに応じて、該受付窓を閉じてジェスチャ入力のそれ以降の受付を禁止する受付窓を生成するステップと、
    　前記受付窓が開かれ、前記ジェスチャ入力の受付が許可されている状態において、前記撮像部からの撮像データを受付けて、前記サブ指示領域における前記手によるジェスチャ入力を認識する認識ステップと、
    　前記テーブルを照合して前記認識ステップにおいて認識されたジェスチャ入力に対応する指示内容を特定する操作指示ステップと、
    を備え、受け付けられたジェスチャ入力の指示内容により、前記予め定められた操作対象に対する予め定められた操作を行うことを特徴とするジェスチャ操作プログラム。
PCT/JP2016/003418 2015-07-24 2016-07-21 ジェスチャ操作システム、方法およびプログラム WO2017017938A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-146956 2015-07-24
JP2015146956A JP2017027456A (ja) 2015-07-24 2015-07-24 ジェスチャ操作システム、方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2017017938A1 true WO2017017938A1 (ja) 2017-02-02

Family

ID=57884234

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/003418 WO2017017938A1 (ja) 2015-07-24 2016-07-21 ジェスチャ操作システム、方法およびプログラム

Country Status (2)

Country Link
JP (1) JP2017027456A (ja)
WO (1) WO2017017938A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG10201912990QA (en) * 2019-12-23 2020-11-27 Sensetime Int Pte Ltd Gesture Recognition Method And Apparatus, Electronic Device, And Storage Medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009252105A (ja) * 2008-04-09 2009-10-29 Denso Corp プロンプター式操作装置
JP2014032502A (ja) * 2012-08-02 2014-02-20 Alpine Electronics Inc 操作入力装置、それを用いた車載機器及び操作入力処理方法
WO2014151054A2 (en) * 2013-03-15 2014-09-25 Honda Motor Co., Ltd. Systems and methods for vehicle user interface
JP2014238711A (ja) * 2013-06-07 2014-12-18 島根県 カーナビ用ジェスチャ入力装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009252105A (ja) * 2008-04-09 2009-10-29 Denso Corp プロンプター式操作装置
JP2014032502A (ja) * 2012-08-02 2014-02-20 Alpine Electronics Inc 操作入力装置、それを用いた車載機器及び操作入力処理方法
WO2014151054A2 (en) * 2013-03-15 2014-09-25 Honda Motor Co., Ltd. Systems and methods for vehicle user interface
JP2014238711A (ja) * 2013-06-07 2014-12-18 島根県 カーナビ用ジェスチャ入力装置

Also Published As

Publication number Publication date
JP2017027456A (ja) 2017-02-02

Similar Documents

Publication Publication Date Title
JP5957745B1 (ja) 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
US10466800B2 (en) Vehicle information processing device
CN109398357B (zh) 车辆控制装置、车辆、车辆控制方法以及存储介质
US9104243B2 (en) Vehicle operation device
JP5905691B2 (ja) 車両用操作入力装置
JP6393537B2 (ja) 車両用装置、車両制御システム、車両制御方法
US11023786B2 (en) Device control apparatus
WO2018163456A1 (ja) 運転モード切替制御装置、方法およびプログラム
GB2501575A (en) Interacting with vehicle controls through gesture recognition
US20160170495A1 (en) Gesture recognition apparatus, vehicle having the same, and method for controlling the vehicle
JP6515028B2 (ja) 車両用操作装置
JP2018163112A (ja) 自動駐車制御方法およびそれを利用した自動駐車制御装置、プログラム
US20210072831A1 (en) Systems and methods for gaze to confirm gesture commands in a vehicle
WO2018061603A1 (ja) ジェスチャ操作システム、ジェスチャ操作方法およびプログラム
KR20180091732A (ko) 사용자 인터페이스, 운송 수단 및 사용자 구별을 위한 방법
US11181909B2 (en) Remote vehicle control device, remote vehicle control system, and remote vehicle control method
KR20200093091A (ko) 단말기, 그를 가지는 차량 및 그 제어 방법
JP2017090614A (ja) 音声認識制御システム
JP4683123B2 (ja) 行動推定装置、プログラム
JP4613999B2 (ja) 行動推定装置、プログラム
WO2017017938A1 (ja) ジェスチャ操作システム、方法およびプログラム
JP6385624B2 (ja) 車載情報処理装置、車載装置および車載情報処理方法
CN111511599A (zh) 用于运行辅助系统的方法和汽车用辅助系统
JP2018158701A (ja) 自動駐車制御方法およびそれを利用した自動駐車制御装置、プログラム
KR20130076214A (ko) 운전자의 포인팅 제스처를 이용한 차량 구동 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16830044

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16830044

Country of ref document: EP

Kind code of ref document: A1