WO2015133057A1 - 検知装置及びジェスチャ入力装置 - Google Patents

検知装置及びジェスチャ入力装置 Download PDF

Info

Publication number
WO2015133057A1
WO2015133057A1 PCT/JP2015/000391 JP2015000391W WO2015133057A1 WO 2015133057 A1 WO2015133057 A1 WO 2015133057A1 JP 2015000391 W JP2015000391 W JP 2015000391W WO 2015133057 A1 WO2015133057 A1 WO 2015133057A1
Authority
WO
WIPO (PCT)
Prior art keywords
gesture
input
movement
steering
finger
Prior art date
Application number
PCT/JP2015/000391
Other languages
English (en)
French (fr)
Inventor
佳行 津田
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2014043142A external-priority patent/JP2015168304A/ja
Priority claimed from JP2014059332A external-priority patent/JP2015184841A/ja
Priority claimed from JP2014077882A external-priority patent/JP2015199383A/ja
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to US15/112,715 priority Critical patent/US9939912B2/en
Publication of WO2015133057A1 publication Critical patent/WO2015133057A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B60K35/10—
    • B60K35/60—
    • B60K35/654—
    • B60K2360/146—
    • B60K2360/1464—
    • B60K2360/48—
    • B60K2360/782—

Definitions

  • the present disclosure relates to a detection device that detects an operator's gesture operation and a gesture input device that enables input by an operator's gesture.
  • the operation input device described in Patent Document 1 includes a camera that captures the vicinity of the driver's seat.
  • the gesture of the operator's hand is detected from the photographed image captured by the camera, the operation intended by the operator is determined from the detected gesture, and the device mounted on the vehicle is activated based on the determined operation It has come to be.
  • a first operation area corresponding to the upper part of the handle, a second operation area corresponding to the upper part of the dashboard, or the like is set in advance in the area captured by the camera.
  • the operator places two fingers on the upper part of the steering wheel (first operation area) or the upper part of the dashboard (second operation area).
  • Various menu items (first attribute, second attribute, etc.) for navigation operations are selected or determined by performing an operation (gesture) such as rubbing left or right or touching with one finger. It has become so.
  • a predetermined mark is provided on the handle, and it is detected that the mark is deviated (rotated) from a fixed position, and the handle is rotated. Estimates that the vehicle is being operated and prevents gesture detection.
  • the movement of the user's target part is imaged by the imaging camera, and the direction, speed, or acceleration of the movement of the specific target part of the user is obtained from the obtained moving image. Etc. are detected. Then, an operation command corresponding to the detected movement is output, and the state transition of the electronic device including the display device is displayed on the display screen of the display.
  • the reference position is input to the electronic device body, and the display device receives the reference position.
  • the menu operation screen is displayed. Then, the user performs a hand gesture to quickly slide the palm to the right (or left), then remove the force of the hand and slowly return to the reference position and stop at the reference position. Then, the object displayed on the menu operation screen of the display device is shifted to the right (or left) by one unit (one object) to be in the selected state. Further, when the user slides the palm toward the display device (imaging camera), the selection state of the object is changed to the determination state.
  • Patent Document 1 it is necessary for the operator to release the handle during operation and move the hand to a predetermined operation area to perform an input operation, so that the operation burden is high. In addition, since it is necessary to remove the hand from the steering wheel during driving, there remains anxiety in terms of safe driving.
  • the steering wheel when driving on a gentle curve with a constant radial distance, the steering wheel is rotated at the entrance of the curve, but after that, the steering wheel is operated at a fixed rotational position. If the gesture is not always detected as the handle is rotated as in Patent Document 1, the convenience for the operator is lowered. On the other hand, it is not preferable in terms of safe driving if the input by the gesture is permitted when the steering wheel is tightly operated.
  • Patent Document 2 describes that “when moving the palm to the reference position, it is preferable not to be conscious of copying the palm to the camera”. This technical idea shows that the input conditions for returning the palm are very ambiguous. For example, if the palm is slid to the right (or left) and then moved back, the input in the reverse direction may be recognized. In other words, for an operator, even if an object is continuously sent to one side, there is a risk of repeating “sending” and “returning” to the object due to misrecognition, and continuous input operations with the same contents cannot be performed. . Alternatively, when the palm is moved unintentionally with some operation of the operator, the movement of the palm is taken as an input operation in one direction, and an unintended object is sent.
  • An object of the present disclosure is to provide a detection device that can contribute to safe driving and a gesture input device that can improve operability by increasing the recognition accuracy of the input by the gesture while reducing the operation burden associated with gesture input. There is to do.
  • This disclosure further aims to provide a gesture input device capable of improving the convenience of input by gestures while ensuring safe driving.
  • a detection device that is mounted on a vehicle and detects a gesture of an operator's finger is disposed on the steering column on the back side of the steering of the vehicle or in the vicinity of the steering column and is directed toward the steering side.
  • a detection unit that detects a space in a predetermined range
  • a switch unit that is provided on the rear side of the steering and is operated by an operator
  • a control unit that receives an input signal from the switch unit. Even if the detection unit detects the gesture in the space in the predetermined range, the control unit invalidates the detection of the gesture if the input signal is present.
  • the detection device detects the movement of the finger as a gesture by moving any one of the gripped fingers to the space side of the predetermined range. It becomes possible. Therefore, the operator can perform an input operation without releasing his / her hand from the steering wheel during driving, thereby reducing the operation burden associated with gesture input, and thus contributing to safe driving. .
  • the detection target detected by the detection device is a space in a predetermined range from the arrangement position of the detection device toward the steering side. Therefore, normally, when the operator is gripping the steering wheel, it is possible to prevent the movement of the finger from being recognized as a gesture, so that erroneous recognition can be prevented.
  • the gesture input device detects movement of a specific part of the operator's body, and detects an action to one side of the specific part and an operation in the opposite direction opposite to the one.
  • a detection unit a determination unit that determines whether an operation in one direction and an operation in the opposite direction are continuously detected within a predetermined time, and an operation detection unit that operates in one direction within a predetermined time.
  • the recognition unit recognizes the movement in one direction and the movement in the reverse direction as one gesture.
  • the operation in one direction or the operation in the opposite direction is not recognized independently. That is, for the operator, a desired input operation can be performed by performing a reciprocating motion using a gesture in one direction and a motion in the opposite direction as one gesture. Therefore, in the reciprocating operation, the input by the operation in one direction and the input by the operation in the reverse direction are not mixed alternately, and one input operation is continuously performed by repeating the reciprocating operation as one unit. Will be able to do.
  • the gesture input device detects movement of a specific part of the operator's body, and detects an action to one side of the specific part and an operation in the opposite direction opposite to the one. After detecting motion to one of the detectors, erases the history of motion to one detected by the motion detector when no reverse motion is detected continuously within a predetermined time.
  • a recognizing unit that recognizes an operation in one direction and an operation in the opposite direction as one gesture when detecting an operation in one direction and an operation in the opposite direction within a predetermined time. Is provided.
  • the reset unit detects the operation to the one detected by the operation detection unit. Clear the operation history. In other words, if there is no operation in the reverse direction within a predetermined time after the operation in one direction, the input is not performed, so that it is possible to reliably prevent an erroneous operation.
  • the recognition unit recognizes the movement in one direction and the movement in the reverse direction as one gesture. That is, for the operator, a desired input operation can be performed by performing a reciprocating motion using a gesture in one direction and a motion in the opposite direction as one gesture.
  • a gesture input device is mounted on a vehicle and detects a gesture of a specific part of an operator's body, a steering angle sensor detects a steering angle during steering of the vehicle, Based on the angular velocity obtained from the steering angle detected by the steering angle sensor, the input of the gesture detected by the detection unit is permitted or prohibited, and when the angular velocity is a predetermined threshold value or more, the input of the gesture is performed. And a control unit for prohibiting.
  • the control unit prohibits the input of the gesture. Therefore, it is possible to concentrate on the driving of the vehicle with respect to the operator, which can lead to safe driving.
  • the angular velocity obtained from the steering angle sensor is smaller than the threshold value, the steering operation by the operator is small, and the operator can afford to make a gesture.
  • the convenience of input by the operator's gesture can be enhanced.
  • a detection apparatus 110 according to the first embodiment will be described with reference to FIGS.
  • the detection device 110 of the present embodiment is applied to the operation input device 100 mounted on a vehicle.
  • the vehicle is provided with a steering steering 10 and a steering column 10a including a steering shaft on the back side (front side of the vehicle) of the steering 10.
  • An instrument panel 11 is provided on the back side of the steering 10, and a combination meter 12 for comprehensively displaying various vehicle information is provided at a position facing the upper half of the steering 10 in the instrument panel 11. It has been.
  • a winker lever 13 for blinking a winker indicating a direction when turning right or left by a driver's right hand operation is provided on the right side of the steering column 10a in the vehicle traveling direction.
  • the operation input device 100 includes a detection device 110, a control unit 120, and a vehicle device 130. Based on the body movement of the driver (operator) detected by the detection device 110, the control unit 120 performs display image switching and operation input on the display unit 130 a of the vehicle device 130.
  • the detection device 110 is also a detection unit that detects the movement of the driver's body. For example, the detection device 110 captures a part of the driver's body (hands, fingers, etc.) with a three-dimensional image, and detects the movement of the driver's body part from the change in the image over time.
  • the detection device 110 for example, a near-infrared sensor using near infrared rays, a far-infrared sensor using far infrared rays, or the like is used.
  • the detection device 110 is referred to as a sensor 110.
  • the sensor 110 is disposed on the instrument panel 11 in the vicinity of the steering column 10a on the back side of the steering 10 of the vehicle. More specifically, for example, in the steering 10, the sensor 110 is positioned at a position facing the right hand when viewed from the driver's seat side in the vehicle traveling direction among the left and right hands held by the driver in the 10:10 direction. Has been placed. Therefore, the optical axis of the sensor 110 is generally horizontal and is directed from the instrument panel 11 side toward the front side (back side) of the steering 10.
  • the area to be detected by the sensor 110 is a space area of a predetermined range from the position where the sensor 110 is disposed toward the steering 10 side, as shown in FIG. Hereinafter, this area is referred to as a detection area. Further, the area between the tip area of the detection area and the back surface of the steering 10 is a non-detection area.
  • the non-detection area is an area where a finger holding the steering wheel 10 is positioned during normal driving, and the movement of the finger at this time is not detected by the sensor 110.
  • the detection area is an area for detecting the movement of the finger.
  • the driver extends the index finger and middle finger of the right hand, or extends the index finger or the middle finger toward the sensor 110, so that each finger enters the detection area. The movement of the right hand of the driver is detected.
  • gesture Various patterns can be determined in advance for the movement of the finger (hereinafter referred to as “gesture”), but here, for the sake of simplicity, for example, the finger is moved in the horizontal direction and the finger is moved in the vertical direction. It defines what to shake.
  • gestures are an image of a swipe operation on a smartphone screen, for example.
  • the finger gesture signal detected by the sensor 110 is output to the control unit 120 described later.
  • the control unit 120 receives a finger gesture signal from the sensor 110 and performs display control on the display unit 130 a of the vehicle device 130 and operation control of the vehicle device 130.
  • the control content according to the finger gesture signal is predetermined. That is, the control unit 120 generates a display image required in the display unit 130a in accordance with the finger gesture signal, further switches the display image, and changes the operating state of the vehicle device 130.
  • the vehicle device 130 is, for example, integrally formed with a navigation device having an audio function and an air conditioner input device for inputting operating conditions for the vehicle air conditioner.
  • the vehicle device 130 includes a display unit 130a, and is disposed, for example, at approximately the center of the instrument panel 11 in the left-right direction of the vehicle.
  • the display unit 130a is formed by, for example, a liquid crystal display or an organic EL display. On the display unit 130a, as a main menu, selection switches for selecting any one of navigation, audio, and air conditioner are displayed so as to be arranged in the left-right direction.
  • the display unit 130a displays a navigation image such as a map image related to route guidance, a vehicle position image, a destination search image, a destination guidance image by displaying characters or diagrams, and the like.
  • a navigation image such as a map image related to route guidance, a vehicle position image, a destination search image, a destination guidance image by displaying characters or diagrams, and the like.
  • audio images such as a song name list and a volume adjustment switch are displayed.
  • an air conditioner image such as a set temperature switch, an air volume adjustment switch, a blowout mode changeover switch, an inside / outside air changeover switch, and a current operation state is displayed.
  • the gesture in the horizontal direction of the finger is, for example, a gesture for selecting a function of the vehicle device 130.
  • a gesture for vertically moving a finger is a gesture for enlarging or reducing a map image in a navigation image, a gesture for operating a volume adjustment switch in an audio image, or a gesture for operating a set temperature switch in an air conditioner image. It has become.
  • the right index finger and / or middle finger is extended to the sensor 110 side and a finger gesture is performed in the left-right direction (FIG. 4).
  • the finger enters the detection area, and the sensor 110 detects a gesture in the left-right direction of the finger.
  • the left / right gesture signal is output to the control unit 120, and the control unit 120 sets the selection switch to the selection determination state each time the finger is swung left or right, and displays the display on the display unit 130a. Switching to navigation, audio, and air conditioning images sequentially.
  • the sensor 110 detects the finger up / down gesture.
  • the vertical gesture signal is output to the control unit 120.
  • the control unit 120 enlarges and displays the map image when the finger is swung upward, and reduces the map image when the finger is swung downward.
  • the control unit 120 increases the volume in association with the operation of the volume adjustment switch when the finger is swung upward, and decreases the volume when the finger is swung down.
  • the control unit 120 increases the set temperature in association with the operation of the set temperature switch when the finger is swung upward, and decreases the set temperature when the finger is swung down.
  • any one of the gripped fingers (index finger and / or middle finger) is extended and moved to the detection area side, thereby 110 can detect the movement of the finger as a gesture. Therefore, since the driver can perform an input operation on the vehicle device 130 without releasing his hand from the steering wheel 10 during driving, the operation burden associated with the gesture input can be reduced, which contributes to safe driving. It becomes possible.
  • the detection target detected by the sensor 110 is a predetermined range of space (detection area) from the position where the sensor 110 is arranged toward the steering 10 side. Therefore, normally, when the driver is gripping the steering wheel 10, the finger enters the non-detection area, and the movement of the finger can be prevented from being recognized as a gesture. it can.
  • the sensor 110 is disposed on the instrument panel 11 in the vicinity of the steering column 10a.
  • the optical axis of the sensor 110 is generally horizontal and is directed from the instrument panel 11 side toward the front side (back side) of the steering 10 (arrangement 1 in FIGS. 2 and 3).
  • the position where the sensor 110 is set is not limited to this, and may be, for example, the arrangement 2 to the arrangement 6 as shown in FIGS.
  • the arrangement 2 is configured such that the sensor 110 is provided in the steering column 10a with respect to the arrangement 1 so that the optical axis of the sensor 110 is generally upward.
  • the sensor 110 in this case can employ a sensor that captures the movement of the index finger and / or the middle finger using a two-dimensional image in addition to the sensor that captures the movement of the index finger and / or middle finger.
  • the two-dimensional image sensor 110 it is possible to detect a finger that crosses the upward optical axis and moves in the left-right direction, and a gesture that shakes in the left-right direction can be employed as the finger gesture.
  • the arrangement 3 is provided with sensors 110 at two positions on the left and right of the steering column 10 a with respect to the arrangement 1, and the optical axis of the sensor 110 is generally upward in the radial outward direction of the steering 10. It was made to become.
  • the sensor 110 in this case can handle the movement of the index finger and / or the middle finger with a three-dimensional image, and the finger gesture is in the horizontal direction and the vertical direction. Shake gestures can be employed.
  • the arrangement 4 detects the movement of the finger of the hand located below the horizontal center of the steering 10 with the optical axis of the sensor 110 approximately horizontal, as in the arrangement 1. It is what you do.
  • the sensor 110 is provided on the steering column 10a with respect to the arrangement 1, and the optical axis of the sensor 110 is generally downward.
  • the sensor 110 in this case can employ a sensor that captures the movement of the ring finger and / or little finger using a two-dimensional image in addition to a sensor that captures the movement of the ring finger and / or little finger using a three-dimensional image.
  • the two-dimensional image sensor 110 it is possible to detect a finger that crosses the downward optical axis and moves in the left-right direction, and a gesture that shakes in the left-right direction can be used as the finger gesture.
  • the arrangement 6 has sensors 110 provided at two places on the left and right of the steering column 10 a with respect to the arrangement 1, and the optical axis of the sensor 110 is generally downward in the radial direction outward of the steering 10. It was made to become.
  • the sensor 110 in this case can handle the movement of the ring finger and / or little finger with a three-dimensional image as in the case of the arrangement 1, and the finger gesture can be in the horizontal direction and the vertical direction. Shake gestures can be employed.
  • FIG. 10 summarizes the relationship between the types of sensors in the arrangement 1 and the arrangements 2 to 6 in the first embodiment and the gesture operations that can be acquired.
  • 2D indicates two dimensions and 3D indicates three dimensions.
  • FIGS. 1 and 2 A detection device 110 and an operation input device 100A of the second embodiment are shown in FIGS.
  • the second embodiment prevents an erroneous input of a gesture when the turn signal lever 13 is operated.
  • An operation signal (input signal) when the winker lever 13 is operated (input) is input to the sensor 110.
  • the blinker lever 13 corresponds to the switch unit of the present disclosure. Since the winker lever 13 is provided on the steering column 10 a, when the driver operates the winker lever 13, the finger enters the detection area of the sensor 110. If the movement of the finger when operating the winker lever 13 is detected as a vertical gesture, the display content of the display unit 130a may be changed against the driver's intention.
  • the senor 110 performs an erroneous input prevention control based on the flowchart shown in FIG.
  • the sensor 110 determines whether or not the movement of the driver's finger is detected in step S100. And if it affirmation determinates in step S100, it will transfer to step S110.
  • step S110 the sensor 110 determines whether or not there is an operation signal from the winker lever 13 for a predetermined time (for example, about 200 ms). If it is determined NO in step S110, the sensor 110 recognizes that there is no gesture by the driver and that the gesture is performed by the original finger, and that the gesture is present in step S120. Then, this gesture signal is output to the control unit 120.
  • a predetermined time for example, about 200 ms.
  • step S110 it recognizes that there is an operation of the winker lever 13 by the driver and that the gesture is not performed with the original finger, and in step S130, it is recognized that there is no gesture To do. That is, the sensor 110 disables gesture detection, and in this case, does not output to the control unit 120.
  • the operation signal of the winker lever 13 is input to the sensor 110, but the present invention is not limited to this.
  • the wiper lever disposed on the left side of the steering column 10a may be regarded as a switch unit and applied. That is, an operation signal of the wiper lever is input to the sensor 110 so that the finger movement is not recognized as a gesture when the wiper lever is operated. This can prevent the operation of the wiper lever from being detected as an erroneous input.
  • a gesture input device 100 according to the third embodiment will be described with reference to FIGS.
  • the gesture input device 100 according to the present embodiment performs an operation on the vehicle device 130 based on the movement of a specific part of the driver (operator) body.
  • the vehicle includes a steering steering 10, an instrument panel 11 located on the back side (front side of the vehicle) of the steering 10, and various vehicle information on the instrument panel 11 facing the upper half of the steering 10.
  • a combination meter 12 or the like for displaying is provided.
  • the gesture input device 100 includes an operation detection unit 110 and a control unit 120.
  • the control unit 120 performs display image switching and operation input on the display unit 130a of the vehicle device 130.
  • the motion detection unit 110 detects the movement of a specific part of the driver's body.
  • the motion detection unit 110 detects a specific part of the driver's body from the image, and detects the movement of the specific part of the driver's body from the change in the image with time.
  • the specific part of the driver's body can be, for example, a finger, a palm, an arm, or the like.
  • the finger of the hand is targeted as a specific part of the driver's body.
  • a two-dimensional image or a sensor or camera that forms a three-dimensional image can be used.
  • the sensor include a near-infrared sensor using near infrared rays, a far-infrared sensor using far infrared rays, and the like.
  • the camera include a stereo camera that can simultaneously capture information from a plurality of directions and record depth information, or a ToF camera that stereoscopically captures an object using a ToF (TimeFof Flight) method.
  • a near-infrared sensor that forms a three-dimensional image is used, and hereinafter, the motion detection unit 110 is referred to as a sensor 110.
  • the vehicle device 130 is, for example, integrally formed with a navigation device having an audio function and an air conditioner input device for inputting operating conditions for the vehicle air conditioner.
  • Examples of the audio function include a music playback function and a radio reception function.
  • the vehicle device 130 includes a display unit 130a, and is disposed, for example, at approximately the center of the instrument panel 11 in the vehicle left-right direction.
  • the display unit 130a is formed by, for example, a liquid crystal display or an organic EL display.
  • a mode selection icon 131 in which a radio icon 131a, a navigation icon 131b, a music icon 131c, an air conditioning icon 131d, and the like are arranged in the left-right direction is displayed as a main menu (FIG. 16).
  • a radio operation image is displayed on the display unit 130a.
  • a navigation image such as a map image related to route guidance, a vehicle position image, a destination search image, a destination guidance image by displaying characters or a figure, etc. is displayed on the display unit 130a. Is displayed.
  • an audio operation image such as a song title list and a volume adjustment switch is displayed on the display unit 130a.
  • the display unit 130a displays a set temperature switch, an air volume adjustment switch, a blow mode switching switch, an inside / outside air switching switch, and an image for operating the air conditioner such as the current operating state. Is done.
  • the left / right gesture of the finger is a gesture for selecting each of the icons 131a to 131d of the mode selection icon 131 on the display unit 130a.
  • the gesture for moving the finger in the right direction corresponds to the movement in one direction of the present invention
  • the gesture for moving the finger in the left direction corresponds to the movement in the reverse direction of the present invention.
  • the sensor 110 detects a finger gesture and outputs the gesture signal to the control unit 120.
  • the gesture recognition control performed by the control unit 120 will be described based on the flowchart shown in FIG.
  • the sensor 110 captures the gesture of the driver's finger (for example, swiping in the right direction) extended to the detection area with an image, and outputs it to the control unit 120 as a gesture signal.
  • the control unit 120 calculates the finger moving speed v and the finger moving direction ⁇ from the gesture signal, and acquires the time (time) t.
  • step S210 the control unit 120 determines whether or not the swipe start flag is OFF.
  • the swipe start flag OFF means that a gesture for moving a finger in one direction (for example, right direction), that is, a swipe operation in one direction has not been detected yet. If a positive determination is made in step S210, the process proceeds to step S220.
  • step S220 the control unit 120 determines whether or not the finger moving speed v is greater than a predetermined threshold C1.
  • the case where the speed v is larger than the threshold value C1 corresponds to the case where the finger moving speed v is large and the finger is performing a swipe operation in one direction. Therefore, if a positive determination is made in step S220, the process proceeds to step S230. If a negative determination is made in step S220 (finger does not perform a swipe operation in one direction), the process returns to step S200.
  • step S230 the control unit 120 turns on the swipe start flag.
  • the swipe start flag ON means that a swipe operation in one direction (for example, right direction) is detected.
  • the control unit 120 stores the finger moving direction ⁇ at that time as ⁇ 1.
  • the direction ⁇ ranges from ⁇ 180 ° to + 180 °.
  • the time (time) t at that time is stored as t1. Then, the process returns to step S200.
  • the control unit 120 displays the icons 131a to 131d on the left and right sides of the mode selection icon 131 on the display unit 130a as shown in FIG. It is moved in one direction by a dimension corresponding to half of the dimension in the direction. In other words, if the driver is moving the finger in one direction (for example, the right direction) as a finger swipe operation, the icons 131a to 131d are moved by half in one direction (for example, the right direction).
  • step S210 the process proceeds to step S240. That is, when the control is repeated and the swipe start flag is turned on in step S230, and the process reaches step S210 again, a negative determination is made. That is, in step S240, the following determination is performed on the assumption that the sensor 110 detects a swipe operation in one direction.
  • step S240 the control unit 120 determines whether or not the finger moving speed v is greater than a predetermined threshold C2, and the finger moving direction (
  • the determination of the direction in which the finger moves in step S240 means whether or not the direction is the opposite direction within the predetermined range (within the threshold C3) with respect to the direction ⁇ 1 in step S230. In the reverse swipe operation, the movement may be slightly slower than the initial one-way swipe operation, and therefore the threshold C2 is set to a value smaller than the threshold C1.
  • the determination step in step S220 and the determination step in step S240 correspond to the determination unit of the present disclosure.
  • step S240 If an affirmative determination is made in step S240, a finger swipe operation in one direction and a swipe operation in the opposite direction are performed. With both swipe operations, in step S250, the control unit 120 performs a swipe operation. Confirm input by operation. At this time, it does not correspond to the time condition (time condition exceeding the threshold value C4) by step S270 described later, that is, it is assumed that both swipe operations are continuously detected within a predetermined time period (within the threshold value C4). The control unit 120 recognizes that there is one gesture.
  • the confirmation step of step S250 corresponds to the recognition unit of the present disclosure.
  • each of the icons 131a to 131d is unidirectionally displayed on the mode selection icon 131 on the display unit 130a by the control unit 120 as shown in FIG. Further, it is moved by half. That is, if the driver moves his / her finger in one direction (for example, the right direction) and then moves the finger in the reverse direction (for example, the left direction) as a finger swipe operation, each icon 131a to 131d has 1 Therefore, it is moved in one direction (for example, right direction).
  • step S260 the control unit 120 resets the swipe start flag, the finger moving direction ⁇ 1, and the time t1, and returns to step S200. That is, the control unit 120 returns to the initial state and starts recognition control based on the finger swipe operation again.
  • step S240 the process proceeds to step S270, and the control unit 120 confirms the elapsed time. That is, the elapsed time is calculated by subtracting the time (time) t1 when the swipe start flag was turned on in step S230 from the current time (time) t, and this elapsed time is compared with a predetermined threshold C4. If the elapsed time is longer than the threshold value C4, the process proceeds to step S260 without confirming the input by the swipe operation in step S250. If the elapsed time is shorter than the threshold value C4, the process returns to step S200. This elapsed time corresponds to the predetermined time of the present disclosure.
  • step S240 the control unit 120 determines that the swipe operation in the reverse direction is continuously detected within a predetermined time after detecting the swipe operation in one direction, and confirms the input by the swipe operation in step S250.
  • step S260 if the control unit 120 detects the one-way swipe operation in step S230 but does not continue to detect the swipe operation in the reverse direction within a predetermined time, the control unit 120 performs a reset (erase history) in step S260.
  • the input is not confirmed by swipe operation.
  • the icons 131a to 131d moved halfway in one direction in FIG. 16 (b) are returned to their original positions as cancellation.
  • Step S260 based on step S270 corresponds to the reset unit in the present disclosure.
  • control unit 120 uses the determination unit (S220, S240) and the recognition unit (S250) to move the driver's finger in one direction and in the opposite direction. Is continuously detected within a predetermined time period, it is recognized as one gesture.
  • a desired input operation can be performed by performing a reciprocating motion using a gesture in one direction and a motion in the opposite direction as one gesture. Therefore, in the reciprocating operation, the input by the operation in one direction and the input by the operation in the reverse direction are not mixed alternately, and one input operation is continuously performed by repeating the reciprocating operation as one unit. It can be carried out.
  • the reset unit (S260) Clear history about one-way movements. As a result, if there is no operation in the reverse direction within a predetermined time after the operation in one direction, the input is not performed, so that it is possible to reliably prevent an erroneous operation.
  • the recognition accuracy of the input by the driver's gesture can be improved, and the operability can be improved.
  • the threshold values C1 to C4 for determining finger movement can be changed by the driver's input operation, as compared to the third embodiment.
  • Each threshold C1 to C4 corresponds to the determination condition of the present disclosure.
  • a setting change screen 132 that allows the setting of each of the threshold values C1 to C4 to be changed by a predetermined operation by the driver is displayed.
  • the setting change screen 132 for example, current threshold values C1 to C4 for the initial setting values (gray positions in FIG. 17) are displayed.
  • the driver can input for changing each of the threshold values C1 to C4 to the sensor 110 in consideration of the habit and preference when performing the finger operation.
  • the setting change screen 132 is, for example, a screen having a touch-type input function using a capacitance electrode.
  • each of the threshold values C1 to C4 is displayed on the setting change screen 132. This can be done by placing the fingertip on the position and sliding the fingertip in the direction of the value to be changed.
  • the setting change screen 132 of the display unit 130a corresponds to the changing unit of the present disclosure.
  • the thresholds C1 to C4 for judging the finger movement can be changed to suit the driver's habits and preferences, so that it is easy for the driver to use.
  • the threshold values C1 and C2 for determining the finger movement speed (moving speed) v are important determination values for capturing the finger movement, and thus the threshold values C1 and C2 can be changed. This greatly contributes to improving the usability for the driver.
  • a gesture input device 300 according to the fifth embodiment will be described with reference to FIGS.
  • the gesture input device 300 according to the present embodiment performs an operation on the vehicle device 130 based on the movement of a specific part of the body of the driver (operator).
  • the vehicle includes a steering 10 for steering, a steering shaft 311 for transmitting an operation force of the steering 10 to a steering gear (not shown), an instrument panel 312 located on the rear side (front side of the vehicle) of the steering 10, and an instrument panel.
  • a combination meter 313 that comprehensively displays various types of vehicle information is provided facing the upper half of the steering wheel 10.
  • the gesture input device 300 includes a detection unit 110, a steering angle sensor 320, an electronic control unit 330, and the like.
  • the electronic control unit 330 performs display image switching and operation input on the display unit 130a of the vehicle device 130.
  • the detection unit 110 detects the movement of a specific part of the driver's body.
  • the detection unit 110 detects a specific part of the driver's body from the image, and detects the movement of the specific part of the driver's body from the change in the image with time.
  • the specific part of the driver's body can be, for example, a finger, a palm, an arm, or the like.
  • the finger of the hand is targeted as a specific part of the driver's body.
  • a sensor, a camera, or the like that forms a two-dimensional image or a three-dimensional image can be used.
  • the sensor include a near-infrared sensor using near infrared rays, a far-infrared sensor using far infrared rays, and the like.
  • the camera include a stereo camera that can simultaneously capture information from a plurality of directions and record depth information, or a ToF camera that stereoscopically captures an object using a ToF (TimeFof Flight) method.
  • a near-infrared sensor that forms a three-dimensional image is used.
  • the detection unit 110 is referred to as a sensor 110.
  • the sensor 110 is disposed on the instrument panel 312 in the vicinity of the combination meter 313 on the back side of the vehicle steering 10. More specifically, for example, in the steering 10, the sensor 110 is positioned at a position facing the right hand when viewed from the driver's seat side in the vehicle traveling direction among the left and right hands held by the driver in the 10:10 direction. Has been placed. Therefore, the optical axis of the sensor 110 is generally horizontal and travels from the instrument panel 312 side toward the front side (back side) of the steering 10.
  • the area to be detected by the sensor 110 is a space area within a predetermined range from the position where the sensor 110 is arranged toward the steering 10 side. Hereinafter, this area is referred to as a detection area. Further, the area between the tip area of the detection area and the back surface of the steering 10 is a non-detection area.
  • the non-detection area is an area where a finger holding the steering wheel 10 is positioned during normal driving, and the movement of the finger at this time is not detected by the sensor 110.
  • the detection area is an area for detecting the movement of the finger.
  • the driver extends the index finger and middle finger of the right hand, or extends the index finger or the middle finger toward the sensor 110, so that each finger enters the detection area, and the sensor 110 detects the finger of the right hand of the driver. Detecting the movement of
  • the finger movement (hereinafter referred to as “gesture”) can be determined in advance in various patterns.
  • the finger can be moved in the left-right direction, or can be moved in the up-down direction.
  • the gesture is, for example, an image of a swipe operation on a smartphone screen.
  • the finger gesture signal detected by the sensor 110 is output to a UI (User Interface) operation unit 331 described later.
  • the steering angle sensor 320 is a sensor that detects a signal corresponding to the amount of rotation when the steering 10 is steered (rotated), that is, a signal corresponding to the steering angle ⁇ , and is provided on the steering shaft 311.
  • the steering angle signal detected by the steering angle sensor 320 is output to the control unit 332 described later.
  • the electronic control unit 330 receives the gesture signal from the sensor 110 and the steering angle signal from the steering angle sensor 320, and performs display control on the display unit 130a of the vehicle device 130 and operation control of the vehicle device 130.
  • the electronic control unit 330 includes a UI operation unit 331 and a control unit 332.
  • the UI operation unit 331 has predetermined control contents corresponding to a finger gesture signal from the sensor 110. That is, the UI operation unit 331 generates a display image necessary for the display unit 130a of the vehicle device 130 in accordance with the finger gesture signal, further switches the display image, and changes the operating state of the vehicle device 130. I will change it.
  • the control unit 332 receives the steering angle signal from the steering angle sensor 320, calculates the angular velocity ⁇ of the steering 10, and allows the gesture signal to be input from the sensor 110 to the UI operation unit 331 according to the calculated angular velocity ⁇ . Switch between enabling and disabling. Details of the switching control performed by the control unit 332 will be described later.
  • the vehicle device 130 is, for example, integrally formed with a navigation device having an audio function and an air conditioner input device for inputting operating conditions for the vehicle air conditioner.
  • Examples of the audio function include a music playback function and a radio reception function.
  • the vehicle device 130 includes a display unit 130a, and is disposed, for example, at approximately the center of the instrument panel 312 in the vehicle left-right direction.
  • the display unit 130a is formed by, for example, a liquid crystal display or an organic EL display.
  • a navigation image, an audio operation image, an air conditioner operation image, and the like are switched and displayed by the UI operation unit 331 based on the gesture of the finger of the driver.
  • an operation input can be performed by setting an operation icon or the like based on different gestures of the driver.
  • control unit 332 controls the UI operation unit 331 from the sensor 110 based on the angular velocity ⁇ at the time of steering with respect to the driver's steering wheel 10 in order to improve the safety driving and the convenience of input by finger gestures. Control of switching permission / prohibition of input of gesture signal to is performed. This will be described in detail below with reference to FIGS.
  • the control unit 332 repeats the control flow shown in FIG. 21 every predetermined time.
  • the control unit 332 reads the steering angle signal (steering angle ⁇ ) output from the steering angle sensor 320, and further calculates the angular velocity ⁇ from the steering angle signal in step S310.
  • the angular velocity ⁇ is calculated as an amount of change of the steering angle ⁇ with respect to time (differential value of the steering angle ⁇ ).
  • step S320 the control unit 332 determines whether or not the calculated absolute value of the angular velocity ⁇ is smaller than a predetermined threshold Th.
  • the threshold value Th is set to a value for determining that the rotational operation of the driver with respect to the steering wheel 10 is not substantially performed.
  • step S320 determines in step S330 whether or not the value of the counter N ON corresponding to the elapsed time is greater than a predetermined threshold Th N.
  • the threshold value Th N corresponds to the predetermined time of the present disclosure.
  • the initial value of the counter N ON is set to 0.
  • step S340 the control unit 332 uses a counter N ON used for the determination in step S330 and a step S380 described later.
  • the counter N OFF used for the determination is updated.
  • the count number is increased by one.
  • the counter N OFF is set to 0. Then, the process returns to step S300.
  • step S340 After the counter N ON is incremented in step S340, steps S300 to S320 are repeated again.
  • step S330 if it is determined affirmative, that is, if the counter N ON is greater than the threshold Th N , the control unit 332 performs step S350. Migrate to
  • step S350 the control unit 332 permits input of a gesture signal from the sensor 110 to the UI operation unit 331. That is, when the state in which the angular velocity ⁇ obtained from the steering angle ⁇ is smaller than the threshold value Th continues for a longer time than the predetermined time (threshold value Th N ), the control unit 332 inputs the gesture from the driver. to approve.
  • the driving state in which the input of the gesture signal is permitted is, for example, a case where the vehicle is traveling on a long straight road and the steering operation of the steering 10 is not performed, as shown in FIG. It is done.
  • FIG. 22B for example, when the vehicle travels on a gentle and long curved road, the steering 10 is once slightly rotated, but thereafter, the position where the rotation is operated is maintained long. Such a case is mentioned.
  • FIG. 22 (b) in order to prevent the vehicle body from jumping forward when a rear-end collision occurs, the steering wheel 10 is left turned to the curb side as shown in FIG. It is done. In this way, when a large rotation operation on the steering wheel 10 is not performed, input by a driver's gesture is permitted.
  • step S360 the control unit 332 updates the value of the threshold Th to Th Hi .
  • Th Hi is an upper threshold on the threshold Th.
  • the upper threshold value Th Hi is, for example, a threshold value that is set larger than the threshold value Th by a predetermined value. Therefore, when the gesture input is permitted in step S350, the process returns to step S300 after steps S360 and S370, and the determination in step S320 is performed again, the upper limit side threshold value Th Hi is used as the threshold value Th.
  • step S370 the control unit 332 updates the counter N ON used for the determination in step S330 and the counter N OFF used for the determination in step S380 described later.
  • both the counter N ON and the counter N OFF are set to 0, and the elapsed time count is cleared. Then, the process returns to step S300.
  • step S320 determines whether or not the value of the counter N OFF corresponding to the elapsed time is greater than the threshold value Th N.
  • the initial value of the counter N OFF is set to zero.
  • step S380 determines whether the counter N OFF is equal to or smaller than the threshold Th N . If the determination in step S380 is negative, that is, if it is determined that the counter N OFF is equal to or smaller than the threshold Th N , the control unit 332 updates the counter N ON and the counter N OFF in step S390.
  • the counter N ON is set to 0.
  • the count number is increased by one. Then, the process returns to step S300.
  • step S390 After the counter N OFF is increased in step S390, steps S300 to S320 are repeated again, and in step S380, if it is determined affirmative, that is, if the counter N OFF is greater than the threshold value Th N , the control unit 332 performs step S400.
  • step S ⁇ b> 400 the control unit 332 prohibits input of a gesture signal from the sensor 110 to the UI operation unit 331. That is, when the state where the angular velocity ⁇ obtained from the steering angle ⁇ is equal to or greater than the threshold value Th continues for a predetermined time (threshold value Th N ), the control unit 332 inputs the gesture from the driver. Ban.
  • the driving state in which the input of the gesture signal is prohibited is, for example, running on a sharp curve road, and the rotation operation of the steering wheel 10 is large (and repeated) as shown in FIG. The case where it is performed is mentioned. In this way, when a large rotation operation is performed on the steering wheel 10, input by a driver's gesture is prohibited.
  • step S410 the control unit 332 updates the value of the threshold Th to Th Lo .
  • Th Lo is a lower limit side threshold with respect to the threshold Th.
  • the lower limit side threshold Th Lo is, for example, a threshold that is set smaller than the threshold Th by a predetermined value. Therefore, when the gesture input is prohibited in step S400, the process returns to step S300 after steps S410 and S420, and the determination in step S320 is performed again, the lower limit side threshold Th Lo is used as the threshold Th.
  • the gesture input permission determination or prohibition determination based on the magnitude of the angular velocity ⁇ is based on determination having hysteresis by the upper limit side threshold Th Hi and the lower limit side threshold Th Lo .
  • the upper threshold value Th Hi is a determination value for prohibiting input when the angular velocity ⁇ increases in the input permitted state
  • the lower threshold threshold Th Lo is equal to the angular velocity ⁇ in the input prohibited state. This is a judgment value for permitting input when the value decreases.
  • step S420 the control unit 332 updates the counter N ON used for the determination in step S330 and the counter N OFF used for the determination in step S380.
  • both the counter N ON and the counter N OFF are set to 0, and the elapsed time count is cleared. Then, the process returns to step S300.
  • the control unit 332 permits or prohibits the input of the gesture detected by the sensor 110 based on the angular velocity ⁇ obtained from the steering angle ⁇ detected by the steering angle sensor 320. . Then, the control unit 332 prohibits gesture input when the angular velocity ⁇ is equal to or higher than the threshold Th.
  • the control unit 332 inputs the gesture. Ban. Therefore, the driver can concentrate on driving the vehicle, and can lead to safe driving.
  • the angular velocity ⁇ obtained from the steering angle sensor 320 is smaller than the threshold value Th, the rotational operation of the steering wheel 10 by the driver is small, and the driver can afford to make a gesture.
  • the convenience of the input by the driver's gesture can be enhanced.
  • control unit 332 prohibits the input of a gesture when the angular velocity ⁇ is equal to or greater than the threshold Th for a predetermined time (Th N ) or greater. Thereby, the reliability with respect to the determination result of the gesture input prohibition can be increased.
  • the threshold value Th is an upper limit side threshold value Th Hi that becomes a determination value for prohibiting gesture input when the angular velocity ⁇ increases, and a determination value for allowing gesture input when the angular velocity ⁇ decreases.
  • a lower limit side threshold Th Lo a lower limit side threshold Th Lo . That is, in step S360, the threshold value Th is updated to the upper limit side threshold value Th Hi , and in step S410, the threshold value Th is updated to the lower limit side threshold value Th Lo .
  • the detection device 110 is a near-infrared sensor or a far-infrared sensor.
  • a stereo camera capable of simultaneously capturing images from a plurality of directions and recording depth information, or ToF (You may use the ToF camera etc. which image
  • the finger gesture is the one in the left-right direction or the one in the up-down direction
  • the present invention is not limited to this, and in consideration of the positional relationship between the finger and the sensor 110, the gesture in the oblique direction, It is possible to respond by defining a gesture or the like.
  • association between the detected gesture and the control content is not limited to the above embodiment, and various settings can be made.
  • the finger of the driver's hand is described as a specific part of the body.
  • the present invention is not limited to this, and the driver's palm, arm, and the like may be targeted.
  • the right swipe operation and the left swipe operation can be performed by holding the palm over the sensor 110 as shown in FIG.
  • the sensor 110 recognizes the right swipe operation and the left swipe operation (return) as one gesture, and determines the first right swipe operation. After that, the process proceeds to the next input.
  • the setting position of the sensor 110 is not limited to the instrument panel 11, and as shown in FIG. 19, the driver's hand fingers, palms, arms, etc., as shown in FIG. It is good also as what detects the position of.
  • the movement (gesture) of the specific part of the body is not limited to the movement in the left-right direction, and can be moved up and down by considering the positional relationship between the specific part of the body and the sensor 110 as long as it can form a reciprocating motion.
  • Various operations such as back-and-forth, slanting, and rotation can be applied.
  • the target operator is not limited to the driver, and may be a passenger.
  • the passenger seat person can perform gesture recognition on the sensor 110 by performing the above-described various gestures, and can operate various vehicle devices.

Abstract

　車両に搭載されて、操作者の指のジェスチャを検知する検知装置は、前記車両のステアリングコラム（１０ａ）あるいはその近傍に配置されて、ステアリング（１０）側に向けて所定範囲の空間を検知する検知部（１１０）と、前記ステアリング（１０）の背面側に設けられ、前記操作者に操作されるスイッチ部（１３）と、前記スイッチ部（１３）による入力信号が入力される制御部（１２０）と、を備える。前記制御部は、前記検知部が前記所定範囲の空間における前記ジェスチャを検知しても、前記入力信号があると、前記ジェスチャの検知を無効にする。

Description

検知装置及びジェスチャ入力装置 関連出願の相互参照
　本出願は、２０１４年３月５日に出願された日本出願番号２０１４－４３１４２号と、２０１４年３月２１日に出願された日本出願番号２０１４－５９３３２号と、２０１４年４月４日に出願された日本出願番号２０１４－７７８８２号、に基づくもので、ここにそれらの記載内容を援用する。
　本開示は、操作者のジェスチャ操作を検知する検知装置および操作者のジェスチャによる入力を可能とするジェスチャ入力装置に関する。
　特許文献１に記載された操作入力装置は、運転席付近を撮影するカメラを備えている。カメラにより撮影された撮影画図から操作者の手のジェスチャが検出され、検出されたジェスチャから操作者の意図する操作が判定されると共に、判定された操作に基づいて車両に搭載される装置が作動されるようになっている。
　具体的には、カメラが撮影する領域内には、ハンドルの上部に対応する第１操作領域、あるいはダッシュボードの上部に対応する第２操作領域等が予め設定されている。例えば、ナビゲーション装置への入力要領として、操作者（運転者）は、ハンドルの上部（第１操作領域）、あるいはダッシュボードの上部（第２操作領域）に対して、２本数の指を立てて左右にこする、あるいは、１本の指でタッチする等の操作（ジェスチャ）を行うことで、ナビ操作用の各種メニュー項目（第１属性、第２属性等）の選択、あるいは決定が実行されるようになっている。
　また、特許文献１に記載された操作入力装置では、ハンドルに所定の目印を設けて、この目印が定位置からずれている（回転している）ことを検出し、ハンドルが回転している間は、運転操作中であると推定して、ジェスチャの検出を行わないようにしている。
　特許文献２に記載されたインターフェイス装置では、利用者の対象部位の動きを撮像用カメラによって撮像し、得られた動画像から、利用者の特定の対象部位の動きの方向、速さ、または加速度等を検出する。そして、検出された動きに対応する操作コマンドを出力して、ディスプレイ装置を備える電子機器の状態遷移をディスプレイの表示画面に表示する。
　具体的には、ディスプレイ装置に装着された撮像用カメラに対して利用者は手の平を揚げて、数秒間維持し基準位置を示すと、この基準位置が電子機器本体に入力されて、ディスプレイ装置には、メニュー操作画面が表示される。そして、利用者は、手の平を素早く右側（あるいは左側）にスライドさせ、その後、手の力を抜いて基準位置にゆっくり戻し基準位置に静止させるという、手振りジェスチャを行う。すると、ディスプレイ装置のメニュー操作画面に表示されたオブジェクトが右（あるいは左）に１単位（オブジェクト１個分）ずらされて、選択状態となる。更に、利用者は、ディスプレイ装置（撮像用カメラ）に向けて手の平をスライドさせると、上記オブジェクトの選択状態が決定状態に遷移される。
特開２０１３－２１８３９１号公報 特開２００６－２０９５６３号公報
　しかしながら、特許文献１では、操作者は、運転時においてハンドルから手を離して、所定の操作領域へ手を移動させて入力操作する必要があり、操作の負担が高い。また、運転時にハンドルから手を離す必要があることから、安全運転上の面で不安が残る。
　また、半径距離が一定で緩いカーブを走行する場合には、カーブ入り口部においてはハンドルの回転操作を伴うものの、その後はハンドルの回転位置を一定にして運転操作することになる。特許文献１のように、ハンドルの回転操作に伴って、常にジェスチャの検出を行わないようにすると、操作者の利便性が低下する。逆に、ハンドルの回転操作がきつい場合に、ジェスチャによる入力を許可してしまうと安全運転上、好ましくない。
　特許文献２では、「手の平を基準位置に戻す動作時には、手の平をカメラに写すことを意識しないのが好ましい」、と記載されている。この技術思想は、手の平を戻す際の入力条件がきわめて曖昧であることを示している。例えば、手の平を右（あるいは左）側にスライドさせた後に、勢いよく戻してしまうと、逆方向の入力が行われたものと認識されるおそれがある。つまり、操作者にとっては、一方へ連続してオブジェクトを送ろうとしても、誤認識によって、オブジェクトに対する「送り」と「戻し」とを繰り返してしまうおそれがあり、同一内容の連続入力操作ができなくなる。あるいは、操作者の何らかの動作に伴って無意識に手の平を動かしたときに、この手の平の動きが一方向への入力操作と取られて、意図しないオブジェクトの送りが行われてしまう。
　本開示の目的は、ジェスチャ入力に伴う操作負担を軽減すると共に、安全運転に寄与できる検知装置、およびジェスチャによる入力の認識精度を上げることで、操作性を向上させることのできるジェスチャ入力装置を提供することにある。
　本開示は、安全運転を確保できるようにしつつ、ジェスチャによる入力の利便性を向上させることのできるジェスチャ入力装置を提供することをさらなる目的とする。
　本開示の一形態では、車両に搭載されて、操作者の指のジェスチャを検知する検知装置は、車両のステアリングの背面側となるステアリングコラムあるいはステアリングコラムの近傍に配置されて、ステアリング側に向けて所定範囲の空間を検知する検知部と、ステアリングの背面側に設けられ、操作者に操作されるスイッチ部と、スイッチ部による入力信号が入力される制御部と、を備える。制御部は、前記検知部が前記所定範囲の空間における前記ジェスチャを検知しても、前記入力信号があると、前記ジェスチャの検知を無効にする。
　これによれば、操作者がステアリングを握った状態において、握った指のうちのいずれかの指を所定範囲の空間側に延ばして動かすことで、検知装置は、指の動きをジェスチャとして検知することが可能となる。よって、操作者にとっては、運転時にステアリングから手を離すことなく、入力操作が可能となるので、ジェスチャ入力に伴う操作負担を軽減することが可能となり、ひいては安全運転に寄与することが可能となる。
　また、検知装置が検知する検知対象は、検知装置の配置位置からステアリング側に向けて所定範囲の空間としている。よって、通常、操作者がステアリングを握っている状態では、指の動きをジェスチャとしては捉えないようにすることができるので、誤認識を防止することができる。
　本開示の一形態において、ジェスチャ入力装置は、操作者の体の特定部位の動きを検知し、特定部位の一方への動作と、一方とは逆になる逆方向への動作とを検出する動作検出部と、予め定めた所定時間内に一方への動作と逆方向への動作とを連続して検知したかどうかを判定する判定部と、所定時間内に動作検出部が一方への動作と逆方向への動作とを連続して検知したと判定部が判定した場合、一方への動作と逆方向への動作とを１つのジェスチャとして認識する認識部とを備える。
　これによれば、一方への動作、あるいは逆方向への動作が、それぞれ単独で認識されることがない。つまり、操作者にとっては、一方への動作と逆方向への動作とを１つのジェスチャとして、往復動作とすることで、所望する１つの入力操作が可能となる。よって、往復動作において、一方への動作による入力と逆方向への動作による入力とが交互に混在することがなく、往復動作を１つの単位として繰り返しを行うことで１つの入力操作を連続して行うことができるようになる。
　また、操作者の何らかの動作に伴って無意識に特定部位を動かしたときに、一方への動作と逆方向への動作とが揃わない限り、１つのジェスチャとして認識されないので、意図しない入力操作が行われてしまうことを抑制することができる。
　以上のように、操作者のジェスチャによる入力の認識精度を上げることができ、操作性の向上を図ることができる。
　本開示の一形態において、ジェスチャ入力装置は、操作者の体の特定部位の動きを検知し、特定部位の一方への動作と、一方とは逆になる逆方向への動作とを検出する動作検出部と、一方への動作を検出した後、予め定めた所定時間内に逆方向への動作を連続して検知しなかった場合に、動作検出部が検出した一方への動作の履歴を消去するリセット部と、所定時間内に一方への動作と逆方向への動作とを連続して検知した場合に、一方への動作と逆方向への動作とを１つのジェスチャとして認識する認識部とを備える。
　これによれば、一方への動作を検出した後、予め定めた所定時間内に逆方向への動作を連続して検知しなかった場合に、リセット部は、動作検出部が検出した一方への動作の履歴を消去する。つまり、一方への動作の後に、予め定めた所定時間内に逆方向への動作がない場合は、入力を行わないようにするので、誤動作の入力を確実に防止することができる。
　所定時間内に一方への動作と逆方向への動作とを連続して検知した場合に、認識部は、一方への動作と逆方向への動作とを１つのジェスチャとして認識する。つまり、操作者にとっては、一方への動作と逆方向への動作とを１つのジェスチャとして、往復動作とすることで、所望する１つの入力操作が可能となる。
　本開示の一形態では、ジェスチャ入力装置は、車両に搭載されて、操作者の体の特定部位のジェスチャを検出する検出部と、車両のステアリングの操舵時の操舵角を検出する操舵角センサと、操舵角センサで検出された操舵角から得られる角速度に基づいて、検出部で検出されたジェスチャの入力を許可、あるいは禁止すると共に、角速度が、予め定めた閾値以上のときは、ジェスチャの入力を禁止する制御部とを備える。
　これによれば、操舵角センサから得られる角速度が、閾値以上のときは、操作者は、ステアリングを大きく回転操作をしている場合であり、このとき制御部は、ジェスチャの入力を禁止する。よって、操作者に対して車両の運転に集中させることができ、安全運転につなげることができる。
　一方、操舵角センサから得られる角速度が、閾値より小さいときは、操作者によるステアリングの回転操作は小さく、操作者にはジェスチャを行う余裕ができる。このような場合には、本来のジェスチャ入力を許可することで、操作者のジェスチャによる入力の利便性を高めることができる。
第１実施形態における操作入力装置を示すブロック図である。 第１実施形態におけるセンサの位置（配置１）を示す斜視図である。 第１実施形態におけるセンサの位置（配置１）を示す側面図である。 第１実施形態における指のジェスチャを示す斜視図である。 センサの位置の変形例（配置２）を示す側面図である。 センサの位置の変形例（配置３）を示す正面図である。 センサの位置の変形例（配置４）を示す側面図である。 センサの位置の変形例（配置５）を示す側面図である。 センサの位置の変形例（配置６）を示す正面図である。 センサの種類と取得可能なジェスチャ操作とを示す一覧表である。 第２実施形態における操作入力装置を示すブロック図である。 第２実施形態におけるセンサとウインカーレバーとの関係を示す斜視図である。 第２実施形態におけるジェスチャ認識のための制御内容を示すフローチャートである。 第３実施形態における指のジェスチャを示す説明図である。 第３実施形態におけるジェスチャ認識のための制御内容を示すフローチャートである。 第３実施形態におけるジェスチャに伴うメニューアイコンの動きを示す説明図である。 第４実施形態における各閾値を変更するための表示部における表示例を示す説明図である。 ジェスチャの変形例を示す説明図である。 センサ位置の変形例を示す説明図である。 第５実施形態におけるジェスチャ入力装置を示す概略図である。 制御部が行うジェスチャ入力の許可あるいは禁止の切替え制御の内容を示すフローチャートである。 ステアリングの回転状態における、ジェスチャ入力の許可、あるいは禁止を示す説明図である。 角速度の大きさを判定するための閾値を示すグラフである。
　以下に、図面を参照しながら本開示を実施するための複数の形態を説明する。各形態において先行する形態で説明した事項に対応する部分には同一の参照符号を付して重複する説明を省略する場合がある。各形態において構成の一部のみを説明している場合は、構成の他の部分については先行して説明した他の形態を適用することができる。各実施形態で具体的に組み合わせが可能であることを明示している部分同士の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても実施形態同士を部分的に組み合せることも可能である。
　（第１実施形態）
　第１実施形態の検知装置１１０について図１～図４を用いて説明する。本実施形態の検知装置１１０は、車両に搭載される操作入力装置１００に適用される。
　車両には、操舵用のステアリング１０と、ステアリング１０の背面側（車両前方側）でステアリングシャフトを内包するステアリングコラム１０ａとが設けられている。また、ステアリング１０の背面側にはインストルメントパネル１１が設けられ、このインストルメントパネル１１において、ステアリング１０の上側半分と対向する位置には、各種車両情報を総合的に表示するコンビネーションメータ１２が設けられている。また、ステアリングコラム１０ａの車両進行方向右側には、運転者の右手操作によって右左折する際の方向を示すウインカーを点滅させるためのウインカーレバー１３が設けられている。
　操作入力装置１００は、検知装置１１０、制御部１２０、および車両機器１３０を備えている。検知装置１１０によって検出された運転者（操作者）の体の動きを基にして、制御部１２０が、車両機器１３０の表示部１３０ａにおける表示画像の切替えや作動入力を行う。
　検知装置１１０は、運転者の体の動きを検出する検出部でもある。検知装置１１０は、例えば、運転者の体の一部（手、指等）を３次元画像によって捉え、時間経過に対する画像の変化から、運転者の体の一部の動きを検知する。検知装置１１０としては、例えば、近赤外線を用いた近赤外線センサ、あるいは遠赤外線を用いた遠赤外線センサ等が用いられている。以下、検知装置１１０をセンサ１１０と呼ぶ。
　センサ１１０は、図１、図２に示すように、車両のステアリング１０の背面側で、ステアリングコラム１０ａの近傍となるインストルメントパネル１１に配置されている。更に詳しく説明すると、センサ１１０は、例えば、ステアリング１０において、１０時１０分方向に運転者が握る左右の手のうち、運転席側から車両進行方向に見たときに、右手と対向する位置に配置されている。よって、センサ１１０の光軸は、概ね、水平方向となって、インストルメントパネル１１側からステアリング１０の手前側（背面側）に向かうようになっている。
　センサ１１０の検知対象となる領域は、図３に示すように、センサ１１０が配置される位置からステアリング１０側に向けて所定範囲の空間領域となっている。以下、この領域を検知エリアと呼ぶことにする。また、検知エリアの先端域と、ステアリング１０の背面との間は、非検知エリアとなっている。非検知エリアは、通常の運転時において、ステアリング１０を握る指が位置するエリアであり、このときの指の動きは、センサ１１０によって検知されない。
　よって、検知エリアは、非検知エリアを超えて運転者の指が入り込んだときに、その指の動きを検知するエリアとなっている。図４に示すように、例えば、運転者は、右手の人差し指と中指とを、または人差し指あるいは中指をセンサ１１０側に延ばすことで、各指は、検知エリア内に入り込むことになり、センサ１１０は、運転者の右手の指の動きを検知するようになっている。
　指の動き（以下、ジェスチャ）は、予め、種々のパターンを決めておくことができるが、ここでは、説明を簡単にするために、例えば、指を左右方向に振るもの、および指を上下方向に振るものを定めている。上記各ジェスチャは、例えば、スマートフォンの画面上におけるスワイプ操作をイメージさせるものとなっている。センサ１１０が検知した指のジェスチャ信号は、後述する制御部１２０に出力されるようになっている。
　図１に戻って、制御部１２０は、センサ１１０からの指のジェスチャ信号を受けて、車両機器１３０の表示部１３０ａにおける表示制御と、車両機器１３０の作動制御を行う。制御部１２０においては、指のジェスチャ信号に応じた制御内容が予め定められている。つまり、制御部１２０は、指のジェスチャ信号に応じて、表示部１３０ａにおいて必要とされる表示画像を生成し、更に表示画像の切替えを行うと共に、車両機器１３０の作動状態を変更させていく。
　車両機器１３０は、例えば、オーディオ機能を備えるナビゲーション装置と、車両用エアコン装置に対する作動条件を入力するエアコン入力装置とが一体的に形成されたものである。車両機器１３０は、表示部１３０ａを備えており、例えば、インストルメントパネル１１の車両左右方向のほぼ中央に配置されている。
　表示部１３０ａは、例えば、液晶ディスプレイ、あるいは有機ＥＬディスプレイ等によって形成されている。表示部１３０ａには、メインメニューとして、ナビ、オーディオ、およびエアコンのいずれかを選択する選択スイッチが左右方向に並ぶように表示されている。
　表示部１３０ａには、ナビゲーション機能を発揮させる場合では、経路誘導に係る地図画像、自車位置画像、目的地検索画像、文字あるいは図の表示等による目的地案内画像等のナビゲーション画像が表示される。また、オーディオ機能を発揮させる場合では、曲名リスト、ボリューム調整スイッチ等のオーディオ画像が表示される。また、エアコン入力装置としての機能を発揮させる場合では、設定温度スイッチ、風量調整スイッチ、吹出しモード切替えスイッチ、内外気切替えスイッチ、および現在の作動状態等のエアコン画像が表示される。
　本実施形態においては、指の左右方向のジェスチャは、例えば、車両機器１３０の機能を選択するためのジェスチャとなっている。また、指の上下方向のジェスチャは、例えば、ナビゲーション画像では地図画像の拡大縮小するためのジェスチャ、オーディオ画像ではボリューム調整スイッチを操作するためのジェスチャ、エアコン画像では設定温度スイッチを操作するためのジェスチャとなっている。
　具体的には、運転者は、ステアリング１０を握って運転操作をしている際に、右手の人差し指および／あるいは中指をセンサ１１０側に延ばして、指の左右方向のジェスチャを行うと（図４）、指は、検知エリア内に入る形となって、センサ１１０は、指の左右方向のジェスチャを検知する。そして、左右方向のジェスチャ信号は、制御部１２０に出力され、制御部１２０は、指が左、あるいは右に振られるたびに、選択スイッチのいずれかを選択決定状態として、表示部１３０ａにおける表示をナビゲーション、オーディオ、およびエアコンのいずれかの画像に順次切替えていく。
　運転者が指の上下方向のジェスチャを行うと（図４）、センサ１１０は、指の上下方向のジェスチャを検知する。そして、上下方向のジェスチャ信号は、制御部１２０に出力される。制御部１２０は、表示部１３０ａにおける表示がナビゲーション画像の場合に、指が上側に振られると地図画像を拡大表示し、また、指が下側に振られると地図画像を縮小表示する。また、制御部１２０は、オーディオ画像の場合に、指が上側に振られるとボリューム調整スイッチの操作に対応付けて音量を大きくし、また、指が下側に振られると音量を小さくする。また、制御部１２０は、エアコン画像の場合に、指が上側に振られると設定温度スイッチの操作に対応付けて設定温度を高くし、また、指が下側に振られると設定温度を低くする。
　以上のように、本実施形態では、運転者がステアリング１０を握った状態において、握った指のうちのいずれかの指（人差し指および／あるいは中指）を検知エリア側に延ばして動かすことで、センサ１１０は、指の動きをジェスチャとして検知することが可能となる。よって、運転者にとっては、運転時にステアリング１０から手を離すことなく、車両機器１３０に対する入力操作が可能となるので、ジェスチャ入力に伴う操作負担を軽減することが可能となり、ひいては安全運転に寄与することが可能となる。
　また、センサ１１０が検知する検知対象は、センサ１１０の配置位置からステアリング１０側に向けて所定範囲の空間（検知エリア）としている。よって、通常、運転者がステアリング１０を握っている状態では、指が非検知エリアに入る形となり、指の動きをジェスチャとしては捉えないようにすることができるので、誤認識を防止することができる。
　（第１実施形態の変形例）
　上記第１実施形態では、センサ１１０をステアリングコラム１０ａの近傍となるインストルメントパネル１１に配置し、ステアリング１０において、１０時１０分方向に運転者が握る左右の手のうち、運転席側から車両進行方向に見たときに、右手と対向する位置に配置するようにした。よって、センサ１１０の光軸は、概ね、水平方向となって、インストルメントパネル１１側からステアリング１０の手前側（背面側）に向かうようにした（図２、図３の配置１）。
　しかしながら、センサ１１０を設定する位置は、これに限定されることなく、図５～図９に示すように、例えば、配置２～配置６等としてもよい。
　配置２は、図５に示すように、配置１に対してセンサ１１０をステアリングコラム１０ａに設けて、センサ１１０の光軸が概ね、上向きとなるようにしたものである。この場合のセンサ１１０は、人差し指および／あるいは中指の動きを３次元画像によって捉えるものに加えて、２次元画像によって捉えるものも採用することができる。２次元画像センサ１１０の場合は、上向きとなる光軸に対して交差して左右方向に動く指を検知可能であり、指のジェスチャとしては左右方向に振るジェスチャを採用することができる。
　また、配置３は、図６に示すように、配置１に対してセンサ１１０をステアリングコラム１０ａの左右２か所に設けて、センサ１１０の光軸が概ね、ステアリング１０の径方向外向きで上向きとなるようにしたものである。この場合のセンサ１１０は、配置１の場合と同様に、人差し指および／あるいは中指の動きを３次元画像によって捉えるものでの対応が可能であり、指のジェスチャとしは、左右方向、および上下方向に振るジェスチャを採用することができる。
　また、配置４～配置６は、例えば、ステアリング１０において、８時２０分の方向に運転者が握る場合の薬指および／あるいは小指によるジェスチャを検知するようにしたものである。
　配置４は、図７に示すように、配置１と同様に、センサ１１０の光軸が概ね、水平方向となって、ステアリング１０の水平中心よりも下側に位置する手の指の動きを検知するようにしたものである。配置４では、配置１の場合と同様に、３次元画像センサ１１０を用いて、指を左右方向、および上下方向に振るジェスチャを採用することができる。
　また、配置５は、図８に示すように、配置１に対してセンサ１１０をステアリングコラム１０ａに設けて、センサ１１０の光軸が概ね、下向きとなるようにしたものである。この場合のセンサ１１０は、薬指および／あるいは小指の動きを３次元画像によって捉えるものに加えて、２次元画像によって捉えるものも採用することができる。２次元画像センサ１１０の場合は、下向きとなる光軸に対して交差して左右方向に動く指を検知可能であり、指のジェスチャとしては左右方向に振るジェスチャを採用することができる。
　また、配置６は、図９に示すように、配置１に対してセンサ１１０をステアリングコラム１０ａの左右２か所に設けて、センサ１１０の光軸が概ね、ステアリング１０の径方向外向きで下向きとなるようにしたものである。この場合のセンサ１１０は、配置１の場合と同様に、薬指および／あるいは小指の動きを３次元画像によって捉えるものでの対応が可能であり、指のジェスチャとしは、左右方向、および上下方向に振るジェスチャを採用することができる。
　上記第１実施形態の配置１、および各配置２～配置６におけるセンサの種類と、取得可能なジェスチャ操作との関係を、図１０にまとめて示す。尚、図１０中、２Ｄは２次元、３Ｄは３次元を示す。
　（第２実施形態）
　第２実施形態の検知装置１１０、および操作入力装置１００Ａを図１１、図１２に示す。第２実施形態は、上記第１実施形態に対して、ウインカーレバー１３の操作があった場合に、ジェスチャの誤入力を防止するものである。
　センサ１１０には、ウインカーレバー１３が操作（入力）されたときの操作信号（入力信号）が入力されるようになっている。ウインカーレバー１３は、本開示のスイッチ部に対応する。ウインカーレバー１３は、ステアリングコラム１０ａに設けられていることから、運転者がウインカーレバー１３を操作すると、指がセンサ１１０の検知エリア内に入り込む。ウインカーレバー１３を操作する際の指の動きが、上下方向のジェスチャとして検知されると、運転者の意思に反して、表示部１３０ａの表示内容が変更されてしまうおそれが生ずる。
　本実施形態では、このような誤入力を防止するために、センサ１１０は、図１３に示すフローチャートに基づく、誤入力防止制御を行う。
　即ち、センサ１１０は、ステップＳ１００で、運転者の指の動きを検知したか否かを判定する。そして、ステップＳ１００で、肯定判定すると、ステップＳ１１０に移行する。
　ステップＳ１１０では、センサ１１０は、予め定めた一定時間（例えば、２００ｍｓ程度）の間に、ウインカーレバー１３からの操作信号があったか否かを判定する。ステップＳ１１０で、否と判定すると、センサ１１０は、運転者によるウインカーレバー１３の操作はなく、本来の指によるジェスチャを行ったものと捉えて、ステップＳ１２０で、ジェスチャがあったものと認識する。そして、このジェスチャ信号を制御部１２０に出力する。
　一方、ステップＳ１１０で、センサ１１０は、肯定判定すると、運転者によるウインカーレバー１３の操作があり、本来の指によるジェスチャを行ったものではないと捉えて、ステップＳ１３０で、ジェスチャはないものと認識する。つまり、センサ１１０は、ジェスチャの検知を無効として、この場合は、制御部１２０への出力は行わないようにする。
　これにより、ウインカーレバー１３に対する運転者の操作は、ジェスチャとして検知されないので、ウインカーレバー１３の操作を誤入力として検知してしまうことを防止できる。
　尚、上記のように本実施形態では、ウインカーレバー１３の操作信号がセンサ１１０に入力されるようにしたが、これに限定されるものではない。例えば、センサ１１０が運転者の左手に対応する位置に配置された場合に、ステアリングコラム１０ａの左側に配置されるワイパーレバーをスイッチ部と捉えて、適用するものとしてもよい。つまり、ワイパーレバーの操作信号をセンサ１１０に入力するようにして、ワイパーレバーの操作があった場合には、指の動きをジェスチャと認識しないようにするのである。これにより、ワイパーレバーの操作を誤入力として検知してしまうことを防止できる。
　（第３実施形態）
　第３実施形態のジェスチャ入力装置１００について図１４～図１６を用いて説明する。本実施形態のジェスチャ入力装置１００は、運転者（操作者）の体の特定部位の動きに基づいて、車両機器１３０に対する操作を行う。
　車両には、操舵用のステアリング１０と、ステアリング１０の背面側（車両前方側）に位置するインストルメントパネル１１と、インストルメントパネル１１においてステアリング１０の上側半分と対向して各種車両情報を総合的に表示するコンビネーションメータ１２等が設けられている。
　ジェスチャ入力装置１００は、動作検出部１１０、および制御部１２０を備えている。ジェスチャ入力装置１００は、動作検出部１１０によって検出された運転者の体の動きを基にして、制御部１２０によって、車両機器１３０の表示部１３０ａにおける表示画像の切替えや作動入力が行われる。
　動作検出部１１０は、運転者の体の特定部位の動きを検出する。動作検出部１１０は、運転者の体の特定部位を画像によって検知し、時間経過に対する画像の変化から、運転者の体の特定部位の動きを検出する。
　運転者の体の特定部位としては、例えば、手の指、手の平、腕等とすることができる。本実施形態では、運転者の体の特定部位として、手の指を対象としている。また、動作検出部１１０としては、２次元画像、あるいは３次元画像を形成するセンサやカメラ等を用いることができる。センサとしては、近赤外線を用いた近赤外線センサ、あるいは遠赤外線を用いた遠赤外線センサ等がある。また、カメラとしては、複数の方向から同時に撮影して奥行方向の情報も記録できるステレオカメラ、あるいは、ＴｏＦ（Time of Flight）方式を用いて対象物を立体的に撮影するＴｏＦカメラ等がある。本実施形態では、３次元画像を形成する近赤外線センサを用いており、以下、動作検出部１１０をセンサ１１０と呼ぶ。
　車両機器１３０は、例えば、オーディオ機能を備えるナビゲーション装置と、車両用エアコン装置に対する作動条件を入力するエアコン入力装置とが一体的に形成されたものである。オーディオ機能としては、例えば、音楽再生機能、およびラジオ受信機能等である。車両機器１３０は、表示部１３０ａを備えており、例えば、インストルメントパネル１１の車両左右方向のほぼ中央に配置されている。
　表示部１３０ａは、例えば、液晶ディスプレイ、あるいは有機ＥＬディスプレイ等によって形成されている。表示部１３０ａには、メインメニューとして、ラジオアイコン１３１ａ、ナビアイコン１３１ｂ、音楽アイコン１３１ｃ、および空調アイコン１３１ｄ等が左右方向に並ぶモード選択アイコン１３１が表示される（図１６）。
　後述する指のジェスチャに基づいて、ラジオアイコン１３１ａが選択決定された場合では、表示部１３０ａにはラジオの操作用画像が表示される。また、ナビアイコン１３１ｂが選択決定された場合では、表示部１３０ａには経路誘導に係る地図画像、自車位置画像、目的地検索画像、文字あるいは図の表示等による目的地案内画像等のナビゲーション画像が表示される。また、音楽アイコン１３１ｃが選択決定された場合では、表示部１３０ａには曲名リスト、ボリューム調整スイッチ等のオーディオの操作用画像が表示される。また、空調アイコン１３１ｄが選択決定された場合では、表示部１３０ａには設定温度スイッチ、風量調整スイッチ、吹出しモード切替えスイッチ、内外気切替えスイッチ、および現在の作動状態等のエアコンの操作用画像が表示される。
　本実施形態においては、指の左右方向のジェスチャは、表示部１３０ａにおけるモード選択アイコン１３１の各アイコン１３１ａ～１３１ｄを選択するためのジェスチャとなっている。右方向へ指を移動させるジェスチャは、本発明の一方への動作と対応し、また、左方向へ指を移動させるジェスチャは、本発明の逆方向への動作と対応する。センサ１１０は、指のジェスチャを検出して、そのジェスチャ信号を制御部１２０に出力する。以下、図１５に示すフローチャートに基づいて、制御部１２０が行うジェスチャ認識制御について説明する。
　まず、センサ１１０は、検知エリアに延ばされた運転者の指のジェスチャ（例えば右方向へスワイプ）を時間経過と共に画像によって捉え、ジェスチャ信号として制御部１２０に出力する。そして、ステップＳ２００で、制御部１２０は、ジェスチャ信号から、指の動く速度ｖ、指の動く方向θを算出すると共に、時間（時刻）ｔを取得していく。
　次に、ステップＳ２１０で、制御部１２０は、スワイプ開始フラグがＯＦＦか否かを判定する。スワイプ開始フラグＯＦＦは、一方向（例えば右方向）へ指を移動させるジェスチャ、つまり、一方向へのスワイプ操作をまだ検出していないことを意味する。ステップＳ２１０で肯定判定すると、ステップＳ２２０へ移行する。
　ステップＳ２２０では、制御部１２０は、指の動く速度ｖが予め定めた閾値Ｃ１よりも大きいか否かを判定する。速度ｖが閾値Ｃ１よりも大きい場合というのは、指の動く速度ｖが大きく、指は一方向へのスワイプ操作を行っている場合に相当する。よって、ステップＳ２２０で肯定判定すると、ステップＳ２３０へ移行する。尚、ステップＳ２２０で、否定判定すると（指は一方向にスワイプ操作を行っていない）、ステップＳ２００に戻る。
　ステップＳ２３０では、制御部１２０は、スワイプ開始フラグをＯＮにする。スワイプ開始フラグＯＮは、一方向（例えば右方向）へのスワイプ操作を検出したことを意味する。併せて、制御部１２０は、そのときの指の動く方向θをθ１と記憶する。尚、方向θは、－１８０°から＋１８０°の範囲をとる。また、そのときの時間（時刻）ｔをｔ１として記憶する。そして、ステップＳ２００に戻る。
　このステップＳ２３０で、一方向へのスワイプ操作が検知されると、制御部１２０によって表示部１３０ａにおけるモード選択アイコン１３１においては、図１６（ｂ）に示すように、各アイコン１３１ａ～１３１ｄは、左右方向の寸法の半分に相当する寸法分だけ、一方向に移動されるようになっている。つまり、指のスワイプ操作として運転者が一方向（例えば右方向）に指を移動させていたとすると、各アイコン１３１ａ～１３１ｄは、一方向（例えば右方向）に半分だけ移動される。
　一方、ステップＳ２１０で、否定判定すると、ステップＳ２４０に移行する。つまり、制御の繰り返しによって、上記ステップＳ２３０にてスワイプ開始フラグをＯＮにした後に、再び、ステップＳ２１０に至ると、否定判定となる。つまり、ステップＳ２４０では、センサ１１０が一方向へのスワイプ操作を検知している前提で、以下の判定を行うことになる。
　ステップＳ２４０では、制御部１２０は、指の動く速度ｖが予め定めた閾値Ｃ２よりも大きいか否か、且つ、指の動く方向（|１８０°－|θ－θ１||）が閾値Ｃ３よりも小さいか否かを判定する。ステップＳ２４０における指の動く方向の判定は、ステップＳ２３０における方向θ１に対して、所定範囲内（閾値Ｃ３内）となる逆方向となっているか否かを意味する。尚、逆方向のスワイプ操作においては、最初の一方向のスワイプ操作よりも多少ゆっくりとした動きになり得ることから、閾値Ｃ２は、閾値Ｃ１よりも小さい値が設定されている。
　上記ステップＳ２２０における判定ステップと、ステップＳ２４０における判定ステップは、本開示の判定部に対応する。
　そして、ステップＳ２４０で、肯定判定すると、指は一方向へのスワイプ操作と、逆方向へのスワイプ操作とが行われたことになり、両スワイプ操作をもって、ステップＳ２５０で、制御部１２０は、スワイプ操作による入力を確定する。このとき、後述するステップＳ２７０による時間条件（閾値Ｃ４を超える時間条件）には該当していないものとなっており、つまり、所定時間内（閾値Ｃ４内）に、両スワイプ操作を連続検知したとして、制御部１２０は、１つのジェスチャがあったものと認識する。上記ステップＳ２５０の確定ステップは、本開示の認識部に対応する。
　このステップＳ２５０で、スワイプ操作による入力が確定されると、制御部１２０によって表示部１３０ａにおけるモード選択アイコン１３１においては、図１６（ｃ）に示すように、各アイコン１３１ａ～１３１ｄは、一方向に更に半分だけ移動されるようになっている。つまり、指のスワイプ操作として運転者が一方向（例えば右方向）に指を移動させた後に、続いて逆方向（例えば左方向）に指を移動させたとすると、各アイコン１３１ａ～１３１ｄは、１つ分、一方向（例えば右方向）に移動される。
　そして、ステップＳ２６０で、制御部１２０は、スワイプ開始フラグ、指の動く方向θ１、および時間ｔ１をリセットして、ステップＳ２００に戻る。つまり、制御部１２０は、初期状態に戻して、再び、指のスワイプ操作に基づく認識制御を開始する。
　尚、ステップＳ２４０で、否定判定すると、ステップＳ２７０に移行して、制御部１２０は時間経過状況を確認する。つまり、現時点での時間（時刻）ｔから、ステップＳ２３０におけるスワイプ開始フラグをＯＮにした時間（時刻）ｔ１を差し引いて、経過時間を算出し、この経過時間を予め定めた閾値Ｃ４と比較する。経過時間が閾値Ｃ４よりも長いときは、ステップＳ２５０でのスワイプ操作による入力確定を行わずに、ステップＳ２６０に移行し、また、経過時間が閾値Ｃ４よりも短いときは、ステップＳ２００に戻る。この経過時間は、本開示の所定時間に対応する。
　つまり、制御部１２０は、ステップＳ２４０では、一方向のスワイプ操作を検知した後に、所定時間内に逆方向のスワイプ操作を続けて検知したとして、ステップＳ２５０でスワイプ操作による入力確定を行う。
　また、制御部１２０は、ステップＳ２３０で一方向のスワイプ操作を検知しても、所定時間内に逆方向のスワイプ操作を続けて検知しない場合は、ステップＳ２６０によるリセット（履歴の消去）を行っており、スワイプ操作による入力確定を行わない。この場合は、図１６（ｄ）に示すように、図１６（ｂ）における一方向に半分まで移動された各アイコン１３１ａ～１３１ｄが、キャンセル扱いとして、もとの位置に戻される。ステップＳ２７０に基づくステップＳ２６０は、本開示におけるリセット部に対応する。
　以上のように、本実施形態では、制御部１２０は、判定部（Ｓ２２０、Ｓ２４０）、および認識部（Ｓ２５０）によって、運転者の指の動きとして、一方への動作と、逆方向への動作とを、予め定めた所定時間内に続けて検知すると、１つのジェスチャとして認識する。
　これにより、一方への動作、あるいは逆方向への動作がそれぞれ単独で認識されることがない。つまり、運転者にとっては、一方への動作と逆方向への動作とを１つのジェスチャとして、往復動作とすることで、所望する１つの入力操作が可能となる。よって、往復動作において、一方への動作による入力と逆方向への動作による入力とが交互に混在することがなく、往復動作を１つの単位として繰り返しを行うことで１つの入力操作を連続して行うことができる。
　また、運転者の何らかの動作に伴って無意識に指を動かしたときに、一方への動作と逆方向への動作とが揃わない限り、１つのジェスチャとして認識されないので、意図しない入力操作が行われてしまうことを抑制することができる。
　また、制御部１２０は、運転者の指の動きとして、一方への動作と、逆方向への動作とを、予め定めた所定時間内に続けて検知しない場合は、リセット部（Ｓ２６０）によって、一方向の動作に関する履歴を消去する。これにより、一方への動作の後に、予め定めた所定時間内に逆方向への動作がない場合は、入力を行わないようにするので、誤動作の入力を確実に防止することができる。
　このように、本実施形態では、運転者のジェスチャによる入力の認識精度を上げることができ、操作性の向上を図ることができる。
　（第４実施形態）
　第４実施形態について図１７を用いて説明する。第４実施形態は、上記第３実施形態に対して、運転者の入力操作によって、指の動きを判定するための各閾値Ｃ１～Ｃ４を変更可能としたものである。各閾値Ｃ１～Ｃ４は、本開示の判定条件に対応する。
　車両機器１３０の表示部１３０ａには、運転者の所定の操作によって、各閾値Ｃ１～Ｃ４の設定を変更可能とする設定変更画面１３２が表示されるようになっている。設定変更画面１３２は、例えば、初期設定値（図１７中のグレーの位置）に対する現在の閾値Ｃ１～Ｃ４が表示されるようになっている。運転者は、指操作をする際の癖や好み等を考慮して、センサ１１０に対して各閾値Ｃ１～Ｃ４を変更するための入力ができるようになっている。設定変更画面１３２は、例えば、静電容量式電極を用いたタッチ式の入力機能を備えた画面となっており、変更入力にあたっては、設定変更画面１３２上で、例えば、各閾値Ｃ１～Ｃ４の位置に指先を当てて、変更したい値の方向に指先をスライド移動させることで対応できるようになっている。表示部１３０ａの設定変更画面１３２は、本開示の変更部に対応する。
　これにより、指の動きを判定するための閾値Ｃ１～Ｃ４を、運転者の癖や好みに合うように変更することができるので、運転者にとっては使い勝手のよいものにすることができる。特に、指の動きの速度（移動速度）ｖを判定する閾値Ｃ１、Ｃ２に関しては、指の動きを捉える際の重要な判定値となることから、このような閾値Ｃ１、Ｃ２の設定変更が可能となる点は、運転者にとっての使い勝手の向上に大きく寄与する。
　（第５実施形態）
　第５実施形態のジェスチャ入力装置３００について図２０～図２３を用いて説明する。本実施形態のジェスチャ入力装置３００は、運転者（操作者）の体の特定部位の動きに基づいて、車両機器１３０に対する操作を行う。
　車両には、操舵用のステアリング１０と、ステアリング１０の操作力を図示しないステアリングギヤに伝えるステアリングシャフト３１１と、ステアリング１０の背面側（車両前方側）に位置するインストルメントパネル３１２と、インストルメントパネル３１２においてステアリング１０の上側半分と対向して各種車両情報を総合的に表示するコンビネーションメータ３１３等が設けられている。
　ジェスチャ入力装置３００は、検出部１１０、操舵角センサ３２０、および電子制御ユニット３３０等を備えている。ジェスチャ入力装置３００は、検出部１１０によって検出された運転者の体の動きを基にして、電子制御ユニット３３０によって、車両機器１３０の表示部１３０ａにおける表示画像の切替えや作動入力が行われる。
　検出部１１０は、運転者の体の特定部位の動きを検出する。検出部１１０は、運転者の体の特定部位を画像によって検知し、時間経過に対する画像の変化から、運転者の体の特定部位の動きを検出する。
　運転者の体の特定部位としては、例えば、手の指、手の平、腕等とすることができる。本実施形態では、運転者の体の特定部位として、手の指を対象としている。また、検出部１１０としては、２次元画像、あるいは３次元画像を形成するセンサやカメラ等を用いることができる。センサとしては、近赤外線を用いた近赤外線センサ、あるいは遠赤外線を用いた遠赤外線センサ等がある。また、カメラとしては、複数の方向から同時に撮影して奥行方向の情報も記録できるステレオカメラ、あるいは、ＴｏＦ（Time of Flight）方式を用いて対象物を立体的に撮影するＴｏＦカメラ等がある。本実施形態では、３次元画像を形成する近赤外線センサを用いており、以下、検出部１１０をセンサ１１０と呼ぶ。
　センサ１１０は、図２０に示すように、車両のステアリング１０の背面側で、コンビネーションメータ３１３の近傍となるインストルメントパネル３１２に配置されている。更に詳しく説明すると、センサ１１０は、例えば、ステアリング１０において、１０時１０分方向に運転者が握る左右の手のうち、運転席側から車両進行方向に見たときに、右手と対向する位置に配置されている。よって、センサ１１０の光軸は、概ね、水平方向となって、インストルメントパネル３１２側からステアリング１０の手前側（背面側）に向かう。
　センサ１１０の検知対象となる領域は、センサ１１０が配置される位置からステアリング１０側に向けて所定範囲の空間領域となっている。以下、この領域を検知エリアと呼ぶ。また、検知エリアの先端域と、ステアリング１０の背面との間は、非検知エリアとなっている。非検知エリアは、通常の運転時において、ステアリング１０を握る指が位置するエリアであり、このときの指の動きは、センサ１１０によって検知されない。
　よって、検知エリアは、非検知エリアを超えて運転者の指が入り込んだときに、その指の動きを検知するエリアとなっている。例えば、運転者は、右手の人差し指と中指とを、または人差し指あるいは中指をセンサ１１０側に延ばすことで、各指は、検知エリア内に入り込むことになり、センサ１１０は、運転者の右手の指の動きを検出する。
　指の動き（以下、ジェスチャ）は、予め、種々のパターンを決めておくことができるが、例えば、指を左右方向に振るもの、あるいは上下方向に振るもの等とすることができる。上記ジェスチャは、例えば、スマートフォンの画面上におけるスワイプ操作をイメージさせるものとなっている。センサ１１０が検知した指のジェスチャ信号は、後述するＵＩ（User　Interface）操作部３３１に出力される。
　操舵角センサ３２０は、ステアリング１０が操舵（回転操作）されたときの回転量に応じた信号、つまり、操舵角θに相当する信号を検出するセンサであり、ステアリングシャフト３１１に設けられている。操舵角センサ３２０が検知した操舵角信号は、後述する制御部３３２に出力される。
　電子制御ユニット３３０は、センサ１１０からのジェスチャ信号と、操舵角センサ３２０からの操舵角信号とを受けて、車両機器１３０の表示部１３０ａにおける表示制御と、車両機器１３０の作動制御とを行う。電子制御ユニット３３０は、ＵＩ操作部３３１と、制御部３３２とを備えている。
　ＵＩ操作部３３１は、センサ１１０からの指のジェスチャ信号に応じた制御内容が予め定められている。つまり、ＵＩ操作部３３１は、指のジェスチャ信号に応じて、車両機器１３０の表示部１３０ａにおいて必要とされる表示画像を生成し、更に表示画像の切替えを行うと共に、車両機器１３０の作動状態を変更させていく。
　制御部３３２は、操舵角センサ３２０からの操舵角信号を受けて、ステアリング１０の角速度ωを算出し、算出した角速度ωに応じて、センサ１１０からＵＩ操作部３３１へのジェスチャ信号の入力を許可するか禁止するかを切替える。制御部３３２が行う、切替え制御の詳細については後述する。
　車両機器１３０は、例えば、オーディオ機能を備えるナビゲーション装置と、車両用エアコン装置に対する作動条件を入力するエアコン入力装置とが一体的に形成されたものである。オーディオ機能としては、例えば、音楽再生機能、およびラジオ受信機能等である。車両機器１３０は、表示部１３０ａを備えており、例えば、インストルメントパネル３１２の車両左右方向のほぼ中央に配置されている。
　表示部１３０ａは、例えば、液晶ディスプレイ、あるいは有機ＥＬディスプレイ等によって形成されている。表示部１３０ａには、運転者の指のジェスチャに基づいて、ＵＩ操作部３３１によって、ナビゲーション画像、オーディオの操作用画像、およびエアコンの操作用画像等が切替え表示される。また、運転者の異なるジェスチャに基づいて、操作用アイコン等を決定状態とすることで操作入力が可能となっている。
　本実施形態においては、安全運転と指のジェスチャによる入力の利便性とを高めるために、運転者のステアリング１０に対する操舵時の角速度ωに基づいて、制御部３３２は、センサ１１０からＵＩ操作部３３１へのジェスチャ信号の入力の許可、あるいは禁止の切替え制御を行う。以下、図２１～図２３を用いて詳細に説明する。
　制御部３３２は、図２１に示す制御フローを所定時間毎に繰り返している。まず、ステップＳ３００で、制御部３３２は、操舵角センサ３２０から出力される操舵角信号（操舵角θ）を読み出し、更に、ステップＳ３１０で操舵角信号から角速度ωを算出する。角速度ωは、操舵角θの時間に対する変化量（操舵角θの微分値）として算出される。
　次に、ステップＳ３２０で、制御部３３２は、算出した角速度ωの絶対値が予め定めた閾値Ｔｈより小さいか否かを判定する。閾値Ｔｈは、ステアリング１０に対する運転者の回転操作が、実質的に行われていないレベルであることを判定するための値に設定されている。
　ステップＳ３２０で肯定判定すると、ステップＳ３３０で、制御部３３２は、経過時間に対応するカウンタＮＯＮの値が、予め定めた閾値ＴｈＮより大きいか否かを判定する。閾値ＴｈＮは、本開示の所定時間に対応する。カウンタＮＯＮの初期値は０に設定されている。
　ステップＳ３３０で、否定判定、つまり、カウンタＮＯＮが閾値ＴｈＮ以下であると判定すると、ステップＳ３４０で、制御部３３２は、ステップＳ３３０での判定に使用するカウンタＮＯＮと、後述するステップＳ３８０での判定に使用するカウンタＮＯＦＦとを更新する。ここでは、カウンタＮＯＮについては、カウント数を１つ増加させる。また、カウンタＮＯＦＦについては０にする。そして、ステップＳ３００に戻る。
　ステップＳ３４０でカウンタＮＯＮが増加された後、再びステップＳ３００からステップＳ３２０を繰り返し、ステップＳ３３０で、肯定判定、つまり、カウンタＮＯＮが閾値ＴｈＮより大きいと判定すると、制御部３３２は、ステップＳ３５０に移行する。
　ステップＳ３５０において、制御部３３２は、センサ１１０からＵＩ操作部３３１へのジェスチャ信号の入力を許可する。つまり、操舵角θから得られる角速度ωが、閾値Ｔｈよりも小さい状態が、所定時間（閾値ＴｈＮ）よりも長い間、続いた場合に、制御部３３２は、運転者からのジェスチャの入力を許可する。
　ジェスチャ信号の入力が許可される運転状態は、具体的には、図２２（ａ）に示すように、例えば、長い直線路を走行しており、ステアリング１０の回転操作が行われない場合が挙げられる。あるいは、図２２（ｂ）に示すように、例えば、緩く長いカーブ路を走行する際に、一旦、ステアリング１０は、多少回転操作されるものの、その後は、回転操作された位置が長く維持されるような場合が挙げられる。更には、図２２（ｂ）に示すように、停車中において、追突されたときに車体が前方に飛び出すのを防止するために、ステアリング１０を縁石側に回したままにするような場合が挙げられる。このように、ステアリング１０に対する大きな回転操作が行われない場合に、運転者のジェスチャによる入力が許可される。
　ステップＳ３６０で、制御部３３２は、閾値Ｔｈの値をＴｈＨｉに更新する。ＴｈＨｉは、閾値Ｔｈに対する上限側閾値である。上限側閾値ＴｈＨｉは、例えば、閾値Ｔｈに対して、所定値だけ大きく設定される閾値である。よって、ステップＳ３５０でジェスチャ入力を許可し、ステップＳ３６０、Ｓ３７０の後に、ステップＳ３００に戻って、再びステップＳ３２０での判定を行う際には、閾値Ｔｈとして、上限側閾値ＴｈＨｉが使用される。
　次に、ステップＳ３７０で、制御部３３２は、ステップＳ３３０での判定に使用するカウンタＮＯＮと、後述するステップＳ３８０での判定に使用するカウンタＮＯＦＦとを更新する。ここでは、カウンタＮＯＮ、およびカウンタＮＯＦＦを共に０にして、経過時間のカウントをクリアする。そして、ステップＳ３００に戻る。
　一方、ステップＳ３２０で否定判定、つまり、角速度ωが閾値Ｔｈ以上であると、ステップＳ３８０に移行する。ステップＳ３８０では、制御部３３２は、経過時間に対応するカウンタＮＯＦＦの値が、閾値ＴｈＮより大きいか否かを判定する。カウンタＮＯＦＦの初期値は０に設定されている。
　ステップＳ３８０で、否定判定、つまり、カウンタＮＯＦＦが閾値ＴｈＮ以下であると判定すると、ステップＳ３９０で、制御部３３２は、カウンタＮＯＮとカウンタＮＯＦＦとを更新する。ここでは、カウンタＮＯＮについては０にする。また、カウンタＮＯＦＦについてはカウント数を１つ増加させる。そして、ステップＳ３００に戻る。
　ステップＳ３９０でカウンタＮＯＦＦが増加された後、再びステップＳ３００からステップＳ３２０を繰り返し、ステップＳ３８０で、肯定判定、つまり、カウンタＮＯＦＦが閾値ＴｈＮより大きいと判定すると、制御部３３２は、ステップＳ４００に移行する。
　ステップＳ４００において、制御部３３２は、センサ１１０からＵＩ操作部３３１へのジェスチャ信号の入力を禁止する。つまり、操舵角θから得られる角速度ωが、閾値Ｔｈ以上となる状態が、所定時間（閾値ＴｈＮ）よりも長い間、続いた場合に、制御部３３２は、運転者からのジェスチャの入力を禁止する。
　ジェスチャ信号の入力が禁止される運転状態は、具体的には、図２２（ｃ）に示すように、例えば、急なカーブ路を走行しており、ステアリング１０の回転操作が大きく（また繰り返し）行われる場合が挙げられる。このように、ステアリング１０に対する大きな回転操作が行われる場合に、運転者のジェスチャによる入力が禁止される。
　ステップＳ４１０で、制御部３３２は、閾値Ｔｈの値をＴｈＬｏに更新する。ＴｈＬｏは、閾値Ｔｈに対する下限側閾値である。下限側閾値ＴｈＬｏは、例えば、閾値Ｔｈに対して、所定値だけ小さく設定される閾値である。よって、ステップＳ４００でジェスチャ入力を禁止し、ステップＳ４１０、Ｓ４２０の後に、ステップＳ３００に戻って、再びステップＳ３２０での判定を行う際には、閾値Ｔｈとして、下限側閾値ＴｈＬｏが使用される。
　つまり、図２３に示すように、角速度ωの大小に基づくジェスチャ入力の許可判定、あるいは禁止判定は、上限側閾値ＴｈＨｉ、および下限側閾値ＴｈＬｏによって、ヒステリシスを持つ判定に基づくものとなる。具体的には、上限側閾値ＴｈＨｉは、入力許可状態において、角速度ωが増加していった場合の入力禁止のための判定値となり、下限側閾値ＴｈＬｏは、入力禁止状態において、角速度ωが減少していった場合の入力許可のための判定値となる。
　次に、ステップＳ４２０で、制御部３３２は、ステップＳ３３０での判定に使用するカウンタＮＯＮと、ステップＳ３８０での判定に使用するカウンタＮＯＦＦとを更新する。ここでは、カウンタＮＯＮ、およびカウンタＮＯＦＦを共に０にして、経過時間のカウントをクリアする。そして、ステップＳ３００に戻る。
　以上のように、本実施形態では、制御部３３２は、操舵角センサ３２０で検出された操舵角θから得られる角速度ωに基づいて、センサ１１０で検出されたジェスチャの入力を許可、あるいは禁止する。そして、制御部３３２は、角速度ωが、閾値Ｔｈ以上となる場合に、ジェスチャの入力を禁止する。
　これにより、操舵角センサ３２０から得られる角速度ωが、閾値Ｔｈ以上のときは、運転者は、ステアリング１０を大きく回転操作をしている場合であり、このとき制御部３３２は、ジェスチャの入力を禁止する。よって、運転者に対して車両の運転に集中させることができ、安全運転につなげることができる。
　一方、操舵角センサ３２０から得られる角速度ωが、閾値Ｔｈより小さいときは、運転者によるステアリング１０の回転操作は小さく、運転者にはジェスチャを行う余裕ができる。このような場合には、本来のジェスチャ入力を許可することで、運転者のジェスチャによる入力の利便性を高めることができる。
　また、制御部３３２は、角速度ωが、予め定めた所定時間（ＴｈＮ）以上にわたって、閾値Ｔｈ以上となるときに、ジェスチャの入力を禁止する。これにより、ジェスチャの入力禁止の判定結果に対する信頼度を上げることができる。
　また、閾値Ｔｈは、角速度ωが増加してジェスチャの入力を禁止するための判定値となる上限側閾値ＴｈＨｉと、角速度ωが減少して、ジェスチャの入力を許可するための判定値となる下限側閾値ＴｈＬｏとを備えている。つまり、ステップＳ３６０で閾値Ｔｈを上限側閾値ＴｈＨｉに更新し、ステップＳ４１０で閾値Ｔｈを下限側閾値ＴｈＬｏに更新する。
　これにより、ジェスチャの入力を禁止するための上限側閾値ＴｈＨｉと、ジェスチャの入力を許可するための下限側閾値ＴｈＬｏとによって、ヒステリシスを持つ判定に基づくものとすることができる。よって、単に閾値Ｔｈのみを設けた場合の閾値Ｔｈの近傍で、禁止判定、あるいは許可判定が頻繁に反転してしまうことを防止でき、安定した判定が可能となる。
　（その他の実施形態）
　上記各実施形態では、検知装置１１０として、近赤外線センサ、あるいは遠赤外線センサとしたが、この他にも、複数の方向から同時に撮影して奥行方向の情報も記録できるステレオカメラ、あるいは、ＴｏＦ（Time of Flight）方式を用いて対象物を立体的に撮影するＴｏＦカメラ等を用いてもよい。
　また、指のジェスチャを左右方向のもの、あるいは上下方向のものとしたが、これに限定されることなく、指とセンサ１１０との位置関係を考慮することで、斜め方向のジェスチャ、前後方向のジェスチャ等を定義付けして、対応することが可能である。
　また、検知したジェスチャと制御内容との対応付けも、上記実施形態に限定されることなく、種々設定が可能である。
　上記各実施形態では、運転者の手の指を体の特定部位としたものとして説明したが、これに限定されるものではなく、その他、運転者の手の平、腕等を対象としてもよい。例えば、手の平を対象とした場合、図１８に示すように、手の平をセンサ１１０にかざして、右方向のスワイプ操作、および左方向のスワイプ操作を行うものとすることができる。センサ１１０は、右方向のスワイプ操作と、左方向のスワイプ操作（振り戻し）とを１つのジェスチャとして認識して、最初の右方向のスワイプ操作を確定する。そして、その後に、次の入力に移行させる。
　また、センサ１１０の設定位置は、インストルメントパネル１１に限定されるものではなく、他にも、図１９に示すように、車両の天井部等として、運転者の手の指、手の平、腕等の位置を検知するものとしてもよい。
　また、体の特定部位の動き（ジェスチャ）としては、左右方向の動作に限らず、往復動作を形成できるものであれば、体の特定部位とセンサ１１０との位置関係を考慮することで、上下、前後、斜め、回転等種々の動作を適用することができる。
　また、対象となる操作者は、運転者に限らず、助手席者としてもよい。この場合、助手席者も、上記の各種ジェスチャを行うことで、センサ１１０へのジェスチャ認識が可能となり、各種車両機器の操作が可能となる。

Claims (8)

  1. 　車両に搭載されて、操作者の指のジェスチャを検知する検知装置であって、
    　前記車両のステアリング（１０）の背面側となるステアリングコラム（１０ａ）、あるいは前記ステアリングコラム（１０ａ）の近傍に配置されて、前記ステアリング（１０）側に向けて所定範囲の空間を検知する検知部（１１０）と、
    　前記ステアリング（１０）の背面側に設けられ、前記操作者に操作されるスイッチ部（１３）と、
    　前記スイッチ部（１３）による入力信号が入力される制御部（１２０）と、を備え、
    　前記制御部は、前記検知部が前記所定範囲の空間における前記ジェスチャを検知しても、前記入力信号があると、前記ジェスチャの検知を無効にする検知装置。
  2. 　操作者の体の特定部位の動きを検知し、前記特定部位の一方への動作と、前記一方とは逆になる逆方向への動作とを検出する動作検出部（１１０）と、
    　予め定めた所定時間内に前記一方への動作と前記逆方向への動作とを連続して検知したかどうかを判定する判定部（Ｓ２２０、Ｓ２４０）と、
    　前記所定時間内に前記動作検出部（１１０）が前記一方への動作と前記逆方向への動作とを連続して検知したと前記判定部（Ｓ２２０、Ｓ２４０）が判定した場合、前記一方への動作と前記逆方向への動作とを１つのジェスチャとして認識する認識部（Ｓ２５０）とを備えるジェスチャ入力装置。
  3. 　操作者の体の特定部位の動きを検知し、前記特定部位の一方への動作と、前記一方とは逆になる逆方向への動作とを検出する動作検出部（１１０）と、
    　前記一方への動作を検出した後、予め定めた所定時間内に前記逆方向への動作を連続して検知しなかった場合に、前記動作検出部（１１０）が検出した前記一方への動作の履歴を消去するリセット部（Ｓ２６０）と、
    　前記所定時間内に前記一方への動作と前記逆方向への動作とを連続して検知した場合に、前記一方への動作と前記逆方向への動作とを１つのジェスチャとして認識する認識部（Ｓ２５０）とを備えるジェスチャ入力装置。
  4. 　前記動作検出部（１１０）は、前記操作者の入力によって、前記特定部位の動きを判定するための判定条件を変更可能とする変更部（１３２）を備える請求項２または請求項３に記載のジェスチャ入力装置。
  5. 　判定条件は、前記一方への動作、および前記逆方向への動作のうち、少なくとも１つにおける移動速度に関する判定条件である請求項４に記載のジェスチャ入力装置。
  6. 　車両に搭載されて、操作者の体の特定部位のジェスチャを検出する検出部（１１０）と、
    　前記車両のステアリング（１０）の操舵時の操舵角（θ）を検出する操舵角センサ（３２０）と、
    　前記操舵角センサ（３２０）で検出された前記操舵角（θ）から得られる角速度（ω）に基づいて、前記検出部（１１０）で検出された前記ジェスチャの入力を許可、あるいは禁止すると共に、前記角速度（ω）が、予め定めた閾値（Ｔｈ）以上のときは、前記ジェスチャの入力を禁止する制御部（３３２）とを備えるジェスチャ入力装置。
  7. 　前記制御部（３３２）は、前記角速度（ω）が、予め定めた所定時間（ＴｈＮ）以上にわたって、前記閾値（Ｔｈ）以上となるときに、前記ジェスチャの入力を禁止する請求項６に記載のジェスチャ入力装置。
  8. 　前記閾値（Ｔｈ）は、
    　　前記角速度（ω）が増加して、前記ジェスチャの入力を禁止するための判定値となる上限側閾値（ＴｈＨｉ）と、
    　　前記角速度（ω）が減少して、前記ジェスチャの入力を許可するための判定値となる下限側閾値（ＴｈＬｏ）とを備える請求項６または請求項７に記載のジェスチャ入力装置。
PCT/JP2015/000391 2014-03-05 2015-01-29 検知装置及びジェスチャ入力装置 WO2015133057A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/112,715 US9939912B2 (en) 2014-03-05 2015-01-29 Detection device and gesture input device

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2014-043142 2014-03-05
JP2014043142A JP2015168304A (ja) 2014-03-05 2014-03-05 検知装置
JP2014-059332 2014-03-21
JP2014059332A JP2015184841A (ja) 2014-03-21 2014-03-21 ジェスチャ入力装置
JP2014077882A JP2015199383A (ja) 2014-04-04 2014-04-04 ジェスチャ入力装置
JP2014-077882 2014-04-04

Publications (1)

Publication Number Publication Date
WO2015133057A1 true WO2015133057A1 (ja) 2015-09-11

Family

ID=54054878

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/000391 WO2015133057A1 (ja) 2014-03-05 2015-01-29 検知装置及びジェスチャ入力装置

Country Status (2)

Country Link
US (1) US9939912B2 (ja)
WO (1) WO2015133057A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3048111A1 (fr) * 2016-02-18 2017-08-25 Continental Automotive France Detection optique des gestes faits par les doigts d'un conducteur
JP2017168086A (ja) * 2016-03-11 2017-09-21 パナソニックＩｐマネジメント株式会社 ジェスチャ入力システム及びジェスチャ入力方法
JP2017174397A (ja) * 2016-03-18 2017-09-28 パナソニックＩｐマネジメント株式会社 ジェスチャ入力システム及びジェスチャ入力方法
JP2020509489A (ja) * 2017-02-27 2020-03-26 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 機載システムを制御する方法及び装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015006613A1 (de) * 2015-05-21 2016-11-24 Audi Ag Bediensystem und Verfahren zum Betreiben eines Bediensystems für ein Kraftfahrzeug
US10503361B2 (en) * 2015-09-30 2019-12-10 Samsung Electronics Company, Ltd. Interactive graphical object
JP6543185B2 (ja) * 2015-12-22 2019-07-10 クラリオン株式会社 車載装置
JP6962026B2 (ja) 2017-06-22 2021-11-05 オムロン株式会社 ジェスチャ入力装置
JP6987341B2 (ja) * 2017-10-24 2021-12-22 マクセル株式会社 情報表示装置およびその空間センシング装置
US11501765B2 (en) * 2018-11-05 2022-11-15 Dish Network L.L.C. Behavior detection
CN109917919A (zh) * 2019-03-13 2019-06-21 深圳市聚芯影像有限公司 一种手势控制车载智能系统及其控制方法
DE102019204481A1 (de) * 2019-03-29 2020-10-01 Deere & Company System zur Erkennung einer Bedienabsicht an einer von Hand betätigbaren Bedieneinheit
JP6541910B1 (ja) * 2019-04-17 2019-07-10 京セラ株式会社 電子機器、制御方法、及びプログラム
US20220276719A1 (en) * 2019-09-06 2022-09-01 Bae Systems Plc User-vehicle interface
GB2586856B (en) * 2019-09-06 2023-12-13 Bae Systems Plc User-Vehicle Interface
US11507194B2 (en) * 2020-12-02 2022-11-22 Huawei Technologies Co., Ltd. Methods and devices for hand-on-wheel gesture interaction for controls

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216069A (ja) * 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
JP2005047412A (ja) * 2003-07-30 2005-02-24 Nissan Motor Co Ltd 非接触式情報入力装置
JP2009248629A (ja) * 2008-04-02 2009-10-29 Hitachi Ltd 車載機器の入力装置及び車載機器の入力方法
JP2010254199A (ja) * 2009-04-27 2010-11-11 Denso Corp 車両用操作装置
JP2013022986A (ja) * 2011-07-17 2013-02-04 Denso Corp 車両用の操作入力装置及び制御システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003067108A (ja) 2001-08-23 2003-03-07 Hitachi Ltd 情報表示装置とその操作認識方法
JP2005063092A (ja) 2003-08-11 2005-03-10 Keio Gijuku ハンドパターンスイッチ装置
JP2006209563A (ja) 2005-01-31 2006-08-10 Victor Co Of Japan Ltd インターフェース装置
JP2006282145A (ja) 2005-04-05 2006-10-19 Nissan Motor Co Ltd コマンド入力装置
JP4788199B2 (ja) 2005-05-31 2011-10-05 日産自動車株式会社 コマンド入力装置
JP2007164814A (ja) 2007-02-09 2007-06-28 Toshiba Corp インタフェース装置
US20130063336A1 (en) * 2011-09-08 2013-03-14 Honda Motor Co., Ltd. Vehicle user interface system
JP2013218391A (ja) 2012-04-05 2013-10-24 Pioneer Electronic Corp 操作入力装置、操作入力方法、及び、操作入力プログラム
EP3018629A4 (en) * 2013-07-01 2017-02-22 Pioneer Corporation Imaging system
KR101537936B1 (ko) * 2013-11-08 2015-07-21 현대자동차주식회사 차량 및 그 제어방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216069A (ja) * 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
JP2005047412A (ja) * 2003-07-30 2005-02-24 Nissan Motor Co Ltd 非接触式情報入力装置
JP2009248629A (ja) * 2008-04-02 2009-10-29 Hitachi Ltd 車載機器の入力装置及び車載機器の入力方法
JP2010254199A (ja) * 2009-04-27 2010-11-11 Denso Corp 車両用操作装置
JP2013022986A (ja) * 2011-07-17 2013-02-04 Denso Corp 車両用の操作入力装置及び制御システム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3048111A1 (fr) * 2016-02-18 2017-08-25 Continental Automotive France Detection optique des gestes faits par les doigts d'un conducteur
JP2017168086A (ja) * 2016-03-11 2017-09-21 パナソニックＩｐマネジメント株式会社 ジェスチャ入力システム及びジェスチャ入力方法
JP2017174397A (ja) * 2016-03-18 2017-09-28 パナソニックＩｐマネジメント株式会社 ジェスチャ入力システム及びジェスチャ入力方法
JP2020509489A (ja) * 2017-02-27 2020-03-26 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 機載システムを制御する方法及び装置
US10884510B2 (en) 2017-02-27 2021-01-05 Huawei Technologies Co., Ltd. Method and apparatus for controlling onboard system
US11275449B2 (en) 2017-02-27 2022-03-15 Huawei Technoloies Co., Ltd. Method and apparatus for controlling onboard system
US11847265B2 (en) 2017-02-27 2023-12-19 Huawei Technologies Co., Ltd. Method and apparatus for controlling onboard system

Also Published As

Publication number Publication date
US20160349850A1 (en) 2016-12-01
US9939912B2 (en) 2018-04-10

Similar Documents

Publication Publication Date Title
WO2015133057A1 (ja) 検知装置及びジェスチャ入力装置
JP6682574B2 (ja) 自動操縦装置が作動している自動車両において通信端末を使用する方法及び自動車両
US9126619B2 (en) Vehicle operation device
JP5124397B2 (ja) 自動車用入出力装置
US10732760B2 (en) Vehicle and method for controlling the vehicle
JP5850229B2 (ja) 車両用操作装置
WO2016132876A1 (ja) 情報処理装置
JP5981182B2 (ja) 表示制御装置
US9218059B2 (en) Input apparatus for vehicle
JP2017030574A (ja) 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
JP2013218391A (ja) 操作入力装置、操作入力方法、及び、操作入力プログラム
JP6515028B2 (ja) 車両用操作装置
KR20180091732A (ko) 사용자 인터페이스, 운송 수단 및 사용자 구별을 위한 방법
JPWO2014073403A1 (ja) 入力装置
JP2018144582A (ja) 車載機器操作装置
JP2015184841A (ja) ジェスチャ入力装置
JP2015199383A (ja) ジェスチャ入力装置
JP6033465B2 (ja) 表示制御装置
WO2018116565A1 (ja) 車両用情報表示装置及び車両用情報表示プログラム
WO2016203715A1 (ja) 車両用情報処理装置、車両用情報処理システム、および車両用情報処理プログラム
JP2013224050A (ja) 車両用表示装置
JP2016110269A (ja) 操作入力装置
JP2015168304A (ja) 検知装置
KR20150056322A (ko) 헤드업 디스플레이의 메뉴 제어 장치 및 방법
JP4962387B2 (ja) ポインタ表示・移動装置およびポインタ表示・移動装置用のプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15758911

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15112715

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15758911

Country of ref document: EP

Kind code of ref document: A1