WO2022018953A1 - 制御システム、ジェスチャ認識システム、車両、及び、ジェスチャ認識システムを制御する方法 - Google Patents

制御システム、ジェスチャ認識システム、車両、及び、ジェスチャ認識システムを制御する方法 Download PDF

Info

Publication number
WO2022018953A1
WO2022018953A1 PCT/JP2021/019470 JP2021019470W WO2022018953A1 WO 2022018953 A1 WO2022018953 A1 WO 2022018953A1 JP 2021019470 W JP2021019470 W JP 2021019470W WO 2022018953 A1 WO2022018953 A1 WO 2022018953A1
Authority
WO
WIPO (PCT)
Prior art keywords
gesture recognition
tactile feedback
body part
gesture
vehicle
Prior art date
Application number
PCT/JP2021/019470
Other languages
English (en)
French (fr)
Inventor
クリスチャン マイケル ホランド
Original Assignee
日産自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日産自動車株式会社 filed Critical 日産自動車株式会社
Priority to JP2022500773A priority Critical patent/JP7148014B2/ja
Priority to EP21845535.0A priority patent/EP4186754A4/en
Priority to CN202180004846.0A priority patent/CN114258367A/zh
Priority to US17/620,156 priority patent/US11816271B2/en
Publication of WO2022018953A1 publication Critical patent/WO2022018953A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/25—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using haptic output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined

Definitions

  • This disclosure relates to a vehicle gesture recognition system. Aspects of the present invention relate to control systems, gesture recognition systems, vehicles, and methods of controlling gesture recognition systems.
  • a state-of-the-art vehicle that includes a gesture recognition system configured to observe the spatial volume inside the vehicle and detect gestures performed within the observed spatial volume based on an individual's position and / or sequence of movements. It has been known.
  • such a gesture recognition system may be associated with a database of recognized gestures and control behaviors corresponding to the gestures, such as a hand, one or more fingers, or an individual's specific body. It is configured to observe a part (body part: body part).
  • the gesture recognition system may be configured to control one or more movements of the vehicle. This gesture-based control method allows the driver to control various operations of the vehicle while maintaining visual attention on the road, improving road safety.
  • the problem with known gesture recognition systems is to guarantee highly reliable gesture recognition, especially when operating under suboptimal conditions (non-optimal conditions) such as when lighting conditions are poor.
  • aspects and embodiments of the present invention provide a method of controlling a control system, a gesture recognition system, a vehicle and a gesture recognition system as described in the appended claims.
  • a control system for a vehicle gesture recognition system observes the space volume inside the vehicle, locates the vehicle occupant's body parts inside the space volume, and is performed by the body parts within the gesture recognition area defined inside the space volume. It includes a sensor system that identifies gestures and a tactile feedback system that outputs non-contact tactile feedback to vehicle occupants.
  • the control system is equipped with one or more control devices.
  • the control device receives a detection signal from the sensor system that includes information indicating the position of the body part inside the space volume, identifies the position of the body part with respect to the gesture recognition area according to the detection signal, and refers to the gesture recognition area. It is configured to identify the tactile feedback signal based on the position of the body part and output the tactile feedback signal to the tactile feedback system.
  • the tactile feedback signal is configured to cause the tactile feedback system to output non-contact tactile feedback indicating the position of the body part with respect to the gesture recognition area to the vehicle occupant.
  • the output of haptic feedback guides the vehicle occupants towards the gesture recognition area, which may be the area of the vehicle optimized for gesture recognition, within which the gesture recognition system is a suboptimal interior. Gestures can be reliably recognized under conditions (non-optimal indoor conditions).
  • the "indoor” is an arbitrary space inside the vehicle provided to accommodate the occupants of the vehicle.
  • the gesture recognition area is a three-dimensional area, that is, a space having a volume (spatial volume: volume of space).
  • the gesture recognition area depends on the lighting conditions in the room and / or the configuration of the sensor system.
  • the body part is any body part suitable for performing gesture-based control, including the fingers, hands, or arms of the vehicle occupant.
  • one or more controls include the position of the body part within the space volume, the position of the gesture recognition area inside the space volume, the direction of the gesture recognition area relative to the position of the body part, and the body part to the gesture recognition area. It is configured to locate the body part with respect to the gesture recognition area by specifying at least one of the proximity of the body part and the distance between the body part and the gesture recognition area along the first axis. Gesture recognition.
  • the first axis may be any axis suitable for controlling tactile feedback.
  • the first axis may be the anteroposterior axis of the vehicle such that the output of haptic feedback can be controlled in response to the anteroposterior positioning of the body part with respect to the gesture recognition area.
  • the first axis may be an axis extending between the tactile feedback system and the target position, or an axis extending between the sensor system and the target position. ..
  • the output of the tactile feedback may be configured to guide the movement of the body part along a particular axis towards the gesture recognition area.
  • the tactile feedback signal is configured to cause the tactile feedback system to output tactile feedback towards an area of the room.
  • one or more controllers specify at least one of the size of the tactile feedback, the location in which the area of tactile feedback is directed, and the size of the area of tactile feedback. , Configured to identify the tactile feedback signal.
  • the tactile feedback area is a circular area, and the radius of the tactile feedback area is specified.
  • each of these tactile feedback parameters can be configured to intuitively indicate the position of the gesture recognition area with respect to the body part.
  • the one or more control devices specify at least one of the size of the haptic feedback and the size of the haptic feedback area based on the proximity of the body part to the gesture recognition area. It is configured as follows. In this way, the magnitude, i.e. the force of tactile feedback, and / or the size of the area of tactile feedback increases, for example, as the body part approaches the gesture recognition area and decreases as the body part moves away from the gesture recognition area. It may be used or vice versa.
  • one or more controllers are of the magnitude of the tactile feedback, and the magnitude of the area of the tactile feedback, based on the distance between the body part and the gesture recognition area along the first axis. It is configured to determine at least one of them.
  • the output of the tactile feedback may be configured to guide the movement of the body part along the first axis, for example in the anteroposterior direction, towards the gesture recognition area.
  • the position where one or more controls direct the area of tactile feedback indoors based on the position of the body part inside the space volume and the orientation of the gesture recognition area with respect to the position of the body part. May be configured to identify. For example, if the gesture recognition area is arranged in a direction in which the fingertip extends (relative to the hand), the area of tactile feedback may be directed to the fingertip of the vehicle occupant.
  • one or more control devices detect the reference point of the body part, identify the position of the reference point in the space volume based on the detection signal, and determine the position of the reference point in the gesture recognition area.
  • it is configured to specify the position of the body part with respect to the gesture recognition area.
  • multiple singularities may be conveniently compared on the coordinate system to locate the body parts with respect to the gesture recognition region, and the relative positions are represented by the vectors between them. May be good.
  • the vector indicates the distance of the straight line connecting the two points and the direction in which the straight line extends.
  • the vector may be three-dimensional, with a first distance along a first axis, a second distance along a second axis, and a third distance along a third axis. It may be included.
  • the second axis extends through the gesture recognition area into a first plane perpendicular to the first axis.
  • the third axis extends perpendicular to the second axis in the first plane.
  • a correction point (a point offset from the position of the reference point in the direction of the target position) in which one or more control devices deviate from the position of the reference point in the direction of the target position.
  • the reference point may be at the center of the palm of the vehicle occupant, and the correction point may be left or right with respect to the reference point toward the finger or wrist. This is useful for pointing to the relative direction of the gesture recognition area.
  • one or more controllers scale the vector between the target position and the reference point position and translate the reference point position based on the scaled vector to move the reference point position. It is configured to identify the correction point deviated from the target position in the direction of the target position.
  • one or more control devices are configured to specify the proximity of the target position to the position of the reference point by specifying the magnitude of the vector.
  • one or more controllers determine one of the size of the tactile feedback and the size of the area of tactile feedback based on the proximity of the target position to the position of the reference point.
  • One or more control devices are configured with other sizes of haptic feedback and the size of the area of haptic feedback based on the distance between the target position and the position of the reference point along the first axis. Is configured to identify.
  • the one or more control devices are configured to determine the distance between the position of the reference point and the target position along the first axis based on the vector. For example, the components of the vector aligned with the first axis can be identified.
  • the detection signal includes image data identified by the sensor system.
  • the sensor system may be arranged to observe the space volume in the room, and one or more control devices detect the body parts inside the space volume based on the image data, and the body parts inside the space volume. It may be configured to specify the position.
  • the tactile feedback system can take the form of an ultrasonic system.
  • the haptic feedback system comprises an array of ultrasonic devices, the haptic feedback signal is configured to cause the haptic feedback system to output haptic feedback in the form of an ultrasonic beam.
  • a gesture recognition system for a vehicle.
  • the gesture recognition system observes a control system as described in the above-described embodiment of the present invention and detects a detection signal including information indicating the position of a vehicle occupant's body part inside the observed space volume. It comprises a sensor system including one or more sensors configured to output to the control system.
  • one or more sensors are configured to output to the control system a gesture signal containing information indicating a gesture performed by a vehicle occupant's body part within the gesture recognition area.
  • One or more control devices in the control system are further configured to receive the gesture signal and identify the gesture performed by the body part in response to the gesture signal. In this way, the gesture recognition system can reliably identify the gesture performed within the gesture recognition area.
  • control system can be configured to identify gestures performed by body parts using skeleton-based algorithms.
  • Skeleton-based algorithms can provide fast and accurate gesture recognition.
  • control system is further configured to control one or more behaviors of the vehicle in response to the identified gesture.
  • the gesture recognition system comprises a tactile feedback system having one or more tactile feedback devices configured to output non-contact tactile feedback in response to a tactile feedback signal.
  • one or more tactile feedback devices include an array of multiple ultrasonic transducers.
  • a vehicle provided with the control system described in the above-described aspect of the present invention or the gesture recognition system described in another aspect of the present invention is provided.
  • a corresponding method for controlling a vehicle gesture recognition system is provided.
  • the gesture recognition system is configured to include a sensor system with one or more sensors configured to observe the spatial volume of the vehicle interior and to output non-contact tactile feedback to the vehicle occupants in the vehicle. It is equipped with a tactile feedback system.
  • This method controls the sensor system to observe the spatial volume and identify the detection signal containing information indicating the position of the vehicle occupant's body part inside the spatial volume, and in response to the detection signal, the spatial volume.
  • the tactile feedback signal including the step of control, is configured to output non-contact tactile feedback indicating the position of the body part with respect to the gesture recognition area to the vehicle occupant.
  • FIG. 3 is a schematic diagram of a gesture recognition system according to an embodiment of the present invention for the vehicle shown in FIG. 1. It is a schematic diagram which shows the exemplary arrangement of the gesture recognition system shown in FIG. 2 in the interior of the vehicle shown in FIG. It is a schematic diagram which shows the exemplary configuration of the output of the tactile feedback from the gesture recognition system shown in FIG. It is a schematic diagram which shows the exemplary configuration of the output of the tactile feedback from the gesture recognition system shown in FIG. It is a schematic diagram which shows the exemplary configuration of the output of the tactile feedback from the gesture recognition system shown in FIG. It is a schematic diagram which shows the exemplary configuration of the output of the tactile feedback from the gesture recognition system shown in FIG.
  • FIG. 10 is a schematic diagram of a dependent method of identifying a tactile feedback signal in the method shown in FIG.
  • FIG. 10 is a schematic diagram which shows another exemplary method by one Embodiment of this invention which controls a gesture recognition system shown in FIG.
  • Embodiments of the present invention relate to a gesture recognition system for a vehicle.
  • the gesture recognition system includes a haptic feedback system for guiding the vehicle occupant towards the area of the vehicle optimized for gesture recognition, within which the gesture recognition system changes indoor conditions. Regardless, the gesture can be recognized with certainty.
  • the lighting conditions can change significantly and the amount of background noise can make tracking and recognition difficult.
  • the ability to recognize gestures can be limited to the extent that the gesture is reliably recognized only when the gesture is performed within a predetermined area of the room.
  • the present invention observes the spatial volume of the vehicle interior in the area of the vehicle interior where the reliability of the gesture recognition system is maximized, and of the vehicle occupant, for example, a body part such as a hand. It is configured to locate the gesture.
  • This three-dimensional area for optimal gesture recognition that is, the volume of space, is referred to as the gesture recognition area in the following explanation.
  • the present invention utilizes the position of the body part with respect to the gesture recognition area to specify a tactile feedback output that intuitively indicates the relative direction and / or proximity of the gesture recognition area to the body part.
  • a tactile feedback output that intuitively indicates the relative direction and / or proximity of the gesture recognition area to the body part.
  • tactile feedback may be configured for this purpose, in particular to indicate the following elements: :: i) Direction of the gesture recognition area with respect to the body part ii) Distance between the gesture recognition area and the body part in one or more dimensions
  • the overall proximity to the gesture recognition area can be indicated by increasing or decreasing the magnitude of the tactile feedback output, i.e., the force, depending on the proximity of the body part to the gesture recognition area.
  • the size of the tactile feedback output area may be increased or decreased to indicate whether the body part is in front of / behind, above / below, or left / right of the gesture recognition area.
  • the orientation of the gesture recognition region with respect to is may be indicated by varying the position in which the tactile feedback is directed.
  • the tactile feedback may be output toward the fingertip of the vehicle occupant to indicate that the gesture recognition area is in the direction in which the fingertip extends.
  • Tactile feedback may also be output towards the wrist of the vehicle occupant to indicate that the gesture recognition region is located in the opposite direction.
  • Such high-precision tactile feedback can guide the movement of the vehicle occupant, especially the movement of the body parts, inside the three-dimensional volume of the space toward the gesture recognition area.
  • FIG. 1 schematically shows an exemplary vehicle 1 including a gesture recognition system 2 according to an embodiment of the present invention.
  • the gesture recognition system 2 will be described in more detail with reference to FIGS. 2 and 3.
  • FIG. 2 schematically shows an example of the gesture recognition system 2 according to the embodiment of the present invention
  • FIG. 3 schematically shows an example of the arrangement of the gesture recognition system 2 in the interior 12 of the vehicle 1.
  • the gesture recognition system 2 includes a sensor system 4, a tactile feedback system 6, and a control system 10.
  • the gesture recognition system 2 does not have to include the control system 10. That is, the control system 10 is not mounted on the vehicle 1 and may control the gesture recognition system 2 by using communication.
  • Sensor system 4 includes one or more sensors.
  • One or more sensors observe the spatial volume of the interior 12 of the vehicle 1 and generate a signal indicating the position, movement, and / or placement of a particular body part, such as the vehicle occupant's hand, within the observed spatial volume. It is configured to do.
  • one or more sensors are infrared sensors, ultrasonic sensors, capacitive sensors, and / or imaging cameras for generating data suitable for locating body parts in the room. At least one of them can be included. These data may be in the form of, for example, image data, capacitive data, or any other preferred form of computer vision data.
  • the sensor system 4 includes a first sensor 26 and a second sensor 28, which are in the form of first and second imaging cameras.
  • the first sensor 26 observes the first space volume of the space 30, and inside the first space volume of the space 30, the movement, position, and the movement and position of the body parts 29 such as the hands of the vehicle occupant 25. It is configured to identify the detection data (sensory data) corresponding to the sequence of positions or the pattern of arrangement.
  • the first space volume of the space 30 includes the gesture recognition area 32 and extends beyond the gesture recognition area 32.
  • the sensor system 4 contains information indicating one or more gestures performed by the body part within the first spatial volume of the space 34 and / or the gesture recognition area 32. It is configured to generate a gesture recognition signal.
  • the gesture recognition signal is output to the control system 10 and is used to identify one or more vehicle behaviors to be controlled.
  • the second sensor 28 observes the second space volume of the space 34 and identifies the detection data (sensory data) corresponding to the position of the body part 29 in the second space volume of the space 34. It is configured as follows. As shown in FIG. 3, the space 34 of the second space volume includes the space 30 of the first space volume and exceeds the space 30 of the first space volume so as to include a wider portion in the room 12. Is spreading.
  • the space 34 of the second space volume may include the space volume in which the vehicle occupant 25 is likely to be located. For example, the second space volume may include the front passenger seat of the vehicle 1. In this way, the position of the body part 29 can be specified outside the gesture recognition area 32.
  • the sensor system 4 Based on this detection data (sensory data), the sensor system 4 generates a body part detection signal including information indicating the position of the body part 29 in the second space volume of the space 34.
  • the body part detection signal is output to the control system 10 and is used to identify i) the position of the body part 29 with respect to the gesture recognition area 32 and ii) the tactile feedback signal for controlling the tactile feedback system 6. ..
  • the sensor system 4 can include a single sensor for determining both the body part detection signal and the gesture recognition signal.
  • the reliability of detection and recognition of an object can be further improved.
  • control system 10 is configured to process the body part detection signal and the gesture recognition signal for the following purposes. i) Identifying the position of the body part 29 with respect to the gesture recognition area 32, ii) Controlling the tactile feedback output from the tactile feedback system 6 to guide the body part 29 toward the gesture recognition area 32. iii) Identifying the gesture performed by the body part 29 within the gesture recognition area 32.
  • the control device 10 can include one or more control devices, and each control device can include a control unit or a calculation device having one or more electronic processors.
  • One or more control devices or control units may be provided with a set of instructions for performing a control method, such as the control methods described herein.
  • a set of instructions may be embedded in one or more electronic processors.
  • a set of instructions may be provided as software executed by one or more of the electronic processors.
  • a set of instructions may be embedded in a computer-readable storage medium (eg, a non-temporary computer-readable storage medium).
  • Computer-readable storage media may include any mechanism for storing information in a format readable by a machine or electronic processor / arithmetic unit. These include magnetic storage media (eg floppy (registered trademark) diskettes), optical storage media (eg CD-ROM), optomagnetic storage media, read-only memory (ROM), random access memory (RAM), and erasable. It may include, but is not limited to, programmable memory (eg, EPROM and EEPROM), flash memory, or electrical or other types of media for storing such information / instructions.
  • programmable memory eg, EPROM and EEPROM
  • flash memory or electrical or other types of media for storing such information / instructions.
  • control device 10 includes a first control device 14 and a second control device 16.
  • the first control device 14 is a gesture recognition control device configured to process a gesture recognition signal and identify a gesture performed by the body part 29 based on the gesture recognition signal. "Identifying the gesture performed by the body part 29" means that the first control device 14 generates a spatial gesture model corresponding to the position and / or movement of the body part 29 observed by the first sensor 26. Means to do.
  • Spatial gesture models can be identified by various methods known in the art, eg, as demonstrated by V. I. Pavlovic, R. Sharma and T. S. Huang (1997). , Any suitable computer vision and / or image processing method can be used.
  • Simplified detection and processing algorithms may be adopted for rapid processing.
  • a “skeleton-based algorithm” that utilizes the joint angle parameters and segment lengths of the body part 29 may be adopted.
  • Such skeleton-based algorithms identify the position and orientation of the segments, as well as the relationships between the segments (eg, joint angles and relative positions or orientations) in order to recognize gestures.
  • the first controller 14 may be further configured to compare the identified gesture with a database of recognition gestures.
  • the recognition gesture may be associated with controlling one or more vehicle behaviors.
  • the database of recognition gestures configured in a format corresponding to the specified gesture may be stored in the storage device of the first control device 14 together with the vehicle behavior associated with each recognition gesture.
  • the first control device 14 uses a known technique for accessing the storage device and comparing the spatial gesture model with the gesture sequence, and the identified gesture corresponds to one of the recognition gestures. It can be configured to determine if. This process can include, for example, the use of known pattern matching techniques, and only important parameters are analyzed, so simplified detection and processing algorithms in this regard provide fast pattern matching. Can be done.
  • control system 10 may output one or more corresponding control signals in order to control the behavior of the vehicle 1.
  • the second control device 16 i) detects the body part 29, ii) identifies the position of the body part 29 with respect to the gesture recognition area 32, and iii) identifies the corresponding tactile feedback signal and sends it to the tactile feedback system 6. It is a tactile feedback control device configured to do so.
  • the detection signal of the body part may include image data indicating the position of the body part 29 inside the second space volume of the space 34, capacitive data, or any other suitable form of computer vision data.
  • the second control device 16 is configured to detect the body part 29 and generate a display of the body part 29 inside the second space volume of the space 34. May be good.
  • the body part 29 can be represented by a spatial model or set of points on the coordinate system corresponding to the second spatial volume of the space 34.
  • the display of the body part 29 can be specified by various methods known in the art, as described above with respect to the spatial gesture model, using, for example, any suitable computer vision and / or image processing method. Can be done.
  • the second control device 16 makes a single reference point 42 based on a body part detection signal that represents the position of the body part 29 within the second space volume of space 34, as shown in FIG. It may be configured to generate.
  • a reference point 42 is a point that may correspond to any other easily detected feature of the center of the palm, or body part 29. Based on this, when the body part 29 moves with respect to the sensors 26 and 28, the position of the reference point 42 can be monitored, and the second control device 16 is inside the second space volume of the space 34. A series of corresponding coordinate positions of the reference point 42 can be specified.
  • the coordinate system may correspond to one of the sensors 26 and 28, or may correspond to the vehicle 1 itself.
  • the position of the reference point 42 is arranged in the first axis aligned with the longitudinal axis of the vehicle 1 in a (front-back direction) and the cross section with respect to the first axis, and is arranged in the lateral direction across the vehicle 1.
  • a coordinate system having a second axis extending in the (horizontal direction) and a third axis arranged in the cross section and extending in the vertical direction (vertical direction) perpendicular to the second axis. May be specified above.
  • the second control device 16 may use the calibration data, and the calibration data is the space forming the gesture recognition area 32 in the vehicle 1. Contains information about the shape, size and position of the spatial volume of.
  • the gesture recognition area 32 can take various forms depending on the particular configuration of the sensor system 4 and / or the calibration of the sensors 26, 28.
  • Such calibration data may be stored, for example, in the storage device of the second control device 16, or may be received from the sensor system 4.
  • the gesture recognition region 32 is in the form of a spherical space volume, as shown in FIG. 3, and the second control device 16 is the size and center of the radius of the spherical space volume in the vehicle. It has calibration data about the position.
  • the second control device 16 is configured to specify the target position 44 in the center of the gesture recognition area 32 and the proximity threshold value to the target position 44.
  • the proximity threshold indicates whether or not the body part 29 is arranged inside or outside the spherical boundary of the gesture recognition region 32.
  • the second control device 16 specifies the direction and / or the proximity of the gesture recognition region 32 with respect to the body part 29 by using the comparison result based on the coordinates between the reference point 42 and the target position 44. can do. Further, the second control device 16 can detect whether or not the body part 29 is arranged inside or outside the gesture recognition region 32 by comparing it with the measured threshold proximity.
  • the second control device 16 uses the direction and / or proximity of the reference point 42 with respect to the target position 44 to indicate the relative position of the gesture recognition region 32 with respect to the vehicle occupant 25. Identify the tactile feedback signal of.
  • the tactile feedback system 6 will be described in more detail with reference to FIGS. 4 and 5.
  • the tactile feedback system 6 includes one or more tactile feedback devices configured to output tactile feedback to the vehicle occupant 25 in response to the tactile feedback signal.
  • the tactile feedback device can include any non-contact or mechanical tactile feedback device such as an ultrasonic control device, an air wave control device, or an air vortex control device.
  • the tactile feedback system 6 is configured to provide non-contact tactile feedback, preferably in the form of pressure, referred to as a "region of tactile feedback".
  • a region of tactile feedback preferably in the form of pressure
  • muRata® ultrasonic transducers may be suitable for providing this form of tactile feedback.
  • the haptic feedback system 6 outputs haptic feedback based on the haptic feedback signal, the position, size, or shape of the haptic feedback region, and the magnitude (force) of the haptic feedback, or the corresponding output pattern / frequency. It is configured to control one or more of them.
  • FIG. 4 shows an example of a tactile feedback system 6 in the form of an ultrasonic system including an array of tactile feedback devices 36 for outputting ultrasonic waves to occupants inside the vehicle 1.
  • Each of the tactile feedback devices 36 may be, for example, an ultrasonic transducer.
  • One or more of the haptic feedback devices 36 in the array are selectively operated to output an ultrasonic beam 38 that creates a so-called haptic pressure region in the haptic feedback region 40, as shown in FIG. You may.
  • the vehicle occupant perceives pressure, for example, as shown in FIG. 4, when the tactile feedback area 40 is directed towards the vehicle occupant's finger.
  • the direction of the ultrasonic beam 38 may be manipulated, and the shape, force, and direction of the tactile feedback region 40 may be appropriately changed. Also, the position, size and shape of the tactile feedback region 40 can be adjusted as well as the tactile feedback force, for example by controlling the individual phases and intensities of the outputs of each tactile feedback device 36. ..
  • the circular region 40 of tactile feedback will be described, for example, in the following description.
  • the force of the haptic feedback, the radius of the haptic feedback region 40, and the position of the haptic feedback region 40 are controlled to indicate the relative position of the gesture recognition region 32 with respect to the vehicle occupant 25.
  • FIGS. 5-9 illustrate how the controllable parameters of tactile feedback can be configured to indicate the relative orientation and / or proximity of the body part 29 to the gesture recognition area 32.
  • FIG 5 to 7 show the positions of the body parts 29 in the cross section extending across the vehicle 1. As shown, the position where the tactile feedback region 40 is oriented can be varied within this cross-section to indicate the direction of the gesture recognition region with respect to the position of the body part 29.
  • the second control device 16 identifies that the reference point 42 in the body part 29 is located on the right side of the target position 44.
  • the tactile feedback area 40 can be oriented to the left side portion of the body part 29 as shown, and as a result, the tactile feedback area 40 is in the direction of the target position 44 with respect to the reference point 42. It shifts.
  • the reference point 42 on the body part 29 is positioned below the target position 44, that is, toward the wrist. Therefore, the tactile feedback region 40 may be oriented towards the upper portion of the body part 29, i.e., the fingertip, as shown.
  • the reference point 42 on the body part 29 is aligned with the target position 44 in the cross section. Therefore, the area 40 of the tactile feedback is directed to the reference point 42, i.e., the center of the palm. As a result, the tactile feedback region 40 is positioned so as to confirm the position of the body part 29 in the transverse direction within the gesture recognition region 32.
  • the position where the tactile feedback region 40 is directed depends on the direction of the gesture recognition region 32 with respect to the body part 29.
  • the tactile feedback region 40 is oriented in part of the body part 29 so as to be offset from the reference point 42 towards the target position 44. That is, the control device 10 scales the vector between the target position and the position of the reference point (adjusts the size of the vector), and moves the position of the reference point based on the scaled vector. Specifies the correction point deviated from the position of the reference point in the direction of the target position. By orienting the tactile feedback region 40 in this way, the tactile feedback indicates the direction in which the body part 29 should be moved to approach the gesture recognition region 32.
  • the haptic feedback is directed in the opposite way, i.e., to a position offset in the opposite direction to the gesture recognition area 32, eg, the body part 29 into the gesture recognition area 32. It may be configured to "push" towards.
  • the size of the tactile feedback region 40 may be used to indicate the direction in which the body part 29 should be moved to approach the gesture recognition region 32 along a predetermined axis.
  • can. 8 and 9 illustrate the body part 29 of the vehicle occupant 25 from a viewpoint oriented along the longitudinal axis of the vehicle 1.
  • the size of the tactile feedback region 40 can be varied to indicate the anterior or posterior position of the body part 29 with respect to the gesture recognition region 32.
  • the size of the tactile feedback region 40 is such that the reference point 42 on the body part 29 is from the first position shown in FIG. 8, that is, from the front of the target position 44. It may be reduced as it moves backward along the longitudinal axis towards the second position shown in FIG. 9, which is closer to the target position 44. Further, when the body part 29 moves further rearward beyond the target position 44, the size of the tactile feedback region 40 increases again.
  • the size of the tactile feedback region 40 may depend on the distance between the body part 29 and the gesture recognition region 32 along the longitudinal axis.
  • the size of the tactile feedback region 40 is scaled according to whether the body part 29 approaches or leaves the gesture recognition region 32 along the longitudinal axis of the vehicle, and the gesture recognition.
  • the position of the body part 29 in the front-rear direction with respect to the region 32 is shown. Similar principles can be applied in an equivalent manner to any moving axis of the body part 29, including, for example, a vertical (vertical) axis or a transverse (horizontal) axis.
  • the magnitude of the tactile feedback i.e., the force
  • the force of tactile feedback may be additionally or alternatively configured to indicate the overall proximity of the body part 29 to the gesture recognition area 32.
  • the force of tactile feedback may be increased as the body part 29 moves towards the gesture recognition area 32 and may decrease as the body part 29 moves away from the gesture recognition area 32.
  • tactile feedback is not limited to the above example, and can appropriately indicate the position of the gesture recognition region 32 with respect to the body part 29.
  • the magnitude of the tactile feedback may be configured to indicate the direction of the gesture recognition region 32 with respect to the body part 29 along a particular axis, and the magnitude of the tactile feedback region 40 may be. The overall proximity to the gesture recognition area 32 can be shown.
  • step 52 the gesture recognition system 2 is operated to specify the position of the body part 29 in the vehicle 1.
  • the second sensor 28 may be operated to observe the second space volume of the space 34 and identify the body part detection signal.
  • the body part detection signal is received by the control system 10 and processed by the second control device 16 to generate a display of the body part 29, the coordinate position of the reference point 42 inside the second space volume of the space 34. Can be identified.
  • the gesture recognition system 2 is configured to specify a tactile feedback signal to be output to the tactile feedback system 6 based on the position of the body part 29 with respect to the gesture recognition area 32.
  • the tactile feedback signal is specified based on one or more tactile feedback parameters, including the position, size or shape of the tactile feedback region, or the magnitude or output pattern / frequency of the tactile feedback. Can be done.
  • the selected parameter of these tactile feedback parameters is specified based on the relative proximity and / or orientation of the gesture recognition area 32 with respect to the body part 29.
  • step 54 of method 50 can include the following substeps 55-74 shown in FIG.
  • the distance between the gesture recognition area 32 and the body part 29 and the direction of the gesture recognition area 32 with respect to the body part 29 are convenient in vector format by comparing the coordinates of the reference point 42 with the coordinates of the target position 44. Can be specified in. Therefore, in substep 55, the control system 10 is operated to identify a vector between the position of the reference point 42 on the body part 29 and the target position 44 at the center of the gesture recognition area 32.
  • the target position 44 may be accessed from the storage device of the second control device 16.
  • the control device 10 may compare the coordinates of the target position 44 with the coordinates of the reference point 42 to specify a three-dimensional vector from one point to another.
  • the three-dimensional vector may include the respective distances along the first, second, and third axes of the common coordinate system.
  • control system 10 specifies the magnitude of the tactile feedback based on the proximity of the body part 29 to the gesture recognition area 32.
  • the overall proximity of the body part 29 to the gesture recognition area 32 is specified by calculating the magnitude of the vector between the reference point 42 and the target position 44.
  • the control system 10 determines the magnitude of the tactile feedback based on the magnitude of the vector.
  • ⁇ is a scalar coefficient.
  • the scalar coefficient ⁇ may be adjusted so that the tactile force is suitable for indicating the relative proximity of the body part 29 to the gesture recognition region 32.
  • the force of haptic feedback can be reduced with the proximity of the body part 29 to the gesture recognition area 32, and the control system 10 identifies the force of haptic feedback according to the alternative equation below.
  • Can be output: Tactile force 1- ( ⁇ x vector magnitude)
  • the control system 10 can compare the magnitude of the haptic feedback with the minimum threshold of haptic feedback, and if the magnitude is less than the minimum threshold, the magnitude of the haptic feedback in substep 60. Can be set to the minimum force value.
  • the minimum force value may be, for example, zero tactile force. In this way, when the vehicle occupant 25 does not try to control the gesture recognition system 2 and the body part 29 is at an appropriate distance from the gesture recognition area 32, the tactile feedback may not be output.
  • control system 10 may specify whether the tactile force to be output is either zero or a non-zero amount, depending on the overall proximity of the body part 29 to the gesture recognition area 32. can.
  • the zero or non-zero amount of tactile force may be output according to the proximity threshold value of the body part 29 to the gesture recognition area 32.
  • the control system 10 is at the distance between the body part 29 and the gesture recognition area 32 along one of the first, second, and third axes of the coordinate system selected. Based on this, the size of the tactile feedback area 40 is specified. In other words, the control system 10 can specify how close the body part 29 is to the gesture recognition area 32 in one of the front-back direction, the lateral direction, or the vertical direction, and the control system 10 can specify. Accordingly, the size of the tactile feedback region 40 can be adjusted.
  • the control system 10 has a body part 29 and a gesture recognition area 32 along the anteroposterior direction axis based on a vector between the reference point 42 and the target position 44. Identify the distance between.
  • one of the first, second, and third axes of the vector is aligned with the anteroposterior axis, and the distance between the body part 29 and the gesture recognition area 32 is the anteroposterior axis of the vector. It can be specified based on the size of the component.
  • the method 50 can limit the radius of the tactile feedback region 40 with an upper or lower limit.
  • the upper and lower limits may correspond to the size of the body part 29 observed by the gesture recognition system, for example, so that the tactile feedback area 40 is not too large or too small for the body part 29.
  • the radius of the tactile feedback region 40 is compared to the minimum radius threshold in step 66, and if the radius is less than the minimum radius threshold, then in step 68 the size of the tactile feedback region 40 is the defined minimum radius. Is set to.
  • the minimum radius may correspond, for example, to the width of the finger.
  • the radius of the tactile feedback region 40 is compared to the maximum radius threshold, and if the radius is greater than the maximum radius threshold, the radius of the tactile feedback region 40 is set to the specified maximum radius in step 70.
  • Radius may correspond to, for example, the width of the palm.
  • control system 10 determines the position to which the tactile feedback area 40 is directed based on i) the position of the body part 29 in the vehicle 1 and ii) the direction of the gesture recognition area 32 with respect to the body part 29. Identify.
  • X, Y, and Z are values along the first, second, and third axes.
  • ⁇ is, for example, a scalar coefficient that can be configured such that the position of the tactile feedback is limited to a distance within a predetermined range from the reference point 42 (center of the palm). Therefore, the scalar coefficient can be set in consideration of the observed dimensions of the body part 29.
  • the tactile feedback area 40 can be effectively associated with the position of the body part 29 along the anteroposterior axis.
  • the tactile feedback area 40 may be oriented towards the same position along the anteroposterior axis, similar to the reference point 42, but the tactile feedback area 40 may be laterally and vertically from the reference point 42. It may be oriented towards a position that is offset (corrected) in the direction (second and third axes). In this way, the position of the tactile feedback region 40 can indicate the relative position of the gesture recognition region 32 in the lateral and vertical directions.
  • control system 10 identifies the tactile feedback signal based on the tactile feedback parameters identified in sub-steps 55-72.
  • the method 50 determines whether or not the body part 29 is arranged in the gesture recognition area 32.
  • control system 10 specifies a distance between the body part 29 and the gesture recognition area 32, and the distance is used to specify whether or not the body part 29 is arranged inside the gesture recognition area 32. It may be compared with the threshold distance.
  • control system 10 may identify the distance between the body part 29 and the gesture recognition area 32 based on the magnitude of the vector between the reference point 42 and the target position 44, as described above. can.
  • the magnitude of the vector can be compared, for example, with the radius of the gesture recognition area 32 stored in the second control device 16 to define the threshold distance. If the magnitude of the vector is greater than the threshold distance, the control system 10 can infer that the body part 29 is outside the gesture recognition area 32.
  • step 78 the control system 10 outputs the tactile feedback signal identified in step 54 to the tactile feedback system 6, and gives the tactile feedback system the tactile feedback indicating the relative position of the gesture recognition region 32 with respect to the vehicle occupant 25. Can be generated.
  • the array of haptic feedback devices 36 can be configured to output an ultrasonic beam 38 corresponding to the haptic feedback signal, allowing the vehicle occupant 25 to feel the sensation of pressure in the haptic feedback region 40. ..
  • the vehicle occupant 25 can infer the relative direction of the gesture recognition area 32 based on the position, magnitude and force of the haptic feedback, whereby the vehicle occupant 25 moves the body part 29 towards the gesture recognition area 32. You will be prompted to do so.
  • step 78 method 50 can identify a new position for body part 29. For example, steps 52-76 are repeatedly performed so that the vehicle occupant 25 responds to the tactile feedback so that one or more tactile feedback parameters change or the body part 29 moves to the gesture recognition area 32. You may specify whether or not the body part 29 has been moved.
  • the control system 10 can infer that the body part 29 is within the gesture recognition area 32. Therefore, in step 80, the control system 10 can identify the gesture performed by the body part 29 in the gesture recognition area 32.
  • the first sensor 26 may be operated to observe the first space volume of the space 30 and identify the gesture recognition signal.
  • the gesture recognition signal is received in the control system 10 and processed by the first control device 14 to identify the gesture performed by the body part 29 in the form of a spatial gesture model.
  • the control system 10 can compare the identified gesture with a database of recognition gestures, and if the identified gesture corresponds to one of the recognition gestures, the control system 10 is for recognition.
  • a corresponding control signal can be output to control the behavior of the vehicle related to the gesture.
  • the control signal may be output to each one or more vehicle systems (not shown) configured to control the behavior of the vehicle.
  • steps 52 to 76 can be repeated while the body part 29 is performing the gesture so that the body part 29 stays within the gesture recognition area 32.
  • method 50 may be repeated to determine if the vehicle occupant 25 has moved the body part 29 and / or to identify a command based on another gesture. ..
  • the control system 10 determines in step 74 that the body part 29 is located within the gesture recognition area 32, the tactile feedback is not output to the vehicle occupant 25. In this way, the absence of tactile feedback can indicate that the body part 29 is located within the gesture recognition area 32.
  • step 74 in another exemplary method 150 for operating the gesture recognition system 2, in step 74, as described in step 76, the body part 29 is in the gesture recognition area 32.
  • a tactile feedback signal can be output regardless of whether or not the control system 10 determines that it is located inside or outside.
  • the vehicle occupant 25 can be provided with tactile feedback configured to maintain the body part 29 within the gesture recognition area 32 while performing a particular gesture.
  • the vehicle occupant 25 can associate a particular tactile feedback sensation with the ability to control the behavior of the vehicle via the gesture recognition system 2. Based on this, the vehicle occupant 25 can infer that the body part 29 is located in the gesture recognition area 32.
  • Another exemplary method (not shown) of operating the gesture recognition system 2 can proceed substantially in the same manner as described above, but this method is performed before the position of the body part 29 is specified in step 52.
  • the position, size, and / or shape of the gesture recognition area 32 may be changed according to one or more indoor conditions that affect the gesture recognition ability of the sensor system 4, such as the lighting conditions of the room 12.
  • control system 10 is configured to specify the gesture recognition area 32 according to the calibration data received from the sensor system 4 or the calibration data accessed from the storage device of the first control device 14. May be good.
  • the calibration data is arranged, for example, in the form of a look-up table having the corresponding shape, size, and position in the room 12 of the gesture recognition area 32 for a certain range of indoor conditions specified in advance. May be done.
  • the control system 10 can receive instructions for one or more room conditions and specify the size, position, or shape of the gesture recognition area 32 based on the search table.
  • the present invention can optimize the gesture recognition area 32 for indoor conditions that can change during travel and maximize the accuracy of the gesture recognition performed in step 78.
  • the tactile feedback output of the method may be configured to direct the body part 29 to the optimized gesture recognition area 32.
  • the method can provide adaptive position guidance for the body part 29 depending on the interior conditions of the vehicle 1.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

車両１のジェスチャ認識システム２の制御システム１０は、センサシステム４の検出信号に応じて、ジェスチャ認識領域２に対するボディパーツ２９の位置を特定し、ジェスチャ認識領域３２に対するボディパーツ２９の位置に基づいて触覚フィードバック信号を特定し、触覚フィードバック信号を触覚フィードバックシステム６に出力し、触覚フィードバック信号は、触覚フィードバックシステム６に、車両乗員２５に向けて、ジェスチャ認識領域３２に対するボディパーツ２９の位置を示す非接触の触覚フィードバックを出力させるように構成される。

Description

制御システム、ジェスチャ認識システム、車両、及び、ジェスチャ認識システムを制御する方法
　本開示は、車両のジェスチャ認識システムに関する。本発明の態様は、制御システム、ジェスチャ認識システム、車両、及びジェスチャ認識システムを制御する方法に関する。
　車両内部の空間容積を観測し、個人の位置及び／又は一連の動きに基づいて、観測された空間容積の内部で実行されるジェスチャを検出するように構成されたジェスチャ認識システムを含む最新の車両が知られている。
　多くの場合、このようなジェスチャ認識システムは、認識されたジェスチャ及びジェスチャに対応する制御挙動のデータベースに関連付けられ得る、手、１本以上の指、又は個人の腕など、個人の特定の体の部分（ボディパーツ：body part）を観測するように構成される。
　検出されたジェスチャが認識可能なジェスチャのうちの１つに対応する場合、ジェスチャ認識システムは、車両の１つ以上の動作を制御するように構成され得る。このジェスチャに基づく制御方法は、運転者が、道路上での視覚的注意を維持しながら、車両の様々な操作を制御することを可能にし、道路の安全性を改善する。
　既知のジェスチャ認識システムの課題は、特に、照明条件が悪い場合などの準最適条件（最適でない条件）で動作を行う場合であっても、信頼性の高いジェスチャ認識を保証することである。
　本発明の態様及び実施形態は、添付の特許請求の範囲に記載されるような、制御システム、ジェスチャ認識システム、車両及びジェスチャ認識システムを制御する方法を提供する。
　本発明の一態様によれば、車両のジェスチャ認識システムの制御システムが提供される。ジェスチャ認識システムは、車両の室内の空間容積を観測し、空間容積の内部の車両乗員のボディパーツの位置を特定し、空間容積の内部に画定されたジェスチャ認識領域内でボディパーツによって実行されるジェスチャを特定するセンサシステムと、車両乗員に向かって非接触の触覚フィードバックを出力する触覚フィードバックシステムとを備える。
　制御システムは１つ以上の制御装置を備える。制御装置は、センサシステムから、空間容積の内部のボディパーツの位置を示す情報を含む検出信号を受信し、検出信号に応じて、ジェスチャ認識領域に対するボディパーツの位置を特定し、ジェスチャ認識領域に対するボディパーツの位置に基づいて触覚フィードバック信号を特定し、触覚フィードバック信号を触覚フィードバックシステムに出力するように構成される。触覚フィードバック信号は、触覚フィードバックシステムに、ジェスチャ認識領域に対するボディパーツの位置を示す非接触の触覚フィードバックを車両乗員に向けて出力させるように構成される。
　有利には、触覚フィードバックの出力がジェスチャ認識のために最適化された車両の領域であり得るジェスチャ認識領域に向かって車両乗員を誘導し、この領域内において、ジェスチャ認識システムは、準最適車室内条件（最適でない室内条件）でジェスチャを確実に認識することができる。なお、「室内」とは、車両乗員を収容するために設けられた車両の内部の任意の空間である。
　さらに、最適なジェスチャ認識のために、ジェスチャ認識領域は、三次元領域、すなわち体積を有する空間（空間容積：volume of space）である。ジェスチャ認識領域は、室内の照明条件、及び／又は、センサシステムの構成に応じる。さらに、ボディパーツは、ジェスチャに基づいた制御を実行するのに適した任意の身体部分であり、これには、車両乗員の指、手、又は腕が含まれる。
　任意選択で、１つ以上の制御装置は、空間容積内のボディパーツの位置、空間容積の内部のジェスチャ認識領域の位置、ボディパーツの位置に対するジェスチャ認識領域の方向、ジェスチャ認識領域へのボディパーツの近接度、及び第１の軸に沿ったボディパーツとジェスチャ認識領域との間の距離のうちの少なくとも１つを特定することによって、ジェスチャ認識領域に対するボディパーツの位置を特定するように構成される。
　後述において明らかになるように、第１の軸は、触覚フィードバックを制御するのに適した任意の軸であってもよい。例えば、第１の軸は、触覚フィードバックの出力がジェスチャ認識領域に対するボディパーツの前後方向の位置決めに応じて制御され得るように、車両の前後方向の軸であってもよい。
　他の例では、第１の軸は、触覚フィードバックシステムと目標位置との間に延在する軸であってもよいし、センサシステムと目標位置との間に延在する軸であってもよい。このようにして、触覚フィードバックの出力は、ボディパーツの動きを、特定の軸に沿ってジェスチャ認識領域に向かって案内するように構成されてもよい。
　一実施形態では、触覚フィードバック信号は、触覚フィードバックシステムに、室内の領域に向けて触覚フィードバックを出力させるように構成される。
　任意選択的に、１つ以上の制御装置は、触覚フィードバックの大きさ、室内において触覚フィードバックの領域が方向付けられる位置、及び触覚フィードバックの領域の大きさのうちの少なくとも１つを特定することによって、触覚フィードバック信号を特定するように構成される。
　任意選択的に、触覚フィードバックの領域は円形領域であり、触覚フィードバックの領域の半径が特定される。有利には、これらの触覚フィードバックパラメータの各々は、ボディパーツに対するジェスチャ認識領域の位置を直感的に示すように構成可能である。
　一実施形態では、１つ以上の制御装置は、ボディパーツのジェスチャ認識領域への近接度に基づいて、触覚フィードバックの大きさ、及び触覚フィードバックの領域の大きさのうちの少なくとも１つを特定するように構成される。このようにして、大きさ、すなわち触覚フィードバックの力、及び／又は触覚フィードバックの領域の大きさは、例えば、ボディパーツがジェスチャ認識領域に近づくにつれて増加し、ボディパーツがジェスチャ認識領域から離れるにつれて減少してもよく、又はその逆であってもよい。
　任意選択的に、１つ以上の制御装置は、第１の軸に沿ったボディパーツとジェスチャ認識区域との間の距離に基づいて、触覚フィードバックの大きさ、及び触覚フィードバックの領域の大きさのうちの少なくとも１つを決定するように構成される。このようにして、触覚フィードバックの出力は、ボディパーツの動きを第１の軸に沿って、例えば前後方向にジェスチャ認識領域に向かって案内するように構成されてもよい。
　一実施形態では、１つ以上の制御装置が、空間容積の内部のボディパーツの位置と、ボディパーツの位置に対するジェスチャ認識領域の方向とに基づいて、室内において触覚フィードバックの領域が方向付けられる位置を特定するように構成されてもよい。
　例えば、ジェスチャ認識領域が、指先が（手に対して)延在する方向に配置される場合、触覚フィードバックの領域は、車両乗員の指先に向けられてもよい。
　任意選択的に、１つ以上の制御装置は、ボディパーツの基準点を検出し、検出信号に基づいて空間容積内の基準点の位置を特定することと、基準点の位置をジェスチャ認識領域内の目標位置と比較することと、目標位置と基準点の位置との間のベクトルを特定することとによって、ジェスチャ認識領域に対するボディパーツの位置を特定するように構成される。このようにして、複数の特異点はジェスチャ認識領域に対するボディパーツの位置を特定するために座標系上で便宜的に比較されてもよく、相対的な位置はそれらの間のベクトルによって表されてもよい。ベクトルは、二点の間を結ぶ直線の距離と、直線が伸びる方向とを示す。ベクトルは、三次元であってもよく、第１の軸に沿った第１の距離と、第２の軸に沿った第２の距離と、第３の軸に沿った第３の距離とを含んでもよい。第２の軸は、ジェスチャ認識領域を通って第１の軸に対して垂直な第１の平面内に延びる。第３の軸は、第１の平面内で第２の軸に対して垂直に延びる。
　一実施形態では、１つ以上の制御装置が基準点の位置から目標位置の方向にずれた補正点（a point offset from the position of the reference point in the direction of the target position）を特定することによって、室内に置いて触覚フィードバックの領域が方向付けられる位置を特定するように構成されてもよい。例えば、基準点は、車両乗員の掌の中心にあってもよく、補正点は基準点に対して、指又は手首に向かって左向き又は右向きであってもよい。これは、ジェスチャ認識領域の相対的な方向を指し示すのに有効である。
　任意選択的に、１つ以上の制御装置は目標位置と基準点の位置との間のベクトルをスケーリングし、スケーリングされたベクトルに基づいて基準点の位置を平行移動させることによって、基準点の位置から目標位置の方向にずれた補正点を特定するように構成される。
　一実施形態では、１つ以上の制御装置は、ベクトルの大きさを特定することによって、基準点の位置に対する目標位置の近接度を特定するように構成される。
　任意選択的に、１つ以上の制御装置は、触覚フィードバックの大きさ、及び触覚フィードバックの領域の大きさのうちの１つを、基準点の位置に対する目標位置の近接度に基づいて決定するように構成され、１つ以上の制御装置は、第１の軸に沿った目標位置と基準点の位置との間の距離に基づいて、触覚フィードバックの他の大きさ及び触覚フィードバックの領域の大きさを特定するように構成される。
　一実施形態では、１つ以上の制御装置は、ベクトルに基づいて、第１の軸に沿った基準点の位置と目標位置との間の距離を決定するように構成される。例えば、第１の軸と位置合わせされたベクトルの成分を特定することができる。
　任意選択的に、検出信号は、センサシステムによって特定される画像データを含む。センサシステムは、室内の空間容積を観測するように配置されてもよく、１つ以上の制御装置は、画像データに基づいて、空間容積内部のボディパーツを検出し、空間容積内部のボディパーツの位置を特定するように構成されてもよい。
　一例では、触覚フィードバックシステムは、超音波システムの形態をとることができる。任意選択的に、触覚フィードバックシステムは、複数の超音波装置のアレイを含み、触覚フィードバック信号は、触覚フィードバックシステムに超音波ビームの形態の触覚フィードバックを出力させるように構成される。
　本発明の別の態様によれば、車両用のジェスチャ認識システムが提供される。ジェスチャ認識システムは、本発明の前述の態様で説明したような制御システムと、室内の空間容積を観測し、観測された空間容積内部の車両乗員のボディパーツの位置を示す情報を含む検出信号を制御システムに出力するように構成された１つ以上のセンサを含むセンサシステムとを備える。
　任意選択的に、１つ以上のセンサは、ジェスチャ認識領域内の車両乗員のボディパーツによって実行されるジェスチャを示す情報を含むジェスチャ信号を制御システムに出力するように構成される。制御システムの１つ以上の制御装置は、ジェスチャ信号を受信し、ジェスチャ信号に応じてボディパーツによって実行されるジェスチャを特定するようにさらに構成される。
　このようにして、ジェスチャ認識システムは、ジェスチャ認識領域内で実行されるジェスチャを確実に特定することができる。
　一例では、制御システムは、骨格に基づいたアルゴリズムを用いてボディパーツによって実行されるジェスチャを特定するように構成され得る。骨格に基づいたアルゴリズムは、高速かつ正確なジェスチャ認識を提供することができる。
　任意選択的に、制御システムは、特定されたジェスチャに応じて、車両の１つ以上の挙動を制御するようにさらに構成される。
　一実施形態では、ジェスチャ認識システムは、触覚フィードバック信号に応じて非接触の触覚フィードバックを出力するように構成された１つ以上の触覚フィードバック装置を有する触覚フィードバックシステムを備える。
　任意選択的に、１つ以上の触覚フィードバック装置は、複数の超音波トランスデューサのアレイを含む。
　本発明の別の態様によれば、本発明の前述の態様で説明した制御システム、又は本発明の別の態様で説明したジェスチャ認識システムを備える車両が提供される。
　本発明の別の態様によれば、車両のジェスチャ認識システムを制御するための対応する方法が提供される。特に、ジェスチャ認識システムは、車両の室内の空間容積を観測するように構成された１つ以上のセンサを備えるセンサシステムと、室内の車両乗員に向かって非接触の触覚フィードバックを出力するように構成された触覚フィードバックシステムとを備える。この方法は、センサシステムを制御して、空間容積を観測し、空間容積の内部の車両乗員のボディパーツの位置を示す情報を含む検出信号を特定するステップと、検出信号に応じて、空間容積の内部に画定されたジェスチャ認識領域に対するボディパーツの位置を特定するステップと、ジェスチャ認識領域に対するボディパーツの位置に基づいて触覚フィードバック信号を特定するステップと、触覚フィードバック信号に基づいて触覚フィードバックシステムを制御するステップとを含み、触覚フィードバック信号は、ジェスチャ認識領域に対するボディパーツの位置を示す非接触の触覚フィードバックを、車両乗員に向けて出力させるように構成されている。
　本出願の範囲内で、前述の段落、特許請求の範囲及び／又は以下の説明及び図面、特にその個々の特徴に記載された様々な態様、実施形態、例及び代替物は、独立して、又は任意の組合せで解釈され得ることが明確に意図される。すなわち、任意の実施形態のすべての実施形態及び／又は特徴はそのような特徴が互換性がない限り、任意の方法及び／又は組み合わせで組み合わせることができる。出願人は最初に提出された請求項を変更し、又はそれに応じて新たな請求項を提出する権利を留保する。これには最初に請求項に記載されたものではないが、他の請求項の特徴に依存し、及び／又はその特徴を組み込むために、最初に提出された請求項を補正する権利が含まれる。
　本発明によれば、照明条件が悪い場合などの準最適条件で動作を行う場合であっても、信頼性の高いジェスチャ認識を保証できる、という効果を奏する。
本発明の一実施形態による車両の概略図である。 図１に示す車両のための本発明の一実施形態によるジェスチャ認識システムの概略図である。 図１に示す車両の室内において、図２に示すジェスチャ認識システムの例示的な配置を示す概略図である。 図２に示すジェスチャ認識システムからの触覚フィードバックの出力の例示的な構成を示す概略図である。 図２に示すジェスチャ認識システムからの触覚フィードバックの出力の例示的な構成を示す概略図である。 図２に示すジェスチャ認識システムからの触覚フィードバックの出力の例示的な構成を示す概略図である。 図２に示すジェスチャ認識システムからの触覚フィードバックの出力の例示的な構成を示す概略図である。 図２に示すジェスチャ認識システムからの触覚フィードバックの出力の例示的な構成を示す概略図である。 図２に示すジェスチャ認識システムからの触覚フィードバックの出力の例示的な構成を示す概略図である。 図２に示すジェスチャ認識システムを制御する本発明の一実施形態による例示的な方法を示す概略図である。 図１０に示す方法において、触覚フィードバック信号を特定する従属的な方法の概略図である。 図２に示すジェスチャ認識システムを制御する本発明の一実施形態による別の例示的な方法を示す概略図である。
　本発明の実施形態は、車両のためのジェスチャ認識システムに関する。
　有利には、ジェスチャ認識システムがジェスチャ認識のために最適化された車両の領域に向かって車両乗員を案内するための触覚フィードバックシステムを含み、この領域内で、ジェスチャ認識システムは、室内条件の変化に関わらず、ジェスチャを確実に認識することができる。
　例えば、走行中の車両では照明条件が非常に変化し、バックグラウンドノイズの量が追跡と認識の困難にする可能性がある。このような条件においては、ジェスチャが室内の所定の領域内で実行されるときにのみジェスチャが確実に認識される程度にまでジェスチャ認識能力が制限され得る。
　この課題に対処するために、本発明は、ジェスチャ認識システムの信頼性が最大化された車室の領域において、車室内の空間容積を観測し、車両乗員の、例えば手のようなボディパーツのジェスチャの位置を特定するように構成される。
　最適なジェスチャ認識のためのこの三次元領域、すなわち、空間容積（volume of space）を、以下の説明ではジェスチャ認識領域という。
　有利には、本発明は、ジェスチャ認識領域に対するボディパーツの位置を利用して、ボディパーツに対するジェスチャ認識領域の相対的な方向及び／又は近接度を直感的に示す触覚フィードバック出力を特定する。その結果、このような触覚フィードバックは、車両乗員の視覚的注意を中断しない力に基づくフィードバックを用いて、ボディパーツの動きをジェスチャ認識領域に向かって案内することができる。
　以下の説明で明らかになるように、触覚フィードバックの様々な特徴は、この目的のために、特に、以下の要素を示すように構成されてもよい。:
ｉ）ボディパーツに対するジェスチャ認識領域の方向
ｉｉ）ジェスチャ認識領域とボディパーツとの間の１つ以上の次元における距離
　例えば、ジェスチャ認識領域への全体的な近接度は、ボディパーツのジェスチャ認識領域への近接度に応じて、触覚フィードバック出力の大きさ、すなわち、力を増加又は減少させることによって示すことができる。
　同時に、触覚フィードバック出力の領域の大きさは、ボディパーツがジェスチャ認識領域の前／後、上／下、又は、左／右にあるかどうかを示すために増加又は減少されてもよく、ボディパーツに対するジェスチャ認識領域の方向は触覚フィードバックが方向付けられる位置を変化させることによって示されてもよい。
　例えば、触覚フィードバックは、車両乗員の指先に向かって出力されて、ジェスチャ認識領域が指先の延びる方向にあることを示してもよい。また、触覚フィードバックは、ジェスチャ認識領域が反対方向に位置していることを示すために、車両乗員の手首に向かって出力されてもよい。
　このような高精度の触覚フィードバックは、ジェスチャ認識領域に向かう空間の３次元容積の内部で、車両乗員の動き、特にボディパーツの動きを案内することができる。
　図１は、本発明の一実施形態によるジェスチャ認識システム２を含む例示的な車両１を概略的に示す。ジェスチャ認識システム２は、図２及び図３を参照してより詳細に説明される。図２は、本発明の一実施形態によるジェスチャ認識システム２の一例を概略的に示し、図３は、車両１の室内１２のジェスチャ認識システム２の配置の一例を概略的に示す。
　図２に示すように、ジェスチャ認識システム２は、センサシステム４と、触覚フィードバックシステム６と、制御システム１０とを含む。なお、ジェスチャ認識システム２は、制御システム１０を含んでいなくてもよい。すなわち、制御システム１０は、車両１に搭載されておらず、通信を用いてジェスチャ認識システム２を制御してもよい。
　センサシステム４は、１つ以上のセンサを含む。１つ以上のセンサは、車両１の室内１２の空間容積を観測し、観測された空間容積内における車両乗員の手などの特定のボディパーツの位置、動き、及び／又は配置を示す信号を生成するように構成される。
　この目的のために、１つ以上のセンサは、室内のボディパーツの位置を特定するのに適したデータを生成するための赤外線センサ、超音波センサ、静電容量センサ、及び／又は撮像カメラのうちの少なくとも１つを含むことができる。これらのデータは、例えば、画像データ、容量性データ、又は任意の他の好適形態のコンピュータビジョンデータの形態であってもよい。
　図３に示す例では、センサシステム４が第１のセンサ２６及び第２のセンサ２８を含み、これらのセンサは、第１及び第２の撮像カメラの形態をなす。
　第１のセンサ２６は、空間３０の第１の空間容積（first volume）を観測し、空間３０の第１の空間容積の内部において、車両乗員２５の手などのボディパーツ２９の動き、位置、位置のシーケンス、又は配置のパターンに対応する検出データ（sensory data）を特定するように構成される。
　図３に示されるように、空間３０の第１の空間容積は、ジェスチャ認識領域３２を含み、かつ、ジェスチャ認識領域３２を越えて延在する。
　この検出データ（sensory data）に基づいて、センサシステム４は、空間３４の第１の空間容積及び／又はジェスチャ認識領域３２の内部においてボディパーツによって実行される１つ以上のジェスチャを示す情報を含むジェスチャ認識信号を生成するように構成される。ジェスチャ認識信号は、制御システム１０に出力され、制御する１つ以上の車両挙動を特定するために使用される。
　第２のセンサ２８は、空間３４の第２の空間容積（second volume）を観測し、空間３４の第２の空間容積内のボディパーツ２９の位置に対応する検出データ（sensory data）を特定するように構成される。図３に示すように、第２の空間容積の空間３４は、室内１２におけるより広範囲の部分を含むように、第１空間容積の空間３０を含み、かつ、第１空間容積の空間３０を越えて広がっている。第２の空間容積の空間３４は、車両乗員２５が配置される可能性が高い空間容積を含み得る。例えば、第２空間容積は、車両１の前部助手席を含むことができる。このようにして、ボディパーツ２９の位置をジェスチャ認識領域３２の外側において特定することができる。
　この検出データ（sensory data）に基づいて、センサシステム４は、空間３４の第２空間容積内のボディパーツ２９の位置を示す情報を含むボディパーツ検出信号を生成する。ボディパーツ検出信号は、制御システム１０に出力され、ｉ）ジェスチャ認識領域３２に対するボディパーツ２９の位置、及び、ｉｉ）触覚フィードバックシステム６を制御するための触覚フィードバック信号を特定するために使用される。
　他の例では、センサシステム４は、ボディパーツ検出信号及びジェスチャ認識信号の両方を決定するための単一のセンサを含むことができる。しかしながら、複数のセンサが使用されることにより、対象物の検出及び認識の信頼性をより高めることができる。
　前述のように、制御システム１０は、以下の目的のために、ボディパーツ検出信号及びジェスチャ認識信号を処理するように構成される。
ｉ）ジェスチャ認識領域３２に対するボディパーツ２９の位置を特定すること、
ｉｉ）触覚フィードバックシステム６からの触覚フィードバック出力を制御して、ボディパーツ２９をジェスチャ認識領域３２に向けて案内すること、
ｉｉｉ）ジェスチャ認識領域３２内でボディパーツ２９によって実行されるジェスチャを特定すること。
　このために、制御装置１０は１つ以上の制御装置を含むことができ、各々の制御装置は、１つ以上の電子プロセッサを有する制御ユニット又は計算装置を含むことができる。
　１つ以上の制御装置又は制御ユニットには、本明細書で説明する制御方法などの制御方法を実行する一組の命令が提供され得る。一組の命令は、１つ以上の電子プロセッサに埋め込まれてもよい。
　代替として、一組の命令は、電子プロセッサのうちの１つ以上によって実行されるソフトウェアとして提供され得る。
　一組の命令は、コンピュータ読み取り可能な記憶媒体（例えば、一時的でないコンピュータ読み取り可能な記憶媒体)に埋め込まれてもよい。コンピュータ読み取り可能な記憶媒体は、機械又は電子プロセッサ／計算装置によって読み取り可能な形式で情報を記憶する任意の機構を備え得る。これには、磁気記憶媒体（例えば、フロッピー（登録商標)ディスケット）、光記憶媒体（例えば、CD－ROM)、光磁気記憶媒体、読み取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、消去可能プログラマブルメモリ(例えば、EPROM及びEEPROM)、フラッシュメモリ、又はそのような情報／指示を記憶するための電気的又は他のタイプの媒体が含まれ得るが、これらに限定されない。
　図２に示すように、本実施形態において、制御装置１０は、第１の制御装置１４と第２の制御装置１６とを含む。
　第１の制御装置１4は、ジェスチャ認識信号を処理し、ジェスチャ認識信号に基づいてボディパーツ２９によって行われるジェスチャを特定するように構成されたジェスチャ認識制御装置である。「ボディパーツ２９によって実行されるジェスチャを特定すること」は、第１の制御装置１４が、第１のセンサ２6によって観測されるボディパーツ２９の位置及び／又は動きに対応する空間ジェスチャモデルを生成することを意味する。
　様々なタイプの空間ジェスチャモデルがジェスチャ認識の技術分野では周知であり、本発明を曖昧にすることを避けるために詳細には説明しないが、より多くの情報は、例えば、「IEEE Transactions on pattern and machine intelligence, VOL. 19, NO. 7, JULY 1997」に発表されたV. I. Pavlovic， R. Sharma 及び T. S. Huangによる「Visual Interpretation of Hand Gestures for Human-Computer Interaction: A Review」に記載されている。
　空間ジェスチャモデルは、V. I. Pavlovic， R. Sharma 及び T. S. Huang (1997) に実証されているように、当技術分野で知られている様々な方法によって特定することができ、例えば、任意の適切なコンピュータビジョン及び／又は画像処理方法を用いて実施することができる。
　迅速な処理のために、単純化された検出及び処理アルゴリズムを採用してもよい。例えば、ボディパーツ２９の関節角度パラメータ及びセグメント長さを利用する「骨格に基づくアルゴリズム」が採用されてもよい。そのような骨格に基づくアルゴリズムは、ジェスチャを認識するために、セグメントの位置及び向き、ならびにセグメントの各々の関係(例えば、関節の角度、及び、相対的な位置又は向き)を特定する。
　さらに、より単純化されたアプローチは、ボディパーツ２９の特異点、例えば、指の端部、及び手／掌の中心を識別し、そのような基準点の位置及び／又は動きを追跡するように構成された認識アルゴリズムを使用することである。但し、ボディパーツ２９は、キーポイントを識別するとともに、実行中のジェスチャの精密かつ正確な検出を可能にするために最適な位置に存在しなければならない。このような単純化されたアルゴリズムは、ジェスチャ認識領域3２内の最適化された認識条件によって可能になる。ジェスチャに基づく車両１の制御を提供するために、第１の制御装置１４は、特定されたジェスチャを認識用ジェスチャのデータベースと比較するようにさらに構成されてもよい。認識用ジェスチャは、１つ以上の車両挙動を制御することに関連付けられていてもよい。
　例えば、特定されたジェスチャに対応する形式で構成された認識用ジェスチャのデータベースは、認識用ジェスチャ毎に関連付けられた車両挙動と共に、第１の制御装置１４の記憶装置に記憶されてもよい。第１の制御装置１４は、記憶装置にアクセスし、空間ジェスチャモデルとジェスチャシーケンスとを比較するための既知の技法を使用して、特定されたジェスチャが認識用ジェスチャのうちの１つに対応するかどうかを判定するように構成され得る。この処理は、例えば、公知のパターンマッチング技術の使用を含むことができ、重要なパラメータのみが分析されるので、この点に関して、簡略化された検出及び処理アルゴリズムは、高速パターンマッチングを提供することができる。
　特定されたジェスチャと認識用ジェスチャとの間に対応関係がある場合、制御システム１０は、車両１の挙動を制御するために、１つ以上の対応する制御信号を出力してもよい。
　第２の制御装置１６は、ｉ）ボディパーツ２９を検出し、ｉｉ）ジェスチャ認識領域３２に対するボディパーツ２９の位置を特定し、ｉｉｉ）対応する触覚フィードバック信号を特定して触覚フィードバックシステム６に送出するように構成された触覚フィードバック制御装置である。
　例えば、ボディパーツの検出信号は、空間３４の第２空間容積の内部のボディパーツ２９の位置を示す画像データ、容量性データ、又は、任意の他の好適形態のコンピュータビジョンデータを含み得る。この検出データ（sensory data）に基づいて、第２の制御装置１６は、ボディパーツ２９を検出し、空間３４の第２の空間容積の内部のボディパーツ２９の表示を生成するように構成されてもよい。例えば、ボディパーツ２９は、空間３４の第２の空間容積に対応する座標系上の空間モデル又は点の集合によって表すことができる。ボディパーツ２９の表示は、空間ジェスチャモデルに関して前述したように、当技術分野で知られている様々な方法によって特定することができ、例えば、任意の適切なコンピュータビジョン及び／又は画像処理方法を用いて行うことができる。
　一例では、第２の制御装置１６は、図３に示すように、空間３４の第２の空間容積内のボディパーツ２９の位置を表すボディパーツ検出信号に基づいて、単一の基準点４２を生成するように構成されてもよい。そのような基準点４２は、掌の中心、又はボディパーツ２９のうち容易に検出される任意の他の特徴に対応し得る点である。これに基づいて、ボディパーツ２９がセンサ２６、２８に対して移動するときに、基準点４２の位置が監視可能となり、第２の制御装置１６は、空間３４の第２の空間容積の内部の基準点４２の一連の対応する座標位置を特定することができる。
　理解を容易にするために、座標系は、センサ２６、２８のうちの１つに対応するものであってもよいし、車両１自体に対応するものであってもよい。例えば、基準点４２の位置は、a(前後方向)において車両１の長手方向軸に位置合わせされた第１の軸と、第１の軸に対する横断面に配置され、車両１を横切って横方向（左右方向）に延在する第２の軸と、前記横断面内に配置され、第２の軸に対して垂直な縦方向（上下方向）に延在する第３の軸とを有する座標系上で特定されてもよい。
　ジェスチャ認識領域３２に対するボディパーツ２９の位置を特定するために、第２の制御装置１６はキャリブレーションデータを利用してもよく、キャリブレーションデータは、車両１内のジェスチャ認識領域３２を形成する空間の空間容積の形状、大きさ及び位置に関する情報を含む。
　この点に関して、ジェスチャ認識領域３２は、センサシステム４の特定の構成及び／又はセンサ２６、２８のキャリブレーションに応じて様々な形態をとることができることを理解されたい。このようなキャリブレーションデータは、例えば、第２の制御装置１６の記憶装置に記憶されてもよいし、センサシステム４から受信されてもよい。
　一例では、ジェスチャ認識領域３２は、図３に示すように、球形状の空間容積の形態をなし、第２の制御装置１６は、車両内における球形状の空間容積の半径の大きさ及び中心の位置に関するキャリブレーションデータを備えている。
　キャリブレーションデータに基づいて、第２の制御装置１６は、ジェスチャ認識領域３２の中心にある目標位置４４と、目標位置４４への近接度閾値とを特定するように構成される。近接度閾値は、ボディパーツ２９がジェスチャ認識領域３２の球形状の境界の内側又は外側に配置されているか否かを示す。このようにして、第２の制御装置１６は、基準点４２と目標位置４４との間の座標に基づく比較結果を用いて、ボディパーツ２９に対するジェスチャ認識領域３２の方向及び／又は近接度を特定することができる。また、第２の制御装置１６は、ボディパーツ２９がジェスチャ認識領域３２の内側又は外側に配置されているか否かを、測定された閾値近接度と比較することによって検出することができる。
　以下の説明で明らかになるように、第２の制御装置１６は、目標位置４４に対する基準点４２の方向及び／又は近接度を用いて、車両乗員２５に対するジェスチャ認識領域３２の相対位置を示すための触覚フィードバック信号を特定する。
　触覚フィードバックシステム６は、図４及び図５を参照して、さらに詳述される。一般に、触覚フィードバックシステム６は、触覚フィードバック信号に応じて、車両乗員２５に向けて触覚フィードバックを出力するように構成された１つ以上の触覚フィードバック装置を含む。
　触覚フィードバック装置は、超音波制御装置、空気波制御装置、又は空気渦制御装置など、任意の非接触又は力学的触覚フィードバック装置を含むことができる。これにより、触覚フィードバックシステム６は、好適には「触覚フィードバックの領域」と呼ばれる圧力を生成する非接触形式の触覚フィードバックを提供するように構成される。例えば、市販のｍｕＲａｔａ（登録商標)超音波トランスデューサのアレイは、この形態の触覚フィードバックを提供するのに適し得る。
　触覚フィードバックシステム６は、触覚フィードバック信号に基づいて触覚フィードバックを出力し、触覚フィードバックの領域の位置、大きさ、又は形状、ならびに触覚フィードバックの大きさ（力）、又はそれに応じた出力のパターン／周波数のうちの１つ以上を制御するように構成される。
　図４は、超音波を車両１の内部の乗員に出力するための触覚フィードバックデバイス３６のアレイを含む超音波システムの形態の触覚フィードバックシステム６の一例を示す。
　触覚フィードバックデバイス３６の各々は、例えば、超音波トランスデューサであってもよい。アレイ内の触覚フィードバックデバイス３６の１つ以上は、図４に示すように、触覚フィードバックの領域４０にいわゆる触覚力を発揮する圧力領域を作り出す超音波ビーム３８を出力するように選択的に動作されてもよい。車両乗員は、例えば、図４に示すように、触覚フィードバックの領域４０が車両乗員の指の方に方向付けられる場合に、圧力を知覚する。
　触覚フィードバックデバイス３６の各々を制御することによって、超音波ビーム３８は向きを操作されてもよく、触覚フィードバックの領域４０の形状、力及び方向は、適宜、変化してもよい。また、触覚フィードバックの領域４０の位置、大きさ及び形状は、例えば、各々の触覚フィードバックデバイス３６の出力の個々の位相及び強度を制御することによって、触覚フィードバックの力と同様に調整することができる。
　明確化のために、触覚フィードバックの円形の領域４０が、例として、以下の説明で説明される。触覚フィードバックの力、触覚フィードバックの領域４０の半径、及び触覚フィードバックの領域４０の位置は、ジェスチャ認識領域３２の車両乗員２５に対する相対位置を示すように制御される。
　図５～９は、触覚フィードバックの制御可能なパラメータが、ジェスチャ認識領域３２に対するボディパーツ２９の相対的な方向及び／又は近接度を示すために、どのように構成され得るかを例示する。
　図５～図７は、車両１を横切って延びる横断面内におけるボディパーツ２９の位置を示している。図示のように、触覚フィードバックの領域４０が方向付けられる位置は、ボディパーツ２９の位置に対するジェスチャ認識領域の方向を示すために、この横断面内で変化させることができる。
　図５に示す第１の例では、第２の制御装置１６が、ボディパーツ２９における基準点４２が目標位置４４の右側に位置していることを特定する。これにより、触覚フィードバックの領域４０は、図示のように、ボディパーツ２９の左寄りの部分に方向付けられることができ、その結果、触覚フィードバックの領域４０は基準点４２に対して目標位置４４の方向にずれる。
　図６に示す第２の例では、ボディパーツ２９上の基準点４２が目標位置４４の下方に、すなわち手首に向かって位置決めされる。したがって、触覚フィードバックの領域４０は、図示されるように、ボディパーツ２９の上方寄りの部分、すなわち、指先に向かって方向付けられてもよい。
　図７に示す第３の例では、ボディパーツ２９上の基準点４２が横断面において目標位置４４に合わせられる。したがって、触覚フィードバックの領域４０は、基準点４２、すなわち、掌の中心に方向付けられる。これにより、触覚フィードバックの領域４０は、ジェスチャ認識領域３２内の横断方向におけるボディパーツ２９の位置を確認するように位置決めされる。
　上述の例では、触覚フィードバックの領域４０が方向付けられる位置は、ボディパーツ２９に対するジェスチャ認識領域３２の方向に応じる。それぞれの例において、触覚フィードバックの領域４０は、ボディパーツ２９の一部において、基準点４２から目標位置４４の方向にずらすように方向付けられる。すなわち、制御装置１０は、目標位置と基準点の位置との間のベクトルをスケーリング（scaling）し（ベクトルの大きさを調整し）、スケーリングされたベクトルに基づいて基準点の位置を移動させることによって、基準点の位置から目標位置の方向にずれた補正点を特定する。触覚フィードバックの領域４０をこのように方向付けることによって、触覚フィードバックは、ボディパーツ２９がジェスチャ認識領域３２に接近するために移動されるべき方向を示す。
　上記に限定されず、他の例では、触覚フィードバックが反対の方法、すなわち、ジェスチャ認識領域３２に対して反対方向にずらされた位置に方向づけられて、例えば、ボディパーツ２９をジェスチャ認識領域３２に向けて「押す」ように構成されてもよい。
　図８及び図９に示すように、触覚フィードバックの領域４０の大きさを利用して、ジェスチャ認識領域３２に近づくためにボディパーツ２９が動かされるべき方向を、所定の軸に沿って示すこともできる。図８及び図９では、車両１の長手方向軸に沿って方向付けられた視点における、車両乗員２５のボディパーツ２９が例示されている。
　これらの例に示されるように、触覚フィードバックの領域４０の大きさは、ジェスチャ認識領域３２に対するボディパーツ２９の前方又は後方の位置を示すように変化させることができる。特に、図８と図９とを比較すると、触覚フィードバックの領域４０の大きさは、ボディパーツ２９上の基準点４２が、図８に示す第１の位置、すなわち、目標位置４４の前方から、目標位置４４により近い、図９に示す第２の位置に向かって、長手方向軸に沿って後方に移動するにつれて縮小されてもよい。また、ボディパーツ２９が目標位置４４を越えてさらに後方に移動すると、触覚フィードバックの領域４０の大きさは再度増大する。
　このようにして、触覚フィードバックの領域４０の大きさは、長手方向軸に沿ったボディパーツ２９とジェスチャ認識領域３２との間の距離に応じてもよい。その結果、触覚フィードバックの領域４０の大きさは、ボディパーツ２９が、車両の長手方向軸に沿って、ジェスチャ認識領域３２に近づく、又は、それから離れるか否かに応じて拡大縮小し、ジェスチャ認識領域３２に対するボディパーツ２９の前後方向の位置を示す。
　同様の原理は、例えば、垂直方向（上下方向）軸、又は横断方向（左右方向）軸を含む、ボディパーツ２９の任意の移動軸にも、同等の様式で適用され得る。
　触覚フィードバックの大きさ、すなわち、力は、ボディパーツ２９のジェスチャ認識領域３２に対する全体的な近接度を示すように、追加的に又は代替的に構成されてもよい。例えば、触覚フィードバックの力は、ボディパーツ２９がジェスチャ認識領域３２に向かって移動するにつれて増加され、ボディパーツ２９がジェスチャ認識領域３２から離れるように移動するにつれて減少されてもよい。
　触覚フィードバックの他の構成は、上述の例に限定されず、ボディパーツ２９に対するジェスチャ認識領域３２の位置を適切に示すことができる。例えば、別の構成では、触覚フィードバックの大きさは、ボディパーツ２９に対するジェスチャ認識領域３２の方向を特定の軸に沿って示すように構成されてもよく、触覚フィードバックの領域４０の大きさは、ジェスチャ認識領域３２に対する全体的な近接度を示すことができる。
　本発明の一実施形態によるジェスチャ認識システム２を操作する例示的な方法５０を、図１０及び図１１をさらに参照して、以下に説明する。
　ステップ５２では、ジェスチャ認識システム２を操作して、車両１内におけるボディパーツ２９の位置を特定する。
　例えば、第２のセンサ２８は空間３４の第２の空間容積を観測し、ボディパーツ検出信号を特定するように操作されてもよい。ボディパーツ検出信号は、制御システム１０で受信され、第２の制御装置１６によって処理されて、ボディパーツ２９の表示を生成し、空間３４の第２の空間容積の内部の基準点４２の座標位置を特定することができる。
　ステップ５４において、ジェスチャ認識システム２は、ジェスチャ認識領域３２に対するボディパーツ２９の位置に基づいて、触覚フィードバックシステム６に出力する触覚フィードバック信号を特定するように構成される。本発明の各例では、触覚フィードバック信号が触覚フィードバックの領域の位置、大きさ又は形状、もしくは、触覚フィードバックの大きさ又は出力のパターン／周波数を含む、１つ以上の触覚フィードバックパラメータに基づいて特定され得る。ステップ５４では、これらの触覚フィードバックパラメータのうちの選択されるパラメータは、ボディパーツ２９に対するジェスチャ認識領域３２の相対的な近接度及び／又は方向に基づいて特定される。
　以下の例では、制御システム１０は、触覚フィードバックの大きさ、触覚フィードバックの領域４０が方向付けられる位置触及び触覚フィードバックの領域４０の大きさを特定するように操作される。この目的のために、方法５０のステップ５４は、図１１に示す以下のサブステップ５５～７４を含むことができる。
　ジェスチャ認識領域３２とボディパーツ２９との間の距離と、ボディパーツ２９に対するジェスチャ認識領域３２の方向とは、基準点４２の座標を目標位置４４の座標と比較することによって、ベクトル形式で便宜的に特定することができる。従って、サブステップ５５において、制御システム１０は、ジェスチャ認識領域３２の中心におけるボディパーツ２９上の基準点４２の位置と目標位置４４との間のベクトルを特定するように操作される。
　例えば、目標位置４４は、第２の制御装置１６の記憶装置からアクセスされてもよい。制御装置１０は、目標位置４４の座標を基準点４２の座標と比較して、１つの点から他の点への３次元ベクトルを特定してもよい。三次元ベクトルは、共通座標系の第１、第２、及び第３の軸のそれぞれに沿ったそれぞれの距離を含んでもよい。
　サブステップ５６～６０において、制御システム１０は、ジェスチャ認識領域３２に対するボディパーツ２９の近接度に基づいて、触覚フィードバックの大きさを特定する。
　まず、サブステップ５６において、基準点４２と目標位置４４との間のベクトルの大きさを算出することにより、ボディパーツ２９のジェスチャ認識領域３２への全体的な近接度が特定される。
　サブステップ５８では、制御システム１０は、ベクトルの大きさに基づいて触覚フィードバックの大きさを特定する。例えば、制御システム１０は、次式に従って出力する触覚フィードバックの力を特定することができる。
　触覚力＝(α×ベクトルの大きさ)
　ここで、αはスカラー係数である。スカラー係数αは、触覚力がボディパーツ２９のジェスチャ認識領域３２への相対的な近接度を示すのに適するように調整されてもよい。例えば、触覚力＝１のときに最大の触覚力が出力され、触覚力＝０のときに最小の触覚力が出力されるようにしてもよい。従って、ベクトルの最大の大きさは室内１２の空間に基づいて特定することができ、スカラー係数はジェスチャ認識領域３２に対するボディパーツ２９の近接度に応じて、触覚力が１と０との間で変化してもよい。
　別の例では触覚フィードバックの力は、ジェスチャ認識領域３２へのボディパーツ２９の近接度に伴って減少することができ、制御システム１０は、下記の代替的な方程式に従って、触覚フィードバックの力を特定して出力することができる:
　触覚力＝１－(α×ベクトルの大きさ)
　ここで、αは、触覚力が最大の触覚力(触覚力＝１の場合)と最小の触覚力（触覚力＝０の場合)との間で確実に変化するために調整されるスカラー係数である。
　サブステップ５９において、方法５０では、ジェスチャ認識領域３２からジェスチャ認識システム２の触覚フィードバックの出力を作動するためにボディパーツ２９が適切に離れているか否かを判定する。この目的のために、制御システム１０は、触覚フィードバックの大きさを触覚フィードバックの最小閾値と比較することができ、大きさが最小閾値よりも小さい場合には、サブステップ６０において、触覚フィードバックの大きさを最小力値に設定することができる。最小力値は、例えば、ゼロの触覚力であってもよい。このようにして、車両乗員２５がジェスチャ認識システム２を制御しようとせず、かつ、ボディパーツ２９がジェスチャ認識領域３２から適切な距離を取っているときには、触覚フィードバックは出力されなくてもよい。
　別の例では、制御システム１０は、ボディパーツ２９のジェスチャ認識領域３２への全体的な近接度に応じて、出力すべき触覚力がゼロか又は非ゼロ量かのいずれかを特定することができる。触覚力のゼロ又は非ゼロ量は、ボディパーツ２９のジェスチャ認識領域３２への近接度閾値に応じて出力されてもよい。
　サブステップ６２～７０において、制御システム１０は、座標系の第１、第２、及び第３の軸のうち選択された１つに沿ったボディパーツ２９とジェスチャ認識領域３２との間の距離に基づいて、触覚フィードバックの領域４０の大きさを特定する。換言すれば、制御システム１０は、ボディパーツ２９が前後方向、横方向又は上下方向のうちの１つにおいてジェスチャ認識領域３２にどれだけ近接しているかを特定することができ、制御システム１０は、それに応じて、触覚フィードバックの領域４０の大きさを調節することができる。
　前後方向を例にとると、サブステップ６２において、制御システム１０は、基準点４２と目標位置４４との間のベクトルに基づいて、前後方向軸に沿ったボディパーツ２９とジェスチャ認識領域３２との間の距離を特定する。
　単純な例では、ベクトルの第１、第２、及び第３の軸のうちの１つを前後方向軸に合わせ、ボディパーツ２９とジェスチャ認識領域３２との間の距離を、ベクトルの前後方向の成分の大きさに基づいて特定することができる。
　次に、サブステップ６４において、制御システム１０は、ベクトルの前後方向の成分に基づいて触覚フィードバックの領域４０の大きさを特定する。例えば、制御システム１０は、以下の方程式に従って触覚フィードバックの領域４０の半径を特定することができる:
　半径＝β * ベクトルの前後方向の成分の大きさ
　ここで、βは、例えば、観測されるボディパーツ２９の代表的な大きさに基づいて調整され得るスカラー係数である。
　サブステップ６６～７０において、方法５０は、触覚フィードバックの領域４０の半径を上限又は下限値で制限することができる。上限及び下限は、例えば、触覚フィードバックの領域４０がボディパーツ２９にとって大きすぎないように、又は、小さすぎないように、ジェスチャ認識システムが観測するボディパーツ２９のサイズに対応してもよい。
　この例において、触覚フィードバックの領域４０の半径は、ステップ６６において、最小半径閾値と比較され、半径が最小半径閾値より小さい場合、ステップ６８において、触覚フィードバックの領域４０の大きさは規定の最小半径に設定される。最小半径は例えば、指の幅に対応してもよい。
　同様に、ステップ６９において、触覚フィードバックの領域４０の半径は最大半径閾値と比較され、半径が最大半径閾値より大きい場合、触覚フィードバックの領域４０の半径はステップ７０において、規定の最大半径に設定される。最大半径は例えば、掌の幅に対応してもよい。
　サブステップ７２において、制御システム１０は、ｉ）車両１内のボディパーツ２９の位置と、ｉｉ）ボディパーツ２９に対するジェスチャ認識領域３２の方向とに基づいて、触覚フィードバックの領域４０が向けられる位置を特定する。
　特に、触覚フィードバックの領域４０が方向付けられる位置は、基準点４２と目標位置４４との間のベクトルの方向において、基準点４２からずれた位置として特定される。従って、触覚フィードバックの領域４０が方向付けられる位置は、以下の式に従って特定されてもよい:
　触覚フィードバックの位置（Ｘ，Ｙ，Ｚ）
＝基準点の位置（Ｘ，Ｙ，Ｚ）＋（μ＊ベクトル（Ｙ，Ｚ））
　ここで、Ｘ、Ｙ、及びＺは、第１、第２、及び第３の軸に沿った値である。μは、例えば、触覚フィードバックの位置が基準点４２(掌の中心)から所定の範囲の距離に制限されるように構成され得るスカラー係数である。従って、スカラー係数は、観測されたボディパーツ２９の寸法を考慮して設定され得る。
　このようにして、触覚フィードバックの領域４０は、前後方向軸に沿ったボディパーツ２９の位置に効果的に関連付けることができる。例えば、触覚フィードバックの領域４０は、基準点４２と同様に、前後方向軸に沿った同じ位置に向かって方向付けられてもよいが、触覚フィードバックの領域４０は、基準点４２から横方向及び上下方向(第２及び第３の軸)にずれた（補正された）位置に向かって方向付けられてもよい。このようにして、触覚フィードバックの領域４０の位置は、横方向及び上下方向におけるジェスチャ認識領域３２の相対的な位置を示すことができる。
　サブステップ７４では、制御システム１０は、サブステップ５５～７２で特定された触覚フィードバックのパラメータに基づいて触覚フィードバック信号を特定する。図１０に戻り、ステップ７６において、方法５０は、ボディパーツ２９がジェスチャ認識領域３２内に配置されているかどうかを判定する。
　例えば、制御システム１０は、ボディパーツ２９とジェスチャ認識領域３２との間の距離を特定し、その距離を、ボディパーツ２９がジェスチャ認識領域３２の内側に配置されているか否かを特定するための閾値距離と比較してもよい。
　一例では、制御システム１０は、前述したように、基準点４２と目標位置４４との間のベクトルの大きさに基づいて、ボディパーツ２９とジェスチャ認識領域３２との間の距離を特定することができる。
　次いで、ベクトルの大きさを、例えば、閾値距離を定義するために第２の制御装置１６に記憶されているジェスチャ認識領域３２の半径と比較することができる。ベクトルの大きさが閾値距離よりも大きい場合、制御システム１０は、ボディパーツ２９がジェスチャ認識領域３２の外側にあると推測することができる。
　従って、ステップ７８において、制御システム１０は、ステップ５４で特定された触覚フィードバック信号を触覚フィードバックシステム６に出力して、触覚フィードバックシステムに、ジェスチャ認識領域３２の車両乗員２５に対する相対位置を示す触覚フィードバックを生成させることができる。
　例えば、触覚フィードバックデバイス３６のアレイは、触覚フィードバック信号に対応する超音波ビーム３８を出力するように構成することができ、車両乗員２５は、触覚フィードバックの領域４０における圧力の感覚を感じることができる。車両乗員２５は、触覚フィードバックの位置、大きさ及び力に基づいてジェスチャ認識領域３２の相対方向を推測することができ、これにより、車両乗員２５はボディパーツ２９をジェスチャ認識領域３２に向かって移動させるよう促される。
　ステップ７８に続いて、方法５０は、ボディパーツ２９の新しい位置を特定することができる。例えば、ステップ５２～７６は繰り返し実行されて、１つ以上の触覚フィードバックパラメータが変化するように、又は、ボディパーツ２９がジェスチャ認識領域３２に移動するように、車両乗員２５が触覚フィードバックに応答してボディパーツ２９を移動させたかどうかを特定してもよい。
　ベクトルの大きさが閾値距離未満である場合、制御システム１０は、ボディパーツ２９がジェスチャ認識領域３２内にあると推測することができる。
　従って、ステップ８０において、制御システム１０は、ジェスチャ認識領域３２内のボディパーツ２９によって実行されるジェスチャを特定することができる。
　例えば、第１のセンサ２６は、空間３０の第１の空間容積を観測し、ジェスチャ認識信号を特定するように動作されてもよい。ジェスチャ認識信号は、制御システム１０において受信され、第１の制御装置１４によって処理されて、空間ジェスチャモデルの形態で、ボディパーツ２９によって実行されるジェスチャを特定することができる。
　制御システム１０は、ステップ８２において、特定されたジェスチャを認識用ジェスチャのデータベースと比較することができ、特定されたジェスチャが認識用ジェスチャのうちの１つに対応する場合、制御システム１０は認識用ジェスチャに関連する車両の挙動を制御するために、対応する制御信号を出力することができる。例えば、制御信号は、車両の挙動を制御するように構成された１つ以上のそれぞれの車両システム（図示せず）に出力されてもよい。
　一例では、ボディパーツ２９がジェスチャ認識領域３２内に留まるようにボディパーツ２９がジェスチャを実行している間、ステップ５２～７６を繰り返すことができる。
　さらに、ステップ８２の後、方法５０は、車両乗員２５がボディパーツ２９を移動させたかどうかを判定するために、及び／又は、別のジェスチャに基づいた指令を特定するために繰り返されてもよい。
　本発明には、本出願の技術的範囲から逸脱することなく、様々な変更及び修正を加えることができる。
　例えば、上述した例示的な方法５０では、ステップ７４において、ボディパーツ２９がジェスチャ認識領域３２内に位置していると制御システム１０が判断した場合には、触覚フィードバックは車両乗員２５に出力されない。このようにして、触覚フィードバックがないことで、ボディパーツ２９がジェスチャ認識領域３２内に配置されていることを示すことができる。
　しかしながら、図１２に示すように、ジェスチャ認識システム２を動作させるための別の例示的な方法１５０では、ステップ７４において、ステップ７６に記載されているように、ボディパーツ２９がジェスチャ認識領域３２の内側又は外側に配置されていると制御システム１０が判断するか否かに関わらず、触覚フィードバック信号を出力することができる。
　このようにして、車両乗員２５には、特定のジェスチャを実行しながらボディパーツ２９をジェスチャ認識領域３２内に維持するように構成された触覚フィードバックを提供することができる。
　有利には、車両乗員２５は、特定の触覚フィードバック感覚を、ジェスチャ認識システム２を介して、車両の挙動を制御する能力に関連付けることができる。これに基づいて、車両乗員２５は、ボディパーツ２９がジェスチャ認識領域３２内に位置していることを推測することができる。
　ジェスチャ認識システム２を動作させる別の例示的な方法（図示せず)は、実質的に前述と同様に進行することができるが、この方法は、ステップ５２でボディパーツ２９の位置を特定する前に、ジェスチャ認識領域３２の位置、大きさ、及び／又は形状を特定するステップをさらに含むことができる。ジェスチャ認識領域３２の位置、大きさ、及び／又は形状は、室内１２の照明条件等、センサシステム４のジェスチャ認識能力に影響する１つ以上の室内条件に応じて変えてもよい。
　例えば、制御システム１０は、センサシステム４から受信したキャリブレーションデータ、又は第１の制御装置１４の記憶装置からアクセスされたキャリブレーションデータに応じて、ジェスチャ認識領域３２を特定するように構成されてもよい。
　キャリブレーションデータは、例えば、予め特定された一定範囲の室内条件に対して、ジェスチャ認識領域３２の対応する形状、大きさ及び室内１２における位置を有する検索テーブル（look-up table）の形態で配列されてもよい。このようにして、制御システム１０は、１つ以上の室内条件の指示を受信し、検索テーブルに基づいてジェスチャ認識領域３２の大きさ、位置、又は形状を特定することができる。有利には、本発明は、走行中に変化し得る室内条件のためのジェスチャ認識領域３２を最適化し、ステップ７８で実行されるジェスチャ認識の精度を最大化することができる。
　有利には、ステップ７８において、本方法の触覚フィードバック出力は、ボディパーツ２９を最適化されたジェスチャ認識領域３２に向け直すように構成されてもよい。このようにして、本方法は、車両１の室内条件に応じて、ボディパーツ２９の適応的な位置案内を提供することができる。
１…車両
２…ジェスチャ認識システム
４…センサシステム
６…触覚フィードバックシステム
１０…制御システム（制御装置）
１２…室内
１４…第１の制御装置
１６…第２の制御装置
２５…車両乗員
２９…ボディパーツ
３２…ジェスチャ認識領域
３８…超音波ビーム
４２…基準点
４４…目標位置

Claims (19)

  1. 　車両のジェスチャ認識システムの制御システムであって、
    　前記ジェスチャ認識システムは、
    　　前記車両の室内の空間容積を観測し、前記空間容積の内部の車両乗員のボディパーツの位置を特定し、前記空間容積の内部に画定されたジェスチャ認識領域内で前記ボディパーツによって実行されるジェスチャを特定するセンサシステムと、
    　　前記車両乗員に向けて非接触の触覚フィードバックを出力する触覚フィードバックシステムとを備え、
    　前記制御システムは、１つ以上の制御装置を備え、
    　前記制御装置は、
    　　前記センサシステムから、前記空間容積の内部の前記ボディパーツの前記位置を示す情報を含む検出信号を受信し、
    　　前記検出信号に応じて、前記ジェスチャ認識領域に対する前記ボディパーツの位置を特定し、
    　　前記ジェスチャ認識領域に対する前記ボディパーツの前記位置に基づいて触覚フィードバック信号を特定し、
    　　前記触覚フィードバック信号を前記触覚フィードバックシステムに出力するように構成され、
    　前記触覚フィードバック信号は、前記触覚フィードバックシステムに、前記車両乗員に向けて、ジェスチャ認識領域に対する前記ボディパーツの位置を示す前記非接触の触覚フィードバックを出力させるように構成される、制御システム。
  2. 　前記１つ以上の制御装置は、
    　前記空間容積の内部の前記ボディパーツの位置、前記空間容積の内部の前記ジェスチャ認識領域の位置、前記ボディパーツの位置に対する前記ジェスチャ認識領域の方向、前記ボディパーツの前記ジェスチャ認識領域への近接度、及び、第１の軸に沿った前記ボディパーツと前記ジェスチャ認識領域との間の距離のうちの少なくとも１つを特定することによって、前記ジェスチャ認識領域に対する前記ボディパーツの位置を特定するように構成される、請求項１に記載の制御システム。
  3. 　前記触覚フィードバック信号は、前記触覚フィードバックシステムに、前記車両の室内の領域に向けて、前記触覚フィードバックを出力させるように構成され、
    　前記１つ以上の制御装置は、前記触覚フィードバックの大きさ、前記室内において前記触覚フィードバックの領域が方向付けられる位置、及び、前記触覚フィードバックの領域の大きさのうちの少なくとも１つを特定することによって、前記触覚フィードバック信号を特定するように構成される、請求項２に記載の制御システム。
  4. 　前記１つ以上の制御装置は、前記ボディパーツの前記ジェスチャ認識領域への近接度に基づいて、前記触覚フィードバックの大きさ、及び、前記触覚フィードバックの領域の大きさのうちの少なくとも１つを特定するように構成される、請求項３に記載の制御システム。
  5. 　前記１つ以上の制御装置は、前記第１の軸に沿った前記ボディパーツと前記ジェスチャ認識領域との間の距離に基づいて、前記触覚フィードバックの大きさ、及び、前記触覚フィードバックの領域の大きさのうちの少なくとも１つを特定するように構成される、請求項３又は４に記載の制御システム。
  6. 　前記１つ以上の制御装置は、前記空間容積の内部の前記ボディパーツの位置、及び、前記ボディパーツの位置に対するジェスチャ認識領域の方向に基づいて、前記室内において前記触覚フィードバックの領域が方向付けられる位置を特定するように構成される、請求項３～５のいずれかに記載の制御システム。
  7. 　前記１つ以上の制御装置は、
    　前記ボディパーツの基準点を検出して、前記検出信号に基づいて、前記空間容積の内部の前記基準点の位置を特定し、
    　前記基準点の位置を前記ジェスチャ認識領域内の目標位置と比較し、
    　前記目標位置と前記基準点の位置との間のベクトルを特定することによって、前記ジェスチャ認識領域に対する前記ボディパーツの位置を特定するように構成される、請求項２～６のいずれか一項に記載の制御システム。
  8. 　前記１つ以上の制御装置は、
    　前記ボディパーツの基準点を検出して、前記検出信号に基づいて、前記空間容積の内部の前記基準点の位置を特定し、
    　前記基準点の位置を前記ジェスチャ認識領域内の目標位置と比較し、
    　前記目標位置と前記基準点の位置との間のベクトルを特定することによって、前記ジェスチャ認識領域に対する前記ボディパーツの位置を特定し、
    　前記基準点の位置から前記目標位置の方向にずれた補正点を特定することによって、前記室内において、前記触覚フィードバックの領域が方向付けられる位置を特定するように構成される、請求項６に記載の制御システム。
  9. 　前記１つ以上の制御装置は、前記目標位置と前記基準点の位置との間の前記ベクトルをスケーリングし、スケーリングされた前記ベクトルに基づいて前記基準点の位置を移動させることによって、前記基準点の位置から前記目標位置の方向にずれた前記補正点を特定するように構成される、請求項８に記載の制御システム。
  10. 　前記検出信号は、前記センサシステムによって特定された画像データを含み、
    　前記センサシステムは、前記室内の空間容積を観測するように構成され、
    　前記１つ以上の制御装置は、前記空間容積の内部の前記ボディパーツを検出し、前記空間容積の内部の前記ボディパーツの位置を前記画像データに基づいて特定するように構成される、請求項２～９のいずれか一項に記載の制御システム。
  11. 　前記触覚フィードバックシステムは、複数の超音波装置のアレイを含む超音波システムとして形成され、
    　前記触覚フィードバック信号は、前記触覚フィードバックシステムに、超音波ビームの形態で触覚フィードバックを出力させるように構成される、請求項１～１０のいずれか一項に記載の制御システム。
  12. 　車両のためのジェスチャ認識システムであって、前記ジェスチャ認識システムは、
    　請求項１～１１のいずれか一項に記載の制御システムによって制御され、
    　１つ以上のセンサを含むセンサシステムであって、前記センサは、前記室内の空間容積を観測し、前記観測された空間容積内の車両乗員のボディパーツの位置を示す情報を含む検出信号を前記制御システムに出力するように構成されるセンサシステムとを備える、ジェスチャ認識システム。
  13. 　前記１つ以上のセンサは、ジェスチャ認識領域内で車両乗員のボディパーツによって実行されるジェスチャを示す情報を含むジェスチャ信号を前記制御システムに出力するように構成され、
    　前記制御システムの前記１つ以上の制御装置は、前記ジェスチャ信号を受信し、前記ジェスチャ信号に応じて前記ボディパーツによって実行されるジェスチャを特定するように構成される、請求項１２に記載のジェスチャ認識システム。
  14. 　前記制御システムは、骨格に基づくアルゴリズムを用いて、前記ボディパーツによって実行されるジェスチャを特定するように構成される、請求項１２又は１３に記載のジェスチャ認識システム。
  15. 　前記制御システムは、前記特定されたジェスチャに応じて、前記車両の１つ以上の挙動を制御するように構成される、請求項１２～１４のいずれか一項に記載のジェスチャ認識システム。
  16. 　前記触覚フィードバック信号に応じて、非接触の触覚フィードバックを出力するように構成された１つ以上の触覚フィードバック装置を含む触覚フィードバックシステムをさらに備える、請求項１２～１５のいずれか一項に記載のジェスチャ認識システム。
  17. 　前記１つ以上の触覚フィードバック装置は、複数の超音波トランスデューサのアレイを含む、請求項１６に記載のジェスチャ認識システム。
  18. 　請求項１～１１のいずれか一項に記載の制御システム、または、請求項１２～１７のいずれか一項に記載のジェスチャ認識システムを備える車両。
  19. 　車両のジェスチャ認識システムを制御する方法であって、
    　前記ジェスチャ認識システムは、
    　車両の室内の空間容積を観測するように構成された１つ以上のセンサを備えるセンサシステムと、
    　室内の車両乗員に向けて非接触の触覚フィードバックを出力するように構成された触覚フィードバックシステムとを備え、
    　前記方法は、
    　　前記空間容積を観察し、前記空間容積内の前記車両乗員のボディパーツの位置を示す情報を含む検出信号を特定するようにセンサシステムを制御するステップと、
    　　前記検出信号に応じて、前記空間容積の内部に画定されたジェスチャ認識領域に対するボディパーツの位置を特定するステップと、
    　　ジェスチャ認識領域に対するボディパーツの位置に基づいて触覚フィードバック信号を特定するステップと、
    　　触覚フィードバック信号に基づいて触覚フィードバックシステムを制御するステップとを備え、
    　前記触覚フィードバック信号は、前記触覚フィードバックシステムに、前記ジェスチャ認識領域に対する前記ボディパーツの位置を示す非接触の触覚フィードバックを前記車両乗員に向けて出力させるように構成される、車両のジェスチャ認識システムを制御する方法。
PCT/JP2021/019470 2020-07-23 2021-05-21 制御システム、ジェスチャ認識システム、車両、及び、ジェスチャ認識システムを制御する方法 WO2022018953A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022500773A JP7148014B2 (ja) 2020-07-23 2021-05-21 制御システム、ジェスチャ認識システム、車両、及び、ジェスチャ認識システムを制御する方法
EP21845535.0A EP4186754A4 (en) 2020-07-23 2021-05-21 CONTROL SYSTEM, GESTURE RECOGNITION SYSTEM, VEHICLE AND METHOD FOR CONTROLLING GESTURE RECOGNITION SYSTEM
CN202180004846.0A CN114258367A (zh) 2020-07-23 2021-05-21 控制系统、姿势识别系统、车辆以及对姿势识别系统进行控制的方法
US17/620,156 US11816271B2 (en) 2020-07-23 2021-05-21 Control system, gesture recognition system, vehicle, and method for controlling gesture recognition system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB2011430.2 2020-07-23
GB2011430.2A GB2597492B (en) 2020-07-23 2020-07-23 Gesture recognition system

Publications (1)

Publication Number Publication Date
WO2022018953A1 true WO2022018953A1 (ja) 2022-01-27

Family

ID=72339426

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/019470 WO2022018953A1 (ja) 2020-07-23 2021-05-21 制御システム、ジェスチャ認識システム、車両、及び、ジェスチャ認識システムを制御する方法

Country Status (6)

Country Link
US (1) US11816271B2 (ja)
EP (1) EP4186754A4 (ja)
JP (1) JP7148014B2 (ja)
CN (1) CN114258367A (ja)
GB (1) GB2597492B (ja)
WO (1) WO2022018953A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023171819A1 (ja) * 2022-03-11 2023-09-14 パナソニックＩｐマネジメント株式会社 生体画像取得装置および生体画像取得方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183429B (zh) * 2020-10-12 2024-01-19 苏州晴森模具有限公司 3d手势识别系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015125780A (ja) * 2013-12-26 2015-07-06 ビステオン グローバル テクノロジーズ インコーポレイテッド ジェスチャベース入力のために触覚フィードバックを提供するためのシステム及び方法
JP2015133109A (ja) * 2013-12-20 2015-07-23 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 車両の中で触覚フィードバックを用いるジェスチャー・ベースの入力システム
JP2018022318A (ja) * 2016-08-03 2018-02-08 株式会社東海理化電機製作所 操作入力装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020140633A1 (en) * 2000-02-03 2002-10-03 Canesta, Inc. Method and system to present immersion virtual simulations using three-dimensional measurement
JP5141725B2 (ja) * 2010-07-05 2013-02-13 株式会社デンソー 障害物探索システム
KR101714089B1 (ko) * 2011-12-16 2017-03-09 현대자동차주식회사 차량 인터랙션 시스템
KR20140077037A (ko) * 2012-12-13 2014-06-23 현대자동차주식회사 제스처 기반의 촉감 자극 제공 시스템 및 그 방법
FR3010547B1 (fr) * 2013-09-09 2016-12-23 Dav Interface de commande a retour haptique
US9477317B1 (en) * 2014-04-22 2016-10-25 sigmund lindsay clements Sanitarily operating a multiuser device using a touch free display
KR102425824B1 (ko) * 2015-04-24 2022-07-29 삼성디스플레이 주식회사 가요성 디스플레이의 햅틱 구동 방법 및 장치
DE102015213804A1 (de) * 2015-07-22 2017-01-26 Volkswagen Aktiengesellschaft Anwenderschnittstelle und Verfahren zur Ausgabe einer Rückmeldung an einen Anwender
CN107179826B (zh) * 2016-03-11 2021-08-31 松下知识产权经营株式会社 姿势输入系统和姿势输入方法
US20170336903A1 (en) * 2016-05-19 2017-11-23 Ciena Corporation Touch and pressure sensitive surface with haptic methods for blind probe alignment
WO2018017212A1 (en) * 2016-07-22 2018-01-25 Harman International Industries, Incorporated Haptic driving guidance system
US10702772B2 (en) * 2016-09-22 2020-07-07 Igt Electronic gaming machine and method providing enhanced physical player interaction
US10747324B2 (en) * 2016-11-02 2020-08-18 Panasonic Intellectual Property Management Co., Ltd. Gesture input system and gesture input method
US10367948B2 (en) * 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
DE102017202672A1 (de) * 2017-02-20 2018-08-23 Bayerische Motoren Werke Aktiengesellschaft Bedienvorrichtung, Fahrzeug mit einer Bedienvorrichtung und Verfahren zur Steuerung einer Bedienvorrichtung
KR102395288B1 (ko) * 2017-05-18 2022-05-09 현대자동차주식회사 홀로그램 표시 제어 장치 및 방법, 그리고 차량 시스템
EP3409553B1 (en) * 2017-06-01 2021-08-04 Honda Research Institute Europe GmbH System and method for automated execution of a maneuver or behavior of a system
US10168782B1 (en) * 2017-06-05 2019-01-01 Rockwell Collins, Inc. Ultrasonic haptic feedback control system and method
DE102017121606B3 (de) * 2017-09-18 2018-09-06 Scania Cv Ab Bedienvorrichtung für ein Fahrzeug
US10896573B2 (en) * 2017-09-29 2021-01-19 Igt Decomposition of displayed elements using gaze detection
US11402910B2 (en) * 2017-12-01 2022-08-02 Verizon Patent And Licensing Inc. Tactile feedback array control
US10503261B2 (en) * 2017-12-15 2019-12-10 Google Llc Multi-point feedback control for touchpads
US11042233B2 (en) * 2018-05-09 2021-06-22 Apple Inc. Finger-mounted device with fabric
US10525986B2 (en) * 2018-06-11 2020-01-07 Harman International Industries, Incorporated System and method for steering wheel haptic notification
US10942571B2 (en) * 2018-06-29 2021-03-09 Apple Inc. Laptop computing device with discrete haptic regions
US10976820B2 (en) * 2018-07-12 2021-04-13 Microsoft Technology Licensing, Llc Natural interactions with virtual objects and data through touch
CN110194174B (zh) * 2019-05-24 2021-02-12 江西理工大学 一种疲劳驾驶监控系统
CN111340961B (zh) * 2020-02-16 2022-05-10 吉林大学 一种基于三维网格模型的超声空中触觉渲染方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015133109A (ja) * 2013-12-20 2015-07-23 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 車両の中で触覚フィードバックを用いるジェスチャー・ベースの入力システム
JP2015125780A (ja) * 2013-12-26 2015-07-06 ビステオン グローバル テクノロジーズ インコーポレイテッド ジェスチャベース入力のために触覚フィードバックを提供するためのシステム及び方法
JP2018022318A (ja) * 2016-08-03 2018-02-08 株式会社東海理化電機製作所 操作入力装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP4186754A4
V.I. PAVLOVICR. SHARMAT.S. HUANG: "Visual Interpretation of Hand Gestures for Human-Computer Interaction: A Review", IEEE TRANSACTIONS ON PATTERN AND MACHINE INTELLIGENCE, vol. 19, no. 7, July 1997 (1997-07-01)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023171819A1 (ja) * 2022-03-11 2023-09-14 パナソニックＩｐマネジメント株式会社 生体画像取得装置および生体画像取得方法

Also Published As

Publication number Publication date
GB2597492A (en) 2022-02-02
GB2597492A8 (en) 2022-02-23
US20230152898A1 (en) 2023-05-18
US11816271B2 (en) 2023-11-14
GB202011430D0 (en) 2020-09-09
GB2597492B (en) 2022-08-03
JPWO2022018953A1 (ja) 2022-01-27
CN114258367A (zh) 2022-03-29
EP4186754A4 (en) 2024-01-24
JP7148014B2 (ja) 2022-10-05
EP4186754A1 (en) 2023-05-31

Similar Documents

Publication Publication Date Title
WO2022018953A1 (ja) 制御システム、ジェスチャ認識システム、車両、及び、ジェスチャ認識システムを制御する方法
KR101646616B1 (ko) 객체 제어 장치 및 방법
CN108472086B (zh) 使用虚拟边界避免碰撞的系统和方法
JP4274997B2 (ja) 操作入力装置および操作入力方法
US11065767B2 (en) Object manipulation apparatus and object manipulation method for automatic machine that picks up and manipulates an object
CN108139747B (zh) 确定用于机器人的、由手动施加于机器人的力来输入的输入指令
US7893920B2 (en) Operation input device and method of operation input
US9927869B2 (en) Apparatus for outputting virtual keyboard and method of controlling the same
EP2746897B1 (en) Volumetric image display device and method of providing user interface using visual indicator
KR102060338B1 (ko) ３차원 촉각 제공 장치 및 방법
CN108177144B (zh) 机器人系统
KR20140104415A (ko) 차량용 조작장치
KR20130102476A (ko) 모터 구동 구조를 구비한 시스템, 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체, 및 용접물 제조 방법
CN109202864B (zh) 评价信息输出装置、评价信息输出方法以及存储介质
JP6630950B2 (ja) 経路算出装置、経路算出プログラムおよび経路算出方法
KR101633890B1 (ko) 충돌 예측 기반 주행 제어장치 및 그 방법
WO2018080419A1 (en) Gesture-based user interface
JPWO2021067438A5 (ja)
JP5983506B2 (ja) 把持対象物の把持パターン検出方法およびロボット
KR101701207B1 (ko) 터치 스크린의 입력 좌표 보정 장치 및 그 보정 방법
JPH0772925A (ja) 障害物回避制御装置
US20180088569A1 (en) Off-line-programming jog assist device, jog assist method, and recording medium storing jog assist program
KR101500413B1 (ko) 차량용 제스처 인식 장치
JP5732993B2 (ja) ロボット制御装置、その制御方法及び制御プログラム
KR20110045564A (ko) 3차원 아바타 제어 장치 및 방법

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2022500773

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21845535

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2021845535

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021845535

Country of ref document: EP

Effective date: 20230223