WO2013136776A1 - ジェスチャ入力操作処理装置 - Google Patents

ジェスチャ入力操作処理装置 Download PDF

Info

Publication number
WO2013136776A1
WO2013136776A1 PCT/JP2013/001620 JP2013001620W WO2013136776A1 WO 2013136776 A1 WO2013136776 A1 WO 2013136776A1 JP 2013001620 W JP2013001620 W JP 2013001620W WO 2013136776 A1 WO2013136776 A1 WO 2013136776A1
Authority
WO
WIPO (PCT)
Prior art keywords
input
gesture
operator
unit
body shape
Prior art date
Application number
PCT/JP2013/001620
Other languages
English (en)
French (fr)
Inventor
隆 大河平
中井　潤
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US14/382,908 priority Critical patent/US20150015521A1/en
Priority to CN201380013621.7A priority patent/CN104169839A/zh
Priority to EP13761982.1A priority patent/EP2827223A4/en
Publication of WO2013136776A1 publication Critical patent/WO2013136776A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143—Touch sensitive instrument input devices
    • B60K2360/1438—Touch screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77—Instrument locations other than the dashboard
    • B60K2360/774—Instrument locations other than the dashboard on or in the centre console
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/50—Instruments characterised by their means of attachment to or integration in the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Definitions

  • the present invention relates to a gesture input operation processing device.
  • Recent automobiles are equipped with a navigation device that displays the current location along with a road map on the screen and guides the route from the current location to the destination.
  • the navigation device is provided with a touch panel as an input unit so as to overlap the image display unit.
  • the apparatus described in Patent Document 2 acquires the operator's hand shape from the captured image of the camera by pattern matching, recognizes the hand shape, and permits the operator's operation.
  • the operator's input is interpreted by detecting a gesture that is a time-varying pattern of the hand shape and hand position.
  • the image display unit (display) is provided at a position that is easy to see from the driver's seat.
  • a display is provided between the driver's seat and the passenger seat on the instrument panel, and the in-vehicle device is disposed far from the driver's seat.
  • Tend. For this reason, in order to operate the touch panel superimposed on the display, it is necessary to extend a hand greatly or to tilt the upper body obliquely forward. This situation places a heavy burden on the operator, particularly when performing a gesture input operation using a touch panel.
  • An object of the present invention is to provide a gesture input operation processing device capable of reliably recognizing a gesture input operation even if the operator's hand shape or movement has characteristics or wrinkles peculiar to the operator.
  • the gesture input operation processing device of the present invention is provided so as to overlap an image display unit that displays an image, and a touch panel for detecting a position touched by the operator, and the operator when the operator performs a gesture input operation.
  • a body shape input unit that captures the body shape as image data, and recognizes an input operation by the operator's non-contact gesture from the image data captured by the body shape input unit, recognizes a gesture input by the operator on the touch panel
  • a control unit that associates input data from the body shape input unit and input data from the touch panel, and stores an association of input data from the body shape input unit and input data from the touch panel performed by the control unit.
  • a storage unit for storing gesture types.
  • the block diagram of the vehicle-mounted apparatus which can perform gesture input operation in one embodiment of this invention
  • the figure which shows the example of installation in the vehicle of the vehicle equipment 10
  • the figure which shows the condition when the operator extends a hand from the driver's seat of the vehicle and inputs a gesture with five fingers on the touch panel 18 of the in-vehicle device 10.
  • the figure which shows an example of the gesture input with respect to the touch panel 18 by an operator.
  • the figure which shows an example of the non-contact gesture input with respect to the body shape input part 40 by the operator Flowchart for explaining where the in-vehicle device 10 is set to the input state
  • an in-vehicle navigation device capable of performing a gesture input operation according to an embodiment of the present invention will be described with reference to the drawings.
  • an in-vehicle navigation device is illustrated as an in-vehicle device capable of performing a gesture input operation.
  • this navigation device is simply referred to as an “on-vehicle device”.
  • FIG. 1 is a block diagram of an in-vehicle device capable of performing a gesture input operation according to an embodiment of the present invention.
  • the in-vehicle device 10 includes a navigation function for performing route guidance and the like, and an audio visual reproduction function for reproducing an audio video recorded on a recording medium such as a DVD (Digital Versatile Disc).
  • a navigation function for performing route guidance and the like
  • an audio visual reproduction function for reproducing an audio video recorded on a recording medium such as a DVD (Digital Versatile Disc).
  • the in-vehicle device 10 includes a storage unit 11, an external input unit 12, a speaker 13, an image display unit 17, a touch panel 18, a control unit 20, a DVD / CD drive 22, and a GPS.
  • a receiver 23, a vehicle speed sensor 24, a gyroscope (hereinafter simply referred to as “gyro”) 25, and a body shape input unit 40 are provided.
  • the DVD / CD drive 22, the GPS receiver 23, the vehicle speed sensor 24, the gyro 25, the speaker 13, and the body shape input unit 40 do not have to be provided integrally in the in-vehicle device 10. It may be configured to be electrically removable.
  • the image display unit 17 and the touch panel 18 may have an integrated structure.
  • FIG. 2 is a diagram illustrating an installation example of the in-vehicle device 10 in the vehicle.
  • the in-vehicle device 10 is attached to a center console in the vehicle, and when an operator performs an input operation via the touch panel 18, the operator performs an input operation by extending an arm.
  • the storage unit 11 is a hard disk drive (HDD), a memory card, or a flash memory mounted on a printed board (not shown) inside the in-vehicle device 10.
  • the storage unit 11 may be configured with a single type of medium, or may be configured with a combination of a plurality of types of media.
  • data (icon size, display area or layout) related to the icon displayed on the image display unit 17, a basic program necessary for controlling the operation of the in-vehicle device 10, and image display control And various data such as a program of application software used for execution of a navigation function or an audio-visual playback function, a map database used for the navigation function, or a database such as a telephone number.
  • data such as the shape of the hand or the number of fingers input from the body shape input unit 40, or input data from the touch panel 18 and input data from the body shape input unit 40 are associated with each other. Data is stored.
  • the storage unit 11 is provided with an area for developing various programs or various data, an area for developing an image, and the like, as in a general storage unit.
  • the external input unit 12 is provided for inputting a signal output from an external device connectable to the in-vehicle device 10.
  • the signal output from the external device is, for example, a video signal and / or an audio signal obtained by reproducing a medium such as a DVD or a CD, or a video signal and an audio signal from a digital television or the like.
  • Speaker 13 outputs sound processed by in-vehicle device 10.
  • the sound is, for example, a sound effect for notifying the operator that the in-vehicle device 10 has received an operation on the in-vehicle device 10, audio or music input from an external device to the external input unit 12, or DVD / CD drive For example, the voice or music reproduced at 22.
  • the image display unit 17 is a general liquid crystal display that displays video or images.
  • the video or image displayed on the image display unit 17 is, for example, an opening screen or a menu screen stored in the storage unit 11, or a video or a still image input from the external device to the external input unit 12.
  • the image display unit 17 includes a liquid crystal panel including a polarizing filter, a liquid crystal, a glass substrate, and a color filter, a backlight unit used as a light source of a cold cathode tube or a liquid crystal panel such as an LED and a light guide plate, and an image display It includes an electrical component such as an IC that processes various signals, and a power supply unit for driving a liquid crystal panel, a backlight unit, or an electronic component.
  • the power supply unit may be configured separately from the image display unit 17.
  • the touch panel 18 is a transmissive panel having a conductive layer provided inside or on the surface of the image display unit 17.
  • An input operation on the touch panel 18 is performed by an operator touching a corresponding portion such as an icon displayed on the image display unit 17 with a hand or a finger.
  • the touch panel 18 causes a change in capacitance by the touch operation on the corresponding portion, and the signal is output to the control unit 20.
  • the applicable location displayed on the image display unit 17 is an icon or an arbitrary position on the map.
  • the contact operation includes an action of moving a finger at a predetermined speed while touching the touch panel 18 or bringing a hand or a finger close to the touch panel 18.
  • the control unit 20 includes a microprocessor and an electric circuit for operating the microprocessor.
  • the control unit 20 executes a control program stored in the storage unit 11 and performs various processes.
  • the control unit 20 displays the video or image obtained by processing by the control unit 20 on the image display unit 17.
  • the control unit 20 calculates a position where the operator's hand or finger is in contact based on a signal from the touch panel 18.
  • the control unit 20 collates information corresponding to the calculated position with information stored in the storage unit 11, and executes a function defined in an icon, menu, switch, or the like or a function defined in a gesture.
  • control unit 20 extracts a body shape based on input data from the body shape input unit 40, and associates the extracted data with data stored in the storage unit 11 or input data from the touch panel 18.
  • the control unit 20 may include one microprocessor or a plurality of microprocessors for each function such as DVD playback or audio playback.
  • the DVD / CD drive 22 reproduces a disc in which an audio source (or audio data) and / or a video source (or video data) is stored.
  • the GPS receiver 23 receives a signal from a GPS satellite.
  • the vehicle speed sensor 24 detects the traveling speed of the vehicle on which the in-vehicle device 10 is mounted.
  • the gyro 25 detects the rotation of the vehicle, the amount of vertical change or acceleration.
  • the body shape input unit 40 is a camera for imaging the body shape of the operator's hand or finger when the operator performs a gesture input operation.
  • the body shape input unit 40 images the operator's hand or finger in a state where the operator puts his arm on the armrest 50 shown in FIG. 2, for example, in a state where the burden on the operator is low.
  • the camera used as the body shape input unit 40 is a visible light camera, a near infrared camera, an infrared camera, or an ultrasonic camera. Data of an image captured by the body shape input unit 40 is input to the control unit 20.
  • the body shape input unit 40 may be configured as a separate body as long as it is electrically connected to the in-vehicle device 10.
  • the body shape input unit 40 is installed between the steering wheel and the window, and imaging in an easy posture other than the state where the arm is placed on the armrest 50 between the driver seat and the passenger seat is possible. is there.
  • the input operation via the touch panel 18 is performed by a press input operation or a gesture input operation.
  • the pressing input operation is an operation in which an operator touches or drags a button or icon displayed on the image display unit 17 with a finger.
  • the control unit 20 determines an input operation corresponding to a contact position on the touch panel 18.
  • the gesture input operation is not directly related to the screen displayed on the image display unit 17, and is an operation by a gesture such as a movement of the operator touching the touch panel 18 with a plurality of fingers and moving it sideways or turning a rotary switch. is there.
  • the “gesture” is a simple operation such as an action of moving a plurality of fingers in one direction such as up, down, left and right, or an action of moving a plurality of fingers clockwise or counterclockwise.
  • “gesture input” means an input operation itself by an operator's gesture.
  • “Gesture command” means a command for executing a function specified by a gesture input.
  • a pressing input operation the operator only presses the position of a button or icon displayed on the image display unit 17.
  • a gesture input operation it is necessary for the operator to extend his hand greatly toward the touch panel 18, which is a burden on the operator.
  • the position of contact with the touch panel 18 is not important, and the number and movement of fingers that touch the touch panel 18 are important.
  • the control unit 20 when the operator touches the touch panel 18 with a plurality of fingers, the control unit 20 recognizes that a specific gesture input performed with the plurality of fingers is started. At this time, the control unit 20 associates the hand shape (or finger shape) extracted from the data input from the body shape input unit 40 and the number of fingers with the gesture input specified by the input via the touch panel 18. In addition, the control unit 20 stores the plurality of finger movement data extracted by the body shape input unit 40 in the storage unit 11 in association with a gesture command for a specific gesture input operation stored in the storage unit 11.
  • FIG. 3 is a diagram showing a situation when the operator reaches out from the driver's seat of the vehicle and inputs a gesture with five fingers on the touch panel 18 of the in-vehicle device 10.
  • FIG. 4 is a diagram illustrating an example of gesture input performed on the touch panel 18 by the operator. In FIG. 4, a place 70 where five fingers touch the touch panel 18 and a gesture input 71 using these five fingers are indicated by arrows.
  • FIG. 5 is a diagram showing a situation when the operator is making a non-contact gesture input to the body shape input unit 40 of the in-vehicle device 10 with the arm placed on the armrest 50.
  • FIG. 6 is a figure which shows an example of the non-contact gesture input with respect to the body shape input part 40 by an operator.
  • the control unit 20 detects the shape 61 of the operator's hand including the position 80 of the five fingers and the five fingers from the image 41 input from the body shape input unit 40. At this time, if the operator puts his arm on the armrest 50, the input data from the body shape input unit 40 is stabilized continuously for a predetermined time.
  • the control unit 20 changes the time transition 81 of the position of each finger of the operator. Is detected.
  • the above-described gesture input to the touch panel 18, the non-contact gesture start condition, and the time transition 81 at the time of non-contact gesture input to the body shape input unit 40 are associated with each other.
  • the body shape input part 40 is provided in the position which images an operator's hand from a fingertip side. For this reason, the direction of the gesture input with respect to the touch panel 18 and the direction of the non-contact gesture input with respect to the body shape input unit 40 are reversed vertically and horizontally.
  • the body shape input unit 40 is not necessarily installed at the position described above. For this reason, the control unit 20 may perform a viewpoint conversion process on the data input from the body shape input unit 40.
  • the viewpoint conversion process since the body shape input unit 40 is converted into data as if it were in the position described above, the control unit 20 can easily extract the operator's hand shape and the number of fingers. , Gesture input errors are reduced.
  • the non-contact gesture start condition described above may be the hand shape and the number of fingers (single or plural) extracted from the input data from the body shape input unit 40.
  • the non-contact gesture start condition is the number of fingers and the hand shape extracted from the input data from the body shape input unit 40, non-contact gestures having different hand shapes can be discriminated if the number of fingers is the same.
  • non-contact gesture start conditions can be memorize
  • control unit 20 determines whether or not input from the body shape input unit 40 is possible (step S10).
  • the control unit 20 determines that the input from the body shape input unit 40 is not possible (step S10: NO). ).
  • the control unit 20 determines that the input from the body shape input unit 40 is possible (step). S10: YES).
  • step S10 determines that the input from the body shape input unit 40 is not possible in step S10 (step S10: NO)
  • the control unit 20 sets the in-vehicle device 10 to a state in which only the input from the touch panel 18 is possible. (Step S11).
  • step S10: YES determines that the input from the body shape input unit 40 is not possible in step S10
  • the control unit 20 inputs the in-vehicle device 10 from the touch panel 18 and the body shape input unit 40. Is set to a state in which two types of input can be input (step S12).
  • a state in which nothing is in contact with the touch panel 18 and no input to the in-vehicle device 10 is performed is a start timing.
  • control unit 20 detects the number of inputs due to the operator touching the touch panel 18, and determines whether the input is a plurality of inputs or a single input (step S20).
  • the control unit 20 determines that the number of inputs is a plurality (step S20: YES) and recognizes that the gesture input specified by the plurality of fingers has started (step S20). S21).
  • the control unit 20 determines whether or not the input to the touch panel 18 becomes undetected or continues (step S22). For example, after the operator touches the touch panel 18 with a plurality of fingers, the contact is stopped, and the input to the body shape input unit 40 with a posture that does not place a burden such as a state where the arm is placed on the armrest 50 while keeping the finger shape. When performing, the control unit 20 determines that the input to the touch panel 18 has not been detected (step S22: YES).
  • the control unit 20 extracts the hand shape (or finger shape) and the number of fingers from the data input from the body shape input unit 40 (step S23).
  • the control unit 20 determines whether the extracted data is stable (step S24). For example, when the operator's arm is stable, the hand shape (or finger shape) extracted from the input data from the body shape input unit 40 and the number of fingers are continuous for a certain period of time. At this time, the control unit 20 determines that the data extracted from the input data of the body shape input unit 40 is stable (step S24: YES). On the other hand, when the control unit 20 determines that the extracted data is not stable (step S24: NO), the process returns to step S23.
  • the control unit 20 determines whether the input from the body shape input unit 40 is valid or invalid (step S25). For example, when the number of fingers extracted from the data input from the body shape input unit 40 is plural, the control unit 20 determines that the input from the body shape input unit 40 is valid (step S25: YES). Next, the control unit 20 associates the hand shape (or finger shape) extracted in step S23 and the number of fingers with a specific gesture input on the touch panel 18, and stores it in the storage unit 11 as a non-contact gesture start condition (step). S26).
  • control unit 20 associates the finger movement (time change) data extracted from the input data from the body shape input unit 40 with a gesture command that can be executed by a specific gesture input on the touch panel 18. Then, it is stored in the storage unit 11 as a non-contact gesture and a gesture command is executed (step S27). Next, the control part 20 sets the vehicle-mounted apparatus 10 in the state in which two types of input of the input from the touch panel 18 and the input from the body shape input part 40 are possible (step S28).
  • step S20 determines that the number of inputs when the operator performs an input operation by touching the touch panel 18 in step S20 (step S20: NO)
  • step S30 determines that the input to the touch panel 18 continues in step S22 (step S22: NO)
  • step S30 determines that the input to the touch panel 18 continues in step S22 (step S22: NO)
  • step S30 determines that the input to the touch panel 18 continues in step S22 (step S22: NO)
  • step S30 determines that the input to the touch panel 18 continues in step S22
  • step S30 determines that the input to the touch panel 18 continues in step S22 (step S22: NO)
  • step S30 determines that the input to the touch panel 18 continues in step S22 (step S22: NO)
  • step S30 determines that the input to the touch panel 18 continues in step S22 (step S22: NO)
  • step S30 determines that the input to the touch panel 18 continues in step S22 (step S22: NO)
  • step S30 determines that the
  • step S25 when it is determined in step S25 that the input from the body shape input unit 40 is invalid (step S25: NO), the process proceeds to step S31.
  • step S ⁇ b> 31 the control unit 20 displays an error message on the image display unit 18. After step S31, the process returns to step S20.
  • the control unit 20 extracts the hand shape (or finger shape) and the number of fingers from the data input from the body shape input unit 40 (step S40).
  • the control unit 20 determines whether the extracted data is stable (step S41). For example, when the operator's arm is stable, the hand shape (or finger shape) extracted from the input data from the body shape input unit 40 and the number of fingers are continuous for a certain period of time. At this time, the control unit 20 determines that the data extracted from the input data of the body shape input unit 40 is stable (step S41: YES). On the other hand, when the control unit 20 determines that the extracted data is not stable (step S41: NO), the process returns to step S40.
  • the control unit 20 determines whether the hand shape (or finger shape) extracted in step S40 and the number of fingers match the non-contact gesture start condition stored in the storage unit 11. Is determined (step S42). When it is determined that the extracted hand shape (or finger shape) and the number of fingers match the non-contact gesture start condition (step S42: YES), the control unit 20 performs a specific gesture input associated with the non-contact gesture start condition. (Step S43). On the other hand, if it is determined that the extracted hand shape (or finger shape) and the number of fingers do not match the non-contact gesture start condition (step S42: NO), the process returns to step S40.
  • step S43 the control unit 20 stores the operator's finger movement (time change) data extracted from the input data from the body shape input unit 40 and the operator's finger stored in the storage unit 11 as a non-contact gesture. It is determined whether or not the time change data of the movement coincide with each other (step S44). When it is determined that these data match (step S44: YES), the control unit 20 executes a gesture command that can be executed by a specific gesture input associated with the non-contact gesture (step S45). On the other hand, if it is determined that the data does not match (step S44: NO), the process returns to step S40. After executing the gesture command in step S45, the control unit 20 sets the in-vehicle device 10 in a state where input from the touch panel 18 and input from the body shape input unit 40 are possible (step S46).
  • the in-vehicle device 10 of the present embodiment associates the input from the body shape input unit 40 according to the operator's gesture input operation with the gesture input on the touch panel 18. For this reason, even if the operator's hand shape (or finger shape) or operation has a characteristic or wrinkle unique to the operator, the in-vehicle device 10 can reliably recognize the gesture input operation by the operator. Further, the in-vehicle device 10 of the present embodiment does not have a lot of data considering each of the operator's various hand shapes (or finger shapes) or motion characteristics or wrinkles, and the gesture input operation by the operator Can be recognized reliably. Furthermore, the gesture input operation of the present embodiment can be performed in an easy state in which the operator does not have to greatly extend his hand or tilt the upper body obliquely forward.
  • the gesture input operation processing device of the present invention is useful as an in-vehicle device such as a navigation device that can perform a gesture input operation even if the hand shape or operation of the operator has a characteristic or wrinkle unique to the operator.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)
  • Instrument Panels (AREA)
  • Position Input By Displaying (AREA)

Abstract

　ジェスチャ入力操作処理装置は、操作者による接触位置を検出するタッチパネルと、操作者の身体形状に係る画像データを取り込む身体形状入力部と、画像データから操作者の非接触ジェスチャによる入力操作を認識し、タッチパネルに対する操作者によるジェスチャ入力を認識し、身体形状入力部からのデータとタッチパネルからのデータを関連付ける制御部と、制御部が行った関連付けとジェスチャの種類を記憶する記憶部とを備える。

Description

ジェスチャ入力操作処理装置
　本発明は、ジェスチャ入力操作処理装置に関する。
　近年の自動車には、画面上に道路地図と共に現在地を表示して、現在地から目的地までの経路の案内を行うナビゲーション装置が搭載されている。ナビゲーション装置には、例えば特許文献１で開示されているように、画像表示部に重ねてタッチパネルが入力手段として設けられている。また、特許文献２に記載された装置は、カメラの撮影画像からパターンマッチングにより操作者の手形状を取得し、手形状であることを認識したうえで操作者の操作を許可した後、操作者の手形状や手の位置の時間変化パターンであるジェスチャを検出することで操作者の入力を解釈する。
日本国特開２００６－２８５５９８号公報 日本国特開２０００－６６８７号公報
　車載装置の場合、画像表示部（ディスプレイ）は運転席から見やすい位置に設けられる。特に最近では、運転中の視線移動を軽減するなどの目的のために、例えばインストルメントパネル上の運転席と助手席との中間にディスプレイが設けられ、車載装置が運転席から遠方に配置される傾向がある。このため、ディスプレイに重ねられたタッチパネルを操作するには、大きく手を伸ばしたり、上体を斜め前方に傾けたりする必要がある。この状況は、特にタッチパネルによるジェスチャ入力操作時に操作者の負担が大きい。
　また、特許文献２に記載された装置において操作者がジェスチャ入力操作を行うためには、操作者の手をカメラで撮影し、撮影した手の形状又はジェスチャをパターンマッチングによって検知する必要がある。このため、手の形状又はジェスチャのデータなどをあらかじめ記憶しておく必要があった。また、手の形状又はジェスチャに操作者の癖があらわれる場合には、記憶されたデータに合致しない。この場合、操作者のジェスチャを認識できない。
　本発明の目的は、操作者の手形状又は動作に操作者特有の特徴又は癖があってもジェスチャ入力操作を確実に認識可能なジェスチャ入力操作処理装置を提供することである。
　本発明のジェスチャ入力操作処理装置は、画像を表示する画像表示部に重ねて設けられ、操作者が接触した位置を検出するためのタッチパネルと、操作者がジェスチャ入力操作を行う際の当該操作者の身体形状を画像データとして取り込む身体形状入力部と、前記身体形状入力部が取り込んだ画像データから操作者の非接触ジェスチャによる入力操作を認識し、前記タッチパネルに対する操作者によるジェスチャ入力を認識し、前記身体形状入力部からの入力データと前記タッチパネルからの入力データを関連付ける制御部と、前記制御部によって行われた前記身体形状入力部からの入力データと前記タッチパネルからの入力データの関連付けを記憶し、ジェスチャの種類を記憶する記憶部と、を備えた構成を有する。
　本発明によれば、操作者の手形状又は動作に操作者特有の特徴又は癖があってもジェスチャ入力操作を確実に認識できる。
本発明の一実施の形態におけるジェスチャ入力操作が可能な車載装置のブロック図 車載装置１０の車内における設置例を示す図 車輛の運転席から操作者が手を伸ばし、車載装置１０のタッチパネル１８に５本の指でジェスチャ入力をしているときの状況を示す図 操作者によるタッチパネル１８に対するジェスチャ入力の一例を示す図 操作者が肘掛５０に腕を置いた状態で、車載装置１０の身体形状入力部４０に対して非接触ジェスチャ入力をしているときの状況を示す図 操作者による身体形状入力部４０に対する非接触ジェスチャ入力の一例を示す図 車載装置１０がどこからの入力状態に設定されるか説明するためのフローチャート タッチパネル１８からの入力が可能な状態での車載装置１０の動作を説明するためのフローチャート 身体形状入力部４０からの入力が可能な状態での車載装置１０の動作を説明するためのフローチャート
　以下、本発明の実施の形態におけるジェスチャ入力操作が可能な車載装置について、図面を用いて説明する。ただし、以下の説明では、ジェスチャ入力操作が可能な車載装置として、車載用のナビゲーション装置を例示する。以下、このナビゲーション装置を単に「車載装置」と呼ぶ。
　図１は、本発明の一実施の形態におけるジェスチャ入力操作が可能な車載装置のブロック図である。本実施の形態における車載装置１０は、経路案内などを行うナビゲーション機能、及び、例えばＤＶＤ（Digital Versatile Disc）などの記録媒体に記録された音響映像の再生を行うオーディオビジュアル再生機能などを備える。
　図１に示すように、車載装置１０は、記憶部１１と、外部入力部１２と、スピーカ１３と、画像表示部１７と、タッチパネル１８と、制御部２０と、ＤＶＤ／ＣＤドライブ２２と、ＧＰＳ受信機２３と、車速センサ２４と、ジャイロスコープ（以下、単に「ジャイロ」という）２５と、身体形状入力部４０とを備える。ただし、ＤＶＤ／ＣＤドライブ２２、ＧＰＳ受信機２３、車速センサ２４、ジャイロ２５、スピーカ１３及び身体形状入力部４０は、車載装置１０の内部に一体に設けられている必要はなく、車載装置１０から電気的に脱着可能な構成としても良い。また、画像表示部１７とタッチパネル１８は、一体構造であっても良い。
　図２は、車載装置１０の車内における設置例を示す図である。車載装置１０は、車内のセンターコンソールに取り付けられ、操作者がタッチパネル１８を介した入力操作を行う場合、操作者は腕を伸ばして入力操作を行う。
　以下、車載装置１０の各構成要素について説明する。
　記憶部１１は、ハードディスクドライブ（ＨＤＤ）、メモリカード、又は車載装置１０内部の図示しないプリント基板上に実装されたフラッシュメモリなどである。記憶部１１は、単一種類の媒体による構成でも、複数種類の媒体を併用した構成であっても良い。
　記憶部１１には、画像表示部１７に表示するアイコンに係るデータ（アイコンの大きさ、表示領域又はレイアウト）、車載装置１０の動作を制御するために必要な基本プログラム、画像表示の制御のためのプログラム、ナビゲーション機能の実行若しくはオーディオビジュアル再生機能の実行に用いられるアプリケーションソフトのプログラム、ナビゲーション機能で利用する地図のデータベース、又は電話番号などのデータベースなどの各種データが格納される。また、記憶部１１には、身体形状入力部４０から入力された手の形状又は指の本数などのデータ、又はタッチパネル１８からの入力データと身体形状入力部４０からの入力データとが関連付けされたデータが格納される。さらに、記憶部１１には、一般的な記憶部と同様に、各種プログラム又は各種データ等を展開する領域及び画像が展開される領域などが設けられている。
　外部入力部１２は、車載装置１０に接続可能な外部機器から出力された信号を入力するために設けられている。外部機器から出力された信号は、例えば、ＤＶＤ又はＣＤなどのメディアを再生して得られる映像信号及び／又は音声信号であったり、デジタルテレビなどからの映像信号及び音声信号である。
　スピーカ１３は、車載装置１０で処理された音声を出力する。当該音声は、例えば、車載装置１０への操作を車載装置１０が受け付けたことを操作者へ伝えるための効果音、外部機器から外部入力部１２に入力された音声若しくは音楽、又はＤＶＤ／ＣＤドライブ２２で再生された音声若しくは音楽などである。
　画像表示部１７は、映像又は画像を表示する一般的な液晶ディスプレイである。画像表示部１７に表示される映像又は画像は、例えば、記憶部１１が記憶するオープニング画面若しくはメニュー画面、又は外部機器から外部入力部１２に入力された映像若しくは静止画などである。
　画像表示部１７は、偏光フィルタ、液晶、ガラス基板及びカラーフィルタなどを含む液晶パネルと、冷陰極管又はＬＥＤ及び導光板などの液晶パネルの光源に用いられるバックライトユニットと、画像表示のための各種信号を処理するＩＣなどの電気部品と、液晶パネル、バックライトユニット又は電子部品を駆動するための電源ユニットとを有する。なお、電源ユニットは、画像表示部１７と別体に構成されていても良い。
　タッチパネル１８は、画像表示部１７の内部又は表面に設けられた、導電層を有する透過性のパネルである。タッチパネル１８に対する入力操作は、操作者が画像表示部１７に表示されたアイコンなどの該当箇所を手又は指で触れることによって行われる。該当箇所に対する接触操作によって、タッチパネル１８では静電容量の変化が生じ、その信号が制御部２０へ出力される。なお、画像表示部１７に表示された該当箇所とは、アイコン又は地図上の任意の位置である。また、接触操作には、タッチパネル１８に触れたまま指を所定の速さで動かしたり、タッチパネル１８に手又は指を近接する行為も含まれる。
　制御部２０は、マイクロプロセッサとマイクロプロセッサを動作させるための電気回路とを含む。制御部２０は、記憶部１１が記憶する制御プログラムを実行して、各種処理を行う。また、制御部２０は、制御部２０が処理して得られた映像又は画像を画像表示部１７に表示する。また、制御部２０は、タッチパネル１８からの信号に基づいて、操作者の手又は指が接触した位置を算出する。制御部２０は、算出した位置に対応する情報を記憶部１１が記憶する情報と照合し、アイコン、メニュー若しくはスイッチなどに定義されている機能又はジェスチャに定義されている機能を実行する。また、制御部２０は、身体形状入力部４０からの入力データに基づいて身体形状を抽出したり、抽出したデータと記憶部１１が記憶するデータ又はタッチパネル１８からの入力データとを関連付ける。なお、制御部２０が含むマイクロプロセッサは一つでも良いし、ＤＶＤ再生やオーディオ再生などの機能ごとに複数のマイクロプロセッサを含んでも良い。
　ＤＶＤ／ＣＤドライブ２２は、音声ソース（又は音声データ）及び／又は映像ソース（又は映像データ）が保存されたディスクを再生する。
　ＧＰＳ受信機２３は、ＧＰＳ衛星からの信号を受信する。
　車速センサ２４は、車載装置１０が搭載された車輌の走行速度を検出する。
　ジャイロ２５は、車輌の回転、上下方向の変化量又は加速度を検出する。
　身体形状入力部４０は、操作者がジェスチャ入力操作を行う際の当該操作者の手又は指などの身体形状を撮像するためのカメラである。身体形状入力部４０は、操作者が例えば図２に示す肘掛５０に腕を置いた状態、すなわち操作者の負担の少ない状態で、この操作者の手又は指を撮像する。身体形状入力部４０として用いられるカメラは、可視光カメラ、近赤外カメラ、赤外線カメラ又は超音波カメラである。身体形状入力部４０によって撮像された画像のデータは制御部２０に入力される。
　なお、身体形状入力部４０は、車載装置１０と電気的に接続されていれば別体として構成されても良い。別体とした場合、身体形状入力部４０を例えばステアリングと窓の間に設置するなど、運転席と助手席の間の肘掛５０に腕を置いた状態以外の楽な姿勢での撮像が可能である。
　以下、車載装置１０における入力操作について説明する。タッチパネル１８を介した入力操作は、押下入力操作又はジェスチャ入力操作によって行われる。押下入力操作とは、画像表示部１７に表示された釦やアイコンを操作者が指で触れたりドラッグする操作である。押下入力操作が行われると、制御部２０は、タッチパネル１８への接触位置に応じた入力操作を決定する。ジェスチャ入力操作とは、画像表示部１７に表示された画面とは直接関係はなく、操作者がタッチパネル１８に複数の指で触れて横に動かしたり回転スイッチを回すような動きといったジェスチャによる操作である。
　なお、本実施形態において、「ジェスチャ」とは、複数の指を上下左右など一方向に動かす行為、又は複数の指を時計回り若しくは反時計回りに動かす行為といった簡単な動作である。また、「ジェスチャ入力」とは、操作者のジェスチャによる入力の動作自体を意味する。「ジェスチャコマンド」とは、ジェスチャ入力により特定された機能を実行するためのコマンドを意味する。
　押下入力操作の場合、操作者は画像表示部１７に表示された釦やアイコンの位置を押下するだけである。一方、ジェスチャ入力操作の場合、操作者はタッチパネル１８に向けて大きく手を伸ばす必要があるため、操作者の負担になる。ジェスチャ入力操作では、タッチパネル１８への接触位置は重要ではなく、タッチパネル１８に接触した指の本数と動きが重要である。
　本実施形態では、タッチパネル１８に操作者が複数の指で触れると、制御部２０は、複数の指で行われる特定のジェスチャ入力が開始されることを認識する。このとき、制御部２０は、身体形状入力部４０から入力されたデータより抽出した手形状（又は指形状）と指の本数を、タッチパネル１８を介した入力によって特定されたジェスチャ入力に関連付ける。また、制御部２０は、身体形状入力部４０が抽出した複数の指の動作のデータを、記憶部１１が記憶する特定のジェスチャ入力操作ためのジェスチャコマンドと関連付けて、記憶部１１に格納する。
　図３は、車輌の運転席から操作者が手を伸ばし、車載装置１０のタッチパネル１８に５本の指でジェスチャ入力をしているときの状況を示す図である。また、図４は、操作者によるタッチパネル１８に対するジェスチャ入力の一例を示す図である。図４には、５本の指がタッチパネル１８に触れた場所７０と、これら５本の指によるジェスチャ入力７１が矢印で示されている。
　図５は、操作者が肘掛５０に腕を置いた状態で、車載装置１０の身体形状入力部４０に対して非接触ジェスチャ入力をしているときの状況を示す図である。また、図６は、操作者による身体形状入力部４０に対する非接触ジェスチャ入力の一例を示す図である。図６に示すように、制御部２０は、身体形状入力部４０から入力された画像４１より、５本の指の位置８０を含む操作者の手の形状６１と５本の指を検出する。このとき操作者が肘掛５０に腕を置いた状態であれば、身体形状入力部４０からの入力データは一定時間連続して安定する。制御部２０が操作者の手の形状６１と５本の指を検出して、当該検出結果が非接触ジェスチャ開始条件に一致すると、制御部２０は、操作者の各指の位置の時間変移８１を検出する。
　上記示したタッチパネル１８に対するジェスチャ入力と、非接触ジェスチャ開始条件と、身体形状入力部４０に対する非接触ジェスチャ入力時の時間変移８１とは関連付けられている。なお、図５に示すように、身体形状入力部４０は、操作者の手を指先側から撮像する位置に設けられている。このため、タッチパネル１８に対するジェスチャ入力の方向と、身体形状入力部４０に対する非接触ジェスチャ入力の方向は、上下左右が反転する。
　なお、身体形状入力部４０は必ずしも上記説明した位置に設置されるとは限らない。このため、制御部２０は、身体形状入力部４０から入力されたデータに対して視点変換処理を行っても良い。視点変換処理を行った場合、あたかも身体形状入力部４０が上記説明した位置にあるようなデータに変換されるため、制御部２０は、操作者の手形状や指の本数の抽出が容易になり、ジェスチャ入力エラーが低減される。
　また、上記説明した非接触ジェスチャ開始条件は、身体形状入力部４０からの入力データより抽出した手形状と指の数（単数又は複数）としてもよい。非接触ジェスチャ開始条件を身体形状入力部４０からの入力データから抽出した手形状と指の数とした場合、指の数が同じあれば手形状の異なる非接触ジェスチャを判別できる。このため、異なる複数本の指でのジェスチャ毎に非接触ジェスチャ開始条件を記憶できる。例えば、３本指のジェスチャと５本指のジェスチャとがそれぞれ異なる非接触ジェスチャに関連付けされる。その結果、操作者の操作性が向上する。
　以下、車載装置１０の動作について、図７～図９を参照して説明する。
　操作者が初めて車載装置１０を操作する場合、又は操作者が入力していない状態、すなわちタッチパネル１８に何も接触していない状態かつ身体形状入力部４０から何も入力されていない状態を開始のタイミングとする。図７に示すように、制御部２０は、身体形状入力部４０からの入力が可能か否か判別する（ステップＳ１０）。このとき、制御部２０は、操作者が車載装置１０を初めて使用する場合、又は以前にタッチパネル１８による入力操作しか行っておらず、身体形状入力部４０による入力操作を行っていない場合、身体形状入力部４０から入力されたデータと記憶部１１が記憶するジェスチャコマンドとが関連付けられていないため、制御部２０は、身体形状入力部４０からの入力は可能ではないと判別する（ステップＳ１０：ＮＯ）。一方、身体形状入力部４０から入力されたデータと、記憶部１１が記憶するジェスチャコマンドとが関連付けられている場合、制御部２０は、身体形状入力部４０からの入力は可能と判別する（ステップＳ１０：ＹＥＳ）。
　ステップＳ１０で身体形状入力部４０からの入力が可能ではないと制御部２０が判別した場合（ステップＳ１０：ＮＯ）、制御部２０は、車載装置１０をタッチパネル１８からの入力のみ可能な状態に設定する（ステップＳ１１）。ステップＳ１０で身体形状入力部４０からの入力が可能ではないと制御部２０が判別した場合（ステップＳ１０：ＹＥＳ）、制御部２０は、車載装置１０をタッチパネル１８からの入力と身体形状入力部４０からの入力との２通りの入力が可能な状態に設定する（ステップＳ１２）。
　次に、タッチパネル１８からの入力が可能な状態での車載装置１０の動作について、図８を参照して説明する。なお、タッチパネル１８に何も接触しておらず、車載装置１０への入力が行われていない状態を開始のタイミングとする。
　操作者がタッチパネル１８に接触することにより入力操作を行うと、制御部２０は、操作者のタッチパネル１８への接触による入力数を検出し、複数入力か単数入力かを判別する（ステップＳ２０）。操作者がタッチパネル１８に複数の指で接触した場合、制御部２０は、入力数は複数と判別し（ステップＳ２０：ＹＥＳ）、複数の指で特定されるジェスチャ入力が開始されたと認識する（ステップＳ２１）。
　次に、制御部２０は、タッチパネル１８への入力が未検出になるか継続するかを判別する（ステップＳ２２）。例えば、操作者がタッチパネル１８に複数の指で接触した後、当該接触をやめ、指の形を保ったまま肘掛５０に腕を置いた状態など負担のかからない体勢で身体形状入力部４０への入力を行った場合、制御部２０はタッチパネル１８への入力が未検出と判別する（ステップＳ２２：ＹＥＳ）。
　次に、制御部２０は、身体形状入力部４０から入力されたデータより手形状（又は指形状）と指の本数を抽出する（ステップＳ２３）。次に、制御部２０は、抽出したデータが安定しているかを判別する（ステップＳ２４）。例えば、操作者の腕が安定した状態の場合、身体形状入力部４０からの入力データより抽出した手形状（又は指形状）と指の本数は一定時間連続する。このとき、制御部２０は、身体形状入力部４０の入力データより抽出したデータは安定していると判別する（ステップＳ２４：ＹＥＳ）。一方、抽出したデータが安定していないと制御部２０が判別した際（ステップＳ２４：ＮＯ）には、ステップＳ２３に戻る。
　ステップＳ２４でデータが安定と判別した後、制御部２０は、身体形状入力部４０からの入力が有効か無効かを判別する（ステップＳ２５）。例えば、身体形状入力部４０から入力されたデータより抽出した指の本数が複数の場合、制御部２０は、身体形状入力部４０からの入力は有効と判別する（ステップＳ２５：ＹＥＳ）。次に、制御部２０は、ステップＳ２３で抽出した手形状（又は指形状）と指の本数を、タッチパネル１８に対する特定のジェスチャ入力と関連付け、非接触ジェスチャ開始条件として記憶部１１に格納する（ステップＳ２６）。
　次に、制御部２０は、身体形状入力部４０からの入力データより抽出した操作者の指の動き（時間変化）のデータと、タッチパネル１８に対する特定のジェスチャ入力により実行可能なジェスチャコマンドとを関連付け、非接触ジェスチャとして記憶部１１に格納し、ジェスチャコマンドを実行する（ステップＳ２７）。次に、制御部２０は、車載装置１０を、タッチパネル１８からの入力と身体形状入力部４０からの入力の２通りの入力が可能な状態に設定する（ステップＳ２８）。
　一方、ステップＳ２０において、操作者がタッチパネル１８に接触することにより入力操作を行った際の入力数が単数であると制御部２０が判別した際（ステップＳ２０：ＮＯ）には、ステップＳ３０に進む。また、ステップＳ２２において、タッチパネル１８への入力が継続すると制御部２０が判別した際（ステップＳ２２：ＮＯ）も、ステップＳ３０に進む。ステップＳ３０では、制御部２０は、接触された場所に割り振られたジェスチャコマンドの実行など、一般的なタッチパネル１８に対する複数の指によるジェスチャ入力として処理する。ステップＳ３０の後はステップＳ２０に戻る。
　また、ステップＳ２５において、身体形状入力部４０からの入力が無効と判別した際（ステップＳ２５：ＮＯ）には、ステップＳ３１に進む。ステップＳ３１では、制御部２０は、画像表示部に１８にエラーメッセージを表示する。ステップＳ３１の後はステップＳ２０に戻る。
　次に、身体形状入力部４０からの入力が可能な状態での車載装置１０の動作について、図９を参照して説明する。なお、身体形状入力部４０から何も入力されていない状態を開始のタイミングとする。
　制御部２０は、身体形状入力部４０から入力されたデータより手形状（又は指形状）と指の本数を抽出する（ステップＳ４０）。次に、制御部２０は、抽出したデータが安定しているかを判別する（ステップＳ４１）。例えば、操作者の腕が安定した状態の場合、身体形状入力部４０からの入力データより抽出した手形状（又は指形状）と指の本数は一定時間連続する。このとき、制御部２０は、身体形状入力部４０の入力データより抽出したデータは安定していると判別する（ステップＳ４１：ＹＥＳ）。一方、抽出したデータが安定していないと制御部２０が判別した際（ステップＳ４１：ＮＯ）には、ステップＳ４０に戻る。
　ステップＳ４１でデータが安定と判別した後、制御部２０は、ステップＳ４０で抽出した手形状（又は指形状）と指の本数が、記憶部１１が記憶する非接触ジェスチャ開始条件に一致するか否かを判別する（ステップＳ４２）。抽出した手形状（又は指形状）と指の本数が非接触ジェスチャ開始条件に一致すると判別した場合（ステップＳ４２：ＹＥＳ）、制御部２０は、非接触ジェスチャ開始条件に関連付けられた特定のジェスチャ入力が開始されたと認識する（ステップＳ４３）。一方、抽出した手形状（又は指形状）と指の本数が非接触ジェスチャ開始条件に一致しないと判別した場合（ステップＳ４２：ＮＯ）には、ステップＳ４０に戻る。
　ステップＳ４３の後、制御部２０は、身体形状入力部４０からの入力データより抽出した操作者の指の動き（時間変化）のデータと、非接触ジェスチャとして記憶部１１が記憶する操作者の指の動きの時間変化のデータとが一致するか否かを判別する（ステップＳ４４）。これらデータが一致すると判別した場合（ステップＳ４４：ＹＥＳ）、制御部２０は、非接触ジェスチャに関連付けられた特定のジェスチャ入力により実行可能なジェスチャコマンドを実行する（ステップＳ４５）。一方、上記データが一致しないと判別した場合（ステップＳ４４：ＮＯ）には、ステップＳ４０に戻る。ステップＳ４５でジェスチャコマンドを実行後、制御部２０は、車載装置１０を、タッチパネル１８からの入力と身体形状入力部４０からの入力の２通りの入力が可能な状態に設定する（ステップＳ４６）。
　以上説明したように、本実施形態の車載装置１０は、操作者のジェスチャ入力操作に応じた身体形状入力部４０からの入力を、タッチパネル１８に対するジェスチャ入力に関連付けている。このため、操作者の手形状（又は指形状）又は動作などに操作者特有の特徴又は癖があっても、車載装置１０は、操作者によるジェスチャ入力操作を確実に認識することができる。また、本実施形態の車載装置１０は、操作者の様々な手形状（又は指形状）又は動作の特徴又は癖をそれぞれ考慮した多数のデータを有していなくても、操作者によるジェスチャ入力操作を確実に認識できる。さらに、本実施形態のジェスチャ入力操作は、操作者が大きく手を伸ばしたり上体をおおきく斜め前方に傾けたりする必要がない楽な状態で行うことができる。
　本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
　本出願は、2012年3月15日出願の日本特許出願（特願2012-059286）に基づくものであり、その内容はここに参照として取り込まれる。
　本発明のジェスチャ入力操作処理装置は、操作者の手形状又は動作に操作者特有の特徴又は癖があってもジェスチャ入力操作ができるナビゲーション装置などの車載装置として有用である。
１０　車載装置
１１　記憶部
１２　外部入力部
１３　スピーカ
１７　画像表示部
１８　タッチパネル
２０　制御部
２２　ＤＶＤ／ＣＤドライブ
２３　ＧＰＳ受信機
２４　車速センサ
２５　ジャイロスコープ
４０　身体形状入力部
４１　身体形状入力部からの画像データ
５０　肘掛
６０　操作者の手
６１　身体形状入力部から抽出した操作者の手の形状
７０　指がタッチパネルに触れた場所
７１　ジェスチャ入力
８０　身体形状入力部より抽出した指の位置
８１　身体形状入力部より抽出した指の位置の時間変移

Claims (6)

  1. 　画像を表示する画像表示部に重ねて設けられ、操作者が接触した位置を検出するためのタッチパネルと、
    　操作者がジェスチャ入力操作を行う際の当該操作者の身体形状を画像データとして取り込む身体形状入力部と、
    　前記身体形状入力部が取り込んだ画像データから操作者の非接触ジェスチャによる入力操作を認識し、前記タッチパネルに対する操作者によるジェスチャ入力を認識し、前記身体形状入力部からの入力データと前記タッチパネルからの入力データを関連付ける制御部と、
    　前記制御部によって行われた前記身体形状入力部からの入力データと前記タッチパネルからの入力データの関連付けを記憶し、ジェスチャの種類を記憶する記憶部と、
    を備えたジェスチャ入力操作処理装置。
  2. 　請求項１に記載のジェスチャ入力操作処理装置であって、
    　前記制御部は、前記操作者の特定の身体形状を特定のジェスチャ入力と関連付けて、非接触ジェスチャ開始条件として前記記憶部に格納するジェスチャ入力操作処理装置。
  3. 　請求項１又は２に記載のジェスチャ入力操作処理装置であって、
    　前記身体形状入力部が、前記タッチパネル、前記制御部及び前記記憶部の少なくともいずれか一つと一体に構成されたジェスチャ入力操作処理装置。
  4. 　請求項１又は２に記載のジェスチャ入力操作処理装置であって、
    　前記身体形状入力部が、前記タッチパネル、前記制御部及び前記記憶部の少なくともいずれか一つと別体に構成されたジェスチャ入力操作処理装置。
  5. 　請求項２に記載のジェスチャ入力操作処理装置であって、
    　前記非接触ジェスチャ開始条件は、操作者の身体形状が示す指の数を含むジェスチャ入力操作処理装置。
  6. 　請求項５に記載のジェスチャ入力操作処理装置であって、
    　前記非接触ジェスチャ開始条件は、操作者の手の形状を含むジェスチャ入力操作処理装置。
PCT/JP2013/001620 2012-03-15 2013-03-12 ジェスチャ入力操作処理装置 WO2013136776A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/382,908 US20150015521A1 (en) 2012-03-15 2013-03-12 Gesture input operation processing device
CN201380013621.7A CN104169839A (zh) 2012-03-15 2013-03-12 手势输入操作处理装置
EP13761982.1A EP2827223A4 (en) 2012-03-15 2013-03-12 Gesture input operation processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-059286 2012-03-15
JP2012059286 2012-03-15

Publications (1)

Publication Number Publication Date
WO2013136776A1 true WO2013136776A1 (ja) 2013-09-19

Family

ID=49160705

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/001620 WO2013136776A1 (ja) 2012-03-15 2013-03-12 ジェスチャ入力操作処理装置

Country Status (5)

Country Link
US (1) US20150015521A1 (ja)
EP (1) EP2827223A4 (ja)
JP (1) JPWO2013136776A1 (ja)
CN (1) CN104169839A (ja)
WO (1) WO2013136776A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015172424A1 (zh) * 2014-05-16 2015-11-19 中兴通讯股份有限公司 一种控制方法、装置、电子设备及计算机存储介质
JP2016038607A (ja) * 2014-08-05 2016-03-22 アルパイン株式会社 入力システムおよび入力方法
JP2016153250A (ja) * 2015-02-20 2016-08-25 クラリオン株式会社 情報処理装置
JP2017171287A (ja) * 2016-03-21 2017-09-28 ヴァレオ ビジョンＶａｌｅｏ Ｖｉｓｉｏｎ 車両内照明のための音声および／またはジェスチャー認識を伴う制御デバイスおよび方法
WO2017179201A1 (ja) * 2016-04-15 2017-10-19 三菱電機株式会社 車載情報処理装置および車載情報処理方法
CN107305134A (zh) * 2016-04-22 2017-10-31 高德信息技术有限公司 在电子地图上显示预定形状的导航路线的方法和装置
JP7470017B2 (ja) 2020-11-13 2024-04-17 シャープ株式会社 表示制御システム、表示制御方法、及び表示制御プログラム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI494749B (zh) * 2013-03-15 2015-08-01 Pixart Imaging Inc 位移偵測裝置及其省電方法
JP2016004541A (ja) * 2014-06-19 2016-01-12 本田技研工業株式会社 車両用操作入力装置
KR101626427B1 (ko) * 2014-10-22 2016-06-01 현대자동차주식회사 차량, 멀티미디어 장치 및 그 제어 방법
CN105049535A (zh) * 2015-09-01 2015-11-11 南通希尔顿博世流体设备有限公司 一种带环境检测的车载系统
CN105049534A (zh) * 2015-09-01 2015-11-11 南通希尔顿博世流体设备有限公司 一种车载系统
JP6543185B2 (ja) * 2015-12-22 2019-07-10 クラリオン株式会社 車載装置
USD907653S1 (en) 2017-09-05 2021-01-12 Byton Limited Display screen or portion thereof with a graphical user interface
USD889492S1 (en) 2017-09-05 2020-07-07 Byton Limited Display screen or portion thereof with a graphical user interface
US10746560B2 (en) * 2017-09-05 2020-08-18 Byton Limited Interactive mapping
USD890195S1 (en) 2017-09-05 2020-07-14 Byton Limited Display screen or portion thereof with a graphical user interface
CN115009017B (zh) * 2022-08-08 2022-11-15 成都智暄科技有限责任公司 一种仪表指示灯智能显示方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000006687A (ja) 1998-06-25 2000-01-11 Yazaki Corp 車載機器スイッチ安全操作システム
WO2006104132A1 (ja) * 2005-03-28 2006-10-05 Matsushita Electric Industrial Co., Ltd. ユーザインタフェイスシステム
JP2006285598A (ja) 2005-03-31 2006-10-19 Fujitsu Ten Ltd タッチパネル装置、タッチパネル装置の操作支援方法、及びタッチパネル装置の操作支援プログラム
WO2010098050A1 (ja) * 2009-02-25 2010-09-02 日本電気株式会社 電子機器のインターフェース、電子機器、並びに電子機器の操作方法、操作プログラム及び操作システム
WO2011142317A1 (ja) * 2010-05-11 2011-11-17 日本システムウエア株式会社 ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8086971B2 (en) * 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000006687A (ja) 1998-06-25 2000-01-11 Yazaki Corp 車載機器スイッチ安全操作システム
WO2006104132A1 (ja) * 2005-03-28 2006-10-05 Matsushita Electric Industrial Co., Ltd. ユーザインタフェイスシステム
JP2006285598A (ja) 2005-03-31 2006-10-19 Fujitsu Ten Ltd タッチパネル装置、タッチパネル装置の操作支援方法、及びタッチパネル装置の操作支援プログラム
WO2010098050A1 (ja) * 2009-02-25 2010-09-02 日本電気株式会社 電子機器のインターフェース、電子機器、並びに電子機器の操作方法、操作プログラム及び操作システム
WO2011142317A1 (ja) * 2010-05-11 2011-11-17 日本システムウエア株式会社 ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2827223A4

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015172424A1 (zh) * 2014-05-16 2015-11-19 中兴通讯股份有限公司 一种控制方法、装置、电子设备及计算机存储介质
JP2016038607A (ja) * 2014-08-05 2016-03-22 アルパイン株式会社 入力システムおよび入力方法
JP2016153250A (ja) * 2015-02-20 2016-08-25 クラリオン株式会社 情報処理装置
JP2017171287A (ja) * 2016-03-21 2017-09-28 ヴァレオ ビジョンＶａｌｅｏ Ｖｉｓｉｏｎ 車両内照明のための音声および／またはジェスチャー認識を伴う制御デバイスおよび方法
WO2017179201A1 (ja) * 2016-04-15 2017-10-19 三菱電機株式会社 車載情報処理装置および車載情報処理方法
CN107305134A (zh) * 2016-04-22 2017-10-31 高德信息技术有限公司 在电子地图上显示预定形状的导航路线的方法和装置
CN107305134B (zh) * 2016-04-22 2020-05-08 高德信息技术有限公司 在电子地图上显示预定形状的导航路线的方法和装置
JP7470017B2 (ja) 2020-11-13 2024-04-17 シャープ株式会社 表示制御システム、表示制御方法、及び表示制御プログラム

Also Published As

Publication number Publication date
CN104169839A (zh) 2014-11-26
US20150015521A1 (en) 2015-01-15
EP2827223A1 (en) 2015-01-21
JPWO2013136776A1 (ja) 2015-08-03
EP2827223A4 (en) 2017-03-08

Similar Documents

Publication Publication Date Title
WO2013136776A1 (ja) ジェスチャ入力操作処理装置
JP5409657B2 (ja) 画像表示装置
EP2829440B1 (en) On-board apparatus
JP5581376B2 (ja) 表示装置
JP4545212B2 (ja) 操作入力装置
JP5720003B2 (ja) 表示装置
US10967737B2 (en) Input device for vehicle and input method
JP2008197934A (ja) 操作者判別方法
JP2015035134A (ja) 入力装置
JP6177660B2 (ja) 入力装置
JP2006264615A (ja) 車両用表示装置
US20220234444A1 (en) Input device
JP2014021748A (ja) 操作入力装置及びそれを用いた車載機器
JP2010061256A (ja) 表示装置
JP2012032879A (ja) 入力操作装置
JP2015132905A (ja) 電子システム、検出範囲の制御方法、及び制御プログラム
JP2013159255A (ja) 車載機器、車載機器の制御方法、車載機器の制御装置
JP2010089638A (ja) 車両用操作装置
JP2009214681A (ja) 遠隔操作システム
JP2011107900A (ja) 入力表示装置
JP2014191818A (ja) 操作支援システム、操作支援方法及びコンピュータプログラム
JP2020160790A (ja) 制御装置及び制御システム
JP2022030157A (ja) 表示制御装置および表示制御方法
JP2015035136A (ja) 入力装置
JP2018084624A (ja) 制御装置、制御方法及び制御用プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13761982

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014504700

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2013761982

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2013761982

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14382908

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE