WO2015146037A1 - 車両用表示入力装置 - Google Patents

車両用表示入力装置 Download PDF

Info

Publication number
WO2015146037A1
WO2015146037A1 PCT/JP2015/001362 JP2015001362W WO2015146037A1 WO 2015146037 A1 WO2015146037 A1 WO 2015146037A1 JP 2015001362 W JP2015001362 W JP 2015001362W WO 2015146037 A1 WO2015146037 A1 WO 2015146037A1
Authority
WO
WIPO (PCT)
Prior art keywords
line
sight
gesture
detection area
input device
Prior art date
Application number
PCT/JP2015/001362
Other languages
English (en)
French (fr)
Inventor
洋一 成瀬
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to US15/128,588 priority Critical patent/US10019069B2/en
Publication of WO2015146037A1 publication Critical patent/WO2015146037A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60Instruments characterised by their location or relative disposition in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146Instrument input by gesture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149Instrument input by detecting viewing direction not otherwise provided for

Definitions

  • the present disclosure relates to a vehicle display input device that is mounted on a vehicle, displays information related to the vehicle in a display area, and an operation is input by a driver of the vehicle.
  • Patent Literature 1 discloses an operation input device capable of detecting two types of gestures as a configuration having an operation menu in which a plurality of operations are defined. In this operation input device, an operation mode selection operation is performed by the first type of gesture. Then, a parameter changing operation in the selected operation mode is performed by the second type of gesture.
  • Patent Document 1 two types of gestures performed by the driver need to be discriminated by the operation input device, so that each becomes a complicated hand movement. This makes it difficult to perform gestures while holding the steering wheel, and the driver has to release his hand from the steering wheel for a long time. In addition, since the driver's consciousness is directed to performing complicated two types of gestures, the driver's attention to driving accompanying the gestures is likely to decrease.
  • An object of the present disclosure is to provide a vehicle display input device that can reduce a driver's attention reduction associated with an operation input during driving, that is, so-called driver distraction.
  • a vehicle display input device is mounted on a vehicle, displays information related to the vehicle in a display area, and an operation menu operation is input by a driver of the vehicle.
  • a gesture detection part, a determination part, and a control part are provided.
  • the gesture detection unit detects a gesture by the driver's hand.
  • the determination unit determines whether or not the driver's line of sight is directed within a line-of-sight detection area defined in advance so as to include at least a part of the display area.
  • the control unit switches an operation for associating the gesture among a plurality of operations defined in the operation menu based on the determination by the determination unit as to whether or not the line of sight is directed within the line-of-sight detection area. .
  • the operation of the operation menu associated with the gesture by the driver's hand is switched among a plurality based on whether or not the line of sight is directed in the line-of-sight detection area. It is done. Therefore, the driver can perform a plurality of operations with a simple gesture in combination with the movement of the line of sight. According to the above, it is possible to perform a gesture while holding the steering wheel, and it is possible to suppress a decrease in concentration on driving accompanying the execution of the gesture.
  • the vehicle display input device can reduce driver distraction associated with an operation input during driving.
  • FIG. 1 is a perspective view inside a vehicle showing a state in which the vehicle display input device according to the first embodiment of the present disclosure is mounted on the vehicle.
  • FIG. 2 is a front view of the display input device.
  • FIG. 3 is a block diagram showing an electrical configuration of the display input device.
  • FIG. 4 is a diagram illustrating the positional relationship between the display input device, the steering wheel, and the driver's fingers, and the arrangement of the left and right gaze detection areas.
  • FIG. 5 is a diagram illustrating the positional relationship among the display input device, the steering wheel, and the driver's fingers, and the arrangement of the detection target area and the gesture detection area.
  • FIG. 6A is a diagram illustrating a normal display mode.
  • FIG. 6B is a diagram illustrating an air conditioner operation mode.
  • FIG. 6C is a diagram illustrating an audio operation mode.
  • FIG. 6D is a diagram illustrating a map operation mode.
  • FIG. 7A is a diagram illustrating a part of the operation of the display input device when a change operation is performed.
  • FIG. 7B is a diagram illustrating a part of the operation of the display input device when a change operation is performed.
  • FIG. 7C is a diagram illustrating a part of the operation of the display input device when a change operation is performed.
  • FIG. 7D is a diagram illustrating a part of the operation of the display input device when a change operation is performed.
  • FIG. 8 is a flowchart illustrating a process performed by the control unit in order to realize a series of operation inputs combining eye movement and gesture.
  • FIG. 9 is a block diagram illustrating an electrical configuration of the display input system according to
  • the display input device 100 is a vehicle display device that is mounted on a vehicle and provides various information related to the vehicle to the driver by display.
  • the display input device 100 has a function of an input device for a vehicle that receives an operation to an in-vehicle device 140 such as a navigation device mounted on the vehicle.
  • the display input device 100 is accommodated in the meter hood 121 of the instrument panel 120 shown in FIG. 1 in a posture with the front side shown in FIG. 2 facing the driver's seat.
  • the display area 30 in which information is displayed in the display input device 100 includes a central display unit 31, a right display unit 32, a left display unit 33, a projection display unit 34, and the like.
  • the display input device 100 is provided with a right light emitting area 36, a left light emitting area 37, a line-of-sight detection indicator 38, and a gesture detection indicator 39.
  • the direction along gravity in a vehicle in a stationary state is referred to as a downward direction DD
  • the direction opposite to the downward direction DD is referred to as an upward direction UD.
  • a direction substantially orthogonal to the direction of gravity and along the display surface of the central display unit 31 is defined as a horizontal direction HD.
  • the central display unit 31 is located at the center of the display input device 100.
  • the central display portion 31 is formed in a circular shape surrounded by an annular decorative ring 28.
  • the central display unit 31 is sandwiched between the right display unit 32 and the left display unit 33 from both sides in the horizontal direction HD.
  • the central display unit 31 is formed by the central display 21 and displays various information images. For example, the traveling speed of the vehicle is displayed as a pointer on the central display 31 by an image.
  • the right display part 32 is located on the right side in the horizontal direction HD with respect to the central display part 31 in terms of appearance from the driver.
  • the right display portion 32 is formed in a partially missing circular shape.
  • the outer diameter of the right display part 32 is made smaller than the outer diameter of the central display part 31.
  • the right display portion 32 is surrounded on the outer peripheral side by the right light emitting region 36 and the decoration ring 28.
  • the right display unit 32 is formed by the right display 22 and displays various information images. On the right display section 32, for example, the remaining amount of fuel, the water temperature, and the like are displayed as pointers by images.
  • the left display unit 33 is located on the left side in the horizontal direction HD with respect to the central display unit 31 and on the opposite side of the right display unit 32 with the central display unit 31 interposed therebetween, as viewed from the driver.
  • the outer diameter of the left display portion 33 is substantially the same as the outer diameter of the right display portion 32.
  • the left display portion 33 is surrounded on the outer peripheral side by the left light emitting region 37 and the decoration ring 28.
  • the left display unit 33 is formed by the left display 23 and displays various information images. On the left display unit 33, for example, the rotational speed of the output shaft in a traveling engine mounted on a vehicle is displayed as a pointer by an image.
  • the projection display unit 34 is located in the upward direction UD of the central display unit 31 in view of the driver.
  • the projection display unit 34 is defined by a smoke cover 41, which will be described later, in a rectangular shape with the horizontal direction HD as the longitudinal direction.
  • the projection display unit 34 projects light of the display image 35 by a projector 60 (see FIG. 5) described later. For example, route guidance to the destination set in the navigation device is displayed on the projection display unit 34 as the display image 35.
  • the right light emitting area 36 is formed in an annular shape surrounding the right display portion 32 by the right light emitting ring 26.
  • the left light emitting region 37 is formed in an annular shape surrounding the left display portion 33 by the left light emitting ring 27.
  • the right light emitting ring 26 and the left light emitting ring 27 are made of a colorless and transparent resin plate material such as acrylic resin.
  • the right light emitting ring 26 and the left light emitting ring 27 can make the light emitting surfaces, which are the right light emitting region 36 and the left light emitting region 37, emit light substantially uniformly.
  • the line-of-sight detection indicator 38 and the gesture detection indicator 39 are circular light-transmitting portions formed on the decorative ring 28.
  • the indicators 38 and 39 are positioned in the lower direction DD from the center of the central display unit 31 and are arranged in the horizontal direction HD. Each indicator 38, 39 emits light by transmitting light. Each indicator 38, 39 can emit light in a plurality of emission colors.
  • the display input device 100 includes a central display 21, a right display 22, a left display 23, a projector 60, a line-of-sight detector 72, a gesture detector 74, an input / output circuit 70, and light sources 76 to 79.
  • the display input device 100 includes a housing 40 that accommodates these components.
  • Each of the central display 21, the right display 22, and the left display 23 is a liquid crystal display having, for example, a thin-film-transistor (TFT) type display panel and a backlight that illuminates and transmits the display panel.
  • TFT thin-film-transistor
  • a plurality of pixels are arranged on a display surface formed by the display panel.
  • each of the displays 21 to 23 can display various information images in color.
  • Each of the displays 21 to 23 is connected to the control unit 80 and drives each pixel based on a video signal output from the control unit 80, thereby displaying a series of information images on the display units 31 to 33. Display as.
  • the projector 60 is a digital light processing (DLP: registered trademark) type projector having a digital micro device (DMD) having a large number of micro mirrors and a projection light source that projects light toward the DMD.
  • the projector 60 is connected to the control unit 80 and controls the postures of a large number of micromirrors provided in the DMD based on the video signal output from the control unit 80.
  • the light projected from the projection light source is reflected on the DMD whose attitude is controlled, and is projected onto the projection display unit 34 as light that projects the display image 35 (see FIG. 2).
  • a series of display images 35 are displayed on the projection display unit 34 as images.
  • Gaze detector 72 is a sensor unit that detects the driver's gaze.
  • the line-of-sight detector 72 includes a light emitting element that emits near infrared rays, an imaging element that converts light in a wavelength region including the near infrared rays into an electrical signal, and the like.
  • the line-of-sight detector 72 is positioned in the downward direction DD of the central display unit 31 (see also FIG. 2).
  • the line-of-sight detector 72 is held by the housing 40 in such a posture as to include the range in which the face of the driver seated in the driver's seat is supposed to be included in the detection target area STA (see FIG. 5).
  • the light emitting element emits near infrared rays toward the detection target area STA.
  • the imaging device sequentially generates near-infrared images obtained by capturing a range including the driver's eyes by converting the reflected light into an electrical signal.
  • the line-of-sight detector 72 sequentially outputs the near-infrared image generated by the image sensor to the input / output circuit 70.
  • the gesture detector 74 is a sensor unit that detects a gesture by the driver's finger F.
  • the gesture detector 74 is located on the opposite side of the central display unit 31 with the right display unit 32 interposed therebetween.
  • the gesture detector 74 can detect a gesture in a predetermined gesture detection area GSA (see FIG. 5).
  • the gesture detection area GSA is defined to include the rim portion 111 of the steering 110 provided in the vehicle.
  • the gesture detector 74 includes a light emitting element that emits near infrared rays, a light receiving element that detects near infrared rays, and the like.
  • the light emitting element emits near infrared rays toward a range including the gesture detection area GSA. Part of the near infrared light emitted from the light emitting element is reflected toward the light receiving element by the driver's fingers F, the steering 110, and the like.
  • the light receiving element generates a detection signal indicating the intensity of the reflected light reaching the light receiving element.
  • the gesture detector 74 outputs a detection signal generated by the detection element to the input / output circuit 70.
  • the input / output circuit 70 includes a line-of-sight conversion unit 73, an input conversion unit 75, a light source drive unit 81, a video output unit 71, and a control unit 80.
  • the line-of-sight conversion unit 73 is a calculation unit that calculates the position of the driver's viewpoint and the direction of the line of sight by performing image analysis on the near-infrared image acquired from the line-of-sight detector 72. Specifically, the line-of-sight conversion unit 73 identifies the position of the driver's eyeball from the near-infrared image. In addition, the line-of-sight conversion unit 73 detects the position of the reflected image (Purkinje image) of the light emitting element reflected on the eyeball and the position of the pupil from the image obtained by cutting out the eyeball and its peripheral region. The position of the Purkinje image does not change substantially even if the direction of the line of sight is changed.
  • the line-of-sight conversion unit 73 can calculate the direction of the line of sight from the relative positional relationship between the Purkinje image and the pupil.
  • the line-of-sight conversion unit 73 includes state information indicating whether or not a line of sight is detected by the line-of-sight detector 72, information indicating the position of the specified eyeball (viewpoint position), and information indicating the direction of the line of sight. Sequentially output to 80.
  • the input conversion unit 75 analyzes the detection signal input from the gesture detector 74 to determine whether the driver's finger F is in the gesture detection area GSA and whether the driver's finger F has been gestured. It is determined whether or not. Specifically, the input conversion unit 75 detects an operation of shaking the fingertip of the finger F while grasping the steering 110 as a driver's gesture. The input conversion unit 75 outputs state information indicating whether or not the finger F is detected by the gesture detector 74 to the control unit 80. In addition, the input conversion unit 75 outputs information indicating that a gesture has been performed to the control unit 80 when a change in waveform caused by shaking the fingertip of the finger F is extracted from the detection signal.
  • the light source driving unit 81 is connected to each of the light sources 76 to 79.
  • the light source driving unit 81 controls the current applied to each of the light sources 76 to 79 based on the control signal acquired from the control unit 80.
  • the video output unit 71 is connected to the displays 21 to 23 and the projector 60.
  • the video output unit 71 draws an image displayed on each of the displays 21 to 23 and an original image of a display image projected from the projector 60 based on a control signal acquired from the control unit 80.
  • the video output unit 71 outputs the image data of the drawn image to each of the displays 21 to 23 and the projector 60.
  • the control unit 80 includes a microcomputer that operates according to a program, an interface that communicates with the in-vehicle Local Area Network (LAN) 130, and the like.
  • the control unit 80 acquires vehicle information output from the in-vehicle device 140 such as a navigation device to the in-vehicle LAN 130.
  • the control unit 80 acquires various types of information related to the driver's line-of-sight direction and gesture execution from the line-of-sight conversion unit 73 and the input conversion unit 75.
  • the control unit 80 generates a control signal to be output to the video output unit 71 and the light source driving unit 81 based on the acquired information.
  • the control unit 80 has a determination block 82 as a functional block by executing the program.
  • the determination block 82 calculates the arrival position of the line of sight based on the information indicating the viewpoint position and the direction of the line of sight acquired from the line-of-sight conversion unit 73.
  • the determination block 82 determines whether or not the driver's line of sight is directed within the predetermined line-of-sight detection area 50.
  • the line-of-sight detection area 50 is a virtual surface defined along the display surface of the central display unit 31 and is defined to include at least a part of the display area 30.
  • two visual line detection areas 50 a right visual line detection area 50r and a left visual line detection area 50l, are defined at different positions.
  • the right line-of-sight detection area 50r and the left line-of-sight detection area 50l are defined by an arrangement in the display area in the horizontal direction HD.
  • the right gaze detection area 50r and the left gaze detection area 50l are defined at positions separated from each other in the horizontal direction HD.
  • the right display section 32 and the right light emitting area 36 are located in the right gaze detection area 50r. Further, the left display portion 33 and the left light emitting region 37 are located in the left line-of-sight detection area 50l.
  • the projection display unit 34, the line-of-sight detection indicator 38, and the gesture detection indicator 39 are provided at positions outside both the right line-of-sight detection area 50r and the left line-of-sight detection area 50l.
  • Each of the light sources 76 to 79 is configured by combining light emitting elements such as light emitting diodes. Each of the light sources 76 to 79 is connected to the light source driving unit 81, and light emission is controlled by the control unit 80.
  • the right ring light source 76 causes the right light emitting region 36 to emit light by making light incident on the right light emitting ring 26. Application of current from the light source driving unit 81 to the right ring light source 76 is started when the driver's line of sight is directed into the right line of sight detection area 50r. As described above, the right light emitting region 36 can notify the driver that the line of sight into the right line of sight detection area 50r has been detected.
  • the left ring light source 77 causes the left light emitting region 37 to emit light by making light incident on the left light emitting ring 27.
  • Application of current from the light source driving unit 81 to the left ring light source 77 is started when the driver's line of sight is directed into the left line-of-sight detection area 50l.
  • the left light emitting region 37 can notify the driver that the line of sight into the left line of sight detection area 50l has been detected.
  • the line-of-sight indicator light source 78 causes the line-of-sight detection indicator 38 to emit light by irradiating light toward the line-of-sight detection indicator 38.
  • the line-of-sight indicator light source 78 emits green light when the line-of-sight is detected by the line-of-sight detector 72 and the line-of-sight conversion unit 73.
  • the line-of-sight indicator light source 78 emits orange light.
  • the line-of-sight detection indicator 38 can notify the driver of whether or not the line-of-sight detection (tracking) is normally performed by the emission color.
  • the gesture indicator light source 79 illuminates and displays the gesture detection indicator 39 by irradiating light toward the gesture detection indicator 39.
  • the gesture indicator light source 79 emits green light when the finger F is detected by the gesture detector 74 and the input conversion unit 75.
  • the gesture indicator light source 79 emits orange light.
  • the gesture detection indicator 39 can notify a driver of whether the detection of the finger F is normally performed by the luminescent color.
  • the emission colors of the line-of-sight indicator light source 78 and the gesture indicator light source 79 can be changed as appropriate.
  • the light source colors of these light sources 78 and 79 may be different from each other.
  • the housing 40 holds the display devices 21 to 23, the projector 60, and the like.
  • a smoke cover 41 is attached to the opening of the housing 40.
  • the smoke cover 41 is formed in a curved plate shape with a translucent resin material.
  • a projection display unit 34 is formed on the smoke cover 41. The smoke cover 41 physically closes the opening of the housing 40 to prevent entry of dust and dirt into the housing 40.
  • the operation menu is a set of options set in the graphic user interface for operating the display input device 100 and each in-vehicle device 140 (see FIG. 3).
  • the operation menu is configured in a plurality of hierarchies, and when one of a plurality of selection items provided in the upper layer is selected, the operation menu is shifted to a lower layer for specifically changing the setting of the selected selection item. .
  • the position of the gazing point at which the driver is looking is indicated by an icon simulating eyes.
  • the steering 110 is not shown in order to make it easy to see the display on each display unit.
  • 6A to 6D show a case where the driver's line of sight is not directed to either the right line of sight detection area 50r or the left line of sight detection area 50l.
  • the control unit 80 (see FIG. 3) associates the detected gesture by the fingertip of the finger F with the selection operation in the upper layer that sequentially switches the selection items being selected.
  • the selection item being selected is switched by the fingertip gesture, the display contents of the projection display unit 34, the right display unit 32, and the left display unit 33 are switched together by changing the display mode.
  • the right display unit 32 displays a fuel gauge and a water temperature gauge
  • the left display unit 33 displays a tachometer.
  • an odometer is displayed on the projection display unit 34.
  • an air conditioner mounted on the vehicle is a target of operation, and a set temperature set in the air conditioner is selected.
  • the projection display unit 34 displays the current value of the set temperature, which is a selection item, and the letters “air-con”.
  • the right display unit 32 and the left display unit 33 display the contents of the change operation in the air conditioner operation mode. More specifically, the right display unit 32 displays an image indicating an increase (increase) in the set temperature. Further, an image showing a decrease (decrease) in the set temperature is displayed on the left display unit 33.
  • the audio device mounted on the vehicle is the target of operation, and the track number of the music being played on the audio device is selected.
  • the projection display unit 34 displays the current value of the track number, which is a selection item, and the characters “Audio”.
  • the right display section 32 displays an image showing the track number feed (increase). Further, an image showing the return (decrease) of the track number is displayed on the left display portion 33.
  • the navigation device In the map operation mode, the navigation device is an operation target, and the scale of the map displayed on the navigation device is a selection item.
  • the projection display unit 34 displays the current value of the scale, which is a selection item, and the characters “Navi”.
  • the right display unit 32 displays an image indicating that the map is to be changed to a wide area map.
  • the left display unit 33 displays an image indicating that the map is to be changed to a detailed map.
  • FIG. 7A to 7D show a case where the driver's line of sight is directed to the right line of sight detection area 50r or the left line of sight detection area 50l in the air conditioner operation mode (see FIG. 6B).
  • the control unit 80 (see FIG. 3) associates the detected gesture by the fingertip of the finger F with the change operation in the lower layer that changes the set value of the set temperature.
  • the set temperature is changed by the fingertip gesture of the finger F, the numerical value displayed on the projection display unit 34 is also changed.
  • the right light emitting area 36 emits light (illustrated by dots), and an increase change operation for raising the set temperature is performed. It becomes possible. In such a state, when a gesture with the finger F is performed, the set temperature is raised as shown in FIG. 7B.
  • the left light-emitting area 37 emits light (illustrated by dots), and a reduction change operation that lowers the set temperature is possible. It becomes.
  • the set temperature is lowered as shown in FIG. 7C.
  • the gesture with the finger F is further performed, the set temperature is further lowered as shown in FIG. 7D.
  • the gesture by the finger F is performed in the lower layer that changes the track number being reproduced.
  • the change operation Specifically, when the driver's line of sight is directed into the right line-of-sight detection area 50r, an increase change operation for raising the track number to be played is possible.
  • a decrease / change operation can be performed to lower the track number to be reproduced.
  • the gesture with the finger F is a change operation in a lower layer that changes the scale of the map.
  • an increase change operation that increases the scale of the map is possible.
  • a map of a wide area with a small scale is displayed.
  • a reduction change operation that reduces the scale of the map is possible. By this reduction change operation, a detailed map with a large scale is displayed.
  • the processing performed by the control unit 80 in order to realize the operation input of the display input device 100 described above will be described with reference to FIGS. 3 to 5 based on FIG.
  • the processing shown in FIG. 8 is started by the control unit 80 when the accessory power supply of the vehicle is turned on and the supply of power from the vehicle power supply circuit to the display input device 100 is started. This process is repeatedly performed by the control unit 80 until the accessory power source is turned off.
  • the determination block 82 determines whether or not the line of sight is directed into the right line-of-sight detection area 50r. If it is determined in S101 that the line of sight is directed within the right line-of-sight detection area 50r, the process proceeds to S105. On the other hand, if it is determined in S101 that the line of sight is not directed within the right line-of-sight detection area 50r, the process proceeds to S102.
  • the determination block 82 determines whether or not the line of sight is directed into the left line-of-sight detection area 50l. If it is determined in S102 that the line of sight is directed within the left line-of-sight detection area 50l, the process proceeds to S111. On the other hand, if it is determined in S102 that the line of sight is not directed within the left line-of-sight detection area 50l, the process proceeds to S103. As a result of the negative determinations in S101 and S102, the gesture is associated with the selection operation. Thereby, the driver
  • S103 it is determined whether or not a gesture has been detected by the fingertip of the finger F. If a negative determination is made in S103 that no gesture is detected, the process returns to 101 by skipping S104. On the other hand, if it is determined in S103 that a gesture has been detected, the process proceeds to S104. In S104, the gesture by the fingertip is associated with the selection operation, and the selection item in the selected state is switched. In addition, the display on each of the display units 32 to 34 is changed to the content corresponding to the selected item after switching, and the process returns to S101.
  • the gesture by the fingertip is associated with the increase change operation.
  • S105 by starting application of current from the light source driving unit 81 to the right ring light source 76, light emission in the right light emitting region 36 is started, and the process proceeds to S106.
  • S106 as in S103, it is determined whether or not gesture detection has been performed. If a negative determination is made in S106, S107 and S108 are skipped, and the process proceeds to S109. On the other hand, if a positive determination is made in S106, the process proceeds to S107.
  • S107 the output process which outputs the instruction
  • an instruction command for instructing the air conditioning device to raise the set temperature an instruction command for instructing the audio device to send the playback music, an instruction command for instructing the navigation device to enlarge the map scale, and the like are output. .
  • S108 the display on the projection display unit 34 is changed, and the process proceeds to S109.
  • S108 the current set value set in the in-vehicle device 140 that is the operation target is displayed on the projection display unit 34.
  • S109 it is determined whether or not a predetermined time has elapsed since the gesture was associated with the increase change operation by the positive determination in S101. If a negative determination is made in S109, the process returns to S106 to continue accepting gesture input. If an affirmative determination is made in S109 after the predetermined time has elapsed, the process proceeds to S110.
  • S110 the application of the current to the right ring light source 76 started in S105 is stopped to turn off the right light emitting region 36, and the process returns to S101.
  • the gesture by the fingertip is associated with the decrease change operation.
  • the application of current from the light source driving unit 81 to the left ring light source 77 is started to start light emission of the left light emitting region 37, and the process proceeds to S112.
  • S112 as in S103 and S106, it is determined whether or not a gesture has been detected. If a negative determination is made in S112, S113 and S114 are skipped, and the process proceeds to S115. On the other hand, if a positive determination is made in S112, the process proceeds to S113.
  • an output process for outputting an instruction signal for instructing a setting change of the in-vehicle device 140 to the in-vehicle LAN 130 is performed, and the process proceeds to S114.
  • an instruction command for instructing the air conditioner to lower the set temperature an instruction command for instructing the audio device to return the playback music, an instruction command for instructing the navigation device to reduce the scale of the map, and the like are output. .
  • S114 the display on the projection display unit 34 is changed, and the process proceeds to S115.
  • S114 the current set value set in the in-vehicle device 140 that is the operation target is displayed on the projection display unit 34.
  • S115 it is determined whether or not a predetermined time has elapsed since the gesture was associated with the decrease change operation in the affirmative determination in S102. If a negative determination is made in S115, the process returns to S112 to continue accepting gesture input. If an affirmative determination is made in S115 after the predetermined time has elapsed, the process proceeds to S116.
  • S116 the application of the current to the left ring light source 77 started in S111 is stopped to turn off the left light emitting area 37, and the process returns to S101.
  • the operation associated with the gesture by the driver's finger F is switched among a plurality based on whether or not the line of sight is directed in the line-of-sight detection area 50. Therefore, the driver can perform a plurality of operations by one simple gesture of shaking the fingertip of the finger F in combination with the movement of the line of sight. According to the above, it is possible to perform a gesture while holding the steering wheel 110, and it is possible to suppress a decrease in concentration on driving due to the execution of the gesture. Accordingly, it is possible to reduce driver distraction associated with an operation input during driving.
  • switching from the selection operation to the change operation is performed based on the movement of the line of sight into the line-of-sight detection area 50. Therefore, the driver can perform both a series of selection operations and change operations by a simple gesture with the finger F. Therefore, the driver distraction can be further reduced.
  • the right visual line detection area 50r and the left visual line detection area 50l are defined to include the right display 22 and the left display 23, respectively. Therefore, the respective line-of-sight detection areas 50r and 50l can be located closer to the foreground than the center console and the center cluster. As a result, in order to shift from the selection operation to the change operation, the operation of temporarily moving the line of sight within one of the line-of-sight detection areas 50 is to visually confirm the switches provided in the center console and the center cluster. It can be completed in a shorter time than the operation of moving the line of sight. Thus, by reducing the time for removing the line of sight from the foreground, the driver can easily maintain concentration on driving even if the driver performs a change operation during driving.
  • two line-of-sight detection areas 50 are defined. Therefore, the same gesture is associated with two different change operations when the line of sight is directed within one right line of sight detection area 50r and when the line of sight is directed within the other left line of sight detection area 50l. It becomes possible. As a result, the operability improvement of the change operation in the lower layer is realized.
  • a change in which the same gesture is reversed is performed when the line of sight is directed into the right line of sight detection area 50r and when the line of sight is directed into the left line of sight detection area 50l. Associated with the operation. Therefore, the driver can quickly adjust the set temperature or the like to a desired set value by moving the line of sight between the two line-of-sight detection areas 50r and 50l. Therefore, the operability of the change operation in the lower layer can be further improved.
  • the driver switches the change operation associated with the gesture by moving the line-of-sight in the horizontal direction HD. Can do. As a result, the operability of the change operation in the lower layer is further improved.
  • the two line-of-sight detection areas 50r and 50l are located away from each other. Therefore, even if the driver intends to turn his / her line of sight toward the right line-of-sight detection area 50r, a situation where the line-of-sight is detected in the left line-of-sight detection area 50l or vice versa is less likely to occur. According to the above, it is possible to reduce erroneous detection of the driver's line-of-sight movement and to clearly change the change operation by the line-of-sight movement. As a result, the operability of the change operation in the lower layer becomes even higher.
  • the right display 22 and the left display 23 that display the contents of each change operation are located in the respective line-of-sight detection areas 50r and 50l. Therefore, the driver can visually recognize the display content of the right display 22 in accordance with the operation of moving the line of sight to the right line of sight detection area 50r. Similarly, the driver can visually recognize the display content of the left display 23 in accordance with the operation of moving the line of sight to the left line-of-sight detection area 50l. According to the above, the driver can start the gesture after recognizing the contents of the associated change operation. In this way, the user-friendly display input device 100 that does not easily reduce the driver's concentration on driving is realized.
  • the state where the change operation is possible is continued for a predetermined time. According to the above, it is not necessary for the driver to keep his / her line of sight in the line-of-sight detection area 50 while continuing the change operation. As a result, the driver can quickly return the line of sight once moved into the line-of-sight detection area to the foreground. According to the above, the decrease in concentration on driving due to the removal of the line of sight from the foreground is slight.
  • the selection item in the selected state is notified by the projection display unit 34 located outside the two line-of-sight detection areas 50. Therefore, even when the selected item in the selected state is confirmed by visual recognition of the projection display unit 34, the gesture is not associated with the change operation. Therefore, the driver can shift to the change operation in the lower layer after confirming whether or not the desired selection item is in the selected state.
  • the movement of the line of sight into each of the areas 50r and 50l is clearly indicated to the driver by the light emitting areas 36 and 37 located in the respective line-of-sight detection areas 50r and 50l.
  • the driver can start the operation of the finger F after confirming that the gesture is associated with the change operation.
  • the user interface of the display input device 100 becomes more user-friendly by giving the driver who is about to start the gesture with the light emission of each of the light emitting regions 36 and 37.
  • the gesture detection area GSA is defined to include the rim portion 111 of the steering 110. Therefore, the gesture detector 74 and the input conversion unit 75 can reliably detect even a gesture with the steering wheel 110 held. As described above, by improving the detection accuracy of gestures, the driver can smoothly input a series of selection operations and change operations without losing focus on driving.
  • the gaze detection indicator 38 notifies the driver whether or not gaze detection by the gaze detector 72 and the gaze conversion unit 73 is normally performed.
  • the gesture detection indicator 39 notifies the driver whether or not the gesture detection by the gesture detector 74 and the input conversion unit 75 is normally performed. According to the above, the driver can perform the operation input that combines the movement of the line of sight and the gesture with confidence after confirming that the line of sight detection and the gesture detection are correctly performed.
  • the indicators 38 and 39 in the first embodiment are provided at positions outside the two line-of-sight detection areas 50. Therefore, even if the state of each indicator 38 and 39 is visually recognized, the transition from the selection operation to the change operation does not occur. Therefore, the driver can promptly start the selection item selection operation after confirming the gaze detection and gesture detection states.
  • the right display unit 32 and the left display unit 33 correspond to a “content display unit”
  • the projection display unit 34 corresponds to a “menu display unit”.
  • the right light emitting area 36 and the left light emitting area 37 correspond to “light emitting area”
  • the line-of-sight detector 72 and the line-of-sight conversion unit 73 correspond to “line-of-sight detection unit”.
  • the gesture detector 74 and the input conversion unit 75 correspond to a “gesture detection unit”
  • the control unit 80 corresponds to a “control unit”
  • the determination block 82 corresponds to a “determination unit”.
  • the display input device 100 corresponds to a “vehicle display input device”
  • the right visual line detection area 50r corresponds to a “first visual line detection area”
  • the left visual line detection area 50l corresponds to a “second visual line detection area”.
  • S101 corresponds to a “first determination unit”
  • S102 corresponds to a “second determination unit”.
  • the second embodiment of the present disclosure shown in FIG. 9 is a modification of the first embodiment.
  • the vehicle display input system 200 according to the second embodiment has the same user interface function as the display input device 100 (see FIG. 3) according to the first embodiment.
  • the display input system 200 is configured by combining a combination meter 210, a driver status monitor (DSM) 285, a gesture recognition monitor 289, a control unit 280, and the like.
  • DSM driver status monitor
  • the combination meter 210 is a display device for a vehicle accommodated in the meter hood 121 (see FIG. 1).
  • the combination meter 210 includes a video output unit 71, light sources 76 to 79, a light source driving unit 81, a display 220, and a display control unit 211 that are substantially the same as those in the first embodiment.
  • the display device 220 is a liquid crystal display capable of color display corresponding to the display devices 21 to 23 (see FIG. 3) of the first embodiment.
  • the display control unit 211 includes a microcomputer that operates according to a program, an interface that communicates with the in-vehicle LAN 130, an interface that communicates with the control unit 280, and the like.
  • the display control unit 211 generates a control signal based on various information acquired from the in-vehicle LAN 130 and the control unit 280, and outputs the generated control signal to the light source driving unit 81, the video output unit 71, etc.
  • the display 220 and the light emission of each of the light sources 76 to 79 are controlled.
  • the DSM285 is a driving support device that detects aside and drowsiness from the direction of the driver's face and the movement of the eyelids.
  • the DSM 285 is placed on the upper surface of the steering post, for example.
  • the DSM 285 includes a line-of-sight detector 72 and a line-of-sight conversion unit 73 that are substantially the same as those of the first embodiment.
  • the DSM 285 sequentially outputs state information indicating whether or not the line-of-sight detector 72 detects a line of sight, information indicating the identified viewpoint position, and information indicating the direction of the line of sight to the control unit 280.
  • the gesture recognition monitor 289 is a device for recognizing a gesture by the driver's finger F (see FIG. 4).
  • the gesture recognition monitor 289 is attached to the instrument panel 120 (see FIG. 1) so as to be aligned with the combination meter 210 in the horizontal direction HD (see FIG. 2).
  • the gesture recognition monitor 289 includes a gesture detector 74 and an input conversion unit 75 that are substantially the same as those in the first embodiment.
  • the gesture recognition monitor 289 outputs state information indicating whether or not the finger F is detected by the gesture detector 74 and information indicating that the gesture has been performed to the control unit 280.
  • the control unit 280 includes a microcomputer that operates according to a program, a combination meter 210, a DSM 285, a gesture recognition monitor 289, and a plurality of interfaces that communicate with the in-vehicle LAN 130.
  • the control unit 280 has a determination block 82 that is substantially the same as that of the first embodiment as a functional block by executing a program.
  • the control unit 280 acquires from the DSM 285 and the gesture recognition monitor 289 various information related to the driver's line-of-sight direction and gesture implementation.
  • control unit 280 controls the display of the combination meter 210 and the set value of the in-vehicle device 140 by outputting a control signal generated based on the acquired information to the display control unit 211 and the in-vehicle LAN 130.
  • the DSM 285 corresponds to the “line-of-sight detection unit”
  • the gesture recognition monitor 289 corresponds to the “gesture detection unit”.
  • the control unit 280 corresponds to a “control unit”
  • the display input system 200 corresponds to a “vehicle display input device”.
  • the gesture when the line of sight is directed outside the line-of-sight detection area is associated with the selection operation
  • the gesture when the line of sight is directed within the line-of-sight detection area is associated with the change operation.
  • the operation associated with the gesture based on the line-of-sight movement can be appropriately changed according to the configuration of the operation menu.
  • the gesture when the line of sight is directed within the line-of-sight detection area may be the selection operation
  • the gesture when the line of sight is directed outside the line-of-sight detection area may be the change operation.
  • the gesture when the line of sight is directed within the line-of-sight detection area is an increase change operation, and the line of sight is directed outside the line-of-sight detection area.
  • the gesture may be a decrease change operation.
  • the two line-of-sight detection areas are defined as being arranged in the horizontal direction HD, but the number of line-of-sight detection areas may be one, or three or more.
  • the shape and arrangement of the line-of-sight detection area can be appropriately changed as long as at least a part of the display area is included in the line-of-sight detection area.
  • the air conditioner operation mode, the audio operation mode, and the map operation mode are sequentially switched by the selection operation in the upper layer.
  • display modes other than these may be set.
  • a display mode using the air volume set in the air conditioner as a selection item can be added.
  • a display mode in which a cold air or hot air outlet set in the air conditioner is selected can be added.
  • a display mode in which the volume set in the audio device is a selection item can be added.
  • the driver can start a call by directing his / her line of sight within the right line-of-sight detection area.
  • the driver can put an incoming call on hold by directing his / her gaze in the left gaze detection area.
  • the gesture is associated with the increase change operation when the line of sight is directed into the right line of sight detection area.
  • the gesture when the line of sight is directed into the right line-of-sight detection area may be associated with the decrease change operation.
  • the gesture when the line of sight is directed into the left line-of-sight detection area is associated with the increase change operation.
  • the gesture of shaking the fingertip of the finger F is detected, but the gesture detected by the gesture detector and the input conversion unit is not limited to the above-described operation.
  • Various gestures that can be performed while holding the steering wheel can be set as detection targets of the gesture detector and the input conversion unit.
  • the projection display unit notifies the driver of selection items in the selected state by displaying the current values of the setting items such as the set temperature and the track number.
  • the display content of the projection display unit is not limited to the above-described content as long as the driver can be notified of selection items in the selected state.
  • the selection item may be directly specified by a character display such as “temperature setting”.
  • the state in which the change operation is possible is maintained for a predetermined time by moving the line of sight into the line of sight detection area.
  • a predetermined time can be changed as appropriate, and may be, for example, about 5 seconds or 10 seconds or more.
  • switching from the change operation to the selection operation may be performed immediately based on the fact that the line of sight has been removed from the line-of-sight detection area.
  • the operation associated with the gesture is immediately switched from the increase change operation to the decrease change operation.
  • switching control may not be performed.
  • the association with the increase change operation is once started, the association with the decrease change operation may not be performed until a predetermined time has elapsed.
  • the driver is notified of the gaze detection in the left and right gaze detection areas by causing the left and right light emitting areas to emit light.
  • the shape of the light emitting region, the light emission color, and the like can be appropriately changed. Further, such a light emitting region may be omitted. In such a form, it is desirable that the gaze detection in the gaze detection area is notified to the driver by changing the background color of the left and right display units or by blinking.
  • the driver is notified by the change in the emission color of each indicator whether or not the gesture and the line of sight are normally detected.
  • the above-described indicators may be omitted as long as the state information of gesture detection and line-of-sight detection is displayed on, for example, the central display unit or the projection display unit.
  • the gesture detection in the above embodiment has been performed using a gesture detector using near infrared rays.
  • the configuration and control for detecting such a gesture can be changed as appropriate.
  • the movement of the fingertip in the vicinity of the rim portion may be detected by a capacitance sensor provided on the steering.
  • the gesture detector mainly uses a right hand gesture as a detection target.
  • the gesture by the left hand may be a main detection target by changing the arrangement of the gesture detector.
  • both the right hand gesture and the left hand gesture may be detected.
  • the gaze position of the driver is determined by calculating the viewpoint position and the direction of the line of sight using the near-infrared image captured by the near-infrared camera.
  • the configuration and control for detecting such line of sight can be changed as appropriate.
  • the configuration for detecting the line of sight may also serve as the configuration for detecting a gesture.
  • control unit and “determination block” provided by the control unit or control unit that executed the program are provided by hardware and software different from the above-described configuration, or a combination thereof. It's okay.
  • a function such as “determination block” may be provided by a control circuit provided in the DSM.
  • the above-described functions may be provided by a circuit that performs a predetermined function without depending on a program.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

 車両用表示入力装置は、ジェスチャー検出部(74,75,289)と、判定部(82)と、制御部(80,280)とを備える。前記ジェスチャー検出部は、運転者の手(F)によるジェスチャーを検出する。前記判定部は、表示領域(30)の少なくとも一部を含むよう予め規定された視線検出エリア(50)内に、前記運転者の視線が向けられているか否かを判定する。前記制御部は前記判定部の判定に基づいて、操作メニューに規定された複数の操作のうちで前記ジェスチャーを関連付ける操作を切り替える。

Description

車両用表示入力装置 関連出願の相互参照
 本開示は、2014年3月27日に出願された日本出願番号2014-66594号に基づくもので、ここにその記載内容を援用する。
 本開示は、車両に搭載され、車両に係わる情報を表示領域に表示し、車両の運転者によって操作が入力される車両用表示入力装置に関する。
 一般に、入力装置に設定された操作メニューでは、複数の選択項目のいずれかを選択する選択操作や、その選択を確定して選択項目の内容を具体的に変更する変更操作といった複数の操作が必要とされる。このような複数の操作が規定された操作メニューを有する構成として、例えば特許文献1には、二種類のジェスチャーを検出可能な操作入力装置が開示されている。この操作入力装置では、第一の種類のジェスチャーにより、操作モードの選択操作が行われる。そして、第二の種類のジェスチャーにより、選択された操作モードでのパラメータの変更操作が行われる。
 特許文献1の構成では、運転者が行う二種類のジェスチャーは、操作入力装置によって判別される必要があるため、それぞれ複雑な手の動作となってしまう。そのため、ステアリングを握ったままジェスチャーを行うことが難しくなり、運転者は、長い時間ステアリングから手を離さなければならない。加えて、複雑な二種類のジェスチャーを行うことに運転者の意識が向けられてしまいうことで、ジェスチャー実施に伴った運転への注意力低下が生じ易かった。
特開2005-135439号公報
 本開示の目的は、運転中の操作入力に伴った運転者の注意力低下、所謂ドライバーディストラクションを低減可能な車両用表示入力装置を提供することである。
 本開示の一態様に係る車両用表示入力装置は、車両に搭載され、前記車両に係わる情報を表示領域に表示し、操作メニューの操作が前記車両の運転者によって入力される車両用表示入力装置であって、ジェスチャー検出部と、判定部と、制御部とを備える。前記ジェスチャー検出部は、前記運転者の手によるジェスチャーを検出する。前記判定部は、前記表示領域の少なくとも一部を含むよう予め規定された視線検出エリア内に、前記運転者の視線が向けられているか否かを判定する。前記制御部は、前記視線検出エリア内に前記視線が向けられているか否かの前記判定部の判定に基づいて、前記操作メニューに規定された複数の操作のうちで前記ジェスチャーを関連付ける操作を切り替える。
 前記車両用表示入力装置では、前記視線検出エリア内に前記視線が向けられているか否かに基づいて、前記運転者の手による前記ジェスチャーと関連付けられる前記操作メニューの操作が、複数のうちで切り替えられる。故に前記運転者は、視線移動との組み合わせにより、簡単なジェスチャーによって、複数の操作を行うことができる。以上によれば、ステアリングを握ったままでのジェスチャーの実施が可能となり、且つ、ジェスチャーの実施に伴う運転への集中低下も抑制される。
 したがって、前記車両用表示入力装置は、運転中における操作の入力に伴ったドライバーディストラクションを低減可能である。
 本開示における上記あるいは他の目的、構成、利点は、下記の図面を参照しながら、以下の詳細説明から、より明白となる。図面において、
図1は、本開示の第一実施形態による車両用表示入力装置が車両に搭載された状態を示す車内の斜視図である。 図2は、表示入力装置の正面図である。 図3は、表示入力装置の電気的構成を示すブロック図である。 図4は、表示入力装置、ステアリング、及び運転者の手指の位置関係と、左右の視線検出エリアの配置を示す図である。 図5は、表示入力装置、ステアリング、及び運転者の手指の位置関係と、検出対象エリア及びジェスチャー検出エリアの配置を示す図である。 図6Aは、通常表示モードを示す図である。 図6Bは、エアコン操作モードを示す図である。 図6Cは、オーディオ操作モードを示す図である。 図6Dは、マップ操作モードを示す図である。 図7Aは、変更操作を行った場合の表示入力装置の動作の一部を示す図である。 図7Bは、変更操作を行った場合の表示入力装置の動作の一部を示す図である。 図7Cは、変更操作を行った場合の表示入力装置の動作の一部を示す図である。 図7Dは、変更操作を行った場合の表示入力装置の動作の一部を示す図である。 図8は、視線移動及びジェスチャーを組み合わせた一連の操作入力を実現するために制御部によって実施される処理を示すフローチャートである。 図9は、本開示の第二実施形態による表示入力システムの電気的構成を示すブロック図である。
 以下、本開示の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。そして、複数の実施形態及び変形例に記述された構成同士の明示されていない組み合わせも、以下の説明によって開示されているものとする。
 (第一実施形態)
 図1及び図2に示す本開示の第一実施形態による表示入力装置100は、車両に搭載され、車両に係る各種の情報を表示によって運転者に提供する車両用の表示装置である。加えて表示入力装置100は、車両に搭載された例えばナビゲーション装置のような車載機器140への操作を受け付ける車両用の入力装置の機能を備えている。表示入力装置100は、図1に示すインスツルメントパネル120のメータフード121内に、図2に示す正面側を運転席に向けた姿勢で収容されている。
 表示入力装置100において情報が表示される表示領域30は、中央表示部31、右表示部32、左表示部33、及び投影表示部34等によって構成されている。加えて表示入力装置100には、右発光領域36、左発光領域37、視線検出インジケータ38、及びジェスチャー検出インジケータ39が設けられている。尚、以下の説明では、静止状態にある車両において重力に沿う方向を下方向DDとし、下方向DDとは反対の方向を上方向UDとする。加えて、重力の方向と実質直交し、中央表示部31の表示面に沿う方向を水平方向HDとする。
 中央表示部31は、表示入力装置100の中央に位置している。中央表示部31は、円環状の加飾リング28によって囲まれた円形状に形成されている。中央表示部31は、右表示部32及び左表示部33によって水平方向HDの両側から挟まれている。中央表示部31は、中央表示器21によって形成されており、種々の情報画像を表示する。中央表示部31には、例えば車両の走行速度等が画像によって指針表示される。
 右表示部32は、運転者からの見かけ上にて、中央表示部31に対し水平方向HDの右側に位置している。右表示部32は、部分的に欠損した円形状に形成されている。右表示部32の外径は、中央表示部31の外径よりも小さくされている。右表示部32は、右発光領域36及び加飾リング28によって外周側を囲まれている。右表示部32は、右表示器22によって形成されており、種々の情報画像を表示する。右表示部32には、例えば燃料の残量及び水温等が画像によって指針表示される。
 左表示部33は、運転者からの見かけ上にて、中央表示部31に対し水平方向HDの左側であって、中央表示部31を挟んで右表示部32の反対側に位置している。左表示部33の外径は、右表示部32の外径と実質的に同一である。左表示部33は、左発光領域37及び加飾リング28によって外周側を囲まれている。左表示部33は、左表示器23によって形成されており、種々の情報画像を表示する。左表示部33には、例えば車両に搭載された走行用の機関における出力軸の回転速度が画像によって指針表示される。
 投影表示部34は、運転者からの見かけ上にて、中央表示部31の上方向UDに位置している。投影表示部34は、後述するスモークカバー41に、水平方向HDを長手とする矩形形状に規定されている。投影表示部34には、後述するプロジェクタ60(図5参照)によって表示像35の光が投影される。例えばナビゲーション装置に設定された目的地への経路案内が、表示像35として投影表示部34に表示される。
 右発光領域36は、右発光リング26によって右表示部32を囲む途切れた環状に形成されている。左発光領域37は、左発光リング27によって左表示部33を囲む途切れた環状に形成されている。右発光リング26及び左発光リング27は、アクリル樹脂等の無色透明な樹脂の板材によって形成されている。右発光リング26及び左発光リング27は、右発光領域36及び左発光領域37である発光面を概ね均一に発光させることができる。
 視線検出インジケータ38及びジェスチャー検出インジケータ39は、加飾リング28に形成された円形状の透光部である。各インジケータ38,39は、中央表示部31の中心よりも下方向DDに位置し、水平方向HDに並んでいる。各インジケータ38,39は、光を透過することにより発光する。各インジケータ38,39は、複数の発光色にて発光することができる。
 次に、表示入力装置100の構成を図3~図5に基づいて説明する。表示入力装置100は、中央表示器21、右表示器22、左表示器23、プロジェクタ60、視線検出器72、ジェスチャー検出器74、入出力回路70、及び各光源76~79を備えている。加えて表示入力装置100は、これらの構成を収容する筐体40を備えている。
 中央表示器21、右表示器22、及び左表示器23はそれぞれ、例えばThin Film Transistor(TFT)方式のディスプレイパネルと、ディスプレイパネルを透過照明するバックライト等とを有する液晶ディスプレイである。ディスプレイパネルによって形成される表示面には、複数の画素が配列されている。表示面に描画されるカラー画像がバックライトによって透過照明されることにより、各表示器21~23は、種々の情報画像をカラー表示することができる。各表示器21~23は、制御部80に接続されており、制御部80から出力される映像信号に基づいて各画素を駆動することで、各表示部31~33に一連の情報画像を映像として表示する。
 プロジェクタ60は、多数のマイクロミラーを有するデジタルマイクロデバイス(DMD)、及びDMDに向けて光を投射する投射光源を有するDigital Light Processing(DLP:登録商標)方式の投影器である。プロジェクタ60は、制御部80に接続されており、制御部80から出力される映像信号に基づいて、DMDに設けられた多数のマイクロミラーの姿勢を制御する。投射光源から投射された光は、姿勢を制御されたDMDに反射されることにより、表示像35(図2参照)を映し出す光となって投影表示部34に投影される。以上によって投影表示部34には、一連の表示像35が映像として表示される。
 視線検出器72は、運転者の視線を検出するセンサユニットである。視線検出器72は、近赤外線を放射する発光素子、及び近赤外線を含む波長域の光を電気信号に変換する撮像素子等によって構成されている。視線検出器72は、中央表示部31の下方向DDに位置している(図2も参照)。視線検出器72は、運転席に着座した運転者の顔面が位置すると想定される範囲を、検出対象エリアSTA(図5参照)に含むような姿勢で筐体40に保持されている。発光素子は、検出対象エリアSTAに向けて近赤外線を照射する。発光素子から照射された近赤外線の一部は、運転者の顔面等により撮像素子に向けて反射される。撮像素子は、反射光を電気信号に変換することにより、運転者の目を含む範囲を撮影した近赤外画像を逐次生成する。視線検出器72は、撮像素子によって生成された近赤外画像を、逐次入出力回路70へと出力する。
 ジェスチャー検出器74は、運転者の手指Fによるジェスチャーを検出するセンサユニットである。ジェスチャー検出器74は、右表示部32を挟んで中央表示部31の反対側に位置している。ジェスチャー検出器74は、予め規定されたジェスチャー検出エリアGSA(図5参照)内でのジェスチャーを検出できる。ジェスチャー検出エリアGSAは、車両に設けられたステアリング110のリム部111を含むよう規定されている。
 ジェスチャー検出器74は、近赤外線を放射する発光素子、及び近赤外線を検出する受光素子等によって構成されている。発光素子は、ジェスチャー検出エリアGSAを含む範囲に向けて、近赤外線を照射する。発光素子から照射された近赤外線の一部は、運転者の手指F及びステアリング110等により、受光素子に向けて反射される。受光素子は、当該受光素子に到達する反射光の強弱を示す検出信号を生成する。ジェスチャー検出器74は、検出素子によって生成された検出信号を、入出力回路70へと出力する。
 入出力回路70は、視線変換部73、入力変換部75、光源駆動部81、映像出力部71、及び制御部80を有している。
 視線変換部73は、視線検出器72から取得した近赤外画像を画像解析することにより、運転者の視点の位置と視線の方向とを算出する演算部である。具体的に視線変換部73は、近赤外画像から、運転者の眼球の位置を特定する。加えて視線変換部73は、眼球及びその周辺領域を切り出した画像から、眼球に映り込んだ発光素子の反射像(プルキニエ像)の位置と、瞳孔の位置とを検出する。プルキニエ像の位置は、視線の向きを変えたとしても、実質変化しない。一方で、瞳孔の位置は、視線の向きを変えることによって変化する。故に、プルキニエ像及び瞳孔の相対位置関係から、視線変換部73は、視線の向きを算出することができる。視線変換部73は、視線検出器72によって視線が検出されているか否かを示す状態情報と、特定した眼球の位置(視点位置)を示す情報と、視線の向きを示す情報とを、制御部80に逐次出力する。
 入力変換部75は、ジェスチャー検出器74から入力される検出信号を解析することにより、運転者の手指Fがジェスチャー検出エリアGSAに有るか否か、及び運転者の手指Fによるジェスチャーが行われたか否か、を判定する。具体的に入力変換部75は、ステアリング110を握りつつ手指Fの指先を振るような動作を、運転者のジェスチャーとして検出する。入力変換部75は、ジェスチャー検出器74によって手指Fが検出されているか否かを示す状態情報を、制御部80に出力する。加えて入力変換部75は、手指Fの指先を振ることによって生じる波形の変化が検出信号から抽出された場合に、ジェスチャーが行われた旨の情報を、制御部80に出力する。
 光源駆動部81は、各光源76~79と接続されている。光源駆動部81は、制御部80から取得する制御信号に基づいて、各光源76~79に印加する電流を制御する。映像出力部71は、各表示器21~23及びプロジェクタ60と接続されている。映像出力部71は、制御部80から取得する制御信号に基づいて、各表示器21~23に表示される画像及びプロジェクタ60から投影される表示像の元画像を描画する。そして映像出力部71は、描画した画像の画像データを各表示器21~23及びプロジェクタ60に出力する。
 制御部80は、プログラムによって作動するマイクロコンピュータ、及び車内Local Area Network(LAN)130との間で通信を行うインターフェース等によって構成されている。制御部80は、ナビゲーション装置等の車載機器140から車内LAN130へ出力された車両の情報を取得する。加えて制御部80は、運転者の視線方向及びジャスチャーの実施に係わる各種の情報を、視線変換部73及び入力変換部75から取得する。制御部80は、取得した情報に基づいて、映像出力部71及び光源駆動部81に出力する制御信号を生成する。
 制御部80は、プログラムの実行により、判定ブロック82を機能ブロックとして有する。判定ブロック82は、視線変換部73から取得する視点位置及び視線の向きを示す情報に基づき、視線の到達位置を算出する。加えて判定ブロック82は、予め規定された視線検出エリア50内に運転者の視線が向けられているか否かを判定する。
 視線検出エリア50は、中央表示部31の表示面に沿って規定された仮想面であり、表示領域30の少なくとも一部を含むよう規定されている。表示入力装置100では、右視線検出エリア50r及び左視線検出エリア50lという二つの視線検出エリア50が、互いに異なる位置に規定されている。右視線検出エリア50r及び左視線検出エリア50lは、表示領域の水平方向HDに並ぶ配置で規定される。右視線検出エリア50r及び左視線検出エリア50lは、水平方向HDにおいて互いに離れた位置に規定されている。
 以上の右視線検出エリア50r内には、右表示部32及び右発光領域36が位置している。また、左視線検出エリア50l内には、左表示部33及び左発光領域37が位置している。一方で、投影表示部34、視線検出インジケータ38、及びジェスチャー検出インジケータ39は、右視線検出エリア50r及び左視線検出エリア50lの両方から外れた位置に設けられている。
 各光源76~79は、それぞれ発光ダイオード等の発光素子を組み合わせることによって構成されている。各光源76~79は、光源駆動部81に接続されており、制御部80によって発光を制御されている。
 右リング光源76は、右発光リング26に光を入射させることにより、右発光領域36を発光させる。光源駆動部81から右リング光源76への電流の印加は、運転者の視線が右視線検出エリア50r内に向けられることによって開始される。以上により、右発光領域36は、右視線検出エリア50r内への視線が検知されたことを、運転者に通知できる。
 左リング光源77は、左発光リング27に光を入射させることにより、左発光領域37を発光させる。光源駆動部81から左リング光源77への電流の印加は、運転者の視線が左視線検出エリア50l内に向けられることによって開始される。以上により、左発光領域37は、左視線検出エリア50l内への視線が検知されたことを、運転者に通知できる。
 視線インジケータ光源78は、視線検出インジケータ38に向けて光を照射することにより、視線検出インジケータ38を発光表示させる。視線インジケータ光源78は、視線検出器72及び視線変換部73によって視線が検出されることにより、緑色に発光する。一方で、視線が検出されていない状態では、視線インジケータ光源78は、橙色に発光する。以上により、視線検出インジケータ38は、視線の検出(トラッキング)が正常に行われているか否かを、発光色によって運転者に通知できる。
 ジェスチャーインジケータ光源79は、ジェスチャー検出インジケータ39に向けて光を照射することにより、ジェスチャー検出インジケータ39を発光表示させる。ジェスチャーインジケータ光源79は、ジェスチャー検出器74及び入力変換部75によって手指Fが検出されることにより、緑色に発光する。一方で、手指Fの検出されていない状態では、ジェスチャーインジケータ光源79は、橙色に発光する。これにより、ジェスチャー検出インジケータ39は、手指Fの検出が正常に行われているか否かを、発光色によって運転者に通知できる。尚、視線インジケータ光源78及びジェスチャーインジケータ光源79の発光色は、適宜変更可能である。また、これらの光源78,79の光源色は、互いに異なっていてもよい。
 図4及び図5に示す筐体40は、樹脂材料等により、開口を有する容器状に形成されている。筐体40は、各表示器21~23及びプロジェクタ60等を保持している。筐体40の開口には、スモークカバー41が取り付けられている。スモークカバー41は、透光性の樹脂材料によって、湾曲した板状に形成されている。スモークカバー41には、投影表示部34が形成されている。スモークカバー41は、筐体40の開口を物理的に塞ぐことにより、筐体40内への塵及び埃等の侵入を防止している。
 次に、表示入力装置100に設定された操作メニューの操作方法を、図6A~図6D及び図7A~図7Dに基づいて説明する。操作メニューは、表示入力装置100及び各車載機器140(図3参照)等を操作するグラフィックユーザーインタフェースに設定された選択肢の集合である。操作メニューは、複数階層に構成されており、上位層に設けられた複数の選択項目のいずれかが選択されることにより、選択された選択項目の設定を具体的に変更する下位層に移行する。尚、図6A~図6D及び図7A~図7Dでは、運転者が視線を向けている注視点の位置は、目を模したアイコンによって図示されている。加えて、各表示部の表示を見易くするために、ステアリング110の図示は、省略されている。
 図6A~図6Dは、運転者の視線が右視線検出エリア50r及び左視線検出エリア50lのいずれにも向けられていない場合を示している。この場合、制御部80(図3参照)は、検出された手指Fの指先によるジェスチャーを、選択中の選択項目を順に切り替える上位層での選択操作に関連付ける。また、指先のジェスチャーによって選択中の選択項目が切り替えられると、表示モードの変更によって投影表示部34、右表示部32、及び左表示部33の各表示内容が、合わせて切り替えられる。
 具体的に、図6Aに示す通常表示モードでは、右表示部32には燃料計及び水温計が表示され、左表示部33にはタコメータが表示される。加えて投影表示部34には、オドメータが表示される。以上の通常表示モードにおいてジェスチャーが行われると、図6Bに示すエアコン操作モードに切り替えられる。
 エアコン操作モードでは、車両に搭載された空調機器が操作の対象とされ、当該空調機器に設定された設定温度が選択項目とされる。そして、投影表示部34には、選択項目である設定温度の現在値、及び「air-con」という文字が表示される。また、右表示部32及び左表示部33には、エアコン操作モードでの変更操作の内容が表示される。詳記すると、右表示部32には、設定温度の上昇(増加)を示す画像が表示される。さらに、左表示部33には設定温度の下降(減少)を示す画像が表示される。以上のエアコン操作モードにおいてジャスチャーが行われると、図6Cに示すオーディオ操作モードに切り替えられる。
 オーディオ操作モードでは、車両に搭載されたオーディオ機器が操作の対象とされ、当該オーディオ機器にて再生中の楽曲のトラック番号が選択項目とされる。そして、投影表示部34には、選択項目であるトラック番号の現在値、及び「Audio」という文字が表示される。また、右表示部32には、トラック番号の送り(増加)を示す画像が表示される。さらに、左表示部33にはトラック番号の戻し(減少)を示す画像が表示される。以上のオーディオ操作モードにおいてジャスチャーが行われると、図6Dに示すマップ操作モードに切り替えられる。
 マップ操作モードでは、ナビゲーション装置が操作の対象とされ、当該ナビゲーション装置に表示される地図のスケールが選択項目とされる。そして、投影表示部34には、選択項目であるスケールの現在値、及び「Navi」という文字が表示される。また、右表示部32には、広域の地図に変更する旨を示す画像が表示される。さらに、左表示部33には、詳細な地図に変更する旨を示す画像が表示される。以上のマップ操作モードにおいてジャスチャーが行われると、図6Aに示す通常表示モードに切り替えられる。
 図7A~図7Dは、エアコン操作モード(図6B参照)において、運転者の視線が右視線検出エリア50r又は左視線検出エリア50lに向けられた場合を示している。この場合、制御部80(図3参照)は、検出された手指Fの指先によるジェスチャーを、設定温度の設定値を変更する下位層での変更操作に関連付ける。加えて、手指Fの指先のジェスチャーによって設定温度が変更されると、投影表示部34の表示される数値も、合わせて変更される。
 具体的に、図7Aに示すように、運転者の視線が右視線検出エリア50r内に向けられると、右発光領域36が発光し(ドットにて図示する)、設定温度を上げる増加変更操作が可能となる。こうした状態下、手指Fによるジェスチャーが行われると、図7Bに示すように、設定温度が引き上げられる。
 加えて、図7Bに示すように、運転者の視線が左視線検出エリア50l内に向けられると、左発光領域37が発光し(ドットにて図示する)、設定温度を下げる減少変更操作が可能となる。こうした状態下、手指Fによるジェスチャーが行われると、図7Cに示すように、設定温度が引き下げられる。そして、手指Fによるジェスチャーがさらに実施されることにより、図7Dに示すように、設定温度はさらに引き下げられる。運転者の視線が各視線検出エリア50r,50lの両方から外された後も、ジェスチャーによる減少変更操作か可能な状態は、予め規定された所定時間だけ継続される。
 図6Cに示すオーディオ操作モードにおいて、右視線検出エリア50r又は左視線検出エリア50lに運転者の視線が向けられた場合では、手指Fによるジェスチャーは、再生中のトラック番号を変更する下位層での変更操作に関連付けられる。具体的に、運転者の視線が右視線検出エリア50r内に向けられると、再生するトラック番号を繰り上げる増加変更操作が可能となる。一方で、運転者の視線が左視線検出エリア50l内に向けられると、再生するトラック番号を繰り下げる減少変更操作が可能となる。
 図6Dに示すマップ操作モードにおいて、右視線検出エリア50r又は左視線検出エリア50lに運転者の視線が向けられた場合では、手指Fによるジェスチャーは、地図のスケールを変更する下位層での変更操作に関連付けられる。具体的に、運転者の視線が右視線検出エリア50r内に向けられると、地図のスケールを大きくする増加変更操作が可能となる。この増加変更操作により、縮尺の小さい広域の地図が表示されるようになる。一方で、運転者の視線が左視線検出エリア50l内に向けられると、地図のスケールを小さくする減少変更操作が可能となる。この減少変更操作により、縮尺の大きい詳細な地図が表示されるようになる。
 以上説明した表示入力装置100の操作入力を実現するために、制御部80によって実施される処理を、図8に基づき、図3~図5を参照しつつ説明する。図8に示す処理は、車両のアクセサリ電源がオン状態とされ、車両の電源回路から表示入力装置100へと電力の供給が開始されることにより、制御部80によって開始される。この処理は、アクセサリ電源がオフ状態とされるまで、制御部80によって繰り返し実施される。
 S101では、判定ブロック82によって右視線検出エリア50r内に視線が向けられているか否かを判定する。S101にて、右視線検出エリア50r内に視線が向けられていると肯定判定をした場合には、S105に進む。一方で、S101にて、右視線検出エリア50r内に視線が向けられていないと否定判定をした場合には、S102に進む。
 S102では、判定ブロック82によって左視線検出エリア50l内に視線が向けられているか否かを判定する。S102にて、左視線検出エリア50l内に視線が向けられていると肯定判定をした場合には、S111に進む。一方で、S102にて、左視線検出エリア50l内に視線が向けられていないと否定判定をした場合には、S103に進む。以上のS101及びS102の否定判定により、ジェスチャーは、選択操作に関連付けられるようになる。これにより、運転者は、複数の選択項目のいずれかを選択できる。
 S103では、手指Fの指先によるジェスチャーの検出が有ったか否かを判定する。S103にて、ジェスチャーの検出が無い旨の否定判定をした場合には、S104をスキップすることにより、101に戻る。一方で、S103にて、ジェスチャーが検出された旨の肯定判定をした場合には、S104に進む。S104では、指先によるジェスチャーを選択操作に関連付け、選択状態にある選択項目を切り替える。加えて、各表示部32~34の表示を切り替え後の選択項目に対応した内容に変更し、S101に戻る。
 S101の肯定判定に基づくS105以降の処理では、指先によるジェスチャーは、増加変更操作に関連付けられる。S105では、光源駆動部81から右リング光源76への電流の印加を開始させることにより、右発光領域36の発光を開始させ、S106に進む。S106では、S103と同様に、ジェスチャー検出が有ったか否かを判定する。S106にて否定判定をした場合には、S107及びS108をスキップし、S109に進む。一方で、S106にて肯定判定をした場合には、S107に進む。
 S107では、車載機器140の設定変更を指示する指示信号を車内LAN130に出力する出力処理を実施し、S108に進む。S107の出力処理では、設定温度の上昇を空調機器に指示する指示命令、再生曲の送りをオーディオ機器に指示する指示命令、及び地図のスケール拡大をナビゲーション装置に指示する指示命令等が出力される。
 S108では、投影表示部34の表示を変更し、S109に進む。このS108により、操作対象である車載機器140に設定された現在の設定値が投影表示部34に表示されるようになる。S109では、S101の肯定判定によってジェスチャーが増加変更操作に関連付けられてから、所定の時間が経過したか否かを判定する。S109にて否定判定をした場合には、S106に戻り、ジェスチャーの入力の受け付けを継続する。所定時間の経過によりS109にて肯定判定をした場合には、S110に進む。S110では、S105にて開始した右リング光源76への電流の印加を停止することにより、右発光領域36を消灯させ、S101に戻る。
 S102の肯定判定に基づくS111以降の処理では、指先によるジェスチャーは、減少変更操作に関連付けられる。S111では、光源駆動部81から左リング光源77への電流の印加を開始させることにより、左発光領域37の発光を開始させ、S112に進む。S112では、S103及びS106と同様に、ジェスチャーの検出が有ったか否かを判定する。S112にて否定判定をした場合には、S113及びS114をスキップし、S115に進む。一方で、S112にて肯定判定をした場合には、S113に進む。
 S113では、S107と同様に、車載機器140の設定変更を指示する指示信号を車内LAN130に出力する出力処理を実施し、S114に進む。S113の出力処理では、設定温度の下降を空調機器に指示する指示命令、再生曲の戻しをオーディオ機器に指示する指示命令、及び地図のスケール縮小をナビゲーション装置に指示する指示命令等が出力される。
 S114では、投影表示部34の表示を変更し、S115に進む。このS114により、操作対象である車載機器140に設定された現在の設定値が投影表示部34に表示されるようになる。S115では、S102の肯定判定によってジェスチャーが減少変更操作に関連付けられてから、所定の時間が経過したか否かを判定する。S115にて否定判定をした場合には、S112に戻り、ジェスチャーの入力の受け付けを継続する。所定時間の経過によりS115にて肯定判定をした場合には、S116に進む。S116では、S111にて開始した左リング光源77への電流の印加を停止することにより、左発光領域37を消灯させ、S101に戻る。
 ここまで説明した第一実施形態では、視線検出エリア50内に視線が向けられているか否かに基づいて、運転者の手指Fによるジェスチャーと関連付けられる操作が、複数のうちで切り替えられる。故に、運転者は、視線移動との組み合わせにより、手指Fの指先を振るという一つの簡単なジェスチャーによって、複数の操作を行うことができる。以上によれば、ステアリング110を握ったままでのジェスチャーの実施が可能となり、且つ、ジェスチャーの実施に伴う運転への集中低下も抑制される。したがって、運転中における操作の入力に伴ったドライバーディストラクションが低減可能となる。
 加えて第一実施形態では、選択操作から変更操作への切り替えが、視線検出エリア50内への視線の移動に基づいて行われる。故に運転者は、手指Fによる簡単なジェスチャーによって、一連の選択操作及び変更操作の両方を行うことができる。したがって、ドライバーディストラクションのいっそうの低減が可能となる。
 また第一実施形態では、右視線検出エリア50r及び左視線検出エリア50lは、それぞれ右表示器22及び左表示器23を含むよう規定されている。故に、各視線検出エリア50r,50lは、センターコンソール及びセンタークラスタ等よりも、前景の近くに位置し得る。その結果、選択操作から変更操作へと移行するため、いずれかの視線検出エリア50内に視線を一旦移動させる動作は、センターコンソール及びセンタークラスタ等に設けられたスイッチ類を目視にて確認するような視線移動の動作よりも、短時間で完了し得る。こうして、前景から視線を外す時間が短縮されることにより、運転者は、運転中に変更操作を行ったとしても、運転への集中を容易に維持できる。
 さらに第一実施形態では、二つの視線検出エリア50が規定されている。故に、一方の右視線検出エリア50r内に視線が向けられた場合と、他方の左視線検出エリア50l内に視線が向けられた場合とで、同一のジェスチャーを、互いに異なる二つの変更操作に関連付けることが可能となる。その結果、下位層における変更操作の操作性向上が実現される。
 加えて第一実施形態では、右視線検出エリア50r内に視線が向けられた場合と、左視線検出エリア50l内に視線が向けられた場合とで、同一のジェスチャーが、逆の作動となる変更操作に関連付けられている。故に、運転者は、二つの視線検出エリア50r,50l間での視線移動により、設定温度等を所望の設定値に速やかに調整することができる。したがって、下位層における変更操作の操作性は、いっそう向上可能となる。
 また第一実施形態のように、二つの視線検出エリア50r,50lが水平方向HDに並ぶ構成であれば、運転者は、水平方向HDへの視線移動により、ジェスチャーと関連付けられる変更操作を切り替えることができる。その結果、下位層における変更操作の操作性は、さらに向上する。
 さらに第一実施形態では、二つの視線検出エリア50r,50lは、互いに離れて位置している。そのため、運転者が視線を右視線検出エリア50rに向けているつもりでも、左視線検出エリア50l内で視線が検出されてしまう事態、又はその逆の事態は、生じ難くなる。以上によれば、運転者の視線移動の誤検知を低減し、視線移動による変更操作の切り替えを明確に生じさせることが可能となる。その結果、下位層における変更操作の操作性は、さらに高いものとなる。
 加えて第一実施形態では、各変更操作の内容を表示する右表示器22及び左表示器23が、各視線検出エリア50r,50l内に位置している。故に、運転者は、右視線検出エリア50rに視線を移動させる動作に合わせて、右表示器22の表示内容を視認し得る。同様に、運転者は、左視線検出エリア50lに視線を移動させる動作に合わせて、左表示器23の表示内容を視認し得る。以上によれば、運転者は、関連付けられる変更操作の内容を認識したうえで、ジェスチャーを開始することができる。こうして、運転者の運転への集中を削ぎ難い、ユーザフレンドリーな表示入力装置100が実現される。
 また第一実施形態では、各視線検出エリア50r,50l内に一旦視線を移動させれば、変更操作の可能な状態が、所定の時間継続される。以上によれば、運転者は、変更操作を継続している間、視線検出エリア50内に視線を留めておく必要が無くなる。その結果、運転者は、視線検出エリア内に一旦移動させた視線を、速やかに前景に戻すことができる。以上によれば、前景から視線を外したことに起因する運転への集中低下は、僅かとなる。
 さらに第一実施形態では、選択状態にある選択項目が、二つの視線検出エリア50から外れて位置する投影表示部34によって通知される。故に、投影表示部34の視認によって選択状態にある選択項目を確認した場合でも、ジェスチャーは、変更操作に関連付けられない。故に運転者は、所望の選択項目が選択状態にあるか否かを確認したうえで、下位層での変更操作に移行できる。
 加えて第一実施形態では、各視線検出エリア50r,50l内に位置する各発光領域36,37によって、当該各エリア50r,50l内への視線移動が、運転者に明示される。その結果、運転者は、ジェスチャーが変更操作に関連付けられる状態となったことを確認したうえで、手指Fの動作を開始できる。以上のように、各発光領域36,37の発光により、ジェスチャーを開始しようとする運転者に安心感を与えることで、表示入力装置100のユーザインターフェースは、いっそうユーザフレンドリーとなる。
 また第一実施形態では、ジェスチャー検出エリアGSAが、ステアリング110のリム部111を含むよう規定されている。故に、ステアリング110を把持したままのジェスチャーであっても、ジェスチャー検出器74及び入力変換部75は、確実に検出し得る。以上のように、ジェスチャーの検出精度が高められることにより、運転者は、運転への集中を削がれることなく、一連の選択操作及び変更操作を円滑に入力できる。
 さらに第一実施形態によれば、視線検出器72及び視線変換部73による視線検出が正常に行われているか否かが、視線検出インジケータ38によって運転者に通知される。同様に、ジェスチャー検出器74及び入力変換部75によるジェスチャー検出が正常に行われているか否かが、ジェスチャー検出インジケータ39によって運転者に通知される。以上によれば、運転者は、視線検出及びジェスチャー検出が正しく実施されていることを確認したうえで、安心して視線移動及びジェスチャーを組み合わせた操作入力を行うことができる。
 加えて第一実施形態における各インジケータ38,39は、二つの視線検出エリア50から外れた位置に設けられている。そのため、各インジケータ38,39の状態を視認したとしても、選択操作から変更操作への移行は、生じない。故に運転者は、視線検出及びジェスチャー検出の状態確認したうえで、すみやかに選択項目の選択操作を開始することができる。
 尚、第一実施形態において、右表示部32及び左表示部33が「内容表示部」に相当し、投影表示部34が「メニュー表示部」に相当する。また、右発光領域36及び左発光領域37が「発光領域」に相当し、視線検出器72及び視線変換部73が「視線検出部」に相当する。さらに、ジェスチャー検出器74及び入力変換部75が「ジェスチャー検出部」に相当し、制御部80が「制御部」に相当し、判定ブロック82が「判定部」に相当する。加えて、表示入力装置100が「車両用表示入力装置」に相当し右視線検出エリア50rが「第一視線検出エリア」に相当し、左視線検出エリア50lが「第二視線検出エリア」に相当する。そして、S101が「第一判定部」に相当し、S102が「第二判定部」に相当する。
 (第二実施形態)
 図9に示す本開示の第二実施形態は、第一実施形態の変形例である。第二実施形態による車両の表示入力システム200は、第一実施形態による表示入力装置100(図3参照)と同様のユーザインターフェースの機能を備えている。表示入力システム200は、コンビネーションメータ210、ドライバーステータスモニタ(DSM)285、ジェスチャー認識モニタ289、及び制御ユニット280等を組み合わせることによって構成されている。
 コンビネーションメータ210は、メータフード121(図1参照)内に収容される車両用の表示装置である。コンビネーションメータ210は、第一実施形態と実質同一の映像出力部71、各光源76~79、及び光源駆動部81と、表示器220及び表示制御部211とを有している。
 表示器220は、第一実施形態の各表示器21~23(図3参照)に相当するカラー表示可能な液晶ディスプレイである。表示制御部211は、プログラムによって作動するマイクロコンピュータ、車内LAN130との間で通信を行うインターフェース、制御ユニット280との間で通信を行うインターフェース等によって構成されている。表示制御部211は、車内LAN130及び制御ユニット280から取得した各種の情報に基づいて制御信号を生成し、生成した制御信号を光源駆動部81及び映像出力部71等に出力することにより、表示器220の表示及び各光源76~79の発光を制御する。
 DSM285は、運転者の顔の向きや瞼の動きから、脇見や眠気を検知する運転支援装置である。DSM285は、例えばステアリングポストの上面に載置されている。DSM285は、第一実施形態と実質同一の視線検出器72及び視線変換部73を有している。DSM285は、視線検出器72によって視線が検出されているか否かを示す状態情報と、特定した視点位置を示す情報と、視線の向きを示す情報とを、制御ユニット280に逐次出力する。
 ジェスチャー認識モニタ289は、運転者の手指F(図4参照)によるジェスチャーを認識するための装置である。ジェスチャー認識モニタ289は、水平方向HD(図2参照)においてコンビネーションメータ210と並ぶ配置にて、インスツルメントパネル120(図1参照)に取り付けられている。ジェスチャー認識モニタ289は、第一実施形態と実質同一のジェスチャー検出器74及び入力変換部75を有している。ジェスチャー認識モニタ289は、ジェスチャー検出器74によって手指Fが検出されているか否かを示す状態情報と、ジェスチャーが行われた旨の情報とを、制御ユニット280に出力する。
 制御ユニット280は、プログラムによって作動するマイクロコンピュータと、コンビネーションメータ210、DSM285、ジェスチャー認識モニタ289、及び車内LAN130との間で通信を行う複数のインターフェース等によって構成されている。制御ユニット280は、プログラムの実行により、第一実施形態と実質同一の判定ブロック82を機能ブロックとして有する。制御ユニット280は、運転者の視線方向及びジャスチャーの実施に係わる各種の情報を、DSM285及びジェスチャー認識モニタ289から取得する。そして制御ユニット280は、取得した情報に基づいて生成した制御信号を、表示制御部211及び車内LAN130に出力することで、コンビネーションメータ210の表示及び車載機器140の設定値を制御する。
 ここまで説明した第二実施形態のように、複数の構成の組み合わせによって構築された表示入力システム200であっても、視線移動及びジェスチャーを組み合わせた操作入力が実現される。故に、運転者は、手指F(図4参照)の指先を振るという一つの簡単なジェスチャーによって、選択操作及び変更操作の両方を行うことができる。その結果、表示入力装置100(図3参照)と同様のドライバーディストラクションの低減効果が発揮される。
 尚、第二実施形態において、DSM285が「視線検出部」に相当し、ジェスチャー認識モニタ289が「ジェスチャー検出部」に相当する。また、制御ユニット280が「制御部」に相当し、表示入力システム200が「車両用表示入力装置」に相当する。
 (他の実施形態)
 以上、本開示による複数の実施形態について説明したが、本開示は、上記実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
 上記実施形態では、視線検出エリア外に視線が向けられている場合のジェスチャーは選択操作に関連付けられ、視線検出エリア内に視線が向けられている場合のジェスチャーは変更操作に関連付けられていた。しかし、視線移動に基づいてジェスチャーと関連付けられる操作は、操作メニューの構成に応じて適宜変更可能である。例えば、視線検出エリア内に視線が向けられている場合のジェスチャーが選択操作とされ、視線検出エリア外に視線が向けられている場合のジェスチャーが変更操作とされてもよい。加えて、操作メニューが複数階層に構成されていない形態においては、例えば、視線検出エリア内に視線が向けられている場合のジェスチャーが増加変更操作とされ、視線検出エリア外に視線が向けられている場合のジェスチャーが減少変更操作とされてもよい。
 上記実施形態では、二つの視線検出エリアが水平方向HDに並ぶ配置で規定されていたが、視線検出エリアは、一つであってもよく、又は三つ以上であってもよい。加えて、視線検出エリアの形状及び配置は、当該視線検出エリア内に表示領域の少なくとも一部が含まれるのであれば、適宜変更可能である。
 上記実施形態では、上位層での選択操作により、エアコン操作モード、オーディオ操作モード、及びマップ操作モードが、順に切り替えられる設定であった。しかし、これら以外の表示モードが設定されていてもよい。例えば、別のエアコン操作モードとして、空調機器に設定された風量を選択項目とした表示モードが追加可能である。さらに別のエアコン操作モードとして、空調機器に設定された冷風又は温風の吹き出し口を選択項目とした表示モードが追加可能である。
 また、別のオーディオ操作モードとして、オーディオ機器に設定された音量を選択項目とした表示モードが追加可能である。或いは、車両に搭載された携帯電話の着信時の操作を選択項目とした表示モードも追加可能である。この着信操作モードでは、運転者は、右視線検出エリア内に視線を向けてジェスチャーを実施することにより、通話を開始できる。一方で運転者は、左視線検出エリア内に視線を向けてジェスチャーを実施することにより、着信を保留できる。
 上記実施形態では、右視線検出エリア内に視線が向けられた場合にジェスチャーは、増加変更操作に関連付けられていた。しかし、右視線検出エリア内に視線を向けた場合のジェスチャーは、減少変更操作に関連付けられてもよい。この場合、左視線検出エリア内に視線を向けた場合のジェスチャーは、増加変更操作に関連付けられる。
 上記実施形態では、手指Fの指先を振るジェスチャーが検出されていたが、ジェスチャー検出器及び入力変換部によって検出されるジェスチャーは、上述の動作に限定されない。ステアリングを把持しつつ実施可能な種々のジェスチャーが、ジェスチャー検出器及び入力変換部の検出対象として設定できる。
 上記実施形態では、設定温度及びトラック番号といった設定項目の現在の値を表示することにより、投影表示部は、選択状態にある選択項目を運転者に通知していた。しかし、選択状態にある選択項目を運転者に通知できれば、投影表示部の表示内容は、上述の内容に限定されない。例えば、エアコン操作モードであれば、「温度設定」といった文字表示により、選択項目が直接的に明示されていてもよい。
 上記実施形態では、視線検出エリア内への視線移動により、変更操作の可能な状態が所定時間維持された。こうした所定時間は、適宜変更可能であり、例えば5秒程度であってもよく、10秒以上であってもよい。さらに、視線検出エリアから視線が外されたことに基づいて、変更操作から選択操作への切り替えが即座に実施されてもよい。
 上記実施形態では、右視線検出エリアに視線が向けられた後、左視線検出エリアに視線が移動した場合、ジェスチャーに関連付けられる操作は、増加変更操作から減少変更操作へと即座に切り替えられていた。しかし、こうした切り替え制御は、行われなくてもよい。その結果、増加変更操作への関連付けが一旦開始された後では、所定時間の経過までは、減少変更操作への関連付けが実施されなくてもよい。
 上記実施形態では、左右の発光領域を発光させることにより、左右の視線検出エリア内における視線検出が、運転者に通知されていた。こうした発光領域の形状及び発光色等は、適宜変更可能である。また、こうした発光領域は、省略されていてもよい。こうした形態では、視線検出エリア内での視線検出は、左右の表示部の背景色の変更又は点滅等によって運転者に通知されることが望ましい。
 上記実施形態では、ジェスチャー及び視線の各検出が正常に行われているか否かが、各インジケータの発光色の変化によって運転者に通知されていた。しかし、ジェスチャー検出及び視線検出の状態情報を、例えば中央表示部又は投影表示部等に表示する形態であれば、上述の各インジケータは、省略されてもよい。
 上記実施形態におけるジェスチャー検出は、近赤外線を用いたジェスチャー検出器を用いて行われていた。こうしたジェスチャーを検出するための構成及び制御は、適宜変更可能である。例えば、ステアリングに設けた静電容量センサによって、リム部近傍の指先の動きが検出されてもよい。
 上記実施形態では、ジェスチャー検出器は、右手によるジェスチャーを主な検出対象としていた。しかし、ジェスチャー検出器の配置変更により、左手によるジェスチャーが、主な検出対象とされてもよい。さらに、複数のジェスチャー検出器を用いることにより、右手によるジェスチャーと左手によるジェスチャーが、共に検出対象とされてもよい。
 上記実施形態では、近赤外線カメラによって撮影した近赤外画像を用いて、視点位置及び視線の方向を算出することにより、運転者の注視点位置が割り出されていた。こうした視線を検出するための構成及び制御は、適宜変更可能である。さらに、視線を検出する構成が、ジェスチャーを検出する構成を兼ねていてもよい。
 上記実施形態において、プログラムを実行した制御部又は制御ユニットにより提供されていた「制御部」及び「判定ブロック」等の機能は、上述の構成と異なるハードウェア及びソフトウェア、或いはこれらの組み合わせによって提供されてよい。例えば、DSMに設けられた制御回路により、「判定ブロック」等の機能が提供されてよい。さらに、プログラムによらないで所定の機能を果たす回路により、上述の機能が提供されてよい。

Claims (13)

  1.  車両に搭載され、前記車両に係わる情報を表示領域(30)に表示し、操作メニューの操作が前記車両の運転者によって入力される車両用表示入力装置であって、
     前記運転者の手(F)によるジェスチャーを検出するジェスチャー検出部(74,75,289)と、
     前記表示領域の少なくとも一部を含むよう予め規定された視線検出エリア(50)内に、前記運転者の視線が向けられているか否かを判定する判定部(82)と、
     前記視線検出エリア内に前記視線が向けられているか否かの前記判定部の判定に基づいて、前記操作メニューに規定された複数の操作のうちで前記ジェスチャーを関連付ける操作を切り替える制御部(80,280)と、
     を備える車両用表示入力装置。
  2.  前記操作メニューは複数階層に構成され、
     前記制御部は、前記視線検出エリア内に前記視線が向けられていない場合に、前記操作メニューの上位層に設けられた複数の選択項目のいずれかを選択する選択操作に前記ジェスチャーを関連付け、前記視線検出エリア内に前記視線が向けられたことに基づいて、前記上位層にて選択された前記選択項目の内容を変更する下位層での変更操作に前記ジェスチャーを関連付ける請求項1に記載の車両用表示入力装置。
  3.  前記視線検出エリアは、異なる位置に規定された第一視線検出エリア(50r)と第二視線検出エリア(50l)を含み、
     前記判定部は、前記第一視線検出エリア内に前記視線が向けられているか否かを判定する第一判定部(S101)と、及び前記第二視線検出エリア内に前記視線が向けられているか否かを判定する第二判定部(S102)と、を有する請求項2に記載の車両用表示入力装置。
  4.  前記制御部は、
     前記第一視線検出エリア内に前記視線が向けられたことに基づき、前記選択項目に設定された設定値を増加させる増加変更操作に前記ジェスチャーを関連付け、
     前記第二視線検出エリア内に前記視線が向けられたことに基づき、前記選択項目に設定された設定値を減少させる減少変更操作に前記ジェスチャーを関連付ける請求項3に記載の車両用表示入力装置。
  5.  前記第一視線検出エリア及び前記第二視線検出エリアは、前記表示領域の水平方向(HD)に並ぶ配置で規定される請求項3又は4に記載の車両用表示入力装置。
  6.  前記第一視線検出エリア及び前記第二視線検出エリアは、互いに離れた位置に規定される請求項3~5のいずれか一項に記載の車両用表示入力装置。
  7.  前記表示領域は、前記視線検出エリア内に位置し、当該視線検出エリア内に前記視線が向けられた場合の前記変更操作の内容を表示する内容表示部(32,33)を有する請求項2~6のいずれか一項に記載の車両用表示入力装置。
  8.  前記制御部は、前記視線検出エリア内に前記視線が向けられたことに基づいて、前記ジェスチャーを前記変更操作に関連付ける制御を予め規定された時間継続する請求項2~7のいずれか一項に記載の車両用表示入力装置。
  9.  前記表示領域は、前記視線検出エリアから外れて位置し、前記上位層にて選択されている前記選択項目を通知するメニュー表示部(34)、を有する請求項2~8のいずれか一項に記載の車両用表示入力装置。
  10.  前記視線検出エリア内に位置し、当該視線検出エリア内に前記視線が向けられたことに基づいて発光する発光領域(36,37)、をさらに備える請求項1~9のいずれか一項に記載の車両用表示入力装置。
  11.  前記ジェスチャー検出部は、前記車両に設けられたステアリング(110)のリム部(111)を含むよう予め規定されたジェスチャー検出エリア(GSA)内での前記ジェスチャーを検出する請求項1~10のいずれか一項に記載の車両用表示入力装置。
  12.  前記運転者の前記視線を検出する視線検出部(72,73,285)と、
     前記視線検出部によって前記視線が検出されているか否かを通知する視線検出インジケータ(38)と、をさらに備える請求項1~11のいずれか一項に記載の車両用表示入力装置。
  13.  前記ジェスチャー検出部によって前記運転者の手が検出されているか否かを通知するジェスチャー検出インジケータ(39)、をさらに備える請求項1~12のいずれか一項に記載の車両用表示入力装置。
PCT/JP2015/001362 2014-03-27 2015-03-12 車両用表示入力装置 WO2015146037A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/128,588 US10019069B2 (en) 2014-03-27 2015-03-12 Vehicular display input apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-066594 2014-03-27
JP2014066594A JP6331567B2 (ja) 2014-03-27 2014-03-27 車両用表示入力装置

Publications (1)

Publication Number Publication Date
WO2015146037A1 true WO2015146037A1 (ja) 2015-10-01

Family

ID=54194591

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/001362 WO2015146037A1 (ja) 2014-03-27 2015-03-12 車両用表示入力装置

Country Status (3)

Country Link
US (1) US10019069B2 (ja)
JP (1) JP6331567B2 (ja)
WO (1) WO2015146037A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017097608A (ja) * 2015-11-24 2017-06-01 矢崎総業株式会社 画像認識装置
FR3048111A1 (fr) * 2016-02-18 2017-08-25 Continental Automotive France Detection optique des gestes faits par les doigts d'un conducteur

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014116292A1 (de) * 2014-11-07 2016-05-12 Visteon Global Technologies, Inc. System zur Informationsübertragung in einem Kraftfahrzeug
GB2558889B (en) * 2017-01-13 2020-07-29 Jaguar Land Rover Ltd Drive mode selector for a drivetrain, vehicle comprising such a drive mode selector, and a method of selecting a drive mode of a drivetrain
DE102017113781B4 (de) * 2017-06-21 2023-10-05 SMR Patents S.à.r.l. Verfahren zum Betreiben einer Anzeigevorrichtung für einen Kraftwagen, sowie Kraftwagen
GB2567164A (en) * 2017-10-04 2019-04-10 Continental Automotive Gmbh Display system in a vehicle
JP6922686B2 (ja) 2017-11-20 2021-08-18 トヨタ自動車株式会社 操作装置
DE102018211624A1 (de) * 2018-07-12 2020-01-16 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Benutzerschnittstelle zur Erfassung einer Eingabe mittels Zeigegestik
JP7466282B2 (ja) * 2019-09-24 2024-04-12 日本車輌製造株式会社 鉄道車両
DE102022100332A1 (de) * 2022-01-10 2023-07-13 Bayerische Motoren Werke Aktiengesellschaft Verfahren für ein Gestenerkennungssystem zur Verbesserung einer Gestenerkennung, Vorrichtung, Computerprogram und Fahrzeug

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006335112A (ja) * 2005-05-31 2006-12-14 Nissan Motor Co Ltd コマンド入力装置
JP2011000957A (ja) * 2009-06-18 2011-01-06 Honda Motor Co Ltd 車載機器操作装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216069A (ja) 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
JP2005135439A (ja) 2004-12-28 2005-05-26 Toshiba Corp 操作入力装置
FR2954238B1 (fr) 2009-12-22 2012-03-16 Dav Dispositif de commande pour vehicule automobile
JP2012108385A (ja) 2010-11-18 2012-06-07 Nippon Seiki Co Ltd 車両用表示装置
US20130030811A1 (en) * 2011-07-29 2013-01-31 Panasonic Corporation Natural query interface for connected car
US9965169B2 (en) * 2011-12-29 2018-05-08 David L. Graumann Systems, methods, and apparatus for controlling gesture initiation and termination
US8942881B2 (en) * 2012-04-02 2015-01-27 Google Inc. Gesture-based automotive controls
US9823742B2 (en) * 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
KR20150076627A (ko) * 2013-12-27 2015-07-07 한국전자통신연구원 차량 운전 학습 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006335112A (ja) * 2005-05-31 2006-12-14 Nissan Motor Co Ltd コマンド入力装置
JP2011000957A (ja) * 2009-06-18 2011-01-06 Honda Motor Co Ltd 車載機器操作装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017097608A (ja) * 2015-11-24 2017-06-01 矢崎総業株式会社 画像認識装置
FR3048111A1 (fr) * 2016-02-18 2017-08-25 Continental Automotive France Detection optique des gestes faits par les doigts d'un conducteur

Also Published As

Publication number Publication date
US10019069B2 (en) 2018-07-10
JP6331567B2 (ja) 2018-05-30
US20170102774A1 (en) 2017-04-13
JP2015191310A (ja) 2015-11-02

Similar Documents

Publication Publication Date Title
JP6331567B2 (ja) 車両用表示入力装置
US10481757B2 (en) Eye gaze control system
US20200333913A1 (en) Interactive computer display and control systems for the home
JP3979002B2 (ja) コンピュータのユーザ・インターフェース用システム及びユーザ・インターフェース提供方法
US10589676B2 (en) Vehicle display system with user input display
US10466800B2 (en) Vehicle information processing device
US10528150B2 (en) In-vehicle device
JP4747810B2 (ja) 車載遠隔操作装置
JP6255537B2 (ja) 投写型表示装置及び投写制御方法
JP2010215194A (ja) 車載機器の操作装置
JP2007302223A (ja) 車載装置の非接触入力操作装置
JPWO2015125243A1 (ja) 表示制御装置、表示制御装置の表示制御方法、視線方向検出システムおよび視線方向検出システムのキャリブレーション制御方法
US10139905B2 (en) Method and device for interacting with a graphical user interface
JP2007302116A (ja) 車両搭載機器の操作装置
JP2010179828A (ja) 車両用操作入力装置
CN108944665B (zh) 支持操作位于乘客舱内的物体以及机动车辆
JP2006327526A (ja) 車載機器の操作装置
WO2018230526A1 (ja) 入力システム、および入力方法
JP5240277B2 (ja) 車載遠隔操作装置
JP2013033344A (ja) 表示装置
JP5664336B2 (ja) 表示制御システム、表示制御装置及びプログラム
JP2015168265A (ja) 車両用表示装置
JP2005313722A (ja) 車載機器の操作表示装置及びその操作表示方法
JP2018162023A (ja) 操作装置
CN108957933A (zh) 交互式投影显示设备及其方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15768380

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15128588

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15768380

Country of ref document: EP

Kind code of ref document: A1