WO2015194123A1 - 視線入力装置 - Google Patents

視線入力装置 Download PDF

Info

Publication number
WO2015194123A1
WO2015194123A1 PCT/JP2015/002861 JP2015002861W WO2015194123A1 WO 2015194123 A1 WO2015194123 A1 WO 2015194123A1 JP 2015002861 W JP2015002861 W JP 2015002861W WO 2015194123 A1 WO2015194123 A1 WO 2015194123A1
Authority
WO
WIPO (PCT)
Prior art keywords
line
sight
driver
input device
input
Prior art date
Application number
PCT/JP2015/002861
Other languages
English (en)
French (fr)
Inventor
佳行 津田
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to DE112015002914.1T priority Critical patent/DE112015002914T5/de
Priority to US15/314,128 priority patent/US10216270B2/en
Publication of WO2015194123A1 publication Critical patent/WO2015194123A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B60K35/285—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver for improving awareness by directing driver's gaze direction or eye points
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/658—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the instruments being ergonomically adjustable to the user
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B60K2360/1868—Displaying information according to relevancy according to driving situations
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Definitions

  • This disclosure relates to a line-of-sight input device mounted on a vehicle.
  • Patent Document 1 discloses a technique for improving the operability and certainty of line-of-sight input by setting the line-of-sight input instruction unit so that the outer area of the display image representing the input item is included.
  • This disclosure aims to provide a technique for reducing a driver's operation burden in a line-of-sight input device mounted on a vehicle.
  • the line-of-sight input device of the present disclosure includes a display unit, a setting unit, a detection unit, and an input control unit.
  • the display unit displays input items to be designated by the driver of the vehicle at a position that can be viewed from the driver's seat.
  • the setting unit sets a virtual input region corresponding to the input item displayed on the display unit at a position separated from the display region on the display unit toward the driver's driving view side.
  • the detection unit detects the driver's line-of-sight position. When the line-of-sight position detected by the detection unit is within the virtual input area set by the setting unit, the input control unit performs input processing according to the input item associated with the virtual input area.
  • the setting unit changes the virtual input region to a mode in which the driver can easily adjust the line of sight on the condition that a predetermined operation by the driver is detected.
  • the virtual input area corresponding to the input item displayed on the display unit can be set at a position separated from the display area of the display unit toward the driving field of view.
  • the driver can perform the line-of-sight input without directly viewing the screen of the display device, so that the movement of the line of sight from the driving field of view is reduced, and the operation burden on the driver can be reduced.
  • the operation burden on the driver can be further reduced by changing the virtual input area to a state in which the driver can easily adjust the line of sight on the condition that a predetermined operation by the driver is detected.
  • FIG. 1 is a block diagram showing a schematic configuration of a line-of-sight input system
  • FIG. 2 is a flowchart showing the procedure of the line-of-sight input process
  • FIG. 3 is a flowchart showing the procedure of the virtual input area setting process.
  • FIG. 4A is a diagram showing an outline of line-of-sight input by a virtual input area
  • FIG. 4B is a diagram showing an outline of the line-of-sight input by the virtual input area
  • FIG. 4C is a diagram showing an outline of the line-of-sight input by the virtual input area
  • FIG. 1 is a block diagram showing a schematic configuration of a line-of-sight input system
  • FIG. 2 is a flowchart showing the procedure of the line-of-sight input process
  • FIG. 3 is a flowchart showing the procedure of the virtual input area setting process.
  • FIG. 4A is a diagram showing an outline of line-of-sight input by a virtual input area
  • FIG. 5A is a diagram illustrating an arrangement example of the virtual input area
  • FIG. 5B is a diagram illustrating an arrangement example of the virtual input area
  • FIG. 5C is a diagram illustrating an arrangement example of the virtual input area
  • FIG. 6A is a diagram illustrating an example of a function of a virtual input area
  • FIG. 6B is a diagram illustrating an example of the function of the virtual input area
  • FIG. 7A is a diagram illustrating a feedback operation for line-of-sight input by a virtual input region
  • FIG. 7B is a diagram illustrating a feedback operation for a line-of-sight input by a virtual input area
  • FIG. 8A is a diagram illustrating a feedback operation for line-of-sight input by a virtual input region
  • FIG. 8B is a diagram illustrating a feedback operation with respect to the line-of-sight input by the virtual input area.
  • the line-of-sight input system 1 includes a center display 11, a control unit 12, a multimedia ECU 13, an air conditioner ECU 14, a line-of-sight detection unit 15, a vehicle information input unit 16, and a presentation unit 17.
  • the line-of-sight input system 1 corresponds to the line-of-sight input device of the present disclosure
  • the center display 11 corresponds to a display unit
  • the control unit 12 corresponds to a setting unit, an input control unit, and a presentation unit
  • the line-of-sight detection unit 15 serves as a detection unit. Equivalent to.
  • the center display 11 is a display device disposed on a center console located in the middle of the driver's seat and the passenger seat on the dashboard in front of the driver's seat in the vehicle interior.
  • the center display 11 is embodied by a color display device having a display surface such as a liquid crystal display.
  • the center display 11 displays an image representing information sent from the multimedia ECU 13, the air conditioner ECU 14, or the like.
  • the center display 11 displays an operation screen composed of a GUI (Graphical User Interface) image for giving an operation instruction to the multimedia ECU 13 and the air conditioner ECU 14 in accordance with a display control signal output from the control unit 12.
  • the GUI image is, for example, character / graphic information including icons, switches, various symbol marks, and the like to which various functions for operating the device are assigned.
  • the control unit 12 is configured around a known microcomputer including a CPU, ROM, RAM, I / O (not shown), a bus line connecting these components, and the like.
  • the control unit 12 is connected to the center display 11, the multimedia ECU 13, the air conditioner ECU 14, the line-of-sight detection unit 15, the vehicle information input unit 16, and the presentation unit 17 via a communication network provided in the vehicle.
  • the control unit 12 causes the center display 11 to display various operation screens generated by applications operating in the multimedia ECU 13 and the air conditioner ECU 14 based on a program stored in a ROM or the like. Then, based on the driver's line-of-sight position detected by the line-of-sight detection unit 15, the control unit 12 performs line-of-sight input processing for inputting an operation instruction corresponding to the icon on the operation screen. At that time, the control unit 12 sets a virtual input area separated from the display surface of the center display 11 according to the driver's operation state, and the line of sight with respect to the operation screen displayed on the center display 11 in the virtual input area. Make input acceptable. The detailed procedure of this line-of-sight input process will be described later.
  • the multimedia ECU 13 is an in-vehicle electronic control unit that controls information system applications such as a navigation system, audio, television, radio, and hands-free telephone function.
  • the air conditioner ECU 14 is an in-vehicle electronic control unit that controls an air conditioner (air conditioner) mounted on the vehicle.
  • the line-of-sight detection unit 15 detects the driver's line-of-sight position by analyzing a driver's captured image by a camera (not shown) that captures the driver's face. Since the method for detecting the line-of-sight position is known, a detailed description thereof is omitted here.
  • the vehicle information input unit 16 acquires a signal representing the state of each part of the vehicle from a sensor (not shown) that detects the state of each part of the vehicle (for example, vehicle speed, accelerator opening, steering angle, shift position). , Input to the control unit 12.
  • the presentation unit is an actuator that presents information to the driver. Specifically, it is embodied by a vibration device (not shown) or the like built in the steering wheel of the vehicle.
  • control unit 12 measures the driver's line-of-sight position based on the detection result by the line-of-sight detection unit 15.
  • control unit 12 acquires vehicle information representing the vehicle speed, the accelerator opening, and the shift position via the vehicle information input unit 16.
  • the control unit 12 determines whether or not a specific action by the driver has been observed based on the line-of-sight position measured in S100 and the vehicle information acquired in S102.
  • the specific operation is an operation in which the driver is looking at the operation screen of the center display 11 as illustrated in FIG. 4A, that is, the driver's line-of-sight position is on the display surface of the center display 11. It corresponds to.
  • the specific operation corresponds to a driving operation in which the driver drives the vehicle.
  • the vehicle speed is not 0, the accelerator is on, and the shift position is in the drive range.
  • the control unit 12 may be configured to make an affirmative determination on the condition that a plurality of specific actions are observed, or to make an affirmative determination on the condition that any one specific action is observed. It may be configured to do.
  • control unit 12 when the specific action by the driver is observed (S104: YES), the control unit 12 proceeds to S106.
  • the control unit 12 sets a virtual line-of-sight input area corresponding to the input item represented by the GUI image on the operation screen being displayed on the center display 11 (virtual input area setting process).
  • the virtual input area is set in a manner that improves the ease of line-of-sight input.
  • the virtual input area 30 is newly set in a space separated from the operation screen to the driving view side as illustrated in FIG. 4B. Also, if the virtual input area settings are already valid at this time, the position and size of the virtual input area are changed in stages so that the visual input is easier than the previous virtual input area. . For example, the virtual input area may be brought closer to the driver's reference line-of-sight position 100, or the range of the virtual input area may be expanded. The detailed procedure of this virtual input area setting process will be described later.
  • the driving field of view is, for example, a field of view when the driver drives the vehicle, and further corresponds to a field of view outside the passenger compartment when the driver drives the vehicle.
  • control unit 12 determines whether or not a predetermined time has elapsed based on the count of a timer that times the time until the ease of eye-gaze input through the virtual input area is reduced. When the predetermined time has not elapsed (S108: NO), the control unit 12 proceeds to S114. On the other hand, when the predetermined time has elapsed (S108: YES), the control unit 12 proceeds to S110.
  • the control unit 12 executes a virtual input area setting process for reducing the ease of line-of-sight input by the virtual input area. More specifically, the setting of the currently effective virtual input area is changed to perform a process of gradually reducing the ease of eye-gaze input. For example, the virtual input area is moved away from the driver's reference line-of-sight position 100, or the range of the virtual input area is reduced. Moreover, the control part 12 reduces the ease of the eyes
  • the control unit 12 resets the timer count.
  • the control unit 12 determines the positional relationship between the driver's line-of-sight position, the display surface of the center display 11, and the currently effective virtual input area based on the detection result of the line-of-sight detection unit 15. If the driver's line-of-sight position falls within the range of the display surface of the center display 11 (S114: in the display area), the control unit 12 proceeds to S116.
  • a line-of-sight input process corresponding to the case where the driver is looking directly at the center display 11 is executed. Specifically, the control unit 12 instructs to select or confirm an input item corresponding to a GUI image arranged at a location corresponding to the driver's line-of-sight position on the operation screen displayed on the center display 11. Is transmitted to the corresponding ECUs 13 and 14. In next S118, the control unit 12 displays an image representing feedback on the selection instruction made on the operation screen displayed on the center display 11 in S116 on the operation screen.
  • the control unit 12 when it is determined that the driver's line-of-sight position falls within the virtual input area (S114: within the virtual input area), the control unit 12 proceeds to S120.
  • S ⁇ b> 120 the control unit 12 performs a line-of-sight input process when the driver is not directly looking at the center display 11.
  • the control unit 12 receives a line-of-sight input in the virtual input area.
  • the control unit 12 sends an instruction to select or confirm the function of the input item associated with the location corresponding to the driver's line-of-sight position to the corresponding ECUs 13 and 14 in the virtual input region. Send to.
  • the control unit 12 performs an operation representing feedback for the selection instruction made in the virtual input area in S120. Specifically, information representing the line-of-sight position detected in the virtual input area is presented to the driver using display, vibration, or the like. Details of the presentation method will be described later.
  • the control unit 12 proceeds to S124.
  • control unit 12 determines whether or not to end the line-of-sight input process. When the line-of-sight input process is not terminated (S124: NO), the control unit 12 returns to S100. On the other hand, when an instruction to end the line-of-sight input process is input (S124: YES), the control unit 12 ends this process.
  • the control unit 12 acquires vehicle information representing the state of the vehicle speed and the steering angle of the steering via the vehicle information input unit 16.
  • the control unit 12 determines a reference line-of-sight position 100 that serves as a reference for determining the position of the virtual input area.
  • the reference line-of-sight position 100 is a reference position where the driver is most likely to watch in the driving field of view.
  • the reference line-of-sight position 100 may be fixedly determined at a specific position in front of the driver's seat, or may be determined so as to be displaced according to the traveling state of the vehicle. For example, when the vehicle goes straight according to the steering angle of the steering wheel, the reference line-of-sight position 100 is set in front of the driver's seat, and when the vehicle turns left and right, the reference line-of-sight position 100 may be moved in the turning direction. It is done.
  • the control unit 12 determines the position and size of the virtual input area according to the reference line-of-sight position 100 determined in S202, the vehicle speed, and the like.
  • the virtual input area 30 As an arrangement of the virtual input area 30, as illustrated in FIG. 5A, it is conceivable to set the virtual input area 30 at a predetermined position on a virtual line connecting the display surface of the center display 11 and the reference line-of-sight position 100.
  • the virtual input region 30 may be arranged at a position including the reference line-of-sight position 100.
  • the size of the virtual input area may be fixedly determined, or may be changed according to the situation from the reference size.
  • the shape of the virtual input area may be similar to the shape of the display surface of the center display 11, for example.
  • control is performed as follows depending on whether the ease of eye-gaze input is improved (S106) or when ease of eye-gaze input is reduced (S110). Different.
  • S106 when setting the virtual input area in a manner that improves the ease of line-of-sight input, as illustrated in FIG. 5C, the virtual input area is closer to the reference line-of-sight position 100 than the current virtual input area, Enlarge the input area. That is, in the example of FIG. 5C, the virtual input area moves and / or expands.
  • a configuration in which the degree of approaching the virtual input area to the reference line-of-sight position 100 and the degree of expanding the virtual line-of-sight area may be changed according to the vehicle speed. Specifically, as the vehicle speed increases, the virtual input area is made closer to the reference line-of-sight position 100, or the virtual line-of-sight area is further expanded to further improve the ease of line-of-sight input.
  • control unit 12 effectively sets the virtual input area based on the position / size determined in S204.
  • the control unit 12 assigns an input item included in the operation screen displayed on the center display 11 to a corresponding position in the virtual input area.
  • An input item common to the GUI image included in the operation screen displayed on the center display 11 is assigned to a virtual input area set in a space separated from the display surface of the center display 11. At this time, all input items on the operation screen displayed on the center display 11 may be assigned to the virtual input area. Alternatively, from the viewpoint of improving the ease of line-of-sight input using the virtual input area, as illustrated in FIG. 6A, some of the input items are reduced from the operation screen displayed on the center display 11 and assigned to the virtual input area. It may be a configuration.
  • an input item including three icons 11a, 11b, and 11c is displayed on the center display 11.
  • the icon 11a is a button for increasing the audio volume
  • the icon 11b is a button for changing the audio operation mode
  • the icon 11c is a button for decreasing the audio volume.
  • control unit 12 presents information representing the line-of-sight position detected in the virtual input area to the driver. Specific examples will be described with reference to FIGS. 7A, 7B, 8A, and 8B.
  • the line-of-sight position in the virtual input area 30 is notified by the display color of the entire screen of the center display 11.
  • the virtual input area 30 is divided into partial areas such as the left side, the center, and the right side, and different corresponding colors are predetermined for the partial areas.
  • the control unit 12 displays on the center display 11 the corresponding color assigned to the partial area corresponding to the detected line-of-sight position.
  • the line-of-sight position in the virtual input area 30 is notified by vibration generated by a vibration device (an example of the presentation unit 17) built in the grip portion of the steering wheel 21.
  • a vibration device an example of the presentation unit 17
  • the virtual input area 30 is divided into partial areas such as the left side, the center, and the right side.
  • the control unit 12 When the line-of-sight position is detected in the virtual input area 30, the control unit 12 generates vibration at a corresponding part of the steering wheel 21 according to the position of the partial area corresponding to the detected line-of-sight position. For example, when the line-of-sight position is detected in the right portion of the virtual input area 30, the control unit 12 vibrates only the right portion of the steering wheel 21.
  • the control unit 12 vibrates only the left part of the steering wheel 21. Further, when the line-of-sight position is detected at the center portion of the virtual input area 30, the control unit 12 vibrates both the left and right sides of the steering wheel 21.
  • control unit 12 displays an animation in which the highlighted image moves toward a portion corresponding to the line-of-sight position in the virtual input area 30 on the screen of the center display 11.
  • the control unit 12 displays an animation in which an arrow-shaped symbol moves from the right side to the left side of the screen of the center display 11.
  • the control unit 12 displays an animation in which an arrow-shaped symbol moves from the left and right sides of the screen of the center display 11 toward the center.
  • the control unit 12 displays an animation in which an arrow-shaped symbol moves from the left side to the right side of the screen of the center display 11.
  • the control unit 12 displays an animation in which the band-shaped symbol moves from the right side to the left side of the screen of the center display 11. Display.
  • the control unit 12 displays an animation in which a band-shaped symbol moves from the left and right sides of the screen of the center display 11 toward the center.
  • the control unit 12 displays an animation in which a band-shaped symbol moves from the left side to the right side of the screen of the center display 11.
  • the virtual input area is brought close to or enlarged to the reference line-of-sight position 100, so that the driver can easily change the line-of-sight input. Can do. Further, by changing the degree to which the virtual input area is brought close to or enlarged to the reference line-of-sight position 100 according to the driving state such as the vehicle speed, it is possible to support the line-of-sight input in a flexible manner according to the driving state.
  • the line-of-sight position detected in the virtual line-of-sight region is presented to the driver using the highlight display using the center display 11 or the vibration of the steering wheel 21, so that the line-of-sight input using the virtual input region is performed. Can help.
  • each step is expressed as S100, for example. Further, each step can be divided into a plurality of sub-steps, while a plurality of steps can be combined into one step.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

　視線入力装置は、表示部（１１）と、設定部（１２）と、検出部（１５）と、入力制御部（１２）とを備える。表示部（１１）は、入力項目を運転席から視認可能な位置に表示する。設定部（１２）は、表示部（１１）に表示された入力項目に対応する仮想入力領域を設定する。検出部（１５）は、運転者の視線位置を検出する。入力制御部（１２）は、検出部（１５）により検出された視線位置が、設定部（１２）により設定された仮想入力領域内にある場合、仮想入力領域に対応付けられた入力項目に応じた入力処理を行う。設定部（１２）は、運転者による所定の動作が検知されたことを条件に、仮想入力領域を、運転者が視線を合わせやすい態様に変化させる。

Description

視線入力装置 関連出願の相互参照
　本出願は、２０１４年６月２０日に出願された日本国特許出願２０１４－１２７３１９号に基づくものであり、ここにその記載内容を参照により援用する。
　本開示は、車両に搭載される視線入力装置に関する。
　従来、人が注視する視線位置を検出し、その視線位置によって、電子機器に対する操作指示等の入力を行う技術が提案されている。例えば、特許文献１には、入力項目を表す表示画像の外側領域が含まれるように視線による入力指示部を設定することで、視線入力の操作性や確実性を向上させる技術が開示されている。
　本願発明者は下記を見出した。自動車のインストルメントパネルやセンターコンソール等に設置された表示装置において視線入力を適用する場合、入力操作の際に運転視界から視線を外して操作対象である画面を直視しなければならず、運転者の負担が大きい。これに対し、特許文献１に記載の技術では、入力指示部のサイズを大きくすることで操作性や確実性を向上しているものの、運転視界から視線を外して画像表示の方を見る必要があることには変わりなく、上記問題を解決することはできない。
日本国公開特許公報２０００－２５０６９９号
　本開示は、車両に搭載される視線入力装置において、運転者の操作負担を軽減するための技術を提供することを目的する。
　本開示の視線入力装置は、表示部と、設定部と、検出部と、入力制御部とを備える。表示部は、車両の運転者に指定させる入力項目を、運転席から視認可能な位置に表示する。設定部は、表示部における表示領域から運転者の運転視界側に離隔した位置に、表示部に表示された入力項目に対応する仮想入力領域を設定する。検出部は、運転者の視線位置を検出する。入力制御部は、検出部により検出された視線位置が、設定部により設定された仮想入力領域内にある場合、その仮想入力領域に対応付けられた入力項目に応じた入力処理を行う。また、設定部は、運転者による所定の動作が検知されたことを条件に、仮想入力領域を、運転者が視線を合わせやすい態様に変化させる。
　本開示によれば、表示部に表示されている入力項目に対応する仮想入力領域を、表示部の表示領域から運転視界の方に離隔させた位置に設定することができる。このようにすることで、運転者が表示装置の画面を直視することなく視線入力を行うことができるので、運転視界からの視線移動が小さくなり、運転者の操作負担を軽減できる。さらに、運転者による所定の動作が検知されたことを条件に、仮想入力領域を運転者が視線を合わせやすい状態に変化させることで、運転者の操作負担を一層軽減できる。
　本開示についての上記および他の目的、特徴や利点は、添付図面を参照した下記詳細な説明から、より明確になる。添付図面において、
図１は、視線入力システムの概略構成を表すブロック図であり、 図２は、視線入力処理の手順を表すフローチャートであり、 図３は、仮想入力領域設定処理の手順を表すフローチャートであり、 図４Ａは、仮想入力領域による視線入力の概要を表す図であり、 図４Ｂは、仮想入力領域による視線入力の概要を表す図であり、 図４Ｃは、仮想入力領域による視線入力の概要を表す図であり、 図５Ａは、仮想入力領域の配置例を表す図であり、 図５Ｂは、仮想入力領域の配置例を表す図であり、 図５Ｃは、仮想入力領域の配置例を表す図であり、 図６Ａは、仮想入力領域の機能の一例を表す図であり、 図６Ｂは、仮想入力領域の機能の一例を表す図であり、 図７Ａは、仮想入力領域による視線入力に対するフィードバック動作を表す図であり、 図７Ｂは、仮想入力領域による視線入力に対するフィードバック動作を表す図であり、 図８Ａは、仮想入力領域による視線入力に対するフィードバック動作を表す図であり、 図８Ｂは、仮想入力領域による視線入力に対するフィードバック動作を表す図である。
　以下、実施形態を図面に基づいて説明する。
　（視線入力システムの構成の説明）
　図１に例示されるとおり、視線入力システム１は、センタディスプレイ１１と、制御部１２と、マルチメディアＥＣＵ１３と、エアコンＥＣＵ１４と、視線検出部１５と、車両情報入力部１６と、提示ユニット１７とを備える。視線入力システム１は本開示の視線入力装置に相当し、センタディスプレイ１１は表示部に相当し、制御部１２は設定部、入力制御部、提示部に相当し、視線検出部１５は検出部に相当する。
　センタディスプレイ１１は、自動車の車室内において運転席の前方にあるダッシュボードの運転席と助手席との中間に位置するセンターコンソールに配置される表示装置である。センタディスプレイ１１は、例えば液晶ディスプレイ等の表示面を有するカラー表示装置で具現化される。このセンタディスプレイ１１は、マルチメディアＥＣＵ１３やエアコンＥＣＵ１４等から送出される情報を表す画像を表示するものである。センタディスプレイ１１は、制御部１２から出力される表示制御信号に従って、マルチメディアＥＣＵ１３やエアコンＥＣＵ１４に操作指示を与えるためのＧＵＩ（Graphical User Interface）画像で構成された操作画面を表示する。このＧＵＩ画像とは、例えば、機器を操作するための各種機能が割当てられたアイコンやスイッチ、各種シンボルマーク等からなる文字図形情報である。
　制御部１２は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏ及びこれらの構成を接続するバスライン等からなる周知のマイクロコンピュータを中心に構成されている。この制御部１２は、車両に設けられた通信ネットワークを介して、センタディスプレイ１１、マルチメディアＥＣＵ１３、エアコンＥＣＵ１４、視線検出部１５、車両情報入力部１６、及び、提示ユニット１７と接続されている。
　制御部１２は、ＲＯＭ等に記憶されているプログラムに基づいて、マルチメディアＥＣＵ１３及びエアコンＥＣＵ１４で動作するアプリケーションが生成する各種操作画面をセンタディスプレイ１１に表示させる。そして、制御部１２は、視線検出部１５により検出される運転者の視線位置に基づいて、操作画面上のアイコンに対応する操作指示の入力を行う視線入力処理を実行する。その際、制御部１２は、運転者の動作状況に応じて、センタディスプレイ１１の表示面から離隔した仮想入力領域を設定し、その仮想入力領域において、センタディスプレイ１１に表示された操作画面に対する視線入力を受付け可能にする。この視線入力処理の詳細な手順については後述する。
　マルチメディアＥＣＵ１３は、ナビゲーションシステムや、オーディオ、テレビ、ラジオ、ハンズフリー電話機能等といった情報系のアプリケーションを制御する車載電子制御ユニットである。エアコンＥＣＵ１４は、車両に搭載された空調装置（エアコン）を制御する車載電子制御ユニットである。
　本実施形態の視線入力システム１では、視線入力による操作対象として、例えば、オーディオの音量調整や曲送り、ラジオやテレビのチャンネル切替え、電話着信時のハンズフリー応答、エアコンの温度・風量調節といったものを想定している。これらの操作対象は、操作が比較的簡単、かつ操作のミスが車両の走行状態に影響しないものである。
　視線検出部１５は、運転者の顔を撮像するカメラ（非図示）による運転者の撮像画像を解析することにより、運転者の視線位置を検出する。なお、視線位置を検出する手法については公知であるので、ここでの詳細な説明は省略する。車両情報入力部１６は、車両の各部の状態（例えば、車速、アクセル開度、ステアリングの舵角、シフトポジション）を検知するセンサ（非図示）から、車両の各部の状態を表す信号を取得し、制御部１２に入力する。提示ユニットは、運転者に対して情報を提示するアクチュエータである。具体的には、車両のステアリングホイールに内蔵された振動装置（非図示）等で具現化される。
　（視線入力処理の説明）
　制御部１２が実行する視線入力処理の手順について、図２のフローチャートを参照しながら説明する。この処理は、各ＥＣＵ１３，１４からの表示制御に従ってセンタディスプレイ１１に操作画面を表示しているときに実行される処理である。
　Ｓ１００では、制御部１２は、視線検出部１５による検出結果に基づいて、運転者の視線位置を計測する。Ｓ１０２では、制御部１２は、車両情報入力部１６を介して車速、アクセル開度、シフトポジションの状態を表す車両情報を取得する。
　次のＳ１０４では、制御部１２は、Ｓ１００で計測した視線位置、及び、Ｓ１０２で取得した車両情報に基づき、運転者による特定動作が観測されたか否かを判定する。ここで、特定動作とは、図４Ａに例示されるように、運転者がセンタディスプレイ１１の操作画面を見ている動作、すなわち、運転者の視線位置がセンタディスプレイ１１の表示面上にあることに相当する。この他にも、特定動作として、運転者が車両を走行させる運転動作に相当する。運転者が車両を走行させる運転動作の具体例としては、車速が０でない、アクセルがオン、シフトポジションがドライブレンジになっていることがある。なお、Ｓ１０４では、制御部１２は、複数の特定動作が観測されたことを条件に肯定判定をする構成であってもよいし、何れか１つの特定動作が観測されたことを条件に肯定判定をする構成であってもよい。
　図２のフローチャートの説明に戻る。Ｓ１０４において、運転者による特定動作が観測された場合（Ｓ１０４：ＹＥＳ）、制御部１２はＳ１０６に進む。Ｓ１０６では、制御部１２は、センタディスプレイ１１に表示中の操作画面のＧＵＩ画像で表される入力項目に対応する仮想的な視線入力領域を設定する（仮想入力領域設定処理）。ここでは、視線入力の容易さを向上する態様で仮想入力領域を設定する。
　具体的には、現時点で仮想入力領域が有効になっていない場合、図４Ｂに例示されるように、操作画面から運転視界側に離隔した空間に仮想入力領域３０を新規に設定する。また、現時点で既に仮想入力領域の設定が有効になっている場合、従前の仮想入力領域よりも視線入力の容易さが向上するように、仮想入力領域の位置や大きさを段階的に変化させる。例えば、仮想入力領域を運転者の基準視線位置１００に近付けたり、仮想入力領域の範囲を拡大するといった具合である。なお、この仮想入力領域設定処理の詳細な手順については後述する。なお、運転視界とは、例えば、運転者が車両を運転する際の視野であり、さらには、運転者が車両を運転する際の車室外の視野に相当する。
　一方、Ｓ１０４において、運転者による特定動作が観測されなかった場合（Ｓ１０４：ＮＯ）、制御部１２はＳ１０８に進む。Ｓ１０８では、制御部１２は、仮想入力領域による視線入力の容易さを低下させるまでの時間を計時するタイマのカウントに基づき、所定時間が経過したか否かを判定する。所定時間が経過していない場合（Ｓ１０８：ＮＯ）、制御部１２はＳ１１４に進む。一方、所定時間が経過した場合（Ｓ１０８：ＹＥＳ）、制御部１２はＳ１１０に進む。
　Ｓ１１０では、制御部１２は、仮想入力領域による視線入力の容易さを低下させるための仮想入力領域設定処理を実行する。具体的には、現時点で有効な仮想入力領域の設定を変更して、視線入力の容易さを段階的に下げる処理を行う。例えば、仮想入力領域を運転者の基準視線位置１００から遠ざけたり、仮想入力領域の範囲を縮小するといった具合である。また、制御部１２は、仮想入力領域による視線入力の容易さを段階的に低下させ、最終的には仮想入力領域を消去する。
　次のＳ１１２では、制御部１２は、タイマのカウントをリセットする。そして、Ｓ１１４では、制御部１２は、視線検出部１５による検出結果に基づいて、運転者の視線位置と、センタディスプレイ１１の表示面及び現時点で有効な仮想入力領域との位置関係を判定する。ここで、運転者の視線位置がセンタディスプレイ１１の表示面の範囲内に該当する場合（Ｓ１１４：表示領域内）、制御部１２はＳ１１６に進む。
　Ｓ１１６では、運転者がセンタディスプレイ１１を直視している場合に対応する視線入力処理を実行する。具体的には、制御部１２は、センタディスプレイ１１に表示されている操作画面上において、運転者の視線位置に該当する箇所に配置されているＧＵＩ画像に対応する入力項目を選択又は確定する指示を、対応する各ＥＣＵ１３，１４に対して送信する。次のＳ１１８では、制御部１２は、Ｓ１１６においてセンタディスプレイ１１に表示された操作画面上で行われた選択指示に対するフィードバックを表す画像を、当該操作画面上に表示する。
　一方、図４Ｃに例示されるように、運転者の視線位置が仮想入力領域内に該当すると判定された場合（Ｓ１１４：仮想入力領域内）、制御部１２はＳ１２０に進む。Ｓ１２０では、制御部１２は、運転者がセンタディスプレイ１１を直視していない場合における視線入力処理を実行する。制御部１２は、仮想入力領域で視線入力を受け付ける。具体的には、制御部１２は、仮想入力領域内において、運転者の視線位置に該当する箇所に対応付けられている入力項目の機能を選択又は確定する指示を、対応する各ＥＣＵ１３，１４に対して送信する。
　次のＳ１２２では、制御部１２は、Ｓ１２０において仮想入力領域内で行われた選択指示に対するフィードバックを表す動作を実行する。具体的には、仮想入力領域内で検出された視線位置を表す情報を、表示や振動等を用いて運転者に対して提示する。なお、提示方法の詳細な内容については、後述する。一方、Ｓ１１４において、運転者の視線位置がセンタディスプレイ１１の表示面の範囲、及び、仮想入力領域の何れにも該当しないと判定された場合（Ｓ１１４：その他）、制御部１２はＳ１２４に進む。
　Ｓ１２４では、制御部１２は、視線入力処理を終了するか否かを判定する。視線入力処理を終了しない場合（Ｓ１２４：ＮＯ）、制御部１２はＳ１００に戻る。一方、視線入力処理を終了する指示が入力された場合（Ｓ１２４：ＹＥＳ）、制御部１２は本処理を終了する。
　（仮想入力領域設定処理の説明）
　制御部１２が実行する仮想入力領域設定処理の手順について、図３のフローチャートを参照しながら説明する。この処理は、上述の視線入力処理（図２参照）のＳ１０６，Ｓ１１０において実行される処理である。
　Ｓ２００では、制御部１２は、車両情報入力部１６を介して車速、ステアリングの舵角の状態を表す車両情報を取得する。Ｓ２０２では、制御部１２は、仮想入力領域の位置を決定するための基準となる基準視線位置１００を決定する。基準視線位置１００は、運転視界内において運転者が最もよく注視すると想定される基準位置である。
　この基準視線位置１００は、運転席の前方の特定位置に固定的に決定されていてもよいし、車両の走行状態に応じて変位するように定められるものであってもよい。例えば、ステアリングの舵角に応じて、車両が直進する場合は、運転席の正面に基準視線位置１００を定め、車両が左右に曲がる場合は、曲がる方向に基準視線位置１００を移動させることが考えられる。
　次のＳ２０４では、制御部１２は、Ｓ２０２で決定した基準視線位置１００、及び車速等に応じて、仮想入力領域の位置及びサイズを決定する。仮想入力領域３０の配置としては、図５Ａに例示されるように、センタディスプレイ１１の表示面と、基準視線位置１００とを結ぶ仮想線上の所定位置に設定することが考えられる。
　あるいは、図５Ｂに例示されるように、基準視線位置１００を包含する位置に仮想入力領域３０を配置する構成であってもよい。また、仮想入力領域のサイズについては、固定的に決められていてもよいし、基準のサイズから状況に応じて変更できるようになっていてもよい。また、仮想入力領域の形状は、例えば、センタディスプレイ１１の表示面の形状と相似とすることが考えられる。
　なお、仮想入力領域の位置及びサイズを決定するにあたっては、視線入力の容易さを向上する場合（Ｓ１０６）と、視線入力の容易さを低下させる場合（Ｓ１１０）とで、下記のように制御が異なる。Ｓ１０６において、視線入力の容易さを向上する態様で仮想入力領域を設定する場合、図５Ｃに例示されるように、現時点の仮想入力領域よりも仮想入力領域を基準視線位置１００に近付けたり、仮想入力領域の範囲を拡大する。つまり、図５Ｃの例では、仮想入力領域が、移動およびまたは拡大する。このとき、仮想入力領域を基準視線位置１００に近付ける度合や、仮想視線領域を拡大する度合を、車速に応じて変化させる構成であってもよい。具体的には、車速が大きいほど、仮想入力領域を基準視線位置１００に大きく近付けたり、仮想視線領域をより大きく広げることで、視線入力の容易さを一層向上するといった具合である。
　一方、Ｓ１１０において、仮想入力領域による視線入力の容易さを低下させる場合、現時点での仮想入力領域よりも基準視線位置１００から遠ざけたり、仮想入力領域の大きさを縮小したりする。図３のフローチャートの説明に戻る。Ｓ２０６では、制御部１２は、Ｓ２０４で決定した位置・サイズに基づいて、仮想入力領域を有効に設定する。ここで、制御部１２は、センタディスプレイ１１に表示されている操作画面に含まれる入力項目を、仮想入力領域の対応する位置に割当てる。
　（仮想入力領域の機能に関する説明）
　センタディスプレイ１１の表示面から離隔した空間に設定される仮想入力領域には、センタディスプレイ１１に表示される操作画面に含まれるＧＵＩ画像と共通の入力項目が割当てられる。その際、センタディスプレイ１１に表示されている操作画面における全ての入力項目が、仮想入力領域に割当てられてもよい。あるいは、仮想入力領域による視線入力の容易さを向上する観点から、図６Ａに例示されるように、センタディスプレイ１１に表示される操作画面から入力項目を一部削減して、仮想入力領域に割当てる構成であってもよい。
　図６Ａの事例では、センタディスプレイ１１に３つのアイコン１１ａ，１１ｂ，１１ｃからなる入力項目が表示されている状況を想定している。アイコン１１ａは、例えば、オーディオの音量を上げるボタンであり、アイコン１１ｂは、オーディオの動作モードを変更するボタンであり、アイコン１１ｃは、オーディオの音量を下げるボタンとする。
　これに対し、仮想入力領域３０には、センタディスプレイ１１に表示されているアイコン１１ａ，１１ｃそれぞれに対応する入力項目３０ａ，３０ｃのみが割当てられているものとする。すなわち、この仮想入力領域３０では、センタディスプレイ１１に表示されているアイコン１１ｂに対応する入力項目が削除されており、オーディオの音量を上げ下げする操作入力のみが可能となっている。
　あるいは、仮想入力領域による視線入力の誤操作を防止する観点から、図６Ｂに例示されるように、仮想入力領域において入力項目に対する操作に制限を設けることが考えらえる。具体的には、センタディスプレイ１１上の操作画面では、アイコン１１ａ～１１ｃの各入力項目を選択する操作と、選択した入力項目の実行を決定する操作との両方を実行可能とする。一方、仮想入力領域３０では、割当てられている各入力項目３０ａ～３０ｃを選択する操作のみ可能にする。その場合、仮想入力領域３０における視線入力によって選択された入力項目の実行を決定する操作は、ステアリングホイール２１に設けられた手動スイッチ２２によって受付けることが考えられる。
　（仮想入力領域に対する入力フィードバックに関する説明）
　上述の視線入力処理（図２参照）のＳ１２２では、制御部１２は、仮想入力領域内において検出された視線位置を表す情報を運転者に対して提示する。その具体的な事例について、図７Ａ、図７Ｂ、図８Ａ、図８Ｂを参照しながら説明する。
　図７Ａの事例は、仮想入力領域３０内の視線位置を、センタディスプレイ１１の画面全体の表示色で通知するものである。具体的には、仮想入力領域３０は、左側、中央、右側等の部分領域に区分けされており、その部分領域ごとに異なる対応色が予め定められているものとする。そして、仮想入力領域３０内で視線位置が検出された場合、制御部１２は、検出された視線位置に該当する部分領域に割当てられている対応色を、センタディスプレイ１１に表示する。その際、センタディスプレイ１１に表示された対応色が、運転者の周辺視野でも容易に認識できるように、画面全体に対応色を表示するようにするとよい。
　図７Ｂの事例は、仮想入力領域３０内の視線位置を、ステアリングホイール２１の把持部に内蔵された振動装置（提示ユニット１７の一例）が発生する振動で通知するものである。具体的には、仮想入力領域３０は、左側、中央、右側等の部分領域に区分けされているものとする。そして、仮想入力領域３０内で視線位置が検出された場合、制御部１２は、検出された視線位置に該当する部分領域の位置に応じて、ステアリングホイール２１の対応する部分で振動を発生させる。例えば、仮想入力領域３０の右側部分で視線位置が検出された場合、制御部１２は、ステアリングホイール２１の右側部分のみを振動させる。また、仮想入力領域３０の左側部分で視線位置が検出された場合、制御部１２は、ステアリングホイール２１の左側部分のみを振動させる。また、仮想入力領域３０の中央部分で視線位置が検出された場合、制御部１２は、ステアリングホイール２１の左右両側を振動させる。
　図８Ａ、図８Ｂの事例は、仮想入力領域３０内の視線位置を、アニメーションによる強調表示で通知するものである。具体的には、制御部１２は、センタディスプレイ１１の画面上において、仮想入力領域３０内の視線位置に対応する部分に向かって、強調表示画像が移動するアニメーションを表示させる。
　図８Ａの事例では、仮想入力領域３０の左側の部分で視線位置が検出された場合、制御部１２は、センタディスプレイ１１の画面の右側から左側に向かって矢印状の図柄が移動するアニメーションを表示させる。また、仮想入力領域３０の中央部分で視線位置が検出された場合、制御部１２は、センタディスプレイ１１の画面の左右両側から中央に向かって矢印状の図柄が移動するアニメーションを表示させる。また、仮想入力領域３０の右側の部分で視線位置が検出された場合、制御部１２は、センタディスプレイ１１の画面の左側から右側に向かって矢印状の図柄が移動するアニメーションを表示させる。
　一方、図８Ｂの事例では、仮想入力領域３０の左側の部分で視線位置が検出された場合、制御部１２は、センタディスプレイ１１の画面の右側から左側に向かって帯状の図柄が移動するアニメーションを表示させる。また、仮想入力領域３０の中央部分で視線位置が検出された場合、制御部１２は、センタディスプレイ１１の画面の左右両側から中央に向かって帯状の図柄が移動するアニメーションを表示させる。また、仮想入力領域３０の右側の部分で視線位置が検出された場合、制御部１２は、センタディスプレイ１１の画面の左側から右側に向かって帯状の図柄が移動するアニメーションを表示させる。
　センタディスプレイ１１に表示されている操作画面に対応する仮想入力領域を、センタディスプレイ１１の表示面から運転視界の方に離隔させた位置に設定し、この仮想入力領域で視線入力を受付けることができる。このようにすることで、運転者がセンタディスプレイ１１の画面を直視することなく視線入力を行うことができるので、運転視界からの視線移動が小さくなり、運転者の操作負担を軽減できる。
　特に、運転者の基準視線位置１００とセンタディスプレイ１１の表示面とを結ぶ仮想線上に、仮想入力領域を配置したり、基準視線位置１００を包含する位置に仮想入力領域を配置することで、運転者が視線入力をするために視線を移動する負担を一層軽減できる。
　そして、運転者がセンタディスプレイ１１を見たり、特定の運転操作を行うことで、仮想入力領域を基準視線位置１００に近づけたり拡大することで、運転者が視線入力を行いやすい状態に変化させることができる。また、車速等の走行状態に応じて、仮想入力領域を基準視線位置１００に近づけたり拡大する度合を変化させることで、走行状態に応じた柔軟な態様で視線入力を支援できる。
　また、仮想視線領域内で検出された視線位置を、センタディスプレイ１１を用いた強調表示、あるいは、ステアリングホイール２１の振動を用いて運転者に提示することで、仮想入力領域を用いた視線入力を支援することができる。
　この出願に記載されるフローチャート、あるいは、フローチャートの処理は、複数のステップ（あるいはセクションと言及される）から構成され、各ステップは、たとえば、Ｓ１００と表現される。さらに、各ステップは、複数のサブステップに分割されることができる、一方、複数のステップが合わさって一つのステップにすることも可能である。
　以上、視線入力装置の実施形態、構成、態様を例示したが、実施形態、構成、態様は、上述した各実施形態、各構成、各態様に限定されるものではない。例えば、異なる実施形態、構成、態様にそれぞれ開示された技術的部を適宜組み合わせて得られる実施形態、構成、態様についても本開示に係る実施形態、構成、態様の範囲に含まれる。

Claims (10)

  1. 　車両の運転者に指定させる入力項目を、運転席から視認可能な位置に表示する表示部（１１）と、
    　前記表示部（１１）における表示領域から前記運転者の運転視界側に離隔した位置に、前記表示部（１１）に表示された入力項目に対応する仮想入力領域を設定する設定部（１２）と、
    　前記運転者の視線位置を検出する検出部（１５）と、
    　前記検出部（１５）により検出された視線位置が、前記設定部（１２）により設定された仮想入力領域内にある場合、前記仮想入力領域に対応付けられた入力項目に応じた入力処理を行う入力制御部（１２）とを備え、
    　前記設定部（１２）は、前記運転者による所定の動作が検知されたことを条件に、前記仮想入力領域を、前記運転者が視線を合わせやすい態様に変化させる、視線入力装置。
  2. 　請求項１に記載の視線入力装置において、
    　前記設定部（１２）は、前記所定の動作として、前記検出部（１５）により検出された視線位置が特定の位置に移動したことを条件に、前記仮想入力領域を、前記運転者が視線を合わせやすい態様に変化させる、視線入力装置。
  3. 　請求項１又は請求項２に記載の視線入力装置において、
    　前記車両に対して行われた運転操作に関する操作情報を取得する操作情報取得部（１６）を備え、
    　前記設定部（１２）は、前記所定の動作として、前記操作情報において特定の運転操作が行われた場合、前記仮想入力領域を、前記運転者が視線を合わせやすい態様に変化させる、視線入力装置。
  4. 　請求項１ないし請求項３の何れか１項に記載の視線入力装置において、
    　前記設定部（１２）は、前記運転者による所定の動作が検知されたことを条件に、前記仮想入力領域を拡大する、視線入力装置。
  5. 　請求項１ないし請求項４の何れか１項に記載の視線入力装置において、
    　前記設定部（１２）は、前記運転者による所定の動作が検知されたことを条件に、前記運転者の運転視界内における所定位置に設定した基準視線位置（１００）に、前記仮想入力領域を近づける、視線入力装置。
  6. 　請求項１ないし請求項５の何れか１項に記載の視線入力装置において、
    　前記設定部（１２）は、前記運転者の運転視界内における所定位置に設定した基準視線位置（１００）と、前記表示部（１１）の表示領域とを結ぶ仮想線上に、前記仮想入力領域を配置する、視線入力装置。
  7. 　請求項１ないし請求項４の何れか１項に記載の視線入力装置において、
    　前記設定部（１２）は、前記運転者の運転視界内における所定位置に設定した基準視線位置（１００）を包含する位置に、前記仮想入力領域を配置する、視線入力装置。
  8. 　請求項５ないし請求項７の何れか１項に記載の視線入力装置において、
    　前記車両の走行状態に関する走行情報を取得する車両情報取得部（１６）を備え、
    　前記設定部（１２）は、前記車両情報で示される走行状態に応じて、前記基準視線位置（１００）を変化させる、視線入力装置。
  9. 　請求項１ないし請求項８の何れか１項に記載の視線入力装置において、
    　前記車両の走行状態に関する走行情報を取得する車両情報取得部（１６）を備え、
    　前記設定部（１２）は、前記仮想入力領域を前記運転者が視線を合わせやすい態様に変化させる度合を、前記車両情報で表される走行状態に応じて変化させる、視線入力装置。
  10. 　請求項１ないし請求項９の何れか１項に記載の視線入力装置において、
    　前記仮想入力領域において前記運転者の視線位置が検出された場合、その視線位置に関する情報を前記運転者に対して提示する提示部（Ｓ１２２）を備える、視線入力装置。
PCT/JP2015/002861 2014-06-20 2015-06-08 視線入力装置 WO2015194123A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112015002914.1T DE112015002914T5 (de) 2014-06-20 2015-06-08 Sichtlinieneingabevorrichtung
US15/314,128 US10216270B2 (en) 2014-06-20 2015-06-08 Sigh line input apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-127319 2014-06-20
JP2014127319A JP6375715B2 (ja) 2014-06-20 2014-06-20 視線入力装置

Publications (1)

Publication Number Publication Date
WO2015194123A1 true WO2015194123A1 (ja) 2015-12-23

Family

ID=54935133

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/002861 WO2015194123A1 (ja) 2014-06-20 2015-06-08 視線入力装置

Country Status (4)

Country Link
US (1) US10216270B2 (ja)
JP (1) JP6375715B2 (ja)
DE (1) DE112015002914T5 (ja)
WO (1) WO2015194123A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6852612B2 (ja) * 2017-07-26 2021-03-31 富士通株式会社 表示プログラム、情報処理装置、及び表示方法
CN109725714B (zh) * 2018-11-14 2022-06-14 北京七鑫易维信息技术有限公司 视线确定方法、装置、系统、以及头戴式眼动设备
EP3686042A1 (en) * 2019-01-23 2020-07-29 Visteon Global Technologies, Inc. System and method for providing a notification to an occupant of a vehicle
WO2020196559A1 (ja) * 2019-03-26 2020-10-01 株式会社東海理化電機製作所 制御装置及び制御システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06321011A (ja) * 1993-05-17 1994-11-22 Mitsubishi Electric Corp 周辺視野表示装置
JP2003280805A (ja) * 2002-03-26 2003-10-02 Gen Tec:Kk データ入力装置
JP2008033891A (ja) * 2006-06-27 2008-02-14 Matsushita Electric Ind Co Ltd 表示装置及びその制御方法
JP2012008745A (ja) * 2010-06-23 2012-01-12 Softbank Mobile Corp ユーザインターフェース装置及び電子機器
JP2013535376A (ja) * 2010-08-27 2013-09-12 エンパイア テクノロジー ディベロップメント エルエルシー ヘッドアップディスプレイ

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0946893B1 (de) * 1996-12-20 2002-04-17 Siemens Aktiengesellschaft Informationsanzeigesystem für mindestens eine person
JP2000250699A (ja) 1999-03-04 2000-09-14 Shimadzu Corp 視線入力装置
JP4481187B2 (ja) * 2005-02-10 2010-06-16 本田技研工業株式会社 車両用操作装置
JP2008195142A (ja) * 2007-02-09 2008-08-28 Aisin Aw Co Ltd 車載機器の操作支援装置、操作支援方法
JP2009113710A (ja) * 2007-11-08 2009-05-28 Denso Corp ヘッドアップディスプレイ装置
JP5341402B2 (ja) * 2008-06-04 2013-11-13 トヨタ自動車株式会社 車載表示システム
JP2010221960A (ja) * 2009-03-25 2010-10-07 Toyota Motor Corp 情報表示装置
JP2012014217A (ja) 2010-06-29 2012-01-19 Panasonic Corp 電子機器及び携帯端末装置
JP5467527B2 (ja) * 2010-09-06 2014-04-09 株式会社デンソー 車載機器制御装置
US20120185805A1 (en) * 2011-01-14 2012-07-19 Apple Inc. Presenting Visual Indicators of Hidden Objects
JP5278461B2 (ja) * 2011-02-03 2013-09-04 株式会社デンソー 視線検出装置および視線検出方法
US9823742B2 (en) * 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
US20140247208A1 (en) * 2013-03-01 2014-09-04 Tobii Technology Ab Invoking and waking a computing device from stand-by mode based on gaze detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06321011A (ja) * 1993-05-17 1994-11-22 Mitsubishi Electric Corp 周辺視野表示装置
JP2003280805A (ja) * 2002-03-26 2003-10-02 Gen Tec:Kk データ入力装置
JP2008033891A (ja) * 2006-06-27 2008-02-14 Matsushita Electric Ind Co Ltd 表示装置及びその制御方法
JP2012008745A (ja) * 2010-06-23 2012-01-12 Softbank Mobile Corp ユーザインターフェース装置及び電子機器
JP2013535376A (ja) * 2010-08-27 2013-09-12 エンパイア テクノロジー ディベロップメント エルエルシー ヘッドアップディスプレイ

Also Published As

Publication number Publication date
US10216270B2 (en) 2019-02-26
JP2016006601A (ja) 2016-01-14
DE112015002914T5 (de) 2017-03-09
US20170212584A1 (en) 2017-07-27
JP6375715B2 (ja) 2018-08-22

Similar Documents

Publication Publication Date Title
JP6033804B2 (ja) 車載機器操作装置
JP5177120B2 (ja) 遠隔操作デバイス用表示制御装置
KR101071777B1 (ko) 차재 기기의 조작장치
JP7144721B2 (ja) 車両用表示制御システム、車両用表示制御プログラム及び記憶媒体
WO2015194123A1 (ja) 視線入力装置
JP5924355B2 (ja) 車両用情報表示装置
US20150324006A1 (en) Display control device
JP2009276993A (ja) 入力装置
KR101542973B1 (ko) 자동차의 디스플레이 제어장치 및 제어방법
JP2011116304A (ja) ユーザインタフェース装置
JP6406088B2 (ja) 操作システム
JP5754438B2 (ja) ユーザインターフェース装置およびプログラム
JP2006264615A (ja) 車両用表示装置
JP2014197252A (ja) ジェスチャー操作装置、そのプログラム、およびジェスチャー操作装置を搭載した車両
WO2016152044A1 (ja) 操作システム
JP3668834B2 (ja) 車両用表示装置
US20100188198A1 (en) Function display device
WO2019138663A1 (ja) 車両用ステアリングスイッチシステム、スイッチ機能切替プログラム及び記憶媒体
KR20130028230A (ko) Ａｖｍ시스템 정보와 ａｖｎ시스템 정보의 표시 방법
JP2012096670A (ja) 入力装置及び入力方法
CN111602102B (zh) 用于视觉人-机交互的方法和系统
KR20090109605A (ko) 차량의 스티어링 휠 장치 및 서비스 방법
JP2007190980A (ja) 車両用情報表示装置
CN106289305A (zh) 车载显示装置
JP2009116619A (ja) 遠隔操作装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15810612

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15314128

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112015002914

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15810612

Country of ref document: EP

Kind code of ref document: A1