WO2018179599A1 - 情報提供装置 - Google Patents

情報提供装置 Download PDF

Info

Publication number
WO2018179599A1
WO2018179599A1 PCT/JP2017/043762 JP2017043762W WO2018179599A1 WO 2018179599 A1 WO2018179599 A1 WO 2018179599A1 JP 2017043762 W JP2017043762 W JP 2017043762W WO 2018179599 A1 WO2018179599 A1 WO 2018179599A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
line
sight
movement
display
Prior art date
Application number
PCT/JP2017/043762
Other languages
English (en)
French (fr)
Inventor
賢吾 赤穂
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2019508558A priority Critical patent/JP6645618B2/ja
Publication of WO2018179599A1 publication Critical patent/WO2018179599A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present invention relates to an information providing apparatus that displays and provides information on a vehicle display.
  • Patent Document 1 When providing information from an in-vehicle information device in a vehicle, it is necessary to provide the information without adversely affecting the driver driving the vehicle. In this case, it is important to determine the information display position according to the driver's line-of-sight position and situation.
  • Patent Document 1 the movement of the driver's line of sight and an obstacle are detected, a warning is displayed at a position deviated from the driver's line of sight, the line of sight is then guided to the obstacle, and the driver is in a state of looking aside.
  • a gaze guidance device for guiding the driver's gaze to an object is disclosed.
  • Patent Document 2 in an information display device that displays information superimposed on the scenery outside the vehicle, information on the route of the travel destination is acquired, and it is predicted that the driver's line of sight moves on the route. A technique for changing the display position of information based on the result is disclosed.
  • Patent Document 3 predicts a region to be viewed by a driver using the output of a sensor mounted on a vehicle, and whether or not the driver is driving with the attention that should be taken in a driving environment.
  • An in-vehicle information processing apparatus that performs the determination is disclosed.
  • Japanese Unexamined Patent Publication No. 2010-126135 pages 5-6, FIG. 3
  • Japanese Patent Laid-Open No. 2015-207243 pages 4 to 8, FIG. 2
  • JP 2002-083400 A (4 pages, FIG. 2)
  • Patent Document 1 and Patent Document 2 are displayed so as to be superimposed on a guidance object in the outside world or to guide the line of sight to the guidance object.
  • guidance is displayed in a direction different from the line of sight that the driver will move in the driver's field of view, the driver's natural line of sight movement may be hindered.
  • a driver confirms safety during driving it is considered that there is a fixed line of sight movement path, and a display that affects the movement of the line of sight is not preferable.
  • Patent Document 3 identifies the area of the line of sight to be seen by the driver from the car navigation device and the vehicle-mounted sensor, and uses the area and the line of sight of the driver to visually recognize the area to be seen. It is only a thing to judge. Patent Document 3 also does not disclose a technique for presenting information without obstructing natural line-of-sight movement in the driving behavior of the driver.
  • the present invention has been made in view of the above, and when displaying information on the display, the movement path of the driver's line of sight is predicted from the in-vehicle sensor information, the map information, and the line-of-sight position, and the movement of the driver's line of sight is performed.
  • An object of the present invention is to realize an information providing apparatus that displays and provides information on a route.
  • an information providing apparatus includes a line-of-sight information acquisition unit that acquires line-of-sight information of a vehicle driver, road information, in-vehicle device information, and driving by the driver.
  • driving information and in-vehicle equipment information from driving behavior database, map database, and in-vehicle sensor or in-vehicle network, search map database based on driving position, acquire road information, road information And a driving behavior prediction unit that outputs a predicted driving behavior as a result of searching a driving behavior database based on vehicle equipment information and predicting a driving behavior of the driver, and a movement route and a traveling time of the driver's line of sight in the driving behavior
  • the gaze movement database update unit that acquires the gaze information of the driver and updates the gaze movement database, and searches the gaze movement database based on the predicted driving behavior and the gaze information, and predicts the route along which the driver's gaze moves
  • the line-of-sight movement prediction unit that outputs the result as a predicted line-of-sight movement path and display information to be displayed on the vehicle display are determined
  • the in-vehicle sensor information, the map information, and the line-of-sight information are used to predict the driver's line-of-sight movement path, and on the driver's line-of-sight movement path.
  • Information can be displayed. Thereby, it is possible to provide information to the driver without disturbing natural line-of-sight movement in the driving behavior of the driver.
  • DB driving action database
  • FIG. 1 is a block diagram showing a system configuration including information providing apparatus 100 and its peripheral devices according to Embodiment 1 of the present invention.
  • the information providing apparatus 100 is one of in-vehicle information devices 10 typified by a car navigation apparatus, a head unit (Head Unit), and an ECU (Engine Control Unit).
  • the information providing apparatus 100 is connected to a line-of-sight detection device 101 that acquires line-of-sight information of a vehicle driver, an in-vehicle sensor 102, an in-vehicle network 103, and a display 104 that displays and provides display information to the driver.
  • the vehicle refers to an automobile. The same applies to the following embodiments.
  • the in-vehicle sensor 102 is typically a GPS (Global Positioning System) receiver installed in a vehicle, a gyro sensor, a camera for imaging the outside or the inside of the vehicle, and a millimeter wave sensor.
  • the in-vehicle network 103 is typically a CAN (Controller Area Network), but is not limited thereto.
  • USB Universal Serial Bus
  • Bluetooth registered trademark
  • RS232 Real Standard 232
  • a UART Universal Asynchronous Receiver Transmitter
  • In-vehicle sensors may be further connected to the in-vehicle network 103.
  • the display 104 a liquid crystal display, an organic electroluminescence (EL) display, a head-up display, or the like is used.
  • the head-up display is installed so as to display information superimposed on the field of view of a driver or the like who uses the head-up display.
  • the line-of-sight detection device 101, the information providing apparatus 100, and the display 104 are illustrated as separate modules, but they are not necessarily separated as hardware (H / W).
  • H / W hardware
  • a configuration in which the information providing apparatus 100 and the line-of-sight detection device 101 are realized by one H / W may be used.
  • FIG. 2 is a block diagram showing a configuration of information providing apparatus 100 according to Embodiment 1 of the present invention.
  • the database is abbreviated as DB.
  • the information providing apparatus 100 includes a gaze information acquisition unit 201, a driving behavior prediction unit 202, a driving behavior DB 203, a map DB 204, a gaze movement DB update unit 205, a gaze movement DB 206, a gaze movement prediction unit 207, A display control unit 208.
  • the line-of-sight detection device 101 acquires the driver's face image information and outputs it to the line-of-sight information acquisition unit 201 in the information providing apparatus 100.
  • Representative examples of the line-of-sight detection device 101 include cameras such as a visible light camera and an infrared camera.
  • As a typical method for detecting the line of sight there is a method of detecting a face image captured using the line-of-sight detection device 101 by performing image processing.
  • the line-of-sight information acquisition unit 201 acquires the driver's line-of-sight information from the face image information output from the line-of-sight detection device 101.
  • In-vehicle device information acquired by the in-vehicle sensor 102 (not shown) connected to the in-vehicle sensor 102 or the in-vehicle network 103 is input to the information providing apparatus 100 from the in-vehicle sensor 102 or the in-vehicle network 103.
  • the display 104 displays a target (display information) determined to be output by the information providing apparatus 100 at a display position instructed by the information providing apparatus 100.
  • Examples of display information displayed on the display 104 include facility information, guidance route information, traffic jam information, other vehicle information, warning information for notifying traffic danger, and vehicle state information.
  • the vehicle state information is information indicating a vehicle speed, an engine speed, and a vehicle deterioration state.
  • the facility information includes the name of the facility, business hours information, and campaign information.
  • the display information is not limited to the information described above.
  • vehicle information includes vehicle type information and access information to the vehicle.
  • vehicle type information includes vehicle type information and access information to the vehicle.
  • the display 104 the above-described liquid crystal display, head-up display, or the like is used.
  • the line-of-sight information acquisition unit 201 performs image processing using the driver's face image received from the line-of-sight detection device 101, extracts line-of-sight information, and uses the line-of-sight information extracted as the line-of-sight movement DB update unit 205 and line-of-sight movement prediction unit. It outputs to 207.
  • the line-of-sight information includes time and position as time-series information of the driver's line-of-sight position. The position is indicated using a coordinate system defined within the vehicle. The coordinate system will be described later.
  • the line-of-sight information acquisition unit 201 can detect which direction the driver is facing.
  • the line-of-sight information acquisition unit 201 identifies at which coordinates the line of sight is located on a display (for example, a head-up display, various mirrors, a digital mirror (registered trademark)), a front window, and the like that exist in front of the driver. It shall be possible.
  • the driving behavior prediction unit 202 acquires vehicle travel information, driving operation information, and sensor information as in-vehicle device information from the in-vehicle sensor 102 and the in-vehicle network 103.
  • the vehicle travel information includes vehicle speed, latitude and longitude indicating the travel position of the vehicle.
  • the driving operation information includes the steering angle of the steering wheel and the blinker operation information.
  • sensor information the information which detected the vehicle which the back distance sensor approaches from back is contained, for example.
  • the driving behavior prediction unit 202 extracts the travel position of the vehicle from the travel information of the vehicle in the acquired in-vehicle device information.
  • the driving behavior prediction unit 202 searches the map DB 204 based on the extracted travel position of the vehicle, and acquires road information at the travel position of the vehicle.
  • the road information includes intersection information.
  • the driving behavior prediction unit 202 uses the acquired road information and in-vehicle device information to predict the driving behavior by searching the driving behavior DB 203, and uses the predicted driving behavior as the predicted driving behavior as the gaze movement prediction unit 207. To the line-of-sight movement DB update unit 205.
  • FIG. 3 shows a configuration example of the driving behavior DB 203 of the information providing apparatus 100 according to Embodiment 1 of the present invention.
  • the driving behavior DB 203 holds information that can uniquely identify the driving behavior from the map information and the in-vehicle device information.
  • the distance to the intersection is equal to or less than a predetermined threshold and the map information is “before the intersection”.
  • the right turn signal is turned on (operating state) as the in-vehicle device information (“right turn signal ON”), a right turn is predicted. Confirmation ”).
  • the map information is “straight road”.
  • the in-vehicle device information is “left turn signal ON”
  • 30 m is given as an example of the threshold indicating the distance from the intersection, but the threshold is not limited to 30 m.
  • Threshold values shall be set according to traffic conditions, related laws and regulations, and road information.
  • FIG. 4 shows a configuration example of the line-of-sight movement DB 206 of the information providing apparatus 100 according to Embodiment 1 of the present invention.
  • the line-of-sight movement DB 206 is composed of three layers, a first layer, a second layer, and a third layer.
  • the first level of the line-of-sight movement DB 206 includes a list of driving actions. This driving behavior corresponds to the driving behavior in the driving behavior DB 203.
  • the line-of-sight movement DB 206 holds information regarding line-of-sight movement for each driving action. Specifically, the line-of-sight movement in one driving action is divided into a plurality of movement paths (line-of-sight movement paths), and information on the start point and end point and information on the movement time are defined in each movement path.
  • what holds driving behavior is shown in the first hierarchy, but the information held in the first hierarchy is not limited to driving action, as described later, and further information May be added.
  • FIG. 5 is a diagram showing an example of dividing the driver's line-of-sight movement in Embodiment 1 of the present invention.
  • the line-of-sight movement is divided into three movements: a first movement, a second movement, and a third movement (the final movement in FIG. 5).
  • the first movement, the second movement, and the third movement are indicated by an arrow A1, an arrow A2, and an arrow A3, respectively.
  • Examples of the start point and end point information include a left side mirror, a right side mirror, a rearview mirror, a display, and a front front view.
  • the first movement (arrow A1) is the movement from the front front 12 to the right side mirror 13
  • the second movement (arrow A2) is the movement from the right side mirror 13 to the rearview mirror 11
  • the third movement (arrow A3). ) Is the movement from the rearview mirror 11 to the front front surface 12.
  • the movement time indicates the time for the driver's line of sight to move from the start point to the end point.
  • a value of 200 msec is held as the movement time.
  • reference numeral 14 denotes a handle.
  • start and end points can be defined as the unit of division of the line of sight movement, but the device is not necessarily applicable.
  • a front area may be indicated as the front front for the driver (shown as the front front 12 in FIG. 5). Further, there is no limit on the number of divisions for dividing the line of sight movement.
  • information on the divided movement routes is defined in the second layer.
  • information obtained by dividing the movement route in the second layer is defined.
  • the driving action in the first hierarchy in FIG. 4 is divided into three routes of “first movement”, “second movement”, and “third movement (final movement)” in the second hierarchy for “right entrainment confirmation”. Is defined as
  • FIG. 6 is a diagram showing a route obtained by further dividing one of the divided routes for the driver's line-of-sight movement in Embodiment 1 of the present invention. The figure shows an example of division in the third hierarchy.
  • the path of movement from the front front surface 12 to the right side mirror 13 is defined as 1-1 movement, 1-2 movement, and final movement.
  • the 1-1 movement, the 1-2 movement, and the final movement are indicated by arrows B1-1, B1-2, and B1-3, respectively.
  • the final movement may be expressed as a first to third movement.
  • the coordinates of the start point and the end point are, for example, the vertical direction and the horizontal direction for the driver at a predetermined distance in front of the driver including the position of the front window.
  • the up and down direction means the vertical direction
  • the left and right direction means the horizontal direction.
  • the coordinate system defined here is also used in common when indicating the position of the line of sight in the line-of-sight information acquisition unit 201 described above.
  • the number of divisions of the movement route in the third hierarchy the number is not limited as in the second hierarchy.
  • the number of divisions in the second layer and the third layer may be determined in advance when the information providing apparatus 100 according to the present invention is built, or may be dynamically changed according to the moving distance.
  • the line-of-sight movement DB update unit 205 acquires the line-of-sight information from the line-of-sight information acquisition unit 201, acquires the predicted driving behavior from the driving behavior prediction unit 202, and outputs it to the line-of-sight movement DB 206. Update.
  • One of the driving behaviors in the first hierarchy of the line-of-sight movement DB 206 is selected as the predicted driving behavior.
  • the line-of-sight information is developed into information on the movement route and movement time in the second hierarchy, the start point coordinates, the end point coordinates and the movement time in the third hierarchy.
  • the update of the line-of-sight movement DB 206 uses the number of samples for update held by each of the driving actions of the first hierarchy of the line-of-sight movement DB 206.
  • FIG. 7 shows the configuration of the first hierarchy including the number of samples for update in the line-of-sight movement DB 206 of the information providing apparatus according to the present embodiment. As shown in the figure, the number of samples for update is held corresponding to each driving action in the first hierarchy.
  • FIG. 8 is a flowchart showing processing of the line-of-sight movement DB update unit 205 of the information providing apparatus 100 according to Embodiment 1 of the present invention.
  • the line-of-sight movement DB update unit 205 acquires line-of-sight information from the line-of-sight information acquisition unit 201, and acquires the driving behavior (predicted driving behavior) of the driver from the driving behavior prediction unit 202 (step S300).
  • the first hierarchy of the line-of-sight movement DB 206 is searched for the acquired driving action, and it is determined whether or not the acquired driving action is included in the driving action of the first hierarchy.
  • the process proceeds to step S302.
  • step S302 the movement path of the driver's line of sight is extracted from the acquired line-of-sight information, and it is determined whether or not the line-of-sight movement DB 206 matches the movement path information in the second hierarchy for the driving action (predicted driving action). . If the start point and end point of each movement route enter the area defined as the coordinates of the device, it is determined that they match. If it is determined that they match, the process proceeds to step S303. If it is determined that they do not match, the process ends.
  • the area defined as the coordinates of the device is set on the coordinate system described above.
  • This device means a rearview mirror, left and right side mirrors, and a handle.
  • a region when no device exists on the coordinate plane of the coordinate system a region obtained by projecting the region occupied by the device onto the coordinate system is used.
  • each point of the contour of the device region and the position of the driver's eye are connected with a straight line, and a region formed by connecting the points intersecting the above-described coordinate system plane (for example, the xy plane) is connected to the device.
  • the device does not always correspond to the start point and end point of the line-of-sight movement path.
  • a region such as a circle or rectangle is defined as the front front, and if this region includes the position of the line of sight, it is determined to match, and if it does not include it is determined not to match I decided to.
  • the area in front of the front is a vertical line and a coordinate plane drawn from the driver's eye position (for example, the center position of the pupil) to the coordinate plane of the coordinate system (the xy plane in the case of the xy coordinate system in the above example). It may be a circular region having a radius of 20 cm with the intersection with the center.
  • the value of the radius of the circular region is not limited to 20 cm.
  • Step S303 information corresponding to the travel route and travel time included in the second hierarchy of the line-of-sight movement DB 206 is extracted from the line-of-sight information and stored. Further, in the third layer of the line-of-sight movement DB 206, information corresponding to the coordinates of the start point and end point of each movement path and the movement time from the start point to the end point according to the set number of divisions is extracted from the line-of-sight information and stored ( Step S304).
  • the line-of-sight movement DB update unit 205 updates the line-of-sight movement DB 206 in the above procedure.
  • the line-of-sight movement DB update unit 205 that acquires the driver's line-of-sight movement path and stores it in the line-of-sight movement DB 206 even when the line-of-sight movement path changes for the same driving behavior of the driver. Prepare. As a result, information corresponding to the characteristics of the driver can be acquired and accumulated in the line-of-sight movement DB 206.
  • the line-of-sight movement prediction unit 207 predicts the movement path of the driver's line of sight from the line-of-sight information output from the line-of-sight information acquisition unit 201, the predicted driving action output from the driving action prediction unit 202, and information in the line-of-sight movement DB 206. To do.
  • the predicted line-of-sight movement path is output to the display control unit 208 as the predicted line-of-sight movement path.
  • the line-of-sight movement prediction unit 207 identifies the corresponding driving action in the first layer of the line-of-sight movement DB 206 based on the predicted driving action output from the driving action prediction unit 202. Next, using the line-of-sight information output from the line-of-sight information acquisition unit 201 and the information of the line-of-sight movement route from the start of the corresponding driving action to the present, the position of the line-of-sight movement in the second hierarchy is determined.
  • the movement path of the driver's line of sight is predicted based on the movement path and movement time in the second layer, the start point coordinates, the end point coordinates, and the movement time in the third layer, and the predicted line of sight movement path is output. To do.
  • FIG. 9 is a flowchart showing processing of the display control unit 208 of the information providing apparatus 100 according to Embodiment 1 of the present invention.
  • the display control unit 208 determines display information to be output to the display 104.
  • a predicted line-of-sight movement route is acquired from the line-of-sight movement prediction unit 207 (step S400).
  • the coordinates (arrival position) at which the sight line of the driver reaches after a preset time are calculated.
  • information on the second and third layers of the line-of-sight movement DB 206 is used.
  • the preset time is set to 1 second, and coordinates predicted to reach the driver's line of sight after 1 second (hereinafter referred to as arrival predicted coordinates) are calculated (step S401).
  • step S402 using the information on the area occupied by the display area of the display 104, it is determined whether or not the predicted arrival coordinates are included in the display area of the display 104 (step S402). If the predicted arrival coordinates are not included in the display area of the display 104, the process ends. When the arrival prediction coordinates are included in the display area of the display 104, the process proceeds to step S403. In step S ⁇ b> 403, the display control unit 208 sets the predicted arrival coordinates to the display position (arrival position) on the display 104.
  • the display control unit 208 instructs the display 104 to output image data of display information (including image data obtained by developing characters as images) in addition to the information on the display position on the display 104 (step S404).
  • display information include facility information, guidance route information, traffic jam information, other vehicle information, a warning warning, vehicle speed, engine speed, and vehicle status for displaying the vehicle deterioration status.
  • the data to be output may be moving image data, or may include data indicating display information type information (display type information). If information is already displayed, it may be updated with new information.
  • operator is provided by acquiring the movement path
  • operation behavior and updating the eye movement DB.
  • display information can be output to the display position according to a driver
  • FIG. FIG. 10 is a block diagram showing a configuration of information providing apparatus 100 according to Embodiment 2 of the present invention. As shown in FIG. 10, the present embodiment has a configuration in which a line-of-sight passage determination unit 501 is added to the configuration of FIG. 2 in the first embodiment.
  • the same components as those in the first embodiment are denoted by the same reference numerals as those in the first embodiment, and detailed description thereof is omitted.
  • the line-of-sight passage determination unit 501 acquires the display position of the display information on the display 104 and the information on the predicted line-of-sight movement path from the display control unit 208. It is determined whether the driver's line of sight has already passed the position where the target display information is displayed from the acquired display position of the display information and information of the predicted line-of-sight movement route, and the display control unit 208 displays the determined result. Output to. If the driver's line of sight has already passed the display position of the display information, the display information on the display 104 is deleted and the display is updated. Thus, the display information can be erased after determining that the driver's line of sight has passed the display position of the display information.
  • the display of the display information on the display 104 can be erased. Thereby, it can prevent that a driver
  • FIG. 11 is a block diagram showing a configuration of information providing apparatus 100 according to Embodiment 3 of the present invention.
  • the present embodiment is a configuration in which the inside of the display control unit 208 is detailed and a drawing delay time acquisition unit 601 is added to the configuration of FIG. 2 in the first embodiment.
  • the processing of the display control unit 208 is changed.
  • the same components as those in the first embodiment are denoted by the same reference numerals as those in the first embodiment, and detailed description thereof is omitted.
  • the drawing delay time acquisition unit 601 provided in the display control unit 208 is a time from when the display control unit 208 issues a display information display command (or drawing command) to the display 104 until it is output to the display 104. Get the rendering delay time.
  • the display control unit 208 sets the drawing delay time acquired by the drawing delay time acquisition unit 601.
  • the drawing delay time may be a value set in advance using a value measured in advance by the developer.
  • the time when the display control unit 208 issues a display command to the display 104 and the time when the display information is actually displayed on the display 104 may be measured and dynamically set based on the difference between these times. .
  • the drawing delay time can be determined as follows.
  • the display control unit 208 gives the drawing delay time acquisition unit 601 the time when the display information display command is issued to the display 104.
  • the drawing delay time acquisition unit 601 acquires a difference between the time when the display control unit 208 issues a display information display command, which is output from the display control unit 208, and the time when the display information is actually output to the display 104. .
  • the time actually displayed on the display 104 is measured by a method such as the drawing delay time acquisition unit 601 receiving (or acquiring) an Ack signal (acknowledgment response signal) that is a signal indicating display completion from the display 104. To do.
  • FIG. 12 shows a flowchart of processing of the display control unit 208 of the information providing apparatus 100 in the present embodiment. As shown in FIG. 12, the processing of the display control unit 208 in the present embodiment is performed by changing the operation in step S401 in the flowchart of the processing shown in FIG. Step S401b is assumed.
  • step S401 in FIG. 9 the display control unit 208 in the first embodiment predicts the coordinates at which the driver's line of sight arrives after a preset time.
  • the display control unit 208 in the present embodiment adds the drawing delay time acquired from the drawing delay time acquisition unit 601 to the preset time in step S401, and the driver's line of sight is displayed when the time after the addition has elapsed.
  • the reaching coordinates are predicted (step S401b).
  • the processing in step S400 and the processing after step S402 are the same as the processing shown in FIG. 9 in the first embodiment.
  • step S402 it is determined whether or not the predicted arrival coordinates are included in the display area of the display 104. If the predicted arrival coordinates are not included in the display area of the display 104, the process ends. That is, when the predicted arrival coordinates calculated by adding the drawing delay time to the preset time are not included in the display area of the display 104, it is determined that the drawing of the display information is not in time, and drawing is not performed. In this way, by predicting the arrival coordinates of the driver's line of sight by adding the above-described drawing delay time, the display position for outputting the display information to the display 104 is accurately calculated even when drawing takes time. be able to.
  • the display position can be calculated more accurately by predicting the display position of the display information on the display 104 by adding the drawing delay time on the display 104.
  • display information can be displayed in advance at a position where the driver's line of sight passes.
  • the same effects as those of the first embodiment can be obtained even when drawing takes time.
  • the drawing delay time acquisition unit 601 is provided inside the display control unit 208.
  • the drawing delay time acquisition unit 601 is provided outside the display control unit 208. It is good also as a structure.
  • the display control unit 208 may be configured to perform all the processing of the drawing delay time acquisition unit 601.
  • the line-of-sight movement prediction unit 207 has the line-of-sight information output from the line-of-sight information acquisition unit 201, the predicted driving action output from the driving action prediction unit 202, and the line-of-sight movement DB 206. From the information, the movement path of the driver's line of sight is predicted. However, when the driving amount of the vehicle by the driver is not yet sufficient, there is a possibility that sufficient information cannot be constructed in the line-of-sight movement DB 206. That is, there is a possibility that the number of samples for update in the line-of-sight movement DB 206 is small.
  • This embodiment implements the information providing apparatus 100 that can be applied even when sufficient information cannot be constructed in the line-of-sight movement DB 206 in this way.
  • the number of samples for update is small, for example, a case where the number of samples for update is 30 or less or 50 or less can be considered, but it is not limited thereto.
  • FIG. 13 is a block diagram showing a configuration of information providing apparatus 100 according to the embodiment of the present invention.
  • the line-of-sight movement prediction unit 207 uses the line-of-sight movement information received from the cloud system 702 by the cloud cooperation line-of-sight movement tendency acquisition unit 701 when the number of samples for updating the driving action of the first hierarchy in the line-of-sight movement DB 206 is small. Configured.
  • the cloud system 702 is configured by connecting a plurality of server computers to a network.
  • the present embodiment adds a cloud cooperation gaze movement tendency acquisition unit 701 to the configuration of the information providing apparatus 100 shown in FIG. 2 in the first embodiment, and a gaze movement prediction unit 207.
  • This is a modified configuration.
  • the same components as those in the first embodiment are denoted by the same reference numerals as those in the first embodiment, and detailed description thereof is omitted.
  • the cloud system 702 collects and stores line-of-sight movement information regarding various driver driving behaviors.
  • the cloud cooperation line-of-sight movement tendency acquisition unit 701 receives the average value of the driver's line-of-sight movement information collected by the cloud system 702 from the cloud system 702, and outputs the received line-of-sight movement information to the line-of-sight movement prediction unit 207.
  • the line-of-sight movement information to be acquired is the same information as the line-of-sight movement DB 206 in the first embodiment. That is, the line-of-sight movement information to be acquired includes information corresponding to the first to third layers of the line-of-sight movement DB 206 shown in FIG. 4 in the first embodiment.
  • driver's line-of-sight movement information received from the cloud-linked line-of-sight movement tendency acquisition unit 701 may use an average value for all drivers stored in the cloud system 702, or the driver's line of sight such as gender and age. You may use the average value of the set clustered by the attribute.
  • the operation of the gaze movement prediction unit 207 is performed except that the gaze movement information received by the cloud cooperation gaze movement tendency acquisition unit 701 is used in addition to the information of the gaze movement DB 206 or instead of the information of the gaze movement DB 206. This is the same as the first embodiment. With this configuration, even when the amount of vehicle travel by the driver is small and sufficient information is not constructed in the line-of-sight movement DB 206, the line-of-sight movement prediction unit 207 predicts the driver's line-of-sight movement. The predicted line-of-sight movement path can be output.
  • the line-of-sight movement information on the driving behavior of the driver can be constructed in the line-of-sight movement DB 206 using the line-of-sight movement DB update unit 205 as in the first embodiment. it can.
  • the line-of-sight movement information stored on the cloud system 702 can be used when the amount of vehicle travel by the driver is small. Furthermore, when the driving amount of the vehicle by the driver increases and the driver's line-of-sight movement information can be sufficiently constructed in the line-of-sight movement DB 206, the driver moves to the line-of-sight movement DB 206 and the line-of-sight movement prediction unit 207 causes the driver's line of sight to move. The movement can be predicted. Further, in addition to the information of the line-of-sight movement DB 206, the line-of-sight movement information received by the cloud cooperation line-of-sight movement tendency acquisition unit 701 may be used.
  • the switching from the line-of-sight movement information acquired by the cloud cooperation line-of-sight movement tendency acquisition unit 701 to the line-of-sight movement DB 206 can be configured as follows, for example. That is, in the line-of-sight movement DB 206, the driving action whose update sample number is equal to or greater than a predetermined threshold can be switched to the line-of-sight movement DB 206.
  • a predetermined threshold for example, 50 or 100 can be used as the threshold for the number of samples for update.
  • the threshold value for the number of samples for update is not limited to these values.
  • the driver's gaze movement can be predicted, and display information is displayed on the driver's natural gaze path. Can do. Further, when the amount of travel of the vehicle by the driver is small and the line-of-sight movement DB 206 is not sufficiently constructed, general driver's line-of-sight movement information stored in the cloud system 702 can be used. Furthermore, when the amount of travel by the driver becomes a sufficient amount and the line-of-sight movement DB 206 can be constructed, the movement of the line of sight along the characteristics of the driver can be predicted. As described above, even when the amount of vehicle travel by the driver is not sufficient, the same effect as in the first embodiment can be obtained.
  • Embodiment 5 FIG.
  • the configuration of the invention that predicts the movement path of the driver's line of sight using the line-of-sight movement prediction unit 207 with respect to the driving action predicted by the driving action prediction unit 202 has been described. This is based on the fact that if the driver is the same driver, the movement path of the line of sight is approximately the same for each driving action.
  • the movement path of the line of sight may change for the same type of driving behavior of the same driver.
  • the configuration of the invention for correctly predicting the movement path of the line of sight even when the movement path of the driver's line of sight changes with the same driver and the same type of driving behavior will be described.
  • FIG. 14 is a block diagram showing a configuration of information providing apparatus 100 according to Embodiment 5 of the present invention.
  • the time zone information is information indicating the time zone of the day, such as daytime, nighttime, morning, evening, or from 7 am to 9 am.
  • the area information is information indicating whether the vehicle is traveling in an urban area or a suburb.
  • the area information is acquired from the GPS receiver, the cloud system 702, or is acquired from the map DB 204 as shown in FIG.
  • the environmental information includes at least one of weather information, time zone information, and area information.
  • the environment information is not limited to weather information, time zone information, or area information, and information that may change the driver's line-of-sight movement can be added.
  • an environment information acquisition unit 801, an in-vehicle sensor 102b, and a cloud system 702 are added to the configuration of the invention according to the first embodiment, and the line-of-sight movement DB update unit 205 The processing has been changed. Further, as will be described later, with respect to the line-of-sight movement DB 206, data held in the line-of-sight movement DB 206 shown in Embodiment 1 is expanded.
  • the in-vehicle sensor 102b may be connected to the environment information acquisition unit 801 via an in-vehicle network (not shown).
  • the environment information acquisition unit 801 acquires weather information, time zone information, or area information as environment information from the in-vehicle sensor 102b or the cloud system 702, and outputs it to the line-of-sight movement DB update unit 205.
  • the weather information is acquired from the in-vehicle sensor 102b or acquired from information related to the weather input from the cloud system 702.
  • information acquired from the vehicle-mounted sensor 102b the information from a raindrop sensor, the operation information of a wiper (information of whether it is operating) are mentioned, for example.
  • the time zone information is calculated by acquiring time from a GPS receiver. Or you may acquire from the timepiece mounted in the vehicle and may calculate from time.
  • Weather information, time zone information, or area information is a VICS (registered trademark) that is a system that transmits road traffic information related to traffic congestion and traffic regulation to the in-vehicle information device 10 or an information communication device installed on a road in an intelligent road traffic system. You may acquire using a certain roadside device.
  • the line-of-sight movement DB 206 holds weather information, time zone information, or area information, which is the environmental information described above, in addition to the information shown in FIG. 4 of the first embodiment.
  • the line-of-sight movement DB update unit 205 updates the line-of-sight movement DB 206 by adding the environment information acquired from the environment information acquisition unit 801 and using the same method as in the first embodiment.
  • FIG. 15 shows the configurations of the first hierarchy and the second hierarchy
  • FIG. 16 shows the configuration of the third hierarchy. 15 and 16 show an example of holding weather information and time zone information in addition to the line-of-sight movement DB 206 in the first embodiment.
  • the second layer of the line-of-sight movement DB 206 has information on line-of-sight movement, movement route, and movement time for each type of weather information and time zone information.
  • the regional information is defined as the environmental information
  • each type of regional information has information on the line-of-sight movement, the movement route, and the movement time.
  • the third layer of the line-of-sight movement DB 206 also has information on line-of-sight movement, start point coordinates, end point coordinates, and movement time for each type of weather information and time zone information, as in the second layer.
  • the area information is defined as the environment information
  • the information on the line-of-sight movement, the start point coordinates, the end point coordinates, and the movement time is stored for each type of area information.
  • the line-of-sight movement DB update unit 205 adds the environment information including weather information, time zone information, or area information output from the environment information acquisition unit 801, and then uses the same method as the line-of-sight movement DB update unit 205 in the first embodiment.
  • the line-of-sight movement information in the line-of-sight movement DB 206 is updated.
  • the movement path of the driver's line of sight differs depending on the environmental information composed of weather information, time zone information, or regional information.
  • the environmental information composed of weather information, time zone information, or regional information.
  • FIG. 17 is a block diagram showing a configuration of information providing apparatus 100 according to Embodiment 6 of the present invention.
  • the internal configuration of the display control unit 208 in the configuration shown in FIG. 2 in the first embodiment is detailed, and a display information determination unit 209 and a display position control unit 210 are provided. Is.
  • the same components as those in the first embodiment are denoted by the same reference numerals as those in the first embodiment, and detailed description thereof is omitted.
  • the display information determination unit 209 determines display information and display type information.
  • the display type information includes, for example, safety information, entertainment information (entertainment information) that is information related to entertainment, and traffic information that is information related to traffic conditions.
  • Safety information is information related to safety in the operation of the vehicle.
  • the display information determination unit 209 outputs the determined display information to the display position control unit 210 together with the display type information.
  • the display position control unit 210 sets the priority according to the display type information output from the display information determination unit 209 and determines the display order and the display position. For example, if the display type information is safety information or traffic information, it is necessary to immediately inform the driver, so that the information is immediately displayed on the movement path of the driver's line of sight, that is, on the predicted line of sight movement path.
  • the display type information is entertainment information
  • the line-of-sight path end point coordinates are included when the line-of-sight movement of the final movement in the second layer in the line-of-sight movement DB 206 starts. It can be considered that the display is performed at the position.
  • the display type information is not limited to safety information, entertainment information, and traffic information.
  • the display positions corresponding to safety information, entertainment information, and traffic information are not limited to the display positions described above.
  • the priority when there are a plurality of display information to be displayed on the display 104, the priority can be set according to the display type information of the display information.
  • the display type information is safety information or traffic information
  • the information can be displayed earlier at a position that is easy for the driver to visually recognize in preference to the information indicating other display types.
  • Embodiment 7 the configuration of the invention for predicting the movement route of the driver's line of sight using the line-of-sight movement prediction unit 207 with respect to the predicted driving behavior predicted by the driving behavior prediction unit 202 has been described.
  • This prediction of driving behavior is mainly based on the position in the direction of travel of the vehicle, such as whether it is a straight road or an intersection, but if the lane position in the left-right direction of the vehicle becomes clear, more accurate driving behavior Prediction becomes possible.
  • the driving behavior is correctly predicted when the vehicle position accuracy can be specified at the lane level using the in-vehicle sensor capable of calculating the vehicle position with high accuracy and the map DB 204 that holds even the lane level information.
  • a configuration of the invention for achieving this will be described.
  • FIG. 18 is a block diagram showing a configuration of information providing apparatus 100 according to Embodiment 7 of the present invention.
  • the traveling lane position indicates the lane in which the vehicle is running, and is obtained by the traveling lane position acquisition unit 901 using the on-board sensor 102 that can calculate the position of the vehicle with high accuracy and the map DB 204 that holds up to lane level information. To be acquired.
  • a traveling lane position acquisition unit 901 is added to the configuration of the invention according to Embodiment 1.
  • data held in the driving action DB 203 shown in the first embodiment is expanded.
  • the driving action DB 203 holds the above-described travel lane position information in addition to the information shown in FIG. 3 of the first embodiment.
  • the same components as those in the first embodiment are denoted by the same reference numerals as those in the first embodiment, and detailed description thereof is omitted.
  • FIG. 19 shows a configuration example of the driving action DB 203 expanded in the present embodiment.
  • the driving action DB 203 shown in FIG. 19 has travel lane position information in addition to map information, in-vehicle device information, and driving action. More specifically, the travel lane position information holds information that clearly indicates the location of the left lane, the right lane, or the second lane from the left and the second lane from the right. Further, as the traveling lane position information, information indicating a plurality of lanes other than the left lane and other than the right lane may be held. Alternatively, information representing lane characteristics such as a right turn lane, a left turn lane, a straight lane, and a lane change prohibited lane may be held as travel lane position information.
  • the traveling lane position acquisition unit 901 acquires the vehicle position information from the in-vehicle sensor 102, acquires map information including road lane position information from the map DB 204, specifies the lane position of the vehicle using these,
  • the travel lane position is output to the driving behavior prediction unit 202.
  • the driving behavior prediction unit 202 searches the above-described driving behavior DB 203 using the traveling lane position information acquired from the traveling lane position acquisition unit 901 in addition to the information of the first embodiment.
  • the driving behavior prediction unit 202 searches the driving behavior DB 203, predicts the driving behavior, and outputs the predicted driving behavior to the visual line movement prediction unit 207 and the visual line movement DB update unit 205 as the predicted driving behavior.
  • the prediction is made using the traveling lane position information, so that the predicted driving behavior can be predicted with higher accuracy.
  • the traveling lane position information of the vehicle by adding the traveling lane position information of the vehicle, it becomes possible to further limit the driving behavior and to predict the driving behavior with higher accuracy. Accordingly, the prediction of the line-of-sight movement becomes more accurate, and in addition to the same effect as that of the first embodiment, the effect of further improving the display accuracy can be obtained.
  • the information providing apparatus 100 can be realized using the H / W configuration shown in FIG. In FIG. 20, a memory 21, a microprocessor 22, and a secondary storage device 23 are configured, and the memory 21, the microprocessor 22, and the secondary storage device 23 cooperate to provide the information providing device in the first to seventh embodiments. 100 is realized.
  • the program of the information providing apparatus 100 realized as software is stored in the secondary storage device 23, and the program is read into the memory 21 and executed by the microprocessor 22.
  • the information providing apparatus 100 of the present invention is realized.
  • the driving action DB 203, the map DB 204, and the line-of-sight movement DB 206 can be configured using the secondary storage device 23.
  • the driving behavior DB 203, the map DB 204, and the line-of-sight movement DB 206 can also be configured using the memory 21.
  • the implementation method as software described above is an exemplification, and the implementation method of the present invention is not limited to this.

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

運転者の視線移動経路上に情報を表示して提供するために、情報提供装置（１００）は、運転者の運転行動を予測した結果を予測運転行動として出力する運転行動予測部（２０２）と、運転行動における運転者の視線の移動経路および移動時間を保持する視線移動データベース（２０６）と、運転者が予測運転行動を取る場合の運転者の視線情報を取得して視線移動データベース（２０６）を更新する視線移動データベース更新部（２０５）と、予測運転行動および視線情報を基に視線移動データベース（２０６）を検索して運転者の視線が移動する経路を予測した結果を予測視線移動経路として出力する視線移動予測部（２０７）と、予測視線移動経路を用いて運転者の視線がディスプレイ（１０４）に到達する位置および時刻を決定して、表示情報を表示する表示制御部（２０８）を備える。

Description

情報提供装置
　本発明は、車両のディスプレイに情報を表示して提供する情報提供装置に関するものである。
　車両において、車載情報装置から情報を提供する際には、運転者が車両を運転するのに悪影響を与えることなく、情報を提供することが必要である。この場合において、運転者の視線位置、状況に応じて、情報の表示位置を決定することが重要となる。
　特許文献１には、運転者の視線の動きと障害物とを検出し、運転者の視線から外れた位置に警告を表示した後に、障害物に視線を誘導し、運転者が脇見状態にあるときでも、運転者の視線を対象物に誘導する視線誘導装置が開示される。
　また、特許文献２には、情報を車両の外の風景に重畳して表示する情報表示装置において、走行先の経路に関する情報を取得し、経路上に運転者の視線が移動すると予測し、予測結果に基づいて情報の表示位置を変更する技術が開示される。
　また、特許文献３には、車両に搭載されたセンサの出力を用いて、運転者が見るべき領域を予測し、運転者が走行環境の下で当然はらうべき注意をはらって運転しているかどうかの判定を行う車載情報処理装置が開示される。
特開2010-126135号公報（５～６ぺージ、図３） 特開2015-207243号公報（４～８ページ、図２） 特開2002-083400号公報（４ページ、図２）
　特許文献１、特許文献２に開示される技術は、外界における案内対象に重畳するか、又は案内対象に視線を誘導するようにして表示するものである。しかし、運転者の視界領域内において運転者がこれから動かす視線方向と別の方向に案内が表示されると、運転者の自然な視線移動を阻害する恐れがある。運転者が運転時に安全確認をする際には、決まった視線の移動経路があると考えられ、その視線移動に影響を与える表示は好ましくない。一方で、車両の運転における安全に関わる情報をディスプレイ上に表示する際は、視線移動が終わるまで待機することなく、可能な限り早く運転者に報知する方が好ましい。
　また、特許文献３に開示される技術は、カーナビゲーション装置、車載センサから運転者が見るべき視線の領域を特定し、その領域と運転者の視線を用いて、見るべき領域を視認しているかを判定するものに過ぎない。特許文献３においても、運転者の運転行動における自然な視線移動を阻害せずに、情報を提示する技術は開示されていない。
　本発明は以上を鑑みてなされたものであって、ディスプレイに情報を表示する際に、車載センサ情報、地図情報、視線位置から運転者の視線の移動経路を予測し、運転者の視線の移動経路上に情報を表示して提供する情報提供装置を実現することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る情報提供装置は、車両の運転者の視線情報を取得する視線情報取得部と、道路情報、車載機器情報および運転者の運転行動を保持する運転行動データベースと、地図データベースと、車載センサ又は車載ネットワークから車両の走行位置および車載機器情報を取得し、走行位置を基に地図データベースを検索して道路情報を取得し、道路情報および車載機器情報を基に運転行動データベースを検索して運転者の運転行動を予測した結果として予測運転行動を出力する運転行動予測部と、運転行動における運転者の視線の移動経路および移動時間を保持する視線移動データベースと、運転行動予測部から予測運転行動を取得し、視線認識部から運転者が予測運転行動を取る場合の運転者の視線情報を取得して視線移動データベースを更新する視線移動データベース更新部と、予測運転行動および視線情報を基に視線移動データベースを検索して、運転者の視線が移動する経路を予測した結果を予測視線移動経路として出力する視線移動予測部と、車両のディスプレイに表示する表示情報を決定し、予測視線移動経路を用いて運転者の視線がディスプレイに到達する到達位置および時刻を決定して、到達位置に予め表示情報を表示する表示制御部と、を備えたものである。
　本発明によれば、車両内のディスプレイに情報を表示する場合に、車載センサ情報、地図情報、視線情報を用いることで、運転者の視線移動経路を予測し、運転者の視線移動経路上に情報を表示できる。これにより、運転者の運転行動における自然な視線移動を邪魔することなく運転者に情報提供を行うことができる。
本発明の実施の形態１における情報提供装置１００およびその周辺機器を含めたシステムの構成を示すブロック図である。 本発明の実施の形態１における情報提供装置１００の構成を示すブロック図である。 本発明の実施の形態１における運転行動データベース（ＤＢ）２０３の構成例を示す図である。 本発明の実施の形態１における視線移動ＤＢ２０６の構成例を示す図である。 本発明の実施の形態１における運転者の視線移動を分割する例を示す図である。 本発明の実施の形態１における運転者の視線移動の分割経路の１つをさらに分割した経路を示す図である。 本発明の実施の形態１における視線移動ＤＢ２０６の第１階層の構成例を示す図である。 本発明の実施の形態１における視線移動ＤＢ更新部２０５の処理を示すフローチャートである。 本発明の実施の形態１における表示制御部２０８の処理を示すフローチャートである。 本発明の実施の形態２における情報提供装置１００の構成を示すブロック図である。 本発明の実施の形態３における情報提供装置１００の構成を示すブロック図である。 本発明の実施の形態３における表示制御部２０８の処理を示すフローチャートである。 本発明の実施の形態４における情報提供装置１００の構成を示すブロック図である。 本発明の実施の形態５における情報提供装置１００の構成を示すブロック図である。 本発明の実施の形態６における視線移動ＤＢ２０６の構成例を示す図である。 本発明の実施の形態６における視線移動ＤＢ２０６の構成例を示す図である。 本発明の実施の形態６における情報提供装置１００の構成を示すブロック図である。 本発明の実施の形態７における情報提供装置１００の構成を示すブロック図である。 本発明の実施の形態７における運転行動ＤＢ２０３の構成例を示す図である。 本発明の実施の形態１～７における情報提供装置１００のハードウェア構成例を示す図である。
　本発明に係る情報提供装置の実施の形態について図面を用いて詳細に説明する。なお、以下に示す実施の形態は例示であって、以下の実施の形態によってこの発明が限定されるものではない。
実施の形態１．
　図１は、本発明の実施の形態１における情報提供装置１００およびその周辺機器を含めたシステムの構成を示すブロック図である。図１に示すように、情報提供装置１００は、カーナビゲーション装置、ヘッドユニット（Head Unit）、ＥＣＵ（Engine Control Unit）に代表される車載情報機器１０の１つである。
　情報提供装置１００は、車両の運転者の視線情報を取得する視線検知デバイス１０１、車載センサ１０２、車載ネットワーク１０３および運転者に表示情報を表示して提供するディスプレイ１０４に接続される。ここで、本発明において、車両とは自動車を指すものとする。これは以下の実施の形態においても同様である。
　車載センサ１０２は、車両に設置されたＧＰＳ（Global Positioning System）受信器、ジャイロセンサ、車両の外部又は内部を撮像するカメラ、ミリ波センサが代表的なものである。
　また、車載ネットワーク１０３は、ＣＡＮ（Controller Area Network）が代表的なものであるが、これに限るものではない。車載ネットワーク１０３として、ＵＳＢ（Universal Serial Bus）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＲＳ２３２（Recommended Standard 232）が用いられる。また、車載ネットワーク１０３として、ＵＡＲＴ（Universal Asynchronous Receiver Transmitter）が用いられる場合もある。車載ネットワーク１０３には、さらに車載センサ（図示しない）が接続される場合もある。
　ディスプレイ１０４としては、液晶ディスプレイ、有機エレクトロルミネッセンス（ＥＬ）ディスプレイ又はヘッドアップディスプレイ（Head-Up Display）などが用いられる。ここに、ヘッドアップディスプレイは、それを利用する運転者等の視界に重ねて情報を表示するように設置されるものである。
　なお、図１においては、視線検知デバイス１０１、情報提供装置１００、ディスプレイ１０４は別のモジュールとして記載しているが、必ずしもこれらがハードウェア（Ｈ／Ｗ）として分かれている必要はない。例えば、情報提供装置１００と視線検知デバイス１０１が１つのＨ／Ｗで実現されている構成でもよい。
　図２は、本発明の実施の形態１における情報提供装置１００の構成を示すブロック図である。
　以下、データベース（database）を略して、ＤＢと記載することにする。
　情報提供装置１００には、視線情報取得部２０１と、運転行動予測部２０２と、運転行動ＤＢ２０３と、地図ＤＢ２０４と、視線移動ＤＢ更新部２０５と、視線移動ＤＢ２０６と、視線移動予測部２０７と、表示制御部２０８とが含まれる。
　視線検知デバイス１０１は、運転者の顔画像情報を取得し、情報提供装置１００における視線情報取得部２０１に出力する。視線検知デバイス１０１として代表的なものには、可視光カメラ、赤外線カメラなどのカメラが挙げられる。視線を検知する代表的な手法として、視線検知デバイス１０１を用いて撮像した顔画像を画像処理して検知する方法がある。
　視線情報取得部２０１は、視線検知デバイス１０１から出力された顔画像情報から運転者の視線情報を取得する。
　情報提供装置１００には、車載センサ１０２又は車載ネットワーク１０３から、車載センサ１０２又は車載ネットワーク１０３に接続された車載センサ（図示しない）で取得した車載機器情報が入力される。
　ディスプレイ１０４は、情報提供装置１００から指示された表示位置に、情報提供装置１００が出力すると決定した対象（表示情報）を表示する。ディスプレイ１０４に表示される表示情報は、施設の情報、誘導経路情報、渋滞情報、他車情報、交通における危険を報知する警告情報、車両状態情報が挙げられる。車両状態情報とは、車速、エンジン回転数、車両の劣化状態を示す情報である。施設の情報としては、当該施設の名称、営業時間情報、キャンペーン情報が挙げられる。なお、表示情報は、上述した情報に限定されるものでない。
　また、他車情報としては、車種情報、自車への接近情報が挙げられる。ここで、ディスプレイ１０４としては上に例示した液晶ディスプレイ、ヘッドアップディスプレイ等が用いられる。
　次に、本実施の形態における情報提供装置１００の動作について述べる。
　視線情報取得部２０１は、視線検知デバイス１０１から受信した運転者の顔画像を用いて、画像処理を行い、視線情報を抽出し、抽出した視線情報を視線移動ＤＢ更新部２０５と視線移動予測部２０７に出力する。視線情報には、運転者の視線位置の時系列情報として、時刻と位置が含まれる。位置は車両内に定義される座標系を用いて示される。座標系については後述する。
　視線検知デバイス１０１は個々の運転者に対してキャリブレーションが実施されているものとする。すなわち、車両内で定義される座標系における位置が既知である機器、装置、指標を用いて、個々の運転者の視線の位置データと車両内の座標系の関係について調整が行われているものとする。視線情報取得部２０１は、運転者がどの方向を向いているかを検知可能である。また、視線情報取得部２０１は、運転者の前方に存在するディスプレイ（例えば、ヘッドアップディスプレイ、各種ミラー、デジタルミラー（登録商標））、フロントウィンドウなどにおけるどの座標に視線が位置しているかを特定できるものとする。
　運転行動予測部２０２は、車載センサ１０２、車載ネットワーク１０３から車載機器情報として、車両の走行情報、運転操作情報、センサ情報を取得する。車両の走行情報には車速、車両の走行位置を示す緯度および経度が含まれる。また、運転操作情報にはハンドルの操舵角、ウインカー操作情報が含まれる。センサ情報としては、例えば後方距離センサが後方から接近する車両を検知した情報が含まれる。
　運転行動予測部２０２は、取得した車載機器情報における車両の走行情報から車両の走行位置を抽出する。運転行動予測部２０２は、抽出した車両の走行位置を基に地図ＤＢ２０４を検索して車両の走行位置における道路情報を取得する。道路情報には交差点情報が含まれる。
　運転行動予測部２０２は、取得した道路情報および車載機器情報を用いて、運転行動ＤＢ２０３を検索することによって運転行動を予測し、予測した結果となる運転行動を予測運転行動として視線移動予測部２０７と視線移動ＤＢ更新部２０５に出力する。
　図３に、本発明の実施の形態１における情報提供装置１００の運転行動ＤＢ２０３の構成例を示す。図３に示すように、運転行動ＤＢ２０３は、地図情報と車載機器情報から運転行動を一意に特定できる情報を保持する。交差点までの距離が予め定められた閾値以下であり、地図情報は「交差点の手前」である場合を考える。この場合において、車載機器情報として、右ウインカーをＯＮ（作動状態）にしたとき（「右ウインカーＯＮ」）は、右折が予測されるため、運転行動として右の巻き込み確認（図３における「右巻き込み確認」）を予測する。
　また、交差点が進行方向（例えば車両の前方）３０ｍ以内に存在しない場合は地図情報として「直線道路」となる。この場合に車載機器情報が「左ウインカーＯＮ」となるときは、左に車線変更することが予測されるため、運転行動として左車線変更に向けた確認（「左車線変更確認」）を予測する。
　ここで、上述した例では、交差点からの距離を示す閾値として３０ｍを例に挙げたが、閾値としては３０ｍに限定されるものではない。交通状況、関連する法規制、道路情報に応じて閾値が設定されるものとする。
　図４に本発明の実施の形態１における情報提供装置１００の視線移動ＤＢ２０６の構成例を示す。同図に示す構成例では、視線移動ＤＢ２０６は第１階層、第２階層および第３階層の３つの階層で構成される。
　視線移動ＤＢ２０６の第１階層には運転行動のリストが含まれる。この運転行動は、運転行動ＤＢ２０３における運転行動と対応するものである。視線移動ＤＢ２０６は、運転行動各々に対して、視線移動に関する情報を保持する。具体的には、１つの運転行動における視線移動は、複数の移動経路（視線移動経路）に分割され、それぞれの移動経路において、始点および終点の情報、移動時間の情報が定義される。なお、図４において、第１階層では、運転行動を保持するものが示されているが、第１階層に保持される情報は後述するように、運転行動に限るものではなく、さらに他の情報が付加される場合もある。
　図５は、本発明の実施の形態１における運転者の視線移動を分割する例を示した図である。同図に示す例では、視線移動は第１移動、第２移動、第３移動（図５においては最終移動となる）の３つの移動に分割される。ここで、図５において第１移動、第２移動、第３移動はそれぞれ、矢印Ａ１、矢印Ａ２、矢印Ａ３で示される。
　始点、終点の情報としては、例えば、左サイドミラー、右サイドミラー、バックミラー、ディスプレイ、前方正面がある。同図において、第１移動（矢印Ａ１）は前方正面１２から右サイドミラー１３への移動、第２移動（矢印Ａ２）は右サイドミラー１３からバックミラー１１への移動、第３移動（矢印Ａ３）はバックミラー１１から前方正面１２への移動である。移動時間は運転者の視線が始点から終点まで移動する時間を示す。
　視線移動ＤＢ２０６において、移動時間としては、例えば、２００ｍｓｅｃという値を保持する。なお、図５において符号１４はハンドルを示す。
　視線移動の分割の単位は、始点と終点が定義できるものとするが、必ずしも機器が該当するとは限らない。例えば、運転者に対する前方正面として、前方のある領域を示す場合もある（図５において前方正面１２として示される）。また、視線移動の経路を分割する分割数には制限を設けない。
　図４に示すように、視線移動ＤＢ２０６において、分割した移動経路の情報は第２階層で定義される。第１階層における運転行動それぞれについて、第２階層において移動経路を分割した情報が定義される。例えば、図４における第１階層における運転行動が「右巻き込み確認」について、第２階層において「第１移動」、「第２移動」、「第３移動（最終移動）」の３つの経路に分割して定義される。
　次に、視線移動ＤＢ２０６の第３階層においては、第２階層で分割された各々の視線移動である分割経路をさらに複数に分割し、それぞれの始点座標、終点座標、移動時間の情報を保持する。ここで、第３層において、分割された視線移動は、「第１－１移動」、「第１－２移動」、「第１－３移動（最終移動）」などとする。
　図６は、本発明の実施の形態１における運転者の視線移動の分割経路の１つをさらに分割した経路を示す図である。同図は第３階層における分割の例を示したものである。同図には、前方正面１２から右サイドミラー１３に移動する経路を第１－１移動、第１－２移動、最終移動として定義したものである。同図において、第１－１移動、第１－２移動、最終移動はそれぞれ、矢印Ｂ１－１、矢印Ｂ１－２、矢印Ｂ１－３によって示される。なお、この場合における最終移動は、第１－３移動と表してもよい。
　第３階層において、第２階層における移動をさらに分割することにより、第２階層における移動経路が直線とならない場合であっても視線移動の経路を正確に表すことが可能となる。始点、終点の座標としては、例えば、フロントウィンドウの位置をはじめとした運転者の前方決まった距離における、運転者にとっての上下方向、左右方向とする。ここに、上下方向は鉛直方向、左右方向は水平方向を意味する。例えば、上下方向をｙ軸、左右方向をｘ軸とし、運転者の前方の決まった距離にある１つの点を原点とした座標系を定義することができる。なお、座標系の取り方はこれに限定されるものではない。
　ここで定義された座標系は、上述した視線情報取得部２０１における視線の位置を示す場合にも共通して用いられる。
　第３階層における移動経路の分割数についても、第２階層と同様、その数に制限は設けない。
　第２階層および第３階層における分割数は、本発明に係る情報提供装置１００のシステム構築時に予め決定しておいてもよいし、移動距離に応じて動的に変更するようにしてもよい。
　図２において、視線移動ＤＢ更新部２０５は、視線情報取得部２０１から視線情報を取得し、また、運転行動予測部２０２から予測運転行動を取得して、視線移動ＤＢ２０６に出力し、視線移動ＤＢ２０６を更新する。予測運転行動は視線移動ＤＢ２０６の第１階層における運転行動のいずれかが選択される。視線情報は第２階層における移動経路、移動時間、第３階層における始点座標、終点座標、移動時間の情報に展開される。
　視線移動ＤＢ２０６の更新には、視線移動ＤＢ２０６の第１階層の運転行動のそれぞれが保持する更新用サンプル数を用いる。
　図７に本実施の形態における情報提供装置の視線移動ＤＢ２０６について、更新用サンプル数を含む第１階層の構成を示す。同図に示すように、第１階層における運転行動それぞれに対応して更新用サンプル数を保持する構成としている。
　図８は、本発明の実施の形態１における情報提供装置１００の視線移動ＤＢ更新部２０５の処理を示すフローチャートである。視線移動ＤＢ更新部２０５は、視線情報取得部２０１から視線情報を取得し、また、運転行動予測部２０２から運転者の運転行動（予測運転行動）を取得する（ステップＳ３００）。
　次に、取得した運転行動について、視線移動ＤＢ２０６の第１階層を検索し、取得した運転行動が第１階層の運転行動に含まれているか否かを判定する。取得した運転行動が第１階層の運転行動に含まれている場合はステップＳ３０２の処理に移る。取得した運転行動が第１階層の運転行動に含まれていない場合は処理を終了する（ステップＳ３０１）。
　ステップＳ３０２において、取得した視線情報から運転者の視線の移動経路を抽出し、視線移動ＤＢ２０６において、運転行動（予測運転行動）に対する第２階層における移動経路の情報と合致するか否かを判定する。各移動経路の始点と終点がデバイスの座標として定義された領域に入れば合致していると判断する。合致していると判断された場合には、ステップＳ３０３に進む。合致していないと判断された場合には、処理を終了する。
　ここで、デバイスの座標として定義された領域は上述した座標系上に設定する。このデバイスは、バックミラー、左右のサイドミラー、ハンドルなどを意味する。
　また、座標系の座標平面上にデバイスが存在しない場合の領域はデバイスが占める領域を座標系に射影した領域を用いる。具体的には、デバイスの領域の輪郭の各点と運転者の目の位置を直線で結び、上述した座標系の平面（例えば、ｘｙ平面）と交わった点を連ねて構成した領域をデバイスの座標として定義された領域と設定する。
　また、視線の移動経路の始点および終点には必ずしもデバイスが対応するとは限らない。例えば、前方正面の場合には、前方正面として円形、長方形等の領域を定義しておき、この領域に視線の位置が含まれれば合致したものと判断し、含まれなければ合致しないものと判断することとする。一例として、前方正面の領域は、運転者の目の位置（例えば瞳孔の中心位置）から座標系の座標平面（上述の例におけるｘｙ座標系の場合にはｘｙ平面）に下ろした垂線と座標平面との交点を中心とした、半径２０ｃｍの円領域とするものでもよい。ここで、円領域の半径の値は２０ｃｍに限るものではない。
　次に、視線の移動経路の記憶処理を行う。まず、視線移動ＤＢ２０６の第２階層に含まれる移動経路、移動時間に該当する情報を視線情報から抽出して記憶する（ステップＳ３０３）。
　また、視線移動ＤＢ２０６の第３階層における、設定した分割数に応じた各々の移動経路の始点と終点の座標、始点から終点までの移動時間に該当する情報を視線情報から抽出して記憶する（ステップＳ３０４）。
　次に、図７に示す視線移動ＤＢ２０６の第１階層に格納された更新用サンプル数に１を加算する。ステップＳ３０３で収集した移動経路、移動時間の情報と、視線移動ＤＢ２０６に格納された情報との差分を更新用サンプル数（母数）で割った値を視線移動ＤＢ２０６に格納された情報に加算する。また、ステップＳ３０４で収集した移動経路の始点と終点の座標、始点から終点までの移動時間の情報と、視線移動ＤＢ２０６に格納された情報の差分を更新用サンプル数（母数）で割った値を視線移動ＤＢ２０６に格納された情報に加算する。
　なお、視線移動ＤＢ２０６の更新に関しては、これまでに格納した全ての情報の合計値に対し、新しいデータを加算し、更新用サンプル数に１を加算して更新した値で割る方法であってもよい。すなわち、更新用サンプル数を母数とする平均値を算出して、第２階層および第３階層の情報を更新する（ステップＳ３０５）。
　視線移動ＤＢ更新部２０５は、以上の手順で視線移動ＤＢ２０６を更新する。
　このように、運転者の同一の運転行動について、視線の移動経路が変化する場合であっても、運転者の視線の移動経路を取得して視線移動ＤＢ２０６に記憶する視線移動ＤＢ更新部２０５を備える。これにより、運転者の特性に応じた情報を取得して視線移動ＤＢ２０６に蓄積することができる。
　視線移動予測部２０７は、視線情報取得部２０１から出力された視線情報と、運転行動予測部２０２から出力された予測運転行動と、視線移動ＤＢ２０６の情報から、運転者の視線の移動経路を予測する。予測した結果である視線移動経路は、予測視線移動経路として、表示制御部２０８に出力される。
　具体的には、図２において、視線移動予測部２０７は、運転行動予測部２０２から出力された予測運転行動を基に、視線移動ＤＢ２０６の第１階層において該当する運転行動を特定する。次に、視線情報取得部２０１から出力された視線情報と、該当する運転行動の開始からこれまでの視線移動経路の情報を用いて、第２階層における視線移動のどこに該当するかを確定する。確定した結果を用いて、第２階層における移動経路および移動時間、第３階層における始点座標、終点座標、移動時間を基に、運転者の視線の移動経路を予測し、予測視線移動経路を出力する。
　図９は、本発明の実施の形態１における情報提供装置１００の表示制御部２０８の処理を示すフローチャートである。
　表示制御部２０８は、ディスプレイ１０４に出力する表示情報を決定する。また、視線移動予測部２０７から予測視線移動経路を取得する（ステップＳ４００）。
　次に、取得した運転者の予測視線移動経路の情報を用いて、予め設定した時間後に運転者の視線が到達する座標（到達位置）を算出する。算出には視線移動ＤＢ２０６の第２階層および第３階層の情報を用いる。例えば、予め設定した時間を１秒とし、１秒後に運転者の視線が到達すると予測される座標（以下、到達予測座標と呼ぶ）を算出する（ステップＳ４０１)。
　次に、ディスプレイ１０４の表示領域が占める領域の情報を用いて、到達予測座標が、ディスプレイ１０４の表示領域に含まれるか否かを判定する（ステップＳ４０２）。到達予測座標が、ディスプレイ１０４の表示領域に含まれない場合は処理を終了する。到達予測座標が、ディスプレイ１０４の表示領域に含まれる場合は、ステップＳ４０３に移行する。
　ステップＳ４０３において、表示制御部２０８は、到達予測座標をディスプレイ１０４での表示位置（到達位置）に設定する。
　表示制御部２０８は、ディスプレイ１０４での表示位置の情報に加え、表示情報の画像データ（文字を画像として展開した画像データも含む）をディスプレイ１０４に出力するよう指示する（ステップＳ４０４）。
　ここで、表示情報としては、施設の情報、誘導経路情報、渋滞情報、他車情報、危険を報知する警告、車速、エンジン回転数、車両の劣化状態を表示する車両状態などが挙げられる。なお、ディスプレイ１０４の仕様に応じて、出力するデータは動画データであってもよく、また、表示情報の種別情報（表示種別情報）を示すデータを含めてもよい。
　また、既に情報が表示されている場合は新しい情報に更新してもよい。
　本実施の形態によれば、運転者の視線の移動経路を予測し、運転者の視線に沿った位置に情報を表示できる。これにより、運転者の自然な視線移動を邪魔することなく運転者に情報提供を行うことができる。
　また、運転者の予測運転行動における運転者の視線の移動経路を取得して、視線移動ＤＢを更新する視線移動ＤＢ更新部２０５を備えたことにより、運転者の特性に応じた視線の移動経路を視線移動ＤＢ２０６に蓄積することができる。これにより、運転者の特性に応じた表示位置に表示情報を出力することができる。
実施の形態２．
　図１０は、本発明の実施の形態２における情報提供装置１００の構成を示すブロック図である。
　図１０に示すように、本実施の形態は実施の形態１における図２の構成に視線通過判定部５０１を追加した構成である。なお、図１０において、実施の形態１における構成と同一の部分を表すものは、実施の形態１と同一の符号を付して詳細な説明を省略する。
　次に、本実施の形態における情報提供装置１００の動作について説明する。
　視線通過判定部５０１は、既にディスプレイ１０４に表示情報が表示されている場合に、表示制御部２０８からディスプレイ１０４の表示情報の表示位置、予測視線移動経路の情報を取得する。取得した表示情報の表示位置、予測視線移動経路の情報から、対象となる表示情報が表示されている位置を既に運転者の視線が通過しているかを判定し、判定した結果を表示制御部２０８に出力する。既に運転者の視線が表示情報の表示位置を通過していた場合には、ディスプレイ１０４の表示情報を消して表示の更新を行う。これにより、運転者の視線が表示情報の表示位置を通過したことを判定した後に、表示情報を消すことができる。
　本実施の形態によれば、運転者の視線が表示情報を通過した後に、ディスプレイ１０４の表示情報の表示を消去することができる。これにより、運転者の視線が表示情報上に長時間残ることを防止することができる。運転者が表示情報を視認した後に運転者の視線移動を阻害することなく、ディスプレイ１０４への表示情報の表示が可能となる。よって、運転者の自然な視線移動に沿った表示情報の提供ができる。
実施の形態３．
　図１１は、本発明の実施の形態３における情報提供装置１００の構成を示すブロック図である。
　図１１に示すように、本実施の形態は、実施の形態１における図２の構成において、表示制御部２０８の内部を詳細化し、描画遅延時間取得部６０１を追加したものである。また、表示制御部２０８の処理を変更している。なお、図１１において、実施の形態１における構成と同一の部分を表すものは、実施の形態１と同一の符号を付して詳細な説明を省略する。
　次に、本実施の形態における情報提供装置１００の動作について説明する。
　表示制御部２０８の内部に設けられた描画遅延時間取得部６０１は、表示制御部２０８がディスプレイ１０４に表示情報の表示命令（又は描画命令）を発行してからディスプレイ１０４に出力されるまでの時間である描画遅延時間を取得する。表示制御部２０８は、描画遅延時間取得部６０１によって取得された描画遅延時間を設定する。
　描画遅延時間は、事前に開発者が計測した値を用いて、予め設定した値を用いてもよい。あるいは、表示制御部２０８がディスプレイ１０４に表示命令を発行した時刻と、実際にディスプレイ１０４に表示情報が表示された時刻を計測し、それらの時刻の差を基に動的に設定してもよい。
　動的に設定する場合は、以下のようにして描画遅延時間を決定することができる。表示制御部２０８は、ディスプレイ１０４に表示情報の表示命令を発行した時刻を描画遅延時間取得部６０１に与える。描画遅延時間取得部６０１は表示制御部２０８から出力された、表示制御部２０８が表示情報の表示命令を発行した時刻から、実際にディスプレイ１０４に表示情報が出力される時刻との差を取得する。ディスプレイ１０４に実際に表示された時刻としては、描画遅延時間取得部６０１が、ディスプレイ１０４から表示完了を示す信号であるＡｃｋ信号（確認応答信号）を受信する（又は取得する）などの方法で計測する。
　また、情報提供装置１００又はディスプレイ１０４で複数の処理が並行して実行される場合には、それぞれにおける処理による負荷を考慮して描画遅延時間を設定してもよい。
　本実施の形態における情報提供装置１００の表示制御部２０８の処理のフローチャートを図１２に示す。同図に示すように、本実施の形態における表示制御部２０８の処理は、実施の形態１における図９で示した処理のフローチャートにおけるステップＳ４０１の動作を以下のように変更して、図１２においてステップＳ４０１ｂとしたものとなる。
　図９におけるステップＳ４０１において、実施の形態１における表示制御部２０８は、予め設定した時間後に運転者の視線が到達する座標を予測するものであった。本実施の形態における表示制御部２０８はこのステップＳ４０１における予め設定した時間に、描画遅延時間取得部６０１から取得した描画遅延時間を加算して、加算後の時間が経過した時に運転者の視線が到達する座標を予測する（ステップＳ４０１ｂ）。
　ステップＳ４００の処理およびステップＳ４０２以下の処理は、実施の形態１における図９で示した処理と同様である。
　ステップＳ４０２において、到達予測座標が、ディスプレイ１０４の表示領域に含まれるか否かを判定し、到達予測座標がディスプレイ１０４の表示領域に含まれない場合は処理を終了することになる。すなわち、予め設定した時間に描画遅延時間を加えて算出した到達予測座標がディスプレイ１０４の表示領域に含まれない場合には、表示情報の描画が間に合わないと判断して、描画を行わない。このように、上述した描画遅延時間を加えて運転者の視線の到達座標を予測することにより、描画に時間を要する場合であってもディスプレイ１０４に表示情報を出力する表示位置を正確に算出することができる。
　本実施の形態によれば、ディスプレイ１０４の表示情報の表示位置をディスプレイ１０４における描画遅延時間を加えて予測することにより、表示位置をより正確に算出可能となる。これにより、描画に時間を要する場合においても、運転者の視線が通過する位置に予め表示情報を表示することができる。以上に示すように、描画に時間を要する場合においても実施の形態１と同様な効果を奏する。
　以上の構成においては、図１１に示すように、表示制御部２０８の内部に描画遅延時間取得部６０１を設ける構成について説明したが、描画遅延時間取得部６０１は、表示制御部２０８の外部に設ける構成としてもよい。
　また、描画遅延時間取得部６０１の処理を全て表示制御部２０８が行うように構成してもよい。
実施の形態４．
　実施の形態１から３における情報提供装置１００では、視線移動予測部２０７が視線情報取得部２０１から出力された視線情報と、運転行動予測部２０２から出力された予測運転行動と、視線移動ＤＢ２０６の情報とから、運転者の視線の移動経路の予測を行う。
　しかし、運転者による車両の走行量がまだ十分でないときには、視線移動ＤＢ２０６に十分な情報が構築できていない可能性がある。すなわち、視線移動ＤＢ２０６における更新用サンプル数が少ない可能性がある。
　本実施の形態はこのように視線移動ＤＢ２０６に十分な情報が構築できていない場合にも適用可能な情報提供装置１００を実現するものである。なお、更新用サンプル数が少ない場合として、例えば、更新用サンプル数が３０以下あるいは５０以下の場合が考えられるが、これらに限られるものではない。
　図１３は、本発明の実施の形態における情報提供装置１００の構成を示すブロック図である。
　視線移動予測部２０７は、視線移動ＤＢ２０６における第１階層の運転行動の更新用サンプル数が少ない場合に、クラウド連携視線移動傾向取得部７０１が、クラウドシステム７０２から受信した視線移動情報も使用するように構成される。クラウドシステム７０２は複数のサーバ計算機がネットワーク接続されて構成される。
　図１３に示すように、本実施の形態は、実施の形態１における図２で示される情報提供装置１００の構成に対して、クラウド連携視線移動傾向取得部７０１を追加し、視線移動予測部２０７の処理を変更した構成である。図１３において、実施の形態１における構成と同一の部分を表すものは、実施の形態１と同一の符号を付して詳細な説明を省略する。
　クラウドシステム７０２には、様々な運転者の運転行動における視線移動情報を収集して格納する。
　本実施の形態における情報提供装置１００の動作について説明する。
　クラウド連携視線移動傾向取得部７０１は、クラウドシステム７０２に収集された運転者の視線移動情報の平均値をクラウドシステム７０２から受信し、受信した視線移動情報を視線移動予測部２０７に出力する。取得する視線移動情報は、実施の形態１における視線移動ＤＢ２０６と同様な情報とする。すなわち、取得する視線移動情報には、実施の形態１における図４に示す視線移動ＤＢ２０６の第１階層から第３階層までに対応する情報が含まれるものとする。なお、クラウド連携視線移動傾向取得部７０１から受信する運転者の視線移動情報は、クラウドシステム７０２に格納された全ての運転者に対する平均値を用いてもよいし、性別、年齢などの運転者の属性によってクラスタリングした集合の平均値を用いてもよい。
　視線移動予測部２０７の動作は、視線移動ＤＢ２０６の情報に加えて、あるいは視線移動ＤＢ２０６の情報の代わりにクラウド連携視線移動傾向取得部７０１が受信した視線移動情報を使用する点を除いて、実施の形態１と同様である。
　このように構成することにより、運転者による車両の走行量が少なく、視線移動ＤＢ２０６に十分な情報が構築されていない場合であっても、視線移動予測部２０７は運転者の視線移動を予測し、予測視線移動経路を出力することができる。また、運転者による車両の走行量が増えるにつれて、実施の形態１と同様、視線移動ＤＢ更新部２０５を用いて、視線移動ＤＢ２０６に運転者の運転行動における視線移動情報を構築していくことができる。
　以上説明した情報提供装置１００により、運転者による車両の走行量が少ない場合には、クラウドシステム７０２上に蓄えられた視線移動情報を用いることができる。さらに、運転者による車両の走行量が増加し、視線移動ＤＢ２０６に運転者の視線移動情報が十分に構築できた場合には、視線移動ＤＢ２０６に切り替えて、視線移動予測部２０７により運転者の視線移動を予測することができる。また、視線移動ＤＢ２０６の情報に加えて、クラウド連携視線移動傾向取得部７０１が受信した視線移動情報を使用するように構成してもよい。
　なお、クラウド連携視線移動傾向取得部７０１で取得した視線移動情報から、視線移動ＤＢ２０６への切り替えは例えば以下のように行うように構成することもできる。すなわち、視線移動ＤＢ２０６において、更新用サンプル数が予め定められた閾値以上となった運転行動については、視線移動ＤＢ２０６に切り替えを行うようにすることができる。ここで更新用サンプル数の閾値としては、例えば５０あるいは１００などを用いることができる。なお、この更新用サンプル数の閾値はこれらの数値に限るものではない。
　本実施の形態によれば、運転者による車両の走行量が十分でない場合においても、運転者の視線移動の予測を行うことができ、運転者の自然な視線経路上に表示情報を表示することができる。また、運転者による車両の走行量が少なく、視線移動ＤＢ２０６が十分に構築できていない場合には、クラウドシステム７０２に蓄積された、一般的な運転者の視線移動情報の活用が可能である。さらに、運転者による走行量が十分な量となり、視線移動ＤＢ２０６が構築できた場合には、当該運転者の特性に沿った視線移動の予測が可能となる。以上述べたように、運転者による車両の走行量が十分でない場合においても、実施の形態１と同様の効果を得ることができる。
実施の形態５．
　実施の形態１から４においては、運転行動予測部２０２によって予測された運転行動に対し、視線移動予測部２０７を用いて運転者の視線の移動経路の予測を行う発明の構成について述べた。これは同じ運転者であれば、それぞれの運転行動に対して視線の移動経路はおおよそ同じ経路となることに基づく。
　一方で、天候、時間帯、車両が走行する地域によっては、同一の運転者の同じ種類の運転行動に対して、視線の移動経路が変化する場合もある。例えば、雨天時の走行、夜間における走行をはじめとした視界が悪い状況においては、より周囲に注意を払う必要があるため、確認するポイントが増え、視線の移動時間の長さが異なる可能性がある。
　本実施の形態においては、同一の運転者、同じ種類の運転行動で運転者の視線の移動経路が変化する場合にも視線の移動経路を正しく予測するための発明の構成について述べる。
　図１４は、本発明の実施の形態５における情報提供装置１００の構成を示すブロック図である。
　時間帯情報とは、日中、夜間、朝、夕方、あるいは午前７時から午前９時まで等、一日のうちの時間帯を示す情報である。
　地域情報とは、車両が都市部を走行しているか、又は郊外を走行しているかを示す情報である。地域情報は、ＧＰＳ受信器、クラウドシステム７０２から取得するか、あるいは、図１４に示すように地図ＤＢ２０４から取得する。ここで、環境情報は、天候情報、時間帯情報および地域情報のうちの少なくとも１つを含むものとする。なお、環境情報は天候情報、時間帯情報又は地域情報に限るものではなく、運転者の視線移動に変化を与える可能性のある情報を追加することが可能である。
　図１４に示すように、本実施の形態では、実施の形態１に係る発明の構成に対して、環境情報取得部８０１、車載センサ１０２ｂ、クラウドシステム７０２を追加し、視線移動ＤＢ更新部２０５の処理を変更している。また、後述するように、視線移動ＤＢ２０６について、実施の形態１で示した視線移動ＤＢ２０６で保持するデータの拡張を行っている。なお、車載センサ１０２ｂは車載ネットワーク（図示しない）を介して環境情報取得部８０１に接続される場合もある。
　次に、本実施の形態の情報提供装置１００の動作について述べる。
　環境情報取得部８０１は、車載センサ１０２ｂ又はクラウドシステム７０２から、環境情報として、天候情報、時間帯情報又は地域情報を取得し、視線移動ＤＢ更新部２０５に出力する。天候情報は、車載センサ１０２ｂから取得するか、あるいはクラウドシステム７０２から入力された天候に関する情報から取得する。車載センサ１０２ｂから取得する情報としては、例えば、雨滴センサからの情報、ワイパーの動作情報（動作しているか否かの情報）が挙げられる。
　時間帯情報はＧＰＳ受信器から時刻を取得して算出する。あるいは、車両に搭載された時計から取得して時刻から算出してもよい。
　天候情報、時間帯情報又は地域情報は、渋滞および交通規制に関する道路交通情報を車載情報機器１０に送信するシステムであるＶＩＣＳ（登録商標）又は高度道路交通システムにおいて道路に設置される情報通信装置である路側器を用いて取得してもよい。
　視線移動ＤＢ２０６は、実施の形態１の図４で示した情報に加えて、上述した環境情報である天候情報、時間帯情報又は地域情報を保持する。視線移動ＤＢ更新部２０５は、環境情報取得部８０１から取得した環境情報を付加した上で、実施の形態１と同様の手法で、視線移動ＤＢ２０６を更新する。
　本実施の形態において拡張した視線移動ＤＢ２０６の構成例について、図１５に第１階層および第２階層の構成を、図１６に第３階層の構成を示す。図１５および図１６には、実施の形態１における視線移動ＤＢ２０６に加えて、天候情報、時間帯情報を保持する例について示す。図１５に示すように、視線移動ＤＢ２０６の第２階層において、天候情報、時間帯情報の種類毎に視線移動、移動経路、移動時間の情報を持つ。
　同図には示していないが、環境情報として地域情報が定義される場合も同様に、地域情報の種類毎に、視線移動、移動経路、移動時間の情報を持つ。
　また、視線移動ＤＢ２０６の第３階層においても図１６に示すように、第２階層と同様に天候情報、時間帯情報の種類毎に、視線移動、始点座標、終点座標、移動時間の情報を持つ。なお、同図には示していないが、環境情報として地域情報が定義される場合も同様に、地域情報の種類毎に、視線移動、始点座標、終点座標、移動時間の情報を持つ。
　視線移動ＤＢ更新部２０５は環境情報取得部８０１から出力された天候情報、時間帯情報又は地域情報を含む環境情報を付加した上で、実施の形態１における視線移動ＤＢ更新部２０５と同様の手法で、視線移動ＤＢ２０６における視線移動情報を更新する。
　このように構成することにより、天候情報、時間帯情報又は地域情報でそれぞれ示される天候、時間帯又は車両が走行する地域によって視線の移動経路が異なる場合においても環境に即して変化する視線移動の予測が可能となる。
　本実施の形態によれば、同じ運転者の同種類の運転行動に対して、天候情報、時間帯情報又は地域情報から構成される環境情報によって、運転者の視線の移動経路が異なる場合であっても環境情報の変化に対応した視線の移動経路の予測が可能となる。従って、このように環境情報によって、運転者の視線の移動経路が異なる場合であっても、実施の形態１と同様の効果を得ることができる。
実施の形態６．
　図１７は本発明の実施の形態６における情報提供装置１００の構成を示すブロック図である。
　同図に示すように、本実施の形態においては、実施の形態１における図２で示す構成における表示制御部２０８の内部構成を詳細化し、表示情報決定部２０９と表示位置制御部２１０を設けたものである。なお、本実施の形態において、実施の形態１における構成と同一の部分を表すものは、実施の形態１と同一の符号を付して詳細な説明を省略する。
　表示情報決定部２０９は表示情報を決定し、表示種別情報を決定する。表示種別情報は例えば、安全情報、娯楽に関する情報であるエンターテインメント情報（娯楽情報）、交通状況に関する情報である交通情報がある。安全情報は車両の運行における安全に関する情報である。表示情報決定部２０９は、決定した表示情報を表示種別情報と共に表示位置制御部２１０に出力する。表示位置制御部２１０は表示対象の情報が複数存在する場合に、表示情報決定部２０９から出力された表示種別情報によって優先度を設定し、表示順序と表示位置を決定する。例えば、表示種別情報が安全情報又は交通情報であれば、すぐに運転者に伝える必要であるため、直ちに運転者の視線の移動経路上に、すなわち、予測視線移動経路上に表示する。
　また、表示種別情報が娯楽情報である場合は、すぐに運転者に伝える必要性が低いため、視線移動ＤＢ２０６における第２階層の最終移動の視線移動が始まった際に視線経路の終点座標を含む位置に表示する構成とすることが考えられる。なお、表示種別情報は安全情報、エンタメ情報、交通情報に限るものではない。また、安全情報、エンタメ情報、交通情報のそれぞれに対応する表示位置も上述した表示位置に限定するものではない。
　本実施の形態によれば、ディスプレイ１０４に表示すべき複数の表示情報が存在する場合に、表示情報の表示種別情報に応じて優先度を設定することができる。また、表示種別情報が安全情報又は交通情報である場合には、他の表示種別を示す情報より優先して、運転者が視認することが容易な位置により早く表示することができる。
実施の形態７．
　実施の形態１から６までにおいては、運転行動予測部２０２によって予測された予測運転行動に対し、視線移動予測部２０７を用いて運転者の視線の移動経路の予測を行う発明の構成について述べた。この運転行動の予測は直線道路であるか、交差点が近いかなど、主に車両の進行方向の位置で判断しているが、車両の左右方向の車線位置が明確になるとさらに高精度な運転行動予測が可能となる。
　本実施の形態においては、高精度に車両の位置を算出可能な車載センサと車線レベルの情報まで保持する地図ＤＢ２０４を用いて車両の位置精度が車線レベルで特定できたときに運転行動を正しく予測するための発明の構成について述べる。
　図１８は、本発明の実施の形態７における情報提供装置１００の構成を示すブロック図である。走行車線位置とは車両が走っている車線を示すものであり、高精度に車両の位置を算出可能な車載センサ１０２と車線レベルの情報まで保持する地図ＤＢ２０４を用いて走行車線位置取得部９０１によって取得される。
　図１８に示すように、本実施の形態では、実施の形態１に係る発明の構成に対して、走行車線位置取得部９０１を追加している。また、運転行動ＤＢ２０３について、実施の形態１で示した運転行動ＤＢ２０３で保持するデータの拡張を行っている。すなわち、運転行動ＤＢ２０３は、実施の形態１の図３で示した情報に加えて、上述した走行車線位置情報を保持する。なお、図１８において、実施の形態１における構成と同一の部分を表すものは、実施の形態１と同一の符号を付して詳細な説明を省略する。
　本実施の形態において拡張した運転行動ＤＢ２０３の構成例を図１９に示す。図１９に示す運転行動ＤＢ２０３は地図情報、車載機器情報、運転行動に加えて、走行車線位置情報を持つ。走行車線位置情報は、具体的には左端車線、右端車線、あるいは左から２番目かつ右から２番目の車線という車線の場所を明確に示す情報を保持する。また、走行車線位置情報として、左端車線以外、右端車線以外という複数の車線を示す情報を保持しても良い。あるいは、走行車線位置情報として、右折用車線、左折用車線、直進用車線、車線変更禁止車線という車線の特性を表す情報を保持しても良い。
　次に、本実施の形態における情報提供装置１００の動作について述べる。
　走行車線位置取得部９０１は、車載センサ１０２から自車位置情報を取得し、地図ＤＢ２０４から道路の車線位置情報を含んだ地図情報を取得し、これらを用いて車両の車線位置を特定し、その走行車線位置を運転行動予測部２０２に出力する。
　運転行動予測部２０２は実施の形態１の情報に加え、走行車線位置取得部９０１から取得した走行車線位置情報を用いて、上述の運転行動ＤＢ２０３を検索する。運転行動予測部２０２は運転行動ＤＢ２０３を検索し、運転行動を予測し、予測した結果となる運転行動を予測運転行動として視線移動予測部２０７と視線移動ＤＢ更新部２０５に出力する。
　このように構成することにより、実施の形態１における地図情報、車載機器情報に加えて、走行車線位置情報も用いて予測するため、予測運転行動をより精度良く予測可能になる。
　本実施の形態によれば、車両の走行車線位置情報を追加することで、運転行動をより限定することが可能となり、より精度の良い運転行動予測が可能となる。従って、視線移動の予測もより高精度となり、実施の形態１と同様の効果に加えて、表示の正確性がさらに向上する効果を得ることができる。
　以上の実施の形態１から７における情報提供装置１００は図２０に示したＨ／Ｗ構成を用いて実現することも可能である。図２０においてはメモリ２１、マイクロプロセッサ２２、二次記憶装置２３が構成され、これらメモリ２１、マイクロプロセッサ２２、二次記憶装置２３が協働することで、実施の形態１から７における情報提供装置１００が実現される。
　すなわち、ソフトウェアとして実現された情報提供装置１００のプログラムを二次記憶装置２３に格納しておき、プログラムをメモリ２１に読み込ませて、マイクロプロセッサ２２で実行させる。このように構成することにより、本発明の情報提供装置１００が実現される。また、運転行動ＤＢ２０３、地図ＤＢ２０４、視線移動ＤＢ２０６は二次記憶装置２３を用いて構成することができる。なお、運転行動ＤＢ２０３、地図ＤＢ２０４、視線移動ＤＢ２０６は、メモリ２１を用いて構成することもできる。
　なお、以上述べたソフトウェアとしての実現方法は例示であって、本発明の実現方法はこれに限るものではない。
　１００　情報提供装置、１０２、１０２ｂ　車載センサ、１０３　車載ネットワーク、１０４　ディスプレイ、２０１　視線情報取得部、２０２　運転行動予測部、２０３　運転行動ＤＢ、２０４　地図ＤＢ、２０５　視線移動ＤＢ更新部、２０６　視線移動ＤＢ、２０７　視線移動予測部、２０８　表示制御部、５０１　視線通過判定部、７０１　クラウド連携視線移動傾向取得部、７０２　クラウドシステム、８０１　環境情報取得部、９０１　走行車線位置取得部。

Claims (8)

  1. 　車両の運転者の視線情報を取得する視線情報取得部と、
    　道路情報、車載機器情報および前記運転者の運転行動を保持する運転行動データベースと、
    　地図データベースと、
    　車載センサ又は車載ネットワークから前記車両の走行位置および前記車載機器情報を取得し、前記走行位置を基に前記地図データベースを検索して前記道路情報を取得し、前記道路情報および前記車載機器情報を基に前記運転行動データベースを検索して前記運転者の運転行動を予測した結果として予測運転行動を出力する運転行動予測部と、
    　前記運転行動における前記運転者の視線の移動経路および移動時間を保持する視線移動データベースと、
    　前記運転行動予測部から前記予測運転行動を取得し、前記視線情報取得部から前記運転者が前記予測運転行動を取る場合の前記運転者の前記視線情報を取得して前記視線移動データベースを更新する視線移動データベース更新部と、
    　前記予測運転行動および前記視線情報を基に前記視線移動データベースを検索して、前記運転者の視線が移動する経路を予測した結果を予測視線移動経路として出力する視線移動予測部と、
    　前記車両のディスプレイに表示する表示情報を決定し、前記予測視線移動経路を用いて前記運転者の視線が前記ディスプレイに到達する到達位置および時刻を決定して、前記到達位置に予め前記表示情報を表示する表示制御部と、
    　を備えた情報提供装置。
  2. 　前記予測視線移動経路を用いて、前記運転者の視線が前記ディスプレイに前記表示情報を表示する位置を通過したか否かを判定する視線通過判定部を
    　さらに備えたことを特徴とする請求項１に記載の情報提供装置。
  3. 　前記表示制御部は、前記表示情報を出力する指示を行ってから前記ディスプレイに前記表示情報が出力されるまでの時間である描画遅延時間を算出し、前記描画遅延時間を用いて前記表示情報が前記ディスプレイに出力される位置を変更することを特徴とする請求項１又は２に記載の情報提供装置。
  4. 　複数のサーバ計算機がネットワーク接続されて構成されるクラウドシステム、前記車載センサ又は前記車載ネットワークから、天候情報、時間帯情報および前記車両が走行している地域に関する情報である地域情報のうちの少なくとも１つを含む環境情報を取得する環境情報取得部をさらに備え、
    　前記視線移動データベース更新部は、前記環境情報取得部で取得した前記環境情報を付加して前記視線移動データベースを更新し、
    　前記視線移動予測部は、前記環境情報が付加された前記視線移動データベースを検索して前記予測視線移動経路を出力することを特徴とする請求項１から３までのいずれか一項に記載の情報提供装置。
  5. 　前記表示情報は、前記車両の運行における安全に関する情報である安全情報、交通状況に関する情報である交通情報および娯楽情報のうちのいずれかを示す表示種別情報を含み、
    　前記表示制御部は、前記表示種別情報に応じて、前記ディスプレイにおいて前記表示情報を出力する位置および時刻を決定することを特徴とする請求項１から４までのいずれか一項に記載の情報提供装置。
  6. 　複数のサーバ計算機がネットワーク接続されて構成されるクラウドシステムから前記運転行動における前記運転者の前記視線の移動経路および前記移動時間を取得するクラウド連携視線移動傾向取得部をさらに備え、
    　前記視線移動予測部は、前記視線移動データベースを検索した結果に加えて、前記クラウド連携視線移動傾向取得部によって前記クラウドシステムから取得した前記視線の移動経路および前記移動時間を用いて、前記予測視線移動経路を出力することを特徴とする請求項１から５までのいずれか一項に記載の情報提供装置。
  7. 　前記走行位置を基に前記地図データベースを検索して取得した道路の車線位置情報を用いて、前記車両が走行する走行車線位置情報を取得する走行車線位置取得部をさらに備え、
    　前記運転行動予測部は、前記道路情報および前記車載機器情報に加えて前記走行車線位置取得部から取得した前記走行車線位置情報を用いて前記運転行動データベースを検索し、前記運転者の前記運転行動を予測した結果として前記予測運転行動を出力することを特徴とする請求項１から６までのいずれか一項に記載の情報提供装置。
  8. 　前記ディスプレイは、ヘッドアップディスプレイであることを特徴とする請求項１から７までのいずれか一項に記載の情報提供装置。
PCT/JP2017/043762 2017-03-28 2017-12-06 情報提供装置 WO2018179599A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019508558A JP6645618B2 (ja) 2017-03-28 2017-12-06 情報提供装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-062040 2017-03-28
JP2017062040 2017-03-28

Publications (1)

Publication Number Publication Date
WO2018179599A1 true WO2018179599A1 (ja) 2018-10-04

Family

ID=63674925

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/043762 WO2018179599A1 (ja) 2017-03-28 2017-12-06 情報提供装置

Country Status (2)

Country Link
JP (1) JP6645618B2 (ja)
WO (1) WO2018179599A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020119317A (ja) * 2019-01-24 2020-08-06 株式会社Ｊｖｃケンウッド 運転支援制御装置、運転支援制御方法、およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002083400A (ja) * 2000-09-06 2002-03-22 Honda Motor Co Ltd ドライバの視線領域の適合性を判定する車載情報処理装置
JP2008158791A (ja) * 2006-12-22 2008-07-10 Aisin Aw Co Ltd 運転支援システム
JP2008232912A (ja) * 2007-03-22 2008-10-02 Denso It Laboratory Inc ナビゲーション装置、ナビゲーション方法、およびプログラム
JP2013056633A (ja) * 2011-09-09 2013-03-28 Honda Motor Co Ltd ヘッドアップディスプレイ装置
US20130142385A1 (en) * 2011-12-06 2013-06-06 GM Global Technology Operations LLC Vehicle ghosting on full windshield display
JP2015207243A (ja) * 2014-04-23 2015-11-19 クラリオン株式会社 情報表示装置及び情報表示方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002083400A (ja) * 2000-09-06 2002-03-22 Honda Motor Co Ltd ドライバの視線領域の適合性を判定する車載情報処理装置
JP2008158791A (ja) * 2006-12-22 2008-07-10 Aisin Aw Co Ltd 運転支援システム
JP2008232912A (ja) * 2007-03-22 2008-10-02 Denso It Laboratory Inc ナビゲーション装置、ナビゲーション方法、およびプログラム
JP2013056633A (ja) * 2011-09-09 2013-03-28 Honda Motor Co Ltd ヘッドアップディスプレイ装置
US20130142385A1 (en) * 2011-12-06 2013-06-06 GM Global Technology Operations LLC Vehicle ghosting on full windshield display
JP2015207243A (ja) * 2014-04-23 2015-11-19 クラリオン株式会社 情報表示装置及び情報表示方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020119317A (ja) * 2019-01-24 2020-08-06 株式会社Ｊｖｃケンウッド 運転支援制御装置、運転支援制御方法、およびプログラム
JP7215191B2 (ja) 2019-01-24 2023-01-31 株式会社Ｊｖｃケンウッド 運転支援制御装置、運転支援制御方法、およびプログラム

Also Published As

Publication number Publication date
JP6645618B2 (ja) 2020-02-14
JPWO2018179599A1 (ja) 2019-06-27

Similar Documents

Publication Publication Date Title
US12005934B2 (en) Autonomous driving assistance device
US9898006B2 (en) Drive assist device
CN109791738B (zh) 行驶辅助装置以及计算机程序
EP3467802B1 (en) Object detection method and object detection device
US11541891B2 (en) Vehicle control method and vehicle control device
JP7052786B2 (ja) 表示制御装置および表示制御プログラム
JP4910510B2 (ja) 制御用情報記憶装置及びプログラム
US10821976B2 (en) Navigation system with dynamic speed setting mechanism and method of operation thereof
US20200241530A1 (en) Avoidance of obscured roadway obstacles
CN111788459A (zh) 辅助信息在显示单元上的显现
JP7047824B2 (ja) 車両制御装置
US20120109521A1 (en) System and method of integrating lane position monitoring with locational information systems
US11493357B2 (en) Superimposed image display device, superimposed image drawing method, and computer program
CN113313933A (zh) 用于自动驾驶车辆的基于车道的路线选择系统
JP2008064483A (ja) 車両用ナビゲーション装置、方法およびプログラム
CN114005300A (zh) 车辆管理系统、管理方法及计算机可读介质
EP4083957A1 (en) Navigation system with traffic state detection mechanism and method of operation thereof
JP2023012793A (ja) 重畳画像表示装置
CN115943289A (zh) 驾驶辅助装置以及计算机程序
JP6645618B2 (ja) 情報提供装置
JP7267796B2 (ja) 経路提示方法及び経路提示装置
CN114867991A (zh) 用于在机动车中提供三维地图的方法
JP2019074359A (ja) 経路設定装置
JP7123830B2 (ja) 地図データ更新システム、走行プローブ情報収集装置、走行プローブ情報提供装置および走行プローブ情報収集方法
JP2020085531A (ja) 自動運転装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17903717

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019508558

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17903717

Country of ref document: EP

Kind code of ref document: A1