WO2017104794A1 - 視覚認知支援システムおよび視認対象物の検出システム - Google Patents

視覚認知支援システムおよび視認対象物の検出システム Download PDF

Info

Publication number
WO2017104794A1
WO2017104794A1 PCT/JP2016/087533 JP2016087533W WO2017104794A1 WO 2017104794 A1 WO2017104794 A1 WO 2017104794A1 JP 2016087533 W JP2016087533 W JP 2016087533W WO 2017104794 A1 WO2017104794 A1 WO 2017104794A1
Authority
WO
WIPO (PCT)
Prior art keywords
visual
driver
line
visual recognition
unit
Prior art date
Application number
PCT/JP2016/087533
Other languages
English (en)
French (fr)
Inventor
正 伊佐
正俊 吉田
ヴィール、リチャード・エドモンド
雄策 武田
利宏 原
耕二 岩瀬
篤秀 岸
西川　一男
隆秀 農沢
Original Assignee
マツダ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マツダ株式会社 filed Critical マツダ株式会社
Priority to US16/062,591 priority Critical patent/US10717447B2/en
Priority to DE112016005784.9T priority patent/DE112016005784B4/de
Priority to CN201680073183.7A priority patent/CN108369780B/zh
Publication of WO2017104794A1 publication Critical patent/WO2017104794A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B60K35/285—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver for improving awareness by directing driver's gaze direction or eye points
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Definitions

  • the present invention relates to a visual recognition support system and a visual object detection system.
  • Patent Document 1 discloses a technique for detecting a driver's line of sight and displaying a warning when the driver's line of sight is not facing a signal or road sign ahead of the host vehicle.
  • Patent Document 2 discloses a technique for guiding the driver's line of sight toward an obstacle when the obstacle ahead of the vehicle is detected by a camera or the like.
  • Patent Document 3 discloses a technique for determining a confirmation object to be confirmed by the driver from among objects around the automobile and determining whether or not the driver's line of sight is directed toward the confirmation object. Is disclosed.
  • the present invention has been made in view of the above circumstances, and a first object of the present invention is to reliably detect a visual object to be visually recognized by the driver and to detect the visual object to be detected by the driver. It is another object of the present invention to provide a visual recognition support system that can be surely visually recognized.
  • a second object of the present invention is to provide a visual object detection system that can reliably detect a visual object to be viewed by an observer.
  • a visual recognition support system includes an ambient condition acquisition unit that acquires an ambient condition of a moving object driven by a driver, In a surrounding situation acquired by the surrounding situation acquisition unit, a visual recognition object determination unit that determines a visual recognition object that is an object that the driver should see; A line-of-sight direction detection unit that detects the line-of-sight direction of the driver; Among the visual recognition objects determined by the visual recognition object determination unit, it is determined whether or not there is an oversight visual object in which the visual line direction detected by the visual line direction detection unit does not face, and the oversight visual object When there is an object, a line-of-sight guidance unit that guides the driver's line of sight toward the overlooked visual target object; With The visual recognition object determining unit is configured to determine the visual recognition object based on three preset visual recognition models, The three visual models include a saliency model that determines an object that is visually recognized at the moment of viewing as a visual object, a surprise model that determines an object that moves abnormally as a visual
  • the detection system for a visual target includes a surrounding situation acquisition unit that acquires a surrounding situation of an observer, A visual object determination unit that determines a visual object that is an object that the observer should see in the ambient condition acquired by the ambient condition acquisition unit;
  • the visual recognition object determining unit is configured to determine the visual recognition object based on three preset visual recognition models,
  • the three visual models include a saliency model that determines an object viewed at the moment of viewing as a visual object, a surprise model that determines an object that moves abnormally as a visual object, and a standard observer's Including a normative model for determining an object visually recognized by the visual behavior as a visual object, It is characterized by that.
  • the driver's line of sight can be guided to the overlooked object that the driver has overlooked.
  • the visual recognition target object which an observer should visually recognize can be detected reliably.
  • the block diagram which shows an example of a structure of the control system of this invention.
  • the figure for demonstrating the determination of the visual recognition target object by a saliency model The figure for demonstrating the determination of the visual recognition object by a surprise model.
  • the figure for demonstrating the determination of the visual recognition target object by a normative model The figure which shows the condition which has overlooked the visual recognition target object when driving load is large.
  • the flowchart which shows the example of control of this invention.
  • FIG. 1 is a block diagram showing an example of the configuration of a visual recognition support system according to an embodiment of the present invention.
  • the visual recognition support system is mounted on an automobile (own vehicle) as a moving body.
  • the visual recognition support system includes a controller U (control unit) configured using a microcomputer.
  • the visual recognition support system includes a camera 1 (an example of an ambient condition acquisition unit), an eye camera 2 (an example of a line-of-sight direction detection unit), a driver state detection unit 3, a vehicle state detection unit 4, a navigation device 5, and a projection mapping.
  • a device 11, a head-up display 12, and a speaker 13 are provided.
  • the controller U receives signals from devices such as various sensors, the camera 1, the eye camera 2, the driver state detection unit 3, the vehicle state detection unit 4, and the navigation device 5.
  • the camera 1 is a camera that images the front of the host vehicle.
  • the camera 1 acquires the surrounding situation in front of the host vehicle.
  • the camera 1 is constituted by a color stereo camera, for example. Thereby, the distance from the own vehicle to the visual recognition object and the color of the visual recognition object can be detected.
  • this invention is not limited to this, The distance to a visual recognition object is detected using a radar apparatus. Also good.
  • the eye camera 2 is mounted in the interior of the host vehicle and detects the driver's line-of-sight direction.
  • the eye camera 2 acquires an image of the driver's eyes, extracts a reference point such as the corner of the eye or the eye and a moving point such as the pupil from the acquired image, and based on the position of the moving point with respect to the reference point.
  • the line-of-sight direction in real space may be detected.
  • the line-of-sight direction is represented by, for example, a straight line in a three-dimensional coordinate space with the host vehicle as a reference.
  • the eye camera 2 also detects the driver's line-of-sight state (line-of-sight movement, blink (blink), eyeball retention, and pupil diameter).
  • the driver state detection unit 3 includes, for example, an image sensor such as a CCD camera or a CMOS camera, and detects the facial expression of the driver by photographing the driver's face image. In addition, the driver state detection unit 3 acquires the line-of-sight state (line-of-sight movement, blink (blink), eyeball retention, and pupil diameter) detected by the eye camera 2. In addition, the driver state detection unit 3 includes, for example, a heart rate sensor provided in the driver's seat, and detects the driver's heart rate. The driver state detection unit 3 includes, for example, an image sensor such as a heart rate sensor or a CCD camera or a CMOS camera, and detects a breathing state (the number of breaths and the depth of breathing).
  • the driver state detection unit 3 includes, for example, a resistance sensor and detects skin resistance.
  • the driver state detection unit 3 includes, for example, a pulse wave sensor provided on the steering handle, for example, and detects a fingertip pulse wave.
  • the driver state detection unit 3 includes, for example, a 6ch type myoelectric sensor provided on the steering handle, and detects upper limb myoelectricity.
  • the driver state detection unit 3 includes, for example, a 3ch type myoelectric sensor provided in the driver's seat, and detects lower limb myoelectricity.
  • the driver state detection unit 3 includes, for example, a microphone and detects voice information.
  • the voice information includes, for example, voice tone.
  • the driver state detection unit 3 is composed of, for example, a load pressure sensor provided in the driver's seat, and detects the seating pressure on the driver's seat.
  • the driver state detection unit 3 uses the facial expression, line-of-sight state, heart rate, respiratory state, skin resistance, finger plethysmogram, upper limb myoelectricity, lower limb myoelectricity, voice information, and sitting pressure as described above for the driver.
  • An evaluation value for the driver state is calculated by inputting a predetermined mathematical expression for evaluating the state.
  • driver state detection part 3 should just detect a driver state from an evaluation value.
  • an evaluation value indicating the degree of arousal can be employed as the evaluation value of the driver state.
  • the evaluation value for example, has a value that increases in the positive direction as the driver's awakening level increases, and increases in the negative direction as the driver's degree of distraction increases.
  • the driver state detection unit 3 determines that the driver is in an awake state, and if the evaluation value is smaller than the predetermined negative reference value (negative direction).
  • the driver is determined to be in a random state.
  • the facial expression includes, for example, a joyful expression, an angry expression, a sad expression, and the like, and these are digitized by predetermined numerical values.
  • the voice information includes joy, anger, sadness, and the like, and is quantified by numerical values determined in advance.
  • the vehicle state detection unit 4 includes a vehicle speed sensor, for example, and detects the speed of the host vehicle.
  • the vehicle state detection unit 4 includes, for example, a rotation speed sensor that detects the rotation speed of the engine, and detects the rotation speed of the engine.
  • the vehicle state detection part 4 contains a steering angle sensor, for example, and detects the steering angle of a wheel.
  • the vehicle state detection unit 4 includes, for example, a wiper operation sensor that detects an operation state of the wiper, and detects the operation state of the wiper.
  • the operating condition of the wiper is used for detecting the weather (for example, rainy weather, snowfall, etc.).
  • the vehicle state detection unit 4 includes, for example, a light operation sensor that detects an operation state of a light mounted on the host vehicle, and detects the operation state of the light. Note that the light operation status is used to detect daytime and nighttime, for example.
  • the navigation device 5 includes a GPS sensor and a processor that searches for a route to the destination, and acquires road information regarding the road condition of the currently running road and the road condition ahead.
  • the road information acquired here includes, for example, expressways, general roads, straight roads, curved roads, intersections, the contents of various road signs, the presence of traffic signals, and current position information of the host vehicle.
  • the controller U projects a projection mapping device 11, a head-up display 12, and a speaker 13 in order to guide the driver's line of sight toward a visual object (overlooked visual object) that the driver has overlooked. To control.
  • the controller U includes a visual recognition object determination unit 24 and a line-of-sight guidance unit 25.
  • the visual recognition object determination unit 24 determines the visual recognition object to be visually recognized by the driver using three types of visual recognition models of the saliency model 21, the surprise model 22, and the reference model 23.
  • the saliency model 21 includes data for determining an object having a saliency that can be visually recognized at the moment the driver sees it as a visual recognition object.
  • the saliency model 21 is, for example, a relatively large object, a relatively bright object, a relatively strong object, an object having an unusual shape, or the like among objects that the driver visually recognizes while driving. It becomes.
  • the saliency model 21 stores a large amount of data for detecting an object that is visually recognized at the moment of viewing.
  • the surprise model 22 includes data for determining an object that performs an abnormal movement (a movement to be wary) as a visual recognition object.
  • the surprise model 22 includes, for example, data for determining an object such as a vehicle or a pedestrian that moves abnormally as a visual target.
  • the surprise model 22 includes data for detecting objects such as vehicles, pedestrians, and motorcycles that may move abnormally, and data for detecting that each object has moved abnormally. Many are stored in association with each other.
  • the normative model 23 includes data for determining an object visually recognized by the visual behavior of a veteran driver as a norm as a visual target.
  • the normative model 23 has many driving scenes (combinations of driving environment and vehicle state including surrounding conditions) such as an object to be seen by the driver, a position to be seen by the driver, and an order of objects to be seen by the driver. It is memorized corresponding to.
  • the line-of-sight guiding unit 25 determines whether or not there is an overlooked visual target object that is not directed in the visual line direction detected by the eye camera 2 among the visual target objects determined by the visual target object determining unit 24. When a visually recognized object exists, the driver's line of sight is guided in the direction of the overlooked visually recognized object.
  • the line-of-sight guidance unit 25 may perform line-of-sight guidance using the projection mapping device 11, the head-up display 12, and the speaker 13.
  • FIG. 2 shows the surrounding situation when looking forward from the interior of the vehicle.
  • the front window glass 31 has an upper edge portion (upper frame portion) defined by the front edge portion of the roof panel 32, and a lower edge portion (lower frame portion) defined by the front edge portion of the instrument panel 33.
  • the left edge (left frame) is defined by the pillar 34L, and the right edge (right frame) is defined by the right front pillar 34R.
  • a left side mirror 35L is provided on the left side of the front pillar 34L, and a right side mirror 35R is provided on the right side of the front pillar 34R.
  • a rearview mirror 36 is provided at the center upper side of the front window glass 31 in the vehicle width direction.
  • a meter panel 37 is provided on the left side of the instrument panel 33.
  • a steering handle 38 is provided in front of the instrument panel 33 to allow the driver to steer the vehicle.
  • a left-hand drive vehicle is adopted as the host vehicle, but this is an example, and a right-hand drive vehicle may be adopted.
  • FIG. 2 as a front road condition visually recognized by the driver through the front windshield 31, a traveling lane 41 in which the host vehicle is traveling, an opposite lane 42, and a boundary between the traveling lane 41 and the opposite lane 42 are illustrated. A central boundary line 43 is shown. A forward vehicle 44 exists in the traveling lane 41, a traffic light 45 exists in front of the forward vehicle 44, and a lighting signboard 46 exists along the shoulder of the opposite lane 42.
  • an object that is visually recognized at the moment of viewing is determined as an object to be viewed. Therefore, in the scene of FIG. 2, for example, the traffic light 45 and the shining signboard 46 are determined as the visual recognition objects.
  • the brake lamp of the forward vehicle 44 when the brake lamp of the forward vehicle 44 is lit, the forward vehicle 44 with the brake lamp lit is also determined as the visual recognition object.
  • the object to be visually determined determined by the saliency model 21 is very likely to be visually recognized by the driver. Therefore, even if the driver's line-of-sight direction does not completely match the visual recognition object determined by the saliency model 21, if the driver's line-of-sight direction is directed to the visual object to some extent, driving It is determined that the person is viewing the object to be viewed. In the example of FIG. 2, even if the driver's line-of-sight direction does not completely match the traffic light 45 or the sign 46 determined as the visual recognition object by the saliency model 21, the driver's line-of-sight direction is the signal or sign 46. If it is suitable to some extent, it is determined that the driver is viewing the traffic light 45 or the sign 46.
  • the driver's line-of-sight direction is directed to the visual target object to some extent indicates, for example, a state in which the visual target object exists within the visual field centered on the visual line direction.
  • the line-of-sight guide unit 25 may set a predetermined substantially conical region centered on the line-of-sight direction as a visual field.
  • the traffic light 45 is determined to be an overlooked visual object.
  • an index ⁇ 1 indicated by a round broken line is projected toward the traffic light 45 by the projection mapping device 11 provided in the vehicle interior.
  • the indicator ⁇ 1 is displayed on the front window glass 31 so as to overlap the signal device 45 at the position of the signal device 45, and the driver's line of sight is guided to the indicator ⁇ 1.
  • deviated largely refers to the state in which the visual recognition target object exists out of a visual field, for example.
  • the index ⁇ 2 is projected toward the signboard 46 so that the signboard 46 is superimposed on the signboard 46 on the front window glass 31. ⁇ 2 is displayed.
  • the index ⁇ 1 or the index ⁇ 2 may be displayed using, for example, the head-up display 12 provided at the front position of the driver. Further, a voice guide such as “Please be careful with the traffic light on the left side” or “Be careful with the signboard on the right side” may be output from the speaker 13. Note that the visual recognition object shown in FIG. 2 is merely an example, and a large amount of data for detecting the visual recognition object that is easily stored at the moment of viewing is stored in advance in the saliency model 21.
  • an object that the driver does not need to see may be excluded from the object to be viewed.
  • the sign 46 may be excluded from the visual target object.
  • an object to be excluded may be stored in the saliency model 21 itself.
  • fills a predetermined exclusion condition among the visual recognition objects determined by the saliency model 21 may be excluded from the visual recognition target.
  • the predetermined condition includes, for example, a condition that the visually recognized object determined by the saliency model 21 is a predetermined distance or more from the host vehicle, and a condition that the object is a fixed object on the opposite lane side. Can be adopted.
  • FIG. 3 shows the surrounding situation when looking forward from inside the host vehicle, as in FIG. FIG. 3 shows a scene in which the forward vehicle 51 suddenly moves to the opposite lane 42 side. 3 shows a scene in which a pedestrian 52 enters the opposite lane 42 from the shoulder side of the opposite lane 42 and walks toward the traveling lane 41.
  • the forward vehicle 51 and the pedestrian 52 are making an abnormal movement (movement to be warned), it is determined as a visual recognition object. If the driver's line-of-sight direction does not face the forward vehicle 51, the index ⁇ 1 is projected toward the forward vehicle 51.
  • the index ⁇ 1 is displayed so as to overlap the front vehicle 51 at the position of the front vehicle 51.
  • the index ⁇ 2 is projected toward the pedestrian 52.
  • the index ⁇ 2 is displayed so as to overlap the pedestrian 52 at the position of the pedestrian 52.
  • alerting by the head-up display 12 or the speaker 13 may be performed in accordance with the display of the index ⁇ 1 and the index ⁇ 2.
  • the line-of-sight guidance unit 25 may determine, for example, that the visual line direction of the driver is facing the visual recognition object if the visual recognition object exists within the driver's field of view.
  • FIG. 4 the surrounding situation when the front is viewed from the interior of the host vehicle is shown.
  • the host vehicle travels on a two-lane road on one side and travels on the second travel lane 41R from the left.
  • the left lane of the travel lane 41R is the left lane 41L
  • the right lane of the travel lane 41R includes the opposite lanes 42R and 42L in order from the right.
  • the traveling lane 41R and the opposite lane 42R are separated by a central boundary line 43.
  • a forward vehicle 62 that is a small vehicle (for example, a passenger car) is traveling in front of the host vehicle, and a large vehicle (a tank truck in FIG. 4) 61 is traveling in the left lane 41L.
  • FIG. 4 shows that the host vehicle, the front vehicle 62, and the left front vehicle 61 continue to travel stably as steady travel, and are not particularly in a situation requiring caution.
  • the visual recognition object is determined based on the visual behavior of the veteran driver who becomes the norm.
  • the front vehicle 62 and the left front vehicle 61 are determined as visual recognition objects. Therefore, the line-of-sight guidance unit 25 projects the index ⁇ 1 toward the left front vehicle 61 and the index ⁇ 2 toward the front vehicle 62 using the projection mapping device 11.
  • the index ⁇ 1 and the index ⁇ 2 are displayed so as to overlap the left front vehicle 61 and the front vehicle 62 at the positions of the left front vehicle 61 and the front vehicle 62 on the front windshield 31.
  • a left side mirror 35L for knowing the situation on the left side, a vertical intermediate portion at the left edge portion of the front window glass 31 that tends to be a blind spot, and a meter panel 37 for confirming the vehicle speed and the like are objects to be visually recognized. It is determined as a thing. Therefore, the line-of-sight guidance unit 25 uses the projection mapping device 11 to project the index ⁇ 3 toward the left side mirror 35L, and projects the index ⁇ 4 toward the middle portion of the left edge of the front window glass 31. An index ⁇ 5 is projected toward the panel 37.
  • the normative model 23 stores data indicating an object and data indicating a position that are visually recognized by the visual behavior of a veteran veteran driver for all (many) scenes.
  • the period to be visually recognized is also stored. For example, if the veteran driver views the left side mirror 35L at least once every 10 seconds, the period to be visually recognized is, for example, data such as the left side mirror 35L once every 10 seconds.
  • the indicators ⁇ 1 to ⁇ 5 are displayed when the driver's line-of-sight direction is not directed to the visual object determined by the reference model 23.
  • FIG. 4 is merely an example, and as the visual recognition object, the rearview mirror 36 and the right side mirror 35R may be included as visual recognition objects determined by the reference model 23. Further, the viewing order and the viewing period may be stored in the reference model 23, and the viewing order and the viewing period may be determined according to the viewing object.
  • the line-of-sight guidance unit 25 emphasizes the line-of-sight guidance. You may make it carry out. For example, in FIGS. 2 to 4, if the indicators ⁇ 1, ⁇ 2, ⁇ 1, ⁇ 2, and ⁇ 1 to ⁇ 5 are displayed (projected) thinly, for example, at normal times, the line-of-sight guiding unit 25 may display the indicators ⁇ 1, ⁇ 2, ⁇ 1, ⁇ 2, and ⁇ 1 to ⁇ 5 may be displayed darker than usual.
  • the line-of-sight guidance unit 25 displays the indicators ⁇ 1, ⁇ 2, ⁇ 1, ⁇ 2, ⁇ 1 to ⁇ 5. It may be displayed blinking.
  • the line-of-sight guiding unit 25 may use the indicators ⁇ 1, ⁇ 2, and ⁇ 1.
  • ⁇ 2, ⁇ 1 to ⁇ 5 may be displayed in a highly saturated color (for example, red or green) that can be clearly recognized as compared with the normal time.
  • the line-of-sight guidance unit 25 may emphasize the line-of-sight guidance by using the head-up display 12 and the speaker 13 in addition to the projection mapping device 11.
  • the driver state detection unit 3 may determine the magnitude of the driving load in consideration of the number of overlooked objects or the difficulty level of the driving environment. For example, the driver state detection unit 3 determines that the driving load is large if the number of overlooked visual objects is greater than a predetermined threshold, and the driving load is small if the number of overlooked visual objects is equal to or less than the predetermined threshold. What is necessary is just to determine with it being in a state.
  • the driver state detection unit 3 calculates the difficulty level of the driving environment based on, for example, the road conditions around the host vehicle acquired from the navigation device 5 and the number of objects to be viewed, and the difficulty level is a predetermined threshold value. If it is larger, it is determined that the driving load is large, and if the difficulty is equal to or less than a predetermined threshold, it is determined that the driving load is small.
  • the difficulty level may be calculated using, for example, a predetermined function that outputs a large value as the number of objects to be viewed increases and outputs a value corresponding to the type of road condition. As a value corresponding to the type of road condition, for example, a value that an intersection is larger than a straight road is adopted.
  • FIG. 5 shows a situation where the host vehicle V is about to enter a store (for example, a convenience store) that exists across the opposite lane.
  • a store for example, a convenience store
  • the oncoming vehicle VB, the pedestrians H1 to H3, and the two-wheeled vehicle B are present in the traveling direction of the host vehicle V.
  • the driver J of the host vehicle V is about to enter the store while paying attention to the oncoming vehicle VB and the pedestrian H3 that is on the side of the oncoming vehicle VB. It is not noticed that the two-wheeled vehicle B exists behind the oncoming vehicle VB.
  • the visual recognition object determination unit 24 determines the motorcycle B as the visual recognition object using the three types of visual recognition models described above. Then, the line-of-sight guiding unit 25 overlooks the two-wheeled vehicle B and determines that the two-wheeled vehicle B is overlooked because the two-wheeled vehicle B determined as the visual target is not facing. The line-of-sight guidance unit 25 projects an index toward the two-wheeled vehicle B. Thereby, an index is displayed at a position on the front window glass 31 corresponding to the motorcycle B, and the driver's line of sight of the driver J is guided to the motorcycle B.
  • the line-of-sight guidance unit 25 may increase the strength of the line-of-sight guidance compared to the case where the driver state is the normal state.
  • the line-of-sight guidance unit 25 may display the index darker, blink, or display in a highly saturated color as compared to the normal display mode.
  • FIG. 6 shows a scene in which the host vehicle V is traveling on a monotonous suburban road with little change in surrounding conditions.
  • Driver J is concerned about whether he / she will arrive at the destination by the scheduled arrival time and what action he / she will take after arrival at the destination. For this reason, the driver state of the driver J is in a random state where the surrounding situation is not sufficiently confirmed.
  • the oncoming vehicle VB ⁇ b> 2 is very close to the host vehicle V. In this case, if the driver state of the driver J is an awake state, the possibility that the driver J overlooks the oncoming vehicle VB2 that is not overlooked increases.
  • the visual recognition object determination unit 24 can determine the oncoming vehicle VB2 as the visual recognition object using three types of visual recognition models.
  • the line-of-sight guidance unit 25 projects the index or the highlighted index toward the oncoming vehicle VB2.
  • the indicator is displayed at a position on the front window glass 31 corresponding to the oncoming vehicle VB2, and the driver J can recognize the presence of the oncoming vehicle VB2.
  • the driver state detection unit 3 uses the current position of the vehicle acquired from the navigation device 5, the road condition, the vehicle speed detected by the vehicle state detection unit 4, and the like to determine whether or not the vehicle is traveling in a monotonous suburb. What is necessary is just to judge.
  • Q indicates a step.
  • the driver state detection unit 3 detects the driver state using the line-of-sight state detected by the eye camera 2 and the facial expression of the driver detected by the image sensor.
  • the vehicle state detection part 4 detects a vehicle state
  • the navigation apparatus 5 detects a road condition and the present position of the own vehicle.
  • the camera 1 captures an image of the surroundings ahead of the host vehicle by capturing an image of the front of the host vehicle.
  • the visual recognition object determination unit 24 applies the saliency model 21 to the image acquired in Q2, and determines the visual recognition object.
  • the visual recognition object determination unit 24 applies the surprise model 22 to the image acquired in Q2, and determines the visual recognition object.
  • the visual recognition object determination unit 24 applies the reference model 23 to the image acquired in Q2, and determines the visual recognition object.
  • the visual recognition object determination unit 24 adds up the visual recognition objects determined in Q3 to Q5.
  • the visual recognition object determination unit 24 also performs processing for excluding, from the visual recognition object, objects that the driver does not need to see among the visual recognition objects determined in Q3 to Q5. For example, an object that is far from the host vehicle and a fixed object that does not require attention are excluded from the objects to be viewed.
  • the eye camera 2 detects the driver's line-of-sight direction.
  • the line-of-sight guidance unit 25 determines whether there is a visual target object outside the driver's field of view among the visual objects counted in Q6. A visual recognition object is overlooked and extracted as a visual recognition object. Specifically, the line-of-sight guidance unit 25 records the driver's line-of-sight direction during a certain past period. Then, the line-of-sight guidance unit 25 sets a field of view for each of the recorded line-of-sight directions, and among the visual objects counted in Q6, the visual object that is outside the set visual field is determined as an overlooked visual object. That's fine. Note that the line-of-sight guidance unit 25 determines that the driver can visually recognize the visual target object even if the entire visual target object does not exist in the field of view, if a part of the region exists in the field of view. May be.
  • the line-of-sight guidance unit 25 returns the process to Q1 if there is no oversight target (NO in Q9). On the other hand, if there is an overlooked object (YES in Q9), the process proceeds to Q10.
  • the driver state detection unit 3 determines whether or not the driver state is a state where the driving load is large. If the driver state is a state in which the driving load is large (YES in Q10), the line-of-sight guidance unit 25 sets the line-of-sight guidance method to “with emphasis setting” (Q11).
  • the driver state detection unit 3 determines whether or not the driver state is a sloppy state (Q12). If the driver state is indiscriminate (YES in Q12), the line-of-sight guidance unit 25 sets the method of line-of-sight guidance to “with emphasis setting” (Q11).
  • the line-of-sight guidance unit 25 sets the method of line-of-sight guidance to “no emphasis” (Q13).
  • the line-of-sight guidance unit 25 determines whether there are a plurality of overlooked visual objects. When there is only one overlooked visual target (NO in Q14), an index for guiding the line of sight toward the overlooked visual target (index ⁇ 1 in FIG. 2, index ⁇ 1 in FIG. 3, etc.) is projected (Q15). In this case, the line-of-sight guidance unit 25 highlights the index if “with emphasis setting” is set in Q11, and normally displays the index if “no emphasis setting” is set in Q13. .
  • the line-of-sight guidance unit 25 ranks the plurality of overlooked visual objects when guiding the line of sight (Q16).
  • the line-of-sight guidance unit 25 may set higher ranking for an object with a higher degree of danger or an object with a higher degree of attention.
  • the line-of-sight guidance unit 25 may set higher rankings for objects that are closer to the vehicle. For example, the line-of-sight guidance unit 25 increases the value as the degree of danger increases, increases as the degree of caution increases, and increases the value from the own vehicle. Points that increase in value as the distance is shorter may be given, and ranking may be performed in descending order of the points.
  • a value corresponding to the type of object set in advance may be set. For example, it is possible to adopt a mode in which a passerby crossing a road sets a higher point than a passerby walking on a sidewalk.
  • the line-of-sight guidance unit 25 superimposes and displays indexes (index ⁇ 1 in FIG. 2, index ⁇ 1 in FIG. 3, etc.) on the plurality of overlooked objects in the order set in Q16.
  • the line-of-sight guidance unit 25 highlights the index if “with emphasis setting” is set in Q11, and normally displays the index if “no emphasis setting” is set in Q13.
  • a display mode for ranking a mode in which an index is displayed in order from an overlook visual target with a high rank can be employed.
  • an index corresponding to the first overlooked visual object is displayed, and after a predetermined time (for example, 1 to 5 seconds), an index corresponding to the second overlooked visual object is displayed, and after the predetermined time has elapsed.
  • a predetermined time for example, 1 to 5 seconds
  • an index corresponding to the second overlooked visual object is displayed, and after the predetermined time has elapsed.
  • a mode of displaying an index corresponding to the third-placed overlooked object can be adopted.
  • the line-of-sight guidance unit 25 may simultaneously display indices corresponding to the plurality of overlooked visual objects without ordering.
  • the vehicle which consists of a four-wheeled vehicle was shown as a moving body driven by the driver, this is an example.
  • the moving body include vehicles other than four-wheeled vehicles (for example, two-wheeled vehicles), various construction and construction machines, transport machines such as forklifts often used in factories and sites, and ships (particularly small ships). , As well as airplanes (especially small airplanes).
  • the moving body may be one that is remotely operated by the driver (for example, a drone, a helicopter, etc.).
  • the moving body and the surrounding situation may be pseudo (virtual).
  • a driving simulator corresponds to a pseudo one.
  • the present invention is not limited to this, and may be configured by a detection system that detects a visual target to be viewed by an operator at a construction site. Moreover, this invention may be comprised by the detection system which detects the visual recognition target object which an observer should see in the inspection process of a factory. The present invention may also be applied to the evaluation of interiors and the like in stores.
  • the present invention may constitute a detection system that detects a visual object to be viewed by the observer using three visual models in a place other than the moving body.
  • the driver state detection unit 3, the vehicle state detection unit 4, and the navigation device 5 may be omitted.
  • the gaze guidance has a mode in which the direction of the overlooked visual object is displayed by the head-up display 12 (an example of a display unit) instead of displaying an index at the position of the overlooked visual object. It may be adopted. Further, in the detection system, the visual guidance may adopt a mode in which the direction of the visual target object that is overlooked by the speaker 13 is voice-guided. In the detection system, the stopped observer corresponds to the driver of the visual recognition support system.
  • the visual recognition support system includes an ambient condition acquisition unit that acquires an ambient condition of a moving object driven by a driver, In a surrounding situation acquired by the surrounding situation acquisition unit, a visual recognition object determination unit that determines a visual recognition object that is an object that the driver should see; A line-of-sight direction detection unit that detects the line-of-sight direction of the driver; Among the visual recognition objects determined by the visual recognition object determination unit, it is determined whether or not there is an oversight visual object in which the visual line direction detected by the visual line direction detection unit does not face, and the oversight visual object When there is an object, a line-of-sight guidance unit that guides the driver's line of sight toward the overlooked visual target object; With The visual recognition object determining unit is configured to determine the visual recognition object based on three preset visual recognition models, The three visual models include a saliency model that determines an object that is visually recognized at the moment of viewing as a visual object, a surprise model that determines an object that moves abnormally as a visual
  • the visual recognition object that the driver should visually recognize can be reliably determined using the three visual recognition models. Moreover, since this aspect guide
  • the moving body is configured by a vehicle
  • the ambient condition acquisition unit may be configured with a camera that images the front of the vehicle.
  • the line-of-sight guidance unit may perform line-of-sight guidance by displaying an index at the position of the overlooked object.
  • the vehicle further includes a driver state detection unit that detects the driver state
  • the line-of-sight guidance unit may change the degree of intensity of the line-of-sight guidance according to the driver state detected by the driver state detection unit.
  • the line-of-sight guidance can be performed more accurately by changing the strength of the line-of-sight guidance according to the driver state.
  • the line-of-sight guidance unit may change the degree of strength of the line-of-sight guidance by changing the degree of conspicuousness of the index displayed at the position of the overlooked visual target.
  • the line-of-sight guidance can be reliably performed.
  • the line-of-sight guidance can be performed more accurately by changing the level of the line-of-sight guidance according to the driver state.
  • the driver state detection unit is configured to detect a state where at least a driving load is large as the driver state
  • the gaze guidance unit emphasizes gaze guidance when the driver state detection unit detects that the driving load is large compared to a case where the driving load is detected to be small. You may do it.
  • the driver's line of sight can be reliably guided to the overlooked visual target object when the driving load is likely to be overlooked.
  • the driver state detection unit is configured to detect that at least the driver is in a loose state as the driver state
  • the line-of-sight guidance unit may emphasize line-of-sight guidance when the driver state detection unit detects that the driver is in a sloppy state compared to a case where the driver is not in a sloppy state.
  • the visual line guiding unit when there are a plurality of the oversighted visual objects, the visual line guiding unit ranks the viewing order of the plurality of overlooked visual objects, and performs the visual line guidance for the plurality of overlooked visual objects, You may carry out in order of ranking.
  • the line-of-sight guidance for each overlooked visual object is performed in the order of ranking.
  • the visual line guidance is performed in order from the visually important visual object. Can do.
  • a detection system for a visual target includes a surrounding situation acquisition unit that acquires a surrounding situation of an observer, A visual object determination unit that determines a visual object that is an object that the observer should see in the ambient condition acquired by the ambient condition acquisition unit;
  • the visual recognition object determining unit is configured to determine the visual recognition object based on three preset visual recognition models,
  • the three visual models include a saliency model that determines an object viewed at the moment of viewing as a visual object, a surprise model that determines an object that moves abnormally as a visual object, and a standard observer's It may also include a reference model that determines an object that is visually recognized by the visual behavior as a visual target.
  • a display unit for displaying the visual recognition object determined by the visual recognition object determination unit may be further provided.
  • the present invention is useful in the field of automobiles or the field of monitoring construction sites and factories because it can prevent oversight of objects to be visually recognized.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Biomedical Technology (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

見た瞬間に視認される物体を視認対象物として決定するサリエンシーモデルと、異常な動きを行う物体を視認対象物として決定するサプライズモデルと、規範となる運転者の視認行動によって視認される物体を視認対象物として決定する規範モデルとを用いて視認対象物を決定する視認対象物決定部と、視線方向検出部により検出された視線方向が向いていない見落とし視認対象物が存在するか否かを判定し、見落とし視認対象物が存在する場合、見落とし視認対象物の方向へ運転者の視線を誘導する視線誘導部とを備える。

Description

視覚認知支援システムおよび視認対象物の検出システム
　本発明は、視覚認知支援システム及び視認対象物の検出システムに関するものである。
　移動体としての例えば自動車を運転する際に、運転者に対して周囲に存在する危険物（障害物）の存在を認識させることは、安全運転の上で好ましい。特許文献１には、運転者の視線方向を検出して、自車両前方の信号や道路標識に運転者の視線が向いていないときに、注意表示を行う技術が開示されている。また、特許文献２には、車両前方の障害物をカメラ等により検出したときは、この障害物に向けて運転者の視線を誘導する技術が開示されている。さらに、特許文献３には、自動車の周囲にある物体の中から運転者が確認すべき確認物体を判断して、この確認物体に向けて運転者の視線が向いているか否かを判断する技術が開示されている。
　ところで、視認（確認）すべき視認対象物（確認物体）を運転者が確実に認識できるようにすることは安全運転等の上で極めて好ましい。しかし、その前提として、まず、運転者が視認すべき視認対象物を確実に把握する必要性がある。そして、運転者が見落としている視認対象物をいかに運転者に認識させるようにするかということも重要となる。
特開２０１４－１２０１１１号公報 特開２０１２－２３４４１０号公報 特開２０１５－１１４５７号公報
　本発明は以上のような事情を勘案してなされたもので、その第１の目的は、運転者が視認すべき視認対象物を確実に検出しつつ、この検出した視認対象物を運転者に対して確実に視認させることができる視覚認知支援システムを提供することにある。
　また、本発明の第２の目的は、観察者が見るべき視認対象物を確実に検出できる視認対象物の検出システムを提供することにある。
　本発明の一態様に係る視覚認知支援システムは、運転者により運転される移動体の周囲状況を取得する周囲状況取得部と、
　前記周囲状況取得部で取得された周囲状況において、前記運転者が見るべき物体である視認対象物を決定する視認対象物決定部と、
　前記運転者の視線方向を検出する視線方向検出部と、
　前記視認対象物決定部により決定された前記視認対象物のうち、前記視線方向検出部により検出された視線方向が向いていない見落とし視認対象物が存在するか否かを判定し、前記見落とし視認対象物が存在する場合、前記見落とし視認対象物の方向へ運転者の視線を誘導する視線誘導部と、
　を備え、
　前記視認対象物決定部は、予め設定された３つの視認モデルに基づいて前記視認対象物の決定を行うように構成され、
　前記３つの視認モデルは、見た瞬間に視認される物体を視認対象物として決定するサリエンシーモデルと、異常な動きを行う物体を視認対象物として決定するサプライズモデルと、規範となる運転者の視認行動によって視認される物体を視認対象物として決定する規範モデルとを含む、
ことを特徴とする。
　また、本開示の別の一態様に係る視認対象物の検出システムは、観察者の周囲状況を取得する周囲状況取得部と、
　前記周囲状況取得部で取得された周囲状況において、前記観察者が見るべき物体である視認対象物を決定する視認対象物決定部と、を備え、
　前記視認対象物決定部は、予め設定された３つの視認モデルに基づいて前記視認対象物の決定を行うように構成され、
　前記３つの視認モデルは、見た瞬間に視認される物体を視認対象物として決定するサリエンシーモデルと、異常な動きを行う物体を視認対象物として決定するサプライズモデルと、規範となる観察者の視認行動によって視認される物体を視認対象物として決定する規範モデルとを含む、
ことを特徴とする。
　上記態様によれば、運転者が見落としている見落とし視認対象物に運転者の視線を誘導させることができる。また、上記態様によれば、観測者が視認するべき視認対象物を確実に検出することができる。
本発明の制御系統の構成の一例を示すブロック図。 サリエンシーモデルによる視認対象物の決定を説明するための図。 サプライズモデルによる視認対象物の決定を説明するための図。 規範モデルによる視認対象物の決定を説明するための図。 運転負荷が大きいときに視認対象物を見落としている状況を示す図。 漫然状態のときに視認対象物を見落としている状況を示す図。 本発明の制御例を示すフローチャート。
　図１は、本発明の実施の形態に係る視覚認知支援システムの構成の一例を示すブロック図である。視覚認知支援システムは、移動体としての自動車（自車両）に搭載されている。視覚認知支援システムは、マイクロコンピュータを利用して構成されたコントローラＵ（制御ユニット）を備えている。更に、視覚認知支援システムは、カメラ１（周囲状況取得部の一例）、アイカメラ２（視線方向検出部の一例）、運転者状態検出部３、車両状態検出部４、ナビゲーション装置５、プロジェクションマッピング装置１１、ヘッドアップディスプレイ１２、及びスピーカ１３を備える。
　コントローラＵには、各種センサ、カメラ１、アイカメラ２、運転者状態検出部３、車両状態検出部４、ナビゲーション装置５等の機器類からの信号が入力される。
　カメラ１は、自車両の前方を撮像するカメラである。カメラ１により、自車両の前方の周囲状況が取得される。カメラ１は、例えば、カラー方式のステレオカメラで構成される。これにより、自車両から視認対象物までの距離及び視認対象物の色を検出することができる。なお、ここでは、カメラ１を用いて、視認対象物までの距離を検出するとして説明したが、本発明はこれに限定されず、レーダ装置を利用して視認対象物までの距離を検出してもよい。
　アイカメラ２は、自車両の室内に搭載され、運転者の視線方向を検出する。ここで、アイカメラ２は、運転者の目の画像を取得し、取得した画像から目尻又は目頭等の基準点と瞳等の動点とを抽出し、基準点に対する動点の位置に基づいて、実空間における視線方向を検出すればよい。視線方向は、例えば、自車両を基準とする３次元座標空間内の直線によって表される。その他、アイカメラ２は、運転者の視線状態（視線移動、瞬目（まばたき）、眼球停留、及び瞳孔径）も検出する。
　運転者状態検出部３は、例えば、例えばＣＣＤカメラやＣＭＯＳカメラ等の画像センサを含み、運転者の顔画像を撮影することで、運転者の顔の表情を検出する。また、運転者状態検出部３は、アイカメラ２で検出された視線状態（視線移動、瞬目（まばたき）、眼球停留、及び瞳孔径）を取得する。また、運転者状態検出部３は、例えば、運転席に設けられた心拍センサを含み、運転者の心拍を検出する。また、運転者状態検出部３は、例えば、心拍センサ又はＣＣＤカメラやＣＭＯＳカメラ等の画像センサを含み、呼吸状態（呼吸回数や呼吸の深さ）を検出する。運転者状態検出部３は、例えば、抵抗センサを含み、皮膚抵抗を検出する。また、運転者状態検出部３は、例えば、例えばステアリングハンドルに設けられた脈波センサを含み、指尖脈波を検出する。運転者状態検出部３は、例えば、ステアリングハンドルに設けられた６ｃｈ式の筋電センサを含み、上肢筋電を検出する。運転者状態検出部３は、例えば、運転席に設けられた３ｃｈ式の筋電センサを含み、下肢筋電を検出する。また、運転者状態検出部３は、例えば、マイクを含み、音声情報を検出する。音声情報としては、例えば、声の調子が含まれる。運転者状態検出部３は、例えば、運転席に設けられた荷重圧センサで構成され、運転席への着座圧を検出する。
　そして、運転者状態検出部３は、上述した顔の表情、視線状態、心拍、呼吸状態、皮膚抵抗、指尖脈波、上肢筋電、下肢筋電、音声情報、及び着座圧を、運転者状態を評価するために予め定められた数式に入力することで、運転者状態の評価値を算出する。そして、運転者状態検出部３は、評価値から運転者状態を検出すればよい。ここで、運転者状態の評価値としては、覚醒の度合いを示す評価値が採用できる。評価値は、例えば、運転者の覚醒の度合いが高まるほど、プラスの方向に増大し、運転者が漫然の度合いが高まるほど、マイナスに方向に増大する値を持つ。よって、運転者状態検出部３は、評価値が所定のプラスの基準値より大きければ、運転者は覚醒状態にあると判定し、評価値が所定のマイナスの基準値よりも小さければ（マイナス方向に大きければ）、運転者は漫然状態にあると判定すればよい。なお、顔の表情は、例えば、喜びの表情、怒りの表情、及び悲しみの表情等が含まれており、これらに対し事前に定められた数値によって数値化される。また、音声情報は、喜び、怒り、悲しみ等が含まれ、これらに対して事前に定められた数値によって数値化される。
　車両状態検出部４は、例えば、車速センサを含み、自車両の速度を検出する。また、車両状態検出部４は、例えば、エンジンの回転数を検出する回転数センサを含み、エンジンの回転数を検出する。また、車両状態検出部４は、例えば、操舵角センサを含み、車輪の操舵角を検出する。また、車両状態検出部４は、例えば、ワイパの作動状況を検出するワイパ動作センサを含み、ワイパの作動状況を検出する。なお、ワイパの作動状況は、天候（例えば、雨天、降雪等）を検出するために用いられる。また、車両状態検出部４は、例えば、自車両に搭載されたライトの作動状況を検出するライト動作センサを含み、ライトの動作状況を検出する。なお、ライトの動作状況は、例えば、昼間及び夜間を検出するために用いられる。
　ナビゲーション装置５は、ＧＰＳセンサ及び目的地までの経路を探索するプロセッサを含み、現在走行している道路の道路状況や前方の道路状況に関する道路情報を取得する。ここで取得される道路情報としては、例えば、高速道路、一般道路、直線路、カーブ路、交差点、各種道路標識の内容、交通信号機の存在、及び自車両の現在の位置情報が含まれる。
　コントローラＵは、後述するように、運転者が見落としている視認対象物（見落とし視認対象物）へ向けて運転者の視線を誘導するために、プロジェクションマッピング装置１１、ヘッドアップディスプレイ１２、及びスピーカ１３を制御する。
　コントローラＵは、視認対象物決定部２４及び視線誘導部２５を備える。視認対象物決定部２４は、運転者が視認すべき視認対象物を、サリエンシーモデル２１とサプライズモデル２２と規範モデル２３との３種類の視認モデルを用いて決定する。サリエンシーモデル２１は、運転者が見た瞬間に視認可能な顕著性を備える物体を視認対象物として決定するためのデータを含む。サリエンシーモデル２１は、例えば、運転者が運転中に視認する物体のうち、相対的に大きい物体、相対的に明るい物体、コントラストが相対的に強い物体、及び珍しい形状を備える物体等が検出対象となる。サリエンシーモデル２１には、見た瞬間に視認されるような物体を検出するためのデータを多数記憶している。
　サプライズモデル２２は、異常な動き（警戒すべき動き）を行う物体を視認対象物として決定するためのデータを含む。サプライズモデル２２は、例えば、異常な動きをする車両や歩行者等の物体を視認対象物として決定するためのデータを含む。このサプライズモデル２２は、車両、歩行者、及び二輪者等の異常な動きをする可能性がある物体を検出するためのデータと、各物体が異常な動きをしたことを検出するためのデータとを関連づけて多数記憶している。
　規範モデル２３は、規範となるベテランの運転者の視認行動によって視認される物体を視認対象物として決定するためのデータを含む。規範モデル２３は、運転者が見るべき対象物、運転者が見るべき位置、運転者が見るべき物体の順序等が、数多くの走行シーン（周囲状況を含めた走行環境や車両状態等の組み合わせ）に対応させて記憶されている。
　視線誘導部２５は、視認対象物決定部２４により決定された視認対象物のうち、アイカメラ２により検出される視線方向が向いていない見落とし視認対象物が存在するか否かを判定し、見落とし視認対象物が存在する場合、見落とし視認対象物の方向へ運転者の視線を誘導する。ここで、視線誘導部２５は、プロジェクションマッピング装置１１、ヘッドアップディスプレイ１２、及びスピーカ１３を用いて視線誘導を行えばよい。
　上記３種類の視認モデルについて、自動車の場合を例にして順次説明する。図２では、自車両の室内から前方を見たときの周囲状況が示されている。フロントウインドガラス３１は、ルーフパネル３２の前縁部によって上縁部（上枠部）が規定され、インストルメントパネル３３の前縁部によって下縁部（下枠部）が規定され、左のフロントピラー３４Ｌによって左縁部（左枠部）が規定され、右のフロントピラー３４Ｒによって右縁部（右枠部）が規定される。
　図２において、フロントピラー３４Ｌの左側には左サイドミラー３５Ｌが設けられ、フロントピラー３４Ｒの右側には右サイドミラー３５Ｒが設けられている。フロントウインドガラス３１の車幅方向の中央上側にはバックミラー３６が設けられている。インストルメントパネル３３の左側には、メータパネル３７が設けられている。インストルメントパネル３３の手前には、運転者が自車両を操舵するステアリングハンドル３８が設けられている。なお、図２の例では、自車両は左ハンドル車が採用されているが、これは一例であり、右ハンドル車が採用されてもよい。
　図２においては、フロントウインドガラス３１を通して運転者により視認される前方の道路状況として、自車両が走行している走行車線４１と、対向車線４２と、走行車線４１及び対向車線４２の境界を示す中央境界線４３とが示されている。走行車線４１には、前方車両４４が存在し、前方車両４４の前方に信号機４５が存在し、対向車線４２の路肩沿いに点灯式の看板４６が存在している。
　サリエンシーモデル２１においては、見た瞬間に視認される物体が視認対象物として決定される。そのため、図２のシーンでは、例えば、信号機４５と光っている看板４６とが視認対象物として決定される。サリエンシーモデル２１においては、前方車両４４のブレーキランプが点灯された場合、このブレーキランプが点灯された前方車両４４も視認対象物として決定される。
　サリエンシーモデル２１で決定される視認対象物は、運転者によって視認される可能性が極めて高い。そのため、運転者の視線方向がサリエンシーモデル２１により決定された視認対象物に完全に一致していない場合であっても、運転者の視線方向がその視認対象物にある程度向いていれば、運転者は、その視認対象物を視認していると判定される。図２の例では、運転者の視線方向が、サリエンシーモデル２１により視認対象物として決定された信号機４５又は看板４６と完全に一致していなくても、運転者の視線方向が信号機や看板４６にある程度向いていれば、運転者は信号機４５又は看板４６を視認していると判定される。
　ここで、「完全に一致する」とは、例えば、視認対象物と視線方向とが交差する状態を指す。また、「運転者の視線方向がその視認対象物にある程度向いている」とは、例えば、視線方向を中心とする視野内に視認対象物が存在する状態を指す。視線誘導部２５は、視線方向を中心に予め定められたほぼ円錐状の領域を視野として設定すればよい。
　一方、運転者の視線方向が信号機４５からかなり大きくずれていて、運転者が信号機４５を視認していないと判断された場合、信号機４５は見落とし視認対象物と判定される。この場合、例えば、車室内に設けられたプロジェクションマッピング装置１１によって、信号機４５に向けて丸い破線で示す指標α１が投影される。これにより、フロントウインドガラス３１において、信号機４５の位置に信号機４５と重畳するように指標α１が表示され、運転者の視線が指標α１に誘導される。なお、大きくずれているとは、例えば、視認対象物が視野外に存在する状態を指す。
　同様に、看板４６を運転者が視認していないと判定された場合、看板４６に向けて指標α２が投影され、フロントウインドガラス３１において、看板４６の位置に看板４６と重畳するように、指標α２が表示される。
　なお、指標α１又は指標α２は、例えば運転者の前方位置に設けられたヘッドアップディスプレイ１２を用いて表示されてもよい。また、スピーカ１３から、例えば「左側の信号機に注意して下さい」又は「右側にある看板に注意して下さい」というような音声ガイドが出力されてもよい。なお、図２に示す視認対象物はあくまで一例であり、見た瞬間に記憶されやすい視認対象物を検出するためのデータが予めサリエンシーモデル２１に数多く記憶されている。
　なお、後述するように、運転者が見る必要のない物体は視認対象物から除外されてもよい。例えば、看板４６は視認対象物から除外されてもよい。この場合、サリエンシーモデル２１そのものに除外すべき物体が記憶されていてもよい。或いは、サリエンシーモデル２１により決定された視認対象物のうち、所定の除外条件を満たす視認対象物が視認対象から除外されてもよい。ここで、所定の条件としては、例えば、サリエンシーモデル２１により決定された視認対象物が、自車両から所定距離以上離れているという条件、及び対向車線側にある固定物等であるという条件が採用できる。
　次に、図３を参照しつつ、サプライズモデル２２について説明する。図３は、図２と同様、自車両の室内から前方を見たときの周囲状況が示されている。図３では、前方車両５１が急に対向車線４２側に移動するような異常な動きをしたシーンが示されている。また、図３では、歩行者５２が、対向車線４２の路肩側から対向車線４２に進入し、走行車線４１に向けて歩行しているシーンが示されている。サプライズモデル２２では、前方車両５１と歩行者５２とが異常な動き（警戒すべき動き）をしているため、視認対象物として決定される。運転者の視線方向が前方車両５１を向いていなければ、前方車両５１に向けて指標β１が投影される。これにより、フロントウインドガラス３１において、前方車両５１の位置に前方車両５１と重畳するように指標β１が表示される。同様に、運転者の視線方向が歩行者５２を向いていなければ、歩行者５２に向けて指標β２が投影される。これにより、フロントウインドガラス３１において、歩行者５２の位置に歩行者５２と重畳するように指標β２が表示される。なお、本実施形態は、図２で説明した場合と同様に、ヘッドアップディスプレイ１２又はスピーカ１３による注意喚起が指標β１及び指標β２の表示に合わせて行われてもよい。ここで、視線誘導部２５は、例えば、運転者の視野内に視認対象物が存在すれば、運転者の視線方向が視認対象物を向いていると判定すればよい。
　次に、図４を参照しつつ、規範モデル２３について説明する。図４では、図２と同様、自車両の室内から前方を見たときの周囲状況が示されている。但し、図４では、自車両は片側２車線の道路を走行しており、左から２つ目の走行車線４１Ｒを走行している。走行車線４１Ｒの左側の車線は、左側車線４１Ｌであり、走行車線４１Ｒの右側には、右から順に対向車線４２Ｒ，４２Ｌがある。走行車線４１Ｒ及び対向車線４２Ｒは、中央境界線４３で区切られる。走行車線４１Ｒにおいて、自車両の前方には小型車両（例えば乗用車）である前方車両６２が走行しており、左側車線４１Ｌには大型車両（図４ではタンクローリ車）６１が走行している。
　図４では、自車両、前方車両６２、及び左前方車両６１は、定常走行という安定した走行を続けており、特に警戒を要する状況ではないことが示されている。このような状況において、規範モデル２３では、規範となるベテランドライバの視認行動に基づいて視認対象物が決定される。ここでは、前方車両６２及び左前方車両６１が視認対象物として決定されている。そこで、視線誘導部２５は、プロジェクションマッピング装置１１を用いて、左前方車両６１に向けて指標γ１を投影し、前方車両６２に向けて指標γ２を投影している。これにより、フロントウインドガラス３１において左前方車両６１及び前方車両６２の位置に左前方車両６１及び前方車両６２と重畳するように、指標γ１及び指標γ２が表示される。
　更に、左側方の状況を知るための左サイドミラー３５Ｌと、死角になりやすいフロントウインドガラス３１の左縁部における上下方向の中間部位と、車速等を確認するためのメータパネル３７とが視認対象物として決定されている。そのため、視線誘導部２５は、プロジェクションマッピング装置１１を用いて、左サイドミラー３５Ｌに向けて指標γ３を投影し、フロントウインドガラス３１の左縁部の中間部位に向けて指標γ４を投影し、メータパネル３７に向けて指標γ５を投影する。
　規範モデル２３には、あらゆる（数多くの）シーンについて、規範となるベテランドライバの視認行動によって視認される物体を示すデータ及び位置を示すデータが記憶されている。また、規範モデル２３では、視認すべき周期も記憶されている。例えば、ベテランドライバが左サイドミラー３５Ｌを少なくとも１０秒に１回は見るのであれば、視認すべき周期としては、例えば、左サイドミラー３５Ｌは１０秒に１回というようなデータが採用される。
　図４において、指標γ１～γ５は、運転者の視線方向が規範モデル２３により決定された視認対象物に向いていないときに表示される。なお、図４はあくまで一例であり、視認対象物としては、バックミラー３６及び右サイドミラー３５Ｒが規範モデル２３によって決定される視認対象物として含まれていてもよい。また、規範モデル２３に視認順序及び視認周期を記憶させておき、視認順序及び視認周期が、視認対象物に応じて決定されてもよい。
　ここで、運転者状態検出部３によって、運転者の運転負荷が大きいことが検出された場合、或いは運転者が漫然状態であることが検出された場合、視線誘導部２５は、視線誘導を強調して行うようにしてもよい。例えば、図２～図４において、各指標α１，α２，β１，β２，γ１～γ５が、例えば、通常時は薄く表示（投影）されるのであれば、視線誘導部２５は、各指標α１，α２，β１，β２，γ１～γ５を、通常時に比べて、濃く表示すればよい。或いは、各指標α１，α２，β１，β２，γ１～γ５が、例えば、通常時は点灯表示されるのであれば、視線誘導部２５は、各指標α１，α２，β１，β２，γ１～γ５を点滅表示させてもよい。或いは、各指標α１，α２，β１，β２，γ１～γ５が、例えば、通常時は白又は黒等の無彩色で表示されるのであれば、視線誘導部２５は、各指標α１，α２，β１，β２，γ１～γ５を、通常時に比べて明確に認識できる彩度の高い色（例えば、赤色や緑色）で表示すればよい。
　その他、視線誘導部２５は、プロジェクションマッピング装置１１に加えて、ヘッドアップディスプレイ１２及びスピーカ１３を利用することで、視線誘導を強調してもよい。なお、運転者状態検出部３は、見落とし視認対象物の数の多さ又は走行環境の難易度等をも加味して、運転負荷の大きさを判定してもよい。例えば、運転者状態検出部３は、見落とし視認対象物の数が所定の閾値より大きければ、運転負荷が大きい状態であると判定し、見落とし視認対象物の数が所定の閾値以下であれば、運転負荷が小さい状態であると判定すればよい。
　また、運転者状態検出部３は、例えば、ナビゲーション装置５から取得した自車両の周囲の道路状況と、視認対象物の数とに基づいて、走行環境の難易度を算出し、難易度が所定の閾値より大きければ、運転負荷が大きい状態であると判定し、難易度が所定の閾値以下であれば運転負荷が小さい状態であると判定すればよい。難易度は、例えば、視認対象物の数が増大するにつれて大きな値を出力し、且つ、道路状況の種類に応じた値を出力する予め定められた関数を用いて算出されればよい。道路状況の種類に応じた値としては、例えば、交差点は直線道路よりも大きいというような値が採用される。
　図５は、対向車線を跨いで存在する店舗（例えばコンビニエンスストア）へ自車両Ｖが進入しようとしている状況を示している。図５では、対向車両ＶＢ、歩行者Ｈ１～Ｈ３、二輪車Ｂが自車両Ｖの進行方向上に存在している。自車両Ｖの運転者Ｊは、対向車両ＶＢ及びその脇に存在する歩行者Ｈ３に注意して店舗に進入しようとしているが、運転負荷が大きいため、運転者Ｊの視線が二輪車Ｂに向いておらず、対向車両ＶＢの陰に存在する二輪車Ｂの存在に気づいていない。
　この場合、視認対象物決定部２４は、前述した３種類の視認モデルを用いて、二輪車Ｂを視認対象物として決定する。そして、視線誘導部２５は、視認対象物として決定された二輪車Ｂに運転者Ｊの視線が向いていないので、この二輪車Ｂを見落とし視認対象物と決定する。そして、視線誘導部２５は、この二輪車Ｂに向けて指標を投影する。これにより、二輪車Ｂに対応するフロントウインドガラス３１上の位置に指標が表示され、二輪車Ｂに運転者のＪの視線が誘導される。
　この場合、運転者状態が漫然状態であるので、視線誘導部２５は、視線誘導の強弱度合いを、運転者状態が通常状態である場合に比べて強くしてもよい。例えば、視線誘導部２５は、通常の表示態様に比べて、指標を濃く表示してもよいし、点滅表示させてもよいし、彩度の高い色で表示してもよい。
　図６では、自車両Ｖが周囲状況に変化の少ない単調な郊外路を走行しているシーンが示されている。運転者Ｊは、約束の到着時間までに目的地に到達するだろうか、及び目的地に到着後どのような行動をしようかといった事柄に気をとられている。そのため、運転者Ｊの運転者状態は、周囲状況を十分に確認しない漫然状態になっている。そして、図６では、対向車両ＶＢ２が自車両Ｖにかなり接近している状況となっている。この場合、運転者Ｊの運転者状態が覚醒状態であれば、見落とすことのない対向車両ＶＢ２を、運転者Ｊが見落とす可能性が高くなる。この場合、視認対象物決定部２４は、３種類の視認モデルを用いて、対向車両ＶＢ２を視認対象物として決定することができる。そのため、視線誘導部２５は、この対向車両ＶＢ２に向けて指標又は強調表示した指標を投影させる。これにより、対向車両ＶＢ２に対応するフロントウインドガラス３１上の位置に指標が表示され、運転者Ｊは対向車両ＶＢ２の存在を認識することができる。
　なお、運転者状態検出部３は、ナビゲーション装置５から取得した車両の現在位置、道路状況、及び車両状態検出部４が検出した車速等を用いて、単調な郊外を走行しているか否かを判定すればよい。
　次に、コントローラＵによる制御例について、図７に示すフローチャートを参照して説明する。なお、以下の説明でＱはステップを示す。まず、Ｑ１において、運転者状態検出部３は、アイカメラ２によって検出された視線状態及び画像センサで検出した運転者の顔の表情等を用いて、運転者状態を検出する。また、Ｑ１において、車両状態検出部４は車両状態を検出し、ナビゲーション装置５は道路状況及び自車両の現在の位置を検出する。
　Ｑ２において、カメラ１は自車両の前方を撮像することで、自車両の前方の周囲状況を示す画像を取得する。
　Ｑ３では、視認対象物決定部２４は、Ｑ２で取得された画像に対して、サリエンシーモデル２１を適用し、視認対象物を決定する。Ｑ４では、視認対象物決定部２４は、Ｑ２で取得された画像に対し、サプライズモデル２２を適用し、視認対象物を決定する。Ｑ５では、視認対象物決定部２４は、Ｑ２で取得された画像に対し、規範モデル２３を適用し、視認対象物を決定する。
　Ｑ６では、視認対象物決定部２４は、Ｑ３～Ｑ５で決定された視認対象物を集計する。このＱ６では、視認対象物決定部２４は、Ｑ３～Ｑ５で決定された視認対象物のうち、運転者が見る必要のない物体を視認対象物から除外する処理も行う。例えば、自車両から距離が遠い物体、及び注意する必要のない固定物等が視認対象物から除外される。
　Ｑ７において、アイカメラ２は、運転者の視線方向を検出する。
　Ｑ８において、視線誘導部２５は、Ｑ６で集計された視認対象物の中で、運転者の視野外に視認対象物があるか否かを判定し、視野外に視線対象物があれば、この視認対象物を見落とし視認対象物として抽出する。詳細には、視線誘導部２５は、過去一定期間における運転者の視線方向を記録しておく。そして、視線誘導部２５は、記録した視線方向のそれぞれについて視野を設定し、Ｑ６で集計された視認対象物のうち、設定した視野外に存在する視認対象物を、見落とし視認対象物と判定すればよい。なお、視線誘導部２５は、視認対象物の全体が視野内に存在していなくても、一部の領域が視野内に存在していれば、運転者は視認対象物を視認できたと判定してもよい。
　Ｑ９において、視線誘導部２５は、見落とし視認対象物が存在しなければ（Ｑ９でＮＯ）、処理をＱ１にリターンさせる。一方、見落とし視認対象物が存在すれば（Ｑ９でＹＥＳ）、処理はＱ１０に進められる。
　Ｑ１０において、運転者状態検出部３は、運転者状態が運転負荷が大きい状態であるか否かを判定する。運転者状態が運転負荷が大きい状態であれば（Ｑ１０でＹＥＳ）、視線誘導部２５は、視線誘導の仕方を「強調設定有り」に設定する（Ｑ１１）。
　一方、運転者状態が運転負荷が大きくない状態であれば（Ｑ１０でＮＯ）、運転者状態検出部３は、運転者状態が漫然状態であるか否かを判定する（Ｑ１２）。運転者状態が漫然状態であれば（Ｑ１２でＹＥＳ）、視線誘導部２５は、視線誘導の仕方を「強調設定有り」に設定する（Ｑ１１）。
　運転者状態が漫然状態でなければ（Ｑ１２でＮＯ）、視線誘導部２５は、視線誘導の仕方を「強調無し」に設定する（Ｑ１３）。
　Ｑ１４において、視線誘導部２５は、見落とし視認対象物が複数存在するか否かを判定する。見落とし視認対象物が１つの場合（Ｑ１４でＮＯ）、見落とし視認対象物に向けて視線誘導するための指標（図２の指標α１、図３の指標β１等）を投影する（Ｑ１５）。この場合、視線誘導部２５は、Ｑ１１において、「強調設定有り」が設定されていれば、指標を強調表示し、Ｑ１３において、「強調設定無し」が設定されていれば、指標を通常表示する。
　一方、Ｑ１４において、見落とし視認対象物が複数存在していれば（Ｑ１４でＹＥＳ）、視線誘導部２５は、複数の見落とし視認対象物に対し、視線誘導する際の順位付けを行う（Ｑ１６）。この場合、視線誘導部２５は、危険度合いの高い物体或いは注意すべき度合いの高い物体ほど順位付けを高く設定してもよい。また、視線誘導部２５は、自車両からの距離が近い物体ほど順位付けを高く設定してもよい。例えば、視線誘導部２５は、複数の見落とし視認対象物のそれぞれに対し、危険度合いが高くなるにつれて値が増大し、且つ、注意の度合いが高くなるにつれて値が増大し、且つ、自車両からの距離が短いほど値が増大するポイントを付与し、ポイントが高い順に順位付けを行えばよい。危険の度合い及び注意の度合いに応じたポイントは、例えば、事前に設定された物体の種類に応じた値が設定されればよい。例えば、道路を横切る通行人は歩道を歩く通行人よりもポイントを高く設定するといった態様が採用できる。
　Ｑ１７において、視線誘導部２５は、Ｑ１６で設定された順位で、複数の見落とし視認対象物に指標（図２の指標α１及び図３の指標β１等）を重畳表示する。この場合、視線誘導部２５は、Ｑ１１において、「強調設定有り」が設定されていれば、指標を強調表示し、Ｑ１３において、「強調設定無し」が設定されていれば、指標を通常表示する。なお、順位付けの表示態様としては、順位が高い見落とし視認対象物から順番に指標を表示させる態様が採用できる。例えば、まず、１位の見落とし視認対象物に対応する指標を表示させ、所定時間（例えば１～５秒）経過後、２位の見落とし視認対象物に対応する指標を表示させ、所定時間経過後、３位の見落とし視認対象物に対応する指標を表示させる態様が採用できる。
　なお、複数の見落とし視認対象物が存在する場合（Ｑ１４でＹＥＳ）、視線誘導部２５は、順付けすることなく、複数の見落とし視認対象物に対応する指標を同時に表示してもよい。Ｑ１５、Ｑ１７が終了すると処理はＱ１にリターンする。
　以上実施形態について説明したが、本発明は、実施形態に限定されるものではなく、特許請求の範囲の記載された範囲において適宜の変更が可能である。運転者により運転される移動体として４輪自動車からなる車両を示したが、これは一例である。移動体としては、例えば、４輪自動車以外の車両（例えば二輪自動車）、各種の建設及び工事用機械、工場や敷地内で使用されることの多いフォークリフト等の搬送機械、船舶（特に小型船舶）、並びに飛行機（特に小型飛行機）が採用されてもよい。また、移動体は、運転者により遠隔操作されるもの（例えばドローンやヘリコプタ等）であってもよい。さらに、移動体や周囲状況は、擬似的（バーチャル）なものであってもよい。例えば、擬似的なものとしては、ドライビングシミュレータが該当する。
　上述した視覚認知支援システムは移動体に適用されたが、本発明はこれに限定されず、建設現場において、作業者が見るべき視認対象物を検出する検出システムで構成されてもよい。また、本発明は、工場の検査工程において観察者が見るべき視認対象物を検出する検出システムで構成されてもよい。また、本発明は、店舗における内装等の評価に適用されてもよい。
　すなわち、本発明は、移動体以外の場所において、３つの視認モデルを利用して観察者が見るべき視認対象物を検出する検出システムを構成してもよい。この場合、図１において、運転者状態検出部３、車両状態検出部４、及びナビゲーション装置５は省かれてもよい。
　検出システムにおいて、視線誘導は、見落としている視認対象物の位置に指標を表示することに代えて、ヘッドアップディスプレイ１２（表示部の一例）により見落としている視認対象物の方向を表示する態様が採用されてもよい。また、検出システムにおいて、視線誘導は、スピーカ１３により見落としている視認対象物の方向等を音声ガイドする態様が採用されてもよい。検出システムでは、停止した状態の観測者が、視覚認知支援システムの運転者に対応している。
　図７に示す各ステップあるいはステップ群は、コントローラＵの有する機能又は機能を発揮する手段として把握することができる。勿論、本発明の目的は、明記されたものに限らず、実質的に好ましい或いは利点として表現されたものを提供することを暗黙的に含む。
　（実施形態の纏め）
　本実施形態の技術的特徴は以下のように纏めることができる。
　本実施形態の一態様に係る視覚認知支援システムは、運転者により運転される移動体の周囲状況を取得する周囲状況取得部と、
　前記周囲状況取得部で取得された周囲状況において、前記運転者が見るべき物体である視認対象物を決定する視認対象物決定部と、
　前記運転者の視線方向を検出する視線方向検出部と、
　前記視認対象物決定部により決定された前記視認対象物のうち、前記視線方向検出部により検出された視線方向が向いていない見落とし視認対象物が存在するか否かを判定し、前記見落とし視認対象物が存在する場合、前記見落とし視認対象物の方向へ運転者の視線を誘導する視線誘導部と、
　を備え、
　前記視認対象物決定部は、予め設定された３つの視認モデルに基づいて前記視認対象物の決定を行うように構成され、
　前記３つの視認モデルは、見た瞬間に視認される物体を視認対象物として決定するサリエンシーモデルと、異常な動きを行う物体を視認対象物として決定するサプライズモデルと、規範となる運転者の視認行動によって視認される物体を視認対象物として決定する規範モデルとを含む、ことを特徴とする。
　本態様によれば、運転者が視認すべき視認対象物を、３つの視認モデルを利用して確実に決定することができる。また、本態様は、見落としている視認対象物に運転者の視線を誘導するので、視認対象物の見落としを防止することができる。
　上記態様において、前記移動体は、車両で構成され、
　前記周囲状況取得部は、前記車両の前方を撮像するカメラで構成れていてもよい。
　この場合、車両を運転する際に視認対象物の見落としを防止して、車両の安全運転を実現できる。
　上記態様において、前記視線誘導部は、前記見落とし視認対象物の位置に指標を表示することで、視線誘導を行ってもよい。
　この場合、見落としている視認対象物の位置に指標が表示されるので、視線誘導を確実に行うことができる。
　上記態様において、前記運転者状態を検出する運転者状態検出部を更に備え、
　前記視線誘導部は、前記運転者状態検出部により検出される運転者状態に応じて、視線誘導の強弱の度合いを変更してもよい。
　この場合、運転者状態に応じて視線誘導の強弱の度合いを変更することにより、視線誘導をより的確に行うことができる。
　上記態様において、前記視線誘導部は、前記見落とし視認対象物の位置に表示される指標の目立ち易さの度合いを変更することにより、前記視線誘導の強弱の度合いを変更してもよい。
　この場合、見落としている視認対象物の位置に指標が表示されるので、視線誘導を確実に行うことができる。また、運転者状態に応じて視線誘導の強弱の度合いを変更することにより、視線誘導をより的確に行うことができる。
　上記態様において、前記運転者状態検出部は、前記運転者状態として少なくとも運転負荷が大きい状態を検出するように構成され、
　前記視線誘導部は、前記運転者状態検出部によって前記運転負荷が大きい状態であることが検出された場合、前記運転負荷が小さい状態であることが検出された場合に比べて、視線誘導を強調して行ってもよい。
　この場合、視認対象物の見落としが生じやすい運転負荷が大きい状態のときに、見落とし視認対象物へ確実に運転者の視線を誘導することができる。
　上記態様において、前記運転者状態検出部は、前記運転者状態として少なくとも前記運転者が漫然状態であることを検出するように構成され、
　前記視線誘導部は、前記運転者状態検出部によって前記運転者が漫然状態であることが検出された場合、前記運転者が漫然状態でない場合に比べて、視線誘導を強調して行ってもよい。
　この場合、視認対象物の見落としを生じやすい漫然状態のときに、見落とし視認対象物へ確実に運転者の視線を誘導することができる。
　上記態様において、前記視線誘導部は、前記見落とし視認対象物が複数存在する場合、前記複数の見落とし視認対象物について視認順序の順位付けを行い、前記複数の見落とし視認対象物に対する視線誘導を、前記順位付けの順番で行ってもよい。
　この場合、見落とし視認対象物が複数存在する場合において、各見落とし視認対象物に対する視線誘導が順位付けされた順番で行われるので、例えば、重要度の高い視認対象物から順番に視線誘導を行うことができる。
　本発明の別の一態様における視認対象物の検出システムは、観察者の周囲状況を取得する周囲状況取得部と、
　前記周囲状況取得部で取得された周囲状況において、前記観察者が見るべき物体である視認対象物を決定する視認対象物決定部と、を備え、
　前記視認対象物決定部は、予め設定された３つの視認モデルに基づいて前記視認対象物の決定を行うように構成され、
　前記３つの視認モデルは、見た瞬間に視認される物体を視認対象物として決定するサリエンシーモデルと、異常な動きを行う物体を視認対象物として決定するサプライズモデルと、規範となる観察者の視認行動によって視認される物体を視認対象物として決定する規範モデルとを含んでもよい。
　本態様によれば、観察者が見るべき視認対象物を確実に検出することができる。
　上記態様において、前記視認対象物決定部により決定された視認対象物を表示する表示部を更に備えていてもよい。
　この場合、観察者は、見落としとなる注意対象物を容易かつ明確に把握することができる。
　本発明は、視認対象物の見落としを防止することができるので、自動車の分野、或いは、建設現場及び工場を監視する分野において有用である。

Claims (10)

  1. 　運転者により運転される移動体の周囲状況を取得する周囲状況取得部と、
    　前記周囲状況取得部で取得された周囲状況において、前記運転者が見るべき物体である視認対象物を決定する視認対象物決定部と、
    　前記運転者の視線方向を検出する視線方向検出部と、
    　前記視認対象物決定部により決定された前記視認対象物のうち、前記視線方向検出部により検出された視線方向が向いていない見落とし視認対象物が存在するか否かを判定し、前記見落とし視認対象物が存在する場合、前記見落とし視認対象物の方向へ運転者の視線を誘導する視線誘導部と、
    　を備え、
    　前記視認対象物決定部は、予め設定された３つの視認モデルに基づいて前記視認対象物の決定を行うように構成され、
    　前記３つの視認モデルは、見た瞬間に視認される物体を視認対象物として決定するサリエンシーモデルと、異常な動きを行う物体を視認対象物として決定するサプライズモデルと、規範となる運転者の視認行動によって視認される物体を視認対象物として決定する規範モデルとを含む、
    　ことを特徴とする視覚認知支援システム。
  2. 　請求項１記載の視覚認知支援システムにおいて、
    　前記移動体は、車両で構成され、
    　前記周囲状況取得部は、前記車両の前方を撮像するカメラで構成されている、ことを特徴とする視覚認知支援システム。
  3. 　請求項１または請求項２記載の視覚認知支援システムにおいて、
    　前記視線誘導部は、前記見落とし視認対象物の位置に指標を表示することで、視線誘導を行う、ことを特徴とする視覚認知支援システム。
  4. 　請求項１ないし請求項３のいずれか１項に記載の視覚認知支援システムおいて、
    　前記運転者状態を検出する運転者状態検出部を更に備え、
    　前記視線誘導部は、前記運転者状態検出部により検出される運転者状態に応じて、視線誘導の強弱の度合いを変更する、ことを特徴とする視覚認知支援システム。
  5. 　請求項４に記載の視覚認知支援システムおいて、
    　前記視線誘導部は、前記見落とし視認対象物の位置に表示される指標の目立ち易さの度合いを変更することにより、前記視線誘導の強弱の度合いを変更する、ことを特徴とする視覚認知支援システム。
  6. 　請求項４または請求項５に記載の視覚認知支援システムおいて、
    　前記運転者状態検出部は、前記運転者状態として少なくとも運転負荷が大きい状態を検出するように構成され、
    　前記視線誘導部は、前記運転者状態検出部によって前記運転負荷が大きい状態であることが検出された場合、前記運転負荷が小さい状態であることが検出された場合に比べて、視線誘導を強調して行う、ことを特徴とする視覚認知支援システム。
  7. 　請求項４ないし請求項６のいずれか１項に記載の視覚認知支援システムおいて、
    　前記運転者状態検出部は、前記運転者状態として少なくとも前記運転者が漫然状態であることを検出するように構成され、
    　前記視線誘導部は、前記運転者状態検出部によって前記運転者が漫然状態であることが検出された場合、前記運転者が漫然状態でない場合に比べて、視線誘導を強調して行う、ことを特徴とする視覚認知支援システム。
  8. 　請求項１ないし請求項７のいずれか１項に記載の視覚認知支援システムおいて、
    　前記視線誘導部は、前記見落とし視認対象物が複数存在する場合、前記複数の見落とし視認対象物について視認順序の順位付けを行い、前記複数の見落とし視認対象物に対する視線誘導を、前記順位付けの順番で行う、ことを特徴とする視覚認知支援システム。
  9. 　観察者の周囲状況を取得する周囲状況取得部と、
    　前記周囲状況取得部で取得された周囲状況において、前記観察者が見るべき物体である視認対象物を決定する視認対象物決定部と、を備え、
    　前記視認対象物決定部は、予め設定された３つの視認モデルに基づいて前記視認対象物の決定を行うように構成され、
    　前記３つの視認モデルは、見た瞬間に視認される物体を視認対象物として決定するサリエンシーモデルと、異常な動きを行う物体を視認対象物として決定するサプライズモデルと、規範となる観察者の視認行動によって視認される物体を視認対象物として決定する規範モデルとを含む、ことを特徴とする視認対象物の検出システム。
  10. 　請求項９に記載の視認対象物の検出システムにおいて、
    　前記視認対象物決定部により決定された視認対象物を表示する表示部を更に備える、ことを特徴とする視認対象物の検出システム。
PCT/JP2016/087533 2015-12-17 2016-12-16 視覚認知支援システムおよび視認対象物の検出システム WO2017104794A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/062,591 US10717447B2 (en) 2015-12-17 2016-12-16 Visual perception assistance system and visual-perception target object detection system
DE112016005784.9T DE112016005784B4 (de) 2015-12-17 2016-12-16 Sehwahrnehmungsassistenzsystem und Sehwahrnehmungszielobjektdetektionssystem
CN201680073183.7A CN108369780B (zh) 2015-12-17 2016-12-16 视觉认知援助系统以及视认对象物的检测系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015246061A JP6563798B2 (ja) 2015-12-17 2015-12-17 視覚認知支援システムおよび視認対象物の検出システム
JP2015-246061 2015-12-17

Publications (1)

Publication Number Publication Date
WO2017104794A1 true WO2017104794A1 (ja) 2017-06-22

Family

ID=59056699

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/087533 WO2017104794A1 (ja) 2015-12-17 2016-12-16 視覚認知支援システムおよび視認対象物の検出システム

Country Status (5)

Country Link
US (1) US10717447B2 (ja)
JP (1) JP6563798B2 (ja)
CN (1) CN108369780B (ja)
DE (1) DE112016005784B4 (ja)
WO (1) WO2017104794A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6419401B1 (ja) * 2018-03-02 2018-11-07 三菱電機株式会社 運転支援装置及び運転支援方法
JP2023064218A (ja) * 2021-10-26 2023-05-11 本田技研工業株式会社 運転講習システム、及び運転講習システムの制御方法

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10745009B2 (en) * 2016-12-21 2020-08-18 Samsung Electronics Co., Ltd. Electronic apparatus for determining a dangerous situation of a vehicle and method of operating the same
JP6401821B1 (ja) * 2017-05-23 2018-10-10 カルソニックカンセイ株式会社 運転負荷推定装置
JP6760231B2 (ja) * 2017-09-01 2020-09-23 株式会社デンソー 衝突回避支援装置
JP2019051873A (ja) * 2017-09-18 2019-04-04 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 車両の制御システム
US11351912B2 (en) * 2017-10-26 2022-06-07 Koito Manufacturing Co., Ltd. Vehicle headlamp system and vehicle lamp system
JP6645489B2 (ja) * 2017-11-24 2020-02-14 マツダ株式会社 運転支援装置
US11206375B2 (en) 2018-03-28 2021-12-21 Gal Zuckerman Analyzing past events by utilizing imagery data captured by a plurality of on-road vehicles
US10876853B2 (en) * 2018-07-06 2020-12-29 Honda Motor Co., Ltd. Information presentation device, information presentation method, and storage medium
CN109094457B (zh) * 2018-07-16 2021-09-14 武汉理工大学 一种考虑驾驶员外周视野的车辆防碰撞预警系统及方法
US11138418B2 (en) 2018-08-06 2021-10-05 Gal Zuckerman Systems and methods for tracking persons by utilizing imagery data captured by on-road vehicles
JP7165532B2 (ja) * 2018-08-07 2022-11-04 本田技研工業株式会社 表示装置、表示制御方法、およびプログラム
JP7382327B2 (ja) * 2018-08-09 2023-11-16 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動体、情報処理方法及びプログラム
CN111357039A (zh) * 2018-09-24 2020-06-30 大陆汽车系统公司 增强现实dsrc数据可视化
JP7263734B2 (ja) * 2018-10-29 2023-04-25 株式会社アイシン 視認対象判定装置
EP3654311B1 (en) * 2018-11-16 2023-11-15 Honda Research Institute Europe GmbH Method for assisting a driver of an ego-vehicle in making use of a gap between vehicles, corresponding driver assistance system and vehicle equipped with such driver assistance system
JP7234614B2 (ja) * 2018-12-10 2023-03-08 トヨタ自動車株式会社 異常検出装置、異常検出システム及び異常検出プログラム
JP7176398B2 (ja) 2018-12-21 2022-11-22 トヨタ自動車株式会社 制御装置、車両、画像表示システム、及び画像表示方法
JP6999540B2 (ja) * 2018-12-28 2022-01-18 本田技研工業株式会社 情報処理装置及びプログラム
JP7272007B2 (ja) * 2019-02-25 2023-05-12 トヨタ自動車株式会社 車両用表示制御装置、車両用表示装置、車両用表示制御方法及び車両用表示制御プログラム
US11369058B2 (en) * 2019-03-19 2022-06-28 Deere & Company Forward-looking perception interface and control
CN110070742A (zh) * 2019-05-29 2019-07-30 浙江吉利控股集团有限公司 高速匝道限速识别方法、系统及车辆
JP7228472B2 (ja) * 2019-06-07 2023-02-24 本田技研工業株式会社 認識装置、認識方法、およびプログラム
JP2021002182A (ja) * 2019-06-21 2021-01-07 矢崎総業株式会社 車両警報システム
JP7354686B2 (ja) * 2019-08-27 2023-10-03 株式会社リコー 出力制御装置、表示制御システム、出力制御方法およびプログラム
CN112937559B (zh) * 2019-11-22 2022-12-20 荷兰移动驱动器公司 行车警示方法及车载装置
WO2021181861A1 (ja) * 2020-03-10 2021-09-16 パイオニア株式会社 地図データ生成装置
JP7380365B2 (ja) * 2020-03-19 2023-11-15 マツダ株式会社 状態推定装置
CN113724500B (zh) * 2020-05-25 2022-10-04 中国石油化工股份有限公司 叉车坡道违规行驶预警方法及系统
FR3113881B1 (fr) * 2020-09-09 2022-09-02 Renault Sas Procédé d’affichage sécurisé d’informations dans un véhicule.
CN112181149B (zh) * 2020-09-30 2022-12-20 山东理工大学 驾驶环境的识别方法、装置及模拟驾驶器
CN112347851B (zh) * 2020-09-30 2023-02-21 山东理工大学 多目标检测网络的构建方法、多目标检测方法及装置
CN112168190B (zh) * 2020-10-23 2021-09-21 清华大学 驾驶压力实时监测系统及方法
JPWO2022162770A1 (ja) * 2021-01-27 2022-08-04
WO2023286835A1 (ja) * 2021-07-14 2023-01-19 パイオニア株式会社 視線誘導装置、視線誘導方法、視線誘導プログラム及び記憶媒体
US20230084753A1 (en) * 2021-09-16 2023-03-16 Sony Group Corporation Hyper realistic drive simulation
DE102021211139B3 (de) 2021-10-04 2023-03-16 Volkswagen Aktiengesellschaft Verfahren zur Steuerung einer Anzeigeeinrichtung und Fahrzeug mit einer Anzeigeeinrichtung
US11793434B1 (en) * 2022-05-18 2023-10-24 GM Global Technology Operations LLC System to perform visual recognition and vehicle adaptation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003327009A (ja) * 2002-05-14 2003-11-19 Toyota Central Res & Dev Lab Inc 注意喚起装置
JP2009237776A (ja) * 2008-03-26 2009-10-15 Mazda Motor Corp 車両用運転支援装置
JP2010142410A (ja) * 2008-12-18 2010-07-01 Toyota Motor Corp 覚醒度判定装置
JP2014109958A (ja) * 2012-12-03 2014-06-12 Denso Corp 撮影画像表示装置、および撮影画像表示方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0785280B2 (ja) * 1992-08-04 1995-09-13 タカタ株式会社 神経回路網による衝突予測判定システム
DE69322349T3 (de) * 1992-09-30 2004-06-09 Hitachi, Ltd. Informationssystem für den Fahrer eines Fahrzeuges
DE10103922A1 (de) * 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US9007197B2 (en) * 2002-05-20 2015-04-14 Intelligent Technologies International, Inc. Vehicular anticipatory sensor system
JP4277081B2 (ja) 2004-03-17 2009-06-10 株式会社デンソー 運転支援装置
US8085140B2 (en) * 2006-09-04 2011-12-27 Panasonic Corporation Travel information providing device
CN102039842A (zh) * 2009-10-22 2011-05-04 侯方勇 一种提示驾驶员观察目标的装置和方法
JP5745827B2 (ja) * 2010-11-29 2015-07-08 パイオニア株式会社 車両表示装置
CN102642510B (zh) * 2011-02-17 2015-08-05 香港生产力促进局 一种基于图像的车辆防撞预警方法
JP2012234410A (ja) * 2011-05-02 2012-11-29 Mazda Motor Corp 車両用運転支援装置
US9139133B2 (en) 2012-05-31 2015-09-22 GM Global Technology Operations LLC Vehicle collision warning system and method
US8970358B2 (en) 2012-06-22 2015-03-03 GM Global Technology Operations LLC Alert systems and methods for a vehicle
CN104584097B (zh) * 2012-08-09 2017-04-05 丰田自动车株式会社 物体检测装置和驾驶辅助装置
JP5492962B2 (ja) * 2012-09-28 2014-05-14 富士重工業株式会社 視線誘導システム
US20150310313A1 (en) * 2012-12-18 2015-10-29 Mitsubishi Electric Corporation Visibility estimation device, visibility estimation method, and safe driving support system
JP2014120113A (ja) * 2012-12-19 2014-06-30 Aisin Aw Co Ltd 走行支援システム、走行支援方法及びコンピュータプログラム
JP2014120111A (ja) 2012-12-19 2014-06-30 Aisin Aw Co Ltd 走行支援システム、走行支援方法及びコンピュータプログラム
JP2014154125A (ja) * 2013-02-14 2014-08-25 Aisin Aw Co Ltd 走行支援システム、走行支援方法及びコンピュータプログラム
JP6020371B2 (ja) 2013-06-27 2016-11-02 株式会社デンソー 車両用情報提供装置
DE202013006467U1 (de) * 2013-07-18 2014-10-22 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Fahrzeugumfeld-Überwachungssystem
JP5925163B2 (ja) * 2013-07-25 2016-05-25 三菱電機株式会社 運転支援装置
CN103770780B (zh) * 2014-01-15 2017-10-03 中国人民解放军国防科学技术大学 一种车辆主动安全系统告警屏蔽装置
CN105083291B (zh) * 2014-04-25 2018-11-09 歌乐株式会社 基于视线检测的驾驶员辅助系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003327009A (ja) * 2002-05-14 2003-11-19 Toyota Central Res & Dev Lab Inc 注意喚起装置
JP2009237776A (ja) * 2008-03-26 2009-10-15 Mazda Motor Corp 車両用運転支援装置
JP2010142410A (ja) * 2008-12-18 2010-07-01 Toyota Motor Corp 覚醒度判定装置
JP2014109958A (ja) * 2012-12-03 2014-06-12 Denso Corp 撮影画像表示装置、および撮影画像表示方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6419401B1 (ja) * 2018-03-02 2018-11-07 三菱電機株式会社 運転支援装置及び運転支援方法
CN111788618A (zh) * 2018-03-02 2020-10-16 三菱电机株式会社 驾驶辅助装置以及驾驶辅助方法
JP2023064218A (ja) * 2021-10-26 2023-05-11 本田技研工業株式会社 運転講習システム、及び運転講習システムの制御方法
JP7389782B2 (ja) 2021-10-26 2023-11-30 本田技研工業株式会社 表示装置、及び表示装置の制御方法

Also Published As

Publication number Publication date
CN108369780A (zh) 2018-08-03
CN108369780B (zh) 2021-03-30
US20180362053A1 (en) 2018-12-20
JP6563798B2 (ja) 2019-08-21
JP2017111649A (ja) 2017-06-22
US10717447B2 (en) 2020-07-21
DE112016005784T5 (de) 2018-09-13
DE112016005784B4 (de) 2023-08-03

Similar Documents

Publication Publication Date Title
WO2017104794A1 (ja) 視覚認知支援システムおよび視認対象物の検出システム
US9723243B2 (en) User interface method for terminal for vehicle and apparatus thereof
CN107176165B (zh) 车辆的控制装置
US10296083B2 (en) Driver assistance apparatus and method for controlling the same
US10120378B2 (en) Vehicle automated driving system
US7884705B2 (en) Safety-drive assistance device
JP6454368B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
US9267808B2 (en) Visual guidance system
US11485380B2 (en) Method and control device for warning a driver of a motor vehicle and motor vehicle with such a control device
JP2002029346A (ja) 自動車の運転支援システム及び運転支援プログラムを記録した記録媒体
CN110544368B (zh) 一种疲劳驾驶增强现实预警装置及预警方法
CN107408338A (zh) 驾驶员辅助系统
KR20160091585A (ko) 차량용 보행자 인지 표시 장치
KR20190099755A (ko) 차량 및 그 제어 방법
JP6790522B2 (ja) 車両の制御装置
JP2018100008A (ja) 車両用表示装置
KR20150139540A (ko) 방향 오리엔테이션 네비게이션 시스템을 구비하는 시각적 포지셔닝
CN116572846A (zh) 一种车载电子后视镜的显示方法、系统及存储介质
JP5251673B2 (ja) 車両用表示装置
JP2018094294A (ja) 状態推定システム
JP5622819B2 (ja) 視線誘導システム
JP5492963B2 (ja) 視線誘導システム
JP6956473B2 (ja) わき見状態判定装置
JP5586672B2 (ja) 視線誘導システム
CN116194974A (zh) 信息处理装置、信息处理方法、程序和投影装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16875768

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 112016005784

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16875768

Country of ref document: EP

Kind code of ref document: A1