WO2018180122A1 - 運転支援装置と運転支援方法 - Google Patents

運転支援装置と運転支援方法 Download PDF

Info

Publication number
WO2018180122A1
WO2018180122A1 PCT/JP2018/007214 JP2018007214W WO2018180122A1 WO 2018180122 A1 WO2018180122 A1 WO 2018180122A1 JP 2018007214 W JP2018007214 W JP 2018007214W WO 2018180122 A1 WO2018180122 A1 WO 2018180122A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
display control
support
driving
Prior art date
Application number
PCT/JP2018/007214
Other languages
English (en)
French (fr)
Inventor
淳史 野田
章人 大里
洋貴 鈴木
英行 松永
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/496,699 priority Critical patent/US20200035100A1/en
Publication of WO2018180122A1 publication Critical patent/WO2018180122A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096855Systems involving transmission of navigation instructions to the vehicle where the output is provided in a suitable form to the driver
    • G08G1/096866Systems involving transmission of navigation instructions to the vehicle where the output is provided in a suitable form to the driver where the complete route is shown to the driver
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • B60K35/10
    • B60K35/213
    • B60K35/23
    • B60K35/28
    • B60K35/29
    • B60K35/60
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3632Guidance using simplified or iconic instructions, e.g. using arrows
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/365Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3667Display of a road map
    • G01C21/367Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3691Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0133Traffic data processing for classifying traffic situation
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B60K2360/166
    • B60K2360/167
    • B60K2360/175
    • B60K2360/178
    • B60K2360/179
    • B60K2360/1868
    • B60K2360/1876
    • B60K2360/21
    • B60K2360/25
    • B60K2360/785
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • G08G1/143Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces inside the vehicles
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Definitions

  • This technology enables driving support that can provide driving support in a natural sense with respect to driving support devices and driving support methods.
  • driving assistance has been provided by projecting an image onto a part of the windshield of a vehicle.
  • an image that prompts the acceleration / deceleration operation in a graphical manner is projected onto a part of the windshield of the host vehicle, and the image is superimposed and displayed on a scene that the driver can see.
  • the prompting information is broadcast.
  • Patent Document 1 information to be notified is limited, and only a part of information necessary for driving can be obtained.
  • An image showing information necessary for driving is projected on the lower right corner of the windshield so that the movement of the line of sight from the front of the driver (the traveling direction of the host vehicle) is suppressed as much as possible. For this reason, when confirming information, it is necessary to move an unnatural viewpoint that is different from that during driving, and the driver's attention may be distracted.
  • the first aspect of this technology is A situation discriminator for discriminating the situation of the vehicle based on the driving information;
  • a support image setting unit for setting a support image according to the determination result of the situation determination unit;
  • a driving support apparatus includes a display control unit that performs display control for displaying a support image set by the support image setting unit according to a determination result of the situation determination unit on the window glass of the vehicle.
  • the situation discrimination unit discriminates the situation of the vehicle based on the driving information.
  • the support image setting unit sets a support image according to the determined situation. For example, when it is determined that the vehicle is traveling, the leading vehicle image is set as the support image.
  • the display control unit displays the set support image on the windshield of the vehicle, for example.
  • the support image controls the display position according to the situation determination result. For example, the display control unit controls the display position of the support image according to the route information when it is determined that the vehicle is a travel operation using the route information, and the leading vehicle image is positioned on the travel lane based on the route information. To be displayed.
  • the display control unit displays a leading vehicle image at a road connection point with a right or left turn or a driving lane change when the distance to the road connection point is within a predetermined range, and when turning left or right based on the route information
  • the display position of the leading vehicle image is controlled so as to be the position of the traveling lane or the changed traveling lane.
  • the display control unit moves the display position of the leading vehicle image according to the traveling speed indicated by the driving information, sets the size of the leading vehicle image according to the acceleration / deceleration information indicated by the driving information, and / or
  • the display position of the leading vehicle image is controlled.
  • the display control unit may display a leading vehicle image when the traveling position is a predetermined section.
  • the support image setting unit sets the support image according to the determination result of the situation and / or the external situation
  • the display control unit Controls the display position of the support image according to the determination result of the situation and / or the external situation. For example, when it is determined that the vehicle is traveling, the leading vehicle image is set as the support image, and the displayable area of the leading vehicle image is determined based on the external situation determined by the external situation determining unit. A leading vehicle image is displayed in the displayable area.
  • the display control unit determines that the vehicle has entered the parking lot
  • the display control unit displays a leading vehicle image at a position on the route to the empty space in the parking lot determined by the external situation determination unit.
  • the display control unit displays the leading vehicle image at the position of the traveling lane of the vehicle when the external situation determination unit determines that the visibility is poor.
  • the external situation determination unit determines the inter-vehicle distance from the preceding vehicle, and sets the attribute of the leading vehicle image or controls the display position of the leading vehicle image according to the determined inter-vehicle distance.
  • the external situation determination unit determines the traffic safety facility
  • the support image setting unit sets a supplementary image that emphasizes the display of the traffic safety facility determined by the external situation determination unit
  • the display control unit When the situation discrimination unit discriminates the traffic safety facility, a supplemental image is displayed based on the determined location of the traffic safety facility.
  • the support image setting unit sets a filter image as the support image
  • the external situation determination unit detects an object outside the vehicle that causes a reduction in the driver's attention.
  • the display control unit displays the filter image at the position of the object outside the vehicle that is determined by the external situation determination unit to cause a reduction in the driver's attention.
  • the second aspect of this technology is Discriminating the situation of the vehicle based on the driving information by the situation discriminating unit; According to the determination result of the situation determination unit, setting a support image in the support image setting unit, In accordance with the determination result of the situation determination unit, the display control unit performs display control of the support image set by the support image setting unit on the window glass of the vehicle.
  • the situation of the vehicle is determined by the situation determination unit based on the driving information, and the support image is set by the support image setting unit according to the determination result of the situation determination unit. Further, according to the determination result of the situation determination unit, the display control unit performs display control of the support image set by the support image setting unit with respect to the outside-viewing surface of the vehicle. Therefore, driving assistance can be performed with a natural feeling. Note that the effects described in the present specification are merely examples and are not limited, and may have additional effects.
  • Configuration of driving support device It is the flowchart which illustrated operation
  • FIG. 1 illustrates the configuration of the driving support device of the present technology.
  • the driving support device 10 includes a situation determination unit 11, a support image setting unit 13, and a display control unit 14.
  • the driving support apparatus 10 may further include an external situation determination unit 12.
  • the situation discriminating unit 11 discriminates the situation of the vehicle based on the driving information.
  • the situation discriminating unit 11 is based on driving information (for example, the current position of the vehicle, traveling speed, acceleration, route information, etc.) to determine the situation of the vehicle, for example, whether the vehicle is traveling. It is determined what kind of acceleration / deceleration state the vehicle is, what position the vehicle is traveling, what route the vehicle is scheduled to travel, etc. 13 to output.
  • the support image setting unit 13 sets a support image according to the determination result of the situation determination unit 11. For example, when the vehicle is running based on route information, the support image setting unit 13 sets, as a support image, an image (leading vehicle image) that is a graphic representation of the leading vehicle.
  • the support image is a semi-transparent image or an image composed only of an outline so that the field of view is not obstructed by being displayed on the window glass of the vehicle.
  • the support image setting unit 13 outputs an image signal of the set support image to the display unit.
  • the display control unit 14 generates display control information according to the determination result of the situation determination unit 11 and outputs the display control information to the display unit, and the support image set by the support image setting unit 13 on the window glass of the vehicle. Perform display control. For example, when the vehicle is traveling or the traveling position is a predetermined section, the display control unit 14 performs display control so that the leading vehicle image set by the support image setting unit 13 is displayed ahead of the driver on the windshield. I do. Further, when the vehicle is traveling using the route information, the display control unit 14 controls the display position of the support image according to the route information. In addition, the display control unit 14 may perform display control of the support image according to the traveling speed or acceleration / deceleration of the vehicle.
  • the external situation determination unit 12 is configured to provide information outside the vehicle (for example, peripheral information or peripheral information acquired from an external device through a front captured image or communication captured by an imaging unit provided in the vehicle).
  • the situation around the vehicle is determined based on the captured image or the like.
  • the external situation determination unit 12 determines an empty space in a parking lot, a visibility state, a traffic safety facility (for example, a traffic sign, a traffic light, a traffic information display board, and the like).
  • the support image setting unit 13 sets a support image according to the determination result of the situation determination unit 11 and / or the external situation determination unit 12.
  • the display control unit 14 generates display control information according to the determination result of the situation determination unit 11 and / or the external situation determination unit 12, and displays the support image and controls the display position.
  • FIG. 2 is a flowchart illustrating the operation of the driving support device.
  • the driving support device acquires driving information.
  • the driving support device acquires driving information from the vehicle and proceeds to step ST2.
  • step ST2 the driving support device discriminates the situation.
  • the situation determination unit 11 of the driving support apparatus determines what kind of situation the vehicle is based on the driving information acquired in step ST1, and proceeds to step ST3.
  • step ST3 the driving support device sets a support image.
  • the support image setting unit 13 of the driving support device sets a support image according to the situation determined in step ST2, for example, sets a leading vehicle image as a support image when the vehicle is running, and proceeds to step ST4.
  • step ST4 the driving support device performs display control of the support image.
  • the display control unit 14 of the driving support device performs display control of the support image set in step ST3 according to the situation determined in step ST2, and displays a leading vehicle image on the windshield when the vehicle is running, for example. Return to step ST1.
  • FIG. 3 is a flowchart illustrating the operation of the driving support apparatus having the external situation determination unit.
  • the driving support device acquires driving information and external information.
  • the driving support device acquires driving information and external information from the vehicle, and proceeds to step ST12.
  • step ST12 the driving support device determines the situation.
  • the situation determination unit 11 of the driving support apparatus determines what kind of situation the vehicle is based on the driving information acquired in step ST11, and proceeds to step ST13.
  • step ST13 the operation control unit determines the external situation. Based on the driving information acquired in step ST11, the external status determination unit 12 of the driving support device determines the external environment of the vehicle, an external object (such as a tourist facility or an advertisement display) that causes a reduction in the driver's attention. Then go to step ST14.
  • an external object such as a tourist facility or an advertisement display
  • the driving support device sets a support image.
  • the support image setting unit 13 of the driving support device sets a support image according to the situation determined in step ST12 and / or the external situation determined in step ST13.
  • the support image setting unit 13 may reduce a driver image and a driver's attentiveness when a leading vehicle image or a traffic safety facility is identified when visibility is poor due to fog, rain, snow, or the like during driving.
  • a filter image or the like that reduces the visibility of an object outside the vehicle when the inviting object outside the vehicle is determined is set as a support image, and the process proceeds to step ST15.
  • step ST15 the driving support device determines whether a supportable image displayable area can be set.
  • the display control unit 14 of the driving assistance device determines whether the displayable area of the assistance image can be set based on the external information acquired in step ST11. If the displayable area can be set, the display control unit 14 proceeds to step ST16, and otherwise returns to step ST11.
  • step ST16 the driving support device performs display control.
  • the display control unit 14 of the driving support device displays the support image set in step ST14 within the displayable area set in step ST15 according to the situation determined in step ST12 and the external situation determined in step ST13. To do.
  • the display control unit 14 displays the leading vehicle image with the area between the preceding vehicle and the host vehicle in the windshield during the traveling operation of the vehicle as a supportable image displayable area, and returns to step ST11.
  • the display control unit 14 performs display control so that the filter image is superimposed on the position of an object outside the vehicle that causes a reduction in the driver's attention and the visibility is lowered, and the process returns to step ST11.
  • the situation of the vehicle is determined by the situation determination unit based on the driving information, and the support image is set by the support image setting unit according to the determination result. Further, display control of the support image set by the support image setting unit is performed on the window glass of the vehicle according to the determination result of the situation determination unit. For this reason, driving assistance can be performed with a natural feeling. Further, in situations where the support image is not needed or in an external situation, the display of the support image is terminated, so that driving support can be performed as necessary.
  • FIG. 4 is a block diagram illustrating a schematic configuration example of a vehicle control system 7000 that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via a communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside information detection unit 7400, an in-vehicle information detection unit 7500, and an integrated control unit 7600. .
  • the communication network 7010 for connecting the plurality of control units conforms to an arbitrary standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various calculations, and a drive circuit that drives various devices to be controlled. Is provided.
  • Each control unit includes a network I / F for communicating with other control units via a communication network 7010, and is connected to devices or sensors inside and outside the vehicle by wired communication or wireless communication. A communication I / F for performing communication is provided. In FIG.
  • a microcomputer 7610 As a functional configuration of the integrated control unit 7600, a microcomputer 7610, a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, an audio image output unit 7670, An in-vehicle network I / F 7680 and a storage unit 7690 are illustrated.
  • other control units include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection unit 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 includes, for example, a gyro sensor that detects the angular velocity of the rotational movement of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an operation amount of an accelerator pedal, an operation amount of a brake pedal, and steering of a steering wheel. At least one of sensors for detecting an angle, an engine speed, a rotational speed of a wheel, or the like is included.
  • the drive system control unit 7100 performs arithmetic processing using a signal input from the vehicle state detection unit 7110, and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, or the like.
  • the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 7200 can be input with radio waves or various switch signals transmitted from a portable device that substitutes for a key.
  • the body system control unit 7200 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the battery control unit 7300 controls the secondary battery 7310 that is a power supply source of the drive motor according to various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 7300 from a battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature adjustment of the secondary battery 7310 or the cooling device provided in the battery device.
  • the outside information detection unit 7400 detects information outside the vehicle on which the vehicle control system 7000 is mounted.
  • the outside information detection unit 7400 is connected to at least one of the imaging unit 7410 and the outside information detection unit 7420.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the outside information detection unit 7420 detects, for example, current weather or an environmental sensor for detecting weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the surrounding information detection sensors.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects sunlight intensity, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging unit 7410 and the outside information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 5 shows an example of installation positions of the imaging unit 7410 and the vehicle outside information detection unit 7420.
  • the imaging units 7910, 7912, 7914, 7916, and 7918 are provided at, for example, at least one of the front nose, the side mirror, the rear bumper, the back door, and the upper part of the windshield in the vehicle interior of the vehicle 7900.
  • An imaging unit 7910 provided in the front nose and an imaging unit 7918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • Imaging units 7912 and 7914 provided in the side mirror mainly acquire an image of the side of the vehicle 7900.
  • An imaging unit 7916 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 7900.
  • the imaging unit 7918 provided on the upper part of the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or
  • FIG. 5 shows an example of shooting ranges of the respective imaging units 7910, 7912, 7914, and 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided in the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided in the side mirrors, respectively
  • the imaging range d The imaging range of the imaging part 7916 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 7910, 7912, 7914, and 7916, an overhead image when the vehicle 7900 is viewed from above is obtained.
  • the vehicle outside information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided on the front, rear, sides, corners of the vehicle 7900 and the upper part of the windshield in the vehicle interior may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle outside information detection units 7920, 7926, and 7930 provided on the front nose, the rear bumper, the back door, and the windshield in the vehicle interior of the vehicle 7900 may be, for example, LIDAR devices.
  • These outside information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, and the like.
  • the vehicle exterior information detection unit 7400 causes the imaging unit 7410 to capture an image outside the vehicle and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the vehicle exterior information detection unit 7420 connected thereto.
  • the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device
  • the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
  • the outside information detection unit 7400 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received information.
  • the vehicle exterior information detection unit 7400 may perform environment recognition processing for recognizing rainfall, fog, road surface conditions, or the like based on the received information.
  • the vehicle outside information detection unit 7400 may calculate a distance to an object outside the vehicle based on the received information.
  • the outside information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a car, an obstacle, a sign, a character on a road surface, or the like based on the received image data.
  • the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and combines the image data captured by the different imaging units 7410 to generate an overhead image or a panoramic image. Also good.
  • the vehicle exterior information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410.
  • the vehicle interior information detection unit 7500 detects vehicle interior information.
  • a driver state detection unit 7510 that detects the driver's state is connected to the in-vehicle information detection unit 7500.
  • Driver state detection unit 7510 may include a camera that captures an image of the driver, a biosensor that detects biometric information of the driver, a microphone that collects sound in the passenger compartment, and the like.
  • the biometric sensor is provided, for example, on a seat surface or a steering wheel, and detects biometric information of an occupant sitting on the seat or a driver holding the steering wheel.
  • the vehicle interior information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and determines whether the driver is asleep. May be.
  • the vehicle interior information detection unit 7500 may perform a process such as a noise canceling process on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device that can be input by a passenger, such as a touch panel, a button, a microphone, a switch, or a lever.
  • the integrated control unit 7600 may be input with data obtained by recognizing voice input through a microphone.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000. May be.
  • the input unit 7800 may be, for example, a camera.
  • the passenger can input information using a gesture.
  • data obtained by detecting the movement of the wearable device worn by the passenger may be input.
  • the input unit 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input unit 7800 and outputs the input signal to the integrated control unit 7600.
  • a passenger or the like operates the input unit 7800 to input various data or instruct a processing operation to the vehicle control system 7000.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, and the like.
  • the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • General-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • General-purpose communication I / F7620 is a cellular communication protocol such as GSM (Global System of Mobile communications), WiMAX, LTE (Long Term Evolution) or LTE-A (LTE-Advanced), or wireless LAN (Wi-Fi (registered trademark)). Other wireless communication protocols such as Bluetooth (registered trademark) may also be implemented.
  • the general-purpose communication I / F 7620 is connected to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via, for example, a base station or an access point.
  • the general-purpose communication I / F 7620 is a terminal (for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal) that exists in the vicinity of the vehicle using, for example, P2P (Peer To Peer) technology. You may connect with.
  • a terminal for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal
  • P2P Peer To Peer
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in vehicles.
  • the dedicated communication I / F 7630 is a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or cellular communication protocol, which is a combination of the lower layer IEEE 802.11p and the upper layer IEEE 1609. May be implemented.
  • the dedicated communication I / F 7630 typically includes vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication. ) Perform V2X communication, which is a concept that includes one or more of the communications.
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), performs positioning, and performs latitude, longitude, and altitude of the vehicle.
  • the position information including is generated.
  • the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from a radio station installed on the road, and acquires information such as the current position, traffic jam, closed road, or required time. Note that the function of the beacon receiving unit 7650 may be included in the dedicated communication I / F 7630 described above.
  • the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I / F 7660 may establish a wireless connection using a wireless communication protocol such as a wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I / F 7660 is connected to a USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface), or MHL (Mobile High-definition Link) via a connection terminal (and a cable if necessary). ) Etc. may be established.
  • the in-vehicle device 7760 may include, for example, at least one of a mobile device or a wearable device that a passenger has, or an information device that is carried into or attached to the vehicle.
  • In-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination.
  • In-vehicle device I / F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the in-vehicle network I / F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I / F 7680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is connected via at least one of a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, and an in-vehicle network I / F 7680.
  • the vehicle control system 7000 is controlled according to various programs based on the acquired information. For example, the microcomputer 7610 calculates a control target value of the driving force generation device, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. Also good.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintaining traveling, vehicle collision warning, or vehicle lane departure warning. You may perform the cooperative control for the purpose. Further, the microcomputer 7610 controls the driving force generator, the steering mechanism, the braking device, or the like based on the acquired information on the surroundings of the vehicle, so that the microcomputer 7610 automatically travels independently of the driver's operation. You may perform the cooperative control for the purpose of driving.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 is information acquired via at least one of the general-purpose communication I / F 7620, the dedicated communication I / F 7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F 7660, and the in-vehicle network I / F 7680.
  • the three-dimensional distance information between the vehicle and the surrounding structure or an object such as a person may be generated based on the above and local map information including the peripheral information of the current position of the vehicle may be created.
  • the microcomputer 7610 may generate a warning signal by predicting a danger such as a collision of a vehicle, approach of a pedestrian or the like or an approach to a closed road based on the acquired information.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are illustrated as output devices.
  • Display unit 7720 may include at least one of an on-board display and a head-up display, for example.
  • the display portion 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices such as headphones, wearable devices such as glasses-type displays worn by passengers, projectors, and lamps.
  • the display device can display the results obtained by various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, and graphs. Display visually. Further, when the output device is an audio output device, the audio output device converts an audio signal made up of reproduced audio data or acoustic data into an analog signal and outputs it aurally.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be configured by a plurality of control units.
  • the vehicle control system 7000 may include another control unit not shown.
  • some or all of the functions of any of the control units may be given to other control units. That is, as long as information is transmitted and received via the communication network 7010, the predetermined arithmetic processing may be performed by any one of the control units.
  • a sensor or device connected to one of the control units may be connected to another control unit, and a plurality of control units may transmit / receive detection information to / from each other via the communication network 7010. .
  • the information detected by the vehicle state detection unit 7110, the position information acquired by the positioning unit 7640, and the map stored in the storage unit 7690 Route information generated using information and map information is used as driving information.
  • the microcomputer 7610 has functions of a situation determination unit 11, a support image setting unit 13, and a display control unit 14.
  • Display unit 7720 displays the support image set by support image setting unit 13 at a display position based on the display control information from display control unit 14.
  • the display unit 7720 has a function of displaying a support image on the window glass and a function of changing the display position of the support image based on an instruction from the display control unit 14.
  • an image projection function is provided in the display unit 7720, and the support image is displayed on the window glass by projecting the support image onto the window glass.
  • the microcomputer 7610 performs the processing of each step shown in FIG. 2, sets a support image according to the determination result of the vehicle situation based on the driving information, and displays the set support image on the windshield of the vehicle, for example. And driving assistance with a natural sense.
  • the microcomputer 7610 when the microcomputer 7610 further has the function of the external situation determination unit 12, the microcomputer 7610 performs the process of each step shown in FIG. 3 and responds to the determination result of the vehicle situation based on the driving information and the external situation determination result. To set a support image.
  • the microcomputer 7610 performs display control for displaying the set support image on the windshield of the vehicle.
  • the microcomputer 7610 includes a vehicle speed and acceleration detected by the vehicle state detector 7110, an accelerator pedal operation, a brake pedal operation, a steering wheel steering, an engine speed or a wheel rotational speed, and a positioning unit 7640. Position information indicating the acquired current position, map information stored in the storage unit 7690 and route information generated using the map information are used as driving information.
  • the microcomputer 7610 determines the situation of the vehicle based on the driving information. For example, the microcomputer 7610 is based on the route information whether it is a traveling operation according to the driver's operation, the engine speed, the vehicle speed, etc., whether it is an approach to the parking lot based on the position information and the map information, or the like. Situation such as whether it is a traveling operation is determined.
  • the microcomputer 7610 detects a captured image acquired by the imaging unit 7410, detection information indicating a detection result of the vehicle outside information detection unit 7420, information acquired from an external device via the general-purpose communication I / F 7620 or the dedicated communication I / F 7630. Etc. to determine the external situation. For example, the microcomputer 7610 determines the field of view based on the captured image and the environment recognition processing result, determines the distance to the preceding vehicle (inter-vehicle distance) detected by the ultrasonic sensor, the radar device, the LIDAR device, or the like, Determine traffic safety facilities based on road-to-vehicle communications.
  • the microcomputer 7610 sets a support image according to the determined situation. For example, when the vehicle is running based on the route information, the microcomputer 7610 sets the leading vehicle image as a support image. Further, the support image is, for example, a translucent image or an image composed only of an outline so that the front view is not obstructed by being displayed on the windshield. Further, the microcomputer 7610 performs display control of the support image on the window glass of the vehicle. For example, when the vehicle is running or the vehicle is in an acceleration / deceleration state, the leading vehicle image is displayed in front of the driver on the windshield. Display control is performed so that it is displayed on the screen. When the vehicle is traveling using the route information, the microcomputer 7610 controls the display position of the support image according to the route information.
  • the microcomputer 7610 determines the situation around the vehicle based on information outside the vehicle (for example, a front captured image captured by an imaging unit provided in the vehicle, peripheral information acquired from an external device through communication, or the like). Determine.
  • the microcomputer 7610 determines, for example, an empty space in a parking lot, a visibility state, a traffic safety facility, and the like, and sets a support image according to a situation determination result and / or an external situation determination result. For example, a leading image or a supplementary image that emphasizes the display of a traffic safety facility is set. Further, the microcomputer 7610 controls the display of the support image, the display of the support image, and the display position according to the situation determination result and / or the external situation determination result.
  • the support image In the control of the display position of the support image, the support image is displayed at an appropriate position as seen from the driver.
  • the driver's viewpoint position changes in accordance with the driver's sitting height, the position in the front-rear direction of the seat on which the driver is seated, and the reclining amount. For this reason, for example, when a support image is displayed on the windshield, the positional relationship between the outside object visible through the windshield and the support image changes according to the viewpoint position of the driver.
  • FIG. 6 illustrates that the positional relationship between the object outside the vehicle and the support image changes according to the viewpoint position of the driver.
  • 6A illustrates the case where the viewpoint moves in the vertical direction
  • FIG. 6B illustrates the case where the viewpoint moves in the horizontal direction.
  • the assistance is indicated from the viewpoint of the driver indicated by the broken line.
  • the position of the image DS is upward as indicated by the alternate long and short dash line from the position of the vehicle outside object OB.
  • FIG. 6B when the support image DS is displayed at the position p3 of the windshield FG where the vehicle outside object OB is visually recognized from the viewpoint of the driver indicated by the solid line, from the viewpoint of the driver indicated by the broken line.
  • the position of the support image DS is in the right direction as indicated by the alternate long and short dash line from the position of the outside object OB.
  • the driver state detection unit 7510 is configured so that the driver's seat height and the front / rear direction of the seat on which the driver is seated The position of the vehicle, the amount of reclining, etc. are acquired as driver information, and the viewpoint position of the driver is detected based on the driver information. Further, the driver state detection unit 7510 may detect the viewpoint position by detecting the position of the driver's eyes from an image obtained by capturing the driver. The microcomputer 7610 displays the support image by determining the display position of the support image displayed on the windshield based on the driver's viewpoint position detected by the driver state detection unit 7510.
  • a support image is displayed at a position p2 below the position p1, and at the driver's viewpoint indicated by a broken line in FIG. 6B.
  • the support image is displayed at a position p4 on the left side of the position p3.
  • FIG. 7 is a diagram illustrating a case where a traveling operation is performed, and a leading vehicle image is displayed as a support image.
  • the microcomputer 7610 determines that the traveling operation is being performed based on the detection result such as the traveling speed in the vehicle state detection unit 7110, the microcomputer 7610 controls the display position of the leading vehicle image according to the traveling speed.
  • the microcomputer 7610 for example, the speed limit indicated by the traffic sign determined from the captured image captured by the imaging unit 7910 or the imaging unit 7918 shown in FIG. 5, or the general-purpose communication I / F 7620 or the dedicated communication I / F 7630.
  • the display position of the leading vehicle image is controlled in accordance with the traveling speed of the host vehicle and the speed limit based on the speed limit information acquired from the external device.
  • the microcomputer 7610 displays the leading vehicle image DSa on the host vehicle lane that can be seen through the windshield FG from the viewpoint of the driver. Further, when the traveling speed is faster than the speed limit, the microcomputer 6710 moves the display position of the leading vehicle image DSa to the near side (downward direction of the windshield FG) as shown in FIG. 7B. . In this way, the driver can determine whether the traveling speed exceeds the speed limit based on the display position of the leading vehicle image DSa.
  • the microcomputer 7610 sets the size of the leading vehicle image in the support image setting unit and / or controls the display position of the leading vehicle image in the display control unit according to the acceleration / deceleration information detected by the vehicle state detection unit 7110. You may go. For example, when it is determined that the vehicle is suddenly accelerated, the size of the leading vehicle image DSa may be increased so as to approach the leading vehicle, and the display position is controlled so that the leading vehicle image DSa is recognized as approaching the driver. May be. In this way, the microcomputer 7610 can alert the driver not to perform rapid acceleration by setting the size of the leading vehicle image and / or controlling the display position.
  • the microcomputer 7610 may display the leading vehicle image DSa when traveling in a predetermined section. For example, when information on a dangerous section where many accidents or speed violations occur is acquired from an external device or the like, the microcomputer 7610 displays the leading vehicle image DSa when the current position acquired by the positioning unit 7640 travels in the dangerous section. If driving assistance is performed while displaying, accidents and speed violations can be prevented.
  • FIG. 8 is a diagram illustrating a case where a traveling operation based on route information is performed, and a leading vehicle image is displayed as a support image.
  • the microcomputer 7610 determines the vehicle lane based on the route information and map information stored in the storage unit 7690 and the position information indicating the current position acquired by the positioning unit 7640. Further, as shown in FIG. 8A, the microcomputer 7610 displays the leading vehicle image DSa on the own vehicle traveling lane that can be seen through the windshield FG from the viewpoint of the driver. Further, the microcomputer 7610 discriminates a road connection point accompanied by a left / right turn or a driving lane change based on the route information, the map information, and the position information indicating the current position acquired by the positioning unit 7640.
  • the microcomputer 7610 changes the travel lane (own vehicle travel change lane), that is, the route that is visible from the viewpoint of the driver through the windshield FG at the determined road connection point. Based on the information, the leading vehicle image DSa is displayed so as to be positioned on the traveling lane when turning left or right or on the own vehicle traveling change lane. If such a support image is displayed, the driver can easily reach the destination by performing the driving control so as to follow the leading vehicle indicated by the support image. Further, the microcomputer 7610 may display the leading vehicle image DSa when the distance to the road connection point accompanied by a right / left turn or a change in the driving lane is within a predetermined range. In this case, since the leading vehicle image DSa is displayed when the lane change is necessary, the leading vehicle image DSa can be hidden when the need for driving support is low.
  • the support image setting unit sets a leading vehicle image as the support image
  • the display control unit sets the external situation determined by the external situation determination unit. Based on this, display control of the leading vehicle image is performed.
  • FIG. 9 is a diagram illustrating a case where parking is performed, and a leading vehicle image is displayed as a support image.
  • the microcomputer 7610 determines that the vehicle is traveling in a parking lot based on map information stored in the storage unit 7690 and position information indicating the current position acquired by the positioning unit 7640.
  • the microcomputer 7610 acquires a map in the parking lot and free space information as external information from an external device via the general-purpose communication I / F 7620 and the dedicated communication I / F 7630, and determines a route to the free space.
  • the microcomputer 7610 displays the leading vehicle image DSa on the route from the driver's viewpoint to the empty space visible through the windshield FG and at the position of the empty space. If such a support image is displayed, the driver can easily park the vehicle by performing the driving control so as to follow the leading vehicle indicated by the support image.
  • FIG. 10 is a diagram illustrating a case where a traveling operation is performed in a poor visibility state, and a leading vehicle image is displayed as a support image.
  • the microcomputer 7610 determines, for example, whether the field of view is poor by using, as external information, a captured image captured by the imaging unit 7910 or the imaging unit 7918 shown in FIG. Further, the microcomputer 7610 discriminates the own vehicle travel lane based on the map information stored in the storage unit 7690 and the position information indicating the current position acquired by the positioning unit 7640. Further, when the microcomputer 7610 determines that the visibility is poor, as shown in FIG. 10, the microcomputer 7610 displays the leading vehicle image DSa on the own vehicle traveling lane that can be seen through the windshield FG from the driver's viewpoint. If such a support image is displayed, the driver can drive without following the driving lane even if the visibility is poor by performing the driving control so as to follow the leading vehicle indicated by the support image. It becomes like this.
  • the microcomputer 7610 may determine the displayable area of the leading vehicle image based on the external situation and display the leading vehicle image in the determined displayable area.
  • the microcomputer 7610 may provide a displayable area for the leading vehicle image according to the distance between the vehicle and the traveling environment in front of the vehicle. Determine if you can.
  • the microcomputer 7610 determines that the displayable area can be provided, the microcomputer 7610 displays the leading vehicle image in the displayable area, and when the microcomputer 7610 determines that the displayable area cannot be provided, the leading vehicle image is not displayed.
  • FIG. 11 illustrates a case where the display operation of the support image is controlled according to the inter-vehicle distance.
  • the microcomputer 7610 determines the inter-vehicle distance to the preceding vehicle detected by, for example, an ultrasonic sensor, a radar device, or a LIDAR device.
  • the microcomputer 7610 is on the own vehicle traveling lane seen through the windshield FG from the driver's viewpoint as shown in FIG.
  • a leading vehicle image DSa is displayed in this area as a displayable area between the car and the preceding car SC.
  • the microcomputer 7610 displays the leading vehicle image DSa at the position of the preceding vehicle SC as shown in FIG.
  • the microcomputer 7610 hides the leading vehicle image DSa as shown in FIG.
  • the display control of the support image is performed in this way, the support image suitable for the actual environment can be provided to the driver without reducing the visibility of the vehicle traveling ahead.
  • the microcomputer 7610 may add a new image to the support image or set the attribute of the support image according to the situation.
  • FIG. 12 illustrates the case where a new image is added to the support image and the case where the attribute of the support image is set.
  • a driver indicates the leading vehicle image DSa by adding a direction indication image DTa in which the direction indicator of the change direction is blinking as shown in FIG.
  • the operation to be performed may be clarified.
  • FIG. 12B if a hazard image DTb in which a buzzer lamp blinks at the position of the empty space is added, the position of the empty space can be determined. It becomes easy to distinguish.
  • the color of the leading vehicle image DSa may be set according to the inter-vehicle distance to the preceding vehicle. For example, as shown in FIG. 12C, when the inter-vehicle distance La to the preceding vehicle is greater than or equal to a predetermined distance Th, the leading vehicle image DSa-1 is displayed in the first color, and the inter-vehicle distance La Is less than the predetermined distance Th, the leading vehicle image DSa-2 is displayed in the second color. In this way, by setting the attribute of the leading vehicle image DSa according to the inter-vehicle distance, it is possible to prevent the vehicle from approaching the preceding vehicle too much due to poor visibility.
  • a support image is not restricted to a leading vehicle image
  • Recognition of information required for driving for example, information displayed at a traffic safety facility
  • An image that facilitates the driver's attention or an image that can prevent the driver's attention from being reduced may be used.
  • FIG. 13 illustrates a case where a support image that facilitates recognition of information necessary for driving is displayed.
  • the microcomputer 7610 determines a traffic safety facility based on a captured image captured by the imaging unit 7910 or the imaging unit 7918 shown in FIG. Further, the microcomputer 7610 displays a supplemental image that emphasizes the display of the traffic safety facility based on the determination result on the windshield FG as a support image.
  • FIG. 13A shows a case where the traffic sign OBb is determined.
  • the microcomputer 7610 displays the supplemental image DGb having the same display content as the determined traffic sign OBb as a support image at a position near the traffic sign OBb. To do.
  • FIG. 13 illustrates a case where a support image that facilitates recognition of information necessary for driving is displayed.
  • the microcomputer 7610 displays a supplementary image DGc in a signal state equal to the determined traffic light OBc as a support image at a position near the traffic sign OBb.
  • the supplementary image is displayed on the basis of the determined position of the traffic safety facility. For example, the supplementary image is displayed at a position opposite to the road side of the traffic safety facility so that the front view is not obstructed. Further, if the information is displayed at a position close to the traffic safety facility, it is possible to easily determine which traffic safety facility is the information indicated by the supplemental image.
  • the supplementary image that emphasizes the display of the traffic safety facility is not limited to an image showing the contents of traffic signs or traffic lights, but may be an image that supplements a missing part such as a white line drawn on a road, for example.
  • FIG. 14 illustrates a case where a support image that can prevent a driver's attention from being lowered is displayed.
  • the microcomputer 7610 is acquired from an external device using, for example, position information indicating the current position acquired by the positioning unit 7640, map information stored in the storage unit 7690, general-purpose communication I / F 7620, or dedicated communication I / F 7630. Based on information, images, and the like, an object outside the vehicle that causes a reduction in the driver's attention is detected.
  • the microcomputer 7610 displays a filter image that reduces the visibility of the object outside the vehicle as a support image so that the driver's attention is not reduced by the detected object outside the vehicle.
  • FIG. 14A illustrates a state before the support image is displayed, and shows, for example, a tourist facility OBd, a signboard OBe, an advertisement posting device OBf, and the like as objects outside the vehicle that cause a reduction in the driver's attention.
  • the microcomputer 7610 displays a support image that lowers the visibility of the object outside the vehicle at the position of the detected object outside the vehicle, thereby preventing the driver from paying attention to the detected object outside the vehicle.
  • FIG. 14B uses the filter image DGz as a support image to reduce the visibility of the detected tourist facility OBd, signboard OBe, and advertisement posting device OBf.
  • the filter image an image in which the detected vehicle outside object appears blurred, a semi-transparent image that makes the detected vehicle outside object difficult to see, a mask image that makes the detected vehicle outside object invisible, and the like are used.
  • the support image that reduces visibility at a position corresponding to an object outside the vehicle that causes a decrease in the driver's attention, the driver's attention decreases due to the object outside the vehicle that is not related to driving. Can be prevented.
  • the control and display timing of the support image display position are not limited to those set in advance, but are automatically changed to the optimal settings according to the driver's characteristics by machine learning based on the driving history of the vehicle. It may be configured to. Further, the display of the support image is not limited to the above example. For example, the present invention is not limited to displaying a support image on the windshield, and driving assistance may be performed by displaying the support image on the rear glass when the vehicle moves backward.
  • the series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
  • a program in which a processing sequence is recorded is installed and executed in a memory in a computer incorporated in dedicated hardware.
  • the program can be installed and executed on a general-purpose computer capable of executing various processes.
  • the program can be recorded in advance on a hard disk, SSD (Solid State Drive), or ROM (Read Only Memory) as a recording medium.
  • the program is a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto optical disc), a DVD (Digital Versatile Disc), a BD (Blu-Ray Disc (registered trademark)), a magnetic disk, or a semiconductor memory card. It can be stored (recorded) in a removable recording medium such as temporarily or permanently. Such a removable recording medium can be provided as so-called package software.
  • the program may be transferred from the download site to the computer wirelessly or by wire via a network such as a LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in this way and install it on a recording medium such as a built-in hard disk.
  • the driving support device of the present technology can also have the following configuration.
  • a situation discriminating unit for discriminating a vehicle situation based on driving information
  • a support image setting unit for setting a support image according to the determination result of the situation determination unit
  • a driving support apparatus comprising: a display control unit that performs display control for displaying a support image set by the support image setting unit according to a determination result of the situation determination unit on the window glass of the vehicle.
  • the support image setting unit sets a leading vehicle image as the support image when the situation determination unit determines that the vehicle is running.
  • the driving support device wherein the display control unit displays the leading vehicle image on a windshield of the vehicle.
  • the display control unit controls the display position of the support image according to the route information when the situation determination unit determines that the vehicle is a traveling operation using the route information.
  • Driving assistance device (5)
  • the driving support device (4), wherein the display control unit controls a display position so that the leading vehicle image is a position on a travel lane based on the route information.
  • the display control unit is configured such that the leading vehicle image is a position of a traveling lane or a changed traveling lane when making a right / left turn based on the route information at a road connection point with a right / left turn or a traveling lane change.
  • the driving support device according to (4) or (5), wherein the display position is controlled as described above.
  • the driving support device (7)
  • the display control unit displays the leading vehicle image when a distance to the road connection point is within a predetermined range.
  • the driving information includes a traveling speed of the vehicle,
  • the driving support apparatus according to any one of (3) to (7), wherein the display control unit moves a display position of the leading vehicle image according to a traveling speed of the vehicle.
  • the driving information includes acceleration / deceleration information of the vehicle, and setting of the size of the leading vehicle image in the support image setting unit and / or the leading vehicle image in the display control unit according to the acceleration / deceleration information.
  • the driving support apparatus according to any one of (3) to (8), wherein the display position is controlled. (10) The driving support device according to any one of (3) to (9), wherein the display control unit displays the leading vehicle image when the traveling position is a predetermined section. (11) An external situation determination unit for determining an external situation based on information outside the vehicle is further provided. The support image setting unit sets a support image according to a determination result of the situation determination unit and / or the external situation determination unit, The driving support apparatus according to any one of (1) to (10), wherein the display control unit controls a display position of the support image according to a determination result of the situation determination unit and / or the external situation determination unit. .
  • the support image setting unit sets a leading vehicle image as the support image when the situation determination unit determines that the vehicle is running.
  • the driving support apparatus according to (11), wherein the display control unit performs display control of the leading vehicle image based on the external situation determined by the external situation determination unit.
  • the display control unit determines a displayable area of the leading vehicle image based on the external situation determined by the external situation determination unit, and displays the leading vehicle image in the determined displayable area.
  • the driving support apparatus according to (12).
  • the display control unit is configured to display the leading vehicle image at a position on a route to an empty space in the parking area determined by the external situation determination unit. (12) or the driving assistance apparatus as described in (13).
  • the display control unit according to any one of (12) to (14), wherein when the external situation determination unit determines that the visibility is poor, the display vehicle image is displayed at a position of a traveling lane of the vehicle.
  • Driving assistance device (16) The external situation determination unit determines an inter-vehicle distance from a preceding vehicle, and sets an attribute of the leading vehicle image in the support image setting unit according to the determined inter-vehicle distance, or the display control unit The driving support device according to (15), wherein the display position of the leading vehicle image is controlled.
  • the external situation determination unit determines a traffic safety facility
  • the support image setting unit sets a supplemental image that emphasizes the display of the traffic safety facility determined by the external situation determination unit
  • the display control unit displays the supplemental image based on the determined position of the traffic safety facility when the external situation determination unit determines the traffic safety facility, according to any one of (11) to (16).
  • Driving assistance device When the situation determination unit determines that the vehicle is running, the support image setting unit sets a filter image that reduces visibility as the support image, and the external situation determination unit The vehicle outside object that causes a reduction in the driver's attention is determined, and the display control unit displays the filter image at the position of the vehicle outside object determined by the external situation determining unit (11) to (17).
  • the driving support device according to any one of the above.
  • the situation of the vehicle is determined by the situation determination unit based on the driving information, and the support image is set by the support image setting unit according to the determination result of the situation determination unit.
  • the display control unit performs display control of the support image set by the support image setting unit with respect to the outside-viewing surface of the vehicle. For this reason, driving assistance can be performed with a natural feeling. Therefore, the present invention can be applied to various vehicles traveling on the road.

Abstract

シチュエーション判別部11は、運転情報に基づき車両のシチュエーションを判別する。支援画像設定部13は、シチュエーション判別部11の判別結果に応じて、支援画像を設定する。表示制御部14は、シチュエーション判別部11の判別結果に応じて、車両のウィンドウガラスに対して支援画像設定部で設定された支援画像を表示する表示制御を行う。支援画像によって、走行経路の先導動作、交通標識等の強調動作、運転車の注意力の低下を招く車外物体の視認性低下動作等が可能となり、自然な感覚で運転支援を行える。

Description

運転支援装置と運転支援方法
 この技術は、運転支援装置と運転支援方法に関し、自然な感覚で運転支援を行える運転支援を行えるようにする。
 従来、車両のフロントガラスの一部に画像を投影して運転の支援が行われている。例えば特許文献1では、加減速の操作を図による表現で促す画像を、自車両のフロントガラスの一部に投影させ、運転者が見える景色に画像を重畳表示させることで、加減速の操作を促す情報が報知されている。
特開2016-146096号公報
 ところで、特許文献1では報知される情報が限られており、運転に必要な情報の一部しか得られない。また、運転に必要な情報を示す画像は、運転者の前方(自車両の進行方向)からの視線移動が極力抑えられるように、フロントガラスの右下隅部に投影される。このため、情報を確認する際には運転時と異なる不自然な視点の移動を行う必要があり、運転者の注意力が散漫となってしまうおそれがある。
 そこで、この技術では、自然な感覚で運転支援を行える運転支援装置と運転支援方法を提供することを目的とする。
 この技術の第1の側面は、
 運転情報に基づき車両のシチュエーションを判別するシチュエーション判別部と、
 前記シチュエーション判別部の判別結果に応じて、支援画像を設定する支援画像設定部と、
 前記車両のウィンドウガラスに対して、前記シチュエーション判別部の判別結果に応じて、前記支援画像設定部で設定された支援画像を表示する表示制御を行う表示制御部と
を備える運転支援装置にある。
 この技術においては、シチュエーション判別部は、運転情報に基づき車両のシチュエーションの判別を行う。支援画像設定部は、判別されたシチュエーションに応じて支援画像の設定を行い、例えば車両が走行動作であると判別された場合、支援画像として先導車画像を設定する。表示制御部は、設定された支援画像を例えば車両のフロントガラスに表示する。また、支援画像はシチュエーション判別結果に応じて表示位置を制御する。例えば、表示制御部は、車両が経路情報を用いた走行動作であると判別したとき経路情報に応じて支援画像の表示位置の制御を行い、先導車画像が経路情報に基づく走行車線上の位置となるように表示する。また、表示制御部は、右左折または走行車線変更を伴う道路接続点において、道路接続点までの距離が所定範囲内であるとき先導車画像の表示を行い、経路情報に基づき右左折する際の走行車線または変更後の走行車線の位置となるように先導車画像の表示位置を制御する。また、表示制御部は、運転情報で示された走行速度に応じて先導車画像の表示位置の移動や、運転情報で示された加減速情報に応じて先導車画像のサイズの設定および/または先導車画像の表示位置の制御を行う。さらに、表示制御部は走行位置が所定区間であるとき先導車画像を表示してもよい。
 また、車外情報に基づき外部状況を判別する外部状況判別部をさらに備えている場合、支援画像設定部は、シチュエーションおよび/または外部状況の判別結果に応じて支援画像を設定して、表示制御部は、シチュエーションおよび/または外部状況の判別結果に応じて、支援画像の表示位置を制御する。例えば、車両が走行動作であると判別した場合、支援画像として先導車画像を設定して、外部状況判別部で判別した外部状況に基づいて先導車画像の表示可能領域を判別して、判別した表示可能領域内に先導車画像を表示する。
 また、表示制御部は、車両が駐車場の進入と判別した場合、外部状況判別部で判別した駐車場の空きスペースまでの経路上の位置に先導車画像を表示する。また、表示制御部は、外部状況判別部で視界不良と判別した場合、車両の走行車線の位置に先導車画像を表示する。また、外部状況判別部は先行車両との車車間距離を判別して、判別した車車間距離に応じて先導車画像の属性の設定、または先導車画像の表示位置の制御を行う。
 また、外部状況判別部は交通安全施設の判別を行い、支援画像設定部は、外部状況判別部で判別された交通安全施設の表示を強調した補足画像を設定して、表示制御部は、外部状況判別部で交通安全施設を判別したとき、判別した交通安全施設の位置を基準として補足画像を表示する。
 また、支援画像設定部は、シチュエーション判別部で車両が走行動作であると判別した場合、支援画像としてフィルタ画像を設定して、外部状況判別部は運転者の注意力の低下を招く車外物体の判別を行い、表示制御部は、外部状況判別部で運転者の注意力の低下を招くと判別された車外物体の位置にフィルタ画像を表示する。
 この技術の第2の側面は、
 運転情報に基づき車両のシチュエーションをシチュエーション判別部で判別することと、
 前記シチュエーション判別部の判別結果に応じて、支援画像を支援画像設定部で設定することと、
 前記シチュエーション判別部の判別結果に応じて、前記車両のウィンドウガラスに対する前記支援画像設定部で設定された支援画像の表示制御を表示制御部で行うことと
を含む運転支援方法にある。
 この技術によれば、運転情報に基づき車両のシチュエーションがシチュエーション判別部で判別されて、シチュエーション判別部の判別結果に応じて、支援画像が支援画像設定部で設定される。さらに、シチュエーション判別部の判別結果に応じて、車両の車外視認面に対して支援画像設定部で設定された支援画像の表示制御が表示制御部で行われる。したがって、自然な感覚で運転支援を行える。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
運転支援装置の構成 運転支援装置の動作を例示したフローチャートである。 外部状況判別部を有する運転支援装置の動作を例示したフローチャートである。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。 運転者の視点位置に応じて車外物体と支援画像の位置関係が変化することを例示した図である。 走行動作が行われている場合を例示した図である。 経路情報に基づいた走行動作が行われている場合を例示した図である。 駐車する場合を例示した図である。 視界不良状態で走行動作が行われている場合を例示した図である。 車車間距離に応じて支援画像の表示動作を制御する場合を例示した図である。 支援画像に新たな画像を付加する場合や支援画像の属性を設定する場合を例示した図である。 運転に必要な情報の認識を容易とする支援画像を表示する場合を例示した図である。 運転者の注意力の低下を防ぐことが可能な支援画像を表示する場合を例示した図である。
 以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
 1.運転支援装置の構成と動作
 2.運転支援装置を設けた車両の構成と動作
 <1.運転支援装置の構成と動作>
 図1は、本技術の運転支援装置の構成を例示している。運転支援装置10は、シチュエーション判別部11、支援画像設定部13、表示制御部14を有している。また、運転支援装置10は、外部状況判別部12をさらに有してもよい。
 シチュエーション判別部11は、運転情報に基づき車両のシチュエーションを判別する。シチュエーション判別部11は、運転情報(例えば車両の現在位置、走行速度、加速度、経路情報等)に基づき、車両がどのようなシチュエーションの状況であるか、例えば、車両が走行中であるか否か、車両がどのような加減速状態であるか、車両が何れの位置を走行しているか、車両がどのようなルートを走行する予定であるか等を判別して、判別結果を支援画像設定部13へ出力する。
 支援画像設定部13は、シチュエーション判別部11の判別結果に応じて、支援画像を設定する。支援画像設定部13は、例えば車両が経路情報に基づいた走行動作が行われている場合、先導車を図形化した画像(先導車画像)を支援画像として設定する。なお、支援画像は、車両のウィンドウガラスに表示したことによって視界が遮られてしまうことがないように、半透明の画像または輪郭線のみで構成された画像等とする。支援画像設定部13は、設定した支援画像の画像信号を表示部へ出力する。
 表示制御部14は、シチュエーション判別部11の判別結果に応じて表示制御情報を生成して表示部へ出力して、車両のウィンドウガラスに対して、支援画像設定部13で設定された支援画像の表示制御を行う。表示制御部14は、例えば車両が走行中である場合や走行位置が所定区間である場合、支援画像設定部13で設定した先導車画像がフロントガラスにおける運転者前方に表示されるように表示制御を行う。また、表示制御部14は、車両が経路情報を用いた走行動作である場合、経路情報に応じて支援画像の表示位置を制御する。また、表示制御部14は、車両の走行速度や加減速度に応じて支援画像の表示制御を行ってもよい。
 また、外部状況判別部12を設けた場合は、外部状況判別部12は車外情報(例えば車両に設けられた撮像部で撮像された前方撮像画像や通信等によって外部機器から取得した周辺情報や周辺撮像画像等)に基づき車両の周辺の状況を判別する。例えば、外部状況判別部12は、駐車場の空きスペースの判別や視界状態、交通安全施設(例えば交通標識や信号機,交通情報表示板等)の判別等を行う。支援画像設定部13は、シチュエーション判別部11および/または外部状況判別部12の判別結果に応じて支援画像を設定する。例えば先導車画像や後述するように交通安全施設の表示を強調した補足画像等を設定する。また、表示制御部14は、シチュエーション判別部11および/または外部状況判別部12の判別結果に応じて、表示制御情報を生成して支援画像の表示や表示位置の制御を行う。
 図2は、運転支援装置の動作を例示したフローチャートである。ステップST1で運転支援装置は運転情報を取得する。運転支援装置は車両から運転情報を取得してステップST2に進む。
 ステップST2で運転支援装置はシチュエーションを判別する。運転支援装置のシチュエーション判別部11は、ステップST1で取得された運転情報に基づき車両がどのようなシチュエーションであるか判別してステップST3に進む。
 ステップST3で運転支援装置は支援画像を設定する。運転支援装置の支援画像設定部13は、ステップST2で判別されたシチュエーションに応じた支援画像の設定を行い、例えば車両の走行動作時には支援画像として先導車画像を設定してステップST4に進む。
 ステップST4で運転支援装置は支援画像の表示制御を行う。運転支援装置の表示制御部14は、ステップST2で判別されたシチュエーションに応じて、ステップST3で設定された支援画像の表示制御を行い、例えば車両の走行動作時には先導車画像をフロントガラスに表示してステップST1に戻る。
 図3は、外部状況判別部を有する運転支援装置の動作を例示したフローチャートである。ステップST11で運転支援装置は運転情報と外部情報を取得する。運転支援装置は車両から運転情報と外部情報を取得してステップST12に進む。
 ステップST12で運転支援装置はシチュエーションを判別する。運転支援装置のシチュエーション判別部11は、ステップST11で取得された運転情報に基づき車両がどのようなシチュエーションであるか判別してステップST13に進む。
 ステップST13で運転制御部は外部状況を判別する。運転支援装置の外部状況判別部12は、ステップST11で取得された運転情報に基づき車両の外部環境、運転者の注意力の低下を招く車外物体(例えば観光施設や広告表示等)等の判別を行いステップST14に進む。
 ステップST14で運転支援装置は支援画像を設定する。運転支援装置の支援画像設定部13は、ステップST12で判別されたシチュエーションおよび/またはステップST13で判別された外部状況に応じた支援画像の設定を行う。例えば、支援画像設定部13は、走行時に、霧や雨,雪等によって視界不良となった場合に先導車画像、交通安全施設が判別された場合に補足画像、運転者の注意力の低下を招く車外物体を判別した場合に車外物体の視認性を低下させるフィルタ画像等を支援画像として設定してステップST15に進む。
 ステップST15で運転支援装置は支援画像の表示可能領域を設定できるか判別する。運転支援装置の表示制御部14は、ステップST11で取得された外部情報に基づき支援画像の表示可能領域を設定できるか判別する。表示制御部14は、表示可能領域を設定できる場合はステップST16に進み、設定できない場合はステップST11に戻る。
 ステップST16で運転支援装置は表示制御を行う。運転支援装置の表示制御部14は、ステップST12で判別されたシチュエーションとステップST13で判別された外部状況に応じて、ステップST14で設定された支援画像をステップST15で設定した表示可能領域内に表示する。例えば、表示制御部14は、車両の走行動作時にフロントガラス内における先行車と自車との間を支援画像の表示可能領域として先導車画像を表示してステップST11に戻る。また、表示制御部14は、運転者の注意力の低下を招く車外物体の位置にフィルタ画像を重畳して視認性が低下するように表示制御を行いステップST11に戻る。
 このように、本技術では、運転情報に基づき車両のシチュエーションがシチュエーション判別部で判別されて、この判別結果に応じて支援画像設定部で支援画像を設定される。また、車両のウィンドウガラスに対して、シチュエーション判別部の判別結果に応じて、支援画像設定部で設定された支援画像の表示制御が行われる。このため、自然な感覚で運転支援を行える。また、支援画像が必要ないシチュエーションや外部状況では、支援画像の表示が終了されるため、必要に応じて運転支援を行うことができる。
 <2.運転支援装置を設けた車両の構成と動作>
 次に、本開示に係る技術を、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車などの何れかの種類の車両に設けた場合について説明する。
 図4は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図4に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
 各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図4では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
 駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
 駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
 ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
 バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
 車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
 環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
 ここで、図5は、撮像部7410及び車外情報検出部7420の設置位置の例を示す。撮像部7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912,7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
 なお、図5には、それぞれの撮像部7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
 車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7922,7924,7926,7928,7930は、例えば超音波センサ又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7926,7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920~7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
 図4に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
 また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
 車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
 統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
 記憶部7690は、マイクロコンピュータにより実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
 汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(Global System of Mobile communications)、WiMAX、LTE(Long Term Evolution)若しくはLTE-A(LTE-Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi-Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
 専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
 測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
 ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
 車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インタフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(High-Definition Multimedia Interface)、又はMHL(Mobile High-definition Link)等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
 車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインタフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
 統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
 マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
 音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図4の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
 なお、図4に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
 本技術の運転支援装置を図4に示す車両制御システム7000に設けた場合、車両状態検出部7110で検出された情報や測位部7640で取得された位置情報、記憶部7690に記憶されている地図情報や地図情報を用いて生成した経路情報を運転情報として用いる。また、撮像部7410で取得された撮像画像や車外情報検出部7420の検出結果を示す検出情報、汎用通信I/F7620や専用通信I/F7630を介して外部機器から取得した情報等を外部情報として用いる。また、マイクロコンピュータ7610は、シチュエーション判別部11、支援画像設定部13、表示制御部14の機能を有している。表示部7720は、支援画像設定部13で設定された支援画像を表示制御部14からの表示制御情報に基づいた表示位置に表示する。例えば、表示部7720は、ウィンドウガラスに支援画像を表示する機能と、表示制御部14からの指示に基づき支援画像の表示位置を変更する機能を有している。なお、車両制御システム7000では、例えば表示部7720に画像投影機能を設けて、支援画像をウィンドウガラスに投影することで、支援画像をウィンドウガラスに表示する。
 マイクロコンピュータ7610は、図2に示す各ステップの処理を行い、運転情報に基づく車両のシチュエーションの判別結果に応じて支援画像を設定して、設定した支援画像を例えば車両のフロントガラスに表示することで、自然な感覚で運転支援を行う。
 また、マイクロコンピュータ7610は、外部状況判別部12の機能をさらに有している場合、図3に示す各ステップの処理を行い、運転情報に基づく車両のシチュエーションの判別結果と外部状況判別結果に応じて支援画像を設定する。また、マイクロコンピュータ7610は、設定した支援画像を車両のフロントガラス等に表示する表示制御を行う。
 次に、マイクロコンピュータ7610の動作例について説明する。マイクロコンピュータ7610は、車両状態検出部7110で検出された車両の速度や加速度、アクセルペダルの操作、ブレーキペダルの操作、ステアリングホイールの操舵、エンジン回転数又は車輪の回転速度等と、測位部7640で取得された現在位置を示す位置情報、記憶部7690に記憶されている地図情報や地図情報を用いて生成した経路情報を運転情報として用いる。マイクロコンピュータ7610は、運転情報に基づき車両のシチュエーションを判別する。例えばマイクロコンピュータ7610は、運転者の操作やエンジンの回転数、車両の速度等に応じて走行動作であるか、位置情報と地図情報に基づき駐車場への進入であるか、経路情報に基づいた走行動作であるか等のシチュエーションを判別する。
 また、マイクロコンピュータ7610は、撮像部7410で取得された撮像画像や車外情報検出部7420の検出結果を示す検出情報、汎用通信I/F7620や専用通信I/F7630を介して外部機器から取得した情報等に基づき外部状況を判別する。例えば、マイクロコンピュータ7610は、撮像画像や環境認識処理結果に基づき視界の判別、超音波センサ,レーダ装置又はLIDAR装置等で検出された先行車までの距離(車車間距離)の判別、撮像画像や路車間通信等に基づき交通安全施設の判別等を行う。
 マイクロコンピュータ7610は、判別したシチュエーションに応じて支援画像を設定する。マイクロコンピュータ7610は、例えば車両が経路情報に基づいた走行動作が行われている場合、先導車画像を支援画像として設定する。また、支援画像は、例えばフロントガラスに表示したことによって前方の視界が遮られてしまうことがないように、半透明の画像または輪郭線のみで構成された画像等とする。さらに、マイクロコンピュータ7610は、車両のウィンドウガラスに対して支援画像の表示制御を行い、例えば車両が走行中である場合や車両が加減速状態である場合、先導車画像がフロントガラスにおける運転者前方に表示されるように表示制御を行う。マイクロコンピュータ7610は、車両が経路情報を用いた走行動作である場合、経路情報に応じて支援画像の表示位置を制御する。
 また、マイクロコンピュータ7610は、車外情報(例えば車両に設けられた撮像部で撮像された前方撮像画像や通信等によって外部機器から取得した周辺情報や周辺撮像画像等)に基づき車両の周辺の状況を判別する。マイクロコンピュータ7610は、例えば駐車場の空きスペースの判別や視界状態、交通安全施設の判別等を行い、シチュエーション判別結果および/または外部状況判別結果に応じて支援画像を設定する。例えば先導車画像や交通安全施設の表示を強調する補足画像等を設定する。また、マイクロコンピュータ7610は、シチュエーション判別結果および/または外部状況判別結果に応じて、支援画像の表示や支援画像の表示と表示位置の制御を行う。
 支援画像の表示位置の制御では、運転者から見て支援画像を適正な位置に表示させる。運転者の視点位置は、運転者の座高や運転者が着座しているシートの前後方向の位置、リクライニング量に応じて変化する。このため、例えばフロントガラスに支援画像を表示する場合、フロントガラスを介して視認可能な車外物体と支援画像の位置関係は、運転者の視点位置に応じて変化してしまう。図6は、運転者の視点位置に応じて車外物体と支援画像の位置関係が変化することを例示している。なお、図6の(a)は、視点が上下方向に移動した場合、図6の(b)は視点が左右方向に移動した場合を例示している。図6の(a)において、実線で示す運転者の視点から車外物体OBが視認されるフロントガラスFGの位置p1に支援画像DSを表示している場合、破線で示す運転者の視点では、支援画像DSの位置が車外物体OBの位置よりも一点鎖線で示すように上方向となってしまう。また、図6の(b)において、実線で示す運転者の視点から車外物体OBが視認されるフロントガラスFGの位置p3に支援画像DSを表示している場合、破線で示す運転者の視点では、支援画像DSの位置が車外物体OBの位置よりも一点鎖線で示すように右方向となってしまう。
 このように、運転者の視点位置に応じて車外物体と支援画像の位置関係が変化することから、運転者状態検出部7510は、運転者の座高や運転者が着座しているシートの前後方向の位置、リクライニング量等を運転者情報として取得して、運転者情報に基づき運転者の視点位置を検出する。また、運転者状態検出部7510は、運転者を撮像した画像から運転者の眼の位置を検出することで視点位置を検出してもよい。マイクロコンピュータ7610は、運転者状態検出部7510で検出した運転者の視点位置に基づきフロントガラスに表示する支援画像の表示位置を決定して支援画像の表示を行う。例えば、図6の(a)における破線で示す運転者の視点では、位置p1よりも下方向の位置p2に支援画像を表示して、図6の(b)における破線で示す運転者の視点では、位置p3よりも左方向の位置p4に支援画像を表示する。
 次に、支援画像の表示例について説明する。図7は、走行動作が行われている場合を例示した図であり、支援画像として先導車画像を表示している。マイクロコンピュータ7610は、例えば車両状態検出部7110における走行速度等の検出結果に基づき走行動作が行われていると判別した場合、走行速度に応じて先導車画像の表示位置を制御する。また、マイクロコンピュータ7610は、例えば図5に示す撮像部7910または撮像部7918で撮像された撮像画像から判別した交通標識で示されている制限速度、あるいは汎用通信I/F7620や専用通信I/F7630を用いて外部機器からを取得した制限速度情報に基づき、自車両の走行速度と制限速度に応じて先導車画像の表示位置を制御する。マイクロコンピュータ7610は、図7の(a)に示すように、運転者の視点からフロントガラスFGを介して見える自車走行車線上に先導車画像DSaを表示する。また、マイクロコンピュータ6710は、走行速度が制限速度よりも速い場合は、図7の(b)に示すように、先導車画像DSaの表示位置を手前側(フロントガラスFGの下方向)に移動する。このようにすれば、運転者は、先導車画像DSaの表示位置によって、走行速度が制限速度を超えているか判別できるようになる。
 また、マイクロコンピュータ7610は、車両状態検出部7110で検出された加減速情報に応じて支援画像設定部における先導車画像のサイズの設定および/または表示制御部における先導車画像の表示位置の制御を行ってもよい。例えば急加速であること判別した場合、先導車に接近したように先導車画像DSaのサイズを大きくしてもよく、先導車画像DSaが運転者に近づいたと認識されるように表示位置を制御してもよい。このように、マイクロコンピュータ7610は、先導車画像のサイズの設定および/または表示位置の制御を行うことで、運転者に対して急加速を行わないように注意喚起できる。
 また、マイクロコンピュータ7610は、所定区間を走行する際に先導車画像DSaを表示してもよい。例えば事故や速度違反が多く発生する危険区間の情報を外部機器等から取得している場合、マイクロコンピュータ7610は、測位部7640で取得された現在位置が危険区間を走行する際に先導車画像DSaを表示して運転支援を行えば、事故や速度違反を防ぐことが可能となる。
 図8は、経路情報に基づいた走行動作が行われている場合を例示した図であり、支援画像として先導車画像を表示している。マイクロコンピュータ7610は、記憶部7690に記憶されている経路情報や地図情報および測位部7640で取得された現在位置を示す位置情報に基づき自車走行車線を判別する。さらに、マイクロコンピュータ7610は、図8の(a)に示すように、運転者の視点からフロントガラスFGを介して見える自車走行車線上に先導車画像DSaを表示する。また、マイクロコンピュータ7610は、経路情報や地図情報および測位部7640で取得された現在位置を示す位置情報に基づき、右左折または走行車線変更を伴う道路接続点を判別する。マイクロコンピュータ7610は、判別した道路接続点において、図8の(b)に示すように、運転者の視点からフロントガラスFGを介して見える変更後の走行車線(自車走行変更車線)、すなわち経路情報に基づき右左折する際の走行車線上または自車走行変更車線上の位置となるように先導車画像DSaを表示する。このような支援画像を表示すれば、運転者は支援画像で示された先導車に追従するように運転制御を行うことで、容易に目的地にたどり着くことができる。また、マイクロコンピュータ7610は、右左折または走行車線変更を伴う道路接続点までの距離が所定範囲内であるとき先導車画像DSaを表示してもよい。この場合、車線変更が必要な場合に先導車画像DSaが表示されることから、運転支援の必要性が低い場合に先導車画像DSaを非表示とすることができる。
 次に、車外情報に基づき外部状況を判別して、シチュエーションと外部状況の判別結果に応じて支援画像の表示制御を行う場合について説明する。例えば、支援画像設定部は、シチュエーション判別部で前記車両が走行動作であると判別した場合、支援画像として先導車画像を設定して、表示制御部は、外部状況判別部で判別した外部状況に基づいて先導車画像の表示制御を行う。
 図9は、駐車する場合を例示した図であり、支援画像として先導車画像を表示している。マイクロコンピュータ7610は、例えば記憶部7690に記憶されている地図情報および測位部7640で取得された現在位置を示す位置情報に基づき駐車場内の走行であることを判別する。また、マイクロコンピュータ7610は、汎用通信I/F7620や専用通信I/F7630を介して外部機器から駐車場内の地図や空きスペース情報を外部情報として取得して、空きスペースまでの経路を判別する。さらに、マイクロコンピュータ7610は、運転者の視点からフロントガラスFGを介して見える空きスペースまでの経路上や空きスペースの位置に先導車画像DSaを表示する。このような支援画像を表示すれば、運転者は支援画像で示された先導車に追従するように運転制御を行うことで、容易に車両を駐車できるようになる。
 図10は、視界不良状態で走行動作が行われている場合を例示した図であり、支援画像として先導車画像を表示している。マイクロコンピュータ7610は、例えば図5に示す撮像部7910または撮像部7918で撮像された撮像画像等を外部情報として用いて視界不良であるか判別する。また、マイクロコンピュータ7610は、記憶部7690に記憶されている地図情報および測位部7640で取得された現在位置を示す位置情報に基づき自車走行車線を判別する。さらに、マイクロコンピュータ7610は、視界不良であると判別した場合、図10に示すように、運転者の視点からフロントガラスFGを介して見える自車走行車線上に先導車画像DSaを表示する。このような支援画像を表示すれば、運転者は支援画像で示された先導車に追従するように運転制御を行うことで、視界不良であっても自車走行車線から逸脱することなく走行できるようになる。
 また、マイクロコンピュータ7610は、外部状況に基づいて先導車画像の表示可能領域を判別して、判別した表示可能領域内に先導車画像を表示してもよい。マイクロコンピュータ7610は、自車走行路線上に支援画像として先導車画像を表示する場合、前方の車両との車車間距離や前方の走行環境に応じて、先導車画像の表示可能領域を設けることができるか判別する。マイクロコンピュータ7610は、表示可能領域を設けることができると判別した場合に表示可能領域内に先導車画像を表示して、表示可能領域を設けることができないと判別した場合に先導車画像を非表示とする。図11は、車車間距離に応じて支援画像の表示動作を制御する場合を例示している。マイクロコンピュータ7610は、例えば、超音波センサ、レーダ装置又はLIDAR装置等で検出された先行車までの車車間距離を判別する。マイクロコンピュータ7610は、車車間距離が例えば所定距離よりも長い場合、図11の(a)に示すように、運転者の視点からフロントガラスFGを介して見える自車走行車線上であって、自車と先行車SCまでの間を表示可能領域として、この領域内に先導車画像DSaを表示する。マイクロコンピュータ7610は、車車間距離が所定距離以下で場合に先導車画像DSaを表示すると、図11の(b)に示すように、先行車SCの位置に先導車画像DSaが表示されて、先行車SCの走行状態を確認しにくくなる。したがって、マイクロコンピュータ7610は、車車間距離が所定距離以下であるため表示可能領域を設けることができない場合、図11の(c)に示すように先導車画像DSaを非表示とする。また、自車が交差点の先頭位置で停車している場合や自車の前を横断している人がいる場合、先導車画像DSaを表示すると実環境に適していない画像が表示されてしまうことになる。したがって、この場合、先導車画像DSaを非表示とする。このように支援画像の表示制御を行えば、前方を走行する車両の視認性を低下させることなく、また実環境に適した支援画像を運転者に提供できるようになる。
 また、マイクロコンピュータ7610は、シチュエーションに応じて支援画像に新たな画像を付加したり、支援画像の属性を設定してもよい。図12は、支援画像に新たな画像を付加する場合や支援画像の属性を設定する場合を例示している。例えば、車線変更を行う場合は、図12の(a)に示すように変更方向の方向指示器が点滅しているような方向指示画像DTaを付加することで、先導車画像DSaによって運転者が行うべき操作(ステアリング操作や方向指示操作)を明確にしてもよい。また、駐車する場合は、図12の(b)に示すように、空きスペースの位置でバザードランプが点滅しているようなハザード画像DTbを付加すれば、何れの位置に空きスペースがあるかを容易に判別できるようになる。さらに、視界不良の場合、先行車までの車車間距離に応じて先導車画像DSaの色を設定してもよい。例えば、図12の(c)に示すように、先行車までの車車間距離Laが所定距離Th以上であるときは第1の色で先導車画像DSa-1を表示して、車車間距離Laが所定距離Th未満であるときは第2の色で先導車画像DSa-2を表示する。このように、車車間距離に応じて先導車画像DSaの属性を設定することで、視界不良のため先行車に近づき過ぎてしまうことを防止できる。
 ところで、上述の実施の形態では、支援画像として先導車画像を用いる場合について説明したが、支援画像は先導車画像に限られず、運転に必要な情報例えば交通安全施設で表示されている情報の認識を容易とする画像や、運転者の注意力の低下を防ぐことが可能な画像を用いてもよい。
 図13は、運転に必要な情報の認識を容易とする支援画像を表示する場合を例示している。マイクロコンピュータ7610は、例えば図5に示す撮像部7910または撮像部7918で撮像された撮像画像に基づき交通安全施設を判別する。また、マイクロコンピュータ7610は、判別結果に基づき交通安全施設の表示を強調する補足画像を支援画像としてフロントガラスFGに表示する。図13の(a)は、交通標識OBbを判別した場合を示しており、マイクロコンピュータ7610は、判別した交通標識OBbと等しい表示内容の補足画像DGbを支援画像として交通標識OBbの近傍位置に表示する。図13の(b)は、信号機OBcを判別した場合を示しており、マイクロコンピュータ7610は、判別した信号機OBcと等しい信号状態の補足画像DGcを支援画像として交通標識OBbの近傍位置に表示する。補足画像の表示は、判別した交通安全施設の位置を基準として行い、例えば前方の視界が妨げられないように、交通安全施設の道路側とは逆側の位置に表示する。また、交通安全施設と近接した位置に表示すれば、補足画像で示された情報が何れの交通安全施設の情報であるか容易に判別できる。このように、交通安全施設の表示を強調する補足画像を表示することで、例えば逆光等で交通安全施設の表示が見にくい場合でもどのような表示が行われているか容易に判別できるようになる。なお、交通安全施設の表示を強調する補足画像は、交通標識や信号機の内容を示す画像に限らず、例えば道路に描かれた白線等の欠落部分を補う画像等であってもよい。
 図14は、運転者の注意力の低下を防ぐことが可能な支援画像を表示する場合を例示している。マイクロコンピュータ7610は、例えば測位部7640で取得された現在位置を示す位置情報、記憶部7690に記憶されている地図情報、汎用通信I/F7620や専用通信I/F7630を用いて外部機器から取得した情報や画像等に基づき、運転者の注意力の低下を招く車外物体を検出する。マイクロコンピュータ7610は、検出した車外物体によって運転者の注意力が低下しないように、車外物体の視認性を低下させるフィルタ画像を支援画像として表示する。図14の(a)は、支援画像表示前の状態を例示しており、運転者の注意力の低下を招く車外物体として例えば観光施設OBdや看板OBe,広告掲示装置OBf等を示している。マイクロコンピュータ7610は、検出した車外物体の位置に車外物体の視認性を低下させる支援画像を表示することで、検出した車外物体に運転者の注意が向かないようにする。図14の(b)は、支援画像としてフィルタ画像DGzを用いて、検出した観光施設OBdや看板OBe,広告掲示装置OBfの視認性を低下させる。フィルタ画像としては、検出した車外物体がぼかして見える画像、検出した車外物体を見えにくくする半透過画像、検出した車外物体を見えなくするマスク画像等を用いる。このように、運転者の注意力の低下を招く車外物体と対応する位置に、視認性を低下させる支援画像を表示することで、運転に関係しない車外物体によって運転者の注意力が低下することを防止できるようになる。
 なお、支援画像の表示位置の制御や表示タイミングは予め設定されている場合に限らず、自車の走行履歴に基づき機械学習等によって運転者の特性に応じて最適な設定へと自動的に変更する構成であってもよい。また、支援画像の表示は上述の例示に限られない。例えば、フロントガラスに支援画像を表示する場合に限らず、車両後退時に支援画像をリアガラスに表示して運転支援を行うようにしてもよい。
 明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
 例えば、プログラムは記録媒体としてのハードディスクやSSD(Solid State Drive)、ROM(Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、BD(Blu-Ray Disc(登録商標))、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
 また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからLAN(Local Area Network)やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
 なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
 また、本技術の運転支援装置は以下のような構成も取ることができる。
 (1) 運転情報に基づき車両のシチュエーションを判別するシチュエーション判別部と、
 前記シチュエーション判別部の判別結果に応じて、支援画像を設定する支援画像設定部と、
 前記車両のウィンドウガラスに対して、前記シチュエーション判別部の判別結果に応じて、前記支援画像設定部で設定された支援画像を表示する表示制御を行う表示制御部と
を備える運転支援装置。
 (2) 前記表示制御部は、前記シチュエーション判別部の判別結果に応じて、前記支援画像の表示位置を制御する(1)に記載の運転支援装置。
 (3) 前記支援画像設定部は、前記シチュエーション判別部で前記車両が走行動作であると判別した場合、前記支援画像として先導車画像を設定して、
 前記表示制御部は、前記車両のフロントガラスに前記先導車画像を表示する(2)に記載の運転支援装置。
 (4) 前記表示制御部は、前記シチュエーション判別部で前記車両が経路情報を用いた走行動作であると判別したとき前記経路情報に応じて前記支援画像の表示位置を制御する(3)に記載の運転支援装置。
 (5) 前記表示制御部は、前記先導車画像が前記経路情報に基づく走行車線上の位置となるように表示位置を制御する(4)に記載の運転支援装置。
 (6) 前記表示制御部は、右左折または走行車線変更を伴う道路接続点において、前記先導車画像が、前記経路情報に基づき右左折する際の走行車線または変更後の走行車線の位置となるように表示位置を制御する(4)または(5)に記載の運転支援装置。
 (7) 前記表示制御部は、前記道路接続点までの距離が所定範囲内であるとき前記先導車画像を表示する(6)に記載の運転支援装置。
 (8) 前記運転情報は前記車両の走行速度を含み、
 前記表示制御部は、前記先導車画像の表示位置を前記車両の走行速度に応じて移動する(3)乃至(7)の何れかに記載の運転支援装置。
 (9) 前記運転情報は前記車両の加減速情報を含み、前記加減速情報に応じて前記支援画像設定部における前記先導車画像のサイズの設定および/または前記表示制御部における前記先導車画像の表示位置の制御を行う(3)乃至(8)の何れかに記載の運転支援装置。
 (10) 前記表示制御部は、走行位置が所定区間である場合に前記先導車画像を表示する(3)乃至(9)の何れかに記載の運転支援装置。
 (11) 車外情報に基づき外部状況を判別する外部状況判別部をさらに備え、
 前記支援画像設定部は、前記シチュエーション判別部および/または前記外部状況判別部の判別結果に応じて支援画像を設定して、
 前記表示制御部は、前記シチュエーション判別部および/または前記外部状況判別部の判別結果に応じて、前記支援画像の表示位置を制御する(1)乃至(10)の何れかに記載の運転支援装置。
 (12) 前記支援画像設定部は、前記シチュエーション判別部で前記車両が走行動作であると判別した場合、前記支援画像として先導車画像を設定して、
 前記表示制御部は、前記外部状況判別部で判別した外部状況に基づいて前記先導車画像の表示制御を行う(11)に記載の運転支援装置。
 (13) 前記表示制御部は、前記外部状況判別部で判別した外部状況に基づいて前記先導車画像の表示可能領域を判別して、判別した前記表示可能領域内に前記先導車画像を表示する(12)に記載の運転支援装置。
 (14) 前記表示制御部は、前記シチュエーション判別部で前記車両が駐車場の進入と判別した場合、前記外部状況判別部で判別した駐車エリアの空きスペースまでの経路上の位置に前記先導車画像を表示する(12)または(13)に記載の運転支援装置。
 (15) 前記表示制御部は、前記外部状況判別部で視界不良と判別した場合、前記車両の走行車線の位置に前記先導車画像を表示する(12)乃至(14)の何れかに記載の運転支援装置。
 (16) 前記外部状況判別部は先行車両との車車間距離を判別して、判別した前記車車間距離に応じて前記支援画像設定部における前記先導車画像の属性の設定、または前記表示制御部における前記先導車画像の表示位置の制御を行う(15)に記載の運転支援装置。
 (17) 前記外部状況判別部は交通安全施設の判別を行い、
 前記支援画像設定部は、前記外部状況判別部で判別された前記交通安全施設の表示を強調する補足画像を設定して、
 前記表示制御部は、前記外部状況判別部で前記交通安全施設を判別したとき、判別した前記交通安全施設の位置を基準として前記補足画像を表示する(11)乃至(16)の何れかに記載の運転支援装置。
 (18) 前記支援画像設定部は、前記シチュエーション判別部で前記車両が走行動作であると判別した場合、前記支援画像として視認性を低下させるフィルタ画像を設定して、前記前記外部状況判別部は運転者の注意力の低下を招く車外物体の判別を行い、前記表示制御部は、前記前記外部状況判別部で判別された前記車外物体の位置に前記フィルタ画像を表示する(11)乃至(17)の何れかに記載の運転支援装置。
 この技術の運転支援装置と運転支援方法によれば、運転情報に基づき車両のシチュエーションがシチュエーション判別部で判別されて、シチュエーション判別部の判別結果に応じて、支援画像が支援画像設定部で設定される。さらに、シチュエーション判別部の判別結果に応じて、車両の車外視認面に対して支援画像設定部で設定された支援画像の表示制御が表示制御部で行われる。このため、自然な感覚で運転支援を行える。したがって、道路を走行する種々の車両に適用できる。
 10・・・運転支援装置
 11・・・シチュエーション判別部
 12・・・外部状況判別部
 13・・・支援画像設定部
 14・・・表示制御部
 7000・・・車両制御システム
 7110・・・車両状態検出部
 7410・・・撮像部
 7420・・・車外情報検出部
 7510・・・運転者状態検出部
 7610・・・マイクロコンピュータ
 7640・・・測位部
 7690・・・記憶部
 7720・・・表示部
 7900・・・車両
 7910,7912,7914,7916,7918・・・撮像部

Claims (19)

  1.  運転情報に基づき車両のシチュエーションを判別するシチュエーション判別部と、
     前記シチュエーション判別部の判別結果に応じて、支援画像を設定する支援画像設定部と、
     前記車両のウィンドウガラスに対して、前記シチュエーション判別部の判別結果に応じて、前記支援画像設定部で設定された支援画像を表示する表示制御を行う表示制御部と
    を備える運転支援装置。
  2.  前記表示制御部は、前記シチュエーション判別部の判別結果に応じて、前記支援画像の表示位置を制御する
    請求項1に記載の運転支援装置。
  3.  前記支援画像設定部は、前記シチュエーション判別部で前記車両が走行動作であると判別した場合、前記支援画像として先導車画像を設定して、
     前記表示制御部は、前記車両のフロントガラスに前記先導車画像を表示する
    請求項2に記載の運転支援装置。
  4.  前記表示制御部は、前記シチュエーション判別部で前記車両が経路情報を用いた走行動作であると判別したとき前記経路情報に応じて前記支援画像の表示位置を制御する
    請求項3に記載の運転支援装置。
  5.  前記表示制御部は、前記先導車画像が前記経路情報に基づく走行車線上の位置となるように表示位置を制御する
    請求項4に記載の運転支援装置。
  6.  前記表示制御部は、右左折または走行車線変更を伴う道路接続点において、前記先導車画像が、前記経路情報に基づき右左折する際の走行車線または変更後の走行車線の位置となるように表示位置を制御する
    請求項4に記載の運転支援装置。
  7.  前記表示制御部は、前記道路接続点までの距離が所定範囲内であるとき前記先導車画像を表示する
    請求項6に記載の運転支援装置。
  8.  前記運転情報は前記車両の走行速度を含み、
     前記表示制御部は、前記先導車画像の表示位置を前記車両の走行速度に応じて移動する
    請求項3に記載の運転支援装置。
  9.  前記運転情報は前記車両の加減速情報を含み、前記加減速情報に応じて前記支援画像設定部における前記先導車画像のサイズの設定および/または前記表示制御部における前記先導車画像の表示位置の制御を行う
    請求項3に記載の運転支援装置。
  10.  前記表示制御部は、走行位置が所定区間である場合に前記先導車画像を表示する
    請求項3に記載の運転支援装置。
  11.  車外情報に基づき外部状況を判別する外部状況判別部をさらに備え、
     前記支援画像設定部は、前記シチュエーション判別部および/または前記外部状況判別部の判別結果に応じて支援画像を設定して、
     前記表示制御部は、前記シチュエーション判別部および/または前記外部状況判別部の判別結果に応じて、前記支援画像の表示位置を制御する
    請求項1に記載の運転支援装置。
  12.  前記支援画像設定部は、前記シチュエーション判別部で前記車両が走行動作であると判別した場合、前記支援画像として先導車画像を設定して、
     前記表示制御部は、前記外部状況判別部で判別した外部状況に基づいて前記先導車画像の表示制御を行う
    請求項11に記載の運転支援装置。
  13.  前記表示制御部は、前記外部状況判別部で判別した外部状況に基づいて前記先導車画像の表示可能領域を判別して、判別した前記表示可能領域内に前記先導車画像を表示する
    請求項12に記載の運転支援装置。
  14.  前記表示制御部は、前記シチュエーション判別部で前記車両が駐車場の進入と判別した場合、前記外部状況判別部で判別した駐車エリアの空きスペースまでの経路上の位置に前記先導車画像を表示する
    請求項12に記載の運転支援装置。
  15.  前記表示制御部は、前記外部状況判別部で視界不良と判別した場合、前記車両の走行車線の位置に前記先導車画像を表示する
    請求項12に記載の運転支援装置。
  16.  前記外部状況判別部は先行車両との車車間距離を判別して、判別した前記車車間距離に応じて前記支援画像設定部における前記先導車画像の属性の設定、または前記表示制御部における前記先導車画像の表示位置の制御を行う
    請求項15に記載の運転支援装置。
  17.  前記外部状況判別部は交通安全施設の判別を行い、
     前記支援画像設定部は、前記外部状況判別部で判別された前記交通安全施設の表示を強調する補足画像を設定して、
     前記表示制御部は、前記外部状況判別部で前記交通安全施設を判別したとき、判別した前記交通安全施設の位置を基準として前記補足画像を表示する
    請求項11に記載の運転支援装置。
  18.  前記支援画像設定部は、前記シチュエーション判別部で前記車両が走行動作であると判別した場合、前記支援画像として視認性を低下させるフィルタ画像を設定して、
     前記前記外部状況判別部は運転者の注意力の低下を招く車外物体の判別を行い、
     前記表示制御部は、前記前記外部状況判別部で判別された前記車外物体の位置に前記フィルタ画像を表示する
    請求項11に記載の運転支援装置。
  19.  運転情報に基づき車両のシチュエーションをシチュエーション判別部で判別することと、
     前記シチュエーション判別部の判別結果に応じて、支援画像を支援画像設定部で設定することと、
     前記シチュエーション判別部の判別結果に応じて、前記車両のウィンドウガラスに対する前記支援画像設定部で設定された支援画像の表示制御を表示制御部で行うことと
    を含む運転支援方法。
PCT/JP2018/007214 2017-03-30 2018-02-27 運転支援装置と運転支援方法 WO2018180122A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/496,699 US20200035100A1 (en) 2017-03-30 2018-02-27 Driving support apparatus and driving support method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-067390 2017-03-30
JP2017067390 2017-03-30

Publications (1)

Publication Number Publication Date
WO2018180122A1 true WO2018180122A1 (ja) 2018-10-04

Family

ID=63675285

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/007214 WO2018180122A1 (ja) 2017-03-30 2018-02-27 運転支援装置と運転支援方法

Country Status (2)

Country Link
US (1) US20200035100A1 (ja)
WO (1) WO2018180122A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113841188B (zh) * 2019-05-13 2024-02-20 日本电信电话株式会社 交通流估计装置、交通流估计方法、存储介质
US10818169B1 (en) * 2019-06-04 2020-10-27 Antonio Ribeiro Vehicular speed detection and warning system
US11590846B2 (en) * 2021-12-17 2023-02-28 Shenzhen Luohe import and export Co. LTD Steering wheel indicating paddle for displaying power rotating speed of automobile

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257286A (ja) * 2006-03-23 2007-10-04 Denso Corp 車両用表示システム
JP2008037167A (ja) * 2006-08-02 2008-02-21 Mazda Motor Corp 車両用情報表示装置
JP2015152467A (ja) * 2014-02-17 2015-08-24 パイオニア株式会社 表示制御装置、制御方法、プログラム、及び記憶媒体
JP2016118851A (ja) * 2014-12-19 2016-06-30 アイシン・エィ・ダブリュ株式会社 虚像表示装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5930072B2 (ja) * 2013-01-11 2016-06-08 日産自動車株式会社 車両用表示制御装置及び車両用表示制御方法
KR101663511B1 (ko) * 2015-04-30 2016-10-14 엘지전자 주식회사 차량 운전 보조 장치, 차량 운전 보조 장치의 제어 방법 및 차량
KR101942793B1 (ko) * 2015-07-03 2019-01-28 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257286A (ja) * 2006-03-23 2007-10-04 Denso Corp 車両用表示システム
JP2008037167A (ja) * 2006-08-02 2008-02-21 Mazda Motor Corp 車両用情報表示装置
JP2015152467A (ja) * 2014-02-17 2015-08-24 パイオニア株式会社 表示制御装置、制御方法、プログラム、及び記憶媒体
JP2016118851A (ja) * 2014-12-19 2016-06-30 アイシン・エィ・ダブリュ株式会社 虚像表示装置

Also Published As

Publication number Publication date
US20200035100A1 (en) 2020-01-30

Similar Documents

Publication Publication Date Title
JP6773046B2 (ja) 運転支援装置及び運転支援方法、並びに移動体
CN107878460B (zh) 自动驾驶车辆的控制方法和服务器
CN109249939B (zh) 用于车辆的驱动系统和车辆
KR20190007286A (ko) 차량용 주행 시스템 및 차량
JP2018533107A (ja) 経路に沿った運転支援のためのシステムおよび方法
US11377101B2 (en) Information processing apparatus, information processing method, and vehicle
US11590985B2 (en) Information processing device, moving body, information processing method, and program
US20210339770A1 (en) Information processing apparatus, information processing method, and program
US20220017093A1 (en) Vehicle control device, vehicle control method, program, and vehicle
JP2020519037A (ja) 車両の方向転換時のバーチャネルカメラの向きを調整するための方法およびシステム
JP7074125B2 (ja) 情報処理装置と情報処理方法
WO2018180122A1 (ja) 運転支援装置と運転支援方法
CN111587572A (zh) 图像处理装置、图像处理方法和程序
KR101979277B1 (ko) 차량용 사용자 인터페이스 장치 및 차량
US20220383556A1 (en) Image output device and method for controlling the same
US20210279477A1 (en) Image processing apparatus, image processing method, and image processing system
WO2020085101A1 (ja) 画像処理装置と画像処理方法およびプログラム
KR102609960B1 (ko) 차량의 ar 디스플레이 장치 및 그것의 동작방법
US20210295563A1 (en) Image processing apparatus, image processing method, and program
WO2022145286A1 (ja) 情報処理装置、情報処理方法、プログラム、移動装置、及び、情報処理システム
WO2024038759A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
US20230186651A1 (en) Control device, projection system, control method, and program
WO2023068116A1 (ja) 車載通信装置、端末装置、通信方法、情報処理方法及び通信システム
WO2020195969A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2022024569A1 (ja) 情報処理装置と情報処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18778349

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18778349

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP