WO2023176737A1 - 表示制御装置、表示制御方法 - Google Patents
表示制御装置、表示制御方法 Download PDFInfo
- Publication number
- WO2023176737A1 WO2023176737A1 PCT/JP2023/009388 JP2023009388W WO2023176737A1 WO 2023176737 A1 WO2023176737 A1 WO 2023176737A1 JP 2023009388 W JP2023009388 W JP 2023009388W WO 2023176737 A1 WO2023176737 A1 WO 2023176737A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- scene
- vehicle
- display
- display control
- driver
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Definitions
- the present disclosure relates to a technology for displaying images from a camera that captures images of the outside of a vehicle on a display placed on an instrument panel.
- Patent Document 1 discloses a vehicle that is equipped with an electronic side mirror that uses a camera and a display instead of a side mirror that uses an actual mirror. Note that Patent Document 1 discloses that the display angle of view is enlarged/reduced while the screen size of the camera image remains constant based on the direction indicator switch being set to a predetermined position.
- the display that makes up the electronic side mirror is placed on the instrument panel inside the vehicle. Therefore, compared to conventional side mirrors, electronic side mirrors have the advantage that the driver can check the rear and sides with less movement of his or her line of sight. However, electronic side mirrors enter the driver's field of vision even when there is no need to check the rear, which can cause annoyance to the driver.
- the present disclosure has been made based on the above considerations and points of view, and one of its purposes is to provide a display control device and a display control method that can reduce the risk of bothering drivers due to the display of camera images. It is about providing.
- the display control device disclosed herein includes an image acquisition unit that acquires a camera image in a predetermined direction of the own vehicle based on a signal from a camera that images the outside of the vehicle, and an output signal of a surrounding monitoring sensor, which is received from an external device. a scene determination unit that determines whether the current situation corresponds to a specific scene based on the driving environment around the vehicle that is determined using at least one of the wireless signal and map data; The display controller includes a display control unit that changes the display mode of the camera image on the display depending on whether or not it is determined that the scene corresponds to a specific scene.
- the display mode (in other words, visual saliency) of the camera image is dynamically changed depending on the scene. Since the camera image is not always displayed in a manner that is easy for the driver etc. to view, it is possible to reduce the risk of bothering the driver.
- the display control method of the present disclosure is a display control method executed by at least one processor that controls the display of a display mounted on a vehicle, and the method includes: The driving environment around the own vehicle is determined by acquiring a camera image in a predetermined direction of the own vehicle, and using at least one of an output signal from a surrounding monitoring sensor, a wireless signal received from an external device, and map data. Based on the above, determining whether the current situation corresponds to a specific scene, and changing the display mode of the camera image on the display depending on whether the current situation corresponds to the specific scene. include.
- FIG. 1 is a block diagram showing the configuration of an in-vehicle system.
- FIG. 2 is a diagram showing an example of a surroundings monitoring sensor included in the in-vehicle system.
- FIG. 3 is a diagram showing the configuration of a display. It is a functional block diagram of HCU.
- FIG. 7 is a diagram illustrating an example of controlling the display mode of the left camera window.
- FIG. 7 is a diagram illustrating an example of controlling the display mode of the right camera window.
- FIG. 7 is a diagram illustrating an example of controlling the angle of view of a camera image displayed as a side camera window.
- FIG. 7 is a diagram showing another example of controlling the display mode of the left camera window.
- FIG. 7 is a diagram illustrating an example of displaying an object marker superimposed on a camera image.
- FIG. 6 is a diagram illustrating an example of displaying an image of an object of attention in a separate frame.
- FIG. 7 is a diagram illustrating an example of displaying windows indicating the positional relationship of objects of interest in parallel. It is a flowchart for explaining the operation of the HCU. It is a flowchart for explaining the operation of the HCU when passing through an intersection.
- FIG. 7 is a diagram illustrating an example of control in which the refresh rate of the side camera window is changed according to the determination result of the scene determination unit.
- FIG. 6 is a diagram illustrating an example of control when changing the display mode of a camera image according to the driver's line of sight.
- FIG. 7 is a diagram for explaining control for changing the display position of a camera image as the recommended viewing timing approaches.
- FIG. 7 is a diagram illustrating an example of control for expanding the screen itself so as to correspond to a direction in which the display angle of view is expanded.
- FIG. 7 is a diagram illustrating an example of control in which the display size is adjusted according to the distance from the driver's seat to the display position.
- FIG. 7 is a diagram illustrating an example of control in which a side camera image showing the rear of the adjacent lane and a camera image showing the front of the adjacent lane are displayed in parallel.
- FIG. 6 is a diagram illustrating an example of control for changing the display state (on/off) and display position of a camera image based on driver operation. It is a figure which shows the modification of the structure of an in-vehicle system.
- FIG. 1 is a diagram showing an example of a schematic configuration of an in-vehicle system Sys according to the present embodiment.
- each device will be described below assuming that the in-vehicle system Sys is used in an area where traffic is on the left. Accordingly, the leftmost lane among lanes traveling in the same direction is referred to as the first lane.
- the first lane may be the rightmost lane among lanes traveling in the same direction.
- the present disclosure can be modified and implemented as appropriate to comply with the laws and customs of the region where the in-vehicle system Sys is used.
- the own vehicle may be an electric vehicle.
- the own vehicle may be an engine vehicle.
- Electric vehicles can include not only electric vehicles but also plug-in hybrid vehicles, hybrid vehicles, and fuel cell vehicles.
- the in-vehicle system Sys includes a vehicle condition sensor 11, a surrounding monitoring sensor 12, a driver camera 13, a wireless communication device 14, a navigation device 15, a locator 16, and an automatic operation device 17.
- the in-vehicle system Sys also includes a display 21, a speaker 22, and an HCU (HMI Control Unit) 30.
- HMI is an abbreviation for Human Machine Interface.
- the vehicle condition sensor 11 is a sensor that outputs a signal indicating the condition of the own vehicle.
- the vehicle state sensor 11 includes a vehicle speed sensor, a steering angle sensor, a brake pedal sensor, an accelerator pedal sensor, and the like.
- the vehicle speed sensor detects the vehicle speed of the own vehicle.
- a steering angle sensor detects a steering angle.
- the brake pedal sensor is a sensor that detects the amount/force of depression of the brake pedal by the driver.
- the accelerator pedal sensor is a sensor that detects the amount/force of depression of the accelerator pedal by the driver.
- Each vehicle condition sensor 11 outputs a signal indicating the current value/state of the item to be detected to the HCU 30.
- the state of the driving power source and the operating state of the direction indicator also correspond to information indicating the state of the own vehicle.
- the driving power source is a power source for driving the own vehicle. If the own vehicle is an engine vehicle, the ignition power source corresponds to the driving power source. If your vehicle is an electric vehicle, the system main relay corresponds to the driving power source.
- a signal indicating the operating state of the direction indicator and a signal indicating the driving power state may also be input to the HCU 30. Switches such as a direction indicator switch and a power switch are also included in the vehicle condition sensor 11.
- the direction indicator switch, accelerator pedal sensor, and brake pedal sensor correspond to driver behavior sensors.
- the surroundings monitoring sensor 12 is a sensor that outputs a signal indicating the surrounding environment of the own vehicle.
- the surrounding monitoring sensor 12 includes a camera that images the outside of the vehicle, a millimeter wave radar, LiDAR, sonar, and the like.
- the surroundings monitoring sensor 12 detects predefined moving objects and stationary objects from a detection range around the vehicle, and also detects their positions and moving speeds.
- LiDAR is an abbreviation for Light Detection and Ranging or Laser Imaging Detection and Ranging.
- Millimeter wave radar transmits exploration waves such as millimeter waves or sub-millimeter waves, and analyzes the received data of the reflected waves that are reflected back from objects, thereby determining the relative position of objects with respect to the own vehicle. It is a device that detects relative speed.
- LiDAR is a device that detects objects existing within a predetermined detection area based on the reception result of laser light of a predetermined wavelength, such as infrared light or near-infrared light.
- the in-vehicle system Sys of this embodiment includes a front camera 121, a rear camera 122, a right camera 123, a left camera 124, a front radar 125, and a rear radar 126 as the surrounding monitoring sensor 12, as shown in FIG.
- the front camera 121 may be an optical/infrared camera arranged to capture an image in front of the vehicle at a predetermined angle of view.
- the front camera 121 is disposed at the upper end of the windshield on the inside of the vehicle, on the front grill, on the rooftop, or the like.
- the rear camera 122 may be an optical/infrared camera arranged to image the rear of the vehicle at a predetermined angle of view.
- the rear camera 122 is placed at an arbitrary position on the back of the vehicle, such as near the upper end of the rear glass.
- the right camera 123 is a camera that images the right side of the vehicle.
- the left camera 124 is a camera that images the left side of the vehicle.
- the right camera 123 and the left camera 124 may be configured as wide-angle cameras using a fisheye lens or the like.
- the right camera 123 and the left camera 124 are also collectively referred to as the side camera 12C.
- the left and right side cameras 12C are provided near the base of the A pillar or on the side mirrors.
- the mounting position of the side camera 12C can be changed as appropriate, and may be placed on the B-pillar, door panel, outer door handle, rooftop, etc.
- the front camera 121 detects moving objects such as pedestrians and other vehicles by performing recognition processing on image frames. Further, the front camera 121 detects the position, moving speed, and moving direction of the detected object based on the amount of change and size of the object's position for each frame. In addition, the front camera 121 also detects the lighting state of a lighting device provided on the back of the preceding vehicle by analyzing the video. The front camera 121 can detect the operating state of the direction indicator of the preceding vehicle by analyzing the video. In addition, the front camera 121 also detects road markings, road edges, road signs, and the like. Road markings are paint painted on the road surface to provide regulations or instructions regarding road traffic. Road markings, in one aspect, can be referred to as road paint. Road markings include lane markings, stop lines, or restriction arrows that indicate lane boundaries.
- the front camera 121, the rear camera 122 and side camera 12C perform recognition processing on image frames to identify moving objects behind/to the side of the vehicle, road markings, road edges, etc. Detect.
- the front camera 121, the rear camera 122, and the side camera 12C are collectively referred to as a surrounding monitoring camera.
- the surrounding surveillance camera is a device that outputs a signal indicating the behavior of other vehicles around the own vehicle to the HCU 30 by analyzing the video.
- the HCU 30 may have a function of detecting the behavior of other vehicles, lane markings, etc. by analyzing camera images.
- each surrounding surveillance camera outputs a video signal to the HCU 30.
- the video signal itself from a camera that captures an image of the outside of the vehicle can also correspond to a signal indicating the environment around the vehicle.
- the front radar 125 is a millimeter wave radar installed at the front of the vehicle, such as the front grill or front bumper.
- the forward radar 125 detects the distance, relative speed, and relative position to objects existing in the lane of the vehicle, such as a preceding vehicle.
- the rear radar 126 is a millimeter wave radar installed in the rear bumper. The rear radar 126 detects the relative position and relative speed of an object behind the vehicle, such as a following vehicle.
- the preceding vehicle in the present disclosure refers to a vehicle that travels in the same lane as the own vehicle and is closest to the own vehicle among the vehicles that exist in front of the own vehicle.
- the following vehicle refers to the vehicle that is closest to the own vehicle and that travels in the same lane as the own vehicle among the vehicles that exist behind the own vehicle.
- the own vehicle lane among the lanes provided on the road on which the own vehicle is traveling, the lane on which the own vehicle is traveling is referred to as the own vehicle lane.
- the own vehicle lane can also be called an ego lane.
- the surroundings monitoring sensor 12 described above is just an example, and the in-vehicle system Sys does not need to include all of the surroundings monitoring sensors 12 described above.
- sensors that form a detection area in front of the vehicle such as the front camera 121 and the front radar 125, are referred to as a front system sensor 12A.
- sensors forming a detection area behind the own vehicle are referred to as rear system sensors 12B.
- the front includes not only directly in front but also diagonally in front.
- the rear includes not only directly behind, but also diagonally behind.
- Lateral includes not only the side, but also diagonally forward and diagonally backward.
- the driver camera 13 is a visible light/infrared camera, and is placed in the vehicle interior at a position and posture that allows it to image at least the driver's face.
- the driver camera 13 is disposed on the top surface of the steering column cover, the top surface of the instrument panel, the top end of the windshield, etc., with its optical axis directed toward the headrest of the driver's seat.
- the driver camera 13 sequentially detects the driver's condition by analyzing the driver's face image included in the captured video.
- the driver camera 13 detects the direction of the driver's face and line of sight as the driver's state.
- the viewing direction can indicate which area of the display 21 the user is looking at.
- the line of sight direction may be specified by the direction of the face.
- the driver camera 13 sequentially outputs information indicating the state of the driver identified from the captured image to the HCU 30 as driver state data.
- the HCU 30 may have a function of detecting the status of the driver and the like based on the video signal of the camera.
- the driver camera 13 also corresponds to an example of a driver behavior sensor.
- the wireless communication device 14 is a device for the own vehicle to perform wireless communication with other devices.
- the wireless communication device 14 is configured to be able to perform cellular communication.
- Cellular communication is wireless communication that complies with standards such as LTE (Long Term Evolution), 4G, and 5G.
- the wireless communication device 14 may be configured to implement cellular V2X (PC5/Uu).
- the wireless communication device 14 is configured to be able to perform short-range communication.
- short-range communication refers to wireless communication whose communicable distance is limited to several hundred meters.
- the short-range communication standard may be DSRC (Dedicated Short Range Communications) compatible with the IEEE802.11p standard, Wi-Fi (registered trademark), or the like.
- the short range communication may be the aforementioned cellular V2X.
- vehicle-to-vehicle communication is also referred to as vehicle-to-vehicle communication.
- roadside equipment which is communication equipment installed along the road, is also called road-to-vehicle communication.
- the wireless communication device 14 may be configured to be able to perform only either cellular communication or short-range communication.
- the wireless communication device 14 can acquire dynamic map data according to the current location from an external device such as a map distribution server or a roadside device.
- Dynamic map data is map data that shows the positions of obstacles on the road. Obstacles include vehicles parked on the road, construction zones, lane restriction zones, and fallen objects.
- the dynamic map data can also be regarded as a type of traffic information.
- the wireless communication device 14 can receive images from a roadside camera through road-to-vehicle communication.
- a roadside camera is a camera attached to a roadside machine.
- the roadside device can distribute images of roads that are blind spots from the own vehicle, such as roads to which the vehicle is turning, as traffic information.
- the roadside device may distribute the position, moving direction, moving speed, and type of the moving object detected by a millimeter wave radar attached to the roadside device as traffic information.
- the data received by the wireless communication device 14 is transmitted to the HCU 30.
- the navigation device 15 is a device that uses map data to calculate a travel route from the current location to the destination, and provides a function to guide travel from the current location to the destination.
- the destination is set by a passenger such as a driver.
- Current location information may be obtained from the locator 16.
- the function equivalent to the navigation device 15 may be provided in an external server, or may be provided in a smartphone or the like brought into the vehicle by the driver.
- the locator 16 is a device that calculates and outputs the position coordinates of the own vehicle using navigation signals transmitted from positioning satellites that constitute GNSS (Global Navigation Satellite System).
- Locator 16 includes a GNSS receiver, an inertial sensor, and a map memory.
- the inertial sensor may be a gyro sensor or an acceleration sensor.
- the map memory is a storage medium in which high-precision map data is stored.
- a high-precision map is a map that shows the three-dimensional shape of a road, the installation positions of road markings such as lane markings, the installation positions of traffic signs, etc. with the accuracy necessary for autonomous driving.
- the map memory may be a memory for temporarily holding map data received by the wireless communication device 14 from the map server until the expiration date of the data expires.
- the map data referred to by the locator 16 is not limited to a high-precision map, but may be map data for navigation with relatively low precision.
- the locator 16 determines the position of the own vehicle equipped with the locator 16 (hereinafter referred to as the own vehicle position) and the direction of movement by combining the positioning signal received by the GNSS receiver, the detection value of the inertial sensor, and the road shape shown in the map data. positioning sequentially.
- the vehicle position may be expressed in three-dimensional coordinates of latitude, longitude, and altitude.
- the locator 16 reads out surrounding map data, which is map data of a predetermined range determined based on the current position, from among the map data stored in the map memory, and provides it to the HCU 30 .
- Such a locator 16 may be built into the navigation device 15.
- the locator 16 may be configured to be able to perform localization processing. Localization processing identifies the vehicle's position on the map by comparing the coordinates of landmarks identified based on images captured by surrounding surveillance cameras with the coordinates of landmarks registered in map data. Refers to processing.
- a landmark is a three-dimensional structure installed along a road, such as a direction sign or other guide sign.
- the locator 16 may be configured to be able to identify the own vehicle lane number based on distance information from the own vehicle to the road edge detected by the surrounding monitoring sensor 12.
- the own vehicle lane number is a number indicating the driving position of the own vehicle in the road width direction, and is determined according to the number of other lanes existing between the left end or right end of the road and the own vehicle lane.
- the automatic operation device 17 is a device that executes some or all of the driving operations in place of the driver by controlling the travel actuators based on the detection results of the surrounding monitoring sensor 12 and the like.
- the travel actuator is an actuator for accelerating, decelerating, and turning the vehicle.
- the travel actuator may be a brake actuator as a braking device, an electronic throttle, an EPS (Electric Power Steering) motor, or the like.
- the automatic operation device 17 is mainly composed of a computer equipped with a processor, memory, storage, etc. It has multiple operating modes with different levels of automation of driving operations.
- the automatic operation device 17 is configured to be able to switch between a fully manual mode, a driving support mode, and an automatic operation mode.
- the operation mode of the automatic operation device 17 can also be called a driving mode.
- Fully manual mode is an operating mode in which the driver performs all driving tasks (driving maneuvers).
- the driving support mode is an operation mode in which the automatic operation device 17 performs at least one of acceleration/deceleration and steering operations.
- Automated driving mode is the operating mode in which the system performs all driving tasks.
- Full manual mode and driver assistance mode are driving modes in which the driver performs at least some driving tasks. In this disclosure, when the fully manual mode and the driving support mode are not distinguished, they are also collectively referred to as manual driving mode.
- the operation mode of the automatic operation device 17 is switched based on the passenger's operation on the operation device 23 or voice input.
- the automatic driving mode is terminated due to a driver operation (so-called override), a system limit, or the like.
- the automatic operation device 17 outputs a signal indicating the current mode, which is the current operation mode, to the HCU 30. Further, the automatic operation device 17 outputs a signal indicating whether or not a driving change is in progress to the HCU 30.
- the automatic operation device 17 executes automatic operation control, which is control for autonomously driving the own vehicle along a preset route, in the automatic operation mode. Further, the automatic operation device 17 can perform ACC (Adaptive Cruise Control) during the automatic operation mode or the driving support mode.
- ACC allows the vehicle to travel at a predetermined target speed if there is no vehicle in front within a predetermined distance, and maintains the distance between the vehicle and the vehicle in front if there is a vehicle in front within a predetermined distance.
- ACC is started based on an instruction from a passenger.
- the ACC target speed may be input by the driver, or a speed limit determined by map data or road sign recognition may be applied.
- the display 21 is a display device provided on the instrument panel.
- the display 21 is configured to be capable of full color display.
- the display 21 displays text and images based on instructions from the HCU 30.
- the display 21 of this embodiment is formed continuously from the right end to the left end of the instrument panel at the upper end of the instrument panel, as shown in FIG.
- the display 21 can also be called a pillar-to-pillar display or a full-scale instrument panel display.
- the display 21 has a display screen with a width of 0.6 m or more, and is configured to be able to display a plurality of screens (windows) for different functions in parallel.
- the HCU 30 displays a meter window Wmt, a right camera window Wcr, a left camera window Wcl, and an infotainment window Winf on the display 21 in parallel.
- the meter window Wmt is an area that displays information necessary for driving operations, such as vehicle speed, motor/engine rotational speed, battery/gasoline remaining amount, shift position, turn signal operating status, and the like.
- the right camera window Wcr is an area where the image of the right camera 123 is displayed.
- the left camera window Wcl is an area where the image of the left camera 124 is displayed.
- the right camera window Wcr and the left camera window Wcl are collectively referred to as a side camera window Wcs. Since the camera window is an area for displaying camera images, it can also simply be referred to as a camera image.
- the infotainment window Winf is an area where an infotainment screen is displayed based on the occupant's operation. Infotainment is a coined word that combines the words "information" and "entertainment.”
- the infotainment window Winf displays a home screen for selecting applications, surrounding map images, audio screens, movies, television, and the like.
- the display content and display mode of each window are dynamically adjusted by the HCU 30.
- Elements that constitute the display mode include display position, screen brightness (luminance), window size (display size), 3D rotation angle, presence or absence of decorative elements, and the like.
- Decorative elements refer to markers, blinking frames, window shadows, etc.
- Brightness adjustment for each window may be realized by adjusting the amount of light of the light source corresponding to the display position of the window.
- a gap may be provided between each window.
- a background image is displayed in areas where no windows are placed.
- the display 21 is configured so that the brightness (that is, luminance) of the display screen can be partially adjusted.
- the display 21 may be a liquid crystal display with a partially drivable direct backlight.
- the display 21 may be an organic EL display.
- the display 21 only needs to be able to adjust the brightness of the area where the side camera window Wcs is arranged independently of the other areas.
- the display 21 may be an edge-type liquid crystal display having independent light sources at the center, right end, and left end.
- the speaker 22 is a device that outputs sound corresponding to the signal input from the HCU 30.
- the expression "sound” includes not only notification sounds but also voices (announcements), music, and the like.
- the speakers 22 are arranged on the left and right doors, the instrument panel, the A-pillar, the ceiling, and the like.
- the operating device 23 is a device for receiving instructions from the occupant to the in-vehicle system Sys.
- the operating device 23 is a device operated by the passenger's fingers.
- the in-vehicle system Sys includes a touch panel, a touch pad, and a steering wheel switch as the operation device 23.
- the touch panel is stacked on the display 21.
- the steering switch is a switch provided on a spoke part of the steering wheel.
- the occupant's operation on the operating device 23 can be read as inputting an instruction to the in-vehicle system Sys.
- Each operation device 23 outputs an electric signal corresponding to an operation performed by the occupant to the HCU 30 as an operation signal.
- the operation signal includes information indicating the details of the occupant's operation. Note that a switch/lever for operating a direction indicator can also be understood as a type of operating device 23.
- the HCU 30 controls the display screen of the display 21 based on signals input from various sensors/devices.
- the HCU 30 is mainly composed of a computer including a processor 31, a memory 33, a storage 32, a communication interface 34, a bus connecting these, and the like.
- the processor 31 is an arithmetic core such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit).
- the processor 31 executes various processes by accessing the memory 33.
- the storage 32 is a rewritable nonvolatile memory such as a flash memory.
- a display control program which is a program executed by the processor 31, is stored in the storage 32. Executing the display control program by the processor 31 corresponds to executing the display control method.
- the memory 33 is a rewritable volatile storage medium such as RAM (Random Access Memory).
- the communication interface 34 is an interface for the HCU 30 to communicate with other devices/sensors, that is, a signal input/output circuit.
- the HCU 30 includes an information acquisition unit F1, a video acquisition unit F2, a display control unit F3, a scene determination unit F4, and a motion determination unit F5. These functional units are realized by the processor 31 executing the in-vehicle equipment control program.
- the information acquisition unit F1 acquires various information from various sensors/devices connected to the HCU 30 and temporarily stores it in the memory 33.
- the information acquisition unit F1 acquires the traveling speed, acceleration, steering status, operating status of a direction indicator, etc. of the own vehicle from the vehicle status sensor 11.
- the information acquisition unit F1 also acquires information on other cars existing around the own vehicle and information on the position and type of obstacles existing on the own vehicle lane from the surroundings monitoring sensor 12 and the wireless communication device 14.
- Information about other vehicles refers to the relative speed and position of the vehicle, the operating status of turn signals, and the lighting status of brake lights/hazard lights.
- the information acquisition unit F1 also acquires the positions of lane section lines on the left and right of the own vehicle, the positions of road edges, etc. from the surrounding monitoring sensor 12.
- Position information such as other vehicles and lane markings can be expressed in a two-dimensional or three-dimensional relative coordinate system with the own vehicle as a reference.
- the information acquisition unit F1 is configured to acquire the driving environment of the own vehicle through sensor fusion processing that integrates signals from the surrounding monitoring sensor 12, map data, and data received by the wireless communication device 14. Also good. "Acquisition” in the present disclosure also includes generation/detection by internal calculation based on data input from other devices/sensors.
- the information acquisition unit F1 acquires a signal indicating the current operation mode from the automatic operation device 17.
- the information acquisition unit F1 also acquires information indicating the driver's state/behavior from the driver camera 13.
- Information indicating the condition of the occupant includes the direction of the face, the direction of the line of sight, and the posture.
- the viewing direction indicates whether the user is looking toward the display 21, in front of the vehicle, in the rearview mirror, to the side of the vehicle, or diagonally behind the vehicle.
- the viewing direction toward the display 21 can be determined by dividing it into the right end, the front of the driver's seat, the passenger seat side, and the left end. Whether the display 21 is being viewed or the detailed area thereof may be determined based on the pitch angle and yaw angle in the viewing direction.
- the angle of the viewing direction can be calculated with the front direction of the vehicle as a reference.
- the video acquisition unit F2 acquires video signals from the surrounding surveillance camera.
- the image acquisition unit F2 acquires images from the right camera 123 and the left camera 124.
- the video acquisition unit F2 converts the video signal input from the surrounding surveillance camera into digital image data in a predetermined data format, and outputs the digital image data to the display control unit F3.
- the display control unit F3 controls the display screen of the display 21.
- the display control unit F3 displays the image of the right camera 123 in a predetermined first size on the right end of the display 21 as the right camera window Wcr.
- the display control unit F3 also displays the image of the left camera 124 in a predetermined first size on the left end of the display 21 as the left camera window Wcl.
- Such a configuration corresponds to a CMS (Camera Monitoring System) or an electronic side mirror located on the rear side of the vehicle.
- the display control unit F3 does not display the image of the right camera 123 as it is, but performs distortion correction etc. on the image data of the range to be displayed out of the image of the right camera 123 according to the lens characteristics. Display after processing.
- the display control unit F3 performs similar processing such as cropping and distortion correction when displaying the image of the left camera 124.
- the display control unit F3 draws a meter window Wmt of a predetermined size based on information such as vehicle speed, and displays it at a predetermined position.
- the display position of the meter window Wmt is in front of the driver's seat.
- the display items included in the meter window Wmt can be dynamically changed depending on the state of the own vehicle. Further, the display items included in the meter window Wmt may be configured to be changeable by driver operation. The display position, width, design, etc. of the meter window Wmt may also be changed depending on the situation.
- the display control unit F3 displays an infotainment window Winf that includes a surrounding map image and the like between the meter window Wmt and the left camera window Wcl.
- the display control unit F3 changes the display contents of the infotainment window Winf based on the signal from the operating device 23.
- the infotainment window Winf displays an operation screen according to the application being executed.
- the infotainment window Winf may be divided into multiple parts for each application.
- the display positions of each of the above screens are exemplified when the driver's seat is provided on the right side.
- the present disclosure is also applicable to vehicles in which the driver's seat is provided on the left side.
- the display control unit F3 may display the infotainment window Winf between the meter window Wmt and the right camera window Wcr.
- the information presentation control according to the present disclosure may be optimized as appropriate depending on the road traffic laws of each country and region, the position of the steering wheel of the vehicle, and the like.
- the display control unit F3 dynamically changes the display mode of the right camera window Wcr and the left camera window Wcl based on at least one of the determination result of the scene determination unit F4 and the determination result of the motion determination unit F5, which will be described next. Change to Further, the display control unit F3 can also dynamically adjust the display mode of the infotainment window Winf and the meter window Wmt in conjunction with the adjustment of the side camera window Wcs. That is, the display control unit F3 dynamically changes the display mode of each window in the display 21 according to the traffic conditions around the own vehicle, the control plan, and the behavior of the driver. Control of the display mode of each camera image by the display control unit F3 will be described separately later.
- the scene determination unit F4 determines the current driving scene based on at least one of the signals from the surrounding monitoring sensor 12, the correspondence between the vehicle's position on the map and the planned driving route, and data received from an external device. It is determined whether the scene corresponds to a side confirmation scene.
- the side confirmation scene corresponds to a scene in which the driver should visually check the side of his/her own vehicle. As mentioned above, lateral includes diagonally backward and diagonally forward.
- the side confirmation scene can be divided into a left confirmation scene and a right confirmation scene, depending on the direction in which the own vehicle is likely to move.
- a side confirmation scene such as a right confirmation scene or a left confirmation scene corresponds to the specific scene.
- Side confirmation scenes include more specific situations: lane change scenes where there is a high possibility that the vehicle will change lanes, and right/left turn scenes where the vehicle is within a predetermined distance from the planned intersection. It can be divided into A scene in which there is a high possibility of changing lanes to the right or a scene in which the vehicle is traveling within a predetermined distance from an intersection where a right turn is planned corresponds to a right confirmation scene. Furthermore, a scene in which there is a high possibility of changing lanes to the left, or a scene in which the vehicle is traveling within a predetermined distance from an intersection where a left turn is planned corresponds to a left-side confirmation scene.
- the scene determination unit F4 determines whether or not the scene corresponds to a side confirmation scene based on information indicating the driving environment around the vehicle, such as the planned travel route of the vehicle, the behavior of other vehicles, and the presence or absence of obstacles. .
- the information indicating the driving environment around the own vehicle is not limited to the environment that the own vehicle faces, but also includes information about the section the vehicle is scheduled to pass within a predetermined time (for example, 5 seconds or 10 seconds).
- Conditions for the scene determination unit F4 to determine that the scene is a side confirmation scene may be set in advance.
- the scene determination unit F4 determines whether a lane change is necessary based on the scheduled travel route of the vehicle, surrounding map information, and the current lane number of the vehicle. Determining that it is necessary to change lanes corresponds to determining that the scene corresponds to a side confirmation scene.
- Whether or not a lane change is necessary can be determined based on the relationship between the traveling direction assigned to the lane of the vehicle and the planned travel route. For example, a scene in which a lane change is required occurs when the vehicle is planning to go straight through an intersection in front of the vehicle, but the vehicle's current lane is a left-turn/right-turn lane. Conversely, a situation in which the current vehicle lane is a straight-only lane even though the vehicle is planning to turn right or left at an intersection also corresponds to a scene in which a lane change is required.
- the planned travel route can be acquired from various devices such as the navigation device 15, locator 16, and automatic operation device 17 installed in the own vehicle.
- the traveling direction assigned to the lane of the vehicle can also be specified based on signals input from the front camera 121, the navigation device 15, the locator 16, the automatic operation device 17, and the like.
- the scene determination unit F4 may determine that the scene is a side confirmation scene when the remaining distance/remaining time to an intersection where a right or left turn is scheduled as the planned travel route is less than a predetermined value.
- the remaining distance to the intersection can be specified based on the location of the target intersection and the location of the vehicle. Further, the remaining time to the intersection is the time required to reach the target intersection, and can be approximately estimated by dividing the remaining distance to the target intersection by the estimated speed of the vehicle.
- the above determination method is based on the correspondence between the vehicle's position on the map and the planned travel route. This corresponds to a method for determining whether or not the item is applicable.
- the scene determination unit F4 may determine that the scene corresponds to a side confirmation scene when it is detected that an obstacle is present on the own vehicle lane.
- the presence or absence of an obstacle can be determined based on a signal from the surrounding monitoring sensor 12 or data received from an external device such as a roadside device/another vehicle.
- the scene determination unit F4 may determine that the scene corresponds to a side confirmation scene when it detects that two or more other vehicles traveling in front of the vehicle in the vehicle lane have changed lanes in succession. This is because the above behavior suggests that there is an obstacle in the lane of the vehicle, and that the vehicle also needs to change lanes. A lane change by another vehicle traveling ahead of the preceding vehicle may be detected by the forward system sensor 12A, or may be detected based on data received through inter-vehicle communication. In this way, the scene determination unit F4 corresponds to a method of determining whether or not the scene corresponds to a side confirmation scene based on the signal from the surrounding monitoring sensor 12 or the data received wirelessly from an external device.
- the scene determination unit F4 determines at least one of the following: that the own vehicle is approaching the preceding vehicle at a relative speed equal to or greater than a predetermined value, and that the distance between the own vehicle and the preceding vehicle is less than a predetermined value. Based on one of the two, it may be determined that the scene corresponds to the side confirmation scene. Alternatively, it may be determined that the own vehicle is about to change lanes based on the fact that the speed of the preceding vehicle is smaller than the ACC target speed set for the own vehicle. This is because if the preceding vehicle is slow, there is a high possibility that the driver/automatic operation device 17 will change lanes to overtake the preceding vehicle.
- the scene determination unit F4 prevents the scene from being determined as a side confirmation scene when the host vehicle is in a predetermined deceleration zone, even if the relationship between the preceding vehicle and the host vehicle corresponds to the above pattern.
- a deceleration section refers to a section within a predetermined distance from traffic lights, curves, toll gates, etc. Further, a section within a predetermined distance from a point where the speed limit set for the road decreases by a predetermined value or more, and a rampway for moving from an expressway to a general road also correspond to a deceleration section. In these deceleration zones, there is a small possibility that the vehicle will change lanes to pass the vehicle in front. Note that the presence of the own vehicle in the deceleration zone may be detected based on surrounding map data, or may be identified by analyzing the image of the front camera 121.
- the scene determination unit F4 may determine that the scene is a side confirmation scene based on the presence of the own vehicle in a lane-free section provided near a toll gate.
- a lane-free section refers to a zone where lane markings are not provided.
- the own vehicle and other vehicles may drive diagonally toward a desired gate/road.
- the area before and after the tollgate may correspond to a zone where drivers should be careful about diagonally rearward.
- the scene determination unit F4 may determine that the scene is a side confirmation scene based on the fact that the front camera 121 is no longer able to detect the lane markings that define the own vehicle lane. This is because the fact that lane markings cannot be detected indicates a lane-free section.
- the scene determination unit F4 determines that the scene is a side confirmation scene based on the fact that the following vehicle is approaching the own vehicle at a relative speed equal to or higher than a predetermined value. good.
- lanes other than the first lane correspond to overtaking lanes.
- the own vehicle changes lanes to the first lane in order to give way to the following vehicle. From this point of view, when the own vehicle lane is other than the first lane, a case where a following vehicle is approaching the own vehicle at a relative speed of a predetermined value or more can also be included in the side confirmation scene.
- the scene determination unit F4 collects data that directly indicates the driver's actions related to lateral movement, such as the operating state of the turn signal, the direction of the driver's line of sight, and the operating state of the driver's steering wheel. It is determined whether the scene is a side confirmation scene or not.
- the operating state of the steering wheel refers to the steering angle, steering torque, strength of grip on the steering wheel, etc.
- the determination of whether the scene is a side confirmation scene and the estimated direction of movement may be performed using a discrimination model that is a result of learning the behavior of the own vehicle and other vehicles in each driving environment.
- the identification model here is a device/software that outputs estimation results of driver actions such as lane changes and right turns based on various input data indicating the driving environment.
- Determining the scene using the identification model also corresponds to a configuration in which it is determined whether the current situation corresponds to a side confirmation scene using data indicating the driving environment.
- the identification model may be configured to output different estimation results depending on the driver's personality such as whether the driver is impatient or not, the time of day, and the like.
- the operation determination unit F5 is a module that detects whether the driver has performed a specific operation related to peripheral monitoring, in other words, detects the specific operation of the driver.
- the specific action here mainly refers to the driver's preliminary action for lateral movement, such as turning left or right or changing lanes.
- the driver's preparatory actions for moving in the lateral direction are a direction indication operation and a side confirmation behavior.
- the direction indicator operation is an operation for activating the direction indicator, and specifically means moving the direction indicator switch (lever) left and right or up and down.
- the side checking behavior is a behavior in which the driver checks the outside of the vehicle, and means looking at the right or left side camera window Wcs, or turning to the side of the own vehicle.
- the brightness of the side camera window Wcs is suppressed, so the side camera window Wcs does not need to block the line of sight of front seat occupants such as the driver and front passenger. It can reduce the fear of (excessive) attraction. Accordingly, it is possible to reduce the possibility of bothering the occupants in the front seats. Furthermore, in the second and third modes, the driver can clearly view the image shown in the target camera window.
- the above configuration corresponds to a configuration in which the side camera window Wcs in a direction that is estimated to be less necessary for the driver to view is displayed in a darker manner.
- the first size is set to about 50%, 60%, or 70% of the second size.
- the second size is set to be 1.5 times or twice the first size.
- the first size and the second size have the same aspect ratio.
- the target camera window displayed in the third mode is an enlarged display of the video having the same angle of view as in the first and second modes.
- the above configuration corresponds to a configuration in which the side camera window Wcs in a direction that is estimated to be less necessary for the driver to view is displayed in a smaller size.
- the display control unit F3 may display the video area that was not displayed in the first size.
- the display control unit F3 may change the cutting angle of view of the camera image used for display display in conjunction with the change in display size.
- the image is displayed within a horizontal angle of view of 30 degrees from directly behind, while in the third mode, the image is displayed within a horizontal angle of view of 45 degrees. Also good.
- the one-dot chain line in FIG. 7 indicates an example of the cropping angle of view corresponding to the first size, and the two-dot chain line indicates an example of the cropping angle of view corresponding to the second size.
- the cropping angle of view is a parameter that defines the range to be cropped for display from the entire photographed image.
- the cropping angle of view can also be called a display angle of view, cropping range, display range, etc.
- the display control unit F3 may adjust the cutout angle of view according to the steering angle and the vehicle speed.
- the display control unit F3 may increase the cropping angle of view as the steering angle increases.
- the display control unit F3 may set the cut-out angle of view to be smaller as the own vehicle speed is higher. Furthermore, the display control unit F3 may adjust the cutout angle of view so that the object of interest is located at the center of the displayed image.
- the object of attention refers to a moving object that may come into contact with the own vehicle.
- the processor 31 detects the object of caution based on the positional relationship, moving direction, and moving speed between the own vehicle and the object.
- the object to be cautioned about can be an object whose time to collision (TTC) is less than a predetermined value, or a moving object whose moving direction intersects with the planned trajectory of the own vehicle.
- TTC time to collision
- the object of attention is detected based on a signal from the surrounding monitoring sensor 12.
- the display control unit F3 displays an image placed with the detected caution object in the center as a caution object window Wrn, as shown in FIG. It may be displayed next to the window Wcs.
- This configuration corresponds to a configuration in which an image of the object of attention included in the target camera window is displayed in a separate frame. According to the configuration in which the caution target is displayed in a separate frame, it is possible to reduce the possibility that the driver will overlook the caution target.
- the flowchart shown in FIG. 12 includes steps S101 to S107 as an example.
- the descriptions of the information acquisition unit F1 to the operation determination unit F5 as the entities implementing the steps can be read as the processor 31 as appropriate.
- the information acquisition unit F1 acquires information (that is, judgment materials) for executing the various determinations shown in FIG.
- the information acquisition unit F1 acquires the vehicle speed of the own vehicle, the operating state of the turn signal, the traffic situation in front of the own vehicle, the own vehicle position, surrounding map data, the direction of the driver's line of sight, and the like.
- Step S101 is a step in which the display control unit F3 displays the right camera window Wcr and the left camera window Wcl in the first mode.
- each side camera window Wcs is displayed with the first brightness and the first size.
- the scene determination unit F4 determines the current driving scene using any of the signals from the surrounding monitoring sensor 12, the correspondence between the vehicle's position on the map and the planned driving route, and the traffic information received from an external device. It is determined whether or not corresponds to a side confirmation scene. The criterion/determination as to whether the scene corresponds to a side confirmation scene may be performed using one or more of the various logics described above.
- the determination sequence in step S102 is executed at predetermined intervals.
- Step S102 NO If it is determined that the current driving scene corresponds to the side confirmation scene (S102 NO), the process returns to S101, and the display control unit F3 maintains the first mode as the display mode of each side camera window Wcs.
- the display control unit F3 switches the target camera window to the second mode (S103). Specifically, the display control unit F3 increases the display brightness of the target camera window from the first brightness to the second brightness to improve visibility/visual conspicuousness.
- Step S103 corresponds to primary presentation processing.
- the processor 31 determines in step S102 that the current driving scene corresponds to the side confirmation scene, the processor 31 also acquires the direction in which the own vehicle is expected to move, that is, the estimated movement direction. Furthermore, the first mode is maintained for the non-target camera window, which is the one that is not the target camera window, among the left and right side camera windows Wcs.
- Step S104 is a step in which it is determined whether the driver has performed a direction indicating operation or a side checking behavior. This determination is performed based on the operating state of the turn signal and the direction of the driver's line of sight. If the driver's direction indication operation or side confirmation behavior is not detected (S104 NO), step S102 is executed. Further, if it is detected that the driver has performed a direction instruction operation or side confirmation behavior (S104 YES), the display control unit F3 switches the display mode of the target camera window from the second mode to the third mode. (S105). Step S105 corresponds to secondary presentation processing.
- the motion determination unit F5 determines in step S104 that the driver has performed a direction indication operation or side confirmation behavior, it also acquires the observed movement direction. If the estimated movement direction and the observed movement direction are different, the processor 31 may give priority to the observed movement direction.
- the display control unit F3 resets the target camera window to the side camera window Wcs corresponding to the observation movement direction, and gradually shifts the display mode to the third mode. At the same time, the display control unit F3 returns the display of the side camera window Wcs on the side of the estimated movement direction from the second mode to the first mode.
- both side camera windows Wcs may be displayed in the second mode. According to this configuration, even if the estimated movement direction or the observed movement direction is incorrectly determined, the driver can visually recognize the desired direction.
- Step S106 is a step in which the processor 31 determines whether a predetermined release condition is satisfied.
- the release condition is a condition for ending display in the third mode.
- the cancellation condition corresponds to the display cancellation condition.
- the release condition can be set for each reason for determining that the scene is a side confirmation scene, in other words, for each reason for switching to the second mode. If the processor 31 determines that the current driving scene is a left/right turn scene, passing through an intersection corresponds to the release condition. Passing through an intersection can be determined based on the fact that the vehicle position has moved to the exit link of the intersection and that the absolute value of the steering angle has become less than or equal to a predetermined value.
- the completion of the lane change corresponds to the release condition.
- Completion of the lane change can be determined based on the steering angle, the output signal of the front camera 121, a change in the own vehicle lane number, and the like.
- the fact that the elapsed time since switching to the third mode exceeds a predetermined timeout value can also be adopted as a release condition.
- the timeout value may be set to 15 seconds, 30 seconds, etc.
- the processor 31 may temporarily stop counting the elapsed time since switching to the third mode while the own vehicle is stopped.
- the display control unit F3 continues to display the target camera window in the third mode until the release condition is satisfied (S106 NO). On the other hand, if the display control unit F3 detects that the release condition is satisfied (S106: YES), the process moves to step S107 and determines whether or not the driving power source is on. If the running power source is on (S107 YES), the process returns to step S101. On the other hand, if the running power source is set to off (S108: NO), this flow ends.
- the flowchart shown in FIG. 13 includes steps S201 to S208 as an example.
- the description of the processor 31 as the entity that executes the steps can be read as any of a plurality of functional units included in the HCU 30, such as the information acquisition unit F1 to the operation determination unit F5, as appropriate.
- Step S201 is a step in which the processor 31 serving as the scene determination unit F4 determines whether the vehicle is planning to turn right or left at the next intersection by comparing the planned travel route and the position of the own vehicle.
- the next intersection refers to the nearest intersection in front of the vehicle.
- the display control unit F3 applies (that is, maintains) the first mode as the display mode of the right camera window Wcr and the left camera window Wcl, and ends this flow. Note that when the processor 31 approaches another intersection, it executes this flow again. Further, the processor 31 can make a judgment regarding the necessity of changing lanes at any time, and change the display mode of the side camera window Wcs as a result.
- the display control unit F3 starts displaying the side camera window Wcs in the second mode in the direction corresponding to the direction of travel at the intersection (S202).
- a case where a driver is planning to turn left or right at the next intersection corresponds to a side confirmation scene. Further, the direction corresponding to the direction of travel at the intersection corresponds to the estimated movement direction.
- the display control unit F3 sets the right camera window Wcr as the target camera window, and if a left turn is planned, the display control unit F3 sets the left camera window Wcl as the target camera window.
- Step S203 is a step in which the processor 31 determines whether or not a cautionary object exists based on the signal from the surrounding monitoring sensor 12. If a caution target object exists (S203 YES), the display control unit F3 displays the target camera window in the third mode, and displays the caution target window Wrn next to the target camera window (S204). When a cautionary object exists, the third mode is applied regardless of whether or not the driver has performed a specific action, thereby making it easier for the driver to recognize the existence of the cautionary object. Note that when the object of attention is detected, the display control unit F3 displays a camera image in which the object of interest is added with an object marker Tmk.
- Step S205 corresponds to a step in which the motion determination unit F5 determines whether or not a direction instruction operation has been performed. In the determination in step S205, if the direction indicator is not operating, the processor 31 maintains the display mode of the target camera window set to the second mode. On the other hand, if the direction indicator is operating (S205 YES), the display control unit F3 displays the target camera window in the third mode (S206).
- Step S205 may be a step of determining whether or not the direction indicator is operating, regardless of the operating entity. Moreover, step S205 may be a step of determining whether or not the driver performed a side checking behavior.
- Step S207 is a step of determining whether the vehicle has passed through an intersection based on the vehicle position information on the map. If the vehicle has passed through the intersection (S207: YES), the display mode of each side camera window Wcs is returned to the first mode, and this flow ends. If the vehicle has not yet passed through the intersection, the sequence from step S203 onwards is executed again.
- the display control unit F3 may switch the right camera window Wcr to the third mode if it detects a direction instruction operation or side confirmation behavior related to rightward movement.
- the display control unit F3 switches the left camera window Wcl to the third mode when it detects a direction instruction operation or side confirmation behavior related to leftward movement.
- This configuration has the advantage that the driver can easily visually recognize the side camera window Wcs corresponding to the direction in which he or she wants to move.
- the need for the driver to monitor the surroundings may be weaker than during manual driving.
- the driver may be performing a second task. Control that automatically increases or decreases the brightness of side camera images can be troublesome for drivers who are performing a second task.
- the second brightness applied during automatic driving may be set lower by a predetermined amount than the second brightness applied during manual driving.
- the second size applied during automatic operation may be set smaller by a predetermined amount than the second size applied during manual operation.
- the second task is an act other than driving, such as operating a smartphone or viewing documents.
- the side camera window Wcs which serves as an electronic side mirror, is more easily visible to the front seat occupant than a side mirror provided outside the vehicle.
- the displayed image on the side camera window Wcs continues to change as the own vehicle travels and other moving objects move. Therefore, the side camera window Wcs tends to attract the attention of front seat occupants. If the side camera window Wcs continues to be displayed with the same brightness as the meter window Wmt, it may cause annoyance to the front seat occupants.
- the above configuration displays the left and right side camera windows Wcs with their brightness suppressed in scenes where the vehicle is unlikely to turn left or right or change lanes, that is, in normal times. Therefore, it is possible to reduce the possibility of bothering the occupants in the front seats. Further, while driving, the time is longer during normal times than when turning right or left or changing lanes. Since the first brightness is maintained during normal times, power consumption can also be suppressed.
- the HCU 30 sequentially determines whether the current driving scene corresponds to a side confirmation scene based on information such as the correspondence between the vehicle position on the map and the planned driving route and the traffic conditions in front and behind the vehicle. Determine. If it is determined that the scene corresponds to the side confirmation scene, the side camera window Wcs in the estimated movement direction is displayed in the second mode. That is, even before the driver performs an operation related to turning right or left or changing lanes, such as a direction indication operation, the HCU 30 displays the side camera window Wcs corresponding to the expected direction of movement in a manner that is relatively more conspicuous than usual.
- the signal from the surroundings monitoring sensor 12, the map data about the area that the vehicle is scheduled to pass within a predetermined time, and the traffic information received from the external device correspond to information indicating the environment around the vehicle.
- the HCU 30 described above predicts the driver's desire to check the surroundings in the near future based on information indicating the environment around the own vehicle, which is not directly related to the driver's behavior/operation. Present the camera image. According to the HCU 30, camera images in a direction corresponding to the driver's demands/responsibilities can be presented at any time in advance of the driver's movements, thereby improving convenience for the driver.
- the primary preliminary movement to the right refers to behavior that suggests that the driver may be trying to turn right/change lanes to the right, that is, behavior with relatively low estimation accuracy.
- the primary preliminary motion related to movement to the right is a motion in which the driver looks toward the right camera window Wcr or outside the vehicle on the right side, and whose duration is less than a predetermined time (for example, 2 seconds).
- a predetermined time for example, 2 seconds.
- the primary preliminary action for moving to the right is to glance at the right camera window Wcr or the outside of the vehicle on the right.
- the primary preliminary operation can also be called a low-precision behavior or a suggested behavior.
- the primary preliminary operation for changing lanes is the act of setting the steering angle to a value that is at least a predetermined value larger than the value corresponding to the direction of road extension when the vehicle speed is above a predetermined value (for example, 60 km/h). It's okay.
- the primary preliminary operation for a right turn may be an act of setting the vehicle speed to a value within a predetermined range under a situation where the vehicle speed is less than a predetermined value (for example, 30 km/h).
- the predetermined range can be, for example, 15 degrees or more and less than 30 degrees.
- the primary preliminary operation may be an action of increasing the grip force on the steering wheel or applying a steering torque within a predetermined range.
- the motion determination unit F5 performs a secondary preparatory motion for the driver to change lanes to the right when the number of times the driver has turned his/her gaze toward the right camera window Wcr or the right rear within the last 10 seconds is two or more times. It may be determined that The secondary preliminary operation can also be referred to as high-precision behavior or semi-deterministic behavior.
- the secondary preparatory action for a right turn may be movement to the right turn lane.
- the secondary preparatory action for a right turn may be to start decelerating toward an intersection when the vehicle is driving in the rightmost lane of the road, even though the traffic light ahead is lit in green.
- the secondary preliminary operation related to a right turn may be an action of applying a steering torque of a predetermined value or more, or setting a steering angle to a predetermined value or more.
- the secondary preliminary operation related to a right turn may be an act of setting the steering angle to a predetermined value or more under a situation where the vehicle speed is less than a predetermined value (for example, 30 km/h).
- the secondary preliminary operation for changing lanes to the right sets the steering angle to a value that is at least a predetermined value larger than the value corresponding to the direction of road extension when the vehicle speed is above a predetermined value (for example, 60 km/h). It may be an act of doing something.
- the value corresponding to the road extension direction can be specified based on map data or image recognition results of lane markings or road edges.
- the above-mentioned specific operation may be the above-mentioned secondary preliminary operation. If the motion determination unit F5 detects driver behavior that strongly indicates that the driver is about to make a right turn, etc., even if the driver has not activated the turn signal, the motion determination unit F5 changes the display of the right camera window Wcr to the first or second direction.
- the second mode may be switched to the third mode.
- the processor 31 detects that the driver has moved to the right/left turn lane or has repeatedly turned his/her gaze to the side camera window/side, the processor 31 assumes that the driver has performed a direction indication operation, and The display mode may be made brighter/larger.
- This configuration corresponds to a configuration in which moving to a right/left turn lane or repeatedly turning the driver's gaze to the side camera window/side is treated as a direction indication operation.
- the scene determination unit F4 can output a correct probability value indicating the likelihood (accuracy) of the determination result.
- the display control unit F3 may control the display mode of the target camera window according to the correct probability value of the determination result that the scene corresponds to the side confirmation scene. If the correct probability value of the determination result that the current situation corresponds to the right confirmation scene is greater than or equal to the first threshold (for example, 40%) and less than the second threshold (for example, 70%), the display control unit F3 displays the target camera window as the 2 modes are applied.
- the first threshold for example, 40%
- the second threshold for example, 70%
- the target camera window is set to the third display mode. According to this configuration, the camera window in the direction that the driver should view can be automatically highlighted in stages according to the accuracy of the scene determination result.
- the scene determination unit F4 may determine whether the current situation corresponds to a side confirmation scene by using the driver's behavior in addition to information indicating the driving environment around the own vehicle. When the remaining distance/remaining time to an intersection where a right turn is scheduled as the planned travel route is less than a predetermined value, and the driver's primary preliminary movement related to a right turn is detected, the scene determination unit F4 performs a right check. It may be determined that it is a scene. Alternatively, if a driver's primary preliminary movement for changing lanes to the right is detected in a situation where an obstacle is detected in front of the vehicle, it may be determined that the scene is a right confirmation scene.
- the processor 31 uses the fact that the driving environment satisfies the conditions for determining the right confirmation scene and that the primary preliminary movement of the driver is observed as a rightward movement as a trigger, to display the right camera window.
- the display mode of Wcr may be switched from the first mode to the second mode. According to this configuration, the determination accuracy can be improved compared to a configuration in which scene determination is performed using only surrounding environment information.
- the scene determination unit F4 may also use the behavior history of other vehicles at the driving point to determine whether the scene corresponds to the side confirmation scene.
- the driving point refers to the current location of the vehicle itself, or a section within a predetermined distance from the current location.
- Data indicating the behavior history of other vehicles at the driving point can be distributed from an external server that collects the behavior of multiple vehicles.
- the behavior history of other vehicles indicates whether there are many or few vehicles changing lanes to the right/left at the driving point, and the percentage.
- the behavior history of other vehicles near an intersection indicates the ratio of vehicles turning right/turning left/going straight at the intersection.
- the scene determination unit F4 may determine whether or not the current situation corresponds to a side confirmation scene, taking into account whether or not this is a point where many other vehicles are changing lanes. According to the configuration, it is possible to improve scene determination accuracy. Note that this configuration corresponds to a configuration in which scene determination is performed based on the results of learning behavior trends of vehicles at each point using behavior data of other vehicles as a population.
- the scene determination unit F4 determines the direction of the side view based on the driver's behavior, the behavior history of other vehicles at the driving point, and the behavior history of the own vehicle at the driving point, in addition to information indicating the surrounding environment. It may also be determined whether the scene corresponds to a confirmation scene. Further, the scene determination unit F4 may determine whether or not the scene corresponds to a side confirmation scene by combining multiple types of information. The behavior history of other vehicles at the driving point and the behavior history of the own vehicle at the driving point also correspond to examples of objective information. With these configurations, the display of the side camera window Wcs can be changed even before the driver performs a semi-deterministic (explicit) action indicating that the driver intends to change lanes or turn right or left. In other words, the system can predict future lane changes and the like even before the driver moves, and brighten/enlarge the display mode of the camera image corresponding to the direction in which attention should be paid.
- the processor 31 may change the presence or absence of the object marker Tmk depending on whether the scene corresponds to the right confirmation scene.
- the processor 31 determines that the current scene corresponds to the right confirmation scene, the processor 31 displays the object marker Tmk in a superimposed manner on the right camera window Wcr as necessary.
- the processor 31 does not display the object marker Tmk in a superimposed manner. According to this configuration, it is possible to reduce the risk of causing the driver to unnecessarily focus on the right camera window Wcr.
- the processor 31 may be configured to dynamically change only the cropping angle of view of the right camera window Wcr depending on whether the scene corresponds to the right confirmation scene. For example, if it is determined that the scene corresponds to the right confirmation scene, the processor 31 sets the horizontal cutout angle of view to 45 degrees. On the other hand, if the processor 31 does not determine that the current scene corresponds to the right confirmation scene, the processor 31 may narrow down the horizontal cutout angle of view to 30 degrees.
- the processor 31 may be configured to dynamically change only one of the display size, display position, and display brightness depending on whether the scene corresponds to the right confirmation scene. Furthermore, when the processor 31 determines that the scene corresponds to the right confirmation scene, the processor 31 increases the display size and display brightness by a predetermined amount (for example, 40%) compared to a situation in which it is not determined that the right confirmation scene corresponds to the right confirmation scene. It may be configured as follows.
- the processor 31 as the display control unit F3 determines that when the scene determination unit F4 does not determine that the scene is a side confirmation scene, the processor 31 as the display control unit F3 determines that the side
- the refresh rate of the camera window Wcs may be lowered.
- the refresh rate is a parameter that specifies the frequency of screen rewriting.
- the display control unit F3 detects the driver's line of sight toward the side camera window Wcs for which the refresh rate has been lowered, the display control unit F3 restores the lowered refresh rate to a predetermined basic value. That is, the display control unit F3 may lower the refresh rate in the first mode compared to the second and third modes.
- the display control unit F3 may set the refresh rate in the second mode to, for example, half the refresh rate in the second mode.
- the refresh rate in the third mode may be set to the same value as the refresh rate in the second mode.
- Step S301 shown in FIG. 14 is a step of determining whether the scene corresponds to a side confirmation scene
- step S302 is a step of setting the refresh rate of the left and right side camera windows Wcs to be lower than a predetermined basic value.
- Step S303 is a step in which the refresh rate of the target camera window is returned to the basic value.
- the display control unit F3 can also display the target camera window in a mode located between the first mode and the second mode, or a mode located between the second mode and the third mode.
- the display switching between modes may be displayed as a continuous animation.
- the adjustment from the first brightness to the second brightness may be switched instantaneously, or may be switched stepwise at a predetermined speed.
- the second mode may be a mode located between the first mode and the third mode.
- the display position in the second mode may be intermediate between the first position as the basic position and the second position as the final display position.
- the display mode of the side camera window Wcs may be configured to be changeable in four or more stages.
- the side camera window Wcs may have only two display modes: a first mode and a second mode.
- the second mode corresponds to a mode in which the target camera window is displayed at the second brightness and the second size.
- the display control unit F3 may be configured to be able to switch the display mode according to the continuous viewing time.
- the viewing duration time is the time period during which the driver continues to look at the same side camera window Wcs.
- Ton1 in FIG. 15 is the first visual recognition time which is the visual recognition duration required to switch from the first mode to the second mode, and Ton2 is the visual recognition duration required to switch from the second mode to the third mode.
- the second visual recognition time is shown respectively.
- the first viewing time is set to, for example, 0.5 seconds, 0.8 seconds, 1.0 seconds, etc.
- the second viewing time is set to 0.8 seconds, 1.0 seconds, 1.2 seconds, or the like. According to a configuration in which the first viewing time and the second viewing time are set to 1 second or less, it becomes possible to quickly respond to the driver's line of sight by increasing the brightness or expanding the display size, which can improve convenience for the driver. . Further, depending on the surrounding situation, displaying in the second mode is sufficient, and displaying in the third mode may cause trouble to the driver. According to the configuration in which the second viewing time is set longer than the first viewing time, it is possible to reduce the possibility that the third mode will be applied against the driver's intention.
- the first viewing time may be set longer than the second viewing time. According to the configuration in which the first viewing time is set to be long, it is possible to reduce the possibility of switching the side camera window Wcs from the first mode to the second mode due to erroneous determination of the viewing direction.
- Toff1 in FIG. 15 is the first eyes-off time which is the time to switch from the second mode to the first mode
- Toff2 is the second eyes-off time required to switch from the third mode to the first mode. It shows.
- the eyes-off time is the time during which the user looks away from the side camera window Wcs. If a screen that is no longer needed by the driver continues to be displayed in a relatively large size, it may cause trouble to the driver. Therefore, the second eyes-off time may be set shorter than the first eyes-off time.
- the display control unit F3 may be configured not to directly transition from the third mode to the first mode, but to once go through the second mode and then return to the first mode. The display control unit F3 may switch the target camera window to the second mode when the eyes-off time during which the third mode is applied becomes the second eyes-off time.
- the display control unit F3 may be configured to increase the brightness of the side camera window Wcs that the driver is viewing in conjunction with the continuous viewing time. According to this configuration, the driver can easily understand that the system recognizes the driver's behavior. Moreover, according to a configuration that responds to the driver's line of sight by quickly increasing the brightness or the like, it can be expected to have the effect of creating a sense in the driver that the own vehicle is a companion/partner to the driver. Note that the display control unit F3 gradually lowers the brightness of the side camera window Wcs at a predetermined speed based on the fact that the driver's line of sight has moved away from the side camera window Wcs whose brightness has been increased.
- the processor 31 may set a recommended visibility timing that is the timing at which the driver should look at the side camera window Wcs. Then, as the recommended viewing timing approaches, the processor 31 may gradually move the target camera window closer to the side of the meter window Wmt, as shown in FIG. The processor 31 may gradually change the brightness and size of the target camera window as the recommended viewing timing approaches.
- the recommended visibility timing may differ depending on whether it is a right/left turn scene or a lane change scene. In a right/left turn scene, the recommended visibility timing is set to the time when the vehicle reaches a predetermined distance before the intersection. In lane change scenes, the recommended timing for visual recognition may vary depending on the reason for the lane change. When the purpose of changing lanes is to avoid an obstacle, the recommended visibility timing is set to the time when the vehicle reaches a predetermined distance from the obstacle. If the purpose of changing lanes is to overtake a preceding vehicle, the recommended visual recognition timing may be set to a predetermined time after it is determined that overtaking is likely.
- the recommended viewing timing may be expressed as a time such as n seconds later (n is an arbitrary value), or may be expressed as a point (position coordinates) or distance.
- FIG. 16 shows an example in which the target camera window is set to the left camera window Wcl
- the animation for changing the display mode can be similarly created when the target camera window is the right camera window Wcr. indicate.
- FIG. 16 shows a mode in which the infotainment window Winf is temporarily hidden when moving the left camera window Wcl.
- the display control unit F3 may display an animation in which the left camera window Wcl moves in front of or behind the infotainment window Winf as an animation related to the movement of the left camera window Wcl.
- the infotainment window Winf may be temporarily set to a translucent state in order to improve the visibility of the left camera window Wcl.
- semi-transparent is not limited to a state where the opacity is 50%, but can also include cases where the opacity is 30% or 70%.
- Opacity is a parameter indicating that the higher the value, the more opaque it is, and corresponds to the alpha value of the pixel.
- An opacity of 0% means a completely transparent state.
- the animation related to the movement of the left camera window Wcl is configured such that the left camera window Wcl is moved to a predetermined target display position with the first size and the first brightness, and then the brightness is increased while expanding the display size. Also good. According to this expression method, a visual effect such as the left camera window Wcl approaching/rising from the back side of the screen can be obtained.
- the target display position is a parameter corresponding to the emphasized position.
- the target display position may be a predetermined distance to the left of the meter window Wmt.
- the animation related to the movement of the left camera window Wcl may be an animation in which the left camera window Wcl is once faded out at the basic position and then faded in to the target display position.
- Fade-out is a process of changing the opacity from 100% to 0% at a predetermined speed
- fade-in is a process of changing the opacity from 0% to 100% at a predetermined speed.
- Fade out may include processing to gradually reduce the display size.
- the fade-in may include a process of gradually increasing the display size.
- the animation for changing the display mode of the camera image is an expression that is in line with the human mental model so that the driver can easily recognize the intention of the HCU 30 regarding the display change.
- the window size is changed along the direction in which the angle of view widens, as shown in FIG.
- the expansion direction of the camera window may be from the inside to the outside.
- the first size of the right camera window Wcr may be set smaller than the first size of the left camera window Wcl.
- the right camera window Wcr is located relatively close to the driver, so visibility can be ensured even if it is small.
- the left camera window Wcl is located relatively far from the driver, if the screen size is small, it is difficult for the driver to check the situation.
- the first size of the left camera window Wcl may be set to 1.2 times the first size of the right camera window Wcr.
- the second size of the left camera window Wcl may be set to 1.2 times the second size of the right camera window Wcr.
- the same size may be applied to the left and right sides.
- the display control unit F3 may change the response depending on the relationship between the caution object and the own vehicle.
- the display control unit F3 displays the object to be cautioned window Wrn showing the positional relationship thereof in a bird's-eye view.
- the display of the object to be cautioned window Wrn may be omitted.
- the caution object window Wrn is displayed, while if the contact risk is at a low level, the display of the caution object window Wrn is omitted. You may do so.
- Contact risk is determined using TTC or the like. A state in which TTC is equal to or greater than a predetermined value may be defined as a state in which the risk of contact is low. According to the configuration in which the display of the attention target window Wrn is omitted when the possibility of contact with the attention target object/the degree of urgency is low, an increase in the number of attention points can be suppressed.
- the processor 31 acquires the direction of attention, which is the direction in which the object of attention exists, and when there are multiple directions of attention, the processor 31 acquires the direction of attention, which is the direction in which the object of attention exists, and when there are multiple directions of attention, the processor 31 acquires the direction of attention, which is the direction in which the object of attention exists, and when there are multiple directions of attention, the processor 31 acquires the direction of attention, which is the direction in which the object of attention exists, and when there are multiple directions of attention, the processor 31 acquires the direction of attention, which is the direction in which the object of attention exists, and when there are multiple directions of attention, the processor 31 acquires the direction of attention, which is the direction in which the object of attention exists, and when there are multiple directions of attention, the processor 31 acquires the direction of attention, which is the direction in which the object of attention exists, and when there are multiple directions of attention, the processor 31 acquires the direction of attention, which is the direction in which the object of attention exists, and when there are multiple directions of attention, the processor 31 acquires the
- the images may be displayed in parallel on the display 21.
- an object of attention for example, a pedestrian
- camera images from each direction may be displayed side by side on the display 21. .
- FIG. 19 shows an example of a screen display when the presence of another vehicle diagonally to the right is detected in a scene where the driver is about to change lanes to the right.
- Wcf in the figure represents a front camera window that cuts out and displays a predetermined range including the vehicle in front of the image of the front camera 121.
- Wvp represents a viewpoint guide window that indicates the display viewpoint of the front camera window Wcf and the right camera window Wcr.
- Smk represents a space marker which is a decorative image indicating an empty space on the destination lane.
- This configuration corresponds to a configuration in which a plurality of camera images for each direction that the driver should see, that is, the direction that requires attention, are displayed side by side.
- a configuration that displays diagonally forward camera images in parallel in addition to side and rear camera images may make it possible to change lanes even more safely.
- the display mode of the meter window Wmt may be changed depending on the relationship between their display positions/display spaces.
- the processor 31 may appropriately shift the display position of the meter window Wmt laterally or reduce the screen size of the meter window Wmt. Reducing the screen size can be achieved by changing the display format from analog meter display to digital meter display, reducing the number of display items, etc.
- the display control unit F3 may display a display direction selection window Ws.
- the display direction selection window Ws includes icons Icn1 to Icn4 for displaying camera images such as diagonally right front, right rear, left diagonally front, and left diagonally rear, as shown in FIG. 20(A).
- the right rear icon Icn2 is an icon for displaying a camera image of the diagonally right rear side.
- the HCU 30 accepts occupant operations related to camera window display based on signals from the operating device 23.
- the display control unit F3 displays the right camera window Wcr on the left side of the meter window Wmt as shown in FIG. 20(B).
- the HCU 30 can also determine the display position within the screen of the display 21 based on the signal from the operating device 23 . According to this configuration, the occupant can display camera images in any direction at any position.
- the display control unit F3 is not limited to drag and drop, and may receive instructions from the occupant regarding the display of the camera window by a tap operation or the like.
- the display control unit F3 When displaying the display direction selection window Ws, the display control unit F3 displays the icon corresponding to the currently displayed direction among the icons for each direction in a different manner from the icon corresponding to the non-displayed direction.
- the display control unit F3 makes the frame of the icon corresponding to the currently displayed camera image thicker or causes it to flicker gently.
- the HCU 30 can automatically display the camera image of the caution direction according to the determination result of the scene determination unit F4.
- the display control unit F3 may display a window, such as the display direction selection window Ws, that shows from a bird's-eye view which direction the camera image is being displayed.
- the display direction selection window Ws can function as a viewpoint guide window Wvp.
- the display control unit F3 uses the image of the right camera 123 as the camera image showing the diagonally right rear view, but the present invention is not limited to this.
- the display control unit F3 may generate a camera image showing the diagonally right rear view based on the image of the rear camera 122, and display it as the right camera window Wcr.
- the image displayed in the right camera window Wcr corresponds to the right camera image.
- the right camera image may be a combined image of the right camera 123 and the rear camera 122.
- the right camera image may be a composite image of the own vehicle lane and the adjacent lane on the right side from a virtual viewpoint set diagonally forward to the right.
- the composite image can be generated by combining videos from multiple cameras.
- the display control unit F3 may generate a camera image showing the left diagonal rear based on the image of the rear camera 122, and display it as the left camera window Wcl.
- the image displayed in the left camera window Wcl corresponds to the left camera image.
- the left camera image may be a combined image of the left camera 124 and the rear camera 122.
- generation of an image to be displayed on the display 21, such as image cropping, distortion correction, and generation of a composite image may be performed by the video acquisition unit F2.
- the functional arrangement within the HCU 30 can be changed as appropriate.
- the scene determination unit F4 determines whether the current situation is a sudden warning based on at least one of the signal from the surrounding monitoring sensor 12, the correspondence between the vehicle's position on the map and the planned travel route, and traffic information received from an external device. It may also be determined whether the scene corresponds to the scene.
- the jumping-out warning scene is a scene in which the driver should be wary of pedestrians jumping out from the blind spot in front of the vehicle. Specifically, the warning scene includes a scene where the vehicle passes through an intersection with poor visibility, a scene where the vehicle passes by a line of parked or temporarily stopped vehicles, and the like.
- These scenes correspond to scenes in which the vehicle should move gradually (slowly) in preparation for a pedestrian or the like jumping out. Therefore, the jumping warning scene can also be called a gradual recommendation scene.
- the scene determination unit F4 determines whether the scene corresponds to a jump warning scene based on map information around the vehicle, detection results from the surrounding monitoring sensor 12, and data received from the wireless communication device 14, regardless of the driver's pedal operation or line of sight direction. Determine whether or not.
- the scene determination unit F4 determines that the current scene is a warning scene based on the fact that the vehicle is traveling within a predetermined distance from a road marking/traffic sign instructing a temporary stop or a sign warning other traffic.
- the road marking that instructs a temporary stop is a stop line
- the sign that instructs a temporary stop refers to a signboard that says "Stop"/"STOP" or the like.
- the processor 31 may detect the presence of a road marking/traffic sign instructing a temporary stop by referring to map data or based on a signal from the front camera 121 (that is, by image recognition). good. Note that if the processor 31 is able to detect a traffic light, it may determine that the scene does not correspond to a warning scene. This is because traffic from the side can be expected to be controlled by traffic lights.
- the scene determination unit F4 may determine that the current scene is a warning scene based on the fact that the remaining distance to the intersection with poor visibility is less than a predetermined value (for example, 15 m). Whether the intersection ahead corresponds to an intersection with poor visibility may be specified based on map information, or may be determined based on the detection result of the forward system sensor 12A. The scene determination unit F4 may determine that the current situation corresponds to a jump warning scene based on the detection of a row of vehicles parked to the side of the vehicle. The convoy of parked vehicles can be determined based on signals from the surrounding area monitoring sensor 12.
- a predetermined value for example, 15 m
- the scene determination unit F4 may determine that the current situation corresponds to a jump warning scene based on the fact that the own vehicle position is outside the road. It can be determined that the vehicle position is outside the road based on the vehicle position information output by the locator 16. The fact that the vehicle is located outside the road may be determined by analyzing images from surrounding surveillance cameras.
- the display control unit F3 may display the front-end right video and the front-end left video on the display 21 in the first mode based on the scene determination unit F4 determining that the current situation corresponds to a jump warning scene.
- the front right side image is an image of the right side of the image of the front camera 121.
- the front end left image is an image of the left side of the image of the front camera 121.
- the front-end right image and the front-end left image may be arranged to sandwich the meter window Wmt, or may be arranged so that the two are consecutively lined up.
- the display control unit F3 detects a specific operation of the driver while the front right image and the front left image are being displayed, the display control unit F3 changes the brightness of the front right image and the front left image to the second or third mode.
- the specific action here may be an action by the driver of directing his or her eyes toward the display 21 or a deceleration operation.
- the deceleration operation may be to remove the foot from the accelerator pedal, or may be to increase the amount/force of depression of the brake pedal.
- the driver can easily recognize a moving object that may cross in front of the driver's vehicle.
- the camera image is automatically displayed at the first brightness/first size (that is, modestly) based on the system judgment. Then, the display of the camera image is brightened based on the detection of a specific operation of the driver.
- Another possible configuration is a configuration in which the camera image is suddenly displayed normally based on system judgment, but this assumed configuration may surprise the driver. In response to such concerns, the configuration of the present disclosure can reduce the risk of surprising the driver.
- by automatically displaying a camera image of the direction in which the driver should be careful it is also possible to urge the driver's attention. By displaying the camera image in a dark color, it is possible to indirectly express that there is a potential risk.
- the display control unit F3 may display the image of the rear camera 122 on the left side of the meter window Wmt or inside the meter window Wmt based on the satisfaction of a predetermined rear display condition.
- the rear display condition indicates that the shift position is set to the reverse position (so-called "R") or that another moving object (pedestrian or other vehicle) approaches within a predetermined distance behind the vehicle while the vehicle is stopped. It may be something that has been detected.
- the video acquisition unit F2 may acquire the video of the roadside camera from the roadside device in cooperation with the wireless communication device 14.
- the display control unit F3 may display the roadside camera image on the display 21 when the image acquisition unit F2 receives the roadside camera image from the roadside device. For example, when the video acquisition unit F2 receives a roadside camera video from a roadside device, the display control unit F3 once displays the roadside camera video at the first brightness.
- the scene determination unit F4 determines whether the scene corresponds to a scene in which the roadside camera should be highlighted, based on the distance to the roadside device and whether or not a moving object is captured in the roadside camera image.
- the scene in which the roadside camera should be highlighted also corresponds to a type of specific scene.
- the display control unit F3 displays the roadside camera image based on at least one of the following: the distance to the roadside device is less than a predetermined value (for example, 10 m), and the fact that a moving object is captured in the roadside camera image. Change the brightness to the second brightness or expand the display size. Further, the display control unit F3 may increase the display brightness of the roadside camera image based on the motion determination unit F5 detecting that the driver's line of sight is directed toward the roadside camera image.
- a predetermined value for example, 10 m
- Roadside camera images mainly cover areas that are blind spots for the own vehicle. According to the above configuration, the driver can easily recognize the situation in the blind spot. Additionally, since camera images are displayed in stages, the risk of surprising the driver can be reduced.
- the display 21 does not necessarily have to be a pillar-to-pillar display.
- the in-vehicle system Sys may include a plurality of physically independent displays 21. As shown in FIG. 21, the in-vehicle system Sys may include a meter display 21M, a right side display 21R, a left side display 21L, and a center display 21D.
- the right side display 21R is used as a display for displaying camera images of the right rear.
- the left side display 21L is used as a display for displaying a camera image of the left rear.
- the display mode of images displayed on each display is controlled by the HCU 30. In normal times, the right side display 21R and the left side display 21L are set to the first brightness, and can be changed to the second brightness according to the determination result of the scene determination unit F4. This configuration also makes it possible to suppress power consumption while improving the convenience of the driver.
- the various flowcharts shown in the present disclosure are all examples, and the number of steps constituting the flowcharts and the order of execution of processes can be changed as appropriate.
- the devices, systems, and techniques described in this disclosure may be implemented by a dedicated computer comprising a processor programmed to perform one or more functions embodied by a computer program. Good too.
- the apparatus and techniques described in this disclosure may be implemented using dedicated hardware logic circuits.
- the apparatus and techniques described in this disclosure may be implemented by one or more special purpose computers comprised of a combination of a processor executing a computer program and one or more hardware logic circuits. Some or all of the functions included in the HCU 30 may be realized as hardware.
- the aspect of realizing a certain function as hardware includes the aspect of realizing it using one or more ICs.
- the processor computation core
- a CPU, MPU, GPU, DFP (Data Flow Processor), etc. can be employed.
- Some or all of the functions included in the HCU 30 may be realized using an SoC (System-on-Chip), an IC (Integrated Circuit), or an FPGA (Field-Programmable Gate Array).
- SoC System-on-Chip
- IC Integrated Circuit
- FPGA Field-Programmable Gate Array
- the concept of IC also includes ASIC (Application Specific Integrated Circuit).
- the computer program may be stored in a computer-readable non-transitory tangible storage medium as instructions executed by a computer.
- a recording medium for the program an HDD (Hard-disk Drive), an SSD (Solid-State Drive), a flash memory, etc. can be used.
- the scope of the present disclosure also includes a program for causing a computer to function as the HCU 30 and a form of a non-transitional physical recording medium such as a semiconductor memory in which this program is recorded.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
HCUは、客観的な情報を用いて、ドライバが斜め後方を確認すべきシーン(以降、側方確認シーン)に該当するか否かを判定する。客観的な情報とは、自車周辺の交通状況や、自車に設定される走行予定経路情報など、ドライバの視線や方向指示器の操作といった、ドライバの挙動とは直接的には関係しない情報である。HCUは、現在が側方確認シーンに該当すると判定していない場合には、サイドカメラ映像を暗く、小さめに(つまり控えめに)表示する。一方、現在が側方確認シーンに該当すると判定した場合には、自動的にサイドカメラの表示輝度を高め、且つ、表示サイズも拡張する。つまり、ドライバによって方向指示器が操作される前から自動的にサイドカメラ映像の輝度を明るくする。
Description
この出願は、2022年3月18日に日本に出願された特許出願第2022-044137号を基礎としており、基礎の出願の内容を、全体的に、参照により援用している。
本開示は、インストゥルメントパネルに配置されたディスプレイに、車外を撮像するカメラの映像を表示する技術に関する。
特許文献1には、実際に鏡を用いてなるサイドミラーの代わりに、カメラとディスプレイを用いた電子サイドミラーを備える車両が開示されている。なお、特許文献1には、方向指示器スイッチが所定位置に設定されたことに基づいて、カメラ映像の画面サイズは一定のまま、表示画角を拡大/縮小することが開示されている。
電子サイドミラーを構成するディスプレイは車内のインストゥルメントパネルに配置される。故に、電子サイドミラーによれば、従来のサイドミラーに比べてドライバはより少ない視線の移動で、後側方を確認可能となるといった利点を有する。しかしながら、電子サイドミラーは、後方確認が必要ない時もドライバの視界に入り、ドライバに煩わしさを与えうる。
本開示は上記の検討又は着眼点に基づいて成されたものであり、その目的の1つは、カメラ映像の表示によってドライバに煩わしさを与える恐れを低減可能な表示制御装置、表示制御方法を提供することにある。
ここに開示される表示制御装置は、車外を撮像するカメラからの信号に基づいて、自車の所定方向についてのカメラ映像を取得する映像取得部と、周辺監視センサの出力信号、外部装置から受信する無線信号、及び、地図データの少なくとも何れか1つを用いて定まる自車周辺の走行環境に基づき、現在が特定シーンに該当するか否かを判定するシーン判定部と、シーン判定部にて特定シーンに該当すると判定されているか否かに応じて、ディスプレイにおけるカメラ映像の表示態様を変更する表示制御部と、を備える。
上記構成によれば、シーンに応じてカメラ映像の表示態様(換言すれば視覚的顕著性)が動的に変更される。カメラ映像をドライバ等が視認しやすい態様で常に表示し続けるわけではないため、ドライバに煩わしさを与える恐れを低減可能となる。
また、本開示の表示制御方法は、車両に搭載されているディスプレイの表示を制御する、少なくとも1つのプロセッサによって実行される表示制御方法であって、車外を撮像するカメラからの信号に基づいて、自車の所定方向についてのカメラ映像を取得することと、周辺監視センサの出力信号、外部装置から受信する無線信号、及び、地図データの少なくとも何れか1つを用いて定まる自車周辺の走行環境に基づき、現在が特定シーンに該当するか否かを判定することと、現在が特定シーンに該当すると判定しているか否かに応じて、ディスプレイにおけるカメラ映像の表示態様を変更することと、を含む。
上記表示制御方法によれば、表示制御装置と同様の作用により、同様の効果が得られうる。
なお、請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
以下、本開示の表示制御装置及び表示制御方法について図を用いて説明する。図1は、本実施形態に係る車載システムSysの概略的な構成の一例を示す図である。
以下では、車載システムSysが左側通行の地域で使用される場合を想定して各装置の作動を説明する。それに伴い、進行方向を同一とするレーンの中で左端のレーンを第1レーンと称する。車載システムSysが右側通行の地域で使用される場合、第1レーンは進行方向を同一とするレーンの中で右端のレーンであってよい。本開示は、車載システムSysが使用される地域の法規及び慣習に適合するように適宜変更して実施可能である。
以降では車載システムSysが搭載されている車両を自車とも記載する。自車は電動車であってよい。もちろん、自車は、エンジン車であってもよい。電動車には、電気自動車のみならず、プラグインハイブリッド車や、ハイブリッド車、燃料電池車を含めることができる。
<車載システムの構成>
図1に示すように車載システムSysは、車両状態センサ11、周辺監視センサ12、ドライバカメラ13、無線通信機14、ナビゲーション装置15、ロケータ16、及び自動運行装置17を備える。また、車載システムSysは、ディスプレイ21、スピーカ22、及び、HCU(HMI Control Unit)30を備える。HMIは、ヒューマンマシンインターフェース(Human Machine Interface)の略である。
図1に示すように車載システムSysは、車両状態センサ11、周辺監視センサ12、ドライバカメラ13、無線通信機14、ナビゲーション装置15、ロケータ16、及び自動運行装置17を備える。また、車載システムSysは、ディスプレイ21、スピーカ22、及び、HCU(HMI Control Unit)30を備える。HMIは、ヒューマンマシンインターフェース(Human Machine Interface)の略である。
車両状態センサ11は、自車の状態を示す信号を出力するセンサである。車速センサ、操舵角センサ、ブレーキペダルセンサ、アクセルペダルセンサ等が車両状態センサ11に該当する。車速センサは、自車の車速を検出する。操舵角センサは、操舵角を検出する。ブレーキペダルセンサは、ドライバによるブレーキペダルの踏込量/踏込力を検出するセンサである。アクセルペダルセンサは、ドライバによるアクセルペダルの踏込量/踏込力を検出するセンサである。各車両状態センサ11は、検出対象とする項目の現在の値/状態を示す信号をHCU30に出力する。
なお、走行用電源の状態や方向指示器の作動状態もまた、自車の状態を示す情報に相当する。走行用電源は、自車が走行するための電源である。自車がエンジン車である場合、イグニッション電源が走行用電源に相当する。自車が電動車である場合、システムメインリレーが走行用電源に相当する。HCU30には、方向指示器の作動状態を示す信号や、走行用電源状態を示す信号も入力されうる。方向指示器スイッチや電源スイッチなどのスイッチ類もまた、車両状態センサ11に含まれる。方向指示器スイッチやアクセルペダルセンサ、ブレーキペダルセンサがドライバ挙動センサに相当する。
周辺監視センサ12は、自車の周辺環境を示す信号を出力するセンサである。車室外を撮像するカメラや、ミリ波レーダ、LiDAR、ソナーなどが周辺監視センサ12に該当する。周辺監視センサ12は、自車周囲の検出範囲から予め規定された移動物体及び静止物体を検出し、その位置や移動速度なども検出する。なお、LiDARは、Light Detection and Ranging、又は、Laser Imaging Detection and Rangingの略である。ミリ波レーダは、ミリ波又は準ミリ波といった探査波を送信するとともに、当該送信波が物体で反射されて返ってきた反射波の受信データを解析することにより、自車に対する物体の相対位置や相対速度を検出するデバイスである。LiDARは赤外光や近赤外光など、所定の波長のレーザ光の受信結果に基づいて、所定の検知エリア内に存在する物体を検出するデバイスである。
本実施形態の車載システムSysは、周辺監視センサ12として、図2に示すように、前方カメラ121、後方カメラ122、右カメラ123、左カメラ124、前方レーダ125、及び後方レーダ126を備える。
前方カメラ121は、自車前方を所定の画角で撮像するように配置された光学/赤外線カメラであってよい。前方カメラ121は、フロントガラスの車室内側の上端部や、フロントグリル、ルーフトップ等に配置されている。後方カメラ122は、自車後方を所定の画角で撮像するように配置された光学/赤外線カメラであってよい。後方カメラ122は、リアガラスの上端部付近等、自車背面部の任意の位置に配置されている。右カメラ123は、自車の右側方を撮像するカメラである。左カメラ124は自車の左側方を撮像するカメラである。右カメラ123及び左カメラ124は、魚眼レンズ等を用いた広角カメラとして構成されていてよい。本開示では右カメラ123及び左カメラ124をまとめてサイドカメラ12Cとも称する。左右のサイドカメラ12Cは、Aピラーの付け根付近、又は、サイドミラーに設けられている。もちろん、サイドカメラ12Cの取り付け位置は適宜変更可能であって、Bピラーやドアパネル、アウタードアハンドル、ルーフトップ等に配置されていても良い。
前方カメラ121は、画像フレームに対して認識処理を施すことで、歩行者や他車などの移動体を検出する。また、フレームごとの物体の位置の変化量や大きさなどに基づいて、前方カメラ121は検出物の位置や移動速度、移動方向を検出する。加えて前方カメラ121は、映像を解析することで、先行車の背面部に設けられた灯火装置の点灯状態なども検出する。前方カメラ121は、映像を解析することで先行車の方向指示器の作動状態を検出しうる。その他、前方カメラ121は、路面標示や道路端、道路標識なども検出する。路面標示とは、道路の交通に関する規制又は指示のための路面に描かれたペイントである。路面標示は、1つの側面において、路面ペイントと呼ぶことができる。路面標示には、レーンの境界を示す車線区画線、停止線、または規制矢印が含まれる。
後方カメラ122やサイドカメラ12Cもまた、前方カメラ121と同様に、画像フレームに対して認識処理を施すことで、自車後方/自車側方に存在する移動体や、路面標示、道路端などを検出する。本開示では前方カメラ121、後方カメラ122、サイドカメラ12Cをまとめて周辺監視カメラとも称する。周辺監視カメラは、映像を解析することで自車周辺に存在する他車の挙動を示す信号をHCU30に出力するデバイスである。なお、カメラ映像を解析することで他車の挙動や車線区画線などを検出する機能は、HCU30が備えていても良い。その場合、各周辺監視カメラは、映像信号をHCU30に出力する。車外を撮像するカメラの映像信号そのものも、自車周辺の環境を示す信号に相当しうる。
前方レーダ125は、フロントグリルやフロントバンパなど、自車前面部に設置されているミリ波レーダである。前方レーダ125は、先行車など、自車レーン上に存在する物体との距離や相対速度、相対位置を検出する。後方レーダ126はリアバンパに設置されているミリ波レーダである。後方レーダ126は、後続車など、自車後方に存在する物体の相対位置及び相対速度を検出する。
なお、本開示における先行車とは、自車の前方に存在する車両の中で、自車と同一のレーンを走行し、且つ、自車から最も近い車両を指す。後続車とは、自車の後方に存在する車両の中で、自車と同一のレーンを走行し、且つ、自車から最も近い車両を指す。本開示では自車が走行している道路が備えるレーンのうち、自車が走行しているレーンである自車レーンと称する。自車レーンはエゴレーンとも呼ばれうる。
上述した周辺監視センサ12は一例であって、車載システムSysは上記すべての周辺監視センサ12を備えている必要はない。本開示では、前方カメラ121及び前方レーダ125といった、自車前方に検知エリアを形成するセンサ類を前方系センサ12Aと称する。また、自車の後方に検知エリアを形成するセンサ類を後方系センサ12Bと称する。前方には真正面だけでなく斜め前方も含まれる。後方には真後ろだけでなく斜め後方も含まれる。側方には、真横だけでなく斜め前方や斜め後方が含まれる。
ドライバカメラ13は、可視光/赤外線カメラであって、少なくともドライバの顔部を撮像可能な位置および姿勢で車室内に配置されている。ドライバカメラ13は、運転席のヘッドレスト部に光軸を向けた姿勢にて、ステアリングコラムカバーの上面や、インストゥルメントパネルの上面、フロントガラスの上端部等に配置されている。
ドライバカメラ13は、撮影映像に含まれるドライバの顔画像を解析することにより、ドライバの状態を逐次検出する。ドライバカメラ13は、ドライバの状態として、ドライバの顔の向きや視線方向を検出する。視線方向は、ディスプレイ21のどの領域をみているか等を示しうる。視線方向は顔の向きによって特定されても良い。ドライバカメラ13は、撮影画像から特定したドライバの状態を示す情報をドライバ状態データとしてHCU30へ逐次出力する。なお、カメラの映像信号に基づきドライバ等の状態を検出する機能は、HCU30が備えていても良い。ドライバカメラ13もまたドライバ挙動センサの一例に相当する。
無線通信機14は、自車が他の装置と無線通信を実施するための装置である。無線通信機14は、セルラー通信を実施可能に構成されている。セルラー通信は、LTE(Long Term Evolution)や4G、5Gなどの規格に準拠した無線通信である。無線通信機14は、セルラーV2X(PC5/Uu)を実施するように構成されていても良い。
また、無線通信機14は、狭域通信を実施可能に構成されている。本開示における狭域通信とは、通信可能距離が数百m以内に限定される無線通信を指す。狭域通信の規格は、IEEE802.11p規格に対応するDSRC(Dedicated Short Range Communications)、又はWi-Fi(登録商標)などであってよい。狭域通信は、前述のセルラーV2Xであってもよい。なお、他車との狭域通信は、車車間通信とも称される。また道路沿いに設置された通信設備である路側機との狭域通信は路車間通信とも称される。無線通信機14はセルラー通信と狭域通信の何れか一方のみを実施可能に構成されていてもよい。
無線通信機14は、地図配信サーバや路側機などの外部装置から、現在位置に応じた動的地図データを取得しうる。動的地図データは、道路上の障害物の位置などを示す地図データである。路駐車両や、工事区間、車線規制区間、落下物などが障害物に相当する。当該動的地図データは交通情報の一種とみなす事もできる。また、無線通信機14は、路車間通信により、路側カメラの映像を受信しうる。路側カメラとは、路側機に付帯するカメラである。路側機は、右左折先の道路など、自車から死角となる道路の映像を交通情報として配信しうる。路側機は、路側機に付帯するミリ波レーダで検出した移動体の位置、移動方向、移動速度、及びその種別を交通情報として配信しても良い。無線通信機14が受信したデータは、HCU30に送信される。
ナビゲーション装置15は、地図データを用いて、現在地から目的地までの走行経路を算出し、現在地から目的地までの走行を案内する機能を提供する装置である。目的地は、ドライバ等の乗員によって設定される。現在地情報は、ロケータ16から取得してよい。なお、ナビゲーション装置15に相当する機能は、外部サーバに設けられていても良いし、ドライバが車内に持ち込んだスマートフォン等が備えていても良い。
ロケータ16は、GNSS(Global Navigation Satellite System)を構成する測位衛星から送信される航法信号を用いて自車の位置座標を算出及び出力するデバイスである。ロケータ16は、GNSS受信機、慣性センサ、及び地図メモリを備える。慣性センサは、ジャイロセンサ又は加速度センサであってよい。地図メモリは、高精度地図データが保存されている記憶媒体である。高精度地図とは、道路の3次元形状や、レーン区画線などの路面標示の設置位置、交通標識の設置位置等が、自動運転等に必要な精度で示されている地図である。なお、地図メモリは無線通信機14が地図サーバから受信した地図データを、データの有効期限が切れるまで一時的に保持するためのメモリであっても良い。ロケータ16が参照する地図データは、高精度地図に限らず、相対的に精度の悪いナビゲーション用の地図データであっても良い。
ロケータ16は、GNSS受信機で受信する測位信号、慣性センサの検出値、地図データに示される道路形状を組み合わせることにより、ロケータ16を搭載した自車の位置(以下、自車位置)及び移動方向を逐次測位する。自車位置は、緯度、経度、及び高度の3次元座標で表されてよい。ロケータ16は、地図メモリに保存されている地図データのうち、現在位置を基準として定まる所定範囲の地図データである周辺地図データを読み出し、HCU30に提供する。このようなロケータ16はナビゲーション装置15に内蔵されていても良い。
なお、ロケータ16は、ローカライズ処理を実施可能に構成されていても良い。ローカライズ処理は、周辺監視カメラで撮像された画像に基づいて特定されたランドマークの座標と、地図データに登録されているランドマークの座標とを照合することによって地図上の自車位置を特定する処理を指す。ランドマークとは、方面看板などの案内標識など、道路沿いに設置された立体構造物などである。また、ロケータ16は、周辺監視センサ12で検出されている自車から道路端までの距離情報に基づいて自車レーン番号を特定可能に構成されていても良い。自車レーン番号は、道路幅方向における自車両の走行位置を示す番号であって、左端又は右端の道路端から自車レーンまでの間に存在する他のレーンの数に応じて定まる。
自動運行装置17は、周辺監視センサ12の検出結果などをもとに走行アクチュエータを制御することにより、運転操作の一部又は全部をドライバの代わりに実行する装置である。走行アクチュエータは、車両の加速、減速、旋回を実施するためのアクチュエータである。走行アクチュエータは、制動装置としてのブレーキアクチュエータや、電子スロットル、EPS(Electric Power Steering)モータなどであってよい。
自動運行装置17は、プロセッサ、メモリ、ストレージ等を備えたコンピュータを主体として構成されている。運転操作の自動化レベルが異なる複数の動作モードを備える。ここでは一例として自動運行装置17は、完全手動モード、運転支援モード、及び自動運転モードを切替可能に構成されている。自動運行装置17の動作モードは運転モードと言い換えることもできる。
完全手動モードは、ドライバがすべての運転タスク(運転操作)を実行する動作モードである。運転支援モードは、自動運行装置17が加減速及び操舵操作の少なくとも何れか一方をシステムが実行する動作モードである。自動運転モードは、システムがすべての運転タスクを実行する動作モードである。完全手動モード及び運転支援モードは、ドライバが少なくとも一部の運転タスクを実行する運転モードである。本開示では、完全手動モード及び運転支援モードを区別しない場合、それらをまとめて手動運転モードとも称する。
自動運行装置17の動作モードは、操作デバイス23に対する乗員の操作又は音声入力に基づき切り替えられる。自動運転モードは、ドライバ操作(いわゆるオーバーライド)の他、システム限界等に起因して終了される。自動運行装置17は、現在の動作モードである現行モードを示す信号をHCU30に出力する。また、自動運行装置17は、運転交代中か否かを示す信号をHCU30に出力する。
なお、自動運行装置17は、自動運転モード時、予め設定された経路に沿って自車を自律的に走行させる制御である自動運転制御を実行する。また、自動運行装置17は自動運転モード時、或いは運転支援モード時、ACC(Adaptive Cruise Control)を実施しうる。ACCは、所定距離以内に先行車が存在しない場合には所定の目標速度で自車を定速走行させるとともに、所定距離以内に先行車が存在する場合には、先行車との車間距離を維持しつつ自車を追従走行させる制御機能を指す。ACCは、乗員の指示に基づき開始される。ACCの目標速度は、ドライバによって入力されても良いし、地図データ又は道路標識の認識によって定まる制限速度が適用されても良い。
ディスプレイ21は、インストゥルメントパネルに設けられた表示装置である。ディスプレイ21は、フルカラー表示が可能に構成されている。ディスプレイ21は、HCU30からの指示に基づいてテキストや画像を表示する。
本実施形態のディスプレイ21は、図3に示すようにインストゥルメントパネルの上端部において、インストゥルメントパネルの右端から左端まで連続的に形成されている。当該ディスプレイ21は、ピラートゥピラーディスプレイ、或いは、インパネ全面ディスプレイと呼ぶこともできる。ディスプレイ21は横幅0.6m以上の表示画面を有し、それぞれの異なる機能についての複数の画面(ウィンドウ)を並列的に表示可能に構成されている。
HCU30は、メータウィンドウWmt、右カメラウィンドウWcr、左カメラウィンドウWcl、及びインフォテイメントウィンドウWinfをディスプレイ21に並列的に表示する。メータウィンドウWmtは、車速やモータ/エンジンの回転速度、バッテリ/ガソリン残量、シフトポジション、方向指示器の作動状態など、運転操作に必要な情報を表示する領域である。右カメラウィンドウWcrは、右カメラ123の映像を表示する領域である。左カメラウィンドウWclは、左カメラ124の映像を表示する領域である。本開示では右カメラウィンドウWcrと左カメラウィンドウWclをまとめてサイドカメラウィンドウWcsとも記載する。カメラウィンドウは、カメラの映像を表示する領域であるため、端的にカメラ映像と言い換えることもできる。
インフォテイメントウィンドウWinfは、乗員の操作に基づいて、インフォテイメント系の画面を表示する領域である。インフォテイメント(infotainment)は、インフォメーション(information)とエンターテイメント(Entertainment)を組み合わせた造語である。インフォテイメントウィンドウWinfには、アプリを選択するためのホーム画面や、周辺地図画像、オーディオ画面、映画、テレビ等が表示される。
各ウィンドウの表示内容及び表示態様は、HCU30によって動的に調整される。表示態様を構成する要素としては、表示位置、画面の明るさ(輝度)、ウィンドウのサイズ(表示サイズ)、3D回転角度、加飾要素の有無などがある。加飾要素とは、マーカーや、フレームの明滅、ウィンドウの影などを指す。ウィンドウごとの輝度調整は、ウィンドウの表示位置に対応する光源の光量を調整することにより実現されてよい。各ウィンドウの間には隙間が設けられていても良い。ウィンドウが配置されていない領域は背景画像が表示される。
当該ディスプレイ21は、表示画面の明るさ(つまり輝度)を部分的に調整可能に構成されている。ディスプレイ21は、部分駆動可能な直下型バックライトを備える液晶ディスプレイであってよい。ディスプレイ21は有機ELディスプレイであっても良い。ディスプレイ21はサイドカメラウィンドウWcsが配置される領域の輝度を、その他の領域とは独立的に調整可能であればよい。ディスプレイ21は、中央部、右端部、及び左端部とで独立した光源を備えるエッジ型の液晶ディスプレイであってもよい。
スピーカ22は、HCU30から入力される信号に対応する音を出力するデバイスである。本開示における「音」との表現には、通知音のほか、音声(アナウンス)や、音楽なども含まれる。スピーカ22は、左右のドアや、インストゥルメントパネル、Aピラー、天井部などに配置されている。
操作デバイス23は、車載システムSysに対する乗員の指示操作を受け付けるための装置である。操作デバイス23は、乗員の手指で操作されるデバイスである。車載システムSysは操作デバイス23として、タッチパネルやタッチパッド、ステアリングスイッチを備える。タッチパネルは、ディスプレイ21に積層されている。ステアリングスイッチは、ステアリングホイールのスポーク部に設けられたスイッチである。
操作デバイス23に対する乗員の操作は、車載システムSysに対する指示入力と読み替える事ができる。各操作デバイス23は、乗員が行った操作に対応する電気信号を操作信号としてHCU30に出力する。操作信号は、乗員の操作内容を示す情報を含む。なお、方向指示器を作動させるためのスイッチ/レバーもまた、操作デバイス23の一種と解することもできる。
HCU30は、多様なセンサ/デバイスから入力される信号に基づいて、ディスプレイ21の表示画面を制御する。HCU30は、プロセッサ31、メモリ33、ストレージ32、通信インターフェース34、及びこれらを接続するバス等を備えたコンピュータを主体として構成されている。プロセッサ31は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等といった、演算コアである。プロセッサ31は、メモリ33へのアクセスにより、種々の処理を実行する。ストレージ32は、フラッシュメモリなどの書き換え可能な不揮発性である。ストレージ32には、プロセッサ31によって実行されるプログラムである表示制御プログラムが格納されている。プロセッサ31が表示制御プログラムを実行することは、表示制御方法が実行されることに相当する。メモリ33は、RAM(Random Access Memory)などの書き換え可能な揮発性の記憶媒体である。通信インターフェース34は、HCU30が他のデバイス/センサと通信するためのインターフェース、すなわち信号の入出力回路である。
<HCUの機能について>
HCU30は、機能部として図4に示すように、情報取得部F1、映像取得部F2、表示制御部F3、シーン判定部F4、及び動作判定部F5を備える。これら機能部は、プロセッサ31が車内機器制御プログラムを実行することにより実現される。
HCU30は、機能部として図4に示すように、情報取得部F1、映像取得部F2、表示制御部F3、シーン判定部F4、及び動作判定部F5を備える。これら機能部は、プロセッサ31が車内機器制御プログラムを実行することにより実現される。
情報取得部F1は、HCU30に接続する多様なセンサ/デバイスから種々の情報を取得し、メモリ33に一時保存する。情報取得部F1は、車両状態センサ11から、自車の走行速度や、加速度、操舵状態、方向指示器の作動状態などを取得する。また情報取得部F1は、周辺監視センサ12や無線通信機14から、自車周辺に存在する他車の情報、及び、自車レーン上に存在する障害物の位置及び種別に関する情報を取得する。他車の情報とは、自車に対する相対速度や、相対位置、方向指示器の作動状態、ブレーキランプ/ハザードランプの点灯状態などを指す。また、情報取得部F1は、周辺監視センサ12から、自車の左右に存在する車線区間線の位置や、道路端の位置などを取得する。他車や車線区画線などの位置情報は、自車を基準とする2次元又は3次元相対座標系で表現されうる。
なお、情報取得部F1は、周辺監視センサ12からの信号や、地図データ、無線通信機14で受信したデータを統合するセンサフュージョン処理により、自車の走行環境を取得するように構成されていても良い。本開示における「取得」には、他の装置/センサから入力されたデータなどを元に内部演算によって生成/検出することも含まれる。
その他、情報取得部F1は自動運行装置17から現在の動作モードを示す信号を取得する。また、情報取得部F1は、ドライバカメラ13から、ドライバの状態/挙動を示す情報を取得する。乗員の状態を示す情報としては、顔の向きや視線方向、姿勢などがある。視線方向は、ディスプレイ21、自車前方、ルームミラー、自車側方、自車斜め後方の何れに視線を向けているか等を示す。ディスプレイ21への視線方向は、右端、運転席正面、助手席側、左端に細分化して判定されうる。ディスプレイ21を見ていること、及びその詳細領域の判定は、視線方向のピッチ角とヨー角に基づいて判定されてよい。視線方向の角度は自車正面方向を基準として算出されうる。
映像取得部F2は、周辺監視カメラから映像信号を取得する。映像取得部F2は右カメラ123及び左カメラ124の映像を取得する。映像取得部F2は、周辺監視カメラから入力された映像信号を、所定のデータ形式のデジタル画像データに変換した上で、表示制御部F3に出力する。
表示制御部F3は、ディスプレイ21の表示画面を制御する。表示制御部F3は、右カメラウィンドウWcrとして、右カメラ123の映像を所定の第1サイズでディスプレイ21の右端に表示する。また表示制御部F3は、左カメラウィンドウWclとして、左カメラ124の映像を所定の第1サイズでディスプレイ21の左端に表示する。このような構成は、自車の後側方にかかるCMS(Camera Monitoring System)あるいは、電子サイドミラーに相当する。
なお、表示制御部F3は、右カメラ123の映像をそのまま表示するのではなく、右カメラ123の映像のうち、表示対象とする範囲の画像データに対してレンズ特性に応じた歪み補正等の画像処理を施した上で表示する。表示制御部F3は左カメラ124の映像表示に際しても同様の切出し、歪み補正等の処理を実施する。
また、表示制御部F3は、車速などの情報に基づき、所定サイズのメータウィンドウWmtを描画し、所定位置に表示する。メータウィンドウWmtの表示位置は、運転席の正面である。メータウィンドウWmtに含める表示項目は、自車の状態に応じて動的に変更されうる。また、メータウィンドウWmtに含める表示項目は、ドライバ操作によって変更可能に構成されていてもよい。メータウィンドウWmtの表示位置や横幅、デザインなども状況に応じて変更されうる。
さらに、表示制御部F3は、周辺地図画像などを含むインフォテイメントウィンドウWinfを、メータウィンドウWmtと左カメラウィンドウWclの間に表示する。もちろん、表示制御部F3は、操作デバイス23からの信号に基づき、インフォテイメントウィンドウWinfの表示内容等を変更する。インフォテイメントウィンドウWinfは、実行中のアプリケーションに応じた操作画面を表示する。インフォテイメントウィンドウWinfは、アプリケーションごとに複数に分割されていても良い。
なお、上記の各画面の表示位置は、運転席が右側に設けられている場合の例示である。もちろん、本開示は、運転席が左側に設けられた車両にも適用可能である。運転席が左側に配置されている場合、表示制御部F3はインフォテイメントウィンドウWinfをメータウィンドウWmtと右カメラウィンドウWcrの間に表示してよい。本開示による情報提示制御は、それぞれの国及び地域の道路交通法、さらに車両のステアリングホイール位置等に応じて適宜最適化されてよい。
表示制御部F3は、次に説明するシーン判定部F4の判定結果、及び動作判定部F5の判定結果の少なくとも何れか一方に基づいて、右カメラウィンドウWcrや左カメラウィンドウWclの表示態様を動的に変更する。また、表示制御部F3は、サイドカメラウィンドウWcsの調整に連動して、インフォテイメントウィンドウWinfやメータウィンドウWmtの表示態様も動的に調整しうる。すなわち、表示制御部F3は、自車周辺の交通状況や、制御計画、及びドライバの挙動に応じてディスプレイ21内における各ウィンドウの表示態様を動的に変更する。表示制御部F3による各カメラ映像の表示態様の制御については別途後述する。
シーン判定部F4は、周辺監視センサ12からの信号、地図上における自車位置と走行予定経路の対応関係、及び、外部装置から受信するデータの少なくとも何れか1つに基づき、現在の走行シーンが側方確認シーンに該当するか否かを判定する。側方確認シーンは、ドライバが自車の側方を視認すべきシーンに対応する。前述の通り、側方には斜め後方や斜め前方が含まれる。
側方確認シーンは、自車が移動する可能性が高い方向に応じて、左確認シーンと右確認シーンとに区分可能である。右確認シーンや、左確認シーンといった側方確認シーンが、特定シーンに相当する。側方確認シーンは、より具体的なシチュエーションとして、自車が車線変更する可能性が高いシーンである車線変更シーンと、右左折予定の交差点から所定距離以内となっているシーンである右左折シーンに区分可能である。右側に車線変更する可能性が高いシーンや、右折予定の交差点から所定距離以内を自車が走行中であるシーンが右確認シーンに相当する。また左側に車線変更する可能性が高いシーンや、左折予定の交差点から所定距離以内を自車が走行中であるシーンが左確認シーンに相当する。
シーン判定部F4は、自車の走行予定経路や他車の挙動、障害物の有無といった、自車周辺の走行環境を示す情報に基づいて、側方確認シーンに該当するか否かを判定する。ここでの自車周辺の走行環境を示す情報とは、自車両が直面している環境に限らず、所定時間(例えば5秒や10秒)以内に通過予定の区間についての情報を含む。シーン判定部F4が側方確認シーンと判定する条件は、予め設定されていてよい。シーン判定部F4は、自車の走行予定経路と周辺地図情報と現在の自車レーン番号とに基づいて、車線変更が必要かどうかを判定する。車線変更する必要があると判定することは、側方確認シーンに該当すると判定することに対応する。
車線変更が必要かどうかは、自車レーンに割り当てられている進行方向と、走行予定経路との関係から定まりうる。例えば、自車前方にある交差点を直進予定であるにも関わらず、現在の自車レーンが左折/右折専用レーンである場合が車線変更の必要なシーンに該当する。また、逆に、交差点を右折/左折予定であるにも関わらず、現在の自車レーンが直進専用レーンである場合も同様に車線変更の必要なシーンに該当する。加速車線から高速本線に合流する地点や、高速本線から分岐路に移動するシーンもまた車線変更の必要なシーンに該当する。なお、走行予定経路は、自車に搭載されているナビゲーション装置15、ロケータ16、及び自動運行装置17など、多様な装置から取得可能である。自車レーンに割り当てられている進行方向もまた、前方カメラ121やナビゲーション装置15、ロケータ16、及び自動運行装置17などから入力される信号に基づき特定可能である。
シーン判定部F4は、走行予定経路として右左折が予定されている交差点までの残り距離/残り時間が所定値未満である場合に、側方確認シーンと判定しても良い。交差点までの残り距離は、対象交差点の位置と自車位置とに基づいて特定可能である。また、交差点までの残り時間とは、対象交差点に到達するのに要する時間であって、対象交差点までの残り距離を自車速の予定値で除算することにより概算可能されうる。
上記判定方式は、地図上における自車位置と走行予定経路の対応関係に基づいて、換言すれば、自車が所定時間以内に通過予定のエリアについての地図データに基づいて、側方確認シーンに該当するか否かを判定する方式に相当する。
また、自車レーンの前方所定距離以内に障害物が存在する場合も、車線変更が必要なシーン、すなわち側方確認シーンに相当する。シーン判定部F4は、自車レーン上に障害物が存在することを検知した場合に、側方確認シーンに該当すると判定しても良い。障害物の有無は、周辺監視センサ12からの信号、或いは、路側機/他車などの外部装置から受信するデータに基づいて判断されうる。
また、シーン判定部F4は、自車レーンにおいて自車前方を走行する他車が2台以上続けて車線変更したことを検知した場合に、側方確認シーンに該当すると判定してもよい。上記の挙動は、自車レーン上に障害物が存在すること、ひいては自車も車線変更が必要であることを示唆するためである。先行車よりも前方を走行する他車の車線変更は、前方系センサ12Aで検出されても良いし、車々間通信で受信するデータに基づき検出されてもよい。このようにシーン判定部F4は、周辺監視センサ12からの信号又は外部装置から無線で受信するデータに基づいて側方確認シーンに該当するか否かを判定する方式に相当する。
その他、シーン判定部F4は、自車が先行車に対して所定値以上の相対速度で接近中であること、及び、自車と先行車との距離が所定値未満であることの少なくとも何れか一方に基づいて、側方確認シーンに該当すると判定しても良い。また、先行車の速度が、自車に設定されているACCの目標速度よりも小さいことに基づいて、自車が車線変更しようとしていると判定しても良い。先行車が遅い場合、ドライバ/自動運行装置17は先行車を追い越すための車線変更を実施する可能性が高いためである。
ところで、シーン判定部F4は、自車が所定の減速区間に存在する場合には、先行車と自車との関係が上記パターンに該当する場合であっても、側方確認シーンと判定しないように構成されていても良い。減速区間は、信号機やカーブ、有料道路の料金所などから所定距離以内となる区間を指す。また、道路に設定されている制限速度が所定値以上低下する地点から所定距離以内となる区間や、高速道路から一般道路へ移動するためのランプウェイも減速区間に相当する。これらの減速区間では、自車が先行車を追い越すための車線変更を実施する可能性は小さい。なお、自車が減速区間に存在することは、周辺地図データをもとに検出されても良いし、前方カメラ121の映像を解析することで特定されても良い。
一方、シーン判定部F4は、料金所付近に設けられた無車線区間に自車が存在することに基づいて、側方確認シーンと判定しても良い。無車線区間とは、車線区画線が設けられていないゾーンを指す。無車線区間においては、自車及び他車が所望のゲート/道路に向かって斜めに走行しうる。つまり料金所の前後は、ドライバが斜め後方に対して注意すべきゾーンに相当しうる。なお、シーン判定部F4は、前方カメラ121にて自車レーンを規定する車線区画線を検出できなくなったことに基づいて、側方確認シーンと判定しても良い。車線区画線が検出できないということは無車線区間であることを示唆するためである。
シーン判定部F4は、自車レーンが追い越し用のレーンである場合において、後続車が所定値以上の相対速度で自車に接近してきていることに基づいて、側方確認シーンと判定してもよい。日本においては第1レーン以外のレーンが追い越し用のレーンに相当する。自車が追い越しレーンを走行中に後続車が自車に急速に接近しているシーンにおいては、自車は後続車に道を譲るべく、第1レーンへと車線変更することが好ましい。そのような観点から、自車レーンが第1レーン以外である場合において、後続車が所定値以上の相対速度で自車に接近してきている場合も側方確認シーンに含めることができる。なお、後続車が所定値以上の相対速度で自車に接近してきていることは、後方系センサ12Bからの信号や、車車間通信での受信データに基づき特定可能である。また、後方から緊急車両が接近していることを検出した場合も側方確認シーンに含めることができる。
シーン判定部F4は、車線変更の必要があるシーンと判定した場合には、現在の自車レーン番号や周囲の交通状況に基づいて、自車の移動方向(左/右)を推定する。ここでの移動方向とは、ドライバが確認すべき方向に対応する。仮に、現在の自車レーンが第1レーンである場合、消去法的に、移動方向は右となる。現在の自車レーンが右端のレーンである場合には、移動方向は左となる。自車レーンの左右にレーンが有る場合、シーン判定部F4は、側方確認シーンと判定した理由に基づき、移動方向を推定する。右折予定である場合には移動方向は右と判定し、左折予定である場合には移動方向は左と判定する。追い越しレーン走行中の後続車の接近を検出している場合、シーン判定部F4は、移動方向は左であると判定する。自車による先行車の追い越しが予想されるシーンにおいては、移動方向は右と判定する。便宜上、シーン判定部F4が判定する移動方向を、本開示では推定移動方向と称する。側方確認シーンであって且つ推定移動方向が右と判定されている状態が右確認シーンに該当し、側方確認シーンであって且つ推定移動方向が左と判定されている状態が左確認シーンに該当する。
以上で述べたようにシーン判定部F4は、方向指示器の動作状態やドライバの視線方向、ドライバのステアリングホイールの操作状態といった、横方向への移動にかかるドライバの動作を直接的に示すデータを用いずに、側方確認シーンか否かを判定する。ステアリングホイールの操作状態とは、操舵角や操舵トルク、ステアリングホイールを握る強さなどを意味する。また、側方確認シーンか否か及び推定移動方向の判定は、走行環境ごとの自車や他車の挙動を学習した結果としての識別モデルを用いて実施されてもよい。ここでの識別モデルとは、走行環境を示す種々の入力データに対して、車線変更や右折といったドライバのアクションの推定結果を出力する装置/ソフトウェアである。識別モデルを用いてシーン判定することも、走行環境を示すデータを用いて現在が側方確認シーンに該当するか否かを判定する構成に相当する。識別モデルは、せっかちか否かといったドライバの性格や、時間帯などによって異なる推定結果を出力するように構成されていても良い。
なお、側方確認シーンに該当すると判定した場合、表示制御部F3は後述するように右カメラ123又は左カメラ124の映像を、通常時よりも強調して表示する。よって、側方確認シーンと判定するための条件は、右カメラ123又は左カメラ124の映像を強調表示する条件に相当する。それに伴い、現在が側方確認シーンに該当すると判定することは、自車側方についてのカメラ映像を強調表示する条件が充足されたと判定することに対応する。また、側方確認シーンと判定しないことは、右カメラ123又は左カメラ124の表示を自動的には強調しないことに対応する。カメラ映像の強調は、表示モードを第1モードから第2又は第3モードに切り替えること、具体的には、表示輝度や表示サイズを増大させたり、よりドライバの正面に近い位置に表示したり、ウィンドウフレームを明滅させたりすることを指す。
動作判定部F5は、周辺監視にかかる特定動作をドライバが実施したか否か、換言すれば、ドライバの特定動作を検出するモジュールである。ここでの特定動作とは、主として、右左折や車線変更といった、横方向への移動にかかるドライバの予備動作を意味する。横方向への移動にかかるドライバの予備動作とは、方向指示操作、及び、側方確認挙動である。方向指示操作とは、方向指示器を作動させる操作であって、具体的には方向指示器スイッチ(レバー)を左右又は上下に動かすことを意味する。側方確認挙動とは、ドライバが車外側方を確認する挙動であって、右又は左のサイドカメラウィンドウWcsを見ることや、自車側方に目を向けることなどを意味する。
動作判定部F5は、方向指示器スイッチからの信号に基づき、ドライバが方向指示操作を行ったことを検出する。動作判定部F5は、ドライバの方向指示操作を検出した場合、方向指示器スイッチが操作された方向に基づいて、観測移動方向を取得する。観測移動方向は、ドライバが意図する移動方向であって、方向指示操作やドライバの視線など、ドライバのアクションの観測結果によって定まる。なお、方向指示器スイッチが操作された方向とは、左右のランプのどちらが点灯しているかに対応する。
また、動作判定部F5は、ドライバカメラ13からの信号(具体的には視線方向)に基づき、ドライバの側方確認挙動を検出する。加えて、動作判定部F5は、側方確認挙動を検出した場合、ドライバの視線方向に基づいて観測移動方向を特定する。ドライバが左カメラウィンドウWclや自車左側方を、所定時間以上又は所定の頻度で見ている場合には、観測移動方向を左と判定する。なお、動作判定部F5としてのプロセッサ31は、視線方向の代わりに顔の向きを用いて観測移動方向を決定しても良い。
<サイドカメラ映像の表示制御について>
表示制御部F3は、右カメラウィンドウWcrと左カメラウィンドウWclを個別に制御する。制御対象とするサイドカメラウィンドウWcsである対象カメラウィンドウは、推定移動方向に対応する。推定移動方向が右と判定されている場合、対象カメラウィンドウとは右カメラウィンドウWcrを意味する。
表示制御部F3は、右カメラウィンドウWcrと左カメラウィンドウWclを個別に制御する。制御対象とするサイドカメラウィンドウWcsである対象カメラウィンドウは、推定移動方向に対応する。推定移動方向が右と判定されている場合、対象カメラウィンドウとは右カメラウィンドウWcrを意味する。
表示制御部F3は、サイドカメラウィンドウWcsの表示態様を、図5、図6に示すように第1~第3モードの3段階で切り替え可能に構成されている。図5、図6の(A)は、左右のサイドカメラウィンドウWcsを第1モードで表示している状態を例示している。図5の(B)は、左カメラウィンドウWclを第2モードで表示する場合のディスプレイ21全体の画面構成を例示している。図5の(C)は、左カメラウィンドウWclを第3モードで表示する場合のディスプレイ21全体の画面構成を例示している。また、図6の(B)、(C)は、右カメラウィンドウWcrを第2、第3モードで表示する場合のディスプレイ21全体の画面構成を例示している。図5、6等で示すドットパターンのハッチングは輝度を概念的に示しており、ドットパターンの密度が高いほど、表示輝度が低い(暗い)ことを表している。
第1モードは、サイドカメラウィンドウWcsを所定の第1輝度、所定の第1サイズで表示するモードである。表示制御部F3は、通常時、両側のサイドカメラウィンドウWcsを第1モードで表示する。第1モードは、以降で説明するように、前席乗員の目を過度に惹きつけないように、輝度や表示サイズ、表示位置を調整したモードである。第1モードは、3つの表示モードの中で、ドライバの目を引きつける度合い(いわゆる視覚的顕著性)が小さい表示態様である。第1モードが控えめ態様に相当する。なお、ここでの通常時とは、後述するシーン判定部F4にて側方確認シーンと判定されておらず、かつ、ドライバの方向指示操作や側方確認挙動も検出されていない場合に相当する。
第2モードは、サイドカメラウィンドウWcsを所定の第2輝度、第1サイズで表示するモードである。もちろん、他の態様として後述するように、第2モードにおけるサイドカメラウィンドウWcsのサイズは、第1サイズよりも所定量大きく設定されていても良い。第2モードは、第1モードよりも対象カメラウィンドウを強調して表示するモードに相当する。第2モードが中間態様に相当する。表示制御部F3は、現在が左確認シーンに該当するとシーン判定部F4が判定しており、且つ、動作判定部F5にて方向指示操作及び側方確認挙動が検出されていない場合、左カメラウィンドウWclを第2モードで表示する。
第3モードは、対象カメラウィンドウを第2モードによりもさらにドライバが見やすい態様で表示するモードである。第3モードは、サイドカメラウィンドウWcsを第2輝度、第2サイズで表示するモードである。第3モードは、3つの表示モードの中で最も視覚的顕著性が大きい、誘目態様に相当する。表示制御部F3は、シーン判定部F4にて現在が左確認シーンに該当すると判定されており、且つ、動作判定部F5にて左方向への方向指示操作又は側方確認挙動が検出された場合に、左カメラウィンドウWclを第3モードで表示する。
また、第3モードは、第2モードに比べて、対象カメラウィンドウを、第1位置よりも運転席正面領域に近い位置に表示するモードであってよい。第1位置とは第1モードでの表示位置を指す。第3モードでの表示位置を第2位置とも称する。右カメラウィンドウWcrの第2位置は、メータウィンドウWmtの右横であり、左カメラウィンドウWclの第2位置は、メータウィンドウWmtの左横である。第1位置、第2位置の設定は、右カメラウィンドウWcrと左カメラウィンドウWclで相違しうる。
第1輝度は、メータウィンドウWmtの輝度に比べて低い値に設定されている。第2輝度は、第1輝度よりも大きい値に設定されている。第2輝度は、メータウィンドウWmtの表示輝度と同レベルに設定されている。第1輝度は、第2輝度の40%や、50%、75%などに設定されている。第1輝度及び第2輝度の具体的な値は、適宜設計される。第1輝度及び第2輝度の具体的な値は、夜間か昼間か、前照灯がついているか否かに応じて異なる値が適用されることが好ましい。
上記の輝度設定によれば、第1モードが適用されている場合、サイドカメラウィンドウWcsの輝度が抑制されるため、ドライバや助手席乗員といった前席乗員の視線をサイドカメラウィンドウWcsが不必要に(過剰に)惹きつける恐れを低減できる。それに伴い、前部座席の乗員に煩わしさを与える恐れを低減できる。また、第2、第3モード時には、ドライバが対象カメラウィンドウに示される映像を良好に視認可能となる。上記構成は、ドライバが見る必要性が小さいと推定される方向のサイドカメラウィンドウWcsを暗めに表示する構成に相当する。
また、第1サイズは、第2サイズの50%や60%、70%程度に設定されている。換言すれば、第2サイズは、第1サイズの1.5倍や2倍などに設定されている。第1サイズと第2サイズのアスペクト比(縦横比)は同じである。第3モードで表示される対象カメラウィンドウは、第1、第2モード時と同じ画角の映像を拡大表示したものとなる。上記構成は、ドライバが見る必要性が小さいと推定される方向のサイドカメラウィンドウWcsを小さめに表示する構成に相当する。
もちろん、第1サイズと第2サイズのアスペクト比(縦横比)は異なっていても良い。第2サイズの縦は第1サイズの縦の120%相当とし、第2サイズの横幅は第1サイズの200%相当としても良い。
なお、図5、図6の(B)~(C)に例示するように、表示制御部F3は、対象カメラウィンドウの表示サイズの拡張に伴って、インフォテイメントウィンドウWinfやメータウィンドウWmtの表示態様を調整しうる。左カメラウィンドウWclを第3モードで表示する場合、表示制御部F3は、インフォテイメントウィンドウWinfのサイズを小さくするとともに、表示位置を左カメラウィンドウWclの左側に移す。また、右カメラウィンドウWcrを第3モードで表示する場合、表示制御部F3は、速度等の表示形式をアナログメータ表示からデジタルメータ表示に変えるなどして、メータウィンドウWmtを小型化する。アナログメータ表示は、アナログメータを模した表示形態であって、計器盤上の指針を回動させる表示形態である。これの処理によって、必要な情報の表示を維持しつつ、対象カメラウィンドウの視認性を向上させる。
表示制御部F3は、表示サイズの変更に伴って、第1サイズでは表示していなかった映像領域を表示しても良い。換言すれば、表示制御部F3は、表示サイズの変更に伴って、ディスプレイ表示に使用するカメラ映像の切り出し画角を変更しても良い。第1モード時、図7に示すように真後ろ方向から水平画角30度以内となる範囲の映像を表示する一方、第3モード時には、水平画角45度以内となる範囲の映像を表示させても良い。図7中の1点鎖線は第1サイズに対応する切り出し画角の一例を、2点鎖線は第2サイズに対応する切り出し画角の一例を、それぞれ示している。切り出し画角は、撮影画像全体から表示用に切り出す範囲を規定するパラメータである。切り出し画角は、表示画角、切り出し範囲、表示範囲などと呼ぶこともできる。
表示制御部F3は、操舵角や自車速度に応じて切り出し画角を調整してもよい。表示制御部F3は、操舵角が大きいほど切り出し画角を大きくしてもよい。表示制御部F3は自車速が大きいほど切り出し画角を小さく設定しても良い。さらに、表示制御部F3は注意対象物が表示画像の中心に位置するように切り出し画角を調整しても良い。
本開示における注意対象物とは、自車と接触する可能性がある移動体を指す。プロセッサ31は、自車と対象物の位置関係や移動方向、移動速度をもとに注意対象物を検出する。注意対象物は、衝突余裕時間(TTC:Time to Collision)が所定値以下となっている物体や、移動方向が自車の予定軌跡と交差する移動体とする事ができる。注意対象物は、周辺監視センサ12からの信号に基づき検出される。
その他、第2モードは、図8の(B)に示すように第1モード時と輝度は同じのまま、表示サイズを増大させたモードであってもよい。表示サイズを増大させることにより、ドライバに対して当該カメラウィンドウを見るべきシーンであることを伝える事が可能となる。第2モードを第1輝度、第2サイズとする場合、第3モードは、図8の(C)に示すように、第2モードから対象カメラウィンドウの輝度を所定量増大させたモードとなりうる。表示制御部F3は第1、第2、第3モードの順に、対象カメラウィンドウの映像を見やすく表示するように構成されていればよく、その細部は適宜変更可能である。なお、図8の(A)は、左右のサイドカメラウィンドウWcsを第1モードで表示している状態を示している。
表示制御部F3は、推定移動方向に自転車などの注意対象物が検出されている場合、図9に示すように、検出されている注意対象物にオブジェクトマーカーTmkを重畳させた映像を表示しても良い。オブジェクトマーカーTmkは、注意対象物を囲む所定色のフレーム(枠)である。オブジェクトマーカーTmkは、注意対象物の上又は横に表示されるエクスクラメーションマークなどであってもよい。
さらに表示制御部F3は、推定移動方向に注意対象物が検出されている場合、図10に示すように、検出されている注意対象物を中心に配置した映像を、注意対象ウィンドウWrnとしてサイドカメラウィンドウWcsの横に表示してもよい。当該構成は、対象カメラウィンドウに含まれる注意対象物の映像を別枠表示する構成に相当する。注意対象物を別枠表示する構成によれば、注意対象をドライバが見落とす恐れを低減できる。
なお、注意対象ウィンドウWrnは、図11に示すように、自車に対する注意対象物の位置及び種別を示す画像であってもよい。注意対象ウィンドウWrnは、注意対象物を示す合成映像(例えば俯瞰画像)であってもよいし、自車と注意対象物をアイコン化した模式図であってもよい。図11に例示するように自車と注意対象物との位置を俯瞰して示す態様によればドライバは、注意対象物の位置や距離感を把握しやすいといった利点を有する。
<動作例(1)>
図12に示すフローチャートを用いてHCU30の作動について説明する。図12に示すフローチャートは走行用電源がオンとなったことに基づいて開始される。本フロー開始時点ではシーン判定部F4は側方視認シーンに該当すると判定しておらず、かつ、動作判定部F5も方向指示操作及び側方確認挙動を検出していない。つまり、右カメラウィンドウWcr及び左カメラウィンドウWclを第1モードで表示する条件が充足している場合を想定する。
図12に示すフローチャートを用いてHCU30の作動について説明する。図12に示すフローチャートは走行用電源がオンとなったことに基づいて開始される。本フロー開始時点ではシーン判定部F4は側方視認シーンに該当すると判定しておらず、かつ、動作判定部F5も方向指示操作及び側方確認挙動を検出していない。つまり、右カメラウィンドウWcr及び左カメラウィンドウWclを第1モードで表示する条件が充足している場合を想定する。
図12に示すフローチャートは一例としてステップS101~S107を含む。ステップの実施主体としての情報取得部F1~動作判定部F5との記載は適宜、プロセッサ31と読み替え可能である。図12に示す処理とは独立して、換言すれば並列的に、情報取得部F1は図12に示す種々の判定を実行するための情報(つまり判断材料)を取得する。情報取得部F1は、自車の車速や方向指示器の作動状態、自車前方の交通状況、自車位置、周辺地図データ、ドライバの視線方向などを取得する。
ステップS101は、表示制御部F3が右カメラウィンドウWcr及び左カメラウィンドウWclを第1モードで表示するステップである。ステップS101により、各サイドカメラウィンドウWcsが第1輝度、第1サイズで表示される。ステップS102はシーン判定部F4が、周辺監視センサ12からの信号、地図上における自車位置と走行予定経路の対応関係、及び、外部装置から受信する交通情報の何れかを用いて現在の走行シーンが側方確認シーンに該当するか否かを判定する。側方確認シーンに該当するか否かの判断基準/判断は、上記多様なロジックの1つ又は複数を用いて実行されて良い。ステップS102の判定シーケンスは所定間隔で実行される。
現在の走行シーンが側方確認シーンに該当すると判定した場合には(S102 NO)、S101に戻り、表示制御部F3は各サイドカメラウィンドウWcsの表示態様として、第1モードを維持する。一方、現在の走行シーンが側方確認シーンに該当すると判定した場合には(S102 YES)、表示制御部F3は、対象カメラウィンドウを第2モードに切り替える(S103)。具体的には表示制御部F3は、対象カメラウィンドウの表示輝度を第1輝度から第2輝度に上昇させ、視認性/視覚的顕著性を向上させる。ステップS103が1次提示処理に相当する。なお、プロセッサ31は、ステップS102において現在の走行シーンが側方確認シーンに該当すると判定した場合には、自車が移動見込みの方向、すなわち推定移動方向も取得する。また、左右のサイドカメラウィンドウWcsのうち、対象カメラウィンドウではない方である非対象カメラウィンドウに関しては第1モードが維持される。
ステップS104は、ドライバが方向指示操作又は側方確認挙動を実施したか否かを判定するステップである。当該判定は、方向指示器の作動状態及びドライバの視線方向に基づいて実施される。ドライバの方向指示操作又は側方確認挙動が検出されていない場合には(S104 NO)、ステップS102を実行する。また、ドライバが方向指示操作又は側方確認挙動を行ったことが検出された場合には(S104 YES)、表示制御部F3は、対象カメラウィンドウの表示態様を第2モードから第3モードに切り替える(S105)。ステップS105が2次提示処理に相当する。
なお、動作判定部F5は、ステップS104においてドライバが方向指示操作又は側方確認挙動を実施したと判定した場合、観測移動方向も合わせて取得する。仮に、推定移動方向と観測移動方向が相違している場合には、プロセッサ31は、観測移動方向を優先させてよい。表示制御部F3は、対象カメラウィンドウを観測移動方向に対応するサイドカメラウィンドウWcsに設定し直し、表示モードを第3モードへと段階的に移行させる。それとともに表示制御部F3は推定移動方向側のサイドカメラウィンドウWcsの表示を第2モードから第1モードに戻す。なお、他の態様として推定移動方向と観測移動方向が相違している場合には、両方のサイドカメラウィンドウWcsを第2モードで表示しても良い。当該構成によれば、推定移動方向や観測移動方向を誤判定した場合であってもドライバが所望の方向を視認可能となる。
ステップS106は、プロセッサ31が所定の解除条件が充足したか否かを判定するステップである。解除条件は、第3モードでの表示を終了させる条件である。解除条件が表示解除条件に相当する。解除条件は側方確認シーンと判定した理由ごと、換言すれば第2モードに切り替えた理由ごとに設定されうる。プロセッサ31は、現在の走行シーンが右左折シーンと判定している場合には、交差点の通過が解除条件に相当する。交差点の通過は、自車位置が交差点の退出側リンクに移動したこと、及び、操舵角の絶対値が所定値以下となったことに基づいて判定されうる。また、現在の走行シーンが車線変更シーンと判定している場合には、車線変更の完了が解除条件に相当する。車線変更の完了は、操舵角や、前方カメラ121の出力信号、自車レーン番号の変化などに基づいて判定可能である。
その他、第3モードに切り替えてからの経過時間が所定のタイムアウト値を超過したことも解除条件として採用可能である。タイムアウト値は、15秒や、30秒などに設定されうる。信号待ち等の可能性を考慮して、プロセッサ31は自車が停車している間は、第3モードに切り替えてからの経過時間のカウントを一時停止させても良い。
解除条件が充足するまでは、表示制御部F3は対象カメラウィンドウを第3モードで表示し続ける(S106 NO)。一方、表示制御部F3は解除条件が充足したことを検知した場合には(S106 YES)、ステップS107に移り走行用電源がオンであるか否かを判定する。走行用電源がオンである場合には(S107 YES)、ステップS101に戻る。一方、走行用電源がオフに設定されている場合(S108 NO)、本フローを終了する。
<動作例(2)>
ここではHCU30のより具体的な作動例として、図13に示すフローチャートを用いて交差点を通過する際のHCU30の作動を説明する。図13に示すフローチャートは、交差点までの残り距離が所定値未満となったことに基づいて実行されてよい。前提として、本フロー開始時点ではシーン判定部F4は側方視認シーンに該当すると判定しておらず、かつ、動作判定部F5も方向指示操作及び側方確認挙動を検出していない。つまり、右カメラウィンドウWcr及び左カメラウィンドウWclを第1モードで表示している場合を想定する。
ここではHCU30のより具体的な作動例として、図13に示すフローチャートを用いて交差点を通過する際のHCU30の作動を説明する。図13に示すフローチャートは、交差点までの残り距離が所定値未満となったことに基づいて実行されてよい。前提として、本フロー開始時点ではシーン判定部F4は側方視認シーンに該当すると判定しておらず、かつ、動作判定部F5も方向指示操作及び側方確認挙動を検出していない。つまり、右カメラウィンドウWcr及び左カメラウィンドウWclを第1モードで表示している場合を想定する。
図13に示すフローチャートは一例としてステップS201~S208を含む。ステップの実施主体としてのプロセッサ31との記載は、適宜、情報取得部F1~動作判定部F5といった、HCU30が備える複数の機能部の何れかに読み替え可能である。
ステップS201はシーン判定部F4としてのプロセッサ31が、走行予定経路と自車位置とを比較することにより、次の交差点で右折又は左折予定であるかを判定するステップである。次の交差点とは、自車前方において最寄りの交差点を指す。
次の交差点で右左折予定ではない場合(S201 NO)、表示制御部F3は右カメラウィンドウWcr及び左カメラウィンドウWclの表示態様として第1モードを適用(つまり維持)して本フローを終了する。なお、プロセッサ31は別の交差点に近づいた場合には再度本フローを実行する。また、プロセッサ31は随時、車線変更の必要性にかかる判断を行い、その結果としてサイドカメラウィンドウWcsの表示態様を変更しうる。
一方、次の交差点で右左折予定である場合(S201 YES)、表示制御部F3は、交差点での進行方向に応じた方向のサイドカメラウィンドウWcsを第2モードで表示し始める(S202)。次の交差点で右左折予定である場合が、側方確認シーンに相当する。また、交差点での進行方向に応じた方向が、推定移動方向に対応する。仮に次の交差点で右折予定であれば表示制御部F3は右カメラウィンドウWcrが対象カメラウィンドウに設定し、左折予定であれば左カメラウィンドウWclが対象カメラウィンドウに設定する。
ステップS203は、プロセッサ31が周辺監視センサ12からの信号に基づき注意対象物が存在するか否かを判定するステップである。注意対象物が存在する場合には(S203 YES)、表示制御部F3は対象カメラウィンドウを第3モードで表示するとともに、注意対象ウィンドウWrnを対象カメラウィンドウの横に表示する(S204)。注意対象物が存在する場合には、ドライバが特定動作を行ったか否かによらずに第3モードを適用することにより、ドライバが注意対象物の存在を認識しやすくなる。なお、注意対象物が検出されている場合、表示制御部F3は、注意対象物にオブジェクトマーカーTmkを付加したカメラ映像を表示する。
一方、注意対象物が存在しない場合(S203 NO)、プロセッサ31は方向指示器が作動しているか否かを判定する(S205)。ステップS205は、動作判定部F5が方向指示操作を実施したか否かを判定するステップに相当する。ステップS205の判定において、方向指示器が作動していない場合、プロセッサ31は対象カメラウィンドウの表示態様を第2モードに設定した状態を維持する。一方、方向指示器が作動している場合には(S205 YES)、表示制御部F3は対象カメラウィンドウを第3モードで表示する(S206)。
なお、方向指示器を作動させる主体は、自動運行装置17であってもよい。ステップS205は操作主体によらず、方向指示器が作動しているか否かを判定するステップであっても良い。また、ステップS205は、ドライバが側方確認挙動を行ったか否かを判定するステップであっても良い。
ステップS207は、地図上の自車位置情報に基づいて交差点を通過したか否かを判定するステップである。交差点を通過した場合には(S207 YES)、各サイドカメラウィンドウWcsの表示態様を第1モードに戻して本フローを終了する。まだ交差点を通過していない場合にはステップS203以降のシーケンスを再実行する。
なお、第2モードを適用している場合であっても、対象カメラウィンドウをドライバが見ていることを検知した場合には、第3モードに切り替えても良い。同様に、HCU30は、第1モードを適用している場合であっても、同一のサイドカメラウィンドウWcsをドライバが所定時間見続けていることを検知した場合には、当該サイドカメラウィンドウWcsを第3モードに切り替えても良い。
<補足(1)>
表示制御部F3は右カメラウィンドウWcrを第1モードで表示中において、右方向への移動にかかる方向指示操作又は側方確認挙動を検出した場合には、第3モードへと切り替えてもよい。同様に、表示制御部F3は左カメラウィンドウWclを第1モードで表示中において、左方向への移動にかかる方向指示操作又は側方確認挙動を検出した場合には、第3モードへと切り替えてもよい。当該構成によれば、ドライバは移動したい方向に対応するサイドカメラウィンドウWcsを視認しやすいといった利点を有する。
表示制御部F3は右カメラウィンドウWcrを第1モードで表示中において、右方向への移動にかかる方向指示操作又は側方確認挙動を検出した場合には、第3モードへと切り替えてもよい。同様に、表示制御部F3は左カメラウィンドウWclを第1モードで表示中において、左方向への移動にかかる方向指示操作又は側方確認挙動を検出した場合には、第3モードへと切り替えてもよい。当該構成によれば、ドライバは移動したい方向に対応するサイドカメラウィンドウWcsを視認しやすいといった利点を有する。
<補足(2)>
上記の表示制御方法は、手動運転モード時のみならず、自動運転モード時にも適用可能である。自動運転モード時にも側方確認シーンに該当する場合には、対応するカメラウィンドウを第2モード、或いは第3モードで表示する事により、ドライバが周辺の交通状況を確認しやすくなる。
上記の表示制御方法は、手動運転モード時のみならず、自動運転モード時にも適用可能である。自動運転モード時にも側方確認シーンに該当する場合には、対応するカメラウィンドウを第2モード、或いは第3モードで表示する事により、ドライバが周辺の交通状況を確認しやすくなる。
ところで、自動運転時には、手動運転時よりもドライバが周辺監視を行う必要性が弱まりうる。また、自動運転時にはドライバがセカンドタスクを実施している可能性がある。サイドカメラ映像の輝度を自動的に上げたり下げたりする制御は、セカンドタスク実行中のドライバに煩わしさを与えうる。そのような事情から、自動運転時に適用される第2輝度は、手動運転時に適用される第2輝度よりも所定量低く設定されていても良い。同様の理由により、自動運転時に適用される第2サイズは、手動運転時に適用される第2サイズよりも所定量小さく設定されていても良い。なお、セカンドタスクとは、運転操作以外の行為であって、スマートフォンの操作や書類の閲覧などを指す。
<上記HCUの効果>
電子式サイドミラーとしてのサイドカメラウィンドウWcsは、車外に設けられたサイドミラーに比べて前席乗員の視界に入りやすい。加えて、サイドカメラウィンドウWcsの表示画像は自車の走行や他の移動体の移動に伴って変化し続ける。そのため、サイドカメラウィンドウWcsは前席乗員の目を惹きつけやすい。サイドカメラウィンドウWcsを、メータウィンドウWmtなどと同様の輝度で表示し続けると、前席乗員に煩わしさを与えうる。
電子式サイドミラーとしてのサイドカメラウィンドウWcsは、車外に設けられたサイドミラーに比べて前席乗員の視界に入りやすい。加えて、サイドカメラウィンドウWcsの表示画像は自車の走行や他の移動体の移動に伴って変化し続ける。そのため、サイドカメラウィンドウWcsは前席乗員の目を惹きつけやすい。サイドカメラウィンドウWcsを、メータウィンドウWmtなどと同様の輝度で表示し続けると、前席乗員に煩わしさを与えうる。
そのような課題に対し、上記構成では、自車が右左折又は車線変更をする可能性が低いシーン、つまり通常時においては、左右のサイドカメラウィンドウWcsを、輝度を抑制した状態で表示する。よって、前部座席の乗員に煩わしさを与える恐れを低減できる。また、走行中においては、右左折又は車線変更を実施するシーンよりも、通常時のほうが長い。通常時は第1輝度が維持されるため、消費電力も抑制可能となる。
また上記構成では、地図上の自車位置と走行予定経路との対応関係や自車前後の交通状況といった情報に基づいてHCU30が逐次、現在の走行シーンが側方確認シーンに該当するか否かを判定する。そして、側方確認シーンに該当すると判定した場合には、推定移動方向のサイドカメラウィンドウWcsを第2モードで表示する。つまり、ドライバが方向指示操作などの右左折又は車線変更にかかる動作を実施する前から、HCU30は移動見込みの方向に対応するサイドカメラウィンドウWcsを通常時よりも相対的に目立つ態様で表示する。
当該構成によれば、ドライバはサイドカメラウィンドウWcsの表示態様の変化につられて、自然とサイドカメラ映像を見ることになる。つまり、警告等の処理をせずとも、ドライバの視線をサイドカメラウィンドウWcsに誘導することができる。自車が左側に車線変更する可能性が高いとシーン判定部F4が判定している場合、表示制御部F3は左カメラウィンドウWclの輝度を第1輝度から第2輝度に上げる。当該構成によれば、ドライバの視線を左カメラウィンドウWclに誘導する効果が期待できる。また、当該シーンにおいては、右カメラウィンドウWcrの輝度は第1輝度で維持される。移動方向とは反対側のカメラ映像の輝度は低いままとするため、ドライバに煩わしさを与える恐れも低減できる。
また、HCU30はドライバの方向指示操作又は側方視認挙動を検出したことに基づいて、対象カメラウィンドウの表示態様を第3モードに切り替える。さらにHCU30は、ドライバの特定動作が観測されていなくとも、推定移動方向に注意対象物が検出されている場合には自動的に第3モードを適用する。これらの構成によれば、ドライバは確認したい/確認すべき方向の状況をより一層容易に目視可能となる。
HCU30は、現在が側方確認シーンに該当すると判定しただけでは、第3モードを適用しない。上記実施形態によればドライバの意図に反してサイドカメラウィンドウWcsが最も目立つ態様で表示する恐れを低減できる。上記構成は、システム判断によりサイドカメラウィンドウWcsを控えめ表示から通常表示に復帰させるとともに、ドライバの行動に基づいて通常表示から強調表示に切り替える構成に相当する。
ところで、周辺監視センサ12からの信号、自車が所定時間以内に通過予定のエリアについての地図データ、及び、外部装置から受信した交通情報は、自車周辺の環境を示す情報に相当する。上記のHCU30は、1つの局面において、ドライバの挙動/操作とは直接的には関係がない、自車周辺の環境を示す情報に基づき、近い将来的におけるドライバの周辺確認の希望を予測してカメラ映像を提示する。当該HCU30によれば、ドライバの需要/責務に応じた方向のカメラ映像を随時、ドライバの動作に先んじて提示可能となるため、ドライバの利便性を向上させうる。
以上、本開示の実施形態を説明したが、本開示は上述の実施形態に限定されるものではなく、以降で述べる種々の変形例も本開示の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。下記の種々の構成は、技術的な矛盾が生じない範囲において適宜組み合わせて実施することができる。なお、以上で述べた部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略することがある。また、構成の一部のみに言及している場合、他の部分については上記説明を適用することができる。
動作判定部F5は、横方向への移動にかかるドライバの予備動作を、ドライバが右左折/車線を実施しようとしていることの確度に応じて多段階に分けて判定してもよい。動作判定部F5は、ドライバの側方確認挙動を、1次予備動作と2次予備動作と分けて判断してもよい。以下では主として右方向への移動に係る1次、2次予備動作について述べるが、左方向への移動にかかる1次、2次挙動についても同様に適用可能である。右方向への移動とは右折及び右側への車線変更を指す。
右方向への1次予備動作とは、ドライバが右折/右側に車線変更しようとしているかもしれないことを示唆する挙動、すなわち相対的に推定確度が低い挙動を指す。右方向への移動に係る1次予備動作は、右カメラウィンドウWcr又は右側の車外に目を向け、且つ、その継続時間が所定時間(例えば2秒)未満である動作である。つまり、右側への移動にかかる1次予備動作は、右カメラウィンドウWcr又は右側の車外をちらっと見る行為である。1次予備動作は、低確度挙動或いは示唆挙動と呼ぶこともできる。車線変更にかかる1次予備動作は、車速が所定値(例え60km/h)以上の状況下で、操舵角を道路の延設方向に対応する値から更に所定値以上大きい値に設定する行為であっても良い。右折にかかる1次予備動作は、車速が所定値(例え30km/h)未満の状況下で、所定範囲内の値に設定する行為であっても良い。所定範囲は、例えば15度以上、30度未満などとすることができる。1次予備動作は、ステアリングホイールの把持力を強めることや、所定範囲内の操舵トルクを付与する行為であってもよい。
2次予備動作は、右左折/車線を実施しようとしているだろうことを示す挙動、すなわち相対的に推定確度が高い挙動を指す。右方向への移動にかかる2次予備動作は、右カメラウィンドウWcr又は自車側方を所定時間以上見る動作を指す。直近所定時間以内に右カメラウィンドウWcr又は右側の車外に目を向けた回数又は時間が所定値以上となった場合に、動作判定部F5は、ドライバが右方向への移動にかかる2次予備動作を実施したと判定しても良い。動作判定部F5は、直近10秒以内にドライバが右カメラウィンドウWcr又は右後方に視線を向けた回数が2回以上である場合に、ドライバが右側への車線変更にかかる2次予備動作をおこなったと判定しても良い。2次予備動作は、高確度挙動或いは準確定的挙動と呼ぶこともできる。
右折にかかる2次予備動作は右折レーンへの移動であってもよい。右折にかかる2次予備動作は、道路右端のレーンを走行している状況で、前方信号機が緑色に点灯しているにも関わらず、交差点に向けて減速を開始することであってもよい。右折にかかる2次予備動作は、所定値以上の操舵トルクを付与する行為や、操舵角を所定値以上に設定することであってもよい。右折にかかる2次予備動作は、車速が所定値(例え30km/h)未満の状況下で、操舵角が所定値以上に設定する行為であっても良い。右側への車線変更にかかる2次予備動作は、車速が所定値(例え60km/h)以上の状況下で、操舵角を道路の延設方向に対応する値から更に所定値以上大きい値に設定する行為であっても良い。道路の延設方向に対応する値は地図データや、車線区画線又は道路端の画像認識結果に基づいて特定されうる。
前述の特定動作は、上記2次予備動作であってもよい。動作判定部F5は、ドライバが方向指示器を作動させていなくとも、ドライバが右折等を実施しようとしていることを強く示すドライバ挙動を検知した場合には、右カメラウィンドウWcrの表示を第1又は第2モードから、第3モードに切り替えても良い。つまり、プロセッサ31は、右左折レーンへの移動や何度もサイドカメラウィンドウ/側方に視線を向けたことなどを検出した場合に、ドライバが方向指示操作を実施したとみなし、対象カメラウィンドウの表示態様を明るく/大きくしても良い。当該構成は、右左折レーンへの移動や何度もサイドカメラウィンドウ/側方に視線を向けたことを、方向指示操作の代わりとして扱う構成に相当する。
なお、シーン判定部F4が識別モデルを用いて構成されている場合、シーン判定部F4は、判定結果の尤もらしさ(確度)を示す正解確率値を出力しうる。表示制御部F3は、側方確認シーンに該当するとの判定結果の正解確率値に応じて対象カメラウィンドウの表示モードを制御しても良い。現在が右確認シーンに該当するとの判定結果の正解確率値が第1の閾値(例えば40%)以上第2の閾値(例えば70%)未満である場合、表示制御部F3は対象カメラウィンドウに第2モードを適用する。一方、現在が右確認シーンに該当するとの判定結果の正解確率値が第2の閾値以上である場合には対象カメラウィンドウを第3表示モードに設定する。当該構成によれば、シーン判定結果の確度に応じて自動的にドライバが見るべき方向のカメラウィンドウが段階的に強調表示可能となる。
シーン判定部F4は、自車周辺の走行環境を示す情報に加えて、ドライバの挙動を併用して、現在が側方確認シーンに該当するか否かを判定しても良い。シーン判定部F4は、走行予定経路として右折が予定されている交差点までの残り距離/残り時間が所定値未満であり、且つ、右折に係るドライバの1次予備動作を検出した場合に、右確認シーンと判定しても良い。また、自車前方に障害物が検出されている状況で、右側への車線変更に係るドライバの1次予備動作を検出した場合に、右確認シーンと判定しても良い。このようにプロセッサ31は、走行環境が右確認シーンと判定する条件を充足しており、且つ、ドライバの右方向への移動にかかる1次予備動作を観測できたことをトリガとして、右カメラウィンドウWcrの表示モードを第1モードから第2モードに切り替えてもよい。当該構成によれば、周辺環境情報だけを用いてシーン判定を行う構成よりも判定精度を高めることができる。
シーン判定部F4は、周辺環境を示す情報に加えて、走行地点での他車両の挙動履歴を併用して、側方確認シーンに該当するか否かを判定しても良い。走行地点とは、自車の現在位置そのもの、或いは現在位置から所定距離以内となる区間を指す。走行地点での他車の挙動履歴を示すデータは、複数の車両の挙動を収集する外部サーバから配信されうる。他車両の挙動履歴は、走行地点で右/左に車線変更する車両が多いか少ないか、その割合などを示す。交差点付近での他車両の挙動履歴は、当該交差点で右折/左折/直進する車両の割合などを示す。シーン判定部F4は、多くの他車が車線変更する地点かどうかも鑑みて現在が側方確認シーンに該当するか否かを判定してもよい。当該構成によれば、シーンの判定精度を高めることができる。なお、当該構成は、他車両の挙動データを母集団として、地点ごとの車両の挙動傾向を学習した結果をもとに、シーン判定を行う構成に相当する。
シーン判定部F4は、周辺環境を示す情報に加えて、走行地点での自車の挙動履歴を併用して、側方確認シーンに該当するか否かを判定しても良い。走行地点での自車の挙動履歴は、ナビゲーション装置15やストレージ32などに蓄積されうる。自車の挙動履歴は、走行地点で右/左に車線変更することが多いか少ないか、その割合などであってよい。交差点付近での自車の挙動履歴は、当該交差点で自車が右折/左折/直進する割合などを示す。自車の挙動履歴は、自車が車線変更した地点座標や、右左折を実施した交差点情報(ノードID)などの記録に相当する。このようにシーン判定部F4は、自車が頻繁に車線変更/右左折する地点かどうかも鑑みて現在が側方確認シーンに該当するか否かを判定してもよい。当該構成によってもシーンの判定精度向上が期待できる。
以上のようにシーン判定部F4は、周辺環境を示す情報に加えて、ドライバの挙動、走行地点での他車の挙動履歴、及び走行地点での自車の挙動履歴をもとに、側方確認シーンに該当するか否かを判定しても良い。また、シーン判定部F4は、複数種類の情報を組み合わせて、側方確認シーンに該当するか否かを判定しても良い。走行地点での他車の挙動履歴、及び走行地点での自車の挙動履歴もまた、客観的な情報の一例に相当する。これらの構成によっても、車線変更や右左折を意図していることを示す準確定的な(明示的な)アクションをドライバが実施する前から、サイドカメラウィンドウWcsの表示変更できる。つまり、ドライバが動く前からシステムが将来的な車線変更等を先読みして、注意すべき方向に対応するカメラ映像の表示態様を明るく/大きくすることができる。
プロセッサ31は、右確認シーンに該当するか否かに応じて、オブジェクトマーカーTmkの有無を変更しても良い。プロセッサ31は、現在が右確認シーンに該当すると判定している場合には、必要に応じてオブジェクトマーカーTmkを右カメラウィンドウWcrに重畳表示する。一方、現在は右確認シーンに該当すると判定していない場合、プロセッサ31はオブジェクトマーカーTmkを重畳表示しない。当該構成によれば、ドライバを右カメラウィンドウWcrに不必要に注目させる恐れを低減できる。
またプロセッサ31は、右確認シーンに該当するか否かに応じて右カメラウィンドウWcrの切り出し画角のみを動的に変更するように構成されていても良い。例えば右確認シーンに該当すると判定している場合、プロセッサ31は水平方向の切り出し画角を45度に設定する。一方、プロセッサ31は、現在が右確認シーンに該当すると判定していない場合、水平方向の切り出し画角を30度に絞って良い。
その他、プロセッサ31は、右確認シーンに該当するか否かに応じて、表示サイズ、表示位置、表示輝度の何れか1つのみを動的に変更するように構成されていても良い。また、プロセッサ31は、右確認シーンに該当すると判定している場合には、右確認シーンに該当すると判定していない状況に比べて、表示サイズ及び表示輝度を所定量(例えば40%)増量するように構成されていても良い。
右カメラウィンドウWcrの表示態様に関する上記種々の制御例は、左カメラウィンドウWclにも同様に適用可能である。上記構成は何れも、ドライバの挙動に依らない客観的な情報を用いて、サイドカメラ映像の表示態様を自動的に変更する構成に相当する。
表示制御部F3としてのプロセッサ31は、図14に示すように、シーン判定部F4が側方確認シーンと判定していない場合には、側方確認シーンと判定している場合に比べて、サイドカメラウィンドウWcsのリフレッシュレートを低下させても良い。リフレッシュレートは画面の書き換え頻度を指定するパラメータである。表示制御部F3は、リフレッシュレートを低下させているサイドカメラウィンドウWcsに対するドライバの視線を検出した場合、低下させていたリフレッシュレートを所定の基本値に復元させる。つまり、表示制御部F3は、第1モードは、第2、第3モードに比べてリフレッシュレートを低下させてもよい。表示制御部F3は、第2モードのリフレッシュレートを、第2モードのリフレッシュレートの半分などに設定してもよい。第3モードのリフレッシュレートは第2モードのリフレッシュレートと同じ値に設定されうる。
当該構成によれば、第1モードが適用されている間は、第2、第3モードが適用されている場合に比べて節電可能となる。図14に示すステップS301は、側方確認シーンに該当するかを判定するステップであり、ステップS302は左右のサイドカメラウィンドウWcsのリフレッシュレートを所定の基本値よりも下げた状態に設定するステップである。ステップS303は、対象カメラウィンドウのリフレッシュレートを基本値に戻すステップである。
表示制御部F3は、対象カメラウィンドウを、第1モードと第2モードの中間に位置する態様や、第2モードと第3モードの中間に位置する態様でも表示しうる。なお、モード間の表示切り替えは、連続的なアニメーションとして表示されてもよい。第1輝度から第2輝度への調整は瞬間的に切り替えてもよいし、所定の速度で段階的に切り替えてもよい。第1サイズから第2サイズへの変更も同様である。輝度、サイズ、及び表示位置の観点において、第2モードは、第1モードと第3モードの中間に位置するモードであっても良い。第2モード時の表示位置は、基本位置としての第1位置と、最終表示位置としての第2位置の中間であってもよい。サイドカメラウィンドウWcsの表示態様は、4段階以上に変更可能に構成されていても良い。サイドカメラウィンドウWcsの表示態様は、第1モードと第2モードの2段階だけであってもよい。HCU30がサイドカメラウィンドウWcsの表示態様として第1、第2モードしか備えない場合、第2モードは、対象カメラウィンドウを第2輝度、第2サイズで表示するモードに相当する。
表示制御部F3は、図15に示すように、視認継続時間に応じて表示モードを切り替え可能に構成されていても良い。視認継続時間は、ドライバが同一のサイドカメラウィンドウWcsを見続けている時間である。図15中のTon1は第1モードから第2モードに切り替えるために必要な視認継続時間である第1視認時間を、Ton2は第2モードから第3モードに切り替えるために必要な視認継続時間である第2視認時間をそれぞれ示している。
第1視認時間は、例えば0.5秒や0.8秒、1.0秒などに設定される。第2視認時間は0.8秒や1.0、1.2秒などに設定される。第1視認時間や第2視認時間を1秒以下に設定した構成によれば、ドライバの視線に対して速やかに輝度上昇/表示サイズ拡大といったレスポンスを実施可能となり、ドライバの利便性が向上しうる。また、周辺状況によっては、第2モードでの表示で十分であり、第3モードで表示するとドライバに煩わしさを与えてしまうケースも考えられる。第2視認時間を第1視認時間に比べて長く設定した構成によれば、ドライバの意図に反して第3モードが適用される恐れを低減できる。もちろん、第1視認時間は第2視認時間に比べて長めに設定されていても良い。第1視認時間を長めに設定した構成によれば、視線方向の誤判定によりサイドカメラウィンドウWcsを第1モードから第2モードに切り替える恐れを低減できる。
また、図15中のToff1は、第2モードから第1モードに切り替える時間である第1のアイズオフ時間を、Toff2は第3モードから第1モードに切り替えるために必要な第2のアイズオフ時間をそれぞれ示している。アイズオフ時間とは、サイドカメラウィンドウWcsから視線を外している時間である。ドライバにとって不要となった画面が相対的に大きいサイズで表示された状態が続くとドライバに煩わしさを与えうる。故に、第2のアイズオフ時間は、第1のアイズオフ時間よりも短く設定されていても良い。なお、表示制御部F3は、第3モードから第1モードに直接遷移させるのではなく、いったん第2モードを経由してから第1モードに戻すように構成されていても良い。表示制御部F3は、第3モード適用中のアイズオフ時間が第2のアイズオフ時間となったら対象カメラウィンドウを第2モードに切り替えてもよい。
なお、表示制御部F3は、ドライバが見ているサイドカメラウィンドウWcsの輝度を、視認継続時間に連動させて上げるように構成されていても良い。当該構成によれば、システムがドライバの挙動を認識していることを、ドライバが理解しやすくなる。また、ドライバの視線に呼応して速やかに輝度を上げるなどの応答を返す構成によれば、自車がドライバの仲間/パートナーである感覚をドライバに醸成する効果が期待できる。なお、表示制御部F3は、輝度を上げたサイドカメラウィンドウWcsからドライバの視線が外れたことに基づいて、当該サイドカメラウィンドウWcsの輝度を所定の速度で徐々に下げる。
プロセッサ31は、現在が側方視認シーンに該当すると判定した場合、ドライバがサイドカメラウィンドウWcsを見るべきタイミングである視認推奨タイミングを設定してもよい。そして、プロセッサ31は、視認推奨タイミングに近づくにつれ、図16に示すように対象カメラウィンドウをメータウィンドウWmtの横まで徐々に近づけていっても良い。プロセッサ31は、視認推奨タイミングに近づくにつれて、対象カメラウィンドウの輝度や大きさを徐々に変更しても良い。
視認推奨タイミングは、右左折シーンか、車線変更シーンかで異なりうる。右左折シーンでは、交差点から所定距離手前に到達する時点が視認推奨タイミングに設定される。車線変更シーンでは、車線変更が必要な理由によって視認推奨タイミングは異なりうる。車線変更の目的が障害物回避である場合、障害物から所定距離手前に到達する時点が視認推奨タイミングに設定される。車線変更の目的が先行車を追い越しである場合には、追い越し見込みと判定した時点から所定時間後となる時点が視認推奨タイミングに設定されうる。視認推奨タイミングは、n秒後(nは任意の値)などの時間で表現されても良いし、地点(位置座標)や距離で表現されても良い。
なお、図16では、対象カメラウィンドウが左カメラウィンドウWclに設定されている場合を例示しているが、対象カメラウィンドウが右カメラウィンドウWcrである場合も同様に、表示態様の変更にかかるアニメーションを表示する。
また図16は、左カメラウィンドウWclを移動させる際に、いったんインフォテイメントウィンドウWinfを非表示とする態様を示している。表示制御部F3は、左カメラウィンドウWclの移動にかかるアニメーションとして、左カメラウィンドウWclがインフォテイメントウィンドウWinfの前又は後ろを移動するアニメーションを表示しても良い。左カメラウィンドウWclが移動中の間は、左カメラウィンドウWclの視認性を高めるために、インフォテイメントウィンドウWinfを一時的に半透明な状態に設定しても良い。ここでの半透明には、不透明度が50%である状態に限らず、不透明度が30%や70%である場合などを含めることができる。不透明度は、値が高いほど不透明であることを示すパラメータであって、画素のアルファ値に対応する。不透明度0%が、完全に透明な状態を意味する。
左カメラウィンドウWclの移動にかかるアニメーションは、左カメラウィンドウWclを第1サイズ、第1輝度のまま所定の目標表示位置まで移動させたのちに、表示サイズを拡張させつつ輝度を上げる構成であっても良い。当該表現方式によれば、画面の奥側から左カメラウィンドウWclが近づく/浮き上がってくるような視覚効果が得られうる。なお、目標表示位置は、強調位置に対応するパラメータである。目標表示位置は、メータウィンドウWmtの所定距離左側であってよい。
また、左カメラウィンドウWclの移動にかかるアニメーションは、いったん左カメラウィンドウWclを基本位置でフェードアウトさせた後に、目標表示位置にフェードインさせるアニメーションであってもよい。フェードアウトは不透明度を100%から0%に所定速度で変更する処理であり、フェードインは、不透明度を0%から100%に所定速度で変更する処理である。フェードアウトは、表示サイズを徐々に小さくする処理を含んでいても良い。フェードインは、表示サイズを徐々に大きくする処理を含んでいても良い。
ところで、HCU30の判断に基づく表示制御は、ドライバにその意図が伝わりにくい傾向がある。そのため、カメラ映像の表示態様の変更にかかるアニメーションは、表示変更にかかるHCU30の意図をドライバが認識しやすいように、人間のメンタルモデルに沿った表現であることが好ましい。切り出し画角の拡張しつつ表示サイズを拡張する際には、図17に示すように画角が広がる方向に沿って、ウィンドウサイズを変更する。カメラウィンドウの拡張方向は、内側から外側に向かう方向であってよい。表示制御部F3は表示モードに変更にかかるアニメーション終了後は前述の解除条件が充足されるまで表示位置等を保持する。
図18に示すように、右カメラウィンドウWcrの第1サイズは、左カメラウィンドウWclの第1サイズよりも小さく設定されていても良い。運転席が右側にある場合、右カメラウィンドウWcrは相対的にドライバから近い位置に有るため、小さくとも視認性は確保されうる。一方、左カメラウィンドウWclは相対的にドライバから離れた位置に有るため、画面サイズが小さいとドライバが状況を確認しづらい。
上記課題に基づき、左カメラウィンドウWclの第1サイズは、右カメラウィンドウWcrの第1サイズの1.2倍などに設定されてよい。同様に、左カメラウィンドウWclの第2サイズは、右カメラウィンドウWcrの第2サイズの1.2倍などに設定されていてよい。ただし、第2サイズに関しては、左右で同じサイズが適用されても良い。
注意対象物の強調表示(S204)に関し、表示制御部F3は、注意対象物と自車の関係性に応じて、応答を変更しても良い。表示制御部F3は、注意対象物と自車が接近関係にある場合には、それらの位置関係を俯瞰した状態で示す注意対象ウィンドウWrnを表示する。一方、注意対象物と自車が離れていく関係にある場合には、注意対象ウィンドウWrnの表示を省略しても良い。
また、注意対象物に対して算出されている接触リスクが高レベルである場合には注意対象ウィンドウWrnを表示する一方、接触リスクが低レベルである場合には、注意対象ウィンドウWrnの表示を省略しても良い。接触リスクはTTCなどを用いて決定される。TTCが所定値以上である状態が、接触リスクが低い状態と定義されていて良い。注意対象物との接触の可能性/緊迫度が低い場合には注意対象ウィンドウWrnの表示を省略する構成によれば、注目点の増加を抑制できる。
プロセッサ31は、周辺監視センサ12からの信号に基づいて、注意対象物が存在する方向である注意方向を取得し、注意方向が複数存在する場合には、複数の注意方向のそれぞれに対応するカメラ映像をディスプレイ21に並列的に表示してもよい。交差点右折時などにおいて、右斜め前と、右斜め後ろのそれぞれに注意対象物(例えば歩行者)が検出されている場合には、それぞれの方向のカメラ映像をディスプレイ21に並べて表示してもよい。
また、プロセッサ31は、車線変更時、前方系センサ12Aにて移動先レーンの前方にも他車が存在することが検出されている場合、当該他車が写っているカメラ映像を別枠で表示しても良い。図19は右側に車線変更しようとしているシーンにおいて、右斜め前方に他車が存在することを検出している場合の画面表示の一例を示している。図中のWcfは前方カメラ121の映像のうち前方車両を含む所定範囲を切出して表示する前方カメラウィンドウを表している。また、Wvpは、前方カメラウィンドウWcfや右カメラウィンドウWcrの表示視点を示す、視点案内ウィンドウを表している。Smkは、移動先レーン上の空きスペースを示す加飾画像であるスペースマーカーを表している。
当該構成は、ドライバが視認すべき方向、つまり注意が必要な方向毎のカメラ映像を複数並べて表示する構成に相当する。車線変更時には、斜め後ろの交通状況に意識を向けやすいが、斜め前方にも他車は存在しうる。車線変更時には、側後方のカメラ映像に加えて、斜め前方のカメラ映像を並列表示する構成によれば、より一層安全に車線変更可能となりうる。なお、複数のカメラ映像を並列表示する場合、それらの表示位置/表示スペースの関係から、メータウィンドウWmtの表示態様を変更しても良い。プロセッサ31は、メータウィンドウWmtの表示位置を適宜横にずらしたり、メータウィンドウWmtの画面サイズを縮小したりしても良い。画面サイズの縮小は、アナログメータ表示からデジタルメータ表示への表示形式の変更や、表示項目の削減などによって実現されうる。
カメラ映像の表示にかかるユーザインターフェースとして、表示制御部F3は、表示方向選択ウィンドウWsを表示してもよい。表示方向選択ウィンドウWsは、図20の(A)に示すように、右斜め前、右後ろ、左斜め前、左斜め後ろなどのカメラ映像を表示させるためのアイコンIcn1~4を含む。右後ろアイコンIcn2は右斜後方についてのカメラ映像を表示させるアイコンである。
HCU30は、操作デバイス23からの信号に基づいてカメラウィンドウの表示にかかる乗員操作を受け付ける。右後ろアイコンIcn2をメータウィンドウWmtの左側にドラッグ&ドロップする乗員操作を受け付けた場合、表示制御部F3は、図20(B)に示すようにメータウィンドウWmtの左側に右カメラウィンドウWcrを表示する。ディスプレイ21の画面内における表示位置もまた、HCU30は、操作デバイス23の信号に基づき決定しうる。当該構成によれば、乗員は、任意の位置に、任意の方向のカメラ映像を表示可能となる。なお、表示制御部F3はドラッグ&ドロップに限らず、タップ操作などによってカメラウィンドウの表示にかかる乗員指示を受け付けてもよい。
表示方向選択ウィンドウWsを表示する場合、表示制御部F3は、方向ごとのアイコンのうち、現在表示中の方向に対応するアイコンを、非表示の方向に対応するアイコンとは異なる態様で表示する。表示制御部F3は、現在表示中のカメラ映像に対応するアイコンのフレームを太くしたり、緩やかに明滅させたりする。
なお、HCU30は、シーン判定部F4の判定結果に応じて自動的に注意方向のカメラ映像を表示しうる。そのような場合にも、表示制御部F3は、表示方向選択ウィンドウWsのように、どの方向のカメラ映像を表示しているかを俯瞰的に示すウィンドウを表示してもよい。表示方向選択ウィンドウWsは、視点案内ウィンドウWvpとして機能しうる。
以上では、表示制御部F3は、右斜め後方を示すカメラ映像として、右カメラ123の映像を用いる構成について述べたがこれに限らない。表示制御部F3は、後方カメラ122の映像をもとに右斜め後方を示すカメラ映像を生成し、右カメラウィンドウWcrとして表示しても良い。右カメラウィンドウWcrに表示する映像が右カメラ映像に相当する。また、右カメラ映像は、右カメラ123と後方カメラ122のそれぞれを合成した映像であってもよい。右カメラ映像は、右斜め前方に設定された仮想視点から、自車レーン及び右側隣接レーンを見た合成映像であってもよい。当該合成画像は、複数のカメラの映像を合成することによって生成されうる。
同様に、表示制御部F3は、後方カメラ122の映像をもとに左斜め後方を示すカメラ映像を生成し、左カメラウィンドウWclとして表示しても良い。左カメラウィンドウWclに表示する映像が左カメラ映像に相当する。左カメラ映像は、左カメラ124と後方カメラ122を合成した映像であってもよい。なお、画像の切り出しや歪み補正、合成画像の生成等といった、ディスプレイ21に表示するための画像の生成は、映像取得部F2が実施しても良い。HCU30内での機能配置は適宜変更可能である。
シーン判定部F4は、周辺監視センサ12からの信号、地図上における自車位置と走行予定経路の対応関係、及び、外部装置から受信する交通情報の少なくとも何れか1つに基づき、現在が飛び出し警戒シーンに該当するか否かを判定してもよい。飛び出し警戒シーンは、自車前方にある死角からの歩行者等の飛び出しをドライバが警戒すべきシーンである。飛び出し警戒シーンとは、具体的には、見通しの悪い交差点を通行するシーン、駐車又は一時停止している車列の側方を通過するシーンなどである。駐車場やガレージなどの道路外から道路に進入する出庫シーンもまた、自車前側の左右を視認する必要があるため、飛び出し警戒シーンに含めることができる。これらのシーンは、歩行者等の飛び出しに備えて漸進(徐行)すべきシーンに相当する。故に、飛び出し警戒シーンは漸進推奨シーンと呼ぶこともできる。
飛び出し警戒シーンと判定する条件は、予め設定されている。シーン判定部F4はドライバのペダル操作や視線方向によらずに、自車周辺の地図情報や、周辺監視センサ12の検出結果、無線通信機14の受信データに基づいて、飛び出し警戒シーンに該当するか否かを判定する。
シーン判定部F4は、一時停止を指示する路面標示/交通標識、或いは他の交通に注意を促す標識から所定距離以内を走行中であることに基づいて、現在が飛び出し警戒シーンと判定する。なお、一時停止を指示する路面標示とは一時停止線であり、一時停止を指示する標識とは、「止まれ」/「STOP」などと書かれた看板を指す。プロセッサ31は、一時停止を指示する路面標示/交通標識の存在を、地図データを参照することで検出してもよいし、前方カメラ121からの信号に基づき(つまり画像認識により)検出しても良い。なお、プロセッサ31は信号機を検出できている場合には、飛び出し警戒シーンに該当しないと判定しても良い。側方からの交通は信号機によって制御されることが期待できるためである。
また、シーン判定部F4は、見通しの悪い交差点までの残り距離が所定値(例えば15m)未満であることに基づいて、現在が飛び出し警戒シーンと判定してもよい。前方にある交差点が見通しの悪い交差点に該当するか否かは地図情報に基づいて特定されても良いし、前方系センサ12Aの検出結果に基づいて判定されてもよい。シーン判定部F4は、自車側方に駐停車している車列を検出していることに基づいて現在が飛び出し警戒シーンに該当すると判定しても良い。駐停車している車列は、周辺監視センサ12からの信号に基づき判定可能である。
その他、シーン判定部F4は、自車位置が道路外であることに基づいて現在が飛び出し警戒シーンに該当すると判定しても良い。自車位置が道路外であることは、ロケータ16が出力する自車位置情報に基づき判定可能である。自車位置が道路外であることは、周辺監視カメラの映像を解析することにより特定されてもよい。
表示制御部F3は、現在が飛び出し警戒シーンに該当するとシーン判定部F4が判定していることに基づいて、前端右側映像と前端左側映像を第1モードでディスプレイ21に表示しても良い。前端右側映像とは、前方カメラ121の映像のうち、右側方について映像である。前端左側映像とは、前方カメラ121の映像のうち、左側方について映像である。前端右側映像と前端左側映像はメータウィンドウWmtを挟むように配置されてもよいし、2つが連続して並ぶように配置されても良い。
表示制御部F3は、前端右側映像と前端左側映像を表示している状態において、ドライバの特定動作を検出した場合、前端右側映像と前端左側映像の輝度を第2又は第3モードに変更する。ここでの特定動作は、ドライバがディスプレイ21に視線を向ける行為や、減速操作であってよい。減速操作は、アクセルペダルから足を離すことであってもよいし、ブレーキペダルの踏込量/踏込力を強めることであっても良い。
上記構成によれば、ドライバは自車の前を横切る可能性がある移動体を認識しやすくなる。また、上記構成も、前述の実施形態と同様に、まずはシステム判断で自動的にカメラ映像を第1輝度/第1サイズで(つまり控えめに)表示する。そしてドライバの特定動作を検出したことに基づいてカメラ映像の表示を明るくする。他の構成としては、システム判断でいきなりカメラ映像を通常表示する構成も考えられるが、当該想定構成ではドライバを驚かせてしまう恐れがある。そのような懸念に対し、本開示の構成によれば、ドライバを驚かせる恐れを低減できる。加えて、ドライバが注意すべき方向のカメラ映像を自動表示する事により、ドライバの注意を促すことも可能となる。カメラ映像を暗めに表示することで潜在的なリスクがあることを間接的に表現しうる。
その他、表示制御部F3は、所定の後方表示条件が充足したことに基づいて、後方カメラ122の映像をメータウィンドウWmtの左側、又は、メータウィンドウWmtの内部に表示しても良い。後方表示条件は、シフトポジションが後退位置(いわゆる「R」)に設定されたことや、自車停車中に後方所定距離以内に他の移動体(歩行者や他車)が進入してきたことを検知したことなどであってよい。
映像取得部F2は、無線通信機14との協働により、路側機から路側カメラの映像を取得することがある。表示制御部F3は、映像取得部F2が路側機から路側カメラ映像を受信した場合、路側カメラ映像をディスプレイ21に表示しても良い。例えば表示制御部F3は、映像取得部F2が路側機から路側カメラ映像を受信した場合、当該路側カメラ映像をいったんは第1輝度で表示する。
シーン判定部F4は、路側機との距離、及び、路側カメラ映像に移動体が写っているか否かに基づいて、路側カメラを強調表示すべきシーンに該当するか否かを判定する。路側カメラを強調表示すべきシーンもまた、特定シーンの一種に相当する。
表示制御部F3は、路側機との距離が所定値(例えば10m)未満となったこと、及び、路側カメラ映像に移動体が写っていることの少なくとも何れか一方に基づいて、路側カメラ映像の輝度を第2輝度に変更したり、表示サイズを拡張したりする。また、表示制御部F3は、ドライバの視線が路側カメラ映像のほうに向けられたことを動作判定部F5が検出したことに基づいて、路側カメラ映像の表示輝度を上昇させても良い。
路側カメラ映像は主として自車にとっての死角となる領域の映像となる。上記構成によれば、ドライバは死角の状況を認識しやすくなる。また、段階的にカメラ映像を表示するため、ドライバを驚かせる恐れも低減できる。
ディスプレイ21は必ずしもピラートゥピラーディスプレイである必要はない。車載システムSysは、物理的に独立した複数のディスプレイ21を備えていても良い。車載システムSysは、図21に示すように、メータディスプレイ21M、右サイドディスプレイ21R、左サイドディスプレイ21L、及びセンターディスプレイ21Dを備えていても良い。右サイドディスプレイ21Rは、右後方についてのカメラ映像を映すためのディスプレイとして使用される。左サイドディスプレイ21Lは、左後方についてのカメラ映像を映すためのディスプレイとして使用される。各ディスプレイに表示する映像の表示態様はHCU30によって制御される。通常時においては右サイドディスプレイ21R及び左サイドディスプレイ21Lは第1輝度に設定されており、シーン判定部F4の判定結果に応じて第2輝度に変更されうる。当該構成によっても、ドライバの利便性を向上させつつ、消費電力を抑制可能となる。
<付言>
本開示に示す種々のフローチャートは何れも一例であって、フローチャートを構成するステップの数や、処理の実行順は適宜変更可能である。また、本開示に記載の装置、システム、並びにそれらの手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。本開示に記載の装置及びその手法は、専用ハードウェア論理回路を用いて実現されてもよい。本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウェア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。HCU30が備える機能の一部又は全部はハードウェアとして実現されても良い。或る機能をハードウェアとして実現する態様には、1つ又は複数のICなどを用いて実現する態様が含まれる。プロセッサ(演算コア)としては、CPUや、MPU、GPU、DFP(Data Flow Processor)などを採用可能である。HCU30が備える機能の一部又は全部は、SoC(System-on-Chip)、IC(Integrated Circuit)、又はFPGA(Field-Programmable Gate Array)を用いて実現されていてもよい。ICの概念には、ASIC(Application Specific Integrated Circuit)も含まれる。
本開示に示す種々のフローチャートは何れも一例であって、フローチャートを構成するステップの数や、処理の実行順は適宜変更可能である。また、本開示に記載の装置、システム、並びにそれらの手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。本開示に記載の装置及びその手法は、専用ハードウェア論理回路を用いて実現されてもよい。本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウェア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。HCU30が備える機能の一部又は全部はハードウェアとして実現されても良い。或る機能をハードウェアとして実現する態様には、1つ又は複数のICなどを用いて実現する態様が含まれる。プロセッサ(演算コア)としては、CPUや、MPU、GPU、DFP(Data Flow Processor)などを採用可能である。HCU30が備える機能の一部又は全部は、SoC(System-on-Chip)、IC(Integrated Circuit)、又はFPGA(Field-Programmable Gate Array)を用いて実現されていてもよい。ICの概念には、ASIC(Application Specific Integrated Circuit)も含まれる。
また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体(non- transitory tangible storage medium)に記憶されていればよい。プログラムの記録媒体としては、HDD(Hard-disk Drive)やSSD(Solid State Drive)、フラッシュメモリ等を採用可能である。コンピュータをHCU30として機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体等の形態も本開示の範囲に含まれる。
Claims (18)
- 車外を撮像するカメラからの信号に基づいて、自車の所定方向についてのカメラ映像を取得する映像取得部(F2)と、
周辺監視センサの出力信号、外部装置から受信する無線信号、及び、地図データの少なくとも何れか1つを用いて定まる自車周辺の走行環境に基づき、現在が特定シーンに該当するか否かを判定するシーン判定部(F4)と、
前記シーン判定部にて前記特定シーンに該当すると判定されているか否かに応じて、ディスプレイ(21、21R、21L)における前記カメラ映像の表示態様を変更する表示制御部(F3)と、を備える表示制御装置。 - 請求項1に記載の表示制御装置であって、
前記シーン判定部は、ドライバの視線方向、ドライバのステアリングホイールの操作状態、走行地点での他車の挙動履歴、及び、走行地点での自車の挙動履歴の少なくとも何れか1つを、前記走行環境を示す情報と併用して、前記特定シーンに該当するか否かを判定する表示制御装置。 - 請求項1又は2に記載の表示制御装置であって、
前記特定シーンではないと判定されている場合には、前記カメラ映像を所定の第1輝度で表示し、
前記特定シーンと判定されている場合には、前記カメラ映像を前記第1輝度よりも明るい第2輝度で表示する表示制御装置。 - 請求項3に記載の表示制御装置であって、
ドライバの挙動に応じた信号を出力するドライバ挙動センサからの信号に基づき、ドライバが特定動作を実施したか否かを判定する動作判定部(F5)を備え、
前記表示制御部は、前記カメラ映像を前記第1輝度で表示している状態で、ドライバが前記特定動作を実施したと前記動作判定部が判定したら、前記カメラ映像の輝度を上昇させる表示制御装置。 - 請求項1から4の何れか1項に記載の表示制御装置であって、
前記表示制御部は、
前記特定シーンではないと判定されている場合には、前記カメラ映像を所定の第1位置に表示する一方、
前記特定シーンと判定されたことに基づいて、前記カメラ映像の表示位置を前記第1位置から、所定の第2位置に移動させるアニメーションを表示し、
前記アニメーションの終了後は、所定の表示解除条件が充足されるまでは前記カメラ映像を前記第2位置に表示し続ける表示制御装置。 - 請求項1から5の何れか1項に記載の表示制御装置であって、
前記表示制御部は、前記カメラ映像の表示態様として、ドライバの目を惹きつける度合いが最も低い控えめ態様と、ドライバの目を惹きつける度合いが最も高い誘目態様と、それらの中間に位置する中間態様と、を選択的に採用可能に構成されており、
ドライバの挙動に応じた信号を出力するドライバ挙動センサからの信号に基づき、ドライバが特定動作を実施したか否かを判定する動作判定部(F5)を備え、
前記シーン判定部の判定結果と、前記動作判定部の判定結果の組み合わせに応じて、前記カメラ映像の表示態様を変更する表示制御装置。 - 請求項1から6の何れか1項に記載の表示制御装置であって、
ドライバの挙動に応じた信号を出力するドライバ挙動センサからの信号に基づき、ドライバが特定動作を実施したか否かを判定する動作判定部(F5)を備え、
前記表示制御部は、
前記特定シーンと判定されたことに基づいて前記カメラ映像の表示輝度又は表示サイズを所定量上げる1次提示処理を実施するとともに、
前記1次提示処理の後に、ドライバが前記特定動作を実施したと前記動作判定部が判定した場合には、前記カメラ映像の表示サイズ又は表示輝度を増大させる2次提示処理を実行する表示制御装置。 - 請求項1から7の何れか1項に記載の表示制御装置であって、
前記特定シーンではないと判定されている場合は、前記特定シーンと判定されている場合に比べて、前記カメラ映像のリフレッシュレートを下げる表示制御装置。 - 請求項1から8の何れか1項に記載の表示制御装置であって、
前記カメラは、自車の後側方を撮影するように配置されたカメラであって、
前記映像取得部は、サイドカメラ映像として、自車の右後方を映す右カメラ映像と、左後方を映す左カメラ映像をそれぞれ取得し、
前記シーン判定部は、前記特定シーンとして、ドライバが右側を確認すべき右確認シーンに該当するか、ドライバが左側を確認すべき左確認シーンに該当するかを判定し、
前記表示制御部は、前記シーン判定部の判定結果に応じて、前記右カメラ映像の表示態様と、前記左カメラ映像の表示態様を個別に制御する表示制御装置。 - 請求項9に記載の表示制御装置であって、
前記シーン判定部は、
前方にある交差点を右折予定である場合、又は、左端のレーンを走行中に車線変更の必要性を高める事象を検出した場合に、現在が前記右確認シーンに該当すると判定し、
前方にある交差点を左折予定である場合、又は、右端のレーンを走行中に車線変更の必要性を高める事象を検出した場合に、現在が前記左確認シーンに該当すると判定する表示制御装置。 - 請求項9又は10に記載の表示制御装置であって、
前記表示制御部は、
前記右確認シーンでも前記左確認シーンでもないと前記シーン判定部が判定しており、かつ、方向指示器が作動していない場合には、左右の前記サイドカメラ映像を、所定の第1輝度で表示し、
前記右確認シーンであると前記シーン判定部が判定している場合には、前記方向指示器が動作していない場合であっても、前記右カメラ映像を前記第1輝度よりも所定量明るい第2輝度で表示し、
前記左確認シーンであると前記シーン判定部が判定している場合には、前記方向指示器が動作していない場合であっても、前記左カメラ映像を前記第2輝度で表示する表示制御装置。 - 請求項9から11の何れか1項に記載の表示制御装置であって、
前記シーン判定部は、自車の前方に静止物が検出されていることに基づいて、前記右確認シーン又は前記左確認シーンに該当すると判定するように構成されている表示制御装置。 - 請求項9から12の何れか1項に記載の表示制御装置であって、
前記シーン判定部は、
自車が先行車に対して所定値以上の相対速度で接近していることに基づいて、前記右確認シーン又は前記左確認シーンに該当すると判定する一方、
前記周辺監視センサからの信号、前記外部装置から受信する無線信号、又は、前記地図データに基づき、信号機、料金所、又は、一時停止線から所定距離以内に自車が存在することが検出されている場合には、自車が先行車に対して所定値以上の相対速度で接近していても、前記右確認シーン及び前記左確認シーンには該当しないと判定する表示制御装置。 - 請求項11から13の何れか1項に記載の表示制御装置であって、
前記映像取得部は、複数の方向のカメラ映像を取得し、
前記シーン判定部は、前記周辺監視センサからの信号に基づいて、注意対象物が存在する方向である注意方向を取得し、
前記注意方向が複数存在する場合には、複数の前記注意方向のそれぞれに対応するカメラ映像を前記ディスプレイに並列的に表示する表示制御装置。 - 請求項1から14の何れか1項に記載の表示制御装置であって、
前記映像取得部は、路側機との無線通信により、道路沿いに配置された前記カメラである路側カメラ映像を取得し、
前記シーン判定部は、前記路側機との距離、及び、前記路側カメラ映像に移動体が写っているか否かに基づいて、前記特定シーンに該当するかを判定し、
前記表示制御部は、
前記シーン判定部が前記特定シーンと判定していない場合には、前記路側カメラ映像を第1輝度で表示するとともに、
前記シーン判定部が前記特定シーンと判定している場合には、前記路側カメラ映像を前記第1輝度よりも所定量高い第2輝度で表示するように構成されている表示制御装置。 - 請求項15に記載の表示制御装置であって、
前記シーン判定部は、前記路側機との距離が所定値未満となっていること、及び、前記路側カメラ映像に前記移動体が映っていることの少なくとも何れか一方に基づいて前記特定シーンに該当すると判定する表示制御装置。 - 予め設定された経路に沿って自車を自律的に走行させる制御である自動運転制御をドライバからの指示に基づいて実行する自動運行装置(17)と接続されて使用される、請求項1から16の何れか1項に記載の表示制御装置であって、
前記表示制御部は、
前記自動運転制御が実行されている場合にも、前記シーン判定部の判定結果に応じた態様で前記カメラ映像を表示するように構成されている表示制御装置。 - 車両に搭載されているディスプレイ(21、21R、21L)の表示を制御する、少なくとも1つのプロセッサによって実行される表示制御方法であって、
車外を撮像するカメラからの信号に基づいて、自車の所定方向についてのカメラ映像を取得することと、
周辺監視センサの出力信号、外部装置から受信する無線信号、及び、地図データの少なくとも何れか1つを用いて定まる自車周辺の走行環境に基づき、現在が特定シーンに該当するか否かを判定することと、
現在が前記特定シーンに該当すると判定しているか否かに応じて、前記ディスプレイにおける前記カメラ映像の表示態様を変更することと、を含む表示制御方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022-044137 | 2022-03-18 | ||
JP2022044137A JP2023137771A (ja) | 2022-03-18 | 2022-03-18 | 表示制御装置、表示制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023176737A1 true WO2023176737A1 (ja) | 2023-09-21 |
Family
ID=88023748
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/009388 WO2023176737A1 (ja) | 2022-03-18 | 2023-03-10 | 表示制御装置、表示制御方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2023137771A (ja) |
WO (1) | WO2023176737A1 (ja) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008041058A (ja) * | 2006-08-10 | 2008-02-21 | Sumitomo Electric Ind Ltd | 死角移動体を報知するための報知システム、画像処理装置、車載装置及び報知方法 |
JP2008056136A (ja) * | 2006-08-31 | 2008-03-13 | Toyota Motor Corp | 車両用注意喚起システム、車両の注意喚起方法 |
JP2010064691A (ja) * | 2008-09-12 | 2010-03-25 | Panasonic Corp | 車両運転支援装置、車両運転支援方法および車両運転支援プログラム |
JP2011134103A (ja) * | 2009-12-24 | 2011-07-07 | Aisin Aw Co Ltd | 案内装置、案内方法、及び案内プログラム |
JP2014098906A (ja) * | 2013-12-13 | 2014-05-29 | Nec Corp | 表示部を備えた電子機器及びその制御方法 |
JP2014229997A (ja) * | 2013-05-20 | 2014-12-08 | 日本精機株式会社 | 車両用表示装置 |
JP2016097896A (ja) * | 2014-11-25 | 2016-05-30 | アイシン精機株式会社 | 画像表示制御装置 |
JP2019049812A (ja) * | 2017-09-08 | 2019-03-28 | スズキ株式会社 | 走行位置評価システム |
JP2020053916A (ja) * | 2018-09-28 | 2020-04-02 | パナソニックIpマネジメント株式会社 | 表示制御装置、車両、表示制御方法 |
JP2021043047A (ja) * | 2019-09-10 | 2021-03-18 | トヨタ自動車株式会社 | 走行予定経路通知装置 |
-
2022
- 2022-03-18 JP JP2022044137A patent/JP2023137771A/ja active Pending
-
2023
- 2023-03-10 WO PCT/JP2023/009388 patent/WO2023176737A1/ja unknown
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008041058A (ja) * | 2006-08-10 | 2008-02-21 | Sumitomo Electric Ind Ltd | 死角移動体を報知するための報知システム、画像処理装置、車載装置及び報知方法 |
JP2008056136A (ja) * | 2006-08-31 | 2008-03-13 | Toyota Motor Corp | 車両用注意喚起システム、車両の注意喚起方法 |
JP2010064691A (ja) * | 2008-09-12 | 2010-03-25 | Panasonic Corp | 車両運転支援装置、車両運転支援方法および車両運転支援プログラム |
JP2011134103A (ja) * | 2009-12-24 | 2011-07-07 | Aisin Aw Co Ltd | 案内装置、案内方法、及び案内プログラム |
JP2014229997A (ja) * | 2013-05-20 | 2014-12-08 | 日本精機株式会社 | 車両用表示装置 |
JP2014098906A (ja) * | 2013-12-13 | 2014-05-29 | Nec Corp | 表示部を備えた電子機器及びその制御方法 |
JP2016097896A (ja) * | 2014-11-25 | 2016-05-30 | アイシン精機株式会社 | 画像表示制御装置 |
JP2019049812A (ja) * | 2017-09-08 | 2019-03-28 | スズキ株式会社 | 走行位置評価システム |
JP2020053916A (ja) * | 2018-09-28 | 2020-04-02 | パナソニックIpマネジメント株式会社 | 表示制御装置、車両、表示制御方法 |
JP2021043047A (ja) * | 2019-09-10 | 2021-03-18 | トヨタ自動車株式会社 | 走行予定経路通知装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2023137771A (ja) | 2023-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10254539B2 (en) | On-vehicle device, method of controlling on-vehicle device, and computer-readable storage medium | |
US11016497B2 (en) | Vehicle control system, vehicle control method, and vehicle control program | |
WO2021006060A1 (ja) | 表示制御装置および表示制御プログラム | |
CN109204305B (zh) | 丰富视野方法、观察员车辆和对象中使用的设备和机动车 | |
CN109564734B (zh) | 驾驶辅助装置、驾驶辅助方法、移动体和程序 | |
US20240294115A1 (en) | Display system, display device, display method, and mobile apparatus | |
WO2022044768A1 (ja) | 車両用表示装置 | |
KR20170048781A (ko) | 차량용 증강현실 제공 장치 및 그 제어방법 | |
US20210339770A1 (en) | Information processing apparatus, information processing method, and program | |
JP2017166913A (ja) | 表示制御装置及び表示制御方法 | |
JP7478570B2 (ja) | 車両制御装置 | |
JP2016112987A (ja) | 車両用表示制御装置及び車両用表示制御方法 | |
US20230373309A1 (en) | Display control device | |
JP2024029051A (ja) | 車載表示装置、方法およびプログラム | |
JP7310851B2 (ja) | 車両用表示装置 | |
JP2017202721A (ja) | 表示システム | |
JP2023138849A (ja) | 提示制御装置及び提示制御プログラム | |
JP2020095044A (ja) | 表示制御装置及び表示制御方法 | |
WO2023176737A1 (ja) | 表示制御装置、表示制御方法 | |
WO2022085487A1 (ja) | カメラモジュール、情報処理システム、情報処理方法、及び、情報処理装置 | |
US20210171060A1 (en) | Autonomous driving vehicle information presentation apparatus | |
JP2022149734A (ja) | 車両制御装置、車両、車両制御装置の動作方法及びプログラム | |
JP7334768B2 (ja) | 提示制御装置及び提示制御プログラム | |
WO2024172121A1 (ja) | 自動運転制御装置、自動運転制御プログラム、及び自動運転制御方法 | |
WO2022230779A1 (ja) | 車両用報知制御装置及び車両用報知制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23770692 Country of ref document: EP Kind code of ref document: A1 |