WO2020250525A1 - 車両用情報表示装置 - Google Patents

車両用情報表示装置 Download PDF

Info

Publication number
WO2020250525A1
WO2020250525A1 PCT/JP2020/011406 JP2020011406W WO2020250525A1 WO 2020250525 A1 WO2020250525 A1 WO 2020250525A1 JP 2020011406 W JP2020011406 W JP 2020011406W WO 2020250525 A1 WO2020250525 A1 WO 2020250525A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
output
unit
view camera
image processing
Prior art date
Application number
PCT/JP2020/011406
Other languages
English (en)
French (fr)
Inventor
大輔 濱野
Original Assignee
マツダ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マツダ株式会社 filed Critical マツダ株式会社
Priority to US17/610,698 priority Critical patent/US11794655B2/en
Priority to EP20823360.1A priority patent/EP3939835B1/en
Priority to CN202080031692.XA priority patent/CN113727884A/zh
Publication of WO2020250525A1 publication Critical patent/WO2020250525A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Definitions

  • the technology disclosed here belongs to the technical field related to information display devices used in vehicles.
  • Patent Document 1 discloses a technique for shortening the activation time of the in-vehicle display device at the time of departure when the vehicle is parked. Specifically, in the technique of Patent Document 1, when it is necessary to start backward at the time of departure, backup by a volatile memory backup means is executed at the time of a user's power-off operation.
  • Patent Document 1 is a technology relating to the start-up time when the vehicle parks and departs, but there is a function for which shortening of the start-up time is desired other than when the vehicle departs.
  • a vehicle that has a configuration to activate the rear view camera before entering the parking lot and starting backward, but there is a request to shorten the activation time of this rear view camera within a predetermined time, and dedicated software and hardware are required.
  • the startup time has been shortened by using it.
  • the use of dedicated software and hardware is laborious and costly to design.
  • the technology disclosed here was made in view of these points, and is to display the captured image of the camera at an early stage when the driving vehicle starts backward.
  • one aspect of the technique disclosed herein is intended for a vehicle information display device that displays an image captured by a rear view camera that images the outside and rear of the vehicle on a display inside the vehicle.
  • a monitor screen provided in the vehicle according to the output of an image processing unit that receives image data captured by the rear view camera and performs predetermined image processing on the image data, and a driving operation information unit that detects the position of the shift lever.
  • the display switching unit that switches the display of, the output of the front view camera that images the front outside the vehicle, the output of the vehicle speed sensor, and the output of the in-vehicle camera that images the driver.
  • the rear view camera is changed from the stopped state to the activated state when the reverse start of the vehicle is predicted by the environmental determination unit, and the image processing unit activates the rear view camera.
  • the predetermined image processing of the image data received from the rear view camera in the state is started, and the display switching unit receives a movement signal indicating the movement of the shift lever to the reverse position from the operation operation information unit. Occasionally, the display on the monitor screen provided in the vehicle is switched to the output image of the image processing unit.
  • the processing of the image processing unit for backward start is started in advance, so that when the user performs the backward start operation, the output image of the image processing unit is displayed on the display. Can be displayed at an early stage. Moreover, since it is not necessary to use hardware or software specialized in functions in order to speed up the processing, it is possible to prevent an increase in cost.
  • the environment determination unit predicts that the vehicle will start backward by recognizing the entry of the vehicle into the parking lot based on the output of the vehicle exterior environment recognition unit including the front view camera. It may be configured as.
  • the vehicle information display device receives image data captured by a rear view camera that images the rear of the vehicle, and performs predetermined image processing on the image data.
  • the vehicle starts backward based on the output of the image processing unit, the front view camera that images the front outside the vehicle, the output of the vehicle speed sensor, and the output of the in-vehicle camera that images the driver.
  • It is equipped with an environment determination unit that predicts, and when the vehicle's backward start is predicted by the environment determination unit, the setting of the rear view camera is set from the rear monitoring setting for monitoring the rear during normal driving of the vehicle.
  • the setting may be changed to a setting for backward start in which the high-definition imaging distance is shorter than the setting for rearward monitoring.
  • the "device” referred to in the present specification includes devices such as actuators and sensors that are controlled when the automobile travels.
  • the setting of the rear view camera is changed from the setting for backward monitoring to the setting for backward start, so that when the user performs the backward start operation, the display is displayed.
  • the output image of the image processing unit can be switched at an early stage. Moreover, since it is not necessary to use hardware or software specialized in functions in order to speed up the processing, it is possible to prevent an increase in cost.
  • the processing of the image processing unit for reverse start is started in advance, so that when the user performs the backward start operation.
  • the output image of the image processing unit can be displayed on the display screen at an early stage.
  • Block diagram showing the configuration of the vehicle information display device Schematic diagram showing a vehicle equipped with a vehicle information display device Timing chart showing the operation of the vehicle information display device
  • FIG. 1 is a block diagram schematically showing the configuration of the vehicle information display device according to the embodiment. Further, FIG. 2 is a schematic view showing a vehicle equipped with the vehicle information display device of the embodiment. Note that FIG. 1 shows a configuration for demonstrating the function as the information display device of the embodiment, and does not show all the functions related to the information display of the vehicle.
  • the vehicle 1 is provided with an arithmetic unit that controls the operation of the vehicle 1.
  • the arithmetic unit 10 is a microprocessor composed of one or a plurality of chips, and has a CPU, a memory, and the like.
  • the arithmetic unit 10 includes a configuration for realizing the function of the vehicle information display device 100 described below.
  • the arithmetic unit 10 includes a processor and a memory.
  • Memory stores modules, which are software that can be executed by a processor.
  • the functions of each part of the vehicle information display device 100 shown in FIG. 1 are realized, for example, by the processor executing each module stored in the memory. Further, the memory stores the data of the model used in the arithmetic unit 10.
  • each part of the vehicle information display device 100 shown in FIG. 1 may be realized by a hardware circuit.
  • the functions of each part of the vehicle control device 130 are realized, for example, by the processor executing each module stored in the memory.
  • the vehicle information display device 100 is an infotainment that displays route guidance information of a car navigation system, road traffic information, image information of a rear view camera at the time of reverse start, and the like on a display screen 41 of an image display device 40 provided in the vehicle.
  • the system 120 is provided.
  • display information the information to be displayed on the display screen 41 of the image display device 40 is collectively referred to as "display information".
  • the image display device 40 is an example of a display.
  • the infotainment system 120 is an IVI (In-vehicle infotainment) having a function of displaying an external information received by an image processing unit 121 for rear monitoring among images captured by the camera 21 and an external communication unit 30. It includes a processing unit 122 and a selector 123 that selects the output of either the image processing unit 121 or the IVI processing unit 122 and outputs the output to the image display device 40.
  • IVI Intelligent Vehicle infotainment
  • the sensor devices 20 are (1) a plurality of cameras 21 provided on the body or the like of the vehicle 1 and photographing the environment outside the vehicle, and (2) a plurality of cameras provided on the body or the like of the vehicle 1 and detecting a target or the like outside the vehicle.
  • a position sensor 23 that detects the position (vehicle position information) of the vehicle 1 using the radar 22 and (3) Global Positioning System (GPS), and (4) a vehicle speed sensor, an acceleration sensor, and a yaw rate.
  • GPS Global Positioning System
  • a occupant state that is composed of the output of sensors such as sensors that detect the behavior of the vehicle and acquires the state of the vehicle 1 and (5) an in-vehicle camera and the like that acquires the state of the occupant of the vehicle 1.
  • the driving operation information acquisition unit 26 includes an accelerator opening sensor, a shift sensor for detecting the position of the shift lever, a brake sensor, and a steering angle sensor.
  • the operation operation information acquisition unit 26 outputs the output switching signal SC2 based on the output of the shift sensor.
  • the signal format of the output switching signal SC2 is not particularly limited.
  • the driving operation information acquisition unit 26 outputs "High” when the driver puts the shift lever in the "R range", and when the driver puts the shift lever in a range other than the "R range”. It will be described as assuming that "Low” is output to.
  • the camera 21 includes a front view camera 21a that images the front outside the vehicle, a side view camera 21b that images the outside of the vehicle, and a rear view camera 21c for parking that images the rear outside the vehicle when parking.
  • the rear view camera 21c for parking is a camera used at the time of parking, and in the present embodiment, in order to suppress power consumption during so-called normal driving such as when traveling on a general road or a highway. In addition, it is assumed that it is not started.
  • the camera 21 may be provided with a rear-view camera that operates during normal driving and monitors the rear.
  • the out-of-vehicle communication unit 30 is connected to the out-of-vehicle network. Communication information from other vehicles located around the own vehicle and traffic information from the navigation system are input to the external communication unit 30. In the following, for convenience of explanation, the information received from the external network via the external communication unit 30 is collectively referred to as "external information".
  • the sensor device 20 and the external communication unit 30 are examples of the environmental information acquisition unit.
  • the image processing unit 121 is not activated in order to suppress power consumption during so-called normal operation, such as when traveling on a general road or a highway.
  • the image processing unit 121 is activated when the environment determination unit 115 receives the prediction signal SC1 indicating that the vehicle 1 is expected to start backward.
  • the image processing unit 121 receives the image pickup signal of the rear view camera 21c for parking, generates an image for display on the display screen 41 of the image display device 40, and outputs the image.
  • the environment determination unit 115 receives the vehicle exterior environment information from the vehicle exterior environment recognition unit 111 that recognizes the vehicle exterior environment, the vehicle behavior estimation information from the vehicle behavior estimation unit 113, and the occupant behavior estimation information from the occupant behavior estimation unit 114. ,
  • the situation in which the vehicle is placed (hereinafter referred to as the vehicle condition) including the driving scene of the vehicle, the external environment, the internal environment, the condition of the occupants, etc. is determined.
  • the environment determination unit 115 predicts that the vehicle 1 will start backward as a vehicle condition. For example, the environment determination unit 115 determines that after a short time has passed, that is, the vehicle 1 is in a situation where it may start backward in the near future.
  • the method for determining the prediction of reverse start is not particularly limited, but for example, the environment determination unit 115 determines that there is a possibility of reverse start when the vehicle 1 enters the parking lot based on the environment information outside the vehicle. Further, for example, the environment determination unit 115 indicates that the vehicle 1 approaches the road shoulder while slowing down based on the vehicle outside environment information, the vehicle behavior estimation information, and the occupant behavior estimation information, and once the vehicle is stopped, the occupant looks behind. When it is detected, it is determined that there is a possibility of starting backward.
  • the IVI processing unit 122 receives map information from the car navigation device in the vehicle, and receives entertainment information such as route guidance information, road traffic information, and terrestrial broadcasting as external information from an external network via the vehicle exterior communication unit 30. To do. Then, based on the setting information of the occupant and the operation information of the remote controller or the like, the content information for displaying the content matching the occupant's wish is output. It should be noted that here, among the IVI processing units 122, the configurations and functions for exerting the functions according to the present embodiment are illustrated, and not all the configurations and functions of the IVI processing unit 122 are shown. ..
  • the selector 123 receives the captured image of the rear view camera 21c generated by the image processing unit 121 and the content information output from the IVI processing unit 122. Then, the selector 123 outputs either the captured image of the rear view camera 21c or the content information output from the IVI processing unit 122 based on the output switching signal SC2 from the driving operation information acquisition unit 26. Specifically, when the driver does not put the shift lever in the "R range", the output of the IVI processing unit 122 is selected, and when the driver puts the shift lever in the R range, the image processing unit 121 The output is selected and output to the image display device 40. The information selected by the selector 123 is displayed on the display screen 41 of the image display device 40.
  • FIG. 3 is a timing chart showing the operation of the vehicle information display device of FIG.
  • the vehicle 1 normally travels on a general road, then enters the parking lot at time t10, the driver moves the shift lever to the "R range" at time t30, and then the vehicle 1 is started backward. It shall be. It is assumed that the prediction signal SC1 is highly active.
  • the vehicle 1 is normally traveling, and the image display device 40 displays the content information output from the IVI processing unit 122 as in the car navigation image. ing.
  • the vehicle outside environment recognition unit 111 recognizes that the vehicle 1 has entered the parking lot, and the recognition result is transmitted to the environment determination unit 115.
  • the environment determination unit 115 sets the prediction signal SC1 to "High" based on the recognition result of the vehicle outside environment recognition unit 111. Then, the rear view camera 21c and the image processing unit 121 are activated. Then, in the rear view camera 21c, the activation process and the image processing unit 121 are executed.
  • the rear view camera 21c may be activated by any of the modules shown in FIG. 1 (for example, the environment determination unit 115 or the image processing unit 121), or the environment determination unit 115 may cause a backward start.
  • a dedicated module (not shown) for recognizing the prediction and activating the rear view camera 21c may be provided.
  • the temporary stop of the vehicle is recognized based on the output of the vehicle state sensor 24 (for example, the vehicle speed sensor), and after the temporary stop of the vehicle, the occupant state sensor 25 (for example, the in-vehicle camera) visually recognizes the rear of the driver.
  • the reverse start of the vehicle is predicted by recognizing the movement.
  • the rearward visual recognition operation includes a retrospective motion in which the driver looks back and visually recognizes. The same applies to the prediction of the reverse start of the vehicle when the setting of the rear view camera 21c is changed from the setting for rear monitoring to the setting for reverse start, which will be described later.
  • the rear view camera 21c For example, after the rear view camera 21c is activated, various parts such as a microcomputer are reset and imaging is started. After that, the rear view camera 21c performs distortion removal, brightness adjustment, and the like, and an imaging signal is output from the rear view camera 21c (described as “transfer” in FIG. 3). Similar to the rear view camera 21c, the image processing unit 121 performs a software and hardware reset process, and when the reset process is completed, a display image generation process is executed (see times t10 to t20 in FIG. 3). The above-mentioned display image generation process is an example of a predetermined image process.
  • the image captured by the rear view camera 21c is sequentially output to the selector 123 (see time t20 in FIG. 3).
  • the time between the times t10 and t20 varies depending on the processing speed of the arithmetic unit 10, the startup time of the rear view camera 21c, etc., but when the startup circuit or the like is configured with general-purpose electronic components without using a dedicated circuit, It takes about several seconds.
  • the content information output from the IVI processing unit 122 continues even when the vehicle is searching for a parking space, that is, while the shift lever is in the "D range". Is displayed.
  • the output switching signal SC2 of the driving operation information acquisition unit 26 switches from “Low” to "High”. Then, the output signal of the selector 123 is switched from the output signal of the IVI processing unit 122 to the captured image of the rear view camera 21c.
  • the vehicle information display device 100 of the present embodiment generates a reverse start based on the output from the sensor device 20 that acquires at least one of the environmental information inside the vehicle 1 and outside the vehicle 1. It includes an environment determination unit 115 for predicting, and an image processing unit 121 for generating an image to be displayed on the display screen 41 of the image display device 40 by receiving an image pickup signal from the camera 21. Then, when the environment determination unit 115 predicts the occurrence of a backward start, the camera for starting the backward start and the processing of the image processing unit 121 are started in advance, and when the user performs the backward start operation, the display screen is displayed. The output image of the image processing unit 121 is displayed.
  • the camera is started and the image processing unit 121 is started in advance.
  • preparations are made in advance for displaying the output image of the image processing unit 121 on the display screen.
  • the output image can be displayed at an early stage when the user performs a backward start operation.
  • the time required to display the image on the display screen 41 can be significantly shortened as compared with the case where the user starts the camera or starts the processing of the image processing unit 121 after the backward start operation. ..
  • sufficient time can be secured until the camera is started and the processing of the image processing unit 121 is started, it is not necessary to use hardware / software specialized for early start-up of the camera, and the cost is increased. You can prevent it from happening.
  • the rear view camera 21c is not activated, but the present invention is not limited to this.
  • the rear view camera 21c for parking is also used as the camera for rear monitoring during traveling, the rear view camera 21c is in the activated state even during normal traveling.
  • the technique of the present disclosure can be applied.
  • the setting as a rear-view camera and the setting as a rear-view camera for parking may differ in settings such as a wide angle of view and an imaging distance that enhances accuracy.
  • the vehicle information display device 100 sets the rear view camera 21c as a camera for rear monitoring when the environment determination unit 115 predicts that a backward start will occur.
  • the setting for rearward monitoring it is advisable to change from (hereinafter referred to as the setting for rearward monitoring) to the setting as a rear view camera for parking (hereinafter referred to as the setting for starting backward).
  • the modules shown in FIG. 1 for example, the environment determination unit 115 or the image processing unit 121 executes the change from the rear view camera 21c setting for rearward monitoring to the setting for backward start.
  • a dedicated module for recognizing that the environment determination unit 115 has predicted the occurrence of backward start and changing the setting of the rear view camera 21c from the setting for backward monitoring to the setting for backward start (not shown). ) May be provided.
  • Changing the settings of the rear view camera includes, for example, changing parameters such as dynamic range, camera brightness, and camera resolution.
  • the environment judgment unit 115 predicts that a backward start will occur, it is assumed that the speed of the vehicle is also slowing down. Therefore, even if the camera settings are changed in advance, the effect is minor. For example, by using the results of other sensors (for example, radar), the camera settings are not affected. It is also possible to.
  • the rear view camera 21c may be returned to the normal running state. Specifically, for example, the rear view camera 21c is returned to the unactivated state.
  • FIG. 4 schematically shows a configuration of a device (hereinafter, referred to as a vehicle control device 130) according to a modified example according to the above embodiment.
  • a vehicle control device 130 components common to those in FIG. 1 may be designated by a common reference numeral and the description thereof may be omitted.
  • the configurations of the sensor device 20 and the vehicle exterior communication unit 30, and the configurations of the vehicle exterior environment recognition unit 111, the vehicle behavior estimation unit 113, the occupant behavior estimation unit 114, and the environment determination unit 115 are the same as those in FIG.
  • the selector 134 has a configuration corresponding to the selector 123, and one of the change parameter setting unit 131 and the parameter setting unit 132 is selected based on the determination result of the environment determination unit 115, and corresponds to the image display device 40. Output to the control unit 50.
  • the vehicle control device 130 receives the outputs of the vehicle exterior environment recognition unit 111, the vehicle behavior estimation unit 113, and the occupant behavior estimation unit 114, and sets the parameters of the control unit 50.
  • the parameter setting unit 132 and the control unit It is provided with a change parameter setting unit 131 for setting change parameters for changing 50 parameters.
  • the vehicle control device 130 includes two selectors 133 and 134 that receive the outputs of the parameter setting unit 132 and the parameter setting unit 131 and select and output one of them.
  • the selector 133 selects one of the above-mentioned parameters or the change parameter based on the output switching signal output from the environment determination unit 115 and outputs it to the sensor device 20.
  • the selector 134 selects one of the above-mentioned parameters or the change parameter based on the output switching signal output from the environment determination unit 115 and outputs the output to the control unit 50.
  • the control unit 50 is a unit for controlling devices such as actuators and sensors that are controlled when the automobile travels, and in particular, controls actuators related to driving, braking, and steering of the vehicle 1.
  • the selector 134 outputs parameters for controlling devices such as actuators and sensors.
  • the output switching signal may be output from at least one of the sensor device 20 and the external communication unit 30.
  • the change parameter setting unit 131 changes the settings of the sensor device 20 and the control unit 50 based on the output from the environment determination unit 115, as in the case of the image processing unit 121 of the first embodiment. Prepare the change parameters for.
  • the change parameter setting unit 131 stores the vehicle in advance in a database DB or the like. Prepare the change parameters in advance based on the setting information and so on. For example, prepare a change parameter that lowers the accelerator sensitivity than when traveling at normal speed. By lowering the accelerator sensitivity from the state of traveling at normal speed, the driver can make fine adjustments to the accelerator operation. Then, when the driver performs a specific operation or operation, an output switching signal is output from the sensor device 20, and the change parameter is reflected.
  • the environment determination unit causes the "specific operation” to occur. Judge that it is expected and prepare change parameters. Then, when the driver actually performs a "specific operation", the selectors 133 and 134 may be switched to reflect the setting parameters on the device.
  • the vehicle control device 130 predicts the occurrence of a specific motion of the vehicle based on the output from the sensor device 20 that acquires at least one of the environmental information inside or outside the vehicle.
  • the environment judgment unit 115 predicts the occurrence of a specific operation
  • the setting parameters of the device to be operated corresponding to the specific operation are prepared in advance, and the user performs an operation to instruct the specific operation. Occasionally, the control unit 50 was made to reflect the setting parameters.
  • the setting parameters of the device to be operated corresponding to the specific operation are prepared in advance, the setting parameters are reflected in the control unit 50 at an early stage when the user performs an operation instructing the specific operation. Can be made to.
  • the setting parameter for example, the number of cylinders operated by the engine may be changed depending on the driving scene.
  • the setting parameters are not limited to the setting parameters of the device, and for example, the parameters for arithmetic processing such as the size and resolution of the vehicle exterior environment map created by the automatic driving system should be changed based on the driving scene. It may be.
  • the vehicle control device 130 includes an environment determination unit 115 that predicts the occurrence of a specific operation of the vehicle based on the output from the sensor device 20 that acquires at least one of the environmental information inside the vehicle or outside the vehicle.
  • the determination result of the environment determination unit 115 may be used to set parameters suitable for the environment without assuming an operation in which the user instructs a specific operation.
  • the technology disclosed here is useful as an external environment recognition device that recognizes the external environment of an autonomous mobile body.

Abstract

車両用情報表示装置（１００）は、環境情報取得部からの出力を基に後退発進の発生を予測する環境判定部（１１５）と、カメラの撮像画像を受信して表示画面に表示する画像を生成する画像処理部（１２１）と、車両の走行状況に応じて車内に設けられたモニタ画面の表示を切り替える表示切替部とを備え、環境判定部（１１５）で後退発進の発生が予測された場合に、画像処理部（１２１）はあらかじめ後退発進のための画像処理を開始し、ユーザーが後退発進操作をしたときに、表示画面に画像処理部の出力画像を表示させる。

Description

車両用情報表示装置
　ここに開示された技術は、車両に用いられる情報表示装置に関する技術分野に属する。
　近年、車両には、多数の運転支援機器が搭載されており、暗電流が増大している。この暗電流を抑制するために、車両の各機器の電源を不使用時に遮断するのが望ましい。一方で、各機器の起動時間は、極力短縮することが望まれる。
　特許文献１には、車両が駐車したときに、出発時に車載表示装置の起動時間を短縮する技術が開示されている。具体的に、特許文献１の技術では、出発時に後退発進する必要があるときに、ユーザーの電源オフ操作時に揮発性メモリバックアップ手段によるバックアップを実行する。
特開２０１３－１１７４７２号公報
　特許文献１の技術は、車両が駐車して出発する際の起動時間に関する技術であるが、車両の出発時以外にも起動時間の短縮が望まれている機能がある。例えば、駐車場に入って後退発進させる前に、リアビューカメラを起動させる構成を有する車両があるが、このリアビューカメラの起動時間を所定時間以内に短縮する要求があり、専用のソフトウェアやハードウェアを用いて起動時間の短縮がされている。しかしながら、専用のソフトウェアやハードウェアを使用すると、設計に手間がかかり、コストが増加する。
　ここに開示された技術は、斯かる点に鑑みてなされたものであり、運転中の車両が後方発進する場合にカメラの撮像画像を早期に表示させることにある。
　前記課題を解決するために、ここに開示された技術の一態様では、車内のディスプレイに、車両外後方を撮像するリアビューカメラで撮像された画像を表示する車両用情報表示装置を対象として、前記リアビューカメラで撮像された画像データを受信し、当該画像データに所定の画像処理をする画像処理部と、シフトレバーの位置を検出する運転操作情報部の出力に応じて車内に設けられたモニタ画面の表示を切り替える表示切替部と、車両外前方を撮像するフロントビューカメラの出力、車速センサの出力、及び、運転者を撮像する車内カメラの出力のうちの１または複数の出力に基づいて、車両の後退発進を予測する環境判定部とを備え、前記環境判定部において車両の後退発進が予測されたときに、前記リアビューカメラを停止状態から起動状態にし、かつ、前記画像処理部が、当該起動状態になった前記リアビューカメラから受信された画像データの前記所定の画像処理を開始し、前記表示切替部は、前記運転操作情報部からシフトレバーのリバース位置への移動を示す移動信号を受信したときに、車内に設けられたモニタ画面の表示を、前記画像処理部の出力画像に切り替える、という構成とした。
　この構成によると、後退発進の発生が予測された場合に、あらかじめ後退発進のための画像処理部の処理を開始するので、ユーザーが後退発進操作をしたときに、ディスプレイに画像処理部の出力画像を早期に表示させることができる。また、処理の高速化をするために機能を特化したハードウェアやソフトウェアを使用する必要がないので、コストの増加を防ぐことができる。
　前記外部環境認識装置において、前記環境判定部は、前記フロントビューカメラを含む車外環境認識部の出力に基づいて、車両の駐車場への進入が認識されることをもって車両の後退発進が予測されるとする、という構成でもよい。
　この構成によると、相対的に早い段階で車両の後退発進を予測した動作を開始することができる。
　ここに開示された技術の他の一態様では、車両用情報表示装置を対象として、車両外後方を撮像するリアビューカメラで撮像された画像データを受信し、当該画像データに所定の画像処理をする画像処理部と、車両外前方を撮像するフロントビューカメラの出力、車速センサの出力、及び、運転者を撮像する車内カメラの出力のうちの１または複数の出力に基づいて、車両の後退発進を予測する環境判定部とを備え、前記環境判定部において車両の後退発進が予測されたときに、前記リアビューカメラの設定を、車両の通常走行中に後方を監視するための後方監視用の設定から、当該後方監視用の設定よりも高精細な撮像距離を短くした後退発進用の設定に変更させる、という構成でもよい。
　ここで、本明細書中でいう「デバイス」とは、自動車が走行する際に制御されるアクチュエータやセンサ等の装置類を含む。
　この構成によると、後退発進の発生が予測された場合に、リアビューカメラの設定を、後方監視用の設定から後退発進用の設定に変更させるので、ユーザーが後退発進操作をしたときに、ディスプレイに画像処理部の出力画像を早期に切り替えることができる。また、処理の高速化をするために機能を特化したハードウェアやソフトウェアを使用する必要がないので、コストの増加を防ぐことができる。
　以上説明したように、ここに開示された技術によると、後退発進の発生が予測された場合に、あらかじめ後退発進のための画像処理部の処理を開始するので、ユーザーが後退発進操作をしたときに、表示画面に画像処理部の出力画像を早期に表示させることができる。
車両用情報表示装置の構成を示すブロック図 車両用情報表示装置が搭載された車両を示す概略図 車両用情報表示装置の動作を示すタイミングチャート 変形例に係る装置の構成を示すブロック図 変形例に係る装置の動作を示すタイミングチャート
　以下、例示的な実施形態について、図面を参照しながら詳細に説明する。
　図１は、実施形態に係る車両用情報表示装置の構成を概略的に示すブロック図である。また、図２は、実施形態の車両用情報表示装置が搭載された車両を示す概略図である。なお、図１では、実施形態の情報表示装置としての機能を発揮するための構成を示しており、車両の情報表示に関わるすべての機能を示しているわけではない。
　車両１は、車両１の動作を制御する演算装置を備えている。演算装置１０は、１つ又は複数のチップで構成されたマイクロプロセッサであって、ＣＰＵやメモリ等を有している。例えば、演算装置１０は、以下で説明する車両用情報表示装置１００の機能を実現するための構成を含む。図２の構成例では、演算装置１０は、プロセッサとメモリとを備える。メモリは、プロセッサによって実行可能なソフトウェアであるモジュールを格納している。図１に示す車両用情報表示装置１００の各部の機能は、例えば、プロセッサが、メモリに格納された各モジュールを実行することによって実現される。また、メモリは、演算装置１０で使用されるモデルのデータを格納している。なお、プロセッサ及びメモリは、それぞれ、複数個あってもかまわない。また、図１に示す車両用情報表示装置１００の各部の機能の一部が、ハードウェア回路で実現されていてもよい。後述する図４についても同様であり、車両用制御装置１３０の各部の機能は、例えば、プロセッサが、メモリに格納された各モジュールを実行することによって実現される。
　車両用情報表示装置１００は、車内に設けられた画像表示装置４０の表示画面４１に、カーナビゲーションシステムの経路案内情報や道路交通情報、後退発進時のリアビューカメラの画像情報等を表示させるインフォテイメントシステム１２０を備える。以下の説明では、説明の便宜上、画像表示装置４０の表示画面４１に表示させる情報を総称して、単に「表示情報」という。画像表示装置４０は、ディスプレイの一例である。
　インフォテイメントシステム１２０は、カメラ２１の撮像画像のうちリアモニタ用の画像処理をする画像処理部１２１と、車外通信部３０に受信した外部情報の表示処理をする機能を有するＩＶＩ（In-vehicle infotainment）処理部１２２と、画像処理部１２１またはＩＶＩ処理部１２２のうちの一方の出力を選択して画像表示装置４０に出力するセレクタ１２３とを備えている。
　センサデバイス２０は、（１）車両１のボディ等に設けられかつ車外環境を撮影する複数のカメラ２１と、（２）車両１のボディ等に設けられかつ車外の物標等を検知する複数のレーダ２２と、（３）全地球測位システム（Global Positioning System：ＧＰＳ）を利用して、車両１の位置（車両位置情報）を検出する位置センサ２３と、（４）車速センサ、加速度センサ、ヨーレートセンサ等の車両の挙動を検出するセンサ類の出力から構成され車両１の状態を取得する車両状態センサ２４と、（５）車内カメラ等により構成され、車両１の乗員の状態を取得する乗員状態センサ２５と、（６）運転者の運転操作を検出するための運転操作情報取得部２６とを含む。運転操作情報取得部２６は、アクセル開度センサ、シフトレバーの位置を検出するシフトセンサ、ブレーキセンサ及び操舵角センサを含む。運転操作情報取得部２６は、シフトセンサの出力を基に、出力切替信号ＳＣ２を出力する。出力切替信号ＳＣ２の信号形式は特に限定されない。本実施形態では、運転操作情報取得部２６は、運転者がシフトレバーを「Ｒレンジ」に入れた場合に「Ｈｉｇｈ」を出力し、運転者がシフトレバーを「Ｒレンジ」以外に入れた場合に「Ｌｏｗ」を出力するものとして説明する。
　カメラ２１は、車両外前方を撮像するフロントビューカメラ２１ａ、車両外側方を撮像するサイドビューカメラ２１ｂ及び駐車時に車両外後方を撮像する駐車用のリアビューカメラ２１ｃを含む。駐車用のリアビューカメラ２１ｃは、駐車時に使用するカメラであり、本実施形態では、一般道や高速道路を走行している場合のような、いわゆる、通常運転中には、消費電力を抑制するために、起動していない状態であるとする。なお、カメラ２１が、駐車用のリアビューカメラ２１ｃ以外に、通常運転時に動作し、後方を監視するためのリアビューカメラを備えていてもよい。
　車外通信部３０は、車外のネットワークと接続されている。車外通信部３０には、自車両の周囲に位置する他車両からの通信情報やナビゲーションシステムからの交通情報が入力される。以下において、説明の便宜上、車外通信部３０を介して外部ネットワークから受けた情報を総称して「外部情報」という。センサデバイス２０及び車外通信部３０は、環境情報取得部の一例である。
　画像処理部１２１は、一般道や高速道路を走行している場合のようなとき、いわゆる、通常運転時には、消費電力を抑制するために、起動していない状態である。例えば、画像処理部１２１は、環境判定部１１５から車両１の後退発進の発生が予測されることを示す予測信号ＳＣ１を受信した場合に起動される。画像処理部１２１は、駐車用のリアビューカメラ２１ｃの撮像信号を受信し、画像表示装置４０の表示画面４１に表示するための画像を生成し、出力する。
　環境判定部１１５は、車外環境を認識する車外環境認識部１１１からの車外環境情報、車両挙動推定部１１３からの車両挙動推定情報、及び、乗員挙動推定部１１４からの乗員挙動推定情報を受信し、車両の走行シーンや外部環境、車内環境、乗員の状態等を含む車両が置かれている状況（以下、車両状況という）を判定する。特に、本実施形態では、環境判定部１１５は、車両状況として、車両１に後退発進が発生することを予測する。例えば、環境判定部１１５は、少しの時間が経過した後に、すなわち、近い将来に車両１が後退発進する可能性がある状況になったことを判定する。後退発進の予測判定方法は、特に限定されないが、例えば、環境判定部１１５は、車外環境情報を基に、車両１が駐車場に進入した場合に、後退発進の可能性があると判定する。また、例えば、環境判定部１１５は、車外環境情報、車両挙動推定情報及び乗員挙動推定情報を基に、車両１がスピードを落としながら路肩に近づき、一旦停車後に、乗員が後ろを見たことを検知した場合に、後退発進の可能性があると判定する。
　ＩＶＩ処理部１２２は、車内のカーナビゲーション装置から地図情報を受信したり、車外通信部３０を介して外部のネットワークから外部情報として経路案内情報や道路交通情報、地上波放送等のエンターテイメント情報を受信したりする。そして、乗員の設定情報やリモコン等の操作情報に基づいて、乗員の希望に合致するコンテンツを表示させるためのコンテンツ情報を出力する。なお、ここでは、ＩＶＩ処理部１２２のうち、本実施形態に係る機能を発揮するための構成や機能を例示しており、ＩＶＩ処理部１２２が有する全ての構成や機能を示しているわけではない。
　セレクタ１２３は、画像処理部１２１で生成されたリアビューカメラ２１ｃの撮像画像と、ＩＶＩ処理部１２２から出力されたコンテンツ情報とを受信する。そして、セレクタ１２３は、運転操作情報取得部２６からの出力切替信号ＳＣ２に基づいて、リアビューカメラ２１ｃの撮像画像と、ＩＶＩ処理部１２２から出力されたコンテンツ情報のいずれか一方を出力する。具体的に、運転者がシフトレバーを「Ｒレンジ」に入れていない場合にはＩＶＩ処理部１２２の出力を選択し、運転者がシフトレバーをＲレンジに入れた場合には画像処理部１２１の出力を選択して、画像表示装置４０に出力する。画像表示装置４０の表示画面４１には、セレクタ１２３で選択された情報が表示される。
　図３は、図１の車両用情報表示装置の動作を示すタイミングチャートである。図３において、車両１は、一般道を通常走行した後に、時刻ｔ１０において駐車場に入り、時間ｔ３０において運転者がシフトレバーを「Ｒレンジ」に移動させ、その後、車両１を後退発進させたものとする。なお、予測信号ＳＣ１は、ハイアクティブであるものとする。
　図３の時刻ｔ１０より前の時間は、車両１は、通常走行をしており、画像表示装置４０には、カーナビゲーションの画像のように、ＩＶＩ処理部１２２から出力されたコンテンツ情報が表示されている。
　図３の時刻ｔ１０において、車両１が駐車場に入ると、車外環境認識部１１１において車両１が駐車場に入ったことが認識され、認識結果が環境判定部１１５に送信される。
　車両１が駐車場に入ったことが認識されると、環境判定部１１５は、車外環境認識部１１１の認識結果を基に、予測信号ＳＣ１を「Ｈｉｇｈ」にする。そうすると、リアビューカメラ２１ｃ及び画像処理部１２１が起動される。そうすると、リアビューカメラ２１ｃにおいて、起動処理及び画像処理部１２１が実行される。このリアビューカメラ２１ｃの起動は、図１に記載のいずれかのモジュール（例えば、環境判定部１１５又は画像処理部１２１）が実行するようにしてもよいし、環境判定部１１５で後退発進の発生が予測されたことを認識してリアビューカメラ２１ｃを起動させるための専用のモジュール（図示省略）を設けるようにしてもよい。また、車両状態センサ２４（例えば、車速センサ）の出力に基づいて車両の一時停車を認識し、かつ、車両の一時停車の後に、乗員状態センサ２５（例えば、車内カメラ）で運転者の後方視認動作が認識されることをもって車両の後退発進が予測されたと認識してもよい。後方視認動作には、運転者が振り返って視認する振り返り動作が含まれる。車両の後退発進の予測については、後述する、リアビューカメラ２１ｃの設定を後方監視用の設定から後退発進用の設定に変更する場合についても同様である。
　例えば、リアビューカメラ２１ｃが起動された後、マイコン等の各種部品にリセット処理が行われて撮像が開始される。その後、リアビューカメラ２１ｃにおいて、歪み除去・輝度調整等を行い、リアビューカメラ２１ｃから撮像信号が出力される（図３では「転送」と記載）。画像処理部１２１では、リアビューカメラ２１ｃと同様に、ソフトウェア及びハードウェアのリセット処理が行われ、リセット処理が終わると、表示画像の生成処理が実行される（図３の時刻ｔ１０～ｔ２０参照）。上記の表示画像の生成処理は、所定の画像処理の一例である。
　そして、画像処理の準備が整った状態で、リアビューカメラ２１ｃから撮像信号が出力されると、リアビューカメラ２１ｃの撮像画像が順次セレクタ１２３に出力される（図３の時刻ｔ２０参照）。時刻ｔ１０～ｔ２０の間の時間は、演算装置１０の処理速度や、リアビューカメラ２１ｃの起動時間等によって異なるが、専用回路を使用せずに、汎用の電子部品で起動回路等を構成した場合、概ね数秒程度の時間を要する。ここで、時刻ｔ２０が経過した後も、車両が駐車スペースを探している場合、すなわち、シフトレバーが「Ｄレンジ」に入っている間は、ＩＶＩ処理部１２２から出力されたコンテンツ情報が継続して表示される。
　時刻ｔ３０において、運転者が駐車する場所を決定し、シフトレバーを「Ｒレンジ」に入れると、運転操作情報取得部２６の出力切替信号ＳＣ２が「Ｌｏｗ」から「Ｈｉｇｈ」に切り替わる。そうすると、セレクタ１２３の出力信号が、ＩＶＩ処理部１２２の出力信号から、リアビューカメラ２１ｃの撮像画像に切り替えられる。
　以上をまとめると、本実施形態の車両用情報表示装置１００は、車両１の内部または車両１の外部の少なくとも一方の環境情報を取得するセンサデバイス２０からの出力を基に、後退発進の発生を予測する環境判定部１１５と、カメラ２１からの撮像信号を受信して画像表示装置４０の表示画面４１に表示する画像を生成する画像処理部１２１とを備える。そして、環境判定部１１５で後退発進の発生が予測された場合、あらかじめ後退発進のためのカメラの起動や画像処理部１２１の処理を開始し、ユーザーが後退発進操作をしたときに、表示画面に画像処理部１２１の出力画像を表示させるようにしている。
　このように、環境判定部１１５で後退発進の発生が予測された場合に、あらかじめカメラの起動や画像処理部１２１の処理を開始している。換言すると、表示画面に画像処理部１２１の出力画像を表示させるための準備をあらかじめ行っている。これにより、ユーザーが後退発進操作をしたときに、出力画像を早期に表示させることができる。これにより、ユーザーが後退発進操作をしてからカメラの起動や画像処理部１２１の処理を開始する場合と比較して、表示画面４１に画像を表示させるまでの時間を大幅に短縮させることができる。また、カメラの起動や画像処理部１２１の処理を開始するまでの十分な時間を確保することができるので、カメラの早期立ち上げに特化したハードウエア／ソフトウェアの使用が不要となり、コストが増加することを防ぐことができる。
　なお、上記の実施形態では、リアビューカメラ２１ｃは起動していない状態であるとしたが、これに限定されない。例えば、駐車用のリアビューカメラ２１ｃを走行時の後方監視用のカメラと兼用しているような場合には、リアビューカメラ２１ｃは通常走行時も起動状態となっている。この場合においても、本開示の技術は適用することができる。具体的には、後方監視用のカメラとしての設定と、駐車用のリアビューカメラとしての設定は、画角の広さや、精度を高める撮像距離等の設定が異なる場合がある。その場合に、上記実施形態のように、車両用情報表示装置１００は、環境判定部１１５で後退発進の発生が予測された場合に、リアビューカメラ２１ｃの設定を、後方監視用のカメラとしての設定（以下、後方監視用の設定という）から、駐車用のリアビューカメラとしての設定（以下、後退発進用の設定という）に変更するようにするとよい。このリアビューカメラ２１ｃの後方監視用の設定から後退発進用の設定への変更は、図１に記載のいずれかのモジュール（例えば、環境判定部１１５又は画像処理部１２１）が実行するようにしてもよいし、環境判定部１１５で後退発進の発生が予測されたことを認識してリアビューカメラ２１ｃの設定を、後方監視用の設定から後退発進用の設定に変更するための専用のモジュール（図示省略）を設けるようにしてもよい。リアビューカメラの設定の変更には、例えば、ダイナミックレンジ、カメラの輝度、カメラの分解能等のパラメータ変更が含まれる。
　環境判定部１１５で後退発進の発生が予測される場合には、車両のスピードも遅くなっていることが想定される。したがって、あらかじめカメラの設定変更を行っても、その影響は軽微なものであり、例えば、他のセンサ（例えば、レーダ）の結果を用いたりすることで、カメラの設定変更の影響を受けないようにすることも可能である。
　なお、仮に、後退発進の発生が予測された後に、後退発進が行われずに、車両１が通常走行状態に戻った場合、リアビューカメラ２１ｃが通常走行時の状態に戻されるようにしてもよい。具体的には、例えば、リアビューカメラ２１ｃは、起動されていない状態に戻される。
　また、上記実施形態では、リアビューカメラ２１ｃで撮像された画像を表示する車両用情報表示装置について例示したが、本開示の発明を他の装置に適用してもよい。例えば、図４では、上記実施形態に係る変形例に係る装置（以下、車両用制御装置１３０という）の構成を概略的に示している。なお、図４において、図１と共通の構成要素には、共通の符号を付してその説明を省略する場合がある。図４において、センサデバイス２０及び車外通信部３０の構成、並びに、車外環境認識部１１１、車両挙動推定部１１３、乗員挙動推定部１１４及び環境判定部１１５の構成は、図１と同様であり、ここではその詳細説明を省略する。また、セレクタ１３４は、セレクタ１２３に対応する構成であり、環境判定部１１５の判定結果に基づいて、変更パラメータ設定部１３１とパラメータ設定部１３２のいずれかを選択し、画像表示装置４０に対応するコントロールユニット５０に出力する。
　図４では、車両用制御装置１３０は、車外環境認識部１１１、車両挙動推定部１１３及び乗員挙動推定部１１４の出力を受信し、コントロールユニット５０のパラメータを設定するパラメータ設定部１３２と、コントロールユニット５０のパラメータを変更するための変更パラメータを設定する変更パラメータ設定部１３１とを備えている。さらに、車両用制御装置１３０は、パラメータ設定部１３２及びパラメータ設定部１３１の出力を受けて、いずれか一方を選択して出力する２つのセレクタ１３３，１３４を備えている。セレクタ１３３は、環境判定部１１５から出力される出力切替信号に基づいて、前述のパラメータまたは変更パラメータの一方を選択してセンサデバイス２０に出力する。同様に、セレクタ１３４は、環境判定部１１５から出力される出力切替信号に基づいて、前述のパラメータまたは変更パラメータの一方を選択してコントロールユニット５０に出力する。ここで、コントロールユニット５０とは、自動車が走行する際に制御されるアクチュエータやセンサ等の装置類を制御するためのユニットであり、特に、車両１の駆動、制動、操舵に関わるアクチュエータを制御する機能を有する。すなわち、セレクタ１３４は、アクチュエータやセンサ等の装置類を制御するためのパラメータを出力する。なお、上記の出力切替信号が、センサデバイス２０及び車外通信部３０の少なくとも一方から出力されるようにしてもよい。
　ここで、変更パラメータ設定部１３１は、第１の実施形態の画像処理部１２１の場合と同様に、環境判定部１１５からの出力に基づいて、センサデバイス２０やコントロールユニット５０の設定を変更するための変更パラメータを準備する。
　例えば、環境判定部１１５において、車両状態センサ２４の出力結果から、車両が十分に低速で走行していることが判定された場合に、変更パラメータ設定部１３１では、データベースＤＢ等にあらかじめ保存された設定情報等に基づいて、あらかじめ変更パラメータを準備する。例えば、アクセル感度を通常速度で走行している状態よりも下げるような変更パラメータを準備する。アクセル感度を通常速度で走行している状態よりも下げることで、運転者がアクセル操作の微調整ができるようになる。そして、運転者が特定の動作や操作をした場合に、センサデバイス２０から出力切替信号が出力され、変更パラメータが反映される。また、例えば、上記のアクセル感度を調整する場合に、運転者が「特定の動作」の前提となる所定の予備的な動作をした場合に、環境判定部が、「特定の動作」の発生が予測されると判断し、変更パラメータを準備する。そして、実際に、運転者が実際に「特定の動作」をした場合に、セレクタ１３３，１３４が切り替えられて、デバイスに設定パラメータが反映されるとしてもよい。
　以上のように、車両用制御装置１３０は、車両内部または車両外部の少なくとも一方の環境情報を取得するセンサデバイス２０からの出力を基に、車両の特定の動作の発生を予測する環境判定部１１５を備え、環境判定部１１５で特定の動作の発生が予測された場合に、特定の動作に対応して動作させるデバイスの設定パラメータをあらかじめ準備し、ユーザーが特定の動作を指示する操作を行ったときに、コントロールユニット５０に設定パラメータを反映させるようにした。
　このように、特定の動作に対応して動作させるデバイスの設定パラメータをあらかじめ準備しているので、ユーザーが特定の動作を指示する操作を行ったときに、早期にコントロールユニット５０に設定パラメータを反映させることができる。
　なお、上記設定パラメータとして、例えば、走行シーンに依存してエンジンの動かす気筒数を変更するようにしてもよい。また、設定パラメータは、デバイスの設定パラメータに限定されず、例えば、走行シーンを踏まえた上で、自動運転システムで作成する車外環境マップの大きさや分解能といった演算処理等のためのパラメータを変更するようにしてもよい。
　また、車両用制御装置１３０が、車両内部または車両外部の少なくとも一方の環境情報を取得するセンサデバイス２０からの出力を基に、車両の特定の動作の発生を予測する環境判定部１１５を備え、環境判定部１１５での判定結果を使って、ユーザーが特定の動作を指示する操作を前提とせずに、その環境に適したパラメータを設定するようにしてもよい。
　ここに開示された技術は、自律移動体の外部環境を認識する外部環境認識装置として有用である。
２１ａ　フロントビューカメラ
２１ｃ　リアビューカメラ
４０　画像表示装置（ディスプレイ）
１００　車両用情報表示装置
１１５　環境判定部
１２１　画像処理部
１３０　車両用制御装置

Claims (4)

  1. 　車内のディスプレイに、車両外後方を撮像するリアビューカメラで撮像された画像を表示する車両用情報表示装置であって、
    　前記リアビューカメラで撮像された画像データを受信し、当該画像データに所定の画像処理をする画像処理部と、
    　シフトレバーの位置を検出する運転操作情報部の出力に応じて車内に設けられたモニタ画面の表示を切り替える表示切替部と、
    　車両外前方を撮像するフロントビューカメラの出力、車速センサの出力、及び、運転者を撮像する車内カメラの出力のうちの１または複数の出力に基づいて、車両の後退発進を予測する環境判定部とを備え、
    　前記環境判定部において車両の後退発進が予測されたときに、前記リアビューカメラを停止状態から起動状態にし、かつ、前記画像処理部が、当該起動状態になった前記リアビューカメラから受信された画像データの前記所定の画像処理を開始し、
    　前記表示切替部は、前記運転操作情報部からシフトレバーのリバース位置への移動を示す移動信号を受信したときに、車内に設けられたモニタ画面の表示を、前記画像処理部の出力画像に切り替える、車両用情報表示装置。
  2. 　請求項１に記載の車両用情報表示装置において、
    　前記環境判定部は、前記フロントビューカメラを含む車外環境認識部の出力に基づいて、車両の駐車場への進入が認識されることをもって車両の後退発進が予測されるとする、車両用情報表示装置。
  3. 　請求項１又は２に記載の車両用情報表示装置において、
    　前記環境判定部は、前記車速センサの出力に基づいて車両の一時停車を認識し、かつ、車両の一時停車の後に、前記車内カメラで運転者の後方視認動作が認識されることをもって車両の後退発進が予測されるとする
    ことを特徴とする車両用情報表示装置。
  4. 　車両用情報表示装置であって、
    　車両外後方を撮像するリアビューカメラで撮像された画像データを受信し、当該画像データに所定の画像処理をする画像処理部と、
    　車両外前方を撮像するフロントビューカメラの出力、車速センサの出力、及び、運転者を撮像する車内カメラの出力のうちの１または複数の出力に基づいて、車両の後退発進を予測する環境判定部とを備え、
    　前記環境判定部において車両の後退発進が予測されたときに、前記リアビューカメラの設定を、車両の通常走行中に後方を監視するための後方監視用の設定から、当該後方監視用の設定よりも高精細な撮像距離を短くした後退発進用の設定に変更させる、車両用情報表示装置。
PCT/JP2020/011406 2019-06-14 2020-03-16 車両用情報表示装置 WO2020250525A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/610,698 US11794655B2 (en) 2019-06-14 2020-03-16 On-vehicle information display device
EP20823360.1A EP3939835B1 (en) 2019-06-14 2020-03-16 On-vehicle information display device
CN202080031692.XA CN113727884A (zh) 2019-06-14 2020-03-16 车辆用信息显示装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-111102 2019-06-14
JP2019111102A JP7434730B2 (ja) 2019-06-14 2019-06-14 車両用情報表示装置及び車両用制御装置

Publications (1)

Publication Number Publication Date
WO2020250525A1 true WO2020250525A1 (ja) 2020-12-17

Family

ID=73781768

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/011406 WO2020250525A1 (ja) 2019-06-14 2020-03-16 車両用情報表示装置

Country Status (5)

Country Link
US (1) US11794655B2 (ja)
EP (1) EP3939835B1 (ja)
JP (1) JP7434730B2 (ja)
CN (1) CN113727884A (ja)
WO (1) WO2020250525A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022102818A (ja) * 2020-12-25 2022-07-07 トヨタ自動車株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム
US11952080B2 (en) * 2022-06-16 2024-04-09 Tien Hsin Industries Co., Ltd. Bicycle derailleur system
CN116198476A (zh) * 2023-04-28 2023-06-02 盛瑞传动股份有限公司 故障提示方法、装置、电子设备、存储介质及车辆

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10244891A (ja) * 1997-03-07 1998-09-14 Nissan Motor Co Ltd 駐車補助装置
JP2000207696A (ja) * 1999-01-18 2000-07-28 Sharp Corp 車載カメラ装置
JP2007249103A (ja) * 2006-03-20 2007-09-27 Zenrin Co Ltd 道路画像作成システム及び道路画像作成方法，及び道路画像合成装置
JP2008024230A (ja) * 2006-07-24 2008-02-07 Toyota Motor Corp 車両用制御装置
JP2009078746A (ja) * 2007-09-27 2009-04-16 Sanyo Electric Co Ltd 車載カメラシステム
JP2009206354A (ja) * 2008-02-28 2009-09-10 Fuji Mach Mfg Co Ltd 電子部品実装機の画像認識装置及び画像認識方法
JP2009205191A (ja) * 2008-02-26 2009-09-10 Hitachi Ltd 駐車スペース認識装置
JP2010059820A (ja) * 2008-09-02 2010-03-18 Toyota Motor Corp 駆動力制御装置
JP2011025895A (ja) * 2009-07-29 2011-02-10 Hitachi Automotive Systems Ltd 駐車支援装置
JP2011182254A (ja) * 2010-03-02 2011-09-15 Suzuki Motor Corp 車両用運転支援装置
JP2013117472A (ja) 2011-12-05 2013-06-13 Denso Corp 車載表示装置
JP2016164010A (ja) * 2015-03-06 2016-09-08 株式会社富士通ゼネラル 車載カメラシステム
JP2018155079A (ja) * 2017-03-21 2018-10-04 日立建機株式会社 作業機械

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005184395A (ja) * 2003-12-18 2005-07-07 Sumitomo Electric Ind Ltd 画像処理方法、画像処理システム、画像処理装置および撮影装置
US8130269B2 (en) * 2005-03-23 2012-03-06 Aisin Aw Co., Ltd. Visual recognition apparatus, methods, and programs for vehicles
JP2010195168A (ja) 2009-02-25 2010-09-09 Alpine Electronics Inc リアカメラ撮影画像表示制御装置
JP4927904B2 (ja) * 2009-05-07 2012-05-09 富士通テン株式会社 車両の運転支援装置
KR20120060108A (ko) * 2010-12-01 2012-06-11 현대자동차주식회사 아이에스지 시스템 및 그의 제어방법
JP5277272B2 (ja) * 2011-03-04 2013-08-28 株式会社ホンダアクセス 車両後方監視装置
EP3176035A1 (en) 2015-12-03 2017-06-07 Fico Mirrors S.A. A rear vision system for a motor vehicle
US20170246991A1 (en) * 2016-02-25 2017-08-31 M.I.S. Electronics Inc. Multi-function automotive camera
JP7282798B2 (ja) * 2018-10-31 2023-05-29 ソニーグループ株式会社 撮影装置、画像処理方法、及び、プログラム
JP7215228B2 (ja) * 2019-03-01 2023-01-31 トヨタ自動車株式会社 制御装置、制御方法、制御プログラム

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10244891A (ja) * 1997-03-07 1998-09-14 Nissan Motor Co Ltd 駐車補助装置
JP2000207696A (ja) * 1999-01-18 2000-07-28 Sharp Corp 車載カメラ装置
JP2007249103A (ja) * 2006-03-20 2007-09-27 Zenrin Co Ltd 道路画像作成システム及び道路画像作成方法，及び道路画像合成装置
JP2008024230A (ja) * 2006-07-24 2008-02-07 Toyota Motor Corp 車両用制御装置
JP2009078746A (ja) * 2007-09-27 2009-04-16 Sanyo Electric Co Ltd 車載カメラシステム
JP2009205191A (ja) * 2008-02-26 2009-09-10 Hitachi Ltd 駐車スペース認識装置
JP2009206354A (ja) * 2008-02-28 2009-09-10 Fuji Mach Mfg Co Ltd 電子部品実装機の画像認識装置及び画像認識方法
JP2010059820A (ja) * 2008-09-02 2010-03-18 Toyota Motor Corp 駆動力制御装置
JP2011025895A (ja) * 2009-07-29 2011-02-10 Hitachi Automotive Systems Ltd 駐車支援装置
JP2011182254A (ja) * 2010-03-02 2011-09-15 Suzuki Motor Corp 車両用運転支援装置
JP2013117472A (ja) 2011-12-05 2013-06-13 Denso Corp 車載表示装置
JP2016164010A (ja) * 2015-03-06 2016-09-08 株式会社富士通ゼネラル 車載カメラシステム
JP2018155079A (ja) * 2017-03-21 2018-10-04 日立建機株式会社 作業機械

Also Published As

Publication number Publication date
EP3939835A1 (en) 2022-01-19
JP2020203524A (ja) 2020-12-24
US11794655B2 (en) 2023-10-24
CN113727884A (zh) 2021-11-30
EP3939835A4 (en) 2022-07-13
EP3939835B1 (en) 2023-12-13
US20220242316A1 (en) 2022-08-04
JP7434730B2 (ja) 2024-02-21

Similar Documents

Publication Publication Date Title
WO2020250525A1 (ja) 車両用情報表示装置
EP3357793B1 (en) Parking assist apparatus
US10940869B2 (en) Driving assistance apparatus
JP4978558B2 (ja) 車両用表示装置
WO2018105226A1 (ja) 運転交代制御装置、及び運転交代制御方法
JP6524922B2 (ja) 運転支援装置、運転支援方法
US11731637B2 (en) Driver assistance system
CN113655788B (zh) 车辆遥控泊车方法、系统、终端设备及可读存储介质
JP2021064118A (ja) 遠隔自動運転車両、及び車両遠隔指示システム
KR20190046579A (ko) 다중 카메라 제어 시스템 및 다중 카메라 영상 출력 제어 방법
US11295704B2 (en) Display control device, display control method, and storage medium capable of performing appropriate luminance adjustment in case where abnormality of illuminance sensor is detected
JP7202903B2 (ja) 表示システム、走行制御装置、表示制御方法およびプログラム
US11623636B2 (en) Display device for vehicle and parking assist system
JP2013109505A (ja) 周辺監視装置
JP7125893B2 (ja) 走行制御装置、制御方法およびプログラム
JP2002204446A (ja) 車載後方確認装置と車載ナビゲーション装置
JP7202195B2 (ja) 表示システム、走行制御装置、表示制御方法およびプログラム
JP2016164010A (ja) 車載カメラシステム
US20160332566A1 (en) Regulation speed display apparatus of vehicle
JP2021178560A (ja) 自動運転制御装置
CN111216631B (zh) 行驶控制装置、控制方法以及存储程序的存储介质
JP2010208349A (ja) 駐車支援装置、駐車支援システム、駐車支援方法、及び駐車支援プログラム
JP4535264B2 (ja) ノーズビューモニタ装置
WO2015190539A1 (en) Vehicle control apparatus
JP2022154051A (ja) 車載カメラセンサの異常検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20823360

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020823360

Country of ref document: EP

Effective date: 20211014

NENP Non-entry into the national phase

Ref country code: DE