WO2021187118A1 - 車両用表示装置および車両用表示方法 - Google Patents

車両用表示装置および車両用表示方法 Download PDF

Info

Publication number
WO2021187118A1
WO2021187118A1 PCT/JP2021/008249 JP2021008249W WO2021187118A1 WO 2021187118 A1 WO2021187118 A1 WO 2021187118A1 JP 2021008249 W JP2021008249 W JP 2021008249W WO 2021187118 A1 WO2021187118 A1 WO 2021187118A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
passage
display device
rear side
Prior art date
Application number
PCT/JP2021/008249
Other languages
English (en)
French (fr)
Inventor
賢治 小原
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to DE112021001735.7T priority Critical patent/DE112021001735T5/de
Priority to CN202180021476.1A priority patent/CN115280765A/zh
Publication of WO2021187118A1 publication Critical patent/WO2021187118A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Definitions

  • the vehicle display device in particular, the vehicle display device and the vehicle display method that are useful when leaving the parking lot.
  • Patent Document 1 discloses a display device that displays the rear wheel inner ring portion and the turning outer front corner portion when starting forward from the parking position.
  • the inner wheel of the rear wheel is the left rear wheel when turning to the left.
  • the turning outer front corner is the right front corner when turning left.
  • Patent Document 1 When starting forward from the parking lot, as disclosed in Patent Document 1, it is necessary to check the surroundings of the vehicle such as the distance between the rear wheel inner ring portion and the turning outer front corner portion and the obstacle. However, not only that, when starting forward from the parking lot, it is also necessary to confirm whether or not there is a moving body approaching from behind in the passage after leaving the parking lot.
  • the present disclosure has been made based on this circumstance, and an object of the present invention is to provide a vehicle display device and a vehicle display method that can easily confirm an area to be confirmed at the time of delivery. be.
  • a vehicle display device mounted on a vehicle Photographed data of the rear side passage area including the rear side of the passage in which the own vehicle, which is a vehicle equipped with the vehicle display device, is about to enter, and the peripheral area including the periphery of the own vehicle.
  • One disclosure relating to a vehicle display method for achieving the above objectives is: Acquire shooting data of the rear side passage area including the rear side of the passage in which the vehicle is about to enter and the peripheral area including the periphery of the vehicle.
  • the passage on the rear side of the own vehicle and the periphery of the own vehicle can be confirmed at the same time by looking at the display unit. Therefore, it is possible to easily confirm the area to be confirmed at the time of delivery.
  • FIG. 1 is a diagram showing a configuration of an in-vehicle system 10 including a vehicle display device 100.
  • the in-vehicle system 10 is configured to include a vehicle display device 100 and a camera 11.
  • the in-vehicle system 10 is mounted on the vehicle.
  • the vehicle on which the in-vehicle system 10 is mounted is hereinafter referred to as the own vehicle 2.
  • the own vehicle 2 is provided with a distance measuring sensor 12, a wheel speed sensor 13, a steering control unit 14, a shift control unit 15, an accelerator control unit 16, and a brake control unit 17. These can communicate with each other by the in-vehicle network line 18.
  • the vehicle display device 100 is also connected to the in-vehicle network line 18.
  • the distance measuring sensor 12 is a sensor that measures the distance between the own vehicle 2 and an obstacle existing in the vicinity.
  • the distance measuring sensor 12 is, for example, an ultrasonic sensor. Further, a millimeter wave sensor, LIDAR, or the like can also be used as the distance measuring sensor 12.
  • the wheel speed sensor 13 sequentially detects the wheel speed of the own vehicle 2.
  • the steering control unit 14 controls the angle of the steering wheel of the own vehicle 2.
  • the shift control unit 15 controls the shift position of the own vehicle 2.
  • the accelerator control unit 16 controls the opening degree of the throttle valve of the own vehicle 2.
  • the brake control unit 17 controls the brake oil pressure of the own vehicle 2.
  • the steering control unit 14, the shift control unit 15, the accelerator control unit 16, and the brake control unit 17 can be realized by a configuration including a processor.
  • the steering control unit 14, the shift control unit 15, the accelerator control unit 16, and the brake control unit 17 themselves when the own vehicle 2 leaves the parking lot 3 (see FIG. 3) or is parked in the parking lot 3. It controls one or both of the speed and the direction of travel of the vehicle 2.
  • the vehicle display device 100 can also be mounted on a vehicle on which these are not mounted.
  • the camera 11 photographs the rear side of the own vehicle 2 and the periphery of the own vehicle 2.
  • the camera 11 is provided with a necessary number of cameras in order to photograph the rear side of the own vehicle 2 and the periphery of the own vehicle 2.
  • cameras 11 are provided on the front end surface, the rear end surface, and the left and right side surfaces of the own vehicle 2 in order to photograph the periphery of the own vehicle 2.
  • a camera 11 for photographing the right rear side of the own vehicle 2 and a camera 11 for photographing the left rear side of the own vehicle 2 are provided.
  • the camera 11 for photographing the rear side of the own vehicle 2 can be installed near the side mirror.
  • a camera 11 for photographing the side of the own vehicle 2 and a camera 11 for photographing the rear side of the own vehicle 2 can be provided.
  • the area around the own vehicle 2 is an area that should be noted in terms of running speed when parking. This area is hereinafter referred to as a peripheral area.
  • the distance from the own vehicle 2 is 1 m or less, or even shorter.
  • the angle range of the peripheral region is all or part of the 360-degree range centered on the own vehicle 2 in the horizontal plane.
  • the rear side of the own vehicle 2 includes a distance farther than the peripheral area.
  • the vehicle display device 100 includes an ECU 110, a speaker 120, and a display 130.
  • the ECU 110 can be realized by a configuration including at least one processor.
  • the ECU 110 can be realized by a computer including a processor, a non-volatile memory, a RAM, an I / O, and a bus line connecting these configurations.
  • the non-volatile memory stores a program for operating a general-purpose computer as the ECU 110.
  • the processor executes the program stored in the non-volatile memory while using the temporary storage function of the RAM, the ECU 110 uses the photographing data acquisition unit 111, the vehicle information input / output unit 112, the image recognition unit 113, and the image generation. It operates as a unit 114 and an output control unit 115. Execution of these operations means that a method such as a vehicle display method corresponding to the program is executed.
  • the speaker 120 receives a signal from the ECU 110 and outputs various sounds such as a sound that calls attention to the occupants of the own vehicle 2.
  • the display 130 includes a display unit 131 and an operation input unit 132.
  • the display unit 131 is arranged in a place where an occupant such as a driver can see in the vehicle interior of the own vehicle 2.
  • the display unit 131 displays a rear passage image, a peripheral image 140, and the like, which will be described later.
  • the operation input unit 132 includes a touch panel superimposed on the display surface of the display unit 131, or a mechanical switch arranged around the display surface. The operation input unit 132 operates when the occupant of the own vehicle 2 gives an instruction to switch the image displayed on the display unit 131.
  • the shooting data acquisition unit 111 sequentially acquires shooting data representing the video shot by the camera 11.
  • the camera 11 and the shooting data acquisition unit 111 are connected to each other without passing through the in-vehicle network line 18.
  • the shooting data acquisition unit 111 may acquire video data from the camera 11 via the in-vehicle network line 18.
  • the vehicle information input / output unit 112 acquires various information about the own vehicle 2. Further, the position, predicted track, etc. of the own vehicle 2 calculated when the image generation unit 114 generates the image to be displayed on the display unit 131 may be output to the in-vehicle network line 18.
  • the vehicle information acquired by the vehicle information input / output unit 112 includes the distance to the obstacle detected by the distance measuring sensor 12, the speed of the own vehicle 2 detected by the wheel speed sensor 13, and the angle of the steering wheel controlled by the steering control unit 14. It is information indicating such as.
  • the image recognition unit 113 acquires the shooting data from the shooting data acquisition unit 111, and by performing image recognition processing, that is, analyzing the image taken by the camera 11, the relative position between the parking lot 3 or the passage and the own vehicle 2 , Relative angle, etc. can be determined.
  • the passage includes a passage in a parking lot or the like, and also includes a road 4 through which an automobile passes. Further, the passage is not limited to the passage through which automobiles pass, and the passage also includes a passage through which people pass, that is, a sidewalk existing between a parking lot, a garage, and the road.
  • the vehicle information input / output unit 112 is also connected to the image recognition unit 113. The vehicle information input / output unit 112 can also acquire the image recognition result of the image recognition unit 113 as vehicle information.
  • the image generation unit 114 generates various images to be displayed on the display unit 131.
  • the image generated by the image generation unit 114 includes a peripheral image 140 and a rear passage image 150.
  • the peripheral image 140 is an image in which the peripheral area is a part or the whole.
  • FIG. 2 shows an example of the peripheral image 140.
  • the peripheral image 140 shown in FIG. 2 is a bird's-eye view image of the own vehicle 2 as viewed from directly above.
  • the peripheral image 140 is an image that can be combined from the cameras 11 provided on the front, rear, left, and right sides of the own vehicle 2.
  • the own vehicle figure 142 for showing the position of the own vehicle 2 is arranged.
  • the own vehicle figure 142 is a figure of the own vehicle 2 viewed from above.
  • FIG. 2 also shows a rear passage image 150.
  • the peripheral image 140 and the rear passage image 150 are arranged adjacent to each other.
  • the rear passage image 150 is an image including the rear side passage region 151 (see FIG. 3).
  • the rear side passage area 151 is an area including a passage on the rear side of the own vehicle 2.
  • the own vehicle figure representing a part of the front end surface of the own vehicle 2 is shown in order to make it easy to understand the relative position between the passage and the like in the rear passage image 150 and the own vehicle 2. 152 is arranged.
  • FIG. 3 shows the virtual camera position 160 for the rear passage image 150 illustrated in FIG.
  • the own vehicle 2 shown in FIG. 3 is in a state of leaving the parking lot 3 and entering the road 4.
  • the virtual camera position 160 means a virtual viewpoint of the rear passage image 150.
  • the virtual viewpoint is a virtual camera position when the rear passage image 150 is taken.
  • the virtual camera position 160 shown in FIG. 3 is located in front of and above the own vehicle 2. Since the viewpoint of the peripheral image 140 is directly above the own vehicle 2, the rear passage image 150 is an image from a different viewpoint from the peripheral image 140.
  • the rear passage image 150 which is an image from the virtual camera position 160, can be obtained by performing coordinate conversion processing on each coordinate reflected in the captured image indicated by the captured data obtained from one or a plurality of cameras 11. ..
  • the coordinate conversion is performed based on the mounting position of the camera 11, the position of each coordinate on the captured image, and the virtual camera position 160.
  • the rear passage image 150 shown in FIG. 2 is an image with the virtual camera position 160 as the virtual viewpoint, but the left and right sides are reversed from when the rear side passage area 151 is actually viewed from the virtual camera position 160. ing. The reason is that by inverting the left and right, the left-right relationship between the two passages of the own vehicle in the real space and the left-right relationship between the own vehicle figure 152 displayed in the rear passage image 150 and the passage are matched. By making the rear passage image 150 such an image, it is easy for the occupant of the own vehicle 2 to associate the passage in the rear passage image 150 with the passage in the real space. However, the rear passage image 150 may be an image that matches the left and right when the rear side passage area 151 is actually viewed from the virtual camera position 160.
  • the rear passage image 150 is an image including the rear side passage area 151
  • the rear side passage area 151 is an area including the passage on the rear side of the own vehicle 2.
  • the own vehicle 2 enters the passage diagonally.
  • the rear side is the rear side of the own vehicle 2 in a state of entering diagonally with respect to the passage to be entered.
  • the rear side may be the rear side in a state where the front-rear direction of the own vehicle 2 is parallel to the passage to be entered.
  • the rear side passage area 151 is an area that sufficiently includes a portion of the passage that is behind the own vehicle 2 in the approach direction rather than the peripheral area.
  • the approaching direction means the traveling direction after the own vehicle 2 has entered the passage.
  • the rear side passage area 151 is, for example, an area including from the immediate side of the own vehicle 2 to several tens of meters behind the own vehicle 2 in the passage.
  • the peripheral image 140 and the rear passage image 150 are displayed at the same time.
  • the reason for displaying the peripheral image 140 and the rear passage image 150 at the same time is as follows.
  • the peripheral image 140 is an image used by the occupant of the own vehicle 2 to confirm whether or not the left front corner portion 2a and the left rear side portion 2b of the own vehicle 2 come into contact with an obstacle.
  • the rear passage image 150 is displayed on the display unit 131.
  • the output control unit 115 outputs image data indicating images such as the peripheral image 140 and the rear passage image 150 generated by the image generation unit 114 to the display 130. Various images based on the image data output from the output control unit 115 are displayed on the display unit 131. Further, the output control unit 115 may output a signal for generating a sound such as a warning sound to the speaker 120 to the speaker 120.
  • FIG. 4 shows a process executed by the ECU 110.
  • Various start conditions for starting the process shown in FIG. 4 can be set.
  • the process shown in FIG. 4 is a process of displaying the above-mentioned peripheral image 140 or the peripheral image 140 and the rear passage image 150 on the display unit 131. These images are used when the own vehicle 2 starts moving forward from the parking lot 3. Therefore, the start condition after parking can be set as the start condition.
  • the traveling speed at this time is about the same as when entering the road 4 from the parking lot. Therefore, it is also possible to set the start condition that the vehicle travels at a low speed such that the vehicle travels in the parking lot.
  • the fact that the occupant has performed the start operation can be used as the start condition.
  • the current position of the own vehicle 2 may be acquired, and the start condition may be that the position of the own vehicle 2 in the map data is a preset processing start position such as a position where the vehicle enters the road 4 from the parking lot. can. Further, instead of the position of the own vehicle 2 in the map data, the position of the own vehicle 2 may be determined by performing image analysis of the shooting data acquired from the camera 11.
  • step (hereinafter, step is omitted) S1 the shooting data acquisition unit 111 acquires shooting data from the camera 11.
  • the image generation unit 114 executes S2 and below.
  • S2 the position of the own vehicle 2 with respect to the passage is calculated.
  • the shooting data is analyzed to determine the passage area.
  • the position of the frame line of the parking lot 3 can be determined, the frame line can be set as the boundary with the aisle, and the aisle direction can be set as the aisle area rather than the frame line. If there is no frame that defines the parking lot 3, or even if the frame cannot be recognized, if another vehicle 5 is parked in front or behind, a certain distance from the side of the other vehicle 5 on the aisle side or that side.
  • the position on the passage side may be used as the boundary between the passage and the outside of the passage.
  • the passage also includes a sidewalk.
  • the sidewalk has clear boundaries with adjacent parking lots, garages, and roads. Therefore, when the passage is a sidewalk, the passage area can be determined by image analysis.
  • the position of the own vehicle 2 with respect to the passage area can also be determined by analyzing the shooting data.
  • the position of the own vehicle 2 here is the position of the portion of the own vehicle 2 near the passage.
  • the position of the own vehicle 2 here is the side surface of the own vehicle 2 on the aisle side.
  • the position of the own vehicle 2 can be set to the position of the front wheel on the aisle side among the left and right front wheels of the own vehicle 2.
  • S3 it is determined whether or not the own vehicle 2 is approaching the aisle based on the position of the own vehicle 2 calculated in S2. If the judgment result of S3 is NO, the process proceeds to S4. In S4, the displayed images up to that point are continuously displayed. For example, if the peripheral image 140 is displayed but the rear passage image 150 is not displayed at the time of executing S4, the peripheral image 140 is continuously displayed. If the determination result of S3 is YES, the process proceeds to S5. When executing S5 or less, the rear passage image 150 is generated as described below. Therefore, the determination condition of S3 is an image generation condition for generating the rear passage image 150.
  • the passage boundary line of the passage where the own vehicle 2 is about to enter by traveling forward the relative position of the own vehicle 2, and the relative angle of the own vehicle 2 with respect to the passage boundary line are calculated.
  • the calculation of the relative position is the same as in S2.
  • the relative angle can also be determined by image analysis of the captured data.
  • the virtual camera position 160 and the orientation of the virtual camera are determined based on the relative position and the relative angle determined in S5. As illustrated in FIG. 3, the virtual camera position 160 and the orientation of the virtual camera are the virtual camera positions when the rear passage image 150 including the rear side passage area 151 determined with respect to the own vehicle 2 is taken. be.
  • the virtual camera position 160 is a point moved from a predetermined point of the own vehicle 2 by dx, dy, and dy set in advance in the x, y, and z directions, respectively.
  • the direction of the virtual camera shall be a constant angle and an angle inclined in the passage direction with respect to the reference plane set on the own vehicle 2, for example, the vertical plane passing through the center in the vehicle width direction and parallel to the front-rear direction of the own vehicle 2. Can be done.
  • the orientation of the virtual camera may be determined based on the direction in which the passage area extends, not the relative angle of the own vehicle 2.
  • the direction in which the passage area extends can be the direction in which the passage extends at the determined position of the own vehicle 2 by determining the position of the own vehicle 2 on the map from the coordinates of the own vehicle 2 or the like.
  • the distance from the vehicle information input / output unit 112 to the surrounding obstacles is acquired.
  • image data representing the peripheral image 140 and the rear passage image 150 is generated (that is, drawn) based on the latest shooting data, and the image data is output to the output control unit 115. Since the output control unit 115 outputs the image data to the display 130, the peripheral image 140 and the rear passage image 150 are displayed on the display unit 131.
  • the own vehicle figure 142 draws the peripheral image 140 located at the center of the peripheral image 140.
  • An example of this peripheral image 140 is the peripheral image 140 shown in FIG.
  • the caution distance threshold is a distance that requires special attention so that the own vehicle 2 and an obstacle do not come into contact with each other, and is a distance that is preset based on an experiment or the like.
  • the peripheral image 140 is drawn so that the portion having the shortest distance can be easily understood.
  • the peripheral image 140 is drawn so that the portion having the shortest distance is closer to the center of the peripheral image 140 than when the own vehicle figure 142 is in the center of the peripheral image 140.
  • the peripheral image 140 is drawn in which the portion having the shortest distance is enlarged as compared with the case where the portion having the shortest distance is equal to or larger than the caution distance threshold value.
  • the caution distance threshold value is a threshold value for determining whether or not to enlarge the peripheral image 140, that is, an enlarged distance threshold value.
  • the peripheral image 140 shown in FIG. 5 is a peripheral image 140 when the shortest distance is shorter than the caution distance threshold value.
  • the portion having the shortest distance in the peripheral image 140 of FIG. 5 is the left front corner portion 2a of the own vehicle 2.
  • the own vehicle figure 142 is at the lower right of the peripheral image 140 so that the left front corner portion 2a of the own vehicle 2 is near the center of the peripheral image 140.
  • the left front corner portion 2a of the own vehicle 2 is enlarged as compared with the peripheral image 140 of FIG.
  • the viewpoint position image 143 is displayed in the peripheral image 140 of FIG.
  • the viewpoint position image 143 shows the viewpoint of the rear passage image 150 displayed at the same time as the peripheral image 140.
  • the position of the viewpoint of the rear passage image 150 is determined when drawing the rear passage image 150.
  • the position of the viewpoint position image 143 in the peripheral image 140 is determined so that the position of the viewpoint position image 143 with respect to the own vehicle figure 142 indicates the position of the viewpoint of the rear passage image 150 with respect to the own vehicle 2.
  • the rear passage confirmation process is performed, an image showing the confirmation result of the rear passage is drawn, and the image data representing the image is output to the output control unit 115.
  • the rear passage confirmation process is a process for confirming whether or not there is a moving body moving in the direction of the own vehicle 2 in the rear side passage area 151.
  • the confirmation process is performed by analyzing the shooting data used when generating the rear passage image 150.
  • FIG. 5 shows two types of alert images 153a and 153b, which are images showing the confirmation result.
  • the alert image 153 is used.
  • the rear passage image 150 shows another vehicle 5 approaching the own vehicle 2. Therefore, in order to call attention to the other vehicle 5, the attention calling image 153 is displayed as an image showing the confirmation result.
  • the alert image 153a is an image superimposed on the corner of the rear passage image 150.
  • the alert image 153b is an image that emphasizes the frame of the rear passage image 150.
  • FIG. 6 shows a confirmation result image 154 to be displayed when a moving body approaching the own vehicle 2 is not shown in the rear side passage area 151 as a result of the confirmation process.
  • S10 it is determined whether or not to end the simultaneous display of the peripheral image 140 and the rear passage image 150. For example, if all of the own vehicle 2 has entered the aisle, the determination result of S10 is set to YES, and if a part of the own vehicle 2 has not yet entered the aisle, the determination result of S10 is set to NO. If the determination result of S10 is NO, the process returns to S5.
  • the orientation of the virtual camera may be sequentially changed as the orientation of the own vehicle 2 is changed. However, in the second and subsequent S6s, the orientation of the virtual camera may remain the orientation determined in the first S6.
  • S11 it is determined whether or not to end the process of FIG.
  • the process of FIG. 4 is terminated. If the determination result of S11 is NO, the process returns to S3.
  • the peripheral image 140 and the rear passage image 150 are simultaneously displayed on the display unit 131. Therefore, if the display unit 131 is viewed, the passage on the rear side of the own vehicle 2 and the periphery of the own vehicle 2 can be confirmed at the same time. Therefore, it is possible to easily confirm the area to be confirmed at the time of delivery.
  • the image generation unit 114 displays the rear passage image 150 on the display unit 131 when it is determined that the own vehicle 2 is approaching the passage. Therefore, the rear passage image 150 is displayed when it is highly necessary to confirm the rear side passage region 151. Further, when the need to confirm the rear side passage area 151 is low, the rear passage image 150 is not displayed, so that the display area of the display unit 131 can be effectively utilized.
  • the rear passage image 150 is an image viewed from the virtual camera position 160 in front of the own vehicle 2, and the rear passage image 150 is a figure 152 of the own vehicle which is a figure showing a part of the front end surface of the own vehicle 2. It is included. Therefore, in the rear passage image 150, the relationship between the rear side passage region 151 and the own vehicle 2 can be easily recognized.
  • the viewpoint position image 143 showing the virtual viewpoint of the rear passage image 150 is displayed on the peripheral image 140 displayed at the same time as the rear passage image 150. This also makes it easy to understand which region the rear passage image 150 is an image of.
  • the image generation unit 114 When the shortest distance between the own vehicle 2 and the obstacle is shorter than the caution distance threshold value, the image generation unit 114 has the shortest distance less than the required distance threshold value than when the shortest distance is longer than the caution distance threshold value.
  • a peripheral image 140 (FIG. 6) is generated by enlarging the shortened portion (S8). Therefore, by looking at the peripheral image 140, the occupant of the own vehicle 2 can more easily determine whether or not the own vehicle 2 is likely to come into contact with an obstacle.
  • the caution image 153 is displayed on the display unit 131. Even if the caution image 153 is displayed, the occupant who sees the rear passage image 150 can easily recognize the existence of the moving body.
  • the confirmation result image 154 indicating that the moving body approaching the own vehicle 2 does not exist in the rear side passage area 151 is displayed. It is displayed in unit 131. Therefore, by looking at the confirmation result image 154, the occupant of the own vehicle 2 can easily determine that there is no moving body approaching the own vehicle 2 in the rear side passage area 151.
  • the rear passage image 150 as seen from the virtual camera position 160 in front of the own vehicle 2 is displayed.
  • an image taken by a side camera installed on the side surface of the own vehicle 2 may be displayed as in the rear passage image 250 shown in FIG.
  • the rear passage image 250 also shows the rear side passage region 151.
  • the rear passage image 250 shows the side surface of the own vehicle 2. Therefore, the rear passage image 250 can also grasp the relationship between the own vehicle 2 and the rear side passage region 151 from the image.
  • the rear passage image 150 needs to be generated by synthesizing the images taken by the plurality of cameras 11, whereas the rear passage image 250 can be generated only from the images taken by one side camera. Therefore, the arithmetic processing for generating the image can be reduced.
  • the own vehicle figure 142 is located at the center of the image.
  • the peripheral image 240 shown in FIG. 8 has a passage on the right side, it is an image in which the own vehicle figure 142 is located at the lower right end of the peripheral image 240.
  • the orientation of the virtual camera is determined as a relative angle to the own vehicle 2.
  • the direction of the virtual camera may be a fixed angle based on the extending direction of the passage.
  • ⁇ Modification example 4> In the embodiment, an example of entering the road 4 from a state of parallel parking has been described. However, the vehicle display device 100 can also be applied to the case where the vehicle starts traveling from a state in which the vehicle is parked in parallel with the other vehicle 5.
  • FIG. 9 shows the rear side aisle area 151 and the like when the vehicle starts traveling from the parallel parking state.
  • the rear side passage area 151 in FIG. 9 is on the side of the own vehicle 2 when all of the own vehicle 2 is located in the parking lot 3, but is self when the own vehicle 2 enters the road 4. It is on the rear side of the vehicle 2.
  • the virtual camera position 160 is a position in front of the own vehicle 2 where the rear side passage area 151 is projected.
  • the process shown in FIG. 4 may be executed when the own vehicle 2 enters the road 4 from the parking lot and merges from a narrow road to a wide road by driving slowly.
  • the image generation condition is satisfied when the own vehicle 2 is approaching the aisle. However, even before the own vehicle 2 actually approaches the aisle, the image generation condition may be satisfied that a part of the own vehicle 2 is expected to enter the aisle.
  • the state in which a part of the own vehicle 2 is expected to enter the passage means that the own vehicle 2 is sequentially calculating the predicted track to be traveled, and the predicted track does not allow the own vehicle 2 to come into contact with an obstacle. It is in a state where it can enter the road 4.
  • the predicted trajectory line indicating the predicted trajectory may be superimposed on the peripheral images 140 and 240.
  • the peripheral image 140 is a bird's-eye view image generated by converting the shooting data taken by the camera 11 into an image.
  • the peripheral image may be an image other than the bird's-eye view image, such as the captured image itself taken by the camera 11 or an image obtained by cutting out the peripheral region from the image captured by the camera 11.
  • control unit and its method described in the present disclosure may be realized by a dedicated computer constituting a processor programmed to perform one or more functions embodied by a computer program.
  • control unit and its method described in the present disclosure may be realized by a dedicated hardware logic circuit.
  • control unit and its method described in the present disclosure may be realized by one or more dedicated computers configured by a combination of a processor that executes a computer program and one or more hardware logic circuits.
  • Hardware logic circuits are, for example, ASICs and FPGAs.
  • the storage medium for storing the computer program is not limited to the ROM, and may be stored in a computer-readable non-transition tangible recording medium as an instruction executed by the computer.
  • the above program may be stored in the flash memory.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Abstract

車両に搭載される車両用表示装置（１００）であって、車両用表示装置（１００）が搭載される車両である自車両の後側方にある通路を含んだ後側方通路領域と、自車両の周辺が含まれる周辺領域とが撮影された撮影データを取得する撮影データ取得部（１１１）と、撮影データ取得部（１１１）が取得した撮影データをもとに、後側方通路領域の画像と周辺領域の画像とを生成する画像生成部（１１４）と、後側方通路領域の画像と周辺領域の画像とを同時に表示する表示部（１３１）とを備える。

Description

車両用表示装置および車両用表示方法 関連出願の相互参照
　この出願は、２０２０年３月２０日に日本に出願された特許出願第２０２０－０５０３６５号を基礎としており、基礎の出願の内容を、全体的に、参照により援用している。
　車両用表示装置に関し、特に、駐車区画から出るときなどに有用な車両用表示装置および車両用表示方法に関する。
　特許文献１には、駐車位置から前進発進する際に、後輪内輪部および旋回外側前角部を表示する表示装置が開示されている。後輪内輪は、左旋回する場合には左後輪である。旋回外側前角部は、左旋回する場合には右前角部である。
特開２００６－２０９１３４号公報
　駐車区画から前進発進する場合には、特許文献１に開示されているように、後輪内輪部および旋回外側前角部と障害物との距離など車両周辺を確認する必要がある。しかし、それだけではなく、駐車区画から前進発進する場合には、駐車区画から出た後の通路を後方から接近してくる移動体が存在するかどうかを確認する必要もある。
　また、駐車区画から出た後、駐車場を走行し、駐車場から道路に入る場合など、駐車区画から前進発進する場合以外にも、車両近傍と、次に入る道路を移動している移動体とを、同時に注意して運転しなければならない状況はある。
　本開示は、この事情に基づいて成されたものであり、その目的とするところは、出庫時などにおいて確認すべき領域を容易に確認できる車両用表示装置および車両用表示方法を提供することにある。
　上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は更なる有利な具体例を規定する。請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、開示した技術的範囲を限定するものではない。
　上記目的を達成するための車両用表示装置に係る１つの開示は、
　車両に搭載される車両用表示装置であって、
　車両用表示装置が搭載される車両である自車両の進入しようとしている通路の進入方向後方を含んだ後側方通路領域と、自車両の周辺が含まれる周辺領域とが撮影された撮影データを取得する撮影データ取得部と、
　撮影データ取得部が取得した撮影データをもとに、後側方通路領域の画像と周辺領域の画像とを生成する画像生成部と、
　後側方通路領域の画像と周辺領域の画像とを同時に表示する表示部とを備える。
　上記目的を達成するための車両用表示方法に係る１つの開示は、
　車両の進入しようとしている通路の進入方向後方を含んだ後側方通路領域と、車両の周辺が含まれる周辺領域とが撮影された撮影データを取得し、
　撮影データをもとに、後側方通路領域の画像と周辺領域の画像とを生成して、後側方通路領域の画像と周辺領域の画像とを同時に表示部に表示する、車両用表示方法である。
　これら車両用表示装置、車両用表示方法によれば、表示部を見れば、自車両の後側方にある通路と、自車両の周辺とを同時に確認することができる。したがって、出庫時などにおいて、確認すべき領域を容易に確認することができる。
車両用表示装置１００を含む車載システム１０の構成を示す図。 周辺画像１４０と後方通路画像１５０の一例を示す図。 仮想カメラ位置１６０を説明する図。 ＥＣＵ１１０が実行する処理を示す図。 周辺画像１４０と後方通路画像１５０の他の例を示す図。 注意喚起画像１５３を例示する図。 確認結果画像１５４を例示する図。 サイドカメラで撮影した後方通路画像２５０を示す図。 並列駐車状態から走行開始する場合の後側方通路領域１５１などを示す図。
　以下、実施形態を図面に基づいて説明する。図１は、車両用表示装置１００を含む車載システム１０の構成を示す図である。車載システム１０は、車両用表示装置１００とカメラ１１とを備えた構成である。車載システム１０は車両に搭載される。車載システム１０が搭載された車両を、以下、自車両２とする。
　自車両２には、測距センサ１２、車輪速センサ１３、操舵制御部１４、シフト制御部１５、アクセル制御部１６、ブレーキ制御部１７が備えられている。これらは、車内ネットワーク線１８により相互に通信可能になっている。また、車両用表示装置１００も、車内ネットワーク線１８に接続されている。
　測距センサ１２は、自車両２と周辺に存在する障害物との間の距離を測定するセンサである。測距センサ１２は、たとえば、超音波センサである。また、ミリ波センサ、ＬＩＤＡＲ等を測距センサ１２として用いることもできる。車輪速センサ１３は、自車両２の車輪速度を逐次検出する。操舵制御部１４は、自車両２の転舵輪の角度を制御する。シフト制御部１５は、自車両２のシフトポジションを制御する。アクセル制御部１６は自車両２のスロットルバルブの開度を制御する。ブレーキ制御部１７は自車両２のブレーキ油圧を制御する。操舵制御部１４、シフト制御部１５、アクセル制御部１６、ブレーキ制御部１７は、プロセッサを備えた構成により実現できる。
　操舵制御部１４、シフト制御部１５、アクセル制御部１６、ブレーキ制御部１７は、自車両２が駐車区画３（図３参照）から出庫する際、あるいは、駐車区画３に駐車する際に、自車両２の速度および進行方向の一方または両方を制御する。車両用表示装置１００は、これらが搭載されていない車両に搭載することもできる。
　カメラ１１は、自車両２の後側方と自車両２の周辺とを撮影する。自車両２の後側方と自車両２の周辺を撮影するためにカメラ１１は必要数が備えられる。たとえば、自車両２の周辺を撮影するために自車両２の前端面、後端面、左右側面にそれぞれカメラ１１が備えられる。さらに、自車両２の右後側方を撮影するためのカメラ１１と自車両２の左後側方を撮影するためのカメラ１１とが備えられる。自車両２の後側方を撮影するためのカメラ１１は、サイドミラー付近に設置することができる。また、自車両２の後側方を撮影するためのカメラ１１として、自車両２の側方を撮影するカメラ１１と自車両２の後方を撮影するカメラ１１とを備えることもできる。
　自車両２の周辺は、駐車時の走行速度において注意すべき領域である。この領域を、以下、周辺領域とする。周辺領域は、たとえば、自車両２からの距離が１ｍ以下、あるいは、さらに短い距離以下である。周辺領域の角度範囲は、水平面内において、自車両２を中心とする３６０度範囲の全部または一部である。自車両２の後側方は、周辺領域よりも遠い距離を含む。
　〔車両用表示装置１００の構成〕
　車両用表示装置１００は、ＥＣＵ１１０、スピーカ１２０、ディスプレイ１３０を備えている。ＥＣＵ１１０は、少なくとも１つのプロセッサを備えた構成により実現できる。たとえば、ＥＣＵ１１０は、プロセッサ、不揮発性メモリ、ＲＡＭ、Ｉ／Ｏ、およびこれらの構成を接続するバスラインなどを備えたコンピュータにより実現できる。不揮発性メモリには、汎用的なコンピュータをＥＣＵ１１０として作動させるためのプログラムが格納されている。プロセッサが、ＲＡＭの一時記憶機能を利用しつつ、不揮発性メモリに記憶されたプログラムを実行することで、ＥＣＵ１１０は、撮影データ取得部１１１、車両情報入出力部１１２、画像認識部１１３、画像生成部１１４、出力制御部１１５として作動する。これらの作動が実行されることは、プログラムに対応する、車両用表示方法などの方法が実行されることを意味する。
　スピーカ１２０は、ＥＣＵ１１０から信号が入力され、自車両２の乗員に注意喚起を促す音など、種々の音を出力する。
　ディスプレイ１３０は、表示部１３１と操作入力部１３２とを備える。表示部１３１は、自車両２の車室内において運転者などの乗員が視認可能な場所に配置される。表示部１３１には、後述する後方通路画像や周辺画像１４０などが表示される。操作入力部１３２は、表示部１３１の表示面に重畳されるタッチパネル、あるいは、表示面の周囲などに配置されるメカニカルスイッチを備えている。操作入力部１３２は、自車両２の乗員が表示部１３１に表示される画像の切替指示時などに操作する。
　撮影データ取得部１１１は、カメラ１１が撮影している映像を表している撮影データを逐次取得する。なお、図１では、カメラ１１と撮影データ取得部１１１は、車内ネットワーク線１８を介さないで接続されている。しかし、撮影データ取得部１１１は、車内ネットワーク線１８を介してカメラ１１から映像データを取得してもよい。
　車両情報入出力部１１２は、自車両２に関する種々の情報を取得する。また、画像生成部１１４が表示部１３１に表示する画像を生成する際に算出した自車両２の位置、予測軌道などを車内ネットワーク線１８に出力してもよい。車両情報入出力部１１２が取得する車両情報は、測距センサ１２が検出した障害物との距離、車輪速センサ１３が検出した自車両２の速度、操舵制御部１４が制御する転舵輪の角度などを示す情報である。
　画像認識部１１３は、撮影データ取得部１１１から撮影データを取得し、画像認識処理、すなわち、カメラ１１により撮影された映像を解析することで、駐車区画３あるいは通路と自車両２との相対位置、相対角度などを決定することができる。なお、通路には、駐車場内などにある通路が含まれることに加え、自動車が通行する道路４も通路に含まれる。また、通路は、自動車が通行する通路に限られず、人が通行する通路すなわち駐車場や車庫などと道路との間に存在する歩道も通路に含まれる。車両情報入出力部１１２は、画像認識部１１３とも接続されている。車両情報入出力部１１２は、画像認識部１１３の画像認識結果も車両情報として取得することができる。
　画像生成部１１４は、表示部１３１に表示する種々の画像を生成する。画像生成部１１４が生成する画像には、周辺画像１４０と後方通路画像１５０とが含まれる。周辺画像１４０は、周辺領域を一部または全部とする画像である。図２に周辺画像１４０の一例を示している。図２に示す周辺画像１４０は、自車両２を真上から見た俯瞰画像である。この周辺画像１４０は、自車両２の前後左右に備えられたカメラ１１から合成できる画像である。周辺画像１４０には、自車両２の位置を示すための自車両図形１４２が配置されている。自車両図形１４２は、自車両２を上から見た図形である。
　図２には、後方通路画像１５０も示されている。図２では、周辺画像１４０と後方通路画像１５０は隣接して配置されている。後方通路画像１５０は、後側方通路領域１５１（図３参照）を含んだ画像である。後側方通路領域１５１は、自車両２の後側方にある通路を含んだ領域である。さらに、図２に示す後方通路画像１５０には、後方通路画像１５０にある通路などと自車両２との相対位置を分かりやすくするために、自車両２の前端面の一部を表す自車両図形１５２が配置されている。
　図３には、図２に例示した後方通路画像１５０についての仮想カメラ位置１６０を示している。図３に示す自車両２は、駐車区画３から出て道路４に進入しようとしている状態である。
　仮想カメラ位置１６０は、後方通路画像１５０の仮想視点を意味する。仮想視点は、後方通路画像１５０を撮影するとした場合の仮想のカメラ位置である。図３に示す仮想カメラ位置１６０は、自車両２よりも前方かつ上方に位置する。周辺画像１４０の視点が自車両２の真上にあることから、後方通路画像１５０は周辺画像１４０とは異なる視点からの画像である。
　仮想カメラ位置１６０からの画像である後方通路画像１５０は、１つあるいは複数のカメラ１１から得られた撮影データが示す撮影画像に写っている各座標を座標変換処理することにより、得ることができる。座標変換は、カメラ１１の取り付け位置、撮影画像上の各座標の位置、仮想カメラ位置１６０をもとにして行う。
　なお、図２に示す後方通路画像１５０は、仮想カメラ位置１６０を仮想視点とする画像ではあるが、左右は、仮想カメラ位置１６０から実際に後側方通路領域１５１を見たときとは反転させている。理由は、左右を反転させることで、実空間での自車両２通路との左右関係と、後方通路画像１５０で表示されている自車両図形１５２と通路との左右関係が一致させるためである。後方通路画像１５０をこのような画像とすることで、自車両２の乗員が、後方通路画像１５０にある通路と実空間にある通路とを対応づけやすい。ただし、後方通路画像１５０を、仮想カメラ位置１６０から実際に後側方通路領域１５１を見たときの左右と一致する画像とすることもできる。
　後方通路画像１５０は、後側方通路領域１５１を含んだ画像であり、後側方通路領域１５１は、自車両２の後側方にある通路を含んだ領域である。自車両２はその通路に対して斜めに進入する。後側方は、進入しようとしている通路に対して斜めに進入する状態の自車両２における後側方である。あるいは、後側方は、進入しようとしている通路に対して自車両２の前後方向が平行になっている状態での後側方とすることもできる。後側方通路領域１５１は、周辺領域よりも、通路において自車両２よりも進入方向後方となる部分を十分に含む領域である。なお、進入方向は、自車両２が通路に進入したあとの進行方向を意味する。後側方通路領域１５１は、たとえば、通路において自車両２のすぐ側方から自車両２よりも後方の数十メートルまでを含む領域である。
　図２に例示しているように、本実施形態では、周辺画像１４０と後方通路画像１５０が同時に表示される。このように周辺画像１４０と後方通路画像１５０を同時に表示する理由は、次の通りである。
　図３に示すように、自車両２が駐車区画３から自車両２の右側にある道路４に出る場合、自車両２を右前方へ旋回させる。このときは、自車両２の左前角部２ａが前方に停車している他車両５などの障害物に接触しないように注意する必要がある。
　また、自車両２の一部が道路４に入った後は、自車両２を左前方向に旋回させる。このときは、自車両２の左後輪付近である左後側部２ｂが他車両５などの障害物に接触しないように注意する必要がある。周辺画像１４０は、自車両２の左前角部２ａや左後側部２ｂが障害物と接触しないかどうかを自車両２の乗員が確認するために用いる画像である。
　さらに、図３の状況では、周辺画像１４０に写っている周辺領域を確認する必要があることに加えて、同時に、道路４を自車両２の方向に移動してくる車や人などの移動体にも注意する必要がある。そこで、周辺画像１４０と同時に、後方通路画像１５０を表示部１３１に表示するのである。
　出力制御部１１５は、画像生成部１１４が生成した周辺画像１４０、後方通路画像１５０などの画像を示す画像データをディスプレイ１３０に出力する。表示部１３１には、出力制御部１１５から出力された画像データをもとにした種々の画像が表示される。また、出力制御部１１５は、スピーカ１２０に警告音などの音を発生させるための信号をスピーカ１２０に出力するようになっていてもよい。
　〔ＥＣＵ１１０が実行する処理〕
　図４にＥＣＵ１１０が実行する処理を示す。図４に示す処理を開始する開始条件は、種々、設定できる。図４に示す処理は、表示部１３１に、前述した周辺画像１４０、または、周辺画像１４０と後方通路画像１５０を表示させる処理である。これらの画像は、駐車区画３から自車両２が前進発進するときなどに利用する。したがって、駐車後の発進開始を、開始条件とすることができる。また、走行中であっても、駐車場から道路４に入るときにも周辺領域を確認する必要がある。また、狭い道路から広い道路に入るときにも周辺領域を確認する必要がある。このときの走行速度は、駐車場から道路４に入るときと同程度である。そこで、駐車場を走行する程度の低速走行となったことを開始条件とすることもできる。また、乗員による開始操作があったことを、開始条件成立とすることもできる。
　さらには、自車両２の現在位置を取得し、地図データにおける自車両２の位置が、駐車場から道路４に入る位置など、予め設定された処理開始位置であることを開始条件とすることもできる。また、地図データにおける自車両２の位置に代えて、カメラ１１から取得する撮影データを画像解析することで、自車両２の位置を決定してもよい。
　ステップ（以下、ステップを省略）Ｓ１では撮影データ取得部１１１が、カメラ１１から撮影データを取得する。Ｓ２以下は画像生成部１１４が実行する。Ｓ２では、通路に対する自車両２の位置を算出する。通路に対する自車両２の位置を算出するために、たとえば、撮影データを解析して通路領域を決定する。
　通路領域を決定するために、駐車区画３の枠線の位置を決定し、枠線を通路との境界とし、枠線よりも通路方向を通路領域とすることができる。駐車区画３を規定する枠がない場合、あるいは、枠が認識できない場合でも、前または後ろに他車両５が駐車している場合には、他車両５の通路側の側面あるいはその側面から一定距離だけ通路側の位置を通路と通路外との境界としてもよい。さらに、前述したように、通路には歩道も含まれる。歩道は、隣接する駐車場、車庫、道路との境界は明確である。したがって、通路が歩道である場合の通路領域は、画像解析により決定することができる。
　通路領域に対する自車両２の位置も、撮影データを解析して決定することができる。ここでの自車両２の位置は、自車両２において通路に近い部分の位置である。たとえば、ここでの自車両２の位置は、自車両２の通路側の側面とする。また、自車両２の位置を、自車両２の左右の前輪のうち通路側の前輪の位置とすることもできる。
　Ｓ３では、Ｓ２で算出した自車両２の位置をもとに、自車両２が通路に差し掛かっているか否かを判断する。Ｓ３の判断結果がＮＯであればＳ４に進む。Ｓ４では、それまでの表示画像を継続して表示する。たとえば、Ｓ４を実行する時点で、周辺画像１４０は表示しているが、後方通路画像１５０は表示していない状態であれば、周辺画像１４０は継続して表示する。Ｓ３の判断結果がＹＥＳであればＳ５に進む。Ｓ５以下を実行する場合、以下に説明するように、後方通路画像１５０を生成する。したがって、Ｓ３の判断条件は、後方通路画像１５０を生成する画像生成条件である。
　Ｓ５では、自車両２が前進走行により入ろうとしている通路の通路境界線と、自車両２の相対位置、および、通路境界線に対する自車両２の相対角度を算出する。相対位置の算出はＳ２と同じである。相対角度も、撮影データを画像解析して決定することができる。
　Ｓ６では、Ｓ５で決定した相対位置、相対角度に基づいて、仮想カメラ位置１６０と仮想カメラの向きを決定する。仮想カメラ位置１６０と仮想カメラの向きは、図３に例示したように、自車両２を基準として定まる後側方通路領域１５１が含まれる後方通路画像１５０を撮影するとした場合の仮想のカメラ位置である。仮想カメラ位置１６０は、自車両２の所定点を基準点として、そこから、ｘ、ｙ、ｚ方向にそれぞれ予め設定したｄｘ、ｄｙ、ｄｙだけ移動した点である。仮想カメラの向きは、自車両２に設定した基準面、たとえば、車幅方向中心を通り自車両２の前後方向に平行な鉛直面に対して、一定角度、通路方向に傾いた角度とすることができる。
　なお、仮想カメラの向きは、自車両２の相対角度ではなく、通路領域が延びる方向を基準として決定してもよい。通路領域が延びる方向は、地図上の自車両２の位置を自車両２の座標などから決定し、決定した自車両２の位置において通路が延びている方向とすることができる。
　Ｓ７では、車両情報入出力部１１２から周辺の障害物との距離を取得する。Ｓ８では、最新の撮影データをもとに周辺画像１４０と後方通路画像１５０とを表す画像データを生成（すなわち描画）して、それらの画像データを出力制御部１１５に出力する。出力制御部１１５は、その画像データをディスプレイ１３０に出力するので、表示部１３１に周辺画像１４０と後方通路画像１５０が表示される。ここで、Ｓ７で取得した距離のうちの最短距離が要注意距離閾値以上であれば、自車両図形１４２が周辺画像１４０の中心に位置する周辺画像１４０を描画する。この周辺画像１４０の一例は、図２に示す周辺画像１４０である。要注意距離閾値は、自車両２と障害物が接触しないように、特に注意する必要がある距離であって、実験等に基づいて予め設定される距離である。
　最短距離が要注意距離閾値よりも短い場合には、その最短距離となっている部分が分かりやすくなる周辺画像１４０を描画する。たとえば、自車両図形１４２が周辺画像１４０の中央にある場合よりも、最短距離となっている部分が周辺画像１４０の中央寄りになる周辺画像１４０を描画する。あるいは、最短距離となっている部分が要注意距離閾値以上であるときよりも、最短距離となっている部分が拡大されている周辺画像１４０を描画する。最短距離となっている部分が拡大されている周辺画像１４０を描画する場合、要注意距離閾値は、周辺画像１４０を拡大するかどうかを決める閾値すなわち拡大距離閾値である。
　図５に示す周辺画像１４０は、最短距離が要注意距離閾値よりも短くなっているときの周辺画像１４０である。図５の周辺画像１４０において最短距離となっている部分は、自車両２の左前角部２ａである。図５の周辺画像１４０は、自車両２の左前角部２ａが周辺画像１４０の中央付近になるように、自車両図形１４２が周辺画像１４０の右下にある。また、図５の周辺画像１４０は、図２の周辺画像１４０よりも自車両２の左前角部２ａが拡大されている。
　また、図５の周辺画像１４０には、視点位置画像１４３が表示されている。視点位置画像１４３は、周辺画像１４０と同時に表示されている後方通路画像１５０の視点を示すものである。後方通路画像１５０の視点の位置は、後方通路画像１５０を描画する際に決定されている。自車両図形１４２に対する視点位置画像１４３の位置が、自車両２に対する後方通路画像１５０の視点の位置を示すように、周辺画像１４０における視点位置画像１４３の位置を決定する。
　Ｓ９では、後方通路の確認処理をし、後方通路の確認結果を示す画像を描画して、その画像を表す画像データを出力制御部１１５に出力する。後方通路の確認処理は、後側方通路領域１５１に、自車両２の方向に向かって移動する移動体があるかどうかを確認する処理である。確認処理は、後方通路画像１５０を生成する際に用いた撮影データを解析することで行う。
　図５には、確認結果を示す画像である２種類の注意喚起画像１５３ａ、１５３ｂが示されている。これら２種類の注意喚起画像１５３ａ、１５３ｂを区別しないときは注意喚起画像１５３とする。後方通路画像１５０には、自車両２に接近する他車両５が写っている。したがって、他車両５に対する注意喚起を促すために、確認結果を示す画像として、注意喚起画像１５３を表示する。注意喚起画像１５３ａは、後方通路画像１５０の隅部に重畳された画像である。注意喚起画像１５３ｂは後方通路画像１５０の枠を強調する画像である。
　図６には、確認処理の結果、後側方通路領域１５１に自車両２に接近する移動体が写っていない場合に表示する確認結果画像１５４が示されている。
　Ｓ１０では、周辺画像１４０と後方通路画像１５０の同時表示を終了するか否かを判断する。たとえば、自車両２の全部が通路に入った場合にＳ１０の判断結果をＹＥＳとし、自車両２の一部がまだ通路に入っていない場合にはＳ１０の判断結果をＮＯとする。Ｓ１０の判断結果がＮＯであればＳ５に戻る。
　なお、Ｓ５からＳ１０の繰り返しにおいて、２度目以降のＳ６では、仮想カメラの向きは、自車両２の向きの変更に伴い、逐次、変更してもよい。しかし、２度目以降のＳ６では、仮想カメラの向きは、１回目のＳ６で決定した向きのままとしてもよい。
　Ｓ１０の判断結果がＹＥＳであればＳ１１へ進む。Ｓ１１では、図４の処理を終了するか否かを判断する。自車両２の速度が駐車後の発進時に想定される低速域を超えた場合には、周辺画像１４０も表示する必要がない。そこで、たとえば、自車両２の速度が上記低速域を超えた場合に、図４の処理を終了する。Ｓ１１の判断結果がＮＯであればＳ３に戻る。
　〔実施形態のまとめ〕
　この実施形態で説明した車両用表示装置１００は、表示部１３１に、周辺画像１４０と後方通路画像１５０が同時に表示される。したがって、表示部１３１を見れば、自車両２の後側方にある通路と、自車両２の周辺とを同時に確認することができる。よって、出庫時などにおいて確認すべき領域を容易に確認することができる。
　画像生成部１１４は、自車両２が通路に差し掛かっていると判断した場合に、後方通路画像１５０を表示部１３１に表示する。したがって、後側方通路領域１５１を確認する必要性が高いときに後方通路画像１５０が表示される。また、後側方通路領域１５１を確認する必要性が低いときには後方通路画像１５０は表示されないので、表示部１３１の表示領域を有効に活用できる。
　後方通路画像１５０は、自車両２の前方にある仮想カメラ位置１６０から見た画像であり、後方通路画像１５０には、自車両２の前端面の一部を表した図形である自車両図形１５２が含まれている。したがって、後方通路画像１５０は、後側方通路領域１５１と自車両２との関係が認識しやすい。
　また、後方通路画像１５０と同時に表示される周辺画像１４０に、後方通路画像１５０の仮想視点を示す視点位置画像１４３が表示される。これによっても、後方通路画像１５０がどの領域を撮影した画像であるかが分かりやすくなる。
　画像生成部１１４は、自車両２と障害物との最短距離が要注意距離閾値よりも短くなった場合、最短距離が要注意距離閾値よりも長い場合よりも、最短距離が要求位距離閾値よりも短くなった箇所を拡大した周辺画像１４０（図６）を生成する（Ｓ８）。よって、周辺画像１４０を見ることで、自車両２の乗員は、より容易に自車両２が障害物と接触しそうかどうかを判断できる。
　後方通路画像１５０に自車両２に接近する移動体が写っている場合、注意喚起画像１５３が表示部１３１に表示される。注意喚起画像１５３が表示されることでも、後方通路画像１５０を見る乗員は、その移動体の存在を認識しやすい。
　また、後方通路画像１５０に自車両２に接近する移動体が写っていない場合には、後側方通路領域１５１に自車両２に接近する移動体が存在しないことを示す確認結果画像１５４が表示部１３１に表示される。よって、確認結果画像１５４を見ることで、自車両２の乗員は、後側方通路領域１５１に自車両２に接近する移動体が存在しないことを判断しやすい。
　以上、実施形態を説明したが、開示した技術は上述の実施形態に限定されるものではなく、次の変形例も開示した範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施できる。なお、以下の説明において、それまでに使用した符号と同一番号の符号を有する要素は、特に言及する場合を除き、それ以前の実施形態における同一符号の要素と同一である。また、構成の一部のみを説明している場合、構成の他の部分については先に説明した実施形態を適用できる。
　＜変形例１＞
　実施形態では、自車両２を前方の仮想カメラ位置１６０から見た後方通路画像１５０を表示していた。しかし、後方通路画像１５０に代えて、図７に示す後方通路画像２５０のように自車両２の側面に設置されたサイドカメラが撮影した画像を表示してもよい。後方通路画像２５０にも、後側方通路領域１５１が写っている。また、後方通路画像２５０には、自車両２の側面が写っている。したがって、後方通路画像２５０も、その画像から、自車両２と後側方通路領域１５１との関係を把握することができる。また、後方通路画像１５０は複数のカメラ１１が撮影した画像を合成して生成する必要があるのに対して、後方通路画像２５０は、１つのサイドカメラが撮影した画像のみから生成できる。よって、画像を生成するための演算処理を少なくできる。
　＜変形例２＞
　実施形態で説明した周辺画像１４０は、自車両図形１４２が画像の中心に位置していた。しかし、図３を用いて説明たように、自車両２が、自車両２の右側にある通路に入るときは、自車両２の左側面に注意する必要がある。反対に、自車両２が、自車両２の左側にある通路に入るときは、自車両２の右側面に注意する必要がある。そこで、図８に示す周辺画像２４０のように、障害物との距離によらず、自車両２よりも通路から遠い側が広く映るようにしてもよい。図８に示す周辺画像２４０は、右側に通路があるので、周辺画像２４０の右端下端に自車両図形１４２が位置する画像となっている。
　＜変形例３＞
　実施形態では、仮想カメラの向きを、自車両２に対する相対角度として決定していた。しかし、後方通路画像１５０に後側方通路領域１５１が写っていればよいので、仮想カメラの向きは、通路の延びる方向を基準とした固定角度としてもよい。
　＜変形例４＞
　実施形態では、縦列駐車している状態から道路４に入る例を説明した。しかし、車両用表示装置１００は、他車両５に対して並列に駐車している状態から走行開始する場合にも適用できる。
　図９には、並列駐車状態から走行開始する場合の後側方通路領域１５１などを示している。図９では、駐車している状態の自車両２の前方には、道路４を挟んで壁６がある。図９に示す場合には、駐車区画３から道路４に入る自車両２は、左後側部２ｂと右前角部２ｃが障害物に接触しないように特に注意する必要がある。図９における後側方通路領域１５１は、自車両２の全部が駐車区画３内に位置しているときは、自車両２の側方であるが、自車両２が道路４に入る状態では自車両２の後側方にある。仮想カメラ位置１６０は、自車両２の前方であって後側方通路領域１５１が映る位置である。
　また、縦列駐車、並列駐車以外にも、自車両２が駐車場から道路４に入るとき、狭い道路から、徐行により広い道路に合流する場合に図４に処理を実行してもよい。
　＜変形例５＞
　実施形態では、画像生成条件成立を、自車両２が通路に差し掛かっている状態であることとしていた。しかし、実際に自車両２が通路に差し掛かかる前であっても、自車両２の一部が通路に入ることが予想される状態となったことを画像生成条件成立としてもよい。自車両２の一部が通路に入ることが予想される状態とは、自車両２が走行予定の予測軌道を逐次計算しており、その予測軌道が、自車両２が障害物に接触せずに道路４に入ることができる軌道になった状態である。
　また、予測軌道を逐次算出している場合、周辺画像１４０、２４０に、予測軌道を示す予測軌道線を重畳してもよい。
　＜変形例６＞
　実施形態では、周辺画像１４０はカメラ１１が撮影した撮影データを画像変換して生成した俯瞰画像であった。しかし、周辺画像は、カメラ１１が撮影した撮影画像そのもの、カメラ１１が撮影した画像から周辺領域を切り取った画像など、俯瞰画像以外の画像でもよい。
　＜変形例７＞
　本開示に記載の制御部およびその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部およびその手法は、専用ハードウエア論理回路により、実現されてもよい。もしくは、本開示に記載の制御部およびその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウエア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。ハードウエア論理回路は、たとえば、ＡＳＩＣ、ＦＰＧＡである。
　また、コンピュータプログラムを記憶する記憶媒体はＲＯＭに限られず、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていればよい。たとえば、フラッシュメモリに上記プログラムが記憶されていてもよい。

Claims (14)

  1. 　車両に搭載される車両用表示装置であって、
    　前記車両用表示装置が搭載される車両である自車両（２）の進入しようとしている通路の進入方向後方を含んだ後側方通路領域と、前記自車両の周辺が含まれる周辺領域とが撮影された撮影データを取得する撮影データ取得部（１１１）と、
    　前記撮影データ取得部が取得した前記撮影データをもとに、前記後側方通路領域の画像と前記周辺領域の画像とを生成する画像生成部（１１４）と、
    　前記後側方通路領域の画像と前記周辺領域の画像とを同時に表示する表示部（１３１）と
    　を備えた車両用表示装置。
  2. 　請求項１に記載の車両用表示装置であって、
    　前記画像生成部は、前記後側方通路領域を含む画像である後方通路画像（１５０、２５０）と、前記周辺領域を含む画像であって前記後方通路画像とは異なる視点からの画像である周辺画像（１４０、２４０）とを生成する、車両用表示装置。
  3. 　前記後方通路画像は、前記自車両の側面の一部が含まれている画像である、請求項２に記載の車両用表示装置。
  4. 　前記後方通路画像は、前記自車両の前方にある仮想視点（１６０）から、前記後側方通路領域を見た画像である、請求項２に記載の車両用表示装置。
  5. 　請求項４に記載の車両用表示装置であって、
    　前記画像生成部は、前記後方通路画像の前記仮想視点を示す視点位置画像（１４３）を、前記表示部に表示する、車両用表示装置。
  6. 　請求項４または５に記載の車両用表示装置であって、
    　前記画像生成部は、逐次、前記後方通路画像と前記周辺画像を生成するものであって、前記仮想視点は前記自車両に対する角度が固定されている、車両用表示装置。
  7. 　請求項４または５に記載の車両用表示装置であって、
    　前記画像生成部は、逐次、前記後方通路画像と前記周辺画像を生成するものであって、前記仮想視点は前記通路に対する角度が固定されている、車両用表示装置。
  8. 　前記周辺画像は俯瞰画像である、請求項２～７のいずれか１項に記載の車両用表示装置。
  9. 　請求項２～８のいずれか１項に記載の車両用表示装置であって、
    　前記画像生成部は、前記周辺領域に含まれる前記自車両の一部と障害物との間の距離が拡大距離閾値よりも短くなった場合に、前記距離が前記拡大距離閾値よりも長い場合よりも、前記距離が前記拡大距離閾値よりも短くなった箇所を拡大した前記周辺画像を生成する、車両用表示装置。
  10. 　請求項２～９のいずれか１項に記載の車両用表示装置であって、
    　前記画像生成部は、前記自車両の少なくとも一部が前記通路に入っている状態、または、前記自車両の一部が前記通路に入ることが予想される状態であることを画像生成条件として、前記後方通路画像を生成する、車両用表示装置。
  11. 　請求項１０に記載の車両用表示装置であって、
    　前記通路には歩道が含まれ、
    　前記画像生成部は、前記自車両の少なくとも一部が前記歩道に入っている状態、または、前記自車両の一部が前記歩道に入ることが予想される状態であることを画像生成条件として、前記後方通路画像を生成する、車両用表示装置。
  12. 　請求項２～１１のいずれか１項に記載の車両用表示装置であって、
    　前記画像生成部は、前記後側方通路領域に前記自車両に接近する移動体が写っている場合、前記移動体に対する注意喚起を前記自車両の乗員に促す注意喚起画像（１５３）を前記表示部に表示する、車両用表示装置。
  13. 　請求項２～１２のいずれか１項に記載の車両用表示装置であって、
    　前記画像生成部は、前記後側方通路領域に前記自車両に接近する移動体が写っていない場合、前記後側方通路領域に前記自車両に接近する移動体が存在しないことを示す画像（１５４）を前記表示部に表示する、車両用表示装置。
  14. 　車両の進入しようとしている通路の進入方向後方を含んだ後側方通路領域と、前記車両の周辺が含まれる周辺領域とが撮影された撮影データを取得し（Ｓ１）、
    　前記撮影データをもとに、前記後側方通路領域の画像と前記周辺領域の画像とを生成して、前記後側方通路領域の画像と前記周辺領域の画像とを同時に表示部に表示する（Ｓ８）、車両用表示方法。
PCT/JP2021/008249 2020-03-20 2021-03-03 車両用表示装置および車両用表示方法 WO2021187118A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112021001735.7T DE112021001735T5 (de) 2020-03-20 2021-03-03 Fahrzeuganzeigevorrichtung und Fahrzeuganzeigeverfahren
CN202180021476.1A CN115280765A (zh) 2020-03-20 2021-03-03 车辆用显示装置以及车辆用显示方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020050365A JP7424144B2 (ja) 2020-03-20 2020-03-20 車両用表示装置および車両用表示方法
JP2020-050365 2020-03-20

Publications (1)

Publication Number Publication Date
WO2021187118A1 true WO2021187118A1 (ja) 2021-09-23

Family

ID=77768101

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/008249 WO2021187118A1 (ja) 2020-03-20 2021-03-03 車両用表示装置および車両用表示方法

Country Status (4)

Country Link
JP (1) JP7424144B2 (ja)
CN (1) CN115280765A (ja)
DE (1) DE112021001735T5 (ja)
WO (1) WO2021187118A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016220011A (ja) * 2015-05-20 2016-12-22 株式会社デンソー 画像処理装置、電子ミラーシステム、及び画像処理方法
JP2018034651A (ja) * 2016-08-31 2018-03-08 本田技研工業株式会社 出庫支援装置
JP2019110389A (ja) * 2017-12-15 2019-07-04 株式会社東海理化電機製作所 車両周辺監視装置
JP2019110448A (ja) * 2017-12-19 2019-07-04 クラリオン株式会社 表示制御装置及び表示システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7258446B2 (en) 2005-01-27 2007-08-21 Dell Products L.P. System and method for intelligent information handling system projector cool down

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016220011A (ja) * 2015-05-20 2016-12-22 株式会社デンソー 画像処理装置、電子ミラーシステム、及び画像処理方法
JP2018034651A (ja) * 2016-08-31 2018-03-08 本田技研工業株式会社 出庫支援装置
JP2019110389A (ja) * 2017-12-15 2019-07-04 株式会社東海理化電機製作所 車両周辺監視装置
JP2019110448A (ja) * 2017-12-19 2019-07-04 クラリオン株式会社 表示制御装置及び表示システム

Also Published As

Publication number Publication date
CN115280765A (zh) 2022-11-01
JP2021150873A (ja) 2021-09-27
JP7424144B2 (ja) 2024-01-30
DE112021001735T5 (de) 2023-01-26

Similar Documents

Publication Publication Date Title
JP6531832B2 (ja) 駐車スペース検出方法および装置
US10384717B2 (en) Vehicle and method for controlling the same
US20200047747A1 (en) Vehicle and control method thereof
US20100283633A1 (en) Camera system for use in vehicle parking
US10906542B2 (en) Vehicle detection system which classifies valid or invalid vehicles
US20210316721A1 (en) Vehicle and method of controlling the same
CN111830859A (zh) 车辆远程指示系统
WO2016152000A1 (ja) 安全確認支援装置、安全確認支援方法
JP2012086684A (ja) 駐車支援装置
JP2019103044A (ja) 画像表示装置及び駐車支援システム
US10347126B2 (en) Driving assistance device
US20180307237A1 (en) Vehicle and method for controlling the same
KR20210005439A (ko) 운전자 보조 장치, 그를 가지는 차량 및 그 제어 방법
KR20180042638A (ko) 차량 및 그 제어 방법
KR102094405B1 (ko) 영상을 이용한 사고 유무 판단 방법 및 장치
WO2021187118A1 (ja) 車両用表示装置および車両用表示方法
JP6370249B2 (ja) 車載警告装置
JP2022140026A (ja) 画像処理装置、画像処理方法およびプログラム
US20210197896A1 (en) Turn Assistant in a Vehicle
CN112449625A (zh) 用于在由牵引车辆和拖车组成的挂车组合的调度操作情况下进行辅助的方法、系统和挂车组合
KR20180117077A (ko) 차량 및 그 제어 방법
JP7467521B2 (ja) 制御装置
US20230022104A1 (en) Object detection device
WO2023026760A1 (ja) 物体検知装置、物体検知方法
US20230158957A1 (en) Control device, control method, and storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21771777

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 21771777

Country of ref document: EP

Kind code of ref document: A1