WO2023026696A1 - 車両用視認装置 - Google Patents

車両用視認装置 Download PDF

Info

Publication number
WO2023026696A1
WO2023026696A1 PCT/JP2022/026622 JP2022026622W WO2023026696A1 WO 2023026696 A1 WO2023026696 A1 WO 2023026696A1 JP 2022026622 W JP2022026622 W JP 2022026622W WO 2023026696 A1 WO2023026696 A1 WO 2023026696A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
boundary
visual recognition
display
Prior art date
Application number
PCT/JP2022/026622
Other languages
English (en)
French (fr)
Inventor
利成 中居
圭吾 多田
Original Assignee
株式会社東海理化電機製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社東海理化電機製作所 filed Critical 株式会社東海理化電機製作所
Priority to CN202280057393.2A priority Critical patent/CN117859323A/zh
Publication of WO2023026696A1 publication Critical patent/WO2023026696A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the technology of the present disclosure relates to a vehicle visual recognition device that assists the visual recognition of passengers.
  • each of a rear image, a left rear side image, and a right rear side image captured by a rear camera, a left rear side camera, and a left rear side camera of a vehicle is captured at a predetermined angle of view.
  • a vehicle display device is disclosed that trims the image so that it becomes .
  • this vehicle display device when a vehicle located behind the vehicle is detected by the rear vehicle sensor, the distance between the vehicle and the vehicle behind is determined, and as the distance between the vehicles becomes shorter, the angle of view of the rear image is enlarged and synthesized. The ratio of the area occupied by the rear image in the image is increased.
  • the ratio of the rearward image is increased compared to the left and right side images in the composite image displayed on the display, the blind spots immediately behind the left and right sides of the body of the own vehicle become large.
  • the size of the image of the rear vehicle in the composite image depends not only on the inter-vehicle distance but also on the size of the rear vehicle (the size in the vehicle width direction). Therefore, if the proportion of the rear image in the synthesized image is determined according to the distance between the vehicle and the rear vehicle, the blind spots on the left and right rear of the own vehicle may become large, or the image of the rear vehicle may be displayed missing. It affects the appearance of the vehicle and the visibility behind the vehicle.
  • the technology of the present disclosure has been made in view of the above facts, and aims to provide a vehicle visual recognition device that can assist the visual recognition of a passenger while suppressing deterioration of the visibility of a vehicle behind the vehicle. .
  • a vehicular visual recognition device comprises: first imaging means for outputting a first photographed image obtained by imaging the rear of a vehicle; and an imaging unit including second imaging means for outputting a second photographed image obtained by picking up the rear side of the vehicle from the side of the vehicle body so as to overlap with the overlapping area of the first photographed image and the second photographed image.
  • first imaging means for outputting a first photographed image obtained by imaging the rear of a vehicle
  • an imaging unit including second imaging means for outputting a second photographed image obtained by picking up the rear side of the vehicle from the side of the vehicle body so as to overlap with the overlapping area of the first photographed image and the second photographed image.
  • a display unit for displaying on a display medium a rearward image obtained by joining the images so that it can be visually recognized by an occupant; object detection means for detecting an image of a vehicle behind the own vehicle included in the first photographed image; and the object detection means setting means for setting the image boundary according to the image position of the rear vehicle so that the detected image of the rear vehicle is arranged in the first display image.
  • the object detection means detects the rear vehicle from the first captured image and the second captured image.
  • the setting means has a size on the first display image in the rearward image with respect to an image size of the vehicle behind in the first photographed image.
  • the position of the image boundary is changed when the ratio of the image size of the vehicle behind is equal to or less than a preset ratio.
  • a vehicle visual recognition device is the first or second aspect, wherein the setting means sets the distance between the image of the rear vehicle on the rear image and the image boundary to be equal to or less than a first distance. , the position of the image boundary is changed so as to move outward in the vehicle width direction to a predetermined position.
  • the setting means moves the position of the image boundary outward in the vehicle width direction by a preset amount. Change to move.
  • the setting means when the image of the rear vehicle is not detected on the first photographed image, determines the image boundary. The position is changed to a preset standard position within the overlapping area.
  • a seventh aspect of the vehicular visual recognition device is, in any one of the first to sixth aspects, wherein the setting means sets a second distance, which is a preset distance between the image of the rear vehicle and the image boundary. is exceeded, the position of the image boundary is changed so as to approach a preset standard position within the overlap region.
  • the setting means changes the position of the image boundary so as to be inward in the vehicle width direction by a preset amount. do.
  • the first imaging means of the imaging unit outputs the first captured image obtained by imaging the rear of the vehicle
  • the second imaging means outputs a first captured image obtained by imaging the rear of the vehicle
  • a second photographed image obtained by photographing the rear side of the vehicle from the side portion of the vehicle is output so as to overlap the photographing area of .
  • the display unit extracts the first display image from the first captured image and extracts the second display image from the second captured image according to an image boundary set in an overlapping area of the first captured image and the second captured image. Then, a rear image obtained by connecting the first display image and the second display image at the image boundary is displayed on the display medium so as to be visually recognizable to the passenger.
  • setting means for setting the image boundary according to the image position of the rear vehicle so that the image of the rear vehicle detected by the object detection means is arranged in the first display image.
  • the object detection means detects the rear vehicle and detects the image of the rear vehicle included in the first captured image.
  • the setting means sets the image boundary such that the detected image of the rear vehicle is arranged in the first display image when setting the image boundary in the overlapping area of the first captured image and the second captured image.
  • the object detection means detects the rear vehicle from the first captured image and the second captured image. As a result, it is possible to effectively detect the rear vehicle traveling behind the own vehicle, and to effectively assist the driver's visual recognition.
  • the ratio of the image size of the rear vehicle on the first display image in the rear image to the image size of the rear vehicle on the first captured image is equal to or less than the preset ratio. If so, change the position of the image border. As a result, it is possible to effectively suppress deterioration in visibility due to the large lack of the rear vehicle displayed in the rear image.
  • the position of the image boundary is moved outward in the vehicle width direction to a predetermined position. As a result, it is possible to effectively suppress the deterioration of the visibility of the rear vehicle.
  • the vehicle visual recognition device of the fifth aspect when moving the position of the image boundary, it is changed so as to move outward in the vehicle width direction by a preset amount.
  • a preset amount when suppressing the overlap of the image boundary with the image of the vehicle behind, it is possible to suppress the position of the image boundary from significantly moving, and it is possible to suppress the blind spot that occurs near the vehicle body from greatly changing, thereby preventing the occupants from Visual recognition of the rear of the vehicle can be assisted more effectively.
  • the standard position is set within the overlapping area for the position of the image boundary.
  • the setting means changes the position of the image boundary to the standard position when the image of the rear vehicle is not extracted from the first captured image.
  • the position of the image boundary is changed to approach the preset standard position. do. This makes it possible to prevent the position of the image boundary from remaining away from the standard position when the distance between the image of the rear vehicle and the image boundary increases due to, for example, the vehicle behind moving away from the own vehicle. , the blind spot generated in the vicinity of the vehicle body can be effectively suppressed.
  • the position of the image boundary is changed so as to move inward in the vehicle width direction by a preset amount.
  • FIG. 11 is a flow chart showing an example of boundary setting processing
  • FIG. 55D is a schematic diagram (part 1) showing an example of the display of the rear vehicle, showing the rear vehicle approaching in the order of FIGS. 5A, 5B, 5C, and 55D.
  • FIG. It is the schematic which shows an example of a display of a back vehicle (part 2). It is a schematic diagram showing an example of a display of a back vehicle (part 3).
  • FIG. 11 is a flowchart showing an example of boundary setting processing according to a modification
  • FIG. 7B is a schematic view showing an example of the display of the following vehicle traveling in the same lane as the own vehicle and the following vehicle traveling in the adjacent lane (No. 1), approaching in the order of FIGS. 7A, 7B, 7C, and 7D; It shows the vehicle behind you in the next lane.
  • FIG. 2 is a schematic diagram showing an example of display of a rear vehicle traveling in the same lane as the own vehicle and a rear vehicle traveling in an adjacent lane (No. 2); FIG.
  • FIG. 3 is a schematic diagram showing an example of a display of a rear vehicle traveling in the same lane as the own vehicle and a rear vehicle traveling in an adjacent lane (No. 3);
  • FIG. 12 is a schematic diagram showing an example of display of a rear vehicle traveling in the same lane as the own vehicle and a rear vehicle traveling in an adjacent lane (No. 4);
  • 8A, 8B, 8C, and 8D are schematic diagrams showing an example of the display of the following vehicle traveling in the same lane as the own vehicle and the following vehicle traveling in the adjacent lane (No. 1), and FIG. 8A, FIG. 8B, FIG. It shows the vehicle behind the lane.
  • FIG. 1 is a schematic diagram showing an example of a display of a rear vehicle traveling in the same lane as the own vehicle and a rear vehicle traveling in an adjacent lane (No. 4);
  • 8A, 8B, 8C, and 8D are schematic diagrams showing an example of the display of the following vehicle traveling in the same lane as the own vehicle and
  • FIG. 2 is a schematic diagram showing an example of display of a rear vehicle traveling in the same lane as the own vehicle and a rear vehicle traveling in an adjacent lane (No. 2);
  • FIG. 3 is a schematic diagram showing an example of a display of a rear vehicle traveling in the same lane as the own vehicle and a rear vehicle traveling in an adjacent lane (No. 3);
  • FIG. 12 is a schematic diagram showing an example of display of a rear vehicle traveling in the same lane as the own vehicle and a rear vehicle traveling in an adjacent lane (No. 4);
  • FIG. 1 is a block diagram showing a schematic configuration of a vehicle visual recognition device 10 according to the present embodiment
  • FIG. 2 is a schematic plan view of a vehicle 12 provided with the vehicle visual recognition device 10 as viewed from above. is indicated by In the drawings, the front side of the vehicle is indicated by an arrow FR, and the right side in the vehicle width direction is indicated by an arrow RH.
  • the vehicle visual recognition device 10 includes a plurality of cameras 14 as imaging means constituting an imaging unit, a monitor 16 as a display medium constituting a display unit, and a rear view according to the captured image of the camera 14 .
  • a visual recognition processing device 18 having a display unit (display control unit) for displaying an image on a monitor 16 is provided.
  • the camera 14 includes a rear camera 14A as first imaging means and side cameras 14L and 14R as second imaging means, and the camera 14 captures images (video) with an imaging device.
  • the rear camera 14A is arranged at the rear part of the vehicle 12 and at the center in the vehicle width direction (for example, at the center of the rear bumper in the vehicle width direction). Take an image with
  • the side camera 14L is attached to the door 12L on the left side of the vehicle 12 in the vehicle width direction
  • the side camera 14R is attached to the door 12R on the right side of the vehicle 12 in the vehicle width direction.
  • the side cameras 14L and 14R may be attached to the door mirrors (not shown) of the vehicle 12 .
  • the side cameras 14L and 14R may be mounted on the side of the vehicle body of the vehicle 12, for example, on the front fender.
  • the side cameras 14L and 14R each take an image of the rear of the vehicle from the side of the vehicle 12 (outer side of the vehicle body) at a predetermined angle of view (photographing area).
  • the side cameras 14L and 14R are arranged so that a part of their photographing areas overlaps the photographing area of the rear camera 14A. Therefore, the rear side of the vehicle 12 is imaged at a wide angle from the left diagonally rearward to the right diagonally rearward range of the vehicle body including the immediate rear on both left and right sides of the vehicle body by the rear camera 14A and the side cameras 14L and 14R. .
  • the rear camera 14A and the side cameras 14L and 14R can capture images of almost the entire area from the left rear side to the right rear side of the vehicle body of the vehicle 12.
  • the monitor 16 is thin and has a rectangular shape elongated in the vehicle width direction, and is arranged near the top of the front windshield glass on the front side of the vehicle (position corresponding to the inner mirror) in the vehicle interior.
  • the display surface of the monitor 16 is directed toward the rear of the vehicle so that it can be visually recognized by the passengers inside the vehicle.
  • the monitor 16 functions as an inner mirror by displaying an image captured by the camera 14 .
  • the monitor 16 may be provided on the instrument panel, and the monitor 16 can be provided at any position where it can be easily viewed by the occupant without obstructing the occupant's view.
  • the visual recognition processing device 18 synthesizes (joins together) the images captured by the rear camera 14A and the side cameras 14L and 14R to generate a wide-angle rearward image (outside rearward image) of the vehicle. Then, the rear image is controlled to be displayed on the monitor 16. - ⁇ In this embodiment, the rearward image displayed on the monitor 16 is an image obtained by connecting (synthesized) display images extracted from images captured by the rear camera 14A and the side cameras 14L and 14R. Further, the vehicle visual recognition device 10 may superimpose an image of the interior of the vehicle captured by the interior camera on the rearward image and display the image on the monitor 16 .
  • the visual processing device 18 includes a microcomputer (not shown) in which a CPU, a ROM, a RAM, a storage as a non-volatile storage medium, an input/output interface, etc. are interconnected by a bus.
  • a program stored in a ROM, a storage, or the like is read by the CPU and executed while being developed in the RAM, thereby realizing functions according to the program.
  • the visual recognition processing device 18 is not limited to a CPU, and a GPU (Graphic Processing Unit), FPGA (Field Programmable Gate Array), or the like can also be used.
  • the visual recognition processing device 18 includes an image processing unit 20, a viewpoint conversion unit 22, an image extraction unit 24, and a display processing unit 26.
  • the visual recognition processing device 18 functions as an image processing unit 20, a viewpoint conversion unit 22, an image extraction unit 24, and a display processing unit 26 by executing a predetermined program by the CPU.
  • FIG. 3 is a schematic diagram showing an overview of the captured image and the rearward image displayed on the monitor 16.
  • the images captured by the rear camera 14A and the side cameras 14L and 14R are reversed left and right, and the images captured by the left and right side cameras 14L and 14R are interchanged (the images are horizontally reversed as a whole). )Is displayed.
  • the image processing unit 20 reads images captured by the rear camera 14A and the side cameras 14L and 14R, and executes predetermined image processing to perform the first image captured by the rear camera 14A.
  • a captured image (image data) 28A as a captured image and captured images (image data) 28L and 28R as second captured images captured by the side cameras 14L and 14R are output. Note that the image processing unit 20 performs processing so that the sizes of the images of the same object are the same among the captured images 28A, 28L, and 28R.
  • the viewpoint positions of the captured images 28A, 28L and 28R are different between the rear camera 14A and the side cameras 14L and 14R.
  • the viewpoint conversion unit 22 performs viewpoint conversion processing on the captured images 28A, 28L, and 28R.
  • a virtual viewpoint is set on the front side of the vehicle from the center position of the monitor 16 (the center position in the vehicle width direction and the vertical direction), and the captured images 28A, 28L, and 28R are converted into images viewed from the virtual viewpoint. do.
  • a virtual screen which is a virtual plane at a predetermined position behind the vehicle 12, is set along with the virtual viewpoint.
  • the virtual screen may be a flat surface or a curved surface. It is preferable to be a surface (a concave curved surface when viewed from the vehicle 12).
  • any method of converting each of the captured images 28A, 28L, and 28R into an image projected on a virtual screen viewed from a virtual viewpoint can be applied.
  • the photographed images 28A, 28L, and 28R are subjected to the viewpoint conversion processing by applying the same virtual viewpoint and virtual screen in the viewpoint conversion unit 22, so that the photographed images 28A, 28L and the photographed image 28A or the photographed image 28R are converted.
  • the same object is shown in both, the objects appear to overlap.
  • the image extraction unit 24 extracts display images 30A, 30L, and 30R to be displayed on the monitor 16 from each of the captured images 28A, 28L, and 28R.
  • the visual recognition processing device 18 as the image boundaries 32, an image boundary 32L between the captured images 28A and 28L and an image boundary 32R between the captured images 28A and 28R are set.
  • the image extraction unit 24 performs trimming processing on each of the captured images 28A, 28L, and 28R according to the image boundary 32 (image boundaries 32L and 32R) and the display area on the monitor 16.
  • the image extraction unit 24 extracts the display image 30A as the first display image from the captured image 28A, and extracts the display images 30L and 30R as the second display image from the captured images 28L and 28R.
  • the image boundaries 32L and 32R are substantially linear or substantially band-shaped (band-shaped with a width of a predetermined number of pixels) along the vertical direction. By changing), the trimming positions in each of the captured images 28A, 28L, and 28R are changed to extract display images 30A, 30L, and 30R.
  • the image boundaries 32L and 32R correspond to the boundaries between the display images 30A and 30L and the display images 30A and 30R on the virtual screen. and the boundary between the display image 30A and the display image 30R are moved in the vehicle width direction.
  • the image boundary 32L is set within the overlapping area between the captured image 28A and the captured image 28L
  • the image boundary 32R is set within the overlapping area between the captured image 28A and the captured image 28L.
  • the image boundaries 32L and 32R are each set within a range from the vehicle width direction inside position (positions Lin, Rin) to the vehicle width direction outside position (positions Lout, Rout). That is, the position of the image boundary 32L is in the range of positions Lin to Lout, and the position of the image boundary 32R is in the range of positions Rin to Rout.
  • the display image 30A is narrowest in the vehicle width direction by setting the image boundaries 32L and 32R at positions Lin and Rin on the inside in the vehicle width direction, and the image boundaries 32L and 32R are positioned at positions Lout and Rout on the outside in the vehicle width direction. By doing so, it can be widened most in the vehicle width direction.
  • the display processing unit 26 generates a rear image (image data of the rear image) to be displayed on the monitor 16 by connecting the display image 30L and the display image 30R to the display image 30A at the image boundaries 32L and 32R on the left and right sides of the display image 30A. do.
  • the rear image displayed on the monitor 16 is a composite image in which the display images 30A, 30L, and 30R are joined at the image boundaries 32L and 32R.
  • the display image 30A and the display image 30R trimmed at the image boundary 32R are displayed in at least one of the captured images 28A and 28R.
  • a region (so-called blind spot) where no image appears in the combined image is generated. That is, when projected onto the virtual screen and trimmed at the image boundary 32R, among the objects on the viewpoint side (camera 14 side) of the virtual screen, from the photographed image 28A (display image 30A), the vehicle width direction outer side of the image boundary 32R.
  • the display images 30L and 30R include areas away from the vehicle body in the photographed images 28L and 28R. extracted. Therefore, in the rearward image displayed on the monitor 16, the blind spots occurring on the sides of the vehicle body are large (wide).
  • the vehicle visual recognition device 10 gradually narrows the blind spot, The nearest left rear and right rear blind spots are the narrowest.
  • standard positions original positions, default positions, for example, positions shown in FIG. 3
  • L0 and R0 are set for the image boundaries 32L and 32R, respectively.
  • Each of the standard positions L0 and R0 of the image boundaries 32L and 32R is the position where the left rear and right rear blind spots in the vicinity of the vehicle body are the narrowest on the rear image (see FIG. 3).
  • the image boundaries 32L and 32R are set to the standard positions L0 and R0, thereby suppressing blind spots near the sides of the vehicle body.
  • the vehicular visual recognition device 10 captures an image of a vehicle traveling behind the vehicle 12 (rear vehicle), so that the vehicle behind is displayed on the monitor 16 .
  • the image of the vehicle behind is included in any of the display images 30A, 30L, and 30R and displayed on the monitor 16, so that the occupant can visually recognize the vehicle behind.
  • the vehicle visual recognition device 10 is provided with an object detection means.
  • the object detection means detects a vehicle running behind the vehicle 12 .
  • a method using millimeter wave radar which uses radio waves with a frequency of 30 GHz to 300 GHz called millimeter waves and can measure the position and distance of the object, can be applied.
  • the object detection means includes a LiDAR (Light Detection Ranging) method that uses light such as infrared light (laser light) to measure the irradiation direction of the light and the time until the light reflected by the object is received. can be applied.
  • LiDAR Light Detection Ranging
  • the vehicle visual recognition device 10 is provided with a rear camera 14A and side cameras 14L and 14R as imaging means. Duplicate (overlapping). From here, when detecting including the distance (inter-vehicle distance) of the rear vehicle with respect to the rear vehicle 34 and the vehicle 12, a stereo camera method may be applied.
  • a rear vehicle (hereinafter referred to as a rear vehicle 34) running directly behind the vehicle 12 is applied as a detection target of the target detection means.
  • the image is captured by the rear camera 14A by driving directly behind the vehicle.
  • the object detection means should be able to detect at least the rear vehicle 34, and in this embodiment, the object detection means detects the rear vehicle 34 using the captured image 28A captured by the rear camera 14A.
  • a plurality of methods may be applied to the object detection means. For example, the captured image 28A of the rear camera 14A and the millimeter wave radar method, or the captured image 28A of the rear camera 14A and the LiDAR method may be used together. , can improve detection accuracy.
  • the visual recognition processing device 18 of the vehicle visual recognition device 10 includes an object detection unit 38 constituting object detection means, an object extraction unit 40 as image detection means, and a boundary setting unit 42 as setting means.
  • the visual recognition processing device 18 functions as an object detection unit 38 , an object extraction unit 40 and a boundary setting unit 42 by executing a predetermined program by the CPU.
  • the object detection unit 38 reads the photographed image 28A of the rear camera 14A and the photographed images 28L and 28R of the side cameras 14L and 14R, searches the photographed image 28A for the image of the rear vehicle 34 (vehicle image 34A), and obtains the photographed image 28A.
  • a rear vehicle 34 in the image is detected.
  • various known techniques such as a pattern matching method for searching for an image of a pattern similar to a plurality of pattern images pre-stored for the vehicle (back vehicle) can be applied.
  • the object extraction unit 40 reads the image 28A captured by the rear camera 14A and the images 28L and 28R captured by the side cameras 14L and 14R. Extract the locations (contours and regions of contours) on top. At this time, when a plurality of rear vehicles 34 are detected, the object extraction unit 40 detects the rear vehicle 34 closest to the vehicle 12 as the object.
  • White lines (lane lines) 46L and 46R are marked on the left and right of the lane 44 on the road on which the vehicle 12 travels. ) is captured behind the vehicle (see FIG. 3). From this, the determination as to whether or not the vehicle detected by the target detection unit 38 is the target rear vehicle 34 is performed by extracting the white lines 46L and 46R indicating the lane 44 on the photographed images 28A, 28L and 28R, can be regarded as traveling in the same lane 44 as the vehicle 12, the vehicle can be determined to be the vehicle 34 behind.
  • the imaging range of the rear camera 14A is predetermined with respect to the center line of the vehicle 12 in the vehicle width direction. From this, the determination whether or not the vehicle detected by the target detection unit 38 is the target rear vehicle 34 is based on whether the size of the image of the rear vehicle on the captured image 28A is equal to or greater than a predetermined size, and When the vehicle width direction center position of the image of the vehicle behind is within a predetermined range with respect to the center position of the captured image 28A (for example, within a range in which it can be assumed that the vehicle is traveling in the same lane 44), the vehicle is It can be a rear vehicle 34 .
  • the display image 30A and the display image 30L are displayed according to the image position of the rear vehicle 34 on the captured image 28A (the position of the vehicle image 34A). and an image boundary 32R between the display image 30A and the display image 30L.
  • the boundary setting unit 42 sets the image boundaries 32L and 32R within the ranges of positions Lin to Lout and positions Rin to Rout, respectively. At this time, there are no other vehicles running behind the vehicle 12 (not shown), and other vehicles running in the next lane cannot be considered to be directly behind the vehicle 12. If there is, the boundary setting unit 42 sets the positions of the image boundaries 32L and 32R to the standard positions.
  • the boundary setting unit 42 sets each of the image boundaries 32L and 32R at positions where the vehicle image 34A does not become difficult to see due to overlapping with the vehicle image 34A of the vehicle 34 behind.
  • the boundary setting unit 42 causes the vehicle image 34A displayed on the monitor 16 to become larger as the vehicle 34 behind the vehicle 34 approaches, and the distance d between the vehicle image 34A and at least one of the image boundary 32L and the image boundary 32R narrows. .
  • the boundary setting unit 42 moves the corresponding image boundary 32 (at least one of the image boundary 32L and the image boundary 32R) in the vehicle width direction when the interval d becomes equal to or smaller than a given interval d1 (d ⁇ d1), which is the first interval. It is set to move outside (position Lout side, position Rout side) by a predetermined movement amount (predetermined distance on the monitor 16 such as a predetermined number of pixels, hereinafter referred to as distance dsa). Further, even when the image boundary 32 (at least one of the image boundary 32L and the image boundary 32R) overlaps the vehicle image 34A of the rear vehicle 34, the boundary setting unit 42 sets the corresponding image boundary 32 in the vehicle width direction. set to move a distance dsa outside the .
  • the boundary setting unit 42 prevents the image boundaries 32L and 32R from being outside in the vehicle width direction more than necessary. For example, the rear vehicle 34 moves away and the vehicle image 34A displayed on the monitor 16 becomes smaller, thereby increasing the distance d between the vehicle image 34A and the image boundaries 32L and 32R. As a result, when the interval d becomes equal to or greater than the interval d2, which is the second interval, the boundary setting unit 42 causes the image boundaries 32L and 32R to approach the standard positions L0 and R0 (inward in the vehicle width direction). Set the positions of the image boundaries 32L and 32R. At this time, the boundary setting unit 42 sets the image boundaries 32L and 32R to move by a predetermined movement amount (a predetermined distance on the monitor 16 such as a predetermined number of pixels, hereinafter referred to as distance dsb).
  • a predetermined movement amount a predetermined distance on the monitor 16 such as a predetermined number of pixels
  • the distance d1, the distance d2, the distance dsa, and the distance dsb are set in advance within a range that does not impair the visibility of the occupant in the rear image displayed on the monitor 16 and the appearance of the rear image.
  • the distance d, the distance dsa, and the like are the dimensions (pixels number) can be applied.
  • the image extraction unit 24 of the visual recognition processing device 18 extracts each of the display images 30A, 30L, 30R from the captured images 28A, 28L, 28R based on the image boundaries 32L, 32R set by the boundary setting unit 42 .
  • the monitor 16 displays a rear image obtained by synthesizing the display images 30A, 30L, and 30R.
  • the vehicle visual recognition device 10 starts operating, and the IG switch is turned off.
  • the end of image display is instructed in such a manner, the operation is ended after a predetermined period of time has elapsed.
  • the vehicular visual recognition device 10 when the start of operation is instructed, the rear camera 14A and the side cameras 14L and 14R are operated, and the visual recognition processing device 18 is operated to photograph the rear camera 14A and the side cameras 14L and 14R. An image is displayed on the monitor 16 .
  • FIG. 4A shows a flowchart of the outline of the display processing executed by operating the visual recognition processing device 18, and FIG. 4B shows an example of image boundary setting processing in a flowchart.
  • 5A to 5D schematically show, as an example, the display of the monitor 16 corresponding to the vehicle image 34A when the vehicle 34 behind the vehicle 12 is captured in the captured image 28A.
  • the image boundaries 32L and 32R are set separately, but by setting one of the image boundaries 32L and 32R, the image boundaries 32L and 32R are aligned with one of the set image boundaries 32L and 32R. may be set.
  • the flowchart in FIG. 4A is executed at preset time intervals when the visual recognition processing device 18 is operated. Then, predetermined image processing is executed (step 102). As a result, the photographed image 28A behind the vehicle and the photographed images 28L and 28R rearward from the sides of the vehicle are acquired. In the next step 104, predetermined viewpoint conversion processing is performed on the captured images 28A, 28L, and 28R.
  • step 106 the visual recognition processing device 18 sets the image boundary 32 (image boundaries 32L and 32R), and in step 108, the set image
  • the display images 30A, 30L and 30R are extracted by trimming along the boundaries 32L and 32R.
  • viewing processor 18 stitches display images 30A, 30L, 30R at image boundaries 32L, 32R to generate a rearward image for display on monitor 16 in step 110, and generates a rearward image for display on monitor 16 in step 112. display.
  • rearward images of the vehicle 12 obtained from the images 28A, 28L, and 28R captured by the rear camera 14A and the side cameras 14L and 14R are displayed as moving images on the monitor 16 mounted on the front side of the vehicle for the occupants in the vehicle compartment.
  • the rearward image displayed on the monitor 16 assists the occupants in the vehicle to visually recognize the rear of the vehicle.
  • the occupant can visually recognize a wide range from the rear left side of the vehicle to the rear right side of the vehicle.
  • the visual recognition processing device 18 detects the rear vehicle 34 traveling behind (substantially right behind) the vehicle 12, and when the rear vehicle 34 is detected, the vehicle image 34A of the rear vehicle 34 is displayed.
  • the image boundaries 32L and 32R are set accordingly.
  • the vehicle image 34A is effectively displayed on the monitor 16 in the vehicle visual recognition device 10 .
  • the flowchart of FIG. 4B is executed by moving to step 106 in FIG. It is confirmed whether or not the rear vehicle 34 running substantially directly behind (a position that can be regarded as directly behind) has been detected. Since the rearward vehicle 34 is at least a vehicle that is imaged by the rear camera 14A, the photographed image 28A is used for detecting the rearward vehicle 34, and the visual recognition processing device 18 searches the photographed image 28A, The rear vehicle 34 (vehicle image 34A of the rear vehicle 34) is detected.
  • step 122 if the rear vehicle 34 is not detected from the captured image 28A (including cases where the vehicle is extremely far behind), a negative determination is made in step 122 and the process proceeds to step 124.
  • step 124 the visual recognition processing device 18 sets the image boundaries 32 (image boundaries 32L, 32R) to the standard positions L0, R0, and then proceeds to the next process.
  • the monitor 16 normally displays a rearward image in which the image boundaries 32L and 32R are at the standard positions L0 and R0 (not shown).
  • the standard positions L0 and R0 of the image boundaries 32L and 32R are respectively set to the positions where the blind spot on the rear side near the side of the vehicle body of the vehicle 12 is narrowed. Therefore, the monitor 16 narrows the blind spot and displays the immediate left and right sides of the vehicle body and the immediate rear of the left and right sides of the vehicle body. It is suppressed that it becomes. As a result, the vehicle visual recognition device 10 can effectively assist the occupant in visual recognition of the rear side and the vicinity of the vehicle body.
  • step 122 the visual recognition processing device 18 makes an affirmative determination in step 122 and proceeds to step 126.
  • step 126 the visual recognition processing device 18 identifies the vehicle image 34A of the rear vehicle 34 in the photographed image 28A in which the rear vehicle 34 is shown. That is, the position and image range (image size) of the vehicle image 34A on the captured image 28A are specified.
  • the visual recognition processing device 18 sets the image boundaries 32 (image boundaries 32L, 32R) according to the vehicle image 34A. At this time, the image boundary 32 is set at a position where at least the appearance of the vehicle image 34A of the rear vehicle 34 is not spoiled. In addition, it is preferable that the image boundary 32 is set at a position (off position) that does not overlap the vehicle image 34A of the rear vehicle 34 .
  • the image boundaries 32L and 32R are positioned outside the vehicle image 34A of the rear vehicle 34 in the width direction (vehicle width direction) on the photographed image 28A, and are located at the standard positions L0 and R0, or at positions closer to the standard positions L0 and R0 than the standard positions L0 and R0. outside in the vehicle width direction).
  • the image boundaries 32L and 32R overlap the vehicle image 34A of the rear vehicle 34, or when the distance d between the image boundaries 32L and 32R and the vehicle image 34A of the rear vehicle 34 is the distance d1 or less (d ⁇ d1).
  • the position of the corresponding image boundary 32 is set to move outward in the vehicle width direction (direction away from the standard positions L0 and R0) from the current position by a distance dsa.
  • FIG. 5A to 5D show time T0 (see FIG. 5A), time T1 (see FIG. 5B), time T2 (see FIG. 5C), and time T3 (see FIG. 5C) while the following vehicle 34 is traveling in the same lane 44 as the vehicle 12.
  • FIG. 5D shows time T0 (see FIG. 5A), time T1 (see FIG. 5B), time T2 (see FIG. 5C), and time T3 (see FIG. 5C) while the following vehicle 34 is traveling in the same lane 44 as the vehicle 12.
  • FIG. 5D shows the case of approaching with the lapse of time (elapse of time T) while the following vehicle 34 is traveling in the same lane 44 as the vehicle 12.
  • FIG. 5D and the case of approaching with the lapse of time (elapse of time T) are shown.
  • the rear vehicle 34 is relatively distant from the vehicle 12
  • the vehicle image 34A of the rear vehicle 34 appearing in the captured image 28A is relatively small
  • the vehicle image 34A at the standard positions L0 and R0 is relatively small.
  • the image boundaries 32L and 32R are contained (not overlapped), the image boundaries 32L and 32R are set to standard positions L0 and R0, respectively.
  • the vehicle image 34A displayed on the monitor 16 gradually becomes larger.
  • the vehicle image 34A approaches the image boundaries 32L and 32R (for example, the distance d between the image boundary 32L and the vehicle image 34A and the distance between the image boundary 32R and the vehicle image 34A).
  • the visual recognition processing device 18 moves the corresponding image boundary 32 (for example, the image boundary 32R) by the distance dsa to the outside in the vehicle width direction.
  • the image boundaries 32L and 32R are set to move according to the distance d from the vehicle image 34A.
  • the movement of the image boundary 32 may be set to move (at the same timing).
  • the movement of the image boundary 32 depends on the degree of change (amount of change per unit time) of the size of the vehicle image 34A.
  • the moving distance dsa may be set to be larger than when the degree is small, thereby suppressing frequent changes in the position of the image boundary 32 that the occupant feels annoyed.
  • the image boundary 32R is moved outward in the vehicle width direction by a predetermined amount (for example, distance dsa). At this time, if the conditions for moving the image boundary 32L are not satisfied, the image boundary 32L remains at the standard position L0 without being changed in position. As a result, even if the rear vehicle 34 further approaches the vehicle 12, it is possible to prevent the image boundary 32 from overlapping the vehicle image 34A and spoiling the appearance of the vehicle image 34A.
  • a predetermined amount for example, distance dsa
  • the vehicle image 34A overlaps the image boundaries 32L and 32R, or the distance d between the vehicle image 34A and the image boundaries 32L and 32R increases. becomes equal to or less than the interval d1.
  • the visual recognition processing device 18 sets each of the image boundaries 32L and 32R so as to move further outward in the vehicle width direction by a distance dsa, for example.
  • the image boundary 32L is set to move from the standard position L0 toward the position Lout, and the image boundary 32R moves to a position further away from the vehicle image 34A (for example, position Rout). is set to As a result, the image boundaries 32L, 32R are kept away from the vehicle image 34A, thereby preventing the image boundaries 32L, 32R from lowering the visibility of the vehicle 34 behind the occupant.
  • the vehicle image 34A displayed on the monitor 16 gradually becomes smaller, and the distance d between the vehicle image 34A and the image boundary 32 becomes larger (widens).
  • the corresponding image boundary 32 is moved inward in the vehicle width direction by a distance dsb.
  • the image boundaries 32L and 32R are moved (set) so as to approach the standard positions L0 and R0. That is, the visual processing device 18 moves the image boundaries 32L and 32R away from the standard positions L0 and R0 stepwise (or continuously) toward the standard positions L0 and R0 until they reach the standard positions L0 and R0.
  • the vehicle image 34A of the rear vehicle 34 is prevented from overlapping the image boundary 32, and the vehicle image 34A becomes difficult to see. can be suppressed.
  • deterioration of the visibility of the rear vehicle 34 displayed on the monitor 16 is effectively suppressed, and the rearward visibility of the occupant can be effectively assisted.
  • the vehicle visual recognition device 10 extracts the display images 30A, 30L, and 30R from the images 28A, 28L, and 28R captured by the rear camera 14A and the side cameras 14L, 14R, respectively, and generates a rear image to be displayed on the monitor 16. .
  • the vehicle visual recognition device 10 detects the vehicle image 34A of the rear vehicle 34 from the captured image 28A, and sets the image boundary 32 so as not to overlap the vehicle image 34A displayed on the monitor 16 .
  • the image boundary 32 is suppressed from overlapping the vehicle image 34A.
  • the visual recognition of the rear vehicle 34 by the occupant can be assisted while suppressing deterioration in appearance caused by the image boundary 32 overlapping the vehicle image 34A of the rear vehicle 34.
  • the rear vehicle 34 (vehicle image 34A) is detected from the image 28A captured by the rear camera 14A.
  • the rear vehicle 34 can be detected efficiently.
  • the vehicle visual recognition device 10 when the image boundary 32 is set to move according to the vehicle image 34A of the rear vehicle 34, the vehicle image 34A and the image boundary 32 are prevented from being greatly separated. As a result, in the vehicle visual recognition device 10, the image boundaries 32 (image boundaries 32L, 32R) can be prevented from becoming too far from the standard positions L0, R0, and the blind spots can be prevented from becoming large. .
  • the image boundaries 32L and 32R are set (moved) within the range from the standard positions L0 and R0 to the positions Lout and Rout so that the image boundaries 32L and 32R do not overlap the vehicle image 34A. At this time, the image boundaries 32L and 32R are set so as not to be too far from or too close to the vehicle image 34A. However, even when the image boundaries 32L and 32R overlap the vehicle image 34A, if the overlap is small, visibility and appearance are less affected.
  • the image size of the vehicle image 34A (the vehicle image 34A of the display image 30A) displayed on the monitor 16 (for example, the vehicle width direction dimension of the vehicle image 34A.
  • the vehicle image 34A image area changes.
  • the image boundary 32 From this, it is determined whether or not to move the image boundary 32 from the ratio of the image size of the vehicle image 34A on the display image 30A to the image size of the vehicle image 34A on the captured image 28A for the vehicle image 34A of the rear vehicle 34. can be done.
  • a ratio (threshold value) at which it can be determined that the visibility of the occupant and the appearance of the rearward image are not impaired is set in advance. be set. In the vehicle visual recognition device 10, this threshold value may be changeable.
  • the vehicle visual recognition device 10 acquires the image size of the vehicle image 34A in the captured image 28A of the rear camera 14A, and acquires the image size of the vehicle image 34A in the display image 30A. Further, the vehicle visual recognition device 10 calculates the ratio of the image size of the vehicle image 34A in the display image 30A to the image size of the vehicle image 34A in the image 28A captured by the rear camera 14A. Thereafter, in the vehicle visual recognition device 10, when the calculated ratio becomes equal to or less than the threshold value, the image boundary 32 is newly set.
  • the calculated ratio becomes equal to or less than the threshold value and the image boundary 32 is set, so that the vehicle image 34A may be largely missing in the rearward image displayed on the monitor 16, or the image boundary 32 may cause annoyance to the occupants.
  • the rearward image displayed on the monitor 16 can assist the occupant's visual recognition.
  • vehicles running behind the vehicle 12 are not limited to vehicles running in the same lane 44 as the vehicle 12, vehicles running in the lane next to the lane 44 of the vehicle 12, and vehicles running in the lane 44 There is a vehicle or the like that is running straddling the lane and the adjacent lane.
  • Whether or not the vehicle behind is the vehicle 34 traveling directly behind the vehicle 12 may be determined from the image on the image 28A captured by the rear camera 14A. In this case, for example, even if the vehicle behind is approaching the vehicle 12 and the white lines 46L and 46R are difficult to see, it is possible to accurately determine whether or not the vehicle behind is the vehicle 34 behind the image. It is possible to prevent the appearance of the vehicle image 34A of the rear vehicle 34 from being spoiled by 32L and 32R.
  • a vehicle behind the vehicle 12 (hereinafter referred to as a vehicle 48 behind) that is closer to the vehicle 12 than the vehicle 34 behind in the same lane 44 as the vehicle 12 may be traveling.
  • FIG. 6 shows a flowchart of an example of image boundary setting processing according to the modification. 7A to 7D and 8A to 8D, the rear vehicle 34 is running in the same lane 44 as the vehicle 12, and the rear vehicle 48 is running in the lane 44A next to (on the right of) the vehicle 12.
  • the display of the monitor 16 in this case is shown schematically.
  • the captured images 28L and 28R are used for the detection of the rear vehicle 48 (detection of the vehicle image 48A of the rear vehicle 48).
  • the same step numbers (codes) as in FIG. 4B are assigned to the same processes as in FIG. 4B, and detailed description thereof is omitted.
  • setting of one image boundary 32R will be described, and illustration and description of the other image boundary 32L will be omitted, but the other image boundary 32L may be set in accordance with the image boundary 32R.
  • FIG. 6 is used in place of FIG. 4B and is executed by moving to step 106 in FIG. 4A.
  • the visual recognition processing device 18 detects the rear of the vehicle 12 from the captured images 28A and 28R of the rear camera 14A and the side camera 14R (the captured image 28L of the side camera 14L may be included). Detection processing of the traveling rear vehicle (the rear vehicle 34, 48) is performed. Further, in the vehicle visual recognition device 10, in step 132, it is confirmed whether or not the vehicle behind (at least one of the rear vehicle 34 and the rear vehicle 48) is detected, and in step 134, the vehicle travels in the same lane 44 as the vehicle 12. It is checked whether or not the rear vehicle 34 is detected.
  • the visual recognition processing device 18 In detecting the rear vehicle 34 and the rear vehicle 48, the visual recognition processing device 18 identifies the lanes 44 and 44A from the captured images 28A and 28R of the left and right white lines 46L and 46R of the lane 44 in which the vehicle 12 is traveling. In addition, the visual recognition processing device 18 identifies a vehicle traveling in the lane 44 (between the white lines 46L and 46R) as the rear vehicle 34, and travels in the lane 44A on the opposite side of the lane 44 across the white line 46R. The vehicle that is in the background is specified as the rear vehicle 48 .
  • the visual recognition processing device 18 makes a negative determination in step 132 and proceeds to step 124 .
  • the image boundaries 32R are each set to the standard position R0.
  • the visual recognition processing device 18 makes an affirmative determination in step 132 and an affirmative determination in step 134, and proceeds to step 126.
  • the visual recognition processing device 18 sequentially executes steps 126 and 128 to set the image boundary 32R based on the running state of the rear vehicle 34, and proceeds to step 138.
  • FIG. Thereby, the visual recognition processing device 18 sets the image boundary 32R within the range from the standard position R0 to the position Rout according to the vehicle image 34A of the vehicle 34 behind.
  • step 134 the visual recognition processing device 18 makes a negative determination in step 134, proceeds to step 136, sets the image boundary 32R to the standard position R0, and proceeds to step 138.
  • step 138 the visual recognition processing device 18 confirms whether or not the rear vehicle 48 (vehicle image 48A of the rear vehicle 48) traveling in the adjacent lane 44A is detected. Check if the vehicle 48 is closer to the vehicle 12 than the vehicle 34 behind. At this time, if the rear vehicle 48 is not detected, the visual recognition processing device 18 makes a negative determination in step 138 and starts the next process. If the rear vehicle 48 is further from the vehicle 12 than the rear vehicle 34, the visual recognition processing device 18 makes an affirmative determination in step 138, makes a negative determination in step 140, and proceeds to the next process.
  • the monitor 16 displays the vehicle image 48A of the rear vehicle 48 larger than the vehicle image 34A of the rear vehicle 34. be.
  • the visual recognition processing device 18 makes an affirmative determination in each of steps 138 and 140 and proceeds to step 142 .
  • the visual recognition processing device 18 identifies a photographed image showing the full width of the rear vehicle 48, and sets the position of the image boundary 32R so as not to overlap the vehicle image 48A of the rear vehicle 48 on the identified photographed image. .
  • the visual recognition processing device 18 specifies the photographed image 28A as the photographed image in which the rear vehicle 48 is reflected.
  • the photographed image 28R is specified as the photographed image in which the rear vehicle 48 is reflected.
  • the visual recognition processing device 18 sets the image boundary 32R according to the specified captured image (vehicle image 48A on the captured image. At this time, if the captured image 28A is specified as the captured image, The visual recognition processing device 18 sets the image boundary 32R to a position (for example, position Rout) outside the standard position R0 in the vehicle width direction. sets the image boundary 32R to the standard position R0.
  • a position for example, position Rout
  • the image boundary 32R is as shown in FIGS. 7A to 7D or 8A to 8D. change to 7A to 7D and 8A to 8D, time T0 (see FIGS. 7A and 8A), time T4 (see FIGS. 7B and 8B), time T5 (see FIGS. 7C and 8C) and time T6 (See FIGS. 7D and 8D) and the case where the running position of the rear vehicle 48 changes with the passage of time is shown.
  • FIGS. 7A to 7D show the case where the rear vehicle 48 approaches the vehicle 12.
  • FIGS. 7A to 7C when the rear vehicle 48 is relatively far from the vehicle 12 and the vehicle image 48A of the rear vehicle 48 displayed on the monitor 16 is relatively small (the vehicle image 48A is above the captured image 28A). ), the image boundary 32R is set to a position outside the standard position R0 in the vehicle width direction (for example, position Rout), and the vehicle image 48A of the rear vehicle 48 is displayed in the display image 30A.
  • FIG. 7D when the rear vehicle 48 approaches the vehicle 12 and the vehicle image 48A of the rear vehicle 48 displayed on the monitor 16 becomes relatively large (vehicle image 48A becomes larger than the photographed image 28R). ), the image boundary 32R is moved to the standard position R0.
  • the vehicle visual recognition device 10 it is possible to prevent the image boundary 32R from overlapping the vehicle image 48A of the rear vehicle 48 approaching the vehicle 12 and being displayed on the monitor 16. It is possible to prevent the image 48A from deteriorating in appearance (making it difficult to see), and effectively assist the occupant's backward visibility. Moreover, when the rear vehicle 48 approaches the vehicle 12, the image boundary 32R becomes the standard position R0. Therefore, in the rear image displayed on the monitor 16, the blind spot in the vicinity of the right rear side of the vehicle body is narrowed, and the occupants can effectively view the image. can assist.
  • the vehicle visual recognition device 10 when the rearward vehicle 48 leaves the vehicle 12, as shown in FIGS. 8A to 8C, when the rearward vehicle 48 is reflected in the photographed image 28R, the vehicle visual recognition device 10 has the image boundary 32 at the position Rout. It is set on the inner side in the vehicle width direction (on the standard position R0 side). As a result, the monitor 16 displays a rearward image in which the vehicle image 48A of the rearward vehicle 48 is displayed in the display image 30R. At this time, as shown in FIGS. 8B and 8C, even if the rear vehicle 48 is separated from the vehicle 12, the vehicle visual recognition device 10 maintains the image boundary 32R while the rear vehicle 48 is mainly reflected in the captured image 28R. is set (held) inside the position Rout in the vehicle width direction.
  • the vehicle visual recognition device 10 moves the image boundary 32 to the position Rout side (or the position Rout). set to move.
  • the monitor 16 displays a rearward image in which the vehicle image 48A of the rearward vehicle 48 is shown in the display image 30A.
  • the vehicle visual recognition device 10 may hold the image boundary 32R inside the position Rout in the vehicle width direction. .
  • the vehicular visual recognition device 10 can effectively suppress each of the vehicle images 34A and 48A of the rear vehicles 34 and 48 from overlapping the image boundary 32R. As a result, it is possible to suppress deterioration in appearance due to the image boundary 32 overlapping the vehicle images 34A, 48A of the rear vehicles 34, 48, and to suppress deterioration in the visibility of the occupants. can effectively assist

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

車両用視認装置（１０）では、撮像部は、車両後方を撮像した第１撮影画像を出力するリアカメラ（１４Ａ）、及び撮像領域の一部が第１撮像手段の撮像領域に重なるように車体側方から車両後方側を撮像した第２撮影画像を出力するサイドカメラ（１４Ｌ、１４Ｒ）を含む。第１撮影画像と第２撮影画像との重なり領域に画像境界を設定し、第１撮影画像から第１表示画像を抽出すると共に第２撮影画像から第２表示画像を抽出する。第１撮影画像に含まれる自車の後方車両の画像を検出し、後方車両の画像が第１表示画像に配置されるように、第１表示画像と第２表示画像とを繋げた後方画像を乗員に視認可能にモニタ（１６）に表示する。

Description

車両用視認装置
　本開示の技術は、乗員の視認を補助する車両用視認装置に関する。
　特開２０１９－１１０４９２号公報には、車両の後方カメラ、左後側方カメラ及び左後側方カメラにより撮像した後方画像、左後側方画像及び右後側方画像の各々を所定の画角となるようにトリミングし、トリミングした画像を合成した合成画像を車室内のディスプレイに表示する車両表示装置が開示されている。
　この車両表示装置では、後方車両センサによって車両の後方に位置する後方車両が検出されると、後方車両との車間距離を判定し、車間距離が短くなるほど後方画像画角を拡大画角として、合成画像において後方画像が占める領域の割合を大きくしている。
　ところで、ディスプレイに表示する合成画像において左側方画像及び右側方画像に比して後方画像の割合を大きくすると、自車の車体の左右直後の死角が大きくなってしまう。合成画像における後方車両の画像の大きさは、車間距離のみならず後方車両のサイズ（車幅方向のサイズ）にも依存する。このため、後方車両との車間距離に応じて合成画像における後方画像の割合を定めると、自車の左右後方の死角が大きくなったり、後方車両の画像が欠けて表示されたりしてしまい、画像の見栄えや車両後方の視認性に影響する。
　本開示の技術は、上記事実を鑑みて成されたものであり、後方車両の視認性が低下するのを抑制しつつ、乗員の視認を補助できる車両用視認装置を提供することを目的とする。
　上記目的を達成するための第１の態様の車両用視認装置は、車両後方を撮像した第１撮影画像を出力する第１撮像手段、及び撮像領域の一部が前記第１撮像手段の撮像領域に重なるように車体側方から車両後方側を撮像した第２撮影画像を出力する第２撮像手段を含む撮像部と、前記第１撮影画像と前記第２撮影画像との重なり領域に設定された画像境界を境界とし、前記画像境界に応じて前記第１撮影画像から第１表示画像を抽出すると共に前記第２撮影画像から第２表示画像を抽出し、前記第１表示画像と前記第２表示画像とを繋げた後方画像を乗員に視認可能に表示媒体に表示する表示部と、前記第１撮影画像に含まれる自車の後方車両の画像を検出する対象検出手段と、前記対象検出手段により検出された前記後方車両の画像が前記第１表示画像に配置されるように前記後方車両の画像位置に応じて前記画像境界を設定する設定手段と、を含む。
　第２の態様の車両用視認装置は、第１の態様において、前記対象検出手段は、前記第１撮影画像及び前記第２撮影画像から前記後方車両を検出する。
　第３の態様の車両用視認装置は、第１又は第２の態様において、前記設定手段は、前記第１撮影画像上における前記後方車両の画像サイズに対する前記後方画像における前記第１表示画像上の前記後方車両の画像サイズの割合が予め設定している割合以下となった場合に、前記画像境界の位置を変更する。
　第４の態様の車両用視認装置は、第１又は第２の態様において、前記設定手段は、前記後方画像上における前記後方車両の画像と前記画像境界との間隔が第１間隔以下となる場合、所定位置まで車幅方向外側に移動するように前記画像境界の位置を変更する。
　第５の態様の車両用視認装置は、第１から第４の何れか１の態様において、前記設定手段は、前記画像境界の位置を移動する際、予め設定された量だけ車幅方向外側に移動するように変更する。
　第６の態様の車両用視認装置は、第１から第５の何れか１の態様において、前記設定手段は、前記第１撮影画像上において前記後方車両の画像が検出されない場合、前記画像境界の位置を前記重なり領域内において予め設定している標準位置に変更する。
　第７の態様の車両用視認装置は、第１から第６の何れか１の態様において、前記設定手段は、前記後方車両の画像と前記画像境界との間隔が予め設定している第２間隔を超える場合、前記画像境界の位置を前記重なり領域内において予め設定している標準位置に接近するように変更する。
　第８の態様の車両用視認装置は、第１から第７の何れか１の態様において、前記設定手段は、前記画像境界の位置を予め設定された量だけ車幅方向内側となるように変更する。
　本開示の第１の態様の車両用視認装置では、撮像部の第１撮像手段が車両後方を撮像した第１撮影画像を出力し、第２撮像手段が撮像領域の一部が第１撮像手段の撮像領域に重なるように車両側部から車両後方側を撮像した第２撮影画像を出力する。表示部は、第１撮影画像と第２撮影画像との重なり領域に設定された画像境界に応じて、第１撮影画像から第１表示画像を抽出し、第２撮影画像から第２表示画像抽出して、第１表示画像と第２表示画像とを画像境界で繋げた後方画像を、乗員に視認可能に表示媒体に表示する。
前記対象検出手段により検出された前記後方車両の画像が前記第１表示画像に配置されるように前記後方車両の画像位置に応じて前記画像境界を設定する設定手段と、を含む。
　ここで、対象検出手段は、後方車両を検出して、第１撮影画像に含まれる後方車両の画像を検出する。設定手段は、第１撮影画像と第２撮影画像との重なり領域内に画像境界を設定する際、検出された後方車両の画像が第１表示画像に配置されるように画像境界を設定する。
　これにより、表示媒体に表示される後方画像では、自車の真後ろを走行して第１表示画像上に表示される後方車両の画像に画像境界が重なるのを抑制できるので、後方車両の視認性が低下するのを抑制しつつ、乗員の視認を補助できる。
　第２の態様の車両用視認装置では、対象検出手段が、第１撮影画像及び第２撮影画像から後方車両を検出する。これにより、自車の後方を走行する後方車両を効果的に検出できて、乗員の視認を効果的に補助できる。
　第３の態様の車両用視認装置では、第１撮影画像上における後方車両の画像サイズに対する後方画像における第１表示画像上の後方車両の画像サイズの割合が予め設定している割合以下となった場合に、画像境界の位置を変更する。これにより、後方画像に表示される後方車両が大きく欠けてしまうことによる視認性の低下を効果的に抑制できる。
　第４の態様の車両用視認装置では、後方画像上における後方車両の画像と画像境界との間隔が第１間隔以下となる場合、画像境界の位置を所定位置まで車幅方向外側に移動させる。これにより、後方車両の視認性が低下するのを効果的に抑制できる。
　第５の態様の車両用視認装置では、画像境界の位置を移動する際、予め設定された量だけ車幅方向外側に移動するように変更する。これにより、後方車両の画像に画像境界が重なるのを抑制する際、画像境界の位置が大きく移動するのを抑制でき、車体近傍に生じる死角が大きく変化してしまうのを抑制できて、乗員の車両後方の視認を一層効果的に補助できる。
　第６の態様の車両用視認装置では、画像境界の位置について重なり領域内に標準位置が設定されている。設定手段は、第１撮影画像から後方車両の画像が抽出されない場合、画像境界の位置を標準位置に変更する。これにより、自車の真後ろに後方車両が検出されていないにもかかわらず、画像境界の位置が標準位置よりも車幅方向外側に移動されたままとなってしまうのを抑制できて、車体近傍に生じる死角を抑制できる。
　第７の態様の車両用視認装置では、後方車両の画像と画像境界との間隔が予め設定している第２間隔を超える場合、画像境界の位置を予め設定した標準位置に接近するように変更する。これにより、後方車両が自車から離れるなどして、後方車両の画像と画像境界との間隔が離れた場合に、画像境界の位置が標準位置から離れたままとなってしまうのを抑制できて、車体近傍に生じる死角を効果的に抑制できる。
　第８の態様の車両用視認装置では、画像境界の位置を予め設定された量だけ車幅方向内側に移動するように変更する。これにより、後方車両の画像と画像境界との間隔が離れた場合に、画像境界を効果的に移動させることができるので、車体近傍に生じる死角を効果的に抑制できて、乗員の視認を効果的に補助できる。
本実施形態に係る車両用視認装置の概略構成図である。 車両の上方視の概略を示す平面図である。 撮影画像とモニタの表示画像とを模式的に示す概略図である。 表示処理の一例を示す流れ図である。 境界設定処理の一例を示す流れ図である。 後方車両の表示の一例を示す概略図であり（その１）、図５Ａ、図５Ｂ、図５Ｃ、図５５Ｄの順に接近している後方車両を示している。 後方車両の表示の一例を示す概略図である（その２）。 後方車両の表示の一例を示す概略図である（その３）。 後方車両の表示の一例を示す概略図である（その４）。 変形例に係る境界設定処理の一例を示す流れ図である。 自車と同じ車線を走行する後方車両及び隣の車線を走行する後方車両の表示の一例を示す概略図であり（その１）、図７Ａ、図７Ｂ、図７Ｃ、図７Ｄの順に接近している隣の車線の後方車両を示している。 自車と同じ車線を走行する後方車両及び隣の車線を走行する後方車両の表示の一例を示す概略図である（その２）。 自車と同じ車線を走行する後方車両及び隣の車線を走行する後方車両の表示の一例を示す概略図である（その３）。 自車と同じ車線を走行する後方車両及び隣の車線を走行する後方車両の表示の一例を示す概略図である（その４）。 自車と同じ車線を走行する後方車両及び隣の車線を走行する後方車両の表示の一例を示す概略図であり（その１）、図８Ａ、図８Ｂ、図８Ｃ、図８Ｄの順に離れる隣の車線の後方車両を示している。 自車と同じ車線を走行する後方車両及び隣の車線を走行する後方車両の表示の一例を示す概略図である（その２）。 自車と同じ車線を走行する後方車両及び隣の車線を走行する後方車両の表示の一例を示す概略図である（その３）。 自車と同じ車線を走行する後方車両及び隣の車線を走行する後方車両の表示の一例を示す概略図である（その４）。
　以下、図面を参照して本開示の実施形態について詳細に説明する。
　本実施形態に係る車両用視認装置１０は、車両１２（自車）に設けられて、運転者などの乗員の車両後方の視認を補助する。図１には、本実施形態に係る車両用視認装置１０の概略構成がブロック図にて示され、図２には、車両用視認装置１０が設けられた車両１２の概略が上方視の平面図にて示されている。なお、図面では、車両前側が矢印ＦＲにて示され、車幅方向右側が矢印ＲＨにて示されている。
　図１に示すように、車両用視認装置１０は、撮像部を構成する撮像手段としての複数のカメラ１４、表示部を構成する表示媒体としてのモニタ１６、及びカメラ１４の撮影画像に応じた後方画像をモニタ１６に表示するための表示部（表示制御部）が構成された視認処理装置１８を備えている。
　カメラ１４には、第１撮像手段としてのリアカメラ１４Ａ、及び第２撮像手段としてのサイドカメラ１４Ｌ、１４Ｒが用いられており、カメラ１４は撮像素子により画像（映像）を撮像する。図２に示すように、リアカメラ１４Ａは、車両１２の後部かつ車幅方向中央部（例えば、リアバンパの車幅方向中央部）に配置され、車両１２の後方を所定の画角（撮像領域）で撮像する。
　サイドカメラ１４Ｌ、１４Ｒは、サイドカメラ１４Ｌが車両１２の車幅方向左側のドア１２Ｌに取り付けられ、サイドカメラ１４Ｒが車両１２の車幅方向右側のドア１２Ｒに取り付けられている。なお、車両１２がドアミラーを備えている場合、サイドカメラ１４Ｌ、１４Ｒは、車両１２のドアミラー（図示省略）に取り付けられてもよい。また、サイドカメラ１４Ｌ、１４Ｒは、車両１２において、車体側面側であればよく、例えば、フロントフェンダーなどに取り付けられてもよい。
　サイドカメラ１４Ｌ、１４Ｒは、各々車両１２側方（車体側面外側）から車両後方を所定の画角（撮影領域）で撮像する。サイドカメラ１４Ｌ、１４Ｒは、各々の撮影領域の一部がリアカメラ１４Ａの撮影領域と重複するように配置されている。このため、車両１２の後方側は、リアカメラ１４Ａ、及びサイドカメラ１４Ｌ、１４Ｒにより車体の左右両側の直近後方を含めて車体の左斜め後方から右斜め後方の範囲に渡って広角に撮像される。これにより、車両用視認装置１０では、リアカメラ１４Ａ及びサイドカメラ１４Ｌ、１４Ｒにより車両１２の車体の左後方側から右後方側のほぼ全域の撮像が可能となっている。
　モニタ１６は、薄型で車幅方向に長い矩形状とされており、モニタ１６は、車室内において車両前側のフロントウインドシールドガラスの上部付近（インナーミラーに対応する位置）に配置されている。また、モニタ１６は、表示面が車両後方に向けられて車室内の乗員に視認可能とされており、モニタ１６は、カメラ１４の撮影画像が表示されることでインナーミラーとして機能する。なお、モニタ１６は、インストルメントパネルに設けられてもよく、モニタ１６は、乗員の視認を妨げることなく、かつ乗員が容易に視認可能な任意の位置に設けることができる。
　視認処理装置１８は、リアカメラ１４Ａ、及びサイドカメラ１４Ｌ、１４Ｒの各々の撮影画像を合成して（繋ぎ合わせて）、車両後方を広角で映した後方画像（車外後方画像）を生成し、生成した後方画像をモニタ１６に表示するように制御する。なお、本実施形態においてモニタ１６に表示される後方画像は、リアカメラ１４Ａ及びサイドカメラ１４Ｌ、１４Ｒの撮像画像から抽出される表示画像を繋げた（合成した）画像としている。また、車両用視認装置１０は、室内カメラにより撮像された車室内の画像を後方画像に重ねてモニタ１６に表示するようにしてもよい。
　視認処理装置１８は、ＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性の記憶媒体としてのストレージ、及び入出力インターフェース等がそれぞれバスによって相互に接続されたマイクロコンピュータ（図示省略）を備えている。視認処理装置１８では、ＲＯＭやストレージ等に記憶されたプログラムがＣＰＵにより読み出されて、ＲＡＭに展開されながら実行されることで、プログラムに応じた機能が実現される。なお、視認処理装置１８には、ＣＰＵに限らずＧＰＵ（Graphic　Processing　Unit）やＦＰＧＡ（Field　Programmable　Gate　Array）などを用いることもできる。
　図１に示すように、視認処理装置１８には、画像処理部２０、視点変換部２２、画像抽出部２４及び表示処理部２６が含まれている。視認処理装置１８では、ＣＰＵにより所定のプログラムが実行されることで、画像処理部２０、視点変換部２２、画像抽出部２４及び表示処理部２６として機能する。
　視認処理装置１８には、リアカメラ１４Ａ、サイドカメラ１４Ｌ、１４Ｒ及びモニタ１６の各々が接続されており、視認処理装置１８では、リアカメラ１４Ａ及びサイドカメラ１４Ｌ、１４Ｒの撮影画像からモニタ１６に表示する後方画像を生成する。図３には、撮影画像及びモニタ１６に表示される後方画像の概略が模式図にて示されている。なお、モニタ１６には、リアカメラ１４Ａ及びサイドカメラ１４Ｌ、１４Ｒの撮影画像が左右反転されると共に、左右のサイドカメラ１４Ｌとサイドカメラ１４Ｒの撮影画像が入れ代えられて（全体として左右反転されて）表示される。
　図３に示すように、画像処理部２０は、リアカメラ１４Ａ、及びサイドカメラ１４Ｌ、１４Ｒの各々の撮影画像を読み込んで、所定の画像処理を実行することでリアカメラ１４Ａにより撮像された第１撮影画像としての撮影画像（画像データ）２８Ａ、サイドカメラ１４Ｌ、１４Ｒの各々により撮像された第２撮影画像としての撮影画像（画像データ）２８Ｌ、２８Ｒを出力する。なお、画像処理部２０では、同一の対象物の画像のサイズが、撮影画像２８Ａ、２８Ｌ、２８Ｒの間で同様となるように処理される。
　リアカメラ１４Ａ及びサイドカメラ１４Ｌ、１４Ｒの各々の間では、撮影画像２８Ａ、２８Ｌ、２８Ｒの視点位置が異なっている。ここから、視点変換部２２では、撮影画像２８Ａ、２８Ｌ、２８Ｒに対して視点変換処理を行う。視点変換処理では、例えば、モニタ１６の中心位置（車幅方向及び上下方向の中心位置）よりも車両前側に仮想視点が設定され、撮影画像２８Ａ、２８Ｌ、２８Ｒを仮想視点から見た画像に変換する。
　また、視点変換処理においては、仮想視点と共に、車両１２の後方の所定位置における仮想面とされる仮想スクリーンが設定される。仮想スクリーンは平面とされてもよく、湾曲面とされていてもよいが、モニタ１６が車両後方に向けて凸状に湾曲されている場合、仮想スクリーンは、車両後方に凸状とされた湾曲面（車両１２から見て凹状の湾曲面）とされることが好ましい。視点変換処理では、撮影画像２８Ａ、２８Ｌ、２８Ｒの各々を仮想視点から見て仮想スクリーン上に投影された画像に変換する任意の手法を適用できる。
　これにより、撮影画像２８Ａ、２８Ｌ、２８Ｒは、視点変換部２２において同一の仮想視点及び仮想スクリーンが適用されて視点変換処理が行われることで、撮影画像２８Ａ、２８Ｌと撮影画像２８Ａ又は撮影画像２８Ｒとに同一の対象物が映っている場合に、当該対象物が重なるように見える。
　画像抽出部２４では、撮影画像２８Ａ、２８Ｌ、２８Ｒの各々からモニタ１６に表示するための表示画像３０Ａ、３０Ｌ、３０Ｒを抽出する。視認処理装置１８では、画像境界３２として撮影画像２８Ａと撮影画像２８Ｌとの画像境界３２Ｌ、及び撮影画像２８Ａと撮影画像２８Ｒとの画像境界３２Ｒを設定される。画像抽出部２４では、画像境界３２（画像境界３２Ｌ、３２Ｒ）及びモニタ１６における表示領域に応じて撮影画像２８Ａ、２８Ｌ、２８Ｒの各々に対してトリミング処理を行う。これにより、画像抽出部２４は、撮影画像２８Ａから第１表示画像としての表示画像３０Ａを抽出し、撮影画像２８Ｌ、２８Ｒから第２表示画像としての表示画像３０Ｌ、３０Ｒを抽出する。
　画像境界３２Ｌ、３２Ｒは、上下方向に沿う略線状又は略帯状（所定画素数幅の帯状）とされており、画像抽出部２４では、画像境界３２Ｌ、３２Ｒの位置が車幅方向に移動（変更）されることで、撮影画像２８Ａ、２８Ｌ、２８Ｒの各々におけるトリミング位置を変更して表示画像３０Ａ、３０Ｌ、３０Ｒを抽出する。画像境界３２Ｌ、３２Ｒは、仮想スクリーン上における表示画像３０Ａ、３０Ｌ及び表示画像３０Ａ、３０Ｒの境界に相当し、画像境界３２Ｌ、３２Ｒが移動されることで仮想スクリーン上における表示画像３０Ａと表示画像３０Ｌとの境界、及び表示画像３０Ａと表示画像３０Ｒとの境界が車両幅方向に移動される。
　画像境界３２Ｌは、撮影画像２８Ａと撮影画像２８Ｌとの重なり領域内に設定され、画像境界３２Ｒは、撮影画像２８Ａと撮影画像２８Ｌとの重なり領域内に設定される。画像境界３２Ｌ、３２Ｒ（画像境界３２Ｌ及び画像境界３２Ｒ）は、各々車幅方向内側の位置（位置Ｌin、Ｒin）から車幅方向外側の位置（位置Ｌout、Ｒout）の範囲で設定される。すなわち、画像境界３２Ｌの位置は位置Ｌin～Ｌoutの範囲とされ、画像境界３２Ｒの位置は位置Ｒin～Ｒoutの範囲とされている。
　表示画像３０Ａは、画像境界３２Ｌ、３２Ｒが車幅方向内側の位置Ｌin、Ｒinとされることで、車幅方向に最も狭めされ、画像境界３２Ｌ、３２Ｒが車幅方向外側の位置Ｌout、Ｒoutとされることで、車幅方向に最も広げられる。
　表示処理部２６は、表示画像３０Ａの左右両側の画像境界３２Ｌ、３２Ｒにおいて表示画像３０Ａに表示画像３０Ｌと表示画像３０Ｒを繋ぎ合せてモニタ１６に表示する後方画像（後方画像の画像データ）を生成する。これにより、モニタ１６に表示される後方画像は、表示画像３０Ａ、３０Ｌ、３０Ｒが画像境界３２Ｌ、３２Ｒにおいて繋ぎ合わせられた合成画像となっている。
　一般に、画像境界３２Ｒ（画像境界３２Ｌにおいても同様）の近傍においては、撮影画像２８Ａ、２８Ｒの少なくとも一方に映っているにも関わらず、画像境界３２Ｒでトリミングした表示画像３０Ａと表示画像３０Ｒとを繋ぎ合わせた合成画像に画像が現れない領域（所謂死角）が生じる。すなわち、仮想スクリーンに投影されて画像境界３２Ｒでトリミングされた場合、仮想スクリーンよりも視点側（カメラ１４側）の物のうち撮影画像２８Ａ（表示画像３０Ａ）からは画像境界３２Ｒより車幅方向外側（撮影画像２８Ｒ側の物（又は物の一部）の画像が除かれ、撮影画像２８Ｒ（表示画像３０Ｒ）からは画像境界３２Ｒより車幅方向内側（撮影画像２８Ａ側）の物（又は物の一部）の画像が除かれる。このため、撮影画像２８Ａ、２８Ｒを画像境界３２Ｒでトリミングすることで、トリミングにより除かれる領域が表示画像３０Ａ、３０Ｒを合成した後方画像において死角（死角の領域）となる。
　車両用視認装置１０では、画像境界３２Ｌ、３２Ｒが車幅方向の外側の位置Ｌout、Ｒoutとなっていると、表示画像３０Ｌ、３０Ｒには、撮影画像２８Ｌ、２８Ｒにおいて、車体から離れた領域が抽出される。このため、モニタ１６に表示される後方画像では、車体の側方に生じる死角が大きく（広く）なる。
　また、車両用視認装置１０は、画像境界３２Ｌ、３２Ｒの位置が各々位置Ｌout、Ｒoutから位置Ｌin、Ｒin側（車幅方向内側）に所定位置まで移動されると、死角が徐々に狭まり、車体直近の左側後方及び右側後方の各々の死角が最も狭まる。
　ここで、車両用視認装置１０では、画像境界３２Ｌ、３２Ｒの各々の標準位置（原位置、デフォルト位置、例えば、図３に示される位置）Ｌ０、Ｒ０が設定されている。画像境界３２Ｌ、３２Ｒの標準位置Ｌ０、Ｒ０の各々は、後方画像上において車体直近の左側後方及び右側後方の各々の死角が最も狭まった位置とされている（図３参照）。これにより、モニタ１６に表示される後方画像では、画像境界３２Ｌ、３２Ｒが標準位置Ｌ０、Ｒ０とされることで、車体側方近傍が死角となってしまうのが抑制される。
　一方、車両用視認装置１０では、車両１２の後方を走行する車両（後方車両）が撮像されることで、その後方の車両がモニタ１６に表示される。車両用視認装置１０では、後方の車両の画像が表示画像３０Ａ、３０Ｌ、３０Ｒの何れかに含まれてモニタ１６に表示されることで、乗員が後方の車両を視認できる。
　車両用視認装置１０には、対象検出手段が設けられている。対象検出手段は、車両１２の後方を走行する後方車両を検出する。対象検出手段には、ミリ波と呼ばれる周波数が３０ＧＨｚ～３００ＧＨｚの電波を使用し、対象物の位置や距離を測ることができるミリ波レーダを用いた方式を適用できる。また、対象検出手段には、赤外光などの光（レーザ光）を用いて光の照射方向及び対象物で反射した光が受光されるまでの時間を計測するＬｉＤＡＲ（Light　Detection　Ranging）方式などの公知の方式を適用できる。
　また、車両用視認装置１０では、撮像手段としてのリアカメラ１４Ａ、及びサイドカメラ１４Ｌ、１４Ｒが設けられており、リアカメラ１４Ａとサイドカメラ１４Ｌ、１４Ｒとの間では、少なくとも一部の撮像領域が重複している（重なり合っている）。ここから、後方車両３４及び車両１２に対する後方車両の距離（車間距離）を含めて検出する場合には、ステレオカメラ方式を適用してもよい。
　本実施形態では、対象検出手段の検出対象として車両１２の真後ろを走行する後方車両（以下、後方車両３４とする）を適用しており、対象とする後方車両３４は、車両１２の後方（主に真後ろ）を走行することで、リアカメラ１４Ａにより撮像される。
　対象検出手段は、少なくとも後方車両３４の検出が可能であればよく、本実施形態では、対象検出手段がリアカメラ１４Ａにより撮像された撮影画像２８Ａを用いて後方車両３４を検出している。なお、対象検出手段には、複数の方式が適用されてもよく、例えば、リアカメラ１４Ａの撮影画像２８Ａとミリ波レーダ方式、又はリアカメラ１４Ａの撮影画像２８ＡとＬｉＤＡＲ方式を併用でき、これにより、検出精度を向上できる。
　車両用視認装置１０の視認処理装置１８には、対象検出手段を構成する対象検出部３８、画像検出手段としての対象抽出部４０、及び設定手段としての境界設定部４２が形成されている。視認処理装置１８では、ＣＰＵにより所定のプログラムが実行されることで、対象検出部３８、対象抽出部４０及び境界設定部４２として機能する。
　対象検出部３８は、リアカメラ１４Ａの撮影画像２８Ａ及びサイドカメラ１４Ｌ、１４Ｒの撮影画像２８Ｌ、２８Ｒを読込み、撮影画像２８Ａから後方車両３４の画像（車両画像３４Ａ）を探索し、撮影画像２８Ａに映っている後方車両３４を検出する。なお、後方車両３４の検出には、車両（後方車両）について予め記憶されている複数のパターン画像に近似するパターンの画像を探索するパターンマッチング法などの公知の各種の手法を適用できる。
　また、対象抽出部４０では、リアカメラ１４Ａの撮影画像２８Ａ及びサイドカメラ１４Ｌ、１４Ｒの撮影画像２８Ｌ、２８Ｒを読込み、対象検出部３８において検出された後方車両３４の車両画像３４Ａについて、撮影画像２８Ａ上における位置（輪郭及び輪郭の領域）を抽出する。この際、対象抽出部４０では、複数の後方車両３４が検出される場合、車両１２に最も近い後方車両３４を対象物として検出する。
　また、車両１２が走行する道路の路上には、車線４４の左右に白線（車線ライン）４６Ｌ、４６Ｒが標されており、リアカメラ１４Ａ及びサイドカメラ１４Ｌ、１４Ｒは、車線４４（白線４６Ｌ、４６Ｒ）を含めて車両後方を撮像する（図３参照）。ここから、対象検出部３８によって検出された車両を対象の後方車両３４とするか否かの判定は、撮影画像２８Ａ、２８Ｌ、２８Ｒ上の車線４４を示す白線４６Ｌ、４６Ｒを抽出して、後方の車両が車両１２と同じ車線４４を走行していると見なせる場合、当該車両を後方車両３４と判定できる。
　さらに、リアカメラ１４Ａの撮像範囲は、車両１２の車幅方向の中心線に対して予め定まっており、例えば、撮影画像２８Ａ上における車幅方向の中心位置が、車両１２の中心線に重なる。ここから、対象検出部３８によって検出された車両を対象の後方車両３４とするか否かの判定は、撮影画像２８Ａ上における後方の車両の画像のサイズが所定以上であり、撮影画像２８Ａ上における後方の車両の画像の車幅方向中心位置が、撮影画像２８Ａの中心位置に対して所定の範囲内（例えば、同一の車線４４を走行していると見なせる範囲内）である場合、当該車両を後方車両３４とすることができる。
　境界設定部４２では、対象とする後方車両３４が設定（特定）されると、撮影画像２８Ａ上における後方車両３４の画像位置（車両画像３４Ａの位置）に応じ、表示画像３０Ａと表示画像３０Ｌとの画像境界３２Ｌ、及び表示画像３０Ａと表示画像３０Ｌとの画像境界３２Ｒの位置を設定する。
　境界設定部４２では、画像境界３２Ｌ、３２Ｒを各々位置Ｌin～Ｌout、及び位置Ｒin～Ｒoutの範囲で設定する。この際、車両１２の後方に他の車両が走行していない（映っていない）、隣の車線を走行しているなどして後方の他の車両が車両１２の真後ろと見なせない位置などである場合、境界設定部４２では、画像境界３２Ｌ、３２Ｒの位置を標準位置に設定する。
　また、境界設定部４２では、後方車両３４の車両画像３４Ａに重なることで車両画像３４Ａが見辛くなってしまうことがない位置に画像境界３２Ｌ、３２Ｒの各々を設定する。例えば、境界設定部４２は、後方車両３４が接近して、モニタ１６に表示される車両画像３４Ａが大きくなって、車両画像３４Ａと画像境界３２Ｌ及び画像境界３２Ｒの少なくとも一方との間隔ｄが狭まる。
　境界設定部４２は、間隔ｄが第１間隔となる所与の間隔ｄ１以下（ｄ≦ｄ１）となると、対応する画像境界３２（画像境界３２Ｌ及び画像境界３２Ｒの少なくとも一方）を車幅方向の外側（位置Ｌout側、位置Ｒout側）に予め設定された所定の移動量（所定画素数分などのモニタ１６上で所定距離、以下、距離ｄｓａとする）だけ移動するように設定する。また、境界設定部４２は、後方車両３４の車両画像３４Ａに画像境界３２（画像境界３２Ｌ及び画像境界３２Ｒの少なくとも一方）が重なってしまっていた場合にも、対応する画像境界３２を車幅方向の外側に距離ｄｓａだけ移動するように設定する。
　また、境界設定部４２では、画像境界３２Ｌ、３２Ｒが必要以上に車幅方向の外側となるのを抑制する。例えば、後方車両３４が離れて、モニタ１６に表示される車両画像３４Ａが小さくなるなどすることで、車両画像３４Ａと画像境界３２Ｌ、３２Ｒとの間隔ｄが開く。これにより、間隔ｄが第２間隔となる間隔ｄ２以上となると、境界設定部４２は、画像境界３２Ｌ、３２Ｒが標準位置Ｌ０、Ｒ０に接近するように（車幅方向内側となるように）、画像境界３２Ｌ、３２Ｒの位置を設定する。この際、境界設定部４２は、画像境界３２Ｌ、３２Ｒを所定の移動量（所定画素数分などのモニタ１６上で所定距離、以下、距離ｄｓｂとする）だけ移動するように設定する。
　このような間隔ｄ１、間隔ｄ２、距離ｄｓａ及び距離ｄｓｂは、モニタ１６に表示される後方画像において乗員の視認性や後方画像の見た目が損なわれない範囲で予め設定されている。なお、間隔ｄ、距離ｄｓａ等は、画像境界３２Ｌ、３２Ｒの中心位置又は画像境界３２Ｌ、３２Ｒの車両画像３４Ａ側の端部と車両画像３４Ａの車幅方向の端部との間の寸法（画素数）を適用できる。
　視認処理装置１８の画像抽出部２４は、境界設定部４２で設定された画像境界３２Ｌ、３２Ｒに基づいて、撮影画像２８Ａ、２８Ｌ、２８Ｒから表示画像３０Ａ、３０Ｌ、３０Ｒの各々を抽出する。これにより、モニタ１６には、表示画像３０Ａ、３０Ｌ、３０Ｒが合成された後方画像が表示される。
　次に本実施形態の作用を説明する。
　車両用視認装置１０は、例えば、車両１２のイグニッションスイッチ（ＩＧスイッチ）がオンされるなどして、モニタ１６への画像表示の開始が指示されると動作を開始し、ＩＧスイッチがオフされるなどして画像表示の終了が指示されると、所定時間の経過後に動作を終了する。車両用視認装置１０では、動作の開始が指示されるとリアカメラ１４Ａ及びサイドカメラ１４Ｌ、１４Ｒが動作されると共に、視認処理装置１８が動作されて、リアカメラ１４Ａ及びサイドカメラ１４Ｌ、１４Ｒの撮影画像がモニタ１６に表示される。
　図４Ａには、視認処理装置１８が動作されることで実行される表示処理の概略が流れ図にて示され、図４Ｂには、画像境界設定処理の一例が流れ図にて示されている。また、図５Ａ～図５Ｄには、一例として車両１２の後方車両３４が撮影画像２８Ａに撮像されている場合の車両画像３４Ａに応じたモニタ１６の表示が概略図にて示されている。なお、画像境界３２Ｌ、３２Ｒは、別々に設定されるが、画像境界３２Ｌ、３２Ｒは、一方が設定されることで、設定された画像境界３２Ｌ、３２Ｒの一方に合せて、画像境界３２Ｌ、３２Ｒの他方が設定されてもよい。
　図４Ａのフローチャートは、視認処理装置１８が動作されると予め設定された時間間隔で実行され、最初のステップ１００では、各カメラ１４（リアカメラ１４Ａ及びサイドカメラ１４Ｌ、１４Ｒ）の撮影画像を読込んで所定の画像処理を実行する（ステップ１０２）。これにより、車両後方の撮影画像２８Ａ及び車両側方から後方の撮影画像２８Ｌ、２８Ｒが取得される。次のステップ１０４では、撮影画像２８Ａ、２８Ｌ、２８Ｒに対して所定の視点変換処理を行う。
　また、視認処理装置１８では、ステップ１０６において画像境界３２（画像境界３２Ｌ、３２Ｒ）を設定し、ステップ１０８において、視点変換処理された撮影画像２８Ａ、２８Ｌ、２８Ｒの各々に対し、設定された画像境界３２Ｌ、３２Ｒに合せてトリミング処理を行って表示画像３０Ａ、３０Ｌ、３０Ｒを抽出する。次に、視認処理装置１８は、ステップ１１０において表示画像３０Ａ、３０Ｌ、３０Ｒを画像境界３２Ｌ、３２Ｒにおいて繋合せて、モニタ１６に表示する後方画像を生成し、ステップ１１２において後方画像をモニタ１６に表示させる。
　これにより、車室内において乗員の車両前側に取り付けられているモニタ１６には、リアカメラ１４Ａ及びサイドカメラ１４Ｌ、１４Ｒの撮影画像２８Ａ、２８Ｌ、２８Ｒから得られる車両１２の後方画像が動画像として表示され、モニタ１６に表示された後方画像により車室内の乗員の車両後方の視認が補助される。しかも、乗員は、車両左側後方から車両右側後方までの広範囲で視認できる。
　一方、車両用視認装置１０では、視認処理装置１８において、車両１２の後方（略真後ろ）を走行する後方車両３４を検出し、後方車両３４が検出されると、後方車両３４の車両画像３４Ａに応じた画像境界３２Ｌ、３２Ｒの設定を行う。これにより、車両用視認装置１０では、車両画像３４Ａが効果的にモニタ１６に表示される。
　図４Ｂのフローチャートは、図４Ａにおいてステップ１０６に移行することで実行され、最初のステップ１２０において、視認処理装置１８では、車両１２の後方を走行する車両の検出を行い、ステップ１２２では、車両１２の略真後ろ（真後ろと見なせる位置）を走行する後方車両３４が検出されたか否かを確認する。後方車両３４は、少なくともリアカメラ１４Ａに撮像される車両であることから、後方車両３４の検出には、撮影画像２８Ａが用いられており、視認処理装置１８では、撮影画像２８Ａを探索して、後方車両３４（後方車両３４の車両画像３４Ａ）を検出する。
　視認処理装置１８では、撮影画像２８Ａから後方車両３４が検出されなかった場合（極めて後方に離れている場合も含む）、ステップ１２２において否定判定して、ステップ１２４に移行する。
　ステップ１２４において、視認処理装置１８では、画像境界３２（画像境界３２Ｌ、３２Ｒ）を標準位置Ｌ０、Ｒ０に設定し、この後、次の処理に移行する。これにより、通常、モニタ１６には、画像境界３２Ｌ、３２Ｒが標準位置Ｌ０、Ｒ０とされた後方画像が表示される（図示省略）。
　車両用視認装置１０では、画像境界３２Ｌ、３２Ｒの標準位置Ｌ０、Ｒ０を各々車両１２の車体側面近傍後側における死角が狭められた位置としている。このため、モニタ１６には、死角が狭められて車体の左右両側の直近及び左右両側の直近後方が表示されるので、モニタ１６に表示される後方画像では、車体の直近や直近の後方が死角となってしまうのが抑制される。これにより、車両用視認装置１０では、乗員の後方及び車体近傍の視認を効果的に補助できる。
　一方、車両１２の真後ろ（車両１２と同じ車線）を走行している後方車両３４が検出されていると、視認処理装置１８は、ステップ１２２において肯定判定してステップ１２６に移行する。ステップ１２６において視認処理装置１８は、後方車両３４が映っている撮影画像２８Ａにおける後方車両３４の車両画像３４Ａを特定する。すなわち、撮影画像２８Ａ上における車両画像３４Ａの位置及び画像範囲（画像サイズ）を特定する。
　撮影画像２８Ａ上における後方車両３４の車両画像３４Ａが特定されると、テップ１２８において、視認処理装置１８は、車両画像３４Ａに応じて画像境界３２（画像境界３２Ｌ、３２Ｒ）を設定する。この際、画像境界３２は、少なくとも後方車両３４の車両画像３４Ａの見た目が損ねられない位置とされる。また、画像境界３２は、後方車両３４の車両画像３４Ａに重ならない位置（外れた位置）に設定されることが好ましい。
　例えば、画像境界３２Ｌ、３２Ｒは、撮影画像２８Ａ上において後方車両３４の車両画像３４Ａに対して幅方向（車幅方向）の外側となる位置で標準位置Ｌ０、Ｒ０又は標準位置Ｌ０、Ｒ０よりも車幅方向外側）に設定される。この際、画像境界３２Ｌ、３２Ｒが後方車両３４の車両画像３４Ａに重なっている場合、又は画像境界３２Ｌ、３２Ｒと後方車両３４の車両画像３４Ａとの間隔ｄが間隔ｄ１以下（ｄ≦ｄ１）である場合、車両用視認装置１０では、該当する画像境界３２の位置を現在の位置から距離ｄｓａだけ車幅方向外側（標準位置Ｌ０、Ｒ０から離れる方向）に移動するように設定する。
　図５Ａ～図５Ｄには、後方車両３４が車両１２と同じ車線４４を走行しながら、時刻Ｔ０（図５Ａ参照）、時刻Ｔ１（図５Ｂ参照）、時刻Ｔ２（図５Ｃ参照）、時刻Ｔ３（図５Ｄ参照）と時間経過（時刻Ｔの経過）に伴って接近する場合が示されている。
　図５Ａに示すように、後方車両３４が車両１２から比較的離れており、撮影画像２８Ａ（表示画像３０Ａ）に映っている後方車両３４の車両画像３４Ａが比較的小さく、標準位置Ｌ０、Ｒ０における画像境界３２Ｌ、３２Ｒの間に収まっている（重ならない）場合、画像境界３２Ｌ、３２Ｒは、各々標準位置Ｌ０、Ｒ０に設定される。
　また、後方車両３４が接近すると、モニタ１６に表示される車両画像３４Ａが次第に大きくなる。これにより、図５Ｂに示すように、車両画像３４Ａが画像境界３２Ｌ、３２Ｒも接するように接近した場合（例えば画像境界３２Ｌと車両画像３４Ａとの間隔ｄ、及び画像境界３２Ｒと車両画像３４Ａとの間隔ｄの何れか少なくとも一方が、間隔ｄ１以下（ｄ≦ｄ１）になった場合）、視認処理装置１８は、該当する画像境界３２（例えば画像境界３２Ｒ）を距離ｄｓａだけ車幅方向外側に移動するように設定する。
　なお、視認処理装置１８では、画像境界３２Ｌ、３２Ｒごとに車両画像３４Ａとの間隔ｄに応じて移動するように設定するが、画像境界３２Ｌ、３２Ｒを同様の移動量（距離ｄｓａで並行して（同じタイミング）移動するように設定してもよい。また、画像境界３２の移動は、車両画像３４Ａの大きさの変化度合（単位時間当たりの変化量）に応じ、変化度合が大きい場合、変化度合が小さい場合に比して移動する際の距離ｄｓａが大きくなるようにしてもよく、これにより、画像境界３２の位置が頻繁に変化して、乗員が煩わしいと感じてしまうのを抑制できる。
　これにより、図５Ｃに示すように、画像境界３２Ｒが車幅方向の外側に所定量（例えば、距離ｄｓａ）だけ移動される。この際、画像境界３２Ｌが移動するための条件を満たしていなければ、画像境界３２Ｌは位置が変更されずに標準位置Ｌ０のままとなる。これにより、後方車両３４が車両１２にさらに接近しても、画像境界３２が車両画像３４Ａに重なってしまって、車両画像３４Ａの見た目が損ねられてしまうのを抑制できる。
　また、後方車両３４がさらに車両１２に接近して車両画像３４Ａが大きくなることで、例えば、車両画像３４Ａが画像境界３２Ｌ、３２Ｒに重なったり、車両画像３４Ａと画像境界３２Ｌ、３２Ｒとの間隔ｄが間隔ｄ１以下になったりする。この場合、視認処理装置１８は、画像境界３２Ｌ、３２Ｒの各々を例えば距離ｄｓａだけさらに車幅方向外側に移動するように設定する。
　これにより、図５Ｄに示すように、画像境界３２Ｌは標準位置Ｌ０から位置Ｌoutに向けて移動するように設定され、画像境界３２Ｒは車両画像３４Ａからさらに離れた位置（例えば、位置Ｒout）に移動するように設定される。これにより、画像境界３２Ｌ、３２Ｒは、車両画像３４Ａから離されて、画像境界３２Ｌ、３２Ｒが乗員の後方車両３４の視認性を低下させるのを抑制する。
　一方、後方車両３４が車両１２から離れると、モニタ１６に表示される車両画像３４Ａが次第に小さくなり、車両画像３４Ａと画像境界３２との間隔ｄが大きくなる（広がる）。視認処理装置１８では、画像境界３２と車両画像３４Ａとの間隔ｄが間隔ｄ２以上となると、該当する画像境界３２を距離ｄｓｂだけ車幅方向内側に移動される。これにより、車両画像３４Ａが小さくなるにしたがって、画像境界３２Ｌ、３２Ｒは、標準位置Ｌ０、Ｒ０に接近するように移動（設定）される。すなわち、視認処理装置１８では、標準位置Ｌ０、Ｒ０から離れていた画像境界３２Ｌ、３２Ｒを標準位置Ｌ０、Ｒ０に達するまで、段階的（連続的でもよい）に標準位置Ｌ０、Ｒ０に向けて移動させる。
　このように車両用視認装置１０では、モニタ１６に表示される後方画像において、後方車両３４の車両画像３４Ａに画像境界３２に重なるのを抑制して、車両画像３４Ａが見辛くなってしまうのが抑制できる。これにより、車両用視認装置１０では、モニタ１６に表示される後方車両３４の視認性が低下するのが効果的に抑制されて、乗員の後方視界を効果的に補助できる。
　また、車両用視認装置１０では、リアカメラ１４Ａ及びサイドカメラ１４Ｌ、１４Ｒの撮影画像２８Ａ、２８Ｌ、２８Ｒの各々から表示画像３０Ａ、３０Ｌ、３０Ｒを抽出し、モニタ１６に表示する後方画像を生成する。この際、車両用視認装置１０では、撮影画像２８Ａから後方車両３４の車両画像３４Ａを検出し、モニタ１６に表示される車両画像３４Ａに重ならないように画像境界３２を設定する。
　これにより、車両用視認装置１０では、モニタ１６に表示される後方画像において、車両画像３４Ａに画像境界３２が重なるのが抑制されるので、モニタ１６に表示される車両画像３４Ａ（後方車両３４）の視認性が低下するのを抑制でき、後方車両３４の車両画像３４Ａに画像境界３２が重なることによる見栄えの低下を抑制しつつ、乗員の後方車両３４の視認を補助できる。
　また、車両用視認装置１０では、リアカメラ１４Ａの撮影画像２８Ａから後方車両３４（車両画像３４Ａ）を検出するので、撮像手段とは別に後方車両３４を検出するための検出手段を設けることなく、効率的に後方車両３４を検出できる。
　また、車両用視認装置１０では、後方車両３４の車両画像３４Ａに応じて画像境界３２が移動するように設定する際、車両画像３４Ａと画像境界３２とが大きく離れてしまうのを抑制する。これにより、車両用視認装置１０では、画像境界３２（画像境界３２Ｌ、３２Ｒが標準位置Ｌ０、Ｒ０から離れすぎて、死角が大きくなってしまうのを抑制できるので、乗員の視認を確実に補助できる。
　一方、以上の説明では、画像境界３２Ｌ、３２Ｒが車両画像３４Ａに重ならないように標準位置Ｌ０、Ｒ０から位置Ｌout、Ｒoutの範囲で画像境界３２Ｌ、３２Ｒを設定（移動）させた。この際、画像境界３２Ｌ、３２Ｒが車両画像３４Ａから離れすぎたり接近しすぎたりしないように設定した。しかし、画像境界３２Ｌ、３２Ｒが車両画像３４Ａに重なった状態でも、重なりが少なければ視認性や見た目に対する影響が少ない。
　例えば、車両画像３４Ａに画像境界３２が重なることで、モニタ１６に表示される車両画像３４Ａ（表示画像３０Ａの車両画像３４Ａ）の画像サイズ（例えば、車両画像３４Ａの車幅方向の寸法。車両画像３４Ａの画像面積でもよい）が変化する。
　ここから、後方車両３４の車両画像３４Ａについて撮影画像２８Ａ上の車両画像３４Ａの画像サイズに対する表示画像３０Ａ上の車両画像３４Ａの画像サイズの割合から画像境界３２を移動するか否かを判定することができる。この場合、モニタ１６に表示された後方画像において、車両画像３４Ａに画像境界３２が重なっても、乗員の視認性や後方画像の見た目が損なわれないと判定し得る割合（しきい値）を予め設定しておく。車両用視認装置１０では、このしきい値が変更可能であってもよい。
　車両用視認装置１０では、リアカメラ１４Ａの撮影画像２８Ａにおける車両画像３４Ａの画像サイズを取得すると共に、表示画像３０Ａにおける車両画像３４Ａの画像サイズを取得する。また、車両用視認装置１０では、リアカメラ１４Ａの撮影画像２８Ａにおける車両画像３４Ａの画像サイズに対する表示画像３０Ａにおける車両画像３４Ａの画像サイズの割合を演算する。この後、車両用視認装置１０では、演算した割合がしきい値以下になった場合に、新たに画像境界３２を設定する。
　これにより、演算した割合がしきい値以下となって画像境界３２が設定されることで、モニタ１６に表示される後方画像において車両画像３４Ａが大きく欠けたり、画像境界３２が乗員に煩わしさを感じさせたりするのを抑制できて、モニタ１６に表示する後方画像により乗員の視認を補助できる。
　また、車両１２の後方を走行している車両には、車両１２と同じ車線４４を走行している車両に限らず、車両１２の車線４４の隣の車線を走行している車両や、車線４４と隣の車線とを跨いで走行している車両等がある。
　後方の車両が車両１２の真後ろ（同じ車線４４）を走行する後方車両３４であるか否かの判定には、リアカメラ１４Ａの撮影画像２８Ａ上における画像から判定してもよい。この場合、例えば、後方の車両が車両１２に接近していて、白線４６Ｌ、４６Ｒが見辛くなっていても、後方の車両が後方車両３４であるか否かを的確に判定できて、画像境界３２Ｌ、３２Ｒにより後方車両３４の車両画像３４Ａの見栄えが損ねられるのを抑制できる。
　一方、車線４４が複数に分けられている道路では、車両１２と同じ車線４４の後方車両３４より、車両１２に近い後方車両（以下、後方車両４８とする）が走行している場合がある。
　ここで、車両用視認装置１０における画像境界３２の設定処理の変形例として、車両１２の後方車両３４及び後方車両４８が走行している場合を説明する。
　図６には、変形例に係る画像境界設定処理の一例が流れ図にて示されている。また、図７Ａ～図７Ｄ及び図８Ａ～図８Ｄには、車両１２と同じ車線４４を後方車両３４が走行し、車両１２の隣（右隣）の車線４４Ａを後方車両４８が走行している場合のモニタ１６の表示が概略図にて示されている。
　なお、後方車両４８の検出（後方車両４８の車両画像４８Ａの検出）には、撮影画像２８Ｌ、２８Ｒが用いられる。また、図６において図４Ｂと同様の処理には、図４Ｂと同様のステップ番号（符号）を付与してその詳細な説明を省略している。さらに、変形例では、一方の画像境界３２Ｒの設定を説明し、他方の画像境界３２Ｌの図示及び説明を省略するが、他方の画像境界３２Ｌは、画像境界３２Ｒに合せて設定されてもよい。
　図６は、図４Ｂに代えて用いられ、図４Ａのステップ１０６に移行することにより実行される。図６のフローチャートの最初のステップ１３０において、視認処理装置１８は、リアカメラ１４Ａ及びサイドカメラ１４Ｒの撮影画像２８Ａ、２８Ｒ（サイドカメラ１４Ｌの撮影画像２８Ｌを含めてもよい）から車両１２の後方を走行する後方車両（後方車両３４、４８）の検出処理を行う。また、車両用視認装置１０では、ステップ１３２において後方の車両（後方車両３４及び後方車両４８の少なくとも一方）が検出されたか否かを確認し、ステップ１３４では、車両１２と同じ車線４４を走行する後方車両３４が検出されているか否かを確認する。
　後方車両３４及び後方車両４８の検出において、視認処理装置１８は、車両１２が走行している車線４４の左右の白線４６Ｌ、４６Ｒを撮影画像２８Ａ、２８Ｒから車線４４、４４Ａを特定する。また、視認処理装置１８は、車線４４（白線４６Ｌ、４６Ｒの間）を走行している車両を後方車両３４として特定し、白線４６Ｒを挟んで車線４４とは反対側の車線４４Ａを走行している車両を後方車両４８として特定する。
　ここで、視認処理装置１８は、後方車両３４、４８の何れも検出されなかった場合（極めて後方に離れている場合も含む）、ステップ１３２において否定判定して、ステップ１２４に移行する。これにより、画像境界３２Ｒは、各々標準位置Ｒ０に設定される。
　また、視認処理装置１８は、検出された車両に車線４４を走行している後方車両３４が含まれると、ステップ１３２において肯定判定すると共に、ステップ１３４において肯定判定して、ステップ１２６に移行する。視認処理装置１８は、ステップ１２６及びステップ１２８を順に実行し、後方車両３４の走行状態に基づいた画像境界３２Ｒの設定を行い、ステップ１３８に移行する。これにより、視認処理装置１８は、後方車両３４の車両画像３４Ａに応じ、画像境界３２Ｒを標準位置Ｒ０～位置Ｒoutの範囲で設定する。
　後方車両３４が検出されていないと、視認処理装置１８は、ステップ１３４で否定判定してステップ１３６に移行し、画像境界３２Ｒを標準位置Ｒ０に設定し、ステップ１３８に移行する。また、ステップ１３８において、視認処理装置１８は、隣の車線４４Ａを走行する後方車両４８（後方車両４８の車両画像４８Ａ）を検出しているか否かを確認し、ステップ１４０では、車線４４Ａの後方車両４８が後方車両３４に比して車両１２に接近しているか否かを確認する。この際、後方車両４８が検出されていないと、視認処理装置１８は、ステップ１３８において否定判定して、次の処理を開始する。また、後方車両４８が後方車両３４よりも車両１２から離れていると、視認処理装置１８は、ステップ１３８で肯定判定し、ステップ１４０において否定判定して、次の処理に移行する。
　これに対して、後方車両４８が後方車両３４よりも車両１２に接近していると、モニタ１６には、後方車両３４の車両画像３４Ａに比して後方車両４８の車両画像４８Ａが大きく表示される。この場合、視認処理装置１８は、ステップ１３８及びステップ１４０の各々において肯定判定してステップ１４２に移行する。ステップ１４２において視認処理装置１８は、後方車両４８の全幅が映っている撮影画像を特定し、特定した撮影画像上において後方車両４８の車両画像４８Ａに重ならないように画像境界３２Ｒの位置を設定する。この際、後方車両４８の車両画像４８Ａが、撮影画像２８Ａに映っているか、又は撮影画像２８Ａ、２８Ｒに跨って映っている状態で、撮影画像２８Ａに映っている割合が大きい場合、視認処理装置１８は、後方車両４８の映っている撮影画像として撮影画像２８Ａを特定する。また、後方車両４８の車両画像４８Ａが、撮影画像２８Ｒに映っているか、又は撮影画像２８Ａ、２８Ｒに跨って映っている状態で撮影画像２８Ｒに映っている割合が大きい場合、視認処理装置１８は、後方車両４８の映っている撮影画像として撮影画像２８Ｒを特定する。
　次のステップ１４４において、視認処理装置１８は、特定した撮影画像（撮影画像上の車両画像４８Ａに応じて画像境界３２Ｒを設定する。この際、撮影画像として撮影画像２８Ａが特定されている場合、視認処理装置１８は、画像境界３２Ｒを標準位置Ｒ０よりも車幅方向外側の位置（例えば、位置Ｒout）に設定する。また、撮影画像として撮影画像
２８Ｒが特定されている場合、視認処理装置１８は、画像境界３２Ｒを標準位置Ｒ０に設定する。
　このようにして画像境界３２Ｒが設定されることで、後方車両４８が後方車両３４よりも車両１２側であると、画像境界３２Ｒは、図７Ａ～図７Ｄ又は、図８Ａ～図８Ｄに示すように変化する。なお、図７Ａ～図７Ｄ及び図８Ａ～図８Ｄでは、時刻Ｔ０（図７Ａ、図８Ａ参照）、時刻Ｔ４（図７Ｂ、図８Ｂ参照）、時刻Ｔ５（図７Ｃ、図８Ｃ参照）及び時刻Ｔ６（図７Ｄ、図８Ｄ参照）と時間経過に伴って後方車両４８の走行位置が変化する場合が示されている。
　図７Ａ～図７Ｄには、後方車両４８が車両１２に接近する場合が示されている。図７Ａ～図７Ｃに示すように、後方車両４８が比較的車両１２から離れており、モニタ１６に表示される後方車両４８の車両画像４８Ａが比較的小さい場合（車両画像４８Ａが撮影画像２８Ａ上にある場合）、画像境界３２Ｒは標準位置Ｒ０よりも車幅方向の外側の位置（例えば、位置Ｒout）に設定されて、後方車両４８の車両画像４８Ａが表示画像３０Ａに表示される。これに対して、図７Ｄに示すように、後方車両４８が車両１２に接近し、モニタ１６に表示される後方車両４８の車両画像４８Ａが比較的大きくなると（車両画像４８Ａが撮影画像２８Ｒ上となると）、画像境界３２Ｒは標準位置Ｒ０に移動される。
　これにより、車両用視認装置１０では、画像境界３２Ｒが車両１２に接近する後方車両４８の車両画像４８Ａに重なってモニタ１６に表示されるのを抑制できるので、画像境界３２Ｒが後方車両４８の車両画像４８Ａの見栄えを悪くしてしまう（見難くしてしまう）のを抑制できて、乗員の後方視認を効果的に補助できる。しかも、後方車両４８が車両１２に接近すると、画像境界３２Ｒが標準位置Ｒ０となるので、モニタ１６に表示される後方画像では、車体右後側近傍の死角が狭められ、乗員の視認を効果的に補助できる。
　一方、後方車両４８が車両１２から離れる際、図８Ａから図８Ｃに示すように、後方車両４８が撮影画像２８Ｒに映っている場合、車両用視認装置１０では、画像境界３２が位置Ｒoutよりも車幅方向内側（標準位置Ｒ０側）に設定される。これにより、モニタ１６には、表示画像３０Ｒに後方車両４８の車両画像４８Ａが映っている後方画像が表示される。この際、図８Ｂ及び図８Ｃに示すように、車両用視認装置１０は、後方車両４８が車両１２から離れても、後方車両４８が主に撮影画像２８Ｒに映っている間は、画像境界３２Ｒを位置Ｒoutよりも車幅方向内側に設定する（保持する）。
　これに対して、図８Ｄに示すように、後方車両４８が車両１２から離れて撮影画像２８Ａに映るようなると、車両用視認装置１０では、画像境界３２が位置Ｒout側（位置Ｒoutでもよい）に移動するように設定される。これにより、モニタ１６には、表示画像３０Ａに後方車両４８の車両画像４８Ａが映っている後方画像が表示される。この際、図８Ｃに示すように、後方車両４８が撮影画像２８Ａ、２８Ｒに跨っている場合、車両用視認装置１０では、画像境界３２Ｒを位置Ｒoutよりも車幅方向内側に保持してもよい。
　このように変形例において、車両用視認装置１０は、後方車両３４、４８の車両画像３４Ａ、４８Ａの各々が画像境界３２Ｒに重なるのを効果的に抑制できる。これにより、後方車両３４、４８の車両画像３４Ａ、４８Ａに画像境界３２が重なることによる見栄えの低下を抑制できて、乗員の視認性の低下を抑制できるので、乗員の後方車両３４、４８の視認を効果的に補助できる。
　２０２１年８月２４日に出願された日本国特許出願特願２０２１－１３６２２８号の開示は、その全体が参照により本明細書に取り込まれる。

Claims (8)

  1. 　車両後方を撮像した第１撮影画像を出力する第１撮像手段、及び撮像領域の一部が前記第１撮像手段の撮像領域に重なるように車体側方から車両後方側を撮像した第２撮影画像を出力する第２撮像手段を含む撮像部と、
    　前記第１撮影画像と前記第２撮影画像との重なり領域に設定された画像境界を境界とし、前記画像境界に応じて前記第１撮影画像から第１表示画像を抽出すると共に前記第２撮影画像から第２表示画像を抽出し、前記第１表示画像と前記第２表示画像とを繋げた後方画像を乗員に視認可能に表示媒体に表示する表示部と、
    　前記第１撮影画像に含まれる自車の後方車両の画像を検出する対象検出手段と、
    　前記対象検出手段により検出された前記後方車両の画像が前記第１表示画像に配置されるように前記後方車両の画像位置に応じて前記画像境界を設定する設定手段と、
    　を含む車両用視認装置。
  2. 　前記対象検出手段は、前記第１撮影画像及び前記第２撮影画像から前記後方車両を検出する請求項１に記載の車両用視認装置。
  3. 　前記設定手段は、前記第１撮影画像上における前記後方車両の画像サイズに対する前記後方画像における前記第１表示画像上の前記後方車両の画像サイズの割合が予め設定している割合以下となった場合に、前記画像境界の位置を変更する請求項１又は請求項２に記載の車両用視認装置。
  4. 　前記設定手段は、前記後方画像上における前記後方車両の画像と前記画像境界との間隔が第１間隔以下となる場合、所定位置まで車幅方向外側に移動するように前記画像境界の位置を変更する請求項１又は請求項２に記載の車両用視認装置。
  5. 　前記設定手段は、前記画像境界の位置を移動する際、予め設定された量だけ車幅方向外側に移動するように変更する請求項１から請求項４の何れか１項に記載の車両用視認装置。
  6. 　前記設定手段は、前記第１撮影画像上において前記後方車両の画像が検出されない場合、前記画像境界の位置を前記重なり領域内において予め設定している標準位置に変更する請求項１から請求項５の何れか１項に記載の車両用視認装置。
  7. 　前記設定手段は、前記後方車両の画像と前記画像境界との間隔が予め設定している第２間隔を超える場合、前記画像境界の位置を前記重なり領域内において予め設定している標準位置に接近するように変更する請求項１から請求項６の何れか１項に記載の車両用視認装置。
  8. 　前記設定手段は、前記画像境界の位置を予め設定された量だけ車幅方向内側となるように変更する請求項７に記載の車両用視認装置。
PCT/JP2022/026622 2021-08-24 2022-07-04 車両用視認装置 WO2023026696A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202280057393.2A CN117859323A (zh) 2021-08-24 2022-07-04 车辆用视觉识别装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-136228 2021-08-24
JP2021136228A JP2023030856A (ja) 2021-08-24 2021-08-24 車両用視認装置

Publications (1)

Publication Number Publication Date
WO2023026696A1 true WO2023026696A1 (ja) 2023-03-02

Family

ID=85322720

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/026622 WO2023026696A1 (ja) 2021-08-24 2022-07-04 車両用視認装置

Country Status (3)

Country Link
JP (1) JP2023030856A (ja)
CN (1) CN117859323A (ja)
WO (1) WO2023026696A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018012299A1 (ja) * 2016-07-13 2018-01-18 ソニー株式会社 画像生成装置、画像生成方法、及び、プログラム
JP2018074503A (ja) * 2016-11-02 2018-05-10 株式会社東海理化電機製作所 車両用視認装置及び車両用視認画像表示方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018012299A1 (ja) * 2016-07-13 2018-01-18 ソニー株式会社 画像生成装置、画像生成方法、及び、プログラム
JP2018074503A (ja) * 2016-11-02 2018-05-10 株式会社東海理化電機製作所 車両用視認装置及び車両用視認画像表示方法

Also Published As

Publication number Publication date
JP2023030856A (ja) 2023-03-08
CN117859323A (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
KR100936558B1 (ko) 차량용 주변 감시 장치 및 영상 표시 방법
US10029621B2 (en) Rear view camera system using rear view mirror location
CN104185010B (zh) 在前方路缘观察系统中的增强的立体视图生成
US8633810B2 (en) Rear-view multi-functional camera system
JP4412380B2 (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
KR101243108B1 (ko) 차량의 후방 영상 표시 장치 및 방법
JP3695319B2 (ja) 車両周辺モニタ装置
EP3378702B1 (en) Viewing device for vehicle
US20150042799A1 (en) Object highlighting and sensing in vehicle image display systems
JP5953824B2 (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
US20080198226A1 (en) Image Processing Device
JP2009206747A (ja) 車両用周囲状況監視装置及び映像表示方法
JP5136071B2 (ja) 車両用後方監視装置および車両後方監視方法
RU2713262C1 (ru) Устройство вывода изображения на дисплей
US20180208115A1 (en) Vehicle display device and vehicle display method for displaying images
US20200361382A1 (en) Vehicular visual recognition device
WO2023026696A1 (ja) 車両用視認装置
US11323633B2 (en) Automated creation of a freeform mask for automotive cameras
JP2007025739A (ja) 車両用画像表示装置
JP7347330B2 (ja) 車両周辺監視装置
JP7327171B2 (ja) 車両用電子ミラーシステム
JP2018074503A (ja) 車両用視認装置及び車両用視認画像表示方法
CN111886858B (zh) 车辆用影像系统
JP2023061207A (ja) 車両用視認装置
JP5907405B2 (ja) 画像解析装置及びこれを用いた物体検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22860987

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280057393.2

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE