WO2015004907A1 - 車両用画像合成装置 - Google Patents

車両用画像合成装置 Download PDF

Info

Publication number
WO2015004907A1
WO2015004907A1 PCT/JP2014/003615 JP2014003615W WO2015004907A1 WO 2015004907 A1 WO2015004907 A1 WO 2015004907A1 JP 2014003615 W JP2014003615 W JP 2014003615W WO 2015004907 A1 WO2015004907 A1 WO 2015004907A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
vehicle
straight line
abnormality
Prior art date
Application number
PCT/JP2014/003615
Other languages
English (en)
French (fr)
Inventor
伊藤　新
宗昭 松本
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to US14/903,565 priority Critical patent/US20160165148A1/en
Publication of WO2015004907A1 publication Critical patent/WO2015004907A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to a vehicle image composition device.
  • a technique for creating a composite image around a vehicle by installing a plurality of cameras on the front, rear, left and right of the vehicle is known.
  • a vehicle periphery image captured by the plurality of cameras is subjected to viewpoint conversion processing to create a composite image around the vehicle looking down from the viewpoint above the vehicle.
  • the present disclosure is intended to provide a vehicle image composition device in view of the above points.
  • the both-vehicle image composition device obtains an image of a range assigned to each camera from each of a plurality of cameras arranged in the vehicle such that an imaging range partially overlaps with an adjacent camera. And an image creation unit that composes the image and creates a composite image around the vehicle looking down from the viewpoint above the vehicle.
  • the vehicle image compositing apparatus further includes an abnormality detection unit that detects an abnormality of the camera.
  • the image creation unit acquires from the image of the camera arranged next to the abnormal camera, a portion that overlaps the image of the abnormal camera, and the overlapping portion is a composite image Is used to create the image, and image enhancement is performed on the overlapping portion.
  • FIG. 1 is a block diagram showing the configuration of the vehicle image composition apparatus.
  • FIG. 2 is an explanatory diagram showing the arrangement of the cameras and the imaging range in the vehicle when looking down from an upper viewpoint.
  • FIG. 3 is a flowchart showing the entire processing executed by the vehicle image composition apparatus.
  • FIG. 4 is a flowchart showing a normal composite image creation process executed by the vehicle image composition apparatus.
  • FIG. 5 is a flowchart showing a composite image creation process at the time of abnormality executed by the vehicle image composition apparatus.
  • FIG. 6A is an explanatory diagram illustrating a composite image generated by a normal composite image generation process.
  • FIG. 6B is a diagram showing a composite image created by the normal composite image creation process corresponding to FIG. 6A.
  • FIG. 7A is an explanatory diagram illustrating an example of a composite image created by a composite image creation process at the time of abnormality.
  • FIG. 7B is a diagram showing an example of a composite image created by the composite image creation process at the time of abnormality corresponding to FIG. 7A.
  • FIG. 8A is an explanatory diagram illustrating another example of the composite image created by the composite image creation process at the time of abnormality.
  • FIG. 8B is a diagram showing another example of the composite image created by the composite image creation process at the time of abnormality corresponding to FIG. 8A.
  • FIG. 9A is an explanatory diagram illustrating another example of the composite image created by the composite image creation process at the time of abnormality.
  • FIG. 9B is a diagram showing another example of the composite image created by the composite image creation process at the time of abnormality corresponding to FIG. 9A.
  • FIG. 10 is an explanatory diagram showing the arrangement and imaging range of the camera in the vehicle when looking down from the upper viewpoint.
  • the vehicle image composition device 1 is a vehicle-mounted device mounted on a vehicle.
  • the vehicle image composition apparatus 1 includes an input interface 3, an image processing unit 5, a memory 7, and a vehicle side input 9.
  • Image signals are input to the input interface 3 from the front camera 101, the right camera 103, the left camera 105, and the rear camera 107.
  • the image processing unit 5 is a known computer.
  • the image processing unit 5 includes an arithmetic device and a storage device, and the arithmetic device executes a program stored in the storage device, thereby executing processing to be described later and creating a composite image.
  • This composite image is a composite image around the vehicle as viewed from the viewpoint above the vehicle.
  • the image processing unit 5 outputs the created composite image to the display 109.
  • the display 109 is a liquid crystal display installed at a position where the driver can view the vehicle interior, and displays a composite image.
  • the storage device that stores the program is an example of a non-transitory computer-readable storage medium.
  • Memory 7 stores various data.
  • various image data are stored in the memory 7.
  • the vehicle side input 9 includes a steering angle (steering direction), vehicle speed, shift information (shift is parking (P), neutral (N), drive (D), back (R), from the vehicle.
  • shift information shift is parking (P), neutral (N), drive (D), back (R)
  • Various information such as information indicating whether the state is present is input.
  • the image processing unit 5 that executes S11 to S14, S21, S22, and S24 to S27, which will be described later, is an embodiment of an image creation unit.
  • the image processing unit 5 that executes S1 described below is an embodiment of the abnormality detection unit.
  • the image processing unit 5 that executes S23 to be described later is an example of a vehicle state acquisition unit.
  • Each unit of the image processing unit 5 may be provided by an arithmetic device executing a program or the like, may be provided by a dedicated arithmetic device, or may be provided by a combination thereof.
  • the front camera 101 is attached to the front end of the vehicle 201.
  • the right camera 103 is attached to the right side surface of the vehicle 201.
  • the left camera 105 is attached to the left side surface of the vehicle 201.
  • the rear camera 107 is attached to the rear end of the vehicle 201.
  • the front camera 101, the right camera 103, the left camera 105, and the rear camera 107 are each provided with a fisheye lens and have an imaging range of 180 °. That is, the front camera 101 has an imaging range R1 that covers from the straight line L1 that passes through the front end of the vehicle 201 to the left of the vehicle 201 to the straight line L2 that passes through the front end of the vehicle 201 and goes to the right of the vehicle 201. is doing.
  • the right camera 103 has an imaging range R2 that covers a straight line L3 that passes through the right end of the vehicle 201 and faces the front of the vehicle 201 to a straight line L4 that passes through the right end of the vehicle 201 and goes backward of the vehicle 201.
  • the left camera 105 has an imaging range R3 that covers from the straight line L5 that passes through the left end of the vehicle 201 toward the front of the vehicle 201 to the straight line L6 that passes through the left end of the vehicle 201 and toward the rear of the vehicle 201. Yes.
  • the rear camera 107 passes through the rear end of the vehicle 201 and covers the straight line L7 that goes to the left of the vehicle 201 to the straight line L8 that passes through the rear end of the vehicle 201 and goes to the right of the vehicle 201. have.
  • the imaging range R1 of the front camera 101 and the imaging range R2 of the right camera 103 which is the adjacent camera, partially overlap in the range from the straight line L2 to the straight line L3.
  • the imaging range R1 of the front camera 101 and the imaging range R3 of the left camera 105 which is the adjacent camera, partially overlap in the range from the straight line L1 to the straight line L5.
  • the imaging range R2 of the right camera 103 and the imaging range R4 of the rear camera 107 which is the adjacent camera partially overlap in the range from the straight line L4 to the straight line L8.
  • the imaging range R3 of the left camera 105 and the imaging range R4 of the rear camera 107 which is the adjacent camera partially overlap in the range from the straight line L6 to the straight line L7.
  • the resolution at the periphery of the imaging range of the front camera 101, the right camera 103, the left camera 105, and the rear camera 107 is lower than the resolution at the center of the imaging range.
  • the presence or absence of a camera failure can be determined by the presence or absence of input of a signal (for example, NTSC signal or synchronization signal) from the camera to the input interface 3.
  • a signal for example, NTSC signal or synchronization signal
  • the presence or absence of dirt on the lens can be determined by whether or not there is an object in the camera image that does not change its position in the image over time while the vehicle is running. If there is no abnormality in all of the front camera 101, the right camera 103, the left camera 105, and the rear camera 107, the process proceeds to S2, and any one of the front camera 101, the right camera 103, the left camera 105, and the rear camera 107 is performed. If there is an abnormality, the process proceeds to S3.
  • S2 a normal composite image creation process is executed.
  • This composite image creation process will be described with reference to FIG.
  • the acquired image is an image of the entire imaging range. That is, the image acquired from the front camera 101 is an image of the entire imaging range R1, the image acquired from the right camera 103 is an image of the entire imaging range R2, and the image acquired from the left camera 105 is the imaging range R3.
  • the entire image and the image acquired from the rear camera 107 is an image of the entire imaging range R4.
  • the image acquired in S11 is converted into a bird's eye view by a known image conversion (viewpoint conversion) process (converted into an image viewed from a virtual viewpoint above the vehicle).
  • a bird's-eye image T1 an image obtained by bird's-eye conversion of an image in the imaging range R1 is referred to as a bird's-eye image T1
  • an image obtained by performing bird's-eye conversion on an image in the imaging range R2 is referred to as a bird's-eye image T2
  • the image is a bird's-eye view image T3
  • an image obtained by performing bird's-eye conversion on an image in the imaging range R4 is a bird's-eye view image T4.
  • images A1 to A4 are cut out from the bird's-eye view images T1 to T4, respectively.
  • Image A1 is an image in a range from straight lines L9 to L10 in bird's-eye view image T1 (see FIG. 2).
  • the straight line L9 is a straight line that passes through the left front end of the vehicle 201 and equally divides the angle (90 °) formed by the straight lines L1 and L5.
  • the straight line L9 is a straight line that passes through the right front end of the vehicle 201 and equally divides the angle (90 °) formed by the straight lines L2 and L3.
  • Image A2 is an image in the range from straight line L10 to L11 in bird's-eye view image T2.
  • the straight line L11 passes through the right rear end of the vehicle 201 and is a straight line that equally divides the angle (90 °) formed by the straight lines L4 and L8.
  • Image A3 is an image in the range from straight line L9 to L12 in bird's-eye view image T3.
  • the straight line L12 passes through the left rear end of the vehicle 201 and is a straight line that equally divides the angle (90 °) formed by the straight lines L6 and L7.
  • Image A4 is an image in the range from straight line L11 to L12 in bird's-eye view image T4.
  • the images A1 to A4 are combined, and a combined image around the vehicle viewed from the viewpoint above the vehicle 201 is completed.
  • 6A and 6B show examples of composite images created by normal composite image creation processing.
  • a normal (no abnormality) image of the front camera 101, the right camera 103, the left camera 105, and the rear camera 107 is acquired.
  • the acquired image is an image of the entire imaging range. That is, the image acquired from the front camera 101 is an image of the entire imaging range R1, the image acquired from the right camera 103 is an image of the entire imaging range R2, and the image acquired from the left camera 105 is the imaging range R3.
  • the entire image and the image acquired from the rear camera 107 is an image of the entire imaging range R4.
  • the image acquired in S11 is subjected to bird's-eye conversion by a known image conversion method, and bird's-eye images T1 to T4 (however, except for an abnormal camera image) are created.
  • the steering direction and shift of the vehicle 201 are acquired based on the signal input from the vehicle side to the vehicle side input 9.
  • a part of the image is cut out from the bird's-eye image created in S22.
  • the method of clipping an image differs between a bird's-eye image corresponding to a camera next to the camera having an abnormality and a bird's-eye image corresponding to other cameras.
  • the right camera 103 has an abnormality
  • the basic process is the same even when another camera has an abnormality.
  • the bird's-eye view images created in S22 are T1, T3, and T4.
  • the cameras next to the right camera 103 are the front camera 101 and the rear camera 107, and the bird's-eye images corresponding to these cameras are T1 and T4.
  • the image A3 is cut out as in S13.
  • the overlapping portion A1p is cut out together with the image A1.
  • This overlapping portion A1p is a portion of the bird's-eye view image T1 that is adjacent to the image A1 and is closer to the straight line L2 (the camera side with the abnormality) than the image A1, and more specifically, from the straight line L10 to the straight line L13. It is a range.
  • the straight line L13 is a straight line that passes through the right front end of the vehicle 201 and is between the straight line L10 and the straight line L2.
  • the overlapping portion A1p is an image of a portion overlapping with the image A2 cut out from the bird's-eye view image T2 when there is no abnormality in the right camera 103.
  • the overlapping portion A4p is cut out together with the image A4.
  • the overlapping portion A4p is a portion of the bird's-eye image T4 that is adjacent to the image A4 and is closer to the straight line L8 (the camera side with the abnormality) than the image A4, and more specifically, from the straight line L11 to the straight line L14. It is a range.
  • the straight line L14 passes through the right rear end of the vehicle 201 and is a straight line between the straight line L8 and the straight line L11.
  • the overlapping portion A4p is an image of a portion overlapping with the image A2 cut out from the bird's-eye view image T2 when there is no abnormality in the right camera 103.
  • the straight lines L13 and L14 described above are set according to the steering direction and shift acquired in S23. That is, the angle formed by the straight line L13 and the straight line L10 (the range of the overlapping portion A1p) and the angle formed by the straight line L14 and the straight line L11 (the range of the overlapping portion A4p) are expressed in accordance with the steering direction and the shift. Determined according to the rules shown in 1. In Table 1, “large” means larger than “standard”.
  • the overlapping parts A1p and A4p are determined as described above, when the shift is D and the steering direction is the right, the overlapping parts A1p and A4p are larger than the standard, so the right field of view is widened, and the entanglement accident is suppressed. it can.
  • the overlapping portion A4p becomes larger than the standard, so that the field of view on the right side of the rear is widened, and an accident can be suppressed.
  • the overlapping portion A4p becomes larger than the standard, so that the field of view on the right side of the rear side is widened and it is easy to check the distance to the other vehicle on the right side. .
  • the images cut out in S24 are combined to create a composite image around the vehicle looking down from the viewpoint above the vehicle 201.
  • edge enhancement (one embodiment of image enhancement) is performed on the overlapping portions A1p and A4p in the composite image created in S25.
  • Edge enhancement is a process for increasing the brightness contrast in an image.
  • FIGS. 7A and 7B show examples of composite images created by the composite image creation process at the time of abnormality.
  • the right camera 103 has an abnormality.
  • the filling and icon display performed in S27 are omitted.
  • the right camera 103 has an abnormality.
  • the front camera 101 has an abnormality.
  • the basic processing flow is the same as when the right camera 103 is abnormal, but in S22, bird's-eye view images T2 to T4 are created.
  • the image A4 is cut out from the rear camera 107 not adjacent to the front camera 101 in the same manner as in S13.
  • the overlapping portion A2p is cut out together with the image A2, as shown in FIG.
  • This overlapping portion A2p is a portion adjacent to the image A2 in the bird's-eye view image T2 and located on the straight line L3 side (the camera side with the abnormality) from the image A2, and more specifically, from the straight line L10 to the straight line L15. It is a range.
  • the straight line L15 passes through the right front end of the vehicle 201 and is a straight line between the straight line L10 and the straight line L3.
  • the overlapping portion A2p is an image of a portion overlapping with the image A1 cut out from the bird's-eye view image T1 when there is no abnormality in the front camera 101.
  • the overlapping portion A3p is cut out together with the image A3.
  • This overlapping portion A3p is a portion of the bird's-eye view image T3 that is adjacent to the image A3 and is on the straight line L5 side (the camera side with the abnormality) from the image A3, and more specifically, from the straight line L9 to the straight line L16. It is a range.
  • the straight line L16 passes through the left front end of the vehicle 201 and is a straight line between the straight line L5 and the straight line L9.
  • the overlapping portion A3p is an image of a portion overlapping with the image A1 cut out from the bird's-eye view image T1 when there is no abnormality in the front camera 101.
  • the straight lines L15 and L16 described above are set according to the steering direction and shift acquired in S23. That is, the angle formed by the straight line L10 and the straight line L15 (the range of the overlapping portion A2p) and the angle formed by the straight line L9 and the straight line L16 (the range of the overlapping portion A3p) are expressed in accordance with the steering direction and the shift. Determine according to the rules shown in 2.
  • the overlapping portion A2p becomes larger than the standard, so that the right field of view is widened and accidents can be suppressed.
  • the overlapping portion A3p becomes larger than the standard, so that the left field of view is widened, and an accident can be suppressed.
  • edge enhancement (one embodiment of image enhancement) is performed on the overlapping portions A2p and A3p in the composite image created in S25.
  • Edge enhancement is a process for increasing the brightness contrast in an image.
  • the vehicle image composition device 1 uses the image of the adjacent camera to reduce the non-display range in the composite image even when some cameras are abnormal. Can be small.
  • the vehicle image composition device 1 performs edge enhancement processing on the overlapping portions A1p, A2p, A3p, and A4p. Therefore, the driver can easily recognize the overlapping portions A1p, A2p, A3p, and A4p in the composite image. Further, by performing the edge emphasis process, it is easy to visually recognize the target existing in the overlapping portions A1p, A2p, A3p, and A4p even if the resolution of the overlapping portions A1p, A2p, A3p, and A4p is low.
  • the vehicle image composition device 1 sets the sizes of the overlapping portions A1p, A2p, A3p, and A4p according to the steering direction and the shift. Therefore, an appropriate range of field of view is ensured according to the steering direction and shift, and the visual recognition of the target existing around the vehicle becomes easier.
  • the vehicular image composition device 1 fills the imaging range of the abnormal camera and displays an icon at or near the position corresponding to the abnormal camera. Therefore, the driver can easily recognize whether there is an abnormality in the camera and which camera has the abnormality.
  • ⁇ Second Embodiment> 1. Configuration of Vehicle Image Synthesizer 1 and Process Performed The configuration of the vehicle image synthesizer 1 and the process executed in the present embodiment are basically the same as those in the first embodiment. However, in the present embodiment, in the process of S26, a process of changing the color (one embodiment of image enhancement) is performed on the overlapping portions A1p, A2p, A3p, A4p instead of edge enhancement.
  • FIGS. 8A and 8B show examples of composite images in which the colors of the overlapping portions A1p and A4p are changed.
  • the right camera 103 has an abnormality.
  • the colors of the overlapping portions A1p and A4p are set to have a bluish color stronger than the original color.
  • a mode in which the overlapping portions A1p and A4p are colored is transmissive display. Therefore, the driver can visually recognize the target existing in the overlapping portions A1p and A4p.
  • the colors in the overlapping portions A1p and A4p can be given gradation. For example, the color can be gradually changed near the boundary between the overlapping portion A1p and the image A1. Similarly, the color can be gradually changed near the boundary between the overlapping portion A4p and the image A4.
  • the vehicle image composition device 1 exhibits substantially the same effects as in the case of the first embodiment.
  • the vehicle image composition device 1 performs a process of changing the colors of the overlapping portions A1p, A2p, A3p, and A4p. Therefore, the driver can easily recognize the overlapping portions A1p, A2p, A3p, and A4p in the composite image.
  • ⁇ Third Embodiment> 1. Configuration of Vehicle Image Synthesizer 1 and Process Performed The configuration of the vehicle image synthesizer 1 and the process executed in the present embodiment are basically the same as those in the first embodiment. However, in this embodiment, the width and range of the overlapping portions A1p, A2p, A3p, and A4p are constant regardless of the steering direction and shift of the vehicle.
  • the overlapping part A1p is a part of the imaging range R1 of the front camera 101 excluding the most peripheral part. That is, in FIG. 2, the straight line L13 that is the extension of the overlapping portion A1p does not match the straight line L2 that is the extension of the imaging range R1.
  • the overlapping portion A4p is a portion excluding the most peripheral portion in the imaging range R4 of the rear camera 107. That is, in FIG. 2, the straight line L14 that is the extension of the overlapping portion A4p does not match the straight line L2 that is the extension of the imaging range R4.
  • the overlapping portion A2p is a portion excluding the most peripheral portion in the imaging range R2 of the right camera 103. That is, in FIG. 10, the straight line L15 that is the extension of the overlapping portion A2p does not match the straight line L3 that is the extension of the imaging range R2.
  • the overlapping portion A3p is a portion excluding the most peripheral portion in the imaging range R3 of the left camera 105. That is, in FIG. 10, the straight line L16 that is the extension of the overlapping portion A3p does not match the straight line L5 that is the extension of the imaging range R3.
  • FIGS. 9A and 9B show an example of a composite image in which the overlapping portions A1p and A4p are portions excluding the outermost peripheral portion in the imaging range of the camera.
  • the right camera 103 has an abnormality.
  • the non-display range 203 that is not covered by the images A1 and A4 and the overlapping portions A1p and A4p in the imaging range R2 of the abnormal right camera 103 is filled with a predetermined color (predetermined display).
  • a predetermined display One embodiment.
  • an icon 205 is displayed in the vicinity of the position corresponding to the right camera 103.
  • vehicle image composition device 1 exhibits substantially the same effects as those of the first embodiment. (2) Since the overlapping portions A1p, A2p, A3p, and A4p do not include the outermost peripheral portion (the portion where the resolution tends to be particularly low) of the imaging range of the camera, the resolution is high. Therefore, the vehicular image composition device 1 according to the present embodiment can suppress the occurrence of a portion having a particularly low resolution in the composite image. ⁇ Fourth Embodiment> 1. Configuration of Vehicle Image Synthesizer 1 and Process Performed The configuration of the vehicle image synthesizer 1 and the process executed in the present embodiment are basically the same as those in the first embodiment. However, in the present embodiment, the vehicle speed is acquired in S23.
  • the sizes of the overlapping portions A1p, A2p, A3p, A4p are set according to the vehicle speed. That is, the overlapping portions A1p, A2p, A3p, and A4p are increased as the vehicle speed decreases.
  • vehicle image composition device 1 exhibits substantially the same effects as those of the first embodiment. (2) Since the overlapping portions A1p, A2p, A3p, and A4p are large at a low speed, it is easy to check the surrounding situation at a low speed.
  • the number of cameras may be other than four (for example, three, five, six, eight, etc.).
  • the imaging range of the camera is not limited to 180 °, and may be wider or narrower.
  • the image enhancement may be other processing (for example, luminance, brightness, color periodic change, etc.).
  • the abnormality in S1 may be one of camera failure and lens contamination.
  • angles of the straight lines L9, L10, L11, L12, L13, L14, L15, and L16 are not limited to those described above, and can be set as appropriate.
  • the size of the overlapping portions A1p, A2p, A3p, A4p may be set based on conditions other than those described in Tables 1 and 2 above.
  • the size of the overlapping portions A1p, A2p, A3p, A4p may be set according to one of the steering direction and the shift. For example, if there is an abnormality in the right camera 103 and the steering direction is right, the size of the overlapping portions A1p and A4p can be made larger than the standard regardless of the shift.
  • the size of the overlapping portions A1p, A2p, A3p, and A4p may be set according to three combinations of the steering direction, the shift, and the vehicle speed.
  • the size of the overlapping portions A1p, A2p, A3p, A4p may be set according to the combination of the steering direction and the vehicle speed.
  • the size of the overlapping portions A1p, A2p, A3p, A4p may be set according to the combination of the shift and the vehicle speed.
  • the range of the overlapping portions A1p, A2p, A3p, and A4p is the same as that of the third embodiment (a range that does not include the most peripheral portion of the imaging range of the camera). It is good.
  • an embodiment and composition concerning this indication are not limited to each embodiment and each composition mentioned above.
  • embodiments and configurations obtained by appropriately combining technical units disclosed in different embodiments and configurations are also included in the scope of the embodiments and configurations according to the present disclosure.
  • each embodiment mentioned above and a part of each structure are embodiment which concerns on this indication.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

　車両用画像合成装置を提供する。車両用画像合成装置は、撮像範囲が隣のカメラと一部重複する複数のカメラ（１０１、１０３、１０５、１０７）のそれぞれから、所定の範囲の画像（Ａ１、Ａ２、Ａ３、Ａ４）を取得し、当該画像を合成して、車両上方の視点から見下ろした、車両周囲の合成画像を作成する画像作成部（Ｓ１１～Ｓ１４、Ｓ２１、Ｓ２２、Ｓ２４～Ｓ２７）と、カメラの異常を検出する異常検出部（Ｓ１）と、を備える。異常のあるカメラが存在する場合、画像作成部は、異常のあるカメラの隣に配置されたカメラの画像から、異常のあるカメラにおける画像Ａに重複する部分（Ａ１ｐ、Ａ４ｐ）を取得し、その重複する部分を合成画像の作成に使用するとともに、重複する部分に画像強調を行う。

Description

車両用画像合成装置 関連出願の相互参照
　本出願は、２０１３年７月１１日に出願された日本国特許出願２０１３－１４５５９３号に基づくものであり、ここにこれを参照により援用する。
　本開示は、車両用画像合成装置に関する。
　従来、車両の前後左右に複数のカメラを設置し、車両周囲の合成画像を作成する技術が知られている。この技術では、それら複数のカメラにより撮像した車両周辺の画像を視点変換処理することにより、車両上方の視点から見下ろした、車両周囲の合成画像を作成する。
　また、複数のカメラのうち、一部のカメラが故障した場合、隣のカメラで撮像した画像を拡大し、合成画像において非表示となる範囲を減少させる技術が提案されている（特許文献１参照）。
　本願発明者の検討によれば、特許文献１記載の技術では、隣のカメラで撮像した画像のうち、周辺部分を使用して、故障したカメラがカバーすべき範囲の一部を補間する。画像の周辺部分は、中央部分に比べ、解像度が低い場合がある。そのため、合成画像のうち、故障したカメラの隣のカメラを用いて補間した部分は、解像度が低下する場合がある。この場合、補間した部分の解像度が他の部分と同じであるとドライバが誤解すると、補間した部分に存在する物標を見落とす等のおそれがある。
特開２００７－８９０８２号公報
　本開示は、以上の点に鑑みて車両用画像合成装置を提供することを目的とする。
　本開示の一例に係る車両方画像合成装置は、撮像範囲が隣のカメラと一部重複するように車両に配置された複数のカメラのそれぞれから、カメラごとに割り当てられた範囲の画像を取得し、当該画像を合成して、車両上方の視点から見下ろした、車両周囲の合成画像を作成する画像作成部を備える。
　また、車両方画像合成装置は、カメラの異常を検出する異常検出部をさらに備える。異常のあるカメラが存在する場合、画像作成部は、異常のあるカメラの隣に配置されたカメラの画像から、異常のあるカメラにおける画像に重複する部分を取得し、その重複する部分を合成画像の作成に使用するとともに、その重複する部分に画像強調を行う。
　このような車両方画像合成装置によれば、重複する部分に画像強調を行うので、合成画像において、重複する部分（解像度が低い可能性がある部分）を容易に認識することができる。
図１は、車両用画像合成装置の構成を表すブロック図である。 図２は、上方の視点から見下ろしたときの車両におけるカメラの配置及び撮像範囲を表す説明図である。 図３は、車両用画像合成装置が実行する処理の全体を表すフローチャートである。 図４は、車両用画像合成装置が実行する正常時の合成画像作成処理を表すフローチャートである。 図５は、車両用画像合成装置が実行する異常時の合成画像作成処理を表すフローチャートである。 図６Ａは、正常時の合成画像作成処理により作成された合成画像を表す説明図である。 図６Ｂは、図６Ａに対応する、正常時の合成画像作成処理により作成された合成画像を表す線図である。 図７Ａは、異常時の合成画像作成処理により作成された合成画像の一例を表す説明図である。 図７Ｂは、図７Ａに対応する、異常時の合成画像作成処理により作成された合成画像の一例を表す線図である。 図８Ａは、異常時の合成画像作成処理により作成された合成画像の他の例を表す説明図である。 図８Ｂは、図８Ａに対応する、異常時の合成画像作成処理により作成された合成画像の他の例を表す線図である。 図９Ａは、異常時の合成画像作成処理により作成された合成画像の他の例を表す説明図である。 図９Ｂは、図９Ａに対応する、異常時の合成画像作成処理により作成された合成画像の他の例を表す線図である。 図１０は、上方の視点から見下ろしたときの車両におけるカメラの配置及び撮像範囲を表す説明図である。
　実施形態を図面に基き説明する。
＜第１の実施形態＞
　１．車両用画像合成装置１の構成
　車両用画像合成装置１の構成を図１及び図２に基き説明する。車両用画像合成装置１は車両に搭載される車載装置である。車両用画像合成装置１は、入力インターフェース３、画像処理部５、メモリ７、及び車両側入力９を備える。
　入力インターフェース３には、前方カメラ１０１、右カメラ１０３、左カメラ１０５、及び後方カメラ１０７から画像信号が入力される。
　画像処理部５は、周知のコンピュータである。例えば、画像処理部５は、演算装置と記憶装置とを備え、演算装置は記憶装置に格納されたプログラムを実行することにより、後述する処理を実行し、合成画像を作成する。この合成画像は、車両上方の視点から見下ろした、車両周囲の合成画像である。画像処理部５は、作成した合成画像をディスプレイ１０９に出力する。ディスプレイ１０９は車室内のうち、ドライバが視聴可能な位置に設置された液晶ディスプレイであり、合成画像を表示する。なお、プログラムを格納する記憶装置は、非一時的なコンピュータ読み取り可能な記憶媒体の一例である。
　メモリ７は各種データを記憶する。画像処理部５が合成画像を作成する際、各種画像データがメモリ７に記憶される。車両側入力９には、車両から、ステアリングの舵角（操舵方向）、車速、シフト情報（シフトがパーキング（Ｐ）、ニュートラル（Ｎ）、ドライブ（Ｄ）、バック（Ｒ）のうちのいずれの状態にあるかを示す情報）等の各種情報が入力される。
　なお、後述するＳ１１～Ｓ１４、Ｓ２１、Ｓ２２、Ｓ２４～Ｓ２７を実行する画像処理部５は、画像作成部の一実施形態である。後述するＳ１を実行する画像処理部５は、異常検出部の一実施形態である。後述するＳ２３を実行する画像処理部５は、車両状態取得部の一例である。画像処理部５の各部は、演算装置がプロラム等を実行することによって提供されても良いし、専用の演算装置によって提供されても良いし、これらに組み合わせによって提供されても良い。　図２に示すように、前方カメラ１０１は車両２０１の前端に取り付けられる。右カメラ１０３は車両２０１の右側面に取り付けられる。左カメラ１０５は車両２０１の左側面に取り付けられる。後方カメラ１０７は車両２０１の後端に取り付けられている。
　前方カメラ１０１、右カメラ１０３、左カメラ１０５、及び後方カメラ１０７は、それぞれ、魚眼レンズを備えており、１８０°の撮像範囲を有している。すなわち、前方カメラ１０１は、車両２０１の前端を通り、車両２０１の左方向へ向う直線Ｌ１から、車両２０１の前端を通り、車両２０１の右方向へ向う直線Ｌ２までをカバーする撮像範囲Ｒ１を有している。
　また、右カメラ１０３は、車両２０１の右端を通り、車両２０１の前方へ向う直線Ｌ３から、車両２０１の右端を通り、車両２０１の後方へ向う直線Ｌ４までをカバーする撮像範囲Ｒ２を有している。　
　また、左カメラ１０５は、車両２０１の左端を通り、車両２０１の前方へ向う直線Ｌ５から、車両２０１の左端を通り、車両２０１の後方へ向う直線Ｌ６までをカバーする撮像範囲Ｒ３を有している。　
　また、後方カメラ１０７は、車両２０１の後端を通り、車両２０１の左方向へ向う直線Ｌ７から、車両２０１の後端を通り、車両２０１の右方向へ向う直線Ｌ８までをカバーする撮像範囲Ｒ４を有している。
　前方カメラ１０１の撮像範囲Ｒ１と、その隣のカメラである右カメラ１０３の撮像範囲Ｒ２とは、直線Ｌ２から直線Ｌ３までの範囲において一部重複している。
　また、前方カメラ１０１の撮像範囲Ｒ１と、その隣のカメラである左カメラ１０５の撮像範囲Ｒ３とは、直線Ｌ１から直線Ｌ５までの範囲において一部重複している。
　また、右カメラ１０３の撮像範囲Ｒ２と、その隣のカメラである後方カメラ１０７の撮像範囲Ｒ４とは、直線Ｌ４から直線Ｌ８までの範囲において一部重複している。　
　また、左カメラ１０５の撮像範囲Ｒ３と、その隣のカメラである後方カメラ１０７の撮像範囲Ｒ４とは、直線Ｌ６から直線Ｌ７までの範囲において一部重複している。　
　前方カメラ１０１、右カメラ１０３、左カメラ１０５、及び後方カメラ１０７の撮像範囲の周辺部での解像度は、撮像範囲の中央部での解像度に比べて低い。
　２．車両用画像合成装置１が実行する処理
　車両用画像合成装置１(特に画像処理部５)が実行する処理を図３～図７Ｂに基き説明する。図３のＳ１において、前方カメラ１０１、右カメラ１０３、左カメラ１０５、及び後方カメラ１０７のいずれかに異常があるか否かを判断する。
　異常としては、カメラの故障により撮像自体ができない場合と、撮像は可能であるが、カメラのレンズに所定の大きさ以上の汚れが付着している場合とがある。カメラの故障の有無は、カメラから入力インターフェース３への信号（例えばＮＴＳＣ信号、同期信号等）の入力の有無により判断できる。
　また、レンズの汚れの有無は、車両の走行中、時間が経過しても画像中における位置が変化しない事物がカメラの画像中に存在するか否かにより判断できる。前方カメラ１０１、右カメラ１０３、左カメラ１０５、及び後方カメラ１０７の全てに異常がない場合はＳ２に進み、前方カメラ１０１、右カメラ１０３、左カメラ１０５、及び後方カメラ１０７のうちの一つでも異常がある場合はＳ３に進む。
　Ｓ２では、正常時の合成画像作成処理を実行する。この成画像作成処理を図４に基き説明する。Ｓ１１では、前方カメラ１０１、右カメラ１０３、左カメラ１０５、及び後方カメラ１０７のそれぞれから、撮像された画像を取得する。取得する画像は、撮像範囲全体の画像である。すなわち、前方カメラ１０１から取得する画像は、撮像範囲Ｒ１全体の画像であり、右カメラ１０３から取得する画像は、撮像範囲Ｒ２全体の画像であり、左カメラ１０５から取得する画像は、撮像範囲Ｒ３全体の画像であり、後方カメラ１０７から取得する画像は、撮像範囲Ｒ４全体の画像である。
　Ｓ１２では、前記Ｓ１１で取得した画像を、周知の画像変換（視点変換）処理により、鳥瞰変換する（車両上方の仮想視点から見た画像へ変換する）。以下では、撮像範囲Ｒ１の画像を鳥瞰変換して成る画像を鳥瞰画像Ｔ１とし、撮像範囲Ｒ２の画像を鳥瞰変換して成る画像を鳥瞰画像Ｔ２とし、撮像範囲Ｒ３の画像を鳥瞰変換して成る画像を鳥瞰画像Ｔ３とし、撮像範囲Ｒ４の画像を鳥瞰変換して成る画像を鳥瞰画像Ｔ４とする。
　Ｓ１３では、鳥瞰画像Ｔ１～Ｔ４から、それぞれ、画像Ａ１～Ａ４を切り出す。画像Ａ１は、鳥瞰画像Ｔ１のうち、直線Ｌ９からＬ１０までの範囲の画像である（図２参照）。ここで、直線Ｌ９は、車両２０１の左前端を通り、直線Ｌ１、Ｌ５が成す角度（９０°）を等分する直線である。また、直線Ｌ９は、車両２０１の右前端を通り、直線Ｌ２、Ｌ３が成す角度（９０°）を等分する直線である。
　画像Ａ２は、鳥瞰画像Ｔ２のうち、直線Ｌ１０からＬ１１までの範囲の画像である。ここで、直線Ｌ１１は、車両２０１の右後端を通り、直線Ｌ４、Ｌ８が成す角度（９０°）を等分する直線である。
　画像Ａ３は、鳥瞰画像Ｔ３のうち、直線Ｌ９からＬ１２までの範囲の画像である。ここで、直線Ｌ１２は、車両２０１の左後端を通り、直線Ｌ６、Ｌ７が成す角度（９０°）を等分する直線である。
　画像Ａ４は、鳥瞰画像Ｔ４のうち、直線Ｌ１１からＬ１２までの範囲の画像である。
　Ｓ１４では、画像Ａ１～Ａ４を合成し、車両２０１上方の視点から見下ろした、車両周囲の合成画像を完成する。正常時の合成画像作成処理により作成された合成画像の例を図６Ａ及び図６Ｂに示す。
　一方、図３のＳ１で肯定判断された場合はＳ３へ進み、異常時の合成画像作成処理を実行する。この処理を図５に基き説明する。
　Ｓ２１では、前方カメラ１０１、右カメラ１０３、左カメラ１０５、及び後方カメラ１０７のうち、正常な（異常がない）カメラの画像を取得する。取得する画像は、撮像範囲全体の画像である。すなわち、前方カメラ１０１から取得する画像は、撮像範囲Ｒ１全体の画像であり、右カメラ１０３から取得する画像は、撮像範囲Ｒ２全体の画像であり、左カメラ１０５から取得する画像は、撮像範囲Ｒ３全体の画像であり、後方カメラ１０７から取得する画像は、撮像範囲Ｒ４全体の画像である。
　Ｓ２２では、前記Ｓ１１で取得した画像を、周知の画像変換方法により、鳥瞰変換し、鳥瞰画像Ｔ１～Ｔ４（ただし、異常のあるカメラの画像は除く）を作成する。
　Ｓ２３では、車両側から車両側入力９への信号入力に基き、車両２０１の操舵方向及びシフト（車両状態の一実施形態）を取得する。
　Ｓ２４では、前記Ｓ２２で作成した鳥瞰画像から、一部の画像を切り出す。画像の切り出し方は、異常のあるカメラの隣にあるカメラに対応する鳥瞰画像と、それ以外のカメラに対応する鳥瞰画像とでは異なる。
　なお、以下では、右カメラ１０３に異常がある場合を例にとって説明するが、他のカメラに異常がある場合でも、基本的な処理は同様である。右カメラ１０３に異常がある場合、前記Ｓ２２で作成する鳥瞰画像は、Ｔ１、Ｔ３、Ｔ４である。また、右カメラ１０３の隣にあるカメラは、前方カメラ１０１、及び後方カメラ１０７であり、それらのカメラに対応する鳥瞰画像はＴ１、Ｔ４である。
　右カメラ１０３の隣にない左カメラ１０５に対応する鳥瞰画像Ｔ３からは、前記Ｓ１３と同様に、画像Ａ３を切出す。
　一方、右カメラ１０３の隣にある前方カメラ１０１に対応する鳥瞰画像Ｔ１からは、画像Ａ１とともに、重複部Ａ１ｐを切り出す。この重複部Ａ１ｐは、鳥瞰画像Ｔ１のうち、画像Ａ１と隣接し、画像Ａ１よりも直線Ｌ２側（異常のあるカメラ側）にある部分であって、さらに詳しくは、直線Ｌ１０から直線Ｌ１３までの範囲である。ここで、直線Ｌ１３は、車両２０１の右前端を通り、直線Ｌ１０と直線Ｌ２との間にある直線である。また、重複部Ａ１ｐは、右カメラ１０３に異常がない場合に鳥瞰画像Ｔ２から切り出される画像Ａ２と重複する部分の画像である。
　また、右カメラ１０３の隣にある後方カメラ１０７に対応する鳥瞰画像Ｔ４からは、画像Ａ４とともに、重複部Ａ４ｐを切り出す。この重複部Ａ４ｐは、鳥瞰画像Ｔ４のうち、画像Ａ４と隣接し、画像Ａ４よりも直線Ｌ８側（異常のあるカメラ側）にある部分であって、さらに詳しくは、直線Ｌ１１から直線Ｌ１４までの範囲である。ここで、直線Ｌ１４は、車両２０１の右後端を通り、直線Ｌ８と直線Ｌ１１との間にある直線である。また、重複部Ａ４ｐは、右カメラ１０３に異常がない場合に鳥瞰画像Ｔ２から切り出される画像Ａ２と重複する部分の画像である。
　上述した直線Ｌ１３、Ｌ１４は、前記Ｓ２３で取得した操舵方向及びシフトに応じて設定される。すなわち、直線Ｌ１３と直線Ｌ１０とが成す角度（重複部Ａ１ｐの範囲）、及び直線Ｌ１４と直線Ｌ１１とが成す角度（重複部Ａ４ｐの範囲）の大きさは、操舵方向及びシフトに応じて、表１に示すルールにより決める。なお、表１における「大」とは、「標準」よりも大きいことを意味する。
Figure JPOXMLDOC01-appb-T000001
 　上記のように重複部Ａ１ｐ、Ａ４ｐを決めると、シフトがＤであり、操舵方向が右である場合、重複部Ａ１ｐ及びＡ４ｐが標準よりも大きくなるので、右側の視界が広がり、巻き込み事故を抑制できる。
　また、シフトがＲであり、操舵方向が右である場合、重複部Ａ４ｐが標準よりも大きくなるので、後方右側の視界が広がり、事故を抑制できる。
　また、シフトがＲであり、操舵方向が左側である場合、重複部Ａ４ｐが標準よりも大きくなるので、後方右側の視界が広がり、右側にある他車との距離を確認することが容易になる。
　Ｓ２５では、前記Ｓ２４で切り出した画像を合成し、車両２０１上方の視点から見下ろした、車両周囲の合成画像を作成する。
　Ｓ２６では、前記Ｓ２５で作成した合成画像において、重複部Ａ１ｐ、Ａ４ｐにエッジ強調（画像強調の一実施形態）を行う。エッジ強調とは、画像における輝度のコントラストを通常よりも大きくする処理である。
　Ｓ２７では、前記Ｓ２５で作成した合成画像において、異常のある右カメラ１０３の撮像範囲Ｒ２のうち、画像Ａ１、Ａ４、重複部Ａ１ｐ、Ａ４ｐでカバーされない範囲（図２において直線Ｌ１３から直線Ｌ１４までの範囲）を所定の色（例えば青色）で塗りつぶす処理を行う。また、合成画像において、右カメラ１０３に対応する位置又はその近傍にアイコンを表示する。
　異常時の合成画像作成処理により作成された合成画像の例を図７Ａおよび図７Ｂに示す。この例は、右カメラ１０３に異常がある場合の例である。なお、図７Ａおよび図７Ｂでは、前記Ｓ２７で行う塗りつぶし及びアイコンの表示は省略している。
　上では、右カメラ１０３に異常がある例を挙げたが、次に、前方カメラ１０１に異常がある例について説明する。基本的な処理の流れは、右カメラ１０３に異常がある場合と同様であるが、前記Ｓ２２では、鳥瞰画像Ｔ２～Ｔ４を作成する。また、前記Ｓ２４では、前方カメラ１０１に隣接しない後方カメラ１０７からは、前記Ｓ１３と同様に、画像Ａ４を切出す。
　一方、前方カメラ１０１に隣接する右カメラ１０３に対応する鳥瞰画像Ｔ２からは、図１０に示すように、画像Ａ２とともに、重複部Ａ２ｐを切り出す。この重複部Ａ２ｐは、鳥瞰画像Ｔ２のうち、画像Ａ２と隣接し、画像Ａ２よりも直線Ｌ３側（異常のあるカメラ側）にある部分であって、さらに詳しくは、直線Ｌ１０から直線Ｌ１５までの範囲である。ここで、直線Ｌ１５は、車両２０１の右前端を通り、直線Ｌ１０と直線Ｌ３との間にある直線である。また、重複部Ａ２ｐは、前方カメラ１０１に異常がない場合に鳥瞰画像Ｔ１から切り出される画像Ａ１と重複する部分の画像である。
　また、前方カメラ１０１の隣にある左カメラ１０５に対応する鳥瞰画像Ｔ３からは、画像Ａ３とともに、重複部Ａ３ｐを切り出す。この重複部Ａ３ｐは、鳥瞰画像Ｔ３のうち、画像Ａ３と隣接し、画像Ａ３よりも直線Ｌ５側（異常のあるカメラ側）にある部分であって、さらに詳しくは、直線Ｌ９から直線Ｌ１６までの範囲である。ここで、直線Ｌ１６は、車両２０１の左前端を通り、直線Ｌ５と直線Ｌ９との間にある直線である。また、重複部Ａ３ｐは、前方カメラ１０１に異常がない場合に鳥瞰画像Ｔ１から切り出される画像Ａ１と重複する部分の画像である。
　上述した直線Ｌ１５、Ｌ１６は、前記Ｓ２３で取得した操舵方向及びシフトに応じて設定される。すなわち、直線Ｌ１０と直線Ｌ１５とが成す角度（重複部Ａ２ｐの範囲）、及び直線Ｌ９と直線Ｌ１６とが成す角度（重複部Ａ３ｐの範囲）の大きさは、操舵方向及びシフトに応じて、表２に示すルールにより決める。
Figure JPOXMLDOC01-appb-T000002
 　シフトがＤであり、操舵方向が右である場合、重複部Ａ２ｐが標準よりも大きくなるので、右側の視界が広がり、事故を抑制できる。
　また、シフトがＤであり、操舵方向が左である場合、重複部Ａ３ｐが標準よりも大きくなるので、左側の視界が広がり、事故を抑制できる。
　また、前記Ｓ２６では、前記Ｓ２５で作成した合成画像において、重複部Ａ２ｐ、Ａ３ｐにエッジ強調（画像強調の一実施形態）を行う。エッジ強調とは、画像における輝度のコントラストを通常よりも大きくする処理である。
　また、前記Ｓ２７では、前記Ｓ２５で作成した合成画像において、異常のある前方カメラ１０１の撮像範囲Ｒ１のうち、画像Ａ２、Ａ３、重複部Ａ２ｐ、Ａ３ｐでカバーされない範囲（図１０において直線Ｌ１５から直線Ｌ１６までの範囲）を所定の色（例えば青色）で塗りつぶす処理を行う。また、合成画像において、前方カメラ１０１に対応する位置又はその近傍にアイコンを表示する。
　３．車両用画像合成装置１が奏する効果
　（１）車両用画像合成装置１は、一部のカメラに異常がある場合でも、隣のカメラの画像を利用することで、合成画像における非表示の範囲を小さくすることができる。
　（２）車両用画像合成装置１は、重複部Ａ１ｐ、Ａ２ｐ、Ａ３ｐ、Ａ４ｐにエッジ強調の処理を行う。そのため、ドライバは、合成画像の中で、重複部Ａ１ｐ、Ａ２ｐ、Ａ３ｐ、Ａ４ｐを容易に認識することができる。また、エッジ強調の処理を行うことで、重複部Ａ１ｐ、Ａ２ｐ、Ａ３ｐ、Ａ４ｐの解像度が低くても、重複部Ａ１ｐ、Ａ２ｐ、Ａ３ｐ、Ａ４ｐに存在する物標の視認が容易になる。
　（３）車両用画像合成装置１は、操舵方向及びシフトに応じて重複部Ａ１ｐ、Ａ２ｐ、Ａ３ｐ、Ａ４ｐの大きさを設定する。そのため、操舵方向及びシフトに応じて適切な範囲の視界が確保され、車両の周囲に存在する物標の視認が一層容易になる。
　（４）車両用画像合成装置１は、異常のあるカメラの撮像範囲を塗りつぶし、異常のあるカメラに対応する位置又はその近傍にアイコンを表示する。そのため、ドライバは、カメラの異常の有無や、どのカメラに異常があるのかを容易に認識できる。
＜第２の実施形態＞
　１．車両用画像合成装置１の構成及び実行する処理
　本実施形態における車両用画像合成装置１の構成及び実行する処理は、基本的には前記第１の実施形態と同様である。ただし、本実施形態では、前記Ｓ２６の処理において、重複部Ａ１ｐ、Ａ２ｐ、Ａ３ｐ、Ａ４ｐに対し、エッジ強調ではなく、色彩を変更する処理（画像強調の一実施形態）を行う。図８Ａおよび図８Ｂに、重複部Ａ１ｐ、Ａ４ｐの色彩を変更した合成画像の例を示す。この例は、右カメラ１０３に異常がある場合の例である。この例では、重複部Ａ１ｐ、Ａ４ｐの色彩を、元の色彩よりも、青みを強く帯びた色彩としている。
　重複部Ａ１ｐ、Ａ４ｐに色彩を付す態様は、透過表示である。よって、重複部Ａ１ｐ、Ａ４ｐに存在する物標をドライバは視認できる。重複部Ａ１ｐ、Ａ４ｐにおける色彩は、グラデーションをつけることができる。例えば、重複部Ａ１ｐと画像Ａ１との境界付近で、色彩を徐々に変化させることができる。同様に、重複部Ａ４ｐと画像Ａ４との境界付近で、色彩を徐々に変化させることができる。
　２．車両用画像合成装置１が奏する効果
　（１）車両用画像合成装置１は、前記第１の実施形態の場合と略同様の効果を奏する。
　（２）車両用画像合成装置１は、重複部Ａ１ｐ、Ａ２ｐ、Ａ３ｐ、Ａ４ｐの色彩を変更する処理を行う。そのため、ドライバは、合成画像の中で、重複部Ａ１ｐ、Ａ２ｐ、Ａ３ｐ、Ａ４ｐを容易に認識することができる。
＜第３の実施形態＞
　１．車両用画像合成装置１の構成及び実行する処理
　本実施形態における車両用画像合成装置１の構成及び実行する処理は、基本的には前記第１の実施形態と同様である。ただし、本実施形態では、車両の操舵方向やシフトに依存せず、重複部Ａ１ｐ、Ａ２ｐ、Ａ３ｐ、Ａ４ｐの広さ及び範囲が一定である。
　重複部Ａ１ｐは、前方カメラ１０１の撮像範囲Ｒ１のうち、最周辺部を除いた部分である。すなわち、図２において、重複部Ａ１ｐの外延である直線Ｌ１３は、撮像範囲Ｒ１の外延である直線Ｌ２とは一致しない。また、重複部Ａ４ｐは、後方カメラ１０７の撮像範囲Ｒ４のうち、最周辺部を除いた部分である。すなわち、図２において、重複部Ａ４ｐの外延である直線Ｌ１４は、撮像範囲Ｒ４の外延である直線Ｌ２とは一致しない。
　また、重複部Ａ２ｐは、右カメラ１０３の撮像範囲Ｒ２のうち、最周辺部を除いた部分である。すなわち、図１０において、重複部Ａ２ｐの外延である直線Ｌ１５は、撮像範囲Ｒ２の外延である直線Ｌ３とは一致しない。また、重複部Ａ３ｐは、左カメラ１０５の撮像範囲Ｒ３のうち、最周辺部を除いた部分である。すなわち、図１０において、重複部Ａ３ｐの外延である直線Ｌ１６は、撮像範囲Ｒ３の外延である直線Ｌ５とは一致しない。
　図９Ａおよび図９Ｂに、重複部Ａ１ｐ、Ａ４ｐが、カメラの撮像範囲のうち、最周辺部を除いた部分である合成画像の例を示す。この例は、右カメラ１０３に異常がある場合の例である。また、この合成画像の例では、異常のある右カメラ１０３の撮像範囲Ｒ２のうち、画像Ａ１、Ａ４、重複部Ａ１ｐ、Ａ４ｐでカバーされない非表示範囲２０３を所定の色で塗りつぶす処理（所定の表示の一実施形態）を行っている。また、右カメラ１０３に対応する位置の近傍にアイコン２０５（所定の表示の一実施形態）を表示している。
　２．車両用画像合成装置１が奏する効果
（１）車両用画像合成装置１は、前記第１の実施形態の場合と略同様の効果を奏する。
（２）重複部Ａ１ｐ、Ａ２ｐ、Ａ３ｐ、Ａ４ｐはカメラの撮像範囲の最周辺部（解像度が特に低くなりやすい部分）を含まないので、解像度が高い。よって、本実施形態の車両用画像合成装置１は、解像度が特に低い部分が合成画像内に生じることを抑制できる。
＜第４の実施形態＞
　１．車両用画像合成装置１の構成及び実行する処理
　本実施形態における車両用画像合成装置１の構成及び実行する処理は、基本的には前記第１の実施形態と同様である。ただし、本実施形態では、前記Ｓ２３において車速を取得する。また、前記Ｓ２４において、車速に応じて、重複部Ａ１ｐ、Ａ２ｐ、Ａ３ｐ、Ａ４ｐの大きさを設定する。すなわち、車速が小さくなるほど、重複部Ａ１ｐ、Ａ２ｐ、Ａ３ｐ、Ａ４ｐを大きくする。
　２．車両用画像合成装置１が奏する効果
（１）車両用画像合成装置１は、前記第１の実施形態の場合と略同様の効果を奏する。
（２）低速時に重複部Ａ１ｐ、Ａ２ｐ、Ａ３ｐ、Ａ４ｐが大きくなるので、低速時に周囲の状況を確認することが容易になる。
　尚、本開示に係る実施形態は、上述の記実施形態になんら限定されるものではなく、種々の態様を包含しうることはいうまでもない。
　例えば、カメラの数は４個以外の数（例えば、３個、５個、６個、８個・・・）であってもよい。
　また、カメラの撮像範囲は、１８０°には限定されず、それより広くても、それより狭くてもよい。
　また、画像強調は、他の処理（例えば、輝度、明度や色の周期的な変化等）であってもよい。
　また、前記Ｓ１での異常は、カメラの故障と、レンズの汚れとのうちの一方であってもよい。
　また、図２において、直線Ｌ９、Ｌ１０、Ｌ１１、Ｌ１２、Ｌ１３、Ｌ１４、Ｌ１５、Ｌ１６の角度は、上述したものに限定されず、適宜設定できる。
　また、前記第１、第２の実施形態の前記Ｓ２４において、重複部Ａ１ｐ、Ａ２ｐ、Ａ３ｐ、Ａ４ｐの大きさは、上記表１、表２記載の条件以外の条件に基き設定してもよい。
　また、前記第１、第２の実施形態の前記Ｓ２４では、重複部Ａ１ｐ、Ａ２ｐ、Ａ３ｐ、Ａ４ｐの大きさを、操舵方向、及びシフトのうちの一方に応じて設定してもよい。例えば、右カメラ１０３に異常がある場合、操舵方向が右であれば、シフトによらず、重複部Ａ１ｐ、Ａ４ｐの大きさを、標準より大きくすることができる。
　また、前記第１、第２の実施形態の前記Ｓ２４では、重複部Ａ１ｐ、Ａ２ｐ、Ａ３ｐ、Ａ４ｐの大きさを、操舵方向、シフト、及び車速の３つの組み合わせに応じて設定してもよい。
　また、前記第１、第２の実施形態の前記Ｓ２４では、重複部Ａ１ｐ、Ａ２ｐ、Ａ３ｐ、Ａ４ｐの大きさを、操舵方向及び車速の組み合わせに応じて設定してもよい。
　また、前記第１、第２の実施形態の前記Ｓ２４では、重複部Ａ１ｐ、Ａ２ｐ、Ａ３ｐ、Ａ４ｐの大きさを、シフト及び車速の組み合わせに応じて設定してもよい。
　また、前記第１～第４の実施形態における構成の一部又は全部を適宜組み合わせてもよい。例えば、前記第１又は第２の実施形態において、重複部Ａ１ｐ、Ａ２ｐ、Ａ３ｐ、Ａ４ｐの範囲を、前記第３の実施形態と同様の範囲（カメラの撮像範囲の最周辺部を含まない範囲）としてもよい。
　以上、本開示に係る実施形態、構成を例示したが、本開示に係る実施形態、構成は、上述した各実施形態、各構成に限定されるものではない。例えば、異なる実施形態、構成にそれぞれ開示された技術的部を適宜組み合わせて得られる実施形態、構成についても、本開示に係る実施形態、構成の範囲に含まれる。また、上述した各実施形態、各構成の一部についても、本開示に係る実施形態である。
 

 

Claims (5)

  1. 　撮像範囲（Ｒ１、Ｒ２、Ｒ３、Ｒ４）が隣のカメラと一部重複するように車両（２０１）に配置された複数のカメラ（１０１、１０３、１０５、１０７）のそれぞれから、カメラごとに割り当てられた範囲の画像（Ａ１、Ａ２、Ａ３、Ａ４）を取得し、当該取得した画像（Ａ１、Ａ２、Ａ３、Ａ４）を合成して、車両上方の視点から見下ろした、車両周囲の合成画像を作成する画像作成部（Ｓ１１～Ｓ１４、Ｓ２１、Ｓ２２、Ｓ２４～Ｓ２７）と、
    　前記カメラの異常を検出する異常検出部（Ｓ１）と、
    　備え、、
    　前記異常検出部によって前記複数のカメラのなかに異常のあるカメラが検出された場合、前記画像作成部は、前記異常のあるカメラの隣に配置された前記カメラの画像から、前記異常のあるカメラにおける前記画像に重複する部分（Ａ１ｐ、Ａ４ｐ）を取得し、当該重複する部分を前記合成画像の作成に使用するとともに、当該重複する部分に画像強調を行う車両用画像合成装置。
  2. 　前記画像強調は、エッジ強調、及び／又は色彩の変更である請求項１に記載の車両用画像合成装置。
  3. 　前記重複する部分は、前記異常のあるカメラの隣に配置された前記カメラの画像のうち、撮像範囲の最周辺部を除いた部分である請求項１又は２に記載の車両用画像合成装置。
  4. 　前記異常検出部によって前記複数のカメラのなかに異常のあるカメラが検出された場合、前記画像作成部は、前記合成画像のうち、前記異常のあるカメラの前記画像に対応する部分に所定の表示（２０３、２０５）を行う請求項１～３のいずれか１項に記載の車両用画像合成装置。
  5. 　車両の操舵方向、シフト、及び車速から成る群から選ばれる１種以上である車両状態を取得する車両状態取得部（Ｓ２３）を備え、
    　前記画像作成部は、前記重複する部分の大きさを、前記車両状態に応じて設定する請求項１～４のいずれか１項に記載の車両用画像合成装置。

     
PCT/JP2014/003615 2013-07-11 2014-07-08 車両用画像合成装置 WO2015004907A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/903,565 US20160165148A1 (en) 2013-07-11 2014-07-08 Image synthesizer for vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013145593A JP6349637B2 (ja) 2013-07-11 2013-07-11 車両用画像合成装置
JP2013-145593 2013-07-11

Publications (1)

Publication Number Publication Date
WO2015004907A1 true WO2015004907A1 (ja) 2015-01-15

Family

ID=52279612

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/003615 WO2015004907A1 (ja) 2013-07-11 2014-07-08 車両用画像合成装置

Country Status (3)

Country Link
US (1) US20160165148A1 (ja)
JP (1) JP6349637B2 (ja)
WO (1) WO2015004907A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3142066A1 (en) * 2015-09-10 2017-03-15 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH Image synthesizer for a surround monitoring system
WO2019131763A1 (ja) * 2017-12-27 2019-07-04 株式会社デンソー 表示処理装置及び表示制御装置
US10611198B2 (en) 2015-09-17 2020-04-07 Knorr-Bremse Systeme Fuer Nutzfahrzeuge Gmbh Apparatus and method for controlling a pressure on at least one tire of a vehicle
US11557030B2 (en) 2018-06-07 2023-01-17 Sony Semiconductor Solutions Corporation Device, method, and system for displaying a combined image representing a position of sensor having defect and a vehicle

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6618696B2 (ja) * 2015-03-24 2019-12-11 住友重機械工業株式会社 画像生成装置及び操作支援システム
JP6413974B2 (ja) * 2015-08-05 2018-10-31 株式会社デンソー キャリブレーション装置、キャリブレーション方法、及びプログラム
KR101795180B1 (ko) * 2015-12-11 2017-12-01 현대자동차주식회사 페일 세이프 기능을 갖는 차량 측후방 모니터링 장치 및 방법
JP6808357B2 (ja) 2016-05-25 2021-01-06 キヤノン株式会社 情報処理装置、制御方法、及び、プログラム
KR101844885B1 (ko) * 2016-07-11 2018-05-18 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
WO2018016305A1 (ja) 2016-07-22 2018-01-25 パナソニックＩｐマネジメント株式会社 撮像システム、および、移動体システム
JP7055743B2 (ja) * 2016-08-08 2022-04-18 株式会社小糸製作所 複数カメラを用いた車両用モニタリングシステム
JP6894687B2 (ja) * 2016-10-11 2021-06-30 キヤノン株式会社 画像処理システム、画像処理装置、制御方法、及び、プログラム
US10594934B2 (en) 2016-11-17 2020-03-17 Bendix Commercial Vehicle Systems Llc Vehicle display
JP2018107573A (ja) * 2016-12-26 2018-07-05 株式会社東海理化電機製作所 車両用視認装置
KR102551099B1 (ko) 2017-01-13 2023-07-05 엘지이노텍 주식회사 어라운드뷰 제공장치, 제공방법 및 이를 구비한 차량
JP6924079B2 (ja) * 2017-06-12 2021-08-25 キヤノン株式会社 情報処理装置及び方法及びプログラム
JP6607272B2 (ja) * 2018-03-02 2019-11-20 株式会社Ｊｖｃケンウッド 車両用記録装置、車両用記録方法及びプログラム
WO2020189223A1 (ja) 2019-03-15 2020-09-24 ソニー株式会社 動画配信システム、動画配信方法、及び表示端末
JP7205386B2 (ja) * 2019-05-31 2023-01-17 株式会社リコー 撮像装置、画像処理方法、プログラム
JP7279566B2 (ja) 2019-07-26 2023-05-23 トヨタ自動車株式会社 車両用電子ミラーシステム
KR20220051880A (ko) * 2020-10-19 2022-04-27 현대모비스 주식회사 차량용 사이드 카메라 및 그 제어방법
KR20220105187A (ko) * 2021-01-18 2022-07-27 현대자동차주식회사 차량의 탑뷰 영상 표시 방법 및 그 표시 장치
US12039009B2 (en) * 2021-08-05 2024-07-16 The Boeing Company Generation of synthetic images of abnormalities for training a machine learning algorithm
KR20230114796A (ko) * 2022-01-24 2023-08-02 현대자동차주식회사 자율주차 보조 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007036668A (ja) * 2005-07-27 2007-02-08 Nissan Motor Co Ltd 俯瞰画像表示システム及び俯瞰画像の表示方法
JP2008141649A (ja) * 2006-12-05 2008-06-19 Alpine Electronics Inc 車両周辺監視装置
JP2011223075A (ja) * 2010-04-02 2011-11-04 Alpine Electronics Inc 複数カメラ画像使用車外表示装置
JP2012138876A (ja) * 2010-12-28 2012-07-19 Fujitsu Ten Ltd 画像生成装置、画像表示システム及び画像表示方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3552212B2 (ja) * 2000-05-24 2004-08-11 松下電器産業株式会社 描画装置
JP3988551B2 (ja) * 2002-07-04 2007-10-10 日産自動車株式会社 車両周囲監視装置
JP5992090B2 (ja) * 2012-04-02 2016-09-14 マックマスター ユニバーシティー モニタリングおよび監視の用途のためのカメラのアレイにおける最適なカメラ選択
US20140125802A1 (en) * 2012-11-08 2014-05-08 Microsoft Corporation Fault tolerant display
US9216689B2 (en) * 2013-12-16 2015-12-22 Honda Motor Co., Ltd. Fail-safe mirror for side camera failure

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007036668A (ja) * 2005-07-27 2007-02-08 Nissan Motor Co Ltd 俯瞰画像表示システム及び俯瞰画像の表示方法
JP2008141649A (ja) * 2006-12-05 2008-06-19 Alpine Electronics Inc 車両周辺監視装置
JP2011223075A (ja) * 2010-04-02 2011-11-04 Alpine Electronics Inc 複数カメラ画像使用車外表示装置
JP2012138876A (ja) * 2010-12-28 2012-07-19 Fujitsu Ten Ltd 画像生成装置、画像表示システム及び画像表示方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3142066A1 (en) * 2015-09-10 2017-03-15 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH Image synthesizer for a surround monitoring system
WO2017042137A1 (en) * 2015-09-10 2017-03-16 Knorr-Bremse Systeme für Nutzfahrzeuge GmbH Image synthesizer for a surround monitoring system
CN108352053A (zh) * 2015-09-10 2018-07-31 克诺尔商用车制动系统有限公司 用于环绕监视系统的图像合成器
US10967790B2 (en) 2015-09-10 2021-04-06 Knorr-Bremse Systeme Fuer Nutzfahrzeuge Gmbh Image synthesizer for a surround monitoring system
CN108352053B (zh) * 2015-09-10 2022-04-15 克诺尔商用车制动系统有限公司 用于环绕监视系统的图像合成器
US10611198B2 (en) 2015-09-17 2020-04-07 Knorr-Bremse Systeme Fuer Nutzfahrzeuge Gmbh Apparatus and method for controlling a pressure on at least one tire of a vehicle
WO2019131763A1 (ja) * 2017-12-27 2019-07-04 株式会社デンソー 表示処理装置及び表示制御装置
JP2019118051A (ja) * 2017-12-27 2019-07-18 株式会社デンソー 表示処理装置
US11557030B2 (en) 2018-06-07 2023-01-17 Sony Semiconductor Solutions Corporation Device, method, and system for displaying a combined image representing a position of sensor having defect and a vehicle

Also Published As

Publication number Publication date
JP6349637B2 (ja) 2018-07-04
JP2015019271A (ja) 2015-01-29
US20160165148A1 (en) 2016-06-09

Similar Documents

Publication Publication Date Title
WO2015004907A1 (ja) 車両用画像合成装置
JP4389173B2 (ja) 車両用表示装置
US9832426B2 (en) Around view monitor system and monitoring method
JP6520668B2 (ja) 車両用表示制御装置及び車両用表示ユニット
CN108352053B (zh) 用于环绕监视系统的图像合成器
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP4315968B2 (ja) 画像処理装置並びに視界支援装置及び方法
WO2017122294A1 (ja) 周囲監視装置、画像処理方法、及び画像処理プログラム
JP4976685B2 (ja) 画像処理装置
JP2008033901A (ja) 車両用画像表示システム
JP6182629B2 (ja) 車両用表示システム
WO2014017105A1 (ja) 画像監視装置、移動体、プログラム、および故障判定方法
JP2007041791A (ja) 俯瞰画像表示システム及び俯瞰画像の表示方法
JP2016119526A (ja) 牽引車両周囲画像生成装置および牽引車両周囲画像生成方法
WO2018159016A1 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
TWI533694B (zh) 車用障礙物偵測顯示系統
JP2017033402A (ja) 車載表示制御装置、車載表示制御方法
JP5434802B2 (ja) 車両用の情報表示装置
WO2016056227A1 (ja) 表示制御装置、表示システム
JP2013207746A (ja) 車両の後側方撮影装置
JP6730617B2 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
CN114842433A (zh) 基于显著性的图像中对象的呈现
US10102826B2 (en) Method for operating a display device for a vehicle
WO2016075774A1 (ja) 表示制御装置および情報表示装置
JP2012138876A (ja) 画像生成装置、画像表示システム及び画像表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14823758

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14903565

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14823758

Country of ref document: EP

Kind code of ref document: A1